CN112799430B - 基于可编程无人机的路面图像智能采集方法 - Google Patents

基于可编程无人机的路面图像智能采集方法 Download PDF

Info

Publication number
CN112799430B
CN112799430B CN202110042153.2A CN202110042153A CN112799430B CN 112799430 B CN112799430 B CN 112799430B CN 202110042153 A CN202110042153 A CN 202110042153A CN 112799430 B CN112799430 B CN 112799430B
Authority
CN
China
Prior art keywords
flight
image
aerial vehicle
unmanned aerial
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110042153.2A
Other languages
English (en)
Other versions
CN112799430A (zh
Inventor
朱俊清
黄晓明
马涛
黄怡
关轶夫
刘泽宇
董梦雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110042153.2A priority Critical patent/CN112799430B/zh
Publication of CN112799430A publication Critical patent/CN112799430A/zh
Application granted granted Critical
Publication of CN112799430B publication Critical patent/CN112799430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了一种基于可编程无人机的路面图像智能采集方法,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控系统中,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控系统中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像,高效得到所需的路面图像,具有较高的可靠性。

Description

基于可编程无人机的路面图像智能采集方法
技术领域
本发明涉及道路路面检测技术领域,尤其涉及一种基于可编程无人机的路面图像智能采集方法。
背景技术
随着公路里程不断增长,养护需求呈爆发式增长,对道路检测的要求也越来越高,自动化、智能化、无损化、精确化和快速化成为路面检测技术发展的主要趋势。另一方面,无人机以其机动灵活、结构简单、作业高效、成本低廉等有点,自研发以来广泛应用于军事、遥感、植保、巡检、航拍等领域。将无人机应用于路面检测,利用其飞行能力与视野条件,采用空中作业的方式对公路沿线进行巡查,可以有效克服传统检测技术对交通流的影响,且能够提高维护效率、降低维护成本并保障人员安全,具有广阔的行业前景。当前存在的主要问题集中在无人机路面图像采集智能化程度不高,缺乏可靠的实现方法。
发明内容
针对无人机路面图像采集智能化程度不高,缺乏可靠的实现方法的问题,本发明提出一种基于可编程无人机的路面图像智能采集方法,可以实现公路路面图像无人机自动飞行采集,并实现路面图像拼接,获得完整路面图像,以供后续开展病害分析。
为实现本发明的目的,提供一种基于可编程无人机的路面图像智能采集方法,包括如下步骤:
S20,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控系统中;
S30,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控系统中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像;所述飞行方案包括飞行高度,飞行速度和相机拍摄频率值的选取;
S40,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像。
在一个实施例中,步骤S20中,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务包括:
S21,根据目标检测路段的路面参数确定任务执行区域,调用地图平台的数据输出接口,访问道路数据库将任务执行区域的交通网络抽取出来,使用栅格法建立初始交通模型,并从初始交通模型的源点起对点集进行层序遍历进而简化初始交通模型,生成Dijkstra算法的直接用图,并得到交通网络简化模型;
S22,从一个源点开始,依照最短路径原则依次将节点纳入到路径中来,直至全部节点的最短路径生成完毕,以针对交通网络简化模型采用改进Dijkstra算法完成路径的计算,得到覆盖所有路线的不重复飞行路径点;
S23,导出实际算路和路径规划途经点信息,以配置飞行任务。
在一个实施例中,飞行方案的制定过程包括:
S31,根据公式h=Df/a=(3.75n+4)f/a计算飞行高度,其中h为飞行高度,f为镜头焦距,a为相机传感器尺寸参数,n为目标检测路段范围车道数,D为单车道宽度;
S32,根据公式v=Thb/f(1-r)计算飞行速度,其中v为飞行速度,T为拍摄间隔,r为图片重合率,h为无人机飞行高度,b为相机传感器尺寸参数;
S33,将目标检测路段的范围通过Dijkstra算法算路得到的只飞一次路径的坐标点,根据飞行高度、飞行速度和各个坐标点确定飞行方案。
在一个实施例中,步骤S40中,采用SURF算法和渐入渐出权重融合进行图像缝合包括:
S41,读取待处理的路面图像后,对路面图像进行灰度化处理,同时调整图像尺寸,检测图像中的SURF特征点,建立特征点描述符;
S42,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配;
S43,采用estimateGeometricTransform接口对误匹配进行消除;
S44,分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理,通过最小二乘法求解矩阵方程,得到配准图到基准图的坐标转换矩阵;
S45,选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换,转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。
具体地,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配包括:
输入两组特征点向量以及特征点描述符,按设定的匹配方法计算两幅图像之间各特征点之间的欧氏距离或街区距离,若欧氏距离或街区距离的距离值在设定的范围内,判定两图图像之间的SURF特征点粗匹配成功。
在一个实施例中,步骤S20之前,还包括:
S10,构建带有GPS、图像采集设备的可编程无人机飞行平台以及地面计算机设备。
本发明的有益效果包括:采用基于无人机飞行平台的路面图像智能采集方法,基于无人机搭载的GPS设备实现路径规划并自动飞行采集路面图像,采用制定的无人机飞行方案完成飞行采集,通过自动化拼接技术形成全景照片,实现从路面图像采集到后期成图的一体化流程,具有易携带、高机动性、智能化程度高、运维成本低以及作业效率高的优点。可以实现公路路面图像无人机自动飞行采集,并实现拼接,获得完整路面图像,以供后续开展病害分析,可以极大的提高路面病害检测智能化程度以及检测速度,并降低公路养护的成本。
附图说明
图1是一个实施例的基于可编程无人机的路面图像智能采集方法流程图;
图2是另一个实施例的基于可编程无人机的路面图像智能采集方法流程图;
图3是一个实施例的无人机路面图像采集飞行方案视野尺寸示意图;
图4是一个实施例的算路实例图;
图5为一个实施例的路面图像拼接流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参考图1所示,图1为一个实施例的基于可编程无人机的路面图像智能采集方法流程图,包括如下步骤:
S20,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控系统中。
在一个实施例中,步骤S20中,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务包括:
S21,根据目标检测路段的路面参数确定任务执行区域,调用地图平台的数据输出接口,访问道路数据库将任务执行区域的交通网络抽取出来,使用栅格法建立初始交通模型,并从初始交通模型的源点起对点集进行层序遍历进而简化初始交通模型,生成Dijkstra算法的直接用图,并得到交通网络简化模型;
S22,从一个源点开始,依照最短路径原则依次将节点纳入到路径中来,直至全部节点的最短路径生成完毕,以针对交通网络简化模型采用改进Dijkstra算法完成路径的计算,得到覆盖所有路线的不重复飞行路径点(俗称“只飞一次”);
S23,导出实际算路和路径规划途经点信息,以配置飞行任务。
上述地图平台的数据输出接口可以为高德的AMAP接口(高德共有Map-ABC三种地图接口,此为面向普通用户的Map-A接口)。
具体地,还可以通过无线通讯将飞行任务加载到无人机飞控系统中。
S30,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控系统中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像;所述飞行方案包括飞行高度,飞行速度和相机拍摄频率值的选取。
上述步骤可以采用无线通讯将飞行方案加载到无人机飞控系统中。
在一个实施例中,飞行方案的制定过程包括:
S31,根据公式h=Df/a=(3.75n+4)f/a计算飞行高度,其中h为飞行高度,f为镜头焦距,a为相机传感器尺寸参数,n为目标检测路段范围车道数,D为单车道宽度;
S32,根据公式v=Thb/f(1-r)计算飞行速度,其中v为飞行速度,T为拍摄间隔,r为图片重合率,h为无人机飞行高度,b为相机传感器尺寸参数;
S33,将目标检测路段的范围通过Dijkstra算法算路得到的只飞一次路径的坐标点,根据飞行高度、飞行速度和各个坐标点确定飞行方案。
进一步地,本实施例还可以将各个坐标点上传至到无人机作业系统中。将飞行高度与飞行速度通过无线通讯加载到无人机飞控系统中,以执行无人机路面图像采集自动飞行任务,获取路面图像。
S40,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像。
上述基于可编程无人机的路面图像智能采集方法,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控系统中,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控系统中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像,能够高效得到所需的路面图像,具有较高的可靠性。
在一个实施例中,步骤S40中,采用SURF算法和渐入渐出权重融合进行图像缝合包括:
S41,读取待处理的路面图像后,对路面图像进行灰度化处理,同时调整图像尺寸,检测图像中的SURF特征点,建立特征点描述符;
S42,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配;
S43,采用estimateGeometricTransform接口对误匹配进行消除;其消除原理是采用了抽样估计一致性处理法(M-estimator Sample Consensus Algorithm);
S44,分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理,通过最小二乘法求解矩阵方程,得到配准图到基准图的坐标转换矩阵;
S45,选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换,转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。
具体地,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配包括:
输入两组特征点向量以及特征点描述符,按设定的匹配方法(如穷举法或邻域搜索法等)计算两幅图像之间各特征点之间的欧氏距离或街区距离,若欧氏距离或街区距离的距离值在设定的范围内,判定两图图像之间的SURF特征点粗匹配成功。
在一个实施例中,步骤S20之前,还包括:
S10,构建带有GPS、图像采集设备的可编程无人机飞行平台以及地面计算机设备。
本实施例中,无人机飞行路径规划的完整过程主要分成两个大部分,一是任务执行区域的交通网络建模和简化;二是实际算路和路径规划途经点信息的导出。具体实现上,首先依据行政区划等划分规则将完整的数字中国地图分割开来,完成关键字的传入和区划的搜索,利用切割后的区域地图回调输出切割后的区划信息,以用于交通网络输出到文件时归档。根据所选定的区划逐步迭代获取交通网络信息数据,按照区划内的栅格执行搜索。具体操作显示实例化对象,并完成关键词传递,启动搜索请求。最后在回调得到坐标信息并对其进行解析。
完成区划内道路的全部解析任务后,使用数据持久化技术完成交通网络数据文件的存储,将建模好的交通网络图导入到改进Dijkstra算法中。
Dijkstra算法本质上从一个源点开始,依照最短路径原则依次将节点纳入到路径中来,并且使用一个表记录已添加的节点,直至全部节点的最短路径生成完毕,接下来我们将从最简单的情况依次外推,描述算法的基本过程:
1、如果l(υ01)为权值最小的边,那么最短路径必包含此边;
2、长度次短的路径满足以下两个条件的任意一个:
(1)源点通过一条边l(υ02)到达υ2
(2)源点经过两条边到达υ2,则两条边必为l(υ01)和l(υ12),过υ1
3、第三短的路径满足以下四个条件的任意一个:
(1)源点通过一条边l(υ03)到达υ3
(2)源点经过两条边到达υ3,则两条边为l(υ01)和l(υ13),过υ1
(3)源点经过两条边到达υ3,则两条边为l(υ02)和l(υ23),过υ2
(4)源点经过三条边到达υ3,则三条边为l(υ01)、l(υ12)和l(υ23)
依照此策略依次递推便可以得到源点距离所有点的最短路径。
道路数据库通常会使用栅格法对交通网络进行规划空间建模,栅格将道路切割成若干个小段,每一个小段相当于图中的两个节点与一条边。然而在沿实际道路飞行时,有些路可能并不曲折,因此大部分图的节点是可以被省略的。为了进行简化,需要预先对道路图进行遍历,以生成一个简略图,此图便是我们使用Dijkstra算法的直接用图。从源点起对点集进行层序遍历,检查以某一个点υi为端的子边集arci={<υij>,<υik>,…,<υmi>}并暂存于表arc[υi]中,随后检查下一层节点的全部子边集Arc={arcj,arck,…,arcm},这些子边集中的元素便是有可能和arc[υi]中的边合并的。检查这些边端节点在栅格中的坐标,如果三点连转角大于103°则将其对应的边合并为一条捷径边,并以父级端点为捷径边的起始点。
然后,考虑添加额外约束条件,以调整最终的算路结果,执行导航策略计算,依照策略调整交通网络图的权值分布。随后使用将路径规划的起点和终点带入到算路方法中,以得到最终的路径规划结果,这一步最终算出的是航路点的坐标,在算路成功的回调中将全部途经点导出到线性表中,算法的全部任务便已完成。
最后,导航点还需要输出到数字地图上,通过绘制在地图上的标记点,操作员可以清晰的看到路径规划结果,如果规划过程有误,则可以选择重新规划或输出调试信息以供开发者修改程序。确定航路点后,配置飞行任务并通过无线通讯加载到无人机飞控系统中。
路径规划完成后,制定无人机飞行方案,包括飞行高度以及飞行速度。根据相机视觉系统的基本知识,相机的视野尺寸与镜头焦距之间存在以下关系:传感器的被测物体的距离×传感器尺寸=镜头焦距×视野尺寸。
无人机在执行路面检测任务时,其飞行高度将决定检测道路在图像画面中所占比例。实地拍摄表明,对于路面照片,图像匹配算法提取的特征点往往集中在道路两旁的树木、花草、绿化带及其它路边设施上,路面本身很难提取出特征。如图2所示,为了便于图像拼接,采集图像时道路两侧需要留出一定净宽,即视野范围大于路面范围。一般来说,一条车道的宽度为3.75m,现设定道路两侧各留出2m净宽,则横向视野尺寸为D=3.75n+4,其中n为车道数。则无人机飞行高度为:h=Df/a=(3.75n+4)f/a,其中f为镜头焦距,a为相机传感器尺寸参数,n为车道数。
无人机执行一次路面检测任务后,采集到的是连续的单张图像,需要经过图像拼接获取完整的路面长图。拼接时,若图片重合率过低,将会影响匹配算法的精度从而影响图片质量;若图片重合率过高,则占用过多的内存资源且增加工作量。图片重合率主要与飞行高度、飞行速度及拍摄间隔有关,具体表现为:v=TL(1-r),其中v表示无人机飞行速度,T为拍摄间隔,r为图片重合率,L为纵向视野尺寸,其值具体为:L=hb/f,其中h为无人机飞行高度,f为镜头焦距,b为相机传感器尺寸参数。
获得无人机飞行高度及飞行速度参数后,通过无线通讯加载到无人机飞控系统中,执行无人机路面图像采集自动飞行任务,并获取路面图像。将获取的路面图像传输到地面计算机设备,采用SURF算法进行图像拼接,以获得完整连续的路面图像。
采用SIFT算法的加强版-鲁棒性更优的特征快速提取算法SURF算法对图像进行特征点的提取与匹配。读取待处理图像后,对其进行灰度化处理,同时调整图像尺寸,然后检测图像中的SURF特征点,建立特征点描述符。之后,进行两图图像之间的特征点粗匹配,输入两组特征点向量,函数返回匹配点对。然后对误匹配进行消除。
分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理。通过最小二乘法求解矩阵方程,即可得到配准图到基准图的坐标转换矩阵。
上述步骤全部完成后,进入最终的图像拼接环节。选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换。转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。
在一个实施例中,上述基于可编程无人机的路面图像智能采集方法也可以参考图2所示,包括如下过程:
步骤1:构建带有GPS、图像采集设备的无人机飞行平台以及地面计算机设备。
步骤2:根据目标检测路段,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务并通过无线通讯加载到无人机飞控系统中。具体地,以下以手动推演实例进一步说明。其中无人机路面图像采集飞行方案视野尺寸示意图可以参考图3所示。
设图G=(V,A)作为算路目标图(该目标图可以参考图4所示算路实例图),其由点集A和由邻接矩阵表示的边集V组成,并设源点为υ0
第一轮,设当前步进点为源点υ0,通过查找邻接矩阵找出υ0到其他点的距离:υ0→υ1=10,υ0→υ4=5,由于到υ4的距离更短,故第一轮选择向υ4前进一步并将υ4纳入已求解点集。
第二轮,设当前步进点为υ4,查找邻接矩阵和上一轮算路结果找出υ0到其他点的距离:υ0→υ4→υ1=8,υ0→υ4→υ2=14,υ0→υ4→υ3=7,由于到υ3的距离最短,故第二轮选择向υ3前进一步并将υ3纳入已求解点集。
第三轮,设当前步进点为υ3,此时的边已经只剩到υ3→υ2,因此直接列出当前υ0到剩下未完成算路的点的全部路径:υ0→υ4→υ1=8,υ0→υ4→υ3→υ2=13,显然到υ1距离最短,故第三轮向υ1步进并将υ1纳入已求解点集。
第四轮,设步进点为υ1,此时仅剩一个待算路点和一条边,得到υ2的最短路径为:υ0→υ4→υ1→υ2=9,至此,从源点到其他所有节点的全部算路工作进行完毕。
步骤3:根据目标检测路段范围,制定飞行方案,包括飞行高度和飞行速度,并通过无线通讯加载到无人机飞控系统中,执行无人机路面图像采集自动飞行任务,并获取路面图像;
根据公式h=Df/a=(3.75n+4)f/a计算飞行高度,其中h为飞行高度,f为镜头焦距,a为相机传感器尺寸参数,n为车道数。根据公式v=Thb/f(1-r)计算飞行速度,其中v为飞行速度,T为拍摄间隔,r为图片重合率,h为无人机飞行高度,f为镜头焦距,b为相机传感器尺寸参数。以下以计算实例进一步说明。
已知相机传感器尺寸参数a为35.9mm,b为24.0mm,镜头焦距f为35mm;n为2;T为0.1s;r为30%;根据计算可得,飞行高度h为11.2m,飞行速度为11.9m/s。
步骤4:将获取的路面图像传输到地面计算机设备,采用SURF算法进行图像拼接,以获得完整连续的路面图像。
读取待处理路面图像后,对其进行灰度化处理,同时调整图像尺寸,检测图像中的SURF特征点,建立特征点描述符。进行两图图像之间的特征点粗匹配,输入两组特征点向量,函数返回匹配点对。对误匹配进行消除。分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理。通过最小二乘法求解矩阵方程,得到配准图到基准图的坐标转换矩阵。选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换。转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。在一个示例中,路面图像拼接流程图可以参考图5所示。
本实施例的有益效果包括:采用基于无人机飞行平台的路面图像智能采集方法,基于无人机搭载的GPS设备实现路径规划并自动飞行采集路面图像,采用制定的无人机飞行方案完成飞行采集,通过自动化拼接技术形成全景照片,实现从路面图像采集到后期成图的一体化流程,具有易携带、高机动性、智能化程度高、运维成本低以及作业效率高的优点。可以实现公路路面图像无人机自动飞行采集,并实现拼接,获得完整路面图像,以供后续开展病害分析,可以极大的提高路面病害检测智能化程度以及检测速度,并降低公路养护的成本。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
需要说明的是,本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于可编程无人机的路面图像智能采集方法,其特征在于,包括如下步骤:
S20,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控系统中;
S30,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控系统中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像;所述飞行方案包括飞行高度,飞行速度和相机拍摄频率值的选取;
S40,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像;
步骤S20中,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务包括:
S21,根据目标检测路段的路面参数确定任务执行区域,调用地图平台的数据输出接口,访问道路数据库将任务执行区域的交通网络抽取出来,使用栅格法建立初始交通模型,并从初始交通模型的源点起对点集进行层序遍历进而简化初始交通模型,生成Dijkstra算法的直接用图,并得到交通网络简化模型;
S22,从一个源点开始,依照最短路径原则依次将节点纳入到路径中来,直至全部节点的最短路径生成完毕,以针对交通网络简化模型采用改进Dijkstra算法完成路径的计算,得到覆盖所有路线的不重复飞行路径点;
S23,导出实际算路和路径规划途经点信息,以配置飞行任务。
2.根据权利要求1所述的基于可编程无人机的路面图像智能采集方法,其特征在于,飞行方案的制定过程包括:
S31,根据公式h=Df/a=(3.75n+4)f/a计算飞行高度,其中h为飞行高度,f为镜头焦距,a为相机传感器尺寸参数,n为目标检测路段范围车道数,D为单车道宽度;
S32,根据公式v=Thb/f(1-r)计算飞行速度,其中v为飞行速度,T为拍摄间隔,r为图片重合率,h为无人机飞行高度,b为相机传感器尺寸参数;
S33,将目标检测路段的范围通过Dijkstra算法算路得到的只飞一次路径的坐标点,根据飞行高度、飞行速度和各个坐标点确定飞行方案。
3.根据权利要求1所述的基于可编程无人机的路面图像智能采集方法,其特征在于,步骤S40中,采用SURF算法和渐入渐出权重融合进行图像缝合包括:
S41,读取待处理的路面图像后,对路面图像进行灰度化处理,同时调整图像尺寸,检测图像中的SURF特征点,建立特征点描述符;
S42,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配;
S43,采用estimateGeometricTransform接口对误匹配进行消除;
S44,分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理,通过最小二乘法求解矩阵方程,得到配准图到基准图的坐标转换矩阵;
S45,选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换,转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。
4.根据权利要求3所述的基于可编程无人机的路面图像智能采集方法,其特征在于,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配包括:
输入两组特征点向量以及特征点描述符,按设定的匹配方法计算两幅图像之间各特征点之间的欧氏距离或街区距离,若欧氏距离或街区距离的距离值在设定的范围内,判定两图图像之间的SURF特征点粗匹配成功。
5.根据权利要求1所述的基于可编程无人机的路面图像智能采集方法,其特征在于,步骤S20之前,还包括:
S10,构建带有GPS、图像采集设备的可编程无人机飞行平台以及地面计算机设备。
CN202110042153.2A 2021-01-13 2021-01-13 基于可编程无人机的路面图像智能采集方法 Active CN112799430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110042153.2A CN112799430B (zh) 2021-01-13 2021-01-13 基于可编程无人机的路面图像智能采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110042153.2A CN112799430B (zh) 2021-01-13 2021-01-13 基于可编程无人机的路面图像智能采集方法

Publications (2)

Publication Number Publication Date
CN112799430A CN112799430A (zh) 2021-05-14
CN112799430B true CN112799430B (zh) 2022-09-09

Family

ID=75810459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110042153.2A Active CN112799430B (zh) 2021-01-13 2021-01-13 基于可编程无人机的路面图像智能采集方法

Country Status (1)

Country Link
CN (1) CN112799430B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140396A (zh) * 2021-11-10 2022-03-04 广州大学 基于无人机图像的路面破损检测方法、系统、装置和介质
CN114473140A (zh) * 2022-02-22 2022-05-13 上海电力大学 一种基于分时复用的熔池图像平行式采集方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376548B (zh) * 2014-11-07 2017-11-03 中国电子科技集团公司第二十八研究所 一种基于改进型surf算法的图像快速拼接方法
CN107144264A (zh) * 2017-06-19 2017-09-08 北京理工大学 一种用于固定翼无人机采集高清路面图像的航空摄影方法
CN107808362A (zh) * 2017-11-15 2018-03-16 北京工业大学 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
TWI649721B (zh) * 2017-12-06 2019-02-01 凌通科技股份有限公司 無人飛行機之全景拍照方法與使用其之無人飛行機
CN110046584B (zh) * 2019-04-19 2023-04-18 上海海事大学 一种基于无人机巡检的道路裂纹检测装置及检测方法
CN111947623A (zh) * 2020-08-12 2020-11-17 湖南大狗科技有限公司 一种根据surf-scan快速得到现场地图的方法

Also Published As

Publication number Publication date
CN112799430A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN111144388B (zh) 一种基于单目影像的道路标志标线的更新方法
KR102273559B1 (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN112069856A (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN111462275B (zh) 一种基于激光点云的地图生产方法和装置
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
CN112799430B (zh) 基于可编程无人机的路面图像智能采集方法
KR20190090393A (ko) 차선 결정 방법, 디바이스 및 저장 매체
WO2020103110A1 (zh) 一种基于点云地图的图像边界获取方法、设备及飞行器
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
KR102308456B1 (ko) 라이다 및 카메라 수집정보 기반 수종탐지 시스템 및 이를 이용한 수종탐지방법, 수종탐지방법을 수행하는 프로그램이 수록된 기록매체
CN105761257B (zh) 交叉航带上无人机影像匹配中粗差的剔除方法和装置
CN114998536A (zh) 基于新型基础测绘的模型生成方法、装置及存储介质
CN109900274B (zh) 一种图像匹配方法及系统
CN110969719A (zh) 一种自动巡检方法、系统、终端设备及存储介质
JP4521568B2 (ja) 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
US20240077331A1 (en) Method of predicting road attributers, data processing system and computer executable code
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
CN112183244A (zh) 场景建立方法及装置、存储介质、电子装置
CN113298042B (zh) 遥感影像数据的处理方法及装置、存储介质、计算机设备
CN112665554B (zh) 一种正射影像的生成方法与系统
CN115344655A (zh) 地物要素的变化发现方法、装置及存储介质
Saveliev et al. Automated terrain mapping based on mask R-CNN neural network
KR100221401B1 (ko) 위성항법장치를 이용한 컴퓨터 수치지도상에의 동영상의 지원방법과 디스플레이방법 및 그 동영상의 지원시스템
Moseva et al. Development of a Platform for Road Infrastructure Digital Certification
CN115628720A (zh) 一种智能三维地形图测绘方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant