CN108803651A - 一种基于图像特征的无人机公路巡检方法 - Google Patents
一种基于图像特征的无人机公路巡检方法 Download PDFInfo
- Publication number
- CN108803651A CN108803651A CN201810374505.2A CN201810374505A CN108803651A CN 108803651 A CN108803651 A CN 108803651A CN 201810374505 A CN201810374505 A CN 201810374505A CN 108803651 A CN108803651 A CN 108803651A
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned plane
- lane line
- line
- highway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000003709 image segmentation Methods 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 3
- 230000011218 segmentation Effects 0.000 claims abstract description 3
- 238000007689 inspection Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000002156 mixing Methods 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于图像特征的无人机公路巡检方法，包括以下步骤：1)采集公路的彩色图像；2)对彩色图像的三个通道进行灰度图像分割，并将三个通道得到的分割结果进行融合；3)对融合图像进行直线检测，获取包括实线和有断点的线的图像；4)采用SURF算法检测角点，构建Hessian矩阵，生成车道线与背景的特征点；5)对特征点进行筛选，确认符合车道线的特征点；6)根据RANSAC算法对参数进行估计，拟合白色车道线；7)修正参数，获取最终的白色车道线的图像；8)将获取的图像实时传输给远程监控平台，远程监控平台获知公路情况后，发布指示至无人机的MCU，无人机的MCU控制无人机的飞行状态。与现有技术相比，本发明对白色车道线的特征点检测更准确。
Description
技术领域
本发明涉及无人机巡检技术领域，尤其是涉及一种基于图像特征的无人机公路巡检方法。
背景技术
近年来，高速公路的建设取得了很大的发展，然而，每年告诉公路都会发生一系列的交通事故，造成事故的原因有多种，因此，为全面掌握交通状况，公路巡检变得至关重要。传统公路车道线巡检主要依靠公路维护人员翻山越岭，遇到异常气候条件，传统巡视方式时间长、劳动强度大，不能完全适应现代化公路建设与发展的需求。无人机因体积小、控制方便等特点取得了越来越多的应用，将无人机应用到公路巡检领域，可提高公路维护和检修的速度及效率，确保了交通安全，降低了劳动强度。现有无人机公路巡检系统在图像识别上大多采用Harris角点检测算法，该算法存在因检测位置偏离导致白色车道线特征点检测不准确问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图像特征的无人机公路巡检方法。
本发明的目的可以通过以下技术方案来实现：
一种基于图像特征的无人机公路巡检方法，包括以下步骤：
S1：图像采集：获取公路的彩色图像；
S2：图像分割：对彩色图像的三个通道进行灰度图像分割，并将三个通道得到的分割结果进行融合；
S3：图像后处理：对融合后的图像进行直线检测，获取包括实线和有断点的线的图像；
S4：SURF算法识别：对获取的图像采用SURF(Speeded Up Robust Features，加速稳健特征)算法检测角点，构建Hessian(黑塞)矩阵，生成车道线与背景的特征点；
S5：特征点确认：在生成的车道线与背景的特征点中进行筛选，确认符合车道线的特征点；
S6：车道线估计：根据RANSAC(Random Sample Consensus，随机抽样一致)算法对车道线估计模型的匹配参数进行估计，拟合白色车道线；
S7：车道线后处理：对车道线估计模型的匹配参数进行修正，获取最终的白色车道线的图像；
S8：无人机飞行控制：将获取的白色车道线的图像实时传输给远程监控平台，远程监控平台获知公路情况后，发布指示至无人机的MCU，无人机的MCU控制无人机的飞行状态。
优选地，采用最大类间方差法对彩色图像的三个通道进行灰度图像分割。
优选地，所述的步骤S3的具体内容为：
对融合后的图像检测并判断连通域特征，将不属于车道线的连通域去除后，使用Hough变换进行直线检测，获取包括实线和有断点的线的图像。
优选地，所述的步骤S5的具体内容为：
筛选出符合车道线的特征点，通过欧氏距离与Hessian矩阵的迹，对特征点进行方向判断，进一步确定取舍的特征点。
优选地，采用卡尔曼滤波对车道线估计模型的匹配参数进行修正。
优选地，用于实现所述的巡检方法的无人机公路巡检系统包括远程监控平台、机载无线通讯模块、无人机、设于无人机上的摄像头及与摄像头连接的处理子系统，所述的处理子系统包括图像识别模块和MCU，所述的MCU通过机载无线通讯模块与远程监控平台连接，所述的图像识别模块包括依次连接的图像分割单元、图像后处理单元、图像检测单元、车道线参数估计与后处理单元。
与现有技术相比，本发明在无人机的图像特征分析上采用SURF算法，与Harris角点检测算法相比，SURF算法具有尺度和旋转不变性特点的，其鲁棒性和可重复性更好，可以更准确地对白色车道线进行特征点检测；此外，本发明根据RANSAC算法对车道线估计模型的匹配参数进行估计，来拟合白色车道线，且通过卡尔曼滤波对车道线估计模型的匹配参数进行修正，使获取的白色车道线图像更加准确可靠。
附图说明
图1为一种基于图像特征的无人机公路巡检方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明提供一种基于图像特征的无人机公路巡检方法，该方法应用于无人机公路巡检系统中，所述的无人机公路巡检系统包括远程监控平台、机载无线通讯模块、无人机、设于无人机上的摄像头及与摄像头连接的处理子系统，所述的处理子系统包括图像识别模块和MCU，所述的MCU通过机载无线通讯模块与远程监控平台连接，所述的图像识别模块包括依次连接的图像分割单元、图像后处理单元、图像检测单元、车道线参数估计与后处理单元。
一种基于图像特征的无人机公路巡检方法，如图1所示，包括以下步骤：
1)图像采集：
无人机上的摄像头对公路的彩色图像进行采集；
2)图像分割：
利用OTSU(最大类间方差法)对彩色图像的三个通道进行灰度图像分割，并将三个通道得到的分割结果再进行“与”操作融合；
3)图像后处理：
检测连通域，判断连通域的形状、面积等特征，将不是车道线的连通域去除后，使用Hough变换进行直线检测，获取包括实线和有断点的线的图像；
4)SURF算法识别：
采用SURF算法对得到的图像进行角点检测，构建Hessian矩阵，生成车道线与背景的特征点；
5)特征点确认：
去除不相关的点，筛选出符合车道线的特征点，通过欧氏距离与Hessian矩阵的迹对特征点进行方向判断，进一步确定取舍的特征点；
6)车道线估计：
根据RANSAC算法对车道线估计模型的匹配参数进行估计，拟合白色车道线；
7)车道线后处理：
使用卡尔曼滤波对车道线估计模型的匹配参数进行修正，获取最终的车道线图像；
8)无人机飞行控制：
将获取的白色车道线的图像经过无人机的MCU打包，通过机载无线通讯模块实时传输给远程监控平台，从而获知公路的情况，无人机的MCU控制无人机的飞行状态。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种基于图像特征的无人机公路巡检方法，其特征在于，该方法包括以下步骤：
1)图像采集：获取公路的彩色图像；
2)图像分割：对彩色图像的三个通道进行灰度图像分割，并将三个通道得到的分割结果进行融合；
3)图像后处理：对融合后的图像进行直线检测，获取包括实线和有断点的线的图像；
4)SURF算法识别：对获取的图像采用SURF算法检测角点，构建Hessian矩阵，生成车道线与背景的特征点；
5)特征点确认：在生成的车道线与背景的特征点中进行筛选，确认符合车道线的特征点；
6)车道线估计：根据RANSAC算法对车道线估计模型的匹配参数进行估计，拟合白色车道线；
7)车道线后处理：对车道线估计模型的匹配参数进行修正，获取最终的白色车道线的图像；
8)无人机飞行控制：将获取的白色车道线的图像实时传输给远程监控平台，远程监控平台获知公路情况后，发布指示至无人机的MCU，无人机的MCU控制无人机的飞行状态。
2.根据权利要求1所述的一种基于图像特征的无人机公路巡检方法，其特征在于，所述的步骤2)中，采用最大类间方差法对彩色图像的三个通道进行灰度图像分割。
3.根据权利要求1所述的一种基于图像特征的无人机公路巡检方法，其特征在于，所述的步骤3)的具体内容为：
对融合后的图像检测并判断连通域特征，将不属于车道线的连通域去除后，使用Hough变换进行直线检测，获取包括实线和有断点的线的图像。
4.根据权利要求1所述的一种基于图像特征的无人机公路巡检方法，其特征在于，所述的步骤5)的具体内容为：
筛选出符合车道线的特征点，通过欧氏距离与Hessian矩阵的迹，对特征点进行方向判断，进一步确定取舍的特征点。
5.根据权利要求1所述的一种基于图像特征的无人机公路巡检方法，其特征在于，所述的步骤7)中，采用卡尔曼滤波对车道线估计模型的匹配参数进行修正。
6.根据权利要求1所述的一种基于图像特征的无人机公路巡检方法，其特征在于，用于实现该巡检方法的无人机公路巡检系统包括远程监控平台、机载无线通讯模块、无人机、设于无人机上的摄像头及与摄像头连接的处理子系统，所述的处理子系统包括图像识别模块和MCU，所述的MCU通过机载无线通讯模块与远程监控平台连接，所述的图像识别模块包括依次连接的图像分割单元、图像后处理单元、图像检测单元、车道线参数估计与后处理单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810374505.2A CN108803651B (zh) | 2018-04-24 | 2018-04-24 | 一种基于图像特征的无人机公路巡检方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810374505.2A CN108803651B (zh) | 2018-04-24 | 2018-04-24 | 一种基于图像特征的无人机公路巡检方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108803651A true CN108803651A (zh) | 2018-11-13 |
| CN108803651B CN108803651B (zh) | 2021-07-09 |
Family
ID=64093815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810374505.2A Active CN108803651B (zh) | 2018-04-24 | 2018-04-24 | 一种基于图像特征的无人机公路巡检方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108803651B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516532A (zh) * | 2019-07-11 | 2019-11-29 | 北京交通大学 | 基于计算机视觉的无人机铁路轨道线路识别方法 |
| CN112435458A (zh) * | 2019-06-21 | 2021-03-02 | 北京航空航天大学 | 一种交通事故下的高速公路无人机应急仿真方法 |
| CN113496182A (zh) * | 2020-04-08 | 2021-10-12 | 北京京东叁佰陆拾度电子商务有限公司 | 基于遥感影像的道路提取方法及装置、存储介质及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8446468B1 (en) * | 2007-06-19 | 2013-05-21 | University Of Southern California | Moving object detection using a mobile infrared camera |
| CN104332053A (zh) * | 2014-11-13 | 2015-02-04 | 深圳大学 | 一种基于小型无人机的道路交通巡检系统及其巡检方法 |
| CN105488492A (zh) * | 2015-12-25 | 2016-04-13 | 北京大学深圳研究生院 | 一种彩色图像预处理方法、道路识别方法及相关装置 |
| CN105740809A (zh) * | 2016-01-28 | 2016-07-06 | 东南大学 | 一种基于机载摄像机的高速公路车道线检测方法 |
| US20160325835A1 (en) * | 2014-09-03 | 2016-11-10 | International Business Machines Corporation | Unmanned aerial vehicle for hazard detection |
| CN106157283A (zh) * | 2015-04-01 | 2016-11-23 | 株式会社理光 | 道路分割物的检测方法和装置 |
| CN206485574U (zh) * | 2016-08-26 | 2017-09-12 | 山西省交通科学研究院 | 一种基于无人机平台的偏远公路救援系统 |
| CN107220976A (zh) * | 2017-05-17 | 2017-09-29 | 南京航空航天大学 | 一种航拍公路图像的公路定位方法 |
| CN107301369A (zh) * | 2017-09-04 | 2017-10-27 | 南京航空航天大学 | 基于航拍图像的道路交通拥堵分析方法 |
| CN107330380A (zh) * | 2017-06-14 | 2017-11-07 | 千寻位置网络有限公司 | 基于无人机航拍影像的车道线自动提取和识别方法 |
| CN107705301A (zh) * | 2017-09-29 | 2018-02-16 | 南京中设航空科技发展有限公司 | 一种基于无人机航拍公路图像的公路标线破损检测方法 |
-
2018
- 2018-04-24 CN CN201810374505.2A patent/CN108803651B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8446468B1 (en) * | 2007-06-19 | 2013-05-21 | University Of Southern California | Moving object detection using a mobile infrared camera |
| US20160325835A1 (en) * | 2014-09-03 | 2016-11-10 | International Business Machines Corporation | Unmanned aerial vehicle for hazard detection |
| CN104332053A (zh) * | 2014-11-13 | 2015-02-04 | 深圳大学 | 一种基于小型无人机的道路交通巡检系统及其巡检方法 |
| CN106157283A (zh) * | 2015-04-01 | 2016-11-23 | 株式会社理光 | 道路分割物的检测方法和装置 |
| CN105488492A (zh) * | 2015-12-25 | 2016-04-13 | 北京大学深圳研究生院 | 一种彩色图像预处理方法、道路识别方法及相关装置 |
| CN105740809A (zh) * | 2016-01-28 | 2016-07-06 | 东南大学 | 一种基于机载摄像机的高速公路车道线检测方法 |
| CN206485574U (zh) * | 2016-08-26 | 2017-09-12 | 山西省交通科学研究院 | 一种基于无人机平台的偏远公路救援系统 |
| CN107220976A (zh) * | 2017-05-17 | 2017-09-29 | 南京航空航天大学 | 一种航拍公路图像的公路定位方法 |
| CN107330380A (zh) * | 2017-06-14 | 2017-11-07 | 千寻位置网络有限公司 | 基于无人机航拍影像的车道线自动提取和识别方法 |
| CN107301369A (zh) * | 2017-09-04 | 2017-10-27 | 南京航空航天大学 | 基于航拍图像的道路交通拥堵分析方法 |
| CN107705301A (zh) * | 2017-09-29 | 2018-02-16 | 南京中设航空科技发展有限公司 | 一种基于无人机航拍公路图像的公路标线破损检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| MINGFU ZHAO: "Research on image matching based on improved RANSAC-SIFT algorithm", 《2017 16TH INTERNATIONAL CONFERENCE ON OPTICAL COMMUNICATIONS AND NETWORKS (ICOCN)》 * |
| 陈艺虾: "SURF算法和RANSAC算法相结合的遥感图像匹配方法", 《第29届中国数据库学术会议论文集》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435458A (zh) * | 2019-06-21 | 2021-03-02 | 北京航空航天大学 | 一种交通事故下的高速公路无人机应急仿真方法 |
| CN112435458B (zh) * | 2019-06-21 | 2022-03-11 | 北京航空航天大学 | 一种交通事故下的高速公路无人机应急仿真方法 |
| CN110516532A (zh) * | 2019-07-11 | 2019-11-29 | 北京交通大学 | 基于计算机视觉的无人机铁路轨道线路识别方法 |
| CN110516532B (zh) * | 2019-07-11 | 2022-03-11 | 北京交通大学 | 基于计算机视觉的无人机铁路轨道线路识别方法 |
| CN113496182A (zh) * | 2020-04-08 | 2021-10-12 | 北京京东叁佰陆拾度电子商务有限公司 | 基于遥感影像的道路提取方法及装置、存储介质及设备 |
| CN113496182B (zh) * | 2020-04-08 | 2024-05-21 | 北京京东叁佰陆拾度电子商务有限公司 | 基于遥感影像的道路提取方法及装置、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108803651B (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104865971B (zh) | 一种输电线路巡检无人机的控制方法及无人机 | |
| Weerasinghe et al. | Application of Microsoft Kinect sensor for tracking construction workers | |
| CN107392247B (zh) | 一种电力线下方地物安全距离实时检测方法 | |
| CN104034733A (zh) | 基于双目视觉监测与表面裂纹图像识别的寿命预测方法 | |
| CN108345855B (zh) | 一种车道压线检测方法及系统 | |
| CN108803651A (zh) | 一种基于图像特征的无人机公路巡检方法 | |
| CN109829908B (zh) | 基于双目影像的电力线下方地物安全距离检测方法及设备 | |
| CN102435174A (zh) | 基于混合式双目视觉的障碍物检测方法及装置 | |
| CN109300118B (zh) | 一种基于rgb图像的高压电力线路无人机巡检方法 | |
| CN111244822B (zh) | 一种复杂地理环境的固定翼无人机巡线方法、系统和装置 | |
| CN105718964A (zh) | 一种输电线防振锤的视觉检测方法 | |
| CN113406107A (zh) | 风机叶片缺陷检测系统 | |
| CN118644892A (zh) | 高空作业人员的作业行为识别方法、装置及存储介质 | |
| Fang et al. | A framework of power pylon detection for UAV-based power line inspection | |
| CN106408589A (zh) | 基于车载俯视相机的车辆运动测量方法 | |
| CN108898187A (zh) | 一种自动识别配电房指示设备图像的方法及装置 | |
| CN107977531A (zh) | 一种基于图像处理和领域数学模型进行接地电阻软测量的方法 | |
| CN112613437B (zh) | 一种违章建筑识别方法 | |
| KR102558387B1 (ko) | 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 | |
| CN117498225B (zh) | 一种无人机智能电力线路巡检系统 | |
| CN113778091A (zh) | 一种风电场升压站设备巡检方法 | |
| CN112489017A (zh) | 一种电力设备故障智能识别方法及识别系统 | |
| CN103198326B (zh) | 一种输电线路直升机巡检的图像分类方法 | |
| CN113705503B (zh) | 一种基于多模态信息融合的异常行为检测系统及方法 | |
| Magsino et al. | A rapid screening algorithm using a quadrotor for crack detection on bridges |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |