CN114964171A - 基于无人机的两阶段路面积水结冰状况检测方法与系统 - Google Patents
基于无人机的两阶段路面积水结冰状况检测方法与系统 Download PDFInfo
- Publication number
- CN114964171A CN114964171A CN202210698502.0A CN202210698502A CN114964171A CN 114964171 A CN114964171 A CN 114964171A CN 202210698502 A CN202210698502 A CN 202210698502A CN 114964171 A CN114964171 A CN 114964171A
- Authority
- CN
- China
- Prior art keywords
- road surface
- unmanned aerial
- aerial vehicle
- module
- icing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 41
- 238000009825 accumulation Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 10
- 239000002352 surface water Substances 0.000 claims abstract description 10
- 238000004806 packaging method and process Methods 0.000 claims abstract description 4
- 238000007689 inspection Methods 0.000 claims description 9
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了基于无人机的两阶段路面积水结冰状况检测方法，包括以下步骤：无人机在空中按照预定路线进行巡检，利用图像采集模块获取路面图像信息；判断是否为感兴趣区域，若为感兴趣区域则计算其面积，启动光电发射接收模块；利用光电发射接收模块向感兴趣区域发射光信号，通过接收端接收反射光信号，将接收的反射光信号转换为电信号；预测待检测物体厚度参数，将对应的厚度参数、路面图像信息、面积集成打包并进行存储。本发明通过组合深度学习模型Mask‑rcnn的积水结冰目标检测阶段与光电传感器探测感兴趣区域厚度阶段，生成两阶段路面积水、结冰状况检测方法及系统，实现了路段空间范围内任意点的路面状况识别。
Description
技术领域
本发明涉及道路表面检测领域，特别涉及基于无人机的两阶段路面积水结冰状况检测方法与系统。
背景技术
路面积水结冰是危害交通安全的常见现象，当车辆行驶在积水路面时，高速旋转的轮胎挤压水膜形成动水压力，在动水压力的作用下轮胎被抬起，轮胎与路间接触面积减小，摩擦系数迅速降低，车辆产生部分滑水或者完全滑水现象。当车辆行驶在结冰路面上时，胎-路接触转化为胎-冰接触，此时道路表面构造深度无法提供摩擦力与粘滞力，摩擦系数迅速降低。路面积水结冰状况下车辆容易发生打滑、侧滑以及轮胎空转现象，引发严重交通事故。此外，路面积水与结冰状况还会导致路面病害，例如裂缝、坑槽、孔洞等加速发展，最终破坏路面结构承载能力，为道路养护维修工作带来巨大困难。因此，如何实施检测出积水结冰范围，提供其尺寸例如面积、厚度信息已经成为道路安全运营面临的一大难题。
积水现象可发生于一年四季，其表现形式常为未完全覆盖路表构造深度的潮湿形式，以及完全覆盖路表构造深度、具有一定厚度水膜的覆水形式；结冰现象多发生于冬季，根据其产生方式可分为温度急剧下降至冰点以下导致路面积水转为结冰体形式，以及冬季降雪堆积于路面形成的路-冰-雪多模态组合形式。现有道路积水结冰检测方法根据是否埋入路面分为侵入式与非侵入式两种。
浸入式检测方法主要依靠埋置于路面内部的传感器，主要形式包括压电式、电容式。其中压电式传感器利用压电效应，通过将机械能转换为电能输出电压信号对路表状况进行判断，此种传感器抗干扰能力较强，可以用于检测覆盖物厚度，但是无法确定路表覆盖物种类，并且存在半导体温漂效应，需要进行温度补偿。电容式传感器依据介电常数区分路表附着物种类和厚度，但是厚度测量范围小，且灵敏度与精度较低。
非侵入式检测方法包括光谱式和图像式，依据冰、水、雪、路面不同物质在近红外波段反射率不同进行区分，并且根据模拟量电压输出可得到覆盖物厚度信息，但是基于红外光学遥感式传感器容易受到降雨、降雪、光照等影响导致镜头模糊，抗干扰能力差。图像法检测范围广，成本低，利用图像根据背景差分技术获取积水结冰状况，但只能获取待检测区域的二维信息，硬件设施与图像本身精度不支持采用三维重建算法获取深度信息。
此外，上述路面积水结冰检测方法受到传感器架设方式限制只能获取离散点信息，无法检测连续路表积水结冰状况，且现有单一传感器无法为道路提供路面积水结冰严重程度，例如分布范围以及水膜或者覆冰厚度等信息。
发明内容
发明目的：针对以上问题，本发明目的是提供基于无人机的两阶段路面积水结冰状况检测方法，通过无人机搭载相机与光电传感器获取积水结冰路面的分布范围与尺寸信息，对车辆安全行驶与路面养护具有重要的改善意义。本发明的另一个目的是提供基于无人机的两阶段路面积水结冰状况检测系统。
技术方案：本发明的一种基于无人机的两阶段路面积水结冰状况检测方法，该方法包括以下步骤：
步骤1，无人机在空中按照预定路线进行巡检，利用图像采集模块获取路面图像信息；
步骤2，根据路面图像信息判断巡检区域是否为感兴趣区域，若为感兴趣区域则计算其面积，启动光电发射接收模块；
步骤3，利用光电发射接收模块向感兴趣区域发射光信号，通过接收端接收反射光信号，将接收的反射光信号转换为电信号；
步骤4，根据电信号强度判断路面厚度参数，将对应的厚度参数、路面图像信息、面积集成打包，将打包信息进行存储，命名为一次检测事件，并按照时间顺序进行储存。
进一步，所述厚度参数包括积水厚度和结冰厚度，积水厚度范围为0.1mm-20mm，结冰厚度范围为0.1mm-10mm。
进一步，所述光信号为近红外波段的激光。
本发明的一种基于无人机的两阶段路面积水结冰状况检测系统，该系统包括无人机、分析模块、图像采集模块、信息存储模块，及安装在无人机起落架之间的光电发射接收模块，分析模块分别与图像采集模块、光电发射接收模块、信息存储模块连接。
进一步，所述光电发射接收模块为主动式红外光电传感器，激光波长为近红外波段。
进一步，所述图像采集模块为运动相机。
进一步，所述分析模块为单片微型计算机，用于判断检测区域是否为感兴趣区域，为感兴趣区域计算面积，并且根据电信号强度预测待检测物体厚度参数；使用的模型为基于迁移学习的深度学习模型Mask-rcnn。
进一步，所述信息存储模块为可读存储介质，用于存储检测感兴趣区域的厚度参数、路面图像信息、面积。
有益效果：本发明与现有技术相比，其显著优点是：
1、本发明通过组合深度学习模型Mask-rcnn的积水结冰目标检测阶段与光电传感器探测感兴趣区域厚度阶段，生成两阶段路面积水结冰状况检测方法及系统，集成检测装置于无人机上，通过确定无人机在合适高度获取整幅路段的图像，通过凸形识别路面覆盖物类型，使用近红外波段光电传感器获取感兴趣区域厚度信息，并储存所有信息，以便查验，实现了路段空间范围内任意点的路面状况识别，充分利用了无人机巡检的优势，提高了路面的感知能力；
2、本发明将图像目标检测技术尤其是深度学习模型Mask-rcnn引进至路面积水结冰图像识别中，鲁棒性好，提升了识别的精度与效率；
3、本发明判断路面覆盖物类型的依据是图像，相比于当前红外检测设备受到路面杂质例如灰尘，盐分的影响，可靠性低的缺点，本发明可以提供高可靠性的判断标准和证据；
4、本发明将集成检测设备搭载于无人机上，可以实现实时移动式检测，提供路段内空间各点情况，加强了路面感知能力，对交通安全和路面养护有较高的提升能力；
5、本发明只需要搭载摄像机和光电传感器，相比主流检测设备成本低，可大规模布设，具有较高的工程应用价值；
6、本发明所采用的集成式检测设备相比于目前单一式检测设备可以提供大量交通与道路管养部门感兴趣的信息，包括图像，位置信息，面积信息，厚度信息。
附图说明
图1为实施例的两阶段路面积水结冰状况检测方法流程图；
图2为实施例的基于无人机的两阶段路面积水结冰状况检测运行流程图；
图3为实施例的基于深度学习模型Mask-rcnn的图像目标检测判别流程图；
图4为实施例的光电传感器工作流程图；
图5为实施例的无人机搭载集成检测设备构成示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。
本实施例所述的基于无人机的两阶段路面积水结冰状况检测方法，该方法包括以下步骤，流程如图1所示：
步骤1，无人机在空中按照预定路线进行巡检，利用图像采集模块获取路面图像信息。
图像采集模块可以是安装于无人机上的相机，进行拍摄整幅路面状况，无人机的飞行高度应当被控制在保证垂直向下的相机摄像头可以看清所有行车道，无人机巡检路线为在待检测区域的预定路线，依据无人机前进方向和速度，利用图像采集模块拍摄重复率为70％的图片，将图片发送给分析模块。
步骤2，根据路面图像信息判断巡检区域是否为感兴趣区域，若为感兴趣区域则计算其面积，启动光电发射接收模块。
分析模块与图像采集模块连接，分析模块为单片微型计算机，其上存储深度学习模型Mask-rcnn，基于迁移学习并且由大量积水结冰数据训练得到的模型，如图3所示，将图像采集模块拍摄的图片输入到深度学习模型Mask-rcnn，输出为标记有潜在感兴趣区域的图形。感兴趣的图像指被深度学习模型Mask-rcnn标注了可能存在积水或结冰的区域，通过对其可能性划分阈值为0.80，删除概率低于0.80的建议框，保留高于0.80的概率框，如图2所示。
待检测区域的面积检测是像素级，达到了极高的精度，统计实例分割中感兴趣区域的像素点个数，除以整张图片像素点的数目，获取图片中感兴趣区域面积所占大小a。依据无人机携带相机的焦距和离地高度，通过几何换算将图片转换至世界坐标系中，得到该图片所占真实路面的面积S，则待检测区域的面积为a*S。若为感兴趣区域，分析模块控制光电发射接收模块启动。
步骤3，利用光电发射接收模块向感兴趣区域发射光信号，通过接收端接收反射光信号，将接收的反射光信号转换为电信号。
当图片被判定为感兴趣图像时，分析模块控制光电发射接收模块向感兴趣区域发射近红外波段激光，如可选用激光的波长为960nm，受不同路面覆盖物对光的吸收与反射程度不同，激光照射路面后会发生反射和散射，不同强度的反射光进入光电发射接收模块的接收端，产生不同的回波信号，将回波信号转化为模拟量电压值输出，传入单片微型计算机上进行分析，如图4所示。
步骤4，根据电信号强度判断路面厚度参数，将对应的厚度参数、路面图像信息、面积集成打包，将打包信息进行存储，命名为一次检测事件，并按照时间顺序进行储存。
分析模块内置有分析程序，通过前期实验得来，这种实验是使用无人机搭载红外光电传感器，在密集配、开级配、半开级配三种路面类型下人为的改变路面积水结冰状况所测得输出电压值，建立输出电压与不同路面类型下积水/结冰状况厚度的关系。在检测程序开始前应当依据待检测路段的路面性质选择开级配，半开级配和密集配三种之一，依据输出电压获取相应路面状况的相应厚度。
厚度参数包括积水厚度和结冰厚度，积水厚度范围为0.1mm-20mm，结冰厚度范围为0.1mm-10mm。
分析模块与信息存储模块连接，分析模块将含有感兴趣区域图像，面积信息，厚度信息打包并上传到信息存储模块进行存储，交通和道路管养部门可以将数据转移至上位机进行检查，判断是否需要采取交通管制和管理养护措施。
如图5所示，本实施例所述的一种基于无人机的两阶段路面积水结冰状况检测系统，包括无人机1、分析模块7、图像采集模块、信息存储模块，及安装在无人机起落架3之间的光电发射接收模块，分析模块7分别与图像采集模块、光电发射接收模块6、信息存储模块5连接。无人机飞控单元2控制无人机巡检路线，天线装置4位于无人机下方。
所述光电发射接收模块为主动式红外光电传感器，激光波长为近红外波段。
所述图像采集模块为运动相机。
所述分析模块为单片微型计算机，用于判断检测区域是否为感兴趣区域，为感兴趣区域计算面积，并且根据电信号强度预测待检测物体厚度参数；使用的模型为基于迁移学习的深度学习模型Mask-rcnn。
所述信息存储模块为可读存储介质，用于存储检测感兴趣区域的厚度参数、路面图像信息、面积。
Claims (8)
1.基于无人机的两阶段路面积水结冰状况检测方法，其特征在于，该方法包括以下步骤：
步骤1，无人机在空中按照预定路线进行巡检，利用图像采集模块获取路面图像信息；
步骤2，根据路面图像信息判断巡检区域是否为感兴趣区域，若为感兴趣区域则计算其面积，启动光电发射接收模块；
步骤3，利用光电发射接收模块向感兴趣区域发射光信号，通过接收端接收反射光信号，将接收的反射光信号转换为电信号；
步骤4，根据电信号强度预测待检测物体厚度参数，将对应的厚度参数、路面图像信息、面积集成打包，将打包信息进行存储，命名为一次检测事件，并按照时间顺序进行储存。
2.根据权利要求1所述的路面积水结冰状况检测方法，其特征在于，所述厚度参数包括积水厚度和结冰厚度，积水厚度范围为0.1mm-20mm，结冰厚度范围为0.1mm-10mm。
3.根据权利要求1所述的路面积水结冰状况检测方法，其特征在于，所述光信号为近红外波段的激光。
4.一种实施权利要求1至3中任一权利要求所述的路面积水结冰状况检测方法的系统，其特征在于，该系统包括无人机、分析模块、图像采集模块、信息存储模块，及安装在无人机起落架之间的光电发射接收模块，分析模块分别与图像采集模块、光电发射接收模块、信息存储模块连接。
5.根据权利要求4所述的系统，其特征在于，所述光电发射接收模块为主动式红外光电传感器，激光波长为近红外波段。
6.根据权利要求4所述的系统，其特征在于，所述图像采集模块为运动相机。
7.根据权利要求4所述的系统，其特征在于，所述分析模块为单片微型计算机，使用的模型为基于迁移学习的深度学习模型Mask-rcnn。
8.根据权利要求4所述的系统，其特征在于，所述信息存储模块为可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210698502.0A CN114964171A (zh) | 2022-06-20 | 2022-06-20 | 基于无人机的两阶段路面积水结冰状况检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210698502.0A CN114964171A (zh) | 2022-06-20 | 2022-06-20 | 基于无人机的两阶段路面积水结冰状况检测方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114964171A true CN114964171A (zh) | 2022-08-30 |
Family
ID=82962722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210698502.0A Pending CN114964171A (zh) | 2022-06-20 | 2022-06-20 | 基于无人机的两阶段路面积水结冰状况检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114964171A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462218A (zh) * | 2020-03-16 | 2020-07-28 | 西安理工大学 | 一种基于深度学习技术的城市内涝积水面积监测方法 |
| CN111737524A (zh) * | 2019-03-19 | 2020-10-02 | 上海大学 | 道路异常监控系统内部的信息整合方法 |
-
2022
- 2022-06-20 CN CN202210698502.0A patent/CN114964171A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737524A (zh) * | 2019-03-19 | 2020-10-02 | 上海大学 | 道路异常监控系统内部的信息整合方法 |
| CN111462218A (zh) * | 2020-03-16 | 2020-07-28 | 西安理工大学 | 一种基于深度学习技术的城市内涝积水面积监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11312383B2 (en) | Road surface condition prediction system, driving assistance system, road surface condition prediction method, and data distribution method | |
| JP6495388B2 (ja) | 車載センサを用いて気象状態を検出する方法及びシステム | |
| WO2020103533A1 (zh) | 一种轨道和道路障碍物检测方法 | |
| KR101845594B1 (ko) | 도로 날씨 상황들의 검출 | |
| US9285230B1 (en) | Methods and systems for detecting road curbs | |
| CN110406544A (zh) | 雨雾场景下的车辆感知系统及方法 | |
| CN110471085B (zh) | 一种轨道检测系统 | |
| CN102481935A (zh) | 用于在机动车中进行摩擦系数分类的基于激光的方法 | |
| CN114003849B (zh) | 一种多车道非接触式车轴数自动计算方法及系统 | |
| KR102482358B1 (ko) | 라이다 포인트 클라우드 노이즈 제거 방법 및 장치 | |
| KR102609459B1 (ko) | 노면 상태 탐지 장치 및 시스템, 이를 이용한 노면 상태 탐지 방법 | |
| CN103295401A (zh) | 一种路面气象状态监测系统 | |
| KR102427308B1 (ko) | 분광 데이터를 이용한 도로포장 공용성 평가 시스템 및 그 방법 | |
| KR102359365B1 (ko) | 도로 기후조건 시각화 시스템 | |
| CN113917564A (zh) | 多参数分析遥感式路面气象状况检测仪及检测方法 | |
| US20200160736A1 (en) | Determination of a pavement state from on-board measurements of pavement contamination, associated system and aircraft | |
| CN114964171A (zh) | 基于无人机的两阶段路面积水结冰状况检测方法与系统 | |
| CN107784261B (zh) | 一种路面状态检测方法及装置 | |
| CN110520914A (zh) | 用于检测道路上的水的设备 | |
| US20230245509A1 (en) | Safety system and method for motor vehicles | |
| CN106428108A (zh) | 列车装载安全检测装置 | |
| CN212903321U (zh) | 一种公路气象检测装置 | |
| KR102329413B1 (ko) | 노면의 휘도를 판별하여 블랙아이스 구간을 판별하는 방법 | |
| CN113252596B (zh) | 一种基于红外激光的新型公路路面状态监测方法 | |
| Akiyama et al. | Wide-area road surface condition observation system utilizing traveling sensing by LiDAR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |