CN114495068B - 基于人机交互和深度学习的路面健康检测方法 - Google Patents
基于人机交互和深度学习的路面健康检测方法 Download PDFInfo
- Publication number
- CN114495068B CN114495068B CN202210400887.8A CN202210400887A CN114495068B CN 114495068 B CN114495068 B CN 114495068B CN 202210400887 A CN202210400887 A CN 202210400887A CN 114495068 B CN114495068 B CN 114495068B
- Authority
- CN
- China
- Prior art keywords
- module
- frame
- disease
- pavement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 230000003993 interaction Effects 0.000 title claims abstract description 60
- 230000036541 health Effects 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 201000010099 disease Diseases 0.000 claims abstract description 246
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 246
- 238000000034 method Methods 0.000 claims abstract description 66
- 230000007547 defect Effects 0.000 claims abstract description 33
- 210000001508 eye Anatomy 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 16
- 210000005252 bulbus oculi Anatomy 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 230000001154 acute effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008439 repair process Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 2
- 238000003064 k means clustering Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 238000009434 installation Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明为基于人机交互和深度学习的路面健康检测“元”方法，采用了人机交互和虚拟现实的原理，真正意义上将人工与计算机视觉结合在了一起，利用高准确率的计算机视觉模型对于人工进行提示，对于单一且枯燥的路面场景，省去了人眼大部分的寻找病害的工作，检测时利用人工辅助实时判断计算机视觉的识别结果，依靠人机交互实时纠正，弥补了当前路面检测方法和仪器在传统人工检测和计算机视觉检测之间的衔接空白，提高了计算机视觉对于复杂路面情况的正确率，又改善了人工检测的效率低下、需要封闭交通的缺点，对于低等级公路、次干路和支路行驶速度低，路面的病害情况复杂多样的情况，具有很高的实用性。
Description
技术领域
本发明涉及路面病害检测领域，具体是一种基于人机交互和深度学习的路面健康检测“元”方法及系统。
背景技术
近年来我国路面交通事业不断的发展和完善，公路里程连年快速增长，所带来的日益显著的问题是公路的管理与养护问题，预防性养护概念的提出，要求能够及时准确地对于路面健康状况进行检测，进而增加的是繁重的路面健康检测工作。
目前主流的路面健康检测方法主要有两种，一种是传统的人工检测，另一种是利用计算机视觉检测。以上两种方法都有各自的长处和短板，人工检测具有方便、面对复杂的病害情况准确率较高，缺点是效率低下、需要封闭交通、面对长距离的检测工作十分乏力。而利用计算机视觉检测刚好与之相反，具有效率高、检测速度快、不需要封闭交通的优点，同时也存在对于复杂的病害情况准确率得不到保证、使用不便的缺点。对于低等级公路、次干路和支路这些行驶速度低、路面病害情况复杂的道路，采用以上两种方法都存在着不足。
目前还没有一种方法能够将人工和计算机视觉很好的结合在一起，正是基于二者的优缺点是互补的，那么想到将二者结合起来用于低等级公路、次干路和支路等行驶速度较低、路面病害情况复杂的路面健康检测，实现各自扬长避短和优势互补，不需要封闭交通，使用方便，能够较人工检测效率更高，较计算机视觉检测对于复杂路面情况的的准确率更高。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于人机交互和深度学习的路面健康检测“元”方法及系统，该检测方法为一种检测“元”方法。
为了解决上述技术问题，本发明的技术方案为：
一种基于人机交互和深度学习的路面健康检测“元”方法，该方法包括以下内容：
固定在车辆发动机罩的前方并保证不会影响车辆的正常行驶的位置安装图像采集模块1，图像采集模块1采用双目相机，并进行双目标定与双目矫正；由坐在车内的人工佩戴放映模块2；双目相机通过数据线连接到放映模块2，双目相机的左右目所拍摄的路面场景视频分别经过放映模块2放映于人的左右眼；定位模块5安装在双目相机附近；
构建路面病害数据集：前期的路面病害帧图像的收集时不封闭交通，车辆开动并行驶在路幅的中间车道，并能够保证双目相机能够拍摄到所在路幅全貌，通过放映模块2看到双目相机所捕获的实时路面场景视频，当看到各类路面病害进入视野时人工选择保存，收集到路面病害帧图像，对所保存的路面病害帧图像进行数据增强以及标注病害位置处理，进而构建路面病害数据集；
病害识别跟踪模块3包括识别单元与跟踪单元，使用构建的路面病害数据集训练得到路面病害识别模型，路面病害识别模型加载到识别单元，并且同步到跟踪单元；
进行路面健康检测，双目相机拍摄路面场景视频，识别单元实时处理路面场景视频，识别病害，在确定目标以后，利用跟踪单元对于每一个目标都进行跟踪并初始化一个跟踪器，后续路面场景视频中检测到的路面病害目标经过IOU匹配和级联匹配跟踪到前几十帧的路面场景视频中所检测到的目标；并且对检测到的每一个目标框都添加一个判断，判断目标框是否接触到帧图像底边，当目标框接触到帧图像底边时利用定位模块5得到目标框中病害目标的位置信息，信息保存模块6自动保存路面病害帧图像以及位置信息；
人工通过放映模块2对于跟踪单元获得的结果进行判断，若结果正确，且目标框接触到帧图像底边时，利用定位模块5得到目标框中病害目标的位置信息，信息保存模块6自动保存路面病害帧图像以及位置信息；若结果误判，通过人机交互模块4进行纠正，人工对目标框进行删除操作；
若路面病害识别模型未识别出路面病害，人工通过放映模块2对图像采集模块1实时采集的路面场景视频判断为存在路面病害，则对目标进行添加操作，并在路面场景视频中的病害位置添加矩形框，该矩形框通过跟踪单元实时跟踪框内的目标；并且对检测到的每一个矩形框都添加一个判断，判断矩形框是否接触到帧图像底边，当矩形框接触到帧图像底边时，利用定位模块5得到矩形框中病害目标的位置信息，信息保存模块6自动保存路面病害帧图像以及位置信息；
所述位置信息包括包括世界坐标系下路面病害的坐标位置和车道位置。
一种基于人机交互和深度学习的路面健康检测系统，该检测系统包括图像采集模块1、放映模块2、病害识别跟踪模块3、人机交互模块4、定位模块5以及信息保存模块6；
所述图像采集模块1用于前期采集路面病害帧图像，制作路面病害数据集，还用于检测过程中拍摄实时的路面场景视频；收集路面病害数据集时，人工能够通过放映模块2看到拍摄到的路面场景视频并且自主保存路面病害帧图像；
所述病害识别跟踪模块3，在检测过程中对于图像采集模块1所拍摄到的路面场景视频进行检测和跟踪，包括识别单元和跟踪单元，识别单元内加载有路面病害识别模型，用于识别路面病害目标；跟踪单元用于对识别到的目标进行跟踪；
所述放映模块2基于虚拟现实，使得人工看到的结果是真实的路面场景，或者是经过病害识别跟踪模块3处理的结果视频；
所述人机交互模块4，基于人机交互，使得人工能对于检测过程中信息保存模块6的保存工作进行干预；
所述信息保存模块6，用于分别保存检测到的路面病害帧图像和位置信息，用于后期路面养护评估及更新路面病害数据集，所述位置信息包括世界坐标系下路面病害的坐标位置和车道位置；
所述定位模块5，基于GPS定位技术和深度学习，负责计算位置信息，位置信息包括世界坐标系下路面病害的坐标位置和车道位置。
与现有技术相比，本发明的有益效果在于：
1.本发明采用了人机交互和虚拟现实的原理，真正意义上将人工与计算机视觉结合在了一起，利用高准确率的计算机视觉模型对于人工进行提示，对于单一且枯燥的路面场景，省去了人眼大部分的寻找病害的工作，检测时利用人工辅助实时判断计算机视觉的识别结果，在原有的基础上既提高了计算机视觉检测的准确率，又提高了人工检测的效率，依靠人机交互实时纠正，弥补了当前路面检测方法和仪器在传统人工检测和计算机视觉检测之间的衔接空白，同时结合了两者的优点，规避了各自的缺点，即提高了计算机视觉对于复杂路面情况的正确率，又改善了人工检测的效率低下、需要封闭交通的缺点，对于低等级公路、次干路和支路行驶速度低，路面的病害情况复杂多样的情况，具有很高的实用性。
2.本发明直接利用图像采集模块采集路面病害帧图像，更贴近检测时真实的路面检测场景，使得模型的泛化能力更强，采集数据集时人工能够看到图像采集模块所拍摄的路面场景视频，并自主确定所要保存的路面病害帧图像，建立应用于工程实际的路面病害数据集，相对于先录取路面场景视频再截取路面病害帧图像，减小了对保存硬件容量的要求，提高了采集路面病害数据集的效率。另外，采用了消除和添加阴影的数据增强方法扩大了路面病害数据集的数量，增强了模型的泛化能力。
3.本发明中病害识别跟踪模块使用稀疏化的Fleet-YOLOv5模型，这样能够减轻模型部署时的压力，提高了模型的运行速度，同时增加了一层预锚框检测层，对于小目标的检测能力得到提升，可以满足工程实际的要求。使用DeepSort算法跟踪检测到的路面病害目标，并仅仅保存出现路面病害全貌时的帧图像，改进了YOLOv5网络中的save crop功能(只要当前帧存在路面病害时自动保存目标框图像)，像这样不仅减少了检测过程中图像采集模块以及信息保存模块的压力，减少了人工在辅助决策时的工作量，而且精简了检测过程中拍摄的路面病害帧图像数量，也为后期的量化工作减少了工作量，还为扩充路面病害数据集减少了重复的帧图像。最后，保存的是整个帧图像，相对于仅保存目标框图像，用于最后的量化工作能够减少病害量化的偏差，提高量化结果的准确性。Fleet-YOLOv5模型准确率高、速度快，能够对大部分路面病害自动捕捉识别，减少了人工的工作量，而且不需要封闭交通。
4.信息保存模块中分别建立了12个路面病害保存单元，用于检测过程中保存病害识别跟踪模块识别到的11类现行规范所包含的病害种类的帧图像，以及人工辅助决策所保存的计算机视觉未检测出的路面病害帧图像。其中11类路面病害种类包括龟裂、块状裂缝、纵向裂缝、横向裂缝、坑槽、松散、沉陷、车辙、波浪拥包、泛油以及修补。能够分别自动记录不同种类的路面病害帧图像，后期只需要对于人工辅助决策所保存的计算机视觉未检测出的路面病害帧图像进行分类，便利了路面健康的评估工作。同时将保存的所有路面病害帧图像再次应用于模型的训练，扩充了数据集，提高了模型的鲁棒性。
5.信息保存模块实时保存路面病害帧图像，以及路面病害的位置信息。位置信息不仅包括由GPS技术与双目测距所得到病害在世界坐标系下的坐标位置，还包括病害的所在车道位置，对于不同类型的车道加以区分，评估其不同车道的路面健康状况。放映模块基于虚拟现实，使得人工看到的结果是真实的路面场景，或经过病害识别跟踪模块处理的结果视频。人机交互模块基于人机交互，使得人工可以对于检测过程中信息保存模块的保存工作进行干预。位置模块利用GPS技术获取图像采集模块的位置，利用双目测距获得相机距离病害的距离，进而得到路面病害在世界坐标系下的坐标位置，同时能够根据识别到的车道位置，确定路面病害所在的车道位置，得到的车道位置用于后期分车道的路面评估工作。
总之，本方法将人机交互与深度学习应用于路面健康检测，将传统的人工检测与计算机视觉检测结合在一起，形成优势互补，即提高了人工检测的工作效率，还提高了计算机视觉检测的准确率，便利了路面健康检测的检测工序，响应当下道路交通的预防性养护政策。
附图说明
图1为本发明基于人机交互和深度学习的路面健康检测系统的架构示意图。
图2为本发明基于人机交互和深度学习的路面健康检测系统中检测路面健康时的场景示意图。
图3为本发明基于人机交互和深度学习的路面健康检测“元”方法的流程图。
图4为本发明中通过人机交互模块4进行纠正的流程图。
图中，1图像采集模块、2放映模块、3病害识别跟踪模块、4人机交互模块、5定位模块、6信息保存模块。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请的保护范围。
本发明基于人机交互和深度学习的路面健康检测“元”方法，该方法包括以下内容：
以下统一符号：X为图像坐标系下目标框的中心点横坐标，Y为图像坐标系下目标框的中心点纵坐标，W为图像坐标系下目标框的宽度值，H为图像坐标系下目标框的高度值。X′为图像坐标系下矩形框的中心点横坐标，Y′为图像坐标系下矩形框的中心点纵坐标，W′为图像坐标系下矩形框的宽度值，H′为图像坐标系下矩形框的高度值。以帧图像的左上顶点为原点，向下为Y轴正方向，以向右为X轴正方向，建立图像坐标系。
固定在车辆发动机罩的前方并保证不会影响车辆的正常行驶的位置安装图像采集模块1，图像采集模块1采用双目相机，并进行双目标定与双目矫正；由坐在车内的人工佩戴放映模块2；双目相机通过数据线连接到放映模块2，双目相机的左右目所拍摄的路面场景视频分别经过放映模块2放映于人的左右眼；定位模块5安装在双目相机附近，用于获取路面病害目标的位置信息，位置信息包括世界坐标系下路面病害的坐标位置和车道位置；
构建路面病害数据集：前期的路面病害帧图像的收集时不封闭交通，车辆开动并行驶在路幅的中间车道，并能够保证双目相机能够拍摄到所在路幅全貌，通过放映模块2看到双目相机所捕获的实时路面场景视频，当看到各类路面病害进入视野时人工选择保存，收集到路面病害帧图像，对所保存的路面病害帧图像进行数据增强以及标注病害位置处理，进而构建路面病害数据集；
病害识别跟踪模块3包括识别单元与跟踪单元，使用构建的路面病害数据集训练得到路面病害识别模型，路面病害识别模型加载到识别单元，并且同步到跟踪单元；
进行路面健康检测，双目相机拍摄路面场景视频，识别单元实时处理路面场景视频，识别病害，在确定目标以后，利用跟踪单元对于每一个目标都进行跟踪并初始化一个跟踪器，后续路面场景视频中检测到的路面病害目标经过IOU匹配和级联匹配跟踪到前几十帧的路面场景视频中所检测到的目标。并且对检测到的每一个目标框都添加一个判断，目标框接触到帧图像底边时(即Y＝帧宽-H/2)，利用定位模块5得到目标框中病害目标的位置信息，信息保存模块6自动保存路面病害帧图像以及位置信息。
人工通过放映模块2对于跟踪单元获得的结果进行判断，若结果正确，目标框接触到帧图像底边时(即Y＝帧宽-H/2)，利用定位模块5得到目标框中病害目标的位置信息，信息保存模块6自动保存路面病害帧图像以及位置信息；若结果误判，通过人机交互模块4进行纠正，人工对目标框进行删除操作；
若路面病害识别模型未识别出路面病害，人工通过放映模块2对图像采集模块1实时采集的路面场景视频判断为存在路面病害，则对目标进行添加操作，并在路面场景视频中的病害位置添加矩形框，该矩形框通过跟踪单元实时跟踪框内的目标。并且对检测到的每一个矩形框都添加一个判断，矩形框接触到帧图像底边时(即Y′＝帧宽-H′/2)，利用定位模块5得到矩形框中病害目标的位置信息，信息保存模块6自动保存路面病害帧图像以及位置信息；本发明一种基于人机交互和深度学习的路面健康检测系统(参见图1)包括图像采集模块1、放映模块2、病害识别跟踪模块3、人机交互模块4、定位模块5以及信息保存模块6。
所述图像采集模块1用于前期采集路面病害帧图像，制作路面病害数据集，还用于检测过程中拍摄实时的路面场景视频；收集路面病害数据集时，人工能够通过放映模块2看到拍摄到的路面场景视频并且自主保存路面病害帧图像；
所述病害识别跟踪模块3，基于深度学习，在检测过程中对于图像采集模块1所拍摄到的路面场景视频进行检测和跟踪，包括识别单元和跟踪单元，识别单元内加载有路面病害识别模型，用于识别路面病害目标；跟踪单元用于对识别到的目标进行跟踪；
所述放映模块2基于虚拟现实，使得人工看到的结果是真实的路面场景，或者是经过病害识别跟踪模3块处理的结果视频；
所述人机交互模块4，基于人机交互和虚拟现实，使得人工能对于检测过程中信息保存模块6的保存工作进行干预；在检测过程中人工可以对于病害识别跟踪模块3识别的实时结果进行干预，进行添加操作或者删除操作；
所述信息保存模块6，用于分别保存检测到的路面病害帧图像以及位置信息，用于后期路面养护评估及更新路面病害数据集，所述位置信息包括世界坐标系下路面病害的坐标位置和车道位置；
所述定位模块5，基于GPS定位技术和深度学习，负责计算位置信息，位置信息包括世界坐标系下路面病害的坐标位置和车道位置。
如图1所示，定位模块5与图像采集模块1相连接，并且能够收到病害识别跟踪模块3和人机交互模块4的指令，负责计算位置信息。图像采集模块1与病害识别跟踪模块3相连接，将捕捉到的路面场景视频传递给病害识别跟踪模块3。病害识别跟踪模块3与图像采集模块1相连接，接收图像采集模块1传递过来的路面场景视频，还与人机交互模块4相连接，接收人机交互模块4传递过来的命令。病害识别跟踪模块3检测路面场景视频得到检测结果，将检测结果实时的传递到放映模块2与信息保存模块6进行放映和保存。人机交互模块4与信息保存模块6相连接，能够干预信息保存模块6的保存工作。信息保存模块6所得到的路面病害帧图像又被用于路面病害数据集的扩充。
图像采集模块1不仅用于前期的路面病害数据集的收集，而且用于检测过程中拍摄实时的路面场景视频。前期通过图像采集模块1采集实时路面场景视频，人工可以通过放映模块2看到实时的路面场景视频，并通过人机交互模块4自主进行路面病害帧图像的保存，获得路面病害数据集。检测路面健康时，图像采集模块1用于拍摄实时的路面场景视频，并将其传递给病害识别跟踪模块3进行处理。
在前期初步采集完路面病害帧图像之后，为了增加数据集数量，增强路面病害识别模型对于有阴影病害的识别能力，在路面病害帧图像中挑选出部分有阴影病害的帧图像和无阴影病害的帧图像，分别进行消除或添加阴影，消除和添加阴影的数据增强方法具体为：a)对于有阴影病害的帧图像进行最大滤波处理，获得帧图像的最大滤波图像来增强背景，之后再对最大滤波图像进行最小滤波处理，获得最小滤波图像，最后使用原图片(即有阴影病害的帧图像)减去最小滤波图像，实现去除阴影增强图片的效果，获得消除阴影的图像。b)对于无阴影病害的帧图像，将像素值除以255归一化到[0,1]，然后使用函数cvtColor进行色彩空间的转换，接下来根据灰度图像线性变换来减少亮度分量，最后转换回RGB色彩空间，实现添加阴影增强图片的效果，获得添加阴影的图像。
对保存的所有路面病害帧图像、添加阴影的图像、消除阴影的图像使用labelImg进行标注，标注的目标包括11类路面病害，进而得到所有图像对应的所有txt文件，利用txt文件和对应的图像建立路面病害数据集，也就是路面病害数据集中的每个图像都是带有目标框的路面病害帧图像，路面病害数据集中每种路面病害图像的数量大致相等，且数量足够多。
病害识别跟踪模块3包括识别单元和跟踪单元，识别单元内加载有路面病害识别模型，路面病害数据集用于训练路面病害识别模型，在进行实时路面健康检测时，病害识别跟踪模块3能够实时获取图像采集模块1拍摄到的路面场景视频并对其进行处理，病害识别跟踪模块3不仅有识别单元用于识别路面病害，还有跟踪单元对于识别到的目标进行跟踪。
所述路面病害识别模型是通过路面病害数据集训练，并经过稀疏化处理的Fleet(快速的)-YOLOv5模型，设置四层自适应预锚框检测层，第一层检测层的初始值为[5,6,8,15,16,11]，检测层的这六个数每两个是一组，分别代表预锚框的长度值和宽度值，第一层检测层是用来检测图像中小物体的锚框，该第一层检测层的设置充分考虑到检测过程中路幅较宽，路面病害目标相对较小的实际情况，能够最小化在检测期间人工的工作量并提高模型的准确率。
在模型Fleet-YOLOv5的训练阶段根据路面病害数据集中的目标框进行k-means聚类和遗传算法计算得到自适应预锚框值(包括长度值和宽度值)。在预测阶段，根据自适应预锚框值在图像中生成多个目标框。
使用YOLOv5s.pt作为预训练模型，通过添加L1正则来约束BN层系数，使得系数稀疏化，通过稀疏训练(大约100个周次的训练)后，裁剪掉稀疏很小的层(BN层参数逐渐从正态分布趋向于0附近，稀疏很小的层指正态分布趋向于0的部分)，反复迭代这个过程，能够减少预训练模型层的输入与输出的通道数，获得一个更加轻量的YOLOv5s模型，即Fleet-YOLOv5模型。
Fleet-YOLOv5模型以YOLOv5s.pt为基础，第0层为Focus层，具有八个C3模块层(即CSP模块)和一个SPP模块层，在最后六个C3模块层和SPP模块层中均添加L1正则来约束BN层系数，并通过稀疏训练裁剪掉稀疏很小的层，改变了YOLOv5s.pt之中的最后六个C3模块层和一个SPP模块层的通道数，具体指整个YOLOv5s.pt模型的第6、9、13、17、20、23层的C3模块层的通道数和第8层的SPP模块层的通道数。
本发明通过设定裁剪阈值为20％，获得的Fleet-YOLOv5模型的大小相对于YOLOv5s.pt，模型的大小由原来的14M下降到了10M，运行过程中带来的参数数量和浮点数运算相对于原模型更少，可以实现在识别单元上满足检测对每秒传输帧数的要求,同时保证了准确率和召回率。利用路面病害数据集对Fleet-YOLOv5模型进行训练，获得最终的路面病害识别模型，识别单元加载上述的训练好的Fleet-YOLOv5模型，即路面病害识别模型，在识别到11类路面病害目标时会在路面场景视频上病害位置新建一个目标框，并且标注有病害的种类和置信度，即通过Fleet-YOLOv5模型能够确定目标，且为每个目标都标注了目标框。
所述的跟踪单元将Fleet-YOLOv5模型同步到DeepSort多目标跟踪算法，在确定路面病害目标以后，对于每一个目标都进行跟踪并初始化一个跟踪器，后续路面病害帧图像检测到的路面病害目标经过IOU匹配和级联匹配跟踪到前几十帧(20-35帧)的路面场景视频中所检测到的目标，这样保证了检测到的目标上下帧之间的联系，确保了目标的唯一性。并且对检测到的每一个目标框都添加一个判断，目标框接触到帧图像底边时(即Y＝帧宽-H/2)，信息保存模块6自动保存路面病害帧图像以及位置信息。
可选地，可以使用opencv中的cv2.imwrite()函数保存路面病害帧图像。像这样每当一个新的病害目标出现在帧图像中时，就仅会保存一个帧图像，不会造成帧图像的重复，后续由之前双目相机的相机标定对于帧图像中的病害进行量化工作。
放映模块2与病害识别跟踪模块3相连接，人工可以辅助判断病害识别跟踪模块3的识别结果，将病害识别跟踪模块3的处理结果放映在人工眼前，坐在汽车副驾驶上的人工，看到的是图像采集模块1实时拍摄的经过病害识别跟踪模块3实时处理过的视频结果，这样给佩戴设备的人工一种沉浸式体验，即所谓的“元”方法。基于虚拟现实的原理，利用高准确率模型自动识别路面场景视频中的路面病害，可以提示人工计算机视觉对于路面场景视频的识别结果，省去了人眼大部分的寻找病害的工作，不仅减少了人工检测的工作负担，还提高了人工的工作效率。放映模块2可以采用VR眼镜实现。
人机交互模块4与病害识别跟踪模块3和信息保存模块6相连接，人工可以纠正病害识别跟踪模块3的识别结果，并且干预信息保存模块6的保存工作，主要包括删除操作和添加操作，这样路面病害的识别结果经过人工和计算机视觉的双重验证，错误率接近于零，不仅能够实时的删除误判为存在病害的目标框，而且能够添加未被计算机视觉识别出病害的矩形框。人机交互模块4主要包括红外眼球追踪单元、处理单元(用于进行数据处理)和控制单元(类似于遥控器进行相应的控制操作)。
如图4为本发明中人工纠正的过程图：
识别单元识别到路面病害，在路面场景视频中病害位置添加目标框，人工通过放映模块2对于计算机视觉的结果(添加目标框的位置)进行判断，若结果正确，继续通过跟踪单元实时跟踪目标框内的目标；若结果误判，人工通过控制单元对目标框进行删除操作。
识别单元未识别出路面病害，人工通过放映模块2对图像采集模块1实时采集路面场景视频判断为存在路面病害，则通过控制单元对目标进行添加操作，并在路面场景视频中的病害位置添加矩形框，该矩形框通过跟踪单元实时跟踪框内的目标。
识别单元将其他物体误判为路面病害时，进行的删除操作具体为：a)通过安装在放映模块2上的人眼前方的红外眼球追踪单元，定位人工眼球位置和形状信息并将其发送至处理单元；b)处理单元根据当前放映模块2放映的视频帧高和帧宽以及步骤a中的眼球位置和形状信息，实时在视频中新建一个与人眼的位置和状态对应的一定大小和位置的矩形框，该矩形框足够小(不能比目标框大太多)且能够包围目标框；c)设定一个IOU阈值(0.7-0.8左右)，当步骤b中的矩形框与病害识别跟踪模块3跟踪到的目标框的IOU超过IOU阈值时，目标框即被选中；d)由控制单元对于当前选中的目标框进行删除操作。
识别单元未识别出路面病害时，进行的添加操作具体为：a)通过安装在放映模块2上的人眼前方的红外眼球追踪单元，定位人工眼球位置和形状信息并将其发送至处理单元；b)处理单元根据当前放映模块2放映的视频帧高和帧宽以及步骤a中的眼球位置信息，实时在视频中新建一个与人眼的位置和状态对应的一定大小和位置的矩形框，该矩形框足够小且能够包围路面场景视频中的路面病害；c)步骤b中新添加的矩形框包围到的路面病害作为跟踪目标，利用跟踪单元进行跟踪。
病害识别跟踪模块3识别和人机交互模块4纠正后，当目标框或矩形框接触到帧图像底边时(即Y＝帧宽-H/2或Y′＝帧宽-H′/2)，定位模块5计算路面病害帧图像中目标框和矩形框所包围的路面病害的位置信息，位置信息包括世界坐标系下路面病害的坐标位置和车道位置。利用GPS技术获取图像采集模块1的位置，利用双目测距获得相机距离病害的距离，进而得到路面病害世界坐标系下的坐标位置。同时识别到车道的车道线位置，确定路面病害的车道位置，得到的车道位置用于后期分车道的路面健康评估工作。定位模块5包括GPS单元、方向单元，定位模块5和双目相机连接，在双目相机的位置添加GPS单元和方向单元，方向单元检测双目相机的角度方位，可以采用角度位移传感器等实现，GPS单元利用GPS定位技术实现。
获得路面病害坐标位置的步骤：a)双目标定以及双目校正，得到两个摄像头的内部参数，以及右摄像头相对于左摄像头的平移向量t和旋转矩阵R，并调整使得左右视图的成像原点坐标一致；b)双目匹配，把同一场景在左右视图上对应的像点匹配起来；c)当目标框或矩形框接触到帧图像底边时(即Y＝帧宽-H/2或Y′＝帧宽-H′/2)，计算双目相机到帧图像上图像坐标系下目标框中心(X，Y)或者图像坐标系下矩形框中心(X’，Y’)的距离；d)根据在双目相机的位置添加GPS单元获取其世界坐标系下坐标位置；e)在上述双目相机的位置添加方向单元，获得世界坐标系下双目相机的角度方位与东西南北正方向的锐角夹角；f)根据步骤e得到锐角夹角的正余弦值乘以步骤c得到的距离，再叠加上步骤d得到的双目相机的世界坐标系下坐标位置，就得到了帧图像中的路面病害目标世界坐标系下的坐标位置；
获得路面病害车道位置的步骤：a)双目标定以及双目校正，得到两个摄像头的内部参数，以及右摄像头相对于左摄像头的平移向量t和旋转矩阵R，并调整使左右视图的成像原点一致；b)读取图像采集模块1拍摄的RGB三通道格式的图片；c)利用HSV空间提取黄像素点，利用灰度空间提取白像素点；d)采用最小二乘法将所提取的黄像素点和白像素点分别拟合成多条曲线；e)返回步骤d拟合的每一条曲线在图像坐标系下纵坐标取最大值时横坐标，多条曲线获得多个横坐标，如X1，X2，X3，X4等等，X1，X2，X3，X4依次递增，考虑到工程实际与要求，每隔三帧更新一次交点横坐标，获得的各车道的边界位置，此横坐标即为曲线的反向(即沿Y轴正方向)延长线与帧图像的左下右三边的交点的横坐标；f)由跟踪单元跟踪到目标框包围的目标和矩形框包围的目标，获得目标框的参数(X，Y，W，H)和矩形框的参数(X′，Y′，W′，H′)，当目标框或矩形框接触到帧图像底边时(即Y＝帧宽-H/2或Y′＝帧宽-H′/2)，根据目标框或矩形框的中心点横坐标和宽度值与步骤e的获得的各车道的边界位置关系判断病害所在车道位置；
具体地，以步骤e获得四个横坐标，车道总数为三时的目标框为例(横坐标依次记为X1，X2，X3，X4，且X1，X2，X3，X4依次递增，以X1，X2，X3，X4作为四个车道线图像坐标系下的横坐标边界)。此时病害所在车道位置的判断过程为：
X1≤X-W/2＜X+W/2≤X2＜X3＜X4则病害位丁左边第一车道，记为L1：
X1＜X2≤X-W/2＜X+W/2≤X3＜X4则病害位于左边第二车道，记为L2：
X1＜X2＜X3≤X-W/2＜X+W/2≤X4则病害位于左边第三车道，记为L3：
X1≤X-W/2＜X2＜X+W/2≤X3＜X4则病害位于左边第一二车道，记为L12：
X1＜X2≤X-W/2＜X3＜X+W/2≤X4则病害位于左边第二三车道，记为L23：
X1≤X-W/2＜X2＜X3＜X+W/2≤X4则病害位于左边第一二三车道，记为L123：
其他车道数和矩形框的情况以此类推。
当目标框或矩形框接触到帧图像底边时(即Y＝帧宽-H/2或Y′＝帧宽-H′/2)，信息保存模块6自动保存路面病害帧图像和定位模块5获得的位置信息。信息保存模块6分别建立了12个路面病害保存单元，前11单元用于检测过程中保存病害识别跟踪模块3识别到的11类现行规范所包含种类的路面病害帧图像，第12单元保存人工辅助检测出的计算机视觉未检测出的路面病害帧图像。其中11类路面病害种类包括龟裂、块状裂缝、纵向裂缝、横向裂缝、坑槽、松散、沉陷、车辙、波浪拥包、泛油以及修补。能够分别自动记录不同种类的路面病害帧图像及位置信息，后期只需要对于人工辅助检测出的计算机视觉未检测出的路面病害帧图像进行分类，便利了路面健康的评估工作。
12个路面病害保存单元不仅保存路面病害帧图像，还分别保存帧图像中病害目标世界坐标系下的坐标位置以及车道位置。最后将第12单元的添加的路面病害帧图像经过分拣至前11类路面病害中去，并将新得到的这11类路面病害帧图像经过labelImg得到对应的txt文件，再添加到路面病害数据集中去，这样不断地迭代，使得路面病害数据集的数量不断增加，模型的鲁棒性和泛化能力不断增强。
本发明的工作流程是：
图3为本发明基于人机交互和深度学习的路面健康检测“元”方法的流程图，具体过程是：双目相机采集路面病害数据集，用于训练Fleet-YOLOv5模型，训练得到的Fleet-YOLOv5模型用于病害识别与跟踪，在进行检测时，双目相机拍摄路面场景视频，将视频输出到训练得到的Fleet-YOLOv5模型中进行病害识别与跟踪，人工可以对于病害识别跟踪模块3识别的实时结果进行干预，进行添加操作或者删除操作，即通过人机交互进行纠正，判断坐标位置与车道位置，人工通过放映模块2放映实时结果，并保存路面病害帧图像与位置信息，将保存的路面病害帧图像与位置信息更新路面病害数据集，进而用于实现对Fleet-YOLOv5模型的更新。
如图2为本方法检测路面健康时的场景示意图，图中10指的是图像采集模块1(即双目相机)以及定位模块5，图中20包括人机交互模块4、放映模块2、信息保存模块6以及病害识别跟踪模块3。
图像采集模块1由一台双目相机实现，固定在汽车发动机罩的前方并保证不会影响车辆的正常行驶，并进行双目标定与双目矫正。放映模块2由坐在副驾驶上的人工佩戴。双目相机通过数据线连接到放映模块2，双目相机的左右目所拍摄的路面场景视频分别经过放映模块2放映于人的左右眼。
前期的路面病害数据图像的收集时不封闭交通，汽车开动并行驶在路幅的中间车道(对于奇数车道行驶在中间的一条车道，对于偶数车道行驶在中间两条车道其中之一)，并能够保证双目相机能够拍摄到所在路幅全貌，人工坐在副驾驶位置并通过放映模块2看到双目相机所捕获的实时路面场景视频，当看到所述的11类路面病害进入视野，通过控制单元选择保存路面病害帧图像。所述的11类路面病害包括龟裂、块状裂缝、纵向裂缝、横向裂缝、坑槽、松散、沉陷、车辙、波浪拥包、泛油以及修补。
检测路面健康时不封闭交通，汽车开动并行驶在路幅的中间车道(对于奇数车道行驶在中间的一条车道，对于偶数车道行驶在中间两条车道其中之一)，并能够保证双目相机能够拍摄到所在路幅全貌，人工坐在副驾驶位置并通过放映模块2看到经过病害识别跟踪模块3处理的结果视频，并且通过人机交互模块4对于结果进行实时的纠正，定位模块5实时获取位置信息，最后信息保存模块6保存路面病害帧图像和病害目标的位置信息。
本发明未述及之处适用于现有技术。
Claims (9)
1.一种基于人机交互和深度学习的路面健康检测方法，其特征在于，该方法包括以下内容：
图像采集模块固定在车辆发动机罩的前方，且图像采集模块的安装位置保证不会影响车辆的正常行驶，图像采集模块采用双目相机，并进行双目标定与双目矫正；由坐在车内的人工佩戴放映模块；双目相机通过数据线连接到放映模块，双目相机的左右目所拍摄的路面场景视频分别经过放映模块放映于人的左右眼；定位模块安装在双目相机附近；
构建路面病害数据集：前期的路面病害帧图像的收集时不封闭交通，车辆开动并行驶在路幅的中间车道，并能够保证双目相机能够拍摄到所在路幅全貌，通过放映模块看到双目相机所捕获的实时路面场景视频，当看到各类路面病害进入视野时人工选择保存，收集到路面病害帧图像，对所保存的路面病害帧图像进行数据增强以及标注病害位置处理，进而构建路面病害数据集；
病害识别跟踪模块包括识别单元与跟踪单元，使用构建的路面病害数据集训练得到路面病害识别模型，路面病害识别模型加载到识别单元，并且同步到跟踪单元，所述识别单元用于识别路面病害目标；跟踪单元用于对识别到的目标进行跟踪；
进行路面健康检测，双目相机拍摄路面场景视频，识别单元实时处理路面场景视频，识别病害，在确定目标以后，利用跟踪单元对于每一个目标都进行跟踪并初始化一个跟踪器，后续路面场景视频中检测到的路面病害目标经过IOU匹配和级联匹配跟踪到前几十帧的路面场景视频中所检测到的目标；并且对检测到的每一个目标框都添加一个判断，判断目标框是否接触到帧图像底边，当目标框接触到帧图像底边时利用定位模块得到目标框中病害目标的位置信息，信息保存模块自动保存路面病害帧图像以及位置信息；
人工通过放映模块对于跟踪单元获得的结果进行判断，若结果正确，且目标框接触到帧图像底边时，利用定位模块得到目标框中病害目标的位置信息，信息保存模块自动保存路面病害帧图像以及位置信息；若结果误判，通过人机交互模块进行纠正，人工对目标框进行删除操作；
若路面病害识别模型未识别出路面病害，人工通过放映模块对图像采集模块实时采集的路面场景视频判断为存在路面病害，则对目标进行添加操作，并在路面场景视频中的病害位置添加矩形框，该矩形框通过跟踪单元实时跟踪框内的目标；并且对检测到的每一个矩形框都添加一个判断，判断矩形框是否接触到帧图像底边，当矩形框接触到帧图像底边时，利用定位模块得到矩形框中病害目标的位置信息，信息保存模块自动保存路面病害帧图像以及位置信息；
所述位置信息包括世界坐标系下路面病害的坐标位置和车道位置。
2.根据权利要求1所述的基于人机交互和深度学习的路面健康检测方法，其特征在于，构建路面病害数据集的具体过程是：
通过图像采集模块拍摄实时的路面场景视频，人工通过放映模块看到实时的路面场景视频，并通过人机交互模块自主进行路面病害帧图像的保存，获得多个路面病害帧图像；
在前期初步采集完路面病害帧图像之后，为了增加路面病害数据集的数量，增强路面病害识别模型对于有阴影病害的识别能力，在多个路面病害帧图像中挑选出部分有阴影病害的帧图像和无阴影病害的帧图像，分别进行消除或添加阴影，消除和添加阴影的数据增强方法具体为：
步骤a对于有阴影病害的帧图像进行最大滤波处理，获得帧图像的最大滤波图像来增强背景，之后再对最大滤波图像进行最小滤波处理，获得最小滤波图像，最后使用有阴影病害的帧图像减去最小滤波图像，实现去除阴影增强图片的效果，获得消除阴影的图像；
步骤b 对于无阴影病害的帧图像，将像素值除以255归一化到[0,1]，然后使用函数cvtColor进行色彩空间的转换，接下来根据灰度图像线性变换来减少亮度分量，最后转换回RGB色彩空间，实现添加阴影的增强图片的效果，获得添加阴影的图像；
对保存的所有路面病害帧图像、添加阴影的图像、消除阴影的图像使用labelImg进行标注，标注的目标包括11类路面病害，进而得到所有图像对应的所有txt文件，利用txt文件和对应的图像建立路面病害数据集，也就是路面病害数据集中的每个图像都是带有目标框的路面病害帧图像，路面病害数据集中每种路面病害帧图像的数量大致相等，且数量足够多；
所述11类路面病害，包括龟裂、块状裂缝、纵向裂缝、横向裂缝、坑槽、松散、沉陷、车辙、波浪拥包、泛油以及修补。
3.根据权利要求1所述的基于人机交互和深度学习的路面健康检测方法，其特征在于，所述病害识别跟踪模块使用稀疏化的Fleet-YOLOv5模型，跟踪单元采用DeepSort算法，同时将Fleet-YOLOv5模型同步到DeepSort算法分别跟踪识别到的目标；
设置四层自适应预锚框检测层，第一层检测层的初始值为[5,6, 8,15, 16,11]，检测层的这六个数每两个是一组，分别代表预锚框的长度值和宽度值，第一层检测层是用来检测图像中小物体的锚框，在模型Fleet-YOLOv5的训练阶段根据路面病害数据集中的目标框进行k-means聚类和遗传算法计算得到自适应预锚框值；在预测阶段，根据自适应预锚框值在图像中生成多个目标框；
Fleet-YOLOv5模型以YOLOv5s.pt为基础，第0层为Focus层，具有八个C3模块层和一个SPP模块层，在最后六个C3模块层和SPP模块层中均添加L1正则来约束BN层系数，并设定裁剪阈值为20%，通过稀疏训练裁剪掉稀疏很小的层，改变了YOLOv5s.pt之中的最后六个C3模块层和一个SPP模块层的通道数，具体指整个YOLOv5s.pt模型的第6、9、13、17、20、23层的C3模块层的通道数和第8层的SPP模块层的通道数；
利用路面病害数据集对Fleet-YOLOv5模型进行训练，获得最终的路面病害识别模型，识别单元加载上述的训练好的Fleet-YOLOv5模型，在识别到不同种类路面病害目标时会在原路面场景视频上病害位置新建一个目标框，并且标注有病害的种类和置信度，即通过Fleet-YOLOv5模型能够确定目标，且为每个目标都标注了目标框。
4.根据权利要求1所述的基于人机交互和深度学习的路面健康检测方法，其特征在于，进行删除操作的具体过程是：
步骤a 通过安装在放映模块上的人眼前方的红外眼球追踪单元，定位人工眼球位置和形状信息并将其发送至处理单元；
步骤b 处理单元根据当前放映模块放映的视频帧高和帧宽以及步骤a中的眼球位置和形状信息，实时在视频中新建一个与人眼的位置和状态对应的一定大小和位置的矩形框，该矩形框足够小且能够包围目标框；
步骤c 设定一个IOU阈值，当步骤b中的矩形框与跟踪到的目标框的IOU超过IOU阈值时，目标框即被选中；
步骤d 由控制单元对于当前选中的目标框进行删除操作；
进行添加操作的具体过程是：
步骤a 通过安装在放映模块上的人眼前方的红外眼球追踪单元，定位人工眼球位置和形状信息并将其发送至处理单元；
步骤b 处理单元根据当前放映模块放映的视频帧高和帧宽以及步骤a1中的眼球位置信息，实时在视频中新建一个与人眼的位置和状态对应的一定大小和位置的矩形框，该矩形框足够小且能够包围路面场景视频中的路面病害；
步骤c 步骤b中新添加的矩形框包围到的路面病害作为跟踪目标，利用跟踪单元进行跟踪。
5.根据权利要求1所述的基于人机交互和深度学习的路面健康检测方法，其特征在于，所述坐标位置的计算过程是：利用GPS技术获取图像采集模块的位置，利用双目测距获得相机距离病害目标的距离，进而得到病害目标世界坐标系下的坐标位置；具体为：
步骤a双目标定以及双目校正，得到两个摄像头的内部参数，以及右摄像头相对于左摄像头的平移向量 t和旋转矩阵R，并调整使得左右视图的成像原点坐标一致；
步骤b双目匹配，把同一场景在左右视图上对应的像点匹配起来；
步骤c 当目标框或矩形框接触到帧图像底边时，计算双目相机到帧图像上图像坐标系下目标框中心或者图像坐标系下矩形框中心的距离；
步骤d 根据在双目相机的位置添加GPS单元获取双目相机世界坐标系下的位置坐标；
步骤e 在双目相机的位置添加方向单元，获得世界坐标系下双目相机的角度方位与东西南北正方向的锐角夹角；
步骤f根据步骤e得到锐角夹角的正余弦值乘以步骤c得到的距离，再叠加步骤d得到的双目相机的世界坐标系下位置坐标，就得到了帧图像中的路面病害目标世界坐标系下的位置坐标。
6.根据权利要求1所述的基于人机交互和深度学习的路面健康检测方法，其特征在于，
车道位置计算的过程是：
步骤a双目标定以及双目校正，得到两个摄像头的内部参数，以及右摄像头相对于左摄像头的平移向量 t和旋转矩阵R，并调整使左右视图的成像原点一致；
步骤b读取图像采集模块拍摄的RGB三通道格式的图片；
步骤c利用HSV空间提取黄像素点，灰度空间提取白像素点；
步骤d采用最小二乘法将所提取的黄像素点和白像素点分别拟合成多条曲线；
步骤e以帧图像的左上顶点为原点，向下为Y轴正方向，向右为X轴正方向建立图像坐标系，获得步骤d拟合的每一条曲线在图像坐标系下纵坐标取最大值时的横坐标，多条曲线获得多个横坐标，进而获得的各车道的边界位置，且每隔三帧更新一次横坐标；
步骤f由跟踪单元跟踪到目标框包围的目标和矩形框包围的目标，获得目标框的参数
和矩形框的参数
，目标框或矩形框接触到帧图像底边时即
或
，根据目标框或矩形框的中心点横坐标和宽度值与步骤e的获得的各车道的边界位置关系判断病害所在的车道位置；
其中，
为图像坐标系下目标框的中心点横坐标，Y为图像坐标系下目标框的中心点纵坐标，W为图像坐标系下目标框的宽度值，H为图像坐标系下目标框的高度值；
为图像坐标系下矩形框的中心点横坐标，
为图像坐标系下矩形框的中心点纵坐标，
为图像坐标系下矩形框的宽度值，
为图像坐标系下矩形框的高度值。
7.根据权利要求6所述的基于人机交互和深度学习的路面健康检测方法，其特征在于，
以步骤e获得四个横坐标，车道总数为三时的目标框为例，横坐标依次记为
，且
依次递增，以
作为四个车道线图像坐标系下的横坐标边界，此时病害所在车道位置的判断过程为：
8.一种基于人机交互和深度学习的路面健康检测系统，其特征在于，采用权利要求1所述的基于人机交互和深度学习的路面健康检测方法，该检测系统包括图像采集模块、放映模块、病害识别跟踪模块、人机交互模块、定位模块以及信息保存模块；
所述图像采集模块用于前期采集路面病害帧图像，制作路面病害数据集，还用于检测过程中拍摄实时的路面场景视频；收集路面病害数据集时，人工能够通过放映模块看到拍摄到的路面场景视频并且自主保存路面病害帧图像；
所述病害识别跟踪模块，在检测过程中对于图像采集模块所拍摄到的路面场景视频进行检测和跟踪，包括识别单元和跟踪单元，识别单元内加载有路面病害识别模型，用于识别路面病害目标；跟踪单元用于对识别到的目标进行跟踪；
所述放映模块基于虚拟现实，使得人工看到的结果是真实的路面场景，或者是经过病害识别跟踪模块处理的结果视频；
所述人机交互模块，基于人机交互，使得人工能对于检测过程中信息保存模块的保存工作进行干预；
所述信息保存模块，用于分别保存检测到的路面病害帧图像和位置信息，用于后期路面养护评估及更新路面病害数据集，所述位置信息包括世界坐标系下路面病害的坐标位置和车道位置；
所述定位模块，基于GPS定位技术和深度学习，负责计算位置信息，位置信息包括世界坐标系下路面病害的坐标位置和车道位置。
9.根据权利要求8所述的基于人机交互和深度学习的路面健康检测系统，其特征在于，定位模块与图像采集模块相连接，并且能够收到病害识别跟踪模块和人机交互模块的指令，负责计算位置信息；图像采集模块与病害识别跟踪模块相连接，将捕捉到的路面场景视频传递给病害识别跟踪模块；同时病害识别跟踪模块与图像采集模块相连接，接收图像采集模块传递过来的路面场景视频，还与人机交互模块相连接，接收人机交互模块传递过来的命令；病害识别跟踪模块检测路面场景视频得到检测结果，将检测结果实时的传递到放映模块与信息保存模块进行放映和保存；人机交互模块与信息保存模块相连接，能够干预信息保存模块的保存工作；信息保存模块所得到的路面病害帧图像又被用于路面病害数据集的扩充。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210400887.8A CN114495068B (zh) | 2022-04-18 | 2022-04-18 | 基于人机交互和深度学习的路面健康检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210400887.8A CN114495068B (zh) | 2022-04-18 | 2022-04-18 | 基于人机交互和深度学习的路面健康检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114495068A CN114495068A (zh) | 2022-05-13 |
| CN114495068B true CN114495068B (zh) | 2022-07-08 |
Family
ID=81489541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210400887.8A Active CN114495068B (zh) | 2022-04-18 | 2022-04-18 | 基于人机交互和深度学习的路面健康检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114495068B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100207B (zh) * | 2022-08-26 | 2022-11-08 | 北京恒新天创科技有限公司 | 一种基于机器视觉的检测系统及检测方法 |
| CN116797436B (zh) * | 2023-08-29 | 2023-10-31 | 北京道仪数慧科技有限公司 | 一种利用公交车辆进行道路病害巡检的处理系统 |
| CN117237925B (zh) * | 2023-11-16 | 2024-02-13 | 南京萨利智能科技有限公司 | 一种基于计算机视觉的智慧道路病害巡检方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080620A (zh) * | 2019-12-13 | 2020-04-28 | 中远海运科技股份有限公司 | 一种基于深度学习的道路病害检测方法 |
| CN114089786A (zh) * | 2021-09-29 | 2022-02-25 | 北京航空航天大学杭州创新研究院 | 一种基于无人机视觉的沿山区公路自主巡检系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106920291B (zh) * | 2017-02-27 | 2019-08-23 | 上海大学 | 基于增强现实的结构表面巡检和分析系统 |
| CN107340298B (zh) * | 2017-06-29 | 2020-01-31 | 广西师范大学 | 基于摄像头路面检测的平衡车系统测控方法 |
| CN111310558B (zh) * | 2019-12-28 | 2023-11-21 | 北京工业大学 | 一种基于深度学习和图像处理法的路面病害智能提取方法 |
| CN111784657A (zh) * | 2020-06-29 | 2020-10-16 | 福建中航赛凡信息科技有限公司 | 一种基于数字图像的水泥路面病害自动识别的系统及方法 |
| CN112257549B (zh) * | 2020-10-19 | 2022-08-02 | 中国电子科技集团公司第五十八研究所 | 一种基于计算机视觉的楼面危险检测预警方法及系统 |
| CN112598672A (zh) * | 2020-11-02 | 2021-04-02 | 坝道工程医院(平舆) | 一种基于深度学习的路面病害图像分割方法和系统 |
| CN113962960A (zh) * | 2021-10-22 | 2022-01-21 | 西安电子科技大学 | 基于深度学习的路面病害检测方法 |
-
2022
- 2022-04-18 CN CN202210400887.8A patent/CN114495068B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080620A (zh) * | 2019-12-13 | 2020-04-28 | 中远海运科技股份有限公司 | 一种基于深度学习的道路病害检测方法 |
| CN114089786A (zh) * | 2021-09-29 | 2022-02-25 | 北京航空航天大学杭州创新研究院 | 一种基于无人机视觉的沿山区公路自主巡检系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114495068A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114495068B (zh) | 基于人机交互和深度学习的路面健康检测方法 | |
| WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、系统及设备 | |
| CN103716595B (zh) | 全景拼接摄像机和球机联动控制方法及装置 | |
| WO2018214195A1 (zh) | 一种基于卷积神经网络的遥感图像桥梁检测方法 | |
| CN111968129A (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN111199556B (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
| CN109934862A (zh) | 一种点线特征结合的双目视觉slam方法 | |
| CN105373135A (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN112598733B (zh) | 一种基于多模态数据融合补偿自适应优化的船舶检测方法 | |
| CN110210350A (zh) | 一种基于深度学习的快速停车位检测方法 | |
| CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
| CN105809626A (zh) | 一种自适应光线补偿的视频图像拼接方法 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| CN102831617A (zh) | 一种运动目标检测与跟踪的方法和系统 | |
| CN111797688A (zh) | 一种基于光流和语义分割的视觉slam方法 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
| CN106650701A (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN112446882A (zh) | 一种动态场景下基于深度学习的鲁棒视觉slam方法 | |
| CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| CN108198417A (zh) | 一种基于无人机的道路巡检系统 | |
| CN114677323A (zh) | 一种室内动态场景下基于目标检测的语义视觉slam定位方法 | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| CN114419421A (zh) | 一种基于影像的地铁隧道裂缝识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |