CN113240623A - 一种路面病害检测方法及装置 - Google Patents
一种路面病害检测方法及装置 Download PDFInfo
- Publication number
- CN113240623A CN113240623A CN202110291773.XA CN202110291773A CN113240623A CN 113240623 A CN113240623 A CN 113240623A CN 202110291773 A CN202110291773 A CN 202110291773A CN 113240623 A CN113240623 A CN 113240623A
- Authority
- CN
- China
- Prior art keywords
- disease
- pavement
- target
- information
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 406
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 406
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000003062 neural network model Methods 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 32
- 230000007547 defect Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000008439 repair process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000012423 maintenance Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种路面病害检测方法及装置。其中,该方法包括:获取待分析的路面病害图像;将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息;根据所述病害掩膜信息确定路面病害对应的目标几何参数信息;根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。采用本发明公开的路面病害检测方法,通过不同功能的深度学习算法相结合得到的混合神经网络对采集到的路面病害图像进行定位及分割,能够在不封闭道路的同时完成对路面病害进行智能识别与测量工作,提高道路维护效率的同时也降低了管理成本,有效提升了路面病害检测的可靠性和准确性。
Description
技术领域
本发明涉及计算机应用技术领域,具体涉及一种路面病害检测方法和装置。另外,还涉及一种电子设备及非暂态计算机可读存储介质。
背景技术
随着经济社会的快速发展,公共道路网络不断完善。如何在不封闭道路的同时快速对路面病害进行智能识别、检测、维护及管理工作成为道路建设领域的一项重要任务。早期的道路病害检测以传统的LBP、Gabor等纹理特征提取为主,在实际应用中往往表现不佳。近年来,随着深度学习技术的快速发展,以及物联网设备的大量使用,越来越多的深度学习技术得以在道路检测领域普及应用。深度学习技术可发挥从数据中学习表征的优势,提高道路病害的识别精度,能够在很大程度上节省了道路养护工作人员采取及时有效修补措施的时间,为道路病害发展趋势及养护决策提供第一手信息资料。
现有技术通常采用卷积神经网络和图像识别的方法对裂缝图像进行分类或者采用Gabor滤波器对缺陷进行纹理分析。然而,这几种检测方式无法得到具体的裂缝位置信息及几何信息,且应用条件有限,在实际应用上无法进行大规模采集。因此,如何基于深度学习技术实现快速、全面的路面病害检测,以提高路面病害检测效率和鲁棒性适应大规模检测需求成为本领域亟待解决的问题。
发明内容
为此,本发明提供一种路面病害检测方法及装置,以解决现有技术中存在的路面病害检测方法无法得到具体的裂缝位置信息及几何信息,且应用条件有限,在实际应用上无法进行大规模采集,导致检测效率和鲁棒性较差的问题。
本发明提供一种路面病害检测方法,包括:
获取待分析的路面病害图像;
将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息;
根据所述病害掩膜信息确定路面病害对应的目标几何参数信息;
根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
进一步的,所述将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息,具体包括:
将所述路面病害图像输入至目标检测网络模型,得到所述目标检测网络模型输出的病害定位信息;并根据所述病害定位信息对所述路面病害图像进行切分,得到包含病害特征的目标路面病害图像;
其中,所述目标检测网络模型是以原始路面病害图像为训练样本,以所述原始路面病害图像对应的实际病害定位信息为样本标签训练得到的;
将所述目标路面病害图像输入至目标语义分割网络模型进行处理,得到所述目标语义分割网络模型输出的病害掩膜信息。
进一步的,所述根据所述病害掩膜信息确定路面病害对应的目标几何参数信息,具体包括:将所述病害掩膜信息输入至预设的几何算法模型,得到所述几何算法模型输出的目标几何参数信息;其中,所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息中的至少一种。
进一步的,所述根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果,具体包括:将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息映射到所述路面病害图像中,输出相应的路面病害分析结果;所述病害的种类信息包含裂缝信息、坑槽信息以及修补信息中的至少一种。
进一步的,所述的路面病害检测方法,所述将所述路面病害图像输入至目标检测网络模型,得到所述目标检测网络模型输出的病害定位信息,具体包括:
将所述路面病害图像输入至视觉几何组卷积神经网络进行卷积特征提取,得到所述路面病害图像的卷积特征图;
将所述卷积特征图输入至区域提议网络进行筛选,输出目标提议框;
将所述目标提议框和所述卷积特征图输入至感兴趣区域最大池化层进行分类处理,并基于全卷积全链接层进行回归计算,获得所述目标提议框对应的识别结果;其中,所述识别结果包括所述目标提议框对应的坐标值、所述目标提议框坐标内的病害特征标签以及所述目标提议框内的病害特征标签为病害特征标签的置信度;
根据所述识别结果判断所述路面病害图像中病害特征的具体位置,输出相应的病害定位信息;其中,所述病害定位信息中包括病害的种类信息、病害特征标签与所述种类信息的病害特征标签的置信度以及病害在所述路面病害图像中对应的目标提议框信息。
进一步的,所述将所述病害掩膜信息输入至预设的几何算法模型,得到所述几何算法模型输出的目标几何参数信息,具体包括:
将所述病害掩膜信息输入至预设的几何算法模型按照预设的目标测量方法对路面病害的病害掩膜信息进行逆行运算,得到所述目标几何参数信息。
进一步的,所述将所述目标路面病害图像输入至目标语义分割网络模型进行处理,得到所述目标语义分割网络模型输出的病害掩膜信息,具体包括:
将所述目标路面病害图像输入至目标语义分割网络模型,通过卷积的方式逐一判断所述目标检测网络模型得到的所述目标路面病害图像中目标提议框内每个像素点是否为病害区域,得到与所述目标路面病害图像大小相同的病害掩膜特征图;将所述病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。
相应的,本发明还提供一种路面病害检测装置,包括:
路面病害图像获取单元,用于获取待分析的路面病害图像;
网络模型分析单元,用于将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息;
几何参数测量单元,用于根据所述病害掩膜信息确定路面病害对应的目标几何参数信息;
病害分析结果输出单元,用于根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
进一步的,所述网络模型分析单元,具体用于:
将所述路面病害图像输入至目标检测网络模型,得到所述目标检测网络模型输出的病害定位信息;并根据所述病害定位信息对所述路面病害图像进行切分,得到包含病害特征的目标路面病害图像;
其中,所述目标检测网络模型是以原始路面病害图像为训练样本,以所述原始路面病害图像对应的实际病害定位信息为样本标签训练得到的;
将所述目标路面病害图像输入至目标语义分割网络模型进行处理,得到所述目标语义分割网络模型输出的病害掩膜信息。
进一步的,所述几何参数测量单元,具体用于:将所述病害掩膜信息输入至预设的几何算法模型,得到所述几何算法模型输出的目标几何参数信息;其中,所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息中的至少一种。
进一步的,所述病害分析结果输出单元,具体用于:将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息映射到所述路面病害图像中,输出相应的路面病害分析结果;所述病害的种类信息包含裂缝信息、坑槽信息以及修补信息中的至少一种。
进一步的,所述的路面病害检测装置,所述将所述路面病害图像输入至目标检测网络模型,得到所述目标检测网络模型输出的病害定位信息,具体包括:
将所述路面病害图像输入至视觉几何组卷积神经网络进行卷积特征提取,得到所述路面病害图像的卷积特征图;
将所述卷积特征图输入至区域提议网络进行筛选,输出目标提议框;
将所述目标提议框和所述卷积特征图输入至感兴趣区域最大池化层进行分类处理,并基于全卷积全链接层进行回归计算,获得所述目标提议框对应的识别结果;其中,所述识别结果包括所述目标提议框对应的坐标值、所述目标提议框坐标内的病害特征标签以及所述目标提议框内的病害特征标签为病害特征标签的置信度;
根据所述识别结果判断所述路面病害图像中病害特征的具体位置,输出相应的病害定位信息;其中,所述病害定位信息中包括病害的种类信息、病害特征标签与所述种类信息的病害特征标签的置信度以及病害在所述路面病害图像中对应的目标提议框信息。
进一步的,所述几何参数测量单元,具体用于:
将所述病害掩膜信息输入至预设的几何算法模型按照预设的目标测量方法对路面病害的病害掩膜信息进行逆行运算,得到所述目标几何参数信息。
进一步的,所述将所述目标路面病害图像输入至目标语义分割网络模型进行处理,得到所述目标语义分割网络模型输出的病害掩膜信息,具体包括:
将所述目标路面病害图像输入至目标语义分割网络模型,通过卷积的方式逐一判断所述目标检测网络模型得到的所述目标路面病害图像中目标提议框内每个像素点是否为病害区域,得到与所述目标路面病害图像大小相同的病害掩膜特征图;将所述病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。
相应的,本发明还提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任意一项所述的路面病害检测方法的步骤。
相应的,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任意一项所述的路面病害检测方法的步骤。
采用本发明所述的路面病害检测方法,通过不同功能的深度学习算法相结合得到的混合神经网络对采集到的路面病害图像进行定位及分割,能够在不封闭道路的同时完成对路面病害进行智能识别与测量工作,提高维护效率的同时也降低了成本,有效提升了路面病害检测的可靠性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种路面病害检测方法的流程示意图;
图2为本发明实施例提供的基于混合深度学习网络模型的道路病害检测流程图;
图3为本发明实施例提供的目标检测网络模型的流程图;
图4为本发明实施例提供的全卷积神经网络模型的处理流程图;
图5为本发明实施例提供的几何算法模型中道路病害测量算法计算流程图;
图6为本发明实施例提供的一种路面病害检测装置的结构示意图;
图7为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
下面基于本发明所述的路面病害检测方法,对其实施例进行详细描述。如图1所示,其为本发明实施例提供的路面病害检测方法的流程示意图,具体实现过程包括以下步骤:
步骤101:获取待分析的路面病害图像。
在具体实施过程中,可通过各种便携式设备获取待分析的路面病害图像,当然也可通过无人飞行平台挂载的图像采集装置等获取待分析的路面病害图像,在此不做具体限定。
步骤102:将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息。
如图2所示,在本发明实施例中,所述混合神经网络模型可由目标检测网络模型Faster RCNN(faster region convolutional neural networks;快速区域卷积神经网络)和目标语义分割网络模型FCN(full convolutional network;全卷积神经网络)相结合的方式得到。通过目标检测模型结合目标语义分割网络模型形成的深度学习混合神经网络模型对所拍摄的路面病害图像进行处理分析,得到路面病害图像中道路病害所对应的病害定位信息,并进一步将目标病害定位信息对应的道路病害特征像素进行逐一判断,生成相应的病害特征掩膜信息,并按照预设的测量方法对道路病害的病害特征掩膜信息进行逆行计算,从而得到道路病害对应的实际长度、平均宽度信息及面积等目标几何参数信息。需要说明的是,本发明所述的混合神经网络模型包括但不限于目标检测网络模型Faster RCNN和目标语义分割网络模型FCN,一切可以使用的目标检测和语义分割算法均属于本发明的保护范围。
在实际实施过程中,所述的将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息,对应实现过程包括:
首先将所述路面病害图像输入至训练完成的目标检测网络模型,目标检测网络模型通过卷积的方法计算路面病害图像的特征图并判断路面病害图像中病害特征的具体位置,得到所述目标检测网络模型输出的病害定位信息;然后,根据检测所得到的病害定位信息包含的矩形目标提议框的坐标点,对所述路面病害图像进行切分(比如从路面病害图像的左上角点和右下角点对所述路面病害图像进行切分),得到只包含病害特征的目标路面病害图像。其中,所述目标检测网络模型是以原始路面病害图像为训练样本,以所述原始路面病害图像对应的实际病害定位信息为样本标签训练得到的。所述目标检测网络用于基于对所述原始路面病害图像进行特征提取得到的目标特征,对所述待分析的路面病害图像进行病害定位分析。
图3所示,其为本发明所使用的目标检测网络模型的流程图。当采集到路面病害图像时,将所述路面病害图像输入至目标检测网络模型,得到所述目标检测网络模型输出的病害定位信息。具体实现过程包括:将所述路面病害图像输入至VGG16(visual geometrygroup,视觉几何组)卷积神经网络进行卷积特征提取,得到所述路面病害图像对应的卷积特征图;将所述卷积特征图先输入至RPN(region proposal network,区域提议网络)进行筛选,输出结果包括目标提议框的信息,比如该矩形目标提议框的坐标值和该目标提议框内特征为所判断特征的置信度;将所述区域提议网络输出的目标提议框和素数视觉几何组卷积神经网络输出的卷积特征图输入至ROI(region of interest,感兴趣区域)最大池化层进行分类处理,再基于FC(full convolutional,全卷积)全链接层进行回归计算,获得所述目标提议框对应的识别结果。其中,所述识别结果包括所述目标提议框对应的坐标值、所述目标提议框坐标内的病害特征标签以及所述目标提议框内的病害特征标签为病害特征标签的置信度。根据所述识别结果判断所述路面病害图像中病害特征的具体位置,从而输出相应的病害定位信息。其中,所述病害定位信息中包括病害的种类信息、病害特征标签与所述种类信息的病害特征标签的置信度以及病害在所述路面病害图像中对应的目标提议框信息。
进一步的,将上述得到的目标路面病害图像输入至训练完成的目标语义分割网络模型(FCN,full convolutional network;全卷积神经网络)进行处理,再通过卷积的方式逐一判断目标路面病害图像中每个像素点是否为病害区域,从而得到病害掩膜特征图,将该病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。其中,所述目标语义分割网络模型是以包含病害特征的标准路面病害图像为训练样本,以所述标准路面病害图像对应的实际病害掩膜信息为样本标签训练得到的。所述目标语义分割网络模型用于基于对所述标准路面病害图像进行特征提取得到的目标病害特征,对所述待分析的标准路面病害图像进行特征分析。
具体的,将目标路面病害图像输入至目标语义分割网络模型进行处理,得到所述目标语义分割网络模型输出的病害掩膜信息,对应实现过程包括:将所述目标路面病害图像输入至目标语义分割网络模型,通过卷积的方式逐一判断所述目标检测网络模型得到的所述目标路面病害图像中目标提议框内每个像素点是否为病害区域,即判断由目标检测网络模型得到的目标框内像素是否为所匹配的特征,从而得到一幅与所述目标路面病害图像大小相同值为0或1的病害掩膜特征图。其中,每个像素点位置只有0和1两种情况,0表示该位置的像素属于背景类(即非特征),1表示该位置的像素属于病害特征。将所述病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。如图4所示,目标语义分割网络模型结构所使用的像素分类网络由三个下采样卷积层和三个上采样卷积层构成,其中每个下采样卷积层都连接至对应维度的上采样卷积层进行特征融合。最后输出结果即为原始路面病害图像中特征像素的病害掩膜特征图。
步骤103:根据所述病害掩膜信息确定路面病害对应的目标几何参数信息。
在本步骤中,将所述病害掩膜信息输入至预设的几何算法模型,按照设计的长宽/面积计算模块,利用目标测量方法对路面病害的病害掩膜信息进行逆行运算,得到所述几何算法模型输出的目标几何参数信息。其中,所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息等中的至少一种。比如,对于裂缝病害和修补病害计算其实际长度信息和/或平均宽度信息,对于坑槽病害则计算其所占面积信息。
具体的,本发明实施例中,所述路面病害至少分为三类:裂缝病害、坑槽病害以及修补病害。在具体实施过程中,将病害掩膜特征图输入至预先设计的长宽/面积计算模块,对于裂缝病害和修补病害计算其实际长度和/或平均宽度,对于坑槽病害则计算其所占面积。
如图5所示。本发明检测的病害种类中裂缝病害和修补病害两类需要计算实际长度和平均宽度,而坑槽病害则输出相应的缺陷面积。
下面以裂缝病害为例进行说明:
计算实际长度L时,首先将病害掩膜特征图中心像素进行去除(即将1置为0)后得到病害掩膜特征图的边缘形状,此使确定起始点为终止点:以病害掩膜特征图边缘形状最左边的像素点为起始点,最右边的像素点为终止点,记录其坐标值。此时多边形切分为上下两条路径,以上条路径开始计算起始点在该条曲线的切线方向,按该方向计算在范围内(范围为√2倍的像素间距)距离该点最近的下一个点,计算该点与下一点的距离,并累加至总长度,判断所计算的下一个点是否为终点,若不为终点则循环计算至终点位置。此时已完成一条边缘线的长度计算,再以此方法计算另一条边缘线长度。得到两条边缘线长度后,取两个长度值的均值即为裂缝缺陷的实际长度值。
计算平均宽度W时,首先判断病害掩膜特征图中一条边缘线上一点与另一条边缘线中的与其相近的另一点,计算两点间的距离,以此计算所有点直至不出现成对存在的点为止,将所有两点间距与计算次数求均值即为裂缝病害的平均宽度。
上述的实际长度L和平均宽度W实质为像素宽度,还需依据像素距离与实际距离比值P,换算成相应的实际值,以下式进行计算:
其中,L为实际长度;W为平均宽度;P实际距离比值。
坑槽病害的面积计算则以输出的坑槽缺陷对应的病害掩膜特征图为基础,计算其中所有像素点个数N与判断为坑槽缺陷(即掩膜值为1)像素点个数n,已知坑槽缺陷的检测矩形目标提议框像素宽w和高h,像素距离与实际距离的比值P,由下式得到坑槽缺陷实际面积:
其中,P为像素距离与实际距离的比值;n坑槽缺陷对应像素点个数;w和h分别为坑槽缺陷的检测矩形目标提议框像素宽和高;N为所有像素点个数;S为坑槽缺陷实际面积。
步骤104:根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
在本步骤中,可将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息等结果全部映射到所述路面病害图像中,输出相应的路面病害分析结果,实现道路病害的自动化检测和判断功能。所述病害的种类信息包含裂缝病害信息、坑槽病害信息以及修补病害信息等中的至少一种。
在本发明实施例中,基于目标检测网络模型和语义分割网络模型相结合的方式,检测道路裂缝并分割出病害的定位信息、像素信息,并在定位嘻嘻基础上将病害缺陷的分布情况进一步分割出来,实现道路病害的自动化检测与判断,输出目标检测结果,并据目标检测结果,对结果中病害关键参数进行计算,实现了病害缺陷实际长度、平均宽度以及面积的确定,从而对所有病害进行统计分析得出检测道路的破损率DR,进而得出路面损坏状况指数PCI。
采用本发明实施例所述的路面病害检测方法,通过不同功能的深度学习算法相结合得到的混合神经网络对采集到的路面病害图像进行定位及分割,能够在不封闭道路的同时完成对路面病害进行智能识别与测量工作,提高维护效率的同时也降低了成本,有效提升了路面病害检测的可靠性和准确性。
与上述提供的一种路面病害检测方法相对应,本发明还提供一种路面病害检测装置。由于该装置的实施例相似于上述方法实施例,所以描述得比较简单,相关之处请参见上述方法实施例部分的说明即可,下面描述的路面病害检测装置的实施例仅是示意性的。请参考图6所示,其为本发明实施例提供的一种路面病害检测装置的结构示意图。
本发明所述的一种路面病害检测装置具体包括如下部分:
路面病害图像获取单元601,用于获取待分析的路面病害图像。
网络模型分析单元602,用于将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息。
几何参数测量单元603,用于根据所述病害掩膜信息确定路面病害对应的目标几何参数信息。
病害分析结果输出单元604,用于根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
采用本发明实施例所述的路面病害检测装置,通过不同功能的深度学习算法相结合得到的混合神经网络对采集到的路面病害图像进行定位及分割,能够在不封闭道路的同时完成对路面病害进行智能识别与测量工作,提高维护效率的同时也降低了成本,有效提升了路面病害检测的可靠性和准确性。
与上述提供的路面病害检测方法相对应,本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例,所以描述得比较简单,相关之处请参见上述方法实施例部分的说明即可,下面描述的电子设备仅是示意性的。如图7所示,其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括:处理器(processor)701、存储器(memory)702和通信总线703,其中,处理器701,存储器702通过通信总线703完成相互间的通信。处理器701可以调用存储器702中的逻辑指令,以执行路面病害检测方法,该方法包括:获取待分析的路面病害图像;将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息;根据所述病害掩膜信息确定路面病害对应的目标几何参数信息;根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
此外,上述的存储器702中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的路面病害检测方法,该方法包括:获取待分析的路面病害图像;将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息;根据所述病害掩膜信息确定路面病害对应的目标几何参数信息;根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
又一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的路面病害检测方法,该方法包括:获取待分析的路面病害图像;将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息;根据所述病害掩膜信息确定路面病害对应的目标几何参数信息;根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种路面病害检测方法,其特征在于,包括:
获取待分析的路面病害图像;
将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息;
根据所述病害掩膜信息确定路面病害对应的目标几何参数信息;
根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
2.根据权利要求1所述的路面病害检测方法,其特征在于,所述将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息,具体包括:
将所述路面病害图像输入至目标检测网络模型,得到所述目标检测网络模型输出的病害定位信息;并根据所述病害定位信息对所述路面病害图像进行切分,得到包含病害特征的目标路面病害图像;
其中,所述目标检测网络模型是以原始路面病害图像为训练样本,以所述原始路面病害图像对应的实际病害定位信息为样本标签训练得到的;
将所述目标路面病害图像输入至目标语义分割网络模型进行处理,得到所述目标语义分割网络模型输出的病害掩膜信息。
3.根据权利要求1所述的路面病害检测方法,其特征在于,所述根据所述病害掩膜信息确定路面病害对应的目标几何参数信息,具体包括:将所述病害掩膜信息输入至预设的几何算法模型,得到所述几何算法模型输出的目标几何参数信息;其中,所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息中的至少一种。
4.根据权利要求1所述的路面病害检测方法,其特征在于,所述根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果,具体包括:将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息映射到所述路面病害图像中,输出相应的路面病害分析结果;所述病害的种类信息包含裂缝信息、坑槽信息以及修补信息中的至少一种。
5.根据权利要求2所述的路面病害检测方法,其特征在于,所述将所述路面病害图像输入至目标检测网络模型,得到所述目标检测网络模型输出的病害定位信息,具体包括:
将所述路面病害图像输入至视觉几何组卷积神经网络进行卷积特征提取,得到所述路面病害图像的卷积特征图;
将所述卷积特征图输入至区域提议网络进行筛选,输出目标提议框;
将所述目标提议框和所述卷积特征图输入至感兴趣区域最大池化层进行分类处理,并基于全卷积全链接层进行回归计算,获得所述目标提议框对应的识别结果;其中,所述识别结果包括所述目标提议框对应的坐标值、所述目标提议框坐标内的病害特征标签以及所述目标提议框内的病害特征标签为病害特征标签的置信度;
根据所述识别结果判断所述路面病害图像中病害特征的具体位置,输出相应的病害定位信息;其中,所述病害定位信息中包括病害的种类信息、病害特征标签与所述种类信息的病害特征标签的置信度以及病害在所述路面病害图像中对应的目标提议框信息。
6.根据权利要求3所述的路面病害检测方法,其特征在于,所述将所述病害掩膜信息输入至预设的几何算法模型,得到所述几何算法模型输出的目标几何参数信息,具体包括:
将所述病害掩膜信息输入至预设的几何算法模型按照预设的目标测量方法对路面病害的病害掩膜信息进行逆行运算,得到所述目标几何参数信息。
7.根据权利要求4所述的路面病害检测方法,其特征在于,所述将所述目标路面病害图像输入至目标语义分割网络模型进行处理,得到所述目标语义分割网络模型输出的病害掩膜信息,具体包括:
将所述目标路面病害图像输入至目标语义分割网络模型,通过卷积的方式逐一判断所述目标检测网络模型得到的所述目标路面病害图像中目标提议框内每个像素点是否为病害区域,得到与所述目标路面病害图像大小相同的病害掩膜特征图;将所述病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。
8.一种路面病害检测装置,其特征在于,包括:
路面病害图像获取单元,用于获取待分析的路面病害图像;
网络模型分析单元,用于将所述路面病害图像输入至混合神经网络模型中,得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息;
几何参数测量单元,用于根据所述病害掩膜信息确定路面病害对应的目标几何参数信息;
病害分析结果输出单元,用于根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息,输出相应的路面病害分析结果。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任意一项所述的路面病害检测方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7任意一项所述的路面病害检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110291773.XA CN113240623B (zh) | 2021-03-18 | 2021-03-18 | 一种路面病害检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110291773.XA CN113240623B (zh) | 2021-03-18 | 2021-03-18 | 一种路面病害检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113240623A true CN113240623A (zh) | 2021-08-10 |
CN113240623B CN113240623B (zh) | 2023-11-07 |
Family
ID=77130346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110291773.XA Active CN113240623B (zh) | 2021-03-18 | 2021-03-18 | 一种路面病害检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113240623B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658144A (zh) * | 2021-08-20 | 2021-11-16 | 中国公路工程咨询集团有限公司 | 路面病害几何信息的确定方法、装置、设备及介质 |
CN114018932A (zh) * | 2021-11-02 | 2022-02-08 | 西安电子科技大学 | 基于矩形标定物的路面病害指标测量方法 |
CN114049618A (zh) * | 2022-01-12 | 2022-02-15 | 河北工业大学 | 一种基于图-点-图变换的路面三维病害pci计算方法 |
CN114298972A (zh) * | 2021-11-26 | 2022-04-08 | 中用科技有限公司 | 一种道路路面损坏程度的计算方法 |
CN118334038A (zh) * | 2024-06-17 | 2024-07-12 | 杭州可见智能技术有限公司 | 路面病害分析方法、装置、设备、存储介质及相关产品 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296814A (zh) * | 2015-05-26 | 2017-01-04 | 中国公路工程咨询集团有限公司 | 公路养护检测与可视化交互方法和系统 |
CN109685124A (zh) * | 2018-12-14 | 2019-04-26 | 斑马网络技术有限公司 | 基于神经网络的道路病害识别方法及装置 |
US20190163991A1 (en) * | 2017-11-30 | 2019-05-30 | Neusoft Corporation | Method and apparatus for detecting road lane |
CN110738642A (zh) * | 2019-10-08 | 2020-01-31 | 福建船政交通职业学院 | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 |
CN111784657A (zh) * | 2020-06-29 | 2020-10-16 | 福建中航赛凡信息科技有限公司 | 一种基于数字图像的水泥路面病害自动识别的系统及方法 |
CN111861978A (zh) * | 2020-05-29 | 2020-10-30 | 陕西师范大学 | 基于Faster R-CNN的桥梁裂缝实例分割方法 |
CN112200143A (zh) * | 2020-11-02 | 2021-01-08 | 坝道工程医院(平舆) | 一种基于候选区域网络和机器视觉的道路病害检测方法 |
CN112308921A (zh) * | 2020-11-09 | 2021-02-02 | 重庆大学 | 一种基于语义和几何的联合优化动态slam方法 |
AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
CN112489026A (zh) * | 2020-12-08 | 2021-03-12 | 甘肃智通科技工程检测咨询有限公司 | 基于多分支并行卷积神经网络的沥青路面病害检测方法 |
-
2021
- 2021-03-18 CN CN202110291773.XA patent/CN113240623B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296814A (zh) * | 2015-05-26 | 2017-01-04 | 中国公路工程咨询集团有限公司 | 公路养护检测与可视化交互方法和系统 |
US20190163991A1 (en) * | 2017-11-30 | 2019-05-30 | Neusoft Corporation | Method and apparatus for detecting road lane |
CN109685124A (zh) * | 2018-12-14 | 2019-04-26 | 斑马网络技术有限公司 | 基于神经网络的道路病害识别方法及装置 |
CN110738642A (zh) * | 2019-10-08 | 2020-01-31 | 福建船政交通职业学院 | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 |
CN111861978A (zh) * | 2020-05-29 | 2020-10-30 | 陕西师范大学 | 基于Faster R-CNN的桥梁裂缝实例分割方法 |
CN111784657A (zh) * | 2020-06-29 | 2020-10-16 | 福建中航赛凡信息科技有限公司 | 一种基于数字图像的水泥路面病害自动识别的系统及方法 |
CN112200143A (zh) * | 2020-11-02 | 2021-01-08 | 坝道工程医院(平舆) | 一种基于候选区域网络和机器视觉的道路病害检测方法 |
CN112308921A (zh) * | 2020-11-09 | 2021-02-02 | 重庆大学 | 一种基于语义和几何的联合优化动态slam方法 |
AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
CN112489026A (zh) * | 2020-12-08 | 2021-03-12 | 甘肃智通科技工程检测咨询有限公司 | 基于多分支并行卷积神经网络的沥青路面病害检测方法 |
Non-Patent Citations (3)
Title |
---|
KAIMING HE ET AL: "Mask R-CNN", 《ARXIV》, pages 43 - 12 * |
倪彤元 等: "基于图像处理的桥梁混凝土裂缝检测研究进展", 《城市道桥与防洪》, no. 7, pages 258 - 263 * |
李文静 等: "基于Mask R-CNN的枪弹底火装配质量检测系统设计", 《兵器装备工程学报》, vol. 41, no. 6, pages 121 - 125 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658144A (zh) * | 2021-08-20 | 2021-11-16 | 中国公路工程咨询集团有限公司 | 路面病害几何信息的确定方法、装置、设备及介质 |
CN114018932A (zh) * | 2021-11-02 | 2022-02-08 | 西安电子科技大学 | 基于矩形标定物的路面病害指标测量方法 |
CN114298972A (zh) * | 2021-11-26 | 2022-04-08 | 中用科技有限公司 | 一种道路路面损坏程度的计算方法 |
CN114298972B (zh) * | 2021-11-26 | 2024-05-31 | 中用科技有限公司 | 一种道路路面损坏程度的计算方法 |
CN114049618A (zh) * | 2022-01-12 | 2022-02-15 | 河北工业大学 | 一种基于图-点-图变换的路面三维病害pci计算方法 |
CN114049618B (zh) * | 2022-01-12 | 2022-03-22 | 河北工业大学 | 一种基于图-点-图变换的路面三维病害pci计算方法 |
CN118334038A (zh) * | 2024-06-17 | 2024-07-12 | 杭州可见智能技术有限公司 | 路面病害分析方法、装置、设备、存储介质及相关产品 |
CN118334038B (zh) * | 2024-06-17 | 2024-08-27 | 杭州可见智能技术有限公司 | 路面病害分析方法、装置、设备、存储介质及相关产品 |
Also Published As
Publication number | Publication date |
---|---|
CN113240623B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN113240623B (zh) | 一种路面病害检测方法及装置 | |
Gao et al. | Detection and segmentation of cement concrete pavement pothole based on image processing technology | |
CN115131283B (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
CN113393426B (zh) | 一种轧钢板表面缺陷检测方法 | |
CN113392849A (zh) | 一种基于r-cnn的复杂路面裂缝识别方法 | |
Gupta et al. | Image-based crack detection approaches: a comprehensive survey | |
CN108509950B (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
CN113807301B (zh) | 一种新增建设用地自动提取方法及自动提取系统 | |
CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
CN115239644B (zh) | 混凝土缺陷识别方法、装置、计算机设备和存储介质 | |
CN111488808A (zh) | 基于交通违法图像数据的车道线检测方法 | |
Bosurgi et al. | An automatic pothole detection algorithm using pavement 3D data | |
CN113393454A (zh) | 活检组织中病理目标实例分割方法和装置 | |
CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
CN112183593A (zh) | 一种基于dssd算法的道路损伤检测方法 | |
CN113435452A (zh) | 一种基于改进ctpn算法的电气设备铭牌文本检测方法 | |
CN114926395B (zh) | 一种光伏电板红外图像掉串检测方法和系统 | |
Chen et al. | The machined surface defect detection of improved superpixel segmentation and two-level region aggregation based on machine vision | |
CN115689970A (zh) | 显示面板的缺陷检测方法、装置、电子设备及存储介质 | |
CN113610052A (zh) | 一种基于深度学习的隧道渗漏水自动识别方法 | |
CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
Wang et al. | Fast blur detection algorithm for UAV crack image sets | |
CN116452826A (zh) | 基于机器视觉的遮挡情况下煤矸石轮廓估计方法 | |
CN116681647A (zh) | 一种基于无监督生成式的彩涂板表面缺陷检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |