CN113240623B - 一种路面病害检测方法及装置 - Google Patents

一种路面病害检测方法及装置 Download PDF

Info

Publication number
CN113240623B
CN113240623B CN202110291773.XA CN202110291773A CN113240623B CN 113240623 B CN113240623 B CN 113240623B CN 202110291773 A CN202110291773 A CN 202110291773A CN 113240623 B CN113240623 B CN 113240623B
Authority
CN
China
Prior art keywords
disease
information
pavement
target
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110291773.XA
Other languages
English (en)
Other versions
CN113240623A (zh
Inventor
董元帅
侯芸
张艳红
仝鑫隆
周祚峰
曹雨轩
吴清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Checsc Highway Maintenance And Test Technology Co ltd
Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute
Xi'an Xiguang Industrial Development Co ltd
China Highway Engineering Consultants Corp
Original Assignee
Checsc Highway Maintenance And Test Technology Co ltd
Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute
Xi'an Xiguang Industrial Development Co ltd
China Highway Engineering Consultants Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Checsc Highway Maintenance And Test Technology Co ltd, Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute, Xi'an Xiguang Industrial Development Co ltd, China Highway Engineering Consultants Corp filed Critical Checsc Highway Maintenance And Test Technology Co ltd
Priority to CN202110291773.XA priority Critical patent/CN113240623B/zh
Publication of CN113240623A publication Critical patent/CN113240623A/zh
Application granted granted Critical
Publication of CN113240623B publication Critical patent/CN113240623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种路面病害检测方法及装置。其中，该方法包括：获取待分析的路面病害图像；将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息；根据所述病害掩膜信息确定路面病害对应的目标几何参数信息；根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果。采用本发明公开的路面病害检测方法，通过不同功能的深度学习算法相结合得到的混合神经网络对采集到的路面病害图像进行定位及分割，能够在不封闭道路的同时完成对路面病害进行智能识别与测量工作，提高道路维护效率的同时也降低了管理成本，有效提升了路面病害检测的可靠性和准确性。

Description

一种路面病害检测方法及装置
技术领域
本发明涉及计算机应用技术领域，具体涉及一种路面病害检测方法和装置。另外，还涉及一种电子设备及非暂态计算机可读存储介质。
背景技术
随着经济社会的快速发展，公共道路网络不断完善。如何在不封闭道路的同时快速对路面病害进行智能识别、检测、维护及管理工作成为道路建设领域的一项重要任务。早期的道路病害检测以传统的LBP、Gabor等纹理特征提取为主，在实际应用中往往表现不佳。近年来，随着深度学习技术的快速发展，以及物联网设备的大量使用，越来越多的深度学习技术得以在道路检测领域普及应用。深度学习技术可发挥从数据中学习表征的优势，提高道路病害的识别精度，能够在很大程度上节省了道路养护工作人员采取及时有效修补措施的时间，为道路病害发展趋势及养护决策提供第一手信息资料。
现有技术通常采用卷积神经网络和图像识别的方法对裂缝图像进行分类或者采用Gabor滤波器对缺陷进行纹理分析。然而，这几种检测方式无法得到具体的裂缝位置信息及几何信息，且应用条件有限，在实际应用上无法进行大规模采集。因此，如何基于深度学习技术实现快速、全面的路面病害检测，以提高路面病害检测效率和鲁棒性适应大规模检测需求成为本领域亟待解决的问题。
发明内容
为此，本发明提供一种路面病害检测方法及装置，以解决现有技术中存在的路面病害检测方法无法得到具体的裂缝位置信息及几何信息，且应用条件有限，在实际应用上无法进行大规模采集，导致检测效率和鲁棒性较差的问题。
本发明提供一种路面病害检测方法，包括：
获取待分析的路面病害图像；
将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息；
根据所述病害掩膜信息确定路面病害对应的目标几何参数信息；
根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果。
进一步的，所述将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息，具体包括：
将所述路面病害图像输入至目标检测网络模型，得到所述目标检测网络模型输出的病害定位信息；并根据所述病害定位信息对所述路面病害图像进行切分，得到包含病害特征的目标路面病害图像；
其中，所述目标检测网络模型是以原始路面病害图像为训练样本，以所述原始路面病害图像对应的实际病害定位信息为样本标签训练得到的；
将所述目标路面病害图像输入至目标语义分割网络模型进行处理，得到所述目标语义分割网络模型输出的病害掩膜信息。
进一步的，所述根据所述病害掩膜信息确定路面病害对应的目标几何参数信息，具体包括：将所述病害掩膜信息输入至预设的几何算法模型，得到所述几何算法模型输出的目标几何参数信息；其中，所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息中的至少一种。
进一步的，所述根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果，具体包括：将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息映射到所述路面病害图像中，输出相应的路面病害分析结果；所述病害的种类信息包含裂缝信息、坑槽信息以及修补信息中的至少一种。
进一步的，所述的路面病害检测方法，所述将所述路面病害图像输入至目标检测网络模型，得到所述目标检测网络模型输出的病害定位信息，具体包括：
将所述路面病害图像输入至视觉几何组卷积神经网络进行卷积特征提取，得到所述路面病害图像的卷积特征图；
将所述卷积特征图输入至区域提议网络进行筛选，输出目标提议框；
将所述目标提议框和所述卷积特征图输入至感兴趣区域最大池化层进行分类处理，并基于全卷积全链接层进行回归计算，获得所述目标提议框对应的识别结果；其中，所述识别结果包括所述目标提议框对应的坐标值、所述目标提议框坐标内的病害特征标签以及所述目标提议框内的病害特征标签为病害特征标签的置信度；
根据所述识别结果判断所述路面病害图像中病害特征的具体位置，输出相应的病害定位信息；其中，所述病害定位信息中包括病害的种类信息、病害特征标签与所述种类信息的病害特征标签的置信度以及病害在所述路面病害图像中对应的目标提议框信息。
进一步的，所述将所述病害掩膜信息输入至预设的几何算法模型，得到所述几何算法模型输出的目标几何参数信息，具体包括：
将所述病害掩膜信息输入至预设的几何算法模型按照预设的目标测量方法对路面病害的病害掩膜信息进行逆行运算，得到所述目标几何参数信息。
进一步的，所述将所述目标路面病害图像输入至目标语义分割网络模型进行处理，得到所述目标语义分割网络模型输出的病害掩膜信息，具体包括：
将所述目标路面病害图像输入至目标语义分割网络模型，通过卷积的方式逐一判断所述目标检测网络模型得到的所述目标路面病害图像中目标提议框内每个像素点是否为病害区域，得到与所述目标路面病害图像大小相同的病害掩膜特征图；将所述病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。
相应的，本发明还提供一种路面病害检测装置，包括：
路面病害图像获取单元，用于获取待分析的路面病害图像；
网络模型分析单元，用于将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息；
几何参数测量单元，用于根据所述病害掩膜信息确定路面病害对应的目标几何参数信息；
病害分析结果输出单元，用于根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果。
进一步的，所述网络模型分析单元，具体用于：
将所述路面病害图像输入至目标检测网络模型，得到所述目标检测网络模型输出的病害定位信息；并根据所述病害定位信息对所述路面病害图像进行切分，得到包含病害特征的目标路面病害图像；
其中，所述目标检测网络模型是以原始路面病害图像为训练样本，以所述原始路面病害图像对应的实际病害定位信息为样本标签训练得到的；
将所述目标路面病害图像输入至目标语义分割网络模型进行处理，得到所述目标语义分割网络模型输出的病害掩膜信息。
进一步的，所述几何参数测量单元，具体用于：将所述病害掩膜信息输入至预设的几何算法模型，得到所述几何算法模型输出的目标几何参数信息；其中，所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息中的至少一种。
进一步的，所述病害分析结果输出单元，具体用于：将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息映射到所述路面病害图像中，输出相应的路面病害分析结果；所述病害的种类信息包含裂缝信息、坑槽信息以及修补信息中的至少一种。
进一步的，所述的路面病害检测装置，所述将所述路面病害图像输入至目标检测网络模型，得到所述目标检测网络模型输出的病害定位信息，具体包括：
将所述路面病害图像输入至视觉几何组卷积神经网络进行卷积特征提取，得到所述路面病害图像的卷积特征图；
将所述卷积特征图输入至区域提议网络进行筛选，输出目标提议框；
将所述目标提议框和所述卷积特征图输入至感兴趣区域最大池化层进行分类处理，并基于全卷积全链接层进行回归计算，获得所述目标提议框对应的识别结果；其中，所述识别结果包括所述目标提议框对应的坐标值、所述目标提议框坐标内的病害特征标签以及所述目标提议框内的病害特征标签为病害特征标签的置信度；
根据所述识别结果判断所述路面病害图像中病害特征的具体位置，输出相应的病害定位信息；其中，所述病害定位信息中包括病害的种类信息、病害特征标签与所述种类信息的病害特征标签的置信度以及病害在所述路面病害图像中对应的目标提议框信息。
进一步的，所述几何参数测量单元，具体用于：
将所述病害掩膜信息输入至预设的几何算法模型按照预设的目标测量方法对路面病害的病害掩膜信息进行逆行运算，得到所述目标几何参数信息。
进一步的，所述将所述目标路面病害图像输入至目标语义分割网络模型进行处理，得到所述目标语义分割网络模型输出的病害掩膜信息，具体包括：
将所述目标路面病害图像输入至目标语义分割网络模型，通过卷积的方式逐一判断所述目标检测网络模型得到的所述目标路面病害图像中目标提议框内每个像素点是否为病害区域，得到与所述目标路面病害图像大小相同的病害掩膜特征图；将所述病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。
相应的，本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的路面病害检测方法的步骤。
相应的，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的路面病害检测方法的步骤。
采用本发明所述的路面病害检测方法，通过不同功能的深度学习算法相结合得到的混合神经网络对采集到的路面病害图像进行定位及分割，能够在不封闭道路的同时完成对路面病害进行智能识别与测量工作，提高维护效率的同时也降低了成本，有效提升了路面病害检测的可靠性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种路面病害检测方法的流程示意图；
图2为本发明实施例提供的基于混合深度学习网络模型的道路病害检测流程图；
图3为本发明实施例提供的目标检测网络模型的流程图；
图4为本发明实施例提供的全卷积神经网络模型的处理流程图；
图5为本发明实施例提供的几何算法模型中道路病害测量算法计算流程图；
图6为本发明实施例提供的一种路面病害检测装置的结构示意图；
图7为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
下面基于本发明所述的路面病害检测方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的路面病害检测方法的流程示意图，具体实现过程包括以下步骤：
步骤101：获取待分析的路面病害图像。
在具体实施过程中，可通过各种便携式设备获取待分析的路面病害图像，当然也可通过无人飞行平台挂载的图像采集装置等获取待分析的路面病害图像，在此不做具体限定。
步骤102：将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息。
如图2所示，在本发明实施例中，所述混合神经网络模型可由目标检测网络模型Faster RCNN(faster region convolutional neural networks；快速区域卷积神经网络)和目标语义分割网络模型FCN(full convolutional network；全卷积神经网络)相结合的方式得到。通过目标检测模型结合目标语义分割网络模型形成的深度学习混合神经网络模型对所拍摄的路面病害图像进行处理分析，得到路面病害图像中道路病害所对应的病害定位信息，并进一步将目标病害定位信息对应的道路病害特征像素进行逐一判断，生成相应的病害特征掩膜信息，并按照预设的测量方法对道路病害的病害特征掩膜信息进行逆行计算，从而得到道路病害对应的实际长度、平均宽度信息及面积等目标几何参数信息。需要说明的是，本发明所述的混合神经网络模型包括但不限于目标检测网络模型Faster RCNN和目标语义分割网络模型FCN，一切可以使用的目标检测和语义分割算法均属于本发明的保护范围。
在实际实施过程中，所述的将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息，对应实现过程包括：
首先将所述路面病害图像输入至训练完成的目标检测网络模型，目标检测网络模型通过卷积的方法计算路面病害图像的特征图并判断路面病害图像中病害特征的具体位置，得到所述目标检测网络模型输出的病害定位信息；然后，根据检测所得到的病害定位信息包含的矩形目标提议框的坐标点，对所述路面病害图像进行切分(比如从路面病害图像的左上角点和右下角点对所述路面病害图像进行切分)，得到只包含病害特征的目标路面病害图像。其中，所述目标检测网络模型是以原始路面病害图像为训练样本，以所述原始路面病害图像对应的实际病害定位信息为样本标签训练得到的。所述目标检测网络用于基于对所述原始路面病害图像进行特征提取得到的目标特征，对所述待分析的路面病害图像进行病害定位分析。
图3所示，其为本发明所使用的目标检测网络模型的流程图。当采集到路面病害图像时，将所述路面病害图像输入至目标检测网络模型，得到所述目标检测网络模型输出的病害定位信息。具体实现过程包括：将所述路面病害图像输入至VGG16(visual geometrygroup，视觉几何组)卷积神经网络进行卷积特征提取，得到所述路面病害图像对应的卷积特征图；将所述卷积特征图先输入至RPN(region proposal network，区域提议网络)进行筛选，输出结果包括目标提议框的信息，比如该矩形目标提议框的坐标值和该目标提议框内特征为所判断特征的置信度；将所述区域提议网络输出的目标提议框和素数视觉几何组卷积神经网络输出的卷积特征图输入至ROI(region of interest，感兴趣区域)最大池化层进行分类处理，再基于FC(full convolutional，全卷积)全链接层进行回归计算，获得所述目标提议框对应的识别结果。其中，所述识别结果包括所述目标提议框对应的坐标值、所述目标提议框坐标内的病害特征标签以及所述目标提议框内的病害特征标签为病害特征标签的置信度。根据所述识别结果判断所述路面病害图像中病害特征的具体位置，从而输出相应的病害定位信息。其中，所述病害定位信息中包括病害的种类信息、病害特征标签与所述种类信息的病害特征标签的置信度以及病害在所述路面病害图像中对应的目标提议框信息。
进一步的，将上述得到的目标路面病害图像输入至训练完成的目标语义分割网络模型(FCN，full convolutional network；全卷积神经网络)进行处理，再通过卷积的方式逐一判断目标路面病害图像中每个像素点是否为病害区域，从而得到病害掩膜特征图，将该病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。其中，所述目标语义分割网络模型是以包含病害特征的标准路面病害图像为训练样本，以所述标准路面病害图像对应的实际病害掩膜信息为样本标签训练得到的。所述目标语义分割网络模型用于基于对所述标准路面病害图像进行特征提取得到的目标病害特征，对所述待分析的标准路面病害图像进行特征分析。
具体的，将目标路面病害图像输入至目标语义分割网络模型进行处理，得到所述目标语义分割网络模型输出的病害掩膜信息，对应实现过程包括：将所述目标路面病害图像输入至目标语义分割网络模型，通过卷积的方式逐一判断所述目标检测网络模型得到的所述目标路面病害图像中目标提议框内每个像素点是否为病害区域，即判断由目标检测网络模型得到的目标框内像素是否为所匹配的特征，从而得到一幅与所述目标路面病害图像大小相同值为0或1的病害掩膜特征图。其中，每个像素点位置只有0和1两种情况，0表示该位置的像素属于背景类(即非特征)，1表示该位置的像素属于病害特征。将所述病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。如图4所示，目标语义分割网络模型结构所使用的像素分类网络由三个下采样卷积层和三个上采样卷积层构成，其中每个下采样卷积层都连接至对应维度的上采样卷积层进行特征融合。最后输出结果即为原始路面病害图像中特征像素的病害掩膜特征图。
步骤103：根据所述病害掩膜信息确定路面病害对应的目标几何参数信息。
在本步骤中，将所述病害掩膜信息输入至预设的几何算法模型，按照设计的长宽/面积计算模块，利用目标测量方法对路面病害的病害掩膜信息进行逆行运算，得到所述几何算法模型输出的目标几何参数信息。其中，所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息等中的至少一种。比如，对于裂缝病害和修补病害计算其实际长度信息和/或平均宽度信息，对于坑槽病害则计算其所占面积信息。
具体的，本发明实施例中，所述路面病害至少分为三类：裂缝病害、坑槽病害以及修补病害。在具体实施过程中，将病害掩膜特征图输入至预先设计的长宽/面积计算模块，对于裂缝病害和修补病害计算其实际长度和/或平均宽度，对于坑槽病害则计算其所占面积。
如图5所示。本发明检测的病害种类中裂缝病害和修补病害两类需要计算实际长度和平均宽度，而坑槽病害则输出相应的缺陷面积。
下面以裂缝病害为例进行说明：
计算实际长度L时，首先将病害掩膜特征图中心像素进行去除(即将1置为0)后得到病害掩膜特征图的边缘形状，此使确定起始点为终止点：以病害掩膜特征图边缘形状最左边的像素点为起始点，最右边的像素点为终止点，记录其坐标值。此时多边形切分为上下两条路径，以上条路径开始计算起始点在该条曲线的切线方向，按该方向计算在范围内(范围为√2倍的像素间距)距离该点最近的下一个点，计算该点与下一点的距离，并累加至总长度，判断所计算的下一个点是否为终点，若不为终点则循环计算至终点位置。此时已完成一条边缘线的长度计算，再以此方法计算另一条边缘线长度。得到两条边缘线长度后，取两个长度值的均值即为裂缝缺陷的实际长度值。
计算平均宽度W时，首先判断病害掩膜特征图中一条边缘线上一点与另一条边缘线中的与其相近的另一点，计算两点间的距离，以此计算所有点直至不出现成对存在的点为止，将所有两点间距与计算次数求均值即为裂缝病害的平均宽度。
上述的实际长度L和平均宽度W实质为像素宽度，还需依据像素距离与实际距离比值P，换算成相应的实际值，以下式进行计算：
其中，L为实际长度；W为平均宽度；P实际距离比值。
坑槽病害的面积计算则以输出的坑槽缺陷对应的病害掩膜特征图为基础，计算其中所有像素点个数N与判断为坑槽缺陷(即掩膜值为1)像素点个数n，已知坑槽缺陷的检测矩形目标提议框像素宽w和高h，像素距离与实际距离的比值P，由下式得到坑槽缺陷实际面积：
其中，P为像素距离与实际距离的比值；n坑槽缺陷对应像素点个数；w和h分别为坑槽缺陷的检测矩形目标提议框像素宽和高；N为所有像素点个数；S为坑槽缺陷实际面积。
步骤104：根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果。
在本步骤中，可将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息等结果全部映射到所述路面病害图像中，输出相应的路面病害分析结果，实现道路病害的自动化检测和判断功能。所述病害的种类信息包含裂缝病害信息、坑槽病害信息以及修补病害信息等中的至少一种。
在本发明实施例中，基于目标检测网络模型和语义分割网络模型相结合的方式，检测道路裂缝并分割出病害的定位信息、像素信息，并在定位信息基础上将病害缺陷的分布情况进一步分割出来，实现道路病害的自动化检测与判断，输出目标检测结果，并据目标检测结果，对结果中病害关键参数进行计算，实现了病害缺陷实际长度、平均宽度以及面积的确定，从而对所有病害进行统计分析得出检测道路的破损率DR，进而得出路面损坏状况指数PCI。
采用本发明实施例所述的路面病害检测方法，通过不同功能的深度学习算法相结合得到的混合神经网络对采集到的路面病害图像进行定位及分割，能够在不封闭道路的同时完成对路面病害进行智能识别与测量工作，提高维护效率的同时也降低了成本，有效提升了路面病害检测的可靠性和准确性。
与上述提供的一种路面病害检测方法相对应，本发明还提供一种路面病害检测装置。由于该装置的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的路面病害检测装置的实施例仅是示意性的。请参考图6所示，其为本发明实施例提供的一种路面病害检测装置的结构示意图。
本发明所述的一种路面病害检测装置具体包括如下部分：
路面病害图像获取单元601，用于获取待分析的路面病害图像。
网络模型分析单元602，用于将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息。
几何参数测量单元603，用于根据所述病害掩膜信息确定路面病害对应的目标几何参数信息。
病害分析结果输出单元604，用于根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果。
采用本发明实施例所述的路面病害检测装置，通过不同功能的深度学习算法相结合得到的混合神经网络对采集到的路面病害图像进行定位及分割，能够在不封闭道路的同时完成对路面病害进行智能识别与测量工作，提高维护效率的同时也降低了成本，有效提升了路面病害检测的可靠性和准确性。
与上述提供的路面病害检测方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图7所示，其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器(processor)701、存储器(memory)702和通信总线703，其中，处理器701，存储器702通过通信总线703完成相互间的通信。处理器701可以调用存储器702中的逻辑指令，以执行路面病害检测方法，该方法包括：获取待分析的路面病害图像；将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息；根据所述病害掩膜信息确定路面病害对应的目标几何参数信息；根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果。
此外，上述的存储器702中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的路面病害检测方法，该方法包括：获取待分析的路面病害图像；将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息；根据所述病害掩膜信息确定路面病害对应的目标几何参数信息；根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的路面病害检测方法，该方法包括：获取待分析的路面病害图像；将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息；根据所述病害掩膜信息确定路面病害对应的目标几何参数信息；根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种路面病害检测方法，其特征在于，包括：
获取待分析的路面病害图像；
将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息；
根据所述病害掩膜信息确定路面病害对应的目标几何参数信息；所述根据所述病害掩膜信息确定路面病害对应的目标几何参数信息，具体包括：将所述病害掩膜信息输入至预设的几何算法模型，得到所述几何算法模型输出的目标几何参数信息；所述路面病害包含裂缝病害、坑槽病害以及修补病害；所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息；所述病害掩膜信息为病害掩膜特征图；
对于所述裂缝病害和所述修补病害计算其实际长度信息和平均宽度信息，包括：将所述病害掩膜特征图的中心像素进行去除，得到所述病害掩膜特征图的边缘形状，以所述病害掩膜特征图的边缘形状最左边的像素点为起始点，最右边的像素点为终止点；将所述边缘形状切分为上下两条路径，从上条路径开始计算起始点的切线方向，按切线方向计算在预设范围内距离起始点最近的下一个点，并计算起始点与下一点的距离，累加至总长度，判断所计算的下一个点是否为终止点，若不为终止点则循环计算至终止点的位置，以完成一条边缘线的长度计算，再计算另一条路径边缘线长度，得到两条路径边缘线长度后，取两个长度值的均值即为所述裂缝病害的实际长度值L或所述修补病害的实际长度值L；计算平均宽度W时，首先确定所述病害掩膜特征图中一条边缘线上一点与另一条边缘线中与其相近的另一点，计算两点间的距离，通过依次计算所有点直至不出现成对存在的点为止，将所有两点间距与计算次数求均值即得到所述裂缝病害的平均宽度或所述修补病害的平均宽度；上述的实际长度L和平均宽度W实质为像素宽度，根据像素距离与实际距离比值P，换算成相应的实际值，以下式进行计算：
其中，L为实际长度；W为平均宽度；P实际距离比值；
对所述坑槽病害计算其所占面积信息，包括：以输出的坑槽缺陷对应的病害掩膜特征图为基础，计算其中所有像素点个数N与判断为坑槽缺陷的像素点个数n，根据已获得的坑槽缺陷的检测矩形目标提议框像素宽w和高h，像素距离与实际距离的比值P，由下式得到坑槽缺陷实际面积：
其中，P为像素距离与实际距离的比值；n坑槽缺陷对应像素点个数；w和h分别为坑槽缺陷的检测矩形目标提议框像素宽和高；N为所有像素点个数；S为所述坑槽缺陷的实际面积；
根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果；所述根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果，具体包括：将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息映射到所述路面病害图像中，输出相应的路面病害分析结果；所述病害的种类信息包含裂缝信息、坑槽信息以及修补信息。
2.根据权利要求1所述的路面病害检测方法，其特征在于，所述将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息，具体包括：
将所述路面病害图像输入至目标检测网络模型，得到所述目标检测网络模型输出的病害定位信息；并根据所述病害定位信息对所述路面病害图像进行切分，得到包含病害特征的目标路面病害图像；
其中，所述目标检测网络模型是以原始路面病害图像为训练样本，以所述原始路面病害图像对应的实际病害定位信息为样本标签训练得到的；
将所述目标路面病害图像输入至目标语义分割网络模型进行处理，得到所述目标语义分割网络模型输出的病害掩膜信息。
3.根据权利要求2所述的路面病害检测方法，其特征在于，所述将所述路面病害图像输入至目标检测网络模型，得到所述目标检测网络模型输出的病害定位信息，具体包括：
将所述路面病害图像输入至视觉几何组卷积神经网络进行卷积特征提取，得到所述路面病害图像的卷积特征图；
将所述卷积特征图输入至区域提议网络进行筛选，输出目标提议框；
将所述目标提议框和所述卷积特征图输入至感兴趣区域最大池化层进行分类处理，并基于全卷积全链接层进行回归计算，获得所述目标提议框对应的识别结果；其中，所述识别结果包括所述目标提议框对应的坐标值、所述目标提议框坐标内的病害特征标签以及所述目标提议框内的病害特征标签为病害特征标签的置信度；
根据所述识别结果判断所述路面病害图像中病害特征的具体位置，输出相应的病害定位信息；其中，所述病害定位信息中包括病害的种类信息、病害特征标签与所述种类信息的病害特征标签的置信度以及病害在所述路面病害图像中对应的目标提议框信息。
4.根据权利要求1所述的路面病害检测方法，其特征在于，所述将所述病害掩膜信息输入至预设的几何算法模型，得到所述几何算法模型输出的目标几何参数信息，具体包括：
将所述病害掩膜信息输入至预设的几何算法模型按照预设的目标测量方法对路面病害的病害掩膜信息进行逆行运算，得到所述目标几何参数信息。
5.根据权利要求2所述的路面病害检测方法，其特征在于，所述将所述目标路面病害图像输入至目标语义分割网络模型进行处理，得到所述目标语义分割网络模型输出的病害掩膜信息，具体包括：
将所述目标路面病害图像输入至目标语义分割网络模型，通过卷积的方式逐一判断所述目标检测网络模型得到的所述目标路面病害图像中目标提议框内每个像素点是否为病害区域，得到与所述目标路面病害图像大小相同的病害掩膜特征图；将所述病害掩膜特征图作为所述目标语义分割网络模型输出的病害掩膜信息。
6.一种路面病害检测装置，其特征在于，包括：
路面病害图像获取单元，用于获取待分析的路面病害图像；
网络模型分析单元，用于将所述路面病害图像输入至混合神经网络模型中，得到所述混合神经网络模型输出的病害定位信息和病害掩膜信息；
几何参数测量单元，用于根据所述病害掩膜信息确定路面病害对应的目标几何参数信息；所述根据所述病害掩膜信息确定路面病害对应的目标几何参数信息，具体包括：将所述病害掩膜信息输入至预设的几何算法模型，得到所述几何算法模型输出的目标几何参数信息；所述路面病害包含裂缝病害、坑槽病害以及修补病害；所述目标几何参数信息包括路面病害实际长度信息、路面病害平均宽度信息以及路面病害面积信息；所述病害掩膜信息为病害掩膜特征图；
对于所述裂缝病害和所述修补病害计算其实际长度信息和平均宽度信息，包括：将所述病害掩膜特征图的中心像素进行去除，得到所述病害掩膜特征图的边缘形状，以所述病害掩膜特征图的边缘形状最左边的像素点为起始点，最右边的像素点为终止点；将所述边缘形状切分为上下两条路径，从上条路径开始计算起始点的切线方向，按切线方向计算在预设范围内距离起始点最近的下一个点，并计算起始点与下一点的距离，累加至总长度，判断所计算的下一个点是否为终止点，若不为终止点则循环计算至终止点的位置，以完成一条边缘线的长度计算，再计算另一条边缘线长度，得到两条边缘线长度后，取两个长度值的均值即为所述裂缝病害的实际长度值L或所述修补病害的实际长度值L；计算平均宽度W时，首先确定所述病害掩膜特征图中一条路径边缘线上一点与另一条路径边缘线中与其相近的另一点，计算两点间的距离，通过依次计算所有点直至不出现成对存在的点为止，将所有两点间距与计算次数求均值即得到所述裂缝病害的平均宽度或所述修补病害的平均宽度；上述的实际长度L和平均宽度W实质为像素宽度，根据像素距离与实际距离比值P，换算成相应的实际值，以下式进行计算：
其中，L为实际长度；W为平均宽度；P实际距离比值；
对所述坑槽病害计算其所占面积信息，包括：以输出的坑槽缺陷对应的病害掩膜特征图为基础，计算其中所有像素点个数N与判断为坑槽缺陷的像素点个数n，根据已获得的坑槽缺陷的检测矩形目标提议框像素宽w和高h，像素距离与实际距离的比值P，由下式得到坑槽缺陷实际面积：
其中，P为像素距离与实际距离的比值；n坑槽缺陷对应像素点个数；w和h分别为坑槽缺陷的检测矩形目标提议框像素宽和高；N为所有像素点个数；S为所述坑槽缺陷的实际面积；
病害分析结果输出单元，用于根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果；所述根据所述病害定位信息、所述病害掩膜信息以及所述目标几何参数信息，输出相应的路面病害分析结果，具体包括：将所述病害定位信息、病害的种类信息、所述病害掩膜信息以及所述目标几何参数信息映射到所述路面病害图像中，输出相应的路面病害分析结果；所述病害的种类信息包含裂缝信息、坑槽信息以及修补信息。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任意一项所述的路面病害检测方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任意一项所述的路面病害检测方法的步骤。
CN202110291773.XA 2021-03-18 2021-03-18 一种路面病害检测方法及装置 Active CN113240623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110291773.XA CN113240623B (zh) 2021-03-18 2021-03-18 一种路面病害检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110291773.XA CN113240623B (zh) 2021-03-18 2021-03-18 一种路面病害检测方法及装置

Publications (2)

Publication Number Publication Date
CN113240623A CN113240623A (zh) 2021-08-10
CN113240623B true CN113240623B (zh) 2023-11-07

Family

ID=77130346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110291773.XA Active CN113240623B (zh) 2021-03-18 2021-03-18 一种路面病害检测方法及装置

Country Status (1)

Country Link
CN (1) CN113240623B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658144B (zh) * 2021-08-20 2023-06-27 中国公路工程咨询集团有限公司 路面病害几何信息的确定方法、装置、设备及介质
CN114018932B (zh) * 2021-11-02 2023-05-30 西安电子科技大学 基于矩形标定物的路面病害指标测量方法
CN114298972B (zh) * 2021-11-26 2024-05-31 中用科技有限公司 一种道路路面损坏程度的计算方法
CN114049618B (zh) * 2022-01-12 2022-03-22 河北工业大学 一种基于图-点-图变换的路面三维病害pci计算方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296814A (zh) * 2015-05-26 2017-01-04 中国公路工程咨询集团有限公司 公路养护检测与可视化交互方法和系统
CN109685124A (zh) * 2018-12-14 2019-04-26 斑马网络技术有限公司 基于神经网络的道路病害识别方法及装置
CN110738642A (zh) * 2019-10-08 2020-01-31 福建船政交通职业学院 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质
CN111784657A (zh) * 2020-06-29 2020-10-16 福建中航赛凡信息科技有限公司 一种基于数字图像的水泥路面病害自动识别的系统及方法
CN111861978A (zh) * 2020-05-29 2020-10-30 陕西师范大学 基于Faster R-CNN的桥梁裂缝实例分割方法
CN112200143A (zh) * 2020-11-02 2021-01-08 坝道工程医院(平舆) 一种基于候选区域网络和机器视觉的道路病害检测方法
CN112308921A (zh) * 2020-11-09 2021-02-02 重庆大学 一种基于语义和几何的联合优化动态slam方法
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system
CN112489026A (zh) * 2020-12-08 2021-03-12 甘肃智通科技工程检测咨询有限公司 基于多分支并行卷积神经网络的沥青路面病害检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858309B (zh) * 2017-11-30 2021-04-20 东软睿驰汽车技术（上海）有限公司 一种识别道路线的方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296814A (zh) * 2015-05-26 2017-01-04 中国公路工程咨询集团有限公司 公路养护检测与可视化交互方法和系统
CN109685124A (zh) * 2018-12-14 2019-04-26 斑马网络技术有限公司 基于神经网络的道路病害识别方法及装置
CN110738642A (zh) * 2019-10-08 2020-01-31 福建船政交通职业学院 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质
CN111861978A (zh) * 2020-05-29 2020-10-30 陕西师范大学 基于Faster R-CNN的桥梁裂缝实例分割方法
CN111784657A (zh) * 2020-06-29 2020-10-16 福建中航赛凡信息科技有限公司 一种基于数字图像的水泥路面病害自动识别的系统及方法
CN112200143A (zh) * 2020-11-02 2021-01-08 坝道工程医院(平舆) 一种基于候选区域网络和机器视觉的道路病害检测方法
CN112308921A (zh) * 2020-11-09 2021-02-02 重庆大学 一种基于语义和几何的联合优化动态slam方法
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system
CN112489026A (zh) * 2020-12-08 2021-03-12 甘肃智通科技工程检测咨询有限公司 基于多分支并行卷积神经网络的沥青路面病害检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Mask R-CNN;Kaiming He et al;《arXiv》;第1-12页 *
基于Mask R-CNN的枪弹底火装配质量检测系统设计;李文静 等;《兵器装备工程学报》;第41卷(第6期);第121-125页 *
基于图像处理的桥梁混凝土裂缝检测研究进展;倪彤元 等;《城市道桥与防洪》(第7期);第258-263页 *
袁小平.《基于图像处理技术的煤矿监测系统研究与应用》.徐州：中国矿业大学出版社,2006,第43-46页. *

Also Published As

Publication number Publication date
CN113240623A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113240623B (zh) 一种路面病害检测方法及装置
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
WO2019104767A1 (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
Gao et al. Detection and segmentation of cement concrete pavement pothole based on image processing technology
CN108182383B (zh) 一种车窗检测的方法及设备
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN109376740A (zh) 一种基于视频的水尺读数检测方法
CN115546768B (zh) 基于多尺度机制和注意力机制的路面标线识别方法及系统
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN107480585A (zh) 基于dpm算法的目标检测方法
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN115601332A (zh) 一种基于语义分割的嵌入式指纹模块外观检测方法
CN113392849A (zh) 一种基于r-cnn的复杂路面裂缝识别方法
Gupta et al. Image-based crack detection approaches: a comprehensive survey
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
Bosurgi et al. An automatic pothole detection algorithm using pavement 3D data
CN113393454A (zh) 活检组织中病理目标实例分割方法和装置
CN115546127A (zh) 一种发动机滑油磨粒图像分析方法及装置、介质、设备
CN112200789B (zh) 一种图像识别的方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant