CN113673585B - 一种路面破损检测方法及系统 - Google Patents

Abstract

本发明提供一种路面破损检测方法，包括：获取待检测路面图像；对所述待检测图像进行基于亮度和对比度调整的扩充处理；输入特征提取网络，获取所述特征提取网络的输出作为特征图像；将所述特征图像输入到多层特征金字塔网络中进行特征融合，最终输出在四种不同尺度下进行特征融合后得到的特征向量；对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度；将融合后的置信度与设定阈值比较，从而得到预测框位置；根据预测框位置确定路面横向裂缝、纵向裂缝、龟裂、块状裂缝共四种类型破损情况。本发明能够在低对比度背景下对路面上存在的纵向裂痕、横向裂痕、龟裂及块状裂痕四种破损情况进行检测。

Description

一种路面破损检测方法及系统

技术领域

本发明涉及图像处理技术领域，具体而言，尤其涉及一种路面破损检测方法及系统。

背景技术

目前针对路面破损检测方法主要分为深度学习方法和传统方法两大类，深度学习主要包括基于语义分割方法和深度全卷积编解码网络算法。传统方法主要有积分通道特征与随机森林相结合的方法。

基于语义分割的破损检测算法是对数据集中的样本进行人工的语义分割，制作训练样本的标签，通过数据扩充对数据集中的图像数量进行扩充，将准备好的训练集输入网络模型进行训练，利用采集到的测试集的路面破损图像进行特征提取。该方法前期需要花费大量的人力对数据集上的样本进行人工语义分割，制作训练样本的标签，同时还要通过数据扩充的方法扩充数据集，前期的预处理很繁琐，并且只针对单一数据集进行优化，没有普遍性。

深度全卷积编解码网络采用了编码器解码器网络对图像特征进行编解码。编码器中使用去掉三层全连接层的VGG架构，减小模型参数。解码器中使用上采样的方法增大特征图尺寸，最终输出检测结果。该方法使用去除全连接层的VGG网络作为特征提取网络虽然大大降低模型参数，但提取的特征不够充分，并且检测时间较长，不能满足实时应用需求。

基于积分通道特征与随机森林相结合的方法首先引入积分通道特征来快速提取裂缝特征，然后应用随机森林来挖掘其中的结构化信息，从而获得裂缝的检测结果。该方法难以区分破损区域和噪声，对于干扰较多的图片性能不佳。

发明内容

鉴于现有技术的不足，本申请提供一种路面破损检测方法及系统。能够在低对比度背景下对路面上存在的纵向裂痕、横向裂痕、龟裂及块状裂痕四种破损情况进行检测，满足实际应用需求。

本发明采用的技术手段如下：

一种路面破损检测方法，包括：

获取待检测路面图像；

对所述待检测图像进行基于亮度和对比度调整的扩充处理，获取扩充图像；

将所述扩充图像输入特征提取网络，获取所述特征提取网络的输出作为特征图像，其中所述特征提取网络为去掉全连接层的Darknet53网络；

将所述特征图像输入到多层特征金字塔网络中进行特征融合，最终输出在四种不同尺度下进行特征融合后得到的特征向量，其中，所述多层特征金字塔网络为在三层特征金字塔结构上另外从主干网络引出一个输出尺度，然后将其与上一个输出尺度中的特征信息进行特征拼接得到特征向量；

对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度；

将融合后的置信度与设定阈值比较，融合后的置信度小于设定阈值时拒绝检测，否则以置信度作为权重对所述多层特征金字塔网络输出的预测框坐标向量进行融合，从而得到预测框位置；

根据预测框位置确定路面横向裂缝、纵向裂缝、龟裂、块状裂缝共四种类型破损情况。

进一步地，对所述待检测图像进行基于亮度和对比度调整的图像扩充处理，包括：

根据以下计算获取扩充图像：

Z₁＝αP₁+β

其中，P₁为待检测路面图像，Z₁为扩充图像，α为对比度增益，β为偏差参数。

进一步地，所述从三层特征金字塔结构主干网络引出的输出尺度大于三层特征金字塔结构的各输出尺度。

进一步地，对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度，包括：

根据以下计算获取融合后的置信度：

其中，M代表融合以后的置信度，M_i代表第i个待融合的预测框的置信度，A为需要进行融合的框的数量。

进一步地，以置信度作为权重对所述多层特征金字塔网络输出的预测框坐标向量进行融合，从而得到预测框位置，包括：

根据以下计算获取融合后的预测框坐标：

其中，S代表融合以后的边界框坐标向量，S_i代表第i个待融合的边界框坐标向量。

本发明还提供了一种路面破损检测系统，基于上述任意一项方法实现，包括：

获取模块，用于获取待检测路面图像；

扩充模块，用于对所述待检测图像进行基于亮度和对比度调整的扩充处理，获取扩充图像；

特征图像提取模块，其用于将所述扩充图像输入特征提取网络，获取所述特征提取网络的输出作为特征图像，其中所述特征提取网络为去掉全连接层的Darknet53网络；

特征融合模块，其用于将所述特征图像输入到多层特征金字塔网络中进行特征融合，最终输出在四种不同尺度下进行特征融合后得到的特征向量，其中，所述多层特征金字塔网络为在三层特征金字塔结构上另外从主干网络引出一个输出尺度，然后将其与上一个输出尺度中的特征信息进行特征拼接得到特征向量；

置信度获取模块，其用于对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度；

预测框获取模块，其用于将融合后的置信度与设定阈值比较，融合后的置信度小于设定阈值时拒绝检测，否则以置信度作为权重对所述多层特征金字塔网络输出的预测框坐标向量进行融合，从而得到预测框位置；

输出模块，其用于根据预测框位置确定路面横向裂缝、纵向裂缝、龟裂、块状裂缝共四种类型破损情况。

较现有技术相比，本发明具有以下优点：

本算法能够在破损区域与路面对比度较低的情况下完整、精确地检测出路面图像中的横向裂缝区域、纵向裂缝区域、龟裂区域以及块状裂缝区域。具有较强的实用性，为进一步的路面维修养护提供便利。

基于上述理由本发明可在路面自动检测领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明路面破损检测方法流程图。

图2为本发明中去掉全连结层的Darknet53网络结构图。

图3为本发明中改进的多层特征金字塔网络结构图。

图4为多层特征金字塔网络结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种路面破损检测方法，包括：

S1、获取待检测路面图像。

S2、对所述待检测图像进行基于亮度和对比度调整的扩充处理，获取扩充图像。

本发明中优选采用亮度对比度调整算法对数据进行扩充。计算公式如下：

Z₁＝αP₁+β

上式中，P₁为输入，Z₁为输出，参数α为预设的对比度增益，用来调整路面图像的对比度；β为预设的亮度偏差参数，用来调整路面图像的亮度。

S3、将得到的扩充图像输入特征提取网络，获取所述特征提取网络的输出作为特征图像，其中所述特征提取网络为去掉全连接层的Darknet53网络，去掉全连接层的Darknet53网络结构图如图2所示。

S4、将所述特征图像输入到多层特征金字塔网络中进行特征融合，最终输出在四种不同尺度下进行特征融合后得到的特征向量，其中，所述多层特征金字塔网络为在三层特征金字塔结构上另外从主干网络引出一个输出尺度，然后将其与上一个输出尺度中的特征信息进行特征拼接得到特征向量。其中，原始金字塔网络如图4所示，本发明中改进的多层特征金字塔网络结构如图3所示。

具体来说，本发明将通过Darknet53网络进行特征提取以后的特征图输入到多层特征金字塔网络中进行特征融合，最终输出四种不同尺度下的特征融合后的图像特征信息。多层特征金字塔网络设计是在原有的三层特征金字塔结构上额外从主干网络引出一个更大的输出尺度，然后将其与上一个输出尺度中的特征信息进行特征拼接，得到具有更丰富语义信息的四种不同图像尺度下的特征向量。

S5、对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度。

具体来说，本发明中根据以下计算获取融合后的置信度：

其中，M代表融合以后的置信度，M_i代表第i个待融合的预测框的置信度，由多层金字塔网络输出直接获取，A为需要进行融合的框的数量。

S6、将融合后的置信度与设定阈值比较，融合后的置信度小于设定阈值时拒绝检测，否则以置信度作为权重对所述多层特征金字塔网络输出的预测框坐标向量进行融合，从而得到预测框位置。

本发明中，要获取预测框，首先遍历所有多层特征金字塔输出的预测框(预测框包含坐标信息和置信度得分)。然后使用预测框的坐标信息判断任意两个预测框的交并比IOU是否大于设定的阈值，如果大于阈值那么以置信度得分作为权重对坐标信息进行加权求和，得到最终的预测框坐标。

具体来说，本发明中根据以下计算获取融合后的预测框坐标：

其中，S代表融合以后的边界框坐标向量，S_i代表第i个待融合的边界框坐标向量，由多层金字塔网络输出直接获取，包括预测框中心点横纵坐标x、y与预测框宽高W、H四种坐标信息；S_i代表第i个待融合的边界框坐标向量。本发明中，预测框在训练过程中具有类别属性，因而能够分别指出属于哪种破损情况。

S7、根据预测框位置确定路面横向裂缝、纵向裂缝、龟裂、块状裂缝共四种类型破损情况。

进一步地，本发明还包括使用标记好的数据预先对路面破损检测模型进行迭代训练。具体训练为：首先使用labelImg图像标注工具对图像进行标注。然后对标注好的图像进行数据集的划分，取百分之80的图像进行训练，百分之20的图像进行测试。训练模型整体模型包括三部分：去掉全连接层的Darknet53网络、多层特征金字塔网络、基于置信度融合的预测框筛选算法。最后开始训练，直到迭代次数为100时结束训练。

本发明另一方面还提供了一种路面破损检测系统，基于上述方法实现，包括：

获取模块，用于获取待检测路面图像；

扩充模块，用于对所述待检测图像进行基于亮度和对比度调整的扩充处理，获取扩充图像；

特征图像提取模块，其用于将所述扩充图像输入特征提取网络，获取所述特征提取网络的输出作为特征图像，其中所述特征提取网络为去掉全连接层的Darknet53网络；

特征融合模块，其用于将所述特征图像输入到多层特征金字塔网络中进行特征融合，最终输出在四种不同尺度下进行特征融合后得到的特征向量，其中，所述多层特征金字塔网络为在三层特征金字塔结构上另外从主干网络引出一个输出尺度，然后将其与上一个输出尺度中的特征信息进行特征拼接得到特征向量；

置信度获取模块，其用于对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度；

预测框获取模块，其用于将融合后的置信度与设定阈值比较，融合后的置信度小于设定阈值时拒绝检测，否则以置信度作为权重对所述多层特征金字塔网络输出的预测框坐标向量进行融合，从而得到预测框位置；

输出模块，其用于根据预测框位置确定路面横向裂缝、纵向裂缝、龟裂、块状裂缝共四种类型破损情况。

对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种路面破损检测方法，其特征在于，包括：

获取待检测路面图像；

对所述待检测图像进行基于亮度和对比度调整的扩充处理，获取扩充图像；

将所述扩充图像输入特征提取网络，获取所述特征提取网络的输出作为特征图像，其中所述特征提取网络为去掉全连接层的Darknet53网络；

将所述特征图像输入到多层特征金字塔网络中进行特征融合，最终输出在四种不同尺度下进行特征融合后得到的特征向量，其中，所述多层特征金字塔网络为在三层特征金字塔结构上另外从主干网络引出一个输出尺度，然后将其与上一个输出尺度中的特征信息进行特征拼接得到特征向量；

对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度；

将融合后的置信度与设定阈值比较，融合后的置信度小于设定阈值时拒绝检测，否则以置信度作为权重对所述多层特征金字塔网络输出的预测框坐标向量进行融合，从而得到预测框位置；

根据预测框位置确定路面横向裂缝、纵向裂缝、龟裂、块状裂缝共四种类型破损情况。

2.根据权利要求1所述的路面破损检测方法，其特征在于，对所述待检测图像进行基于亮度和对比度调整的图像扩充处理，包括：

根据以下计算获取扩充图像：

Z₁＝αP₁+β

其中，P₁为待检测路面图像，Z₁为扩充图像，α为对比度增益，β为偏差参数。

3.根据权利要求1所述的路面破损检测方法，其特征在于，所述从三层特征金字塔结构主干网络引出的输出尺度大于三层特征金字塔结构的各输出尺度。

4.根据权利要求1所述的路面破损检测方法，其特征在于，对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度，包括：

根据以下计算获取融合后的置信度：

其中，M代表融合以后的置信度，M_i代表第i个待融合的预测框的置信度，A为需要进行融合的框的数量。

5.根据权利要求1所述的路面破损检测方法，其特征在于，以置信度作为权重对所述多层特征金字塔网络输出的预测框坐标向量进行融合，从而得到预测框位置，包括：

根据以下计算获取融合后的预测框坐标：

其中，S代表融合以后的边界框坐标向量，S_i代表第i个待融合的边界框坐标向量。

6.一种路面破损检测系统，基于权利要求1所述方法实现，其特征在于，包括：

获取模块，用于获取待检测路面图像；

扩充模块，用于对所述待检测图像进行基于亮度和对比度调整的扩充处理，获取扩充图像；

特征图像提取模块，其用于将所述扩充图像输入特征提取网络，获取所述特征提取网络的输出作为特征图像，其中所述特征提取网络为去掉全连接层的Darknet53网络；

特征融合模块，其用于将所述特征图像输入到多层特征金字塔网络中进行特征融合，最终输出在四种不同尺度下进行特征融合后得到的特征向量，其中，所述多层特征金字塔网络为在三层特征金字塔结构上另外从主干网络引出一个输出尺度，然后将其与上一个输出尺度中的特征信息进行特征拼接得到特征向量；

置信度获取模块，其用于对多层特征金字塔网络输出的置信度得分进行融合处理，进而得到融合后的置信度；

预测框获取模块，其用于将融合后的置信度与设定阈值比较，融合后的置信度小于设定阈值时拒绝检测，否则以置信度作为权重对所述多层特征金字塔网络输出的预测框坐标向量进行融合，从而得到预测框位置；

输出模块，其用于根据预测框位置确定路面横向裂缝、纵向裂缝、龟裂、块状裂缝共四种类型破损情况。

Images