CN110070520B - 基于深度神经网络的路面裂缝检测模型构建及检测方法 - Google Patents

Abstract

本发明公开了基于深度卷积神经网络的路面裂缝检测模型的构建及检测方法，具包括：获取不同路面背景下的路面裂缝图像集，使用不同角度的sigmoid曲线进行特征提取，获得特征图；将特征图作为输入，将所述的的标签作为输出，训练神经网络，获得路面裂缝检测模型；其中，神经网络包括依次设置的特征提取层和分类层。再将待检测路面图像输入到检测模型中，输出路面裂缝检测结果。实现对不同背景环境下修补和未修补的路面裂缝进行检测分类的目的，具有较高的检测分类精度。

Description

基于深度神经网络的路面裂缝检测模型构建及检测方法

技术领域

本发明属于交通路面检测技术领域，涉及一种基于深度神经网络的路面 裂缝检测模型构建和检测方法。

背景技术

为了以低成本的方式维护路面的使用性能，公路管理机构需经常对路面 状况进行评估，通过对损害路面的检测，可以安排适当的维修，从而大大的 提高路面的使用寿命。传统的人工检测方法有劳动密集、耗时和不准确等缺 点。而用自动路面状况调查方法可以解决这些不足，通常使用高速数码相机 来捕捉路面数据，通过分辨率和尺寸的调整，利用不同的图像处理方法对图 像进行分析，从而识别图像中的裂缝。

虽然以往的这些方法在路面裂缝检测方面取得了很大的成果，但目前的 大多数研究只是对正常的未受影响的路面裂缝图像进行检测，对于无法克服 路面图像固有的缺陷如光照不平衡、路面标识不均匀、有阴影遮挡等影响下 的路面修补过裂缝和未修补裂缝的研究却寥寥无几。此外，由于修补过裂缝 和未修补裂缝在长度和方向上极其相似，因此在路面裂缝检测分类领域仍存 在很大的局限性。

发明内容

为解决现有技术中存在的不足，本发明提供了一种基于深度神经网络 的路面裂缝检测模型构建及检测方法，解决现有的检测方法不能准确区分 不同路面条件下的修补裂缝和未修补裂缝的问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

本发明公开的基于深度神经网络的路面裂缝检测模型的构建方法，包括 以下步骤：

步骤1，获取不同路面背景下的路面裂缝图像集；根据不同的路面背景 和裂缝情况对路面裂缝图像集加注标签，获得路面裂缝图像标签集；

步骤2，对每一幅路面裂缝图像使用n种不同角度的sigmoid曲线进行 特征提取，最终获得n×m个特征图，n≥4，m为路面裂缝图像集中的图像 个数；

步骤3，将步骤2获得的特征图作为输入，将步骤一中的标签作为输出， 训练神经网络，获得路面裂缝检测模型；

其中，所述的神经网络包括依次设置的特征提取层和分类层。

具体的，所述的分类层包括依次设置的二分类模块和多分类模块，其中 二分类模块用于将经过特征提取层的特征图分类为有裂缝图和无裂缝图，多 分类模块用于根据不同的标签将经过二分类模块处理后的图进行细分。

具体的，所述的二分类模块包括依次设置的卷积子层、激励子层、归一 化子层、分类子层、归一化子层。

具体的，所述的分类子层为softmax函数分类层。

具体的，所述的多分类模块包括依次设置的ROI池化子层、全连接子 层、激励子层和全连接子层。

具体的，所述的特征提取层包括依次设置的卷积子层、激励子层、池化 子层、卷积子层、激励子层、池化子层、卷积子层、激励子层、卷积子层、 激励子层、卷积子层和激励子层。

具体的，所述的激励子层的函数为ReLU函数。

本发明还公开了一种基于深度神经网络的路面裂缝检测方法，该方法采 用本发明所述的检测模型进行检测，具体包括：

首先，获取待处理的路面裂缝图像，采用权利要求1中步骤1和步骤2 对所述的路面裂缝图像进行处理，获得特征图；

然后，将特征图输入到权利要求1至7任一项所述的检测模型中，输出 路面裂缝检测结果。

与现有技术相比，本发明的有益效果是：

本发明首先使用多种不同角度的sigmoid曲线作为过滤器对路面图像进 行初步的特征提取，每个图像可提取出不同的多幅特征图，将这些特征图作 为初期的敏感性图，再通过一个用于特征提取的卷积神经网络CNN进行处 理，实现对不同背景环境下修补和未修补的路面裂缝进行检测分类的目的， 通过仿真实验发现，本发明的方法具有较高的检测分类精度。

附图说明

图1是本发明实施例1的整体流程及神经网络结构示意图。

图2是实施例中经过sigmoid曲线处理后产生的敏感性特征图。

图3是对实施例2的方法与对比例1、对比例2的检测结果进行对比和 评估的曲线图，(a)是不同候选区域下的平均召回率，(b)是不同IOU 阈值下的平均召回率。

图4是路面裂缝的检测结果。

具体实施方式

本发明提出的深度神经网络是用来检测复杂路面背景下的修补过和未 修补的裂缝。本发明首先使用多种不同角度的sigmoid曲线作为过滤器对路 面图像进行初步的特征提取，初步提取的特征图输入至卷积神经网络CNN 中进行分类和回归，具体包括以下步骤：

步骤1，获取不同路面背景条件下的路面裂缝图像集，该图像集用于构 建的网络模型的训练、验证和测试。为了保证数据的全面性，获取尽量多不 同路面背景下的图像，为了防止过拟合，使用不同的设备在不同的路面背景 条件下采集路面裂缝图像，对于高速车辆采集的图像，选取的图像不存在重 叠区域；

然后根据不同的路面背景条件对路面裂缝图像集加注标签，获得路面裂 缝图像标签集。

本发明中所述的“路面背景”是指正常背景、路面光照不均衡、有路面 标识和有阴影遮挡等路面背景，其中，正常背景是指路面光照均衡、没有路 面标识和没有阴影遮挡的路面。本发明中所述的“裂缝情况”是指修补裂缝 和未修补裂缝。加注标签是指将路面裂缝图像通过不同的标签标记，如标签 为：正常背景下的修补裂缝、路面光照不均衡背景下的修补裂缝、……、正 常背景下的未修补裂缝、路面光照不均衡背景下的修补裂缝、……、阴影遮 挡遮挡背景下的未修补裂缝。

步骤2，为了更有效的检测路面裂缝，使用n种不同角度的sigmoid曲 线对每一幅路面裂缝图像进行特征提取，最终共获得n×m个特征图。

为了保证裂缝获取的全面性，每一幅图需要至少四个不同角度的 sigmoid曲线进行特征提取，因此，n≥4；m为路面裂缝图像集中的图像个 数。

sigmoid曲线可以用来模拟路面图像中裂缝面积与背景信息之间的强烈 对比为确保检测的鲁棒性。由于这个初始的特征提取过程不包括可学习的参 数，它在时间和资源上的消耗成本几乎为零，因此通过该步骤的特征提取， 可以提高总体精度，大大缩短时间。

每个原始图像经过n种不同角度的sigmoid曲线处理后，得到n张不同 的敏感性图，敏感性图即本发明所述的特征图。

步骤3，为了更高精度的融合图像的空间信息，将步骤2获得的特征图 作为输入，将所述的标签作为输出，训练神经网络，获得路面裂缝检测模型； 其中，所述的神经网络包括依次设置的特征提取层和分类层。

特征提取层用于去除敏感性图中的不敏感区域(如不存在裂缝的区域)， 特征提取层包括依次设置的卷积子层、激励子层、池化子层、卷积子层、激 励子层、池化子层、卷积子层、激励子层、卷积子层、激励子层、卷积子层 和激励子层。其中，激励子层的函数为ReLU函数。

分类层对裂缝或者背景进行分类和边界回归。分类层包括依次设置的二 分类模块和多分类模块，二分类模块用于将经过特征提取层的特征图分类为 有裂缝图和无裂缝图，其中，二分类模块包括依次设置的卷积子层、激励子 层、归一化子层、分类子层、归一化子层。优选的，分类子层为softmax函 数分类层。

多分类模块用于根据不同的标签将经过二分类模块处理后的图进行细 分，多分类模块包括依次设置的ROI池化子层、全连接子层、激励子层和 全连接子层，激励子层的函数为ReLU函数。

可选的，本发明的神经网络结构为Faster R-CNN的结构。

本发明还公开了基于深度卷及神经网络的路面裂缝分类方法，具体包 括：首先，获取待处理的路面裂缝图像，采用上述步骤1和步骤2对所述的 路面图像进行处理，获得特征图；

然后，将特征图输入到上述确定的检测模型中，输出路面裂缝分类结果。

本发明的检测方法一方面由于初步的特征图提取过程有助于定位图像 中的裂缝敏感部分，显着地减少搜索区域；另一方面由于检测模型保持了传 统方法中共享CNN层的特性，因此有较高的裂缝检测速度。

下面给出本发明的具体实施例，进一步阐述本发明方法的具体实施过 程，以验证本发明的有益效果。

实施例1

本实施例给出一种基于深度神经网络的路面裂缝检测模型建立方法，该 方法具体包括：

步骤1，获取不同路面背景下的路面裂缝图像集；为了防止过拟合，作 者使用不同的设备(智能手机和安装在高速车辆上的摄像头等)，在不同的 路面背景条件下采集路面裂缝图像，对于高速车辆采集的图像，本实施例选 取的图像不存在重叠区域。由经验丰富的操作人员进行两轮检查，以消除任 何无用的图像。最终筛选出3000张分辨率大小为2000*1500像素的图像， 并将其分割成12000幅500*375像素大小的图像用于网络模型的训练、验证 和测试。根据不同的路面背景对路面裂缝图像集加注标签，其中，本实施例 的标签包括包括未修补的路面裂缝和已修补的路面裂缝，每种路面裂缝下包 括正常背景、光照不均匀、有路面标记线和阴影遮挡四种路面背景。

步骤2，使用一批不同角度的sigmoid曲线作为线滤波器对每一幅图像 进行初步特征提取，获得特征图作为敏感性图。将提取到的特征图作为检测 模型的输入，上述标签从而得到预测分数和边界框。

步骤3，将步骤2获得的特征图作为输入，将步骤一确定的标签作为输 出，训练神经网络，获得路面裂缝检测模型，将该模型命名为DCN。神经网 络结构如图1所示，神经网络包括依次设置的特征提取层和分类层。特征提 取层包括依次设置的卷积子层、激励子层、池化子层、卷积子层、激励子层、 池化子层、卷积子层、激励子层、卷积子层、激励子层、卷积子层和激励子 层。其中，激励子层的函数为ReLU函数。分类层包括依次设置的二分类模 块和多分类模块，二分类模块包括依次设置的卷积子层、激励子层、归一化 子层、分类子层、归一化子层，分类子层为softmax函数分类层。多分类模 块包括依次设置的ROI池化子层、全连接子层、激励子层和全连接子层， 激励子层的函数为ReLU函数。

实施例2

本实施例给出一种基于深度神经网络的路面裂缝检测方法，该方法具体 包括：

首先，获取待处理裂缝的路面图像，采用实施例1中所述的步骤1和步 骤2对路面图像进行处理，获得特征图；

然后，将特征图输入到实施例1中确定的检测模型中，输出路面裂缝 分类结果。检测结果如图4所示。

对比例1

本对比例使用传统的Faster R-CNN检测网络对路面裂缝进行检测。

对比例2

本对比例使用传统的SSD300检测网络对路面裂缝进行检测。

表1三种不同检测方法的结果对比

通过对比实施例2和对比例1、对比例2的试验结果，发现实施例2的 DCN的平均检测精度(MAP)较Faster R-CNN和SSD300提高了0.90；DCN 的检出率为6fps左右，略低于SSD300，但明显高于Faster R-CNN。在大 多背景条件下，修补过裂缝的检测精度优于未修补裂缝的检测精度，且有路 面标识的裂缝检测最为困难。但DCN仍可获得0.85以上的检测精度。

比较DCN与Faster R-CNN和SSD300在不同anchor个数和不同IoU阈 值的性能，如图4所示，在平均召回率上，DCN优于所有其他方法。与未 修补的裂缝图像相比，修补过裂缝呈现出更深的颜色，因此在给定的背景条 件下，修补过裂缝的检测平均召回率略高于未修补裂缝检测。总体来说，本 发明方法的检测性能优于SSD 300和Faster R-CNN，模型更加精确和可靠。

需要说明的是，本发明并不局限于上述实施例，在本发明公开的技术方 案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳 动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在 本发明的保护范围内。

Claims (8)

1.基于深度神经网络的路面裂缝检测模型的构建方法，其特征在于，包括以下步骤：

步骤1，获取不同路面背景下的路面裂缝图像集，根据不同的路面背景和裂缝情况对路面裂缝图像集加注标签，获得路面裂缝图像标签集；

所述的“路面背景”是指正常背景、路面光照不均衡、有路面标识和有阴影遮挡等路面背景，其中，正常背景是指路面光照均衡、没有路面标识和没有阴影遮挡的路面，所述的“裂缝情况”是指修补裂缝和未修补裂缝；

步骤2，对每一幅路面裂缝图像使用n种不同角度的sigmoid曲线进行特征提取，最终获得n×m个特征图，n≥4，m为路面裂缝图像集中的图像个数；所述的sigmoid曲线可以用来模拟路面图像中裂缝面积与背景信息之间的强烈对比为确保检测的鲁棒性；

步骤3，将步骤2获得的特征图作为输入，将步骤1中的标签作为输出，训练神经网络，获得路面裂缝检测模型；

其中，所述的神经网络包括依次设置的特征提取层和分类层；

所述的特征提取层用于去除敏感性图中的不敏感区域；所述的分类层对裂缝或者背景进行分类和边界回归。

2.如权利要求1所述的基于深度神经网络的路面裂缝检测模型的构建方法，其特征在于，所述的分类层包括依次设置的二分类模块和多分类模块，其中二分类模块用于将经过特征提取层的特征图分类为有裂缝图和无裂缝图，多分类模块用于根据不同的标签将经过二分类模块处理后的图进行细分。

3.如权利要求2所述的基于深度神经网络的路面裂缝检测模型的构建方法，其特征在于，所述的二分类模块包括依次设置的卷积子层、激励子层、归一化子层、分类子层、归一化子层。

4.如权利要求3所述的基于深度神经网络的路面裂缝检测模型的构建方法，其特征在于，所述的分类子层为softmax函数分类层。

5.如权利要求2所述的基于深度神经网络的路面裂缝检测模型的构建方法，其特征在于，所述的多分类模块包括依次设置的ROI池化子层、全连接子层、激励子层和全连接子层。

6.如权利要求1所述的基于深度神经网络的路面裂缝检测模型的构建方法，其特征在于，所述的特征提取层包括依次设置的卷积子层、激励子层、池化子层、卷积子层、激励子层、池化子层、卷积子层、激励子层、卷积子层、激励子层、卷积子层和激励子层。

7.如权利要求3、5或6所述的基于深度神经网络的路面裂缝检测模型的构建方法，其特征在于，所述的激励子层的函数为ReLU函数。

8.基于深度神经网络的路面裂缝检测方法，其特征在于，采用权利要求1至权利要求7任一项所述的检测模型进行检测，具体包括：

首先，获取待处理的路面裂缝图像，采用权利要求1中步骤1和步骤2对所述的路面裂缝图像进行处理，获得特征图；

然后，将特征图输入到权利要求1至7任一项所述的检测模型中，输出路面裂缝检测结果。

Images