CN113392849A - 一种基于r-cnn的复杂路面裂缝识别方法 - Google Patents

Abstract

一种基于R‑CNN的复杂路面裂缝识别方法，属于图像识别领域。现有的公路路面裂缝识别算法存在识别计量复杂度高、受背景变化影响导致识别算法的鲁棒性差。本发明包括，路面裂缝图像预处理：利用公共数据集ImageNet对Mask R‑CNN进行预训练，并优化参数，对路面图片数据进行标注；构建路面裂缝识别模型；对标注好的路面图片数据通过深度学习算法进行端到端的训练，得出模型最优的结果和配置参数，建立路面裂缝识别模型；对路面裂缝进行检测，检测图片中的裂缝以及裂缝出现的位置；将识别后的裂缝图像文件通过网络上传到服务器，并存储图像的路径。本发明通过特征金字塔网络提高检测精度，进而提高裂缝的识别效果。

Description

一种基于R-CNN的复杂路面裂缝识别方法

技术领域

本发明涉及一种基于R-CNN的复杂路面裂缝识别方法。

背景技术

由于公路的频繁使用和恶劣天气的影响，公路路面会出现不同形状、不同程度的裂缝。如果裂缝产生初期没有及时得到处理，不仅会影响公路的美观、降低行车人员的舒适感、减少公路的承重量和使用寿命，而且会引起更严重的裂缝，轻则造成更大的养护资金投入，重则引起公路瘫痪、引发交通事故、危害人们的生命安全。因此，公路的日常养护工作必不可少，保持公路路面状态良好是减少交通事故和减少人员伤亡的关键。

为了客观地反映公路的损害情况，提高公路的服务水平，保障公路运输安全、高效、便捷，必须采取高效合理的检测手段，对公路路面裂缝进行准确检测，进而分析裂缝形成原因并采取相应的养护措施。

路面裂缝识别最大的困难在于裂缝程度不均匀、裂缝和周围路面背景的低对比度、背景的干扰以及阴影的影响。传统的检测手段主要是人工巡检，通过肉眼观察路面破损情况，存在检测手段单一、效率低、周期长、可靠性差、现场检测作业危险和影响交通等诸多问题。

目前，仅仅通过人工识别检测方式或者单一的图像处理检测方法早已不能满足日前路面裂缝检测的发展速度，而且存在一定的误差。如何实时准确地识别、检测定位出路面中存在的裂缝目标并当下予以修复是当前亟待解决的问题。

随着机器学习的发展，大量用于特征提取的算法被用于公路路面裂缝识别领域。Oliveira等人将均值和标准差用于无监督学习从而对带有裂缝的图像与没有裂缝的图像进行区分。Cord等人^[19]通过线性滤波器对图像纹理特征进行描述，并基于AdaBoost的监督学习算法区分裂缝与非裂缝特征。Shi等人提出了一种基于结构随机森林的算法对裂缝的特征进行描述。这些算法的检测效果较传统算法有了很大的提升，但是其结果非常依赖于所提取的特征，由于公路路面条件复杂，所以其检测精度也会受到影响。虽然基于传统机器学习的目标识别算法在当时取得了较好的效果，但是它们都是应用滑动窗口法对图像的候选区域进行提取，这种算法会产生大量冗余，增加了计算复杂度，且对于背景变化的影响没有很好的鲁棒性。

发明内容

本发明的目的是为了解决现有的公路路面裂缝识别算法存在识别计量复杂度高、受背景变化影响导致识别算法的鲁棒性差的问题，而提出一种基于R-CNN的复杂路面裂缝识别方法。

一种基于R-CNN的复杂路面裂缝识别方法，所述方法通过以下步骤实现：

步骤一、路面裂缝图像预处理；

采用迁移学习方法，利用与公路路面裂缝具有相似特征的带有标签的公共数据集ImageNet对Mask R-CNN进行预训练，并在预训练的基础上通过采集制作的公路路面裂缝数据集对Mask R-CNN的参数进行优化，对路面图片数据进行标注，给监督学习模型提供大量带有标签的图片进行训练；

步骤二、构建路面裂缝识别模型；

对标注好的路面图片数据通过深度学习算法进行端到端的训练，得出模型最优的结果和配置参数，建立路面裂缝识别模型；利用建立的路面裂缝识别模型对路面裂缝进行检测，检测图片中的裂缝以及裂缝出现的位置；

在此基础上，将路面裂缝识别模型应用于检测复杂路面背景下和不同路面材料上的路面裂缝检测，进而分析模型的鲁棒性；

步骤三、服务器端裂缝图像存储与信息处理；

将识别后的裂缝图像文件通过网络上传到服务器，图像的路径存储至数据库中，将识别出的裂缝上传到服务器上。

优选地，一种基于R-CNN的复杂路面裂缝识别方法，步骤一所述的路面裂缝图像预处理的步骤还包括图像扩充的的步骤，具体为，对数据集进行随机镜像、增加适当高斯噪声、垂直方向图像随机旋转等处理实行图像增强。

优选地，一种基于R-CNN的复杂路面裂缝识别方法，步骤二所述的路面裂缝识别模型的多层神经网络表示为假设第l层的输入为x_l，经过若干层神经网络之后输出为x_L，那么x_L通过残差模块，可以将输出表示为：

式中，F(x_i,W_i)是某个残差模块的映射输出；Wi是第i个卷积层的权重；bi是第i个卷积层的偏置，假设神经网络的损失函数输出为l，那么经过反向传播，有如下结果：

由上式可以得出，加入残差模块进行反向传播更新权重时，随着网络层数的加深，不存在梯度弥散和梯度爆炸的现象，同时，要使得深层网络的表达能力至少不下降，即 x_L→x_l，通过残差神经网络可以表示为

优选地，一种基于R-CNN的复杂路面裂缝识别方法，步骤二所述的利用建立的路面裂缝识别模型对路面裂缝进行检测，检测图片中的裂缝以及裂缝出现的位置的过程，具体为：

第一阶段，通过区域生成网络提取候选区域；

第二阶段，基于Mask R-CNN进行路面裂缝识别模型的构建，进行分类并生成边界框和掩膜；Mask R-CNN是通用图像分割框架；

其中，Mask R-CNN算法的结构为：

Mask R-CNN将裂缝特征提取、裂缝候选区域生成、裂缝类别判定、裂缝位置精修、裂缝分割统一到一个神经网络中；Mask R-CNN简化了路面裂缝识别的流程，提高了检测精度和速度。Mask R-CNN的主体框架基于Faster R-CNN框架，可以将Mask R-CNN看成是Faster R-CNN的扩展，只是在Faster R-CNN已有的用于边界框识别分支上添加了一个并行的用于预测目标掩膜的分支，由Faster R-CNN中分类和回归两个任务变为分类、回归、分割三个任务。

其中，Mask R-CNN算法的原理为：

(1)、Mask R-CNN中采用一个自底向上的线路，以及对应层的连接线路组成的特征金字塔网络，特征金字塔网络将自底向上和自顶向下的路径通过横向连接将不同深度的路面图像特征进行互相融合；

(2)、将特征图金字塔中的每个位置选取若干种尺度和比例映射回原始道路图像生成ROI，形成改进的Anchor机制；再通过后续实验在特征图的每个位置按照面积选取不同尺度；

(3)、采用Anchor机制对特征图金字塔的每个位置提取出了候选区域，用512个大小为3×3的卷积核在特征图上进行卷积运算，将每个特征图的位置编码成512维度的特征向量，该特征向量就是特征图在该位置对应的ROI的特征向量；

(4)、将该特征向量输入到两个全连接层分支，一个分支是用于判断这些ROI是前景图片还是路面背景图片的分类层；另一个分支是候选区域回归层，输出候选区域的位置(x,y,w,h)，其中(x,y)是候选区域中心点坐标，w和h是候选区域的宽和高；对两个全连接层的输出结果进行汇总，剔除被判断为路面背景的ROI；

(5)、使用全卷积网络FCN和Sigmoid激活函数为每个ROI预测两类28×28的二进制掩膜，表征输入目标的空间布局；掩膜分支输出的每个点代表候选区域某个类别的形状的前后景置信度；通过设定一定的置信度阈值，对置信度进行二值化，产生前景和背景的分割形状掩膜；对每一个ROI，如果检测得到ROI属于某个分类，则使用对应分支的相对熵误差作为误差值进行计算；在预测裂缝边界时，将掩膜放大到ROI边界框的大小，与ROI进行与掩膜计算，覆盖原始输入图像；最后，将掩膜放大到ROI边界框的大小，与原图像的裂缝掩膜对比。

本发明的有益效果为：

本发明是在Mask R-CNN的基础上，提出了RPN网络通过Anchor机制将特征图中的点映射回原路面图像对裂缝进行定位的方法。其中主要有以下两点改进：

(1)对传统卷积神经网络进行改进，采用基于残差神经网络的特征金字塔网络，该网络不仅能够解决梯度弥散、梯度爆炸、网络退化等问题而且还可以在多个尺度上融合路面裂缝的各种特征，有利于更好的学习到路面裂缝特征进而达到更加理想的预测效果。同时大大减少运算量并且提高了目标的检测率。本发明的模型能够自动判断路面裂缝的类型和位置，并可以通过掩膜对路面裂缝进行分割，为路面裂缝识别提供了一种新的方法，并为进一步的养护决策提供了数据支持，为路面裂缝识别提供了新思路。

(2)Anchor尺寸的选择对于减少训练时间，提高模型的准确率具有重要的影响。通过调整Anchor位置，使其对目标位置的拟合更正确。通过RPN网络对特征金字塔中的每一个点采用Anchor机制映射回原始路面图像生成ROI，并使用非极大值抑制去除冗余的 ROI，减少模型的计算量，加快模型收敛速度实现了多尺度特征图的深度融合和更多局部特征的有效提取。既能够提取出路面图片的特征，同时所需的时间成本也较低。

附图说明

图1为本发明的流程图；

图2为本发明涉及的Mask R-CNN的网络结构图；

图3为本发明涉及的区域生成网络的示意图。

具体实施方式

具体实施方式一：

本实施方式的一种基于R-CNN的复杂路面裂缝识别方法，如图1所示，所述方法通过以下步骤实现：

步骤一、路面裂缝图像预处理；

基于深度学习的公路路面裂缝识别性能依赖于大量的图像数据集，然而在公路路面裂缝识别过程中，存在训练数据不足、数据采集成本高、标注成本高等问题，使大规模的带标签数据集的构建非常困难，本发明采用迁移学习方法，利用与公路路面裂缝具有相似特征的带有标签的公共数据集ImageNet对Mask R-CNN进行预训练，并在预训练的基础上通过采集制作的公路路面裂缝数据集对Mask R-CNN的参数进行优化，使其可以用于公路路面裂缝识别当中。

从而解决由于拍摄角度和阴影遮挡造成路面图像采集时的图片光照不均，以及由于路面图像存在路面标志标线、油污等噪声及边缘信息微弱等问题，导致的路面裂缝识别难度增加。通过对路面裂缝进行分类和定位之前需要去除图像噪声，减少无关因素对裂缝识别的干扰，提高后续深度学习模型对裂缝分类和定位的准确率。采取合适的滤波算法在保留裂缝边缘信息的同时去除路面裂缝图像的噪声。同时，对路面图片数据进行标注，给监督学习模型提供大量带有标签的图片进行训练；

步骤二、构建路面裂缝识别模型；

对标注好的路面图片数据通过深度学习算法进行端到端的训练，得出模型最优的结果和配置参数，建立路面裂缝识别模型；利用建立的路面裂缝识别模型对路面裂缝进行检测，检测图片中的裂缝以及裂缝出现的位置；

在此基础上，将路面裂缝识别模型应用于检测复杂路面背景下和不同路面材料上的路面裂缝检测，进而分析模型的鲁棒性；

步骤三、服务器端裂缝图像存储与信息处理；

将识别后的裂缝图像文件通过网络上传到服务器，图像不会直接存到数据库，因为图像太大了，图像的路径存储至数据库中，显示图片的时候也是得到URL地址，然后从服务器中去取。将识别出的裂缝上传到服务器上，为进一步的养护决策提供了数据支持，进而供专业人员分析裂缝形成原因并采取相应的养护措施，为路面裂缝识别提供了一种新的思路。

本发明将基于残差网络改进Mask R-CNN目标识别算法用于公路路面裂缝识别当中。该算法引入了区域生成网络(Region Proposal Network，RPN)提取候选区域，在目标定位的基础上实现了对目标物体的分割。最后，为了提升检测精度，提出了算法模型的检测性能提升方法。

步骤四、路面破损分类模型构建；

首先，进行公路技术状况评价，之后，进行数据标注，之后，进行随机森林模型训练，之后，建立图形用户界面。

本发明基于Mask R-CNN路面裂缝识别模型，然后对模型的参数加以改进后进行训练和验证，得出最优的模型参数，最后对模型的鲁棒性进行研究。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种基于R-CNN的复杂路面裂缝识别方法，步骤一所述的路面裂缝图像预处理的步骤还包括图像扩充的的步骤，具体为，对数据集进行随机镜像、增加适当高斯噪声、垂直方向图像随机旋转等处理实行图像增强。数据集增强在一定程度上弥补了数据集样本不足的问题，减少网络的过拟合现象，可得到泛化能力更强的网络，更好地适应应用场景。

具体实施方式三：

与具体实施方式二不同的是，本实施方式的一种基于R-CNN的复杂路面裂缝识别方法，步骤二所述的路面裂缝识别模型的多层神经网络表示为假设第l层的输入为x_l，经过若干层神经网络之后输出为x_L，那么x_L通过残差模块，可以将输出表示为：

式中，F(x_i,W_i)是某个残差模块的映射输出；Wi是第i个卷积层的权重；bi是第i个卷积层的偏置，假设神经网络的损失函数输出为l，那么经过反向传播，有如下结果：

由上式可以得出，加入残差模块进行反向传播更新权重时，随着网络层数的加深，不存在梯度弥散和梯度爆炸的现象，同时，要使得深层网络的表达能力至少不下降，即 x_L→x_l，通过残差神经网络可以表示为

在增加网络深度的同时，虽然前向传播和反向传播变得更复杂，但是残差神经网络将难以训练的深层x_L转换为较容易训练的若干个残差模块，解决了网络退化的问题，提高了神经网络的性能；

尽管残差神经网络层数深，但由于具有残差模块，解决了卷积神经网络在训练时存在的梯度弥散、梯度爆炸，以及网络退化的问题，在提取出复杂的路面裂缝特征的同时保持较小的参数量，训练模型时间成本也较低。因此，本发明选择ResNet作为路面裂缝识别模型的特征提取网络。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种基于R-CNN的复杂路面裂缝识别方法，步骤二所述的利用建立的路面裂缝识别模型对路面裂缝进行检测，检测图片中的裂缝以及裂缝出现的位置的过程，具体为：

第一阶段，通过区域生成网络(Region Proposal Network，RPN)提取候选区域；

第二阶段，基于Mask R-CNN进行路面裂缝识别模型的构建，进行分类并生成边界框和掩膜；Mask R-CNN将候选区域的提取与神经网络的训练结合在一起，大大地加快了模型训练的速度，容易泛化；Mask R-CNN是一个小巧、灵活的通用图像分割框架，它不仅可以对图像中的目标进行检测，还可以对每一个目标输出高质量的分割结果；

其中，Mask R-CNN算法的结构为：

Mask R-CNN将裂缝特征提取、裂缝候选区域生成、裂缝类别判定、裂缝位置精修、裂缝分割统一到一个神经网络中；Mask R-CNN简化了路面裂缝识别的流程，提高了检测精度和速度。Mask R-CNN的主体框架基于Faster R-CNN框架，可以将Mask R-CNN看成是Faster R-CNN的扩展，只是在Faster R-CNN已有的用于边界框识别分支上添加了一个并行的用于预测目标掩膜的分支，由Faster R-CNN中分类和回归两个任务变为分类、回归、分割三个任务。Mask R-CNN的网络结构如图2所示；

其中，Mask R-CNN算法的原理为：

(1)、Mask R-CNN中采用一个自底向上的线路，以及对应层的连接线路组成的特征金字塔网络，该网络可以在多个尺度上融合路面裂缝的各种特征，有利于更好的学习到路面裂缝特征；特征金字塔网络将自底向上和自顶向下的路径通过横向连接将不同深度的路面图像特征进行互相融合，同时利用低层特征高分辨率和高层特征的强语义信息，通过融合这些不同层的特征达到更加理想的预测效果；

(2)、将特征图金字塔中的每个位置选取若干种尺度和比例映射回原始道路图像生成 ROI，形成改进的Anchor机制；由于路面裂缝存在细长，裂缝的大小和长宽比例不一致的特点，需要再通过后续实验在特征图的每个位置按照面积选取不同尺度；每种尺度选取不同比例，使模型可以获得最佳的候选区域分割效果；

(3)、采用Anchor机制对特征图金字塔的每个位置提取出了候选区域，用512个大小为3×3的卷积核在特征图上进行卷积运算，将每个特征图的位置编码成512维度的特征向量，该特征向量就是特征图在该位置对应的ROI的特征向量；

(4)、将该特征向量输入到两个全连接层分支，一个分支是用于判断这些ROI是前景图片还是路面背景图片的分类层；另一个分支是候选区域回归层，输出候选区域的位置(x，y，w，h)，其中(x，y)是候选区域中心点坐标，w和h是候选区域的宽和高；对两个全连接层的输出结果进行汇总，剔除被判断为路面背景的ROI。区域生成网络的示意图如图3 所示；

通过区域生成网络，每一张路面裂缝图片能够生成大量的ROI，有些ROI之间存在重叠的部分。为了去除冗余的ROI，通常采用非极大值抑制算法对区域生成网络产生的ROI进行筛选，找到最佳的路面裂缝识别位置。Mask R-CNN采用ROI Align操作消除了候选区域与回归产生的位置之间存在的偏差，这个偏差会影响路面裂缝识别和分割的精度。

(5)、使用全卷积网络FCN和Sigmoid激活函数为每个ROI预测两类28×28的二进制掩膜，表征输入目标的空间布局；掩膜分支输出的每个点代表候选区域某个类别的形状的前后景置信度；通过设定一定的置信度阈值，对置信度进行二值化，产生前景和背景的分割形状掩膜；掩膜分支中的每个层都显式的保持28×28的对象空间布局，而不会将其映射成更低空间维度的向量表示；对每一个ROI，如果检测得到ROI属于某个分类，则使用对应分支的相对熵误差作为误差值进行计算，避免了类间竞争；在预测裂缝边界时，将掩膜放大到ROI边界框的大小，与ROI进行与掩膜计算，覆盖原始输入图像；最后，将掩膜放大到ROI边界框的大小，与原图像的裂缝掩膜对比。

Claims (4)

1.一种基于R-CNN的复杂路面裂缝识别方法，其特征在于：所述方法通过以下步骤实现：

步骤一、路面裂缝图像预处理；

采用迁移学习方法，利用与公路路面裂缝具有相似特征的带有标签的公共数据集ImageNet对Mask R-CNN进行预训练，并在预训练的基础上通过采集制作的公路路面裂缝数据集对Mask R-CNN的参数进行优化，对路面图片数据进行标注，给监督学习模型提供大量带有标签的图片进行训练；

步骤二、构建路面裂缝识别模型；

对标注好的路面图片数据通过深度学习算法进行端到端的训练，得出模型最优的结果和配置参数，建立路面裂缝识别模型；利用建立的路面裂缝识别模型对路面裂缝进行检测，检测图片中的裂缝以及裂缝出现的位置；

在此基础上，将路面裂缝识别模型应用于检测复杂路面背景下和不同路面材料上的路面裂缝检测，进而分析模型的鲁棒性；

步骤三、服务器端裂缝图像存储与信息处理；

将识别后的裂缝图像文件通过网络上传到服务器，图像的路径存储至数据库中，将识别出的裂缝上传到服务器上。

2.根据权利要求1所述的一种基于R-CNN的复杂路面裂缝识别方法，其特征在于：步骤一所述的路面裂缝图像预处理的步骤还包括图像扩充的的步骤，具体为，对数据集进行随机镜像、增加适当高斯噪声、垂直方向图像随机旋转等处理实行图像增强。

3.根据权利要求2所述的一种基于R-CNN的复杂路面裂缝识别方法，其特征在于：步骤二所述的路面裂缝识别模型的多层神经网络表示为假设第l层的输入为x_l，经过若干层神经网络之后输出为x_L，那么x_L通过残差模块，可以将输出表示为：

式中，F(x_i,W_i)是某个残差模块的映射输出；Wi是第i个卷积层的权重；bi是第i个卷积层的偏置，假设神经网络的损失函数输出为l，那么经过反向传播，有如下结果：

由上式可以得出，加入残差模块进行反向传播更新权重时，随着网络层数的加深，不存在梯度弥散和梯度爆炸的现象，同时，要使得深层网络的表达能力至少不下降，即x_L→x_l，通过残差神经网络可以表示为

4.根据权利要求3所述的一种基于R-CNN的复杂路面裂缝识别方法，其特征在于：步骤二所述的利用建立的路面裂缝识别模型对路面裂缝进行检测，检测图片中的裂缝以及裂缝出现的位置的过程，具体为：

第一阶段，通过区域生成网络提取候选区域；

第二阶段，基于Mask R-CNN进行路面裂缝识别模型的构建，进行分类并生成边界框和掩膜；Mask R-CNN是通用图像分割框架；

其中，Mask R-CNN算法的结构为：

Mask R-CNN将裂缝特征提取、裂缝候选区域生成、裂缝类别判定、裂缝位置精修、裂缝分割统一到一个神经网络中；Mask R-CNN简化了路面裂缝识别的流程，提高了检测精度和速度；

其中，Mask R-CNN算法的原理为：

(1)、Mask R-CNN中采用一个自底向上的线路，以及对应层的连接线路组成的特征金字塔网络，特征金字塔网络将自底向上和自顶向下的路径通过横向连接将不同深度的路面图像特征进行互相融合；

(2)、将特征图金字塔中的每个位置选取若干种尺度和比例映射回原始道路图像生成ROI，形成改进的Anchor机制；再通过后续实验在特征图的每个位置按照面积选取不同尺度；

(3)、采用Anchor机制对特征图金字塔的每个位置提取出了候选区域，用512个大小为3×3的卷积核在特征图上进行卷积运算，将每个特征图的位置编码成512维度的特征向量，该特征向量就是特征图在该位置对应的ROI的特征向量；

(4)、将该特征向量输入到两个全连接层分支，一个分支是用于判断这些ROI是前景图片还是路面背景图片的分类层；另一个分支是候选区域回归层，输出候选区域的位置(x,y,w,h)，其中(x,y)是候选区域中心点坐标，w和h是候选区域的宽和高；对两个全连接层的输出结果进行汇总，剔除被判断为路面背景的ROI；

(5)、使用全卷积网络FCN和Sigmoid激活函数为每个ROI预测两类28×28的二进制掩膜，表征输入目标的空间布局；掩膜分支输出的每个点代表候选区域某个类别的形状的前后景置信度；通过设定一定的置信度阈值，对置信度进行二值化，产生前景和背景的分割形状掩膜；对每一个ROI，如果检测得到ROI属于某个分类，则使用对应分支的相对熵误差作为误差值进行计算；在预测裂缝边界时，将掩膜放大到ROI边界框的大小，与ROI进行与掩膜计算，覆盖原始输入图像；最后，将掩膜放大到ROI边界框的大小，与原图像的裂缝掩膜对比。

Images