CN109767423B - 一种沥青路面图像的裂缝检测方法 - Google Patents

Abstract

本发明公开了一种沥青路面图像的裂缝检测方法。首先将标记好的训练数据输入到Crack‑Faster‑RCNN模型；其次，训练深度残差卷积神经网络ResNet101提取图像特征的能力、区域建议网络RPN对裂缝和背景的分类能力、分类网络Classifier对裂缝的分类以及边框位置回归的能力；最后保存训练好的Crack‑Faster‑RCNN模型参数。将训练好的Crack‑Faster‑RCNN模型用于检测新的路面裂缝图像，首先加载模型的参数，提取图像的特征；然后对其进行裂缝的检测；最后标记裂缝的位置信息。本发明通过构建路面裂缝检测的深度神经网络框架，实现了可应用于实际场景的沥青路面裂缝检测方法。

Description

一种沥青路面图像的裂缝检测方法

技术领域

本发明涉及深度学习领域，尤指使用深度学习方法进行图像中路面裂缝的检测。

背景技术

中国公路交通正处于高速发展时期，在新建、改扩建公路特别是高等级公路的同时，路面养护管理的重要性和紧迫性也日渐凸显。沥青材料因其施工快速、维修便捷、适应力强等优点已经被广泛应用为我国的高速公路修建材料。对于沥青路面来说，裂缝是最常见的最重要的病害变现形式，路面裂缝在很大程度上会诱发路基或基层出现病害，如雨水沿裂缝进入基层导致基层失稳，从而加剧路面病害。同时如果不及时修补裂缝，不仅影响行车安全，还会缩短公路的使用寿命。实现对裂缝的快速检测、高效识别和及时养护是提升道路服务质量和延长道路使用寿命的有效途径。

目前，基于数字图像的裂缝检测系统是较为主流的检测方法，已被广泛应用于公路、隧道和桥梁的裂缝检测系统中，这些系统一般由图像采集系统和图像处理软件组成，图像处理软件常采用预处理、基于阈值分割和边缘检测以及基于形态学的裂缝检测算法，这些方法在路面干净且图像采集环境良好时，能够取得较好的效果，但是就行业实际应用表明，目前国内外还没有任何一种裂缝检测算法能够满足实际工程应用需求。主要是由于以下原因造成：图像采集时受自然光照、天气、路面状况以及行车状态等影响，获取的路面图像会存在光照不均、曝光效果差、模糊、阴影等现象。因此采集到的图像中裂缝与背景对比度弱且难以表现出完整的几何形态，因此传统的检测方法并不能取得令人满意的效果。

近年来，深度学习方法在实践中取得了革命性进展，在视觉和听觉等感知问题上取得了令人瞩目的成果，特别是在图像处理领域，在ImageNet数据集上，深度学习方法的识别能力已经超过了人类。国内外学者也在研究将深度学习方法应用到道路裂缝的检测，但这些研究多是针对水泥路面的裂缝检测，且这些方法多是将输入图片划分为一个一个独立的子块，然后对子块进行一个有无裂缝的分类。因为是基于子块的检测，因此这些方法不能很好地考虑到图片的全局信息，且无法实现在原图上对裂缝进行定位。

针对已有的数据采集方法采集到的沥青路面数据中存在光照不均、曝光效果差、图像噪声多等多种现象，造成传统的特征工程方法效果不佳，结合深度神经网络强大的特征学习能力，本发明采用深度残差神经网络对采集到的沥青路面图片进行特征提取，然后经过区域建议网络生成包含裂缝的候选区域，再通过非线性映射实现对推荐区域的分类和边框位置的回归，实现对裂缝的定位。

发明内容

鉴于现有的路面裂缝检测方法存在的问题，本发明的目的是提供一种使用深度神经网络实现路面裂缝的检测方法，使之克服现有技术的以上不足。使用深度残差神经网络ResNet101提取图片特征，采用RPN网络实现对裂缝的定位，以实现对复杂沥青路面的裂缝检测，直接在输入图像中定位出裂缝位置。本发明主要手段为：

一种沥青道路路面图像的裂缝检测方法，通过构建深度神经网络学习框架，对路面裂缝图像进行特征提取，以实现对沥青道路路面裂缝的即时检测，包括如下步骤：

步骤1、使用适宜线宽的矩形框，利用已经获取的路面裂缝标记图像集，标出其每幅图像中裂缝的精确位置，即GroundTruth；

步骤2、训练Crack-Faster-RCNN模型

步骤2.1：将标记好GroundTruth的路面裂缝图像作为输入，传入用ImageNet数据集训练好的深度残差神经网络ResNet101；对每幅图像通过多次卷积操作、ReLU函数激活和池化操作提取图像特征，输出特征映射Feature map；

步骤2.2：将2.1所获特征映射Feature map输入给区域建议网络RPN，RPN网络先对Feature map进行1次卷积和1次池化操作，然后使用anchor策略，在特征映射的每一个像素点上都生成K个anchor，K大于或等于9；

步骤2.3：整个RPN网络分为两个分支，分支1结合图像的GroundTruth和步骤2.2得到的anchors，通过计算每个anchor与GroundTruth的Intersection-Over-Union对裂缝目标和背景噪声进行区分，训练RPN网络分支1对裂缝目标和背景噪声的分类能力；

步骤2.4：利用2.3训练好的RPN网络的分支1区分出包含裂缝的anchors，对每一个anchors通过softmax函数计算出一个相应的置信值，即其被分类为裂缝的概率；然后将计算出置信值后的所有anchors输入给RPN网络的分支2；分支2首先结合GroundTruth对输入的每一个anchors进行边框位置的初步回归，然后对位置回归后的anchors按照所其相应的置信值进行排序；提取出排序靠前的若干个位置回归后的anchors，进行非极大值抑制后再按照置信值进行排序，提取出一定数量排序靠前的anchors作为候选区域proposals，并输出；

步骤2.5：将步骤2.4得到的一定数量的候选区域proposals结合步骤2.1得到的特征映射Feature map进行ROI pooling，然后经过Classifier网络的非线性映射对处理后的候选区域进行最终的裂缝目标检测和边框位置的精确回归；

步骤2.6：保存训练得到的Crack-Faster-RCNN的模型参数；

步骤3、沥青路面图像裂缝的检测

步骤3.1：加载步骤2.6保存的Crack-Faster-RCNN模型参数；

步骤3.2：将需要检测的路面图像输入到深度残差神经网络ResNet101，进行特征的提取，得到特征映射Feature maps；

步骤3.3：执行步骤2.2的过程生成anchors，然后执行步骤2.4-2.5；

步骤3.4：在输入的检测图像中画出裂缝的位置及预测概率。

本发明在使用深度网络提取图像特征时，针对沥青路面图像的灰度不均衡且多噪声等特性，不同于其他的Faster-RCNN多采用ZF-Net或者VGG16作为特征提取网络。本发明在大量实验之后选择目前在图像分类和目标检测领域取得较好效果的深度残差卷积神经网络ResNet101作为特征提取网络。与现有技术相比，本发明的积极效果是：

(1)该发明基于Faster-RCNN模型，使用深度神经网络实现对路面裂缝的检测，使用者仅需输入路面图像，经过非线性映射即可实现对裂缝的检测，在输入路面上定位裂缝的位置。

(2)该发明基于Faster-RCNN模型，针对沥青路面的灰度不均衡且多噪声等特点，使用深度残差神经网络ResNet101作为特征提取网络，针对裂缝的方向特征，在RPN网络中，使用宽高比为{0.25，1，4}生成anchors，本发明提出的模型命名为Crack-Faster-CNN，该模型能够即时有效地检测出裂缝的位置

(3)该发明提出的Crack-Faster-CNN模型，针对图像质量差且方向特征强的目标进行检测，可扩展到其它有关的目标检测领域，模型泛化能力强。

附图说明

图1是本发明整体的工作流程图

图2是Crack-Faster-RCNN模型结构图。其中ResNet101代表特征提取网络，RPN代表区域建议网络，输入图片后，首先经过ResNet101提取出Feature map，然后将提取出的Feature map送入RPN网络获得Proposals，将获得的proposals经过ROI Pooling处理后送入分类网络Classifier后在输入图片上定位出检测到的裂缝位置和预测概率；

图3是特征提取网络ResNet101网络结构图。输入图片后经过卷积、激活、池化操作后得到Feature map，图中卷积层中的文本表示过滤器的大小和数量，池化层中的文本表示过滤器的大小和池化方式；

图4是区域建议网络RPN网络结构图。获得Feature map后经过一次卷积操作之后，生成anchors，送入两个分支，各分支中卷积层的文本表示过滤器大小和数量，输出为proposals

图5是RPN网络中anchor生成过程示意图。按图中箭头方向所示滑动在每一个像素点上生成9个anchor。图中的9个anchor中编号为1的anchor信息为：128*128像素大小，宽高比为1；编号为2的anchor信息为：512*128像素大小，宽高比为4；编号为3的anchor信息为：128*512像素，宽高比为0.25。剩下的6个anchor依次类推为{256像素*256像素，512像素*512像素}和{宽高比为：0.25，1，4}的组合。

图6为本发明实施例检测图像中裂缝信息不明显，图像灰度正常条件下的检测信息处理过程图。其中图6中的{6-a，6-b，6-c}图像均为模型检测之前的图像，6-a为需要检测的沥青路面图片，6-b为人工使用100像素*100像素大小的方格精准定位裂缝位置后的图片，6-c为训练模型时人工使用线宽为1的矩形框标记裂缝位置后的图片；{6-d，6-e，6-f}均为3种不同模型检测后的图片，6-d是Faster-RCNN模型检测后的图片，6-e为YOLOv3模型检测后的图片，6-f为本发明提出的Crack-Faster-RCNN模型检测后的图片。{6-d，6-e}为两种主流模型的检测结果，作为本发明提出的模型的对比模型。

图7为本发明实施例检测图像中包含阴影噪声，图像灰度偏暗条件下的检测信息处理过程图。，其中图7中的{7-a，7-b，7-c}图像均为模型检测之前的图像，7-a为需要检测的沥青路面图片，7-b为人工使用100像素*100像素大小的方格精准定位裂缝位置后的图片，7-c为训练模型时人工使用线宽为1的矩形框标记裂缝位置后的图片；{7-d，7-e，7-f}均为3种不同模型检测后的图片，7-d是Faster-RCNN模型检测后的图片，7-e为YOLOv3模型检测后的图片，7-f为本发明提出的Crack-Faster-RCNN模型检测后的图片。{7-d，7-e}为两种主流模型的检测结果，作为本发明提出的Crack-Faster-RCNN的对比模型。

图8为本发明实施例检测图像中包含斑马线噪声，图像灰度偏亮条件下的检测信息处理过程图。其中图8中的{8-a，8-b，8-c}图像均为模型检测之前的图像，8-a为需要检测的沥青路面图片，8-b为人工使用100像素*100像素大小的方格精准定位裂缝位置后的图片，8-c为训练模型时人工使用线宽为1的矩形框标记裂缝位置后的图片；{8-d，8-e，8-f}均为3种不同模型检测后的图片，8-d是Faster-RCNN模型检测后的图片，8-e为YOLOv3模型检测后的图片，8-f为本发明提出的Crack-Faster-RCNN模型检测后的图片。{7-d，7-e}为两种主流模型的检测结果，作为本发明提出的Crack-Faster-RCNN的对比模型。

具体实施方式

下面，结合附图对本发明的具体实现作进一步地详述。

实施例：

步骤1、使用线宽为1像素大小的矩形框，利用已经获取的路面裂缝标记图像，画出图像中裂缝的精确位置，即Ground Truth；

步骤2、训练Crack-Faster-RCNN模型

步骤2.1：将标记好Ground Truth的路面裂缝图像230幅作为输入，传入用ImageNet数据集训练好的深度残差神经网络ResNet101。通过100次卷积操作、100次ReLU函数激活、2次池化操作提取图像特征，输出特征映射Feature map；

步骤2.2：将特征映射Feature map输入给区域建议网络RPN，RPN网络先对Featuremap进行1次卷积和1次池化操作，然后使用anchor策略，在特征映射的每一个像素点上都生成9个anchor，其中anchors为尺寸大小：{128像素*128像素，256像素*256像素，512像素*512像素}，anchors宽高比：{0.25，1，4}，anchor生成过程示意图如附图中图5所示；

步骤2.3：整个RPN网络分为两个分支，分支1结合图像的GroundTruth和步骤2.2得到的anchors，通过计算每个anchor与GroundTruth的Intersection-Over-Union对裂缝目标和背景噪声进行区分，即训练RPN网络分支1对裂缝目标和背景噪声的分类能力；

步骤2.4：利用训练好的RPN网络的分支1区分出包含裂缝的anchors，并通过softmax函数相应的计算出一个置信值，即分类为裂缝的概率。然后将计算出置信值后的所有anchors输入给RPN网络的分支2。分支2首先结合GroundTruth对输入的anchors进行边框位置的初步回归，然后对位置回归后的anchors按照置信值进行排序，提取出排序靠前的6000个位置回归后的anchors，进行非极大值抑制后再按照置信值进行排序，提取出排序靠前的300个anchors作为候选区域proposals输出

步骤2.5：将步骤2.4得到的300个候选区域proposals结合步骤2.1得到的特征映射Feature map进行ROIpooling，然后经过Classifier网络的非线性映射对处理后的候选区域进行最终的裂缝目标检测和边框位置的精确回归。

步骤2.6：保存训练得到的Crack-Faster-RCNN的模型参数。

步骤3、沥青路面图像裂缝的检测

步骤3.1：加载步骤2.6保存的Crack-Faster-RCNN模型参数。

步骤3.2：将需要检测的路面图像输入到深度残差神经网络ResNet101，进行特征的提取，得到特征映射Feature maps；

步骤3.3：执行步骤2.2的过程生成anchors，然后执行步骤2.4-2.5。

步骤3.4：在输入的检测图像中画出裂缝的位置及预测概率。

本实施处理了多种类型的路面图像，包括：图像中裂缝信息不明显，图像灰度正常条件(其处理过程信息如图6)、图像中包含阴影噪声，图像灰度偏暗条件下的检测信息(其处理过程信息如图7)和检测图像中包含斑马线噪声，图像灰度偏亮条件下的检测信息(其处理过程信息如图8)。

为验证本发明的有效性，本发明从某道路检测单位提供的沥青路面图像中选取的256张作为实验数据集进行了实验，图像尺寸大小为1000像素*800像素，本发明使用精确率Precision和召回率Recall来衡量模型的性能，。精确率与召回率的取值范围均在[0，1]，计算公式如式(1)和式(2)所示：

Precision＝TP/(TP+FN) (1)

Recall＝TP/(TP+FP) (2)

其中TP、FN、FP分别对应为正确检测为目标的数量、错误检测为目标的数量、错误检测为背景的数量。

对于目标检测领域来说，在训练模型时，标记的GroundTruth均为矩形区域，而由于裂缝图像多为纵向或者横向特征比较明显的目标，在进行GroundTruth标记的时候无法避免标记的矩形框中包含部分背景噪声，因此使用常规的评价方式无法有效评价本发明提出的模型的效果，针对此问题，本发明中使用30幅包含裂缝的测试图像，将测试图像划分为100像素*100像素大小的子块，根据子块内有无裂缝分为目标和背景，并统计出精确率和召回率。在测试结果中将模型识别出的目标框同样划分为100像素*100像素大小的子块，并统计出精确率和召回率。

为验证本发明中提出的Crack-Faster-RCNN框架的有效性，实验中对比测试了Faster-RCNN和YOLOv3两种模型的检测效果。实验的结果如表1所示：

表1.实验结果

对比实验结果可发现，双阶段的目标检测模型Faster-RCNN系列虽然时间上落后于单阶段的目标检测模型YOLOv3，但是无论是精确率和召回率都远远超过YOLOv3。本发明提出的Crack-Faster-RCNN在召回率稍落后于Faster-RCNN和人工标记的情况下，准确率远远超过后两种模型，考虑到实际应用场景中在可接受的时间范围内更看重检测的精确率，因此本发明可有效地应用于实际的应用场景中。

Claims (3)

1.一种沥青路面图像的裂缝检测方法，通过构建深度神经网络学习框架，对路面裂缝图像进行特征提取，以实现对沥青道路路面裂缝的即时检测，包括如下步骤：

步骤1、使用适宜线宽的矩形框，利用已经获取的路面裂缝标记图像集，标出其每幅图像中裂缝的精确位置，即GroundTruth；

步骤2、训练Crack-Faster-RCNN模型

步骤2.1：将标记好GroundTruth的路面裂缝图像作为输入，传入用ImageNet数据集训练好的深度残差神经网络ResNet101；对每幅图像通过多次卷积操作、ReLU函数激活和池化操作提取图像特征，输出特征映射Feature map；

步骤2.2：将2.1所获特征映射Feature map输入给区域建议网络RPN，RPN网络先对Feature map进行1次卷积和1次池化操作，然后使用anchor策略，在特征映射的每一个像素点上都生成K个anchor，K大于或等于9；

步骤2.3：整个RPN网络分为两个分支，分支1结合图像的GroundTruth和步骤2.2得到的所有anchor，通过计算每个anchor与GroundTruth的Intersection-Over-Union对裂缝目标和背景噪声进行区分，训练RPN网络分支1对裂缝目标和背景噪声的分类能力；

步骤2.4：利用2.3训练好的RPN网络的分支1区分出包含裂缝的anchor，对每一个anchor通过softmax函数计算出一个相应的置信值，即其被分类为裂缝的概率；然后将计算出置信值后的所有anchor输入给RPN网络的分支2；分支2首先结合GroundTruth对输入的每一个anchor进行边框位置的初步回归，然后对位置回归后的anchor按照其相应的置信值进行排序；提取出排序靠前的若干个位置回归后的anchor，进行非极大值抑制后再按照置信值进行排序，提取出一定数量排序靠前的anchor作为候选区域proposals，并输出；

步骤2.5：将步骤2.4得到的一定数量的候选区域proposals结合步骤2.1得到的特征映射Feature map进行ROI pooling,然后经过Classifier网络的非线性映射对处理后的候选区域进行最终的裂缝目标检测和边框位置的精确回归；

步骤2.6：保存训练得到的Crack-Faster-RCNN的模型参数；

步骤3、沥青路面图像裂缝的检测

步骤3.1：加载步骤2.6保存的Crack-Faster-RCNN模型参数；

步骤3.2：将需要检测的路面图像输入到深度残差神经网络ResNet101，进行特征的提取，得到特征映射Feature map；

步骤3.3：执行步骤2.2的过程生成anchor，然后执行步骤2.4-2.5；

步骤3.4:在输入的检测图像中画出裂缝的位置及预测概率。

2.根据权利要求1所述的沥青路面图像的裂缝检测方法，其特征在于，步骤1中矩形框的适宜线宽为1像素大小。

3.根据权利要求1或2所述的沥青路面图像的裂缝检测方法，其特征在于，步骤2.2需要在特征映射图上每一个像素点上生成9个不同尺寸和宽高比的anchor，其中anchor尺寸大小为128像素*128像素，256像素*256像素和512像素*512像素，其anchor相应宽高比取值为0.25，1，4。