CN110503637B - 一种基于卷积神经网络的道路裂缝自动检测方法 - Google Patents

Abstract

本发明涉及图像识别与深度学习技术领域，更具体地，涉及一种基于卷积神经网络的道路裂缝自动检测方法。本发明基于轻量级的卷积神经网络，仅需对数据进行手动标注，根据检测衡量标准精确的和召回率来筛选并保持网络权重，在进行检测时，对图片进行(平方)压缩后，再切分成27*27大小进行检测，根据初步检测的结果对相应的裂缝区域进行多次旋转变换后再检测，更新检测结果，得到每一帧中裂缝的位置标出并响铃提示。本发明的模型是轻量级的，具有很高的召回率和精确度，可用于实时的裂缝检测，对于检测到的裂缝我们会记录其位置信息并标出，同时可以响铃警示工作人员，比以上提出的发明更具有实用性。

Description

一种基于卷积神经网络的道路裂缝自动检测方法

技术领域

本发明涉及图像识别与深度学习技术领域，更具体地，涉及一种基于卷积神经网络的道路裂缝自动检测方法。

背景技术

现有的裂缝识别方法大多采用“先识别、后分类”的处理模式，在此处理模式下，目前主流的基于图像的裂缝识别方法主要有以下几种：(1)基于灰度阈值的裂缝识别方法，通过对路面图像灰度特征进行分析，选取合适的灰度阈值区分图像背景与目标。该方法一般建立在裂缝的灰度通常比背景灰度低的前提条件下，要求裂缝具有较高的对比度及较好的连续性，但由于路面积灰、裂缝的缝壁脱落、路面颗粒纹理丰富等原因，裂缝通常具有低对比度、连续性差等特征，故基于灰度阈值的裂缝识别方法难以识别灰度特征不够显著的病害。(2)基于形态学处理的裂缝识别方法，该方法利用腐蚀、膨胀、骨架提取、边缘检测等方法获取裂缝的二维形态特征。然而路面图像复杂、病害形式多样，基于形态学处理的识别方法实用性不高。(3)基于机器学习的裂缝识别方法，该方法主要用于裂缝检测后的类型分类，关键在于路面裂缝特征的提取与分类器的设计。由于路况复杂、裂缝形式多样，裂缝特征提取难度加大，同时测试样本集较小、算法复杂、计算量大等因素都制约着分类算法的准确性、鲁棒性及实时性。(4)基于多尺度几何分析的路面裂缝的识别方法，通常利用图像几何结构特征，采用小波、Ridgelet(脊波)、Curvelet(曲线波)、Contourlet(轮廓波)、Bandelet(带条波)等变换表达图像信息。由于复杂背景下的沥青路面裂缝具有不规则性，裂缝形态及位置具有不可预测性，该方法无法有效的提取复杂裂缝信息，同时，多尺度分析方法普遍存在计算过程复杂、效率较低问题。现有的裂缝检测技术大多建立在图像质量好的基础上，缺乏对复杂环境的适应性，难以满足工程应用的实际需求。

上述现有技术中，基于边缘检测的算法只能对一些平滑的路面进行检测，对于一些具有复杂的细微结构的路面，如沥青路，会提取到很多的干扰边缘，且很多的混凝土路为了增加摩擦力也会在路面上增加规则的划痕，这些与裂缝很相似的划痕都会被识别成裂缝，导致该算法无效。基于阈值分割的方法根据像素值进行分割，在很多道路上是行不通的，在裂缝深度不大且光照正常的情况下，其像素值与路面是区别不大的，因此检测效果并不好。基于无监督学习的方法其学习出来的结果是不稳定的，针对不同的场景其检测结果波动较大，难以进行场景迁移。基于图像处理或机器学习的方法需要很大的数据支撑，在一种路面的数据集上训练出来的模型难以用于对另一个路面进行检测，若要检测另一路面的裂缝需要重新收集大量的数据，成本很高。

发明内容

本发明为克服上述现有技术中的缺陷，提供一种基于卷积神经网络的道路裂缝自动检测方法，可实现对路面高精确度和高召回率的裂缝检测。

为解决上述技术问题，本发明采用的技术方案是：一种基于卷积神经网络的道路裂缝自动检测方法，包括以下步骤：

S1.采集含有裂缝的图片数据，使用图像处理软件对图片进行像素级别的标注；

S2.从原始图片中提取出w*h大小的小图片，利用统计的方法，根据小图片中裂缝像素的总数来划分正负样本并根据一定比例划分为训练集和测试集，对训练集的正样本进行旋转，翻转操作，增加训练集数据的多样性；其中，w*h优选为27×27；

S3.采用迁移学习的思想，边训练边测试，取在测试集中准确率和召回率综合最好的网络权重进行保存，得到一个二分类器；

S4.使用摄像头获取路面的图像，将输入的每一帧图片进行4x4像素邻域内的双立方插值，将像素改变为W*H；其中，W*H优选为320×480；

S5.将图片等分为w*h大小的检测单元并记录其位置信息，利用步骤S3训练出来的二分类器对每一个检测单元分类，输出该单元是否为裂缝单元；其中，w*h优选为27×27；

S6.对检测为裂缝的区域分别进行多个角度的旋转，得到多个新的样本，再次进行检测，若有两个以上被分类为裂缝，则确信其为裂缝，否则更新其为非裂缝；

S7.根据步骤S6优化后的裂缝结果，标出裂缝单元在原图片的位置，如有裂缝单元，则给出提示。

本发明利用计算机视觉和深度学习的方法提出了检测道路裂缝的方法。由于道路环境在很长范围内是近乎一样的，所以可以利用训练好的模型取检测道路的裂缝，但由于深度学习是依赖于数据的，且不同的道路其数据规律不一样(如水泥路和沥青路)，因此在检测不同的道路场景时需要先利用相应的道路数据训练网络，但由于本发明利用了迁移学习的思想，对于新的道路环境，只需要很少的数据图片(10～20张)，对网络的权重进行微调，即可实现对该路面高精确度和高召回率的裂缝检测。本发明采集图片仅需要普通的相机，使用手机的相机即可满足需求，对图片的标注需要用到Photoshop和Matlab。数据采集好后按照一定的比例将其划分为正负样本、测试集和训练集。在训练网络的过程中，每一epoch训练完成后我们紧接着进行测试，计算其精确度和召回率，最后保存具有高召回率和精确度的网络模型。本发明利用训练好的模型对图片上的裂缝进行检测，首先将图片缩小为320x480像素，其次对图片进行检测，检测分为初步检测和再次检测，初步检测检测出某一位置是否有裂缝，再次检测则对该具有裂缝的图片进行旋转操作，生成3个新的样本，对新的样本进行检测，若检测出至少2个位裂缝，则该位置具有裂缝，否则将该位置更新为无裂缝位置。最后将具有裂缝的位置在图片中标注出来并响铃警示。

本发明可以适应于各种道路场景的裂缝检测，且从一种场景切换到另一种场景其人工成本低且迁移可行性高。在进行场景迁移时仅需要人工采集并标注少量的数据(10～20张道路裂缝的数据)，且训练神经网络的复杂度也不高，仅需要对网络的权重进行微调。此外，本发明训练出来的网络其稳定性好，没有无监督学习的效果不稳定的现象。本发明使用的神经网络是属于有监督学习的范畴，且网络模型是对图片整体进行学习，避免了图像识别基于像素的分析所导致的整体性较差或需要人工参与过多的分析的问题，具有很高的鲁棒性。本发明的模型是轻量级的，具有很高的召回率和精确度，可用于实时的裂缝检测，对于检测到的裂缝我们会记录其位置信息并标出，同时可以响铃警示工作人员，比以上提出的发明更具有实用性。

进一步的，所述的S1步骤使用图像处理软件对图片进行像素级别标注具体包括以下步骤：

S11.使用Photoshop的索套工具将裂缝区域剪切出来；

S12.将剪切的区域保存为新的图层，图层以纯黑色为底色；

S13.图片转为csv格式，观察图片的像素值分布，裂缝像素与无关像素具有明显的区别，观察其分布规律，选取合适的阈值；

S14.使用matlab，根据图片的R通道，设置合适的阈值，将处于阈值内的像素标为1，其余的标为0，输出为.mat文件，即为标注文件；

S15.将标注文件可视化。

进一步的，所述的S2步骤中，将裂缝像素总数大于50的样本分为正样本，将裂缝数小于20的样本分为负样本；从数据集中提取出N万张数据，其中正负样本比例为1：3，训练集和测试集的比例为1：5。

进一步的，在所述的S3步骤中，使用卷积神经网络进行分类，包括以下步骤：

S31.神经网络的参数设置；所用的模型都基于Nvidia GTX1070上的Pytorch的API，将训练的epoch设置为25，使用SGD作为优化器，模型的学习率、batch size、冲量、衰减步数和衰减率分别为0.001、256、0.9、7和0.1；

S32.使用交叉熵函数作为Loss函数；表示为如下公式：

其中，

为预测值，y_i为真实值，即标注值；

S33.网络选取精确度与召回率；对模型的召回率和精确度进行计算，暂存当前最好的模型的权重，所有epoch的训练结束后保存具有最好的召回率和精确度的模型，其计算公式如(2)(3)：

式中，Pr、Re、TP、FP和FN分别为精确度、召回率、真正例、假正例和假负例；由于在程序中无法直接获取TP、FP和FN的值，令R为检测中正样本的数目，P为预测结果中为正样本的数目，T为预测值与真实值不同的样本数目，R、P和T都是可以在程序运行时计算出来的，由R、P和T的定义，有如下关系：

R＝TP+FN (4)

P＝TP+FP (5)

T＝FN+TN (6)

由上式得：

因此精确度和召回率的公式可改写成如下形式：

S34.选取网络权重；召回率大于当前最好的召回率或精确度大于当前最好的精确度，则将其暂存于内存中，执行完所有的epoch后，将其保存到本地。

与现有技术相比，有益效果是：

1.本发明仅需的训练数据集少，针对不同的路面或建筑物，仅需要采集20张左右的图片数据即可训练出好的模型，人力成本低；

2.本发明对检测的图片像素要求不高，普通的单眼相机即可，成本低；

3.本发明使用的网络模型是轻量的，检测帧率可达到10fps；

4.本发明具有高精确度和高召回率；

5.本发明使用普通的单眼相机，即使是与手机相机同等程度的相机也能达到很好的检测效果，且使用图片检测的方法对道路没有二次的物理损害。

附图说明

图1是本发明方法流程图。

图2是本发明实施例1中使用索套工具将裂缝剪切出来的示意图。

图3是本发明实施例1中将背景换为黑色后的示意图。

图4是本发明实施例1中图片转为CSV格式的示意图。

图5是本发明实施例1中将标注文件可视化后的示意图。

图6是本发明实施例1中卷积神经网络结构示意图。

图7是本发明实施例1中测试集每一epoch的精确度和召回率的示意图。

图8是本发明实施例1中使用的摄像头示意图。

图9是本发明实施例1中使用双立方插值压缩图片的原理示意图。

图10是本发明实施例1中的裂缝检测效果示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

实施例1：

如图1所示，一种基于卷积神经网络的道路裂缝自动检测方法，包括以下步骤：

步骤1.采集含有裂缝的图片数据，使用图像处理软件对图片进行像素级别的标注；包括以下步骤：

S11.使用Photoshop的索套工具将裂缝区域剪切出来；如图2(b)裂缝周围的虚线；

S12.将剪切的区域保存为新的图层，图层以纯黑色为底色；如图3所示；

S13.图片转为csv格式，观察图片的像素值分布，如图4所示，裂缝像素与无关像素具有明显的区别，观察其分布规律，选取合适的阈值；

S14.使用matlab，根据图片的R通道，设置合适的阈值，将处于阈值内的像素标为1，其余的标为0，输出为.mat文件，即为标注文件；

S15.将标注文件可视化，如图5所示。

步骤2.从原始图片中提取出27*27大小的小图片，利用统计的方法，根据小图片中裂缝像素的总数来划分正负样本，在此，将裂缝像素总数大于50的样本分为正样本，将裂缝数小于20的样本分为负样本。从数据集中提取出30万张数据，其中正负样本比例为1：3，训练集和测试集的比例为1：5。

步骤3.使用卷积神经网络进行分类。本发明采用的网络是一个轻量级的VGG，神经网络模型如图6所示，左右两端分别是输入层和输出层，Input为输入层，SoftMax为输出层操作，Conv为卷积层，RELU为激活函数，Max Pooling为最大池化层，FC为全连接层；输入层输入的图片规格为(,h,c)，输出为2个分类，使用Softmax将其映射到[0,1]区间。卷积操作参数为(α₁,α₂,θ₁,θ₂)，最大池化层的操作参数为(α₃,α₄,θ₃,θ₄)。此外全连接层FC1操作参数为(β₁,β₂)，FC2操作参数为(β₂,2)。包括以下步骤：

S31.神经网络的参数设置；所用的模型都基于Nvidia GTX1070上的Pytorch的API，将训练的epoch设置为25，使用SGD作为优化器，模型的学习率、batch size、冲量、衰减步数和衰减率分别为0.001、256、0.9、7和0.1；

S32.使用交叉熵函数作为Loss函数；表示为如下公式：

其中，

为预测值，y_i为真实值，即标注值；

S33.网络选取精确度与召回率；对模型的召回率和精确度进行计算，暂存当前最好的模型的权重，所有epoch的训练结束后保存具有最好的召回率和精确度的模型，其计算公式如(2)(3)：

式中，Pr、Re、TP、FP和FN分别为精确度、召回率、真正例、假正例和假负例；由于在程序中无法直接获取TP、FP和FN的值，令R为检测中正样本的数目，P为预测结果中为正样本的数目，T为预测值与真实值不同的样本数目，R、P和T都是可以在程序运行时计算出来的，由R、P和T的定义，有如下关系：

R＝TP+FN (4)

P＝TP+FP (5)

T＝FN+TN (6)

由上式得：

因此精确度和召回率的公式可改写成如下形式：

S34.选取网络权重；召回率大于当前最好的召回率或精确度大于当前最好的精确度，则将其暂存于内存中，执行完所有的epoch后，将其保存到本地。测试集每一epoch的精确度和召回率如图7所示，因此保存了精确度为99.95％和召回率为99.51％的模型。

步骤4.本发明的核心部分是单目摄像头和进行运算的GPU，摄像头用于采集数据，而GPU用于计算输入模型的图片，得出结果。摄像头的载体是多样的，采用一种基于轮式机器人的载体，其搭载了可用于计算的GPU，使用两个单目摄像头，如图8红色圈所示，可扩大采集视野。

因为检测裂缝不需要图片具有高的像素，所以利用4x4像素邻域内的双立方插值的方法将采集到的每一帧图片缩小为320x480像素，其算法原理如下：

将坐标处于([x-1,x+2],[y-1,y+2])范围内的所有像素的值求和后映射到(x,y)点上，从而实现降低像素而不丢失图片过多细节的效果。图9的P00即是压缩后的映射点，其余点的像素值求和后映射到P00点。利用缩小后的图片进行裂缝检测也可以减小计算量从而提高检测速度。

步骤5.将图片等分为27*27大小的检测单元并记录其位置信息，利用步骤S3训练出来的二分类器对每一个检测单元分类，输出该单元是否为裂缝单元；

步骤6.对对检测为裂缝的区域分别旋转90°，180°和270°，得到3个新的样本，再次进行检测，若有个两以上被分类为裂缝，则确信其为裂缝，否则更新其为非裂缝单元；

步骤7.根据步骤6优化后的裂缝结果，标出裂缝单元在原图片的位置，如有裂缝单元，则给工作人员响铃提示。检测效果如下：从图10(a)(b)(c)中可以看出，其路面是具有划痕类的路面，其划痕与裂缝也具有相似的特性，但本发明的裂缝检测方法很好地将其与真正的裂缝区分开来了，具有很高的准确性。此外图(c)中出现了一只鞋还有一些碎石头，本发明也能将其区分开来，说明我们的发明具有较高的鲁棒性。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于卷积神经网络的道路裂缝自动检测方法，其特征在于，包括以下步骤：

S1.采集含有裂缝的图片数据，使用图像处理软件对图片进行像素级别的标注；

S2.从原始图片中提取出w*h大小的小图片，利用统计的方法，根据小图片中裂缝像素的总数来划分正负样本并根据一定比例划分为训练集和测试集，对训练集的正样本进行旋转，翻转操作，增加训练集数据的多样性；

S3.采用迁移学习的思想，边训练边测试，取在测试集中准确率和召回率综合最好的网络权重进行保存，得到一个二分类器；在所述的S3步骤中，使用卷积神经网络进行分类，包括以下步骤：

S31.神经网络的参数设置；所用的模型都基于Nvidia GTX1070上的Pytorch的API，将训练的epoch设置为25，使用SGD作为优化器，模型的学习率、batch size、冲量、衰减步数和衰减率分别为0.001、256、0.9、7和0.1；

S32.使用交叉熵函数作为Loss函数；表示为如下公式：

其中，

为预测值，y_i为真实值，即标注值；

S33.网络选取精确度与召回率；对模型的召回率和精确度进行计算，暂存当前最好的模型的权重，所有epoch的训练结束后保存具有最好的召回率和精确度的模型，其计算公式如(2)(3)：

式中，Pr、Re、TP、FP和FN分别为精确度、召回率、真正例、假正例和假负例；由于在程序中无法直接获取TP、FP和FN的值，令R为检测中正样本的数目，P为预测结果中为正样本的数目，T为预测值与真实值不同的样本数目，R、P和T都是可以在程序运行时计算出来的，由R、P和T的定义，有如下关系：

R＝TP+FN (4)

P＝TP+FP (5)

T＝FN+TN (6)

由上式得：

因此精确度和召回率的公式可改写成如下形式：

S34.选取网络权重；召回率大于当前最好的召回率或精确度大于当前最好的精确度，则将其暂存于内存中，执行完所有的epoch后，将其保存到本地；

S4.使用摄像头获取路面的图像，将输入的每一帧图片进行4x4像素邻域内的双立方插值，将像素改变为W*H；

S5.将图片等分为w*h大小的检测单元并记录其位置信息，利用步骤S3训练出来的二分类器对每一个检测单元分类，输出该单元是否为裂缝单元；

S6.对检测为裂缝的区域分别进行多个角度的旋转，得到多个新的样本，再次进行检测，若有两个以上被分类为裂缝，则确信其为裂缝，否则更新其为非裂缝；

S7.根据步骤S6优化后的裂缝结果，标出裂缝单元在原图片的位置，如有裂缝单元，则给出提示。

2.根据权利要求1所述的基于卷积神经网络的道路裂缝自动检测方法，其特征在于，所述的S1步骤使用图像处理软件对图片进行像素级别标注具体包括以下步骤：

S11.使用Photoshop的索套工具将裂缝区域剪切出来；

S12.将剪切的区域保存为新的图层，图层以纯黑色为底色；

S13.图片转为csv格式，观察图片的像素值分布，裂缝像素与无关像素具有明显的区别，观察其分布规律，选取合适的阈值；

S14.使用matlab，根据图片的R通道，设置合适的阈值，将处于阈值内的像素标为1，其余的标为0，输出为.mat文件，即为标注文件；

S15.将标注文件可视化。

3.根据权利要求2所述的基于卷积神经网络的道路裂缝自动检测方法，其特征在于，所述的S2步骤中，将裂缝像素总数大于50的样本分为正样本，将裂缝数小于20的样本分为负样本；从数据集中提取出N万张数据，其中正负样本比例为1：3，训练集和测试集的比例为1：5。

Images