CN110415233A - 基于两步卷积神经网络的路面裂缝快速提取方法 - Google Patents

Abstract

本发明公开了一种基于两步卷积神经网络的路面裂缝快速提取方法，针对路面图像尺寸大、识别耗时长的特点，先对子块进行有无裂缝分类判定，将判定为无破损的子块进行抛弃，对有破损子块进行第二步语义分割。在分类过程中，采用经过针对裂缝连续拓扑结构进行超参数优化的卷积神经网络1进行训练，根据卷积神经网络1的训练结果，在语义分割过程中，采用无下采样的卷积神经网络2进行训练，输出具有像素级精确性的分割结果。由于路面图像中裂缝区域所占的比例远小于完好区域，先分类再分割的两步提取方法可以在分割之前快速抛弃大量非目标区域，避免浪费算力，与一步直接语义分割的裂缝提取算法相比，在查全率损失很小的基础上，大大加快了识别速度。

Description

基于两步卷积神经网络的路面裂缝快速提取方法

技术领域

本发明涉及路面自动检测技术领域，特别是涉及基于两步卷积神经网络的路面裂缝快速提取方法。

背景技术

随着改革开放不断深入，国家逐年加大公路基础设施的投资力度，我国公路网总里程飞速增长，公路运输网络可达性显著提高。2018年国家统计局报告指出：截止2017年末，全国公路总里程达到477.35万公里，是1978年的5.4倍，年均增长4.4%；公路密度达到49.72公里/百平方公里，每百平方公里公路密度提高了40.45公里。我国公路建设逐步完善，公路养护受到了越来越多的关注。

裂缝病害是路面病害的主要形式，对路面使用性能影响很大。路面裂缝病害会破坏路面结构的整体性和连续性，并且会成为路表水侵入路基路面结构层的天然通道，若不及时处置，还有可能使裂缝继续延展形成龟裂造成路面脱落，引起结构性破坏，影响道路的行车舒适性与安全性。所以，路面裂缝病害检测和养护是路面状况检查的重要内容。裂缝出现后会随时间快速延伸和扩宽，在雨水和轴载作用下会破坏路面的整体性并削弱路面结构强度，如果能在裂缝病害早期发现并进行处理，则会有效延长路面使用寿命，减少公路养护资金投入。路面裂缝病害若能得到及时调查和养护，可以使公路维持在较好的服务状况，节约养护投资预算。

基于深度神经网络的最新发展证明了运用深度神经网络是一种更有效的自动裂缝检测方法。其主要优点是不需要特征提取技术，因为当网络被随机梯度下降算法调优时，卷积神经网络会自动学习特征。与传统的图像处理技术实现相比，这种优势可以节省大量的工作。例如，假设有人试图在带有照明点和阴影区域的图像上找到裂缝。使用图像处理技术的方法可以从光斑边缘和阴影区域中找到边缘，而不是在未经仔细参数化的方法中找到边缘。相比之下，卷积神经网络能够从大量的训练图像中学习其中固有的特征。倘若存在部分类型的特性没有得到很好地分类，唯一需要做的就是提供错误分类的数据并在网络中重新定位。这些因素使得卷积神经网络在现实问题中具有强大的生命力和可操作性。

综上所述，深度神经网络在路面裂缝病害自动识别方向上具有可行性。但由于图像分割（即裂缝的准确提取）来说，需要对每个像素输出标签值，在模型中无法降采样，导致神经网络的结构各层需要保持原图像的大小，因此算力消耗极大。有研究表明，2000张1024*512大小的图片，在4层的CNN网络上进行训练，为了达到90%的查准和88%的查全，需要两块GTX Titan显卡连续运算9天。这样的时间和硬件代价在应用中往往是不可行的。

为了实现裂缝图像的快速分割，研究提出如下思路：由于路面图像中，裂缝所占的像素数量只占很少的比例，分割时不含裂缝的空白部分消耗了绝大部分的运算资源而并没有收获。因此，可以将路面图像首先分为若干个小区域，利用分类方法，快速抛弃不含裂缝的子块，对于判定含裂缝的子块，再进行分割，这样可以降低硬件的性能要求，并大大加速分割训练过程。

发明内容

本发明的目的是为了以上问题，提供一种基于两步卷积神经网络的路面裂缝快速提取方法，将路面图像首先分为若干个小区域，利用第一步卷积神经网络进行有无裂缝判定，快速抛弃不含裂缝的子块，对于判定含裂缝的子块，再利用第二步卷积神经网络进行分割，

为达此目的，本发明采用的方法是：基于两步卷积神经网络的路面裂缝快速提取方法，具体步骤如下：

步骤一：预处理。对于路面自动检测系统采集到的路面病害图像，需对其先进行处理，以消除不均匀光照背景的影响，并增强前景背景对比。

步骤二：建立路面病害图像数据集。将原始大小的图像进行裁剪，以适应子块分类与分割的需要。对每个图像子块进行二重标注：a.有无裂缝二分类标注；b.裂缝像素标注。将构建的数据集作为神经网络模型的训练及测试样本。

步骤三：构建用于子块有/无裂缝检测的二分类卷积神经网络模型（第一步卷积神经网络）。采用常规的神经网络层次结构，并针对裂缝连续性拓扑结构进行超参数优化。使用病害图像子块数据集对模型进行训练和交叉验证。

步骤四：构建用于子块像素级精度检测的分割神经网络模型（第二步卷积神经网络）。采用取消了下采样的神经网络结构，通过1×1卷积层代替全连接层，使得模型的输入与输出具有相同的维度。使用病害图像子块数据集对模型进行训练和交叉验证。

步骤五：从数据集中选取一批图像子块用于测试。将样本输入第一步卷积神经网络，调整输出阈值，以保证第一步的查全。将第一步模型中判定为有裂缝的图像子块作为第二步卷积神经网络的样本集，输出像素级的分割结果。重新拼接输出的子块结果，可提取出路面图像中的裂缝信息。

作为本发明的一种改进，步骤一详细步骤如下：

若路面病害图像来源的采集系统使用线阵相机，则通过列平均法进行不均匀光照背景的去除。若路面病害图像来源的采集系统使用面阵相机，则通过模糊正像法进行不均匀光照背景的去除。

作为本发明的一种改进，步骤二详细步骤如下：

一、图像子块的裁剪。图像子块的裁剪大小应根据相机视野像素及安装高度确定，对于普通的公路或城市道路，每个子块的大小应对应实际路面的10×10厘米左右大小的区域。

二、图像子块的有无裂缝二分类标注。对于每个子块，按照其中是否含有裂缝信息，分为有裂缝和无裂缝两类，分别用1/0表示。对于裂缝元素所占像素数不超过子块总像素数5%的子块，认为其为无裂缝类型。

三、图像子块的像素标注。对于每个子块，对于每个图像子块，应按其像素大小，构建一等大小的二值矩阵，其中是裂缝的位置对应矩阵的元素标为1，不是裂缝的位置对应矩阵的元素标为0。于是得到了像素精度的子块标签值。

作为本发明的一种改进，步骤三详细步骤如下：

一、构建第一步卷积神经网络的结构。最起始的四层由两组卷积层+最大池化层组成，其具有如下特点：卷积核尺寸分别为（7,7）和（5,5），卷积与池化步长均为（2,2）。后面紧跟一层有padding的（3,3）卷积层。最后一部分由三个连续的全连接层组成，最终输出维度为1。

二、第一步卷积神经网络的训练。将样本图像矩阵作为x，二分类0/1标注作为y，输入上一步构建的模型中。分批输入的样本量可根据实际运行硬件的性能确定。准确率稳定大于90%且查全率高于95%之后停止迭代。

作为本发明的一种改进，步骤四详细步骤如下：

一、构建第二步卷积神经网络结构。采用四个特征提取卷积层，卷积核尺寸分别为（3,3），（5,5），（5,5），（7,7），每层卷积核数量均为90。在每个特征提取卷积层后，都增加一个1×1卷积层，其卷积核数量也均为90。最后再使用一个1×1卷积层取代全连接层，以输出分割结果。

二、第二步卷积神经网络的训练。将样本图像矩阵作为x，像素标注作为y，输入上一步构建的模型中。分批输入的样本量可根据实际运行硬件的性能确定。最终测试集上的准确率稳定大于90%且查全率高于80%之后停止迭代。

作为本发明的一种改进，步骤五详细步骤如下：

一、取一批未经训练过的图像切割成的子块，将其灰度矩阵作为x，输入经过训练后的第一步卷积神经网络模型中。根据输出结果（预测值）与测试样本的二分类0/1标注（真值），进行第一阶段评价（查准率1，查全率1）。

二、将第一步预测为有裂缝的子块作为第二步的样本。将其灰度矩阵作为x，输入经过训练后的第二步卷积神经网络模型中。根据输出结果（预测值）与测试样本的像素标注（真值），进行第二阶段评价（查准率2，查全率2）。

三、总体评价：总查准率=查准率2，总查全率=查全率1×查全率2。

有益效果：

本发明提供一种基于两步卷积神经网络的路面裂缝快速提取方法。 常用于裂缝识别的分类算法只能对子块进行是/否裂缝的判定，并通过子块的位置，大致确定裂缝的坐标，却无法提供裂缝的形状、方向、长度和宽度等精确信息。而图像分割算法则可以解决这类问题。图像分割可以将原图像中的每一个像素（而不再是子块）输出一个标签（是/否裂缝），从而，可以获得一个与原图像大小一致的输出结果图像，从而从路面背景中完整地提取裂缝，获得裂缝的详细信息。

由于图像分割的像素输入-输出端到端特性，其在运行过程中参数量巨大，全尺寸的路面图像将导致裂缝识别的算力要求高，运算时间长。同时，路面图像中裂缝区域所占比重较小，针对全尺寸的路面图像分割方法实际上在非裂缝区域消耗了大量的算力。本方法通过两步卷积神经网络，在第一步中，利用分类方法，可快速排除非裂缝区域，在第二步中，对保留的疑似裂缝区域进行分割。与针对全尺寸路面图像的一步卷积神经网络方法相比，本发明提供的方法耗时更短，因此是一种快速的路面裂缝提取方法。考虑到路面破损程度的不同，本发明提供的方法将路面裂缝提取耗时缩短50%-90%。

附图说明

图1为本发明实施流程；

图2为第一步卷积神经网络模型结构；

图3为第二步卷积神经网络模型结构。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供基于两步卷积神经网络的路面裂缝快速提取方法，通过两步卷积神经网络，在第一步中，利用分类方法，快速排除非裂缝区域，在第二步中，对保留的疑似裂缝区域进行分割。本方法避免了将图像分割模型的算力浪费在非裂缝区域上，大大加快了分割效率，在准确程度损失很小的条件下，实现了路面裂缝的快速提取。

本发明基于两步卷积神经网络的路面裂缝快速提取方法，具体步骤如下：

步骤一：预处理。对于路面自动检测系统采集到的路面病害图像，需对其先进行处理，以消除不均匀光照背景的影响，并增强前景背景对比。

步骤二：建立路面病害图像数据集。将原始大小的图像进行裁剪，以适应子块分类与分割的需要。对每个图像子块进行二重标注：a.有无裂缝二分类标注；b.裂缝像素标注。将构建的数据集作为神经网络模型的训练及测试样本。

步骤三：构建用于子块有/无裂缝检测的二分类卷积神经网络模型（第一步卷积神经网络）。采用常规的神经网络层次结构，并针对裂缝连续性拓扑结构进行超参数优化。使用病害图像子块数据集对模型进行训练和交叉验证。

步骤四：构建用于子块像素级精度检测的分割神经网络模型（第二步卷积神经网络）。采用取消了下采样的神经网络结构，通过1×1卷积层代替全连接层，使得模型的输入与输出具有相同的维度。使用病害图像子块数据集对模型进行训练和交叉验证。

步骤五：从数据集中选取一批图像子块用于测试。将样本输入第一步卷积神经网络，调整输出阈值，以保证第一步的查全。将第一步模型中判定为有裂缝的图像子块作为第二步卷积神经网络的样本集，输出像素级的分割结果。重新拼接输出的子块结果，可提取出路面图像中的裂缝信息。

作为本发明具体实施例中的一个，详细实施过程如下：

工作平台：工作站（CPU:Intel Core i7-7800X cpu@3.5GHz，RAM: 32GB和GPU:NvidiaGeforce GTX 1080），操作系统：Windows10，软件平台：Python9.5，后端：Keras+TensorFlow（GPU）。

作为实验组，将线阵相机采集系统采集的100张路面图像作为数据集构建样本，图像大小为2000×1000。其中90张作为训练集使用，10张作为测试集使用。通过列平均灰度法进行不均匀灰度背景的去除。

对于训练集，将处理后的图像切割为50×50像素大小的子块，并通过人工对图像进行二重标注，分别作为两步神经网络输入样本的真值。1.有无裂缝二分类标注。对于每个子块，按照其中是否含有裂缝信息，分为有裂缝和无裂缝两类，分别用1/0表示。对于裂缝元素所占像素数不超过子块总像素数5%的子块，认为其为无裂缝类型。将此标注集记为y1。2.图像子块的像素标注。对于每个子块，对于每个图像子块，应按其像素大小，构建一等大小的二值矩阵，其中是裂缝的位置对应矩阵的元素标为1，不是裂缝的位置对应矩阵的元素标为0。将此标注集记为y2。将子块图像的灰度矩阵集记为X。，两步模型的样本值集均为X_train，其中第一步模型的样本标签值来自y1，记为y1_train，第二步模型的样本标签值来自y2，记为y2_train。

另外10张列平均灰度法处理后的图像用于测试。切割为50×50像素大小的子块，共8000个。并通过相同的方法对图像进行二重标注，构建用于测试的样本集。样本值为子块的灰度矩阵集X_test，样本标签集分别为y1_test和y2_test。

以下进行模型的构建和训练。

首先对第一步卷积神经网络进行结构和超参数设计，如图2所示。最起始的四层由两组卷积层+最大池化层组成，其具有如下特点：卷积核尺寸分别为（7,7）和（5,5），卷积与池化步长均为（2,2）。后面紧跟一层有padding的（3,3）卷积层。最后一部分由三个连续的全连接层组成，最终输出维度为1。

第一层是50×50×1像素的输入层，每个维度分别表示高度、宽度和通道（灰度图像通道数为1）。输入数据通过体系结构传递，并在L9时将空间大小简化为一维。经三次全连接后进行二分类，将检测到含裂缝的图片传递到卷积神经网络分割算法中做最终训练。舍弃层位于L7和L8的全连接层后，舍弃率均为0.5。

本节所提及的神经网络是用一个Adam算法训练的，每次训练批次为512。训练批次的大小划分主要由于50×50×1像素图像仅有2500个像素点，需要处理的数据最少，且最终标签只有一个，原则上保证训练批次较大时，整个模型才能不产生过拟合。经测试验证，当训练批次为512个图像/批时，模型既能保持良好的性能，又能保证在前20次迭代过程中不会出现过拟合。

将X_train、y1_train送入模型以进行训练和交叉验证。为了保证不漏检裂缝，应对分类阈值进行设定，以在不过度损失精度的情况下，尽量保证查全率。实验表明，分类阈值设定为0.1时，迭代30轮左右模型的验证精确率可保持在90%以上。查全率可达到98.23%以上，查准率不低于76.49%，满足第一步检索裂缝区域排除非裂缝区域的要求。

然后对第二步卷积神经网络进行结构和超参数设计，如图3所示。采用四个特征提取卷积层，卷积核尺寸分别为（3,3），（5,5），（5,5），（7,7），每层卷积核数量均为90。卷积核尺寸按这样的顺序使用有三个原因。首先，卷积神经网络过滤器一般不超过7×7，否则会影响运算速度和精度。第二，逐步增加过滤器的大小有助于更深层的层在更大的关联性中更自信地工作。经不断尝试研究表明，与其他过滤器尺寸组合相比，这种过滤器尺寸组织产生最佳性能。

在每个特征提取卷积层后，都增加一个1×1卷积层，其卷积核数量也均为90。使用1×1卷积层的目的在于将输入图像的每个通道乘以一定系数后求和，并不改变图像的大小。经测试，使用1×1卷积层能提高卷积神经网络分割算法的整体性能，包括迭代效率、查准率、查全率及精度。最后再使用一个1×1卷积层取代全连接层，以输出分割结果。

将X_train、y2_train送入模型以进行训练和交叉验证。由于卷积神经网络分割算法需要精确到像素级别，每张50×50像素图片含有2500个标签。卷积神经网络分割算法训练批次为20个图像/批。使用很小的训练批次是为了防止计算时超出计算机内存，但是很小的训练批次往往会造成实验训练过拟合现象产生较快。在卷积神经网络分割算法中，当迭代到第20次时就会产生明显的过拟合现象。因此使用学习率衰减来减缓过拟合的产生。最终模型精度可达到98.22%，此时查全率85.21%，满足分割任务的要求。

以下将已训练完成的两步神经网络模型作为整体，输入已准备好的测试集以进行评价。

将测试样本X_test输入第一步卷积神经网络模型，获得输出预测值y1_predict。将y1_predict与真值y1_test进行比较计算，即可获得指标：查全率1=96.57%，查准率1=79.82%。将其中被y1_predict预测为有裂缝的样本保留，称为X2_test，其有592个。80000个子块样本的二分类所用时间为4min43s。

将测试样本X_test中被判定为有裂缝的592样本X2_test输入第二步卷积神经网络模型，获得输出预测值y2_predict。将y2_predict与真值y2_test进行比较计算（按像素），即可获得指标：查全率1=84.67%，查准率1=83.54%。592个子块样本的像素级分割所用时间为8min20s。

可以得到，两步卷积神经网络模型的总查全率=查全率1×查全率2=81.77%，总查准率=查准率2=83.54%。即：模型在一个全新的测试集上的漏检率（是裂缝像素但未被检测出）低于19%，误判率（不是裂缝像素但被误判为裂缝像素）低于17%。可以认为，实例所建立的两步卷积神经网络模型可以较准确地提取路面图像中的裂缝。

作为时间统计，实验组方法中子块切割与储存耗时5min33s，加上两步卷积神经网络测试分别耗时4min43s和8min20s，实验组方法耗时18min36s。

同时，作为对照地，构建一个一步卷积神经网络模型，以对全尺寸图像进行分割。其结构与超参数设置完全相同于本发明方法的第二部卷积神经网络。采用实验组中作为训练集的90张全尺寸图像对其进行训练，并将实验组中作为测试集的10张列平均灰度法处理后的大小为2000×1000的图像作为测试，输入训练好的模型并获得对照模型的输出结果。

对照组模型的评价指标如下：查全率=84.57%，查准率=84.21%。作为时间统计，10个2000×1000样本的像素级分割所用时间为2h1min23s。

通过实验组与对照组比较可知，在本实施例中，本发明所提出的两步卷积神经网络与未改进的一步卷积神经网络相比，查全率低3.20%，查准率低0.67%，在时间上，节省84.68%。可以认为，本发明所提出的基于两步卷积神经网络的路面裂缝提取方法，在精准度损失很小的情况下，极大地提高了提取速度。

值得注意的是，由于本实例所采用的数据集来源不够广泛，因此模型的鲁棒性会受到一定影响。在实际工程应用中，增大训练用数据集图像样本的来源和数量，可以使得模型在不同条件下表现出更加稳定和优良的性能。即：不能认为本发明所提出的方法在实际应用中的性能局限于本实例的实验性能以内。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (6)

1.一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，包括以下步骤：

S1：预处理，对于路面自动检测系统采集到的路面病害图像，对其先进行处理，以消除不均匀光照背景的影响，并增强前景背景对比；

S2：建立路面病害图像数据集：将原始大小的图像进行裁剪，以适应子块分类与分割的需要，对每个图像子块进行二重标注：a.有无裂缝二分类标注；b.裂缝像素标注，将构建的数据集作为神经网络模型的训练及测试样本；

S3：构建用于子块有/无裂缝检测的二分类卷积神经网络模型即第一步卷积神经网络：采用常规的神经网络层次结构，并针对裂缝连续性拓扑结构进行超参数优化，使用病害图像子块数据集对模型进行训练和交叉验证；

S4：构建用于子块像素级精度检测的分割神经网络模型即第二步卷积神经网络：采用取消了下采样的神经网络结构，通过1×1卷积层代替全连接层，使得模型的输入与输出具有相同的维度，使用病害图像子块数据集对模型进行训练和交叉验证；

S5：从数据集中选取一批图像子块用于测试：将样本输入第一步卷积神经网络，调整输出阈值，以保证第一步的查全，将第一步模型中判定为有裂缝的图像子块作为第二步卷积神经网络的样本集，输出像素级的分割结果，重新拼接输出的子块结果，提取出路面图像中的裂缝信息。

2.根据权利要求1所述的一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，在S1中，图像预处理的方法如下：

A1：若路面病害图像来源的采集系统使用线阵相机，则通过列平均法进行不均匀光照背景的去除；

A2：若路面病害图像来源的采集系统使用面阵相机，则通过模糊正像法进行不均匀光照背景的去除。

3.根据权利要求1所述的一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，在S2中，路面病害图像数据集的建立方法如下：

B1：图像子块的裁剪：图像子块的裁剪大小应根据相机视野像素及安装高度确定，对于普通的公路或城市道路，每个子块的大小应对应实际路面的10×10厘米左右大小的区域；

B2：图像子块的有无裂缝二分类标注：对于每个子块，按照其中是否含有裂缝信息，分为有裂缝和无裂缝两类，分别用1/0表示，对于裂缝元素所占像素数不超过子块总像素数5%的子块，认为其为无裂缝类型；

B3：图像子块的像素标注：对于每个子块，对于每个图像子块，按其像素大小，构建一等大小的二值矩阵，其中是裂缝的位置对应矩阵的元素标为1，不是裂缝的位置对应矩阵的元素标为0，得到像素精度的子块标签值。

4.根据权利要求1所述的一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，在S3中，用于子块有/无裂缝检测的二分类卷积神经网络模型的构建方法如下：

C1：构建第一步卷积神经网络的结构；

最起始的四层由两组卷积层+最大池化层组成，其具有如下特点：卷积核尺寸分别为（7,7）和（5,5），卷积与池化步长均为（2,2），后面紧跟一层有padding的（3,3）卷积层，最后一部分由三个连续的全连接层组成，最终输出维度为1；

C2：第一步卷积神经网络的训练：将样本图像矩阵作为x，二分类0/1标注作为y，输入上一步构建的模型中，分批输入的样本量可根据实际运行硬件的性能确定，准确率稳定大于90%且查全率高于95%之后停止迭代。

5.根据权利要求1所述的一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，在S4中，用于子块像素级精度检测的分割神经网络模型的构建方法如下：

D1：构建第二步卷积神经网络结构：采用四个特征提取卷积层，卷积核尺寸分别为（3,3），（5,5），（5,5），（7,7），每层卷积核数量均为90，在每个特征提取卷积层后，都增加一个1×1卷积层，其卷积核数量也均为90，最后再使用一个1×1卷积层取代全连接层，以输出分割结果；

D2：第二步卷积神经网络的训练：将样本图像矩阵作为x，像素标注作为y，输入上一步构建的模型中，最终测试集上的准确率稳定大于90%且查全率高于80%之后停止迭代。

6.根据权利要求1所述的一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，在S5中，两步卷积神经网络模型的测试方法如下：

E1：取一批未经训练过的图像切割成的子块，将其灰度矩阵作为x，输入经过训练后的第一步卷积神经网络模型中；

根据输出结果与测试样本的二分类0/1标注，进行第一阶段评价，评价指标为查准率1，查全率1；

E2：将第一步预测为有裂缝的子块作为第二步的样本，将其灰度矩阵作为x，输入经过训练后的第二步卷积神经网络模型中；

根据输出结果与测试样本的像素标注，进行第二阶段评价，评价指标为查准率2，查全率2；

E3：进行总体评价：指标为：总查准率=查准率2，总查全率=查全率1×查全率2。