CN110119687A - 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法 - Google Patents

Abstract

基于图像处理和卷积神经网络相结合的路面表面裂痕缺陷识别的方法，包含：步骤一，数据准备：采集2000张1024×512的道路灰度图像；步骤二，图像标定：将采集好的道路图片分类，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；步骤三，将标定好的图片进行图片预处理，并统一尺寸为1024×512；步骤四，建立核心的卷积神经网络算法架AsphaltCrackNet；步骤五，用于生成特征映射的特征提取器的原理；步骤六，划分用于训练和测试的图像数据集；步骤七，训练数据集并计算成本函数；步骤八，该神经网络的学习方法；步骤九，随机初始化和丢失；步骤十，并行计算；步骤十一，得出训练结果，进行测试和评估。在不改变原始图像宽度和高度的情况下，能够确保完美的像素精确度。

Description

基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的 检测方法

技术领域

本发明涉及一种道路表面裂痕缺陷检测和分类方法。

背景技术

进入21世纪，我国综合国力迅速发展，高速公路的蓬勃发展便成为一个重要的标志，道路的保护也得到同等重视。然而，人工作业效率低下，特别是现场施工中会有很多不可预测的因素，造成道路缺陷检测尤为困难，同时精度也不能得到保障，从而产生了很多道路缺陷没有检测到。过去，也有过许多算法来检测道路表面裂痕缺陷，但是都有它的局限性。基于图像预处理的边缘检测和图像分割以及形态学变换等算法被广泛用于检测路面裂缝的边缘，但无法检测完整的裂缝轮廓；基于滤波器的算法被开发用于发现预期响应的裂缝，但是在检测对预先设计的滤波器的弱响应的裂缝方面仍然存在局限性。近年来，深度卷积神经网络(CNN)在大规模对象识别问题上取得了重大成功，比如医学上，人脸识别，音频检索等领域。CNN有许多显著的特点，比如局部连接、权值共享、池化操作以及多层结构。CNN能够通过多层非线性变换，从数据中自动学习特征，从而代替手工设计的特征，且深层次的结构使它具有很强的表达能力和学习能力。然而，由于池化层的存在，原始数据通过增加抽象级别而逐渐缩小，导致原始信息的丢失。因此，大多数卷积网络都要对小图像块进行分类，并且无法实现像素完美的精度。像素完美的精度对于路面裂缝检测至关重要，这意味着裂缝的可见几何特征可以在形状，方向，长度和宽度方面获得。首先，像素完美精度可以对检测到的裂缝类型产生准确的识别。其次，裂缝的实际宽度，长度和范围是确定其严重程度的重要指标。

发明内容

本发明要克服现有技术对道路表面缺陷检测的缺点，提供一种基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷检测和分类的方法，通过监督学习，可以从已经标定好的表面缺陷图像中学习到更好的代表性特征。

为了实现上述目的，本发明采用了以下技术方案：

基于图像处理和卷积神经网络相结合的路面表面裂痕缺陷识别的方法，包含如下步骤：

步骤一，数据准备：采集2000张1024×512的道路灰度图像；

步骤二，图像标定：将采集好的道路图片分类，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；

步骤三，将标定好的图片进行图片预处理，并统一尺寸为1024×512；

步骤四，建立核心的卷积神经网络算法架AsphaltCrackNet；

步骤五，用于生成特征映射的特征提取器的原理；

步骤六，划分用于训练和测试的图像数据集；

步骤七，训练数据集并计算成本函数；

步骤八，该神经网络的学习方法；

步骤九，随机初始化和丢失；

步骤十，并行计算；

步骤十一，得出训练结果，并进行测试和评估。

本发明提出了一种基于卷积神经网络(CNN)的高效网络架构，命名为AsphaltCrackNet，用于自动检测路面上的路面裂缝。与传统的CNN不同，AsphaltCrackNet没有任何池化层来缩小先前层的输出。无论数据深度如何，数据宽度和高度在所有层中都是不变的，以实现像素完美的精确度。像素级精度通过以下正则化来实现：首先，输入数据的空间大小在所有层中都是不变的；其次，为像素到像素的监督学习准备了训练数据的基础事实；最后，通过卷积层提供的局部连接将单个像素与其邻居进行比较，并通过整合和分析在该像素处评估的多通道响应来预测单个像素的最终类别得分。

本发明的原理是：

将已经进行通过图像处理的目标图像输入到训练好的卷积神经网络模型里面，然后自动对道路表面裂痕进行缺陷检测和分类。该卷积神经网络由4个层组成，与其他CNN不同的是，该网络结构，即AsphaltCrackNet没有任何池化层来缩小先前层的输出。无论数据深度如何，数据宽度和高度在所有层中都是不变的，以实现像素完美的精确度。

本发明可以精确地检测道路的表面裂痕缺陷并进行分类。

本发明通过使用各种高效学习技术，包括小批量梯度下降，动量，交叉熵，并行计算，随机初始化和丢失，成功完成了AsphaltCrackNet的训练，以实现像素的完美精确度，进而达到精确检测道路表面的裂痕的目的。

本发明的优点是：实现像素的完美精确度，精确检测道路表面的裂痕。

附图说明

图1是本发明的卷积神经网络结构图；

图2是本发明的工作流程示意图；

图3是本发明的图像处理流程示意图；

图4a～图4f是本发明图像处理效果图，其中图4a是道路缺陷原图，图4b是道路缺陷原图灰度直方图，图4c是均衡化处理结果图，图4d是均衡化处理后灰度直方图，图4e是滤波处理结果图，图4f是滤波处理结果灰度直方图。

具体实施方式

下面结合附图，进一步说明本发明的技术方案：

基于图像处理与卷积神经网络相结合的道路表面裂痕缺陷识别的方法，包含如下步骤：

步骤一，数据准备：建立了一个具有超过5,000个路面图像，分辨率为1mm，代表了裂缝和路面表面纹理的多样性变化的图像库，该图像库的所有路面通过爬虫技术所得。

步骤二，图像标定：将采集好的道路图片进行标定，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；

步骤三，将标定好的图片进行图片预处理，且统一尺寸为1024×512；

3.1去除椒盐噪声和脉冲噪声。路面缺陷图像具有明显的高频噪声，与目标信息掺杂，难以去除，为了处理此类干扰信息，本文采用自适应中值滤波算法。

3.2路面缺陷增强算法。实际路面缺陷图像背景复杂，利用单一的图像增强处理方法难以达到预期效果，本系统采集的图像灰度值计算如下所示：

nGray＝x*R+y*G+z*B (1)

其中R,G,B代表红，绿，蓝通道，x,y,z为相应参数。下面就列出道路增强的详细算法。

3.1.1灰度转换。将采集到的图像变成灰度图像，方便之后的直方图均衡化和边缘检测，所用到的公式为

nGray＝0.40*R+0.58*G+0.21*B (2)

其中R,G,B分别代表红，绿，蓝通道。

3.1.2图像直方图均衡化。直方图均衡化(histogram equalization)是一种借助直方图变换实现灰度映射从而达到图像增强目的的方法，其主要思想是把原始图的直方图变换成为均匀分布的形式，这样，就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果。路面缺陷图像的灰度值主要分布在90～120之间，其他区间分布很少，这种现象跟图像本身有关。路面缺陷图像的灰度直方图是一个离散化表示的图像，没有一定的显示规律，针对此类图像处理较难，必须要对其均衡化处理。路面缺陷图像的均衡化处理要保证以下两个条件：

S1.像素的属性不能发生改变，图像的物理结构要保持不变；

S2.采集到的路面缺陷图像是8-bits图像，像素映射函数的值域应保持在0～255之间，不能超过范围。直方图映射的方法是：

其中N为像素总个数，L为灰度级总数，Ng为灰度级为g的像素总数。

3.1.4改进的自适应中值滤波和邻域处理。路面缺陷图像不同于其他图像，其纹理信息较为明显，且具有椒盐噪声、脉冲噪声等复杂的干扰因素，本文在中值滤波基础上提出了一种改进的滤波方法。对路面缺陷图像滤波处理的过程，相当于在图像f(x,y)中逐点移动滤波模板，使模板与图像中每一个像素点做运算，为了控制平滑处理造成的图像模糊，本文在高斯平滑模板的基础上，根据实际路面缺陷图像的特点，加大了模板的权值

下式为高斯模板，来自于二维正态分布密度函数

当标准差σ取不同值时，二维高斯函数的形状会有很大变化，所以在路面缺陷图像处理时，合适的σ非常重要，σ太大或者太小，都无法达到预期效果。只有当σ取合适的值的时候才能得到像素值的较好的体现。在本文所涉及的路面缺陷图像的处理中，对3x 3滤波窗口取σ为0.8。到此，图像预处理结束，得到可作为下述卷积神经网络特征提取器的输入，并与没有经过预处理的原图像相比，为该神经网络特征提取做出了一定的贡献，最终提高了识别的正确率。

步骤四，建立核心的卷积神经网络算法架，简称为AsphaltCrackNet；

本卷积神经网络结构AsphaltCrackNet主要由五个层组成：将经过上述预处理后的尺寸为1024×512的道路灰度图像输入到特征提取器，亦可视为1×1的卷积，并将结果作为输入层，然后进行一个全连接层1，相当于一个1×1的卷积层；然后得到同样大小的360个通道的1024×512图像；在全连接层1之后，用一个50×50的过滤器进行卷积，为了不改变尺寸，将卷积后的结果进行相应填充；然后再进行全连接层2，同样类似于1×1的卷积；最后将连接后的结果再用1×1的卷积核进行最后卷积，得到和原始图像相同尺寸的输出。

4.1输入层直接从预处理后的图像库中随机选择道路表面图像；

4.2在卷积层1，前一层输出的每个通道与一个大小为50×50的单个滤波器进行卷积。因此卷积层1处的滤波器数量为360.在卷积之后，泄漏整流线性单元用于执行非线性变换,表达式为：

其中h是输出；w^T是权重；x是输入。

4.3 1×1卷积层2传导跨通道参数池并将多个通道集成到单个通道中。类似地，为了达到空间不变性的目的，在该层中使用权重共享。换句话说，在每个像素处应用相同的权重以避免空间差异。最后，输出层使用softmax回归将输出变成一个概率分布，其中经过softmax回归处理后的输出为：

因此，最终输出图像包含所有单个像素的预测类别得分。在本文中，不小于0.5的类别分数表示相应的像素是裂缝像素，而小于0.5的类别分数表示相应的像素是非裂缝像素。

4.4为了达到像素级精度来检测裂缝的明确要求。首先，图像高度和宽度在所有层中是不变的，使得可以在端对端方式之后有效地学习每个像素处的误差。其次，特征提取器和卷积层1提供局部连接，使得本神经网络可以通过不断训练来学习裂缝像素与其局部环境之间的关系。最后，卷积层2，完全连接层1和2主要用于基于在相同位置获得的多通道响应来学习裂缝像素和非裂缝像素之间的复杂差异。

步骤五，用于生成特征映射的特征提取器的原理；具体如下：

特征提取器利用面向具有不同方向，长度和宽度的线性滤波器，以增强裂缝和背景之间的对比度。它可以被视为具有固定操作且没有可学习参数的特征检测层。每个特征图，或者等效地，原始输入的每个通道都是由单个线性滤波器处理的滤波图像。特别是，在特征提取中使用了360个线过滤器，以生成360个特征图。每个线滤波器的剖面图都是对称S形曲线，表达式为：

其中x是距离中心的距离；f(x)是x处的函数值；λ是控制中心区域的平坦度和中心区域附近的陡度的参数；D是距滤波器中心的距离，其中滤波器值等于0.5。当参数λ增加时，从边缘区域到中心区域的过渡变得更加显着。在裂缝检测方面，对称的sig-moid曲线可用于模拟裂缝与背景之间的急剧变化。如果裂缝的特征与滤波器配置相匹配，裂缝对滤波器的响应可能是独特的。

步骤六，划分用于训练和测试的图像数据集：从步骤三已经经过图像处理的图像库中随机选择两千张道路表面图像，用于该神经网络的训练和测试。2,000张表面图像代表各种不同纹理和不同的混合类型。特别地，1,800个图像用作训练数据，而其他200个图像被认为是测试数据。

步骤七，训练数据集并计算成本函数。作用于输出层的softmax回归使所有的单个像素产生0到1之间的预测值，特别地，背景像素和裂缝像素的目标值分别设置为0和1。由于已经准确对裂缝打标记，所以可以直接确定图像的所有像素的目标值。随后，使用CrossEntropy交叉熵作为成本函数来测量预测值和目标值之间的相似性，具体表达式如下：

H(p,q)＝-∑_xp(x)logq(x) (9)

其中q代表预测值的概率，p代表目标值的概率，交叉熵刻画的是这两个概率分布之间的距离。交叉熵用作成本函数有两个原因。首先，它提高了学习速度；其次，它以预测值和目标值之间的相似性来控制的速率来驱动神经网络来进行学习。换句话说，当错误较大时，网络可以更快地学习。

步骤八，该神经网络的学习方法。训练的目标是使用基于梯度的优化方法来最小化成本函数。这里实现了小批量梯度下降以在每次迭代时更新参数。此外，使用动量的反向传播来计算梯度。因此，每次迭代的学习方法是：

其中i是迭代索引；w_i是在第i次迭代中学到的权重；w_i是第i次迭代的动量变量；ε是学习率；B_i代表第i个小批量；是在w_i处评估的B_i上的平均梯度。

步骤九，随机初始化和丢失。由于参数数量众多，参数的初始化变得很重要。一个初始化参数的好方法是在所有层上保持激活值和反向传播梯度之间的类似差异。因此，采用随机初始化来初始化参数，以便可以有效地维持激活值和反向传播梯度的方差。此外，还实施了另一种称为“Dropout”的高效技术，以降低过度配置的风险。

步骤十，并行计算。除输出层外的所有其他层都需要对前向和后向通道的大小为1,024×512的360幅图像进行密集计算。因此，应用并行计算技术来提高AsphaltCrackNet的计算效率，使得基于1,800个示例图像的网络训练可以变得易于管理。AsphaltCrackNet的结构与使用图形处理单元(GPU)的并行计算兼容。对于产生输出的正向通道，可以同时操作每层输出数据的所有元素或像素的计算任务。关于计算梯度的反向传递，每层的输入数据的所有元素的计算任务也可以同时执行。

步骤十一，得出训练结果，并进行测试和评估。训练结束后，将AsphaltCrackNet应用于200个测试图像以进行进一步验证。

实验结果表明，与裂缝的真实性相比，本发明的神经网络算法实现了高水平的像素完美精确度。而且，与具有浅层抽象和有限学习能力的传统算法相比，基于深度学习技术的自动算法具有更好的潜力。

Claims (1)

1.基于图像处理与卷积神经网络相结合的道路表面裂痕缺陷识别的方法，包含如下步骤：

步骤一，数据准备：建立了一个具有超过5,000个路面图像，分辨率为1mm，代表了裂缝和路面表面纹理的多样性变化的图像库，该图像库的所有路面通过爬虫技术所得；

步骤二，图像标定：将采集好的道路图片进行标定，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；

步骤三，将标定好的图片进行图片预处理，且统一尺寸为1024×512；

3.1去除椒盐噪声和脉冲噪声；路面缺陷图像具有明显的高频噪声，与目标信息掺杂，难以去除，为了处理此类干扰信息，采用自适应中值滤波算法；

3.2路面缺陷增强算法；实际路面缺陷图像背景复杂，利用单一的图像增强处理方法难以达到预期效果，采集的图像灰度值计算如下所示：

nGray＝x*R+y*G+z*B (1)

其中R,G,B代表红，绿，蓝通道，x,y,z为相应参数；下面就列出道路增强的详细算法；

3.1.1灰度转换；将采集到的图像变成灰度图像，方便之后的直方图均衡化和边缘检测，所用到的公式为

nGray＝0.40*R+0.58*G+0.21*B (2)

其中R,G,B分别代表红，绿，蓝通道。

3.1.2图像直方图均衡化；直方图均衡化(histogram equalization)是一种借助直方图变换实现灰度映射从而达到图像增强目的的方法，其主要思想是把原始图的直方图变换成为均匀分布的形式，这样，就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果；路面缺陷图像的灰度值主要分布在90～120之间，其他区间分布很少，这种现象跟图像本身有关；路面缺陷图像的灰度直方图是一个离散化表示的图像，没有一定的显示规律，针对此类图像处理较难，必须要对其均衡化处理；路面缺陷图像的均衡化处理要保证以下两个条件：

S1.像素的属性不能发生改变，图像的物理结构要保持不变；

S2.采集到的路面缺陷图像是8-bits图像，像素映射函数的值域应保持在0～255之间，不能超过范围；直方图映射的方法是：

其中N为像素总个数，L为灰度级总数，Ng为灰度级为g的像素总数；

3.1.4改进的自适应中值滤波和邻域处理；路面缺陷图像不同于其他图像，其纹理信息较为明显，且具有椒盐噪声、脉冲噪声的复杂的干扰因素，在中值滤波基础上提出了一种改进的滤波方法；对路面缺陷图像滤波处理的过程，相当于在图像f(x,y)中逐点移动滤波模板，使模板与图像中每一个像素点做运算，为了控制平滑处理造成的图像模糊，在高斯平滑模板的基础上，根据实际路面缺陷图像的特点，加大了模板的权值

下式为高斯模板，来自于二维正态分布密度函数

当标准差σ取不同值时，二维高斯函数的形状会有很大变化，所以在路面缺陷图像处理时，合适的σ非常重要，σ太大或者太小，都无法达到预期效果；只有当σ取合适的值的时候才能得到像素值的较好的体现；在所涉及的路面缺陷图像的处理中，对3x3滤波窗口取σ为0.8；到此，图像预处理结束，得到可作为下述卷积神经网络特征提取器的输入；

步骤四，建立核心的卷积神经网络算法架，简称为AsphaltCrackNet；

卷积神经网络结构AsphaltCrackNet主要由五个层组成：将经过上述预处理后的尺寸为1024×512的道路灰度图像输入到特征提取器，亦可视为1×1的卷积，并将结果作为输入层，然后进行一个全连接层1，相当于一个1×1的卷积层；然后得到同样大小的360个通道的1024×512图像；在全连接层1之后，用一个50×50的过滤器进行卷积，为了不改变尺寸，将卷积后的结果进行相应填充；然后再进行全连接层2，同样类似于1×1的卷积；最后将连接后的结果再用1×1的卷积核进行最后卷积，得到和原始图像相同尺寸的输出；

4.1输入层直接从预处理后的图像库中随机选择道路表面图像；

4.2在卷积层1，前一层输出的每个通道与一个大小为50×50的单个滤波器进行卷积；因此卷积层1处的滤波器数量为360.在卷积之后，泄漏整流线性单元用于执行非线性变换,表达式为：

其中h是输出；w^T是权重；x是输入；

4.3 1×1卷积层2传导跨通道参数池并将多个通道集成到单个通道中；类似地，为了达到空间不变性的目的，在该层中使用权重共享；换句话说，在每个像素处应用相同的权重以避免空间差异；最后，输出层使用softmax回归将输出变成一个概率分布，其中经过softmax回归处理后的输出为：

因此，最终输出图像包含所有单个像素的预测类别得分；在本文中，不小于0.5的类别分数表示相应的像素是裂缝像素，而小于0.5的类别分数表示相应的像素是非裂缝像素；

4.4为了达到像素级精度来检测裂缝的明确要求；首先，图像高度和宽度在所有层中是不变的，使得可以在端对端方式之后有效地学习每个像素处的误差；其次，特征提取器和卷积层1提供局部连接，使得本神经网络可以通过不断训练来学习裂缝像素与其局部环境之间的关系；最后，卷积层2，完全连接层1和2主要用于基于在相同位置获得的多通道响应来学习裂缝像素和非裂缝像素之间的复杂差异；

步骤五，用于生成特征映射的特征提取器的原理；具体如下：

特征提取器利用面向具有不同方向，长度和宽度的线性滤波器，以增强裂缝和背景之间的对比度；它可以被视为具有固定操作且没有可学习参数的特征检测层；每个特征图，或者等效地，原始输入的每个通道都是由单个线性滤波器处理的滤波图像；特别是，在特征提取中使用了360个线过滤器，以生成360个特征图；每个线滤波器的剖面图都是对称S形曲线，表达式为：

其中x是距离中心的距离；f(x)是x处的函数值；λ是控制中心区域的平坦度和中心区域附近的陡度的参数；D是距滤波器中心的距离，其中滤波器值等于0.5；当参数λ增加时，从边缘区域到中心区域的过渡变得更加显着；在裂缝检测方面，对称的sig-moid曲线可用于模拟裂缝与背景之间的急剧变化；如果裂缝的特征与滤波器配置相匹配，裂缝对滤波器的响应可能是独特的；

步骤六，划分用于训练和测试的图像数据集：从步骤三已经经过图像处理的图像库中随机选择两千张道路表面图像，用于该神经网络的训练和测试；2,000张表面图像代表各种不同纹理和不同的混合类型；1,800个图像用作训练数据，而其他200个图像被认为是测试数据；

步骤七，训练数据集并计算成本函数；作用于输出层的softmax回归使所有的单个像素产生0到1之间的预测值，，背景像素和裂缝像素的目标值分别设置为0和1；由于已经准确对裂缝打标记，所以可以直接确定图像的所有像素的目标值；随后，使用Cross Entropy交叉熵作为成本函数来测量预测值和目标值之间的相似性，具体表达式如下：

H(p,q)＝-∑_xp(x)logq(x) (9)

其中q代表预测值的概率，p代表目标值的概率，交叉熵刻画的是这两个概率分布之间的距离；

步骤八，神经网络的学习方法；训练的目标是使用基于梯度的优化方法来最小化成本函数；这里实现了小批量梯度下降以在每次迭代时更新参数；此外，使用动量的反向传播来计算梯度；因此，每次迭代的学习方法是：

其中i是迭代索引；w_i是在第i次迭代中学到的权重；w_i是第i次迭代的动量变量；ε是学习率；B_i代表第i个小批量；是在w_i处评估的B_i上的平均梯度；

步骤九，随机初始化和丢失；由于参数数量众多，参数的初始化变得很重要；一个初始化参数的好方法是在所有层上保持激活值和反向传播梯度之间的类似差异；因此，采用随机初始化来初始化参数，以便可以有效地维持激活值和反向传播梯度的方差；此外，还实施了另一种称为“Dropout”的高效技术，以降低过度配置的风险；

步骤十，并行计算；除输出层外的所有其他层都需要对前向和后向通道的大小为1,024×512的360幅图像进行密集计算；因此，应用并行计算技术来提高AsphaltCrackNet的计算效率，使得基于1,800个示例图像的网络训练可以变得易于管理；AsphaltCrackNet的结构与使用图形处理单元(GPU)的并行计算兼容；对于产生输出的正向通道，可以同时操作每层输出数据的所有元素或像素的计算任务；关于计算梯度的反向传递，每层的输入数据的所有元素的计算任务也可以同时执行；

步骤十一，得出训练结果，并进行测试和评估。