CN112785578A - 一种基于u型编码解码器神经网络的道路裂缝检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于U型编码解码器神经网络的道路裂缝检测方法及系统，所述检测方法包括：获取初始道路裂缝数据集，对初始道路裂缝数据集扩展处理，得到第一道路裂缝数据集；构建U型编码解码器神经网络，U型编码解码器神经网络包括1组注意力模型层数加深模块；使用第二道路裂缝数据集验证所述训练好的U型编码解码器神经网络，得到验证通过后的最终U型编码解码器神经网络；将最终U型编码解码器神经网络嵌入到移动设备，进行道路裂缝的实际检测。在U‑Net网络的编解码器神经网络基础上加入注意力模型层数加深模块，用于道路裂缝的检测，减少了模型参数，进而减少模型处理图像的时间，便于嵌入到移动设备进行实时道路裂缝检测。

Description

一种基于U型编码解码器神经网络的道路裂缝检测方法及 系统

技术领域

本发明涉及道路裂缝检测领域，尤其涉及一种基于U型编码解码器神经网络的道路裂缝检测方法及系统。

背景技术

随着交通运输业的发展，公路道路的养护工作变得十分的重要。裂缝是道路受损中最为常见的缺陷，道路路面缺陷的检测是后续维护和修理的前提。因此道路裂缝的检测工作必不可少。在实际检测过程中由于裂缝分布杂乱无规律，且容易被周边障碍物干扰，造成漏检误检，从而对道路健康状况产生极大的安全隐患。现实生活中，由于裂缝分布杂乱无规律，往往存在很多细小裂缝，容易被周边障碍物干扰造成漏检误检造成了极大的安全隐患。

传统的道路裂缝识别一般由道路维护人员现场人工检测，尽管采用摄像设备进行图像采集，裂缝的识别标注还是需要人工标注完成，不同观察者的经验判断，主观感受都不一样，即便是对同一张道路裂缝图像进行识别标注，不同观察者给出的结果也各不相同。因此传统的手工道路裂缝识别不仅耗费大量人力，而且没有办法保证裂缝识别的精度和效率。此外，在实际交通运输过程中，人工检测道路裂缝还会对人员带来安全隐患。

现有技术中，采用传统图像处理方法对道路裂缝进行识别，其对图像的画质要求较高，且操作复杂，耗时，得到的识别效果不太理想，精度不高；而采用无监督方法，神经网络模型通常涉及较多需要满足的附加条件，对图像的质量要求较高，且识别出的道路裂缝精度较低；有监督方法中，神经网络模型对复杂道路表面图像的特征有着较强的提取能力，相较于传统的图像处理方法和无监督方法，神经网络模型对这些复杂情况体现出明显的优势。但现有的一些用于道路表面裂缝检测的深度学习方法即使手动标注数据集也是一些简单的，甚至人眼均能很好辨认的数据照片，而没有针对实际的一些裂缝情况进行识别，而实际对道路表面采集的图像具有复杂性，不一定是画质清晰和背景简单的图像，另外，现有的神经网络例如U-Net神经网络，参数量大，通常需要消耗较高的内存和计算复杂度，使其很难运行在没有足够计算力的设备上，并且由于计算耗时慢，无法实现实时检测，进而无法应用到机器人或移动端进行实时检测。

发明内容

本发明提供一种基于U型编码解码器神经网络的道路裂缝检测方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。。

第一方面，本发明实施例提供了一种基于U型编码解码器神经网络的道路裂缝检测方法，包括：

获取初始道路裂缝数据集，对初始道路裂缝数据集扩展处理，得到第一道路裂缝数据集；

构建U型编码解码器神经网络，使用第一道路裂缝数据集训练所述U型编码解码器神经网络，得到训练好的U型编码解码器神经网络，所述U型编码解码器神经网络包括编码器部分和解码器部分，所述编码器部分包括第一层的初始卷积模块，第二层至第五层的4组卷积编码器模块，所述解码器部分包括第六层的1组注意力模型层数加深模块、第七层至第十层的4组注意力卷积解码器模块；

使用第二道路裂缝数据集验证所述训练好的U型编码解码器神经网络，得到验证通过后的最终U型编码解码器神经网络；

将最终U型编码解码器神经网络嵌入到移动设备，进行道路裂缝的实际检测。

进一步，所述构建道路裂缝数据集，对道路裂缝数据集扩展处理，得到第一道路缝数据集包括：

获取道路裂变图像并进行人工标记，组成初始道路裂缝数据集；

将所述初始道路裂缝数据集中的道路裂变图像在[0,360)内按照45°递增的7个不同角度分别进行旋转并在上述7个不同角度旋转后分别进行水平翻转，并分别加以随机高斯噪声处理得到的图像和初始道路裂缝数据集作为第一道路裂缝数据集。

进一步，初始卷积模块由输入层和2组卷积层组成，输入层用于输入第一道路裂缝数据集，在2组卷积层中，卷积核大小均设置为3×3，步长均为1，根据卷积核大小和步长，在边缘补1个像素,其灰度值为0。

进一步，第二层至第四层的4组卷积编码器模块中，每一个卷积编码模块包含一个下采样层和2组卷积层，卷积编码器模块中的卷积层和初始卷积模块中的卷积层的结构相同。

进一步，所述注意力模型层数加深模块包括两个标准残差模块与一个注意力模块，所述注意力模块包括第一自适应均值池化单元、第二自适应均值池化单元、第三自适应均值池化单元、第一1×1卷积和修正线性单元、第二1×1卷积和修正线性单元、第三1×1卷积和修正线性单元、1×1卷积批归一化和修正线性单元、平均池化单元、第一乘法器、第二乘法器、第三乘法器、第一加法器、第二加法器、第三加法器和输出端；

第一输入的特征图输入至第一自适应均值池化单元，第二输入的特征图输入至第三自适应均值池化单元，其中，第一输入的特征图为第五层的卷积编码器模块的输出，第二输入的特征图为第五层的卷积编码器模块的输出经过两个标准残差模块后的输出，第一输入的特征图和第二输入的特征图通过第一加法器相加后输出至第二自适应均值池化单元，第一自适应均值池化单元、第二自适应均值池化单元和第三自适应均值池化单元分别输出通道数×长×宽为C×2×2、C×1×1和C×2×2的特征图，第一自适应均值池化单元输出的C×2×2的特征图输入第一1×1卷积和修正线性单元进行卷积操作和使用线性整流函数操作后输出至第一乘法器，第二自适应均值池化单元输出的C×1×1的特征图输出至第一乘法器，第一乘法器的输出提供给第二加法器，第三自适应均值池化单元输出的C×2×2的特征图输入第二加法器，第二加法器的输出依次通过第二1×1卷积和修正线性单元、平均池化单元后输出C×1×1的特征图，并输入第二乘法器，第一输入的特征图输入至第三1×1卷积和修正线性单元进行卷积操作和使用线性整流函数操作后输出至第三乘法器，第三乘法器的输出输入至第三加法器，第二输入的特征图分别输入至第三加法器和第三乘法器，第三加法器的输出经过1×1卷积批归一化和修正线性单元进行卷积操作、批归一化操作和使用线性整流函数操作后输出至第三乘法器，第三乘法器的输出作为所述注意力模型层数加深模块的输出，其中C为整数。

进一步，4组注意力卷积解码器模块均包括上采样层、一个注意力模块和1组卷积层，最后1组注意力卷积解码器模块还包括1层与输出特征分量相关的卷积输出层，设置于所述最后1组注意力卷积解码器模块的卷积层之后，注意力卷积解码器模块中的注意力模块与第六层的注意力模型层数加深模块中的注意力模块的结构相同。

第二方面，本发明实施例还提供了一种基于U型编码解码器神经网络的道路裂缝检测系统，包括移动设备和安装在移动设备上的摄像装置，所述摄像装置，用于采集道路裂缝视频和道路裂缝图像，所述移动设备包括用于存储及处理摄像装置采集的视频和图像的工控机，所述工控机嵌入了最终U型编码解码器神经网络，用于检测摄像装置采集到的裂缝图像；

最终U型编码解码器神经网络的获取包括：

获取初始道路裂缝数据集，对初始道路裂缝数据集扩展处理，得到第一道路裂缝数据集；

构建U型编码解码器神经网络，使用第一道路裂缝数据集训练所述U型编码解码器神经网络，得到训练好的U型编码解码器神经网络，U型编码解码器神经网络包括编码器部分和解码器部分，所述编码器部分包括第一层的初始卷积模块，第二层至第五层的4组卷积编码器模块，所述解码器部分包括第六层的1组注意力模型层数加深模块、第七层至第十层的4组注意力卷积解码器模块；

使用第二道路裂缝数据集验证所述训练好的U型编码解码器神经网络，得到验证通过后的最终U型编码解码器神经网络。

本发明实施例的一种基于U型编码解码器神经网络的道路裂缝检测方法及系统，至少具有以下有益效果：

设计了一种U型编解码器神经网络，在U-Net网络的编解码器神经网络基础上加入注意力模型层数加深模块，用于道路裂缝的检测，注意力机制能够自适应调节网络权重，保留那些对特征提取能力强的在重要的通道，从而对那些不重要的通道进行裁剪，大大减少了模型参数，进而减少模型处理图像的时间，与原始U-Net网络相比，便于嵌入到移动机器人进行实时道路裂缝检测，另外，在同样训练条件下(网络训练迭代次数、训练集等)，U型编解码器神经网络对道路裂缝的图像分割效果有所提升。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明实施例提供的一种基于U型编码解码器神经网络的道路裂缝检测方法的流程图；

图2是本发明实施例提供的一种U型编码解码器神经网络的结构图；

图3是本发明实施例提供的一种注意力模块的结构图；

图4(a)是3个不同的裂缝图像；

图4(b)是3个裂缝图像的实际裂缝检测图；

图4(c)是利用传统的U-Net对3个裂缝图像分别进行分割识别的检测图；

图4(d)是利用本发明U型编码解码器神经网络对3个裂缝图像分别进行检测得到的检测图；

图5是本发明实施例提供的一种基于U型编码解码器神经网络的道路裂缝检测系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

图1是本发明实施例中一种基于U型编码解码器神经网络的道路裂缝检测方法，包括以下步骤：

S101、获取初始道路裂缝数据集，对初始道路裂缝数据集扩展处理，得到第一道路裂缝数据集；

具体地，获取道路裂变图像，由携带有智能手机或相机的移动设备，比如移动机器人进行采集，在采集到的视频中截取图像作为道路裂变图像并进行人工标注，组成初始道路裂缝数据集。

考虑到手工标注数据比较耗时，也为了得到各种复杂情况下且更为符合实际道路路面的数据，我们采用数据增强方式来扩充数据集。在一实施例中，我们采用的数据增强方式为：在[0,360°)内将图片按照45°递增的7个不同角度进行旋转，上述7个不同角度分别为：45°、90°、135°、180°、225°、270°、315°，并在上述7个不同角度旋转后进行水平翻转，并分别加以随机高斯噪声处理，将数据增广处理后得到的图像和初始道路裂缝数据集作为第一道路裂缝数据集。

将第一道路裂缝数据集按照6:4或7:3的比例分为训练集和测试集。为保证足够的数据样本，采集到的图像数量不少于300张。

S102、构建U型编码解码器神经网络，使用第一道路裂缝数据集训练所述U型编码解码器神经网络，得到训练好的U型编码解码器神经网络，U型编码解码器神经网络包括编码器部分和解码器部分，所述编码器部分包括第一层的初始卷积模块，第二层至第五层的4组卷积编码器模块，所述解码器部分包括第六层的1组注意力模型层数加深模块、第七层至第十层的4组注意力卷积解码器模块；

具体地，U型编码解码器神经网络包括10层模块，编码器部分和解码器部分各5层。如图2所示，第一层为初始卷积模块，第二层为卷积编码器模块、第三层为卷积编码器模块、第四层为卷积编码器模块、第五层为卷积编码器模块、第六层为注意力模型层数加深模块、第七层为注意力卷积解码器模块、第八层为注意力卷积解码器模块、第九层为注意力卷积解码器模块、第十层为注意力卷积解码器模块。

在一实施例中，第一层的初始卷积模块包括输入层101、卷积层102和卷积层103，第二层的卷积编码器模块包括下采样层201、卷积层202和卷积层203，第三层的卷积编码器模块包括下采样层301、卷积层302和卷积层303，第四层的卷积编码器模块包括下采样层401、卷积层402和卷积层403，第五层的卷积编码器模块包括下采样层501、卷积层502和卷积层503，第六层的注意力模型层数加深模块包括标准残差模块601、标准残差模块602和注意力模块603，第七层的注意力卷积解码器模块包括上采样层701、注意力模块702和卷积层703，第八层的注意力卷积解码器模块包括上采样层801、注意力模块802和卷积层803，第九层的注意力卷积解码器模块包括上采样层901、注意力模块902和卷积层903，第十层的注意力卷积解码器模块包括上采样层1001、注意力模块1002、卷积层1003和卷积输出层1004。其中卷积层202、卷积层203、卷积层302、卷积层303、卷积层402、卷积层403、卷积层502、卷积层503、卷积层703、卷积层803、卷积层903和卷积层1003的采用的卷积方式一致，均为普通的3x3卷积，注意力模块702、802、902和注意力模块603的结构相同。

其中，第一层的卷积层103的输出分别输入至第二层的下采样层201和第十层的注意力模型层数加深模块1002。

第二层的卷积层203的输出分别输入至第三层的下采样层301和第九层的注意力模型层数加深模块902。

第三层的卷积层303的输出分别输入至第四层的下采样层401和第八层的注意力模型层数加深模块802。

第四层的卷积层403的输出分别输入至第五层的下采样层501和第七层的注意力模型层数加深模块702。

第五层的卷积层503的输出分别输入至第六层的标准残差模块601和第六层的注意力模块603。

在一实施例中，以图像大小为576×576的裂缝图像为例,本领域技术人员应当清楚,也可以使用其它大小的裂缝图像。在第一层的初始卷积模块中，输入层101用于输入第一道路裂缝数据集，并产生一个8×576×576的张量，即通道数为8，大小为576×576的特征图，在卷积层102和卷积层103中，卷积核大小均设置为3×3，步长均为1，且根据卷积核大小和步长，在边缘补1个像素,其灰度值为0。

在一实施例中，第二层至第五层的卷积编码器模块中，下采样层采用最大池化操作进行下采样。第二层的卷积编码器模块产生16×288×288的张量，第三层的卷积编码器模块产生32×144×144的张量，第四层的卷积编码器模块产生64×72×72的张量，第五层的卷积编码器模块产生128×36×36的张量。

在每个卷积编码器模块的内部，特征张量的维度应保持一致，而通道数则由最后一层的卷积运算翻倍，即由卷积层203、卷积层303、卷积层403、卷积层503运算翻倍。这是因为随着抽象层级的增加，复杂特征的种类会比简单特征种类多，故用于学习不同特征的卷积核数量及其产生的不同通道数量也相应增加。

在一实施例中，第六层的注意力模型层数加深模块，用于在适当加深网络层数的情况下能够更加有效地提取出目标信息，如图3所示，注意力模块603包括第一自适应均值池化单元(AdaptiveAvgPool)、第二自适应均值池化单元、第三自适应均值池化单元、第一1×1卷积和修正线性单元(Conv 1x1+ReLU，ReLU：Rectified Linear Unit，修正线性单元)、第二1×1卷积和修正线性单元、第三1×1卷积和修正线性单元、1×1卷积批归一化和修正线性单元(Conv1×1+BN+ReLU，BN：batch normalization，批归一化)、平均池化单元(Pooling)、第一加法器6031、第二加法器6032、第三加法器6033、第一乘法器6034、第二乘法器6035和第三乘法器6036；

第一输入的特征图(C×H×W，其中H和W分别为特征图的长和宽,C为整数)输入至第一自适应均值池化单元，第二输入的特征图输入至第三自适应均值池化单元，其中，第一输入的特征图为第五层的卷积编码器模块的输出，第二输入的特征图为第五层的卷积编码器模块的输出依次经过标准残差模块601和标准残差模块602后的输出，第一输入的特征图和第二输入通过第一加法器6031相加(即特征融合)后输出至第二自适应均值池化单元，第一自适应均值池化单元、第二自适应均值池化单元和第三自适应均值池化单元分别输出通道数×长×宽为C×2×2、C×1×1和C×2×2的特征图，第一自适应均值池化单元输出的C×2×2的特征图输入第一1×1卷积和修正线性单元进行卷积操作和使用线性整流函数操作后输出至第一乘法器6034，第二自适应均值池化单元输出的C×1×1的特征图输出至第一乘法器6034，第一乘法器6034的输出(即特征矩阵相乘后的特征矩阵)提供给第二加法器6032，第三自适应均值池化单元输出的C×2×2的特征图输入第二加法器6032，第二加法器6032的输出(即特征矩阵对应元素相加)依次通过第二1×1卷积和修正线性单元、平均池化单元后输出C×1×1的特征图，并输入第二乘法器6035，第一输入的特征图输入第三1×1卷积和修正线性单元进行卷积操作和使用线性整流函数操作后输出至第三乘法器6036，第三乘法器6036的输出输入至第三加法器6033，第二输入的特征图分别输入至第三加法器6033和第三乘法器6036，第三加法器6033的输出经过1×1卷积批归一化和修正线性单元进行卷积操作、批归一化操作和使用线性整流函数操作后输出至第三乘法器6036，第三乘法器6036的输出作为所述注意力模型层数加深模块的输出。其中线性整流函数是一种人工神经网络中常用的激活函数(activation function)，通常指代以斜坡函数及其变种为代表的非线性函数。

该注意力模块603中的自适应均值池化操作可以大大降低网络模型的参数量，使网络轻量化。分别获取高维特征和低维特征对应的注意力模型权重，从而保证在经过标准残差模块601和标准残差模块602后能够保留足够的特征信息，从而能有效地提取高维特征信息。本发明结合标准残差模块与注意力模块，充分发挥了两者的有效性。从而保证能够同时有效地提取不同层级下的详细特征。

在一实施例中，第七层至第十层的注意力卷积解码器模块，用于将输入特征张量的空间尺度分别恢复到原来一倍。与编码器类似，在每个注意力卷积解码器模块内部，特征张量的维度保持一致，但通道数则减半，由卷积层703、卷积层803、卷积层903和卷积层1003将通道数减半。卷积输出层1004为与输出特征分量相关的卷积输出层，卷积输出层包括常用的卷积1x1和激活函数。卷积输出层为U型编码解码器神经网络的输出，输出激活值在范围[0,1]内的代表像素属于正类的概率置信度图，在本实施例中，激活函数选用了针对像素级别的二分类问题的Sigmoid函数。

将待分割的裂缝图像经训练好的U型编解码器神经网络进行处理后，输出与输入图像尺度大小一致的概率置信度图。概率置信度图上像素点的概率值代表该像素点属于裂缝像素点的置信度大小，最终的概率置信度图均为通过阈值处理后得到。

在本实施例中，利用步骤1中的训练集进行训练，利用测试集进行测试评估，为避免数据结果的随机性和提高模型对裂缝的分割精度，我们采用了测试时增强(TestTimeArgumentation，TTA)的方法，具体的，将测试集进行区域裁剪、缩放、水平翻转、垂直翻转等，扩增为不同版本，然后将这些不同版本图像输入到模型中进行测试，最后对这些版本的图像进行计算得到平均输出，作为图像的最终测试值。其中，其中测试值一般指召回率(Recall Rate)、准确率(Precision Rate)和F1-score(F1＝2*P*R/(P+R)，P为准确率，R为召回率)三个参数值，测试时运算次数一般取10次。通过损失函数判断模型是否训练好的标准，损失函数取最小值，且训练迭代时会趋于平衡(也就是收敛)，经过训练和测试的U型编码解码器神经网络为训练好的U型编码解码器神经网络。

S103、使用第二道路裂缝数据集验证所述训练好的U型编码解码器神经网络，得到验证通过后的最终U型编码解码器神经网络；

公开道路裂缝数据集有CFD、AigleRN、CrackTree260、CRKWH100、CrackLS315、Stone331等数据集。在一实施例中，采用CFD和AigleRN数据集，其中CFD有118张RGB图，AigleRN有38张图像。在该步骤中，同样用到了步骤S102所述的TTA操作，以提高对裂缝图像的分割效果，将扩增后的数据集作为第二道路裂缝数据集，第二道路裂缝数据集用于验证已构建神经网络模型的鲁棒性和泛化能力。当验证结果的准确性大于阈值时，表示验证通过，将验证通过的U型编码解码器神经网络作为最终U型编码解码器神经网络。

S104、将最终U型编码解码器神经网络嵌入到移动设备，进行道路裂缝的实际检测。

为了验证算法在实际道路裂缝检测中的性能，将构建好的神经网络模型嵌入到移动设备中，该移动设备可以是移动机器人。利用移动机器人平台在室外道路进行测试。为得到实际测试效果，我们利用移动机器人平台进行实地裂缝检测，得到裂缝检测视频和地面视频(裂缝检测视频包含有裂缝检测图，地面视频包含有地面原始裂缝)，再从地面视频中抽取部分裂缝原图，裁剪出来后进行人工标注；对抽取出的裂缝原图，分别采用本发明的U型编码解码器神经网络进行检测，利用传统的U-Net进行分割识别，最后与对应的裂缝检测视频中的裂缝检测图进行对比，得到的对比结果，如图4(a)-4(d)所示，图4(a)为3个不同的裂缝图像，图4(b)是3个裂缝图像的实际裂缝检测图；图4(c)是利用传统的U-Net对3个裂缝图像分别进行分割识别的检测图；图4(d)是利用本发明U型编码解码器神经网络对3个裂缝图像分别进行检测得到的检测图；可以看出，与原始U-Net网络相比，在同样训练条件下(网络训练迭代次数、训练集等)，基于注意力机制U-Net网络对道路裂缝的图像分割效果有所提升，从图4(a)-4(d)中可以看出，对于复杂的裂缝，相比原始U-Net网络，采用本发明的U型编码解码器神经网络进行检测得到的检测图更接近真实的裂缝。

在一实施例中，本发明实施例还提供了一种基于U型编码解码器神经网络的道路裂缝检测系统，包括移动设备和安装在移动设备上的摄像装置，所述摄像装置，用于采集道路裂缝视频和道路裂缝图像，如图5所示，移动设备为机器人1101；摄像装置为摄像头1102，所述移动设备包括用于存储、处理摄像装置采集的视频和图像的工控机，所述工控机嵌入了最终U型编码解码器神经网络，用于检测摄像装置采集到的裂缝图像；该移动小车还包括无线通信模块，通过无线通信方式与远端智能设备如平板、智能手机等联接，将检测图像传送至远端智能设备，便于检测人员进行观察和分析。

其中最终U型编码解码器神经网络由以下方式获得：

获取初始道路裂缝数据集，对初始道路裂缝数据集扩展处理，得到第一道路裂缝数据集；

构建U型编码解码器神经网络，使用第一道路裂缝数据集训练所述U型编码解码器神经网络，得到训练好的U型编码解码器神经网络，U型编码解码器神经网络包括编码器部分和解码器部分，所述编码器部分包括第一层的初始卷积模块，第二层至第五层的4组卷积编码器模块，所述解码器部分包括第六层的1组注意力模型层数加深模块、第七层至第十层的4组注意力卷积解码器模块；

使用第二道路裂缝数据集验证所述训练好的U型编码解码器神经网络，得到验证后的U型编码解码器神经网络。

本发明设计了一种U型编解码器神经网络，在U-Net网络的编解码器神经网络基础上加入注意力机制，用于道路裂缝的检测。使用二元自适应均值池化层能有效的提取出目标的高维信息。与原始U-Net网络相比，在同样训练条件下(网络训练迭代次数、训练集等)，基于注意力机制U-Net网络对道路裂缝的图像分割效果有所提升。

在编码部分与解码部分之间，我们采用了1组注意力模型层数加深模块。利用标准残差模块着重地在高维区域提取裂缝信息，并结合注意力模块，从而能有效地提取高维特征信息。

该模型结合标准残差模块与注意力模块，充分发挥了两者的有效性。从而保证能够同时有效地提取不同层级下的详细特征。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (7)

1.一种基于U型编码解码器神经网络的道路裂缝检测方法，其特征在于，包括：

获取初始道路裂缝数据集，对初始道路裂缝数据集扩展处理，得到第一道路裂缝数据集；

构建U型编码解码器神经网络，使用第一道路裂缝数据集训练所述U型编码解码器神经网络，得到训练好的U型编码解码器神经网络，所述U型编码解码器神经网络包括编码器部分和解码器部分，所述编码器部分包括第一层的初始卷积模块，第二层至第五层的4组卷积编码器模块，所述解码器部分包括第六层的1组注意力模型层数加深模块、第七层至第十层的4组注意力卷积解码器模块；

使用第二道路裂缝数据集验证所述训练好的U型编码解码器神经网络，得到验证通过后的最终U型编码解码器神经网络；

将最终U型编码解码器神经网络嵌入到移动设备，进行道路裂缝的实际检测。

2.根据权利要求1所述的基于U型编码解码器神经网络的道路裂缝检测方法，其特征在于，所述构建道路裂缝数据集，对道路裂缝数据集扩展处理，得到第一道路缝数据集包括：

获取道路裂变图像并进行人工标记，组成初始道路裂缝数据集；

将所述初始道路裂缝数据集中的道路裂变图像在[0,360)内按照45°递增的7个不同角度分别进行旋转并在上述7个不同角度旋转后分别进行水平翻转，并分别加以随机高斯噪声处理得到的图像和初始道路裂缝数据集作为第一道路裂缝数据集。

3.根据权利要求1所述的基于U型编码解码器神经网络的道路裂缝检测方法，其特征在于，初始卷积模块由输入层和2组卷积层组成，输入层用于输入第一道路裂缝数据集，在2组卷积层中，卷积核大小均设置为3×3，步长均为1，根据卷积核大小和步长，在边缘补1个像素,其灰度值为0。

4.根据权利要求3所述的基于U型编码解码器神经网络的道路裂缝检测方法，其特征在于，第二层至第四层的4组卷积编码器模块中，每一个卷积编码模块包含一个下采样层和2组卷积层，卷积编码器模块中的卷积层和初始卷积模块中的卷积层的结构相同。

5.根据权利要求1所述的基于U型编码解码器神经网络的道路裂缝检测方法，其特征在于，所述注意力模型层数加深模块包括两个标准残差模块与一个注意力模块，所述注意力模块包括第一自适应均值池化单元、第二自适应均值池化单元、第三自适应均值池化单元、第一1×1卷积和修正线性单元、第二1×1卷积和修正线性单元、第三1×1卷积和修正线性单元、1×1卷积批归一化和修正线性单元、平均池化单元、第一乘法器、第二乘法器、第三乘法器、第一加法器、第二加法器、第三加法器和输出端；

第一输入的特征图输入至第一自适应均值池化单元，第二输入的特征图输入至第三自适应均值池化单元，其中，第一输入的特征图为第五层的卷积编码器模块的输出，第二输入的特征图为第五层的卷积编码器模块的输出经过两个标准残差模块后的输出，第一输入的特征图和第二输入的特征图通过第一加法器相加后输出至第二自适应均值池化单元，第一自适应均值池化单元、第二自适应均值池化单元和第三自适应均值池化单元分别输出通道数×长×宽为C×2×2、C×1×1和C×2×2的特征图，第一自适应均值池化单元输出的C×2×2的特征图输入第一1×1卷积和修正线性单元进行卷积操作和使用线性整流函数操作后输出至第一乘法器，第二自适应均值池化单元输出的C×1×1的特征图输出至第一乘法器，第一乘法器的输出提供给第二加法器，第三自适应均值池化单元输出的C×2×2的特征图输入第二加法器，第二加法器的输出依次通过第二1×1卷积和修正线性单元、平均池化单元后输出C×1×1的特征图，并输入第二乘法器，第一输入的特征图输入至第三1×1卷积和修正线性单元进行卷积操作和使用线性整流函数操作后输出至第三乘法器，第三乘法器的输出输入至第三加法器，第二输入的特征图分别输入至第三加法器和第三乘法器，第三加法器的输出经过1×1卷积批归一化和修正线性单元进行卷积操作、批归一化操作和使用线性整流函数操作后输出至第三乘法器，第三乘法器的输出作为所述注意力模型层数加深模块的输出，其中C为整数。

6.根据权利要求5所述的基于U型编码解码器神经网络的道路裂缝检测方法，其特征在于，4组注意力卷积解码器模块均包括上采样层、一个注意力模块和1组卷积层，最后1组注意力卷积解码器模块还包括1层与输出特征分量相关的卷积输出层，设置于所述最后1组注意力卷积解码器模块的卷积层之后，注意力卷积解码器模块中的注意力模块与第六层的注意力模型层数加深模块中的注意力模块的结构相同。

7.一种基于U型编码解码器神经网络的道路裂缝检测系统，其特征在于，包括移动设备和安装在移动设备上的摄像装置，所述摄像装置，用于采集道路裂缝视频和道路裂缝图像，所述移动设备包括用于存储及处理摄像装置采集的视频和图像的工控机，所述工控机嵌入了最终U型编码解码器神经网络，用于检测摄像装置采集到的裂缝图像；

所述最终U型编码解码器神经网络的获取包括：

获取初始道路裂缝数据集，对初始道路裂缝数据集扩展处理，得到第一道路裂缝数据集；

构建U型编码解码器神经网络，使用第一道路裂缝数据集训练所述U型编码解码器神经网络，得到训练好的U型编码解码器神经网络，U型编码解码器神经网络包括编码器部分和解码器部分，所述编码器部分包括第一层的初始卷积模块，第二层至第五层的4组卷积编码器模块，所述解码器部分包括第六层的1组注意力模型层数加深模块、第七层至第十层的4组注意力卷积解码器模块；

使用第二道路裂缝数据集验证所述训练好的U型编码解码器神经网络，得到验证通过后的最终U型编码解码器神经网络。

Images