CN111127468A - 一种道路裂缝检测方法和装置 - Google Patents

Abstract

本发明公开了一种道路裂缝检测方法和装置，所述方法包括：利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；将得到的各标注有裂缝区域的特征图像通过图像融合网络的预设卷积运算融合，得到用以检测裂缝区域的目标图像。应用本发明能够对道路裂缝有较佳的检测效果、较小的检测误差，且神经网络训练过程简单。

Description

一种道路裂缝检测方法和装置

技术领域

本发明涉及图像处理技术领域，特别是指一种道路裂缝检测方法和装置。

背景技术

道路作为国家经济发展的重要基础设施，对国家发展和现代化建设发挥着不可替代的作用。裂缝作为道路最常见、最广泛的病害之一，及时检测道路裂缝对于安全驾驶、交通运输和安全出行等具有重要意义。依靠人工走查道路进行裂缝检测，不仅耗费高、效率低，还会影响城市交通及人们的正常通行，存在巨大安全隐患。

随着图像处理技术的发展，对于道路裂缝的检测主要利用道路裂缝和背景之间像素的差别获取道路裂缝。传统的道路裂缝检测方法，通常采用专业的检测设备，例如：探地雷达、三维激光传感器等，或者采用传统的图像处理的方式进行裂缝检测。这些方法或技术存在很大的弊端，前者专业检测设备不仅价格高昂，而且实际部署操作繁琐；后者易受路边背景的纹理和光照等影响，导致实际检测复杂路面场景的效果不佳。

近年来，深度学习技术在图像处理领域取得很大进展，深度学习技术也被广泛应用于道路裂缝检测；目前一种基于深度学习技术的道路裂缝检测方案中，采用两个结构相同的神经网络分别对普通路面病害和复杂路面病害进行检测；然而，该方法训练过程繁琐复杂，需要进行两次学习过程；且采用矩形框形式对道路裂缝区域进行检测，使得该方法对于形状不规则的道路裂缝区域会产生较大误差。

因此，有必要提供一种检测效果较佳、检测误差较小，且神经网络训练过程简单的道路裂缝检测方法。

发明内容

有鉴于此，本发明的目的在于提出一种道路裂缝检测方法和装置，能够对道路裂缝有较佳的检测效果、较小的检测误差，且神经网络训练过程简单。

基于上述目的，本发明提供一种道路裂缝检测方法，包括：

利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；

对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；

将得到的各标注有裂缝区域的特征图像通过图像融合网络的预设卷积运算融合，得到用以检测裂缝区域的目标图像；

其中，由所述特征提取网络、裂缝检测网络以及图像融合网络构成的道路裂缝检测模型是预先通过带有裂缝的道路样本图像以及所述道路样本图像的标注有裂缝区域的掩码图像训练得到的。

较佳地，所述特征提取网络包括n层卷积层；以及

所述利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像，具体包括：

将所述待检测的道路图像输入到所述特征提取网络，每经过所述特征提取网络的一层卷积层得到一个特定尺寸的特征图像。

较佳地，所述裂缝检测网络为n个，所述特征提取网络中的每层卷积层分别连接一个裂缝检测网络，以及所述裂缝检测网络中包括：特征融合卷积模块、注意力模块、一个卷积层、上采样模块；以及

所述对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样，具体包括：

所述特征提取网络的第i层卷积层连接的第i个裂缝检测网络，将第i层卷积层输出的特定尺寸的特征图像，以及第i+1个裂缝检测网络的注意力模块输出的第i+1个注意力增强的特征图像，通过所述特征融合卷积模块进行渐进式特征融合后再进行预设卷积运算，得到第i个中间过程的特征图像；

第i个中间过程的特征图像通过第i个裂缝检测网络中的注意力模块进行注意力增强，得到第i个注意力增强的特征图像；

第i个注意力增强的特征图像依次通过第i个裂缝检测网络中的卷积层、上采样模块，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；

其中，i为1~n-1的自然数。

较佳地，所述将第i层卷积层输出的特定尺寸的特征图像，以及第i+1个裂缝检测网络的注意力模块输出的第i+1个注意力增强的特征图像，通过所述特征融合卷积模块进行渐进式特征融合，具体包括：

所述特征融合卷积模块对第i+1个注意力增强的特征图像进行上采样操作，得到与所述第i层卷积层输出的特征图像尺寸一致的特征图像；

进而将得到的特征图像与第i层卷积层输出的特定尺寸的特征图像进行特征融合。

其中，所述道路裂缝检测模型是根据如下方法预先训练得到的：

将训练样本的原始道路样本图像输入到道路裂缝检测模型中；

根据所述裂缝检测网络输出的标注有裂缝区域的特征图像和对应于所述原始道路样本图像的掩码图像之间的差异，调整所述道路裂缝检测模型的参数。

本发明还提供一种道路裂缝检测装置，包括：

特征提取网络，用于将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；

多个裂缝检测网络，分别对应各尺寸的特征图像；其中，所述裂缝检测网络嵌入了注意力模块，用于将输入的对应尺寸的特征图像进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；

图像融合网络，用于将各标注有裂缝区域的特征图像进行预设卷积运算融合，得到用以检测裂缝区域的目标图像；

其中，由所述特征提取网络、裂缝检测网络以及图像融合网络构成的道路裂缝检测模型是预先通过带有裂缝的道路样本图像以及所述道路样本图像的标注有裂缝区域的掩码图像训练得到的。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上所述的道路裂缝检测方法。

本发明的技术方案中，利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；进而对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；之后，将得到的各标注有裂缝区域的特征图像通过图像融合网络的预设卷积运算融合，得到用以检测裂缝区域的目标图像；由于使用深层卷积神经网络，通过渐进式地特征融合和嵌入注意力机制对道路图像中的像素点逐个分析，极大提升了复杂道路场景中裂缝区域检测的准确性和鲁棒性，从而能够对道路裂缝有较佳的检测效果、较小的检测误差；且相比于现有方法的、需要进行两次学习过程的神经网络训练过程，本发明的方案仅通过一次学习过程训练神经网络，从而具有训练过程简单的优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种道路裂缝检测方法流程图；

图2为本发明实施例提供的一种道路裂缝检测模型处理道路图像的示意图；

图3为本发明实施例提供的一种裂缝检测网络处理特征图像的方法流程图；

图4为本发明实施例提供的一种特征融合示意图；

图5为本发明实施例提供的一种对特征图像进行注意力增强的示意图；

图6为本发明实施例提供的一种道路裂缝检测模型的训练方法流程图；

图7a、7b分别为本发明实施例提供的一种训练样本中原始道路样本图像、对应的掩码图像的示意图；

图8a为本发明实施例提供的输入到道路裂缝检测模型的待检测的道路图像示意图；

图8b为本发明实施例提供的道路裂缝检测模型输出的目标图像的示意图；

图9a为现有技术的裂缝区域检测结果示意图；

图9b为本发明实施例提供的道路裂缝检测方法得到的裂缝区域检测结果示意图；

图10为本发明实施例提供的一种道路裂缝检测装置的内部结构框图；

图11为本发明实施例提供的一种电子设备硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明的技术方案中，使用深层卷积神经网络，通过渐进式地特征融合和嵌入注意力机制对道路图像中的像素点逐个分析，极大提升了复杂道路场景中裂缝区域检测的准确性和鲁棒性，从而能够对道路裂缝有较佳的检测效果、较小的检测误差；且相比于现有方法的、需要进行两次学习过程的神经网络训练过程，本发明的方案仅通过一次学习过程训练神经网络，从而具有训练过程简单的优点。

下面结合附图详细说明本发明实施例的技术方案。

本发明提供的一种道路裂缝检测方法，具体流程如图1所示，包括如下步骤：

步骤S101：利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像。

本步骤中，利用道路裂缝检测模型中的特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像。其中，道路裂缝检测模型如图2所示，包括：特征提取网络、多个裂缝检测网络以及一个图像融合网络。

其中，特征提取网络可以为VGG16等卷积神经网络。可以理解的是，特征提取网络通过连续的局部卷积操作不断扩大感受野，提取到输入图像的高层特征信息。具体地，特征提取网络包括多层卷积层，例如，包括n层卷积层；每层卷积层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为（3×3），步长为（2×2）的卷积层对输入的图像根据预设的参数进行卷积运算。本步骤中，将所述待检测的道路图像输入到所述特征提取网络依次经过各层卷积层；每经过所述特征提取网络的一层卷积层得到一个特定尺寸的特征图像。

具体地，如图2所示，可以将待检测的道路图像输入到所述特征提取网络的第1层卷积层进行卷积运算得到该卷积层输出的特征图像；之后，当前的卷积层对前一层的卷积层输出的特征图像进行卷积运算，得到当前的卷积层输出的特征图像；当前的卷积层输出的特征图像的大小为前一卷积层输出特征图像的一半；从而提取出相比于前一层的卷积层输出的特征图像更高级的图像特征；例如，第i+1层的卷积层对第i层的卷积层输出的特征图像进行卷积运算，得到第i+1层输出的特征图像，第i+1层输出的特征图像的大小为第i层的卷积层输出特征图像的一半。其中，i为1~n-1的自然数，n为特征提取网络中卷积层的层数。特征提取网络中不同的卷积层输出的特征图像大小不同，最后一层卷积层输出的特征图像尺寸最小，包含了输入到特征提取网络的图像的高级特征。如图2所示，特征提取网络中的F1-F5分别对应不同尺寸的特征图像。

步骤S102：对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像。

具体地，如图2所示，道路裂缝检测模型中的裂缝检测网络可以是n个，分别对应特征提取网络的n层卷积层，即所述特征提取网络中的每层卷积层分别连接一个裂缝检测网络；所述裂缝检测网络中具体可以包括：特征融合卷积模块、注意力模块、一个卷积层和上采样模块。

本步骤中，所述裂缝检测网络对输入的特征图像的处理过程，如图3所示，具体包括如下子步骤：

子步骤S301：第i个裂缝检测网络对特征提取网络的第i层卷积层输出的特定尺寸的特征图像进行处理，得到第i个中间过程的特征图像。

具体地，对于

的情况，第i个裂缝检测网络将特征提取网络的第i层卷积层 输出的特定尺寸的特征图像，以及第i+1个裂缝检测网络的注意力模块输出的第i+1个注意 力增强的特征图像，通过所述特征融合卷积模块进行渐进式特征融合后再进行预设卷积运 算，得到第i个中间过程的特征图像。

也就是说，对于与特征提取网络的第i层卷积层连接的第i个裂缝检测网络，该裂缝检测网络中的特征融合卷积模块将输入的第i层卷积层输出的特定尺寸的特征图像，以及第i+1个裂缝检测网络的注意力模块输出的第i+1个注意力增强的特征图像，进行渐进式特征融合后再进行预设卷积运算，得到第i个中间过程的特征图像；

由于考虑到高层特征图像和输入的特征图像尺寸不同，因此，在特征融合卷积模块进行两者的融合操作之前需要对高层特征图像（第i+1个注意力增强的特征图像）进行上采样操作，将高层特征图像（第i+1个注意力增强的特征图像）恢复成和输入的特征图像（第i层卷积层输出的特定尺寸的特征图像）相同大小。

由此，如图4所示，第i个裂缝检测网络的特征融合卷积模块可以对第i+1个注意力增强的特征图像（高层的特征图像）先进行上采样操作，得到与所述第i层卷积层输出的特征图像尺寸一致的特征图像；进而将得到的特征图像与第i层卷积层输出的特定尺寸的特征图像（输入的特征图像）进行拼接操作，即特征融合，得到特征融合的特征图像；之后对融合得到的图像可以采用卷积核大小（3×3）、步长为（1×1）的卷积层进行预设卷积运算，得到第i个中间过程的特征图像。

也就是说，第i层卷积层输出的特定尺寸的特征图像和第i+1个裂缝检测网络的注意力模块输出的高层特征图像（第i+1个注意力增强的特征图像）通过特征融合卷积模块进行渐进式特征融合时在通道维度进行拼接操作；这种渐进式融合方式可以实现高层特征和低层特征逐步的融合，融合的特征既含有丰富的语义信息同时也保留有细节信息。

上述的上采样方法可以是利用上采样层采用双线性内插的方法实现。

对于i=n的情况，与特征提取网络的第n卷积层连接的第i（i=n）个裂缝检测网络，该裂缝检测网络中的特征融合卷积模块将输入的第n层卷积层输出的特定尺寸的特征图像进行预设卷积运算，得到第n个中间过程的特征图像。

子步骤S302：第i个裂缝检测网络中的注意力模块将第i个中间过程的特征图像进行注意力增强，得到第i个注意力增强的特征图像；其中，i为1~n的自然数。

具体地，如图5所示，第i个裂缝检测网络中的注意力模块对输入的中间过程特征图像，即第i个中间过程的特征图像，分别采用三个1×1大小的卷积运算，分别得到卷积运算后的特征图像E，F，G，对特征图像F中每个位置的特征向量与特征图像E中对应位置的相同行和相同列所组成的特征矩阵相乘后，执行预设的非线性运算操作，得到该位置在所处相同行和所处相同列中的注意力系数向量。其中，所述的非线性运算操作采用Softmax（归一化指数）函数。将该位置的注意力系数向量和特征图像G中对应位置的相同行和相同列所组成的特征矩阵执行相乘运算，得到该位置注意力特征向量；综合各位置的注意力特征向量得到注意力特征图像后，将注意力特征图像与第i个中间过程特征图像进行加法操作，最后经过RELU（修正线性单元）非线性操作得到第i个注意力增强的特征图像。

子步骤S303：第i个裂缝检测网络中的卷积层、上采样模块依次将第i个注意力增强的特征图像进行预设卷积运算、上采样操作后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像。

具体地，将第i个注意力增强的特征图像输入到第i个裂缝检测网络中的卷积层，对其进行预设卷积运算，得到标注有裂缝区域的特征图像；其中所述裂缝检测网络中的卷积层可以采用卷积核大小（1×1）的卷积层；进而，将标注有裂缝区域的特征图像输入到第i个裂缝检测网络中的上采样层，得到与所述待检测的道路图像尺寸相同的目标图像。所述上采样层采用双线性内插方法将特征图像恢复成与原始的待检测的道路图像相同的大小；其中，i为1~n的自然数。

步骤S103：将得到的各标注有裂缝区域的特征图像通过图像融合网络的预设卷积运算融合，得到用以检测裂缝区域的目标图像。

具体地，将各裂缝检测网络得到的各不同尺寸特征的、标注有裂缝区域的特征图像，通过道路裂缝检测模型的图像融合网络的预设卷积运算融合，得到最后通过Sigmoid非线性操作得到的标注有裂缝区域的目标图像；本步骤中的所述预设卷积运算可以采用卷积核大小（1×1）的卷积层。

上述的由所述特征提取网络、裂缝检测网络以及图像融合网络构成的道路裂缝检测模型是预先通过带有裂缝的道路样本图像以及所述道路样本图像的标注有裂缝区域的掩码图像训练得到的：将训练样本的原始道路样本图像输入到道路裂缝检测模型中；根据所述道路裂缝检测模型输出的标注有裂缝区域的目标图像和对应于所述原始道路样本图像的、标注有裂缝区域的掩码图像之间的差异，调整所述道路裂缝检测模型的参数。具体地，所述道路裂缝检测模型的训练方法流程，如图6所示，包括如下步骤：

步骤S601：初始化道路裂缝检测模型。

具体地，初始化道路裂缝检测模型中特征提取网络、裂缝检测网络以及图像融合网络的参数。

步骤S602：生成训练样本集。

具体地，获取带有裂缝的道路图像生成训练样本；训练样本由如图7a所示拍摄的带有裂缝的原始道路样本图像，和如图7b所示对应于原始道路样本图像的、标注裂缝区域的掩码图像构成；

所述道路样本图像可以在真实的道路场景中拍摄采集，为保证道路裂缝检测模型的鲁棒性和准确性，需要在不同道路场景中采集大量的图像样本。由于深度学习是一种监督学习，需要对于训练图像人工标注裂缝区域，得到标注有裂缝区域的掩码图像。

生成包括多个训练样本的训练样本集。

步骤S603：将训练样本集中的一个训练样本的原始道路样本图像输入到道路裂缝检测模型中特征提取网络中，得到不同尺寸的特征图像；

步骤S604：将不同尺寸的特征图像分别输入到道路裂缝检测模型中各裂缝检测网络；

具体地，对于特征提取网络输出的每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像。

道路裂缝检测模型中的一个裂缝检测网络对输入的特征图像的处理过程可以如上述图3所示流程的各步骤描述的方法，此处不再赘述。

步骤S605：将各裂缝检测网络输出的标注有裂缝区域的特征图像通过道路裂缝检测模型中的图像融合网络的卷积运算进行融合，得到道路裂缝检测模型输出的最终标注有裂缝区域的目标图像。

步骤S606：根据道路裂缝检测模型输出的标注有裂缝区域的目标图像和对应的掩码图像之间的差异，调整所述道路裂缝检测模型的特征提取网络、和裂缝检测网络的参数。

具体地，获取标注有裂缝区域的目标图像后，可以使用权重交叉熵和DiceLoss （Dice系数）作为损失函数，如公式一所示，衡量检测图像与掩码图像的差异

，调 整道路裂缝检测模型的参数，使得两者之间的差异尽可能小。

（公式一）

其中，

表示所述目标图像，

表示所述掩码图像，

分别表示所述目标图像中裂 缝像素点集合和非裂缝像素点集合；

表示平滑系数。

，

。

表示目标图像中像素点i属于裂缝像素点的概率值，范围在0~1之间。

表示掩码图像像素点i是否属于裂缝像素点，

的取值为0或1，

=0时，表示掩码图像第i 个像素点不属于裂缝像素点，

=1时，表示掩码图像第i个像素点属于裂缝像素点。

表示 目标图像和掩码图像中所有像素点所构成的集合。

步骤S607：判断迭代次数是否达到预设次数；若是，则终止训练，得到训练好的道路裂缝检测模型；否则，迭代次数加1后，跳转到步骤S603继续训练。

具体地，当迭代次数达到预设迭代次数时，说明道路裂缝检测模型已经有了较好的特征提取能力和裂缝检测能力；其中预设次数可以是5000、或10000等，可根据具体的场景设定。

图8a示出几个输入到训练好的道路裂缝检测模型的待检测的道路图像的示意图，图8b示出了训练好的道路裂缝检测模型输出的相对应的几个用以检测裂缝区域的目标图像；从目标图像中可以清晰地识别出裂缝。

图9a示出了现有技术的基于深度学习采用矩形框的形式对裂缝区域的检测；图9b则示出了采用本发明技术方案得到的用以检测裂缝区域的目标图像；从两者对比可以看出，本发明技术方案采用的像素级检测方法对于道路裂缝的定位更加具体和精确。

基于上述的道路裂缝检测方法，本发明实施例提供的一种道路裂缝检测装置，结构如图10所示，包括：特征提取网络901、多个裂缝检测网络902、图像融合网络903。

特征提取网络901用于将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；具体地，特征提取网络901中包括：n层卷积层911；输入到所述特征提取网络的待检测的道路图像，每经过一层卷积层得到一个特定尺寸的特征图像。

多个裂缝检测网络902分别对应各尺寸的特征图像；其中，所述裂缝检测网络嵌入了注意力模块，用于将输入的对应尺寸的特征图像进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；

具体地，裂缝检测网络为n个，特征提取网络中的每层卷积层分别连接一个裂缝检测网络，以及所述裂缝检测网络中包括依次连接的：特征融合卷积模块921、注意力模块922、一个卷积层923、上采样模块924；

对于

的情况，第i个裂缝检测网络的特征融合卷积模块921有两个输入，一个输 入为特征提取网络901的第i层卷积层911输出的特定尺寸的特征图像，另一个输入为第 i+ 1个裂缝检测网络的注意力模块922输出的第i+1个注意力增强的特征图像；也就是说，第 i +1个裂缝检测网络的注意力模块922的输出，作为第i个裂缝检测网络的特征融合卷积模块 921的一个输入。

具体地，对于

的情况，所述特征提取网络901的第i层卷积层911连接的第i 个裂缝检测网络，将第i层卷积层911输出的特定尺寸的特征图像，以及第i+1个裂缝检测网 络902的注意力模块922输出的第i+1个注意力增强的特征图像，通过所述特征融合卷积模 块921进行渐进式特征融合后再进行预设卷积运算，得到第i个中间过程的特征图像；

对于i=n的情况，与所述特征提取网络901的第n层卷积层911连接的第i个裂缝检测网络，该裂缝检测网络的特征融合卷积模块921仅有一个输入，为特征提取网络901第n层卷积层911输出的特定尺寸的特征图像；该裂缝检测网络的特征融合卷积模块921将输入的第n层卷积层输出的特定尺寸的特征图像进行预设卷积运算，得到第n个中间过程的特征图像；

也就是说，对于

的情况，第i个裂缝检测网络的特征融合卷积模块921的功能 为：第i个裂缝检测网络的特征融合卷积模块921有两个输入，一个输入为特征提取网络901 的第i层卷积层911输出的特定尺寸的特征图像，另一个输入为第 i+1个裂缝检测网络的注 意力模块922输出的第i+1个注意力增强的特征图像；也就是说，第 i+1个裂缝检测网络的 注意力模块922的输出与第i个裂缝检测网络的特征融合卷积模块921的一个输入相连。

对于i=n的情况，第i个裂缝检测网络的特征融合卷积模块921的功能为：与所述特征提取网络901的第n层卷积层911连接的第i个裂缝检测网络，该裂缝检测网络的特征融合卷积模块921仅有一个输入，为特征提取网络901第n层卷积层911输出的特定尺寸的特征图像；该裂缝检测网络的特征融合卷积模块921将输入的第n层卷积层输出的特定尺寸的特征图像进行预设卷积运算，得到第n个中间过程的特征图像。

第i（

）个中间过程的特征图像通过第i个裂缝检测网络902中的注意力模 块922进行注意力增强，得到第i个注意力增强的特征图像；

第i（

）个注意力增强的特征图像依次通过第i个裂缝检测网络902中的卷积层 923、上采样模块924，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像。

图像融合网络903用于将各裂缝检测网络902输出的标注有裂缝区域的特征图像进行预设卷积运算融合，得到最终的用以检测裂缝区域的目标图像。

其中，由所述特征提取网络901、裂缝检测网络902以及图像融合网络903构成的道路裂缝检测模型是预先通过带有裂缝的道路样本图像以及所述道路样本图像的标注有裂缝区域的掩码图像训练得到的。

进一步，本发明实施例提供的一种道路裂缝检测装置还可包括：模型训练模块（图中未标）。

模型训练模块用于通过带有裂缝的道路样本图像以及对应于所述道路样本图像的标注有裂缝区域的掩码图像对所述道路裂缝检测模型进行训练；

也就是说，模型训练模块将训练样本的原始道路样本图像输入到道路裂缝检测模型中；根据所述裂缝检测网络输出的标注有裂缝区域的特征图像和对应于所述原始道路样本图像的、标注有裂缝区域的掩码图像之间的差异，调整所述道路裂缝检测模型的参数。

模型训练模块训练道路裂缝检测模型的具体方法可参考上述图6所示流程中的各步骤中详述的方法，此处不再赘述。

上述道路裂缝检测装置中的各模块的功能具体实现方法可参考如图1所示流程中的各步骤中详述的方法，此处不再赘述。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

图11示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的道路裂缝检测方法。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本发明的技术方案中，利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；进而对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；之后，将得到的各标注有裂缝区域的特征图像通过图像融合网络的预设卷积运算融合，得到用以检测裂缝区域的目标图像；由于使用深层卷积神经网络，通过渐进式地特征融合和嵌入注意力机制对道路图像中的像素点逐个分析，极大提升了复杂道路场景中裂缝区域检测的准确性和鲁棒性，从而能够对道路裂缝有较佳的检测效果、较小的检测误差；且相比于现有方法的、需要进行两次学习过程的神经网络训练过程，本发明的方案仅通过一次学习过程训练神经网络，从而具有训练过程简单的优点。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种道路裂缝检测方法，其特征在于，包括：

利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；

对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；

将得到的各标注有裂缝区域的特征图像通过图像融合网络的预设卷积运算融合，得到用以检测裂缝区域的目标图像；

其中，由所述特征提取网络、裂缝检测网络以及图像融合网络构成的道路裂缝检测模型是预先通过带有裂缝的道路样本图像以及所述道路样本图像的标注有裂缝区域的掩码图像训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括n层卷积层；以及

所述利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像，具体包括：

将所述待检测的道路图像输入到所述特征提取网络，每经过所述特征提取网络的一层卷积层得到一个特定尺寸的特征图像。

3.根据权利要求2所述的方法，其特征在于，所述裂缝检测网络为n个，所述特征提取网络中的每层卷积层分别连接一个裂缝检测网络，以及所述裂缝检测网络中包括：特征融合卷积模块、注意力模块、一个卷积层和上采样模块；以及

所述对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样，具体包括：

所述特征提取网络的第i层卷积层连接的第i个裂缝检测网络，将第i层卷积层输出的特定尺寸的特征图像，以及第i+1个裂缝检测网络的注意力模块输出的第i+1个注意力增强的特征图像，通过所述特征融合卷积模块进行渐进式特征融合后再进行预设卷积运算，得到第i个中间过程的特征图像；

第i个中间过程的特征图像通过第i个裂缝检测网络中的注意力模块进行注意力增强，得到第i个注意力增强的特征图像；

第i个注意力增强的特征图像依次通过第i个裂缝检测网络中的卷积层、上采样模块，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；

其中，i为1~n-1的自然数。

4.根据权利要求3所述的方法，其特征在于，所述将第i层卷积层输出的特定尺寸的特征图像，以及第i+1个裂缝检测网络的注意力模块输出的第i+1个注意力增强的特征图像，通过所述特征融合卷积模块进行渐进式特征融合，具体包括：

所述特征融合卷积模块对第i+1个注意力增强的特征图像进行上采样操作，得到与所述第i层卷积层输出的特征图像尺寸一致的特征图像；

进而将得到的特征图像与第i层卷积层输出的特定尺寸的特征图像进行特征融合。

5.根据权利要求1所述的方法，其特征在于，所述道路裂缝检测模型是根据如下方法预先训练得到的：

将训练样本的原始道路样本图像输入到道路裂缝检测模型中；

根据所述道路裂缝检测模型输出的标注有裂缝区域的目标图像和对应于所述原始道路样本图像的掩码图像之间的差异，调整所述道路裂缝检测模型的参数。

6.一种道路裂缝检测装置，其特征在于，包括：

特征提取网络，用于将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；

多个裂缝检测网络，分别对应各尺寸的特征图像；其中，所述裂缝检测网络嵌入了注意力模块，用于将输入的对应尺寸的特征图像进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；

图像融合网络，用于将各标注有裂缝区域的特征图像进行预设卷积运算融合，得到用以检测裂缝区域的目标图像；

其中，由所述特征提取网络、裂缝检测网络以及图像融合网络构成的道路裂缝检测模型是预先通过带有裂缝的道路样本图像以及所述道路样本图像的标注有裂缝区域的掩码图像训练得到的。

7.根据权利要求6所述的装置，其特征在于，所述特征提取网络具体包括：n层卷积层；以及

输入到所述特征提取网络的待检测的道路图像，每经过一层卷积层得到一个特定尺寸的特征图像。

8.根据权利要求7所述的装置，其特征在于，所述裂缝检测网络为n个；每个裂缝检测网络具体包括：特征融合卷积模块、注意力模块、一个卷积层和上采样模块；以及

所述特征提取网络的第i层卷积层连接的第i个裂缝检测网络，将第i层卷积层输出的特定尺寸的特征图像，以及第i+1个裂缝检测网络的注意力模块输出的第i+1个注意力增强的特征图像，通过所述特征融合卷积模块进行渐进式特征融合后再进行预设卷积运算，得到第i个中间过程的特征图像；

第i个中间过程的特征图像通过第i个裂缝检测网络中的注意力模块进行注意力增强，得到第i个注意力增强的特征图像；

第i个注意力增强的特征图像依次通过第i个裂缝检测网络中的卷积层、上采样模块，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像；

其中，i为1~n-1的自然数。

9.根据权利要求6所述的装置，其特征在于，还包括：

模型训练模块，用于通过带有裂缝的道路样本图像以及对应于所述道路样本图像的标注有裂缝区域的掩码图像对所述道路裂缝检测模型进行训练。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一所述的方法。

Images