CN115880557A - 基于深度学习的路面裂缝提取方法和装置 - Google Patents

Abstract

本发明涉及计算机技术领域，尤其涉及一种基于深度学习的路面裂缝提取方法和装置。该方法包括：获取待提取的路面图像；将待提取的路面图像输入到训练好的裂缝提取模型中，得到待提取的路面图像的路面裂缝提取结果，裂缝提取模型是利用标签路面图像对预设的深度学习网络进行训练得到的，深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，编码网络加强路面图像的上下文特征，一级特征融合网络将由编码网络输出的特征中不同感受野的特征进行特征融合，解码网络将编码网络和一级特征融合网络输出的特征进行特征融合，二级特征融合网络将解码网络和一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。

Description

基于深度学习的路面裂缝提取方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于深度学习的路面裂缝提取方法和装置。

背景技术

公路作为国民基础设施的重要组成部分，已然成为现代社会发展的命脉。受交通载荷、施工缺陷、环境气候条件等不利因素影响，公路频繁出现以裂缝为主的表面病害，严重地影响行驶质量和行车安全。传统的路面裂缝的巡检是由养护人员沿着道路获取路面裂缝信息，不仅效率低而且成本高。

随着计算机技术、机器学习技术等发展，深度学习凭借其优异的裂缝病害特征提取能力，广泛运用于公路病害智能巡检领域。然而，相关提取模型在提取路面裂缝的特征信息时存在裂缝提取性能和识别精度不佳的技术问题。

基于此，本发明提出了一种基于深度学习的路面裂缝提取方法和装置来解决上述技术问题。

发明内容

本发明描述了一种基于深度学习的路面裂缝提取方法和装置，能够有效提高裂缝提取性能和识别精度。

根据第一方面，本发明提供了一种基于深度学习的路面裂缝提取方法，包括：

获取待提取的路面图像；

将所述待提取的路面图像输入到训练好的裂缝提取模型中，得到所述待提取的路面图像的路面裂缝提取结果；其中，所述裂缝提取模型是利用标签路面图像对预设的深度学习网络进行训练得到的，所述深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，所述编码网络用于加强路面图像的上下文特征，所述一级特征融合网络用于将由所述编码网络输出的特征中不同感受野的特征进行特征融合，所述解码网络用于将所述编码网络和所述一级特征融合网络输出的特征进行特征融合，所述二级特征融合网络用于将所述解码网络和所述一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。

根据第二方面，本发明提供了一种基于深度学习的路面裂缝提取装置，包括：

获取单元，被配置为获取待提取的路面图像；

提取单元，被配置为将所述待提取的路面图像输入到训练好的裂缝提取模型中，得到所述待提取的路面图像的路面裂缝提取结果；其中，所述裂缝提取模型是利用标签路面图像对预设的深度学习网络进行训练得到的，所述深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，所述编码网络用于加强路面图像的上下文特征，所述一级特征融合网络用于将由所述编码网络输出的特征中不同感受野的特征进行特征融合，所述解码网络用于将所述编码网络和所述一级特征融合网络输出的特征进行特征融合，所述二级特征融合网络用于将所述解码网络和所述一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。

根据第三方面，本发明提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现第一方面的方法。

根据第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

根据本发明提供的基于深度学习的路面裂缝提取方法和装置，通过对深度学习网络进行改进，即深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，编码网络用于加强路面图像的上下文特征，一级特征融合网络用于将由编码网络输出的特征中不同感受野的特征进行特征融合，解码网络用于将编码网络和一级特征融合网络输出的特征进行特征融合，二级特征融合网络用于将解码网络和一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。如此，上述深度学习网络既增强了裂缝特征提取能力，同时捕获狭长裂缝的全局语义信息和局部空间信息，又获得了不同尺度的感受野，充分聚合裂缝特征的上下文特征，从而可以输出完整准确的路面裂缝提取结果，进而能够有效提高裂缝提取性能和识别精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一个实施例的基于深度学习的路面裂缝提取方法的流程示意图；

图2示出了根据一个实施例的基于深度学习的路面裂缝提取装置的示意性框图；

图3示出了根据一个实施例的深度学习网络的模型结构示意图；

图4示出了根据一个实施例的残差块的结构示意图；

图5示出了根据一个实施例的第二融合模块的结构示意图；

图6示出了根据一个实施例的第三融合模块的结构示意图；

图7示出了根据一个实施例的不同模型在DeepCrack数据集上的定性比较结果；

图8示出了根据一个实施例的不同模型在CrackTree260数据集上的定性比较结果；

图9示出了根据一个实施例的不同模型在AerialTrackDetection数据集上的定性比较结果；

图10示出了根据一个实施例的不同特征融合方式在DeepCrack测试集上的评估结果。

具体实施方式

下面结合附图，对本发明提供的方案进行描述。

多年来，路面裂缝提取大多依赖于传统图像处理技术，例如：阈值分割、形态学处理、小波变换、人工特征设计和分类等。但这些传统技术存在诸多的缺点，致使基于传统图像处理技术的路面裂缝提取方法并没有在工程实践中得到有效的应用。例如，阈值分割以真实裂缝像素亮度低于周围背景亮度为前提，设置合适的阈值提取裂缝区域，但极易受路面背景信息等环境因素和专家知识的影响。为进一步提高裂缝提取精度，基于形态学的处理方式增强了裂缝图像质量，实现裂缝长度、宽度、纵横比、面积等几何要素的量化，但这种半自动的提取方法难以提取拓扑结构复杂的裂缝信息。小波变换将裂缝和噪音区域分别转换成高、低振幅的小波系数，利用频率信号差异提取裂缝信息，能很好地解决抑制噪声和处理图像边缘细节的矛盾，但对信号强度不均匀的裂缝提取效果较差。人工特征设计和分类技术将方向梯度直方图、局部二值模式作为裂缝特征描述子，结合支持向量机算法识别裂缝，增强了裂缝提取的性能，但该方法计算量大，鲁棒性很差。传统图像处理技术尽管能够识别部分裂缝信息，但在提取背景噪音较多、拓扑结构复杂、强度不均匀的裂缝时效果不佳，很难满足高精度、全自动的公路裂缝智能提取需求。

随着计算机技术、机器学习技术等发展，深度学习凭借其优异的裂缝病害特征提取能力，广泛运用于公路病害智能巡检领域。然而，相关提取模型（例如HED、RCF、U-Net、SegNet、DeepCrack等模型）虽然实现了路面裂缝信息端到端的自动提取，在一定程度上提升了裂缝提取的效率和性能，但这些深度学习模型依旧存在一定缺陷，模型的识别精度和提取性能仍然具有较大的提升空间。例如：HED和RCF模型较为简单的网络结构设计导致模型难以提取丰富语义信息，制约了复杂背景下裂缝特征信息的表达；U-Net和SegNet由于缺少对全局信息处理导致模型结果普遍存在较多遗漏提取的问题；DeepCrack模型虽然集成了HED和U-Net的优点，但其在全局信息感知和特征聚合方面依旧存在明显缺陷，模型在提取不同类型公路裂缝时表现出较差的泛化性能。总之，现阶段深度学习模型应用于裂缝提取工业实践中仍存在以下问题：（1）模型结果出现较多的遗漏提取。裂缝图像常表现为连续的长条状结构，传统卷积由于卷积核大小限制难以进行远距离特征信息的直接交互，提取的裂缝信息往往不完整；（2）模型提取复杂背景下狭小裂缝特征的能力差。提取狭小裂缝需加强浅层特征的利用，而浅层特征往往包含更多的噪音信息，模型很难在强化浅层特征表达和抑制噪音干扰之间取得平衡。

针对上述问题，发明人考虑对深度学习网络进行改进，即深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，编码网络用于加强路面图像的上下文特征，一级特征融合网络用于将由编码网络输出的特征中不同感受野的特征进行特征融合，解码网络用于将编码网络和一级特征融合网络输出的特征进行特征融合，二级特征融合网络用于将解码网络和一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。如此，上述深度学习网络既增强了裂缝特征提取能力，同时捕获狭长裂缝的全局语义信息和局部空间信息，又获得了不同尺度的感受野，充分聚合裂缝特征的上下文特征，从而可以输出完整准确的路面裂缝提取结果，进而能够有效提高裂缝提取性能和识别精度。与现有的路面裂缝提取方法相比，本发明提出的方法在裂缝提取任务中表现出较好的提取精度和性能。

下面描述以上构思的具体实现方式。

图1示出根据一个实施例的基于深度学习的路面裂缝提取方法的流程示意图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图1所示，该方法包括:

步骤101、获取待提取的路面图像；

步骤102、将待提取的路面图像输入到训练好的裂缝提取模型（可参见图3）中，得到待提取的路面图像的路面裂缝提取结果；其中，裂缝提取模型是利用标签路面图像对预设的深度学习网络进行训练得到的，深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，编码网络用于加强路面图像的上下文特征，一级特征融合网络用于将由编码网络输出的特征中不同感受野的特征进行特征融合，解码网络用于将编码网络和一级特征融合网络输出的特征进行特征融合，二级特征融合网络用于将解码网络和一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。

在本实施例中，通过对深度学习网络进行改进，即深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，编码网络用于加强路面图像的上下文特征，一级特征融合网络用于将由编码网络输出的特征中不同感受野的特征进行特征融合，解码网络用于将编码网络和一级特征融合网络输出的特征进行特征融合，二级特征融合网络用于将解码网络和一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。如此，上述深度学习网络既增强了裂缝特征提取能力，同时捕获狭长裂缝的全局语义信息和局部空间信息，又获得了不同尺度的感受野，充分聚合裂缝特征的上下文特征，从而可以输出完整准确的路面裂缝提取结果，进而能够有效提高裂缝提取性能和识别精度。

下面介绍本发明的裂缝提取模型的具体结构。

请参阅图3和图4，作为一种优选的实施方式，编码网络包括多阶段子编码网络，相邻子编码网络之间连接有最大池化模块，每个子编码网络均包括多个残差块，每个残差块用于加强路面图像的上下文特征。

在本实施方式中，编码网络包括多阶段子编码网络，相邻子编码网络之间连接有最大池化模块，每个子编码网络均包括多个残差块，如此可以加强网络全局、局部信息建模能力，有效地提高裂缝特征提取性能。

在图3中，本实施方式提供的编码网络包括四个阶段子编码网络，分别为第一阶段、第二阶段、第三阶段和第四阶段的子编码网络。

作为一种优选的实施方式，每个残差块均包括一个第一模块、一个第二模块和一个第一融合模块，第一模块包括依次连接的一个1×1的卷积核和一个softmax函数，第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；

第二模块包括依次连接的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，第二模块用于将由第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；

第一融合模块用于将第一模块输入的特征和第二模块输出的特征进行加运算，以加强路面图像的上下文特征。

在一些实施方式中，可以将U-Net中Vgg骨干网络替换为带有残差连接的ResNet34，ResNet34相比Vgg具有更深的网络层数，能获得更大范围的感受野和更丰富的上下文特征；同时，ResNet34网络结构中设置了残差连接和归一化层，如此可以降低模型在训练过程中因网络层数增加而出现网络退化的风险。

尽管如此，由于卷积运算本身的局限，ResNet34依旧无法实现对图像全局信息的处理，对模型效果提升有限。因此，为捕获裂缝信息的远距离依赖，强化裂缝特征的空间信息表达，本实施方式在每一个残差学习单元后嵌入如图4所示的残差块。该残差块包括一个第一模块、一个第二模块和一个第一融合模块，其中：（1）第一模块可以计算所有像素的注意力权值获得全局上下文特征；（2）第二模块可以利用全局上下文特征捕获通道间的依赖关系，自适应地重新校准通道方式的特征响应；（3）第一融合模块可以将全局特征信息聚合到每个位置的特征上，得到添加全局信息后的特征图像。由此可以看出，该残差块兼顾较强的全局建模能力和节省计算量的优点，而且在捕获特征信息长距离依赖关系的同时还能够更好地嵌入到特征提取网络的多个层次。

此外，为避免过多的下采样而导致裂缝空间信息丢失，本发明的编码网络移除了ResNet34 的初始卷积层和池化层，同时将ResNet34中卷积下采样替换为池化下采样，以进一步减少参数量并加快训练速度。

请参阅图3和图5，作为一种优选的实施方式，一级特征融合网络包括第二融合模块，第二融合模块与最后一个阶段的子编码网络之间连接有最大池化模块，第二融合模块包括多个不同尺寸的池化核、与每个池化核对应的卷积核以及一个上采样子模块，每个池化核用于对第二融合模块输入的特征进行池化，以得到不同范围的感受野，每个卷积核用于对与其对应的池化核输出的特征进行卷积，上采样子模块用于对所有卷积核输出的特征进行上采样。

在本实施方式中，第二融合模块能够聚合不同尺度的特征信息，提高网络模型的感受野，增强模型对尺度不一、形状各异裂缝的识别能力。

具体地，由于部分裂缝图像存在开裂强度不均、形状各异的问题，模型在识别这类图像时往往难度较大。为进一步提高模型聚合多尺度信息的能力，适应不同裂缝提取环境的需要，本实施方式考虑在编码网络和解码网络之间嵌入一级特征融合网络，其结构如图5所示。该一级特征融合网络的第二融合模块通过使用不同尺寸大小的池化核构建了具有不同尺度信息的特征（例如1×1、2×2、4×4、8×8），运用卷积运算实现了各尺度内部特征信息的跨通道传递，拼接不同层次的特征信息而得到聚合了多尺度裂缝特征的输出结果。因此，第二融合模块的加入增强了模型对尺度变化的裂缝特征的表达能力，提高了模型在复杂背景下裂缝提取的精度。

请继续参阅图3，作为一种优选的实施方式，解码网络包括多阶段子解码网络，子解码网络和子编码网络的数量相同；

第一个阶段的子解码网络分别与最后一个阶段的子编码网络和第二融合模块连接，以对最后一个阶段的子编码网络和第二融合模块输出的特征进行特征融合；其中，第二模块输出的特征包括第二融合模块输入的特征和上采样子模块输出的特征；

其余阶段的子解码网络分别与上一个阶段的子解码网络和当前阶段的子编码网络连接，以对上一个阶段的子解码网络和当前阶段的子编码网络输出的特征进行特征融合。

在本实施方式中，每个子解码网络在融合时可以利用双线性插值模块进行融合（以还原为输入图像尺寸），在此不进行赘述。通过使解码网络包括多阶段子解码网络，子解码网络和子编码网络的数量相同，这样可以实现对不同尺度和层次的特征进行有效融合，从而加强了对浅层特征的利用，即有利于提高模型提取复杂背景下狭小裂缝特征的能力。

请参阅图3和图6，作为一种优选的实施方式，二级特征融合网络包括一个第三融合模块和一个1×1的卷积核，第三融合模块包括依次连接的全局平均池化子模块、卷积核子模块和激活函数子模块，第三融合模块用于基于每个阶段的子解码网络输出的特征和第二融合模块输出的特征得到不同层特征对应的权重，以得到校正后的不同层的特征；其中，不同层的特征包括每个阶段的子解码网络输出的特征和第二融合模块输出的特征；

1×1的卷积核用于对校正后的不同层的特征进行卷积降维，以得到路面裂缝提取结果。

在本实施方式中，通过利用二级特征融合网络集成解码网络和一级特征融合网络中不同尺度的特征输出，从而可以融合得到不同尺度的特征信息，进而来得到完整准确的路面裂缝提取结果。

在相关技术中，特征融合一般直接将特征拼接后降维输出（即采用图10中的直接融合的方式），这缺乏对高低层特征信息重要度的衡量。然而，针对不同的数据集，高、低层特征对预测输出的贡献程度存在区别，直接进行特征拼接限制了模型性能提升。因此，本实施方式在二级特征融合网络中引入第三融合模块，该模块可以自适应地学习并赋予高低层特征一定的权重，动态融合多尺度裂缝特征。第三融合模块收集了二级特征融合网络集成解码网络和一级特征融合网络中不同尺度的特征输出，运用依次连接的全局平均池化子模块、卷积核子模块和激活函数子模块校正了不同层次特征的通道响应，经过1×1卷积降维得到最终的预测输出。

作为一种优选的实施方式，在利用标签路面图像对预设的深度学习网络进行训练时，采用如下目标损失函数更新深度学习网络的权重参数：

式中，L为目标损失函数，

为二进制交叉熵损失函数，/>

为形状感知损失函数；/>

为预测值，/>

为标签真实情况，道路像素为1，非道路像素为0，/>

；N是一个样本中像素个数的总数，/>

为其中一个像素；/>

为欧式距离函数，/>

和/>

分别为预测值和标签的曲线周围点，/>

表示平均欧式距离，/>

为交叉熵损失函数。

通常而言，可以单独使用二进制交叉熵（Binary Cross Entropy，BCE）损失函数进行权重参数的更新，即通过预测结果和道路标签之间的差异，计算损失大小，并通过反向传播的方式更新网络模型的权重参数。然而，BCE损失函数仅能实现像素级别的损失值计算一般情况下，对道路形状以及边界范围处理能力较弱。为了解决该技术问题，发明人考虑到形状感知（Shape-aware）损失函数可以计算平均点到曲线的欧式距离，即预测值到标签的曲线周围点之间的欧式距离，并将其用作交叉熵损失函数的系数，提高模型对形状边界的处理能力。因此，本发明结合BCE和Shape-aware两者损失函数的优点，通过加权的形式得到上述目标损失函数，以提高模型感知不同形状边界的道路区域的能力。

下面介绍本发明提供的基于深度学习的路面裂缝提取方法的实验过程。

1、实验细节

本发明提出的模型由Pytorch深度学习框架构建，在Ubuntu操作平台进行训练和验证实验，并采用NVIDIA RTX A5000加快模型的训练速度。训练过程中具体参数设置如下：优化器为Adam，初始学习率为

，动量为0.9，数据批量大小为4，训练周期数为100轮次，每5个轮次保存一次模型参数。

2、数据集

（1）DeepCrack：该数据集包含537张不同类型的混凝土表面裂缝图像，尺寸为544×384像素，部分图像含有较多噪声，如：水坑、斑点、污渍、阴影等。本发明按照6：2：2将数据集划分为训练集、验证集和测试集，对裂缝图像每间隔45°旋转一次以扩充样本量，后缩放至256×256像素传入模型训练。在模型训练过程中，采用了随机翻转、色域变换等数据增强方式。在测试期间，没有使用数据增强。

（2）CrackTree260：该数据集包含260张尺寸为800

600像素的路面裂缝图像。该数据集裂缝呈现狭长、细小的特性，且存在较多阴影，十分考验模型的裂缝提取性能和抗干扰能力。

（3）AerialTrackDetection：包括4118张震后无人机视角下的公路裂缝图像，尺寸为512

512像素。本发明使用该数据集进行训练和测试，在用以验证模型鲁棒性的同时，为实现无人机视角下的裂缝自动提取做有益探索。

3、评估指标

为评估不同算法的性能，本发明选择使用4个常见的语义分割评估指标：精确率Precision（P）、召回率Recall（R）、F1分数（F1）、交并比（IOU）。

4、实验结果

将本发明提出的模型与经典裂缝提取模型HED、RCF、U-Net、SegNet、DeepCrack、PSPNet、Deeplabv3+在DeepCrack、CrackTree260和AerialTrackDetection数据集上进行对比实验，用以验证本发明模型的有效性。

（1）DeepCrack数据集实验结果：表1显示了各模型的定量比较结果，其中本发明模型具有最优的P、R、F1和IOU值，IOU值相比于HED、RCF、DeepCrack、U-Net、SegNet、PSPNet、Deeplabv3+分别提高了5.57%、4.41%、5.01%、3.84%、4.9%、16.01%、6.14%。根据图7对各模型结果进一步定性分析（a为测试图像；b为标签路面图像；c、d、e、f、g、h分别为本发明模型、HED、RCF、DeepCrack、PSPNet、Deeplabv3+得到的路面裂缝提取结果），由输入图像可知，该数据集下的裂缝主要呈现拓扑结构复杂和开裂强度不均的特点，而且严重受到污渍、阴影、杂物等多种背景信息的干扰。尽管如此，本发明模型依旧表现出良好的裂缝提取性能。从图7第1行可以看出，当图像中背景信息干扰较弱、裂缝结构简单时，所有模型均取得了较好的裂缝提取结果，本发明模型、HED和DeepCrack模型遗漏识别的裂缝像素更少。从第2行可以看出，随着图像中背景信息干扰增强，裂缝尺度不均一时，除本模型外其他模型均存在大量错误识别和遗漏提取的现象，严重地影响了提取结果的质量。相比之下，本发明提出的模型在较完整地提取全部裂缝信息的同时几乎不存在错误识别的问题，这主要是因为本模型在特征提取部分融合了残差块，抑制噪音信息干扰并强化裂缝空间信息表达，从而减少背景信息错误识别的概率，提取出更连贯的裂缝特征。从第3行可以看出，当图像中裂缝拓扑结构复杂、背景信息干扰较强时，本发明模型、Deeplabv3+和DeepCrack表现出较好的裂缝提取性能，本发明提出的模型同时运用类似于Deeplabv3+的多尺度信息感知模块和DeepCrack的特征融合机制，具有强大的特征感知和信息整合能力，能够很好的降低裂缝信息错误识别的概率，刻画更精细的裂缝特征。总之，本发明提出的模型对于DeepCrack数据集中不同类型、不同场景下的裂缝均得到了较好的提取结果。

表1 不同模型在DeepCrack数据集上的定量比较结果

（2）CrackTree260数据集实验结果：表2显示了各模型的定量比较结果，其中本发明模型P、R、F1、IOU值均高于其他模型，裂缝提取性能最优。根据图8对实验结果进一步定性分析（a为测试图像；b为标签路面图像；c、d、e、f、g、h分别为本发明模型、HED、RCF、DeepCrack、PSPNet、Deeplabv3+得到的路面裂缝提取结果），由输入图像可知，裂缝主要呈现狭长、细小的特点，受到一定阴影、斑点等背景信息的干扰，十分考验模型提取精细线状地物的能力。从图8第1行可以看出，仅本发明提出的模型能较完整地提取宽度较窄、拓扑结构复杂的裂缝信息，这是因为本发明模型运用了第三融合模块，具有强大的信息整合能力，能通过权衡不同层次特征的重要程度获得更完整的裂缝提取结果。 从图8第2、3行可以看出，本发明模型对狭长裂缝提取更有效，这是由于本发明提出的模型具有全局信息感知能力，能捕获裂缝信息的远距离依赖，对裂缝信息空间定位更加准确。总之，本发明提出的模型对狭长、细小裂缝表现出更好的提取性能。

表2 不同模型在CrackTree260数据集上的定量比较结果

（3）AerialTrackDetection数据集实验结果：由表3可知，各模型在该数据集上表现较好，F1值均超过85%，其中本发明模型性准确率和召回率都高于90%，IOU值比HED、RCF、DeepCrack、U-Net、SegNet、PSPNet、Deeplabv3+分别提升10.84%、4.58%、0.56%、4.38%、0.99%、11.25%和7.62%。根据图9进一步对模型结果定性分析（a为测试图像；b为标签路面图像；c、d、e、f、g、h分别为本发明模型、HED、RCF、DeepCrack、PSPNet、Deeplabv3+得到的路面裂缝提取结果），由输入图像可知，该数据集下的裂缝结构简单、噪音信息干扰较弱、场景相对单一，裂缝特征容易被模型提取和识别。从图9中的提取结果可以看出，各模型都表现出较好的裂缝提取性能，但本发明提出的模型遗漏提取和错误识别裂缝像素的概率更低，这是因为本模型具有强大的全局信息感知能力和特征整合能力，裂缝提取结果更加完整准确。

表3 不同模型在AerialTrackDetection数据集上的定量比较结果

此外，不同级别的特征具有不同的性质，深层特征能很好地表征裂缝的上下文信息，但对裂缝的空间位置表达较为模糊，浅层特征对裂缝区域空间定位更加准确，但往往包含更多的噪音信息。图10展示了三种不同特征融合方式在DeepCrack测试集上的F1和IOU精度对比结果，包括未融合、直接融合（即Concat）和本方法融合。由图10可知，经过特征融合后的模型F1和IOU值大于未进行融合的模型，这表明特征融合能集成高低层特征的特点，能有效地提升模型的性能。进一步比较添加本方法融合和直接融合的模型精度，发现本方法的模型性能更优。这是因为高低层特征存在着较大的语义差距，并且低层特征具有更多的冗余信息，直接将特征拼接往往难以有效集成不同层级的特征响应。而相比之下，跨通道校正能动态地集成高层特征的丰富上下文信息和低层特征的精确空间定位信息，消除噪音信息的干扰，较好地表达裂缝特征和还原边缘细节。

综上所述，本发明提出的路面裂缝提取方法是一种提取精度高、效果好的裂缝提取方法，在不同数据集上均表现出较好的提取性能，能够适应不同的路面场景，具有较强的泛化能力。残差块通过全局与局部建模机制，收集狭长裂缝和复杂路面的全局与局部融合信息，提升了裂缝特征的提取能力；第二融合模块和第三融合模块集成了不同尺度下的裂缝特征，丰富了裂缝特征的上下文信息，并输出准确的裂缝提取结果。

上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

根据另一方面的实施例，本发明提供了一种基于深度学习的路面裂缝提取装置。图2示出根据一个实施例的基于深度学习的路面裂缝提取装置的示意性框图。可以理解，该装置可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来实现。如图2所示，该装置包括：获取单元201和提取单元202。其中各组成单元的主要功能如下：

获取单元201，用于获取待提取的路面图像；

提取单元202，用于将所述待提取的路面图像输入到训练好的裂缝提取模型中，得到所述待提取的路面图像的路面裂缝提取结果；其中，所述裂缝提取模型是利用标签路面图像对预设的深度学习网络进行训练得到的，所述深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，所述编码网络用于加强路面图像的上下文特征，所述一级特征融合网络用于将由所述编码网络输出的特征中不同感受野的特征进行特征融合，所述解码网络用于将所述编码网络和所述一级特征融合网络输出的特征进行特征融合，所述二级特征融合网络用于将所述解码网络和所述一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。

作为一种优选的实施方式，所述编码网络包括多阶段子编码网络，相邻所述子编码网络之间连接有最大池化模块，每个所述子编码网络均包括多个残差块，每个所述残差块用于加强路面图像的上下文特征。

作为一种优选的实施方式，每个所述残差块均包括一个第一模块、一个第二模块和一个第一融合模块，所述第一模块包括依次连接的一个1×1的卷积核和一个softmax函数，所述第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；

所述第二模块包括依次连接的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，所述第二模块用于将由所述第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；

所述第一融合模块用于将所述第一模块输入的特征和所述第二模块输出的特征进行加运算，以加强路面图像的上下文特征。

作为一种优选的实施方式，所述一级特征融合网络包括第二融合模块，所述第二融合模块与最后一个阶段的子编码网络之间连接有最大池化模块，所述第二融合模块包括多个不同尺寸的池化核、与每个所述池化核对应的卷积核以及一个上采样子模块，每个所述池化核用于对所述第二融合模块输入的特征进行池化，以得到不同范围的感受野，每个所述卷积核用于对与其对应的池化核输出的特征进行卷积，所述上采样子模块用于对所有所述卷积核输出的特征进行上采样。

作为一种优选的实施方式，所述解码网络包括多阶段子解码网络，所述子解码网络和所述子编码网络的数量相同；

第一个阶段的子解码网络分别与最后一个阶段的子编码网络和所述第二融合模块连接，以对最后一个阶段的子编码网络和所述第二融合模块输出的特征进行特征融合；其中，所述第二模块输出的特征包括所述第二融合模块输入的特征和所述上采样子模块输出的特征；

其余阶段的子解码网络分别与上一个阶段的子解码网络和当前阶段的子编码网络连接，以对上一个阶段的子解码网络和当前阶段的子编码网络输出的特征进行特征融合。

作为一种优选的实施方式，所述二级特征融合网络包括一个第三融合模块和一个1×1的卷积核，所述第三融合模块包括依次连接的全局平均池化子模块、卷积核子模块和激活函数子模块，所述第三融合模块用于基于每个阶段的子解码网络输出的特征和所述第二融合模块输出的特征得到不同层特征对应的权重，以得到校正后的不同层的特征；其中，所述不同层的特征包括每个阶段的子解码网络输出的特征和所述第二融合模块输出的特征；

所述1×1的卷积核用于对校正后的不同层的特征进行卷积降维，以得到路面裂缝提取结果。

作为一种优选的实施方式，在利用标签路面图像对预设的深度学习网络进行训练时，采用如下目标损失函数更新所述深度学习网络的权重参数：

式中，L为目标损失函数，

为二进制交叉熵损失函数，/>

为形状感知损失函数；/>

为预测值，/>

为标签真实情况，道路像素为1，非道路像素为0，/>

；N是一个样本中像素个数的总数，/>

为其中一个像素；/>

为欧式距离函数，/>

和/>

分别为预测值和标签的曲线周围点，/>

表示平均欧式距离，/>

为交叉熵损失函数

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图1所描述的方法。

根据再一方面的实施例，还提供一种电子设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图1所述的方法。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的路面裂缝提取方法，其特征在于，包括：

获取待提取的路面图像；

将所述待提取的路面图像输入到训练好的裂缝提取模型中，得到所述待提取的路面图像的路面裂缝提取结果；其中，所述裂缝提取模型是利用标签路面图像对预设的深度学习网络进行训练得到的，所述深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，所述编码网络用于加强路面图像的上下文特征，所述一级特征融合网络用于将由所述编码网络输出的特征中不同感受野的特征进行特征融合，所述解码网络用于将所述编码网络和所述一级特征融合网络输出的特征进行特征融合，所述二级特征融合网络用于将所述解码网络和所述一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。

2.根据权利要求1所述的方法，其特征在于，所述编码网络包括多阶段子编码网络，相邻所述子编码网络之间连接有最大池化模块，每个所述子编码网络均包括多个残差块，每个所述残差块用于加强路面图像的上下文特征。

3.根据权利要求2所述的方法，其特征在于，每个所述残差块均包括一个第一模块、一个第二模块和一个第一融合模块，所述第一模块包括依次连接的一个1×1的卷积核和一个softmax函数，所述第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；

所述第二模块包括依次连接的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，所述第二模块用于将由所述第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；

所述第一融合模块用于将所述第一模块输入的特征和所述第二模块输出的特征进行加运算，以加强路面图像的上下文特征。

4.根据权利要求2所述的方法，其特征在于，所述一级特征融合网络包括第二融合模块，所述第二融合模块与最后一个阶段的子编码网络之间连接有最大池化模块，所述第二融合模块包括多个不同尺寸的池化核、与每个所述池化核对应的卷积核以及一个上采样子模块，每个所述池化核用于对所述第二融合模块输入的特征进行池化，以得到不同范围的感受野，每个所述卷积核用于对与其对应的池化核输出的特征进行卷积，所述上采样子模块用于对所有所述卷积核输出的特征进行上采样。

5.根据权利要求4所述的方法，其特征在于，所述解码网络包括多阶段子解码网络，所述子解码网络和所述子编码网络的数量相同；

第一个阶段的子解码网络分别与最后一个阶段的子编码网络和所述第二融合模块连接，以对最后一个阶段的子编码网络和所述第二融合模块输出的特征进行特征融合；其中，所述第二融合模块输出的特征包括所述第二融合模块输入的特征和所述上采样子模块输出的特征；

其余阶段的子解码网络分别与上一个阶段的子解码网络和当前阶段的子编码网络连接，以对上一个阶段的子解码网络和当前阶段的子编码网络输出的特征进行特征融合。

6.根据权利要求5所述的方法，其特征在于，所述二级特征融合网络包括一个第三融合模块和一个1×1的卷积核，所述第三融合模块包括依次连接的全局平均池化子模块、卷积核子模块和激活函数子模块，所述第三融合模块用于基于每个阶段的子解码网络输出的特征和所述第二融合模块输出的特征得到不同层特征对应的权重，以得到校正后的不同层的特征；其中，所述不同层的特征包括每个阶段的子解码网络输出的特征和所述第二融合模块输出的特征；

所述1×1的卷积核用于对校正后的不同层的特征进行卷积降维，以得到路面裂缝提取结果。

7.根据权利要求1-6中任一项所述的方法，其特征在于，在利用标签路面图像对预设的深度学习网络进行训练时，采用如下目标损失函数更新所述深度学习网络的权重参数：

式中，L为目标损失函数，

为二进制交叉熵损失函数，/>

为形状感知损失函数；/>

为预测值，/>

为标签真实情况，道路像素为1，非道路像素为0，/>

；N是一个样本中像素个数的总数，/>

为其中一个像素；/>

为欧式距离函数，/>

和/>

分别为预测值和标签的曲线周围点，/>

表示平均欧式距离，/>

为交叉熵损失函数。

8.一种基于深度学习的路面裂缝提取装置，其特征在于，包括：

获取单元，被配置为获取待提取的路面图像；

提取单元，被配置为将所述待提取的路面图像输入到训练好的裂缝提取模型中，得到所述待提取的路面图像的路面裂缝提取结果；其中，所述裂缝提取模型是利用标签路面图像对预设的深度学习网络进行训练得到的，所述深度学习网络包括编码网络、一级特征融合网络、解码网络和二级特征融合网络，所述编码网络用于加强路面图像的上下文特征，所述一级特征融合网络用于将由所述编码网络输出的特征中不同感受野的特征进行特征融合，所述解码网络用于将所述编码网络和所述一级特征融合网络输出的特征进行特征融合，所述二级特征融合网络用于将所述解码网络和所述一级特征融合网络输出的特征进行特征融合，以得到路面裂缝提取结果。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。

Images