CN111985552A - 复杂背景下机场道面细带状结构病害检测方法 - Google Patents

Abstract

一种复杂背景下机场道面细带状结构病害检测方法。其包括获得融合病害特征图；提取不同尺度空间下病害特征图；提取具有丰富细节信息的病害特征图；获得大感受野下病害特征图以及包含更多全局上下文信息的病害特征图；将具有丰富细节信息的病害特征图与大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图进行融合，获得具有不同尺度、不同层次的细带状结构病害特征图等步骤。本发明利用注意力机制模块增大机场道面细带状结构病害的权重，使得特征学习更加关注于病害信息，抑制干扰信息并在不同尺度、不同层次下提取特征，使得融合后病害特征信息更具有代表性，可有效用于机场道面细带状结构病害检测，且平均检测精度较现有公知方法高。

Description

复杂背景下机场道面细带状结构病害检测方法

技术领域

本发明属于图像识别技术领域，特别是涉及一种复杂背景下机场道面细带状结构病害检测方法。

背景技术

由于荷载因素和环境因素的反复作用，机场道面结构在使用过程中会逐渐出现各种结构病害，因此对其定期检修维护是确保机场安全运营的关键。目前面向公路道面的病害检测方法已经取得了一定进展，但专门针对机场道面病害检测问题的研究很少。当前机场仍采用以人工巡检为主的道面病害检测方法，耗时费力、主观性强且成本高，无法满足机场快速发展的需求。因此，自动化的机场道面病害检测已成为当前的一大研究热点。

为了从图像中快速、准确地检测出病害,部分学者采用传统的数字图像处理方法。Sorncharean等人基于网格单元划分，设计了一种用于强纹理和光照不均匀模型的裂缝检测算法。李清泉等人提出一种将裂缝提取问题转化为格状图顶点之间最小代价路径搜索的算法用以检测裂缝。GUAN等人运用裂缝与背景信息存在的的线性差异采用张量投票的方法增强裂缝特征。Peng等人基于改进Otsu阈值分割算法和改进的自适应迭代阈值分割算法，提出二次阈值分割算法，用于检测机场跑道裂缝。然而，此类算法易受环境因素干扰，而实际机场道面状况复杂，比如背景纹理多样、病害与背景对比度低、噪声干扰强烈等，导致此类算法无法适用。

近年来，深度学习尤其是卷积神经网络(Convolutional neural network,CNN)在图像识别领域取得了巨大进展，出现了一批优秀的目标检测算法，如Faster R-CNN系列、STDN、Cascade R-CNN等，这些算法在通用目标检测数据集上取得了很好的效果。根据《民用机场道面评价管理技术规范》，机场道面中包含裂缝、角隅断裂、接缝破碎、修补等类型的结构病害，接缝破碎是接缝两侧各60cm范围内出现的裂缝，角隅断裂是在角隅处产生的与接缝斜交的裂缝，修补则是对严重的裂缝进行维修后重新产生的病害，它们具有很大的相似性，都呈现为细带状结构，如图1(a)-(d)所示。因此，直接将现有目标检测算法应用于上述机场道面细带状结构病害，实验结果发现对于隐藏在复杂背景中的小病害易出现漏检，大病害易出现检测不完整，位置定位不准的问题，因而上述算法并不适合直接应用于机场道面中的细带状结构病害检测。近年来，国内外学者提出了一系列专门针对道面病害检测的深度学习算法，例如王森等人设计了全卷积网络Crack FCN模型用以检测裂缝。Cha等人提出卷积神经网络和滑动窗口结合的检测算法对混凝土裂缝进行检测，提高了裂缝分类的准确度。同年，Cha等人使用改进的Faster R-CNN来实时检测结构中多种类型的病害。Zou等人设计了多尺度融合的编解码结构网络DeepCrack，通过多尺度特征融合实现更佳的裂缝检测。以上算法虽然取得了一定的效果，但均存在网络深层感受野较小而造成深层特征语义信息不足的问题，并且未能很好地利用图像的细节信息，在提取病害特征的过程中，使得边界定位模糊。上述问题导致现有基于深度学习的病害检测算法仍无法完全适用于机场道面细带状结构病害检测。

发明内容

为了解决上述问题，本发明的目的在于提供一种复杂背景下机场道面细带状结构病害检测方法，以解决宽度狭小、长短不一、图像中像素占比少且与复杂背景对比度低的细带状结构病害检测问题。

为了达到上述目的，本发明提供的复杂背景下机场道面细带状结构病害检测方法包括按顺序进行的下列步骤：

步骤一：在深度神经网络DetMSPNet的每个残差块后面加入注意力机制模块(CBAM)，将病害特征图输入注意力机制模块，获得融合病害特征图，以增强机场道面细带状结构病害特征的权重，抑制干扰信息；

步骤二：在深度神经网络DetMSPNet中构建由残差块和残差空洞金字塔块交替连接而组成的残差空洞金字塔模块，利用残差空洞金字塔模块从上述融合病害特征图中提取得到不同尺度空间下的病害特征图；

步骤三：在深度神经网络DetMSPNet的第三个残差块上面增加一个最大池化支路，利用最大池化支路从上述不同尺度空间下的病害特征图中提取得到具有丰富细节信息的病害特征图，以加强深度神经网络DetMSPNet对于病害的定位能力；

步骤四：将从深度神经网络DetMSPNet最后一层得到的病害特征图分别输入三个不同扩张率的扩张卷积层和金字塔池化模块，获得大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图；

步骤五：将步骤三获得的具有丰富细节信息的病害特征图与步骤四获得的大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图进行融合，获得具有不同尺度、不同层次的细带状结构病害特征图。

在步骤一中，所述的在深度神经网络DetMSPNet的每个残差块后面加入注意力机制模块(CBAM)，将病害特征图输入注意力机制模块，获得融合病害特征图的方法是：

在深度神经网络DetMSPNet的每个残差块后面加入注意力机制模块，给定一个病害特征图F∈R^C×H×W作为注意力机制模块的输入，其中，C为通道数，H为病害特征图的高度，W为病害特征图的宽度，R为实数集，注意力机制模块以此推断出一个1维的通道注意力权重Mc∈R^C×1×1，之后将通道注意力权重Mc与病害特征图F相乘得到通道注意力特征图F'：

其中

表示逐元素相乘；

通道注意力特征图F'将作为接下来空间注意力模块的输入特征图，基于通道注意力特征图F'，注意力机制模块推断出一个2维的空间注意力权重Ms∈R^1×H×W，然后将通道注意力特征图F'与空间注意力权重Ms相乘得到空间注意力特征图F″：

最后将空间注意力特征图F″与病害特征图F∈R^C×H×W相加得到最终的融合病害特征图。

在步骤二中，所述的在深度神经网络DetMSPNet中构建由残差块和残差空洞金字塔块交替连接而组成的残差空洞金字塔模块，利用残差空洞金字塔模块从上述融合病害特征图中提取得到不同尺度空间下的病害特征图的方法是：

步骤一获得的融合病害特征图首先被送到残差空洞金字塔块以生成多尺度病害特征图，然后将这些多尺度病害特征图输入残差块进行病害特征融合，重复三次最终获得融合了不同尺度空间下的病害特征图；每个残差空洞金字塔块由三个扩张卷积组组成，在每个扩张卷积组中，首先利用三个扩张率分别为1、4、8的3×3卷积层进行病害特征提取，之后利用一个1×1卷积层对上述三个扩张卷积层提取的病害特征进行融合。

在步骤四中，所述的将从深度神经网络DetMSPNet最后一层得到的病害特征图分别输入三个不同扩张率的扩张卷积层和金字塔池化模块，获得大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图的方法是：将从深度神经网络DetMSPNet最后一层得到的病害特征图分别输入三个扩张率分别为6、12、18的扩张卷积层，获得大感受野下的病害特征图；

将从深度神经网络DetMSPNet最后一层得到的病害特征图输入金字塔池化模块，特征金字塔的深度为4，不同深度的病害特征图是基于输入的病害特征图通过不同尺度的池化操作得到的，池化后的病害特征图尺寸分别是1×1、2×2、3×3和6×6，接着通过一个1×1卷积层将病害特征图维度缩减为原来的1/4，然后将这些病害特征图直接上采样到与输入的病害特征图相同尺寸，并与输入的病害特征图进行融合，通过聚合不同区域的上下文信息，得到包含更多全局上下文信息的病害特征图。

本发明提供的复杂背景下机场道面细带状结构病害检测方法是首先利用注意力机制模块，使得特征学习更加专注于细带状结构病害信息，抑制干扰信息；接着构建残差空洞金字塔模块，提取不同尺度空间下的特征信息；然后设计最大池化支路，便于之后浅、深层不同层次特征进行融合，加强网络对于病害的定位能力，并且将网络最后一层得到的病害特征输入三种不同扩张率的扩张卷积和金字塔池化模块，使得病害特征包含更多全局上下文信息；最后对所有输出的病害特征信息进行融合处理，实现不同尺度、不同层次特征的信息互补。

相较于现有技术，本发明具有以下有益效果：利用注意力机制模块增大机场道面细带状结构病害的权重，使得特征学习更加关注于病害信息，抑制干扰信息并在不同尺度、不同层次下提取特征，使得融合后的病害特征信息更具有代表性，可以有效地用于机场道面细带状结构病害检测，且平均检测精度较现有公知的方法高。

附图说明

图1为目前机场道面细带状结构病害图像示意图，其中图1(a)为裂缝；图1(b)为角隅断裂；图1(c)为接缝破碎；图1(d)为修补。

图2为本发明提供的深度神经网络DetMSPNet示意图。

图3为本发明中注意力机制模块与残差块集成结构示意图。

图4为本发明中三个不同扩张率的扩张卷积示意图。

图5为本发明提供的APD数据集上的实验结果示例。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面参照附图和具体实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明提供的复杂背景下机场道面细带状结构病害检测方法包括按顺序进行的下列步骤：

步骤一：在如图2所示的深度神经网络DetMSPNet的每个残差块后面加入注意力机制模块(CBAM)，将病害特征图输入注意力机制模块，获得融合病害特征图，以增强机场道面细带状结构病害特征的权重，抑制干扰信息；

在深度神经网络DetMSPNet的每个残差块后面加入注意力机制模块，注意力机制模块与残差块集成结构如图3所示，给定一个病害特征图F∈R^C×H×W作为注意力机制模块的输入，其中，C为通道数，H为病害特征图的高度，W为病害特征图的宽度，R为实数集，注意力机制模块以此推断出一个1维的通道注意力权重Mc∈R^C×1×1，之后将通道注意力权重Mc与病害特征图F相乘得到通道注意力特征图F'：

其中

表示逐元素相乘。

通道注意力特征图F'将作为接下来空间注意力模块的输入特征图，基于通道注意力特征图F'，注意力机制模块推断出一个2维的空间注意力权重Ms∈R^1×H×W，然后将通道注意力特征图F'与空间注意力权重Ms相乘得到空间注意力特征图F″：

最后将空间注意力特征图F″与病害特征图F∈R^C×H×W相加得到最终的融合病害特征图。本步骤不是简单地提取病害特征，而是每次提取病害特征后，再提取病害特征的通道和空间注意力权重，根据注意力权重对输入的病害特征进行细化调整，通过加入注意力机制模块，特征学习更加专注于机场道面细带状结构病害，从而可抑制其它干扰信息，使得深度神经网络DetMSPNet对于病害检测的效果更佳。

步骤二：在深度神经网络DetMSPNet中构建由残差块和残差空洞金字塔块交替连接而组成的残差空洞金字塔模块，利用残差空洞金字塔模块从上述融合病害特征图中提取得到不同尺度空间下的病害特征图；

残差空洞金字塔模块(DetASPP)能够在大感受野和多尺度空间下提取出病害特征，残差空洞金字塔模块以及残差空洞金字塔块(Resdual ASPP)的结构图如图2中(a)、(b)所示。残差空洞金字塔模块由残差空洞金字塔块与残差块交替连接组成，上述步骤一获得的融合病害特征图首先被送到残差空洞金字塔块以生成多尺度病害特征图，然后将这些多尺度病害特征图输入残差块进行病害特征融合，重复三次最终获得融合了不同尺度空间下的病害特征图。每个残差空洞金字塔块由三个扩张卷积组(ASPP Group)组成，在每个扩张卷积组中，首先利用三个扩张率分别为1、4、8的3×3卷积层进行病害特征提取，之后利用一个1×1卷积层对上述三个扩张卷积层提取的病害特征进行融合。通过残差空洞金字塔模块不仅扩大了感受野，而且丰富了卷积的多样性，通过多尺度特征提取，能够提高隐藏层的特征提取能力，获得更有辨别力的病害特征，有助于更好地识别出机场道面细带状结构病害。

步骤三：在深度神经网络DetMSPNet的第三个残差块上面增加一个最大池化支路，利用最大池化支路从上述不同尺度空间下的病害特征图中提取得到具有丰富细节信息的病害特征图，以加强深度神经网络DetMSPNet对于病害的定位能力；

在深度神经网络DetMSPNet的第三个残差块上面增加一个最大池化支路，如图2中(a)所示，由最大池化支路提取的病害特征能够极大地保留病害的细节信息，使得之后可以对保留细节信息的浅层特征和具有高度抽象的深层特征相融合，以增加信息的多样性，提高深度神经网络DetMSPNet对于机场道面细带状结构病害的定位能力。

步骤四：将从深度神经网络DetMSPNet最后一层得到的病害特征图分别输入三个不同扩张率的扩张卷积层和金字塔池化模块，获得大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图；

将从深度神经网络DetMSPNet最后一层得到的病害特征图分别输入三个扩张率分别为6、12、18的扩张卷积层和金字塔池化模块。相比于普通卷积，扩张卷积能够在不改变特征图尺寸的同时有效增加网络的感受野,如图4所示，输入的病害特征图中有效感受野受限，经过三个扩张率分别为6、12、18的扩张卷积层，能够扩大有效感受野并保持图像细节，因此能够获得大感受野下的病害特征图。

金字塔池化模块如图2中(c)所示，该模块中构建了深度为4的特征金字塔，不同深度的病害特征图是基于输入的病害特征图通过不同尺度的池化操作得到的，本发明中池化后的病害特征图尺寸分别是1×1、2×2、3×3和6×6，接着通过一个1×1卷积层将病害特征图维度缩减为原来的1/4，然后将这些病害特征图直接上采样到与输入的病害特征图相同尺寸，并与输入的病害特征图进行融合，通过聚合不同区域的上下文信息，从而得到包含更多全局上下文信息的病害特征图。

步骤五：将步骤三获得的具有丰富细节信息的病害特征图与步骤四获得的大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图进行融合，获得具有不同尺度、不同层次的细带状结构病害特征图；

本步骤可以实现不同尺度、不同层次病害特征图的信息互补，得到最终更具代表性的细带状结构病害特征图。

本发明提供的复杂背景下机场道面细带状结构病害检测方法的效果可以通过以下实验结果进一步说明。实验数据描述：所采用的图像均来自真实机场道面环境，使用车载视觉检测系统进行图像采集。该系统集成人造光源、高清面阵相机、差分GPS等设备，为本发明实验提供全国数十家机场道面的图像，采集的图像大小为1800×900和1600×900，通过挑选共选择了2733张包含细带状结构病害的图像作为数据集，数据集命名为APD，其中细带状结构病害主要包含四类：裂缝、接缝破碎、角隅断裂和修补。实验中将图像分辨率统一调整为900×600像素，通过数据增强方法(水平翻转、垂直翻转、缩放变换、对比度变换)对该数据集进行了扩充，最终获得9563张病害特征图。

深度神经网络DetMSPNet训练参数选择：本发明一共训练12epochs，使用随机梯度下降(Stochastic Gradient Descent,SGD)对网络参数进行学习，其中batch-size设置为2，权重衰减系数设置为0.0001，学习率为0.001，每迭代5个epochs对学习率除以10进行更新，使用动量系数(momentum)来加速梯度下降，设为0.9，IoU threshold设置为0.5。

评测指标描述：为了量化检测结果，采用AP(平均精确度)、mAP(平均精确度的均值)对病害检测性能进行评估。这两个值的计算依赖于精确率P和召回率R两个参数。精确率和和召回率的定义如下：

P＝TP/(TP+FP)

R＝TP/(TP+FN)

其中TP表示真实病害正确识别为病害的个数，FP表示非病害错误识别为病害的个数，FN表示真实病害错误识别为非病害的个数。在精确率和召回率的基础上，AP和mAP的定义如下：

其中P表示精确率，R表示召回率，AP表示每种类型病害的平均精确度，C表示病害类型总数。

对比方法描述：将本发明提供的方法与以下三种方法进行对比：

(1)STDN算法。STDN算法通过设计尺度变换模块(scale-transfer module)在不增加额外参数和计算量的同时解决不同目标检测时的尺度问题，参考文献见：Zhou P,Ni B,Geng C,et al.Scale-Transferrable Object Detection[C].computer vision andpattern recognition,2018:528-537.

(2)Faster R-CNN算法。一种目前使用最广泛的基于候选区域的目标检测算法，参考文献见：Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time objectdetection with region proposal networks[C]//Advances in neural informationprocessing systems.2015:91-99.

(3)Cascade R-CNN算法。在Faster R-CNN的基础上，通过使用不同的IOU阈值，训练了多个级联的检测器，可获得更精细化的检测结果，参考文献见：Cai Z,VasconcelosN.Cascade R-CNN:Delving Into High Quality Object Detection[C].computer visionand pattern recognition,2018:6154-6162.

将本发明方法与上述现有方法(STDN、Faster R-CNN、Cascade R-CNN)进行对比后，本发明方法对于裂缝、接缝破碎、角隅断裂、修补这四类病害，AP值分别为49.44％、87.54％、92.64％、84.42％，均优于其它三种对比算法，本发明方法的mAP达到78.51％，远高于其它算法，如表1所示。部分图像的检测结果如图5所示，通过人工观察比对，本发明方法能够更准确地检测复杂背景下机场道面细带状结构病害。

表1

以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (4)

1.一种复杂背景下机场道面细带状结构病害检测方法，其特征在于：所述的复杂背景下机场道面细带状结构病害检测方法包括按顺序进行的下列步骤：

步骤一：在深度神经网络DetMSPNet的每个残差块后面加入注意力机制模块(CBAM)，将病害特征图输入注意力机制模块，获得融合病害特征图，以增强机场道面细带状结构病害特征的权重，抑制干扰信息；

步骤二：在深度神经网络DetMSPNet中构建由残差块和残差空洞金字塔块交替连接而组成的残差空洞金字塔模块，利用残差空洞金字塔模块从上述融合病害特征图中提取得到不同尺度空间下的病害特征图；

步骤三：在深度神经网络DetMSPNet的第三个残差块上面增加一个最大池化支路，利用最大池化支路从上述不同尺度空间下的病害特征图中提取得到具有丰富细节信息的病害特征图，以加强深度神经网络DetMSPNet对于病害的定位能力；

步骤四：将从深度神经网络DetMSPNet最后一层得到的病害特征图分别输入三个不同扩张率的扩张卷积层和金字塔池化模块，获得大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图；

步骤五：将步骤三获得的具有丰富细节信息的病害特征图与步骤四获得的大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图进行融合，获得具有不同尺度、不同层次的细带状结构病害特征图。

2.根据权利要求1所述的复杂背景下机场道面细带状结构病害检测方法，其特征在于：在步骤一中，所述的在深度神经网络DetMSPNet的每个残差块后面加入注意力机制模块(CBAM)，将病害特征图输入注意力机制模块，获得融合病害特征图的方法是：

在深度神经网络DetMSPNet的每个残差块后面加入注意力机制模块，给定一个病害特征图F∈R^C×H×W作为注意力机制模块的输入，其中，C为通道数，H为病害特征图的高度，W为病害特征图的宽度，R为实数集，注意力机制模块以此推断出一个1维的通道注意力权重Mc∈R^C×1×1，之后将通道注意力权重Mc与病害特征图F相乘得到通道注意力特征图F'：

其中

表示逐元素相乘；

通道注意力特征图F'将作为接下来空间注意力模块的输入特征图，基于通道注意力特征图F'，注意力机制模块推断出一个2维的空间注意力权重Ms∈R^1×H×W，然后将通道注意力特征图F'与空间注意力权重Ms相乘得到空间注意力特征图F″：

最后将空间注意力特征图F″与病害特征图F∈R^C×H×W相加得到最终的融合病害特征图。

3.根据权利要求1所述的复杂背景下机场道面细带状结构病害检测方法，其特征在于：在步骤二中，所述的在深度神经网络DetMSPNet中构建由残差块和残差空洞金字塔块交替连接而组成的残差空洞金字塔模块，利用残差空洞金字塔模块从上述融合病害特征图中提取得到不同尺度空间下的病害特征图的方法是：

步骤一获得的融合病害特征图首先被送到残差空洞金字塔块以生成多尺度病害特征图，然后将这些多尺度病害特征图输入残差块进行病害特征融合，重复三次最终获得融合了不同尺度空间下的病害特征图；每个残差空洞金字塔块由三个扩张卷积组组成，在每个扩张卷积组中，首先利用三个扩张率分别为1、4、8的3×3卷积层进行病害特征提取，之后利用一个1×1卷积层对上述三个扩张卷积层提取的病害特征进行融合。

4.根据权利要求1所述的复杂背景下机场道面细带状结构病害检测方法，其特征在于：在步骤四中，所述的将从深度神经网络DetMSPNet最后一层得到的病害特征图分别输入三个不同扩张率的扩张卷积层和金字塔池化模块，获得大感受野下的病害特征图以及包含更多全局上下文信息的病害特征图的方法是：将从深度神经网络DetMSPNet最后一层得到的病害特征图分别输入三个扩张率分别为6、12、18的扩张卷积层，获得大感受野下的病害特征图；

将从深度神经网络DetMSPNet最后一层得到的病害特征图输入金字塔池化模块，特征金字塔的深度为4，不同深度的病害特征图是基于输入的病害特征图通过不同尺度的池化操作得到的，池化后的病害特征图尺寸分别是1×1、2×2、3×3和6×6，接着通过一个1×1卷积层将病害特征图维度缩减为原来的1/4，然后将这些病害特征图直接上采样到与输入的病害特征图相同尺寸，并与输入的病害特征图进行融合，通过聚合不同区域的上下文信息，得到包含更多全局上下文信息的病害特征图。

Images