CN112560895A - 一种基于改进PSPNet网络的桥梁裂缝检测方法 - Google Patents

Abstract

本发明属于桥梁裂缝检测技术领域，具体涉及一种基于改进PSPNet网络的桥梁裂缝检测方法，包括以下步骤：步骤一：对桥梁裂缝图像数据进行归一化处理，对光照不足的图像进行拉普拉斯锐化；步骤二：对处理后的桥梁裂缝图像数据集合进行几何变换扩充；步骤三：建立结构为SPAM模块与金字塔池化层并联的检测模型，并进行训练；步骤四：将提取后的裂缝特征图别送入到金字塔池化层和SPAM模块中进行处理；步骤五：将金字塔池化层和SPAM模块得到的特征图进行融合，经过解码模块得到最终的桥梁裂缝分割图。本方法在分割效果和各项评价指标上都有了明显的提升，提高了桥梁裂缝检测的精度。

Description

一种基于改进PSPNet网络的桥梁裂缝检测方法

技术领域

本发明属于桥梁裂缝检测技术领域，具体涉及一种基于改进PSPNet网络的桥梁裂缝检测方法。

背景技术

桥梁为人类扩大活动范围提供媒介，已成为人类扩大生存空间的重要渠道，极大地促进了社会发展。改革开放以来，中国桥梁工程建设跨入黄金时期。据不完全统计，2019和2020年中国大跨度桥梁建成通车接近20座。交通运输事业是我国经济的重要支撑，是社会发展的强力保障，随着交通运输业的不断发展，桥梁不仅承担着促进经济发展的重要功能，还关系着运输人员的人身安全。近年来，国内外大桥垮塌事故频繁发生，引起了我们对桥梁安全的高度重视。裂缝作为桥梁最常见的缺陷，是桥梁结构达到承载能力极限的标志，严重影响着桥梁的安全运营。因此针对桥梁裂缝检测方法的研究具有极为重要的意义。

随着计算机数字图像处理和计算机视觉的飞速发展，国内外科研人员开始将这些新兴的技术方法用于裂缝检测任务中，取得了不错的研究结果。传统的图像处理领域，Li等首先使用直方图均衡化来解决照明不均匀影响裂缝检测的问题，其次使用改进的Canny算法绘制裂缝轮廓。该方法对阴影条件下的裂缝图像具有很好的检测效果，但是当裂缝较为宽大时，检测效果降低。Zhong等提出的基于改进的渗透模型，使用亮度特征和裂缝长度特征来去除噪声区域，用来检测不清晰的裂缝图像。Amhaz等提出了一种基于最小代价路径搜索的二维路面图像裂缝检测算法,但是该方法需要对多个参数进行优化,从而增加了算法运行时间。近几年，深度学习成为计算机领域的研究热点，国内外学者开始将深度学习与裂缝检测结合在一起。Dongho Kang等提出了一种结合Faster R-CNN算法检测裂缝区域的自动裂缝检测，定位和量化方法,使用改进的管状流场算法对区域进行定位，以从检测到的裂缝区域中分割出裂缝像素。Li等利用滑动窗口算法将裂缝图像切分成更小的图像块，再使用卷积神经网络进行分类，最后使用改进的滑动窗口算法进行检测，取得了较好的检测效果。Zhang等使用卷积神经网络，将图像切成若干小块，获得每块的裂缝概率图，但该模型忽视了各个像素之间的空间关系，使得结果图裂缝宽度大，精确度仍需提高。Long等将全卷积网络应用于像素级裂缝检测，使用反卷积进行上采样弥补细节损失，但是没有考虑像素之间的关系，缺乏空间一致性。Zhao等提出的PSPNet设计了一个金字塔池模块来收集有效的上下文信息，包含不同尺度的信息。Badrinarayanan等提出了SegNet模型，利用池化索引保证了高层信息的完整性，但是对小目标进行上采样时，仍会丢失部分边界信息。

上述方法由于卷积运算会产生局部感受野，相同标签像素对应的特征可能会有所不同，这些差异会导致类内不一致，影响识别的准确性，同时经过多次池化下采样操作，图像的细节信息也会逐步丢失。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于改进PSPNet网络的桥梁裂缝检测方法。本发明要解决的技术问题通过以下技术方案实现：

一种基于改进PSPNet网络的桥梁裂缝检测方法，包括以下步骤：

步骤一：对采集到桥梁裂缝图像数据进行归一化处理，形成数据集合，并对光照不足的图像进行拉普拉斯锐化；

步骤二：对处理后的桥梁裂缝图像数据集合进行几何变换扩充；并将集合划分为训练集、验证集与测试集；

步骤三：建立结构为SPAM模块与金字塔池化层并联的检测模型，并进行训练，检测模型使用ResNet-50作为特征提取网络；采用扩张卷积来作为残差网络内部的下采样层保持特征图的空间分辨率，进行提取裂缝特征图；

步骤四：将提取后的裂缝特征图分别送入到金字塔池化层和SPAM模块中进行处理；

步骤五：将金字塔池化层和SPAM模块得到的特征图进行融合，经过解码模块得到最终的桥梁裂缝分割图。

进一步的，金字塔池化层包含四个池化层，其大小分别为1×1、2×2、3×3和6×6，然后分别在这些子区域内使用全局平均池化，提取局部特征，对每层池化使用1×1卷积降维之后，然后通过双线性插值对低维的特征图进行上采样，得到与输入特征图相同尺寸的特征图，并且在通道上将不同层级的特征图进行拼接得到处理后的特征图。

进一步的，SPAM模块处理方式为：首先将使用扩张卷积的残差网络提取出的局部特征A∈R^C×H×W分别送入到三个1×1卷积层中；产生的三个新的特征图B、C、D，大小均为R^C×N；将B和C重塑为R^N×C，其中N＝H×W，表示像素点的数目；同时将C的转置R^N×C和B进行矩阵乘法得到S∈R^N×N，再进行softmax运算，得到空间注意力映射矩阵：

式中：B_i代表矩阵B中的第i个元素，C_j代表矩阵C中第j个元素，s_ji代表第i个位置的特征对第j个位置的影响，接着将D也重塑为R^C×N，与S的转置矩阵R^N×N进行矩阵乘法，再乘上自注意力系数α，将其结果重塑为R^C×H×W；最后与特征图A∈R^C×H×W进行逐元素相加得到输出E∈R^C×H×W，再经过一个卷积层得到最终输出：

其中α为自注意力参数，初始化为0，通过网络训练逐渐学习得到更大的权重，其中得到的每个位置的特征E是所有位置的特征与原始特征的加权和。

进一步的，检测模型的训练选择随机梯度下降算法进行优化，Batch-size设置为16，初始学习率设为0.01，动量设置为0.9，权重衰减为0.0005；训练时采用Ploy学习策略，最小学习率设为1e-4；采用二分类交叉熵作为分割网络的损失函数，二分类交叉熵损失函数如下所示，r_i表示像素点的真实值；p_i表示像素点i预测值的概率，N为图像像素点总数目

采用Dice损失函数作为辅助损失函数，S为Dice系数，表示两个区域的相似程度，其中A为真实值，B为预测值，

Dice loss可以表示为：

p_i为像素点i的预测值，r_i为像素点i的真实值；因此得到L_t为总损失，L_bce为二分类交叉熵损失，L_dice为Dice损失，则L_t＝L_bce+L_dice。

与现有技术相比，本发明的有益效果：

本发明利用PSPNet网络和SPAM搭建了一种新的网络模型。PSPNet网络利用空间金字塔池化层可以获得更多的上下文信息；而SPAM能够充分了考虑各像素之间的关系，在特征与注意力之间建立关联来探索全局上下文信息，在空间维度上对裂缝语义信息进行处理。相对于PSPNet，本方法在分割效果和各项评价指标上都有了明显的提升，提高了桥梁裂缝检测的精度。

附图说明

图1是拉普拉斯锐化示意图。

图2是数据集扩增示意图。

图3是PSPNet网络结构示意图。

图4是PSPNet网络改进后检测模型结构示意图。

图5扩张率为1，2，3，的3×3卷积核感受野示意图。

图6为SPAM模块结构示意图。

图7为PSPNet网络改进前后结果对比图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

一种基于改进PSPNet网络的桥梁裂缝检测方法，包括以下步骤：

步骤一：对采集到桥梁裂缝图像数据进行归一化处理，形成数据集合，并对光照不足的图像如图1所示进行拉普拉斯锐化；

步骤二：对处理后的桥梁裂缝图像数据集合进行几何变换扩充；如图2所示，对已采集到的桥梁裂缝图像数据集合进行图像几何变换的扩充，如旋转180度、270度，水平翻转和垂直翻转等；将扩增后的数据按照一定的比例划分为训练集，测试集和验证集，为了确保数据集的多样性，在划分时考虑到每个集合都应该包含有单根裂缝、交叉裂缝、网状裂缝以及无桥梁裂缝等类型的图像。

步骤三：建立结构为SPAM模块与金字塔池化层并联的检测模型，并进行训练，在PSPNet网络上引入了自注意力机制来获得丰富的上下文信息，使得不同位置的相似特征可以相互增强，整体结构如图4所示。我们将一种基于自注意力机制的间位空置模块(SPAM)和金字塔池化层并联起来形成一种新的网络模型,该方法将特征提取网络提取到的特征送入到两条支路网络中进行处理，再将两条支路处理后的特征图进行融合，将融合后的特征图使用原PSPNet网络的解码模块进行解码，得到最终的裂缝分割图。图中上支路为金字塔池化层，下支路为空间位置自注意力模块；使用ResNet-50作为特征提取网络。为了减小计算量，我们将输入部分的7×7卷积核换成了3个3×3卷积核。并且针对残差网络由于不断的池化和下采样导致特征图分辨率下降，网络丢失敏感细节的问题，本发明采用扩张卷积来替换残差网络内部的下采样层保持特征图的空间分辨率，如图5所示，扩张卷积就是在基础卷积核中加入间隔，在保持参数个数不变的情况下增大了卷积核的感受野，同时它可以保证输出的特征映射大小保持不变，提高了检测结果的准确率。在标准残差网络中，输入大小为512×512的图像时，输出特征图的大小只有16×16。这里我们通过引入扩张卷积，对于输入大小为512×512的图像，输出特征图的大小可以达到64×64，能够保留更多的细节信息。

步骤四：将提取后的裂缝特征图别送入到金字塔池化层和SPAM模块中进行处理；SPAM能够获取更加丰富的上下文信息，使得不同位置的相似特征可以相互增强，从而增加了类内的紧凑性和语义一致性。计算机视觉自注意力机制和人类的注意力机制非常类似，其基本思想就是让模型能重点关注一些信息而忽略掉大量无关的信息，SPAM具体结构如图6所示；

步骤五：将金字塔池化层和SPAM模块得到的特征图进行融合，经过解码模块得到最终的桥梁裂缝分割图。

金字塔池化层包含四个池化层，其大小分别为1×1、2×2、3×3和6×6，然后分别在这些子区域内使用全局平均池化，提取局部特征，对每层池化使用1×1卷积降维之后，然后通过双线性插值对低维的特征图进行上采样，得到与输入特征图相同尺寸的特征图，并且在通道上将不同层级的特征图进行拼接得到处理后的特征图。

SPAM模块处理方式为：首先将使用扩张卷积的残差网络提取出的局部特征A∈R^{C ×H×W}分别送入到三个1×1卷积层中；产生的三个新的特征图B、C、D，大小均为R^C×N；将B和C重塑为R^N×C，其中N＝H×W，表示像素点的数目；同时将C的转置R^N×C和B进行矩阵乘法得到S∈R^{N ×N}，再进行softmax运算，得到空间注意力映射矩阵：

式中：B_i代表矩阵B中的第i个元素，C_j代表矩阵C中第j个元素，s_ji代表第i个位置的特征对第j个位置的影响，接着将D也重塑为R^C×N，与S的转置矩阵R^N×N进行矩阵乘法，再乘上自注意力系数α，将其结果重塑为R^C×H×W；最后与特征图A∈R^C×H×W进行逐元素相加得到输出E∈R^C×H×W，再经过一个卷积层得到最终输出：

其中α为自注意力参数，初始化为0，通过网络训练逐渐学习得到更大的权重，其中得到的每个位置的特征E是所有位置的特征与原始特征的加权和。

最后我们将金字塔池化层和SPAM得到的特征图进行融合，经过解码模块得到最终的桥梁裂缝分割图。

检测模型的训练选择随机梯度下降算法进行优化，Batch-size设置为16，初始学习率设为0.01，动量设置为0.9，权重衰减为0.0005；训练时采用Ploy学习策略，最小学习率设为1e-4；采用二分类交叉熵作为分割网络的损失函数，二分类交叉熵损失函数如下所示，r_i表示像素点的真实值；p_i表示像素点i预测值的概率，N为图像像素点总数目

采用Dice损失函数作为辅助损失函数，S为Dice系数，表示两个区域的相似程度，其中A为真实值，B为预测值，

Dice loss可以表示为：

p_i为像素点i的预测值，r_i为像素点i的真实值；因此得到L_t为总损失，L_bce为二分类交叉熵损失，L_dice为Dice损失，则L_t＝L_bce+L_dice。

如图3所示，PSPNet模型采用残差网络作为特征提取网络，并使用金字塔池化模块收集不同区域不同尺度的信息，在空间精度上有了较好的提升；但是PSPNet模型仅对分辨率较小的裂缝高层特征图解码，没有充分的考虑各像素之间的关系，忽略了底层空间细节特征对裂缝图像分割产生的影响。而桥梁裂缝背景复杂多样，噪声种类繁多，分布及种类毫无规律，若是将PSPNet模型直接用于桥梁裂缝检测任务中，将会导致细小裂缝和复杂裂缝检测不完整等问题。对语义分割任务来说，判别特征十分重要。目前主流的语义分割网络特征提取多以局部特征为主，这不利于长期上下文信息获取，容易造成目标和物体类内的分类错误，影响检测精度。

针对桥梁裂缝检测结果，本发明使用总体像素准确率(Pixel accuracy,PA)，平均交并比(Mean intersection over union,mIoU)和F1_score进行量化评价。我们用TP(Truepositive)表示预测为正类别，标签也为正类别的像素；TN(True negative)表示预测为负类别，标签也为负类别的像素；FP(False positive)表示预测为正类别而标签为负类别的像素；FN(False Negative)表示预测为负类别但标签是正类别的像素。

总体像素准确率和平均交并比计算公式如下。

F1_score可以看作是模型精确率(Precision,Pre)和召回率(Recall,Rec)的一种加权平均，兼顾了精确率和召回率的查全和查准的作用，计算公式如下。

我们将PSPNet和带有SPAM的PSPNet进行对比。如图7所示，从图中可以看到，对于裂缝宽度较大，噪声干扰少的图像，PSPNet网络和本发明模型均能够将裂缝信息完整的检测出来。但是当图像中存在细小裂缝或者图像裂缝较为复杂时，我们可以发现PSPNet网络会出现误检，检测结果不连续等问题。如图7第3行和第4行,图像中存在细小网状裂缝时，PSPNet出现了严重的误检，裂缝检测不连续等问题，表现效果较差。而发明网络检测结果更准确，裂缝细节和边界更加清晰，能够将裂缝准确完整的检测出来，细小裂缝分割结果更好。

其评价指标评估结果如表1所示，SPAM显著的提升了总体像素准确率和平均交并比。与PSPNet相比，将SPAM与金字塔池化模块并联的网络平均交并比达到了85.58％，提高了8.24％。对于不同类型的桥梁裂缝，本发明算法在总体像素准确率、F1_score等方面也明显高于PSPNet网络，进一步从数据角度论证了本发明算法对于桥梁裂缝检测的有效性。

表1 PSPNet和本发明网络模型实验结果对比

可以看出与PSPNet网络相比，本发明所搭建的新网络模型能够在细小裂缝和复杂裂缝等方面取得了良好的分割结果，更好的捕捉到裂缝细节信息。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于改进PSPNet网络的桥梁裂缝检测方法，其特征在于：包括以下步骤：

步骤一：对采集到桥梁裂缝图像数据进行归一化处理，形成数据集合，并对光照不足的图像进行拉普拉斯锐化；

步骤二：对处理后的桥梁裂缝图像数据集合进行几何变换扩充；并将集合划分为训练集、验证集与测试集；

步骤三：建立结构为SPAM模块与金字塔池化层并联的检测模型，并进行训练，检测模型使用ResNet-50作为特征提取网络；采用扩张卷积来作为残差网络内部的下采样层保持特征图的空间分辨率，进行提取裂缝特征图；

步骤四：将提取后的裂缝特征图分别送入到金字塔池化层和SPAM模块中进行处理；

步骤五：将金字塔池化层和SPAM模块得到的特征图进行融合，经过解码模块得到最终的桥梁裂缝分割图。

2.根据权利要求1所述的一种基于改进PSPNet网络的桥梁裂缝检测方法，其特征在于：所述金字塔池化层包含四个池化层，其大小分别为1×1、2×2、3×3和6×6，然后分别在这些子区域内使用全局平均池化，提取局部特征，对每层池化使用1×1卷积降维之后，然后通过双线性插值对低维的特征图进行上采样，得到与输入特征图相同尺寸的特征图，并且在通道上将不同层级的特征图进行拼接得到处理后的特征图。

3.根据权利要求1所述的一种基于改进PSPNet网络的桥梁裂缝检测方法，其特征在于：所述SPAM模块处理方式为：首先将使用扩张卷积的残差网络提取出的局部特征A∈R^C×H×W分别送入到三个1×1卷积层中；产生的三个新的特征图B、C、D，大小均为R^C×N；将B和C重塑为R^{N ×C}，其中N＝H×W，表示像素点的数目；同时将C的转置R^N×C和B进行矩阵乘法得到S∈R^N×N，再进行softmax运算，得到空间注意力映射矩阵：

式中：B_i代表矩阵B中的第i个元素，C_j代表矩阵C中第j个元素，s_ji代表第i个位置的特征对第j个位置的影响，接着将D也重塑为R^C×N，与S的转置矩阵R^N×N进行矩阵乘法，再乘上自注意力系数α，将其结果重塑为R^C×H×W；最后与特征图A∈R^C×H×W进行逐元素相加得到输出E∈R^{C ×H×W}，再经过一个卷积层得到最终输出：

其中α为自注意力参数，初始化为0，通过网络训练逐渐学习得到更大的权重，其中得到的每个位置的特征E是所有位置的特征与原始特征的加权和。

4.根据权利要求1所述的一种基于改进PSPNet网络的桥梁裂缝检测方法，其特征在于：所述检测模型的训练选择随机梯度下降算法进行优化，Batch-size设置为16，初始学习率设为0.01，动量设置为0.9，权重衰减为0.0005；训练时采用Ploy学习策略，最小学习率设为1e-4；采用二分类交叉熵作为分割网络的损失函数，二分类交叉熵损失函数如下所示，r_i表示像素点的真实值；p_i表示像素点i预测值的概率，N为图像像素点总数目

采用Dice损失函数作为辅助损失函数，S为Dice系数，表示两个区域的相似程度，其中A为真实值，B为预测值，

Dice loss可以表示为：

p_i为像素点i的预测值，r_i为像素点i的真实值；因此得到L_t为总损失，L_bce为二分类交叉熵损失，L_dice为Dice损失，则L_t＝L_bce+L_dice。

Images