CN112232391B - 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于U‑net网络和SC‑SAM注意力机制的大坝裂缝检测方法，该方法首先收集大坝数据集，并对该数据集进行数据扩充。随后构建深度学习分割网络U‑net模型，并在此基础之上添加SC‑SAM注意力机制，该注意力机制由两个部分构成，CAM提高了特征图中的裂缝通道权重，SAM提高了特征图中空间域上裂缝区域的权重，两者的相互协作使得模型对于大坝裂缝检测的准确度有了极大的提高。将扩充后的数据集分为训练集和测试集，利用训练集带SC‑SAM注意力机制的深度学习分割网络模型进行训练，得到训练好的模型；根据训练好的模型，将测试集输入训练好的模型中进行测试，得到大坝裂缝测试结果。

Description

一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测 方法

技术领域

本发明涉及一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，属于图像识别技术领域。

背景技术

大坝是我国水利建设中的重要组成部分，大坝的安全稳定对于水利建设的发展有着关键性的作用，因此如何高效准确的检测出大坝存在的问题是我们需要面临的一个挑战。基于大坝的基本性质，由于大坝长时间受到水压和雨水冲刷、渗透、侵蚀的影响，极易产生裂缝，而裂缝的存在会导致大坝建筑的恶化、破损与崩塌，因此在大坝存在的各种问题中，裂缝的检测是最需要解决的。

对于裂缝的检测方法有很多，如赵芳等人在改进的Canny算子在裂缝检测中的应用一文中针对于噪声与边缘检测精度问题，提出了一种新的Canny边缘检测方法(将多尺度形态学和双边滤波结合)；周慧媛等人在基于对比度受限自适应直方图多种路面裂缝检测与识别一文中提出了一种新的路面检测与识别方法(利用CLAHE和中值滤波去噪，利用形态学去伪裂缝)；韦春桃等人基于自适应阈值的细小裂缝与微灰度差异裂缝自动检测方法在一文中针对路面各种噪声以及细小裂缝和微灰度差异问题，提出了一种基于自适应阈值的裂缝自动检测方法；李良福等人利用滑动窗口算法将桥梁裂缝图像切分为较小的桥梁裂缝面元图像和桥梁背景面元图像,并根据对面元图像的分析,提出一种基于卷积神经网络的DBCC(Deep bridge crack classify)分类模型；Shenyuan Li等人针对混凝土表面包含各种类型噪声带来的问题，提出了一种使用深度卷积神经网络(CNN)的基于图像的裂纹检测方法。

虽然这些检测方法并没有应用到大坝裂缝的检测中，但是这些方法中提出的一些观点、想法可以在我们检测大坝裂缝图像时提供一些帮助。如Shuang Wang等人利用整幅图像重建三维点云模型，然后利用FCN对标注数据进行迭代训练，得到裂纹检测模型，遍历剩余的原始尺寸图像进行裂纹预测；Jianghong Tang等人为了提高Faster R-CNN模型对多个小目标的检测精度，提出了一种基于Faster R-CNN(ME-Faster R-CNN)的多任务增强大坝裂缝图像检测方法，以适应不同光照环境和长度的大坝裂缝检测；徐辉等人针对传统的裂缝检测算法检测大坝裂缝不能很好地克服水下噪声的问题,提出一种基于图像显著性检测大坝裂缝的方法；蒋小燕等人面对大坝裂缝图像模糊不清、亮度不均、对比度低、随机噪声大等特点，提出了一种基于格子波尔兹曼模型(LBM)大坝裂缝检测方法；由于大坝缺陷图像具有信噪比低、光照分布极度不均匀等特征,分类识别算法的识别率较低，因此毛莺池等人提出了一种基于图像LBP特征和Gabor特征组合与CNN相结合的缺陷图像识别方法。

发明内容

本发明所要解决的技术问题是：提供一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，在原始U-net网络的基础上，添加SC-SAM注意力机制，分别从通道域和空间域两个方面对裂缝所在区域进行了权重的提升，为模型识别分割大坝裂缝提供了一种有效的方案。

本发明为解决上述技术问题采用以下技术方案：

一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，包括如下步骤：

步骤1，获取大坝裂缝数据集，包括大坝裂缝的真实图片和与之对应的标签图片，利用图像数据增强技术对大坝数据集进行扩充，得到大坝裂缝样本集；

步骤2，构建SC-SAM注意力机制的深度学习分割网络模型；具体如下：

所述深度学习分割网络模型包括特征提取的收缩路径和上采样的扩展路径；

其中，特征提取的收缩路径具体为：对于模型的输入，在第1层使用两次卷积操作，对第1层输出的特征图进行最大池化后进入第2层，在第2层使用两次卷积操作，对第2层输出的特征图进行最大池化后进入第3层，在第3层使用两次卷积操作，对第3层输出的特征图进行最大池化后进入第4层，在第4层使用两次卷积操作，对第4层输出的特征图进行最大池化后进入第5层，在第5层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块；

上采样的扩展路径具体为：对经第5层EC-SAM注意力模块输出的特征图进行上采样后进入第6层，将第4层输出的特征图与经第5层EC-SAM注意力模块输出的特征图拼接后作为第6层的输入，在第6层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块；对经第6层EC-SAM注意力模块输出的特征图进行上采样后进入第7层，将第3层输出的特征图与经第6层EC-SAM注意力模块输出的特征图拼接后作为第7层的输入，在第7层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块；对经第7层EC-SAM注意力模块输出的特征图进行上采样后进入第8层，将第2层输出的特征图与经第7层EC-SAM注意力模块输出的特征图拼接后作为第8层的输入，在第8层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块；对经第8层EC-SAM注意力模块输出的特征图进行上采样后进入第9层，在第9层使用三次卷积操作后，模型输出结果；

其中，在第1层至第8层使用的卷积操作，选取的卷积核大小均为3*3，步长均为1；在第9层使用的三次卷积操作中，前两次选取的卷积核大小均为3*3，步长均为1，最后一次选取的卷积核大小为1*1；最大池化选取的卷积核大小均为2*2，上采样使用的是反卷积操作，且反卷积选取的卷积核大小均为2*2，第1层至第8层采用的过滤器的个数依次为64、128、256、512、1024、512、256、128，第9层采用的过滤器个数分别为64和2；

步骤3，将大坝裂缝样本集分为训练集和测试集，利用训练集对步骤2构建的SC-SAM注意力机制的深度学习分割网络模型进行训练，得到训练好的模型；

步骤4，根据训练好的模型，将测试集输入训练好的模型中进行测试，得到大坝裂缝测试结果。

作为本发明的一种进一步方案，所述步骤4后面还包括步骤5，将步骤4得到的大坝裂缝测试结果与测试集所对应的标签图片中的裂缝位置进行对比，计算评价指标，对测试结果进行评价。

作为本发明的一种优选方案，所述评价指标，公式如下：

其中，f(p,r)表示评价指标，β²取值为0.3，p为正确率，r为召回率。

作为本发明的一种优选方案，步骤1所述图像数据增强技术包括旋转、平移、投影变换、缩放、翻转和像素填充。

作为本发明的一种优选方案，步骤2所述在第5层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块具体为：

EC-SAM注意力模块包括通道注意力机制和空间注意力机制；

其中，通道注意力机制具体为：对于经第5层两次卷积操作后输出的特征图，采用全局平均池化生成第一通道特征图，同时对经第5层两次卷积操作后输出的特征图，采用全局最大池化生成第二通道特征图，对第一通道特征图和第二通道特征图使用add操作进行融合，再使用激活函数后与经第5层两次卷积操作后输出的特征图进行结合，得到通道注意力特征图；

空间注意力机制具体为：对通道注意力特征图在通道纬度上进行平均池化即将所有通道的空间特征相加取平均，得到一个二维的特征，对通道注意力特征图在通道纬度上进行最大池化即选择出特征值最大的通道的空间特征，得到另一个二维的特征，将上述两个二维的特征进行拼接，拼为通道数为2的特征图，使用二维卷积核对该特征图进行卷积操作，得到特征图上与裂缝对应的空间单元的权重，并与通道注意力特征图进行结合，得到新的特征图。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明使用U-net网络作为主体结构，能有效的改善少样本对训练带来的不便。

2、本发明使用了SC-SAM注意力机制，其中CAM通道注意力模块能判断在多通道的特征图中，哪些通道对于裂缝的分割起着重要作用，并将这些通道进行权重的提升；SAM空间注意力模块能判别在特征图的空间域上，哪些区域有较大的可能性属于裂缝区域，从而对该区域中的特征值提高权重。如此就可以突出裂缝部分，从而使得模型训练的结果更加的准确。

附图说明

图1是本发明基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法的流程图。

图2是本发明基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法中的U-net+Attention结构图。

图3是SC-SAM注意力模块的流程图。

图4是通道注意力机制的结构图。

图5是空间注意力机制的结构图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

由于环境的复杂性，大坝裂缝图像存在信噪比低、对比度低、光照不均匀、裂缝不规则等问题。为了解决这些问题，首先将大坝数据集进行数据的扩充，增加其样本数，并将扩充后的数据集进行模型训练。为了提高模型结果的准确性，在原始的U-net模型中加入了SC-SAM(Efficient Channel-Spatial Attention Module)注意力机制，该注意力机制从通道域和空间域的角度出发，分别对特征图中与裂缝相关的通道和空间单元进行权重的提升，从而有利于模型得到较为精确的裂缝分割结果。基于这一想法，本发明提出一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法。

如图1所示，本发明基于SC-SAM注意力机制和U-net网络的大坝裂缝检测方法，包括以下步骤：

S1、收集大坝数据集，包括大坝裂缝的真实图片和与之对应的ground truth标签图片；并通过旋转、平移、投影变换、缩放、翻转和像素填充等方式对其进行数据集的扩充，以增加其样本总数，提高U-net网络模型的准确率。

旋转是指随机旋转图像一定角度，改变图像内容的朝向；平移的方式有两种，分别是水平方向和垂直方向，在图像平面上对图像以一定方式进行平移；投影变换就是让所有点的x坐标(或者y坐标)保持不变，而对应的y坐标(或者x坐标)则按比例发生平移，且平移的大小和该点到x轴(或者y轴)的垂直距离成正比；缩放就是按照一定的比例放大或者缩小图像；翻转是对图像进行水平或者垂直方向的翻转操作，而翻转的图像是随机进行选取的；像素填充是指当图像进行平移、缩放、投影等操作时，对图像中出现的一些缺失地方进行像素的补全，使之与原图像的尺寸保持不变。

S2、构建深度学习分割网络模型U-net，模型结构如图2所示。U-net是基于FCNs做的改进。U-net结构由两部分组成，捕捉上下文信息的收缩路径(即特征提取)和对分割部分进行精确定位的对称扩展路径(即上采样)。

深度学习分割网络模型U-net的具体构建步骤如下：

(1)构建U-net模型；

U-net是基于FCNs做的改进。U-net结构由两部分组成，捕捉上下文信息的收缩路径(即特征提取)和对分割部分进行精确定位的对称扩展路径(即上采样)。网络整体结构呈现一个U型，上采样的扩展路径与特征提取的收缩路径一一对应，中间没有全连接层，利用每次卷积提取到的像素特征进行特征传递。

(2)在特征提取部分，对于每一层网络，先对图像进行两次卷积操作，并设置多个过滤器形成特征图组，将图像中的一些特征提取出来，其中使用的卷积核大小为3*3，步长为1，每一层使用的过滤器个数不同，分别为64、128、256、512、1024。对于卷积后的图像尺寸使用以下公式进行计算：

其中o为输出图片尺寸，i为输入图片的尺寸，k为卷积核的尺寸，s为步长，t为填充大小。

接着将特征图组进行池化，选取的池化大小为2*2，因此池化之后图的尺寸缩小一倍。每经过一个池化层就有一个尺度，包括原图尺度在内一共有5个尺度。

随着网络层数的加深，能够提取的特征也由表层信息慢慢改变到深层信息；

(3)在扩展路径中，使用的操作与收缩路径基本相同，其使用卷积的卷积核大小也为3*3，唯一不同之处在于它的上采样。上采样的方式有多种，而在U-net模型中，使用了反卷积进行操作，其中反卷积的卷积核大小为2*2，对于上采样之后的图像尺寸使用以下公式进行计算：

i＝(o-1)×s+k-2×t

因此，在上采样之后，图像的尺寸扩大一倍。之后几层的方法一样，但过滤器个数分别是512、256、128、64，最终输出一张与原始输入图像尺寸一样的结果。

为了更加精确的进行定位，除了扩展路径中生成的特征图外，还将收缩路径中生成的特征图加入到了其中。将收缩路径上提取出来的局部信息，在上采样的过程中与新的特征图(全局信息)进行结合，以最大程度的保留前面下采样过程中一些重要的特征信息。其中局部信息与全局信息的结合方法不同于FCN的对应点相加，U-net使用了channel维度拼接融合的方式。在该方法中，增加的是通道数，而通道对应的特征图则保持不变。

S3、构建注意力模块SC-SAM，模型结构如图3所示。EC-SAM由两部分组成，判断在多通道的特征图中，哪些通道对于裂缝的分割起着主导作用的Channel Attention Module；判别在特征图的空间域上，哪些区域有较大的可能性属于裂缝区域的Spatial AttentionModule。

注意力模块SC-SAM的具体构建步骤如下：

(1)EC-SAM主要由两部分组成，一部分是CAM(Channel Attention Module)，如图4所示，该部分主要判断在多通道的特征图中，哪些通道对于裂缝的分割起着主导作用，并将这些通道进行权重的提升；另一部分是SAM(Spatial Attention Module)，如图5所示该部分主要判别在特征图的空间域上，哪些区域有较大的可能性属于裂缝区域，从而对该区域中的特征值提高权重；

(2)Channel Attention Module：对特征图分别采用全局平均池化和全局最大池化，分别生成一个1*1*C的通道特征图(C表示通道数)，接着使用大小为k的一维卷积来学习生成通道特征图的权值，然后将两个新的通道特征图使用add操作进行融合，在使用激活函数后与原始的特征图进行结合，使得特征图中各个通道的权重有所变换。

其中C是通道数，γ和b为可调节参数，一般γ取2，b取1，odd表示与双竖线内相邻最近的奇数。

(3)Spatial Attention Module：对(2)中最后生成的特征图在通道维度上进行平均池化和最大池化，将所有通道的空间特征相加取平均，同时选择出特征值最大的通道的空间特征，在得到两个二维的特征后进行拼接，拼为通道数为2的特征图。随后，使用二维卷积核对该特征图进行卷积操作，学习得到空间域上每个空间单元对应的权重，并与(2)中最后生成的特征图进行结合，得到新的特征图。

在SAM中，先将CAM中输出的特征图在通道维度上进行平均池化与最大池化的操作，平均池化是将特征图所有通道的空间特征进行相加然后取他们的平均值，最大池化是在特征图中选择出特征值最大的通道的空间特征。如此可以得到两个二维(1*H*W)的特征图，将这两个特征图使用concatenate拼接成一个通道数为2的特征图。随后运用卷积操作将该特征图的通道数转化为1，并使用sigmoid激活函数进行二次处理，学习得到空间域上每个空间单元对应的权重。随后将新得到的特征图与原始输入的特征图进行结合，一方面判别了特征图空间域上那些区域有较大的可能性属于裂缝区域，另一方面也对该区域中的特征值进行了权重的提高，有利于后续模型对裂缝的识别分割。

最终得到的特征图就是我们所需要的权重图，它不仅包含了通道数的权重分布，也包含了空间域上的权重分布，而且能够将两者较好的结合在一起，使得权重图中裂缝区域和背景的区分更加的明显，对最终的模型训练有着极大的帮助。

S4、将大坝的训练数据集导入模型中，先对数据集进行扩充，对扩充完毕的数据集直接进行模型训练。在训练过程中设置批次的数量、迭代的次数、每次迭代进行的步数，并使用二进制交叉熵作为模型的损失函数。根据损失函数的数值来不断地优化模型的参数，并间接地观察模型的可行性。最终能够得到一个比较可行的模型。

S5、为了突出预测图像的效果，对图像进行二值化处理，设定阈值为50：

处理之后的图像能够更明显的显示裂缝所在的位置。然后需要对模型进行评估，因此先计算出模型的正确率和召回率，其中正确率就是所有的预测正确(正类负类)的占总图像的比重，召回率就是真正正确的占所有实际为正类的比例。计算出这两个指标后，再根据公式得出最后的评价指标：

其中，β²取值为0.3，使准确率的权重高于召回率；p为正确率，r为召回率。

本发明基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，通过图像数据扩充的方式，解决小样本数据集潜在的问题，并加入SC-SAM注意力模块，从通道域和空间域两方面出发，提升大坝图像中裂缝的权重，提高裂缝分割的准确度。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，其特征在于，包括如下步骤：

步骤1，获取大坝裂缝数据集，包括大坝裂缝的真实图片和与之对应的标签图片，利用图像数据增强技术对大坝数据集进行扩充，得到大坝裂缝样本集；

步骤2，构建SC-SAM注意力机制的深度学习分割网络模型；具体如下：

所述深度学习分割网络模型包括特征提取的收缩路径和上采样的扩展路径；

其中，特征提取的收缩路径具体为：对于模型的输入，在第1层使用两次卷积操作，对第1层输出的特征图进行最大池化后进入第2层，在第2层使用两次卷积操作，对第2层输出的特征图进行最大池化后进入第3层，在第3层使用两次卷积操作，对第3层输出的特征图进行最大池化后进入第4层，在第4层使用两次卷积操作，对第4层输出的特征图进行最大池化后进入第5层，在第5层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块；

上采样的扩展路径具体为：对经第5层EC-SAM注意力模块输出的特征图进行上采样后进入第6层，将第4层输出的特征图与经第5层EC-SAM注意力模块输出的特征图拼接后作为第6层的输入，在第6层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块；对经第6层EC-SAM注意力模块输出的特征图进行上采样后进入第7层，将第3层输出的特征图与经第6层EC-SAM注意力模块输出的特征图拼接后作为第7层的输入，在第7层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块；对经第7层EC-SAM注意力模块输出的特征图进行上采样后进入第8层，将第2层输出的特征图与经第7层EC-SAM注意力模块输出的特征图拼接后作为第8层的输入，在第8层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块；对经第8层EC-SAM注意力模块输出的特征图进行上采样后进入第9层，在第9层使用三次卷积操作后，模型输出结果；

其中，在第1层至第8层使用的卷积操作，选取的卷积核大小均为3*3，步长均为1；在第9层使用的三次卷积操作中，前两次选取的卷积核大小均为3*3，步长均为1，最后一次选取的卷积核大小为1*1；最大池化选取的卷积核大小均为2*2，上采样使用的是反卷积操作，且反卷积选取的卷积核大小均为2*2，第1层至第8层采用的过滤器的个数依次为64、128、256、512、1024、512、256、128，第9层采用的过滤器个数分别为64和2；

步骤3，将大坝裂缝样本集分为训练集和测试集，利用训练集对步骤2构建的带SC-SAM注意力机制的深度学习分割网络模型进行训练，得到训练好的模型；

步骤4，根据训练好的模型，将测试集输入训练好的模型中进行测试，得到大坝裂缝测试结果。

2.根据权利要求1所述基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，其特征在于，所述步骤4后面还包括步骤5，将步骤4得到的大坝裂缝测试结果与测试集所对应的标签图片中的裂缝位置进行对比，计算评价指标，对测试结果进行评价。

3.根据权利要求2所述基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，其特征在于，所述评价指标，公式如下：

其中，f(p,r)表示评价指标，β²取值为0.3，p为正确率，r为召回率。

4.根据权利要求1所述基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，其特征在于，步骤1所述图像数据增强技术包括旋转、平移、投影变换、缩放、翻转和像素填充。

5.根据权利要求1所述基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法，其特征在于，步骤2所述在第5层使用两次卷积操作，在两次卷积操作之后加上EC-SAM注意力模块具体为：

EC-SAM注意力模块包括通道注意力机制和空间注意力机制；

其中，通道注意力机制具体为：对于经第5层两次卷积操作后输出的特征图，采用全局平均池化生成第一通道特征图，同时对经第5层两次卷积操作后输出的特征图，采用全局最大池化生成第二通道特征图，对第一通道特征图和第二通道特征图使用add操作进行融合，再使用激活函数后与经第5层两次卷积操作后输出的特征图进行结合，得到通道注意力特征图；

空间注意力机制具体为：对通道注意力特征图在通道纬度上进行平均池化即将所有通道的空间特征相加取平均，得到一个二维的特征，对通道注意力特征图在通道纬度上进行最大池化即选择出特征值最大的通道的空间特征，得到另一个二维的特征，将上述两个二维的特征进行拼接，拼为通道数为2的特征图，使用二维卷积核对该特征图进行卷积操作，得到特征图上与裂缝对应的空间单元的权重，并与通道注意力特征图进行结合，得到新的特征图。

Images