CN115761233A

CN115761233A - 融合CBAM的轻量化UNet裂缝图像分割方法

Info

Publication number: CN115761233A
Application number: CN202211453689.4A
Authority: CN
Inventors: 柏勇; 谢永华
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2022-11-21
Filing date: 2022-11-21
Publication date: 2023-03-07

Abstract

本发明公开了一种融合CBAM的轻量化UNet裂缝分割方法，包括：对裂缝图像数据集预处理，生成模型训练所需的数据集；以原始的UNet作为主干网络，在此基础上进行优化模型；修改模型当中的编码器以及加入空间注意力和通道注意力进行训练，将预处理的裂缝图像数据集输入到模型，训练出最终的模型权重；利用可分离卷积替换原始UNet编码器的传统卷积，以及在注意力中用小卷积去替换大的卷积，减少了模型的参数量。由于本发明减少参数量的方法并未改变原来的感受野，所以对模型的训练不会产生影响。本发明在原始的分割模型上进行了编码器和网络结构的优化，能够在原来基础之上提高分割效果并且减少模型的参数量，有利于模型在实际工程中的部署工作。

Description

融合CBAM的轻量化UNet裂缝图像分割方法

技术领域

本发明涉及深度学习与建筑工程领域，特别是一种融合CBAM的轻量化UNet裂缝图像分割方法。

背景技术

我国基础建设工程飞速发展，工程量的增加也带来了工程安全风险的增加。不乏由于工程建筑中的裂缝导致的工程事故。工程事故时常发生，造成了人员伤亡以及经济损失。实际中，若能对工程中的病害做到提前监测，就可以对可能发生的灾害进行预警，从而避免不必要的损失。研究出一种快速有效的裂缝分割方法就显得十分迫切。

目前现有的研究方法对工程中的裂缝进行了简单的预测。大多数安全检测都以人工方式进行静态检测，动态检测在实际的应用中只是作为补充方式进行辅助监测。传统方式就是检测人员通过肉眼观察裂缝的形状和趋势，利用仪器进行相关特征值的测量。再根据检测人员的从业经验确定其危险系数。这种检测方式处理速度慢，主观性强，缺乏客观性判断因素。当前也有深度学习方法检测的研究，模型的复杂程度在一定程度上也决定了其实际上应用部署时的难度，因为需要大量的计算资源作为支撑，一些嵌入式设备往往不具备强大的计算力。所以在两种技术路线的背景下，寻求一种易于部署的且性能良好的裂缝分割模型就显得尤为重要。

发明内容

本发明解决的技术问题是克服已有的技术存在的缺陷而提供一种平衡了模型复杂度和模型准确度的裂缝分割方法，本发明可以依托小样本的训练集在轻量的模型上进行训练。既减少了模型的参数量，准确度上也并没有明显的下降，更加利于实际工程检验中的部署应用。对检测的设备要求不高。

本发明解决上述问题采用以下的技术方案：

融合CBAM的轻量化UNet裂缝图像分割方法，包括以下步骤：

步骤1、将采集的裂缝图像数据作为样本数据进行预处理；

步骤2、建立改良的UNet网络模型，将经步骤1预处理的样本数据作为输入；

步骤3、获取优化的CBAM模块；

步骤4、在改良的UNet网络模型下采样的过程中，在每一个编码器的后面加上优化的CBAM模块，让每一个编码器的输出进入优化的CBAM模块进行权重分配得到特征图；

步骤5、对步骤4得到的最后一个特征图进行四次上采样操作，在每一次上采样过程中都需要和先前每一层经优化的CBAM模块权重分配的特征图进行特征融合，特征融合后的特征图输入到对应层的解码器中；

步骤6、对于每一层特征融合之后的特征图进行两次卷积操作，并进行通道数的调整，产生权重文件；

步骤7、将步骤6得到的权重文件加载到改良的UNet网络模型中预测，利用改良的UNet网络模型对裂缝图像进行分割检测。

进一步的，所述步骤1包括：

步骤1.1、对每一个样本数据进行图像平滑处理，目的是减少噪音的干扰；

步骤1.2、对每一个样本数据的图像通道数进行压缩，使得样本数据都转换成单通道图像，以此来降低矩阵的维数，在一定程度上可以减少参与模型的计算量。

进一步的，所述步骤1.1中图像平滑处理具体为高斯加权平均。

进一步的，所述步骤1.2对图像通道数进行压缩具体为对图像进行灰度图的处理。

进一步的，所述步骤2中改良的UNet网络模型为利用Mobile-Net中的深度可分离卷积将原始UNet网络中的编码器进行替换，替换过程为在原始UNet网络中的编码器的第一个卷积设置其输出通道数等于其输入通道数，并且设置第一个卷积的groups参数也为输入通道数，在第二个卷积中输入通道数为第一个卷积的输出通道数，第二个卷积的输出通道数为替换的传统卷积的最后输出通道数。最后将第二个卷积kernel_size设置为1即可。步骤2中的操作为本发明主要降低参数量的方式，用两个卷积去代替原来传统卷积。

进一步的，所述步骤3具体为：将ResNet50中原始CBAM模块里的7×7卷积，使用3个3×3的小卷积核替代，替代之后输出的特征图尺寸并未改变，一方面减少了参数量，另一方面感受野并未因此减小，从而获取优化的CBAM模块。

进一步的，步骤4将编码器在每个下采样阶段提取到的特征图送入优化的CBAM模块中，让优化的CBAM模块进行权重分配，继而让学习到权重的特征图进行接下来的每一次下采样操作，使得网络更多的关注裂缝区域，从而抑制无关区域。

进一步的，所述步骤6对模型最终输出图像通道数的调整取决于分类的类别数，对最后输出层的前一次卷积，利用1×1的卷积进行通道数的调整，通道数调整为1。利用1×1的卷积不会损坏特征即可调整输出通道数。

有益效果：

(1)本发明提供了一种融合CBAM的轻量化UNet裂缝分割方法，为裂缝的分割检测提供了新的技术路线，保留了以往模型的优势上，也引入了新的思路，对于在工程上部署相关模型具有重要意义。

(2)本发明提出的UNet结构，对于原始UNet的编码器进行了重新设计，结构的重新设计带来的是模型的轻量化，对于后期的实际工程部署具有重要的工程意义。

(3)本发明的最终结果是实现对裂缝图像的分割检测，若考虑其他实验因素影响，例如数据集的质量、大小，实验中模型训练时优化器的选择，可以更好的提高模型训练效果。

附图说明

图1是本发明的整体流程示意图。

图2是深度可分离卷积示意图。

图3是CBAM模型结构示意图。

图4是最终分割模型结构示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本发明是将原始UNet的结构进行优化，将原始的编码器中的卷积全部替换为可分离卷积之后，在编码器后面接上CBAM进行权重分配，从而更好的提取特征进行学习。对模型的训练以及最终的预测都有帮助。

参见附图1，根据本文提出的一种融合CBAM的轻量化UNet裂缝分割方法，具体包括以下步骤：

步骤1、首先要对裂缝图像数据集进行预处理。处理完的数据集，通过模型训练出的权重才是最终需要的模型核心。

步骤2、参见附图2，利用Mobile-Net中的深度可分离卷积对原始UNet网络中的编码器进行替换。将传统卷积替换为可分离卷积以此减少参数量的过程，通过组合操作来完成。利用单通道的卷积核对输入特征图进行卷积，卷积核个数需要和输入通道数保持一致。接下来利用的卷积核通道数需要和上一次输出通道数保持一致，最后的特征图个数取决于第二次的卷积核个数。

步骤3、参见附图3，将原始CBAM模块里的7×7卷积进行替换，使用3个3×3的小卷积核替代，一方面减少了参数量，另一方面感受野并未因此减小。

在空间注意力和通道注意力中，将原有大的7×7卷积替换为小的3×3卷积，在不影响感受野的情况下，从而进一步降低模型的参数量。

步骤4、参见附图4，在下采样的过程中，每一个编码器的后面加上优化的CBAM模块。让每一个编码器的输出进入CBAM进行权重分配。对于每一层编码器提取到的特征，都进行注意力权重分配，以此获得更好的提取特征效果。

步骤5、参见附图4，对得到的特征图进行一个4次的上采样操作。在每一次上采样过程中都需要和先前每一层CBAM的输出特征图进行特征融合。将编码阶段的特征和上采样的特征进行融合，恢复一些下采样时丢失的细节信息。

步骤6、参见附图4，对于每一层融合之后的特征图进行两次卷积操作，进行通道数的调整。对最后输出层的前一次卷积，利用1×1的卷积进行通道数的调整。对于分割任务，最终分割的效果呈现为裂缝和背景。调整最后输出前的卷积输出通道数为1即可。

步骤7、将训练得到的权重文件加载到模型中检测。加载权重文件到模型中去，进而预测裂缝图像以检测效果。

本发明公开了一种融合CBAM的轻量化UNet裂缝分割方法，涉及到图像分割领域问题。首先对裂缝图像数据集预处理，生成模型训练所需的数据集；然后，以原始的UNet作为主干网络，在此基础上进行优化模型。修改模型当中的编码器以及加入空间注意力和通道注意力进行训练，将预处理的裂缝图像数据集输入到模型，训练出最终的模型权重；利用可分离卷积替换原始UNet编码器的传统卷积，以及在注意力中用小卷积去替换大的卷积，都大大减少了模型的参数量。由于本发明减少参数量的方法并未改变原来的感受野，所以对模型的训练不会产生影响。在编码阶段利用注意力进一步提取特征，在后期解码阶段和上采样的特征融合，以此来提高模型的效果。本发明在原始的分割模型上进行了编码器和网络结构的优化，能够在原来基础之上提高分割效果并且减少模型的参数量，有利于模型在实际工程中的部署工作。

以上内容是结合具体的模拟实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出替代和改变，都应当视为属于本发明的保护范围。

Claims

1.融合CBAM的轻量化UNet裂缝图像分割方法，其特征在于，包括以下步骤：

步骤1、将采集的裂缝图像数据作为样本数据进行预处理；

步骤3、获取优化的CBAM模块；

步骤5、对步骤4得到的特征图进行上采样操作，在每一次上采样过程中都需要和先前每一层经优化的CBAM模块权重分配的特征图进行特征融合，特征融合后的特征图输入到对应层的解码器中；

2.根据权利要求1所述的融合CBAM的轻量化UNet裂缝图像分割方法，其特征在于，所述步骤1包括：

步骤1.1、对每一个样本数据进行图像平滑处理；

步骤1.2、对每一个样本数据的图像通道数进行压缩，使得样本数据都转换成单通道图像。

3.根据权利要求2所述的融合CBAM的轻量化UNet裂缝图像分割方法，其特征在于，所述步骤1.1中图像平滑处理具体为高斯加权平均。

4.根据权利要求2所述的融合CBAM的轻量化UNet裂缝图像分割方法，其特征在于，所述步骤1.2对图像通道数进行压缩具体为对图像进行灰度图的处理。

5.根据权利要求1所述的融合CBAM的轻量化UNet裂缝图像分割方法，其特征在于，所述步骤2中改良的UNet网络模型为利用Mobile-Net中的深度可分离卷积将原始UNet网络中的编码器进行替换，替换过程为在原始UNet网络中的编码器的第一个卷积设置其输出通道数等于其输入通道数，并且设置第一个卷积的groups参数也为输入通道数，在第二个卷积中输入通道数为第一个卷积的输出通道数，第二个卷积的输出通道数为替换的传统卷积的最后输出通道数。

6.根据权利要求1所述的融合CBAM的轻量化UNet裂缝图像分割方法，其特征在于，所述步骤3具体为：将ResNet50中原始CBAM模块里的7×7卷积，使用3个3×3的小卷积核替代，替代之后输出的特征图尺寸并未改变，从而获取优化的CBAM模块。

7.根据权利要求1所述的融合CBAM的轻量化UNet裂缝图像分割方法，其特征在于，步骤4将编码器在每个下采样阶段提取到的特征图送入优化的CBAM模块中，让优化的CBAM模块进行权重分配，继而让学习到权重的特征图进行接下来的每一次下采样操作，使得网络更多的关注裂缝区域，从而抑制无关区域。

8.根据权利要求1所述的融合CBAM的轻量化UNet裂缝图像分割方法，其特征在于，所述步骤6对模型最终输出图像通道数的调整取决于分类的类别数，对最后输出层的前一次卷积，利用1×1的卷积进行通道数的调整。