CN115205230A - 一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法 - Google Patents
一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法 Download PDFInfo
- Publication number
- CN115205230A CN115205230A CN202210722836.7A CN202210722836A CN115205230A CN 115205230 A CN115205230 A CN 115205230A CN 202210722836 A CN202210722836 A CN 202210722836A CN 115205230 A CN115205230 A CN 115205230A
- Authority
- CN
- China
- Prior art keywords
- image
- attention mechanism
- concrete bridge
- multiplied
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims abstract description 11
- 230000003321 amplification Effects 0.000 claims abstract description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004643 material aging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，包括以下步骤；步骤S1、对收集到的混凝土桥梁表观裂缝进行图像预处理；步骤S2、对收集到的图像数据进行增广；步骤S3、对增广后得到的数据集进行归一化处理；然后将经过预处理、数据增广以及归一化处理后的数据按照预设的划分比例，划分为训练集、验证集以及测试集。步骤S4、建立深度残差网络与新型注意力机制相结合的混凝土桥梁表观裂缝识别模型。步骤S5、将步骤S3处理后的图像数据集导入识别模型进行训练以及测试，最终输出测试结果；本发明可以提升裂缝识别准确率，采用所发明的智能算法能够快速准确地识别出混凝土桥梁表观裂缝，减少了人工检查成本，极大提高了检测效率。
Description
技术领域
本发明涉及计算机图像处理技术领域，尤其是一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法。
背景技术
我国是拥有众多河海湖泊的国家，桥梁的建设在我国经济发展之中有着举足轻重的地位，其是连接道路，公路，铁路等的交通枢纽。在长期的使用过程中，桥梁无可避免的受到荷载效应，材料老化劣化以及温度、湿度变化、暴雨暴雪等自然环境的影响，从而会影响桥梁的使用年限。如果不对桥梁进行定期的检查维护，会产生安全事故，危害人民的生命安全，因此亟需一种能够准确快速检测桥梁裂缝的方法。
目前，混凝土桥梁表观裂缝所采用的主要方法以人工检测为主，该方法主观性强，检查耗时耗力，其成本高、工作效率低下。另外对于一些环境恶劣的地方，检测人员难以进入，且可能会危害到检测人员的健康。并且，采用人工目视检测方法会存在着一定的漏检、误检的情况。
近年来，随着计算机技术的发展，基于数字图像处理的裂缝检测方法得到了广泛的关注，主要采用的是以Canny等算子为代表的边缘检测方法，但该方法受噪声，外界环境干扰等因素影响较大，导致检测准确率低下。随着神经网络技术的发展，以深度神经网络为主的检测方法掀起了热潮，但是随着网络的加深不可避免的会产生大量的运算，且未能达到预期的高准确率。
发明内容
本发明提出一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，可以提升裂缝识别准确率，采用所发明的智能算法能够快速准确地识别出混凝土桥梁表观裂缝，减少了人工检查成本，极大提高了检测效率。
本发明采用以下技术方案。
一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，包括以下步骤；
步骤S1、对收集到的混凝土桥梁表观裂缝进行图像预处理；
步骤S2、对收集到的图像数据进行增广，以满足用于图像识别的深度网络的训练需要；
步骤S3、对增广后得到的数据集进行归一化处理；然后将经过预处理、数据增广以及归一化处理后的数据按照预设的划分比例，划分为训练集、验证集以及测试集。
步骤S4、建立深度残差网络与新型注意力机制相结合的混凝土桥梁表观裂缝识别模型。
步骤S5、将步骤S3处理后的图像数据集导入识别模型进行训练以及测试，最终输出测试结果。
步骤S1中，对图像进行去噪以及均衡化处理；步骤S3中，数据按照6:2:2的划分比例划分为训练集、验证集以及测试集。
步骤S2所述数据增广，利用上下翻转以及左右翻转的图像处理方法来对图像进行处理，以生成新的图像样本用于扩充图像数据。
步骤S3所述图像归一化处理方法为，对具有3个通道且像素范围在[0，255]之间RGB原始图像，为了加快网络的收敛速度，将图像的像素范围变为[0，1]之间，采用的归一化方法以公式表述为：
其中Xi,Xmax,Xmin分别表示该输入图像的第i个像素值、该输入图像最大像素以及该输入图像最小像素值；
所述步骤S3的图像的Xmax＝255,Xmin＝0，用于归一化的公式一简化为
步骤S4中的深度残差网络为ResNet18网络，包括用于解决网络在训练过程中的梯度消失或者梯度爆炸问题的残差结构；
所述ResNet18网络分为十八层，由一个卷积层、八个残差块组成，每个残差块含2个卷积层、18个ReLU层、2个池化层、1个全连接层；
步骤S4中，新型注意力机制是由空间注意力模块与通道注意力模块进行串联，在CBAM注意力机制的基础上进行改进而得到的混合域注意力机制，在该机制中去除了平均池化而保留了最大池化，以防止平均池化造成的图像模糊；
新型注意力机制的通道注意力实现步骤如下所示：
步骤C1：输入特征图H×W×C，经过最大池化，特征图大小压缩为1×1×C；
步骤C2：经过第一个全连接层，通道维度压缩至
其中r为压缩系数；
步骤C3：经过第二个全连接层，通道维度恢复至1×1×C；
步骤C4：经过两层全连接层后的特征图像经过Sigmoid激活函数的处理，得到最终的特征图；
步骤C5：将最终输出特征图与原始输入特征图作逐元素相乘，得到通道注意力模块输出，计算公式如下：
Mc(F)＝σ(MLP(MaxPool(F))) 公式三；
其中F表示输入特征图；Mc(F)表示空间注意力特征图；MLP表示全连接层；MaxPool表示最大池化；σ表示sigmoid激活函数；
其中步骤C2、步骤C3的作用是增加非线性和减少运算量；
新型注意力机制的空间注意力实现步骤如下：
步骤S1：输入特征图H×W×C，经过最大池化，特征图大小压缩为H×W×1；
步骤S2：通过1个7×7的等长卷积操作，得到特征图大小H×W×1；
步骤S3：经过两层全连接层后的特征图像经过Sigmoid激活函数的处理，得到最终的特征图；
步骤S4：将最终输出特征图与原始输入特征图作逐元素相乘，得到空间注意力模块输出，计算公式如下:
Ms(F)＝σ(f7×7(MaxPool(F))) 公式四；
其中F表示输入特征图；Ms(F)表示空间注意力特征图；MaxPool表示最大池化；f7×7表示卷积核大小为7×7的卷积层；σ表示sigmoid激活函数。
所述步骤S5中，将划分好的数据集放入到混凝土桥梁表观裂缝识别模型中进行模型的训练，训练时所使用的数据集是训练集，并且使用验证集来对网络进行微调，将训练效果最好的模型保留下来，并使用测试集对网络进行测试。
步骤S1对图像进行去噪时，采用中值滤波的方法对图像进行降噪；在对图像进行均衡化处理时，采用直方图均衡化的方法对图像进行均衡化。
本发明采用注意力机制模型能够聚焦于所关注的对象，本发明所述方案中，采用一种新型的注意力机制模型NDAM与深度残差神经网络相结合能够显著提升桥梁裂缝识别的准确率。
与现有技术相比，本发明的有益效果：本发明的泛化能力较好、准确率较高，进行桥梁裂缝的二分类其准确率可以达到99.36％。相较于传统的ResNet18，本发明的该模型的准确率、精确率、召回率以及F1值分别提升了5.5％、10.63％、3.29％以及7.71％。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明所述方法的流程示意图；
附图2是步骤S1对图像进行去噪的示意图；
附图3是步骤S1对图像进行均衡化处理的前后统计直方图示意图；
附图4是步骤S2中对图像进行翻转处理的示意图；
附图5是混凝土桥梁表观裂缝识别模型的残差结构示意图；
附图6是混凝土桥梁表观裂缝识别模型的NDAM注意力机制示意图；
附图7是混凝土桥梁表观裂缝识别模型的的通道注意力模块示意图；
附图8是混凝土桥梁表观裂缝识别模型的空间注意力模块示意图；
附图9是实施例中ResNet18+NDAM实验结果示意图；
附图10是实施例中ResNet18的实验结果示意图；
附图11是实施例中的对比实验结果示意图。
具体实施方式
如图所示，一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，包括以下步骤；
步骤S1、对收集到的混凝土桥梁表观裂缝进行图像预处理；
步骤S2、对收集到的图像数据进行增广，以满足用于图像识别的深度网络的训练需要；
步骤S3、对增广后得到的数据集进行归一化处理；然后将经过预处理、数据增广以及归一化处理后的数据按照预设的划分比例，划分为训练集、验证集以及测试集。
步骤S4、建立深度残差网络与新型注意力机制相结合的混凝土桥梁表观裂缝识别模型。
步骤S5、将步骤S3处理后的图像数据集导入识别模型进行训练以及测试，最终输出测试结果。
步骤S1中，对图像进行去噪以及均衡化处理；步骤S3中，数据按照6:2:2的划分比例划分为训练集、验证集以及测试集。
如图4所示，步骤S2所述数据增广，利用上下翻转以及左右翻转的图像处理方法来对图像进行处理，以生成新的图像样本用于扩充图像数据。
步骤S3所述图像归一化处理方法为，对具有3个通道且像素范围在[0，255]之间RGB原始图像，为了加快网络的收敛速度，将图像的像素范围变为[0，1]之间，采用的归一化方法以公式表述为：
其中Xi,Xmax,Xmin分别表示该输入图像的第i个像素值、该输入图像最大像素以及该输入图像最小像素值；
所述步骤S3的图像的Xmax＝255,Xmin＝0，用于归一化的公式一简化为
如图5所示，步骤S4中的深度残差网络为ResNet18网络，包括用于解决网络在训练过程中的梯度消失或者梯度爆炸问题的残差结构；
所述ResNet18网络分为十八层，由一个卷积层、八个残差块组成，每个残差块含2个卷积层、18个ReLU层、2个池化层、1个全连接层；
如图6所示，步骤S4中，新型注意力机制是由空间注意力模块与通道注意力模块进行串联，在CBAM注意力机制的基础上进行改进而得到的混合域注意力机制，在该机制中去除了平均池化而保留了最大池化，以防止平均池化造成的图像模糊；
图7为通道注意力模块，图8为空间注意力模块；
新型注意力机制的通道注意力实现步骤如下所示：
步骤C1：输入特征图H×W×C，经过最大池化，特征图大小压缩为1×1×C；
步骤C2：经过第一个全连接层，通道维度压缩至
其中r为压缩系数；
步骤C3：经过第二个全连接层，通道维度恢复至1×1×C；
步骤C4：经过两层全连接层后的特征图像经过Sigmoid激活函数的处理，得到最终的特征图；
步骤C5：将最终输出特征图与原始输入特征图作逐元素相乘，得到通道注意力模块输出，计算公式如下：
Mc(F)＝σ(MLP(MaxPool(F))) 公式三；
其中F表示输入特征图；Mc(F)表示空间注意力特征图；MLP表示全连接层；MaxPool表示最大池化；σ表示sigmoid激活函数；
其中步骤C2、步骤C3的作用是增加非线性和减少运算量；
新型注意力机制的空间注意力实现步骤如下：
步骤S1：输入特征图H×W×C，经过最大池化，特征图大小压缩为H×W×1；
步骤S2：通过1个7×7的等长卷积操作，得到特征图大小H×W×1；
步骤S3：经过两层全连接层后的特征图像经过Sigmoid激活函数的处理，得到最终的特征图；
步骤S4：将最终输出特征图与原始输入特征图作逐元素相乘，得到空间注意力模块输出，计算公式如下:
Ms(F)＝σ(f7×7(MaxPool(F))) 公式四；
其中F表示输入特征图；Ms(F)表示空间注意力特征图；MaxPool表示最大池化；f7×7表示卷积核大小为7×7的卷积层；σ表示sigmoid激活函数。
所述步骤S5中，将划分好的数据集放入到混凝土桥梁表观裂缝识别模型中进行模型的训练，训练时所使用的数据集是训练集，并且使用验证集来对网络进行微调，将训练效果最好的模型保留下来，并使用测试集对网络进行测试。
如图2所示，步骤S1对图像进行去噪时，采用中值滤波的方法对图像进行降噪；如图3所示，在对图像进行均衡化处理时，采用直方图均衡化的方法对图像进行均衡化。
实施例：
本例中，所使用的是混凝土桥梁表观裂缝数据集，主要包括了5000张裂缝图像即正样本，5000张非裂缝图像即负样本，将正、负样本按照训练集：验证集：测试集＝6:2:2的比例进行划分，然后进行网络的训练与测试。
在本实施例中所使用的计算机系统为Window10，所使用的编程语言是Python，程序编写的框架是Pyhorch。在本例中，所使用的学习率是0.9×10-5，由于所使用计算机配置的限值，所使用的Batchsize为32。
利用对比实验来说明本发明的效果，所使用的对比网络是未加本发明注意力机制的ResNet18网络。对两个网络进行训练，得到其准确率以及损失值的图像，分别如图9和图10所示，以及两者的对比图如图11所示，由于验证集上的损失是不参与到模型的训练中的，而其准确率对于模型的参数调整是比较重要的，因此在该图中仅考虑训练集上的损失值对比以及验证集上的准确率。
图9为本发明的实验结果，由图可以看出，使用本发明的网络训练集与验证集之间的误差较小，即网络的泛化能力较好，且该网络在训练过程中的波动比较小，即网络的训练效果比较好；而图10为仅使用了ResNet18进行训练的结果，由图可以看出，仅使用ResNet18进行训练，网络的泛化能力较差，且训练过程中波动范围较大；图11为二者对比的结果图，由图可以出，使用NDAM注意力机制后网络的准确率较高且损失值较小，说明该网络的训练效果较好，但是其迭代次数较多，这是由于加入注意力机制模块后会引入新的参数，导致网络在训练的时候较慢。
除此之外，也从准确率、精确率、召回率以及F1-值的角度对网络的效果进行评价。
准确率：分类正确的样本占所有样本的比例，计算公式如下所示：
精确率：正确地预测为类别i的样本数占预测为i的样本总数的比例，其又被称为查准率，计算公式如下所示：
召回率：正确地预测为i的样本数占实际类别为i样本总数的比例，其又被称查全率，计算公式如下所示：
F1-值：精确率与召回率的调和平均数，计算公式如下所示：
表1为训练实验结果：
表1实验结果
| 类别 | 准确率(％) | 精确率(％) | 召回率(％) | F1值(％) |
| ResNet18+NDAM | 99.36 | 98.96 | 99.04 | 99.00 |
| ResNet18 | 93.86 | 88.33 | 95.75 | 91.29 |
由表中数据可知，本发明所提出的方法在混凝土桥梁表观裂缝识别方面具有优异的效果，其准确率达到了99.36％。
相较于ResNet18，该模型的准确率、精确率、召回率以及F1值分别提升了5.5％、10.63％、3.29％以及7.71％。
且由表可以明显的看出，仅使用ResNet18进行训练所得到精确率较低，造成该现象的原因可能是由于训练中所使用的数据集不够多，网络训练的不够充分，在对数据集进行测试时过多的将负样本预测为正样本，即将背景当作裂缝而识别出来了。
Claims (7)
1.一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，其特征在于：包括以下步骤；
步骤S1、对收集到的混凝土桥梁表观裂缝进行图像预处理；
步骤S2、对收集到的图像数据进行增广，以满足用于图像识别的深度网络的训练需要；
步骤S3、对增广后得到的数据集进行归一化处理；然后将经过预处理、数据增广以及归一化处理后的数据按照预设的划分比例，划分为训练集、验证集以及测试集。
步骤S4、建立深度残差网络与新型注意力机制相结合的混凝土桥梁表观裂缝识别模型。
步骤S5、将步骤S3处理后的图像数据集导入识别模型进行训练以及测试，最终输出测试结果。
2.根据权利要求1所述的一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，其特征在于：步骤S1中，对图像进行去噪以及均衡化处理；步骤S3中，数据按照6:2:2的划分比例划分为训练集、验证集以及测试集。
3.根据权利要求1所述的一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，其特征在于：步骤S2所述数据增广，利用上下翻转以及左右翻转的图像处理方法来对图像进行处理，以生成新的图像样本用于扩充图像数据。
4.根据权利要求1所述的一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，其特征在于：步骤S3所述图像归一化处理方法为，对具有3个通道且像素范围在[0，255]之间RGB原始图像，为了加快网络的收敛速度，将图像的像素范围变为[0，1]之间，采用的归一化方法以公式表述为：
其中Xi,Xmax,Xmin分别表示该输入图像的第i个像素值、该输入图像最大像素以及该输入图像最小像素值；
所述步骤S3的图像的Xmax＝255,Xmin＝0，用于归一化的公式一简化为
5.根据权利要求1所述的一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，其特征在于：步骤S4中的深度残差网络为ResNet18网络，包括用于解决网络在训练过程中的梯度消失或者梯度爆炸问题的残差结构；
所述ResNet18网络分为十八层，由一个卷积层、八个残差块组成，每个残差块含2个卷积层、18个ReLU层、2个池化层、1个全连接层；
步骤S4中，新型注意力机制是由空间注意力模块与通道注意力模块进行串联，在CBAM注意力机制的基础上进行改进而得到的混合域注意力机制，在该机制中去除了平均池化而保留了最大池化，以防止平均池化造成的图像模糊；
新型注意力机制的通道注意力实现步骤如下所示：
步骤C1：输入特征图H×W×C，经过最大池化，特征图大小压缩为1×1×C；
步骤C2：经过第一个全连接层，通道维度压缩至
其中r为压缩系数；
步骤C3：经过第二个全连接层，通道维度恢复至1×1×C；
步骤C4：经过两层全连接层后的特征图像经过Sigmoid激活函数的处理，得到最终的特征图；
步骤C5：将最终输出特征图与原始输入特征图作逐元素相乘，得到通道注意力模块输出，计算公式如下：
Mc(F)＝σ(MLP(MaxPool(F))) 公式三；
其中F表示输入特征图；Mc(F)表示空间注意力特征图；MLP表示全连接层；MaxPool表示最大池化；σ表示sigmoid激活函数；
其中步骤C2、步骤C3的作用是增加非线性和减少运算量；
新型注意力机制的空间注意力实现步骤如下：
步骤S1：输入特征图H×W×C，经过最大池化，特征图大小压缩为H×W×1；
步骤S2：通过1个7×7的等长卷积操作，得到特征图大小H×W×1；
步骤S3：经过两层全连接层后的特征图像经过Sigmoid激活函数的处理，得到最终的特征图；
步骤S4：将最终输出特征图与原始输入特征图作逐元素相乘，得到空间注意力模块输出，计算公式如下:
Ms(F)＝σ(f7×7(MaxPool(F))) 公式四；
其中F表示输入特征图；Ms(F)表示空间注意力特征图；MaxPool表示最大池化；f7×7表示卷积核大小为7×7的卷积层；σ表示sigmoid激活函数。
6.根据权利要求1所述的一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，其特征在于：所述步骤S5中，将划分好的数据集放入到混凝土桥梁表观裂缝识别模型中进行模型的训练，训练时所使用的数据集是训练集，并且使用验证集来对网络进行微调，将训练效果最好的模型保留下来，并使用测试集对网络进行测试。
7.根据权利要求2所述的一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法，其特征在于：步骤S1对图像进行去噪时，采用中值滤波的方法对图像进行降噪；在对图像进行均衡化处理时，采用直方图均衡化的方法对图像进行均衡化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210722836.7A CN115205230A (zh) | 2022-06-21 | 2022-06-21 | 一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210722836.7A CN115205230A (zh) | 2022-06-21 | 2022-06-21 | 一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115205230A true CN115205230A (zh) | 2022-10-18 |
Family
ID=83577794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210722836.7A Pending CN115205230A (zh) | 2022-06-21 | 2022-06-21 | 一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205230A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485729A (zh) * | 2023-04-03 | 2023-07-25 | 兰州大学 | 基于transformer的多级桥梁缺陷检测方法 |
-
2022
- 2022-06-21 CN CN202210722836.7A patent/CN115205230A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485729A (zh) * | 2023-04-03 | 2023-07-25 | 兰州大学 | 基于transformer的多级桥梁缺陷检测方法 |
| CN116485729B (zh) * | 2023-04-03 | 2024-01-12 | 兰州大学 | 基于transformer的多级桥梁缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402248B (zh) | 一种基于机器视觉的输电线路导线缺陷检测方法 | |
| CN108052980B (zh) | 基于图像的空气质量等级检测方法 | |
| CN108665460B (zh) | 基于组合神经网络和分类神经网络的图像质量评价方法 | |
| CN111091541B (zh) | 一种铁路货车横跨梁组装螺母丢失故障识别方法 | |
| CN110751644B (zh) | 道路表面裂纹检测方法 | |
| CN114820625B (zh) | 一种汽车顶块缺陷检测方法 | |
| CN111105389A (zh) | 融合Gabor滤波器与卷积神经网络的路面裂缝的检测方法 | |
| CN112070720A (zh) | 一种基于深度学习模型的变电站设备缺陷识别方法 | |
| CN111429510A (zh) | 基于自适应特征金字塔的花粉检测方法 | |
| CN112785578A (zh) | 一种基于u型编码解码器神经网络的道路裂缝检测方法及系统 | |
| CN113065484A (zh) | 一种基于紫外图谱的绝缘子污秽状态评估方法 | |
| CN115205230A (zh) | 一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法 | |
| CN116612098A (zh) | 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置 | |
| CN115170520A (zh) | 一种基于结构对比信息叠层的金属网栅缺陷检测方法 | |
| CN115908142A (zh) | 一种基于视觉识别的接触网微小部件验损方法 | |
| CN115423741A (zh) | 一种基于深度学习的结构缺陷检测方法 | |
| CN110349119B (zh) | 基于边缘检测神经网络的路面病害检测方法和装置 | |
| CN114092456A (zh) | 细胞荧光图像判别方法及系统 | |
| CN112418334B (zh) | 一种铁路动车裙板格栅变形故障识别方法 | |
| CN111091554B (zh) | 铁路货车摇枕断裂故障图像识别方法 | |
| CN108537762B (zh) | 基于深度多尺度网络的二次jpeg压缩图像取证方法 | |
| CN114581407B (zh) | 一种光伏模块的自适应缺陷检测方法 | |
| CN116109881A (zh) | 基于深度残差网络的粉尘污染评价方法 | |
| CN113034502B (zh) | 一种排水管道缺陷去冗余方法 | |
| CN113393479B (zh) | 一种分割细胞板图像中试管孔的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |