CN111681240A - 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法 - Google Patents

一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法 Download PDF

Info

Publication number
CN111681240A
CN111681240A CN202010648624.XA CN202010648624A CN111681240A CN 111681240 A CN111681240 A CN 111681240A CN 202010648624 A CN202010648624 A CN 202010648624A CN 111681240 A CN111681240 A CN 111681240A
Authority
CN
China
Prior art keywords
feature map
convolution
yolo
crack
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010648624.XA
Other languages
English (en)
Other versions
CN111681240B (zh
Inventor
黄捷
张岳鑫
蔡逢煌
齐义文
王武
柴琴琴
蔡颖
李卓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010648624.XA priority Critical patent/CN111681240B/zh
Publication of CN111681240A publication Critical patent/CN111681240A/zh
Application granted granted Critical
Publication of CN111681240B publication Critical patent/CN111681240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，包括以下步骤：将数据集分为训练集与测试集；构建Crack‑YOLO网络，并对该网络的输出检测框进行优化；采用训练集对优化好的Crack‑YOLO网络进行训练，采用测试集对训练好的Crack‑YOLO网络进行测试；将待测试的图片输入测试通过的Crack‑YOLO网络，以检测桥梁表面裂痕。本发明能够准确识别和定位桥梁裂痕。

Description

一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
技术领域
本发明涉及桥梁表面裂痕检测技术领域，特别是一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法。
背景技术
在诸多桥梁的病害中，桥梁的裂缝是比较难以检测的一种破损状态，也是危及到桥梁安全的一个重要问题。当裂缝宽度过大时会直接破坏结构的整体性，引起混凝土碳化、保护层剥落和钢筋腐蚀，使桥梁承载能力大为降低，严重时甚至发生垮塌事故。因此，采取有效手段对桥梁裂缝进行监测并预防，对确保桥梁交通的安全和正常运行起着十分重要的作用。而在所有裂痕检测技术中，利用视觉检查是最为方便快捷。然而，人工检测高度依赖检查员的主观经验，有时会出现错误的检测结果。而计算机图像处理技术能通过对采集到的大量图像进行自动处理和分析，从图像中可以识别出桥梁的裂缝。
现有的裂痕检测算法主要是以手工特征设计和模板匹配等为代表的传统图像处理算法。其中，文献(Abdelqader,I.,Abudayyeh,O.,and Kelly,M.(2003).Analysis ofedge-detection techniques for crack identification in bridges.Journal ofComputing in Civil Engineering,17(4),255-263.)比较了四种裂痕检测算法：快速Haar变换、快速傅里叶变换、Sobel算法和Canny算法。四种检测算法中，快速Haar变换的性能明显优于其它三种检测算法，但是难以对含有噪声的图像数据进行阈值处理，检测精度也远低于人工检测。文献(阮小丽，王波，荆国强，等.桥梁混凝土结构表面裂缝自动识别技术研究[J].世界桥梁,2017,45(6):55-59.)在图像预处理基础上,通过裂缝的特性寻找裂缝区域的交叉点提取裂痕，但是对图像的光照和角度有很高的要求，泛化性差。在更为先进的方法中，文献(Zalama E,Gomezgarciabermejo J,Medina R,et al.Road crack detectionusing visual features extracted by Gabor filters[J].Computer-Aided Civil andInfrastructure Engineering,2014,29(5),342-358.)提出了使用Gabor作为特征提取的算法，采用Adaboost算法对分类器进行选择和组合，从而提高了单个分类器的分类结果。文献(Zhang H,Tan J,Liu L,et al.Automatic crack inspection for concrete bridgebottom surfaces based on machine vision//2017Chinese Automation Congress(CAC).Jinan,China,2017:4938-4943.)通过结合ORB算法和局部定向证据(LDE)方法来提取裂痕。文献(Li G,He S,Ju Y,et al.Long-distance precision inspection methodfor bridge cracks with image processing[J].Automation in Construction,2014,41:83-95.)提出了一种改进的基于C-V模型的裂纹提取算法，并采用电子距离测量算法计算裂纹宽度。以上算法虽然自动化程度较高，但是图像的噪声过于复杂时仍然会很大程度上影响算法的检测精度。因此，需要有一种能准确识别和定位桥梁裂痕的检测方法，以适用于各种复杂条件下的裂痕图像。
发明内容
有鉴于此，本发明的目的是提出一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，能够准确识别和定位桥梁裂痕。
本发明采用以下方案实现：一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，具体包括以下步骤：
将数据集分为训练集与测试集；
构建Crack-YOLO网络，并对该网络的输出检测框进行优化；
采用训练集对优化好的Crack-YOLO网络进行训练，采用测试集对训练好的Crack-YOLO网络进行测试；
将待测试的图片输入测试通过的Crack-YOLO网络，以检测桥梁表面裂痕。
进一步地，所述将数据集分为训练集与测试集具体为：
将数据集中的图片统一缩放为416*416分辨率，并将数据集分为训练集、验证集和测试集；对训练数据进行包括随机翻转、平移、模糊和改变亮度、对比度和曝光度在内的操作，以增加数据的多样性；使用K-means算法对训练集中标注的候选框进行聚类以得到优化框。
进一步地，所述构建Crack-YOLO网络具体为：
所述Crack-YOLO网络包括深度可分离卷积操作模块Dsonv、常规卷积Conv、卷积块注意力模块CBAM、以及带反转残差结构的深度可分离卷积操作模块Block；
首先，输入的图片经过预处理后首先经过深度可分离卷积操作模块Dsonv，Dsonv使用16个大小为3*3的深度可分离卷积，卷积的步长为2，输出为一个大小为208*208的特征图；
接着，将输出的208*208的特征图依次通过3个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个104*104的特征图；
接着，将输出的104*104的特征图依次通过包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个52*52的特征图；
接着，将输出的52*52的特征图通过一个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个26*26的特征图A；
接着，特征图A依次通过3个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block和5个包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个13*13的特征图B，特征图B的每个点预测3个检测框并对应3个置信度，置信度表示对应检测框包含裂痕的可能性大小；
接着，将特征图B经过上采样后与特征图A拼接，得到一个26*26特征图C，特征图C的每个点预测3个检测框并对应的3个置信度。
进一步地，所述深度可分离卷积由一个深度卷积和一个逐点卷积组成。
进一步地，所述不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block先将输入特征图使用逐点卷积升维，而后使用3*3深度卷积和激活函数LeakyReLu对特征进行滤波，接着使用逐点卷积和LeakyReLu对特征再降维，得到本层特征的输出，并与输入的特征图进行拼接得到一个新的特征图。
进一步地，所述包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block先通过深度可分离卷积操作模块Block得到一个特征图，然后将该特征图通过卷积块注意力模块CBAM得到一个新的特征图。
进一步地，所述卷积块注意力模块CBAM中的流程具体为：
对于输入的特征图F∈RC*H*W，其中，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽，CBAM将会顺序推理出一维的通道注意力特征图MC∈RC*1*1以及二维的空间注意力特征图MS∈R1*H*W，过程如下所示：
Figure BDA0002574081960000051
Figure BDA0002574081960000052
其中
Figure BDA0002574081960000053
为逐元素相乘，首先将通道注意力特征图与输入的特征图相乘得到F′，之后计算F′的空间注意力特征图，并将两者相乘得到最终的输出F″。
进一步地，所述通道注意力特征图MC的计算过程如下：
Figure BDA0002574081960000054
式中，σ表示sigmoid激活函数，MLP表示两层的共享全连接层，W0表示第1层全连接层，W1表示第2层全连接层，
Figure BDA0002574081960000055
表示对特征图F平均池化AvgPool后的值，
Figure BDA0002574081960000056
表示对特征图F最大池化MaxPool后的值；
空间注意力特征图MS计算过程如下：
Figure BDA0002574081960000057
式中，f7*7表示7*7的卷积层，
Figure BDA0002574081960000058
表示对特征图F′平均池化AvgPool后的值，
Figure BDA0002574081960000059
表示表示对特征图F′最大池化MaxPool后的值。
进一步地，所述对该网络的输出进行优化具体为：将输出的两种尺度的检测框，分别进行如下操作：将置信度小于阈值的过滤掉，接着使用非极大值抑制算法对剩下的检测框进行筛选得到最佳的裂痕检测框。
其中，所述使用非极大值抑制算法对剩下的检测框进行筛选得到最佳的裂痕检测框具体为：首先从所有的检测框中找到置信度最大的那个框，然后逐个计算其与剩余检测框的IOU，IOU即两个框的交集除以两个框的并集，如果其值大于设定的阈值，就将该框剔除，最后留下来的就是最佳的检测框。
与现有技术相比，本发明有以下有益效果：本发明针对现有的桥梁裂痕检测算法难以应用在复杂环境下检测的问题，提出了一种结合了YOLO v3和注意力机制的桥梁表面裂痕检测算法Crack-YOLO。Crack-YOLO的卷积层数为16层，输出检测框为两种尺度，可以降低网络复杂性，适用于裂痕检测。使用MobileNets的深度可分离卷积将标准卷积分解为一个深度卷积和一个逐点卷积，降低网络的参数量，实现网络轻量化的目的。使用Mobilenetv2的反转残差块结构，提高预测精度。使用卷积块注意力模块，从图像信息中快速筛选出裂痕信息，抑制其他无用信息，提高图像信息处理的效率与准确性。本发明能对桥梁表面裂痕取得优异的检测效果，同时拥有实时的检测速度。
附图说明
图1为本发明实施例的Crack-YOLO的结构图。
图2为本发明实施例的深度可分离卷积与标准卷积的解析图。
图3为本发明实施例的反转残差块的结构图。
图4为本发明实施例的卷积块注意力模块的结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供了一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，具体包括以下步骤：
将数据集分为训练集与测试集；
构建Crack-YOLO网络，并对该网络的输出检测框进行优化；
采用训练集对优化好的Crack-YOLO网络进行训练，采用测试集对训练好的Crack-YOLO网络进行测试；
将待测试的图片输入测试通过的Crack-YOLO网络，以检测桥梁表面裂痕。
在本实施例中，所述将数据集分为训练集与测试集具体为：
将数据集中的图片统一缩放为416*416分辨率，并将数据集分为训练集、验证集和测试集；对训练数据进行包括随机翻转、平移、模糊和改变亮度、对比度和曝光度在内的操作，以增加数据的多样性；使用K-means算法对训练集中标注的候选框进行聚类以得到优化框。
在本实施例中，所述构建Crack-YOLO网络具体为：
如图1所示，所述Crack-YOLO网络包括深度可分离卷积操作模块Dsonv、常规卷积Conv、卷积块注意力模块CBAM、以及带反转残差结构的深度可分离卷积操作模块Block；
首先，输入的图片经过预处理后首先经过深度可分离卷积操作模块Dsonv，Dsonv使用16个大小为3*3的深度可分离卷积，卷积的步长为2，输出为一个大小为208*208的特征图；
接着，将输出的208*208的特征图依次通过3个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个104*104的特征图；
接着，将输出的104*104的特征图依次通过包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个52*52的特征图；
接着，将输出的52*52的特征图通过一个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个26*26的特征图A；
接着，特征图A依次通过3个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block和5个包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个13*13的特征图B，特征图B的每个点预测3个检测框并对应3个置信度，置信度表示对应检测框包含裂痕的可能性大小；
接着，将特征图B经过上采样后与特征图A拼接，得到一个26*26特征图C，特征图C的每个点预测3个检测框并对应的3个置信度。
在本实施例中，所述深度可分离卷积由一个深度卷积和一个逐点卷积组成。能够有效减少计算量以及模型的大小。如图2所示，图2中的(a)为普通卷积，图2中的(b)为深度卷积，图2中的(c)为逐点卷积。若一个输入的特征图F大小为DG*DG*N，经过卷积操作后得到一个大小为DF*DF*M的特征图G，其中DG表示输入特征图的宽和高，N是输入的通道数，DF为输出特征图的宽和高，M是输出的通道数，DK是卷积核的宽和高。则标准卷积的计算量为：
DK*DK*M*N*DF*DF；
深度可分离卷积的计算量为：
DK*DK*M*DF*DF+M*N*DF*DF；
由于此处使用的是3*3的卷积核，因此深度可分离卷积相较于标准卷积少了8到9倍的计算量。
在本实施例中，如图3所示，所述不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block先将输入特征图使用逐点卷积升维，而后使用3*3深度卷积和激活函数LeakyReLu对特征进行滤波，接着使用逐点卷积和LeakyReLu对特征再降维，得到本层特征的输出，并与输入的特征图进行拼接得到一个新的特征图。其中，LeakyReLu的公式如下：
Figure BDA0002574081960000091
式中，x表示输入的值，a表示预设的斜率值。
在本实施例中，所述包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block先通过深度可分离卷积操作模块Block得到一个特征图，然后将该特征图通过卷积块注意力模块CBAM得到一个新的特征图。
在本实施例中，如图4所示，所述卷积块注意力模块CBAM中的流程具体为：
对于输入的特征图F∈RC*H*W，其中，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽，CBAM将会顺序推理出一维的通道注意力特征图MC∈RC*1*1以及二维的空间注意力特征图MS∈R1*H*W，过程如下所示：
Figure BDA0002574081960000101
Figure BDA0002574081960000102
其中
Figure BDA0002574081960000103
为逐元素相乘，首先将通道注意力特征图与输入的特征图相乘得到F′，之后计算F′的空间注意力特征图，并将两者相乘得到最终的输出F″。
其中，所述通道注意力特征图MC的计算过程如下：
Figure BDA0002574081960000104
式中，σ表示sigmoid激活函数，MLP表示两层的共享全连接层，W0表示第1层全连接层，W1表示第2层全连接层，
Figure BDA0002574081960000105
表示对特征图F平均池化AvgPool后的值，
Figure BDA0002574081960000106
表示对特征图F最大池化MaxPool后的值；
空间注意力特征图MS计算过程如下：
Figure BDA0002574081960000107
式中，f7*7表示7*7的卷积层，
Figure BDA0002574081960000108
表示对特征图F′平均池化AvgPool后的值，
Figure BDA0002574081960000109
表示表示对特征图F′最大池化MaxPool后的值。
在本实施例中，所述对该网络的输出进行优化具体为：将输出的两种尺度的检测框，分别进行如下操作：将置信度小于阈值的过滤掉，接着使用非极大值抑制算法对剩下的检测框进行筛选得到最佳的裂痕检测框。
其中，所述使用非极大值抑制算法对剩下的检测框进行筛选得到最佳的裂痕检测框具体为：首先从所有的检测框中找到置信度最大的那个框，然后逐个计算其与剩余检测框的IOU，IOU即两个框的交集除以两个框的并集，如果其值大于设定的阈值，就将该框剔除，最后留下来的就是最佳的检测框。
在本实施例中，通过Python编程语言和Keras深度学习框架实现Crack-YOLO网络。使用训练集的图像对Crack-YOLO网络进行训练，验证集的图像用于判断网络的训练效果。同时为了做对比，使用同样的训练方法对YOLO v3进行训练。
同时，本实施例使用测试集对训练好的Crack-YOLO和YOLO v3进行测试评估，并对比两个网络的测试结果。通过准确率、召回率和网络权重大小三个方面做对比。
本实施例将实验配置环境设置为：Windows 10操作系统、CPU为Intel Corei5-8500、GPU为NVIDIAGeForce GTX2070(8GB显存)、内存16GB、使用Python3.6，深度学习框架为Keras，并安装cuda10.0加速计算。在此平台上完成程序的编写和网络的训练。
本实施例共收集了1500张1024*1024分辨率的不同裂痕的桥梁图片，使用该数据集训练并验证本实施例提出的算法。为了增强数据的可靠性，对图像统一缩放为416*416分辨率，将数据集分为3组，其中训练集960张，验证集240张，测试集300张。为了增加数据多样性，对训练数据做随机翻转、平移、模糊和改变亮度、对比度和曝光度等操作。使用K-means算法对标注的候选框进行聚类以得到优化框，将交并比(IntersectionoverUnion，IOU)代替欧氏距离作为衡量标准：
d(box,center)＝1-IOU(box,center)；
获取到的优化框为(213,212)，(218,223)，(228,231)，(230,219)，(240,238)，(458,150)。配合本实施例设计的网络的两种预测框尺度，每个尺度分别分配三个锚点框进行训练。
接下来，本实施例对Crack-YOLO网络进行训练，权值的初始学习率为0.1，使用TensorFlow的回调函数ReduceLROnPlateau监测模型的loss，如果连续10轮验证集的loss没有下降，则模型自动将学习率降低为原来的0.6倍。同时，由于深度学习网络的结构复杂，若训练时在训练集上表现越来越好，错误率越来越低的时候，网络已经过拟合。为了获得最好的泛化性能，在训练时引入早停法，当模型在验证集上的表现开始下降的时候，停止训练，避免继续训练而导致出现过拟合现象。
本实施例测试集的数量为300张，使用该测试集对本实施例的算法进行测试评估。作为对比，使用YOLO v3原网络进行相同的测试。Crack-YOLO准确率达到91.95％，召回率达到89.59％，检测速度为每秒19.47帧。在相同的测试条件下，Crack-YOLO相比较于YOLO v3，在准确率方面提升了3.83％，召回率降低了2.11％，检测速度每秒提高了5帧。但是Crack-YOLO的网络权重大小只有11.1M，远远小于YOLO v3的235M，小的参数量的能减小网络的训练时间，同时收敛速度也会加快。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，包括以下步骤：
将数据集分为训练集与测试集；
构建Crack-YOLO网络，并对该网络的输出检测框进行优化；
采用训练集对优化好的Crack-YOLO网络进行训练，采用测试集对训练好的Crack-YOLO网络进行测试；
将待测试的图片输入测试通过的Crack-YOLO网络，以检测桥梁表面裂痕。
2.根据权利要求1所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述将数据集分为训练集与测试集具体为：
将数据集中的图片统一缩放为416*416分辨率，并将数据集分为训练集、验证集和测试集；对训练数据进行包括随机翻转、平移、模糊和改变亮度、对比度和曝光度在内的操作，以增加数据的多样性；使用K-means算法对训练集中标注的候选框进行聚类以得到优化框。
3.根据权利要求1所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述构建Crack-YOLO网络具体为：
所述Crack-YOLO网络包括深度可分离卷积操作模块Dsonv、常规卷积Conv、卷积块注意力模块CBAM、以及带反转残差结构的深度可分离卷积操作模块Block；
首先，输入的图片经过预处理后首先经过深度可分离卷积操作模块Dsonv，Dsonv使用16个大小为3*3的深度可分离卷积，卷积的步长为2，输出为一个大小为208*208的特征图；
接着，将输出的208*208的特征图依次通过3个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个104*104的特征图；
接着，将输出的104*104的特征图依次通过包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个52*52的特征图；
接着，将输出的52*52的特征图通过一个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个26*26的特征图A；
接着，特征图A依次通过3个不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block和5个包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block，得到一个13*13的特征图B，特征图B的每个点预测3个检测框并对应3个置信度，置信度表示对应检测框包含裂痕的可能性大小；
接着，将特征图B经过上采样后与特征图A拼接，得到一个26*26特征图C，特征图C的每个点预测3个检测框并对应的3个置信度。
4.根据权利要求3所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述深度可分离卷积由一个深度卷积和一个逐点卷积组成。
5.根据权利要求3所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述不包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block先将输入特征图使用逐点卷积升维，而后使用3*3深度卷积和激活函数LeakyReLu对特征进行滤波，接着使用逐点卷积和LeakyReLu对特征再降维，得到本层特征的输出，并与输入的特征图进行拼接得到一个新的特征图。
6.根据权利要求3所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述包含卷积块注意力模块CBAM的深度可分离卷积操作模块Block先通过深度可分离卷积操作模块Block得到一个特征图，然后将该特征图通过卷积块注意力模块CBAM得到一个新的特征图。
7.根据权利要求6所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述卷积块注意力模块CBAM中的流程具体为：
对于输入的特征图F∈RC*H*W，其中，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽，CBAM将顺序推理出一维的通道注意力特征图MC∈RC*1*1以及二维的空间注意力特征图MS∈R1*H*W，过程如下所示：
Figure FDA0002574081950000031
Figure FDA0002574081950000032
其中
Figure FDA0002574081950000033
为逐元素相乘，首先将通道注意力特征图与输入的特征图相乘得到F′，之后计算F′的空间注意力特征图，并将两者相乘得到最终的输出F″。
8.根据权利要求7所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述通道注意力特征图MC的计算过程如下：
Figure FDA0002574081950000034
式中，σ表示sigmoid激活函数，MLP表示两层的共享全连接层，W0表示第1层全连接层，W1表示第2层全连接层，
Figure FDA0002574081950000035
表示对特征图F平均池化AvgPool后的值，
Figure FDA0002574081950000041
表示对特征图F最大池化MaxPool后的值；
空间注意力特征图MS计算过程如下：
Figure FDA0002574081950000042
式中，f7*7表示7*7的卷积层，
Figure FDA0002574081950000043
表示对特征图F′平均池化AvgPool后的值，
Figure FDA0002574081950000044
表示表示对特征图F′最大池化MaxPool后的值。
9.根据权利要求1所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述对该网络的输出进行优化具体为：将输出的两种尺度的检测框，分别进行如下操作：将置信度小于阈值的过滤掉，接着使用非极大值抑制算法对剩下的检测框进行筛选得到最佳的裂痕检测框。
10.根据权利要求9所述的一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法，其特征在于，所述使用非极大值抑制算法对剩下的检测框进行筛选得到最佳的裂痕检测框具体为：首先从所有的检测框中找到置信度最大的那个框，然后逐个计算其与剩余检测框的IOU，IOU即两个框的交集除以两个框的并集，如果其值大于设定的阈值，就将该框剔除，最后留下来的就是最佳的检测框。
CN202010648624.XA 2020-07-07 2020-07-07 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法 Active CN111681240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010648624.XA CN111681240B (zh) 2020-07-07 2020-07-07 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010648624.XA CN111681240B (zh) 2020-07-07 2020-07-07 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法

Publications (2)

Publication Number Publication Date
CN111681240A true CN111681240A (zh) 2020-09-18
CN111681240B CN111681240B (zh) 2022-09-16

Family

ID=72457363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010648624.XA Active CN111681240B (zh) 2020-07-07 2020-07-07 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法

Country Status (1)

Country Link
CN (1) CN111681240B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364783A (zh) * 2020-11-13 2021-02-12 诸暨思看科技有限公司 一种零件检测方法、装置及计算机可读存储介质
CN112418345A (zh) * 2020-12-07 2021-02-26 苏州小阳软件科技有限公司 细粒度小目标快速识别的方法和装置
CN112733749A (zh) * 2021-01-14 2021-04-30 青岛科技大学 融合注意力机制的实时行人检测方法
CN112861932A (zh) * 2021-01-21 2021-05-28 上海应用技术大学 轨道板裂缝检测方法
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN112926552A (zh) * 2021-04-23 2021-06-08 河南大学 基于深度神经网络的遥感影像车辆目标识别模型及方法
CN113139572A (zh) * 2021-03-09 2021-07-20 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN113255524A (zh) * 2021-05-27 2021-08-13 山东省交通规划设计院集团有限公司 一种基于YOLO v4的路面信息识别方法及系统
CN113378672A (zh) * 2021-05-31 2021-09-10 扬州大学 基于改进YOLOv3的输电线缺陷多目标检测方法
CN113570111A (zh) * 2021-06-29 2021-10-29 中北大学 基于轻量化网络的桥梁健康状态片上监测方法
CN114240885A (zh) * 2021-12-17 2022-03-25 成都信息工程大学 一种基于改进的Yolov4网络的布匹瑕疵检测方法
CN114677596A (zh) * 2022-05-26 2022-06-28 之江实验室 一种基于注意力模型的遥感图像船舶检测方法和装置
CN115331128A (zh) * 2022-10-11 2022-11-11 松立控股集团股份有限公司 一种高架桥裂痕检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671064A (zh) * 2018-12-14 2019-04-23 大连理工大学 一种工业零部件表面裂纹的多目标检测方法
CN110544251A (zh) * 2019-09-08 2019-12-06 刘凡 基于多迁移学习模型融合的大坝裂缝检测方法
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
WO2020047316A1 (en) * 2018-08-31 2020-03-05 Alibaba Group Holding Limited System and method for training a damage identification model
CN111127399A (zh) * 2019-11-28 2020-05-08 东南大学 一种基于深度学习与声呐成像的水下桥墩病害识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047316A1 (en) * 2018-08-31 2020-03-05 Alibaba Group Holding Limited System and method for training a damage identification model
CN109671064A (zh) * 2018-12-14 2019-04-23 大连理工大学 一种工业零部件表面裂纹的多目标检测方法
CN110544251A (zh) * 2019-09-08 2019-12-06 刘凡 基于多迁移学习模型融合的大坝裂缝检测方法
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
CN111127399A (zh) * 2019-11-28 2020-05-08 东南大学 一种基于深度学习与声呐成像的水下桥墩病害识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MINGXIN NIE: "Pavement Crack Detection based on yolo v3", 《2019 2ND INTERNATIONAL CONFERENCE ON SAFETY PRODUCE INFORMATIZATION (IICSPI)》 *
常莹等: "基于卷积神经网络的多类别路面病害识别研究", 《上海电气技术》 *
陈旭丹: "基于深度学习YOLO模型的高原山区沥青路面病害自动识别", 《公路交通科技(应用技术版)》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364783A (zh) * 2020-11-13 2021-02-12 诸暨思看科技有限公司 一种零件检测方法、装置及计算机可读存储介质
CN112418345A (zh) * 2020-12-07 2021-02-26 苏州小阳软件科技有限公司 细粒度小目标快速识别的方法和装置
CN112418345B (zh) * 2020-12-07 2024-02-23 深圳小阳软件有限公司 细粒度小目标快速识别的方法和装置
CN112733749B (zh) * 2021-01-14 2022-04-12 青岛科技大学 融合注意力机制的实时行人检测方法
CN112733749A (zh) * 2021-01-14 2021-04-30 青岛科技大学 融合注意力机制的实时行人检测方法
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN112861932A (zh) * 2021-01-21 2021-05-28 上海应用技术大学 轨道板裂缝检测方法
CN112861932B (zh) * 2021-01-21 2024-02-02 上海应用技术大学 轨道板裂缝检测方法
CN113139572A (zh) * 2021-03-09 2021-07-20 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN112926552A (zh) * 2021-04-23 2021-06-08 河南大学 基于深度神经网络的遥感影像车辆目标识别模型及方法
CN113255524A (zh) * 2021-05-27 2021-08-13 山东省交通规划设计院集团有限公司 一种基于YOLO v4的路面信息识别方法及系统
CN113378672A (zh) * 2021-05-31 2021-09-10 扬州大学 基于改进YOLOv3的输电线缺陷多目标检测方法
CN113570111B (zh) * 2021-06-29 2023-08-29 中北大学 基于轻量化网络的桥梁健康状态片上监测方法
CN113570111A (zh) * 2021-06-29 2021-10-29 中北大学 基于轻量化网络的桥梁健康状态片上监测方法
CN114240885B (zh) * 2021-12-17 2022-08-16 成都信息工程大学 一种基于改进的Yolov4网络的布匹瑕疵检测方法
CN114240885A (zh) * 2021-12-17 2022-03-25 成都信息工程大学 一种基于改进的Yolov4网络的布匹瑕疵检测方法
CN114677596A (zh) * 2022-05-26 2022-06-28 之江实验室 一种基于注意力模型的遥感图像船舶检测方法和装置
CN115331128A (zh) * 2022-10-11 2022-11-11 松立控股集团股份有限公司 一种高架桥裂痕检测方法
CN115331128B (zh) * 2022-10-11 2023-01-31 松立控股集团股份有限公司 一种高架桥裂痕检测方法

Also Published As

Publication number Publication date
CN111681240B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN111681240B (zh) 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN108305243B (zh) 一种基于深度学习的磁瓦表面缺陷检测方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN111222580A (zh) 一种高精度的裂缝检测方法
CN106683073B (zh) 一种车牌的检测方法及摄像机和服务器
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112215819A (zh) 基于深度特征融合的机场道面裂缝检测方法
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
Liu et al. An efficient method for high-speed railway dropper fault detection based on depthwise separable convolution
CN113240623B (zh) 一种路面病害检测方法及装置
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
Zhao et al. Image-based comprehensive maintenance and inspection method for bridges using deep learning
CN111127454A (zh) 基于深度学习生成工业缺陷样本的方法及系统
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
CN114612472A (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
Berwo et al. Automotive engine cylinder head crack detection: Canny edge detection with morphological dilation
CN113421223B (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN110852318A (zh) 一种排水管道缺陷精准定位方法及系统
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN115797314A (zh) 零件表面缺陷检测方法、系统、设备及存储介质
Prasetio et al. Design of Defect Classification on Clay Tiles using Support Vector Machine (SVM)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant