CN117036291A - 混凝土裂缝轻量化检测模型及检测方法 - Google Patents
混凝土裂缝轻量化检测模型及检测方法 Download PDFInfo
- Publication number
- CN117036291A CN117036291A CN202311012812.3A CN202311012812A CN117036291A CN 117036291 A CN117036291 A CN 117036291A CN 202311012812 A CN202311012812 A CN 202311012812A CN 117036291 A CN117036291 A CN 117036291A
- Authority
- CN
- China
- Prior art keywords
- lgse
- feature
- network
- module
- modules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 230000001965 increasing effect Effects 0.000 claims abstract description 10
- 238000007689 inspection Methods 0.000 claims abstract description 7
- 230000009286 beneficial effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004880 explosion Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 abstract description 4
- 108091006146 Channels Proteins 0.000 description 50
- 230000006872 improvement Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010049119 Emotional distress Diseases 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Abstract
本发明公开了一种混凝土裂缝轻量化检测模型及检测方法，检测模型包括特征提取主干网络Backbone、特征融合网络Neck和回归预测网络Head三部分。主干网络与特征融合网络分别由4个LGSE模块和4个C3‑LGSE模块交替连接构成，实现混凝土裂缝的特征提取与多维特征的信息融合；回归预测网络负责输出混凝土裂缝的检测结果。其中轻量化卷积模块LGS可以平衡网络参数和检验精度，增强特征图的组间信息交流，利用较少的特征图而获得较多的特征，通道注意力模块ECA则能在不增加参数量的前提下进一步提升检验精度，而二者同时作用的LGSE模块则可同时实现轻量化和高精度检测。本发明有助于实现混凝土裂缝的轻量化和高精度检测，对实现嵌入低算力平台进行实时检测具有重要意义。
Description
技术领域
本发明属于目标检测领域，涉及一种混凝土裂缝检的轻量化测模型、方法、设备及存储介质。
背景技术
混凝土由于设计方案、受力不均、热胀冷缩和材料选用等因素产生裂缝。混凝土裂缝的产生不仅影响混凝土建筑工程的美观性，而且对建筑的承重能力、持久性，甚至是结构的稳定性、安全性及使用周期产生严重的影响。所以及时发现并处理这些裂缝，对建筑的稳定性与安全性和维护社会生命财产安全具有重要意义。
目前，常用的混凝土裂缝检测方法主要有人工检测、超声波检测、渗透检测等，但这些方法都存在依赖人工且效率低下、成本过高等问题。随着互联网的发展与计算机硬件能力的不断提升，早期有学者运用图像处理的方法进行裂缝缺陷检测，如阈值分割法、canny算子边缘检测法、形态学算法等，但这类算法检测精度较低，自适应能力较差。近年来，深度学习和卷积神经网络的研究与应用得到飞速发展，其相关成果在计算机视觉领域大放异彩，于是越来越多的学者将深度学习运用于裂缝检测中。
提升网络检测精度的典型成果包括，Hamed等应用单阶段Yolov2与二阶段Faster-RCNN进行裂缝智能识别，实验表明Yolov2网络模型识别精度更高，但两种网络的参数量都较多。详见“HAMED M,JIN P,YAW AG,et al.Pavement image datasets:a new benchmarkdataset to class-ify and densify pavement distresses[J].Transportati-onResearch Record,2020,2674(2):328-339。”张等提出了一种改进的Yolov3网络应用于桥梁病害检测，通过引入焦点损失函数，以及新的迁移学习方法，有效提升了病害识别准确率。详见“ZHANG C B.CHANG C C,JAMSHIDI M.Concrete bridge surface damagedetection using a single-stage detector[J].Computer-Aided Civil andInfrastructure Engineering,2020,35(4):389-409”。石等通过在YOLOv4网络改进特征融合结构，增强对细小裂缝的检测能力，实现混凝土裂缝的高精度检测。详见“石颉,马文琪,吴宏杰.改进YOLOv4的混凝土建筑裂缝检测算法[J].微电子学与计算机，2023，40(3):56-66”。以上改进虽然提升了网络的检验精度，但是模型参数量与计算量过于庞大，对移动低算力平台是个巨大的挑战，无法满足便携式实时检测。
致力于轻量化检测的代表成果，孙等提出了一种基于卷积神经网络融合模型的路面裂缝识别方法,分别用SSD网络模型进行裂缝检测和U-Net网络模型进行裂缝分割，详见“孙朝云,马志丹,李伟,等.基于深度卷积神经网络融合模型的路面裂缝识别方法.长安大学学报(自然科学版),2020,40(4):1–13”。宋等通过精简YOLOv4-tiny网络结构以减少网络的参数量，使其可以植入树莓派等低算力平台实时检测，详见“宋立博，费燕琼.两类YOLOv4-tiny简化网络及其裂缝检测性能比较[J].同济大学学报(自然科学版),2022,50(01):129-137.”。以上选用的网络和改进降低了参数量，但是很难在参数量与精度之间取得平衡。
经发明人研究发现，现有的基于深度学习的混凝土裂缝检测方法效果不佳，主要有以下不足：(1)网络模型巨大，对硬件的算力和内存要求较高，难以部署在低算力平台上进行实时检测。(2)难以在轻量化和高精度检测间实现平衡，同时实现轻量化和高精度裂缝检测。
发明内容
为了解决上述问题，本发明提供一种轻量化混凝土裂缝检测模型，它在降低模型参数量和计算量的同时，能增加网络对混凝土裂缝图像检测的准确率，能解决现有网络模型巨大，难以部署在低算力平台上进行高精度实时检测。
本发明的第二目的是，提供了一种轻量化混凝土裂缝检测方法。
本发明的第三目的是，提供一种电子设备。
本发明的第四目的是，提供一种计算机存储介质。
本发明所采取的技术方案是一种轻量化混凝土裂缝检测模型，包括主干网络、特征融合网络和预测输出三部分；
所述主干网络，由4组LGSE模块和C3-LGSE模块交替连接构成，每一组分别输出160×160×128、80×80×256、40×40×512和20×20×1024的张量，主要负责减少模型参数、增强浅层与深层特征融合，提升特征提取能力；
所述特征融合网络，同样是由4个LGSE模块和4个C3-LGSE模块交替连接构成，采用FPN(Feature Pyramid Network)特征金字塔结构，通过上采样和下采样操作将不同层次的特征图融合在一起，生成多尺度的特征金字塔；
所述轻量化卷积模块LGSE融合点卷积与3x3组卷积，随着网络的不断加深利用数目成倍增长的卷积逐步扩大通道数量，增加模型的复杂度和表达能力；随后进行通道混洗(ChannelShuffle)模块，以促进了组与组之间的信息交流，摆脱通道之间的信息约束；最后利用通道注意力(ECA)模块增强特征图的通道特征表达，提高模型的特征提取能力；
所述预测输出负责给出混凝土裂缝的检测结果。
进一步的，所述主干网络Backbone的LGSE模块通过1个1×1的卷积和2个3×3的组卷积串联，并每次卷积经过BN处理和SiLU激活，然后三者拼接而得到输出，实现轻量化的特征提取；然后接通道混洗(ChannelShuffle)模块，加强组间通道信息交流；最后利用通道注意力(ECA)模块增强特征图的通道特征表达，提高模型的特征提取能力；
所述LGSE模块被用在特征提取主干网络中，依次使用的4个LGSE模块中，卷积的通道数分别为128、256、512、和1024，利用成倍增长的卷积扩大输出通道数，增加模型的复杂度和表达能力；
所述LGSE模块是由LG、ChannelShuffle和ECA三个模块串联组成的，LG(LightGhost)与GhostConv相比旨在将原本一个高级廉价线性运算Фk(1≤k≤C)，替换为两个低级廉价线性运算Ф1i和Ф2j(1≤1i≤C，1≤2j≤C)的串联结构；将原本GhostConv中卷积核为5，1/2输入通道的组卷积替换为两个卷积核为3,1/4输入通道的组卷积的串联结构；两个3*3卷积堆叠与一个5*5卷积相比具有相同的效果和感受野，且更少的计算量和更多的非线性，以防止梯度消失或爆炸，LG模块可以利用更少的特征图获得较多的特征，进一步去除网络中的特征冗余，减少网络中的参数量；
所述LGSE模块中的ChannelShuffle模块是通过将通道按顺序排列为指定维度的矩阵，然后将矩阵进行转置操作，最后展平得到通道混洗过的特征图；Channel Shuffle巧妙地利用常规张量操作实现将每个组的信息分散到其他组里，这样一来输出的特征图就能均匀的包含每一组的特征；促进了组与组之间的信息交流，进而提升特征模型表达能力；
所述LGSE模块在对特征图信息进行提取时，借助通道注意力ECA模块提高特征图的表达能力，首先对输入的特征图进行全局平均池化，从而将H×W×C维度的特征图压缩为1×1×C维度的特征图；然后对特征图通过1×1的卷积，进行通道特征学习，以获得每个特征点的权值；最后是通道注意力结合，将通道注意力的权值与原始输入特征图逐通道相乘，最终得到通道注意力的特征图能够在不改变输出特征图维度和几乎不增加参数量的前提下，对输入特征图进行通道特征加强，其中为解决不同输入特征图，提取不同范围的特征时，使用动态卷积核确定卷积核的大小；动态卷积核公式如下所示：
其中k表示卷积核大小；C表示通道数；||odd表示k只能取奇数；γ和b设置为2和1,用于改变通道数C和卷积核大小和之间的比例。
进一步地，所述特征提取模块C3-LGSE是为了充分提取混凝土裂缝特征；
所述每个C3-LGSE模块由m(取值3、6、9、3)个Bottleneck-LGSE与两个LGSE(LG+ChannelShuffle+ECA)卷积模块组成，其通道数为C3-LGSE模块的输入通道数；
所述Bottleneck-LGS模块由两个LGSE模块串联与输入残差组成，输入与输出间采用残差连接在特征提取主干网络中有助于浅层与深层特征融合，同时可以缓解由于网络深度带来的梯度爆炸问题，而在特征融合颈部网络中，采用串联连接方式进行信息传输可以更大程度上保留融合特征信息；
所述特征提取主干网络含有4个C3-LGSE模块，该模块依次含有3、6、9、3个Bottleneck-LGSE模块，其中特征融合颈部网络中含有4个C3-LGSE模块，其中每个均含3个Bottleneck-LGSE模块；
所述Bottleneck-LGSE模块的数量由配置文件.yaml和参数depth_multiple的乘积自动决定；
所述Bottleneck-LGSE模块采用LGSE模块替代传统卷积模块后，参数量约为传统卷积的一半左右，可以实现保证提取较多特征的前提下减少了更多的参数量。
轻量化混凝土裂缝检测方法，其特征在于，按照以下步骤进行：
S1、将混凝土裂缝图像输入特征提取主干网络，完成裂缝特征的信息提取，并把生成的特征图张量送入特征融合颈部网络；
S2、特征融合颈部网络融合主干网络提取的多维特征信息后，送入预测输出；
S3、预测输出完成预测，输出混凝土裂缝的检测结果。
5、所述混凝土裂缝轻量化检测方法的步骤S1中主干网络涉及的卷积模块LGSE的计算过程为：
Y0＝Convp(Ki)
Y1＝Concat(Convg2(Convg1(Y0)),Convg1(Y0),Y0)
Y2＝ChannelShuffle(Y1)
Ki+1＝ECA(Y2)
其中，Y0表示对输入Ki(i取1、2、…n)经Convp点卷积提取的特征图，Y1表示对Y0和对Y0分别经过两次和一次Convg组卷积的拼接结果，Y2表示对Y1进行通道混洗(ChannelShuffle)的结果，最后Ki+1表示经过通道注意力(ECA)模块最终提取的特征图。
6、一种电子设备，其特征在于，采用如权利要求4所述的方法实现混凝土裂缝检测。
7、一种计算机存储介质，其特征在于，所述存储介质种存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求4所述的混凝土裂缝检测方法。
本发明的有益效果是：
针对混凝土裂缝检测提出的轻量化检测网络YOLOv5s-LGSE，能够解决混凝土裂缝检测遇到的通道语义丢失、目标特征提取不充分和网络模型巨大难以部署在算力平台上等难题；经过消融和对比实验论证了：LGS模块在特征提取过程中，通过LG模块与通道混洗相结合，可以减少网络参数量和计算量，压缩模型体积的同时还可以促进通道语义信息交流，平衡参数量和检验精度；引入通道注意力ECA模块可以增强通道特征的表达，在几乎不增加网络参数量的前提下进一步提升网络的检验精度。对实现实时性、便携性的混凝土裂缝检测具有重要意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例轻量化检测模型的结构示意图。
图2是本发明实施例轻量化检测模型的轻量化LGSE卷积模块示意图。
图3是本发明实施例轻量化检测模型的C3-LGSE和Bottleneck-LGSE模块示意图。
图4是本发明实施例检测方法与原始算法对不同混凝土裂缝的检测对比图。
图5是本发明实施例轻量化检测模型的低算力嵌入式平台实物图图。
图6是本发明实施例轻量化检测模型的在低算力嵌入式平台上的实时检测效果图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，
一种轻量化混凝土裂缝检测模型，其结构如图1所示，包括特征提取主干网络Backbone、特征融合网络Neck和回归预测网络Head三部分；
所述主干网络，由4组LGSE模块和C3-LGSE模块交替连接构成，每一组分别输出160×160×128、80×80×256、40×40×512和20×20×1024的张量，主要负责减少模型参数、增强浅层与深层特征融合，提升特征提取能力；
所述特征融合网络，同样是由4个LGSE模块和4个C3-LGSE模块交替连接构成，采用FPN(Feature Pyramid Network)特征金字塔结构，通过上采样和下采样操作将不同层次的特征图融合在一起，生成多尺度的特征金字塔；
所述预测输出负责给出混凝土裂缝的检测结果。
如图2所示，
所述主干网络Backbone的LGSE模块通过1个1×1的卷积和2个3×3的组卷积串联，并每次卷积经过BN处理和SiLU激活，然后三者拼接而得到输出，实现轻量化的特征提取；然后接通道混洗(ChannelShuffle)模块，加强组间通道信息交流；最后利用通道注意力(ECA)模块增强特征图的通道特征表达，提高模型的特征提取能力；
所述LGSE模块被用在特征提取主干网络中，依次使用的4个LGSE模块中，卷积的通道数分别为128、256、512、和1024，利用成倍增长的卷积扩大输出通道数，增加模型的复杂度和表达能力；
所述LGSE模块在对特征图信息进行提取时，借助通道注意力ECA模块提高特征图的表达能力，能够在不改变输出特征图维度和几乎不增加参数量的前提下，对输入特征图进行通道特征加强。
如图3所示，
每个C3-LGSE模块由n个Bottleneck-LGSE与两个LGSE(LG+ChannelShuffle+ECA)卷积模块组成，其通道数为C3-LGSE模块的输入通道数；
Bottleneck-LGS模块由两个LGSE模块串联与输入残差组成，输入与输出间采用残差连接在特征提取主干网络中有助于浅层与深层特征融合，同时可以缓解由于网络深度带来的梯度爆炸问题，而在特征融合颈部网络中，采用串联连接方式进行信息传输可以更大程度上保留融合特征信息；
特征提取主干网络含有4个C3-LGSE模块，该模块依次含有3、6、9、3个Bottleneck-LGSE模块，其中特征融合颈部网络中含有4个C3-LGSE模块，其中每个均含3个Bottleneck-LGSE模块；
Bottleneck-LGSE模块采用LGSE模块替代传统卷积模块后，参数量约为传统卷积的一半左右，可以实现保证提取较多特征的前提下减少了更多的参数量。
实施例2，
轻量化混凝土裂缝检测方法，其特征在于，按照以下步骤进行：
S1、将混凝土裂缝图像输入特征提取主干网络，完成裂缝特征的信息提取，并把生成的特征图张量送入特征融合颈部网络；
所述卷积模块LGSE的计算过程为：
Y0＝Convp(Ki)
Y1＝Concat(Convg2(Convg1(Y0)),Convg1(Y0),Y0)
Y2＝ChannelShuffle(Y1)
Ki+1＝ECA(Y2)
其中，Y0表示对输入Ki(i取1、2、…n)经Convp点卷积提取的特征图，Y1表示对Y0和对Y0分别经过两次和一次Convg组卷积的拼接结果，Y2表示对Y1进行通道混洗(ChannelShuffle)的结果，最后Ki+1表示经过通道注意力(ECA)模块最终提取的特征图；
S2、特征融合颈部网络融合主干网络提取的多维特征信息后，送入预测输出；
S3、预测输出完成预测，输出混凝土裂缝的检测结果。
为验证本发明YOLOv5-LGSE的检测效果，开展对比实验。使用混凝土墙壁裂缝图片，制作自定义数据集进行训练和验证，共包含4058张裂缝图片，由两种裂缝类别组成，其中包括普通裂缝(gap)2006张和渗水裂缝(leaky_gap)2534张(用于检测墙体内部有无管道破裂)，用于实验的数据集的图片全部用LabelImg进行手工标注，且使用随机划分的方法划分训练集和验证集，其中训练集和验证集的划分比例为8：2，最终划分结果为训练集3678张，验证集980张。
对比的八个经典目标检测网络为SSD(详见“LIU W,ANGUELOV D,ERHAN D,et al.
Ssd:Single shot multibox detector[C].European Conference on ComputerVision.Sprin ger,Cham,2016:21-37.”)、Faster-RCNN(详见“REN S,HE K,GIRSHICK R,etal.Faster R-CNN:Towards real-time object detection with re-gion proposalnetworks[J].Advance s in Neural Information Processing Systems,2015,28:91-99.”)以及YOLO系列(详见“RED MON J,FARHADI A.YOLOv3:An inc-remental improvement[J].arXivpreprint arXiv:1804.02767,2018.”、“BOCHKOVSKIY A,WANG C Y,LIAO H YM.YOLOv4:Optimal sp eed andaccuracy of obj-ect detection[J].arXiv preprintarXiv:2004.10934,2020.”，“Chien-Yao,Wang,Alexey Bochkovskiy,Hong-Yuan MarkLiao YOLOv7:Trainable bag-of-freebies sets new state-of-the-art for real-timeobject dete-ctors[doi:10.48550/arXiv.2207.02696.2022].”)对比实验结果见表1，其中粗体代表最好指标。
表1对比实验结果
由表1可以看出，在检验精度方面，YOLOv4-Tiny可能由于网络自身在多目标和小目标检测方面会出现漏检，所以mAP@0.5只有88.3％，与其他主流目标检测精度相差较大；YOLOv5s-LGSE网络与轻量化网络YOLOv5s和YOLOv7-Tiny相比有1.2％和2.1％的提升；与一阶段经典网络SSD、YOLOv3、YOLOv4以及较新的YOLOv7相比有1.3％、0.5％、4.4％和0.2％的提升；与二阶段经典网络Faster-RCNN相比也有0.2％的提升。可以看出本发明的模型均优于传统目标检测网络，满足混凝土裂缝高精度检测的要求；
在轻量化方面，YOLOv5s-LGSE网络的参数量为3.7M、计算量为8.2G、模型体积只有7.6Mb，与大型网络SSD、Faster-RCNN、YOLOv3、YOLOv4和YOLOv7相比，无论是参数量、计算量还是模型体积均有大幅减少；与轻量化网络YOLOv4-Tiny、YOLOv5s和YOLOv7-Tiny相比，网络参数量减少了37.3％、47.1％和38.3％；计算量分别增加20.6％、减少48.8％和37.9％；模型体积减少了66％、44.5％和35％；
在检测速度方面YOLOv5s-LGSE网络的FPS为35，比SSD、Faster-RCNN、YOLOv3、YOLOv4和YOLOv7等大型网络要快，但慢于YOLOv4-Tiny、YOLOv5s和YOLOv7-Tiny等轻量化网络，但基本满足实时性检测要求。
如图4所示，
YOLOv5s模型对两张渗水裂缝图片的检测精度分别为87％和73％，对普通裂缝图片的检测精度分别为77％和36％；而相同图片条件下YOLOv5s-LGSE模型对这些图片的检测精度分别为89％、83％、90％和43％。由检测结果图可见，YOLOv5s-LGSE模型具有更高的检测精度且更能精准地预测裂缝位置。
如图5所示，
本发明网络所选用的低算力嵌入式平台为英伟达公司所生产的Jetson TX2开发平台，TX2是英伟达公司主要研发的AI边缘计算设备，功能强大，很适合作为边缘设备的开发平台，可以在上面部署诸如图像处理等任务。
如图6所示，
可见，本发明提出的YOLOv5s-LGSE模型在低算力平台上可以完成正常的检测功能且仍具有较高的检验精度。
本发明实施例所述缺陷检测方法如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明实施例所述图像分类方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (7)
1.混凝土裂缝轻量化检测模型，其特征在于，包括主干网络Backbone、特征融合网络Neck和预测网络Head三部分；
所述主干网络的核心结构，由4组LGSE模块和C3-LGSE模块交替连接构成，每一组分别输出160×160×128、80×80×256、40×40×512和20×20×1024的张量，主要负责减少模型参数、增强浅层与深层特征融合，提升特征提取能力；
所述特征融合网络，是由4个LGSE模块和4个C3-LGSE模块交替连接构成，采用FPN(Feature Pyramid Network)特征金字塔结构，通过上采样和下采样操作将不同层次的特征图融合在一起，生成多尺度的特征金字塔；
所述预测输出负责给出混凝土裂缝的检测结果。
2.根据权利要求1所述混凝土裂缝轻量化检测模型，其特征在于，所述主干网络Backbone的LGSE模块通过1个1×1的卷积和2个3×3的组卷积串联，并每次卷积经过BN处理和SiLU激活，然后三者拼接而得到输出，实现轻量化的特征提取；然后接通道混洗(ChannelShuffle)模块，加强组间通道信息交流；最后利用通道注意力(ECA)模块增强特征图的通道特征表达，提高模型的特征提取能力；
所述LGSE模块被用在特征提取主干网络中，依次使用的4个LGSE模块中，卷积的通道数分别为128、256、512、和1024，利用成倍增长的卷积扩大输出通道数，增加模型的复杂度和表达能力；
所述LGSE模块在对特征图信息进行提取时，借助通道注意力ECA模块提高特征图的表达能力，能够在不改变输出特征图维度和几乎不增加参数量的前提下，对输入特征图进行通道特征加强。
3.根据权利要求1所述混凝土裂缝轻量化检测模型，其特征在于，所述特征提取模块C3-LGSE是为了充分提取混凝土裂缝特征；
所述每个C3-LGSE模块由m(取值3、6、9、3)个Bottleneck-LGSE与两个LGSE(LG+ChannelShuffle+ECA)卷积模块组成，其通道数为C3-LGSE模块的输入通道数；
所述Bottleneck-LGS模块由两个LGSE模块串联与输入残差组成，输入与输出间采用残差连接在特征提取主干网络中有助于浅层与深层特征融合，同时可以缓解由于网络深度带来的梯度爆炸问题，而在特征融合颈部网络中，采用串联连接方式进行信息传输可以更大程度上保留融合特征信息；
所述特征提取主干网络含有4个C3-LGSE模块，该模块依次含有3、6、9、3个Bottleneck-LGSE模块，其中特征融合颈部网络中含有4个C3-LGSE模块，其中每个均含3个Bottleneck-LGSE模块；
所述Bottleneck-LGSE模块的数量由配置文件.yaml和参数depth_multiple的乘积自动决定；
所述Bottleneck-LGSE模块采用LGSE模块替代传统卷积模块后，参数量约为传统卷积的一半左右，可以实现保证提取较多特征的前提下减少了更多的参数量。
4.混凝土裂缝轻量化检测方法，其特征在于，按照以下步骤进行：
S1、将混凝土裂缝图像输入特征提取主干网络，完成裂缝特征的信息提取，并把生成的特征图张量送入特征融合颈部网络；
S2、特征融合颈部网络融合主干网络提取的多维特征信息后，送入预测输出；
S3、预测输出完成预测，输出混凝土裂缝的检测结果。
5.根据权利要求4所述混凝土裂缝轻量化检测方法的步骤S1中主干网络涉及的卷积模块LGSE的计算过程为：
Y0＝Convp(Ki)
Y1＝Concat(Convg2(Convg1(Y0)),Convg1(Y0),Y0)
Y2＝ChannelShuffle(Y1)
Ki+1＝ECA(Y2)
其中，Y0表示对输入Ki(i取1、2、…n)经Convp点卷积提取的特征图，Y1表示对Y0和对Y0分别经过两次和一次Convg组卷积的拼接结果，Y2表示对Y1进行通道混洗(ChannelShuffle)的结果，最后Ki+1表示经过通道注意力(ECA)模块最终提取的特征图。
6.一种电子设备，其特征在于，采用如权利要求4～5所述的方法实现混凝土裂缝检测。
7.一种计算机存储介质，其特征在于，所述存储介质种存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求4～5所述的混凝土裂缝检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311012812.3A CN117036291A (zh) | 2023-08-12 | 2023-08-12 | 混凝土裂缝轻量化检测模型及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311012812.3A CN117036291A (zh) | 2023-08-12 | 2023-08-12 | 混凝土裂缝轻量化检测模型及检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117036291A true CN117036291A (zh) | 2023-11-10 |
Family
ID=88636844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311012812.3A Pending CN117036291A (zh) | 2023-08-12 | 2023-08-12 | 混凝土裂缝轻量化检测模型及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036291A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291913A (zh) * | 2023-11-24 | 2023-12-26 | 长江勘测规划设计研究有限责任公司 | 一种水工混凝土结构表观裂缝测量方法 |
-
2023
- 2023-08-12 CN CN202311012812.3A patent/CN117036291A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291913A (zh) * | 2023-11-24 | 2023-12-26 | 长江勘测规划设计研究有限责任公司 | 一种水工混凝土结构表观裂缝测量方法 |
| CN117291913B (zh) * | 2023-11-24 | 2024-04-16 | 长江勘测规划设计研究有限责任公司 | 一种水工混凝土结构表观裂缝测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105630882B (zh) | 基于遥感数据深度学习的近海污染物识别与跟踪方法 | |
| CN109146944B (zh) | 一种基于深度可分卷积神经网络的视觉深度估计方法 | |
| CN113408423B (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| CN112862689B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN117036291A (zh) | 混凝土裂缝轻量化检测模型及检测方法 | |
| CN114419449B (zh) | 一种自注意力多尺度特征融合的遥感图像语义分割方法 | |
| Shen et al. | Single-shot semantic image inpainting with densely connected generative networks | |
| CN112861659A (zh) | 一种图像模型训练方法、装置及电子设备、存储介质 | |
| CN111414988B (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
| CN107194380A (zh) | 一种复杂场景下人脸识别的深度卷积网络及学习方法 | |
| CN112907603A (zh) | 一种基于Unet和分水岭算法的细胞实例分割方法 | |
| CN104077561B (zh) | 指纹自动比对方法 | |
| CN110992320B (zh) | 一种基于双重交错的医学图像分割网络 | |
| Yin et al. | Enhanced faster-RCNN algorithm for object detection in aerial images | |
| CN112434740A (zh) | 一种基于深度学习的秦俑碎块分类方法 | |
| CN116681645A (zh) | 一种裂缝缺陷的检测模型及其实现方法 | |
| CN105260739B (zh) | 面向二进制特征的图像匹配方法及其系统 | |
| CN111339969A (zh) | 人体姿势估计方法、装置、设备及存储介质 | |
| CN110889811A (zh) | 一种照片修复系统构建方法、照片修复方法及系统 | |
| CN116109826A (zh) | 一种道路裂缝检测方法 | |
| CN113763244B (zh) | 一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法 | |
| CN116701681B (zh) | 一种用于语义分割的多查询网络 | |
| KR102632473B1 (ko) | 피라미드 구조에 적합한 이진 뉴럴 네트워크 구현 시스템 | |
| CN114972040B (zh) | 一种单板层积材的散斑图像超分辨率重建方法 | |
| CN110021059B (zh) | 一种无冗余计算的高效Marching Cubes等值面提取方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |