CN116681645A - 一种裂缝缺陷的检测模型及其实现方法 - Google Patents
一种裂缝缺陷的检测模型及其实现方法 Download PDFInfo
- Publication number
- CN116681645A CN116681645A CN202310401145.1A CN202310401145A CN116681645A CN 116681645 A CN116681645 A CN 116681645A CN 202310401145 A CN202310401145 A CN 202310401145A CN 116681645 A CN116681645 A CN 116681645A
- Authority
- CN
- China
- Prior art keywords
- module
- crack
- convolution
- feature
- ebs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 230000007547 defect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000007667 floating Methods 0.000 claims abstract description 8
- 238000007499 fusion processing Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 208000007150 epidermolysis bullosa simplex Diseases 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000000295 complement effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000012856 packing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 3
- 239000003245 coal Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ZBRKMOHDGFGXLN-BQBZGAKWSA-N (1s,2s)-2-(3,4-dichlorobenzoyl)cyclopropane-1-carboxylic acid Chemical compound OC(=O)[C@H]1C[C@@H]1C(=O)C1=CC=C(Cl)C(Cl)=C1 ZBRKMOHDGFGXLN-BQBZGAKWSA-N 0.000 description 1
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种裂缝缺陷的检测模型及其实现方法，检测模型由输入、骨干网络(ECSP‑Darknet53)、细颈部特征融合模块(E‑Neck)和预测输出四个模块构成，骨干网络ECSP‑Darknet53由1个CBS单元、4个EBS单元、4个E‑C3模块和1个SPPF构成，负责减少网络模型参数和浮点运算量，同时增强网络对裂缝深层特征信息的提取能力；细颈部特征融合模块E‑Neck由5个EBS单元、4个ECACSP模块、多个上采样和拼接操作灵活构成，负责融合特征、丰富特征图的表达能力，改善特征融合过程中细节信息的丢失问题，同时加快了网络推理速度；E‑Neck负责充分融合ECSP‑Darknet53提取的特征信息中包含的裂缝小目标的几何信息和语义信息。本发明无论是在提升检测精度方面还是压缩模型体积都有令人满意的结果，有助于推动在嵌入式设备平台的部署。
Description
技术领域
本发明属于目标检测领域，涉及一种裂缝缺陷的检测模型及其实现方法。
背景技术
井筒是煤炭开采的咽喉要道，井壁裂缝引起的破裂会造成重大灾害，定期检查井壁并对裂缝、渗水等缺陷及时维护，保证井筒安全，对于推动煤炭资源安全、高效开采具有重要意义。传统井壁缺陷检测主要靠人眼识别，该方法受视觉分辨力的限制，存在效率低、成本高、危险系数高等问题。
井壁缺陷自动检测是绿色矿山的未来趋势，计算性能的显著提高已经大大促进了深度学习技术在道路、桥梁等裂缝检测领域的应用。如Li等提出一种基于DBCC分类模型结合改进的窗口滑动算法对桥梁裂缝进行检测，采用图像金字塔和感兴趣区域结合的搜索策略对算法进行加速。Peng等对YOLO算法进行了改进，提出了YOLO-lump和YOLO-crack以提高网络检测多病害的能力，进而形成基于双网络的桥梁表观病害快速检测算法。Qin等提出了一种端到端的可训练深度卷积神经网络DeepCrack,通过学习高层卷积里的多维特征,来获取更多的细节，可以较好地处理低对比度的裂缝。上述检测算法均取得了很好的检测效果，对于裂缝智能检测具有一定的借鉴意义，但它们的处理对象是正常光线下采集的图像。井下光线暗，细小裂缝与背景对比度低，在设计检测算法时，必须更加注重对表征裂缝拓扑结构的浅层特征提取。
出色的轻量级网络模型，如MobileNet使用深度可分离卷积来构造轻量级神经网络，并通过两个超参数的引入使得网络能部署在资源限制设备上，详见“CholletF.Xception:Deep learning with depthwise separable convolutions[C]//Proceedings ofthe IEEE conference on computer vision andpatternrecognition.2017:1251-1258”。ShuffleNet[8]对输入层的不同特征图进行分组精辟采用不同的卷积核再对各个组进行卷积，再使用“通道洗牌”来实现通道信息的交互，详见“X.Zhang；X.Zhou；M.Lin；J.Sun.ShuffleNet:An ex-tremely efficient convolutionalneural network for mobile devices.in Proc.IEEE Conf.Comput.Vis.Pattern Recog.(CVPR),Jul.2017,arXiv:1707.01083”。GhostNet提出一种新的特征图生成方式，通过高效的线性运算以更少的参数和计算量实现特征图的丰富，详见“K.Han；Y.Wang；Q.Tian；J.Guo；C.Xu；C.Xu.GhostNet:More features from cheapoperations.in Proc.IEEEConf.Comput.Vis.Pattern Recog.(CVPR),Mar.2020,arXiv:1911.11907.”。为了在轻量化的同时尽可能的提高检测精度，现有方法多聚焦于提取深层语义信息，没有充分发挥浅层特征的作用。浅层特征表达的几何信息对于检测小目标至关重要，只要能获取到裂缝的拓扑结构，就能准确定位出裂缝。然后再利用深层语义信息衡量裂缝的开裂程度。
为了实现井壁缺陷的自动检测，致力于完成裂缝小目标准确提取和模型轻量的目标，本发明设计轻量化卷积模块、特征综合提取模块并构建骨干网络和细颈部特征融合模块，提出井壁裂缝小目标缺陷的轻量化检测模型E-YOLOv5s，它既能够增强网络特征提取能力，又能减轻模型复杂度，更好地平衡模型的准确性和轻量化。
发明内容
为了解决上述问题，本发明提供一种裂缝缺陷的检测模型，它借助轻量化主干网络在减少网络模型参数和浮点运算量的情况下，能增强网络对井壁裂缝深层特征信息的提取能力。它通过融合特征、丰富特征图的表达能力，改善特征融合过程中细节信息的丢失问题，同时加快了网络推理速度。它有助于推动井壁裂缝自动检测的落地应用。
本发明的第二目的是，提供一种裂缝缺陷的检测方法。
本发明的第三目的是，提供一种电子设备。
本发明的第四目的是，提供一种计算机存储介质。
本发明所采用的技术方案是，一种裂缝缺陷的检测模型，其特征在于，包括输入、骨干网络(ECSP-Darknet53)、细颈部特征融合模块(E-Neck)和预测输出四个模块；
所述骨干网络ECSP-Darknet53，它由1个CBS单元、4个EBS单元、4个E-C3模块和1个SPPF构成，旨在减少网络模型参数和浮点运算量，同时增强网络对裂缝深层特征信息的提取能力；
所述细颈部特征融合模块E-Neck，它由5个EBS单元、4个ECACSP模块、多个上采样和拼接操作灵活构成，负责融合特征、丰富特征图的表达能力，改善特征融合过程中细节信息的丢失问题，同时加快了网络推理速度；
所述E-Neck是为了充分融合ECSP-Darknet53提取的特征信息中包含的裂缝小目标的几何信息和语义信息；
所述CBS单元由一个6*6Conv和BN、SiLU顺序组成；
所述EBS单元由一个轻量化卷积模块ECAConv和BN、SiLU顺序组成；
所述预测输出负责给出对裂缝缺陷的分类结果。
进一步地，所述轻量化卷积模块ECAConv，它将输入特征F0利用1个1*1卷积降维得到的F1，采用步长1、卷积核5*5的深度可分离卷积后通过Padding操作得到特征F2，对Concat融合F1和F2得到的F3引入通道关注模块解决深度可分离卷积给模型带来的输入图像信息是“分离”的问题，最后得到ECAConv提取的特征F4；
所述ECAConv的特征提取过程为，
其中Conv1×1表示1*1卷积操作，DW5×5表示5*5深度可分离卷积，Concat表示级联操作，ECA表示通道关注操作；
所述ECAConv是为了强化对裂缝特征的综合提取能力。
进一步地，所述E-C3由3个ECAConv和n个ECABottleNeck组成，骨干网络ECSP-Darknet53中依次包含的4个E-C3中含有ECABottleNeck的数量分别为3、6、9、3；
所述ECABottleNeck借助跳跃连接将输入特征和经过2个ECAConv提取的特征进行Concat融合，特征综合提取单元E-C3的特征提取过程为，
其中，E0和Eout分别表示E-C3模块的输入、输出特征，E1表示对E0通过一次ECAConv映射提取的特征，En,n＝3,6,9,3表示n个ECABottleNeck的输出，fECAConv表示ECAConv模块的映射函数，fECABottleNeck表示ECABottleNeck模块的映射函数，Concat表示级联操作。
进一步地，所述空间金字塔池快速模块SPPF由两个CBS(1*1Conv+BN+SiLU)和三个5*5MaxPooling层和Concat操作组成；
所述SPPF使用1*1卷积来降低由四组EBS+E-C3单元提取的互补特征的维数，然后将它们发送到串联连接的三个5*5MaxPooling层，再使用Concat操作来融合每个MaxPooling层的输出和1*1卷积；
所述SPPF通过串联连接三个5*5卷积核，实现了9*9和13*13的卷积运算，可以有效避免图像区域裁剪和缩放操作造成的图像失真，解决了相关特征重复提取的问题，极大地提高了候选帧的生成速度，从而节省了计算成本。
进一步地，所述特征融合模块ECACSP由2个CBS(1*1Conv+BN+SiLU)和2个EBS及跳跃连接构成；
所述ECACSP模块将输入特征先利用CBS单元的1*1卷积压缩通道后，送入依次连接的2个EBS单元并借助跳跃连接跨阶段传递到2个EBS的输出端与其级联融合，最后再经过一个CBS单元扩展通道后得到ECACSP的输出结果，它的实现过程为，
其中，C0和Cout分别表示ECACSP模块的输入、输出特征，fCBS表示CBS单元的映射函数，fEBS表示EBS单元的映射函数，Concat表示级联操作；
所述ECACSP模块的第一个CBS单元最大程度的保留原始特征融合信息，2个EBS模块负责捕捉更多的细节信息，同时EBS模块结构中的ECA注意力机制采用一种更有效的学习方式，通过内核的快速一维卷积来共享相同的学习参数，让模型具有更轻体积的同时有效捕获了跨通道交互，提高了特征融合的质量进一步提高了网络检测精度；最后将二者融合的特征信息拼接在一起后输入最后一个CBS模块；通过跨阶段层次结构实现更丰富的梯度组合和特征表达能力，加强网络特征融合的能力，降低了计算和网络结构的复杂性，但保持了足够的准确性，加快了推理速度。
一种裂缝缺陷的检测方法，按照8：2的比例将裂缝数据集随机划分训练集和验证集，用训练集训练如权利要求1～4所述的裂缝缺陷的检测模型，并用训练好的模型对待检测图像实现裂缝检测。
进一步地，一种裂缝缺陷的检测方法，裂缝检测按照以下步骤进行：
S1、将井壁图像送入骨干网络ECSP-Darknet53，完成裂缝特性提取，并分三路将浅层、深层特征同时送入细颈部特征融合模块E-Neck；
所述ECSP-Darknet53将待检测的井壁图像，由6*6卷积完成通道扩展后，送入顺序相连的四组EBS+E-C3单元，实现输出特征通道数量的扩展和压缩，旨在通过对通道多次进行先升维再降维的策略挖掘出更多的多维、多尺度互补特征；SPPF对四组EBS+E-C3单元提取的互补特征利用1*1卷积降维后，送入串行连接的3个5*5MaxPool层，再用Concat操作融合每个MaxPool层及1*1卷积的输出；它借助串联相同大小的卷积核实现9*9和13*13的卷积操作，有效避免图像区域裁剪、缩放操作导致的图像失真等问题，解决对相关特征的重复提取问题，大大提高候选框产生速度；
所述ECSP-Darknet53在特征提取时注重表征裂缝拓扑结构的浅层信息提取，在有效提取浅层信息对应的几何结构后，再最大化的充分提取深层特征表征的语义信息，助力实现对裂缝小目标的检测；
S2、细颈部特征融合模块E-Neck的后3个ECACSP模块的三路输出融合后的特征，并送入预测输出模块；
S3、预测输出完成裂缝检测，输出对井壁上裂缝的检测结果。
一种电子设备，采用上述方法实现裂缝缺陷的检测。
一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述的裂缝缺陷的检测方法。
本发明的有益效果是：本发明为了实现对井壁出现的微小裂缝的及时、准确捕获，打破现有方法聚焦于提取深层语义信息的传统，重视浅层特征表征的几何结构信息的应用，提出井壁裂缝的轻量化检测模型E-YOLOv5s。首先融合普通卷积、深度可分离卷积和ECA注意力机制设计轻量化卷积模块ECAConv，再引入跳跃链接构建特征综合提取单元E-C3，得到骨干网络ECSP-Darknet53，它负责显著降低网络参数、同时增强对裂缝深层特征的提取能力。然后设计特征融合模块ECACSP，利用多组ECAConv和ECACSP模块组建细颈部特征融合模块E-Neck，旨在充分融合裂缝小目标的几何信息和表征裂缝开裂程度的语义信息，同时加快网络推理速度。E-YOLOv5s能实现对裂缝缺陷的高精度检，有助于推动井壁裂缝自动检测的落地应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例裂缝缺陷检测模型的结构示意图。
图2是本发明实施例轻量化卷积模块ECAConv的结构示意图。
图3是本发明实施例特征综合提取单元E-C3的结构示意图。
图4是本发明实施例空间金字塔池快速模块SPPF的结构示意图。
图5是本发明实施例ECACSP模块的结构示意图。
图6是本发明实施例的检测方法与YOLOv3-SPP、YOLOv4-CSP、YOLOv5s、YOLOX-s和YOLOv7五个经典目标检测网络对裂缝缺陷的检测对比图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，
一种裂缝缺陷的检测模型，其结构如图1所示，包括输入、骨干网络(ECSP-Darknet53)、细颈部特征融合模块(E-Neck)和预测输出四个模块；
骨干网络ECSP-Darknet53由1个CBS单元、4个EBS单元、4个E-C3模块和1个SPPF构成，旨在减少网络模型参数和浮点运算量，同时增强网络对裂缝深层特征信息的提取能力；
细颈部特征融合模块E-Neck由5个EBS单元、4个ECACSP模块、多个上采样和拼接操作灵活构成，负责融合特征、丰富特征图的表达能力，改善特征融合过程中细节信息的丢失问题，同时加快了网络推理速度；
E-Neck是为了充分融合ECSP-Darknet53提取的特征信息中包含的裂缝小目标的几何信息和语义信息；
CBS单元由一个6*6Conv和BN、SiLU顺序组成；
EBS单元由一个轻量化卷积模块ECAConv和BN、SiLU顺序组成；
预测输出负责给出对裂缝缺陷的分类结果。
如图2所示，
轻量化卷积模块ECAConv，它将输入特征F0利用1个1*1卷积降维得到的F1，采用步长1、卷积核5*5的深度可分离卷积后通过Padding操作得到特征F2，对Concat融合F1和F2得到的F3引入通道关注模块解决深度可分离卷积给模型带来的输入图像信息是“分离”的问题，最后得到ECAConv提取的特征F4；
ECAConv的特征提取过程为，
其中Conv1×1表示1*1卷积操作，DW5×5表示5*5深度可分离卷积，Concat表示级联操作，ECA表示通道关注操作；
ECAConv是为了强化对裂缝特征的综合提取能力。
如图3所示，
E-C3由3个ECAConv和n个ECABottleNeck组成，骨干网络ECSP-Darknet53中依次包含的4个E-C3中含有ECABottleNeck的数量分别为3、6、9、3；
ECABottleNeck借助跳跃连接将输入特征和经过2个ECAConv提取的特征进行Concat融合，特征综合提取单元E-C3的特征提取过程为，
其中，E0和Eout分别表示E-C3模块的输入、输出特征，E1表示对E0通过一次ECAConv映射提取的特征，En,n＝3,6,9,3表示n个ECABottleNeck的输出，fECAConv表示ECAConv模块的映射函数，fECABottleNeck表示ECABottleNeck模块的映射函数，Concat表示级联操作。
如图4所示，
空间金字塔池快速模块SPPF由两个CBS(1*1Conv+BN+SiLU)和三个5*5MaxPooling层和Concat操作组成；
SPPF使用1*1卷积来降低由四组EBS+E-C3单元提取的互补特征的维数，然后将它们发送到串联连接的三个5*5MaxPooling层，再使用Concat操作来融合每个MaxPooling层的输出和1*1卷积；SPPF通过串联连接三个5*5卷积核，实现了9*9和13*13的卷积运算，可以有效避免图像区域裁剪和缩放操作造成的图像失真，解决了相关特征重复提取的问题，极大地提高了候选帧的生成速度，从而节省了计算成本。
如图5所示，
特征融合模块ECACSP由2个CBS(1*1Conv+BN+SiLU)和2个EBS及跳跃连接构成；
ECACSP模块将输入特征先利用CBS单元的1*1卷积压缩通道后，送入依次连接的2个EBS单元并借助跳跃连接跨阶段传递到2个EBS的输出端与其级联融合，最后再经过一个CBS单元扩展通道后得到ECACSP的输出结果，它的实现过程为，
其中，C0和Cout分别表示ECACSP模块的输入、输出特征，fCBS表示CBS单元的映射函数，fEBS表示EBS单元的映射函数，Concat表示级联操作；
ECACSP模块的第一个CBS单元最大程度的保留原始特征融合信息，2个EBS模块负责捕捉更多的细节信息，同时EBS模块结构中的ECA注意力机制采用一种更有效的学习方式，通过内核的快速一维卷积来共享相同的学习参数，让模型具有更轻体积的同时有效捕获了跨通道交互，提高了特征融合的质量进一步提高了网络检测精度；最后将二者融合的特征信息拼接在一起后输入最后一个CBS模块；通过跨阶段层次结构实现更丰富的梯度组合和特征表达能力，加强网络特征融合的能力，降低了计算和网络结构的复杂性，但保持了足够的准确性，加快了推理速度。
实施例2，
一种裂缝缺陷的检测方法，按照8：2的比例将裂缝数据集随机划分训练集和验证集，用训练集训练如权利要求1～4所述的裂缝缺陷的检测模型，并用训练好的模型对待检测图像实现裂缝检测。
一种裂缝缺陷的检测方法，裂缝检测按照以下步骤进行：
S1、将井壁图像送入骨干网络ECSP-Darknet53，完成裂缝特性提取，并分三路将浅层、深层特征同时送入细颈部特征融合模块E-Neck；
ECSP-Darknet53将待检测的井壁图像，由6*6卷积完成通道扩展后，送入顺序相连的四组EBS+E-C3单元，实现输出特征通道数量的扩展和压缩，旨在通过对通道多次进行先升维再降维的策略挖掘出更多的多维、多尺度互补特征；SPPF对四组EBS+E-C3单元提取的互补特征利用1*1卷积降维后，送入串行连接的3个5*5MaxPool层，再用Concat操作融合每个MaxPool层及1*1卷积的输出；它借助串联相同大小的卷积核实现9*9和13*13的卷积操作，有效避免图像区域裁剪、缩放操作导致的图像失真等问题，解决对相关特征的重复提取问题，大大提高候选框产生速度；
ECSP-Darknet53在特征提取时注重表征裂缝拓扑结构的浅层信息提取，在有效提取浅层信息对应的几何结构后，再最大化的充分提取深层特征表征的语义信息，助力实现对裂缝小目标的检测；
S2、细颈部特征融合模块E-Neck的后3个ECACSP模块的三路输出融合后的特征，并送入预测输出模块；
S3、预测输出完成裂缝检测，输出对井壁上裂缝的检测结果。
为了验证本发明E-YOLOv5s的检测效果，开展对比实验。数据集利用采集的井壁图像制作，其中包含健康井壁图像和缺陷井壁图像。根据裂缝开裂程度，可将缺陷分为四种类型：严重(serious)、中等(medium)、轻微(light)和正常(normal)。在完成数据集图像的分割和压缩后，使用labelImg软件对所有图像中的上述类别目标进行标注。得到的标注样本库中，共有3000张图片，按照8：2的比例随机划分训练集和验证集。
对比的五个经典目标检测网络为YOLOv3-SPP(详见“Joseph Redmon and AliFarhadi.YOLOv3:An incremental improvement.arXiv preprint arXiv:1804.02767,2018.”)、YOLOv4-CSP(详见“Chien-Yao Wang,Alexey Bochkovskiy,and Hong-Yuan MarkLiao.Scaled-YOLOv4:Scaling cross stage partial network.In Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),pages13029–13038,2021.”)、YOLOv5s(详见“Jocher Glenn.YOLOv5 release v6.1.https://github.com/ultralytics/yolov5/releases/tag/v6.1,2022”)、YOLOX-s(详见“Zheng Ge,Songtao Liu,Feng Wang,Zeming Li,and Jian Sun.YOLOX:Exceeding YOLO series in2021.arXiv preprint arXiv:2107.08430,2021.”)和YOLOv7(详见“Wang C Y,Bochkovskiy A,Liao H Y M.YOLOv7:Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J].arXivpreprint arXiv:2207.02696,2022”)，对比试验结果见表1，其中粗体代表最好指标。
表1不同检测模型对比实验结果
由表1可知，YOLOv3-SPP、YOLOv4-CSP和YOLOv7网络检测精度分别为81.5％、83.2％和82.3％，检测效果均低于E-YOLOv5s且这三种算法模型体积与浮点运算量过于庞大不利于裂缝小目标缺陷实时检测。YOLO系列中检测精度最佳的为YOLOX-s高达84.6％，它在预测输出部分采用Anchor-free、decoupled head(解耦头)、SimOTA等新技术，具有较高的Precision和Recall，E-YOLOv5s与其相比Precision和Recall略有差距，但参数量减少57.0％，浮点运算量减少66.8％，综合指标map提升0.6％。E-YOLOv5s在提升网络的检测精度的同时，模型体积仅为3.87M相较于YOLOv5s网络的模型体积压缩了44.9％、浮点运算降低了43.7％且Precision和Recall都略有提升。由上述实验结果可知，E-YOLOv5s网络拥有较好的鲁棒性与较低的模型复杂度，各项性能均达到令人满意的水准，更适合应用在低算力的嵌入式设备中对裂缝小目标缺陷进行检测。
如图6所示，
在测试集中随机选取四组小裂缝井壁缺陷图像进行检测，其中①、②为简单背景下的井壁小裂缝缺陷检测，E-YOLOv5s的检测精度为80％和85％，高于其它5种算法的检测结果，这是因为E-YOLOv5s挖掘出了井壁图像中包含的浅层几何信息和深层语义信息，再将几何信息表征的裂缝拓扑结构和语义信息表达的细微小目标进行充分融合。③、④井壁背景较为复杂，出现多出裂缝混合在一起且背景与裂缝信息差异较大，但E-YOLOv5的检测精度为87％、82％和81％，检测效果与YOLOX-s效果接近但仍然优于其它检测算法。综合分析，E-YOLOv5s对裂缝小目标的检测效果更为精准，能实现井壁裂缝小目标缺陷特征信息的有效提取，同时在复杂背景下仍具有较高的检测精度，且在模型轻量化方面可以满足低算力嵌入式设备的应用，更好地应用到实际计算机视觉任务当中。
可见，本发明提出的E-YOLOv5s网络即使在不同复杂程度背景下仍具有较高的检测精度，且在模型轻量化方面可以满足移动设备的应用。
本发明实施例所述裂缝缺陷检测方法如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明实施例所述图像的重建方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种裂缝缺陷的检测模型，其特征在于，依次由输入、骨干网络(ECSP-Darknet53)、细颈部特征融合模块(E-Neck)和预测输出四个模块构成；
所述骨干网络ECSP-Darknet53，它由1个CBS单元、4个EBS单元、4个E-C3模块和1个SPPF构成，旨在减少网络模型参数和浮点运算量，同时增强网络对裂缝深层特征信息的提取能力；
所述细颈部特征融合模块E-Neck，它由5个EBS单元、4个ECACSP模块、多个上采样和拼接操作灵活构成，负责融合特征、丰富特征图的表达能力，改善特征融合过程中细节信息的丢失问题，同时加快了网络推理速度；
所述E-Neck是为了充分融合ECSP-Darknet53提取的特征信息中包含的裂缝小目标的几何信息和语义信息；
所述CBS单元由一个6*6Conv和BN、SiLU顺序组成；
所述EBS单元由一个轻量化卷积模块ECAConv和BN、SiLU顺序组成；
所述预测输出负责给出对裂缝缺陷的分类结果。
2.根据权利要求1所述一种裂缝缺陷的检测模型，其特征在于，所述轻量化卷积模块ECAConv，它将输入特征F0利用1个1*1卷积降维得到的F1，采用步长1、卷积核5*5的深度可分离卷积后通过Padding操作得到特征F2，对Concat融合F1和F2得到的F3引入通道关注模块解决深度可分离卷积给模型带来的输入图像信息是“分离”的问题，最后得到ECAConv提取的特征F4；
所述ECAConv的特征提取过程为，
其中Conv1×1表示1*1卷积操作，DW5×5表示5*5深度可分离卷积，Concat表示级联操作，ECA表示通道关注操作；
所述ECAConv是为了强化对裂缝特征的综合提取能力。
3.根据权利要求1所述一种裂缝缺陷的检测模型，其特征在于，所述E-C3由3个ECAConv和n个ECABottleNeck组成，骨干网络ECSP-Darknet53中依次包含的4个E-C3中含有ECABottleNeck的数量分别为3、6、9、3；
所述ECABottleNeck借助跳跃连接将输入特征和经过2个ECAConv提取的特征进行Concat融合，特征综合提取单元E-C3的特征提取过程为，
其中，E0和Eout分别表示E-C3模块的输入、输出特征，E1表示对E0通过一次ECAConv映射提取的特征，En,n＝3,6,9,3表示n个ECABottleNeck的输出，fECAConv表示ECAConv模块的映射函数，fECABottleNeck表示ECABottleNeck模块的映射函数，Concat表示级联操作。
4.据权利要求1所述一种裂缝缺陷的检测模型，其特征在于，所述空间金字塔池快速模块SPPF由两个CBS(1*1Conv+BN+SiLU)和三个5*5MaxPooling层和Concat操作组成；
所述SPPF使用1*1卷积来降低由四组EBS+E-C3单元提取的互补特征的维数，然后将它们发送到串联连接的三个5*5MaxPooling层，再使用Concat操作来融合每个MaxPooling层的输出和1*1卷积；
所述SPPF通过串联连接三个5*5卷积核，实现了9*9和13*13的卷积运算，可以有效避免图像区域裁剪和缩放操作造成的图像失真，解决了相关特征重复提取的问题，极大地提高了候选帧的生成速度，从而节省了计算成本。
5.根据权利要求1所述一种裂缝缺陷的检测模型，其特征在于，所述特征融合模块ECACSP由2个CBS(1*1Conv+BN+SiLU)和2个EBS及跳跃连接构成；
所述ECACSP模块将输入特征先利用CBS单元的1*1卷积压缩通道后，送入依次连接的2个EBS单元并借助跳跃连接跨阶段传递到2个EBS的输出端与其级联融合，最后再经过一个CBS单元扩展通道后得到ECACSP的输出结果，它的实现过程为，
其中，C0和Cout分别表示ECACSP模块的输入、输出特征，fCBS表示CBS单元的映射函数，fEBS表示EBS单元的映射函数，Concat表示级联操作；
所述ECACSP模块的第一个CBS单元最大程度的保留原始特征融合信息，2个EBS模块负责捕捉更多的细节信息，同时EBS模块结构中的ECA注意力机制采用一种更有效的学习方式，通过内核的快速一维卷积来共享相同的学习参数，让模型具有更轻体积的同时有效捕获了跨通道交互，提高了特征融合的质量进一步提高了网络检测精度；最后将二者融合的特征信息拼接在一起后输入最后一个CBS模块；通过跨阶段层次结构实现更丰富的梯度组合和特征表达能力，加强网络特征融合的能力，降低了计算和网络结构的复杂性，但保持了足够的准确性，加快了推理速度。
6.一种裂缝缺陷的检测方法，其特征在于，按照8：2的比例将裂缝数据集随机划分训练集和验证集，用训练集训练如权利要求1～4所述的裂缝缺陷的检测模型，并用训练好的模型对待检测图像实现裂缝检测。
7.根据权利要求5所述一种裂缝缺陷的检测方法，其特征在于，裂缝检测按照以下步骤进行：
S1、将井壁图像送入骨干网络ECSP-Darknet53，完成裂缝特性提取，并分三路将浅层、深层特征同时送入细颈部特征融合模块E-Neck；
所述ECSP-Darknet53将待检测的井壁图像，由6*6卷积完成通道扩展后，送入顺序相连的四组EBS+E-C3单元，实现输出特征通道数量的扩展和压缩，旨在通过对通道多次进行先升维再降维的策略挖掘出更多的多维、多尺度互补特征；SPPF对四组EBS+E-C3单元提取的互补特征利用1*1卷积降维后，送入串行连接的3个5*5MaxPool层，再用Concat操作融合每个MaxPool层及1*1卷积的输出；它借助串联相同大小的卷积核实现9*9和13*13的卷积操作，有效避免图像区域裁剪、缩放操作导致的图像失真等问题，解决对相关特征的重复提取问题，大大提高候选框产生速度；
所述ECSP-Darknet53在特征提取时注重表征裂缝拓扑结构的浅层信息提取，在有效提取浅层信息对应的几何结构后，再最大化的充分提取深层特征表征的语义信息，助力实现对裂缝小目标的检测；
S2、细颈部特征融合模块E-Neck的后3个ECACSP模块的三路输出融合后的特征，并送入预测输出模块；
S3、预测输出完成裂缝检测，输出对井壁上裂缝的检测结果。
8.一种电子设备，其特征在于，采用如权利要求5～6所述的方法实现裂缝缺陷的检测。
9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求5～6所述的裂缝缺陷的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310401145.1A CN116681645A (zh) | 2023-04-15 | 2023-04-15 | 一种裂缝缺陷的检测模型及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310401145.1A CN116681645A (zh) | 2023-04-15 | 2023-04-15 | 一种裂缝缺陷的检测模型及其实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116681645A true CN116681645A (zh) | 2023-09-01 |
Family
ID=87787960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310401145.1A Pending CN116681645A (zh) | 2023-04-15 | 2023-04-15 | 一种裂缝缺陷的检测模型及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116681645A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993732A (zh) * | 2023-09-27 | 2023-11-03 | 合肥工业大学 | 一种缝隙检测方法、系统和存储介质 |
-
2023
- 2023-04-15 CN CN202310401145.1A patent/CN116681645A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993732A (zh) * | 2023-09-27 | 2023-11-03 | 合肥工业大学 | 一种缝隙检测方法、系统和存储介质 |
| CN116993732B (zh) * | 2023-09-27 | 2023-12-26 | 合肥工业大学 | 一种缝隙检测方法、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhong et al. | An end-to-end dense-inceptionnet for image copy-move forgery detection | |
| CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
| CN110378222B (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
| CN111222580A (zh) | 一种高精度的裂缝检测方法 | |
| CN109190752A (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| CN106354816A (zh) | 一种视频图像处理方法及装置 | |
| CN110503161B (zh) | 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统 | |
| CN110263215A (zh) | 一种视频情感定位方法及系统 | |
| CN116681645A (zh) | 一种裂缝缺陷的检测模型及其实现方法 | |
| CN114943832A (zh) | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 | |
| CN113963170A (zh) | 一种基于交互式特征融合的rgbd图像显著性检测方法 | |
| CN111222519A (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN114360644A (zh) | T细胞受体与抗原表位的结合预测方法及系统 | |
| CN110659572B (zh) | 基于双向特征金字塔的视频动作检测方法 | |
| CN116206327A (zh) | 一种基于在线知识蒸馏的图像分类方法 | |
| CN109033971A (zh) | 一种基于残差网络思想的高效行人重识别方法 | |
| CN111104855B (zh) | 一种基于时序行为检测的工作流识别方法 | |
| CN116188501B (zh) | 基于多尺度交叉注意力的医学图像分割方法 | |
| CN117036291A (zh) | 混凝土裂缝轻量化检测模型及检测方法 | |
| CN110363198A (zh) | 一种神经网络权重矩阵拆分与组合的方法 | |
| CN117173759A (zh) | 一种基于多尺度特征融合的人脸检测方法 | |
| CN117011883A (zh) | 一种基于金字塔卷积和Transformer双分支的行人重识别方法 | |
| CN111881932B (zh) | 一种军用飞机的FasterRCNN目标检测算法 | |
| Chen et al. | A-Net: An A-Shape Lightweight Neural Network for Real-Time Surface Defect Segmentation | |
| CN112348042A (zh) | 一种基于改进YOLOv3的红外目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |