CN116342531B - 一种轻量级大型建筑高空钢结构焊缝质量检测装置及方法 - Google Patents
一种轻量级大型建筑高空钢结构焊缝质量检测装置及方法 Download PDFInfo
- Publication number
- CN116342531B CN116342531B CN202310309739.XA CN202310309739A CN116342531B CN 116342531 B CN116342531 B CN 116342531B CN 202310309739 A CN202310309739 A CN 202310309739A CN 116342531 B CN116342531 B CN 116342531B
- Authority
- CN
- China
- Prior art keywords
- module
- cbs
- modules
- dms
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 51
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 37
- 239000010959 steel Substances 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 230000004927 fusion Effects 0.000 claims abstract description 59
- 230000007547 defect Effects 0.000 claims abstract description 54
- 101100099821 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cbs-1 gene Proteins 0.000 claims description 33
- 230000003993 interaction Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 3
- 238000000926 separation method Methods 0.000 abstract description 4
- 238000011179 visual inspection Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012014 frustrated Lewis pair Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005493 welding type Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种轻量级大型建筑高空钢结构焊缝缺陷识别模型、焊缝质量检测装置及方法，属于焊缝质量检测技术领域。本发明通过设计DMS‑Bottleneck模块、RF残差融合模块搭建了可以进行多目标分类与定位的DMSDet目标检测网络，RF残差融合模块利用通道混洗、逐点卷积和残差融合等方法，缓解了当混合深度卷积中存在多个不同尺寸卷积时带来的特征通道信息分离缺陷。通过焊接机器人所携带的工业相机对焊接后的焊缝进行图像采集，然后利用本发明搭建的网络模型进行焊缝质量检测，实现焊接机器人焊后焊缝质量检测，免除了焊接后人工目检投入的人力成本，也降低了高空人工检测的危险性，可应用于多种不同场景的焊缝检测。
Description
技术领域
本发明涉及钢结构高空焊接焊缝质量检测技术领域，具体涉及一种轻量级大型建筑高空钢结构焊缝缺陷识别模型、焊缝质量检测装置及方法。
背景技术
钢结构建筑主要由H型钢、工字钢和钢板等特定钢材构建，各构件之间通常采用焊接、螺栓或铆钉等方式连接，因其自重较轻且施工快捷，近些年被广泛应用。而在大型钢结构建筑中由于建筑功能的需要，现代空间钢结构跨度越来越大，这些大跨度空间钢结构采用了大量的高强度级别钢材，采用各种各样的节点形式，因此带来的构件数量和截面类型越来越多，因此对于构件的加工精度以及组装时的焊接工艺提出了极高的要求。由于现场施工环境复杂，焊缝缺陷之间差异小等诸多因素，导致钢结构焊缝缺陷的识别面临诸多挑战。人工目检的方法在大型钢梁焊缝检测任务中，不仅检测结果受检测人员主观影响而且存在很多安全隐患。近年来随着计算机视觉的发展，焊缝质量自动检测也取得了一些进步，然而在大型钢结构的焊缝质量检测任务中，仍然缺少有效的方法来自动检测大量焊缝表面存在的缺陷。
目前，对于焊缝质量检测主要有两种方法，传统的图像处理方法和深度学习方法。由于传统的图像处理方法对外界环境要求相对严格，采集到的图像几何结构相对固定，因此可以通过简单的特征点处理和几何关系来确定目标点所在的位置。但是传统的图像处理方法稳定性较差，需要结合视觉感光装备，才能对图片进行进一步处理，而且其所处的工作环境一旦与初始设定的模型稍微出现变化，则需要重新建模、调整和校正。而深度神经网络模型能够提取图形的高维非线性特征，稳定性好，不易受外界局部条件的干扰。
目前应用于焊缝检测的高性能的深度学习网络模型，如ResNet、DenseNet等，伴随着模型精度的提升，在计算量、存储空间以及能耗等方面的巨大开销(动辄数十亿次的浮点操作，甚至更多)，对于移动端(通常允许数百万至数千万次浮点操作)是难以满足的。模型必须在有限的硬件资源上保证准确度，同时充分利用计算力、功率和存储空间。因此，如何搭建可以部署在移动端的轻量级大型钢结构焊缝缺陷识别模型，是一个值得研究的问题。
发明内容
1.发明要解决的技术问题
为了解决大型钢结构焊接质量检测任务中，传统人工目检法存在的检测精度受限、作业环境危险，现有深度学习方法模型参数量大以及检测精度不高等问题，本发明提供了一种轻量级大型建筑高空钢结构焊缝缺陷识别模型、焊缝质量检测装置及方法，本发明搭建的基于轻量级卷积神经网络的缺陷检测模型DMSDet能够有效减少模型参数量、提高检测精度，适用于大型钢结构焊缝质量检测。
2.技术方案
为达到上述目的，本发明提供的技术方案如下：
本发明的一种轻量级大型建筑高空钢结构焊缝缺陷识别模型，包括输入端Input、骨干网络Backbone、颈部Neck和检测头部Head；所述输入端Input用于读取图像，骨干网络Backbone用于提取图像特征，颈部Neck用于丰富图像语义与边缘位置信息，检测头部Head用于预测缺陷类别并实现定位。
更进一步地，骨干网络Backbone由m0-m9组成，主要包括CBS_X模块、C3模块、RF残差融合模块以及SPPF模块。
更进一步地，CBS_X模块由卷积层Conv2d、批量归一化层BN和激活函数SiLU搭建，CBS_X中的X表示卷积核尺寸。
更进一步地，骨干网络Backbone中，m0为CBS_6模块，m1、m3、m5、m7为CBS_3模块，m2为C3模块，m4、m6和m8为RF残差融合模块，m9为SPPF模块。
更进一步地，C3模块采用两个CBS_1模块，将前层输入的特征图通道划分为两个分支，其中一个分支依次连接CBS_1模块和CBS_3模块，得到压缩特征图；压缩后的特征图经过残差融合之后和另一半特征进行拼接，最后通过CBS_1模块进行跨通道融合。
更进一步地，SPPF模块包括CBS_1模块和最大池化层Maxpool2d，前层输入的特征图先经过CBS_1模块进行通道压缩，然后经三个连续的最大池化层Maxpool2d提取更多的边缘以及纹理信息，之后通过拼接操作将CBS_1模块和三个最大池化层Maxpool2d的输出进行拼接，最后经CBS_1模块实现跨通道的交互和信息整合，同时减少特征通道。
更进一步地，RF残差融合模块包括三个CBS_1模块和N个DMS-Bottleneck模块，前层输入的特征图通道通过两个CBS_1模块处理后划分为两个分支，其中一个分支将前层输入通道一半的特征图输入到N个DMS-Bottleneck组成的模块后获取不同分辨率特征，另一个分支不做处理；利用拼接操作将两个分支获得的特征在通道维度进行融合，合并为一个分支，最后使用CBS_1模块对通道进行提升，实现最终的跨通道交互和信息整合。
更进一步地，N个DMS-Bottleneck模块按照顺序结构串联在RF残差融合模块中。
更进一步地，DMS-Bottleneck模块包括CBS_X模块和DMS模块，前层输入的特征图通过CBS_X模块处理后进入DMS模块，在DMS模块之后再增加一层CBS_X模块，用于充分融合DMS模块输出的特征通道信息。
更进一步地，DMS模块包含混合深度卷积和点卷积，其中混合深度卷积中存在多个不同尺寸的卷积，在混合深度卷积中添加CS通道混洗来实现通道之间的信息交互，再利用C拼接操作实现通道信息融合；且在混合深度卷积之后使用逐点卷积来融合独立计算的通道信息。
更进一步地，骨干网络Backbone的m8层RF残差融合模块中DMS模块的卷积核组合方式为3*3、5*5、7*7，其余层的RF残差融合模块中DMS模块的卷积核组合方式均为3*3、5*5、7*7、9*9。
更进一步地，颈部网络Neck包括CBS_X模块和RF残差融合模块，利用Upsample上采样和拼接操作Concat自顶向下实现与骨干网络中的m9、m6以及m4层的特征融合，使用RF残差融合模块提取更丰富的语义信息，而且利用Concat拼接操作自底向上传递强定位特征。
更进一步地，检测头部Head，其输入特征信息来自颈部网络Neck中m17、m20、m23三个模块的输出特征信息，输出特征信息经过检测头部Head的卷积模块Conv2d处理过后，得到Detect0、Detect1和Detect2三个不同尺度特征的输出信息，最终输出缺陷种类以及缺陷位置信息。
更进一步地，模型的损失函数由分类损失、回归损失以及置信度损失三部分加权组成，其中回归损失采用GIoU损失函数。
本发明的一种焊缝质量检测方法，包括以下步骤：
(1)基于钢结构焊缝质量检测任务，使用工业相机采集焊缝图片，对采集图片进行预处理；
(2)将预处理后钢结构表面焊缝图片输入所述的轻量级大型钢结构焊缝缺陷识别模型中，进行缺陷的识别与定位并同时进行缺陷种类判定。
本发明的一种焊缝质量检测装置，使用工业相机采集焊缝图片，装置包括获取单元和处理单元；
所述获取单元，用于获取工业相机采集的焊缝图像数据；
所述处理单元，利用所述的焊缝缺陷识别模型，对焊缝缺陷进行识别与定位并同时进行缺陷种类判定。
本发明的一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的焊缝质量检测步骤。
本发明的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行所述的焊缝质量检测步骤。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
(1)本发明的一种轻量级大型建筑高空钢结构焊缝缺陷识别模型，通过设计DMS-Bottleneck模块、RF残差融合模块搭建了可以进行多目标分类与定位的DMSDet目标检测网络，RF残差融合模块利用通道混洗、逐点卷积和残差融合等方法，缓解了当混合深度卷积中存在多个不同尺寸卷积时带来的特征通道信息分离这一缺陷。
(2)本发明的一种焊缝质量检测方法，其提出的DMS-Bottleneck模块与RF残差融合模块能够有效减少模型参数量、提高检测精度；DMSDet模型比其他较先进的缺陷检测方法具有更高的检测精度的同时，拥有更少的模型参数量以及更小的模型复杂度，并且可以进行实时检测。
(3)利用本发明搭建的轻量级网络模型进行焊缝质量检测，实现焊接机器人焊后焊缝质量检测，免除了焊接后人工目检投入的人力成本，也降低了高空人工检测的危险性。并且该方法可以应用于多种不同场景的焊缝缺陷检测，适用范围广。
附图说明
图1为六类焊缝缺陷示例图；
图2为本发明中DMS-Bottleneck模块结构示意图；
图3为本发明中DMSDet网络模型结构示意图；
图4为本发明中CBS_X模块结构示意图；
图5为本发明中C3模块结构示意图；
图6为本发明中SPPF模块结构示意图；
图7为本发明中RF残差融合模块结构示意图；
图8为GIoU示意图；
图9为FPN与PAN结构组合图；
图10为DMSDet网络中FPN与PAN结构组合图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
实施例1
一般而言，卷积神经网络越深，表达能力越强。但当卷积神经网络达到一定的深度后再一味地增加层数并不能进一步地使网络性能提高，反而使网络性能退化。针对这一问题，本实施例搭建一种轻量级大型建筑高空钢结构焊缝缺陷识别模型DMSDet，有效减少模型参数量，利用该模型进行焊缝质量检测具有较高的检测精度。
如图3所示，DMSDet网络主要包含四个部分，即：读取图像的输入端(Input)、用于提取特征的骨干网络(Backbone)、用于丰富语义与边缘位置信息的颈部(Neck)以及用于预测缺陷类别并实现定位的检测头部(Head)。
骨干网络Backbone由m0-m9组成，主要包括CBS_X模块、C3模块、RF残差融合模块以及SPPF模块。
如图4所示，CBS_X模块由卷积层(Conv2d)、批量归一化层(Batch Normalization，BN)和激活函数(SiLU)搭建，CBS_X中的X表示卷积核尺寸，例如：X＝1表示卷积核尺寸为1，X＝3表示卷积核尺寸为3。
骨干网络Backbone中，m0使用的是CBS_6模块，m1、m3、m5、m7使用的是CBS_3模块，m2使用的是C3模块，而m4、m6和m8使用的是本发明所提出的RF残差融合模块，m9使用的是SPPF模块。
如图5所示，C3模块主要由CBS_X模块组成，其中C(Concat)表示拼接操作，具体而言，C3模块采用两个CBS_1模块，将前层输入的特征图通道划分为两个分支，CBS_1能够起到减少特征通道从而达到减少模型参数量的作用，其中一个分支依次连接CBS_1模块和CBS_3模块，得到压缩特征图；压缩后的特征图经过残差融合之后和另一半特征进行拼接，最后通过CBS_1进行跨通道融合。
如图6所示，SPPF模块主要由CBS_1模块和最大池化层(Maxpool2d)组成，SPPF模块先利用CBS_1模块进行通道压缩，然后采用三个连续的最大池化层(Maxpool2d)提取更多的边缘以及纹理信息，之后通过拼接操作将CBS_1模块和三个MaxPool2d(最大池化层)的输出进行拼接，最后利用CBS_1实现跨通道的交互和信息整合，同时减少特征通道。综上可知，C3模块整体上起到通道融合的作用，SPPF模块整体上起到减少通道信息的作用。
如图7所示，RF残差融合模块使用了三个CBS_1模块和N个DMS-Bottleneck模块，其中C(Concat)表示拼接操作。
为了便于理解RF残差融合模块的设计理念，本实施例首先介绍DMS-Bottleneck模块，该DMS-Bottleneck模块是发明人创新搭建的轻量化并可以提取不同尺度特征的模块。DMS-Bottleneck模块通过多种不同大小卷积核的组合应用，不仅减少了模型参数量，而且可以有效获取不同分辨率特征。
参见图2，DMS-Bottleneck模块包括CBS_X模块和DMS模块，图2虚线处的DMS模块，包含混合深度卷积和点卷积，其中混合深度卷积中存在多个不同尺寸的卷积，CS(ChannelShuffle)表示通道混洗操作，C(Concat)表示拼接操作。混合深度卷积的Filters部分，三个网格从下到上依次分别表示3*3、5*5、7*7卷积，这种特殊的结构能够选择不同尺寸卷积组合有效的获取不同分辨率的特征，但在计算过程中会造成输入图像的通道信息彼此分离。针对DMS模块在混合深度卷积使用不同尺寸的卷积使通道信息彼此分离的缺陷，本发明在混合深度卷积中添加CS通道混洗来实现通道之间的信息交互，再利用C拼接操作实现通道信息融合；为了保证各个特征通道之间的信息充分融合，在混合深度卷积之后使用逐点卷积来融合独立计算的通道信息；最后在DMS模块之后再增加一层CBS_X模块，用于充分融合DMS模块输出的特征通道信息。
此外，由于随着整体网络模型的不断加深，输入端(Iuput)在依次经过m0(CBS_6模块)、m1(CBS_3模块)以及m2(C3模块)等模块时，输入图像通道信息在CBS_6模块、CBS_3模块、C3模块和RF残差融合模块的作用下不断进行融合与扩充，最终在骨干网络中的m8层时，模型的特征通道达到最多。为了减少模型参数量，本实施例将m8层RF残差融合模块中DMS模块的卷积核组合方式由3*3、5*5、7*7、9*9修改为3*3、5*5、7*7(图2示出)，丢弃大卷核，而其余层的RF残差融合模块中的DMS模块中卷积核组合方式均为3*3、5*5、7*7、9*9用于提取不同分辨率特征。
从图2可以发现DMS-Bottleneck模块中存在较多的卷积核，即使DMS模块能够有效的减少参数量，然而随着网络层数的加深，DMS-Bottleneck模块仍旧会占用较大的计算资源。为了进一步缓解计算资源提高模型的计算效率，本实施例进一步搭建RF残差融合模块。
RF残差融合模块中，前层输入的特征图通道通过两个CBS_1模块的处理后划分为两个分支，两个分支分别获取到前层输入特征图通道的一半通道，这两个分支中CBS_1模块的作用一样，用于将前层输入的特征图通道减半。其中一个分支将前层输入通道一半的特征图输入到N个DMS-Bottleneck组成的模块后获取不同分辨率特征，图7中N×DMS-Bottleneck表示多个DMS-Bottleneck模块按照顺序结构串联在残差融合模块中，另一个分支并未经过上述处理过程。最后利用C(Concat)拼接操作将这两个分支获得的特征在通道维度进行融合，合并为一个分支，最后使用CBS_1模块对通道进行提升，实现最终的跨通道交互和信息整合。
本实施例搭建了轻量化并且可以提取不同尺度特征的DMS-Bottleneck模块，并利用残差模块打破网络的对称性，提高网络的表征能力，进而解决深层次网络性能退化的特性。
参看图3，颈部网络Neck由CBS_X模块、RF残差融合模块、Upsample上采样和Concat(拼接操作)组成。上采样是指在神经网络中，为了将图像恢复到原有尺寸进行的一种操作。为了实现主干层与检测层的参数聚合，本实施例采用类似FPN(Feature PyramidNetworks，特征金字塔网络)+PAN(Pyramid Attention Network，金字塔注意力网络)结构，FPN+PAN组合结构如图9所示。为了方便理解DMSDet网络中的FPN+PAN结构，将DMSDet网络中的FPN+PAN结构截取出绘制了DMSDet网络的FPN+PAN结构组合图，如图10所示。从图中可以看出，DMSDet网络的FPN结构利用Upsample上采样和Concat(拼接操作)自顶向下实现与骨干网络中的m9、m6以及m4层的特征融合(其中m9为Backbone主干网络的顶层)。而在DMSDet网络的PAN结构中，不仅使用RF残差融合模块提取更丰富的语义信息，而且利用Concat拼接操作自底向上传递强定位特征。
而对于检测头部Head，其输入特征信息来自颈部网络Neck中m17、m20、m23三个模块的输出特征信息，输出特征信息经过检测头部Head的Conv2d(卷积模块)的处理过后，得到Detect0、Detect1和Detect2三个不同尺度特征的输出信息，最终输出缺陷种类以及缺陷位置信息。
本实施例通过设计DMS-Bottleneck模块、RF残差融合模块搭建了可以进行多目标分类与定位的DMSDet目标检测网络。RF残差融合模块利用通道混洗、逐点卷积和残差融合等方法，缓解了当混合深度卷积中存在多个不同尺寸卷积时带来的特征通道信息分离这一缺陷。
本实施例的DMSDet网络模型训练过程如下：
本实施例中的DMSDet网络是一种One-stage检测算法，由于焊接部位存在相对而言极小的缺陷，为了增强网络模型在小目标任务的检测效果，输入图像在进行模型训练时，首先利用Mosaic数据增强对输入的每个batch图片读取四张，分别对四张图片进行翻转、缩放、色域变化等，利用随机缩放、随机裁剪、随机排布的方式进行拼接。
随后将拼接后的图片输入骨干网络进行特征提取；
然后利用颈部实现骨干层与检测层的采纳数聚合，并将模型的低层特征信息与网络的高层语义信息进行融合，最后利用拼接操作实现自底向上强定位特征的传递；
最后检测头部对颈部传递的特征信息进行Conv2d(卷积模块)处理操作，得到Detect0、Detect1和Detect2三个不同尺度特征的输出信息，最终输出缺陷种类以及缺陷位置信息。
在模型训练中，模型在初始锚框的基础上输出预测框，然后和真实框(groundtruth)进行对比，计算两者差距再反向更新，迭代模型参数。为了获得与真实框充分接近的检测框，本实施例经过大量实验选择了GIoU损失函数，使得预测边界框回归的位置更为准确。
实施例2
本实施例的一种基于轻量级卷积模型的焊缝质量检测方法，包括以下步骤：
步骤一、焊缝数据集制作，具体过程为：
1.1、针对大型钢结构焊缝数据集缺失的问题，利用工业相机进行现场采图，从大型钢结构建筑中收集每种缺陷图片，如图1所示，将收集到的焊缝图片进行筛选并裁剪为224*224大小，然后进行翻转、缩放、色域变化等图像处理方法进行数据集扩充并且保证每种缺陷图片数量1000张。
1.2、随后使用Labelimg软件进行数据集标注，将标注好的数据集按照COCO格式进行制作，至此焊缝数据集制作完成。
1.3、将制作好的数据集按照8:2划分，总数据集的80％作为训练集，20％作为验证集。
步骤二、利用基于深度学习的目标检测框架进行焊缝质量检测，具体过程如下：
2.1、利用实施例1所述的一种全新的深度网络结构DMSDet，该模型主要用于大型钢结构焊缝质量检测。
2.2、DMSDet网络结构主要由读取图像的输入端Input、用于提取特征的骨干网络Backbone、用于丰富语义与边缘位置信息的颈部Neck，以及用于预测缺陷类别并实现定位的检测头部Head组成，如图3所示。
2.3、将制作的钢结构表面焊缝数据集输入上述步骤2.2中的目标检测框架，通过图像预处理将图像尺寸固定为480*480大小，然后将预处理后的图像输入骨干网络。
2.4、骨干网络由m0-m9组成，其中m3使用的是CBS_3模块，而m4、m6和m8使用的是本发明所提出的RF残差融合模块，RF残差融合模块使用多个DMS-Bottleneck模块用于提取不同分辨率特征，同时可以缓解特征通道彼此分离的问题，利用CBS_1实现跨通道的交互和信息整合的同时减少特征通道。骨干网络通过C3模块、DMS-Bottleneck模块以及SPPF模块的应用，能够充分提取输入图像的特征，并减少大量参数量。
2.5、颈部Neck使用类似FPN+PAN的结构实现骨干网络与检测层的参数聚合，可以充分提取丰富的语义信息，并利用拼接操作自底向上传递强定位特征。
2.6、检测头部Head对颈部Neck传递的特征信息进行Conv2d(卷积模块)处理操作，得到Detect0、Detect1和Detect2三个不同尺度特征的输出信息，最终输出缺陷种类以及缺陷位置信息。
步骤三、基于轻量级网络模型的目标检测框架损失函数选取，具体过程为：
3.1、目标检测整体框架的损失函数主要由分类损失、回归损失以及置信度损失三部分加权组成，损失函数选取最主要的是选取合适的回归损失；
3.2、回归损失为bounding box的回归，在此之前需要先了解交并比IoU(Intersection over Union)指标：
在缺陷检测任务中预测边界框与真实边界框的重叠程度即为IoU，一般定义IoU阈值为0.5来分类预测是真阳性还是假阳性。但是当两个边界框没有重叠时IoU为0，这种情况下两个边界框之间的距离则无法判断。因此当两个边界框没有重叠时IoU用作损失函数，此时梯度为0，在反向传播时无法进行参数优化；而且即使两个边界框之间有重叠，但是IoU无法辨别它们之间的对齐方式。由于两个边界框不相交时IoU的值为0，无法反映两框之间的距离，无法进行优化，因此本发明选用并集上的广义交集(Generalized IntersectionUnion，GioU)计。如图8所示，其中“A”表示目标的真实边界框面积，“B”表示目标的预测边界框面积，“C”表示真实边界框与预测边界框的最小外接矩形面积。GIoU可以使预测边界框回归的位置更加准确。GIoU损失函数定义如下：
步骤四：步骤一所制作的数据集在对上述网络模型进行实验验证，并对选取的损失函数进行性能评估。
4.1、选用精确度(Precision)、召回率(Recall)、mAP(mean Average Precision)等评价指标。使用存储占用内存、参数量(Params)以及浮点运算的数量FLOPs衡量模型计算复杂度。
4.2、首先验证所提DMS-Bottleneck模块和RF残差融合模块的有效性，单独在骨干、颈部中增加RF残差融合模块以及在骨干和颈部同时增加RF残差融合模块，实验结果表明在骨干和颈部同时增加RF残差融合模块，模型的检测准确率最高，同时模型参数量也带来了大幅度减少，证明了DMS-Bottlenck模块和RF残差融合模块的有效性。
4.3、随后从损失函数对精确度、召回率和mAP评价的指标进行实验，进一步检验损失函数的有效性。
实验结果表明，利用本方法：
(1)实现了较高的检测精度的同时保持了较快的监测速度，效果优于其他框架模型；
(2)实验表明该模型进行缺陷检测时，漏检率低于其他模型；
(3)在焊缝质量检测任务中，不仅可以准确识别出焊缝缺陷的种类，而且还可以进行缺陷定位，这对大型钢结构焊缝质量检测与修复来说具有重要意义。
实施例3
对应于上述基于轻量级卷积模型的焊缝质量检测方法，本实施例提供了一种基于轻量级卷积模型的焊缝质量检测装置。该检测装置包括用于执行上检测方法的单元，该装置可以被配置于服务器中。所述装置使用工业相机采集焊缝图片，包括获取单元和处理单元；所述获取单元，用于获取工业相机采集的焊缝图像数据；
所述处理单元，利用所述的焊缝缺陷识别模型，对焊缝缺陷进行识别与定位并同时进行缺陷种类判定。
实施例4
上述基于轻量级卷积模型的焊缝质量检测装置可以实现为计算机程序的形式，该计算机程序可以在计算机设备上运行。
该计算机设备可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
所述计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的焊缝质量检测步骤。
实施例5
本实施例提供了一种计算机可读存储介质，该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明如上述的焊缝质量检测步骤。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (6)
1.一种焊缝质量检测方法，其特征在于，包括以下步骤：
(1)基于钢结构焊缝质量检测任务，使用工业相机采集焊缝图片，对采集图片进行预处理；
(2)将预处理后钢结构表面焊缝图片输入轻量级大型钢结构焊缝缺陷识别模型中，进行缺陷的识别与定位并同时进行缺陷种类判定；所述缺陷识别模型包括输入端Input、骨干网络Backbone、颈部Neck和检测头部Head；所述输入端Input用于读取图像，骨干网络Backbone用于提取图像特征，颈部Neck用于丰富图像语义与边缘位置信息，检测头部Head用于预测缺陷类别并实现定位；
骨干网络Backbone由m0-m9组成，包括CBS_X模块、C3模块、RF残差融合模块以及SPPF模块；
CBS_X模块由卷积层Conv2d、批量归一化层BN和激活函数SiLU搭建，CBS_X中的X表示卷积核尺寸；
骨干网络Backbone中，m0为CBS_6模块，m1、m3、m5、m7为CBS_3模块，m2为C3模块，m4、m6和m8为RF残差融合模块，m9为SPPF模块；C3模块采用两个CBS_1模块，将前层输入的特征图通道划分为两个分支，其中一个分支依次连接CBS_1模块和CBS_3模块，得到压缩特征图；压缩后的特征图经过残差融合之后和另一半特征进行拼接，最后通过CBS_1模块进行跨通道融合；
SPPF模块包括CBS_1模块和最大池化层Maxpool2d，前层输入的特征图先经过CBS_1模块进行通道压缩，然后经三个连续的最大池化层Maxpool2d提取更多的边缘以及纹理信息，之后通过拼接操作将CBS_1模块和三个最大池化层Maxpool2d的输出进行拼接，最后经CBS_1模块实现跨通道的交互和信息整合，同时减少特征通道；
RF残差融合模块包括三个CBS_1模块和N个DMS-Bottleneck模块，前层输入的特征图通道通过两个CBS_1模块处理后划分为两个分支，其中一个分支将前层输入通道一半的特征图输入到N个DMS-Bottleneck组成的模块后获取不同分辨率特征，另一个分支不做处理；利用拼接操作将两个分支获得的特征在通道维度进行融合，合并为一个分支，最后使用CBS_1模块对通道进行提升，实现最终的跨通道交互和信息整合；
N个DMS-Bottleneck模块按照顺序结构串联在RF残差融合模块中；
DMS-Bottleneck模块包括CBS_X模块和DMS模块，前层输入的特征图通过CBS_X模块处理后进入DMS模块，在DMS模块之后再增加一层CBS X模块，用于充分融合DMS模块输出的特征通道信息；
DMS模块包含混合深度卷积和点卷积，其中混合深度卷积中存在多个不同尺寸的卷积，在混合深度卷积中添加CS通道混洗来实现通道之间的信息交互，再利用C拼接操作实现通道信息融合；且在混合深度卷积之后使用逐点卷积来融合独立计算的通道信息。
2.根据权利要求1所述的一种焊缝质量检测方法，其特征在于：骨干网络Backbone的m8层RF残差融合模块中DMS模块的卷积核组合方式为3*3、5*5、7*7，其余层的RF残差融合模块中DMS模块的卷积核组合方式均为3*3、5*5、7*7、9*9。
3.根据权利要求1或2所述的一种焊缝质量检测方法，其特征在于：颈部网络Neck包括CBS_X模块和RF残差融合模块，利用Upsample上采样和拼接操作Concat自顶向下实现与骨干网络中的m9、m6以及m4层的特征融合，使用RF残差融合模块提取更丰富的语义信息，而且利用Concat拼接操作自底向上传递强定位特征。
4.根据权利要求3所述的一种焊缝质量检测方法，其特征在于：检测头部Head，其输入特征信息来自颈部网络Neck中m17、m20、m23三个模块的输出特征信息，输出特征信息经过检测头部Head的卷积模块Conv2d处理过后，得到Detect0、Detect1和Detect2三个不同尺度特征的输出信息，最终输出缺陷种类以及缺陷位置信息。
5.根据权利要求4所述的一种焊缝质量检测方法，其特征在于：模型的损失函数由分类损失、回归损失以及置信度损失三部分加权组成，其中回归损失采用GIoU损失函数。
6.一种焊缝质量检测装置，其特征在于：使用工业相机采集焊缝图片，装置包括获取单元和处理单元；
所述获取单元，用于获取工业相机采集的焊缝图像数据；
所述处理单元，利用如权利要求1-5任一项所述的焊缝缺陷识别模型，对焊缝缺陷进行识别与定位并同时进行缺陷种类判定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309739.XA CN116342531B (zh) | 2023-03-27 | 2023-03-27 | 一种轻量级大型建筑高空钢结构焊缝质量检测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309739.XA CN116342531B (zh) | 2023-03-27 | 2023-03-27 | 一种轻量级大型建筑高空钢结构焊缝质量检测装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116342531A CN116342531A (zh) | 2023-06-27 |
| CN116342531B true CN116342531B (zh) | 2024-01-19 |
Family
ID=86887385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310309739.XA Active CN116342531B (zh) | 2023-03-27 | 2023-03-27 | 一种轻量级大型建筑高空钢结构焊缝质量检测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116342531B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
| CN113674247A (zh) * | 2021-08-23 | 2021-11-19 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
| CN114494908A (zh) * | 2022-02-11 | 2022-05-13 | 南通大学 | 一种基于改进的YOLOv5输电线路航拍图像缺陷检测方法 |
| CN114663346A (zh) * | 2022-01-30 | 2022-06-24 | 河北工业大学 | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 |
| CN114677357A (zh) * | 2022-04-06 | 2022-06-28 | 安徽理工大学 | 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质 |
| CN115205274A (zh) * | 2022-07-26 | 2022-10-18 | 西南石油大学 | 一种基于轻量化级联网络的布匹瑕疵检测方法 |
| CN115661657A (zh) * | 2022-11-04 | 2023-01-31 | 哈尔滨工程大学 | 一种轻量化的无人艇目标检测方法 |
| CN115829991A (zh) * | 2022-12-15 | 2023-03-21 | 淮阴工学院 | 一种基于改进YOLOv5s的钢材表面缺陷检测方法 |
-
2023
- 2023-03-27 CN CN202310309739.XA patent/CN116342531B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
| CN113674247A (zh) * | 2021-08-23 | 2021-11-19 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
| CN114663346A (zh) * | 2022-01-30 | 2022-06-24 | 河北工业大学 | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 |
| CN114494908A (zh) * | 2022-02-11 | 2022-05-13 | 南通大学 | 一种基于改进的YOLOv5输电线路航拍图像缺陷检测方法 |
| CN114677357A (zh) * | 2022-04-06 | 2022-06-28 | 安徽理工大学 | 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质 |
| CN115205274A (zh) * | 2022-07-26 | 2022-10-18 | 西南石油大学 | 一种基于轻量化级联网络的布匹瑕疵检测方法 |
| CN115661657A (zh) * | 2022-11-04 | 2023-01-31 | 哈尔滨工程大学 | 一种轻量化的无人艇目标检测方法 |
| CN115829991A (zh) * | 2022-12-15 | 2023-03-21 | 淮阴工学院 | 一种基于改进YOLOv5s的钢材表面缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| "A supervised approach for automated surface defect detection in ceramic tile quality control";Qinghua Lu et al.;《Advanced Engineering Informatics》;第1-13页 * |
| "Wildfire detection for transmission line based on improved lightweight YOLO";Hui He et al.;《2022 9th International Conference on Power and Energy Systems Engineering》;第512-520页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116342531A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503112B (zh) | 一种增强特征学习的小目标检测及识别方法 | |
| CN112700444B (zh) | 基于自注意力与中心点回归模型的桥梁螺栓检测方法 | |
| Yang et al. | Deep learning‐based bolt loosening detection for wind turbine towers | |
| CN114240821A (zh) | 一种基于改进型yolox的焊缝缺陷检测方法 | |
| Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
| CN115797357B (zh) | 一种基于改进YOLOv7的输电通道隐患检测方法 | |
| CN114973032B (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN114943832A (zh) | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 | |
| CN112241950A (zh) | 一种塔式起重机裂缝图像的检测方法 | |
| CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
| CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
| CN114092697A (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| CN113570571A (zh) | 一种工业边缘端动力电池缺陷检测方法及系统 | |
| CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
| CN115147347A (zh) | 一种面向边缘计算的玛钢管件表面缺陷检测的方法 | |
| CN115937736A (zh) | 基于注意力和上下文感知的小目标检测方法 | |
| Zhou et al. | Fault detection of train height valve based on nanodet-resnet101 | |
| CN116342531B (zh) | 一种轻量级大型建筑高空钢结构焊缝质量检测装置及方法 | |
| CN113762247A (zh) | 一种基于显著实例分割算法的道路裂缝自动检测方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| Zhang et al. | Pavement crack detection based on deep learning | |
| CN116863271A (zh) | 一种基于改进yolo v5的轻量级红外火焰检测方法 | |
| CN115953387A (zh) | 一种基于深度学习的射线图像焊缝缺陷检测方法 | |
| CN115880477A (zh) | 一种基于深度卷积神经网络的苹果检测定位方法与系统 | |
| CN114120159A (zh) | 输电线路销钉缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |