CN117788402A - 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法 - Google Patents
一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法 Download PDFInfo
- Publication number
- CN117788402A CN117788402A CN202311794749.3A CN202311794749A CN117788402A CN 117788402 A CN117788402 A CN 117788402A CN 202311794749 A CN202311794749 A CN 202311794749A CN 117788402 A CN117788402 A CN 117788402A
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- feature map
- lidd
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000010586 diagram Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 8
- 229910000831 Steel Inorganic materials 0.000 description 5
- 239000010959 steel Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000007505 plaque formation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于LIDD‑Net高实时轻量化网络的工业产品缺陷检测方法，涉及工业产品缺陷检测技术领域，本发明设计了SimDo模块，SimDo模块有效解决了网络通道冗余问题，降低模型复杂度的同时增强了网络对复杂缺陷的特征提取能力。通过设计多尺度特征融合模块MCFFM来有效的捕获平衡的非局部上下文特征和局部目标特征。之后通过将结构重参数化思想与Ghost卷积相结合设计出RepModule，由RepModule组成的特征融合网络可以增强对缺陷目标的检测能力。最后使用更先进的SIoU Loss作为边界框回归的损失函数。整个网络采用端到端的方式进行训练，直至模型收敛。本发明在提高工业缺陷检测精度的同时，降低了模型的参数量和复杂度，满足工业检测实时性的要求。
Description
技术领域
本发明涉及工业产品缺陷检测技术领域，尤其涉及一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法。
背景技术
大到飞机机翼，小到芯片晶粒，工业制品在现代社会中无处不在。工业缺陷检测，旨在发现各种工业制品的外观瑕疵，是保障产品质量、维持生产稳定的重要技术之一。而以往的缺陷检测需要人工筛查，成本高、效率低，难以覆盖大规模的质检需求。近年来，随着工业成像、计算机视觉和深度学习等领域的新技术层出不穷，基于视觉的工业缺陷检测技术得到了长足的发展，成为了针对产品外观质检的一种有效的解决方案。现有的基于视觉的缺陷检测方法分别为传统方法和深度学习方法。传统方法包括灰度阈值分割、边缘检测、纹理分析，但传统方法在面对复杂无规则的数据时，有很大的局限性。而深度学习方法因其在处理背景复杂、缺陷微弱的工业图像时展现出卓越的性能优势，逐渐在该领域占据主导地位。
在基于深度学习的工业产品缺陷检测领域，国内外学者主要提出了两种方案，一种是引入高性能网络提升检测精度，如NextVit、EfficientVit，高性能网络虽加强了对复杂缺陷特征的提取能力，但现有的主流高性能网络计算量过大，对硬件要求过高，同时无法满足工业检测实时性的要求。另一种为引入轻量化网络来加快检测速度，如YOLOX-Nano、PPYOLO-Tiny。但现有的轻量化网络在面对复杂的缺陷图象时性能不足，容易出现错检漏捡的情况。
发明内容
针对现有技术的不足，本发明提供一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，可以部署在嵌入式设备上进行工业产品缺陷检测。
一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，包括以下步骤：
步骤1：获取缺陷图像，并对缺陷图像进行预处理，包括调整缺陷图像大小、图像标准化以及图像数据增强处理，获得预处理后的缺陷图像数据；
步骤2：建立LIDD-Net的特征提取网络，并通过特征提取网络来提取缺陷图像数据中的高级抽象特征，并输出特征图；
所述特征提取网络由3组特征提取模块构成，第1组特征提取模块由4个SimDo模块组成；第2组特征提取模块由8个SimDo模块组成；第3组特征提取模块由4个SimDo模块和位于尾部的MCFFM模块组成；3组特征提取模块以串行的方式连接，3组特征提取模块分别输出尺寸依次减半、通道依次翻倍的不同深度的特征图T1、T2、T3；
SimDO模块具体结构如下：
首先通过Channel Split将输入通道X按照分离比6:5:5分离为X1、X2、X3，通道X1首先经过3*3深度卷积特征提取后，通过chunk进一步均分通道，分离后的通道与X2融合后，通过SimAM模块来捕捉图像不同区域之间的相似性，通过Do-Conv卷积进行通道调整后引入残差连接，将所有通道融合后，经过Channel Shuffle将通道重组后输出；
所述MCFFM多尺度特征融合模块由3个空洞卷积分支和1个平均池化分支组成。空洞卷积分支分别使用了3个不同空洞率的空洞卷积来生成多尺度特征图，不同空洞卷积分支之间共享权重来减少参数量，使用残差连接；平均池化分支通过压缩通道后的上采样来获得全局感受野。
空洞卷积分支的多尺度特征图和平均池化分支的特征图融合输出新特征图T3；空洞卷积来生成多尺度特征图的计算公式如下：
Y[i,j]＝∑m∑nX[i·r+m,j·r+n]·K[m,n]
式中，X为输入特征图；K[]为卷积核；Y[]为空洞卷积输出特征图；r为膨胀率；i和j是输出特征图中的坐标；m和n是卷积核中的坐标；
平均池化分支通过压缩通道后的上采样来获得全局感受野，所有分支融合后输出特征图T3，具体过程如下：
平均池化分支首先通过平均池化操作，将输入的特征图的空间分辨率减小，同时保留特征图中每个通道的平均值，通过Do-conv将通道数压缩为1/16，通过上采样将特征图的尺寸恢复，恢复后的特征图再与其他分支融合；
步骤3：建立LIDD-Net的特征融合网络；将特征提取网络输出的特征图T1、T2、T3经过卷积对通道数压缩后得到特征图R1、R2、R3，新的特征图R1、R2、R3输入LIDD-Net的特征融合网络进行进一步的特征融合。特征融合网络通过在R1、R2、R3特征图之间建立特征传输通道，确保不同特征层之间的上下文信息进行有效传递，这有助于LIDD-Net网络充分理解和利用不同尺度上的特征信息，提升对工业产品缺陷目标的检测能力；
所述LIDD-Net的特征融合网络由Repblock模块组成。在特征融合网络中，特征图R3在上采样操作后分别与特征图R1、R2在Repblock模块中融合后得到新特征图L1、R2,3，这使得低尺寸特征图的细节信息能够更好地传递到高尺寸特征图；特征图L1在下采样操作后分别与特征图R2,3、R3在Repblock模块中融合后得到新特征图L2、L3，再通过特征图L3与R3融合输出新的特征图L4，这使得高尺寸特征图的语义信息能够更好地传递到低尺寸特征图。
特征融合网络的具体融合过程如下：
(a)R3特征图经过上采样操作后与R2进行Concat操作，然后通过Repblock进行特征融合得到R2,3
(b)R2,3特征图经过上采样操作后与R1进行Concat操作，然后通过Repblock进行特征融合得到新特征图L1
(c)L1特征图经过下采样操作后与R2,3进行Concat操作，然后通过Repblock进行特征融合得到新特征图L2
(d)L2特征图经过下采样操作后与R3进行Concat操作，然后通过Repblock进行特征融合得到新特征图L3
(e)新特征图L3和R3分别经过5*5卷积后通过Add操作，得到新特征图L4；
其中Repblock模块具体结构如下：
Repblock模块由两个串联的RepModule分支和深度卷积支路组成；其中RepModule在Ghost卷积的基础上引入了多分支结构，具体为BN分支、3*3Conv和BN串联分支、1*1Conv和BN串联分支；
步骤4：建立LIDD-Net的检测头，检测头负责输出工业产品缺陷检测的最终结果，包括缺陷的类别、位置以及置信度信息。将经过特征融合网络融合后的特征图L1、L2、L3、L4分别输入LIDD-Net检测头中来识别和定位不同类别的缺陷。
所述检测头中使用SIoU Loss作为LIDD-Net网络边界框回归的损失函数；
具体包含四个部分：
(a)角度损失Angle cost，定义如下:
其中cn为真实框和预测框中心点的高度差，σ为真实框和预测框中心点的距离；
(b)距离损失Distance cost，定义如下:
其中cw、ch分别表示预测框和真实框最小外接矩形的宽和高，表示真实框中心点的坐标值，/>分别表示预测框中心点的坐标值，ρx表示真实框和预测框中心点宽度与高度差，ρy表示最小外接矩形宽与高比值的平方，Δ为距离损失；
(c)形状损失Shape cost，定义如下：
其中w、h分别为预测框的宽和高，wgt、hgt分别为真实框的宽和高，θ用来限制形状损失的大小；
(d)IoU损失IoU cost，定义如下:
其中B、BGT分别代表预测框和真实框，IoU表示真实框和预测框的重叠程度，LossSIoU表示最后的损失值
步骤5：对LIDD-Net网络采用端到端的方式进行训练；将缺陷图像数据按照8：1：1的比例分为训练集、验证集和测试集。训练集用于网络模型的训练，模型通过学习训练集中缺陷样本的特征和标签来调整参数；验证集用于在训练过程中对模型进行监控和评估，防止模型在训练时过拟合；测试集用于验证训练后的模型是否能够在真实场景中对工业产品缺陷进行准确的检测。
将训练集中的图像数据输入LIDD-Net网络中，通过前向传播计算输出，然后通过反向传播计算梯度并更新网络参数。迭代设定的轮次，每经过10轮次通过验证集来反馈当前模型的训练情况，防止模型在训练时过拟合。训练结束后使用测试集来评估模型的性能指标，如精确度、召回率和推理速度等。
步骤6：使用训练后的目标检测模型实现工业产品缺陷的检测。
采用上述技术方案所产生的有益效果在于：
本发明提供一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，现有的高性能网络计算量过大，无法满足工业检测实时性的要求，而轻量化网络性能不足，容易出现漏检错检的现象。本发明提供一种针对于工业产品缺陷检测LIDD-Net网络，同时满足工业产品检测高实时，高精度的要求。LIDD-Net提出了全新的交互通道分离增强轻量化架构，并基于此架构设计了SimDo模块，LIDD-Net的特征提取网络由SimDo和MCFFM模块组成。SimDo模块有效解决了通道冗余问题，降低模型复杂度的同时增强了网络对复杂缺陷的特征提取能力。MCFFM可以有效的捕获平衡的非局部上下文特征和局部目标特征。LIDD-Net的特征融合网络为FPN-PAN架构，其中的特征融合模块Repblock由基于结构重参数化思想和Ghost卷积结合的RepModule组成。LIDD-Net在满足工业缺陷检测精度的同时，降低了模型的参数量和复杂度，满足工业检测实时性的要求。
附图说明
图1为本发明实例中LIDD-Net网络整体结构图。
图2为本发明实例中SimDo模块结构图。
图3为本发明实例中MCFFM模块结构图。
图4为本发明实例中Repblock模块结构图。
图5为本发明实例中RepModule模块训练时结构图。
图6为本发明实例中RepModule模块推理时结构图。
图7为本发明实例中工业产品缺陷检测所用NEU钢材缺陷数据集示意图。
图8为本发明实例中使用LIDD-Net对缺陷目标的检测效果图。
图9为本发明实例中模型消融实验结果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，如图1所示，包括以下步骤：
步骤1：获取缺陷图像，并对缺陷图像进行预处理，包括调整缺陷图像大小、图像标准化以及图像数据增强处理，获得预处理后的缺陷图像数据；
步骤2：建立LIDD-Net的特征提取网络，并通过特征提取网络来提取缺陷图像数据中的高级抽象特征，并输出特征图；
所述特征提取网络由3组特征提取模块构成，第1组特征提取模块由4个SimDo模块组成；第2组特征提取模块由8个SimDo模块组成；第3组特征提取模块由4个SimDo模块和位于尾部的MCFFM模块组成。3组特征提取模块以串行的方式连接。SimDo模块可以有效解决通道冗余问题，降低模型复杂度的同时增强了网络对复杂缺陷的特征提取能力。3组特征提取模块分别输出尺寸依次减半、通道依次翻倍的不同深度的特征图T1、T2、T3；
SimDO模块具体结构如图2所示，如下：
针对普通卷积在网络较宽时容易产生通道冗余拖慢模型推理速度这一问题，本发明提出交互通道分离增强这一轻量化架构，并以此架构设计了SimDo模块。首先通过Channel Split将输入通道X按照分离比6:5:5分离为X1、X2、X3，通道X1首先经过3*3深度卷积特征提取后，通过chunk进一步均分通道，分离后的通道与X2融合后，通过SimAM模块用来捕捉图像不同区域之间的相似性，减少缺陷背景信息的干扰。通过Do-Conv卷积进行通道调整后引入残差连接，将所有通道融合后，经过Channel Shuffle将通道重组后输出；
其中交互通道分离增强这一轻量化架构是通过多次分离通道，压缩卷积的通道宽度，分离后的通道经过卷积的特征提取后再连接可以充分利用中间层的信息从而避免浪费的可能性，通过只对部分通道进行增强，来减低参数量和复杂度，最后将所有的通道融合，经过Channel shuffle将通道重组后输出。Do-Conv是在一个普通的卷积层中加入额外的depthwise卷积操作，构成一个over-parameterized的卷积层。在推理时，Do-Conv可以转换为传统的卷积操作，因此将一个网络中的传统卷积替换为Do-Conv并不会增加计算需求。
所述MCFFM多尺度特征融合模块如图3所示，由3个空洞卷积分支和1个平均池化分支组成。空洞卷积分支分别使用了3个不同空洞率的空洞卷积来生成多尺度特征图，不同空洞卷积分支之间共享权重来减少参数量，使用残差连接防止梯度爆炸。平均池化分支通过压缩通道后的上采样来获得全局感受野。
空洞卷积通过增加卷积核的孔洞，可以扩大每个卷积核对输入数据的感受野，使网络可以捕捉更广泛的上下文信息。通过使用不同空洞率的卷积核来生成多尺度的特征图，这有助于融合多尺度的信息，提高网络对不同尺度上的物体或结构的识别能力。空洞卷积分支的多尺度特征图和平均池化分支的特征图融合输出新特征图T3；空洞卷积来生成多尺度特征图的计算公式如下：
Y[i,j]＝∑m∑nX[i·r+m,j·r+n]·K[m,n]
式中，X为输入特征图；K[]为卷积核；Y[]为空洞卷积输出特征图；r为膨胀率；i和j是输出特征图中的坐标；m和n是卷积核中的坐标；
平均池化分支通过压缩通道后的上采样来获得全局感受野，所有分支融合后输出特征图T3，具体过程如下：
平均池化分支首先通过平均池化操作，将输入的特征图的空间分辨率减小，同时保留特征图中每个通道的平均值，有助于捕捉输入特征图中的全局信息。通过Do-conv将通道数压缩为1/16，通过减少通道数，来降低计算复杂度。通过上采样将特征图的尺寸恢复，恢复后的特征图再与其他分支融合。平均池化分支可以有效的获得全局的感受野，有助于LIDD-Net网络学习工业产品缺陷的整体特征，从而提高对复杂图像的处理能力。
步骤3：建立LIDD-Net的特征融合网络；将特征提取网络输出的特征图T1、T2、T3经过卷积对通道数压缩后得到特征图R1、R2、R3，新的特征图R1、R2、R3输入LIDD-Net的特征融合网络进行进一步的特征融合。特征融合网络通过在R1、R2、R3特征图之间建立特征传输通道，确保不同特征层之间的上下文信息进行有效传递，这有助于LIDD-Net网络充分理解和利用不同尺度上的特征信息，提升对工业产品缺陷目标的检测能力；
所述LIDD-Net的特征融合网络由Repblock模块组成，在特征融合网络中，特征图R3在上采样操作后分别与特征图R1、R2在Repblock模块中融合后得到新特征图L1、R2,3，这使得低尺寸特征图的细节信息能够更好地传递到高尺寸特征图；特征图L1在下采样操作后分别与特征图R2,3、R3在Repblock模块中融合后得到新特征图L2、L3，再通过特征图L3与R3融合输出新的特征图L4，这使得高尺寸特征图的语义信息能够更好地传递到低尺寸特征图。
特征融合网络的具体融合过程如下：
(a)R3特征图经过上采样操作后与R2进行Concat操作，然后通过Repblock进行特征融合得到R2,3
(b)R2,3特征图经过上采样操作后与R1进行Concat操作，然后通过Repblock进行特征融合得到新特征图L1
(c)L1特征图经过下采样操作后与R2,3进行Concat操作，然后通过Repblock进行特征融合得到新特征图L2
(d)L2特征图经过下采样操作后与R3进行Concat操作，然后通过Repblock进行特征融合得到新特征图L3
(e)新特征图L3和R3分别经过5*5卷积后通过Add操作，得到新特征图L4；
上采样操作用于将低尺寸的特征图恢复到更高尺寸，从而更好地捕捉图像中的细节信息；下采样操作用于将高尺寸的特征图恢复到更低尺寸，从而提取图像中更高级别的语义信息；Repblock模块用于将特征图进行融合，以便网络能够更好地处理多尺度目标；
其中Repblock模块具体结构如图4所示：
Repblock模块由两个串联的RepModule分支和深度卷积支路组成；其中RepModule在Ghost卷积的基础上引入了多分支结构，具体为BN分支、3*3Conv和BN串联分支、1*1Conv和BN串联分支；在训练阶段多分支结构可以提高网络对多尺度信息的感知能力，如图5所示，在推理阶段通过结构重参数化方法，将多分支融合成一个3*3卷积单路模型节省内存，加快运行速度，如图6所示。
步骤4：建立LIDD-Net的检测头，检测头负责输出工业产品缺陷检测的最终结果，包括缺陷的类别、位置以及置信度信息。将经过特征融合网络融合后的特征图L1、L2、L3、L4分别输入LIDD-Net检测头中来识别和定位不同类别的缺陷。
所述检测头中使用更先进的SIoU Loss作为LIDD-Net网络边界框回归的损失函数。SIoU进一步考虑了真实框和预测框之间的向量角度，重新定义相关损失函数，增加了对两框中心点之间距离、两框形状差别和两框向量角度的惩罚项，从多方面优化了预测框的回归过程，提高了定位精度。
具体包含四个部分：
(a)角度损失Angle cost，定义如下:
其中cn为真实框和预测框中心点的高度差，σ为真实框和预测框中心点的距离；
(b)距离损失Distance cost，定义如下:
其中cw、ch分别表示预测框和真实框最小外接矩形的宽和高，表示真实框中心点的坐标值，/>分别表示预测框中心点的坐标值，ρx表示真实框和预测框中心点宽度与高度差，ρy表示最小外接矩形宽与高比值的平方，Δ为距离损失；
(c)形状损失Shape cost，定义如下：
其中w、h分别为预测框的宽和高，wgt、hgt分别为真实框的宽和高，θ用来限制形状损失的大小，θ的值一般在2到6之间，本发明实施例中将θ值设为4。
(d)IoU损失IoU cost，定义如下:
其中B、BGT分别代表预测框和真实框，IoU表示真实框和预测框的重叠程度，LossSIoU表示最后的损失值
步骤5：对LIDD-Net网络采用端到端的方式进行训练。将缺陷图像数据按照8：1：1的比例分为训练集、验证集和测试集。训练集用于网络模型的训练，模型通过学习训练集中缺陷样本的特征和标签来调整参数；验证集用于在训练过程中对模型进行监控和评估，防止模型在训练时过拟合；测试集用于验证训练后的模型是否能够在真实场景中对工业产品缺陷进行准确的检测。
将训练集中的图像数据输入LIDD-Net网络中，通过前向传播计算输出，然后通过反向传播计算梯度并更新网络参数。迭代设定的轮次，本实施例中设置300轮次，每经过10轮次通过验证集来反馈当前模型的训练情况，防止模型在训练时过拟合。训练结束后使用测试集来评估模型的性能指标，如精确度、召回率和推理速度等。
步骤6：将训练后的目标检测模型部署在嵌入式设备上即可用于工业产品缺陷的检测。
具体检测步骤如下：
(a)导出模型：通过使用深度学习框架PyTorch将训练后的模型导出为ONNX格式；
(b)选择部署设备：选择合适的嵌入式设备，确保设备的计算能力和内存资源可以支持模型的运行，确保设备有工业产品图像采集能力
(c)图像采集：通过摄像头、相机或其他传感器采集工业产品图像，循环执行图像获取操作，以连续获取图像数据，将采集到的图像数据传递给部署的目标检测模型进行推理
(d)模型推理：使用开源的深度学习推理引擎ONNX Runtime进行推理，首先加载ONNX模型，输入采集到的工业产品图像，运行推理，将检测到的缺陷图像输出
(e)结果分析：对检测结果进行分析和统计，了解缺陷的具体位置、缺陷的分布情况和不同类别的缺陷数量等信息
图7为钢材中斑块(patches)缺陷示意图。斑块形成原因为钢材表面带有非金属夹杂物，严重影响钢材质量；
图8为使用LIDD-Net网络检测效果图。如图所示LIDD-Net网络可以准确判断缺陷种类并定位钢材斑块缺陷的位置；
图9为LIDD-Net网络消融实验结果图。LIDD-Net网络在加入SimDo后，模型参数量降低47％，模型计算量降低34.3％，map50提高2.1％，map50-90提高5.0％，该改进在大幅减低模型参数量和复杂度的同时提高了检测准确度。在加入MCFFM和RepBlock后，只增加了较少的模型参数量和计算量，map50提高1.5％，map50-90提高5.6％；
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (7)
1.一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，其特征在于，包括以下步骤：
步骤1：获取缺陷图像，并对缺陷图像进行预处理，包括调整缺陷图像大小、图像标准化以及图像数据增强处理，获得预处理后的缺陷图像数据；
步骤2：建立LIDD-Net的特征提取网络，并通过特征提取网络来提取缺陷图像数据中的高级抽象特征，并输出特征图；
步骤3：建立LIDD-Net的特征融合网络；将特征提取网络输出的特征图T1、T2、T3经过卷积对通道数压缩后得到特征图R1、R2、R3，新的特征图R1、R2、R3输入LIDD-Net的特征融合网络进行进一步的特征融合；
步骤4：建立LIDD-Net的检测头，检测头负责输出工业产品缺陷检测的最终结果，包括缺陷的类别、位置以及置信度信息；将经过特征融合网络融合后的特征图L1、L2、L3、L4分别输入LIDD-Net检测头中来识别和定位不同类别的缺陷；
步骤5：对LIDD-Net网络采用端到端的方式进行训练；
步骤6：使用训练后的目标检测模型实现工业产品缺陷的检测。
2.根据权利要求1中所述的一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，其特征在于，所述步骤2具体包括以下步骤：
所述特征提取网络由3组特征提取模块构成，第1组特征提取模块由4个SimDo模块组成；第2组特征提取模块由8个SimDo模块组成；第3组特征提取模块由4个SimDo模块和位于尾部的MCFFM模块组成；3组特征提取模块以串行的方式连接，3组特征提取模块分别输出尺寸依次减半、通道依次翻倍的不同深度的特征图T1、T2、T3。
3.根据权利要求2中所述的一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，其特征在于，所述SimDO模块具体结构如下：
首先通过Channel Split将输入通道X按照分离比6:5:5分离为X1、X2、X3，通道X1首先经过3*3深度卷积特征提取后，通过chunk进一步均分通道，分离后的通道与X2融合后，通过SimAM模块用来捕捉图像不同区域之间的相似性，通过Do-Conv卷积进行通道调整后引入残差连接，将所有通道融合后，经过Channel Shuffle将通道重组后输出；
所述MCFFM多尺度特征融合模块由3个空洞卷积分支和1个平均池化分支组成；空洞卷积分支分别使用了3个不同空洞率的空洞卷积来生成多尺度特征图，不同空洞卷积分支之间共享权重来减少参数量，使用残差连接；平均池化分支通过压缩通道后的上采样来获得全局感受野；
空洞卷积分支的多尺度特征图和平均池化分支的特征图融合输出新特征图T3；空洞卷积来生成多尺度特征图的计算公式如下：
Y[i,j]＝∑m∑nX[i·r+m,j·r+n]·K[m,n]
式中，X为输入特征图；K[]为卷积核；Y[]为空洞卷积输出特征图；r为膨胀率；i和j是输出特征图中的坐标；m和n是卷积核中的坐标；
平均池化分支通过压缩通道后的上采样来获得全局感受野，所有分支融合后输出特征图T3，具体过程如下：
平均池化分支首先通过平均池化操作，将输入的特征图的空间分辨率减小，同时保留特征图中每个通道的平均值，通过Do-conv将通道数压缩为1/16，通过上采样将特征图的尺寸恢复，恢复后的特征图再与其他分支融合。
4.根据权利要求1中所述的一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，其特征在于，所述步骤3具体包括以下步骤：
所述LIDD-Net的特征融合网络由Repblock模块组成；在特征融合网络中，特征图R3在上采样操作后分别与特征图R1、R2在Repblock模块中融合后得到新特征图L1、R2,3，这使得低尺寸特征图的细节信息能够更好地传递到高尺寸特征图；特征图L1在下采样操作后分别与特征图R2,3、R3在Repblock模块中融合后得到新特征图L2、L3，再通过特征图L3与R3融合输出新的特征图L4。
5.根据权利要求1中所述的一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，其特征在于，步骤3中特征融合网络的具体融合过程如下：
(a)R3特征图经过上采样操作后与R2进行Concat操作，然后通过Repblock进行特征融合得到R2,3
(b)R2,3特征图经过上采样操作后与R1进行Concat操作，然后通过Repblock进行特征融合得到新特征图L1
(c)L1特征图经过下采样操作后与R2,3进行Concat操作，然后通过Repblock进行特征融合得到新特征图L2
(d)L2特征图经过下采样操作后与R3进行Concat操作，然后通过Repblock进行特征融合得到新特征图L3
(e)新特征图L3和R3分别经过5*5卷积后通过Add操作，得到新特征图L4；
其中Repblock模块具体结构如下：
Repblock模块由两个串联的RepModule分支和深度卷积支路组成；其中RepModule在Ghost卷积的基础上引入了多分支结构，具体为BN分支、3*3Conv和BN串联分支、1*1Conv和BN串联分支。
6.根据权利要求1中所述的一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，其特征在于，步骤4中所述检测头中使用SIoU Loss作为LIDD-Net网络边界框回归的损失函数；
具体包含四个部分：
(a)角度损失Angle cost，定义如下:
其中cn为真实框和预测框中心点的高度差，σ为真实框和预测框中心点的距离；
(b)距离损失Distance cost，定义如下:
其中cw、ch分别表示预测框和真实框最小外接矩形的宽和高，表示真实框中心点的坐标值，/>分别表示预测框中心点的坐标值，ρx表示真实框和预测框中心点宽度与高度差，ρy表示最小外接矩形宽与高比值的平方，Δ为距离损失；
(c)形状损失Shape cost，定义如下：
其中w、h分别为预测框的宽和高，wgt、hgt分别为真实框的宽和高，θ用来限制形状损失的大小；
(d)IoU损失IoU cost，定义如下:
其中B、BGT分别代表预测框和真实框，IoU表示真实框和预测框的重叠程度，LossSIoU表示最后的损失值。
7.根据权利要求1中所述的一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法，其特征在于，所述步骤5具体为，将缺陷图像数据按照设定比例分为训练集、验证集和测试集，训练集用于模型的训练，模型通过学习训练集中缺陷样本的特征和标签来调整参数；验证集用于在训练过程中对模型进行监控和评估，防止模型在训练时过拟合；测试集用于验证训练后的模型是否能够在真实场景中对工业产品缺陷进行准确的检测；
将训练集中的图像数据输入LIDD-Net网络中，通过前向传播计算输出，然后通过反向传播计算梯度并更新网络参数；迭代设定的轮次，每经过设定轮次通过验证集来反馈当前模型的训练情况，防止模型在训练时过拟合，训练结束后使用测试集来评估模型的性能指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311794749.3A CN117788402A (zh) | 2023-12-25 | 2023-12-25 | 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311794749.3A CN117788402A (zh) | 2023-12-25 | 2023-12-25 | 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117788402A true CN117788402A (zh) | 2024-03-29 |
Family
ID=90399481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311794749.3A Pending CN117788402A (zh) | 2023-12-25 | 2023-12-25 | 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788402A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118052817A (zh) * | 2024-04-15 | 2024-05-17 | 宁波福至新材料有限公司 | 引线框架表面缺陷检测方法及系统 |
-
2023
- 2023-12-25 CN CN202311794749.3A patent/CN117788402A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118052817A (zh) * | 2024-04-15 | 2024-05-17 | 宁波福至新材料有限公司 | 引线框架表面缺陷检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN111768388B (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
| CN112967243A (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN110222604B (zh) | 基于共享卷积神经网络的目标识别方法和装置 | |
| CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN112150450B (zh) | 一种基于双通道U-Net模型的图像篡改检测方法及装置 | |
| CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
| CN116258707A (zh) | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| CN117788402A (zh) | 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法 | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| Zhao et al. | Research on detection method for the leakage of underwater pipeline by YOLOv3 | |
| CN112308128A (zh) | 一种基于注意力机制神经网络的图像匹配方法 | |
| CN117422696A (zh) | 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法 | |
| CN115147418A (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN117274774A (zh) | 一种基于YOLOv7的X射线安检图像危险品检测算法 | |
| CN111539434B (zh) | 基于相似度的红外弱小目标检测方法 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN111882545A (zh) | 基于双向信息传递及特征融合的织物疵点检测方法 | |
| CN116486203B (zh) | 一种基于孪生网络和在线模板更新的单目标跟踪方法 | |
| CN117523205B (zh) | 少样本ki67多类别细胞核的分割识别方法 | |
| Li et al. | Drone-Assisted Behavior Recognition via Key Frame Extraction for Efficient 5G Communication | |
| Du et al. | Defect detection of printed matter based on LSTM progressive Residual network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |