CN117726628A - 一种基于半监督目标检测算法的钢材表面缺陷检测方法 - Google Patents
一种基于半监督目标检测算法的钢材表面缺陷检测方法 Download PDFInfo
- Publication number
- CN117726628A CN117726628A CN202410179240.6A CN202410179240A CN117726628A CN 117726628 A CN117726628 A CN 117726628A CN 202410179240 A CN202410179240 A CN 202410179240A CN 117726628 A CN117726628 A CN 117726628A
- Authority
- CN
- China
- Prior art keywords
- steel surface
- surface defect
- model
- feature
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 167
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 119
- 239000010959 steel Substances 0.000 title claims abstract description 119
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000010276 construction Methods 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 72
- 238000010586 diagram Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 239000002355 dual-layer Substances 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 101100001677 Emericella variicolor andL gene Proteins 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 2
- 239000000126 substance Substances 0.000 claims 1
- 238000002372 labelling Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于半监督目标检测算法的钢材表面缺陷检测方法，包括以下步骤：数据采集阶段；数据处理阶段，对部分钢材表面缺陷图像A进行缺陷标注；模型构建阶段，构建教师模型和学生模型；模型训练阶段，将钢材表面缺陷图像A输入教师模型进行预测，生成带有伪标注的钢材表面缺陷图像C；将钢材表面缺陷图像B和钢材表面缺陷图像A输入学生模型进行预测，计算钢材表面缺陷图像C的伪标注的损失，并更新学生模型；通过学生模型的网络参数更新教师模型的网络参数；检测阶段，将教师模型作为检测模型，用于钢材表面缺陷检测。本发明通过对复杂缺陷具有精确提取能力的特征提取网络，改善了模型对复杂缺陷的提取能力。
Description
技术领域
本发明涉及一种基于半监督目标检测算法的钢材表面缺陷检测方法，属于钢材表面缺陷检测技术领域。
背景技术
钢材在机械加工制造、汽车和半导体等行业有着广泛的应用。由于生产工艺和外部环境的限制，钢材表面在生产过程中难以避免的会产生缺陷，严重影响了产品的外观和质量。鉴于钢材表面缺陷具有纹理复杂，易与正常钢材产品混淆等特点，如何精确检测这类缺陷成为目前工业界亟待解决的问题。
依托于计算机视觉与人工智能领域的发展，基于深度学习的缺陷检测方法在工业界得到了广泛关注和应用。相比较于人工筛选和基于传统视觉的检测方法，基于深度学习的方法能够降低人工成本的同时对多种复杂缺陷进行实时检测，相比较于其他方法效率更高，检测更准确。目前，大多数基于深度学习的缺陷检测方法使用全监督目标检测网络进行缺陷的检测和识别，例如使用大量带标注信息的缺陷图像对YOLO,RetinaNet等一阶段目标检测网络或Faster-RCNN等一系列二阶段目标检测网络进行固定迭代轮数的训练，训练后的网络可以基于某一类任务实现缺陷的实时准确检测。但是，基于全监督网络实现的缺陷检测方法需要大量带标注缺陷图像用于网络训练，人工标注的所需的成本以及后期标注的操作在实际工业场景下难以实现，脱离了工业环境下的实际应用。上述问题严重影响着这一方法在工业领域的实现和部署。
随着半监督方法在计算机视觉领域的不断完善和优化，基于深度学习的半监督目标检测方法得到了深入研究与发展。该方法能够仅使用少量带标注图像和大量无标注图像作为训练数据，并对无标注图像生成伪标注来指导网络训练，该方法训练后的网络能够达到全监督网络相似甚至更高的精测精度；缺点在于难以准确识别纹理复杂、尺寸小和背景噪声多的目标（如钢材表面缺陷），且基于缺陷生成的伪标注质量较差，因此在缺陷检测任务中表现不佳。
发明内容
为了克服上述问题，本发明提供一种基于半监督目标检测算法的钢材表面缺陷检测方法，该方法通过对复杂缺陷具有精确提取能力的特征提取网络，改善了模型对复杂缺陷的提取能力，通过参与全局训练过程、指导和优化缺陷图像伪标注生成的自适应损失策略对模型进行训练，从而生成质量更好的伪标注。
本发明的技术方案如下：
一种基于半监督目标检测算法的钢材表面缺陷检测方法，包括以下步骤：
数据采集阶段，采集若干钢材表面缺陷图像A；
数据处理阶段，对部分所述钢材表面缺陷图像A进行缺陷标注，得到钢材表面缺陷图像B；
模型构建阶段，构建教师模型和学生模型；
模型训练阶段，包括：
将所述钢材表面缺陷图像A输入所述教师模型，所述教师模型对所述钢材表面缺陷图像A中的钢材表面缺陷进行预测，并根据预测结果进行标注，生成带有伪标注的钢材表面缺陷图像C；
将所述钢材表面缺陷图像B和所述钢材表面缺陷图像C输入所述学生模型，所述学生模型对所述钢材表面缺陷图像B和所述钢材表面缺陷图像C进行预测，计算所述钢材表面缺陷图像C的伪标注的损失，并更新所述学生模型；
通过所述学生模型的网络参数更新所述教师模型的网络参数；
检测阶段，将所述教师模型作为检测模型，用于钢材表面缺陷检测。
进一步的，所述教师模型与所述学生模型结构相同。
进一步的，所述教师模型与所述学生模型包括特征提取模块和特征融合模块；
所述特征提取模块对所述钢材表面缺陷图像进行特征提取；
所述特征融合模块对所述钢材表面缺陷图像的特征进行特征融合。
进一步的，所述特征提取模块包括依次连接的Stem层、第一Resnet50层、第二Resnet50层、第三Resnet50层和第四Resnet50层；
所述Stem层对输入的钢材表面缺陷图像进行处理得到通道数为64的原始特征图；
所述第二Resnet50层对所述原始特征图进行下采样，得到特征图C3，采样比例为1/2；
所述第三Resnet50层对所述特征图C3进行下采样，得到特征图C4，采样比例为1/2；
所述第四Resnet50层对所述特征图C4进行下采样，得到特征图C5，采样比例为1/2；
将所述特征图C4输入双层注意力模块，得到特征图C4'；
将所述特征图C5输入双层注意力模块并构成残差连接，得到特征图C5'；
输出所述特征图C3、所述特征图C4'和所述特征图C5'。
进一步的，所述双层注意力模块包括：
将输入的特征图F 1通过第一层注意力模块获得通道域的权重，将所述通道域的权重与特征图F 1相乘，获得加权后的特征图F 2；所述第一层注意力模块包括依次连接的平均池化层、全连接层和全连接层；
所述特征图F 2，如下：
；
其中，W 1和W 2分别为两次全连接操作中可学习的参数；σ和δ分别为Sigmoid函数和ReLU函数；Avgpool(F 1)表示对特征图F 1应用平均池化；
表示按元素进行相乘；
将输入的特征图F 1通过第二层注意力模块获得空间域的权重，将所述空间域的权重与特征图F 2相乘，获得加权后的特征图F out；所述第二层注意力模块包括对特征图F 1各通道同时进行平均池化和最大池化，将平均池化和最大池化的结果在通道维度上拼接后，输入卷积层，以Sigmoid函数作为激活函数；
所述特征图F out，如下：
；
其中，Conv n×n为卷积核大小为n的卷积，n为3或7；Concat表示将两个特征图在通道维度上进行拼接；Maxpool(F 1)表示对特征图F 1应用最大池化。
进一步的，所述特征融合模块包括：
将特征图C3、所述特征图C4'和所述特征图C5'分别通过卷积核大小为1的卷积；其中，所述特征图C5'经过卷积核大小为1，通道数为256卷积处理后，得到中间特征M5；
将所述中间特征M5与经过卷积核大小为1，通道数为256卷积处理后的所述特征图C4'进行邻近差值的上采样，得到中间特征M4；
将所述中间特征M4与经过卷积核大小为1，通道数为256卷积处理后的所述特征图C3进行邻近差值的上采样，得到中间特征M3；
将所述中间特征M3、所述中间特征M4和所述中间特征M4分别通过卷积核大小为3，通道数为256的卷积，得到特征图P3、特征图P4和特征图P5；
将所述特征图C5'依次通过ReLU激活函数和卷积核大小为3的卷积，得到特征图P6；
将所述特征图P6依次通过ReLU激活函数和卷积核大小为3的卷积，得到特征图P7。
进一步的，还包括预测模块，所述预测模块根据所述特征图P3-P7对钢材表面缺陷进行预测并计算损失；
所述预测模块包括分类分支和回归分支；
所述分类分支用于预测缺陷类型并得到置信度分数；
所述回归分支用于计算特征图像中各点与生成锚框各端点的距离，从而定位钢材表面缺陷位置。
进一步的，还包括重复所述模型训练阶段若干次。
进一步的，训练阶段采用全局自适应损失策略，具体为：
损失函数L，如下：
；
其中，和/>分别为第i张所述钢材表面缺陷图像B和所述钢材表面缺陷图像C，和/>分别为所述钢材表面缺陷图像B和所述钢材表面缺陷图像C的数量；L cls和L reg分别为分类分支损失函数和回归分支损失函数；λ u为所述钢材表面缺陷图像C上伪标注损失的权重系数；
训练阶段，λ u跟随迭代次数的变化自适应变化，公式如下：
；
其中，iters为训练阶段模型已迭代次数，iters max为预设的最大训练迭代次数；σ为Sigmoid函数，T为迭代次数阈值；
F iters为用于动态调整伪标注的权重系数，计算方式如下：
；
所述学生模型根据损失函数L和梯度下降法对内部网络的参数进行更新；
所述学生模型通过指数滑动平均来指导所述教师模型的内部网络参数更新，所述教师模型在迭代次数为t时的权重如下：
；
其中，α为超参数，θ t为所述学生模型在迭代次数为t时的权重。
进一步的，所述模型训练阶段中通过所述教师模型进行预测时冻结所述教师模型内部网络的参数。
本发明具有如下有益效果：
1、该方法在同等标注条件下相比于其他半监督目标检测算法和全监督目标检测算法具有更精确的检测精度，能够仅通过少量带标注图像进行训练并达到更优越的精度，大幅度降低了人工标注的成本，更适合于工业生产要求。
2、该方法的特征提取模块能够对不同维度的特征信息进行了关注和学习、减少缺陷图像的背景噪声影响，进一步提升对钢材表面复杂缺陷的特征提取能力，提升半监督目标检测算法的检测精确度。
3、该方法的全局自适应损失策略能够根据训练的迭代次数自适应调整伪标注损失的权重比例，在训练初期仅考虑监督损失，使模型充分学习带标注图像的特征信息，保证伪标注的准确生成；训练中期权重系数λ u随着迭代次数非线性增加，通过教师模型生成的伪标注图像对学生模型的训练进行指导；训练末期调整λ u恒等于2，令教师模型与学生模型进行互补学习。该策略能够改善教师模型生成的伪标注质量，进一步提升半监督目标检测模型的检测性能和稳定性。
附图说明
图1为本发明实施例的流程示意图。
图2为本发明实施例的教师模型和学生模型结构示意图。
图3为本发明实施例的特征提取模块结构示意图。
图4为本发明实施例的全局自适应损失策略流程图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
参考图1-2，一种基于半监督目标检测算法的钢材表面缺陷检测方法，包括以下步骤：
数据采集阶段，采集若干钢材表面缺陷图像A；
数据处理阶段，对部分所述钢材表面缺陷图像A进行缺陷标注，得到钢材表面缺陷图像B；
模型构建阶段，构建教师模型和学生模型；
模型训练阶段，包括：
将所述钢材表面缺陷图像A输入所述教师模型，所述教师模型对所述钢材表面缺陷图像A中的钢材表面缺陷进行预测，并根据预测结果进行标注，生成带有伪标注的钢材表面缺陷图像C；
将所述钢材表面缺陷图像B和所述钢材表面缺陷图像C输入所述学生模型，所述学生模型对所述钢材表面缺陷图像B和所述钢材表面缺陷图像C进行预测，计算所述钢材表面缺陷图像C的伪标注的损失，并更新所述学生模型；学生模型进行预测时并不使用所述钢材表面缺陷图像B和所述钢材表面缺陷图像C上的标注，所述钢材表面缺陷图像B和所述钢材表面缺陷图像C上的标注用于计算预测结果的损失。
通过所述学生模型的网络参数更新所述教师模型的网络参数；
检测阶段，将所述教师模型作为检测模型，用于钢材表面缺陷检测。
参考图2，在本发明的一种实施方式中，所述教师模型与所述学生模型结构相同。
参考图2，在本发明的一种实施方式中，所述教师模型与所述学生模型包括特征提取模块和特征融合模块；
所述特征提取模块对所述钢材表面缺陷图像进行特征提取；
所述特征融合模块对所述钢材表面缺陷图像的特征进行特征融合。
参考图2-3，在本发明的一种实施方式中，所述特征提取模块包括依次连接的Stem层、第一Resnet50层、第二Resnet50层、第三Resnet50层和第四Resnet50层；
所述Stem层第一Resnet50层、第二Resnet50层、第三Resnet50层和第四Resnet50层即图3中的Stem layer、Resnet50 layer1、Resnet50 layer2、Resnet50 layer3和Resnet50 layer4。
所述Stem层对输入的钢材表面缺陷图像进行处理得到通道数为64的原始特征图；
所述第二Resnet50层对所述原始特征图进行下采样，得到特征图C3，采样比例为1/2；
所述第三Resnet50层对所述特征图C3进行下采样，得到特征图C4，采样比例为1/2；
所述第四Resnet50层对所述特征图C4进行下采样，得到特征图C5，采样比例为1/2；
将所述特征图C4输入双层注意力模块，得到特征图C4'；
所述双层注意力模块用于进一步关注缺陷特征信息。
将所述特征图C5输入双层注意力模块并构成残差连接，得到特征图C5'；残差连接能够保证反向传输的稳定性。
输出所述特征图C3、所述特征图C4'和所述特征图C5'。
该实施方式中采用的Stem层、第一Resnet50层、第二Resnet50层、第三Resnet50层和第四Resnet50层均为现有技术，已在论文《Deep residual learning for imagerecognition》中公开。Stem层、第一Resnet50层、第二Resnet50层、第三Resnet50层和第四Resnet50层分别与该论文中的conv1、cov2_x、cov3_x，cov4_x和cov5_结构相同。
在本发明的一种实施方式中，所述双层注意力模块包括：
将输入的特征图F 1通过第一层注意力模块获得通道域的权重，将所述通道域的权重与特征图F 1相乘，获得加权后的特征图F 2；所述第一层注意力模块包括依次连接的平均池化层、全连接层和全连接层；
所述特征图F 2，如下：
；
其中，W 1和W 2分别为两次全连接操作中可学习的参数；σ和δ分别为Sigmoid函数和ReLU函数；Avgpool(F 1)表示对特征图F 1应用平均池化；
表示按元素进行相乘；
将输入的特征图F 1通过第二层注意力模块获得空间域的权重，将所述空间域的权重与特征图F 2相乘，获得加权后的特征图F out；所述第二层注意力模块包括对特征图F 1各通道同时进行平均池化和最大池化，将平均池化和最大池化的结果在通道维度上拼接后，输入卷积层，以Sigmoid函数作为激活函数；
所述特征图F out，如下：
；
其中，Conv n×n为卷积核大小为n的卷积，n为3或7，申请人在研发过程中发现，卷积核大小为3和7时，检测效果提升最大；Concat表示将两个特征图在通道维度上进行拼接；Maxpool(F 1)表示对特征图F 1应用最大池化。
钢材表面缺陷复杂，易与背景混淆，需要提升学生模型的检测能力来实现缺陷图像准确定位和识别。受到CBAM的启发，本研究提出了一种双级注意力机制Bi-levelAttention Module（BAM），用于解决钢材复杂缺陷的检测问题。如图2-3所示，BAM的两条支路分别作用于特征图像的通道域和空间域，通过池化、全连接、卷积等一系列处理获得不同维度上的权重信息，加权后输出语义信息更精确的特征图像。
双层注意力模块的两条支路分别作用于特征图像的通道域和空间域，通过池化、全连接、卷积等一系列处理获得不同维度上的权重信息，加权后输出语义信息更精确的特征图像。图3中的H、W和C分别为特征图的长、宽和通道数。第二层注意力模块对特征图进行不同的池化处理，通过拼接、卷积处理等一系列操作获得特征图像的权重信息，并与特征图F 2相乘。
所述双层注意力模块对不同维度（空间域和通道域）的重要信息进行了关注和学习，并保留了高权重系数的局部缺陷特征信息。
在本发明的一种实施方式中，所述特征融合模块包括：
将特征图C3、所述特征图C4'和所述特征图C5'分别通过卷积核大小为1的卷积；其中，所述特征图C5'经过卷积核大小为1，通道数为256的卷积处理后，得到中间特征M5；
将所述中间特征M5与经过卷积核大小为1，通道数为256卷积处理后的所述特征图C4'进行邻近差值的上采样，得到中间特征M4；
将所述中间特征M4与经过卷积核大小为1，通道数为256卷积处理后的所述特征图C3进行邻近差值的上采样，得到中间特征M3；
将所述中间特征M3、所述中间特征M4和所述中间特征M4分别通过卷积核大小为3，通道数为256的卷积，得到特征图P3、特征图P4和特征图P5；
将所述特征图C5'依次通过ReLU激活函数和卷积核大小为3的卷积，得到特征图P6；
将所述特征图P6依次通过ReLU激活函数和卷积核大小为3的卷积，得到特征图P7。
在本发明的一种实施方式中，还包括预测模块，所述预测模块根据所述特征图P3-P7对钢材表面缺陷进行预测并计算损失；
所述预测模块包括分类分支和回归分支；
所述分类分支用于预测缺陷类型并得到置信度分数；
所述回归分支用于计算特征图像中各点与生成锚框各端点的距离，从而定位钢材表面缺陷位置。
所述特征融合模块与预测模块用于组合高维特征和低维特征，通过回归预测和分类预测实现缺陷的定位和检测任务。
在本发明的一种实施方式中，还包括重复所述模型训练阶段若干次。
参考图4，在本发明的一种实施方式中，训练阶段采用全局自适应损失策略，具体为：
损失函数L，如下：
；
其中，和/>分别为第i张所述钢材表面缺陷图像B和所述钢材表面缺陷图像C，和/>分别为所述钢材表面缺陷图像B和所述钢材表面缺陷图像C的数量；L cls和L reg分别为分类分支损失函数和回归分支损失函数；λ u为所述钢材表面缺陷图像C上伪标注损失的权重系数；
学生模型进行预测时并不使用所述钢材表面缺陷图像B和所述钢材表面缺陷图像C上的标注，所述钢材表面缺陷图像B和所述钢材表面缺陷图像C上的标注用于计算预测结果的损失。只有在计算损失和测试检测精度的过程中，模型才会读取输入图像的标注信息，用于优化网络和计算检测精确度。图2中计算损失的式子进行加权累加后就可以得到本式。
训练阶段，λ u跟随迭代次数的变化自适应变化，公式如下：
；
其中，iters为训练阶段模型已迭代次数，iters max为预设的最大训练迭代次数；σ为Sigmoid函数；T为迭代次数阈值，用于划分训练阶段的前期和中期，可设置在12.5%-25%iters max；
Sigmoid函数用于确保伪标注损失的权重在指定范围内进行非线性递增。
F iters为用于动态调整伪标注的权重系数，计算方式如下：
；
所述学生模型根据损失函数L和梯度下降法对内部网络的参数进行更新；
全局动态损失策略在训练初期仅考虑监督损失进行训练，使模型充分学习带标注图像的特征信息，保证伪标注的准确生成；随后，权重系数λ u随着迭代次数非线性增加，通过教师模型生成的伪标注图像对学生模型的训练进行指导；在训练末期，调整λ u恒等于2，教师模型与学生模型进行互补学习，进一步提升模型性能。
所述学生模型通过指数滑动平均来指导所述教师模型的内部网络参数更新，所述教师模型在迭代次数为t时的权重如下：
；
其中，α为超参数，θ t为所述学生模型在迭代次数为t时的权重。
在本发明的一种实施方式中，所述模型训练阶段中通过所述教师模型进行预测时冻结所述教师模型内部网络的参数。
图2，在本发明的一种实施方式中，还包括对钢材表面缺陷图像进行图像增强（即图2中的数据增强），具体为对输入所述教师模型的钢材表面缺陷图像A进行弱图像增强，对输入所述学生模型的钢材表面缺陷图像A进行强图像增强，对输入所述学生模型的钢材表面缺陷图像B，进行弱图像增强。
强数据增强包括的内容有：随机变形、随机图像翻转、自动对比度、随机均衡、随机太阳化、随机颜色、随机对比度、随机亮度、随机锐化、随机海报化、随机平移（水平或垂直）、随机旋转（-30到30度）、随机剪切（水平或垂直剪切，角度在-30到30度之间）、随机擦除。
弱数据增强包括的内容有：随机变形、随机图像翻转。
在一具体的实施例中，基于半监督目标检测算法的钢材表面缺陷检测方法的具体流程有：采集与划分数据集阶段、训练阶段和测试阶段。采集与划分数据集阶段将收集一定数量的钢材表面缺陷图像，10%的缺陷图像带标注，其余为无标注缺陷图像；训练阶段中，教师模型用于给无标注缺陷图像生成伪标注并根据学生模型的指导更新网络参数，学生模型通过带标注和带伪标注的训练样本训练内部网络并指导教师模型的更新；测试阶段由教师模型对测试样本进行检测，检测该半监督缺陷检测算法的准确度和适用性。
三个阶段的具体流程如下：
数据集准备阶段：
使用的数据集为公开的钢材缺陷数据集NEU-DET，包括六种不同的钢材表面缺陷，每种缺陷各含有240张图像，总共1440张缺陷图像。按照7:1比例划分为训练样本和测试样本。训练样本按照10%标注的比例进行划分，其中带标注缺陷图像126张，无标注缺陷图像1134张。
训练阶段：
如图1所示，本发明设计的改进半监督缺陷检测算法训练过程如下：
S1：将缺陷图像输入到半监督检测模型中，按照带标注缺陷图像：无标注缺陷图像=1:3的采样比例进行划分。
S2：教师模型冻结内部网络的参数，使网络在训练过程中不通过反向传播进行参数更新，随后对无标注缺陷图像通过本发明提出的Resnet50-B（即前述教师模型和学生模型）进行特征提取、融合和预测，得到带有伪标注的缺陷图像并按采样比例送入学生模型。
S3：将带有伪标注的缺陷图像和带标注的缺陷图像按比例送入学生模型，内部网络通过特征提取、融合以及预测环节对缺陷进行预测，并根据当前迭代次数应用本发明提出的全局自适应损失策略来计算伪标注的损失权重和损失函数，随后通过梯度下降法对学生模型进行参数更新。
S4：将学生模型的网络参数按照指数滑动平均进行计算，指导更新教师模型的网络参数。
S5：利用缺陷图像数据集不断迭代执行步骤S1至S4，直至达到设定的训练迭代后停止训练，使用训练完成后的教师模型作为检测模型。
测试阶段：
使用划分后的测试样本中的缺陷图像，利用训练后的教师模型对缺陷图像进行特征提取、融合和预测，输出对输入测试图像的检测结果。
将现有的半监督目标检测模型Consistent-Teacher（X. Wang et al.,Consistent-Teacher: Towards Reducing Inconsistent Pseudo-Targets in Semi-Supervised Object Detection, in 2023 IEEE/CVF Conference on Computer Visionand Pattern Recognition, CVPR 2023.）与本实施例进行对比。数据集均使用10%标注条件下NEU-DET钢表面缺陷检测数据集，评价指标采用总体平均准确率（mAP）、各缺陷平均识别准确率结果如表1所示：
表1 现有网络模型与本发明网络模型对比
裂纹（Cr）、夹杂（In）、斑块（Pa）、麻点（Ps）、氧化皮（Rs）以及划痕（Sc）分别为金属表面的六种不同缺陷类型。从表1中可以看出,与全监督目标检测算法相比较，例如Faster-RCNN ，YOLOv3，RerinaNet，本发明在各缺陷的平均识别准确率和总体平均准确率均高于上述网络；相比于其他半监督目标检测算法，例如Consistent Teacher，Mean Teacher，本发明具有更好的检测性能和准确度。在10%标注比例下，裂纹、夹杂、斑块和划痕缺陷的平均识别率分别比Consistent Teacher网络提升了24.8%、10.5%、1.0%和6.4%，总体平均准确率（mAP）相比于现有SOTA半监督目标检测方法Consistent Teacher提升了6.0%。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，包括以下步骤：
数据采集阶段，采集若干钢材表面缺陷图像A；
数据处理阶段，对部分所述钢材表面缺陷图像A进行缺陷标注，得到钢材表面缺陷图像B；
模型构建阶段，构建教师模型和学生模型；
模型训练阶段，包括：
将所述钢材表面缺陷图像A输入所述教师模型，所述教师模型对所述钢材表面缺陷图像A中的钢材表面缺陷进行预测，并根据预测结果进行标注，生成带有伪标注的钢材表面缺陷图像C；
将所述钢材表面缺陷图像B和所述钢材表面缺陷图像C输入所述学生模型，所述学生模型对所述钢材表面缺陷图像B和所述钢材表面缺陷图像C进行预测，计算所述钢材表面缺陷图像C的伪标注的损失，并更新所述学生模型；
通过所述学生模型的网络参数更新所述教师模型的网络参数；
检测阶段，将所述教师模型作为检测模型，用于钢材表面缺陷检测。
2.根据权利要求1所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，所述教师模型与所述学生模型结构相同。
3.根据权利要求2所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，所述教师模型与所述学生模型包括特征提取模块和特征融合模块；
所述特征提取模块对所述钢材表面缺陷图像进行特征提取；
所述特征融合模块对所述钢材表面缺陷图像的特征进行特征融合。
4.根据权利要求3所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，所述特征提取模块包括依次连接的Stem层、第一Resnet50层、第二Resnet50层、第三Resnet50层和第四Resnet50层；
所述Stem层对输入的钢材表面缺陷图像进行处理得到通道数为64的原始特征图；
所述第二Resnet50层对所述原始特征图进行下采样，得到特征图C3，采样比例为1/2；
所述第三Resnet50层对所述特征图C3进行下采样，得到特征图C4，采样比例为1/2；
所述第四Resnet50层对所述特征图C4进行下采样，得到特征图C5，采样比例为1/2；
将所述特征图C4输入双层注意力模块，得到特征图C4'；
将所述特征图C5输入双层注意力模块并构成残差连接，得到特征图C5'；
输出所述特征图C3、所述特征图C4'和所述特征图C5'。
5.根据权利要求4所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，所述双层注意力模块包括：
将输入的特征图F 1通过第一层注意力模块获得通道域的权重，将所述通道域的权重与特征图F 1相乘，获得加权后的特征图F 2；所述第一层注意力模块包括依次连接的平均池化层、全连接层和全连接层；
所述特征图F 2，如下：
；
其中，W 1和W 2分别为两次全连接操作中可学习的参数；σ和δ分别为Sigmoid函数和ReLU函数；Avgpool(F 1)表示对特征图F 1应用平均池化；
表示按元素进行相乘；
将输入的特征图F 1通过第二层注意力模块获得空间域的权重，将所述空间域的权重与特征图F 2相乘，获得加权后的特征图F out；所述第二层注意力模块包括对特征图F 1各通道同时进行平均池化和最大池化，将平均池化和最大池化的结果在通道维度上拼接后，输入卷积层，以Sigmoid函数作为激活函数；
所述特征图F out，如下：
；
其中，Conv n×n为卷积核大小为n的卷积，n为3或7；Concat表示将两个特征图在通道维度上进行拼接；Maxpool(F 1)表示对特征图F 1应用最大池化。
6.根据权利要求3所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，所述特征融合模块包括：
将特征图C3、所述特征图C4'和所述特征图C5'分别通过卷积核大小为1的卷积；其中，所述特征图C5'经过卷积核大小为1，通道数为256的卷积处理后，得到中间特征M5；
将所述中间特征M5与经过卷积核大小为1，通道数为256的卷积处理后的所述特征图C4'进行邻近差值的上采样，得到中间特征M4；
将所述中间特征M4与经过卷积核大小为1，通道数为256的卷积处理后的所述特征图C3进行邻近差值的上采样，得到中间特征M3；
将所述中间特征M3、所述中间特征M4和所述中间特征M4分别通过卷积核大小为3，通道数为256的卷积，得到特征图P3、特征图P4和特征图P5；
将所述特征图C5'依次通过ReLU激活函数和卷积核大小为3的卷积，得到特征图P6；
将所述特征图P6依次通过ReLU激活函数和卷积核大小为3的卷积，得到特征图P7。
7.根据权利要求6所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，还包括预测模块，所述预测模块根据所述特征图P3-P7对钢材表面缺陷进行预测并计算损失：
所述预测模块包括分类分支和回归分支；
所述分类分支用于预测缺陷类型并得到置信度分数；
所述回归分支用于计算特征图像中各点与生成锚框各端点的距离，从而定位钢材表面缺陷位置。
8.根据权利要求7所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，还包括重复所述模型训练阶段若干次。
9.根据权利要求8所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，训练阶段采用全局自适应损失策略，具体为：
损失函数L，如下：
；
其中，和/>分别为第i张所述钢材表面缺陷图像B和所述钢材表面缺陷图像C，/>和/>分别为所述钢材表面缺陷图像B和所述钢材表面缺陷图像C的数量；L cls和L reg分别为分类分支损失函数和回归分支损失函数；λ u为所述钢材表面缺陷图像C上伪标注损失的权重系数；
训练阶段，λ u跟随迭代次数的变化自适应变化，公式如下：
；
其中，iters为训练阶段模型已迭代次数，iters max为预设的最大训练迭代次数；σ为Sigmoid函数，T为迭代次数阈值；
F iters为用于动态调整伪标注的权重系数，计算方式如下：
；
所述学生模型根据损失函数L和梯度下降法对内部网络的参数进行更新；
所述学生模型通过指数滑动平均来指导所述教师模型的内部网络参数更新，所述教师模型在迭代次数为t时的权重如下：
；
其中，α为超参数，θ t为所述学生模型在迭代次数为t时的权重。
10.根据权利要求1所述基于半监督目标检测算法的钢材表面缺陷检测方法，其特征在于，所述模型训练阶段中通过所述教师模型进行预测时冻结所述教师模型内部网络的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410179240.6A CN117726628B (zh) | 2024-02-18 | 2024-02-18 | 一种基于半监督目标检测算法的钢材表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410179240.6A CN117726628B (zh) | 2024-02-18 | 2024-02-18 | 一种基于半监督目标检测算法的钢材表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726628A true CN117726628A (zh) | 2024-03-19 |
| CN117726628B CN117726628B (zh) | 2024-04-19 |
Family
ID=90209255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410179240.6A Active CN117726628B (zh) | 2024-02-18 | 2024-02-18 | 一种基于半监督目标检测算法的钢材表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726628B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098323A1 (zh) * | 2019-11-19 | 2021-05-27 | 清华大学 | 一种基于多模态融合深度学习的布匹缺陷检测方法 |
| US20210232813A1 (en) * | 2020-01-23 | 2021-07-29 | Tongji University | Person re-identification method combining reverse attention and multi-scale deep supervision |
| CN114387207A (zh) * | 2021-12-02 | 2022-04-22 | 浙江大学 | 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型 |
| CN114494223A (zh) * | 2022-02-10 | 2022-05-13 | 北京航空航天大学杭州创新研究院 | Pcb缺陷检测模型训练方法、装置、电子设备和存储介质 |
| CN115719338A (zh) * | 2022-11-20 | 2023-02-28 | 西北工业大学 | 一种基于改进YOLOv5的PCB板表面缺陷检测方法 |
| CN115760734A (zh) * | 2022-11-08 | 2023-03-07 | 南京信息工程大学 | 一种基于改进retinanet算法的带钢表面缺陷检测方法 |
| CN115965568A (zh) * | 2021-10-11 | 2023-04-14 | 北京机械工业自动化研究所有限公司 | 卫浴陶瓷表面缺陷检测方法与系统 |
| CN116543283A (zh) * | 2023-07-05 | 2023-08-04 | 合肥工业大学 | 一种考虑模态不确定性的多模态目标检测方法 |
| WO2023173598A1 (zh) * | 2022-03-15 | 2023-09-21 | 中国华能集团清洁能源技术研究院有限公司 | 基于改进ssd模型的风机叶片缺陷检测方法及系统 |
| CN116863274A (zh) * | 2023-07-17 | 2023-10-10 | 燕山大学 | 一种基于半监督学习的钢板表面缺陷检测方法及系统 |
| CN116883393A (zh) * | 2023-09-05 | 2023-10-13 | 青岛理工大学 | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 |
| CN116958073A (zh) * | 2023-07-07 | 2023-10-27 | 上海师范大学 | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 |
| CN117094999A (zh) * | 2023-10-19 | 2023-11-21 | 南京航空航天大学 | 一种跨尺度缺陷检测方法 |
| CN117252842A (zh) * | 2023-09-27 | 2023-12-19 | 中国民航大学 | 一种飞机蒙皮缺陷检测及网络模型训练方法 |
-
2024
- 2024-02-18 CN CN202410179240.6A patent/CN117726628B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098323A1 (zh) * | 2019-11-19 | 2021-05-27 | 清华大学 | 一种基于多模态融合深度学习的布匹缺陷检测方法 |
| US20210232813A1 (en) * | 2020-01-23 | 2021-07-29 | Tongji University | Person re-identification method combining reverse attention and multi-scale deep supervision |
| CN115965568A (zh) * | 2021-10-11 | 2023-04-14 | 北京机械工业自动化研究所有限公司 | 卫浴陶瓷表面缺陷检测方法与系统 |
| CN114387207A (zh) * | 2021-12-02 | 2022-04-22 | 浙江大学 | 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型 |
| CN114494223A (zh) * | 2022-02-10 | 2022-05-13 | 北京航空航天大学杭州创新研究院 | Pcb缺陷检测模型训练方法、装置、电子设备和存储介质 |
| WO2023173598A1 (zh) * | 2022-03-15 | 2023-09-21 | 中国华能集团清洁能源技术研究院有限公司 | 基于改进ssd模型的风机叶片缺陷检测方法及系统 |
| CN115760734A (zh) * | 2022-11-08 | 2023-03-07 | 南京信息工程大学 | 一种基于改进retinanet算法的带钢表面缺陷检测方法 |
| CN115719338A (zh) * | 2022-11-20 | 2023-02-28 | 西北工业大学 | 一种基于改进YOLOv5的PCB板表面缺陷检测方法 |
| CN116543283A (zh) * | 2023-07-05 | 2023-08-04 | 合肥工业大学 | 一种考虑模态不确定性的多模态目标检测方法 |
| CN116958073A (zh) * | 2023-07-07 | 2023-10-27 | 上海师范大学 | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 |
| CN116863274A (zh) * | 2023-07-17 | 2023-10-10 | 燕山大学 | 一种基于半监督学习的钢板表面缺陷检测方法及系统 |
| CN116883393A (zh) * | 2023-09-05 | 2023-10-13 | 青岛理工大学 | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 |
| CN117252842A (zh) * | 2023-09-27 | 2023-12-19 | 中国民航大学 | 一种飞机蒙皮缺陷检测及网络模型训练方法 |
| CN117094999A (zh) * | 2023-10-19 | 2023-11-21 | 南京航空航天大学 | 一种跨尺度缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| WANGJIE HU, QIANG ZHANG: "Design and Implementation of Ultrasonic Impact Peening-Based Device for Stainless Steel Surface Texture Fabrication", WEB OF SCIENCE, 29 June 2021 (2021-06-29) * |
| 吴华运;任德均;付磊;郜明;吕义昭;邱吕;: "基于改进型SSD算法的空瓶表面缺陷检测", 计算机与现代化, no. 04, 15 April 2020 (2020-04-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726628B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507990B (zh) | 一种基于深度学习的隧道表面缺陷分割方法 | |
| CN112085735B (zh) | 一种基于自适应锚框的铝材质图像缺陷检测方法 | |
| CN107330453B (zh) | 基于分步识别和融合关键部位检测的色情图像识别方法 | |
| CN109741347B (zh) | 一种基于卷积神经网络的迭代学习的图像分割方法 | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN110781924B (zh) | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 | |
| CN111028217A (zh) | 一种基于全卷积神经网络的图像裂缝分割方法 | |
| CN109509170B (zh) | 一种压铸件缺陷检测方法及装置 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN114372955A (zh) | 一种基于改进神经网络的铸件缺陷x射线图自动识别法 | |
| CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
| CN113780242A (zh) | 一种基于模型迁移学习的跨场景水声目标分类方法 | |
| Xu et al. | D4Net: De-deformation defect detection network for non-rigid products with large patterns | |
| CN116309292A (zh) | 一种基于视觉转换层与实例分割的焊缝缺陷智能识别方法 | |
| CN113538342B (zh) | 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法 | |
| Jiang et al. | Automatic pixel-level detection and measurement of corrosion-related damages in dim steel box girders using Fusion-Attention-U-net | |
| CN115631186B (zh) | 一种基于双分支神经网络的工业元件表面缺陷检测方法 | |
| CN117726628B (zh) | 一种基于半监督目标检测算法的钢材表面缺陷检测方法 | |
| CN110569764B (zh) | 一种基于卷积神经网络的手机型号识别方法 | |
| CN117593243A (zh) | 可靠伪标签引导的压缩机外观自适应检测方法 | |
| CN116721291A (zh) | 基于改进YOLOv7模型的金属表面缺陷检测方法 | |
| CN116342542A (zh) | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 | |
| CN115984215A (zh) | 一种基于双生网络的纤维束缺陷检测方法 | |
| CN113724233B (zh) | 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法 | |
| CN112270370B (zh) | 一种车辆表观毁伤评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |