CN115731237A - 一种基于半监督迁移学习的热轧钢带表面缺陷检测方法 - Google Patents
一种基于半监督迁移学习的热轧钢带表面缺陷检测方法 Download PDFInfo
- Publication number
- CN115731237A CN115731237A CN202211662283.7A CN202211662283A CN115731237A CN 115731237 A CN115731237 A CN 115731237A CN 202211662283 A CN202211662283 A CN 202211662283A CN 115731237 A CN115731237 A CN 115731237A
- Authority
- CN
- China
- Prior art keywords
- data
- semi
- steel strip
- rolled steel
- supervised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000007547 defect Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 37
- 239000010959 steel Substances 0.000 title claims abstract description 37
- 238000013526 transfer learning Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 27
- 101000880310 Homo sapiens SH3 and cysteine-rich domain-containing protein Proteins 0.000 claims abstract description 23
- 102100037646 SH3 and cysteine-rich domain-containing protein Human genes 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims abstract description 5
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000007667 floating Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 239000000047 product Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 20
- 230000006872 improvement Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于半监督迁移学习的热轧钢带表面缺陷检测方法，包括如下步骤：1、使用LabelImg标记软件对已有的热轧钢带数据集NEU‑DET中的标记信息进行调整、校对和清洗，将数据集NEU‑DET中六类缺陷图像划分为训练集、验证集和测试集；2、对训练集进行数据增强从而实现数据扩充；3、目标检测模型的构建与训练；步骤4、将改进后的Faster R‑CNN算法作为检测模型，在半监督学习框架STAC的强数据增强的基础上，引入Mosaic数据增强、KeepAugment方法和EMA方法，得到改进的半监督学习框架STAC，对未标记的热轧钢带数据采用强、弱两种数据增强，并把弱数据增强输入到教师模型，强数据增强输入到学生模型，提高了模型的标记效率，降低标记成本，并提高模型精度。
Description
技术领域
本发明属于钢材检测技术领域，具体是一种基于半监督迁移学习的热轧钢带表面缺陷检测方法。
背景技术
钢带是我国现代钢铁行业的主要产品之一，广泛应用于汽车制造、高铁运输、航空航天和造船等领域，但受原料、轧制工艺、生产环境等因素影响，钢带在轧制过程中表面会出现缺陷，主要包括六种典型缺陷，分别为龟裂(Cr)、夹杂物(In)、斑块(Pa)、麻点(PS)、轧制氧化皮(RS)和划痕(Sc)，这些缺陷影响产品质量。因此在现代工业生产中，对热轧钢带进行表面缺陷检测是必不可少的。
传统的热轧钢带表面缺陷检测方法主要包括：1)人工检测，难以识别较为微小的缺陷，导致检测效率和精度偏低，从而不能保证检验结果的客观性，且由于生产现场环境恶劣，因而不能保证质检人员的人身安全；2)涡流检测方法，不仅难以识别微小的缺陷，而且存在能源消耗大、实施难度高以及诸多干扰因素等问题；3)漏磁检测方法，检测装备需要紧靠钢带表面安装从而检测漏磁通密度的变化，因此装备安装实施难度高；4)红外检测，不仅对环境条件要求比较苛刻，而且检测缺陷的类型也存在局限性。可见，传统的检测方法均存在检测难度大和效率低的问题。
随着深度学习技术的发展，利用其进行热轧钢带表面缺陷检测更为高效准确，故而，机器视觉检测技术是目前用于热轧钢带表面缺陷检测的最重要的方法之一，但是前期需要专业人员标记热轧钢带表面缺陷，会耗费大量的人力和物力，因此提出一个降低标记成本，提高模型精度的表面缺陷检测方法对于评估热轧钢带和改善产品质量有着重要的现实意义。
发明内容
本发明的目的在于提供一种基于半监督迁移学习的热轧钢带表面缺陷检测方法，能够降低标记成本并提高检测效率。
为了实现上述目的，本发明采用以下技术方案予以实现：
一种基于半监督迁移学习的热轧钢带表面缺陷检测方法，包括如下步骤：
步骤1、数据集预处理
使用LabelImg标记软件对已有的热轧钢带数据集NEU-DET中的标记信息进行调整、校对和清洗，将数据集NEU-DET中六类缺陷图像划分为训练集、验证集和测试集；
步骤2、对训练集进行数据增强从而实现数据扩充；
步骤3、目标检测模型的构建与训练
先在Faster R-CNN算法主干网络ResNet-50中分别引入可变形卷积、ECA注意力机制模块和FPG特征金字塔网格从而形成改进的Faster R-CNN算法，其能够生成可变形的特征图像，增强缺陷的权重并加强表面缺陷的定位，并利用FPG思想补充底层空间位置特征与高层语义特征，以检测各个层次上不同大小的目标；然后利用改进的Faster R-CNN算法对数据增强后的数据集NEU-DET进行训练；
步骤4、半监督学习
将改进后的Faster R-CNN算法作为检测模型，在半监督学习框架STAC的强数据增强的基础上，引入Mosaic数据增强、KeepAugment方法和EMA方法，得到改进的半监督学习框架STAC，对未标记的热轧钢带表面缺陷数据采用强、弱两种数据增强，并把弱数据增强输入到教师模型，强数据增强输入到学生模型。
进一步地，所述步骤1将缺陷图像按照比例8：1：1划分为训练集、验证集和测试集。
进一步地，所述步骤2采用翻转、模糊处理、亮度、噪声和旋转进行数据增强。
进一步地，所述步骤步骤3引入的FPG特征金字塔网格去除了Across-Up流程。
进一步地，所述步骤3引入可变形卷积的过程为：
3.2.1)、对Feature Map进行卷积运算，获得一组kernel偏移的预测值，偏移Feature Map的通道数是2N，2表示每一偏差为x和y两个值，N为kernel的像素数量，CNv1是每一像素点上的一次偏移，在同一Feature Map中，不同的通道数采用同样的预测偏移，对于传统卷积，每个位置p0的特征图y的输出表示为：
式中：x表示输入Feature Map，ω是kernel的权重，pn为迭代网格R中的位置，P0代表输出特征图上的每个位置；
3.2.2)、为了寻找含有有效信息的区域，DCNv1在卷积核上引入一种偏移参数Δpn，从而在原始卷积之前添加另一层卷积进行学习，由公式(1)推导出：
式中：Δpn代表迭代网格R的偏移量；
3.2.3)、在DCNv1的基础上使用了有效信息的加权系数从而构成DCNv2，在公式(2)的基础上对各采样点增加加权系数Δm，表示为：
式中：Δm是一个介于[0,1]之间的一个小数，Δm(pn)表示每个采样点的权重；
又因偏移量Δpn可能是一个浮点数，故使用双线性插值法，表示为：
式中：p是浮点p0+pn+Δpn；q表示与输入特征映射相对应的特征映射位置；G(q，p)表示双线性插值核，包括x维和y维，可以通过如下公式计算得出：
G(q，p)＝g(qx，px)·g(qy，py) (5)
g(a，b)＝max(0，1-|a-b|) (6)
式中：a指代qx时，b指代px，当a代表qy时，b指代py。。
进一步地，所述步骤3引入的ECA注意力机制模块是取消原有SE网络模块中的全连接层形成的，其处理图像的过程主要分为如下三步：
3.3.1)、采用全局平均池化GAP运算处理输入的图像特征，使特征图从原来的[H，W，C]矩阵变成[1，1，C]的向量；
3.3.2)、通过计算特征图的通道数目，得到一个大小为k的一维卷积核kernel；
3.3.3)、采用大小为k的一维卷积核kernel进行卷积运算，利用Sigmoid激活函数确定每个通道权重ω，最后用归一化权重与原输入图像的特征图相应的元素进行乘积，生成最终的加权特征图，表示为：
ω＝σ(C1Dk(y)) (7)
式中，k为一维卷积核kernel的大小，C1D为1D卷积，σ为Sigmoid函数，y代表特征图。
进一步地，所述步骤4中引入的KeepAugment采用标准梯度法获得saliency map，设定gij(x,y)设为图像x的saliency map标准梯度法的绝对值，y是图像的索引，则重要性得分的定义表示为：
式中：gij(x，y)设为图像x的saliency map标准梯度法的绝对值，y是图像的索引，S代表随机采样要切割的区域的每个像素点(i,j)的单个显著性值。
进一步地，所述步骤4中引入的EMA方法表示为：
θt+1＝θt·δ+θ·(1-δ) (9)
式中：θt为步骤t中教师的权重，θ为学生的权重，δ为EMA衰减率。
本发明具有如下有益效果：
本发明针对在热轧钢带表面缺陷检测中面临的“小样本”和“样本标记”困难的问题，先采用数据增强技术对表面缺陷数据集进行扩充，再根据缺陷数据的特点对Faster R-CNN算法进行了改进，改进的Faster R-CNN算法与改进前的Faster R-CNN算法相比，平均精度(meanAverage Precision，mAP)提高了6.97％，表明改进的Faster R-CNN算法能够更加准确、高效地检测出表面缺陷，再将改进后的Faster R-CNN算法作为检测模型，对半监督学习框架STAC进行测试并对其改进，主要改进点在于数据增强和更新教师模型权重方面，改进后的Faster R-CNN算法、基于基于伪标签自训练的半监督方法和改进前、后的半监督学习框架的缺陷检测结果进行比较，结果表明，改进的STAC框架在仅有少量标记数据的情况下，在NEU-DET热轧钢带表面缺陷数据集中，改进的STAC框架比改进的Faster R-CNN算法在5％、10％和20％标记数据中平均精度分别提升了16.25％、12.84％和4％，可见改进的STAC框架能够提高模型的标记效率，降低标记成本，并提高模型精度。
附图说明
图1：本发明的目标检测模型中数据集的训练流程图；
图2：本发明的FPG改进后的ResNet50；
图3：本发明的改进后的Faster RCNN模型；
图4：本发明改进前的STAC框架；
图5：本发明改进后的STAC框架；
图6：半发明半监督学习的流程图。
具体实施方式
下面结合实施例对本发明的具体内容做进一步详细解释说明，但不作为对本发明的限定。
如图1所示，一种基于半监督迁移学习的热轧钢带表面缺陷检测方法，包括如下步骤：
步骤1：数据集预处理
先使用LabelImg标记软件检查公开的热轧钢带数据集NEU-DET中的标记信息，检测标签是否正确，随着对数据集NEU-DET中的标记信息进行微调整、数据校对与清洗；再将NEU-DET中六类缺陷图片分别按照8：1：1设为训练集1440张、验证集180张和测试集180张；其中：设置验证集是为了避免模型过拟合的同时，增强其泛化能力；
步骤2：数据增强
采用翻转、模糊处理、亮度、噪声和旋转五种方式对步骤1的传统数据进行增强，从而将训练集扩充至9000张；
步骤3：目标检测模型的构建与训练
先根据缺陷数据的特点对Faster R-CNN算法进行了改进，在其主干网络ResNet-50中引入可变形卷积、ECA注意力机制模块和FPG特征金字塔网格，从而形成改进后的Faster R-CNN算法(如图3所示)，具体为：
3.1、针对缺陷尺寸差异大的特点，引入FPG特征金字塔网格(如图2所示)，采用FPG思想对底层空间位置特征与高层语义特征的补充，可以在各个层次上对不同大小的目标进行检测；
FPG是一种由下往上的结构，它与主干网络的结构相平行，利用多条金字塔的并行路径，丰富了网络的能力，在空间尺度上形成了高分辨率的强大表达；由于构造一个深度特征的金字塔网格结构时，p条独立的金字塔通道与各个横向连接彼此交互，包括跨尺度和尺度内的连接，从而在各个层面上进行信息交流，并在各个尺度上进行复杂层次特征学习；但是，在实际实验中发现，FPG占用的时间比较长，效率比较低，因此为了使金字塔路径轻量化，本实施例采用减少金字塔通道容量的方法，在不损失精确度的前提下，提高多通道的运算效率；FPG有Same-up和Across-Up两个自下而上的流程，Same-Up具有从低级到高级特征的信息流，这些特征的语义信息预计不太丰富，因此需要较低的表达能力，去除Across-Up对准确率没有显著影响；因此本实施例利用“下三角”进行高分辨率的算法，裁剪了下半边三角，以降低运算工作量，同时又能保持准确性。
3.2针对单个缺陷的形态差别较大的特点，引入可变形卷积，生成可变形的特征图像，从而更好地提取特征提高检测精度，具体过程为：
3.2.1)、对Feature Map进行卷积运算，获得一组kernel偏移的预测值，偏移Feature Map尺寸和偏移前的Feature Map尺寸是一样的，且偏移的Feature Map的通道数是2N，2表示每一偏差为x和y两个值，N为kernel的像素数量；例如：在卷积核的尺寸为3x3时，N＝9；DCNv1是为每一像素点上的一次偏移，在同一Feature Map中，不同的通道数采用同样的预测偏移，对于传统卷积，每个位置p0的特征图y的输出由公式表示为：
式中，x表示输入Feature Map，ω为kernel的权重，pn是迭代网格R中的位置，P0代表输出特征图上的每个位置；对于3×3卷积层该位置可定义为R＝(-1，-1)，(-1，0)，(-1，1)，(0，-1)，(0，0)，(0，1)，(1，-1)，因此，卷积核的有效感受野被限制在上述九个位置；
3.2.2)、为了寻找含有有效信息的区域，DCNv1在卷积核上引入偏移参数Δpn，在原始卷积之前添加另一层卷积来学习，由公式(1)推导出：
式中：Δpn代表迭代网格R的偏移量；
3.2.3)、在DCNv1中添加偏移量后，它的感觉野对应的位置，会超过目标范围，从而使该特征与该图像的内容无关；在DCNv1的基础上使用了有效信息的加权系数从而构成DCNv2，在公式(2)的基础上对各采样点增加加权系数Δm，表示为：
式中：Δm是一个介于[0,1]之间的一个小数，Δm(pn)表示每个采样点的权重；
由于增加了要学习的新参数，所以将预测的通道数变为3N，又因为偏移量Δpn可能是一个浮点数，因而使用双线性插值法，表示为：
式中：p是浮点p0+pn+Δpn；q表示与输入特征映射相对应的特征映射位置；G(q，p)表示双线性插值核，包括x维和y维，表示为：
G(q，p)＝g(qx，px)·g(qy，py) (5)
g(a，b)＝max(0，1-|a-b|) (6)
式中：a指代qx时，b指代px，当a代表qy时，b指代py。
主干网络ResNet-50由每个残差单元组成，在此基础上，本实施例对残差单元进行改进，用3x3 DCNv2代替原来的3x3卷积；
3.3针对缺陷情况复杂且难以区分边界的特点，引入ECA注意力机制模块，从而增加缺陷的权重，加强热轧钢带表面缺陷的定位；
ECA注意力模块的工作原理，可以将其看作是对SE网络的一种改进，由于SE网络采用了全连接层进行降维操作，很容易造成信息丢失，因此ECA注意力模块取消了原有SE网络模块中的全连接层；ECA注意力机制模块处理图像的过程主要分为如下四步：
3.3.1)、采用全局平均池化(Global Average Pooling，GAP)运算处理输入图像特征，使特征图从原来的[H，W，C]矩阵变成[1，1，C]的向量；
3.3.2)、通过计算特征图的通道数目，得到适合于一维的kernel大小k；
3.3.3)、采用kernel大小为k的一维卷积核卷积运算，利用Sigmoid激活函数确定每个通道权重ω；最后用归一化权重与原输入图像的特征图相应的元素进行乘积，生成最终的加权特征图，表示为：
ω＝σ(C1Dk(y)) (7)
式中，k为核大小，C1D为1D卷积，σ为Sigmoid函数，y代表特征图；
在此基础上，对ResNet-50的主干网络中的基本残差块进行了改进，将其与ECA注意力机制模块相结合；这种算法使得残差网络能够更好地集中于识别区域，在保证了特征提取的同时，能够提高整体网络的整体性能；
然后，对数据增强后的数据集NEU-DET进行训练(如图1所示)；
步骤4：半监督学习
将改进后的Faster R-CNN算法作为检测模型，采用一种自训练和一致性正则化方法结合的半监督学习框架STAC(如图4所示)，其整个训练过程可以分为四步：第一步、利用现有的有标记数据在改进的后的Faster R-CNN网络中进行模型训练，将训练后的模型作为教师模型；第二步、利用训练好的教师模型预测大量未标记的数据，之后按照置信度阈值将近似的标签筛选后生成伪标签，同时STAC框架中设定了一个用于筛选伪标签的置信度阈值τ；第三步、将强数据增强操作应用于未标记的数据，同时在进行整体几何转换时，对伪标签的坐标进行相应的转换；第四步、在模型训练中，计算无监督损失和有监督损失；
在一种自训练和一致性正则化方法结合的半监督学习框架STAC上引入Mosaic数据增强、KeepAugment方法和EMA方法，从而形成改进的STAC框架(如图5所示)，具体过程为：
4.1、在半监督学习框架STAC的强数据增强的基础上，引入Mosaic数据增强
为了克服过度拟合问题，本实施例将Mosaic数据增强算法加入到半监督学习框架STAC的强数据增强方法中，并应用于未标记的数据图像中；所述Mosaic数据增强是CutMix数据增强的一个改进版本，CutMix的处理方法很简单，就是对一张照片进行处理，简单地说，先创建一个剪辑框，把A图中对应的位置切下来，再把B图对应的ROI放在A图上，最后用加权和法来计算；Mosaic数据增强与一般的图像增强技术不同，它把二张图片结合为一个全新的图片，然后再把这两张图片重新结合到一起，并输入到神经网络中加以学习，总共采用了四幅图像，将四幅图像合并形成一幅新的图像，并得到相应的框架，再将这四幅图像传递给神经网络，让我们可以通过四幅图像来学习；
4.2、在半监督学习框架STAC中引入KeepAugment方法，保留原始的重要信息
KeepAugment方法主要针对不改变标签的数据增强模式，将其分成区域数据增强和图像数据增强两大类，在改进的STAC框架中，区域数据增强主要应用于Cutout数据增强，而图像数据增强主要应用于全局颜色变换数据增强；在KeepAugment算法中，首先利用显著性图(saliency map)对图像中的矩形区域重要性进行度量，然后根据其重要性等级进行排序，在保证数据增强的情况下，保留最重要的矩形区域；在Cutout数据增强中，保留增强的方式避免了对关键的部分进行剪切处理，在全局颜色变换数据增强中，把重点区域粘贴在变换后的图片上，从而达到了图像保留增强的效果；KeepAugment采用标准梯度法获得saliency map，设定gij(x,y)设为图像x的saliency map标准梯度法的绝对值，y是图像的索引，则saliency map的重要性得分定义为：
式中：gij(x，y)设为图像x的saliency map标准梯度法的绝对值，y是图像的索引，S代表随机采样要切割的区域的每个像素点(i,j)的单个显著性值；
4.3、在半监督学习框架STAC中引入EMA方法，利用学生网络的时间集合更新教师模型
EMA方法采用跟踪模型权值的移动参数做平均来更新目标，从而可以有效地改善测试指标，增强模型的鲁棒性，EMA方法表示为：
θt+1＝θt·δ+θ·(1-δ) (9)
式中，θt为步骤t中教师的权重，θ为学生的权重，δ为EMA衰减率；由于模型的性能受衰减率δ的影响，为了让教师模型比学生模型更好，在实验中，EMA衰减率在初期设置为δ＝0.5，在学生模型的后期改进放缓时将δ逐步提高至0.9996；
如图6所示，本实施例改进后的半监督学习框架STAC整个训练过程为四个步骤：第一步、利用现有的有标记数据在改进的后的Faster R-CNN网络中进行模型训练；第二步、把弱数据增强(旋转、翻转和噪声等)应用到未标记的图像中，之后按照置信度阈值将近似的标签筛选后生成动态伪标签，产生两组伪框，分别用于分类和定位，同时设定一个用于筛选伪标签的置信度阈值τ；第三步、将强数据增强应用于第一步无标记的数据，同时增加了一个Mosaic数据增强，在进行整体几何转换时，对伪标记的坐标进行相应的转换；其中，学生网络权重的更新与普通网络的过程一致，教师网络则通过学生权重的EMA缓慢更新；第四步、在模型训练中，计算无监督损失和有监督损失；
改进的半监督学习框架STAC采用强、弱两种数据增强应用于未标记的数据，并把弱数据增强输入到教师模型，强数据增强输入到学生模型，通过实验结果可知，当仅有少量有标记的数据时，在NEU-DET热轧钢带表面缺陷数据集中，改进的STAC框架比改进的FasterR-CNN算法在5％、10％和20％标记数据中平均精度分别提升了16.25％、12.84％和4％。验证了该改进框架可以利用少量的标记数据，降低标记成本，提高模型精度。
Claims (8)
1.一种基于半监督迁移学习的热轧钢带表面缺陷检测方法，其特征在于，包括如下步骤：
步骤1、数据集预处理
使用LabelImg标记软件对已有的热轧钢带数据集NEU-DET中的标记信息进行调整、校对和清洗，将数据集NEU-DET中六类缺陷图像划分为训练集、验证集和测试集；
步骤2、对训练集进行数据增强从而实现数据扩充；
步骤3、目标检测模型的构建与训练
先在Faster R-CNN算法主干网络ResNet-50中分别引入可变形卷积、ECA注意力机制模块和FPG特征金字塔网格从而形成改进的Faster R-CNN算法，其能够生成可变形的特征图像，增强缺陷的权重并加强表面缺陷的定位，并利用FPG思想补充底层空间位置特征与高层语义特征，以检测各个层次上不同大小的目标；然后利用改进的Faster R-CNN算法对数据增强后的数据集NEU-DET进行训练；
步骤4、半监督学习
将改进后的Faster R-CNN算法作为检测模型，在半监督学习框架STAC的强数据增强的基础上，引入Mosaic数据增强、KeepAugment方法和EMA方法，得到改进的半监督学习框架STAC，对未标记的热轧钢带表面缺陷数据采用强、弱两种数据增强，并把弱数据增强输入到教师模型，强数据增强输入到学生模型。
2.根据权利要求1所述的基于半监督迁移学习的热轧钢带表面缺陷检测方法，其特征在于，所述步骤1将缺陷图像按照比例8：1：1划分为训练集、验证集和测试集。
3.根据权利要求1所述的基于半监督迁移学习的热轧钢带表面缺陷检测方法，其特征在于，所述步骤2采用翻转、模糊处理、亮度、噪声和旋转进行数据增强。
4.根据权利要求1所述的基于半监督迁移学习的热轧钢带表面缺陷检测方法，其特征在于，所述步骤步骤3引入的FPG特征金字塔网格去除了Across-Up流程。
5.根据权利要求1所述的基于半监督迁移学习的热轧钢带表面缺陷检测方法，其特征在于，所述步骤3引入可变形卷积的过程为：
3.2.1)、对Feature Map进行卷积运算，获得一组kernel偏移的预测值，偏移FeatureMap的通道数是2N，2表示每一偏差为x和y两个值，N为kernel的像素数量，CNv1是每一像素点上的一次偏移，在同一Feature Map中，不同的通道数采用同样的预测偏移，对于传统卷积，每个位置p0的特征图y的输出表示为：
式中：x表示输入Feature Map，ω是kernel的权重，pn为迭代网格R中的位置，P0代表输出特征图上的每个位置；
3.2.2)、为了寻找含有有效信息的区域，DCNv1在卷积核上引入一种偏移参数Δpx，从而在原始卷积之前添加另一层卷积进行学习，由公式(1)推导出：
式中：Δpx代表迭代网格R的偏移量；
3.2.3)、在DCNv1的基础上使用了有效信息的加权系数从而构成DCNv2，在公式(2)的基础上对各采样点增加加权系数Δm，表示为：
式中：Δm是一个介于[0，1]之间的一个小数，Δm(pn)表示每个采样点的权重；
又因偏移量Δpn可能是一个浮点数，故使用双线性插值法，表示为：
式中：p是浮点p0+px+Δpn；q表示与输入特征映射相对应的特征映射位置；G(q，p)表示双线性插值核，包括x维和y维，可以通过如下公式计算得出：
G(q，p)＝g(qx，px)·g(qy，θy) (5)
g(a,b)＝max(0，1-|a-b|) (6)
式中：a指代qx时，b指代px，当a代表qy时，b指代py。
6.根据权利要求5所述的基于半监督迁移学习的热轧钢带表面缺陷检测方法，其特征在于，所述步骤3引入的ECA注意力机制模块是取消原有SE网络模块中的全连接层形成的，其处理图像的过程主要分为如下三步：
3.3.1)、采用全局平均池化GAP运算处理输入的图像特征，使特征图从原来的[H，W，C]矩阵变成[1，1，C]的向量；
3.3.2)、通过计算特征图的通道数目，得到一个大小为k的一维卷积核kernel；
3.3.3)、采用大小为k的一维卷积核kernel进行卷积运算，利用Sigmoid激活函数确定每个通道权重ω，最后用归一化权重与原输入图像的特征图相应的元素进行乘积，生成最终的加权特征图，表示为：
ω＝σ(C1Dk(y)) (7)
式中，k为一维卷积核kernel的大小，C1D为1D卷积，σ为Sigmoid函数，y代表特征图。
7.根据权利要求1所述的基于半监督迁移学习的热轧钢带表面缺陷检测方法，其特征在于，所述步骤4中引入的KeepAugment采用标准梯度法获得saliency map，设定gij(x,y)设为图像x的saliency map标准梯度法的绝对值，y是图像的索引，则重要性得分的定义表示为：
式中：gij(x，y)设为图像x的saliency map标准梯度法的绝对值，y是图像的索引，S代表随机采样要切割的区域的每个像素点(i,j)的单个显著性值。
8.根据权利要求1所述的基于半监督迁移学习的热轧钢带表面缺陷检测方法，其特征在于，所述步骤4中引入的EMA方法表示为：
θt+1＝θt·δ+θ·(1-δ) (9)
式中：θt为步骤t中教师的权重，θ为学生的权重，δ为EMA衰减率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211662283.7A CN115731237A (zh) | 2022-12-23 | 2022-12-23 | 一种基于半监督迁移学习的热轧钢带表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211662283.7A CN115731237A (zh) | 2022-12-23 | 2022-12-23 | 一种基于半监督迁移学习的热轧钢带表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115731237A true CN115731237A (zh) | 2023-03-03 |
Family
ID=85301689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211662283.7A Withdrawn CN115731237A (zh) | 2022-12-23 | 2022-12-23 | 一种基于半监督迁移学习的热轧钢带表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115731237A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664576A (zh) * | 2023-07-31 | 2023-08-29 | 厦门微图软件科技有限公司 | 一种电池外壳焊道的异常检测方法、装置以及设备 |
| CN117291921A (zh) * | 2023-11-27 | 2023-12-26 | 哪吒港航智慧科技(上海)有限公司 | 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质 |
-
2022
- 2022-12-23 CN CN202211662283.7A patent/CN115731237A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664576A (zh) * | 2023-07-31 | 2023-08-29 | 厦门微图软件科技有限公司 | 一种电池外壳焊道的异常检测方法、装置以及设备 |
| CN116664576B (zh) * | 2023-07-31 | 2023-11-03 | 厦门微图软件科技有限公司 | 一种电池外壳焊道的异常检测方法、装置以及设备 |
| CN117291921A (zh) * | 2023-11-27 | 2023-12-26 | 哪吒港航智慧科技(上海)有限公司 | 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质 |
| CN117291921B (zh) * | 2023-11-27 | 2024-03-12 | 哪吒港航智慧科技(上海)有限公司 | 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kou et al. | Development of a YOLO-V3-based model for detecting defects on steel strip surface | |
| CN115731237A (zh) | 一种基于半监督迁移学习的热轧钢带表面缺陷检测方法 | |
| CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
| CN111709909B (zh) | 基于深度学习的通用印刷缺陷检测方法及其模型 | |
| CN103559237B (zh) | 基于目标跟踪的半自动图像标注样本生成方法 | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| CN108961230B (zh) | 结构表面裂缝特征的识别与提取方法 | |
| CN110880176B (zh) | 一种基于对抗生成网络的半监督工业图像缺陷分割方法 | |
| CN111027443B (zh) | 一种基于多任务深度学习的票据文本检测方法 | |
| CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
| CN110659599A (zh) | 一种基于扫描试卷的离线笔迹鉴定系统以及使用方法 | |
| CN111696079A (zh) | 一种基于多任务学习的表面缺陷检测方法 | |
| CN116630285A (zh) | 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 | |
| CN113240665A (zh) | 一种基于深度学习的工业自动表面缺陷检测方法 | |
| CN115527072A (zh) | 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法 | |
| CN111754502A (zh) | 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法 | |
| CN115147418A (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN111161213A (zh) | 一种基于知识图谱的工业产品缺陷图像分类方法 | |
| CN112884741B (zh) | 一种基于图像相似性对比的印刷表观缺陷检测方法 | |
| Ma et al. | A hierarchical attention detector for bearing surface defect detection | |
| CN115829983B (zh) | 一种基于知识蒸馏的高速工业场景视觉质量检测方法 | |
| CN112418207A (zh) | 一种基于自注意力蒸馏的弱监督文字检测方法 | |
| Xie et al. | Surface Defect Recognition in Steel Plates Based on Impoved Faster R-CNN | |
| CN114359300B (zh) | 一种图像分割模型的优化方法、装置、系统及存储介质 | |
| CN116563230A (zh) | 焊缝缺陷识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230303 |
|
| WW01 | Invention patent application withdrawn after publication |