CN114943689A - 基于半监督学习的钢铁冷轧退火炉元器件检测方法 - Google Patents

基于半监督学习的钢铁冷轧退火炉元器件检测方法 Download PDF

Info

Publication number
CN114943689A
CN114943689A CN202210459349.6A CN202210459349A CN114943689A CN 114943689 A CN114943689 A CN 114943689A CN 202210459349 A CN202210459349 A CN 202210459349A CN 114943689 A CN114943689 A CN 114943689A
Authority
CN
China
Prior art keywords
model
teacher
data
annealing furnace
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210459349.6A
Other languages
English (en)
Inventor
李毅仁
聂礼强
申培
吴建龙
郝亮
丁沐河
李玉涛
李华刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hegang Digital Technology Co ltd
Shandong University
Qingdao Haier Smart Technology R&D Co Ltd
Original Assignee
Hegang Digital Technology Co ltd
Shandong University
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hegang Digital Technology Co ltd, Shandong University, Qingdao Haier Smart Technology R&D Co Ltd filed Critical Hegang Digital Technology Co ltd
Priority to CN202210459349.6A priority Critical patent/CN114943689A/zh
Publication of CN114943689A publication Critical patent/CN114943689A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于半监督学习的钢铁冷轧退火炉元器件检测方法，涉及工业生产技术领域。采用高精度的FasterR‑CNN检测模型，主干网络采用ResNet50网络，并加入特征金字塔来捕捉不同尺度的特征信息，提高了检测的准确率。本发明针对炼钢设备标注人力物力成本过大的问题和半监督学习时元器件的类别不平衡导致预测有偏差的问题，采用了半监督学习目标检测方法—无偏教师方法，先用有标注的数据单独训练教师模型，之后教师生成伪标签来训练学生模型，学生模型通过EMA算法来逐步更新教师模型。通过半监督学习无偏教师目标检测方法，实现了在仅有少量标注数据训练情况下，对钢铁冷轧退火炉元器件进行精准检测。

Description

基于半监督学习的钢铁冷轧退火炉元器件检测方法
技术领域
本发明涉及工业生产技术领域，具体为一种基于半监督学习的钢铁冷轧退火炉元器件检测方法。
背景技术
钢铁工业是重要的物质基础。钢铁工业生产过程中的炼钢设备元器件智能监测管理就显得尤为重要。现有结束对炼钢设备运行监测一般通过人工的方式来进行，存在以下问题：工作量大、工作环境危险恶劣、效率低、故障判断滞后。因此，人工检测方式已越来越不适应企业节能降耗和提高生产效率的要求，开发基于人工智能技术的自动监测系统成为解决人工检测问题的重要途径。
深度神经网络模型在目标检测任务中表现优异，取得了很好的效果，然而训练这些网络需要大量的人员对数据进行标注，而钢铁冷轧退火炉元器件数据人工标注成本太高，大量采集的图像数据是没有进行标注的。目前用半监督学习检测钢铁元器件的方法主要是从两个方向考虑，一是一致性正则化，二是伪标注。一致性正则化，是通过将模型正则化为对输入的数据增强具有不变性和鲁棒性，保持原始输入的数据和增强输入的数据的输出一致进行学习。伪标注，是通过让模型在未标注的数据生成伪标注，从而训练随机增强的未标注数据来匹配相应的伪标注进行学习。但是由于钢铁元器件的一些独特特性，比如元器件的类别不平衡、前景背景不平衡等，导致上述方法在检测时，会过于偏向检测数量占优势的类别，而忽略次要类别，这使得训练的模型容易产生有偏差的预测，引入了严重的过拟合。鉴于此，我们提出了一种基于半监督学习的钢铁冷轧退火炉元器件检测方法。
发明内容
针对现有技术的不足，本发明提供了一种基于半监督学习的钢铁冷轧退火炉元器件检测方法，解决了上述背景技术提到的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种基于半监督学习的钢铁冷轧退火炉元器件检测方法，所述检测方法包括以下步骤：
S1：数据预处理，使用标注工具对少量训练数据进行人为标注，构建退火炉元器件数据集，并对其进行数据扩充和增强；
S2：提取包含图片不同尺度的特征图，使用ResNet50网络的前五个卷积网络进行特征提取，之后在若干卷积网络之间构建特征金字塔网络，捕捉不同尺度的特征：
S3：将特征金字塔网络中的特征图输入至区域生成网络，生成基于不同尺度特征图的候选区域框，再将不同尺度的特征图对应的候选区域进行拼接，传入后续网络；
S4：构建特征金字塔网络，将候选区域框进行不同尺度的Roi Pooling，之后再将特征图进行拼接，输入全连接层，预测得到目标类别，以及回归目标边界框的位置；
S5：教师模型训练阶段：采用半监督学习方法，训练Faster R-CNN目标检测模型，首先采用少量有标注的样本训练模型，此模型称为教师模型；
S6：教师学生模型相互学习阶段，固定教师模型参数，训练学生模型；对于无标签数据，一方面通过弱增强之后输入教师模型，产生伪标签，另一方面通过强增强之后输入学生模型，输出标签，再与教师模型的伪标签进行损失函数计算，再反向传播更新学生模型，将无标签数据训练的学生模型通过EMA算法对教师模型进行优化，得到最终的网络模型；
S7：部署模型对钢铁冷轧退火炉元器件进行自动检测，可以得到类别和位置坐标。
可选的，所述S1进一步的包括：
S11：采用机器人在不同光照条件从不同角度拍摄图像，收集整理图像数据，一共1000张图片，将图像统一尺寸，自主构建钢铁冷轧退火炉元器件数据集；
S12：使用标注工具对固定尺度的图像数据进行人工标注，标注电机、轴承和减速机三种钢铁元器件；
S13：数据增强，对图像数据进行旋转、高斯模糊、颜色变换等处理来扩充数据集，增加多样性；
S14：将数据集划分为训练集、测试集、验证集，按照COCO数据集格式读入数据。
可选的，所述S2进一步的包括：
S21：将数据增强后的图像，输入Conv1层，卷积核大小为7×7,步长为2，进行卷积操作，之后连接ReLU激活函数，再通过一个卷积核大小为3×3，步长为2的最大值池化层进行池化操作；
S22：依次通过卷积层Conv2、Conv3、Conv4、Conv5网络，都是由block构成，其中每个block由三层卷积构成，卷积核大小分别为1×1、3×3和1×1，Conv2的卷积核个数分别为64、64和256，后面的卷积网络，卷积核个数依次翻一倍；
S23：针对不同尺度的钢铁元器件特征，采用特征金字塔网络来提取特征，将Conv5层得到的特征图进行上采样，而Conv4层的特征图经过1×1卷积，从而两个特征图具有相同的分辨率，再将处理过的Conv4低层特征和处理过的Conv5高层特征进行逐元素累加，构建完成了一层的特征金字塔，称为p4；
S24：最终得到信息更丰富，尺度不同的特征金字塔p2、p3、p4和p5特征，再输入区域生成网络，检测不同尺度特征的钢铁元器件。
可选的，所述S3进一步的包括：
S31：将步骤S2得到的特征金字塔网络中四种尺度的特征图分别传入区域生成网络，生成四种尺度特征图所对应的若干锚框，再通过softmax分类器，分成正样本锚框和负样本锚框，将正样本锚框作为候选区域框；
S32：利用边界框回归方法对正样本锚框的位置进行修正，再使用非极大值抑制方法来降低候选框的重叠率，得到电机、轴承和减速机的候选区域框；
S4：构建特征金字塔网络，将候选区域框进行不同尺度的Roi Pooling，之后再将特征图进行拼接，输入全连接层，预测得到目标类别，以及回归目标边界框的位置。
可选的，所述S4进一步的包括：
S41：将步骤S3得到的不同尺度的候选区域框进行拼接，再接入到后续的特征金字塔池化层，进行Roi Pooling，得到了具有更丰富特征信息的池化特征；
S42：将池化后的特征进行拼接，再接入一个全连接层，一路通过softmax分类器预测目标框的类别信息，一路预测目标框的位置信息，再使用非极大值抑制方法来降低候选框的重叠率。
可选的，所述S5进一步的包括：
S51：教师模型是采用少量标注的数据，比例为25％，即200张图片有标注信息进行有监督学习，检测模型采用步骤S2-S4构建的主干网络为ResNet50_FPN的Faster R-CNN模型；
S52：采用少量有标注样本进行有监督训练Faster R-CNN教师模型，损失函数
Figure BDA0003619949850000041
如下：
Figure BDA0003619949850000042
S53：一直迭代训练，直至模型收敛，教师模型训练完成之后，图片通过教师模型来产生伪标签。
可选的，所述S6进一步的包括：
S61：学生模型和教师模型相同，就采用主干网络为ResNet50_FPN的Faster R-CNN模型；
S62：固定教师模型的参数，将无标注数据通过教师模型产生伪标签来训练学生模型；
S63：将无标签数据训练的学生模型通过EMA算法来对教师模型进行微调，不断优化教师模型，得到最终的网络模型，教师模型的参数更新公式如下：
Figure BDA0003619949850000051
S64：通过迭代训练直到教师模型收敛，保存训练的权重参数，训练完成之后的教师模型即可以用于检测钢铁冷轧退火炉元器件。
可选的，所述S7进一步的包括：
S71：在实际场景中，利用高清摄像头获取原始图像，对图像进行去噪、图像增强等预处理；
S72：将图像输入至网络模型中，利用训练好的Faster R-CNN模型提取图像特征，通过非极大值抑制方法去除冗余的目标区域框，最终检测出电机、轴承和减速机三种钢铁元器件对应类别的目标区域框，完成对钢铁元器件的自动检测。
本发明提供了一种基于半监督学习的钢铁冷轧退火炉元器件检测方法。具备以下有益效果：
该基于半监督学习的钢铁冷轧退火炉元器件检测方法，采用自主构建的钢铁冷轧退火炉元器件数据集，充分挖掘钢铁元器件的视觉特征，并通过图像增强来增强数据样本的多样性，从而保证检测模型具有鲁棒性。本发明采用高精度的Faster R-CNN检测模型，主干网络采用ResNet50网络，并加入特征金字塔来捕捉不同尺度的特征信息，提高了检测的准确率。本发明针对炼钢设备标注人力物力成本过大的问题和半监督学习时元器件的类别不平衡导致预测有偏差的问题，采用了半监督学习目标检测方法—无偏教师方法，先用有标注的数据单独训练教师模型，之后教师生成伪标签来训练学生模型，学生模型通过EMA算法来逐步更新教师模型。通过半监督学习无偏教师目标检测方法，实现了在仅有少量标注数据训练情况下，对钢铁冷轧退火炉元器件进行精准检测。
附图说明
图1为本发明模型的主干网络ResNet50_FPN框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于半监督学习的钢铁冷轧退火炉元器件检测方法，该检测方法包括以下步骤：
S1：数据预处理，使用标注工具对少量训练数据进行人为标注，构建退火炉元器件数据集，并对其进行数据扩充和增强。
具体的，S1数据预处理的过程还包括：
S11：采用机器人在不同光照条件从不同角度拍摄图像，收集整理图像数据，一共1000张图片，将图像统一尺寸，自主构建钢铁冷轧退火炉元器件数据集；
S12：使用标注工具对固定尺度的图像数据进行人工标注，标注电机、轴承和减速机三种钢铁元器件，每张图片对应一个json格式的标注文件，再按照COCO数据集格式将所有标注文件转换为一个总的标注文件；
S13：数据增强，对图像数据进行旋转、高斯模糊、颜色变换等处理来扩充数据集，增加多样性，从而提高模型对钢铁元器件检测的泛化能力；
S14：将数据集划分为训练集(800张)、测试集(100张)、验证集(100张)，按照COCO数据集格式读入数据。
S2：提取包含图片不同尺度的特征图，使用ResNet50网络的前五个卷积网络进行特征提取，之后在若干卷积网络之间构建特征金字塔网络，捕捉不同尺度的特征。
具体的，步骤S2卷积层提取图像信息的过程包括以下步骤：
S21：将数据增强后的图像，输入Conv1层，卷积核大小为7×7,步长为2，进行卷积操作，之后连接ReLU激活函数，再通过一个卷积核大小为3×3，步长为2的最大值池化层进行池化操作；
S22：依次通过卷积层Conv2、Conv3、Conv4、Conv5网络，都是由block构成，其中每个block由三层卷积构成，卷积核大小分别为1×1、3×3和1×1，Conv2的卷积核个数分别为64、64和256，后面的卷积网络，卷积核个数依次翻一倍。Conv2是通过3个block实现，Conv3是通过4个block实现，Conv4是通过23个block实现，Conv5是通过3个block实现；
S23：针对不同尺度的钢铁元器件特征，采用特征金字塔网络来提取特征。将Conv5层得到的特征图进行上采样，而Conv4层的特征图经过1×1卷积，从而两个特征图具有相同的分辨率，再将处理过的Conv4低层特征和处理过的Conv5高层特征进行逐元素累加，构建完成了一层的特征金字塔，称为p4，依次类推，将Conv4层和Conv3层网络按照上面的步骤生成p3，将Conv3层和Conv2层网络生成p2。而Conv5层单独得到特征图称为p5；
S24：最终得到信息更丰富，尺度不同的特征金字塔p2、p3、p4和p5特征，再输入区域生成网络，检测不同尺度特征的钢铁元器件。
S3：将特征金字塔网络中的特征图输入至区域生成网络，生成基于不同尺度特征图的候选区域框，再将不同尺度的特征图对应的候选区域进行拼接，传入后续网络。
具体的，S3包括以下步骤：
S31：将步骤S2得到的特征金字塔网络中四种尺度的特征图分别传入区域生成网络，生成四种尺度特征图所对应的若干锚框，再通过softmax分类器，分成正样本锚框(重叠率大于0.7)和负样本锚框(重叠率小于0.3)，将正样本锚框作为候选区域框；
S32：利用边界框回归方法对正样本锚框的位置进行修正，再使用非极大值抑制方法来降低候选框的重叠率，得到电机、轴承和减速机的候选区域框；
S4：构建特征金字塔网络，将候选区域框进行不同尺度的Roi Pooling，之后再将特征图进行拼接，输入全连接层，预测得到目标类别，以及回归目标边界框的位置。
具体的，步骤S4 Roi Pooling操作和网络分类预测的过程还包括：
S41：将步骤S3得到的不同尺度的候选区域框进行拼接，再接入到后续的特征金字塔池化层，进行Roi Pooling，得到了具有更丰富特征信息的池化特征；
S42：将池化后的特征进行拼接，再接入一个全连接层，一路通过softmax分类器预测目标框的类别信息，一路预测目标框的位置信息，再使用非极大值抑制方法来降低候选框的重叠率。最终得到目标框的类别和位置，完成对电机、轴承和减速机三种钢铁元器件的自动检测。
S5：教师模型训练阶段：采用半监督学习方法，训练Faster R-CNN目标检测模型，首先采用少量有标注的样本训练模型，此模型称为教师模型；
具体的，步骤S5教师模型训练阶段的过程还包括：
S51：教师模型是采用少量标注的数据，比例为25％，即200张图片有标注信息进行有监督学习，检测模型采用步骤S2-S4构建的主干网络为ResNet50_FPN的Faster R-CNN模型；
S52：采用少量有标注样本进行有监督训练Faster R-CNN教师模型，损失函数
Figure BDA0003619949850000091
如下：
Figure BDA0003619949850000092
其中，标注数据集为
Figure BDA0003619949850000093
其中
Figure BDA0003619949850000094
为输入图像数据，
Figure BDA0003619949850000095
为数据标签，Ns为有标注数据总数；
Figure BDA0003619949850000096
为区域生成网络的分类损失函数，
Figure BDA0003619949850000097
为区域生成网络的回归损失函数，用于计算区域生成网络的类别信息和候选框的位置信息；
Figure BDA0003619949850000098
为感兴趣区域的分类损失函数；
Figure BDA0003619949850000099
为感兴趣区域的回归损失函数，用于计算最终模型的类别信息和候选框的位置信息；
S53：一直迭代训练，直至模型收敛。教师模型训练完成之后，图片通过教师模型来产生伪标签。
S6：教师学生模型相互学习阶段：固定教师模型参数，训练学生模型。对于无标签数据，一方面通过弱增强之后输入教师模型，产生伪标签，另一方面通过强增强之后输入学生模型，输出标签，再与教师模型的伪标签进行损失函数计算，再反向传播更新学生模型。将无标签数据训练的学生模型通过EMA算法对教师模型进行优化，得到最终的网络模型。
具体的，步骤S6教师学生模型相互学习阶段的过程还包括：
S61：学生模型和教师模型相同，就采用主干网络为ResNet50_FPN的Faster R-CNN模型。学生模型利用无标签数据来辅助教师模型学习，从而提升教师模型准确率；
S62：首先固定教师模型的参数，将无标注数据通过教师模型产生伪标签来训练学生模型。具体来说，将无标注数据一方面通过弱增强之后输入教师模型，产生伪标签，另一方面通过强增强之后输入学生模型，输出标签，再与教师模型的伪标签进行损失函数计算，再反向传播更新学生模型参数；
S63：将无标签数据训练的学生模型通过EMA算法来对教师模型进行微调，不断优化教师模型，得到最终的网络模型。教师模型的参数更新公式如下：
Figure BDA0003619949850000101
其中，
Figure BDA0003619949850000102
为教师模型训练阶段训练完成的模型参数，
Figure BDA0003619949850000103
为教师和学生模型相互学习阶段第i次迭代之后教师模型的参数，
Figure BDA0003619949850000104
为第k次迭代之后学生模型的参数，γ为学习率，α为指数移动平均值方法的系数，λu为平衡因子，平衡有监督损失函数和无监督损失函数值；
S64：通过迭代训练直到教师模型收敛，保存训练的权重参数，训练完成之后的教师模型即可以用于检测钢铁冷轧退火炉元器件。
S7：部署模型对钢铁冷轧退火炉元器件进行自动检测，可以得到类别和位置坐标，实现在仅仅标注少量样本的情况下，取得很好的检测效果。
具体的，步骤S7在实际场景中对退火炉元器件进行检测的过程还包括：
S71：在实际场景中，利用高清摄像头获取原始图像，对图像进行去噪、图像增强等预处理；
S72：将图像输入至网络模型中，利用训练好的Faster R-CNN模型提取图像特征，通过非极大值抑制方法去除冗余的目标区域框，最终检测出电机、轴承和减速机三种钢铁元器件对应类别的目标区域框，完成对钢铁元器件的自动检测。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于半监督学习的钢铁冷轧退火炉元器件检测方法，其特征在于：所述检测方法包括以下步骤：
S1：数据预处理，使用标注工具对少量训练数据进行人为标注，构建退火炉元器件数据集，并对其进行数据扩充和增强；
S2：提取包含图片不同尺度的特征图，使用ResNet50网络的前五个卷积网络进行特征提取，之后在若干卷积网络之间构建特征金字塔网络，捕捉不同尺度的特征：
S3：将特征金字塔网络中的特征图输入至区域生成网络，生成基于不同尺度特征图的候选区域框，再将不同尺度的特征图对应的候选区域进行拼接，传入后续网络；
S4：构建特征金字塔网络，将候选区域框进行不同尺度的Roi Pooling，之后再将特征图进行拼接，输入全连接层，预测得到目标类别，以及回归目标边界框的位置；
S5：教师模型训练阶段：采用半监督学习方法，训练Faster R-CNN目标检测模型，首先采用少量有标注的样本训练模型，此模型称为教师模型；
S6：教师学生模型相互学习阶段，固定教师模型参数，训练学生模型；对于无标签数据，一方面通过弱增强之后输入教师模型，产生伪标签，另一方面通过强增强之后输入学生模型，输出标签，再与教师模型的伪标签进行损失函数计算，再反向传播更新学生模型，将无标签数据训练的学生模型通过EMA算法对教师模型进行优化，得到最终的网络模型；
S7：部署模型对钢铁冷轧退火炉元器件进行自动检测，可以得到类别和位置坐标。
2.根据权利要求1所述的基于半监督学习的钢铁冷轧退火炉元器件检测方法，其特征在于：所述S1进一步的包括：
S11：采用机器人在不同光照条件从不同角度拍摄图像，收集整理图像数据，一共1000张图片，将图像统一尺寸，自主构建钢铁冷轧退火炉元器件数据集；
S12：使用标注工具对固定尺度的图像数据进行人工标注，标注电机、轴承和减速机三种钢铁元器件；
S13：数据增强，对图像数据进行旋转、高斯模糊、颜色变换等处理来扩充数据集，增加多样性；
S14：将数据集划分为训练集、测试集、验证集，按照COCO数据集格式读入数据。
3.根据权利要求1所述的基于半监督学习的钢铁冷轧退火炉元器件检测方法，其特征在于：所述S2进一步的包括：
S21：将数据增强后的图像，输入Conv1层，卷积核大小为7×7,步长为2，进行卷积操作，之后连接ReLU激活函数，再通过一个卷积核大小为3×3，步长为2的最大值池化层进行池化操作；
S22：依次通过卷积层Conv2、Conv3、Conv4、Conv5网络，都是由block构成，其中每个block由三层卷积构成，卷积核大小分别为1×1、3×3和1×1，Conv2的卷积核个数分别为64、64和256，后面的卷积网络，卷积核个数依次翻一倍；
S23：针对不同尺度的钢铁元器件特征，采用特征金字塔网络来提取特征，将Conv5层得到的特征图进行上采样，而Conv4层的特征图经过1×1卷积，从而两个特征图具有相同的分辨率，再将处理过的Conv4低层特征和处理过的Conv5高层特征进行逐元素累加，构建完成了一层的特征金字塔，称为p4；
S24：最终得到信息更丰富，尺度不同的特征金字塔p2、p3、p4和p5特征，再输入区域生成网络，检测不同尺度特征的钢铁元器件。
4.根据权利要求1所述的基于半监督学习的钢铁冷轧退火炉元器件检测方法，其特征在于：所述S3进一步的包括：
S31：将步骤S2得到的特征金字塔网络中四种尺度的特征图分别传入区域生成网络，生成四种尺度特征图所对应的若干锚框，再通过softmax分类器，分成正样本锚框和负样本锚框，将正样本锚框作为候选区域框；
S32：利用边界框回归方法对正样本锚框的位置进行修正，再使用非极大值抑制方法来降低候选框的重叠率，得到电机、轴承和减速机的候选区域框；
S4：构建特征金字塔网络，将候选区域框进行不同尺度的Roi Pooling，之后再将特征图进行拼接，输入全连接层，预测得到目标类别，以及回归目标边界框的位置。
5.根据权利要求1所述的基于半监督学习的钢铁冷轧退火炉元器件检测方法，其特征在于：所述S4进一步的包括：
S41：将步骤S3得到的不同尺度的候选区域框进行拼接，再接入到后续的特征金字塔池化层，进行RoiPooling，得到了具有更丰富特征信息的池化特征；
S42：将池化后的特征进行拼接，再接入一个全连接层，一路通过softmax分类器预测目标框的类别信息，一路预测目标框的位置信息。
6.根据权利要求1所述的基于半监督学习的钢铁冷轧退火炉元器件检测方法，其特征在于：所述S5进一步的包括：
S51：教师模型是采用少量标注的数据，比例为25％，即200张图片有标注信息进行有监督学习，检测模型采用步骤S2-S4构建的主干网络为ResNet50_FPN的Faster R-CNN模型；
S52：采用少量有标注样本进行有监督训练Faster R-CNN教师模型，损失函数
Figure FDA0003619949840000031
如下：
Figure FDA0003619949840000032
S53：一直迭代训练，直至模型收敛，教师模型训练完成之后，图片通过教师模型来产生伪标签。
7.根据权利要求1所述的基于半监督学习的钢铁冷轧退火炉元器件检测方法，其特征在于：所述S6进一步的包括：
S61：学生模型和教师模型相同，就采用主干网络为ResNet50_FPN的Faster R-CNN模型；
S62：固定教师模型的参数，将无标注数据通过教师模型产生伪标签来训练学生模型；
S63：将无标签数据训练的学生模型通过EMA算法来对教师模型进行微调，不断优化教师模型，得到最终的网络模型，教师模型的参数更新公式如下：
Figure FDA0003619949840000041
S64：通过迭代训练直到教师模型收敛，保存训练的权重参数，训练完成之后的教师模型即可以用于检测钢铁冷轧退火炉元器件。
8.根据权利要求1所述的基于半监督学习的钢铁冷轧退火炉元器件检测方法，其特征在于：所述S7进一步的包括：
S71：在实际场景中，利用高清摄像头获取原始图像，对图像进行去噪、图像增强等预处理；
S72：将图像输入至网络模型中，利用训练好的Faster R-CNN模型提取图像特征，通过非极大值抑制方法去除冗余的目标区域框，最终检测出电机、轴承和减速机三种钢铁元器件对应类别的目标区域框，完成对钢铁元器件的自动检测。
CN202210459349.6A 2022-04-27 2022-04-27 基于半监督学习的钢铁冷轧退火炉元器件检测方法 Pending CN114943689A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210459349.6A CN114943689A (zh) 2022-04-27 2022-04-27 基于半监督学习的钢铁冷轧退火炉元器件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210459349.6A CN114943689A (zh) 2022-04-27 2022-04-27 基于半监督学习的钢铁冷轧退火炉元器件检测方法

Publications (1)

Publication Number Publication Date
CN114943689A true CN114943689A (zh) 2022-08-26

Family

ID=82907812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210459349.6A Pending CN114943689A (zh) 2022-04-27 2022-04-27 基于半监督学习的钢铁冷轧退火炉元器件检测方法

Country Status (1)

Country Link
CN (1) CN114943689A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147426A (zh) * 2022-09-06 2022-10-04 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN115311605A (zh) * 2022-09-29 2022-11-08 山东大学 基于近邻一致性和对比学习的半监督视频分类方法及系统
CN116468112A (zh) * 2023-04-06 2023-07-21 北京百度网讯科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质
CN116778335A (zh) * 2023-07-04 2023-09-19 中国科学院空天信息创新研究院 一种基于交叉域师生互训的倒塌建筑物检测方法和系统
CN117593648A (zh) * 2024-01-17 2024-02-23 中国人民解放军海军航空大学 基于弱监督学习的遥感目标建筑物提取方法
CN118608753A (zh) * 2024-08-07 2024-09-06 中国人民解放军国防科技大学 面向半监督旋转目标检测的密集伪标签方法、装置和设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147426A (zh) * 2022-09-06 2022-10-04 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN115311605A (zh) * 2022-09-29 2022-11-08 山东大学 基于近邻一致性和对比学习的半监督视频分类方法及系统
CN116468112A (zh) * 2023-04-06 2023-07-21 北京百度网讯科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质
CN116468112B (zh) * 2023-04-06 2024-03-12 北京百度网讯科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质
CN116778335A (zh) * 2023-07-04 2023-09-19 中国科学院空天信息创新研究院 一种基于交叉域师生互训的倒塌建筑物检测方法和系统
CN116778335B (zh) * 2023-07-04 2024-04-26 中国科学院空天信息创新研究院 一种基于交叉域师生互训的倒塌建筑物检测方法和系统
CN117593648A (zh) * 2024-01-17 2024-02-23 中国人民解放军海军航空大学 基于弱监督学习的遥感目标建筑物提取方法
CN117593648B (zh) * 2024-01-17 2024-04-05 中国人民解放军海军航空大学 基于弱监督学习的遥感目标建筑物提取方法
CN118608753A (zh) * 2024-08-07 2024-09-06 中国人民解放军国防科技大学 面向半监督旋转目标检测的密集伪标签方法、装置和设备

Similar Documents

Publication Publication Date Title
CN114943689A (zh) 基于半监督学习的钢铁冷轧退火炉元器件检测方法
CN110827251B (zh) 一种基于航拍图像的输电线路锁紧销缺陷检测方法
WO2022111219A1 (zh) 一种域自适应设备运检系统和方法
CN107133943A (zh) 一种防震锤缺陷检测的视觉检测方法
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN111612051A (zh) 一种基于图卷积神经网络的弱监督目标检测方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN114596278A (zh) 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置
CN112950576A (zh) 基于深度学习的输电线路缺陷智能识别方法及系统
CN113052103A (zh) 一种基于神经网络的电气设备缺陷检测方法及装置
CN115861190A (zh) 一种基于对比学习的光伏组件无监督缺陷检测方法
CN114187505A (zh) 输电线路防振锤脱落的检测方法、装置、介质及终端设备
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN115240020A (zh) 基于弱光补偿的MaskRCNN渗水检测方法及系统
CN113361520B (zh) 基于样本偏移网络的输电线路设备缺陷检测方法
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
Li et al. Building an online defect detection system for large-scale photovoltaic plants
Huang et al. Detection of river floating debris in uav images based on improved yolov5
CN115700737A (zh) 一种基于视频监控的溢油检测方法
CN111091533B (zh) 一种基于改进ssd算法的电池片el缺陷检测方法
CN116721300A (zh) 基于改进YOLOv3的预制构件表观病害目标检测方法
CN113284103B (zh) 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法
CN115049856A (zh) 基于改进的YOLOv5的风机桨叶故障检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination