CN116863274A - 一种基于半监督学习的钢板表面缺陷检测方法及系统 - Google Patents

一种基于半监督学习的钢板表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN116863274A
CN116863274A CN202310869580.7A CN202310869580A CN116863274A CN 116863274 A CN116863274 A CN 116863274A CN 202310869580 A CN202310869580 A CN 202310869580A CN 116863274 A CN116863274 A CN 116863274A
Authority
CN
China
Prior art keywords
model
defect
loss
data
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310869580.7A
Other languages
English (en)
Inventor
陈树宗
蒋圣泉
孙朴
付天添
华长春
孙杰
李旭
丁伟利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202310869580.7A priority Critical patent/CN116863274A/zh
Publication of CN116863274A publication Critical patent/CN116863274A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于半监督学习的钢板表面缺陷检测方法及系统，属于钢板缺陷检测技术领域，包括对缺陷图像采集，构建缺陷图像数据集；将缺陷图像数据库划为标记数据集和未标记数据集；将标记数据集划分为训练集和验证集，对训练集进行数据增强处理；建立改进后的yolov5网络模型ECS‑yolov5；用ECS‑yolov5作为半监督的检测模型；采集实时视频并对其处理，并应用半监督的检测模型，实现实时缺陷检测；缺陷数据储存模块将检测到的缺陷数据进行存储，并定期使用新的缺陷数据更新半监督的检测模型参数。本发明能够使得钢板缺陷检测的流程更加方便简单，减少对大量标记样本的依赖，且模型精度在训练过程中能越来越准确。

Description

一种基于半监督学习的钢板表面缺陷检测方法及系统
技术领域
本发明涉及钢板缺陷检测技术领域，尤其是一种基于半监督学习的钢板表面缺陷检测方法及系统。
背景技术
钢铁表面的质量检测是保证钢铁质量的工艺流程中重要环节，据统计，国内板带钢产品用户质量异议事件60％以上都是由表面缺陷造成的。如何提高表面检测系统的检测速度和检测精度一直是该领域的研究热点。目前，机器视觉检测逐渐取代传统的检测手段，中国发明专利“一种钢板表面伤损检测装置及方法”(CN116046884A)发明一种钢板表面伤损检测装置及方法，该发明公开了一种钢板表面伤损检测装置，此装置对钢板表面高速扫描,得到钢板表面三维模型图,计算机根据原来无伤损钢板表面数据及接收到的检测数据对钢板判定伤损信息，并且装置结构简单，检测方法简单易行，能够进行动态、实时、高精度自动化检测和判定；中国发明专利“一种基于深度学习语义分割的缺陷检测方法”(CN110473173A)发明一种基于深度学习语义分割的缺陷检测方法，该方法基于已训练的深度学习语义分割缺陷检测模型，进行物体表面缺陷检测，然而该专利文献公开的方法中需对表面缺陷图像进行手动标注，费时费力，易受人工主观影响；中国发明专利“基于注意力的Faster R-CNN(Fast Region-based Convolutional Network,快速的基于区域的神经网络)网络的钢板表面缺陷检测方法”(CN113160139A)发明一种基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法，将带有注意力模块的resnet50骨干网络与FPN特征金字塔结合对钢板表面缺陷图片提取特征，有助于提高钢板表面缺陷检测的分类和回归的精确率；中国发明专利“基于嵌入式边缘平台的钢板缺陷实时检测系统”(CN115619718A)发明一种基于嵌入式边缘平台的钢板缺陷实时检测系统与方法,包括图像采集模块、嵌入式边缘计算平台、缺陷标定模块和云储存/计算平台，通过选用轻量级模型并配合适当压缩，使得在边缘计算平台轻松高效地部署深度学习算法模型，实现带钢表面缺陷的实时检测。
然而目前主流的钢板缺陷检测研究主要依赖全监督训练，但这需要大量标注标签，而在实际钢板生产中，各种缺陷样本出现的概率较低，导致难以在短时间内收集到足够多种类的缺陷样本，逐一标记这些样本是非常耗时耗力的。因此，直接应用主流的基于有监督学习的缺陷检测算法并不能很好地解决该问题。当前的半监督目标检测方法大多数是基于Faster R-CNN等算法，它们是一种两阶段目标检测算法，存在着检测速度慢的问题，并且不能进行实时检测。本发明提出了一种基于半监督学习的钢板表面缺陷检测方法，采用了YOLOv5作为全监督模型，并结合半监督学习技术进行改进，具有较快的检测速度，能够满足实时性要求。
发明内容
本发明需要解决的技术问题是提供一种基于半监督学习的钢板表面缺陷检测方法及系统，能够使得钢板缺陷检测的流程更加方便简单，减少对大量标记样本的依赖，且模型精度在训练过程中能越来越准确。
为解决上述技术问题，本发明所采用的技术方案是：
S1、对缺陷图像采集，构建缺陷图像数据集；
S2、对缺陷图像数据库进行数据划分，划为标记数据集和未标记数据集；
S3、将标记数据集划分为训练集和验证集，并对训练集进行数据增强处理；
S4、建立改进后的yolov5网络模型ECS-yolov5；
S5、用ECS-yolov5作为半监督的检测模型；
S6、视频采集模块采集实时视频并对其处理，并应用半监督的检测模型，实现实时缺陷检测；
S7、缺陷数据储存模块将以上检测到的缺陷数据进行存储，并定期使用新的缺陷数据更新半监督的检测模型参数。
本发明技术方案的进一步改进在于：S2中，所述标记数据集包含所有类别缺陷且各类缺陷数据数量相同，所述标记数据集和未标记数据集的比例为1∶5。
本发明技术方案的进一步改进在于：S4中，所述改进后的yolov5网络模型结构包括Backbone、Neck和Head；
S4具体包括以下步骤：
S4.1在Backbone中，在C3模块中增加注意力层ECA(Efficient ChannelAttention，高效通道注意力)模块，即用新形成的C3ECA模块替换原有的C3模块；
S4.2在Neck中，引入了轻量级上采样算子CARAFE(Content-Aware ReAssembly ofFeatures)模块替换上采样模块中的nearest双线性上采样算子；
S4.3将yolov5模型的回归损失函数由CIoU替换为SIoU；SIoU损失函数包含四个部分：角度损失∧、距离损失Δ、形状损失Ω、IOU损失，IOU损失即交并比损失，用公式表示为：
SIoU损失函数公式如下：
本发明技术方案的进一步改进在于：S5中，具体包括以下步骤：
S5.1模型的初始化阶段，用ECS-yolov5训练标记数据集，为之后教师模型产生有效的伪标签；
S5.2师生相互学习阶段，利用ECS-yolov5作为半监督的检测框架中的教师模型和学生模型，教师生成培训学生的伪标签，学生模型通过EMA(ExponentialMoving Average，指数平均移动)逐步更新教师模型的参数，用总损失更新学生模型参数，并比较学生模型结果，选取最好的学生模型作为最终检测的目标模型；
本发明技术方案的进一步改进在于：S5.2具体包括以下步骤：
S5.2.1学生模型训练；
将标记数据和未标记数据进强增强，并对增强后的数据送入学生模型训练；
S5.2.2教师模型训练；
将为标记数据进行弱增强并送入教师模型进行推理，设置阈值生成的伪标签，设置阈值方法为动态阈值法，动态阈值法即先设置一个初始阈值后面根据事实情况进行调整；动态阈值法可以根据实际情况动态地调整检测门限，以保证检测结果的准确性和可靠性；
S5.2.3在师生模型中引入一种伪标签平衡策略；引入为标签平衡策略平衡生成各个种类中伪标签的数目，再将伪标签与已标记数据混合，扩充标记数据集；
S5.2.4计算优化损失；
学生模型训练此步骤主要是利用有标记图片与无标记图片共同更新学生模型，有标记图片通过学生模型训练得到预测值并与真实标签比较计算分类损失与边界框回归损失，这部分损失可以看作是有监督的损失对于未标记的损失，定义为/>学生网络的优化损失可以定义为：
为有监督损失，/>为无监督损失，λ是平衡监督损失和无监督损失的系数；
监督损失包含分类损失/>边界框回归损失/>和置信度损失/>则监督损失/>被定义为：
其中分类损失与置信度损失/>作为一种交叉熵损失CE(Cross-Entropy Loss)，它们的计算公式为：
其中，xl表示标记样本，ycls与yloc表示其标签，NL表示标记样本数量；交叉熵损失的公式为：
其中，x表示样本，y标签，a表示预测的输出，n表示样本总量；
在边界框回归方面，使用SIOU loss来进行边界盒回归：
对于未标记的数据，我们定义未标记样本损失为：
其中，是教师模型生成的伪标签；
S5.2.5学生模型更新；
利用有标记样本与无标记样本共同更新学生模型，有标记样本通过学生模型得到预测值，并与真实标签计算分类损失；无标记样本则是先通过教师模型得到伪标签，学生模型通过使用教师生成的伪标签进行优化，计算学生模型预测值与教师模型的伪标签的差距做为一致性损失；学生模型的更新如下式所示：
其中，γ为学习率，θs为学生模型的参数；
S5.2.6教师模型更新；
学生模型参数通过EMA来逐步更新教师模型参数，教师模型参数的更新可以看作是学生模型在每次迭代更新参数后对教师模型进行的微调，从而实现教师模型能在每个epoch中的每个step进行模型参数的更新：
θt←αθt+(1-α)θs
θt为教师模型参数，θs为学生模型参数，α是确定参数传输速度的超参数，通常接近于1；
S5.2.7重复上述步骤，并用测试数据对于学生模型进行测试，选取最好测试结所对应的学生模型作为最终的检测模型。
本发明技术方案的进一步改进在于：S7中，所述新的缺陷数据均为未标注数据。
一种基于半监督学习的钢板表面缺陷检测系统，包括视频采集模块、图像检测与标记模块和缺陷数据存储模块：
所述视频采集模块为摄像装置，在钢板传送装置横向一侧的上方和下方分别固定设置摄像装置获取钢板表面的实时图像，并将图片实时传送到服务器；
所述图像检测与标记模块中存储半监督的检测模型，对视频采集模块采集到的钢板表面图像进行实时检测，得到缺陷信息以及与缺陷图像，其中缺陷信息包括缺陷分类、缺陷坐标以及缺陷数量；
所述缺陷数据储存模块将图像检测模块获得的缺陷信息与缺陷图像传输至缺陷标定模块并储存，以便后续对模型进行训练提高模型精度。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明通过改进yolov5的网络结构ECS-yolov5，ECS-yolov5对yolov5的Backbone、Neck、Head部分改进，采用有监督算法在NEU-DET热轧钢板表面缺陷公开数据集上实现了钢板表面缺陷检测模型训练的精度的提升。
2、本发明通过改进半监督模型，首先用ECS-yolov5网络训练为标记数据，并将ECS-yolov5作为教师学生模型中的训练框架，实现了基于该框架利用少量的标记数据，降低标记成本，同时提高模型精度。
附图说明
图1是本发明实施例中钢板缺陷实时检测系统总体框图；
图2是本发明实施例中改进后的yolov5模型ECS-yolov5；
图3是本发明中的半监督模型。
具体实施方式
下面结合附图及实施例对本发明做进一步详细说明：
如图1所示，一种基于半监督学习的钢板表面缺陷检测系统包括视频采集模块、图像检测与标记模块和缺陷数据存储模块：
视频采集模块为摄像装置，在钢板传送装置横向一侧的上方和下方分别固定设置摄像装置获取钢板表面的实时图像，并将图片实时传送到服务器；
所述图像检测与标记模块中存储半监督的检测模型，对视频采集模块采集到的钢板表面图像进行实时检测，得到缺陷信息以及与缺陷图像，其中缺陷信息包括缺陷分类、缺陷坐标以及缺陷数量；
缺陷数据储存模块将图像检测模块获得的缺陷信息与缺陷图像传输至缺陷标定模块并储存，以便后续对存储半监督的检测模型进行训练提高模型精度。
实施例
钢板缺陷实时检测系统实现，以下步骤为训练检测模型，具体包括以下步骤：
S1、对缺陷图像采集，构建数据集；
收集钢铁表面的缺陷图像构建数据集。在本发明中，使用东北大学收集的NEU-DET热轧钢板表面缺陷公开数据集，包括裂纹(Cr)、斑块(Pa)、氧化铁皮压入(Rs)、麻点(Ps)、夹杂(In)、划痕(Sc)六种缺陷，每类缺陷图片300张，共1800张，分辨率为200×200。
S2、对缺陷图像数据库进行数据划分，划为标记数据集和未标记数据集，所述标记数据集包含所有类别缺陷且各类缺陷数据数量相同，所述标记数据集和未标记数据集的比例为；
将采集的图像划分为有标签数据集和无标签数据集，其中少部分图像(1/6，300张)划为标记数据集，大多部分图像(5/6，1500张)划为未标记数据集；对于有标签数据集，需要包含裂纹(Cr)、斑块(Pa)、氧化铁皮压入(Rs)、麻点(Ps)、夹杂(In)、划痕(Sc)六种缺陷，并且各类数量相差不大。保证数据集的平衡性，可以有效的提高目标检测模型的性能和准确率，使模型能够学习到每个类别的特征信息，减小模型误差和识别偏差。
S3、将标记数据集划分为训练集(train)和验证集(val)，并对训练集进行数据增强处理；
从NEU-DET钢板表面缺陷公开数据集中，从裂纹(Cr)、斑块(Pa)、氧化铁皮压入(Rs)、麻点(Ps)、夹杂(In)、划痕(Sc)六种缺陷1800张缺陷图片中取出1/6共300划分为标记数据集(每类缺陷图片选取50张，不能够随机选取各类图片数量)，并将训练图片用labelImg软件对图像中的各类缺陷进行标注，生成.txt文件，txt文件中包含labelImg手动标注的缺陷真实框的对应坐标值信息，以及每个框对应的缺陷标签信息；本实施例中按照各类图片将训练集和验证集按照90％、10％的比例划分，其中训练集共270张、验证集共30张，并对训练集进行数据增强处理。
S4、建立改进后的yolov5网络模型ECS-yolov5；
yolov5网络模型结构中有三部分：Backbone、Neck、Head。对yolov5网络模型进行改进，所述改进后的网络模型如图2所示：
S4.1在Backbone部分中，为了增强模型的特征提取能力，我们在C3模块中增加注意力层ECA模块，即将ECA模块加在C3模块后，可以更好的识别图像特征，增强特征提取能力，即用新形成的C3ECA模块替换Backbone结构中原有的C3模块；
S4.2在Neck部分中，引入了轻量级上采样算子CARAFE模块替换上采样模块中的nearest双线性上采样算子。CARAFE分为两个主要模块，分别是上采样核预测模块和特征重组模块。假设上采样倍率为σ，给定一个形状为H×W×C的输入特征图，我们首先利用上采样核预测模块预测上采样核，然后利用特征重组模块完成上采样，得到形状为σH×σW×C的输出特征图。CARAFE模块有着较大的感受野，可以更好的利用周围信息；上采样核应该和特征图的语义信息相关，基于输入内容进行上采样并且此模块没有引入过多的参数和计算量，始终保持着轻量化；
S4.3Head即预测头网络，Head模块有两个分支，由ESE(Effective Squeeze-and-Excitation)Block与卷积层组成，这两个分支分别完成目标分类和位置回归的功能，yolov5s模型中的Neck输出三个分支，即输出的P3、P4、P5三个特征图，则有3个预测分支，每个特征图输入Head。Head中包含3个检测层，分别对应Neck中得到的3种不同尺寸的特征图。YOLOv5根据特征图的尺寸在这3种特征图上划分网格，并且给每种特征图上的每个网格都预设了3个不同宽高比的anchor，用来预测和回归目标。Head中分别预测3个框，即分别预测尺寸不同的目标，并使用SIoU Loss代替CIou Loss作为该模型的回归损失函数，提升预测框的回归精度；以降低神经网络模型经过压缩后的精度损失影响。最终得到改进后的YOLOV5模型。
为了提升预测框的回归精度，降低模型压缩后的精度损失，将yolov5模型的回归损失函数由CIoU替换为SIoU；SIoU损失函数包含四个部分：角度损失(Angle cost)、距离损失(Distance cost)、形状损失(Shape cost)、IOU(Intersectionover Union)损失。
SIoU损失函数公式如下：
其中，∧为角度损失，Δ为距离损失，Ω为形状损失，IOU为交并比损失；以上损失均通过计算获得。
S5、用ECS-yolov5作为半监督的检测模型；
S5.1模型的初始化阶段：YOLO系列等单阶段算法和Faster R-CNN等两阶段算法相比，精度稍微低于传统的两阶段算法，但速度相较于两阶段算法要快，用改进后的yolov5训练已标注图片，提高模型的精度，为之后教师模型产生有效的伪标签。即在预训练阶段，使用已有标记的图片送入ESC-yolov5进行训练，此时的权重文件为yolov5s.pt，得到项目的权重文件best.pt。
S5.2师生相互学习阶段
如图3所示，表示的是改进后的师生框架。教师学生模型是两个完全相同的模型，均为改进后的yolov5框架，教师生成培训学生的伪标签，通过EMA逐步更新其参数。学生模型同时用标记数据集和伪标签数据进行训练，具体步骤如下：
S5.2.1学生模型训练：将标记数据和未标记数据进强增强，并对增强后的数据送入学生模型训练；
S5.2.2教师模型训练：将为标记数据进行弱增强并送入教师模型进行推理，设置阈值生成的伪标签，设置阈值方法为动态阈值法，动态阈值法即先设置一个初始阈值后面根据事实情况进行调整。动态阈值法可以根据实际情况动态地调整检测门限，以保证检测结果的准确性和可靠性；
S5.2.3在教师模型生成的伪标签中，往往由于样本差异导致生成的伪标签类别不平衡，若直接将其与已标记样本混合，则会导致模型对这些类别产生了高偏差的学习，影响了模型的精度，为解决此问题，我们将在师生模型中引入一种伪标签平衡策略。引入为标签平衡策略平衡生成各个种类中伪标签的数目，再将伪标签与已标记数据混合，扩充标记数据集；
S5.2.4计算优化损失：学生模型训练此步骤主要是利用有标记图片与无标记图片共同更新学生模型，有标记图片通过学生模型训练得到预测值并与真实标签比较计算分类损失与边界框回归损失，这部分损失可以看作是有监督的损失对于未标记的损失，我们定义为/>即可。由此可见，学生网络的优化损失可以定义为：
为有监督损失，/>为无监督损失，λ是平衡监督损失和无监督损失的系数。
监督损失包含分类损失/>边界框回归损失/>和置信度损失/>则监督损失/>可以被定义为：
其中分类损失与置信度损失/>是交叉熵损失，它们的计算公式为：
其中，xl表示标记样本，ycls与yloc表示其标签，NL表示标记样本数量。交叉熵损失的公式为：
其中，x表示样本，y标签，a表示预测的输出，n表示样本总量。
在边界框回归方面，使用SIOU loss来进行边界盒回归：
对于未标记的数据，我们定义未标记样本损失为：
其中，是教师模型生成的伪标签。
S5.2.5学生模型更新。此步骤主要是利用有标记样本与无标记样本共同更新学生模型，有标记样本通过学生模型得到预测值，并与真实标签计算分类损失；无标记样本则是先通过教师模型得到伪标签，学生模型通过使用教师生成的伪标签进行优化，计算学生模型预测值与教师模型的伪标签的差距做为一致性损失。学生模型的更新如下式所示：
其中，γ为学习率，θs为学生模型的参数。
S5.2.6教师模型更新。此步骤主要是学生模型参数通过EMA来逐步更新教师模型参数，教师模型参数的更新可以看作是学生模型在每次迭代更新参数后对教师模型进行的微调，从而实现教师模型能在每个epoch中的每个step进行模型参数的更新：
θt←αθt+(1-α)θs
θt为教师模型参数，θs为学生模型参数，α是确定参数传输速度的超参数，通常接近于1。
S5.2.7重复上述步骤，并用测试数据对于学生模型进行测试，选取最好测试结所对应的学生模型作为最终的检测模型。
S6、视频采集模块采集实时视频并对其处理，并应用半监督的检测模型，实现实时缺陷检测；
收集的数据来源于钢板生产流水线监控设备拍摄的视频或照片，针对视频间隔一定帧数抽取一帧；采集的图片/视频分辨率应当一致，且图片清晰、光照正常。识别出图片采集模块采集到的钢板实时图像传入检测系统中，推理并获取目标缺陷的分类、定位及数量信息。
S7、缺陷数据储存模块将图像检测模块获得的缺陷信息与缺陷图像传输至缺陷标定模块，将以上检测到的缺陷数据进行存储，并定期使用新的缺陷数据(均为未标注)更新半监督的检测模型参数，以便后续对模型进行训练提高模型精度。
综上所述，本发明能够使得钢板缺陷检测的流程更加方便简单，减少对大量标记样本的依赖，且模型精度在训练过程中能越来越准确。

Claims (7)

1.一种基于半监督学习的钢板表面缺陷检测方法，其特征在于：包括以下步骤：
S1、对缺陷图像采集，构建缺陷图像数据集；
S2、对缺陷图像数据库进行数据划分，划为标记数据集和未标记数据集；
S3、将标记数据集划分为训练集和验证集，并对训练集进行数据增强处理；
S4、建立改进后的yolov5网络模型ECS-yolov5；
S5、用ECS-yolov5作为半监督的检测模型；
S6、视频采集模块采集实时视频并对其处理，并应用半监督的检测模型，实现实时缺陷检测；
S7、缺陷数据储存模块将检测到的缺陷数据进行存储，并定期使用新的缺陷数据更新半监督的检测模型参数。
2.根据权利要求1所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S2中，所述标记数据集包含所有类别缺陷且各类缺陷数据数量相同，所述标记数据集和未标记数据集的比例为1∶5。
3.根据权利要求1所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S4中，所述改进后的yolov5网络模型结构包括Backbone、Neck和Head；
S4具体包括以下步骤：
S4.1在Backbone中，在C3模块中增加注意力层ECA模块，即用新形成的C3ECA模块替换原有的C3模块；
S4.2在Neck中，引入了轻量级上采样算子CARAFE模块替换上采样模块中的nearest双线性上采样算子；
S4.3将yolov5模型的回归损失函数由CIoU替换为SIoU；SIoU损失函数包含四个部分：角度损失∧、距离损失Δ、形状损失Ω、IOU损失，IOU损失即交并比损失，用公式表示为：
SIoU损失函数公式如下：
4.根据权利要求1所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S5中，具体包括以下步骤：
S5.1模型的初始化阶段，用ECS-yolov5训练标记数据集，为之后教师模型产生有效的伪标签；
S5.2师生相互学习阶段，利用ECS-yolov5作为半监督的检测框架中的教师模型和学生模型，教师生成培训学生的伪标签，学生模型通过EMA逐步更新教师模型的参数，用总损失更新学生模型参数，并比较学生模型结果，选取最好的学生模型作为最终检测的目标模型。
5.根据权利要求4所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S5.2具体包括以下步骤：
S5.2.1学生模型训练；
将标记数据和未标记数据进强增强，并对增强后的数据送入学生模型训练；
S5.2.2教师模型训练；
将为标记数据进行弱增强并送入教师模型进行推理，设置阈值生成的伪标签，设置阈值方法为动态阈值法，动态阈值法即先设置一个初始阈值后面根据事实情况进行调整；动态阈值法可以根据实际情况动态地调整检测门限，以保证检测结果的准确性和可靠性；
S5.2.3在师生模型中引入一种伪标签平衡策略；引入为标签平衡策略平衡生成各个种类中伪标签的数目，再将伪标签与已标记数据混合，扩充标记数据集；
S5.2.4计算优化损失；
学生模型训练此步骤主要是利用有标记图片与无标记图片共同更新学生模型，有标记图片通过学生模型训练得到预测值并与真实标签比较计算分类损失与边界框回归损失，这部分损失可以看作是有监督的损失对于未标记的损失，定义为/>学生网络的优化损失可以定义为：
为有监督损失，/>为无监督损失，λ是平衡监督损失和无监督损失的系数；
监督损失包含分类损失/>边界框回归损失/>和置信度损失/>则监督损失/>被定义为：
其中分类损失与置信度损失/>是交叉熵损失，它们的计算公式为：
其中，xl表示标记样本，ycls与yloc表示其标签，NL表示标记样本数量；交叉熵损失的公式为：
其中，x表示样本，y标签，a表示预测的输出，n表示样本总量；
在边界框回归方面，使用SIOU loss来进行边界盒回归：
对于未标记的数据，我们定义未标记样本损失为
其中，是教师模型生成的伪标签；
S5.2.5学生模型更新；
利用有标记样本与无标记样本共同更新学生模型，有标记样本通过学生模型得到预测值，并与真实标签计算分类损失；无标记样本则是先通过教师模型得到伪标签，学生模型通过使用教师生成的伪标签进行优化，计算学生模型预测值与教师模型的伪标签的差距做为一致性损失；学生模型的更新如下式所示：
其中，γ为学习率，θs为学生模型的参数；
S5.2.6教师模型更新；
学生模型参数通过EMA来逐步更新教师模型参数，教师模型参数的更新可以看作是学生模型在每次迭代更新参数后对教师模型进行的微调，从而实现教师模型能在每个epoch中的每个step进行模型参数的更新：
θt←αθt+(1-α)θs
θt为教师模型参数，θs为学生模型参数，α是确定参数传输速度的超参数，通常接近于1；
S5.2.7重复上述步骤，并用测试数据对于学生模型进行测试，选取最好测试结所对应的学生模型作为最终的检测模型。
6.根据权利要求1所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S7中，所述新的缺陷数据均为未标注数据。
7.一种基于半监督学习的钢板表面缺陷检测系统，其特征在于：应用如权利要求1～6任一项所述的基于半监督学习的钢板表面缺陷检测方法，包括视频采集模块、图像检测与标记模块和缺陷数据存储模块：
所述视频采集模块为摄像装置，在钢板传送装置横向一侧的上方和下方分别固定设置摄像装置获取钢板表面的实时图像，并将图片实时传送到服务器；
所述图像检测与标记模块中存储半监督的检测模型，对视频采集模块采集到的钢板表面图像进行实时检测，得到缺陷信息以及与缺陷图像，其中缺陷信息包括缺陷分类、缺陷坐标以及缺陷数量；
所述缺陷数据储存模块将图像检测模块获得的缺陷信息与缺陷图像传输至缺陷标定模块并储存，以便后续对模型进行训练提高模型精度。
CN202310869580.7A 2023-07-17 2023-07-17 一种基于半监督学习的钢板表面缺陷检测方法及系统 Pending CN116863274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310869580.7A CN116863274A (zh) 2023-07-17 2023-07-17 一种基于半监督学习的钢板表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310869580.7A CN116863274A (zh) 2023-07-17 2023-07-17 一种基于半监督学习的钢板表面缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN116863274A true CN116863274A (zh) 2023-10-10

Family

ID=88230176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310869580.7A Pending CN116863274A (zh) 2023-07-17 2023-07-17 一种基于半监督学习的钢板表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116863274A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291921A (zh) * 2023-11-27 2023-12-26 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质
CN117670889A (zh) * 2024-02-02 2024-03-08 长春理工大学 一种基于半监督学习的混合集成电路组件缺陷检测方法
CN117710970A (zh) * 2024-02-05 2024-03-15 武汉互创联合科技有限公司 基于半监督算法的胚胎细胞多核目标检测方法
CN117726628A (zh) * 2024-02-18 2024-03-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法
CN117853876A (zh) * 2024-03-08 2024-04-09 合肥晶合集成电路股份有限公司 一种晶圆缺陷检测模型的训练方法以及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160170A1 (zh) * 2021-01-28 2022-08-04 东莞职业技术学院 一种金属表面缺陷检测方法及装置
CN114972316A (zh) * 2022-06-22 2022-08-30 合肥工业大学 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN115619718A (zh) * 2022-09-23 2023-01-17 东北大学秦皇岛分校 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法
CN115631396A (zh) * 2022-10-24 2023-01-20 北京建筑大学 一种基于知识蒸馏的YOLOv5目标检测方法
CN116258707A (zh) * 2023-03-15 2023-06-13 常州京信新一代信息技术研究院有限公司 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160170A1 (zh) * 2021-01-28 2022-08-04 东莞职业技术学院 一种金属表面缺陷检测方法及装置
CN114972316A (zh) * 2022-06-22 2022-08-30 合肥工业大学 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN115619718A (zh) * 2022-09-23 2023-01-17 东北大学秦皇岛分校 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法
CN115631396A (zh) * 2022-10-24 2023-01-20 北京建筑大学 一种基于知识蒸馏的YOLOv5目标检测方法
CN116258707A (zh) * 2023-03-15 2023-06-13 常州京信新一代信息技术研究院有限公司 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BOWEN XU ET AL.: "Efficient Teacher:Semi-Supervised Object Detection for YOLOv5", ARXIV:2302.07577V3, 14 March 2023 (2023-03-14), pages 2 - 6 *
WANYU DENG ET AL.: "Steel Defect Detection Based on Yolov5", 2022 5TH INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND PATTERN RECOGNITION (AIPR 2022), 16 May 2023 (2023-05-16), pages 880 - 886 *
ZHORA GEVORGYAN: "SIoU Loss: More Powerful Learning for Bounding Box Regression", ARXIV:2205.12740, 25 May 2022 (2022-05-25), pages 2 - 4 *
ZHUANG LI ET AL.: "A Two-Stage Industrial Defect Detection Framework Based onImproved-YOLOv5 and Optimized-Inception-ResnetV2 Models", APPLIED SCIENCES, 14 January 2022 (2022-01-14), pages 3 - 5 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291921A (zh) * 2023-11-27 2023-12-26 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质
CN117291921B (zh) * 2023-11-27 2024-03-12 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质
CN117670889A (zh) * 2024-02-02 2024-03-08 长春理工大学 一种基于半监督学习的混合集成电路组件缺陷检测方法
CN117710970A (zh) * 2024-02-05 2024-03-15 武汉互创联合科技有限公司 基于半监督算法的胚胎细胞多核目标检测方法
CN117726628A (zh) * 2024-02-18 2024-03-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法
CN117726628B (zh) * 2024-02-18 2024-04-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法
CN117853876A (zh) * 2024-03-08 2024-04-09 合肥晶合集成电路股份有限公司 一种晶圆缺陷检测模型的训练方法以及系统

Similar Documents

Publication Publication Date Title
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN108257114A (zh) 一种基于深度学习的输电设备缺陷自动识别方法
CN108229461A (zh) 一种基于深度学习的隧道裂缝快速识别方法
CN113947590A (zh) 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN111724355B (zh) 一种鲍鱼体型参数的图像测量方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN110689000B (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN114022761A (zh) 一种卫星遥感影像输电线路杆塔检测定位方法及装置
CN114359235A (zh) 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN111191610A (zh) 一种视频监控中人流量检测与处理方法
CN115619718A (zh) 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法
CN113628164A (zh) 一种基于深度学习与web端定位的路面裂缝检测方法
CN115631411A (zh) 基于sten网络对不同环境中的绝缘子破损检测方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN116485767A (zh) 基于图像分类与分割的路面裂缝图像检测方法及系统
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN109934151B (zh) 一种基于movidius计算芯片和Yolo face的人脸检测方法
CN113469984B (zh) 一种基于yolo结构的显示面板外观检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination