CN114998258A - 一种基于重平衡的半监督产品表面缺陷检测方法及其系统 - Google Patents

一种基于重平衡的半监督产品表面缺陷检测方法及其系统 Download PDF

Info

Publication number
CN114998258A
CN114998258A CN202210617362.XA CN202210617362A CN114998258A CN 114998258 A CN114998258 A CN 114998258A CN 202210617362 A CN202210617362 A CN 202210617362A CN 114998258 A CN114998258 A CN 114998258A
Authority
CN
China
Prior art keywords
learning
branch
sample
loss
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210617362.XA
Other languages
English (en)
Inventor
张天魁
钟炜强
陈泽仁
李娟�
朱禹涛
刘元玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Xinbingrui Technology Co ltd
Beijing University of Posts and Telecommunications
Original Assignee
Jiangxi Xinbingrui Technology Co ltd
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Xinbingrui Technology Co ltd, Beijing University of Posts and Telecommunications filed Critical Jiangxi Xinbingrui Technology Co ltd
Priority to CN202210617362.XA priority Critical patent/CN114998258A/zh
Publication of CN114998258A publication Critical patent/CN114998258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于重平衡的半监督产品表面缺陷检测方法及其系统，其中基于重平衡的半监督产品表面缺陷检测方法具体包括以下步骤：进行样本采样，并根据采样的样本获取生成样本；进行三分支累积学习；进行平均教师一致性学习；进行判决器参数更新；获取特征匹配损失；进行标签抑制，获取标签抑制损失；进行生成器参数更新；判断是否达到收敛；若收敛，则获取待检测的产品图像，并进行待检测的产品图像的预处理；将处理后的待检测图像输入判决器中，获取检测结果；判断当前获取的检测结果是否为真实缺陷；若为真实缺陷，输出获取的检测结果。本申请提出的方法能在工业场景下的深度学习应用中，解决数据集普遍存在小样本和不平衡的问题。

Description

一种基于重平衡的半监督产品表面缺陷检测方法及其系统
技术领域
本申请涉及人工智能领域，具体地，涉及一种基于重平衡的半监督产品表面缺陷检测方法及其系统。
背景技术
在工业场景下的深度学习应用中，数据集普遍存在小样本和不平衡的问题。其中小样本问题的研究方向主要有基于微调的方法、迁移学习和半监督学习等。基于模型微调的方法是小样本学习较为传统的方法，通常在大规模数据上预训练模型，在目标小样本数据集上对神经网络模型的全连接层或者顶端几层进行参数微调，得到微调后的模型；迁移学习利用旧知识来学习新知识,主要目标是将已经学会的知识很快地迁移到一个新的领域中，其效果会受到源域与目标域的关系影响；半监督学习利用无标签数据对小样本数据集进行扩充。从对抗的角度实现半监督学习的方法，兼有生成聚类和判决聚类的优势。其中不平衡问题的研究方向包括采样、加权、损失函数设计、迁移学习和数据生成等。采样方法简单，但是可能出现头部类别欠拟合，尾部类别过拟合的问题。加权的方法在极端不平衡的情况下会使模型优化更加困难。基于损失函数设计的方法设计困难，对于性能的提升又比较有限。基于迁移学习的方法会受到源域与目标域关系的影响。基于数据生成的方法在生成器生成样本质量高的时候，能够达到不错的重平衡效果。针对小样本和不平衡问题同时存在的交叉场景，传统方法通常采用层次化训练的思路，分别采用半监督和重平衡方法训练两次模型。如针对小样本和不平衡交叉问题分别设计独立的方法，进行多次训练，或者先训练生成对抗网络模型用于数据生成，再基于新数据集训练等。以上算法设计思路存在的一定的局限性。样本不平衡是导致小样本问题的原因之一，二者并非完全独立。因此，多次训练导致先训练获得的模型参数被之后训练获得的模型参数更新覆盖，可能使前者的训练失效；分开训练没有充分挖掘二者的相关性，且造成了额外的计算开销。
因此，如何提出一种同时解决小样本和不平衡问题的方法，是本领域技术人员急需解决的问题。
发明内容
本发明的目的在于针对工业场景中普遍存在的小样本和不平衡问题，提出一种基于重平衡的半监督产品表面缺陷检测方法。该方法的目的在于同时解决小样本和不平衡问题，充分利用两个问题的相关性，避免模型参数训练后更新覆盖问题，节省计算开销。
为了解决上述问题，本申请提供了一种基于重平衡的半监督产品表面缺陷检测方法，其特征在于，具体包括以下步骤：S1，进行样本采样，并根据采样的样本获取生成样本；S2，根据采样的样本和生成样本进行三分支累积学习；S3，根据三分支累积学习的结果，进行平均教师一致性学习；S4，根据三分支累积学习的结果和平均教师一致性学习结果，进行判决器参数更新；S5，根据三分支累积学习的结果进行特征匹配，获取特征匹配损失；S6，响应于完成特征匹配，进行标签抑制，获取标签抑制损失；S7，根据特征匹配损失和标签抑制损失，进行生成器参数更新；S8，判断是否达到收敛；若不收敛，则重复执行步骤S2-S7；若收敛，则执行步骤S9；S9：获取待检测的产品图像，并进行待检测的产品图像的预处理；S10，将处理后的待检测图像输入判决器中，获取检测结果；S11，判断当前获取的检测结果是否为真实缺陷；若为真实缺陷，则执行步骤S12；S12，输出获取的检测结果。
如上的，其中，进行样本采样，并根据采样的样本获取生成样本包括：在标签数据集和无标签数据集上进行样本采样，得到标签样本和无标签样本；在正态分布的噪声上随机采样，把采样结果输入生成器得到生成样本。
如上的，其中，根据采样的样本和生成样本进行三分支累积学习根据采样的样本和生成样本进行三分支累积学习，具体包括以下子步骤：将判决器解耦为表示学习分支、生成学习分支和监督学习分支；进行表示学习分支、生成学习分支和监督学习分支的训练方式设计；响应于完成表示学习分支、生成学习分支和监督学习分支的训练方式设计，进行表示学习分支、生成学习分支和监督学习分支的结构设计；响应于完成表示学习分支、生成学习分支和监督学习分支的结构设计，进行三分支累积学习。
如上的，其中，进行三分支的训练方式设计包括：获取表示学习分支在无标签样本上训练的损失函数；获取生成学习分支在生成样本上训练的损失函数；获取监督学习分支在标签样本上训练的损失函数。
如上的，其中，表示学习分支在无标签样本上训练的损失函数lrep表示为：
Figure BDA0003674954420000031
其中，x～punl为无标签样本，p(yx,D)是无标签样本x被判决器D分类为标签y的概率，
Figure BDA0003674954420000032
指在无标签样本上求均值，
Figure BDA0003674954420000033
表示最小化样本分类损失，
Figure BDA0003674954420000034
表示样本估计分布需要满足类别均匀分布。
如上的，其中，生成学习分支在生成样本上训练的损失函数lgen表示为：
Figure BDA0003674954420000035
其中，E表示求均值，G(z)是随机噪声z输入生成器G生成的伪数据。Ez[logp(y|G(z),D)]表示最小化样本分类损失，
Figure BDA0003674954420000036
表示样本估计分布需要满足类别均匀分布。
如上的，其中，监督学习分支在标签样本上训练的损失函数llab表示为：
Figure BDA0003674954420000037
其中，CE(·)表示交叉熵函数。x～plab表示标签样本。p(y|x,D)是标签样本x被判决器D分类为标签y的概率。
如上的，其中，根据三分支累积学习的结果，进行平均教师一致性学习包括，将判决器作为学生模型，进行平均教师模型的参数更新。
如上的，其中，平均教师模型的参数更新具体表示为：
Wteacher(t)＝β·Wteacher(t-1)+(1-β)·Wstudent
其中Wteacher(t)表示本轮参数更新后的平均教师模型参数，Wstudent表示当前学生模型参数，Wteacher(t-1)是上一轮训练的平均教师模型参数。
一种基于重平衡的半监督产品表面缺陷检测系统，具体包括，采样生成单元、三分支单元、一致性学习单元、判决器参数更新单元、特征匹配损失获取单元、标签抑制损失获取单元、生成器参数更新单元、第一判断单元、预处理单元、检测结果获取单元、第二判断单元以及输出单元；采样生成单元，用于进行样本采样，并根据采样的样本获取生成样本；三分支单元，用于根据采样的样本和生成样本进行三分支累积学习；一致性学习单元，用于根据三分支累积学习的结果，进行平均教师一致性学习；判决器参数更新单元，用于根据三分支累积学习的结果和平均教师一致性学习结果，进行判决器参数更新；特征匹配损失获取单元，用于根据三分支累积学习的结果进行特征匹配，获取特征匹配损失；标签抑制损失获取单元，用于进行标签抑制，获取标签抑制损失；生成器参数更新单元，用于根据特征匹配损失和标签抑制损失，进行生成器参数更新；第一判断单元，用于判断生成器和判决器是否达到收敛；预处理单元，用于若生成器和判决器收敛，则获取待检测的产品图像，并进行待检测的产品图像的预处理；检测结果获取单元，用于将处理后的待检测图像输入判决器中，获取检测结果；第二判断单元，用于判断当前获取的检测结果是否为真实缺陷；输出单元，用于若为真实缺陷，则输出检测结果。
本申请具有以下有益效果：
本申请提出的方法能在工业场景下的深度学习应用中，解决数据集普遍存在小样本和不平衡的问题。本申请方法充分利用了两个问题的相关性，避免了判决器参数训练后更新覆盖问题，节省了计算开销。本申请方法在判决器中设计的三分支累积学习模块，通过多任务解耦消除了不同任务的互相干扰，并通过累积学习实现等效层次化训练；设计的平均教师模型模块，通过计算平均教师一致性损失改善了生成对抗训练过程的稳定性。本申请方法在生成器中采用生成对抗方法，扩充了样本数据并实现了样本平衡。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的基于重平衡的半监督产品表面缺陷检测系统的内部结构图；
图2是根据本申请实施例提供的基于重平衡的半监督产品表面缺陷检测方法的流程图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明提出一种基于重平衡的半监督产品表面缺陷检测方法及其系统，能够解决工业场景下普遍存在的小样本和不平衡问题，充分利用两个问题的相关性，避免判决器参数训练后更新覆盖问题，节省计算开销。
实施例一
如图1所示，为本实施例提供的基于重平衡的半监督产品表面缺陷检测系统，具体包括：采样生成单元110、三分支单元120、一致性学习单元130、判决器参数更新单元140、特征匹配损失获取单元150、标签抑制损失获取单元160、生成器参数更新单元170、第一判断单元180、预处理单元190、检测结果获取单元1100、第二判断单元1110、输出单元1120。
采样生成单元110用于进行样本采样，并根据采样的样本获取生成样本。
三分支单元120与采样生成单元110连接，用于根据采样的样本和生成样本进行三分支累积学习。
一致性学习单元130与三分支单元120连接，用于根据三分支累积学习的结果，进行平均教师一致性学习。
判决器参数更新单元140分别与三分支单元120和一致性学习单元130连接，用于根据三分支累积学习的结果和平均教师一致性学习结果，进行判决器参数更新。
特征匹配损失获取单元150与三分支单元120连接，用于根据三分支累积学习的结果进行特征匹配，获取特征匹配损失。
标签抑制损失获取单元160与特征匹配损失获取单元150连接，用于进行标签抑制，获取标签抑制损失。
生成器参数更新单元170分别与特征匹配损失获取单元150和标签抑制损失获取单元160连接，用于根据特征匹配损失和标签抑制损失，进行生成器参数更新。
第一判断单元180分别与生成器参数更新单元170和判决器参数更新单元140连接，用于判断生成器和判决器是否达到收敛。若未收敛，则重复执行上述步骤。
预处理单元190与第一判断单元180连接，用于若生成器和判决器收敛，则获取待检测的产品图像，并进行待检测的产品图像的预处理。
检测结果获取单元1100与预处理单元190连接，用于将处理后的待检测图像输入判决器中，获取检测结果。
第二判断单元1110与检测结果获取单元1100连接，用于判断当前获取的检测结果是否为真实缺陷。若不是真实缺陷，则流程退出。
输出单元1120与第二判断单元1110连接，用于若为真实缺陷，则输出检测结果。
实施例二
场景假设：考虑工业场景下同时存在小样本和不平衡问题的场景。采用半监督生成对抗网络解决小样本问题，采用基于生成数据的重平衡方法解决不平衡问题。
如图2所示，是本申请提供的一种基于重平衡的半监督产品表面缺陷检测方法，具体包括以下步骤：
步骤S210：进行样本采样，并根据采样的样本获取生成样本。
具体地，分别在已有的标签数据集和无标签数据集上采样得到标签样本和无标签样本。
优选地，其中标签数据集和无标签数据集可以是现有技术中已经形成的数据集。
以及，在正态分布的噪声上随机采样，把采样结果输入生成器得到生成样本。
其中标签数据集和无标签数据集是现有技术中获取的。
步骤S220：根据采样的样本和生成样本进行三分支累积学习。
其中将无标签样本、生成样本和标签样本分别输入判决器的表示学习分支、重平衡分支和监督学习分支上训练，然后基于预设的累积学习曲线，对各分支输出结果进行聚合，并计算累积学习损失。
具体地，本实施例将判决器解耦为表示学习分支、生成学习分支和监督学习分支，分别在无标签样本、生成样本和标签样本上训练。
其中步骤S220具体包括以下子步骤：
步骤S2201：进行三分支的训练方式设计。
其中表示学习分支在无标签样本上训练的损失函数lrep表示为：
Figure BDA0003674954420000081
其中，x～punl为无标签样本，p(yx,D)是无标签样本x被判决器D分类为标签y的概率，
Figure BDA0003674954420000082
指在无标签样本上求均值，
Figure BDA0003674954420000083
表示最小化样本分类损失，
Figure BDA0003674954420000084
表示样本估计分布需要满足类别均匀分布。
其中生成学习分支在生成样本上训练的损失函数lgen表示为：
Figure BDA0003674954420000085
其中，E表示求均值，G(z)是随机噪声z输入生成器G生成的伪数据。Ez[logp(y|G(z),D)]表示最小化样本分类损失，
Figure BDA0003674954420000086
表示样本估计分布需要满足类别均匀分布。
监督学习分支在标签样本上训练的损失函数llab表示为：
Figure BDA0003674954420000087
其中，CE(·)表示交叉熵函数。x～plab表示标签样本。p(y|x,D)是标签样本x被判决器D分类为标签y的概率。
步骤S2202：响应于完成三分支的训练方式设计，进行三分支的结构设计。
具体地，在三分支训练中，各个分支的结构被设计为具有相同的深度卷积神经网络结构。相同的网络结构表明三个分支是同一神经网络模型在不同子任务上的解耦训练。同时，各个分支共享表示层权值。
步骤S2203：响应于完成三分支的结构设计，进行三分支累积学习。
其中对各分支输出结果进行聚合，并计算累积学习损失。
具体地，在三分支单元的输出侧，基于加权聚合的并行化累积学习通过改变各个分支的聚合权值，在训练时逐渐转移训练重心，实现“类层次化”的训练效果。加权聚合公式表示为：
fmix(x,z)＝αDfeat(x)+(1-α)Dfeat(G(z))
其中fmix(x,z)表示累积混合特征图，Dfeat(x)表示表示学习分支输出的无标签样本特征图，Dfeat(G(z))表示生成学习分支输出的生成样本特征图。α是累积学习曲线函数，表示为：
Figure BDA0003674954420000091
其中t表示每一个分支的训练轮次的总和，当前训练轮次，T表示预先设置的三分支的训练轮次需要达到的最大轮次。
根据累积混合特征图计算累积损失函数lcum，具体表示为：
Figure BDA0003674954420000092
其中CE(·)表示交叉熵函数，x～plab表示标签样本，p(y|x,D)是标签样本x被判决器D分类为标签y的概率，其中累积混合特征图作为判决器的中间层输出，p(y|fmix(x,z),Dcls)表示中间层输出经过混合后重新输入判决器的后半部分Dcls后得到的判决器输出的判决结果。
步骤S230：根据三分支累积学习的结果，进行平均教师一致性学习。
在本步骤中，将步骤S220中的判决器作为学生模型，令T为平均教师模型，参数更新公式为：
Wteacher(t)＝β·Wteacher(t-1)+(1-β)·Wstudent
其中Wteacher(t)和Wstudent分别表示本轮参数更新后的平均教师模型参数和当前学生模型参数，Wteacher(t-1)是上一轮训练的平均教师模型参数，β是加权系数。
计算学生模型与平均教师模型输出的均方误差，得到平均教师一致性学习损失lcon，具体表示为：
Figure BDA0003674954420000093
其中
Figure BDA0003674954420000101
是学生模型在无标签样本上的输出，
Figure BDA0003674954420000102
是历史平均模型在同一数据上的输出，通过计算两个输出的的均方根损失MSE(·)提升二者的一致性。
步骤S240：根据三分支累积学习的结果和平均教师一致性学习结果，进行判决器参数更新。
其中根据步骤S220中的累积学习损失以及步骤S230中的平均教师一致性学习损失，进行判决器的参数更新。
具体地，将累积学习损失和一致性学习损失加权相加后得到判决器总损失函数，更新判决器参数，当前轮次的判决器训练完成。
其中判决器总损失函数lD表示为：
Figure BDA0003674954420000103
其中lcum为三分支累积学习损失，lcon表示平均教师一致性学习损失为平均教师一致性损失，
Figure BDA0003674954420000104
是加权参数。
步骤S250：根据三分支累积学习的结果进行特征匹配，获取特征匹配损失。
具体地，根据步骤S220中的生成学习特征图和表示学习特征图进行特征匹配。
计算生成学习特征图和表示学习特征图的均方误差得到特征匹配损失lfm，表示为：
lfm＝MSE[Dfeat(G(z)),Dfeat(x|x～punl)]
其中Dfeat(G(z))表示生成样本特征图，Dfeat(x|x～punl)表示无标签样本特征图。
步骤S260：响应于完成特征匹配，进行标签抑制，获取标签抑制损失。
其中将标签样本标签逆采样后得到抑制标签，计算生成样本的判决结果和抑制标签的交叉熵得到标签抑制损失。
其中标签逆采样公式为：
Figure BDA0003674954420000111
其中，M′k是采样后第k个类的标签数量，Mk是采样前第k个类的标签数量，μ是数据集不平衡率，K是每个样本类别数(其中无标签样本、标签样本和生成样本的类别数是相同的)。根据采样结果生成抑制标签y′。
计算生成学习输出与抑制标签的交叉熵损失得到标签抑制损失lres，表示为：
lres＝CEz[y′,p(yG(z),D)]
其中CE(·)表示交叉熵函数，y′表示抑制标签，P(y＝0|G(z),D)表示生成样本G(z)被判决器D分类为正常样本的概率。
步骤S270：根据特征匹配损失和标签抑制损失，进行生成器参数更新。
具体地，将特征匹配损失和标签抑制损失加权相加后得到生成器总损失函数，更新生成器参数，当前轮次的生成器训练完成。
其中生成器的总体损失函数lG表示为：
lG＝lres+λ·lfm
其中，lres为标签抑制损失，lfm为特征匹配损失，λ是加权系数。
步骤S280：判断是否达到收敛。
其中判断是否达到收敛具体为，判断判决器和生成器的精度是否达到收敛，或者训练判决器和生成器的次数是否达到预设的最大训练次数。
其中若判决器和生成器均收敛，则判决器和生成器训练完成，执行步骤S290。若未收敛则根据更新后的判决器参数和生成器参数重新执行步骤S220-S270。
步骤S290：获取待检测的产品图像，并进行待检测的产品图像的预处理。
其中预处理包括对待检测的产品图像进行图形变换和裁切。
步骤S2100：将处理后的待检测图像输入判决器中，获取检测结果。
其中此时的判别器为上述步骤训练完成的判决器，具体将处理后的待检测图像输入判决器的监督学习分支，从而得到关于图像的检测结果。
检测结果具体为，产品图像的缺陷类型，缺陷类型的数量和缺陷类型的尺寸。
其中缺陷类型包括但不限于，死皱、泡泡沙、凹凸点、水点、白点、色差波浪边、锯齿边、虫印、氧化、穿孔、翘边。
步骤S2110：判断当前获取的检测结果是否为真实缺陷。
其中真实缺陷的判断条件为，将获取的缺陷类型的数量和缺陷类型尺寸分别与预设的告警阈值进行比较。
若检测出的缺陷类型的数量大于对应的告警阈值，缺陷类型尺寸大于对应的告警阈值，则当前获取的检测结果为真实缺陷，则执行步骤S2120。否则判定为非缺陷，流程退出。
步骤S2120：输出获取的检测结果。
本申请具有以下有益效果：
本申请提出的方法能在工业场景下的深度学习应用中，解决数据集普遍存在小样本和不平衡的问题。本申请方法充分利用了两个问题的相关性，避免了判决器参数训练后更新覆盖问题，节省了计算开销。本申请方法在判决器中设计的三分支累积学习模块，通过多任务解耦消除了不同任务的互相干扰，并通过累积学习实现等效层次化训练；设计的平均教师模型模块，通过计算平均教师一致性损失改善了生成对抗训练过程的稳定性。本申请方法在生成器中采用生成对抗方法，扩充了样本数据并实现了样本平衡。
虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本申请的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本申请的范围。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于重平衡的半监督产品表面缺陷检测方法，其特征在于，具体包括以下步骤：
S1，进行样本采样，并根据采样的样本获取生成样本；
S2，根据采样的样本和生成样本进行三分支累积学习；
S3，根据三分支累积学习的结果，进行平均教师一致性学习；
S4，根据三分支累积学习的结果和平均教师一致性学习结果，进行判决器参数更新；
S5，根据三分支累积学习的结果进行特征匹配，获取特征匹配损失；
S6，响应于完成特征匹配，进行标签抑制，获取标签抑制损失；
S7，根据特征匹配损失和标签抑制损失，进行生成器参数更新；
S8，判断是否达到收敛；
若不收敛，则重复执行步骤S2-S7；
若收敛，则执行步骤S9；
S9：获取待检测的产品图像，并进行待检测的产品图像的预处理；
S10，将处理后的待检测图像输入判决器中，获取检测结果；
S11，判断当前获取的检测结果是否为真实缺陷；
若为真实缺陷，则执行步骤S12；
S12，输出获取的检测结果。
2.如权利要求1所述的基于重平衡的半监督产品表面缺陷检测方法，其特征在于，进行样本采样，并根据采样的样本获取生成样本包括：
在标签数据集和无标签数据集上进行样本采样，得到标签样本和无标签样本；
在正态分布的噪声上随机采样，把采样结果输入生成器得到生成样本。
3.如权利要求1所述的基于重平衡的半监督产品表面缺陷检测方法，其特征在于，根据采样的样本和生成样本进行三分支累积学习，具体包括以下子步骤：
将判决器解耦为表示学习分支、生成学习分支和监督学习分支；
进行表示学习分支、生成学习分支和监督学习分支的训练方式设计；
响应于完成表示学习分支、生成学习分支和监督学习分支的训练方式设计，进行表示学习分支、生成学习分支和监督学习分支的结构设计；
响应于完成表示学习分支、生成学习分支和监督学习分支的结构设计，进行三分支累积学习。
4.如权利要求3所述的基于重平衡的半监督产品表面缺陷检测方法，其特征在于，进行三分支的训练方式设计包括：
获取表示学习分支在无标签样本上训练的损失函数；
获取生成学习分支在生成样本上训练的损失函数；
获取监督学习分支在标签样本上训练的损失函数。
5.如权利要求4所述的基于重平衡的半监督产品表面缺陷检测方法，其特征在于，表示学习分支在无标签样本上训练的损失函数lrep表示为：
Figure FDA0003674954410000021
其中，x～punl为无标签样本，p(y|x,D)是无标签样本x被判决器D分类为标签y的概率，
Figure FDA0003674954410000022
指在无标签样本上求均值，
Figure FDA0003674954410000023
表示最小化样本分类损失，
Figure FDA0003674954410000024
表示样本估计分布需要满足类别均匀分布。
6.如权利要求4所述的基于重平衡的半监督产品表面缺陷检测方法，其特征在于，生成学习分支在生成样本上训练的损失函数lgen表示为：
Figure FDA0003674954410000025
其中，E表示求均值，G(z)是随机噪声z输入生成器G生成的伪数据。Ez[log p(y|G(z),D)]表示最小化样本分类损失，
Figure FDA0003674954410000031
表示样本估计分布需要满足类别均匀分布。
7.如权利要求4所述的基于重平衡的半监督产品表面缺陷检测方法，其特征在于，监督学习分支在标签样本上训练的损失函数llab表示为：
Figure FDA0003674954410000032
其中，CE(·)表示交叉熵函数。x～plab表示标签样本。p(y|x,D)是标签样本x被判决器D分类为标签y的概率。
8.如权利要求3所述的基于重平衡的半监督产品表面缺陷检测方法，其特征在于，根据三分支累积学习的结果，进行平均教师一致性学习包括，将判决器作为学生模型，进行平均教师模型的参数更新。
9.如权利要求1所述的基于重平衡的半监督产品表面缺陷检测方法，其特征在于，平均教师模型的参数更新具体表示为：
Wteacher(t)＝β·Wteacher(t-1)+(1-β)·Wstudent
其中Wteacher(t)表示本轮参数更新后的平均教师模型参数，Wstudent表示当前学生模型参数，Wteacher(t-1)是上一轮训练的平均教师模型参数。
10.一种基于重平衡的半监督产品表面缺陷检测系统，其特征在于，具体包括，采样生成单元、三分支单元、一致性学习单元、判决器参数更新单元、特征匹配损失获取单元、标签抑制损失获取单元、生成器参数更新单元、第一判断单元、预处理单元、检测结果获取单元、第二判断单元以及输出单元；
采样生成单元，用于进行样本采样，并根据采样的样本获取生成样本；
三分支单元，用于根据采样的样本和生成样本进行三分支累积学习；
一致性学习单元，用于根据三分支累积学习的结果，进行平均教师一致性学习；
判决器参数更新单元，用于根据三分支累积学习的结果和平均教师一致性学习结果，进行判决器参数更新；
特征匹配损失获取单元，用于根据三分支累积学习的结果进行特征匹配，获取特征匹配损失；
标签抑制损失获取单元，用于进行标签抑制，获取标签抑制损失；
生成器参数更新单元，用于根据特征匹配损失和标签抑制损失，进行生成器参数更新；
第一判断单元，用于判断生成器和判决器是否达到收敛；
预处理单元，用于若生成器和判决器收敛，则获取待检测的产品图像，并进行待检测的产品图像的预处理；
检测结果获取单元，用于将处理后的待检测图像输入判决器中，获取检测结果；
第二判断单元，用于判断当前获取的检测结果是否为真实缺陷；
输出单元，用于若为真实缺陷，则输出检测结果。
CN202210617362.XA 2022-06-01 2022-06-01 一种基于重平衡的半监督产品表面缺陷检测方法及其系统 Pending CN114998258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210617362.XA CN114998258A (zh) 2022-06-01 2022-06-01 一种基于重平衡的半监督产品表面缺陷检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210617362.XA CN114998258A (zh) 2022-06-01 2022-06-01 一种基于重平衡的半监督产品表面缺陷检测方法及其系统

Publications (1)

Publication Number Publication Date
CN114998258A true CN114998258A (zh) 2022-09-02

Family

ID=83031165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210617362.XA Pending CN114998258A (zh) 2022-06-01 2022-06-01 一种基于重平衡的半监督产品表面缺陷检测方法及其系统

Country Status (1)

Country Link
CN (1) CN114998258A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197095A (zh) * 2023-09-14 2023-12-08 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197095A (zh) * 2023-09-14 2023-12-08 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统
CN117197095B (zh) * 2023-09-14 2024-04-16 四川轻化工大学 基于半监督生成对抗分割模型的表面缺陷检测方法和系统

Similar Documents

Publication Publication Date Title
CN109214599B (zh) 一种对复杂网络进行链路预测的方法
James et al. Synchrophasor recovery and prediction: A graph-based deep learning approach
AU2020223740B2 (en) Face beauty prediction method and device based on multitask migration
CN112990295A (zh) 一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置
US20240028744A1 (en) Dynamic network risk predicting method based on a graph neural network
CN106656357B (zh) 一种工频通信信道状态评估系统和方法
CN106327013A (zh) 一种输电线巡检路径规划方法及系统
CN115225516B (zh) 基于改进abc-vmd的lssvm网络流量预测方法
CN113033772A (zh) 一种基于联邦学习的多设备状态监测方法
CN114998258A (zh) 一种基于重平衡的半监督产品表面缺陷检测方法及其系统
CN114265913A (zh) 工业物联网边缘设备上基于联邦学习的空时预测算法
Liu et al. A method for short-term traffic flow forecasting based on GCN-LSTM
CN115862319A (zh) 一种面向时空图自编码器的交通流量预测方法
CN117082492A (zh) 一种基于联邦深度强化学习的水下传感网信任管理方法
Gildish et al. Vibration signal decomposition using dilated CNN
CN118245791A (zh) 一种用于虚拟交通流的船舶轨迹插值预报方法
CN113884807A (zh) 基于随机森林和多层架构聚类的配电网故障预测方法
CN107153870A (zh) 小风机的功率预测系统
CN116777046A (zh) 交通预训练模型构建和交通预测方法、装置及电子设备
CN114462526B (zh) 一种分类模型训练方法、装置、计算机设备及存储介质
CN116032775A (zh) 一种面向概念漂移的工业控制网络异常检测方法
CN113344119B (zh) 工业物联网复杂环境下的小样本烟雾监测方法
CN109816174A (zh) 基于网络演化影响因子的航线开通预测方法
Cabanes et al. Change detection in data streams through unsupervised learning
CN115907000A (zh) 一种用于电力系统最优潮流预测的小样本学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination