CN114972194A - 一种从不一致标签中检测缺陷的方法 - Google Patents

一种从不一致标签中检测缺陷的方法 Download PDF

Info

Publication number
CN114972194A
CN114972194A CN202210454583.XA CN202210454583A CN114972194A CN 114972194 A CN114972194 A CN 114972194A CN 202210454583 A CN202210454583 A CN 202210454583A CN 114972194 A CN114972194 A CN 114972194A
Authority
CN
China
Prior art keywords
segmentation
network
scoring
abnormal
labels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210454583.XA
Other languages
English (en)
Inventor
李斌
牛通之
李威风
林雨枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210454583.XA priority Critical patent/CN114972194A/zh
Publication of CN114972194A publication Critical patent/CN114972194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明属于图像处理相关技术领域，其公开了一种从不一致标签中检测缺陷的方法，所述方法包括以下步骤：(1)基于粗糙集理论建立标签的不确定性模型(2)构建评分贝叶斯神经网络，所述评分贝叶斯神经网络包括贝叶斯分割网络和评分网络，采用训练集对所述贝叶斯分割网络和所述评分网络进行训练；(3)将待检测样本输入贝叶斯分割网络中，多次求解获得多张异常分割图，将多张异常分割图分别与对应的图像一起输入评分网络，获得多个质量评价分数，进而得到异常分割概率图；(4)根据缺陷阈值与异常分割概率图求得置信度，将求得的置信度与置信度阈值进行对比，根据对比结果判断是否存在表面缺陷。本发明提高了准确率。

Description

一种从不一致标签中检测缺陷的方法
技术领域
本发明属于图像处理相关技术领域，更具体地，涉及一种从不一致标 签中检测缺陷的方法。
背景技术
作为生产制造过程中必不可少的一步，表面缺陷检测广泛应用于各工 业领域，包括半导体电子、汽车、医药、化工等。深度学习在表面缺陷检 测领域实现了非常好的效果。
然而，作为一种数据驱动模型，深度卷积神经网络在某些情况下重现 或放大了在数据采集和标注过程中引入到训练数据集的人为错误和偏差。 这种问题不仅出现在自然和医疗数据中，在表面缺陷检测中更为严重。
表面缺陷检测任务在图像标记任务中主要面临以下挑战：首先，异常 区域的边缘并非理想线，而是一个区域；其次，由于缺陷与背景的低对比 度，以及异常区域面积很小，存在一些弱特征的区域。过渡区域与弱特征 区域既不能被确切的分为异常，也不能被确切地分为正常。再加上疑似区 域的标注容易受到工人的情绪浮动、技术水平、判断标准、个体差异等因 素影响，导致标签较差的一致性。表现在图像上就是异常区域的边界有些 标记范围较小，有些标记范围较大，甚至部分区域没有被标记出来。
然而，异常区域的几何尺寸(如长度或直径)是判断异常是否有缺陷 的必要指标。不一致的标签影响模型的稳定性和一致性差，最终使得产品 质量上下浮动，参差不齐，造成不可挽回的损失。
对于不一致的标签，现有方法可分为基于贝叶斯概率估计的方法、基 于标签代理的方法，基于“分而治之”的方法。但这些方法都是基于多标 签(同一个样本多次标注)实现的，不仅增加了人工成本，而且标签是图 像级别的。对于表面缺陷检测，应该关注像素级别的标签，而不是图像级 别的。
对于像素级级别，SEAL和STEAL基于先验知识提出了标签对齐方案。 SEAL将准确边缘优化为题转化为二部图最代价分配问题，基于有偏高斯核 和马尔可夫先验在训练过程中不断纠正标签，最终求得准确边缘。STEAL 提出了新的层和损失，取边缘像素法线方向进行非极大值抑制，配合法线 一致损失实现准确边缘求取。然而，这些方法均假设存在理想边缘，在工 业检测中，从缺陷成因分析，均存在过渡区域，理想边缘存在假设往往是 不成立的。并且部分弱特征区域甚至会被忽略，没有标记。因此，仅仅关 注标签中的边缘是不够的。
手工标记的挑战是客观存在的，由于不一致的标签导致的模型不一致 是不可避免的。采用纯数学上的假设来消除或回避这种不确定性，效果往 往不理想。反之，如果正视它对这些信息进行合适地处理，常常有助于实 际问题的解决。
因此，本领域亟待提出一种从不一致标签中学习缺陷检测模型的方法， 正视由于标记不一致引起的模型不确定性，建立不确定性模型，求解并最 终得到一致的、具有可解释性的检测结果。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种从不一致标 签中检测缺陷的方法，所述方法能够从不一致标签中学习到一致的、具有 可解释性的检测结果，所提出的不确定模型为标签中的不一致因素提供了 一个合适的处理思路，提出的打分贝叶斯神经网络提供了不确定性求解方 法，提出的置信度求解方法提供了一个具有可解释性的指标，具有较高的 分割准确率和贴近实际情况的检测结果。
为实现上述目的，按照本发明的一个方面，提供了一种从不一致标签 中检测缺陷的方法，所述方法包括以下步骤：
(1)对工业图像的异常区域进行像素级标记，获得可能存在不一致的 标签，得到的数据集被划分为训练集及测试集；
(2)基于粗糙集理论建立标签的不确定性模型，将图像中确定为异常 的区域划分为确定区域，其边界为上确界；疑似为异常的区域划分为疑似 区，其边界为下确界，上确界与下确界之间为不确定区域；
(3)构建评分贝叶斯神经网络，所述评分贝叶斯神经网络包括贝叶斯 分割网络和评分网络，采用训练集对所述评分贝叶斯神经网络进行训练以 得到所述评分贝叶斯神经网络的参数化模型，采用测试集对所述评分贝叶 斯神经网络进行评价，以得到最优的所述评分贝叶斯神经网络的参数化模 型；
(4)将待检测样本输入贝叶斯分割网络中，多次求解获得多张异常分 割图，将多张异常分割图分别与对应的图像一起输入评分网络，获得多个 质量评价分数，将异常分割图与对应的质量评价分数相乘求和以获得最终 的异常分割概率图；
(5)根据实际生产需求确定缺陷阈值及置信度阈值，根据缺陷阈值与 异常分割概率图求得置信度，将求得的置信度与置信度阈值进行对比，根 据对比结果判断是否存在表面缺陷。
进一步地，对于一对非空集合Ω＝(U,A)，其中U是图像所有像素的集 合，A是包含了像素所有的特征；任何一个A的子集B决定了一个不可分辨 关系I(B)，由子集B确定的图像区域表示为U/B，像素x属于U/B，被表示 为B(p)，在异常区域
Figure BDA0003618320710000031
中，定义下近似为B*(X)，上近似为B*(X)，对应 的表达式分别为：
Figure BDA0003618320710000032
Figure BDA0003618320710000033
不确定区域为：
BNB(X)＝B*(X)-B*(X)。
进一步地，将所述训练集中的图像输入所述贝叶斯分割网络中进行多 次求解以得到多张异常分割图，将得到的多张异常分割图分别与标签进行 对比以得到多个分割误差；将所述训练集中的图像和标签一起输入所述评 分网络中，以获得标签的质量评价分数，进而将得到的分割误差的均值与 对应的质量评价分数作为分割损失来用于贝叶斯分割网络的迭代训练，以 获得所述贝叶斯分割网络的参数化模型。
进一步地，用分割误差的方差计算质量评价分数的标签，将质量评价 分数与质量评价分数的标签做对比以获得评分损失并用于评分网络的迭代 训练，进而获得评分网络的参数化模型。
进一步地，贝叶斯分割网络由首尾相连的编码器、中间层、解码器构 成；贝叶斯分割网络由首尾相连的编码器、中间层、解码器构成；其中编 码包含若干次下采样和若干层空间相关的贝叶斯神经网络模块；中间层由 若干层空间相关的贝叶斯神经网络模块组成；解码器包含若干层上采样层； 空间相关的贝叶斯卷积神经网络模块包含依次连接的一个卷积层、一个空 间Dropout层、一个批量正则化层；评分网络由若干次下采样构成，且最后一层为全局最大池化层；
评分网络由若干次下采样构成，且最后一层为全局最大池化层。
进一步地，贝叶斯分割网络和评分网络的训练包括以下步骤：
(1)训练集样本{x1,...,xN}和标签{y1,...,yN}输入贝叶斯分割网络，得到 第ith样本的多次分割结果
Figure BDA0003618320710000041
对比分割结果和标签，求得交叉熵损 失Bce Loss和集合相似度损失Dice Loss，综合Bce Loss与Dice Loss得到分割误 差Seg error；
(2)将训练集样本{x1,...,xN}和标签{y1,...,yN}输入评分网络，得到对应 的质量评价分数{s1,...,sN}；
(3)分割误差的均值Meani与对应的质量评价分数{s1,...,sN}相乘作为分 割损失Lossseg，并以此对贝叶斯分割网络进行迭代训练，得到贝叶斯分割网 络的参数化模型；
(4)将分割误差的方差Vari制作为质量评价分数的标签lsi；
(5)将标签质量评价分数{s1,...,sN}与质量评价分数的标签lsi对比，获 得评分损失Lossscore用于评分网络的迭代训练，获得评分网络的参数化模型。
进一步地，所述交叉熵损失Bce Loss为：
Figure BDA0003618320710000051
V代表被分割的异常区域，所述集合相似度损失Dice Loss为：
Figure BDA0003618320710000052
进一步地，λ代表一个权衡超参数，用于控制这两个项的相对重要性， 且λ＞0，所述分割误差Seg error为：
Figure BDA0003618320710000053
所述分割误差Seg error的均值Meani和方差Vari分别为：
Figure BDA0003618320710000054
Figure BDA0003618320710000055
进一步地，将训练集样本{x1,...,xN}和标签{y1,...,yN}输入评分网络，得到 对应的质量评价分数{s1,...,sN}，所述分割损失Lossseg为：
Figure BDA0003618320710000056
质量评价分数的标签为：
Figure BDA0003618320710000061
评价网络的评分损失为：
Figure BDA0003618320710000062
进一步地，异常概率分割图的获取包括以下步骤：
第一步：采集待检测的图像x*，输入最优参数模型中，通过贝叶斯分 割网络求解kth次，得到分割结果
Figure BDA0003618320710000063
第二步：将图像x*与分割结果
Figure BDA0003618320710000064
输入评分网络中得到对应的评分
Figure BDA0003618320710000065
第三步：将异常分割图与对应的质量评价分数相乘求和获得最终异常 分割概率图p(x*)。
进一步地，异常分割概率图p(x*)为：
Figure BDA0003618320710000066
进一步地，判别异常能否为缺陷包括以下步骤：
第一步：根据实际生产中的需求，通常根据国标、行业标准或厂标设 定代表异常判别能否为缺陷的缺陷阈值T；
第二步：根据缺陷阈值T与异常分割概率图p(x*)求得置信度
Figure BDA0003618320710000069
第三步：根据工厂对于质量的需求设定置信度阈值，若置信度大于等 于置信度阈值判定为NG，小于置信度阈值判定为OK。
进一步地，确定c，且其范围为[0,1]，当c-＝0，获得下确界，当c+＝1， 获得上确界；GD为异常区域的几何尺寸，y为图像中每个像素的值；
Figure BDA0003618320710000067
则置信度为：
Figure BDA0003618320710000068
其中，g-1(T)为g(T)的反函数。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发 明提供的从不一致标签中检测缺陷的方法主要具有以下有益效果：
1.所述方法仅使用样本和不一致标签作为训练集，在不增加标记成本 的情况下，能够得到异常分割概率图，并求得异常能够被判别为缺陷的置 信度，提供了一个具有可解释性的依据。
2.基于粗糙集建立了缺陷检测的不确定性模型，为由于人工因素所导 致的不一致标签提供了一个合理的表示。
3.通过空间Dropout实现连续伯努利分布模拟高斯分布，在不增加任 何网络参数的基础上，构建了贝叶斯神经网络，求取异常分割概率图；通 过空间Dropout保留了图像的上下文关系，合理的设计网络结构，进行了特 定的组合，实现了更高的分割精度。
4.引入了评分网络，为标签质量评分，在充分利用一致性差甚至有噪 声的标签，在不增加数据和标签成本的前提下，提供了一个可靠的异常分 割模型。
5.置信度评价指标具有物理含义，提供了一个可解释的判别基础；在 实际应用中，工厂可以根据实际需求确定置信阈值，从而得到一致性好的 判断结果。
6.自动记忆对抗自编码器模型在8G内存、型号为NVIDIA GeForce GTX 1070的GPU下进行构建的，用本发明提供的方法进行缺陷检测可达 到67.11FPS。
附图说明
图1是本发明提供的一种从不一致标签中检测缺陷的方法的流程示意 图；
图2中的(a)、(b)分别是基于粗糙集理论建立标签的不确定性模 型的示意图；
图3是评分贝叶斯神经网络训练与测试的流程示意图；
图4是不同置信度的异常分割区域示意图；
图5中的(1)～(3)分别是本发明实施例1中的三组数据集，(a)-(b) 是inclusion缺陷，(c)-(d)是patches缺陷，(e)-(f)是scratches缺陷。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图 及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的 本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可 以相互组合。
请参阅图1、图2、图3及图4，本发明提供了一种从不一致标签中检 测缺陷的方法，用于工业制造过程中检测含表现异常的不合格工件，主要 解决了图像标记过程中，对于边缘、弱特征区域的标注容易受到工人的情 绪浮动、技术水平、判断标准、个体差异等因素影响，导致标签较差的一 致性，进而导致模型产生不确性的结果，产品质量参差不一的问题。本发 明基于粗糙集理论建立不确定性模型来表征标签中的不一致信息，通过贝 叶斯神经网络求解不确定模型，最终给出置信度评价指标，以置信度为判 断依据以获得一致性良好的产品。所述方法从工业现场采集图像，并完成 标记，获得可能不一致的标签；基于粗糙集理论建立标签的不确定模型， 构建用于表面缺陷检测的评分贝叶斯神经网络，从不一致标签中学习到参 数化模型，并使用训练集进行训练，采用测试集进行评价，得到最优的参 数化模型；设定缺陷判别置信度来衡量异常可以被判别为缺陷的不确定性。 在线检测时，采集待检测图像，通过评分贝叶斯神经网络获得异常分割概 率图，根据实际需求确定缺陷阈值，根据缺陷阈值与异常分割概率求得置 信度，根据产品质量需求设定置信度阈值，若置信度大于等于置信度阈值 则判别为NG，否则为OK。本发明在不增加标记成本的前提下，不仅在异 常分割方面优于现有技术，而且获得了更接近实际情况的缺陷置信度，提 供了具有可解释性和一致性的判断指标。
本发明提供的缺陷检测方法包括以下步骤：
步骤一，将采集到的工业图像对异常区域进行像素级标记，获得可能 存在不一致的标签，工业图像与对应的标签成对，工业图像组成的数据集 被按照一定的比例划分为训练集和测试集。
本实施方式中，采集工业现场图像并进行大小归一化处理，对异常区 域进行像素级标记以生成数据集，工业图像与对应的标签成对，并按照一 定的比例(通常取2/3～4/5)将所述数据集划分为训练集和测试集。
其中，获取工业图像数据集，工业图像与对应的标签成对，按照一定 的比例将数据划分为训练集和测试集，其中，训练集用于训练所构建的评 分贝叶斯神经网络，得到优化的参数化模型，测试集用于对已经训练好参 数化模型进行性能评价。本实施方式中，优选训练集和测试集中样本的比 值为2/3～4/5。
步骤二，基于粗糙集理论建立标签的不确定性模型，将图像中确定为 异常的区域划分为确定区域，其边界为上确界；疑似为异常的区域划分为 疑似区，其边界为下确界，上确界与下确界之间为不确定区域。
假设一对非空集合Ω＝(U,A)，其中U是图像所有像素的集合，A是包 含了像素所有的特征(如纹理、灰度等)。任何一个A的子集B决定了一个 不可分辨关系I(B)，由子集B确定的图像区域表示为U/B，像素x属于U/B， 被表示为B(p)。在异常区域
Figure BDA0003618320710000091
中，定义下近似为B*(X)，上近似为B*(X)， 表达式为：
Figure BDA0003618320710000092
Figure BDA0003618320710000093
不确定区域为：
BNB(X)＝B*(X)-B*(X)。
步骤三，构建评分贝叶斯神经网络，所述评分贝叶斯神经网络包括贝 叶斯分割网络和评分网络，采用训练集对所述贝叶斯分割网络和所述评分 网络进行训练以得到所述贝叶斯分割网络的参数化模型及所述评分网络的 参数化模型，采用测试集对所述评分网络进行评价，以得到最优的所述评 分网络的参数化模型。
其中，将所述训练集中的图像输入所述贝叶斯分割网络中进行多次求 解以得到多张异常分割图，将得到的多张异常分割图分别与标签进行对比 以得到多个分割误差；将所述训练集中的图像和标签一起输入所述评分网 络中，以获得标签的质量评价分数。进而，将得到的分割误差的均值与对 应的质量评价分数作为分割损失来用于贝叶斯分割网络的迭代训练，以获 得所述贝叶斯分割网络的参数化模型。用分割误差的方差计算质量评价分 数的标签，将质量评价分数与质量评价分数的标签做对比以获得评分损失 并用于评分网络的迭代训练，进而获得评分网络的参数化模型。此外，将 测试集中的样本用于所述评分网络的评价，在一定的训练轮数中选择最优 的参数化模型。
贝叶斯分割网络由首尾相连的编码器、中间层、解码器构成；其中编 码时每一次下采样都包含依次连接的两个卷积神经网络模块和一个最大池 化层，由若干次下采样构成，且编码的最后两次下采样包含依次连接的两 个空间相关的贝叶斯卷积神经网络模块和一个最大池化层；其中中间层包 含依次连接的两个空间相关的贝叶斯卷积神经网络模块；其中解码时每次 上采样都包含依次连接的一个线性插值层和两个卷积神经网络模块，最后 一层为一个卷积层；卷积神经网络模块、空间相关的贝叶斯卷积神经网络 模块、最大池化层、卷积层、线性插值层；其中卷积神经网络模块包含依 次连接的一个卷积层、一个批量正则化层以及一个ReLU激活层；空间相 关的贝叶斯卷积神经网络模块包含依次连接的一个卷积层、一个空间 Dropout层、一个批量正则化层。
其中，评分网络由若干次下采样构成，每次下采样包含依次连接的两 个卷积神经网络模块和一个最大池化层，最后一次下采样包含依次连接的 两个卷积神经网络模块和一个全局最大池化层。
贝叶斯分割网络和评分网络的训练主要包括以下步骤：
第一步：训练集样本{x1,...,xN}和标签{y1,...,yN}输入贝叶斯分割网络，得 到第ith样本的多次分割结果
Figure BDA0003618320710000111
对比分割结果和标签，求得交叉熵 损失Bce Loss和集合相似度损失Dice Loss，综合Bce Loss与Dice Loss得到分割 误差Seg error。
第二步：将训练集样本{x1,...,xN}和标签{y1,...,yN}输入评分网络，得到对 应的质量评价分数{s1,...,sN}。
第三步：分割误差的均值Meani与对应的质量评价分数{s1,...,sN}相乘作为 分割损失Lossseg，并以此对贝叶斯分割网络进行迭代训练，得到贝叶斯分割 网络的参数化模型。
第四步：将分割误差的方差Vari制作为质量评价分数的标签lsi。
第五步：将标签质量评价分数{s1,...,sN}与质量评价分数的标签lsi对比， 获得评分损失Lossscore用于评分网络的迭代训练，获得评分网络的参数化模 型。
所述交叉熵损失Bce Loss：
Figure BDA0003618320710000112
V代表被分割的异常区域，所述集合相似度损失Dice Loss为：
Figure BDA0003618320710000113
λ代表一个权衡超参数，用于控制这两个项的相对重要性，且λ＞0， 所述分割误差Seg error为：
Figure BDA0003618320710000121
所述分割误差Seg error的均值Meani和方差Vari分别为：
Figure BDA0003618320710000122
Figure BDA0003618320710000123
将训练集样本{x1,...,xN}和标签{y1,...,yN}输入评分网络，得到对应的质量 评价分数{s1,...,sN}，所述分割损失Lossseg为：
Figure BDA0003618320710000124
质量评价分数的标签为：
Figure BDA0003618320710000125
评价网络的评分损失为：
Figure BDA0003618320710000126
异常分割概率图p(x*)为：
Figure BDA0003618320710000127
使用训练集训练构建的评分贝叶斯神经网络，得到参数优化模型，使 用测试集对已训练好的参数优化模型的性能进行评价，根据测试结果来选 择最优参数化模型，进而将训练集样本输入最优的参数化模型中，得到最 终的异常分割概率图。
步骤四，将待检测样本输入贝叶斯分割网络中，多次求解获得多张异 常分割图，将多张异常分割图分别与对应的图像一起输入评分网络，获得 多个质量评价分数，将异常分割图与对应的质量评价分数相乘求和以获得 最终异常分割概率图。
具体包括以下步骤：
第一步：采集待检测的图像x*，输入最优参数模型中，通过贝叶斯分 割网络求解kth次，得到分割结果
Figure BDA0003618320710000131
第二步：将图像x*与分割结果
Figure BDA0003618320710000132
输入评分网络中得到对应的评分
Figure BDA0003618320710000133
第三步：将异常分割图与对应的质量评价分数相乘求和获得最终异常 分割概率图p(x*)。
步骤五，根据实际生产需求确定缺陷阈值及置信度阈值，根据缺陷阈 值与异常分割概率图求得置信度，将求得的置信度与置信度阈值进行比对， 根据比对结果判断是否存在表面缺陷。
其中，根据实际生产中的需求，设定缺陷阈值，代表异常判别能否为 缺陷的阈值，通常根据国标或者厂标设定；设计置信度计算方法根据缺陷 阈值与S5步骤中异常分割概率图求得置信度；根据工厂对于质量的需求设 定置信度阈值，若置信度大于等于置信度阈值判定为NG，小于置信度阈值 判定为OK。具体包括以下步骤：
第一步：根据实际生产中的需求，通常根据国标、行业标准或厂标设 定代表异常判别能否为缺陷的缺陷阈值T。
第二步：根据缺陷阈值T与异常分割概率图p(x*)求得置信度
Figure BDA0003618320710000134
第三步：根据工厂对于质量的需求设定置信度阈值，若置信度大于等 于置信度阈值判定为NG，小于置信度阈值判定为OK。
所述置信度
Figure BDA0003618320710000135
的计算方法为：
确定c，且其范围为[0,1]，当c-＝0，获得下确界，当c+＝1，获得上确 界；GD为异常区域的几何尺寸，如长度、直径、面积等，y为图像中每个 像素的值，
Figure BDA0003618320710000136
则置信度为：
Figure BDA0003618320710000141
其中，g-1(T)为g(T)的反函数。
本实施方式中，根据实际生产中的需求，通常根据国标、行业标准或 厂标设定代表异常判别能否为缺陷的缺陷阈值T；根据缺陷阈值T与异常分 割概率图p(x*)求得置信度
Figure BDA0003618320710000142
根据工厂对于质量的需求设定置信度阈值， 若置信度大于等于置信度阈值判定为NG，小于置信度阈值判定为OK。
如图4所示，置信度
Figure BDA0003618320710000143
的计算方法为：
定义c，且其范围为[0,1]，当c-＝0，获得下确界，当c+＝1，获得上确 界；GD为异常区域的几何尺寸，如长度、直径、面积等，y为图像中每个 像素的值：
Figure BDA0003618320710000144
则置信度为：
Figure BDA0003618320710000145
其中，g-1(T)为g(T)的反函数。
以下以具体实施例来对本发明进行进一步地详细说明。
实施例1
本实施例的一种从不一致标签中学习缺陷检测模型进而实现表面缺陷 检测的方法包括以下步骤：
(1)生成数据集；
本实施例收集的钢材图像共900张，组成数据集NEU-seg，包含三类 缺陷，inclusion，patches，scratches，图像格式为PNG，部分图像训练集和 测试集如图5所示。每张图像进行大小归一化为同一像素尺寸256×256(单 位：像素)。将图像分为训练集和测试集，如表1所示。
表1数据集MCSD-cylinder
类型 训练集 测试集 总计
Inclusion 210 90 300
Patches 210 90 300
Scratches 210 90 300
(2)构建自动记忆对抗自编码器模型；
在本实施例中在Pytorch1.4深度学习框架上构建评分贝叶斯网络模型。
(3)数据集训练及模型优化；
(3-1)编写python程序，训练样本随机排序后，进行平均分配，每批 图像数量批大小为4(单位：张)；
(3-2)训练图像分批依次输入模型，当一批中所有样本梯度下降数值 之和计算完毕后，进行一次权值更新，所有批次更新完毕。使用测试集对 已训练模型进行评价，得到评价值(本例中采用AUC值)，若评价值大于 现有最大评价值，储存现有参数化模型，进行下次迭代，若小于最大评价 值，直接进行下次迭代。训练样本迭代次数为1000次，迭代完毕得到最优 参数化网络模型，命名BNN-SDD-MCSD-seg1000model。
(3-4)输入测试集对训练完毕的模型进行测试，得到各类指标，结果 列于表2。在模型上BNN-SDD-MCSD-seg1000model测试，测试集总准确 率为0.865，NG样本召回率为1.000，实现了非常精确的异常识别。
表2 BNN-SDD模型总体评价指标
网络 交并比 F1分数 FPS
SDMA 0.7771 1.9329 67.11
(4)在线检测；
采集待检测图像，本例实施8张图像，大小归一化为256×256，其图像 矩阵直接输入BNN-SDD-MCSD-seg1000model中，求得分割概率图。之后 可根据阈值求得置信度，但由于NEU-seg数据集来源于网络，此步骤不再 展示。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等 同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种从不一致标签中检测缺陷的方法，其特征在于，该方法包括以下步骤：
(1)对工业图像的异常区域进行像素级标记，获得可能存在不一致的标签，得到的数据集被划分为训练集及测试集；
(2)基于粗糙集理论建立标签的不确定性模型，将图像中确定为异常的区域划分为确定区域，其边界为上确界；疑似为异常的区域划分为疑似区，其边界为下确界，上确界与下确界之间为不确定区域；
(3)构建评分贝叶斯神经网络，所述评分贝叶斯神经网络包括贝叶斯分割网络和评分网络，采用训练集对所述评分贝叶斯神经网络进行训练以得到所述评分贝叶斯神经网络的参数化模型，采用测试集对所述评分贝叶斯神经网络进行评价，以得到最优的所述评分贝叶斯神经网络的参数化模型；
(4)将待检测样本输入贝叶斯分割网络中，多次求解获得多张异常分割图，将多张异常分割图分别与对应的图像一起输入评分网络，获得多个质量评价分数，将异常分割图与对应的质量评价分数相乘求和以获得最终的异常分割概率图；
(5)根据实际生产需求确定缺陷阈值及置信度阈值，根据缺陷阈值与异常分割概率图求得置信度，将求得的置信度与置信度阈值进行对比，根据对比结果判断是否存在表面缺陷。
2.如权利要求1所述的从不一致标签中检测缺陷的方法，其特征在于：对于一对非空集合Ω＝(U,A)，其中U是图像所有像素的集合，A是包含了像素所有的特征；任何一个A的子集B决定了一个不可分辨关系I(B)，由子集B确定的图像区域表示为U/B，像素x属于U/B，被表示为B(p)，在异常区域
Figure FDA0003618320700000011
中，定义下近似为B*(X)，上近似为B*(X)，对应的表达式分别为：
Figure FDA0003618320700000023
Figure FDA0003618320700000021
不确定区域为：
BNB(X)＝B*(X)-B*(X)。
3.如权利要求1所述的从不一致标签中检测缺陷的方法，其特征在于：将所述训练集中的图像输入所述贝叶斯分割网络中进行多次求解以得到多张异常分割图，将得到的多张异常分割图分别与标签进行对比以得到多个分割误差；将所述训练集中的图像和标签一起输入所述评分网络中，以获得标签的质量评价分数，进而将得到的分割误差的均值与对应的质量评价分数作为分割损失来用于贝叶斯分割网络的迭代训练，将分割误差的方差作为评分损失来用于评分网络的迭代训练，以获得所述评分贝叶斯神经神经网络的参数化模型。
4.如权利要求1所述的从不一致标签中检测缺陷的方法，其特征在于：贝叶斯分割网络由首尾相连的编码器、中间层、解码器构成；其中编码器包含若干次下采样和若干层空间相关的贝叶斯神经网络模块；中间层由若干层空间相关的贝叶斯神经网络模块组成；解码器包含若干层上采样层；空间相关的贝叶斯卷积神经网络模块包含依次连接的一个卷积层、一个空间Dropout层、一个批量正则化层；评分网络由若干次下采样构成，且最后一层为全局最大池化层。
5.如权利要求1-4任一项所述的从不一致标签中检测缺陷的方法，其特征在于：评分贝叶斯神经网络的训练包括以下步骤：
(1)训练集样本{x1,...,xN}和标签{y1,...,yN}输入贝叶斯分割网络，得到第ith样本的多次分割结果
Figure FDA0003618320700000022
对比分割结果和标签，求得交叉熵损失Bce Loss和集合相似度损失Dice Loss，综合Bce Loss与Dice Loss得到分割误差Seg error；
(2)将训练集样本{x1,...,xN}和标签{y1,...,yN}输入评分网络，得到对应的质量评价分数{s1,...,sN}；
(3)分割误差的均值Meani与对应的质量评价分数{s1,...,sN}相乘作为分割损失Lossseg，并以此对贝叶斯分割网络进行迭代训练，得到贝叶斯分割网络的参数化模型；
(4)将分割误差的方差Vari制作为质量评价分数的标签lsi；
(5)将标签质量评价分数{s1,...,sN}与质量评价分数的标签lsi对比，获得评分损失Lossscore用于评分网络的迭代训练，获得评分网络的参数化模型。
6.如权利要求5所述的从不一致标签中检测缺陷的方法，其特征在于所述交叉熵损失Bce Loss为：
Figure FDA0003618320700000031
V代表被分割的异常区域，所述集合相似度损失Dice Loss为：
Figure FDA0003618320700000032
λ代表一个权衡超参数，用于控制这两个项的相对重要性，且λ＞0，所述分割误差Segerror为：
Figure FDA0003618320700000033
所述分割误差Seg error的均值Meani和方差Vari分别为：
Figure FDA0003618320700000034
Figure FDA0003618320700000035
将训练集样本{x1,...,xN}和标签{y1,...,yN}输入评分网络，得到对应的质量评价分数{s1,...,sN}，所述分割损失Lossseg为：
Figure FDA0003618320700000041
所述质量评价分数的标签为：
Figure FDA0003618320700000042
所述评价网络的评分损失为：
Figure FDA0003618320700000043
7.根据权利要求1所述的从不一致标签中检测缺陷的方法，其特征在于：所述异常概率分割图的获取包括以下步骤：
第一步：采集待检测的图像x*，输入最优的参数化模型中，通过贝叶斯分割网络求解kth次，得到分割结果
Figure FDA0003618320700000044
第二步：将图像x*与分割结果
Figure FDA0003618320700000045
输入评分网络中得到对应的评分
Figure FDA0003618320700000046
第三步：将异常分割图与对应的质量评价分数相乘求和获得最终异常分割概率图p(x*)。
8.根据权利要求1所述的从不一致标签中检测缺陷的方法，其特征在于：所述异常分割概率图p(x*)为：
Figure FDA0003618320700000047
9.根据权利要求1所述的从不一致标签中检测缺陷的方法，其特征在于：判别异常能否为缺陷包括以下步骤：
第一步，根据实际生产中的需求，通常根据国标、行业标准或厂标设定代表异常判别能否为缺陷的缺陷阈值T；
第二步，根据缺陷阈值T与异常分割概率图p(x*)求得置信度
Figure FDA0003618320700000048
第三步，根据质量需求设定置信度阈值，若置信度大于等于置信度阈值判定为NG，小于置信度阈值判定为OK。
10.如权利要求9所述的从不一致标签中检测缺陷的方法，其特征在于：所述置信度
Figure FDA0003618320700000053
的计算方法为：
确定c，且其范围为[0,1]，当c-＝0，获得下确界，当c+＝1，获得上确界；GD为异常区域的几何尺寸，y为图像中每个像素的值；
Figure FDA0003618320700000051
则置信度为：
Figure FDA0003618320700000052
其中，g-1(T)为g(T)的反函数。
CN202210454583.XA 2022-04-27 2022-04-27 一种从不一致标签中检测缺陷的方法 Pending CN114972194A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210454583.XA CN114972194A (zh) 2022-04-27 2022-04-27 一种从不一致标签中检测缺陷的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210454583.XA CN114972194A (zh) 2022-04-27 2022-04-27 一种从不一致标签中检测缺陷的方法

Publications (1)

Publication Number Publication Date
CN114972194A true CN114972194A (zh) 2022-08-30

Family

ID=82979319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210454583.XA Pending CN114972194A (zh) 2022-04-27 2022-04-27 一种从不一致标签中检测缺陷的方法

Country Status (1)

Country Link
CN (1) CN114972194A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、系统、电子设备及存储介质
CN117197538A (zh) * 2023-08-16 2023-12-08 哈尔滨工业大学 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法
CN117197538B (zh) * 2023-08-16 2024-05-14 哈尔滨工业大学 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、系统、电子设备及存储介质
CN117197538A (zh) * 2023-08-16 2023-12-08 哈尔滨工业大学 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法
CN117197538B (zh) * 2023-08-16 2024-05-14 哈尔滨工业大学 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法

Similar Documents

Publication Publication Date Title
CN108764312B (zh) 基于ds优化多指标大坝缺陷图像检测方法
CN113283419B (zh) 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN112132012B (zh) 基于生成对抗网络的高分辨率sar船舶图像生成方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN107292879B (zh) 一种基于图像分析的金属板材表面异常检测方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN113592828B (zh) 基于工业内窥镜的无损检测方法及系统
CN106204543A (zh) 基于单分类支持向量机的织物疵点检测方法
CN113838054A (zh) 基于人工智能的机械零件表面损伤检测方法
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN108319954B (zh) 一种无接触测重方法
CN113591948A (zh) 一种缺陷模式识别方法、装置、电子设备和存储介质
CN112819821A (zh) 一种细胞核图像检测方法
CN114972194A (zh) 一种从不一致标签中检测缺陷的方法
CN112766301A (zh) 一种采油机示功图相似性判断方法
CN116109613A (zh) 一种基于分布表征的缺陷检测方法和系统
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN113379788B (zh) 一种基于三元组网络的目标跟踪稳定性方法
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
CN113128518B (zh) 基于孪生卷积网络和特征混合的sift误匹配检测方法
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN112348750B (zh) 基于阈值融合和邻域投票的sar图像变化检测方法
Liu et al. A novel deep framework for change detection of multi-source heterogeneous images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination