CN116778269A - 一种基于自编码器重构产品表面缺陷检测模型构建方法 - Google Patents
一种基于自编码器重构产品表面缺陷检测模型构建方法 Download PDFInfo
- Publication number
- CN116778269A CN116778269A CN202310619196.1A CN202310619196A CN116778269A CN 116778269 A CN116778269 A CN 116778269A CN 202310619196 A CN202310619196 A CN 202310619196A CN 116778269 A CN116778269 A CN 116778269A
- Authority
- CN
- China
- Prior art keywords
- image
- defect detection
- self
- sample
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 95
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000002159 abnormal effect Effects 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 12
- 230000005856 abnormality Effects 0.000 abstract 1
- 230000018109 developmental process Effects 0.000 abstract 1
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000004088 simulation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种基于自编码器重构产品表面缺陷检测方法，涉及一种工业产品表面缺陷检测方法，该方法包括以下步骤：收集整理各类工业产品数据集；设计一个能够模拟生成缺陷样本的异常生成模块；利用基于自编码器的重构子网络和基于类U‑net的分割子网络，构建表面缺陷检测模型；模拟产生的缺陷样本用于训练缺陷检测模型，模型的损失函数采用混合损失函数；将待测样本输入缺陷检测模型，重构缺陷图像，并将其与原始样本进行比较，得到异常定位分割图；本发明为工业产品表面缺陷的检测提供了一种准确的方法，对于推动工业外观质检的智能化发展具有重要的实用价值。
Description
技术领域
本发明涉及一种产品表面缺陷检测模型构建方法，特别是涉及一种基于自编码器重构产品表面缺陷检测模型构建方法。
背景技术
工业生产中，不正确的生产流程或者各种剐蹭、磕碰等意外情况都可能在产品表面留下诸如划伤、破损和脏污等异常区域。这些结构异常的缺陷区域不仅会影响产品的外观，还有可能降低产品的性能。
工业表面检测作为生产过程中质量控制的重要一步，其检测效果往往能决定产品的价值。因此对这些缺陷区域的检测是工业生产流程中一个重要的环节。如今国内制造业中外观质检部分主要由人工完成，不过人工质检的方式存在诸多不足之处，首先是工作环境一般较差，质检人员往往需要在强光照射环境下工作较长时间，且需要质检人员的注意力保持高度集中，会导致质检人员出现严重的视力下降问题。另外在缺陷尺寸小于0.5mm且无较大光学形变时，人眼检测不到缺陷信息，同时在检测精度上存在波动，容易受到质检人员状态影响导致漏失部分缺陷样本，导致人工质检效率较低。因此需要更为有效的自动化检测系统来替代人工进行工业外观质检任务。
发明内容
本发明的目的在于提供一种基于自编码器重构产品表面缺陷检测模型构建方法，该方法输入待测图片可直接输出准确的异常定位分割图，避免了额外的人工预处理和后处理过程，增加了模型的整体契合度，提高了检测速度，获得了最大检测能力，有效提升缺陷检测的速度和精度，实现准确的缺陷识别和定位。
本发明采用如下技术方案：
一种基于自编码器重构产品表面缺陷检测模型构建方法，所述方法包括以下步骤：
S1，收集整理各类工业产品数据集；
S2，设计一个能够模拟生成缺陷样本的异常生成模块；
S3，利用基于自编码器的重构子网络和基于类U-net的分割子网络，构建表面缺陷检测模型；
S4，模拟产生的缺陷样本用于训练缺陷检测模型，模型的损失函数采用混合损失函数；
S5，将待测样本输入缺陷检测模型，重构缺陷图像，并将其与原始样本进行比较，得到异常定位分割结果；
所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，所述步骤S2包括如下步骤：
S21，噪声图像P由柏林噪声生成器生成，以捕获各种异常形状，通过随机均匀采样的阈值T(T＝0.5)进行二值化，形成异常掩模图Pm；
S22，使用大津法(OTSU)按照类间方差最大化来区分工业产品的前景与背景，从而对输入图像I进行二值化分割获得掩膜Im，接下来使用两个掩膜Pm和Im进行逐元素乘积得到掩模图M；
M＝Pm⊙Im
S23，异常纹理源图像D从与输入图像I分布无关的异常源数据集采样，同时为保持异常生成的多样性，将异常源图像D从集合{色调分离、清晰度、曝光化、均衡化、亮度变化、颜色变化、自动对比度}中抽取三种进行随机增强采样；增强后的纹理图像D和输入图像I被掩膜M掩盖，并与被掩盖的输入图像I混合得到最终的模拟异常生成图像IA；
其中β是混合时的不透明度参数，服从[0.1,1.0]随机均匀分布，⊙是逐元乘法运算，是Pm的颠倒取反。
所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，所述步骤S3包括如下步骤：
S31，构建基于自编码器的重构子网络，在编码阶段加入高效通道注意力(ECA)模块，用于捕获跨通道交互的信息，提升网络的特征提取能力；
S32，构建基于类U-net结构的分割子网络；
S33，连接两个子网络得到表面缺陷检测模型。
所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，所述混合损失函数公式如下：
L(I，Ir，Ma，M)＝Lrec(I，Ir)+Lseg(Ma，M)
其中I为输入图像，Ir为重构图像，M为输出分割图像，Ma为真值标签图像；L(I，Ir，Ma，M)为总损失函数，Lrec为重构阶段损失函数，Lseg为分割阶段损失函数；
Lrec(I，Ir)＝λLSSIM(I，Ir)+L2(I，Ir)
其中LSSIM为用于衡量两个图像之间相似性的SSIM损失，L2为平均平方误差，λ为两种损失的平衡超参数，设定为1；
其中H和W分别为原图像I的高度和宽度，Np为原图像像素的个数，Ir是网络输出的重构图像，SSIM(I，Ir)(i，j)为I和Ir以图像坐标(i，j)为中心的SSIM值；
Lseg(pt)＝-αt(1-pt)γlog(pt)
其中pt反映了分类的难易程度，通过调制因子(1-pt)γ增加难分样本的权重，γ设定为2，另外αt可以调节正负样本损失之间的比例，抑制正负样本的数量失衡。
所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，所述方法中包括基于自编码器重构产品表面缺陷检测装置，其装置的模块构成包括：
采集模块，为收集整理各类工业产品数据集，包括无缺陷的正常样本和有缺陷的异常样本；
增强模块，为正常样本前景加噪处理，加噪时随机使用三种数据增强方法；
训练模块，为表面缺陷检测模型的训练，数据增强后图像输入到重构子网络和分割子网络中进行模型训练；
检测模块，为缺陷的识别与定位，将待测样本输入到表面缺陷检测模型进行模型测试。
所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，所述方法中包括基于自编码器重构产品表面缺陷检测装置，其装置电子装备构成包括：处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，所述方法中包括基于自编码器重构产品表面缺陷检测装置，其装置电子装备计算机可读存储介质，该计算机可读存储介质存储有计算机程序被处理器执行。
本发明具有以下有益效果：
(1)此方法在训练时只需要无缺陷的正常样本，不需要任何手动标记的缺陷异常样品，大大减少了数据预处理的工作量。
(2)考虑到产品数据集中背景干扰的影响，设计了一种有效的包括前景增强策略的异常生成模块，并在训练时引入它，用来模拟各种缺陷的生成，以解决真实缺陷样本稀缺的问题。
(3)所提出的是一个端到端的表面缺陷检测模型，输入待测图片可直接输出准确的异常定位分割图，避免了额外的人工预处理和后处理过程，增加了模型的整体契合度，提高了检测速度，获得了最大检测能力。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1：本发明实施例的一种基于自编码器重构的表面缺陷检测模型构建方法流程示意图；
图2：本发明方法架构整体流程图；
图3：本发明模拟异常生成模块流程图；
图4：本发明重构子网络架构图；
图5：本发明分割子网络架构图；
图6：本发明表面缺陷检测结果可视化图；
图7：本发明表面缺陷检测装置结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的描述。
图1示出了本发明一种基于自编码器重构的表面缺陷检测模型构建方法流程示意图。如图1所示，该检测模型构建方法包括：
S1，收集整理各类工业产品数据集。其中，表1提供数据集相关信息。
表1数据集描述
S2，设计异常生成模块：通过对数据集内无缺陷的正常样本模拟生成有缺陷的异常样本。其中，图3示出了异常生成模块流程图，S2包括如下步骤：
S21，噪声图像P由柏林噪声生成器生成，以捕获各种异常形状，通过随机均匀采样的阈值T(T＝0.5)进行二值化，形成异常掩模图Pm；
S22，使用大津法(OTSU)按照类间方差最大化来区分工业产品的前景与背景，从而对输入图像I进行二值化分割获得掩膜Im，接下来使用两个掩膜Pm和Im进行逐元素乘积得到掩模图M；
M＝Pm⊙Im
S23，异常纹理源图像D从与输入图像I分布无关的异常源数据集采样，同时为保持异常生成的多样性，将异常源图像D从集合{色调分离、清晰度、曝光化、均衡化、亮度变化、颜色变化、自动对比度}中抽取三种进行随机增强采样。增强后的纹理图像D和输入图像I被掩膜M掩盖，并与被掩盖的输入图像I混合得到最终的模拟异常生成图像IA。
其中β是混合时的不透明度参数，服从[0.1,1.0]随机均匀分布，⊙是逐元乘法运算，是Pm的颠倒取反。
除了对异常纹理源图像D进行了多种数据增强外，此策略对其中30％的输入图像I以及柏林噪声P也进行了[-90°,90°]的随机旋转，以增强模型的学习能力。另外，考虑到实际工业环境下各种部件缺陷的多样性，在模拟异常生成时通过随机改变柏林噪声的尺寸，可以对噪声图像的粒度进行控制得到各种大小和形态的异常掩模图Pm。
S3，利用基于自编码器的重构子网络和基于类U-net的分割子网络构建表面缺陷检测模型。其中，S3包括如下步骤：
S31，搭建基于自编码器的重构子网络，其中在编码阶段加入高效通道注意力(ECA)模块，用于捕获跨通道交互的信息，提升网络的特征提取能力，其中，图4示出了重构子网络架构图。
具体地，重构子网络为编码器—解码器结构，可以将输入图像IA的局部异常模式重构为更接近正常样本分布的模式，同时保持输入图像的非异常区域不变，获得跟输入图像尺寸相同的重构图Ir。
ECA注意力机制模块对于输入的特征图(H×W×C)，在空间维度使用全局平均池化GAP进行空间特征的压缩，得到1×1×C的特征图。对压缩后的特征图进行通道特征学习，通过1×1卷积学习不同通道之间的重要性，得到带有通道注意力信息的特征图(1×1×C)。在做卷积操作时，卷积核的大小会影响感受野。为解决输入不同通道数的特征图能够提取不同范围的特征，ECA使用了动态的卷积核，即在通道数较大的层使用较大的卷积核，在通道数较小的层使用较小的卷积核，实现每个通道及其k个邻居进行局部跨通道交互信息，卷积核的大小通过一个函数来自适应变化。
其中k表示卷积核大小，代表了局部跨信道交互的覆盖率，即该通道附近有多少邻居参与了这个信道的注意力预测，C表示通道数，||odd表示k只能取奇数，γ＝2，b＝1用于改变通道数C和卷积核大小和之间的比例。
最后将通道注意力的特征图(1×1×C)与原始输入特征图(H×W×C)逐通道相乘，输出带有高效通道注意力的特征图。
S32，搭建基于类U-net的分割子网络，其中，图5示出了分割子网络架构图。
具体地，分割子网络使用类似U-net的结构，首先将重构子网络的输入IA和输出Ir进行通道维度的拼接后输入到分割子网络中，这样做能为异常的分割提供充足的信息。接下来经过五个卷积块下采样后进行多尺度的特征提取，此部分包含原图一共有6个尺度可以充分提取特征。上采样部分每上采样一次就将特征提取部分对应尺寸的特征图进行复制并融合，最后恢复到原图大小得到准确的缺陷分割图。
S33，连接两个子网络得到表面缺陷检测模型，其中，图2示出了方法架构整体流程图。
具体地，所提出的方法架构由一个重构子网络和一个分割子网络组成，重构子网络使用带有高效注意力机制的编码器—解码器结构，对输入的异常图像进行复原重建得到重构图，随后将重构子网络的输入和输出拼接后送到类U-net结构的分割子网络中生成异常分割图。在测试阶段可直接将待测样本输入到网络架构中，经过快速的计算就可以得到准确的缺陷检测分割图。
S4，模拟产生的缺陷样本用于训练缺陷检测模型，模型的损失函数采用混合损失函数。
SSIM已成为计算机视觉中常见的损失函数，通常用于衡量两个图像之间的相似性。SSIM主要考量图像的三个关键特征：亮度，对比度，结构。
SSIM的定义式为：
S(x，y)＝l(x，y)α×c(x，y)β×s(x，y)γ
其中l为亮度相似性，c为对比度相似性，s为结构相似性，a，β，γ为平衡超参数。
亮度以平均灰度衡量，通过平均所有像素的值得到。如果一幅图有N个像素点，每个像素点的像素值为xi，那么该图像的平均亮度为：
则两幅图的亮度相似性：
对比度是图像明暗的变化剧烈程度，也就是像素值xi的标准差，通过灰度标准差来衡量。标准差无偏估计：
则两幅图的对比度相似性：
研究结构相似度时，应该排除亮度和对比度的影响。归根结底研究的是归一化两个向量：(x-μx)/σx和(y-μy)/σy
则两幅图的结构相似性：
上述其中C1，C2，C3为常数，避免分母为零，设定a＝β＝γ＝1，最终将SSIM简化为：
在重构子网络中，L2损失通常用于基于重构的异常检测方法，但这假设相邻像素之间是独立的，因而额外使用SSIM损失加强像素间交互性：
其中H和w分别为原图像I的高度和宽度，Np为原图像像素的个数，Ir是网络输出的重构图像，SSIM(I，Ir)(i，j)为I和Ir以图像坐标(i，j)为中心的SSIM值，因此重构损失为：
Lrec(I，Ir)＝λLSSIM(I，Ir)+L2(I，Ir)
其中λ为两种损失的平衡超参数，设定为1。
将焦点损失函数Focal Loss(Lseg)应用于分割子网络的输出，可以提高困难样本精确分割的鲁棒性，同时解决正负样本不平衡问题。
Lseg(pt)＝-αt(1-pt)γlog(pt)
其中pt反映了分类的难易程度，pt越大说明分类的置信度越高，代表样本越易分；pt越小说明分类的置信度越低，代表样本越难分。通过调制因子(1-pt)γ，设定γ＝2增加难分样本在损失函数的权重，使得损失函数倾向于难分的样本，有助于提高难分样本的准确度。另外αt可以调节正负样本损失之间的比例，抑制正负样本的数量失衡。
考虑到两个子网络的重构和分割目标，在训练期间的总损耗为：
L(I，Ir，Ma，M)＝Lrec(I，Ir)+Lseg(Ma，M)
其中I为输入图像，Ir为重构图像，M为输出分割图像，Ma为真值标签图像。L(I，Ir，Ma，M)为总损失函数，Lrec为重构阶段损失函数，Lseg为分割阶段损失函数。
训练阶段使用的优化器为Adam，训练迭代周期为700，初始学习率为0.0001，在第560和第630个迭代周期衰减学习率，衰减系数为0.2，输入图像的批数据量为16，图像尺寸被统一缩放至256×256。
为了对检测性能进行定量评估，我们计算了多个评估指标。主要用于比较评估的指标是异常检测中的标准度量接受者操作特征曲线下面积(AUROC)，从数学上讲，接受者操作特性测量是一个曲线图，它综合反映假阳性率(FalsePositiveRate，FPR)和真阳性率(TruePositiveRate，TPR)的指标。图像级AUROC值总是在0和1之间，越接近1异常检测效果越好，另外基于像素级的AUROC还可以用来评估异常像素定位。然而实际情况下大多数的异常区域都相对较小，那么在只有一小部分像素异常的检测中，指标值受到非常高数量的非异常像素所支配，导致像素级AUROC并不能很好地反映定位精度。因此额外计算了平均精度度量AP，即准确率与召回率的曲线下面积，它更适用于高度不平衡的类别，特别是表面异常检测，其中精度起着重要作用。
将所提出的方法与近些年针对图像的无监督异常检测方法进行比较，包括GANomaly、CutPaste、DRAEM、STAD以及Padim，对于5类数据集的图像级和像素级异常检测结果如表2和表3所示。总体来看所提出方法的性能在较多类别上优于其他方法，图像级平均AUROC和像素级平均AUROC、AP指标都达到了所有方法中的最优。在表2图像级AUROC指标上可以看出，所提出的方法不仅在异常区域极小，难以区分的螺丝钉数据集上表现出色，而且在训练样本很少的牙刷数据集上也能得到准确的检测结果，证明了方法的有效性。在表3像素级AUROC和AP指标上可以看出，所提出的方法像素级平均AUROC相比于Padim提升了0.6％，像素级平均AP相比于DRAEM提升了12.5％。这得益于高效的通道注意力加强了模型对非规整工件缺失图像的重构能力，同时前景增强策略排除了背景的干扰，使模型学习过程中获得了更多的有效信息。
表2图像级AUROC％性能比较
表3像素级AUROC/AP％性能比较
图6给出了所提方法对5个数据集表面缺陷检测结果的可视化，每组从上至下包括测试输入原图、缺陷真值标签图、重构图和异常分割输出图依次排列。可以看出所提方法能够对异常图进行清晰的重构复原，同时准确的定位产品表面缺陷。
本发明还提供一种基于自编码器重构的表面缺陷检测装置的具体实施方式，包括：
采集模块，用于收集整理各类工业产品数据集，包括无缺陷的正常样本和有缺陷的异常样本，并对缺陷种类进行了分类。
异常生成模块，用于正常样本前景加噪处理，加噪时从集合{色调分离、清晰度、曝光化、均衡化、亮度变化、颜色变化、自动对比度}中抽取三种进行随机数据增强。
训练模块，用于表面缺陷检测模型的训练，数据增强后图像输入到重构子网络和分割子网络中进行模型训练。
检测模块，用于缺陷的识别与定位，将待测样本输入到表面缺陷检测模型进行模型测试。
本发明还提供一种表面缺陷检测电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述表面缺陷检测电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述表面缺陷检测电子设备可包括但不仅限于处理器、存储器。本领域技术人员可以理解，上述表面缺陷检测电子设备的组成结构仅仅是表面缺陷检测电子设备的示例，并不构成对表面缺陷检测电子设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述表面缺陷检测电子设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
进一步地，所述表面缺陷检测电子设备集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM)、随机存取存储器(RAM)以及软件分发介质等。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。
Claims (7)
1.一种基于自编码器重构产品表面缺陷检测模型构建方法，其特征在于，所述方法包括以下步骤：
S1，收集整理各类工业产品数据集；
S2，设计一个能够模拟生成缺陷样本的异常生成模块；
S3，利用基于自编码器的重构子网络和基于类U-net的分割子网络，构建表面缺陷检测模型；
S4，模拟产生的缺陷样本用于训练缺陷检测模型，模型的损失函数采用混合损失函数；
S5，将待测样本输入缺陷检测模型，重构缺陷图像，并将其与原始样本进行比较，得到异常定位分割结果。
2.如权利要求1所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，其特征在于，所述步骤S2包括如下步骤：
S21，噪声图像P由柏林噪声生成器生成，以捕获各种异常形状，通过随机均匀采样的阈值T(T＝0.5)进行二值化，形成异常掩模图Pm；
S22，使用大津法(OTSU)按照类间方差最大化来区分工业产品的前景与背景，从而对输入图像I进行二值化分割获得掩膜Im，接下来使用两个掩膜Pm和Im进行逐元素乘积得到掩模图M；
M＝Pm⊙Im
S23，异常纹理源图像D从与输入图像I分布无关的异常源数据集采样，同时为保持异常生成的多样性，将异常源图像D从集合{色调分离、清晰度、曝光化、均衡化、亮度变化、颜色变化、自动对比度}中抽取三种进行随机增强采样；增强后的纹理图像D和输入图像I被掩膜M掩盖，并与被掩盖的输入图像I混合得到最终的模拟异常生成图像IA；
其中β是混合时的不透明度参数，服从[0.1，1.0]随机均匀分布，⊙是逐元乘法运算，是Pm的颠倒取反。
3.如权利要求1所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，其特征在于，所述步骤S3包括如下步骤：
S31，构建基于自编码器的重构子网络，在编码阶段加入高效通道注意力(ECA)模块，用于捕获跨通道交互的信息，提升网络的特征提取能力；
S32，构建基于类U-net结构的分割子网络；
S33，连接两个子网络得到表面缺陷检测模型。
4.如权利要求1所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，其特征在于，所述混合损失函数公式如下：
L(I，Ir，Ma，M)＝Lrec(I，Ir)+Lseg(Ma，M)
其中I为输入图像，Ir为重构图像，M为输出分割图像，Ma为真值标签图像；L(I，Ir，Ma，M)为总损失函数，Lrec为重构阶段损失函数，Lseg为分割阶段损失函数；
Lrec(I，Ir)＝λLSSIM(I，Ir)+L2(I，Ir)
其中LSSIM为用于衡量两个图像之间相似性的SSIM损失，L2为平均平方误差，λ为两种损失的平衡超参数，设定为1；
其中H和W分别为原图像I的高度和宽度，Np为原图像像素的个数，Ir是网络输出的重构图像，SSIM(I，Ir)(i，j)为I和Ir以图像坐标(i，j)为中心的SSIM值；
Lseg(pt)＝-αt(1-pt)γlog(pt)
其中pt反映了分类的难易程度，通过调制因子(1-pt)γ增加难分样本的权重，γ设定为2，另外αt可以调节正负样本损失之间的比例，抑制正负样本的数量失衡。
5.如权利要求1所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，其特征在于，所述方法中包括基于自编码器重构产品表面缺陷检测装置，其装置的模块构成包括：
采集模块，为收集整理各类工业产品数据集，包括无缺陷的正常样本和有缺陷的异常样本；
增强模块，为正常样本前景加噪处理，加噪时随机使用三种数据增强方法；
训练模块，为表面缺陷检测模型的训练，数据增强后图像输入到重构子网络和分割子网络中进行模型训练；
检测模块，为缺陷的识别与定位，将待测样本输入到表面缺陷检测模型进行模型测试。
6.如权利要求5所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，其特征在于，所述方法中包括基于自编码器重构产品表面缺陷检测装置，其装置电子装备构成包括：处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
7.如权利要求6所述的一种基于自编码器重构产品表面缺陷检测模型构建方法，其特征在于，所述方法中包括基于自编码器重构产品表面缺陷检测装置，其装置电子装备计算机可读存储介质，该计算机可读存储介质存储有计算机程序被处理器执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310619196.1A CN116778269A (zh) | 2023-05-30 | 2023-05-30 | 一种基于自编码器重构产品表面缺陷检测模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310619196.1A CN116778269A (zh) | 2023-05-30 | 2023-05-30 | 一种基于自编码器重构产品表面缺陷检测模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116778269A true CN116778269A (zh) | 2023-09-19 |
Family
ID=88009096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310619196.1A Pending CN116778269A (zh) | 2023-05-30 | 2023-05-30 | 一种基于自编码器重构产品表面缺陷检测模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778269A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437227A (zh) * | 2023-12-20 | 2024-01-23 | 成都数之联科技股份有限公司 | 一种图像生成及缺陷检测方法、装置、介质、设备及产品 |
-
2023
- 2023-05-30 CN CN202310619196.1A patent/CN116778269A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437227A (zh) * | 2023-12-20 | 2024-01-23 | 成都数之联科技股份有限公司 | 一种图像生成及缺陷检测方法、装置、介质、设备及产品 |
| CN117437227B (zh) * | 2023-12-20 | 2024-02-27 | 成都数之联科技股份有限公司 | 一种图像生成及缺陷检测方法、装置、介质、设备及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| Hou et al. | Benchmarking underwater image enhancement and restoration, and beyond | |
| Lavoué et al. | On the efficiency of image metrics for evaluating the visual quality of 3D models | |
| CN110796637A (zh) | 图像缺陷检测模型的训练、测试方法、装置及存储介质 | |
| CN109977191B (zh) | 问题地图检测方法、装置、电子设备和介质 | |
| Watson | 31.1: Invited paper: The spatial standard observer: A human vision model for display inspection | |
| Lavoué et al. | Quality assessment in computer graphics | |
| Zhou et al. | Comparative evaluation of visualization and experimental results using image comparison metrics | |
| CN113505865B (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
| CN108876756A (zh) | 图像相似性的度量方法和装置 | |
| CN114066857A (zh) | 红外图像质量评价方法、装置、电子设备及可读存储介质 | |
| CN109872313A (zh) | 一种基于深度卷积自编码器的产品表面缺陷检测方法 | |
| CN114945938A (zh) | 缺陷实际面积的检测方法、显示面板的检测方法及装置 | |
| CN116778269A (zh) | 一种基于自编码器重构产品表面缺陷检测模型构建方法 | |
| CN110458791A (zh) | 质量缺陷检测方法和检测设备 | |
| KR20030089784A (ko) | 프랙탈 차원을 이용한 디스플레이 장치의 화질 분석 방법및 시스템 | |
| CN114913148A (zh) | 基于无监督学习的丝印疵点检测方法、装置及存储介质 | |
| CN113822842A (zh) | 一种基于多任务学习的工业缺陷检测方法 | |
| CN112651945A (zh) | 一种基于多特征的多曝光图像感知质量评价方法 | |
| Sahasrabudhe et al. | Structured spatial domain image and data comparison metrics | |
| CN116542963A (zh) | 一种基于机器学习的浮法玻璃缺陷检测系统及检测方法 | |
| CN116958960A (zh) | 一种基于机器学习随机森林算法的鸡蛋暗斑检测方法 | |
| CN116777865A (zh) | 一种水下裂缝的识别方法、系统、装置及存储介质 | |
| TW202020802A (zh) | 信息處理方法及計算機程序 | |
| Chandni et al. | A systematic review on underwater image enhancement and object detection methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |