CN116433634A - 一种基于域自适应的工业图像异常检测方法 - Google Patents

一种基于域自适应的工业图像异常检测方法 Download PDF

Info

Publication number
CN116433634A
CN116433634A CN202310412596.5A CN202310412596A CN116433634A CN 116433634 A CN116433634 A CN 116433634A CN 202310412596 A CN202310412596 A CN 202310412596A CN 116433634 A CN116433634 A CN 116433634A
Authority
CN
China
Prior art keywords
anomaly
abnormal
normal
predicted
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310412596.5A
Other languages
English (en)
Inventor
王好谦
任丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202310412596.5A priority Critical patent/CN116433634A/zh
Publication of CN116433634A publication Critical patent/CN116433634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于域自适应的工业图像异常检测方法，包括：将源图像中的补丁混合到目标图像中，由正常图像数据创建合成异常图和相应的二值异常掩码图；使用合成异常图训练异常检测器，定位异常区域生成异常分割预测图；使用训练的异常检测器在真实样本上生成正常、异常特征原型；构建原型域自适应范式，拉近异常分割预测图中预测正常区域与正常特征原型之间的距离以及异常分割预测图中预测异常区域与异常特征原型之间的距离，拉远预测异常区域与正常特征原型之间的距离以及预测正常区域与异常特征原型之间的距离；用异常检测器预测的真实样本数据集的伪标签异常预测图自监督训练优化异常检测器，使异常检测器迁移到真实工业图像数据。

Description

一种基于域自适应的工业图像异常检测方法
技术领域
本发明涉及计算机视觉和图像处理技术领域，尤其涉及一种基于域自适应的工业图像异常检测方法。
背景技术
工业异常检测是提高制造业质量、效率和安全性的重要手段，可以避免制造缺陷引起的事故和损失。传统的手工异常检测依靠人工目视或者使用简单的工具对待测物体进行检测，检测结果不稳定，难以满足企业大型自动化生产的需要。最新的异常检测方法主要采用生成模型，通过高精度的正常区域重构来实现异常检测。这些模型仅在无异常图像上进行训练，通常需要额外的手动后处理步骤来识别异常，限制特征提取的优化，从而影响异常检测能力。
为了提高异常检测模型的准确性和鲁棒性，通常需要使用大量真实的异常数据。然而在实际应用中，获取足够多的真实异常数据往往是困难和昂贵的。最近的一些工作采用伪造异常数据的方法来模拟真实世界中的异常数据，用于模型的训练和评估。但是目前合成异常和真实异常之间存在较大差异，使用合成数据训练的模型在实际应用中的泛化能力可能会受到限制。因此，现有技术中缺乏一种可以高效泛化到真实数据的异常检测方法。
发明内容
本发明的主要目的在于克服现有技术基于合成数据训练的模型在实际应用中的泛化能力会受到限制的缺点，提供一种基于域自适应的工业图像异常检测方法。
为达上述目的，本发明提出以下技术方案：
一种基于域自适应的工业图像异常检测方法，包括如下步骤：S1、从正常图像数据中随机选取两个样本分别作为源图像和目标图像，将源图像中的补丁混合到目标图像中，从而由正常图像数据创建合成异常图和相应的二值异常掩码图；S2、使用所述合成异常图训练异常检测器，定位异常区域生成异常分割预测图；S3、使用经步骤S2训练的异常检测器在真实样本上生成正常特征原型和异常特征原型；S4、构建原型域自适应范式，拉近所述异常分割预测图中预测正常区域与所述正常特征原型之间的距离以及所述异常分割预测图中预测异常区域与所述异常特征原型之间的距离，拉远所述预测异常区域与所述正常特征原型之间的距离以及所述预测正常区域与所述异常特征原型之间的距离；S5、用异常检测器预测的真实样本数据集的伪标签异常预测图自监督训练优化异常检测器，使异常检测器迁移到真实工业图像数据。
进一步地，步骤S1具体包括：S11、从源图像中随机生成一个矩形补丁；S12、随机调整补丁的大小和不同的中心位置；S13、将补丁无缝地混合到目标图像中；S14、重复步骤S11～S13以在同一目标图像中添加多个补丁，获得合成异常图；S15、使用引入外部补丁的局部强度表示是否存在差异来创建逐像素的标签，获得所述二值异常掩码图。
进一步地，所述异常检测器包括重建子网络和判别子网络；步骤S2中，所述重建子网络将输入的所述合成异常图重建为无异常的重建图；所述判别子网络以所述重建图和所述合成异常图在通道维度上连接得到的拼接图作为输入，输出与所述合成异常图同等大小的所述异常分割预测图。
进一步地，步骤S2中，使用所述合成异常图训练异常检测器时，选择所述目标图像与所述重建图之间的l2损失和SSIM损失作为所述重建子网络的约束损失；使用FocalLoss损失函数作为所述判别子网络的约束损失；其中，SSIM为结构相似性指数。
进一步地，所述重建子网络的约束损失为：
Lrec(I,Ir)＝LSSIM(I,Ir)+l2(I,Ir)
其中，LSSIM(I,Ir)为所述目标图像I与所述重建图Ir之间的SSIM损失，l2(I,Ir)为所述目标图像I与所述重建图Ir之间的l2损失；
步骤S2中所述异常检测器的总损失函数为：
L(I,Ir,M,MP)＝Lrec(I,Ir)+Lfocal(M,MP)
其中，Lfocal(M,MP)为所述判别子网络的约束损失，M和MP分别表示所述二值异常掩码图和所述异常分割预测图。
进一步地，步骤S3具体包括：使用经步骤S2训练的异常检测器提取真实正常样本在分类器前一层的特征作为所述正常特征原型，提取所述合成异常图的异常区域和真实异常样本被预测为异常区域的分类器前一层特征作为所述异常特征原型。
进一步地，步骤S4具体包括：对于所述预测正常区域，拉近其与所述正常特征原型之间的距离，拉远其与所述异常特征原型之间的距离，表示为：
Figure BDA0004183779080000041
对于所述预测异常区域，拉近其与所述异常特征原型之间的距离，拉远其与所述正常特征原型之间的距离，表示为：
Figure BDA0004183779080000042
其中，LN表示所述预测正常区域的域适应损失，LA表示所述预测异常区域的域适应损失；k＝1,2,…,K表示正常和异常特征原型的索引；f表示所述异常检测器给定输入的真实场景特征；
Figure BDA0004183779080000043
分别表示第k个正常特征原型和异常特征原型；/>
Figure BDA0004183779080000044
表示取k个中间最大数值；[]+表示舍去负值，只保留正值；所述原型域自适应范式的总约束损失为Lpro＝LN+LA。
进一步地，步骤S5中，异常检测器预测真实样本数据集的伪标签异常预测图的步骤包括：对于正常类别和异常类别，真实样本数据上每个预测点相应的预测置信度集合为θc＝[θc,n,θc,a],其中θc,n、θc,a分别表示正常类别和异常判别的置信度，两个置信度的加和为1；为获得所述伪标签异常预测图，设定θc,a大于0.9时为异常类别，像素标签为1；θc,n大于0.9时为正常类别，像素标签为0；其余预测点数值标签设置为255。
进一步地，步骤S5使用所述伪标签异常预测图自监督训练优化异常检测器的步骤包括：使用所述伪标签异常预测图作为ground-truth训练优化异常检测器，输入真实样本数据，使用Focal Loss作为异常检测器输出预测的损失函数，表示为：
Lself(Ms,MP)＝focal loss(Ms,MP)
其中，Ms和MP分别表示所述伪标签异常预测图和所述异常分割预测图。
本发明另还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时能实现前述的工业图像异常检测方法的步骤。
与现有技术相比，本发明技术方案的有益效果包括：
提供一种基于域自适应的工业图像异常检测方法，利用合成异常图训练异常检测器，并通过未标记的真实数据进行自适应训练，通过充分利用未标记的真实数据的特性，将预测异常区域拉近到相应异常特征原型的距离，同时将预测正常区域靠近正常特征原型并远离异常特征原型，以适应真实数据中的异常分布情况并可以显著提高模型性能，同时在未标记的真实样本数据上表现出色，具有良好的实用性和应用前景。
附图说明
图1是本发明实施例基于域自适应的工业图像异常检测方法流程图。
图2是图1的工业图像异常检测方法流程中步骤S1的具体过程示意图。
图3是图1的工业图像异常检测方法流程中步骤S2使用合成异常图训练异常检测器的过程示意图。
图4是图1的工业图像异常检测方法流程中步骤S3和S4原型域自适应训练优化异常检测器的过程示意图。
图5是图1的工业图像异常检测方法流程中步骤S5自监督训练优化异常检测器的过程示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，下述说明仅仅是示例性的，而不是为了限制本发明的保护范围及其应用。
造成工业图像异常检测失败的主要原因有三：
一是缺乏标注数据。一方面，工业图像中的异常情况通常比较复杂，人工标注需耗费大量的时间和精力，因此标注数据往往比较少，这会限制异常检测算法的训练和测试能力；另一方面，在工业生产过程中，异常情况可能比较罕见或者分布不均匀，这会导致异常数据的比例较小或者异常数据点分布不明显，并且异常形态无法估计。
二是特征提取困难。工业图像通常包含大量复杂的视觉信息，如纹理、形状、颜色等，如何提取出适当的特征来描述这些信息是异常检测中的一个重要问题。如果特征提取不准确或特征表达能力不足，则会导致异常检测算法失效。
三是合成数据训练的模型在实际应用中的泛化能力会受到限制。由于异常区域的大小、形状和位置等因素的不同，生成的异常图像无法完全反映真实世界中的异常特征，从而影响模型的性能和泛化能力。
鉴于此，本发明实施例提出一种基于域自适应的工业图像异常检测方法，如图1所示，该工业图像异常检测方法包括如下步骤S1至步骤S5：
步骤S1、从正常图像数据中随机选取两个样本分别作为源图像Is和目标图像I，将源图像Is中的补丁混合到目标图像I中，从而由正常图像数据创建合成异常图Ia和相应的二值异常掩码图M。
在训练时，由于只有正常数据可用，因此我们需要使用代理任务进行训练。我们将任务设定为定位由合成异常引入的图像异常。因此，如图2所示，步骤S1可包括如下具体步骤S11～S15：
S11、从源图像Is中随机生成一个矩形补丁。优选地，给定两个正常的训练图像，分别作为源图像Is和目标图像I，我们从截断的Gamma分布中选择一个随机矩形补丁ps，并从均匀分布中选择在源图像Is的中心点(cx,cy)生成随机补丁，具体如下：
w＝W min(max(wmin,0.06+rw),wmax) (1)
h＝H min(max(hmin,0.06+rh),hmax) (2)
Figure BDA0004183779080000081
其中，W、H分别表示训练图像的宽度和高度，w、h分别表示补丁ps的宽度和高度；rw和rh是从截断Gamma分布中采样的随机数，rw～Gamma(2,0.1)，rh～Gamma(2,0.1)；wmin、wmax、hmin、hmax分别表示设定的随机矩形最大最小值的参数，U表示均匀分布。
S12、随机调整上述补丁的大小和不同的中心位置。优选地，我们调整补丁的大小，以获得宽度为w’＝sw，高度为h’＝sh的矩形补丁ps'，具体为：
Figure BDA0004183779080000082
Figure BDA0004183779080000083
其中，rs是服从正态分布的随机数，rs～N(1,0.25)。(cx',cy')是调整补丁后的源图像中心点。
S13、将补丁无缝地混合到目标图像I中。优选地，将调整后的补丁ps'无缝地混合到中心点位于(cx',cy')的目标图像I中，以获得合成异常图(即训练样本)Ia。
S14、可选地，重复步骤S11～S13以向同一目标图像中添加多个补丁。混合第一个补丁后，可通过n-1次随机数选取决定是否添加新的补丁，最多可以添加n-1个额外的补丁。也就是说，可以只添加1个补丁，也可以添加2个以上(含本数)补丁。
S15、使用引入外部补丁的局部强度表示是否存在差异来创建逐像素的标签，获得所述二值异常掩码图。具体地，本发明实施例使用引入外部补丁的局部强度表示是否存在差异来创建逐像素的标签(即二值异常掩码图)，每个像素q的标签值M(q)计算如下：
Figure BDA0004183779080000091
其中，
Figure BDA0004183779080000093
、I(q)分别表示合成异常图Ia和目标图像I的像素q。若合成异常图Ia和目标图像I的像素q不相同，则像素q异常，其标签值为1；否则，像素q正常，其标签值为0。从而，获得逐像素标签，即，创建了二值异常掩码图。
步骤S2、使用步骤S1创建的合成异常图Ia训练异常检测器，定位异常区域生成异常分割预测图MP，从异常分割预测图MP中即可分辨预测正常区域和预测异常区域。如图3所示，所述异常检测器包括重建子网络和判别子网络。其中，重建子网络是编码器-解码器架构，用于将输入的合成异常图Ia重建为无异常的重建图，记为Ir；判别子网络使用U-Net架构，以重建图Ir和合成异常图Ia在通道(C)维度上的拼接作为输入，输出与合成异常图Ia同等大小的异常分割预测图MP。
优选地，在步骤S2中利用合成异常图Ia进行异常检测器训练时，选择目标图像I与重建图Ir之间的l2损失l2(I,Ir)和SSIM(结构相似性指数)损失LSSIM(I,Ir)作为重建子网络的约束损失，其中SSIM损失LSSIM(I,Ir)表示为：
Figure BDA0004183779080000092
其中，NP为目标图像I的像素个数，SSIM(I,Ir)(i,j)是中心为(i,j)的图像I和Ir之间补丁的SSIM结果(结构相似性指数)。从而，重建子网络的约束损失为Lrec(I,Ir)＝LSSIM(I,Ir)+l2(I,Ir)。
同时，选择使用二值异常掩码图M和异常分割预测图MP之间的FocalLoss损失Lfocal(M,MP)作为判别子网络输出预测的损失函数来提高对于难负例分割的准确率。因此，步骤S2中训练异常检测器的总损失函数为L(I,Ir,M,MP)＝Lrec(I,Ir)+Lfocal(M,MP)。
S3、使用经步骤S2训练的异常检测器在真实样本上生成正常特征原型和异常特征原型。
具体而言，参考图4，使用经步骤S2训练的异常检测器提取真实正常样本在分类器前一层的特征集合
Figure BDA0004183779080000101
作为所述正常特征原型，提取所述合成异常样本的异常区域和真实异常样本被预测为异常区域的分类器前一层特征集合/>
Figure BDA0004183779080000102
作为所述异常特征原型。其中，PA,/>
Figure BDA0004183779080000103
其中，Hp和Wp分别表示特征原型的高度和宽度，C表示特征原型的通道维度，K表示特征原型的个数(正常和异常特征原型的个数均为K)。/>
Figure BDA0004183779080000104
表示第n个真实正常样本在分类器前一层(i,j)位置的特征、/>
Figure BDA0004183779080000105
表示第n个合成异常图的异常区域或真实异常样本被预测为异常区域的分类器前一层(i,j)位置的特征；n表示真实正常样本和合成异常样本以及真实异常样本的编号，在表示真实正常样本时，n最小为1，最大为Ns；在表示合成异常样本以及真实异常样本时，n最小为1，最大为Na；Ns表示真实正常样本数量，Na表示合成异常图与真实异常样本的数量之和。
本发明实施例中，通过步骤S3构建特征原型来描述正常和异常模式，并使用多个原型更详细地描述这些模式，从而增强原型的表征能力。接着，利用未标记的真实数据进行自适应训练，将异常数据点拉近到相应异常原型的距离，而将正常数据点靠近正常原型并远离异常原型，以适应真实数据中的异常分布情况。
步骤S4、构建原型域自适应范式，拉近所述预测正常区域与所述正常特征原型之间的距离以及所述预测异常区域与所述异常特征原型之间的距离，拉远所述预测异常区域与所述正常特征原型之间的距离以及所述预测正常区域与所述异常特征原型之间的距离。
本领域技术人员应当理解，异常检测器也可以看成由特征提取器和分类器构成，在此基础上，给定输入的真实场景特征f，在合成异常图Ia上训练的异常检测器可以产生像素级伪标签
Figure BDA0004183779080000111
初步预测特征属于正常类别还是异常类别。继续参考图4，对于预测为正常类别的特征(也就是所述预测正常区域)，拉近其与所述正常特征原型之间的距离，并拉远其与所述异常特征原型之间的距离，用公式表示为：
Figure BDA0004183779080000112
对于预测为异常类别的特征(也就是所述预测异常区域)，近其与所述异常特征原型之间的距离，并拉远其与所述正常特征原型之间的距离，用公式表示为：
Figure BDA0004183779080000113
其中，LN表示所述预测正常区域的域适应损失，LA表示所述预测异常区域的域适应损失；k＝1,2,…,K表示正常和异常特征原型的索引；f表示所述异常检测器给定输入的真实场景特征；
Figure BDA0004183779080000121
分别表示第k个正常特征原型和异常特征原型；/>
Figure BDA0004183779080000122
表示取k个中间最大数值；[]+表示舍去负值，只保留正值。
从而，所述原型域自适应范式的总约束损失为Lpro＝LN+LA。
步骤S5、用异常检测器预测的真实样本数据集的伪标签异常预测图自监督训练优化异常检测器，使异常检测器迁移到真实工业图像数据。优选地，对于正常类别和异常类别，真实样本数据上每个预测点相应的预测置信度集合为θc＝[θc,n,θc,a],其中θc,n、θc,a分别表示正常类别和异常判别的置信度，两个置信度的加和为1；为获得所述伪标签异常预测图，设定θc,a大于0.9时为异常类别，像素标签为1；θc,n大于0.9时为正常类别，像素标签为0；其余预测点数值标签设置为255，表示在计算损失时忽略这个像素点。
优选地，请参考图5，使用所述伪标签异常预测图自监督训练优化异常检测器时，将所述伪标签异常预测图作为ground-truth训练优化异常检测器，输入真实样本数据，使用FocalLoss作为异常检测器输出预测的损失函数进行训练。具体地，步骤S5中自监督训练优化异常检测器的损失函数表示为：
Lself(Ms,MP)＝focal loss(Ms,MP) (8)
其中，Ms表示所述伪标签异常预测图。
本发明实施例通过使用神经网络模型对真实数据进行预测，并将预测结果转化为伪标签，从而生成伪像素级标注。然后，将伪标签作为模型的监督信号，对模型进行自监督训练，从而进一步提高模型性能。这一方法可以有效地利用未标记的真实数据，从而充分利用数据，提高模型的泛化能力。
在一种具体的实施例中，采用如前所述的方法进行试验。首先选取MVTecAD数据集中正常样本作为目标图像，并在MVTecAD数据集的异常样本上进行测试。用合成异常图训练异常检测器，迭代100k步，得到初始的合成样本上训练的模型。之后使用未标注的真实样本进行对比原型适应的调整，迭代10k步。使用伪像素级别标签进行自适应训练的调整，迭代10k步。之后对测试集进行异常检测。我们比较了四种异常检测方法在MVTecAD数据集的定位AP(平均精度)实验结果，如表1，本发明实施例的方法在10个类别和所有类别的平均值上的表现优于其他方法。具体而言，本发明实施例的方法在瓶子、胶囊、金属网格、地砖、拉链、电缆、榛子、金属螺母、螺钉和木材这些类别上的表现最佳。尽管在某些类别上，其他方法可能会取得更好的结果，但从整体来看，本发明实施例方法在MVTec AD数据集上的定位AP实验中具有较强的性能。实验证明，经过本发明域自适应的工业图像异常检测有效提高了模型对于异常的定位能力，在不增加模型参数量的情况下将定位准确度指标AP提高了6.4个点。
表1 MVTecAD数据集定位AP实验结果
Figure BDA0004183779080000131
Figure BDA0004183779080000141
本发明另一实施例提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时能实现前述实施的工业图像异常检测方法的步骤。
所述存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如前所述的工业图像异常检测方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如前所述的工业图像异常检测方法。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于域自适应的工业图像异常检测方法，其特征在于，包括如下步骤：
S1、从正常图像数据中随机选取两个样本分别作为源图像和目标图像，将源图像中的补丁混合到目标图像中，从而由正常图像数据创建合成异常图和相应的二值异常掩码图；
S2、使用所述合成异常图训练异常检测器，定位异常区域生成异常分割预测图；
S3、使用经步骤S2训练的异常检测器在真实样本上生成正常特征原型和异常特征原型；
S4、构建原型域自适应范式，拉近所述异常分割预测图中预测正常区域与所述正常特征原型之间的距离以及所述异常分割预测图中预测异常区域与所述异常特征原型之间的距离，拉远所述预测异常区域与所述正常特征原型之间的距离以及所述预测正常区域与所述异常特征原型之间的距离；
S5、用异常检测器预测的真实样本数据集的伪标签异常预测图自监督训练优化异常检测器，使异常检测器迁移到真实工业图像数据。
2.如权利要求1所述的工业图像异常检测方法，其特征在于，步骤S1具体包括：
S11、从源图像中随机生成一个矩形补丁；
S12、随机调整补丁的大小和不同的中心位置；
S13、将补丁无缝地混合到目标图像中；
S14、重复步骤S11～S13以在同一目标图像中添加多个补丁，获得合成异常图；
S15、使用引入外部补丁的局部强度表示是否存在差异来创建逐像素的标签，获得所述二值异常掩码图。
3.如权利要求1所述的工业图像异常检测方法，其特征在于，所述异常检测器包括重建子网络和判别子网络；
步骤S2中，所述重建子网络将输入的所述合成异常图重建为无异常的重建图；所述判别子网络以所述重建图和所述合成异常图在通道维度上连接得到的拼接图作为输入，输出与所述合成异常图同等大小的所述异常分割预测图。
4.如权利要求3所述的工业图像异常检测方法，其特征在于，步骤S2中，使用所述合成异常图训练异常检测器时，选择所述目标图像与所述重建图之间的l2损失和SSIM损失作为所述重建子网络的约束损失；使用FocalLoss损失函数作为所述判别子网络的约束损失；其中，SSIM为结构相似性指数。
5.如权利要求4所述的工业图像异常检测方法，其特征在于，所述重建子网络的约束损失为：
Lrec(I,Ir)＝LSSIM(I,Ir)+l2(I,Ir)
其中，LSSIM(I,Ir)为所述目标图像I与所述重建图Ir之间的SSIM损失，l2(I,Ir)为所述目标图像I与所述重建图Ir之间的l2损失；
步骤S2中所述异常检测器的总损失函数为：
L(I,Ir,M,MP)＝Lrec(I,Ir)+Lfocal(M,MP)
其中，Lfocal(M,MP)为所述判别子网络的约束损失，M和MP分别表示所述二值异常掩码图和所述异常分割预测图。
6.如权利要求1所述的工业图像异常检测方法，其特征在于，步骤S3具体包括：
使用经步骤S2训练的异常检测器提取真实正常样本在分类器前一层的特征作为所述正常特征原型，提取所述合成异常图的异常区域和真实异常样本被预测为异常区域的分类器前一层特征作为所述异常特征原型。
7.如权利要求1所述的工业图像异常检测方法，其特征在于，步骤S4具体包括：
对于所述预测正常区域，拉近其与所述正常特征原型之间的距离，拉远其与所述异常特征原型之间的距离，表示为：
Figure FDA0004183779070000031
对于所述预测异常区域，拉近其与所述异常特征原型之间的距离，拉远其与所述正常特征原型之间的距离，表示为：
Figure FDA0004183779070000032
其中，LN表示所述预测正常区域的域适应损失，LA表示所述预测异常区域的域适应损失；k＝1,2,…,K表示正常和异常特征原型的索引；f表示所述异常检测器给定输入的真实场景特征；
Figure FDA0004183779070000033
分别表示第k个正常特征原型和异常特征原型；/>
Figure FDA0004183779070000034
表示取k个中间最大数值；[]+表示舍去负值，只保留正值；
所述原型域自适应范式的总约束损失为Lpro＝LN+LA。
8.如权利要求1所述的工业图像异常检测方法，其特征在于，步骤S5中，异常检测器预测真实样本数据集的伪标签异常预测图的步骤包括：
对于正常类别和异常类别，真实样本数据上每个预测点相应的预测置信度集合为θc＝[θc,n,θc,a],其中θc,n、θc,a分别表示正常类别和异常判别的置信度，两个置信度的加和为1；为获得所述伪标签异常预测图，设定θc,a大于0.9时为异常类别，像素标签为1；θc,n大于0.9时为正常类别，像素标签为0；其余预测点数值标签设置为255。
9.如权利要求1所述的工业图像异常检测方法，其特征在于，步骤S5使用所述伪标签异常预测图自监督训练优化异常检测器的步骤包括：
使用所述伪标签异常预测图作为ground-truth训练优化异常检测器，输入真实样本数据，使用FocalLoss作为异常检测器输出预测的损失函数，表示为：
Lself(Ms,MP)＝focal loss(Ms,MP)
其中，Ms和MP分别表示所述伪标签异常预测图和所述异常分割预测图。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时能实现权利要求1-9任一项所述的工业图像异常检测方法的步骤。
CN202310412596.5A 2023-04-10 2023-04-10 一种基于域自适应的工业图像异常检测方法 Pending CN116433634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310412596.5A CN116433634A (zh) 2023-04-10 2023-04-10 一种基于域自适应的工业图像异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310412596.5A CN116433634A (zh) 2023-04-10 2023-04-10 一种基于域自适应的工业图像异常检测方法

Publications (1)

Publication Number Publication Date
CN116433634A true CN116433634A (zh) 2023-07-14

Family

ID=87079430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310412596.5A Pending CN116433634A (zh) 2023-04-10 2023-04-10 一种基于域自适应的工业图像异常检测方法

Country Status (1)

Country Link
CN (1) CN116433634A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557872A (zh) * 2024-01-12 2024-02-13 苏州大学 一种优化存储模式的无监督异常检测方法及装置
CN118037733A (zh) * 2024-04-12 2024-05-14 南京信息工程大学 基于距离信息驱动的复杂工业图像异常检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557872A (zh) * 2024-01-12 2024-02-13 苏州大学 一种优化存储模式的无监督异常检测方法及装置
CN117557872B (zh) * 2024-01-12 2024-03-22 苏州大学 一种优化存储模式的无监督异常检测方法及装置
CN118037733A (zh) * 2024-04-12 2024-05-14 南京信息工程大学 基于距离信息驱动的复杂工业图像异常检测方法及装置
CN118037733B (zh) * 2024-04-12 2024-06-07 南京信息工程大学 基于距离信息驱动的复杂工业图像异常检测方法及装置

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN109741332B (zh) 一种人机协同的图像分割与标注方法
Tan et al. Trustmae: A noise-resilient defect classification framework using memory-augmented auto-encoders with trust regions
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN116433634A (zh) 一种基于域自适应的工业图像异常检测方法
CN110675368B (zh) 一种融合图像分割与分类的细胞图像语义分割方法
CN108363951B (zh) 遥感影像地类识别对应深度学习样本库的自动获取方法
CN109902761B (zh) 一种基于海洋环境因子融合和深度学习的渔情预测方法
CN111062903A (zh) 图像水印的自动处理方法、系统、电子设备及存储介质
JP2015087903A (ja) 情報処理装置及び情報処理方法
CN112906769A (zh) 一种基于CycleGAN的输变电设备图像缺陷样本增广方法
JP2000137804A (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN109448009A (zh) 用于输电线路检测的红外图像处理方法及装置
CN112668462B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN113673618A (zh) 一种融合注意力模型的烟虫目标检测方法
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
Sun et al. Image recognition technology in texture identification of marine sediment sonar image
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN114429577A (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
WO2024061309A1 (zh) 缺陷识别方法、装置、计算机设备及其存储介质
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN117037052A (zh) 一种多尺度特征融合和注意力机制的水面死鱼检测方法
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及系统
CN114119594A (zh) 一种基于深度学习的油液渗漏检测方法和检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination