CN114565594A - 基于软掩膜对比损失的图像异常检测方法 - Google Patents

基于软掩膜对比损失的图像异常检测方法 Download PDF

Info

Publication number
CN114565594A
CN114565594A CN202210209818.9A CN202210209818A CN114565594A CN 114565594 A CN114565594 A CN 114565594A CN 202210209818 A CN202210209818 A CN 202210209818A CN 114565594 A CN114565594 A CN 114565594A
Authority
CN
China
Prior art keywords
image
encoder
mask
self
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210209818.9A
Other languages
English (en)
Inventor
路文
李庚桓
梁栋
朱振杰
朱志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210209818.9A priority Critical patent/CN114565594A/zh
Publication of CN114565594A publication Critical patent/CN114565594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于软掩膜对比损失的图像异常检测方法，主要解决现有技术异常检测种类少，检测精度差的问题。其方案是：利用超像素分割算法与高斯噪声对MVTec数据集进行处理，得到合成图像训练数据集；搭建由重建自编码器和掩膜自编码器组成的异常检测模型，并使用L2误差损失作为掩膜自编码器的损失函数，使用L2误差损失与软掩膜对比损失作为重建自编码器的损失函数；利用合成图像训练数据集对其掩膜编码器和重建自编码器进行交替训练，直至各自的损失函数收敛；将测试图像输入到训练好的图像异常检测模型，得到图像异常检测与定位的结果。本发明异常识别种类多，检测精度高，可用于工业品瑕疵检测、医疗辅助诊断、视频违规行为检测。

Description

基于软掩膜对比损失的图像异常检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种图像异常检测方法，可应用工业品瑕疵检测、医疗辅助诊断、视频违规行为检测。
背景技术
图像异常检测是计算机视觉领域的一项用于检测和定位图像中异常或缺陷区域的任务。图像异常检测在生产生活中有着广泛的应用，比如针对电子元器件、纺织半成品等工业产品在生产过程中由于操作不当等原因而不慎出现的瑕疵品进行检测，辅助剔除残次品；帮助医务人员对病理图像进行病灶定位；也能够对监控视频当中的非法行为进行检测。由于在实际生活中，异常样本的出现概率极其微小，获取包含数量充足、类别丰富的异常样本数据集需要耗费大量的成本，因此当前图像异常检测数据集大多只包含正常样本。图像异常检测算法通常以无监督的方式在正常数据集上进行训练，尝试拟合正常样本分布，通过判断测试样本是否符合所学分布来判断图像是否存在异常。由于手工构造图像特征的方式对于图像采集环境以及图像质量极其敏感，因此，传统的图像异常检测算法始终无法达到与人工检测同等的水平。
近年来，随着深度学习技术的飞速发展，使用在数据集上训练得到的卷积神经网路提取到的特征对图像质量要求更低，因此基于深度学习的图像异常检测算法取得了长远的进步，并实现了令人满意的检测精度。
成都东方天呈智能科技有限公司在其专利申请号：202111288603.2的专利文献中公开了“一种基于生成对抗网络的异常检测系统、方法和存储介质”，该系统包含特征映射网络部分、生成器网络部分以及判别器网络部分，特征映射网络部分用于将图像样本映射成隐藏空间张量，生成器网络部分用于从隐藏空间张量中学习图像的真实分布，所述判别器网络部分用于在训练过程中区分真实图像与重构图像；该系统以重建正常样本为目标，尝试从正常样本中学习正常样本分布，使得在测试过程中，通过异常区域的高重建误差实现异常检测，但是这种仅以重建为目标函数的方法由于其生成器的重建能力过于强大，往往也能重建出异常区域，致使异常图像的重建误差同样很小，而导致异常检测效果变差。
湖南大学在其申请号：202111161614.4的专利文献中提出“一种基于混合监督学习的表面异常检测方法”。该方法首先获取表面正常的正常样本以及表面异常的异常样本进行预处理；并构建包括异常定位网络、自注意力网络和异常判别网络的神经网络模型，然后将预处理数据输入神经网络中进行训练以获取异常检测模型中进行训练以获取异常检测神经网络模型；最后将待测图像数据输入异常检测神经网络模型中，进而能够自动判别待测图像是否存在异常以及对异常区域进行定位。该方法由于以一种混合监督学习方式进行学习，将正常样本以及少量的带有粗略标注的样本作为训练集，因而对于从未在训练集中出现过的异常种类数据检测效果差。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种无监督学习的软掩膜对比损失图像异常检测方法，以提升图像异常检测效果，扩大对异常样本的识别种类。
为实现上述目的，本发明的技术方案包括如下：
(1)利用超像素分割算法和高斯噪声对MVTec工业异常检测训练数据集进行处理，得到合成图像训练数据集：
1a)将MVTec训练数据集中的所有正常图像数据利用超像素分割算法进行超像素分割，获取超像素图像与分割掩膜图；
1b)从分割后的超像素图像中随机选二十分之一数量的超像素，对其添加高斯噪声，得到合成图像，并将选取超像素对应的分割掩膜图作为合成图像的掩膜图标签；
1c)将合成图像及其对应的掩膜图标签作为训练数据集；
(2)搭建由重建自编码器和掩膜自编码器并联组成图像异常检测模型；
(3)利用合成图像训练集对图像异常检测模型进行训练：
3a)计算掩膜自编码器输出的预测掩膜图
Figure BDA0003532740180000021
与输入的合成异常图像对应的标签掩膜图Msyn_ab之间的L2误差损失LMAE(Isyn_ab)，并将该L2误差损失作为损失函数，利用Adam反向传播优化算法训练掩膜自编码器，完成其一次训练，其中的Isyn_ab表示输入的合成异常图像，
Figure BDA0003532740180000022
表示掩膜自编码器，ωMAE表示掩膜自编码器的参数；
3b)对重建自编码器进行一次训练：
3b1)计算重建自编码器输出的重建图像
Figure BDA0003532740180000023
与原始正常图像Inor之间的L2误差损失Lres(Isyn_ab)，并利用一次训练得到的掩膜自编码器得到软掩膜图：
Figure BDA0003532740180000031
其中的
Figure BDA0003532740180000032
表示一次训练得到的掩膜自编码器，
Figure BDA0003532740180000033
表示一次训练得到的掩膜自编码器参数；
3b2)将3b1)计算得到的软掩膜图与合成异常图像逐像素相乘，获取软掩膜对比损失中的负例样本：N＝Msoft*Isyn_ab；
3b3)计算重建编码器的重建图像A、负例样本N、与合成图像对应的原始正常图像P三者之间的软掩膜对比损失LCL(A,P,N)，并将L2误差损失Lres(Isyn_ab)与软掩膜对比损失LCL(A,P,N)的加权和作为重建自编码器的损失函数LRAE(Isyn_ab,P,N)，并利用Adam反向传播优化算法训练重建自编码器，完成其一次训练；
3d)交替执行3a)和3b)直至各自对应的损失函数收敛，停止迭代，得到训练好的图像异常检测模型；
(4)图像异常定位与检测：
4a)将MVTec测试数据集中的图像I作为输入，输入到训练好的图像异常检测模型中，其通过掩膜自编码器输出预测掩膜图Smask(I)，通过重建自编码器输出重建图像，并通过L2误差SL2(I)与对比误差SCL(I)得到重建自编码器的异常得分图Sres(I)；
4b)通过掩膜自编码器的输出预测掩膜图Smask(I)与重建自编码器的异常得分图Sres(I)，获取用于异常定位的像素级异常得分图S(I)：
S(I)＝Sres(I)+h··Smask(I)
其中的h·为掩膜自编码器的置信度参数；
4c)在像素级异常得分图中选取其最大值，得到用于异常检测的图像级异常得分η：
Figure BDA0003532740180000034
其中w表示像素级异常得分图的宽，h表示像素级异常得分图的高，S(I)(i,j)表示在像素级异常得分图中第i行第j列处的异常得分；
4d)根据MVTec训练数据集原始正常图像设置阈值T，将测试图像I的图像级异常得分η与设定的阈值进行比较：
若η＞T，则图像I被判定为异常；
若η≤T，则图像I被判定为正常。
本发明与现有技术相比具有以下优点：
第一，本发明除以重建误差损失作为目标函数外，由于引入符合异常检测定义的对比损失函数，在学习正常分布的同时，远离异常分布，使得模型对于异常区域的重建效果差，增大异常区域的重建误差，提高异常检测结果。
第二，本发明由于利用具有高斯噪声超像素的合成图像训练数据集对图像异常检测模型进行训练，通过合成图像中随机生成的噪声超像素来模拟异常的多样性，扩大了对异常样本的识别种类。
附图说明
图1为本发明的实现总流程图；
图2是本发明中搭建的图像异常检测模型图；
图3是本发明中对图像异常检测模型进行训练的子流程图。
具体实施方式
下面结合附图对本发明的实施例和效果做进一步详细描述。
参照图1，本实例的实现步骤如下。
步骤1，构建合成图像训练数据集。
1.1)从公开网站获取MVTec工业异常检测数据集，并利用SEEDs超像素分割算法对MVTec训练数据集中的所有正常图像数据进行超像素分割，获取超像素图像与分割掩膜图；
1.2)从分割后的超像素图像中随机选二十分之一数量的超像素，对其添加高斯噪声，得到合成图像，并将选取超像素对应的分割掩膜图作为合成图像的掩膜图标签；
1.3)将合成图像及其对应的掩膜图标签作为训练数据集。
步骤2，搭建图像异常检测模型。
参照图2，图像异常检测模型包括重建自编码器和掩膜自编码器，其结构如下：
2.1)建立由编码器和重建解码器级联组成，且输出通道为3的重建自编码器：
所述编码器，依次由卷积层、第一最大池化层、四个残差模块和第二个最大池化层级联组成，其中，卷积层的卷积核大小为7×7，步长为2，填充像素为1；两个最大池化层的步长均为2；四个残差模块分别由3、4、6、3个残差卷积组组成，每个残差卷积组由第一卷积层、第二卷积层连接组成，这两个卷积层的卷积核大小均为3×3，步长均为1，填充像素均为1，该第二卷积层的输出特征与其输入特征逐通道相加即为残差卷积组的输出特征；
所述重建解码器，依次由六个解码模块和一个卷积模块级联组成，其中，每个解码模块由一个步长为2的双线性插值上采样层及第三卷积层、第四卷积层组成；卷积模块由两个卷积层组成，即第五卷积层和第六卷积层；该第三卷积层与第四卷积层的卷积核大小均为3×3，步长为1，填充像素为1；该第五卷积层和第六卷积层的卷积核大小均为3×3，步长为2，填充像素为1，其输出通道为3；
2.2)建立由编码器和重建解码器级联组成，且输出通道1的掩膜自编码器：
所述编码器与重建自编码器中的编码器结构相同；
所述掩膜解码器与重建自编码器中的重建自编码器结构相同，其输出通道为1；
2.3)重建自编码器与掩膜自编码器进行并联连接，组成图像异常检测模型，其中：
重建自编码器用于对输入图像进行重建，即通过编码器将输入图像编码成特征图，重建解码器将特征图解码为3通道的图像，以完成对输入图像的重建；
掩膜自编码器用于对输入图像进行异常预测，即通过编码器将输入图像编码成特征图，掩膜解码器将特征图解码为1通道的掩膜图，以完成对输入图像中异常的异常预测。
步骤3，对图像异常检测模型进行训练。
参照图3，本步骤的具体实现如下：
3.1)对掩膜编码器进行一次训练：
3.1.1)计算掩膜自编码器输出的预测掩膜图
Figure BDA0003532740180000051
与输入的合成异常图像对应的标签掩膜图Msyn_ab之间的L2误差损失LMAE(Isyn_ab)，并作为掩膜自编码器的损失函数：
Figure BDA0003532740180000052
其中，Isyn_ab表示输入的合成异常图像，n为合成图像数据集中的数据数量，
Figure BDA0003532740180000053
表示掩膜自编码器，ωMAE表示掩膜自编码器的参数；
3.1.2)利用Adam反向传播优化算法最小化损失函数LMAE(Isyn_ab)的值，对掩膜自编码器参数进行更新，完成掩膜自编码器的一次训练；
3.2)对重建自编码器进行一次训练：
3.2.1)计算重建自编码器输出的重建图像
Figure BDA0003532740180000061
与原始正常图像Inor之间的L2误差损失Lres(Isyn_ab)：
Figure BDA0003532740180000062
其中，n为合成图像数据集中的数据数量，
Figure BDA0003532740180000063
为重建自编码器，ωRAE为重建自编码器的权重参数；
3.2.2)利用一次训练得到的掩膜自编码器得到软掩膜图
Figure BDA0003532740180000064
将软掩膜图与合成异常图像逐像素相乘，获取软掩膜对比损失中的负例样本N：
N＝Msoft*Isyn_ab
其中，
Figure BDA0003532740180000065
表示一次训练得到的掩膜自编码器，
Figure BDA0003532740180000066
表示一次训练得到的掩膜自编码器参数；
3.2.3)计算重建编码器的重建图像A、负例样本N与合成图像对应的原始正常图像P三者之间的软掩膜对比损失LCL(A,P,N)：
Figure BDA0003532740180000067
其中，
Figure BDA0003532740180000068
P＝Inor，
Figure BDA0003532740180000069
为重建自编码器，ωRAE为重建自编码器的权重参数，vi(A)表示重建图像通过第i个VGG19特征层后得到的特征图，vi(P)表示原始正常图像通过第i个VGG19特征层后得到的特征图，vi(N)表示负例样本通过第i个VGG19特征层后得到的特征图，d(vi(A),vi(P))表示重建图像特征图与原始正常图像特征图之间的L1距离，d(vi(A),vi(N))表示重建图像特征图与负例样本特征图之间的L1距离，wi表示第i个尺度特征提取层下的软掩膜对比损失项的权重参数，i取值范围为{1,2,...,k}，k表示选取在ImageNet公开数据集上训练好的VGG19不同尺度的特征提取层个数，k＝5，即权重参数分别为
Figure BDA0003532740180000071
h表示软掩膜对比损失中
Figure BDA0003532740180000072
因子所占的权重，公式如下：
Figure BDA0003532740180000073
其中，
Figure BDA0003532740180000074
Figure BDA0003532740180000075
表示一次训练得到的掩膜自编码器，
Figure BDA0003532740180000076
表示一次训练得到的掩膜自编码器参数；
3.2.4)将L2误差损失Lres(Isyn_ab)与软掩膜对比损失LCL(A,P,N)的加权和作为重建自编码器的损失函数LRAE(Isyn_ab,P,N)，表示如下：
LRAE(Isyn_ab,P,N)＝Lres(Isyn_ab)+λ·LCL(A,P,N)
其中，λ为平衡重建损失和软掩膜对比损失的权重超参数，Isyn_ab表示合成异常图像，P表示原始正常图像，N表示负例样本，
Figure BDA0003532740180000077
表示重建图像，
Figure BDA0003532740180000078
表示重建自编码器，ωRAE表示重建自编码器的权重参数；
3.2.5)利用Adam反向传播优化算法最小化损失函数LRAE(Isyn_ab,P,N)的值，对重建自编码器参数进行更新，完成重建自编码器的一次训练；
3.3)重复执行3.1)和3.2)，对掩膜自编码器与和重建自编码器交替进行训练，直至各自对应的损失函数收敛，停止迭代，得到训练好的图像异常检测模型。
步骤4，图像异常定位与检测。
4.1)将MVTec测试数据集中的图像I作为输入，输入到训练好的图像异常检测模型中，其通过掩膜自编码器输出预测掩膜图Smask(I)：
Figure BDA0003532740180000079
其中，
Figure BDA00035327401800000710
表示训练好的掩膜自编码器，
Figure BDA00035327401800000711
表示掩膜自编码器的权重参数；
4.2)图像I通过重建自编码器输出重建图像，并计算L2误差SL2(I)与对比误差SCL(I)：
Figure BDA00035327401800000712
Figure BDA0003532740180000081
其中，
Figure BDA0003532740180000082
表示训练好的重建自编码器，
Figure BDA0003532740180000083
表示得到的重建自编码器权重参数，wi表示第i个尺度特征提取层下的软掩膜对比损失项的权重参数，i取值范围为{1,2,...,k}，k表示选取在ImageNet公开数据集上训练好的VGG19不同尺度的特征提取层个数，k＝5，即权重参数分别为
Figure BDA0003532740180000084
vi(I)表示测试图像通过第i个VGG19特征层后得到的特征图，
Figure BDA0003532740180000085
表示重建图像通过第i个VGG19特征层后得到的特征图，
Figure BDA0003532740180000086
表示重建图像特征图与原始正常图像特征图之间的L1距离，
Figure BDA0003532740180000087
表示将重建图像特征图与原始正常图像特征图之间的L1距离上采样到测试图像尺寸。
4.3)通过L2误差SL2(I)与对比误差SCL(I)得到重建自编码器的异常得分图Sres(I)：
Sres(I)＝SL2(I)+λ·SCL(I)
其中，λ为平衡L2误差与对比误差的权重超参数；
4.4)通过掩膜自编码器的输出预测掩膜图Smask(I)与重建自编码器的异常得分图Sres(I)，获取用于异常定位的像素级异常得分图S(I)：
S(I)＝Sres(I)+h··Smask(I)
其中的h·为掩膜自编码器的置信度参数：
Figure BDA0003532740180000088
Figure BDA0003532740180000089
Figure BDA00035327401800000810
表示训练好的掩膜自编码器，
Figure BDA00035327401800000811
表示掩膜自编码器的权重参数；
4.5)在像素级异常得分图中选取其最大值，得到用于异常检测的图像级异常得分η：
Figure BDA00035327401800000812
其中，w表示像素级异常得分图的宽，h表示像素级异常得分图的高，S(I)(i,j)表示在像素级异常得分图中第i行第j列处的异常得分；
4.6)根据MVTec训练数据集中的所有原始正常图像设置阈值T：
4.6.1)计算训练数据集中的所有原始正常图像的像素级异常得分图，得到集合
Figure BDA0003532740180000091
其中
Figure BDA0003532740180000092
是训练数据集中的第k个原始正常图像，
Figure BDA0003532740180000093
表示图像
Figure BDA0003532740180000094
对应的像素级异常得分图，n表示训练数据集中的原始正常图像数量；
4.6.2)从像素级异常得分集合中计算每个原始正常图像的图像级异常得分μk：
Figure BDA0003532740180000095
其中w表示像素级异常得分图的宽，h表示像素级异常得分图的高，
Figure BDA0003532740180000096
表示在原始正常图像
Figure BDA0003532740180000097
对应的像素级异常得分图中第i行第j列处的异常得分；
4.6.3)根据每个原始正常图像的图像级异常得分得到所有原始正常图像对应的图像级异常分数集合：
Ω＝{μ1,μ2,...μk,...,μn}
4.6.4)从原始正常图像图像级异常分数集合集合Ω中选取最大值作为阈值T：
Figure BDA0003532740180000098
4.7)将测试图像I的图像级异常得分η与设定的阈值T进行比较：
若η＞T，则图像I被判定为异常；
若η≤T，则图像I被判定为正常，至此完成对测试图像I的异常检测。
下面结合仿真实验对本发明的效果做进一步的描述。
1、仿真实验条件：
本发明的仿真实验的硬件平台为：Intel Core i7-8700K@3.70GHZ、32GB RAM，显卡为NVIDIA GeForce GTX 1080Ti。
本发明仿真实验的软件平台为：Ubuntu18.04操作系统，Pytorch1.6.0，Python3.6；
仿真实验采用MVTec数据集，包含训练数据集与测试数据集，此数据集是一个用于评估图像异常检测与定位算法好坏的基准数据集，共包含15类不同的工业品，其中包含5类纹理类型数据：网格、瓷砖、地毯、木材及皮革；包含10类物品类型数据：瓶口、胶囊、药片、电缆、晶体管、拉链、榛果、螺母、螺丝及牙刷。
2、仿真内容及其结果分析：
仿真1，用本发明与现有的四种图像异常定位方法,即基于SSIM损失函数自编码器的图像异常定位方法AESSIM、基于能量迭代的正态数据流形投影图像异常定位方法VAE-grad、多尺度知识蒸馏图像异常定位方法MKD、基于判别性潜在向量的教师-学生网络的图像异常定位方法US，分别对MVTec测试数据集中的所有测试图像计算像素级异常得分图，计算各种方法的像素级受试者工作特征曲线与横坐标轴围成的面积AUC这个指标，结果如表1所示。
表1.五种方法的像素级AUC评价结果(％)对比表
Figure BDA0003532740180000101
所述像素级AUC，是像素级受试者工作特征曲线与横坐标轴围成的面积AUC，用于衡量异常定位方法的效果，其值介于0％-100％，值越大则定位效果越好。
从表1可见，本发明在测试集上的像素级AUC指标平均值高于其他四种方法，证明本发明具有更好的图像异常定位效果。
仿真2，用本发明与现有的三种图像异常检测方法,即基于SSIM损失函数自编码器的图像异常检测方法AESSIM、基于深度支持向量数据描述模型的异常检测方法DSVDD、基于能量迭代的正态数据流形投影图像异常检测方法VAE-grad，分别利用各方法对MVTec测试数据集中的所有测试图像计算图像级异常得分，并计算各种方法的图像级受试者工作特征曲线与横坐标轴围成的面积AUC这个指标，结果如表2所示。
表2.四种方法的图像AUC评价结果(％)对比表
Figure BDA0003532740180000111
所述图像级AUC，是图像级受试者工作特征曲线与横坐标轴围成的面积AUC，用于衡量异常检测方法的效果，其值介于0％-100％，值越大则检测效果越好。
从表2可见，本发明在测试集上的图像级AUC指标平均值高于其他三种方法，证明本发明具有更好的图像异常检测效果。

Claims (8)

1.一种基于软掩膜对比损失的图像异常检测方法，其特征在于，包括如下步骤：
(1)利用超像素分割算法和高斯噪声对MVTec工业异常检测训练数据集进行处理，得到合成图像训练数据集：
1a)将MVTec训练数据集中的所有正常图像数据利用超像素分割算法进行超像素分割，获取超像素图像与分割掩膜图；
1b)从分割后的超像素图像中随机选二十分之一数量的超像素，对其添加高斯噪声，得到合成图像，并将选取超像素对应的分割掩膜图作为合成图像的掩膜图标签；
1c)将合成图像及其对应的掩膜图标签作为训练数据集；
(2)搭建由重建自编码器和掩膜自编码器并联组成图像异常检测模型；
(3)利用合成图像训练数据集对图像异常检测模型进行训练：
3a)计算掩膜自编码器输出的预测掩膜图
Figure FDA0003532740170000011
与输入的合成异常图像对应的标签掩膜图Msyn_ab之间的L2误差损失LMAE(Isyn_ab)，并将该L2误差损失作为损失函数，利用Adam反向传播优化算法训练掩膜自编码器，完成其一次训练，其中的Isyn_ab表示输入的合成异常图像，
Figure FDA0003532740170000012
表示掩膜自编码器，ωMAE表示掩膜自编码器的参数；
3b)对重建自编码器进行一次训练：
3b1)计算重建自编码器输出的重建图像
Figure FDA0003532740170000013
与原始正常图像Inor之间的L2误差损失Lres(Isyn_ab)，并利用一次训练得到的掩膜自编码器得到软掩膜图：
Figure FDA0003532740170000014
其中的
Figure FDA0003532740170000015
表示一次训练得到的掩膜自编码器，
Figure FDA0003532740170000016
表示一次训练得到的掩膜自编码器参数；
3b2)将3b1)计算得到的软掩膜图与合成异常图像逐像素相乘，获取软掩膜对比损失中的负例样本：N＝Msoft*Isyn_ab；
3b3)计算重建编码器的重建图像A、负例样本N、与合成图像对应的原始正常图像P三者之间的软掩膜对比损失LCL(A,P,N)，并将L2误差损失Lres(Isyn_ab)与软掩膜对比损失LCL(A,P,N)的加权和作为重建自编码器的损失函数LRAE(Isyn_ab,P,N)，并利用Adam反向传播优化算法训练重建自编码器，完成其一次训练；
3d)交替执行3a)和3b)直至各自对应的损失函数收敛，停止迭代，得到训练好的图像异常检测模型；
(4)图像异常定位与检测：
4a)将MVTec测试数据集中的图像I作为输入，输入到训练好的图像异常检测模型中，其通过掩膜自编码器输出预测掩膜图Smask(I)，通过重建自编码器输出重建图像，并通过L2误差SL2(I)与对比误差SCL(I)得到重建自编码器的异常得分图Sres(I)；
4b)通过掩膜自编码器的输出预测掩膜图Smask(I)与重建自编码器的异常得分图Sres(I)，获取用于异常定位的像素级异常得分图S(I)：
S(I)＝Sres(I)+h··Smask(I)
其中的h·为掩膜自编码器的置信度参数；
4c)在像素级异常得分图中选取其最大值，得到用于异常检测的图像级异常得分η：
Figure FDA0003532740170000021
其中w表示像素级异常得分图的宽，h表示像素级异常得分图的高，S(I)(i,j)表示在像素级异常得分图中第i行第j列处的异常得分；
4d)根据MVTec训练数据集原始正常图像设置阈值T，将测试图像I的图像级异常得分η与设定的阈值进行比较：
若η＞T，则图像I被判定为异常；
若η≤T，则图像I被判定为正常。
2.根据权利要求1所述的方法，其特征在于，步骤2)图像异常检测模型中的重建自编码器和掩膜自编码器结构如下；
所述重建自编码器，由编码器和重建解码器级联组成；
该编码器，依次由卷积层、第一最大池化层、四个残差模块和第二个最大池化层级联组成，其中，卷积层的卷积核大小为7×7，步长为2，填充像素为1；两个最大池化层的步长均为2；四个残差模块分别由3、4、6、3个残差卷积组组成，每个残差卷积组由第一卷积层、第二卷积层连接组成，这两个卷积层的卷积核大小均为3×3，步长均为1，填充像素均为1，该第二卷积层的输出特征与其输入特征逐通道相加即为残差卷积组的输出特征；
该重建解码器，依次由六个解码模块和一个卷积模块级联组成，其中，每个解码模块由一个步长为2的双线性插值上采样层及第三卷积层、第四卷积层组成；卷积模块由两个卷积层组成，即第五卷积层和第六卷积层；该第三卷积层与第四卷积层的卷积核大小均为3×3，步长为1，填充像素为1；该第五卷积层和第六卷积层的卷积核大小均为3×3，步长为2，填充像素为1；其输出通道为3；
所述掩膜自编码器，包含编码器与掩膜编码器，其结构与重建自编码器相同，其输出通道为1。
3.根据权利要求1所述的方法，其特征在于，3a)中计算掩膜自编码器输出的预测掩膜图
Figure FDA0003532740170000031
与输入的合成异常图像对应的标签掩膜图Msyn_ab之间的L2误差损失LMAE(Isyn_ab)，公式如下：
Figure FDA0003532740170000032
其中，n为合成图像数据集中的数据数量。
4.根据权利要求1所述的方法，其特征在于，3b1)中计算重建自编码器输出的重建图像
Figure FDA0003532740170000033
与原始正常图像Inor之间的L2误差损失Lres(Isyn_ab)，公式如下：
Figure FDA0003532740170000034
其中，n为合成图像数据集中的数据数量。
5.根据权利要求1所述的方法，其特征在于，3b3)中计算重建编码器的重建图像A、负例样本N与合成图像对应的原始正常图像P三者之间的软掩膜对比损失LCL(A,P,N)，公式如下：
Figure FDA0003532740170000035
其中，
Figure FDA0003532740170000036
P＝Inor，
Figure FDA0003532740170000037
为重建自编码器，ωRAE为重建自编码器的权重参数，vi(A)表示重建图像通过第i个VGG19特征层后得到的特征图，vi(P)表示原始正常图像通过第i个VGG19特征层后得到的特征图，vi(N)表示负例样本通过第i个VGG19特征层后得到的特征图，d(vi(A),vi(P))表示重建图像特征图与原始正常图像特征图之间的L1距离，d(vi(A),vi(N))表示重建图像特征图与负例样本特征图之间的L1距离，wi表示第i个尺度特征提取层下的软掩膜对比损失项的权重参数，i取值范围为{1,2,...,k}，k表示选取在ImageNet公开数据集上训练好的VGG19不同尺度的特征提取层个数，k＝5，h表示软掩膜对比损失中
Figure FDA0003532740170000041
因子所占的权重，公式如下：
Figure FDA0003532740170000042
其中，
Figure FDA0003532740170000043
6.根据权利要求1所述的方法，其特征在于，3b3)中重建自编码器的损失函数LRAE(Isyn_ab,P,N)，表示如下：
LRAE(Isyn_ab,P,N)＝Lres(Isyn_ab)+λ·LCL(A,P,N)
其中，λ为平衡重建损失和软掩膜对比损失的权重超参数，Isyn_ab表示合成异常图像，P表示原始正常图像，N表示负例样本，
Figure FDA0003532740170000044
表示重建图像，
Figure FDA0003532740170000045
表示重建自编码器，ωRAE表示重建自编码器的权重参数。
7.根据权利要求1所述的方法，其特征在于，4a)中掩膜自编码器输出的预测掩膜图Smask(I)和重建自编码器的异常得分图Sres(I)，分别表示如下：
Figure FDA0003532740170000046
Sres(I)＝SL2(I)+λ·SCL(I)
其中，I表示MVTec测试数据集中的图像，
Figure FDA0003532740170000047
表示训练好的掩膜自编码器，
Figure FDA0003532740170000048
表示掩膜自编码器的权重参数，λ为平衡L2误差SL2(I)与对比误差SCL(I)的权重超参数，
Figure FDA0003532740170000049
Figure FDA00035327401700000410
表示训练好的重建自编码器，
Figure FDA00035327401700000411
表示得到的重建自编码器权重参数，wi表示第i个尺度特征提取层下的软掩膜对比损失项的权重参数，i取值范围为{1,2,...,k}，k表示选取在ImageNet公开数据集上训练好的VGG19不同尺度的特征提取层个数，k＝5，即权重参数分别为
Figure FDA00035327401700000414
vi(I)表示测试图像通过第i个VGG19特征层后得到的特征图，
Figure FDA00035327401700000413
表示重建图像通过第i个VGG19特征层后得到的特征图，
Figure FDA0003532740170000051
表示重建图像特征图与原始正常图像特征图之间的L1距离，
Figure FDA0003532740170000052
表示将重建图像特征图与原始正常图像特征图之间的L1距离上采样到测试图像尺寸。
8.根据权利要求1所述的方法，其特征在于，4b)中的掩膜自编码器的置信度参数h·,计算公式为：
Figure FDA0003532740170000053
其中，
Figure FDA0003532740170000054
Figure FDA0003532740170000055
表示训练好的掩膜自编码器，
Figure FDA0003532740170000056
表示掩膜自编码器的权重参数。
CN202210209818.9A 2022-03-04 2022-03-04 基于软掩膜对比损失的图像异常检测方法 Pending CN114565594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210209818.9A CN114565594A (zh) 2022-03-04 2022-03-04 基于软掩膜对比损失的图像异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210209818.9A CN114565594A (zh) 2022-03-04 2022-03-04 基于软掩膜对比损失的图像异常检测方法

Publications (1)

Publication Number Publication Date
CN114565594A true CN114565594A (zh) 2022-05-31

Family

ID=81716941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210209818.9A Pending CN114565594A (zh) 2022-03-04 2022-03-04 基于软掩膜对比损失的图像异常检测方法

Country Status (1)

Country Link
CN (1) CN114565594A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170890A (zh) * 2022-07-28 2022-10-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车连接拉杆链折断故障识别方法
CN116228769A (zh) * 2023-05-09 2023-06-06 和峻（广州）胶管有限公司 一种适用于钢丝编织管瑕疵检测的装置及检测方法
CN117409192A (zh) * 2023-12-14 2024-01-16 武汉大学 一种基于数据增强的红外小目标检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170890A (zh) * 2022-07-28 2022-10-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车连接拉杆链折断故障识别方法
CN116228769A (zh) * 2023-05-09 2023-06-06 和峻（广州）胶管有限公司 一种适用于钢丝编织管瑕疵检测的装置及检测方法
CN116228769B (zh) * 2023-05-09 2023-10-17 和峻（广州）胶管有限公司 一种适用于钢丝编织管瑕疵检测的装置及检测方法
CN117409192A (zh) * 2023-12-14 2024-01-16 武汉大学 一种基于数据增强的红外小目标检测方法及装置
CN117409192B (zh) * 2023-12-14 2024-03-08 武汉大学 一种基于数据增强的红外小目标检测方法及装置

Similar Documents

Publication Publication Date Title
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN110657984B (zh) 一种基于强化胶囊网络的行星齿轮箱故障诊断方法
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN114972213A (zh) 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
Lv et al. A novel pixel-wise defect inspection method based on stable background reconstruction
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN112906813A (zh) 一种基于密度聚类和胶囊神经网络的浮选工况识别方法
He et al. A diffusion-based framework for multi-class anomaly detection
CN117576079A (zh) 一种工业产品表面异常检测方法、装置及系统
CN115546171A (zh) 一种基于关注阴影边界和特征校正的阴影检测方法及设备
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN115358337A (zh) 一种小样本故障诊断方法、装置及存储介质
CN116994044A (zh) 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
CN113989256A (zh) 遥感图像建筑物的检测模型优化方法及检测方法、装置
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN117593243A (zh) 可靠伪标签引导的压缩机外观自适应检测方法
CN114764880B (zh) 多成分gan重建的遥感图像场景分类方法
Yang et al. Multi-category decomposition editing network for the accurate visual inspection of texture defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination