CN113778719B

CN113778719B - 基于复制粘贴的异常检测算法

Info

Publication number: CN113778719B
Application number: CN202111089154.9A
Authority: CN
Inventors: 齐志泉; 徐睿婕
Original assignee: Beijing Zhongkezhiyan Technology Co ltd
Current assignee: Beijing Zhongkezhiyan Technology Co ltd
Priority date: 2021-09-16
Filing date: 2021-09-16
Publication date: 2024-02-02
Anticipated expiration: 2041-09-16
Also published as: CN113778719A

Abstract

本发明公开了基于复制粘贴的异常检测算法，包括数据准备、特征抽取及重构、基于复制粘贴模式训练与异常评分四个阶段。本发明提出一种新型训练模式：原图→复制粘贴后的异常→网络→重构图；对以往的重构函数进一步升级，原有的损失函数仅包含L2损失，提出的新重构损失函数通过引入SSIM函数，促使网络从亮度、对比度和结构多维度比较原图和重构图的相似程度；现有技术均是基于训练集无异常数据的背景下提出，这意味以往的的技术都会存在缺乏先验信息的缺点，而复制粘贴学习可以弥补这一缺点。首先，利用复制粘贴学习模式可以实现数据增广，弥补以往技术中异常数据稀缺的不足还改善传统像素级重建模型中常见的重构误差失灵问题。

Description

基于复制粘贴的异常检测算法

技术领域

本发明属于异常检测算法技术领域，具体涉及基于复制粘贴的异常检测算法。

背景技术

工业异常检测通常面临可以明确定义正常模式，但无法定义可能存在的潜在异常模式。因此，如何定义且区分目标样本成为学术界与工业界关注的热点。受深度学习领域影响，目前大部分异常检测问题的解决方案主要集中在深度学习方法上，例如：采用自动编码器形式的重构模型，其目的是学习目标样本精确的数据分布，而我们是将一种新型的训练模式引入异常检测，其目的是随机构建异常提升模型的鲁棒性，这里的复制粘贴表示随机粘贴，即通过粘贴不同规模的不同对象到新背景图像，复制粘贴可简单高效的获取丰富新颖的训练数据，其粘贴的对象是从一张图中抠出mask部分对应的实例，然后随机粘贴到另一张图像。

原有的关于工业异常检测算法的训练模式为原图→网络→重构图，现有技术均是基于训练集无异常数据的背景下提出，这意味以往的的技术都会存在缺乏先验信息的缺点，另外某些具有异常数据训练的训练模式也仅包含L2损失，为此我们提出基于复制粘贴的异常检测算法来解决现有技术中存在的问题。

发明内容

本发明的目的在于提供基于复制粘贴的异常检测算法，以解决上述背景技术中提出现有技术中的问题。

为实现上述目的，本发明采用了如下技术方案：

基于复制粘贴的异常检测算法，包括如下步骤：

步骤一、数据准备：准备足量的、带有alpha通道的PNG图片；

步骤二、特征抽取及重构；首先输入原图，经过复制粘贴模块随机输出增强图，将增强图送入自动编码器网络，最后输出重构图；

具体的正类数据可表示为D_normal＝{(x₁,y₁),(x₂,y₂),...,(x_m,y_m)},

复制粘贴模块数据可表示为D_abnormal＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)},

m，n分别代表样本个数，x∈R^d，y_i＝{(c)∣c∈{0,1}}m>>n，c表示类别；

利用深度卷积网络充当自编码器，由Encoder编码器和Decoder解码器组成，Encoder表示特征抽取，Decoder表示特征重构，网络骨干是efficient网络，损失函数主要是L2重构损失；

和SSIM损失：

SSIM(x,y)＝l(x,y)·c(x,y)·s(x,y)；

C₁＝(K₁L)²；

C₂＝(K₂L)²；

C₃＝C₂/2；

整理得：

l(x,y),c(x,y),s(x,y)分别表示亮度相似度，对比度相似度，结构相似度，当两张图像一模一样时，SSIM的值趋近于1，x表示原图，y表示经过解码器生成的数据，所以损失函数为：

αL₂(x,y)+(1-α)(1-SSIM(x,y))；

步骤三、基于复制粘贴的训练：复制粘贴模式表示只有50％原图参与训练，而剩余50％原图经过复制粘贴增强成异常样本后参与训练；

步骤四、异常评分模块由重构误差组成：异常得分为：

A(x)＝γSSIM(x,y)+(1-γ)maxL₂(x,y)。

优选的，步骤一中，足量的、带有alpha通道的PNG图片用于模拟工业场景下的异物。

优选的，步骤二中，输入原图时，标签信息为0，表示无异常正类。

优选的，步骤二中，复制粘贴模块需要利用第一步中收集的PNG图片，随机的选择1-3个随机的粘贴在图像的任意位置。

优选的，随后更新图像的标签信息为1，表示异常负类。

优选的，步骤三中，剩余50％原图经过复制粘贴增强成异常样本后参与训练，主要的流程结构包括伪异常资源池、原图、网络输入图与复制粘贴模块。

优选的，原图表示网络待输入图片；网络输入图表示网络真正输入图；复制粘贴模块表示随机从伪异常资源池选取1或多个PNG图像，经过尺度缩放、旋转、高斯模糊后随机的粘贴占原图的任意位置。

优选的，步骤四的公式中，对输入输出的x,y图在L2距离上取最大值。

本发明的技术效果和优点：本发明提出的基于复制粘贴的异常检测算法，与现有技术相比，具有以下优点：

1、本发明提出一种新型训练模式，原有的训练模式：原图→网络→重构图，现提出训练模式：原图→复制粘贴后的异常→网络→重构图；

2、对以往的重构函数进一步升级，原有的损失函数仅包含L2损失，现提出的新重构损失函数通过引入SSIM函数，促使网络从亮度、对比度和结构多维度比较原图和重构图的相似程度；

3、现有技术均是基于训练集无异常数据的背景下提出，这意味以往的的技术都会存在缺乏先验信息的缺点，而复制粘贴学习可以弥补这一缺点。首先，利用复制粘贴学习模式可以实现数据增广，弥补以往技术中异常数据稀缺的不足；其次，复制粘贴学习模式改善传统像素级重建模型中常见的重构误差失灵问题。另外我们的方案中复制粘贴增强方式类似于伪异常生成器模块，该模块可以在网络训练中加入大量的异常图像，这就将原本无监督学习异常检测问题转换成了监督学习异常检测问题。可以有效的改善以往技术中对异常界定不足的现象。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。

附图说明

图1为本发明基于复制粘贴模式异常检测拟采取的研究方案示意图；

图2为本发明实施例中复制粘贴模块运行流程的示意图；

图3为本发明基于复制粘贴的异常检测算法的算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1-3所示的实施例：

基于复制粘贴的异常检测算法，包括如下步骤：

步骤一、数据准备：准备足量的、带有alpha通道的PNG图片；

步骤二、特征抽取及重构；首先，输入原图(标签信息为0，表示无异常正类)，经过复制粘贴模块随机输出增强图，将增强图送入自动编码器网络，最后输出重构图。这里复制粘贴模块需要利用第一步中收集的PNG图片，随机的选择1-3个随机的粘贴在图像的任意位置，随后更新图像的标签信息为1，表示异常负类；

和SSIM损失：

SSIM(x,y)＝l(x,y)·c(x,y)·s(x,y)；

C₁＝(K₁L)²；

C₂＝(K₂L)²；

C₃＝C₂/2；

整理得：

αL₂(x,y)+(1-α)(1-SSIM(x,y))；

步骤四、异常评分模块由重构误差组成：异常得分为：

A(x)＝γSSIM(x,y)+(1-γ)maxL₂(x,y)。

这里对输入输出的x,y图在L2距离上取最大值也是创新处之一，以往的做法往往是对L2距离取均值，这种做法在局部异常的情况下会造成检测错误。而我们的做法是对L2距离取最大值，这样显然无论是面对全局异常还是局部异常都会保持异常敏感度；

方案测试阶段，测试阶段不需要复制粘贴模块，只需要自编码器。将输入数据进传入解码器和编码器获得SSIM损失，与异常阈值进行对比。高于阈值说明是异常输入，低于阈值说明是正常输入。

步骤一中，足量的、带有alpha通道的PNG图片用于模拟工业场景下的异物。

步骤三中，剩余50％原图经过复制粘贴增强成异常样本后参与训练，主要的流程结构包括伪异常资源池、原图、网络输入图与复制粘贴模块。

原图表示网络待输入图片；网络输入图表示网络真正输入图，即为图1中的增强图；复制粘贴模块表示随机从伪异常资源池选取1或多个PNG图像，经过尺度缩放、旋转、高斯模糊后随机的粘贴占原图的任意位置；步骤四的公式中，对输入输出的x,y图在L2距离上取最大值。

综上所述，本算法的主要方案主要分为四个阶段：(1)数据准备；(2)特征抽取及重构；(3)基于复制粘贴的训练；(4)异常评分。

(1)数据准备；准备足量的带有alpha通道的PNG图像。

(2)特征抽取及重构；将第一步数据集通过复制粘贴后随机产生的异常图传入深度卷积自编码器，由Encoder编码器和Decoder解码器组成，Encoder表示特征抽取，Decoder表示特征重构。网络骨干是resnet50网络，采用U-Net的网络模式。

(3)基于复制粘贴模式训练；复制粘贴模式表示只有50％原图参与训练，而剩余50％原图经过复制粘贴增强成异常样本后参与训练。

(4)异常评分；异常评分模块由重构误差组成。重构误差表示重构正类数据产生的误差。

本算法中具体的类别\方法表如下：

数据集：MvTEC；

Geotrans：自监督方法，将异常检测问题转为为分类问题，通过区分增强与未增强数据的差异判别异常，但不足之处在于对局部微小异常难以区分；

GANomaly：生成对抗网络方法，类似于自动编码器。不足之处在于，模型鲁棒性不强，对抗训练时间长且复杂。

RIAD：基于U-Net的自动编码器，是本方法的前身，不足之处在于，没有伪异物输入，模型鲁棒性不强，且添加跳跃连接易把编码器中的异常信息带入解码器中，我们的算法模型中有改善这一点。

本发明提出一种新型训练模式，原有的训练模式：原图→网络→重构图，现提出训练模式：原图→复制粘贴后的异常→网络→重构图；

对以往的重构函数进一步升级，原有的损失函数仅包含L2损失，现提出的新重构损失函数通过引入SSIM函数，促使网络从亮度、对比度和结构多维度比较原图和重构图的相似程度；

现有技术均是基于训练集无异常数据的背景下提出，这意味以往的的技术都会存在缺乏先验信息的缺点，而复制粘贴学习可以弥补这一缺点。首先，利用复制粘贴学习模式可以实现数据增广，弥补以往技术中异常数据稀缺的不足；其次，复制粘贴学习模式改善传统像素级重建模型中常见的重构误差失灵问题。另外我们的方案中复制粘贴增强方式类似于伪异常生成器模块，该模块可以在网络训练中加入大量的异常图像，这就将原本无监督学习异常检测问题转换成了监督学习异常检测问题。可以有效的改善以往技术中对异常界定不足的现象。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于复制粘贴的异常检测算法，其特征在于，包括如下步骤：

步骤一、数据准备：准备带有alpha通道的PNG图片；

和SSIM损失：

SSIM(x,y)＝l(x,y)·c(x,y)·s(x,y)；

整理得：

αL₂(x,y)+(1-α)(1-SSIM(x,y))；

步骤四、异常评分模块由重构误差组成：异常得分为：

A(x)＝γSSIM(x,y)+(1-γ)max L₂(x,y)。

2.根据权利要求1所述的基于复制粘贴的异常检测算法，其特征在于：步骤一中，带有alpha通道的PNG图片用于模拟工业场景下的异物。

3.根据权利要求1所述的基于复制粘贴的异常检测算法，其特征在于：步骤二中，输入原图时，标签信息为0，表示无异常正类。

4.根据权利要求1所述的基于复制粘贴的异常检测算法，其特征在于：步骤二中，复制粘贴模块需要利用第一步中收集的PNG图片，随机的选择1-3个随机的粘贴在图像的任意位置。

5.根据权利要求4所述的基于复制粘贴的异常检测算法，其特征在于：随后更新图像的标签信息为1，表示异常负类。

6.根据权利要求1所述的基于复制粘贴的异常检测算法，其特征在于：步骤三中，剩余50％原图经过复制粘贴增强成异常样本后参与训练，主要的流程结构包括伪异常资源池、原图、网络输入图与复制粘贴模块。

7.根据权利要求6所述的基于复制粘贴的异常检测算法，其特征在于：

原图表示网络待输入图片；

网络输入图表示网络真正输入图；

复制粘贴模块表示随机从伪异常资源池选取1或多个PNG图像，经过尺度缩放、旋转、高斯模糊后随机的粘贴占原图的任意位置。

8.根据权利要求1所述的基于复制粘贴的异常检测算法，其特征在于：步骤四的公式中，对输入输出的x,y图在L2距离上取最大值。