CN112381790A - 一种基于深度自编码的异常图像检测方法 - Google Patents

Abstract

本发明公开了一种基于深度自编码的异常图像检测方法，利用自编码的输入数据和重构数据的误差来衡量局部异常信息；利用自编码中的隐藏层的信息来刻画全局异常的特征，以捕获全局异常信息，最后优化重构误差和隐变量的联合分布来训练模型，实现了局部异常和全局异常的同时检测。与现有技术相比，本发明的检测结果更精确。

Description

一种基于深度自编码的异常图像检测方法

技术领域

本发明涉及计算机视觉领域，特别是涉及一种异常图像的检测方法。

背景技术

外观检测在控制工业产品品质方面有着重要的作用，可以高效找到产品中的劣质或者损坏的样本。虽然人工外观产品检测精度高，但是由于其低效和人力成本高的特性很难被应用在大范围的工业生产中。因此自动化的异常外观检测算法对提高整个生产流程的效率和对产品质量的控制是至关重要。自动化的检测系统一般是由摄像头拍摄产品的照片，并把照片传送给异常检测系统分析，最后异常检测系统给出检测产品外观的一个评价。因此图像异常检测算法在整个检测系统中起到最重要的角色。

然而现有的图像异常检测算法只能检测某一种类的异常(例如局部异常、全局异常)，这进一步限制了异常检测系统的通用检测能力。

目前还没有一种可以同时检测局部异常和全局异常的算法。

另外，由于异常图像部分不能被自编码有效重构出来，异常部分的误差相比较于正常部分的误差大。通过实验发现现有的自编码在处理复杂数据时，其重构图像的能力严重不足；并且不能有效评价局部异常信息。

发明内容

面对目前工业生产领域对自动化外观检测领域的迫切需要，本发明提出了一种基于深度自编码的通用异常检测算法，利用深度自编码模型检测异常图像，实现了局部异常和全局异常的同时检测。

本发明的一种基于深度自编码的异常图像检测方法，该方法具体包括以下步骤：

步骤1、首先对输入图像进行预处理，主要包括两个处理即把输入图片压缩成大小规格一致图片和对图像数值进行归一化处理；

步骤2、构建残差深度自编码器：使用卷积神经网搭建残差深度自编码器，构建好的自编码器分为编码部分和解码部分，编码部分负责把原始图像压缩到表征层，解码器部分负责把表征数据解压缩到输出结果；残差自编码由一系列编码块和解码块组成；在每个编码块中包含了常规的卷积操作信息K＝k1×k1,C_out＝c,Padding＝p、信号信息K＝k1×k1,C_out＝c,Padding＝0，分别进行标准化操作(BN)后，所得到的结果进行相加得到一个中间结果，相加结果进一步进行Relu激活，激活结果进行池化处理，在一个给定的范围中选取一个最大值；在每个解码块中包含了上采样、常规的卷积操作信息K＝k1×k1,C_out＝c,Padding＝p、信号信息K＝k1×k1,C_out＝c,Padding＝0，分别进行标准化操作后，所得到的结果进行相加得到一个中间结果，相加结果进一步进行Relu激活；

其中，K是卷积核，k1是卷积核的大小，C_out是输出通道的数量，Padding＝0代表周边数据补充为0，p是周边数据的具体填充值；

步骤3、进行局部异常信息的刻画：使用残差深度自编码器架构重构输入图片，利用编码器把输入数据编码到表征数据中，利用解码器把表征数据还原到输出数据；计算重构误差，公式如下：

其中，x是输入数据，

是重构数据；

利用残差深度自编码的重构误差来刻画图像信息的局部异常；然后利用结构相似性SSIM来评价图片是否为异常，通过SSIM给出待检测数据一个异常分数，异常分数越大，待检测数据异常性越高；

当给定一个输入图像片段x和其相对的重构图像片段

其结构相似为

其中，μ_x,

分别为x和

的均值，σ_x,

为x和

的方差，c₁,c₂为常数；

进行全局异常信息的刻画：利用残差深度自编码器把输入图片压缩到隐变量之后，计算隐变量的概率来衡量该图片是否为全局异常；给定一个隐变量z，首先用一个全连接神经网络计算这个隐变量z的属于混合高斯分布各个组件的概率：

π(z)＝f(z；θ)

在得到z在混合高斯分布的各个关系以后，利用混合高斯分布计算z的存在概率：

s.t.

其中，p(z_i)是估计的表征数据z_i的概率，γ_k，μ_k和σ_k分别是表征的概率均值，均值和方差，π_k(z_i)是估计网络表征z_i属于不同簇类的概率；

步骤4、进行模型训练：对中间隐变量的概率和重构误差同时优化，具体优化目标函数如下：

其中，λ是控制系数，P_z(z_i)和

是表征z_i的概率和结构相似函数，φ(·)是编码网络，ψ(·)是解码网络；

步骤5、进行在线检测，当训练完成之后，利用目标函数

作为评价输入图像x指标；如果该指标小于一个设定的阈值，则该图像属于异常图像。

与现有技术相比，本发明的检测结果更精确。

附图说明

图1为本发明的一种基于深度自编码的异常图像检测方法整体流程图；

图2为本发明的一种基于深度自编码的通用异常检测模型实施例架构图；

图3为残差自编码的结构图。

具体实施方式

以下结合附图及具体实施方式，进一步详述本发明技术方案。

如图1所示，为本发明的一种基于深度自编码的异常图像检测方法整体流程图，具体流程如下：

步骤1、首先对输入图像进行预处理，主要包括两个处理即把输入图片压缩成大小规格一致图片和对图像数值进行归一化处理；

步骤2、构建残差深度自编码器：使用卷积神经网搭建残差深度自编码器，构建好的自编码器分为编码部分和解码部分，编码部分负责把原始图像压缩到表征层，解码器部分负责把表征数据解压缩到输出结果，因此解码器是编码器的一个逆向过程。构建深度自编码器需要遵循3个原则：1)深度自编码器的输出结果需要和输入的图像数据在维度上保持一致；2)要尽量保持编码器的结构和解码器的结构对称；3)随着深度的增加，编码器中的变量需要逐步减少，即体现压缩的原则。本发明的深度自编码器加强了自编码的重构能力。

步骤3、进行局部异常信息的刻画：使用残差深度自编码器架构重构输入图片：编码器把输入数据编码到表征数据中，解码器把表征数据还原到输出数据。至此重构过程完成，计算重构误差，公式如下：

其中，x是输入数据，

是重构数据。

利用残差深度自编码的重构误差来刻画图像信息的局部异常，即使用残差自编码的架构重构输入图片。如图3所示，为残差自编码的结构图。其中，信号信息K＝k1×k1，C_out＝c，Padding＝0(K是卷积核，k1是卷积核的大小，C_out是输出通道的数量，Padding＝0代表周边数据补充为0)，BN表示批标准化操作(对一个批次所有的数据进行标准化操作：减去均值，除以方差)。

残差自编码由一系列编码块和解码块组成。在每个编码块中包含了常规的卷积操作信息K＝k1×k1,C_out＝c,Padding＝p、信号信息K＝k1×k1,C_out＝c,Padding＝0，(K是卷积核，k1是卷积核的大小，C_out是输出通道的数量，Padding＝0代表周边数据补充为0，p是周边数据的具体填充值)，分别进行标准化操作(BN)后，所得到的结果进行相加得到一个中间结果，相加结果进一步进行激活(用Relu函数处理中间结果，然后得到一个激活结果)，激活结果进行池化处理(采用的是最大池化，也就从给定的范围中找到一个最大值)。在每个解码块中包含了上采样(也就是扩充数据)、K＝k1×k1,C_out＝c,Padding＝p、信号信息K＝k1×k1,C_out＝c,Padding＝0，分别进行标准化操作(BN)后，所得到的结果进行相加，相加结果进一步进行激活(同样使用Relu激活)。对一个批次所有的数据进行标准化操作为：减去均值，除以方差

相比普通的自编码块，残差自编码加入一个信号信息，这样使得自编码的能力更强。输入数据由一系列编码块编码到一个低维的表征，然后再由一系列解码块解码到输出数据。

然后利用结构相似性(SSIM)来评价图片是否为异常，通过SSIM给出待检测数据一个异常分数，异常分数越大，待检测数据异常性越高。

当给定一个输入图像片段x和其相对的重构图像片段

其结构相似为

其中，μ_x,

分别为x和

的均值，σ_x,

为x和

的方差，c₁,c₂为常数，分别设置为0.01和0.03。

本发明在普通的自编码架构中加入了残差的技术，大幅度地提高了自编码重构复杂数据的能力。从损失函数角度出发，利用相似性SSIM(Structural Similarity，SSIM)结构作为评价重构图片质量的指标，可以更加有效地评价一个重构图片的质量。使用结构相似性来衡量重构数据的质量，最大化SSIM可以取得更清晰的重构图片。利用一组神经网络来估计混合高斯分布中的参数，从而避免了轮流估计网络参数，进一步提高了网络的效率。

进行全局异常信息的刻画(使用混合高斯分布算法)：通过计算测试图像在隐空间的概率来完成的。具体地，当给定一个待测试图片时，首先通过残差深度自编码器把图像压缩到隐藏层，然后通过概率密度估计函数计算该图片的概率；概率低的图片即为异常图像。在进行全局异常信息的刻画时，一个关键的技术问题是如何高效高精度的估计出一个图片出现的概率(在表征空间中存在概率低的样本被认为是全局异常)。本发明利用混合高斯分布估计图像的概率密度。相比较于普通的高斯分布模型，混合高斯模型不依赖数据的原始，其可以对任意分布的数据进行模拟。但是一般的混合高斯分布需要交替估计模型参数，这会导致训练的训练降低。为了解决上述问题，本发明提出利用一个全连接网络来估计混合高斯分布中的关系参数：残差深度自编码器把输入图片压缩到隐变量之后，计算隐变量的概率来衡量该图片是否为全局异常；给定一个隐变量z，首先用一个全连接神经网络计算这个隐变量z的属于混合高斯分布各个组件的概率：

π(z)＝f(z；θ)

在得到z在混合高斯分布的各个关系以后，利用混合高斯分布计算z的存在概率：

s.t.

其中，p(z_i)是估计的表征数据z_i的概率，γ_k，μ_k和σ_k分别是表征的概率均值，均值和方差，π_k(z_i)是估计网络表征z_i属于不同簇类的概率；

这样一个图片的密度可以直接计算获得，整体的训练效率可以得到很大的提升。

步骤4、进行模型训练：为了同时对局部异常和全局异常处理，本发明对中间隐变量的概率和重构误差同时优化，具体优化目标函数如下：

其中，λ是控制系数，P_z(z_i)和

是表征z_i的概率和结构相似函数。φ(·)是编码网络，ψ(·)是解码网络。

例如使用SGD(stochastic gradient descent)来优化目标函数，学习率为0.00001，训练次数为300次，残差深度自编码器的架构采用Lenet神经网络。

步骤5、进行在线检测，当训练完成之后，利用目标函数

作为评价输入图像x指标；如果该指标小于一个设定的阈值，则该图像属于异常图像。

Claims (1)

1.一种基于深度自编码的异常图像检测方法，其特征在于，该方法具体包括以下步骤：

步骤1、首先对输入图像进行预处理，包括两个处理即把输入图片压缩成大小规格一致图片和对图像数值进行归一化处理；

步骤2、构建残差深度自编码器：使用卷积神经网搭建残差深度自编码器，构建好的自编码器分为编码部分和解码部分，编码部分负责把原始图像压缩到表征层，解码器部分负责把表征数据解压缩到输出结果；残差自编码由一系列编码块和解码块组成；在每个编码块中包含了常规的卷积操作信息K＝k1×k1,C_out＝c,Padding＝p、信号信息K＝k1×k1,C_out＝c，分别进行标准化操Padding＝0作后，所得到的结果进行相加得到一个中间结果，相加结果进一步进行Relu激活，激活结果进行池化处理，在一个给定的范围中选取一个最大值；在每个解码块中包含了上采样、常规的卷积操作信息K＝k1×k1,C_out＝c,Padding＝p、信号信息K＝k1×k1,C_out＝c,Padding＝0，分别进行标准化操作后，所得到的结果进行相加得到一个中间结果，相加结果进一步进行Relu激活；

其中，K是卷积核，k1是卷积核的大小，C_out是输出通道的数量，Padding＝0代表周边数据补充为0，p是周边数据的具体填充值；

步骤3、进行局部异常信息的刻画：使用残差深度自编码器架构重构输入图片，利用编码器把输入数据编码到表征数据中，利用解码器把表征数据还原到输出数据；计算重构误差，公式如下：

其中，x是输入数据，

是重构数据；

利用残差深度自编码的重构误差来刻画图像信息的局部异常；然后利用结构相似性SSIM来评价图片是否为异常，通过SSIM给出待检测数据一个异常分数，异常分数越大，待检测数据异常性越高；

当给定一个输入图像片段x和其相对的重构图像片段

其结构相似为

其中，μ_x,

分别为x和

的均值，σ_x,

为x和

的方差，c₁,c₂为常数；

进行全局异常信息的刻画：利用深度残差自编码器把输入图片压缩到隐变量后，计算隐变量的概率来衡量该图片是否为全局异常；给定一个隐变量z，首先用一个全连接神经网络计算这个隐变量z的属于混合高斯分布各个组件的概率：

π(z)＝f(z；θ)

在得到z在混合高斯分布的各个关系以后，利用混合高斯分布计算z的存在概率：

其中，p(z_i)是估计的表征数据z_i的概率，γ_k，μ_k和σ_k分别是表征的概率均值，均值和方差，π_k(z_i)是估计网络表征z_i属于不同簇类的概率；

步骤4、进行模型训练：对中间隐变量的概率和重构误差同时优化，具体优化目标函数如下：

其中，λ是控制系数，P_z(z_i)和

是表征z_i的概率和结构相似函数，φ(·)是编码网络，ψ(·)是解码网络；

步骤5、进行在线检测，当训练完成之后，利用目标函数

作为评价输入图像x指标；如果该指标小于一个设定的阈值，则该图像属于异常图像。

Images