CN110766056B

CN110766056B - 一种融合图像生成和多标签分类的异常图像检测方法

Info

Publication number: CN110766056B
Application number: CN201910925726.9A
Authority: CN
Inventors: 苏勤亮; 李强
Original assignee: Sun Yat Sen University
Current assignee: Sun Yat Sen University
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2022-05-06
Anticipated expiration: 2039-09-27
Also published as: CN110766056A

Abstract

本发明提供一种融合图像生成和多标签分类的异常图像检测方法，该方法包括以下步骤：S1：图像重构特征提取以及降维处理；S2：利用S1得到的低维数据进行多分类概率计算，提取有效的类别概率特征；S3：将S1和S2得到的数据作为一分类器的输入得到数据异常的概率值。本方法极大地提升了高类别概率值在异常检测任务中的有效性，以及其在两类数据中的区分性，对于异常数据，可以更有效的获取特征，进而提升检测效果。

Description

一种融合图像生成和多标签分类的异常图像检测方法

技术领域

本发明涉及大数据处理领域，更具体地，涉及一种融合图像生成和多标签分类的异常图像检测方法。

背景技术

异常数据是与数据集中其他数据有很明显不同的数据，将异常数据检测出来的方法叫做异常检测或者离群点检测方法。

与标准分类任务相比，异常检测通常应用于无标签数据，即仅考虑数据集的内部结构，因而该任务也被称为无监督异常检测。与无监督聚类方法相比，该任务中的异常数据比例很低，一般很难构成一个类别。

异常检测在包含大型数据集的应用领域中获得了很多研究关注。这些包括检测乳房X线照片中的质量结构和其他医疗诊断问题，复杂工业系统中的故障和故障检测，结构损坏，电子安全系统中的入侵，如信用卡或手机欺诈检测，视频监控，移动机器人，传感器网络，天文目录和文本挖掘。现代系统的复杂性使得从各部分关系之间仅仅可以获得有限的信息。这种情况不可避免会导致存在大量可能异常的模式，并且其中一些的先验可能不是已知的，这使得传统的多分类方法不适合这些应用。

异常检测对该问题提供了解决方案，通过构建具有表示正常数据能力的模型 (即指示正常系统行为的数据)来学习正常数据的分布或特征，然后将测试数据放入到该模型中，可以得到某种形式的异常分数。通常将数据的异常分数与设定的阈值进行比较，某个数据的异常得分超过阈值则将该数据视为异常数据。

目前已有的研究异常检测的方法主要包括基于概率的方法、基于重构的方法、一分类方法、基于softmax概率方法以及将深度学习技术、对抗训练思想应用于该领域的方法。目前主流的研究方法一般使用只包含正常数据的数据集来训练模型，希望模型可以学习到正常数据的一些特征，然后将该模型应用在新出现的数据上，可以在一定程度上将正常数据和异常数据区分开来，进而达到检测异常的目的。

基于概率方法是通过学习数据的分布形式，使用密度估计的概率方法来检测异常。这些方法假设训练集中的高密度区域表示正常数据，低密度区域表示异常数据。在模型训练好后，可以得到数据的整体分布，根据该分布给出的数据概率密度作为异常分数，用于检测异常数据。

基于重构的方法一般使用生成模型，通过使用正常数据进行训练生成模型，使得生成模型可以学习到正常数据的分布，对于正常类别中的数据都可以得到很好的重构，而对于异常类别的数据则会产生比较差的重构，从而将两类数据区分开，达到检测异常的目的。

一分类方法是通过刻画正常数据的分布边界，将正常数据与异常数据分类开，但是无法得到其分布形式。与传统的二分类方法不同的是，一分类方法所使用的数据仅仅包含正常数据，因而只能刻画正常数据的边界，而不是两类数据的分类决策面。

基于softmax概率方法是一种基于异常数据作为分布外数据的假设，进行异常检测的方法。在训练过程中，模型选取softmax概率值中的最大值对应的类别作为数据分类的结果，在测试阶段，对于模型没见到过的异常数据，得到的最大 softmax结果通常也会比较小，这样就可以将异常数据检测出来。

基于对抗训练的方法主要是将生成对抗网络中的对抗训练思想引入到异常检测任务中，通过同时训练生成器和判别器来得到异常检测的结果，不需要使用异常分数作为判别标准。

发明内容

本发明提供一种准确率较高的融合图像生成和多标签分类的异常图像检测方法。

为了达到上述技术效果，本发明的技术方案如下：

一种融合图像生成和多标签分类的异常图像检测方法，包括以下步骤：

S1：图像重构特征提取以及降维处理；

S2：利用S1得到的低维数据进行多分类概率计算，提取有效的类别概率特征；

S3：将S1和S2得到的数据作为一分类器的输入得到数据异常的概率值。

进一步地，所述步骤S1的具体过程是：

获取图像数据，首先对其使用生成模型模块进行数据压缩降维处理，将高维的图像数据转换为低维表示，如公式(1)，同时基于低维表示进行解码重构得到图像数据的重构误差特征，如公式(2)

z＝encode(x) (1)

recon＝simi(x,decode(z)) (2)

其中x表示输入的图像数据，encode函数表示生成模型中的编码器，进行数据的压缩降维操作，decode函数是生成模型中的解码器，进行数据重构的操作， simi函数是计算原数据和重构数据之间的误差函数。

进一步地，所述步骤S2的具体过程是：

将S2中生成模型得到低维数据表示，输入到多分类器中计算不同类别概率，使用sigmoid替代softamx方法进行多分类概率计算，提取有效的类别概率特征；

其中多分类器使用卷积神经网络和全连接神经网络结合的网络结构，通过卷积神经网络可以有效提取图像数据中的局部特征，保证图像数据的平移不变性，具体如公式(3)

prob＝sigmoid(multiclassifier(z)) (3)

其中multiclassifier函数表示多分类器，sigmoid表示最终的sigmoid概率计算方法。

进一步地，所述步骤S3的具体过程是：

将S1中得到的生成模型计算得到的重构误差特征和图像数据低维表示以及 S2中多分类器得到的sigmoid类别概率特征，作为一分类器的输入特征；

一分类模块使用孤立森林技术使用前面得到的样本特征作为输入，构造二叉树对样本数据进行划分，从而得到样本特征数据的不同划分次数，根据样本特征的划分次数计算出数据异常的概率值，最终模型的输出则是数据异常的概率值。

与现有技术相比，本发明技术方案的有益效果是：

本发明方法相较于简单的softmax多分类方法，针对图像异常检测任务的特点使用sigmoid替代softmax方法，极大地提升了高类别概率值在异常检测任务中的有效性，以及其在两类数据中的区分性，对于异常数据，可以更有效的获取特征，进而提升检测效果；相较于直接使用生成模型进行异常检测任务，本方法不需要人工制定阈值，可以极大地提高检测准确率，并且在训练流程中除去人的参与，可以减少该方法所需的训练时间；相较于直接使用一分类技术做图像异常检测任务，本方法首先进行压缩数据降维，并且提取出具有很高信息量的特征，而不是直接使用数据图像作为一分类模块的数据，可以避免因图像数据维度过高导致的维数灾难，无法计算的情况，并且可以得到更高的检测准确率。

附图说明

图1为重构数据过程示意图；

图2为多分类器数据处理过程示意图；

图3为一分类器数据处理过程示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

S1：图像重构特征提取以及降维处理；

如图1所示，步骤S1的具体过程是：

z＝encode(x) (1)

recon＝simi(x,decode(z)) (2)

如图2所示，步骤S2的具体过程是：

prob＝sigmoid(multiclassifier(z)) (3)

如图3所示，步骤S3的具体过程是：

将S1中得到的生成模型计算得到的重构误差特征和图像数据低维表示以及S2中多分类器得到的sigmoid类别概率特征，作为一分类器的输入特征；

实施例2

本实施例采用的正常数据数据集分别是MNIST和CIFAR数据集，均包含10 个类别，50000条训练数据和10000条测试数据；异常数据使用生成高斯和标准噪声图像。即训练数据集包含50000条数据(均为正常数据)，测试数据集包含 20000条数据(10000条正常数据，10000条异常数据)

本发明方法具体步骤为：

第一步，根据图1搭建的用于压缩图像数据的生成模型，使用生成模型模块进行数据压缩降维处理，将高维的图像数据转换为低维表示z＝encode(x)，同时基于低维表示进行解码重构得到图像数据的重构误差特征 recon＝simi(x,decode(z))，其中x表示输入的图像数据，encode函数表示生成模型中的编码器，进行数据的压缩降维操作，decode函数是生成模型中的解码器，进行数据重构的操作，simi函数是计算原数据和重构数据之间的误差函数。

将生成模型得到低维数据表示，输入到多分类器中计算不同类别概率，使用sigmoid替代softamx方法进行多分类概率计算，提取有效的类别概率特征 prob＝sigmoid(multiclassifier(z))，其中multiclassifier函数表示多分类器， sigmoid表示最终的sigmoid概率计算方法。

将生成模型计算得到的重构误差特征recon和图像数据低维表示z以及多分类器得到的sigmoid类别概率特征prob，结合作为一分类器的输入特征 input＝[recon,z,prob]；

通过一分类模块使用孤立森林技术使用前面得到的样本特征作为输入，构造二叉树对样本数据进行划分，从而得到样本特征数据的不同划分次数＝ num_division＝isolationforest(input)，根据样本特征的划分次数计算出数据异常的概率值，最终模型的输出则是数据异常的概率值res＝ calc(num_division)。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种融合图像生成和多标签分类的异常图像检测方法，其特征在于，包括以下步骤：

S1：图像重构误差特征提取以及降维处理；

S2：利用S1得到的低维数据进行多分类概率计算，提取类别概率特征；

S3：将S1和S2得到的数据作为分类器的输入得到数据异常的概率值；

所述步骤S1的具体过程是：

获取图像数据，首先对其使用生成模型模块进行数据压缩降维处理，将高维的图像数据转换为低维表示，如公式(1)，同时基于低维表示进行解码重构得到图像数据的重构误差特征，如公式(2)：

z＝encode(x) (1)

recon＝simi(x,decode(z)) (2)

其中x表示输入的图像数据，encode函数表示生成模型中的编码器，进行数据的压缩降维操作，decode函数是生成模型中的解码器，进行数据重构的操作，simi函数是计算原数据和重构数据之间的误差函数；

所述步骤S2的具体过程是：

将S1中生成模型得到低维数据表示，输入到多分类器中计算不同类别概率，使用sigmoid替代softmax方法进行多分类概率计算，提取类别概率特征；

其中多分类器使用卷积神经网络和全连接神经网络结合的网络结构，通过卷积神经网络可以有效提取图像数据中的局部特征，保证图像数据的平移不变性，具体如公式(3)：

prob＝sigmoid(multiclassifier(z)) (3)

其中multiclassifier函数表示多分类器，sigmoid表示最终的sigmoid概率计算方法；

所述步骤S3的具体过程是：

将S1中得到的生成模型计算得到的重构误差特征和图像数据低维表示以及S2中多分类器得到的sigmoid类别概率特征，作为分类器的输入特征得到数据异常的概率值。

2.根据权利要求1所述的融合图像生成和多标签分类的异常图像检测方法，其特征在于，所述步骤S3中：

分类模块使用孤立森林技术使用前面得到的重构误差特征、图像数据低维表示以及sigmoid类别概率特征作为输入，构造二叉树对重构误差特征、图像数据低维表示和sigmoid类别概率特征进行划分，从而得到重构误差特征、图像数据低维表示和sigmoid类别概率特征的不同划分次数，根据重构误差特征、图像数据低维表示和sigmoid类别概率特征的划分次数计算出图像异常的概率值，最终模型的输出则是数据异常的概率值。