CN113222972A - 基于变分自编码器算法的图像异常检测方法 - Google Patents

基于变分自编码器算法的图像异常检测方法 Download PDF

Info

Publication number
CN113222972A
CN113222972A CN202110599501.6A CN202110599501A CN113222972A CN 113222972 A CN113222972 A CN 113222972A CN 202110599501 A CN202110599501 A CN 202110599501A CN 113222972 A CN113222972 A CN 113222972A
Authority
CN
China
Prior art keywords
image
reconstruction
data
probability
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110599501.6A
Other languages
English (en)
Other versions
CN113222972B (zh
Inventor
金海波
马琳琳
田桂源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN202110599501.6A priority Critical patent/CN113222972B/zh
Publication of CN113222972A publication Critical patent/CN113222972A/zh
Application granted granted Critical
Publication of CN113222972B publication Critical patent/CN113222972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于变分自编码器算法的图像异常检测方法，涉及计算机技术领域。本发明使用变分自编码器进行重构概率的异常检测，可以发现异常的数据。变分自编码器是一类重要的生成模型，它结合了变分推理和深度学习的概率图形模型。因为用一种概率合理的方式降维，所以理论基础是牢固的。VAE相对于自动编码器优势在于，它提供了一个概率度量，而不是作为异常分数的重构误差，我们将其称为重构概率。概率比重建误差更具原则性和客观性，并且不需要模型特定的阈值来判断异常。

Description

基于变分自编码器算法的图像异常检测方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于变分自编码器算法的图像异常检测方法。
背景技术
异常检测使用重构误差作为异常分值。第一步是使用降维方法如自动编码器重建数据。使用k个最重要的主成分重构输入并测量其原始数据点和重构之间的差异会导致重构误差，该误差可用作异常分数。重构误差高的数据点被定义为异常。
对于大部分应用而言，其过程中会产生一些数据。当应用过程出现异常状况时，对应到数据上，离群值也会随之产生。因此，离群值往往包含着系统和对象发生异常时的特征。识别出这些特征可以为应用带来不少好处。在所有这些应用中，数据都有一个“正常”的模型，当数据偏离这个在正常模型时，我们则认为它是异常。
所有的异常诊断模型都是创建一个数据的正常模式，然后计算给定的数据点针对这个模式的偏离程度。例如，生成模型中高斯混合模型、基于回归的模型以及基于空间临近程度的模型都对数据的正常行为作出假设，然后通过评估数据点和模型的接近程度计算数据点的异常得分。很多数据模型是由算法确定，例如，基于最近邻的异常诊断算法根据k-近邻距离的分布来建立数据点异常趋势的模型。因此，模型假设是异常点位于距离大部分数据较远的位置。
变分自编码器是一种基于变分推断的有向概率图模型，通过将深度学习与概率统计相结合，能够学习到数据特征分布，是深度学习领域的一种重要模型。随着当今科技的快速发展，人们在日常生活中会产生大量的数据，这些数据中可能会产生一些与主体数据存在较大不同的异常数据，这些数据对于人们来说是不利的，甚至会产生较大伤害，要解决这类问题，我们依旧面临着巨大挑战。
异常或异常值是指与其他数据显著不同的数据点，这种数据远远偏离了正常值，异常检测的目的是要检测出与主体数据存在显著差异的异常数据。此外，异常检测技术还广泛应用于很多领域如，医疗卫生、交通运输、文本检测、安全防控等，为各种领域的正常运转提供重要技术支撑。对于此类关键任务的应用程序，必须有效和及时地检测异常(异常值)。即使是短时间的延误也可能导致巨额资金、投资机会的损失，甚至人命的损失。
对于大部分应用而言，其过程中会产生一些数据。当应用过程出现异常状况时，对应到数据上，离群值也会随之产生。因此，离群值往往包含着系统和对象发生异常时的特征。识别出这些特征可以为应用带来不少好处。在所有这些应用中，数据都有一个“正常”的模型，当数据偏离这个在正常模型时，我们则认为它是异常。
随着深度学习的出现，自动编码器也被用来通过堆叠层来进行降维，形成深度自动编码器。通过减少隐藏层的单元数量，我们希望隐藏单元能够提取出能很好地代表数据的特征。此外，通过堆叠自动编码器，我们可以以一种分层的方式进行降维，在更高的隐藏层中获得更多的抽象特征，从而更好地重构数据。
发明内容
为解决上述技术问题，本发明提出一种基于变分自编码器算法的图像异常检测方法，利用重构的特点，进行异常检测。
一种基于变分自编码器算法的图像的异常检测方法，包括以下步骤：
步骤1：对于给定图，对图像进行异常检测时，使用重建误差作为异常分数，设置重构度阈值，将大于阈值的数据点判断为异常的数据点被认为是异常，选择阈值内的正常数据点；
步骤2：使用变分自编码器对正常数据点进行训练，训练之后，变分自编码器对正常数据点进行重建；
步骤3:计算重建后图像数据的均值和方差参数，使用均值和方差进行计算高于均值阈值的异常分数，称为重建概率；
所述均值为
Figure BDA0003092262510000021
方差
Figure BDA0003092262510000022
重建概率
Figure BDA0003092262510000023
其中n为图像数据的个数，Xi图像数据，L图像的长度。
步骤4：对图像中的数据重构概率导出原始输入变量分布的参数；
步骤5：图像重构后的图像的输入变量的参数是从近似后验分布中提取的给定潜在变量生成图像数据的概率；
步骤6：对于二进制数据，使用伯努利分布对输入的图像进行改进；在潜在变量空间分布的情况下，优选连续分布，通过光谱异常检测对图像进行异常检测，得出相应的样本，即图像重构结果；
步骤7：最后将图像重构的结果和原图像做对比，观察异常检测的结果及其偏离原结果的范围，完成对图像的异常检测。
本发明所产生的有益效果在于：
本技术方案提供了一种基于变分自编码器算法的图像的异常检测方法，本发明的优点进步是可以更好的进行异常检测，当今科技的快速发展，人们在日常生活中会产生大量的图片数据，这些图片数据中可能会产生一些与主体数据存在较大不同的异常图片数据，这些数据对于人们来说是十分不方便的，要解决这类问题，本技术方案可以检测到图像中的异常。
附图说明
图1为本发明方法流程图；
图2为本发明实施例中输入图像；
图3为本发明实施例中重构后的图像；
图4为本发明实施例中重构差分的图像及重构误差；
图5为本发明实施例中损失函数图像。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
一种基于变分自编码器算法的图像的异常检测方法，如图1所示，包括以下步骤：
步骤1：对于给定图，对图像进行异常检测时，使用重建误差作为异常分数，设置重构度阈值，将大于阈值的数据点判断为异常的数据点被认为是异常，选择阈值内的正常数据点；
步骤2：使用变分自编码器对正常数据点进行训练，训练之后，变分自编码器对正常数据点进行重建；
步骤3:计算重建后图像数据的均值和方差参数，使用均值和方差进行计算高于均值阈值的异常分数，称为重建概率；
所述均值为
Figure BDA0003092262510000031
方差
Figure BDA0003092262510000032
重建概率
Figure BDA0003092262510000033
其中n为图像数据的个数，Xi图像数据，L图像的长度。
步骤4：对图像中的数据重构概率导出原始输入变量分布的参数；图像被重构的是输入变量分布的参数，而不是输入图像变量本身。
步骤5：图像重构后的图像的输入变量的参数是从近似后验分布中提取的给定潜在变量生成图像数据的概率；因为许多样本是从潜在变量分布中提取的，这允许对图像重构概率考虑潜在变量空间的可变性，这是所提出的方法和基于自动编码器的异常检测之间的主要区别之一。
步骤6：对于二进制数据，使用伯努利分布对输入的图像进行改进；在潜在变量空间分布的情况下，优选连续分布，例如各向同性正态分布。这可以通过光谱异常检测对图像进行异常检测，得出相应的样本，即图像重构结果；潜在变量空间比输入变量空间简单得多。
步骤7：最后将图像重构的结果和原图像做对比，观察异常检测的结果及其偏离原结果的范围，完成对图像的异常检测。
本实施例中对于编码器和解码器都是一个256维的隐藏层。潜在维度是64维。对于自动编码器，我们使用了两个隐藏层去噪自动编码器，第一个和第二个隐藏层分别为256，64维。用第二层通过堆叠前一层输出来训练图像。对于主成分分析，我们使用了线性主成分分析和高斯核的核主成分分析。高斯核的参数使用交叉验证来估计。VAE使用重构概率作为异常得分，而其他模型使用重构误差作为异常得分，使用MNIST数据集进行操作。在MNIST数据集中，进行训练和测试样本，数据集根据类别标签分为正常数据和异常数据。为了应用半监督学习，训练数据由80％的正常数据图像组成，测试数据图像由剩余的20％的正常数据图像和所有的异常数据图像组成。因此，模型仅使用正常数据图像进行训练，并使用正常和异常数据进行测试。对于MNIST数据集，使用标记为异常的每个数字类别和标记为正常的其他数字来训练模型。
由此得出导致数据集有10个不同的异常。我们将标记为异常的数字称为异常数字。数据总数为60000，每个数字的实例数相同。只有最小最大缩放作为预处理。
对于给定MNIST数据集，本文将所有MNIST数据集给定图像像素值缩放到[0,1]区间，学习率为0.0003。
将给定的输入图像，图像是1-9之间的手写数字，如图2所示。
将上一步的图像进行重构图像，如图3所示。再计算重构差分，将计算重构差分相加得到重构误差，如图4所示。
再对这些图像得出这个过程的损失函数。损失函数图像如图5所示。
由此可以推出，因为1这个图像是单个垂直笔画的结构是非常简单，所以VAE从数据的其他部分学习了该结构。例如，如果以没有太多弯曲的刚性方式书写，垂直笔画几乎包含在任何数字中，在图2几个的数字9。这可能已经为虚拟进化者学习结构的组成部分提供了数据。尽管这个实验中使用的虚拟环境是一个相当浅的具有三个隐藏层的虚拟环境，但它似乎仍然是一个层次模型，捕捉构成数据结构的特征。当观察图3中异常数字1的样本时，这是显而易见的，其中当1不存在时，9似乎具有高重构概率。异常数字9的低性能可以从类似的意义上理解。如图3所示，由于与其他数字相比，垂直笔画从垂直笔画中突出的部分较少，所以垂直笔画占9的很大一部分。此外，对于9，似乎一种特定的书写方式9(在数字9的中间有第二个水平笔画)似乎被检测为异常。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于变分自编码器算法的图像异常检测方法，其特征在于，包括以下步骤：
步骤1：对于给定图，对图像进行异常检测时，使用重建误差作为异常分数，设置重构度阈值，将大于阈值的数据点判断为异常的数据点被认为是异常，选择阈值内的正常数据点；
步骤2：使用变分自编码器对正常数据点进行训练，训练之后，变分自编码器对正常数据点进行重建；
步骤3:计算重建后图像数据的均值和方差参数，使用均值和方差进行计算高于均值阈值的异常分数，称为重建概率；
步骤4：对图像中的数据重构概率导出原始输入变量分布的参数；
步骤5：图像重构后的图像的输入变量的参数是从近似后验分布中提取的给定潜在变量生成图像数据的概率；
步骤6：对于二进制数据，使用伯努利分布对输入的图像进行改进；在潜在变量空间分布的情况下，优选连续分布，通过光谱异常检测对图像进行异常检测，得出相应的样本，即图像重构结果；
步骤7：最后将图像重构的结果和原图像做对比，观察异常检测的结果及其偏离原结果的范围，完成对图像的异常检测。
2.根据权利要求1所述的一种基于词向量聚类的案件特征提取方法，其特征在于，步骤3中所述均值为
Figure FDA0003092262500000011
方差
Figure FDA0003092262500000012
重建概率
Figure FDA0003092262500000013
其中n为图像数据的个数，Xi图像数据，L图像的长度。
CN202110599501.6A 2021-05-31 2021-05-31 基于变分自编码器算法的图像异常检测方法 Active CN113222972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110599501.6A CN113222972B (zh) 2021-05-31 2021-05-31 基于变分自编码器算法的图像异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110599501.6A CN113222972B (zh) 2021-05-31 2021-05-31 基于变分自编码器算法的图像异常检测方法

Publications (2)

Publication Number Publication Date
CN113222972A true CN113222972A (zh) 2021-08-06
CN113222972B CN113222972B (zh) 2024-03-19

Family

ID=77081824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110599501.6A Active CN113222972B (zh) 2021-05-31 2021-05-31 基于变分自编码器算法的图像异常检测方法

Country Status (1)

Country Link
CN (1) CN113222972B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301719A (zh) * 2022-03-10 2022-04-08 中国人民解放军国防科技大学 一种基于变分自编码器的恶意更新检测方法及模型

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833208A (zh) * 2017-10-27 2018-03-23 哈尔滨工业大学 一种基于动态权重深度自编码的高光谱异常检测方法
CN109543943A (zh) * 2018-10-17 2019-03-29 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN110084255A (zh) * 2018-01-25 2019-08-02 北京京东尚科信息技术有限公司 异常数据的检测方法和装置
CN111598881A (zh) * 2020-05-19 2020-08-28 西安电子科技大学 基于变分自编码器的图像异常检测方法
CN111861272A (zh) * 2020-07-31 2020-10-30 西安交通大学 一种基于多源数据的复杂机电系统异常状态检测方法
CN112036513A (zh) * 2020-11-04 2020-12-04 成都考拉悠然科技有限公司 基于内存增强潜在空间自回归的图像异常检测方法
US20210081805A1 (en) * 2018-02-16 2021-03-18 Nippon Telegraph And Telephone Corporation Model learning apparatus, model learning method, and program
CN112784965A (zh) * 2021-01-28 2021-05-11 广西大学 面向云环境下大规模多元时间序列数据异常检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833208A (zh) * 2017-10-27 2018-03-23 哈尔滨工业大学 一种基于动态权重深度自编码的高光谱异常检测方法
CN110084255A (zh) * 2018-01-25 2019-08-02 北京京东尚科信息技术有限公司 异常数据的检测方法和装置
US20210081805A1 (en) * 2018-02-16 2021-03-18 Nippon Telegraph And Telephone Corporation Model learning apparatus, model learning method, and program
CN109543943A (zh) * 2018-10-17 2019-03-29 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN111598881A (zh) * 2020-05-19 2020-08-28 西安电子科技大学 基于变分自编码器的图像异常检测方法
CN111861272A (zh) * 2020-07-31 2020-10-30 西安交通大学 一种基于多源数据的复杂机电系统异常状态检测方法
CN112036513A (zh) * 2020-11-04 2020-12-04 成都考拉悠然科技有限公司 基于内存增强潜在空间自回归的图像异常检测方法
CN112784965A (zh) * 2021-01-28 2021-05-11 广西大学 面向云环境下大规模多元时间序列数据异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LU WANG 等: "Image Anomaly Detection Using Normal Data Only by Latent Space Resampling", 《APPLIED SCIENCES》, 3 December 2020 (2020-12-03), pages 1 - 19 *
张国芳;刘通宇;温丽丽;郭果;周忠新;袁培森;: "基于变分自编码器的日线损率异常检测研究", 《华东师范大学学报(自然科学版)》, no. 5, 25 September 2020 (2020-09-25), pages 146 - 155 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301719A (zh) * 2022-03-10 2022-04-08 中国人民解放军国防科技大学 一种基于变分自编码器的恶意更新检测方法及模型
CN114301719B (zh) * 2022-03-10 2022-05-13 中国人民解放军国防科技大学 一种基于变分自编码器的恶意更新检测方法及系统

Also Published As

Publication number Publication date
CN113222972B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
San Martin et al. Deep variational auto-encoders: A promising tool for dimensionality reduction and ball bearing elements fault diagnosis
Choi et al. Gan-based anomaly detection and localization of multivariate time series data for power plant
Li et al. Robust face recognition based on dynamic rank representation
WO2022095645A1 (zh) 基于内存增强潜在空间自回归的图像异常检测方法
Duong et al. Deep appearance models: A deep boltzmann machine approach for face modeling
Liu et al. Robust face recognition via sparse boosting representation
CN113095402B (zh) 一种基于编码输入的生成对抗网络故障检测方法及系统
Deng et al. Invariant subspace learning for time series data based on dynamic time warping distance
Shah et al. Abnormality detection using deep neural networks with robust quasi-norm autoencoding and semi-supervised learning
Zhao et al. Low-rank inter-class sparsity based semi-flexible target least squares regression for feature representation
Jia et al. On view‐invariant gait recognition: a feature selection solution
Mi et al. Robust supervised sparse representation for face recognition
Liu et al. Evaluating the generalization ability of super-resolution networks
CN113222972B (zh) 基于变分自编码器算法的图像异常检测方法
Zhu et al. A novel fault diagnosis framework for rotating machinery with hierarchical multiscale symbolic diversity entropy and robust twin hyperdisk-based tensor machine
CN108121964B (zh) 基于矩阵的联合稀疏局部保持投影人脸识别方法
Zhang et al. Flame image recognition of alumina rotary kiln by artificial neural network and support vector machine methods
Kong et al. Projection-preserving block-diagonal low-rank representation for subspace clustering
Howard et al. Identifying nonlinear variation patterns with deep autoencoders
Xiao et al. Visual tracking via adaptive random projection based on sub-regions
CN111107082A (zh) 一种基于深度信念网络的免疫入侵检测方法
CN115713670A (zh) 基于图预测网络和自动编码器的异常检测方法及系统
Sedghi et al. Low-dimensional decomposition of manifolds in presence of outliers
Li et al. F F‐norm two‐dimensional linear discriminant analysis and its application on face recognition
Chen et al. Generalized correntropy induced loss function for deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant