CN112766459B - 一种基于生成器的异常检测方法 - Google Patents

一种基于生成器的异常检测方法 Download PDF

Info

Publication number
CN112766459B
CN112766459B CN202110036714.8A CN202110036714A CN112766459B CN 112766459 B CN112766459 B CN 112766459B CN 202110036714 A CN202110036714 A CN 202110036714A CN 112766459 B CN112766459 B CN 112766459B
Authority
CN
China
Prior art keywords
feature vector
generator
encoder
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110036714.8A
Other languages
English (en)
Other versions
CN112766459A (zh
Inventor
宋艳枝
罗翌新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Liman Information Technology Co ltd
Original Assignee
Hefei Liman Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Liman Information Technology Co ltd filed Critical Hefei Liman Information Technology Co ltd
Priority to CN202110036714.8A priority Critical patent/CN112766459B/zh
Publication of CN112766459A publication Critical patent/CN112766459A/zh
Application granted granted Critical
Publication of CN112766459B publication Critical patent/CN112766459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及异常检测算法领域，具体涉及一种基于生成器的异常检测方法，包括神经网络架构训练异常检测模型，其特征在于：所述的神经网络架构训练异常检测模型包括编码器、生成器、判别器，所述的编码器为从数据空间到特征向量空间的编码器，在所述的编码器后置一个正则化层用以规范化特征向量的取值范围，所述的生成器与所述的编码器连接，所述的判别器添加于所述的生成器后，用以拟合分布度量；这种基于生成器的异常检测方法，实现同时利用特征向量以及正常数据流形分布的异常检测。

Description

一种基于生成器的异常检测方法
技术领域
本发明涉及异常检测算法领域，具体涉及一种基于生成器的异常检测方法。
背景技术
异常检测问题，是一类在仅有某个类别的样本(也被称为正常样本)可用的情况下，如何通过训练一个机器学习模型或者使用一族相关指标，能够在未知类别的测试样本集中找到不同于正常样本的样本(也称为异常样本)的问题。
传统的用于解决异常检测问题的算法，一般有两种：一种是通过将样本通过某种变换(例如对于图像数据的几何算子变换或卷积神经网络，对于向量数据的傅立叶变换等)被映射成特征向量，然后在特征向量空间内找到正常样本的边界，并依此设计分数函数来确定测试样本是否属于边界内样本；一种是通过无监督学习的方式(例如Auto-encoders,GANs)找到正常样本在数据空间域的流形分布，并设计距离函数度量测试样本和这个流形质检的差异。上述两大类方法各自在不同的领域取得了较好的效果，但如何将这两者有机地结合起来，从而获取对于异常检测问题更好的算法，是我们需要考虑的问题。
发明内容
本发明的目的是提供一种基于生成器的异常检测方法，实现同时利用特征向量以及正常数据流形分布的异常检测。
为了实现以上目的，本发明采用的技术方案为：一种基于生成器的异常检测方法，包括神经网络架构训练异常检测模型，其特征在于：所述的神经网络架构训练异常检测模型包括编码器、生成器、判别器，所述的编码器为从数据空间到特征向量空间的编码器，在所述的编码器后置一个正则化层用以规范化特征向量的取值范围，所述的生成器与所述的编码器连接，所述的判别器添加于所述的生成器后，用以拟合分布度量。
进一步的，所述的方法还包括以下步骤：
S1：统计正常样本在重构误差上的分布直方图，得到测试样本的对应累积概率密度Cr；
S2：统计训练样本对应的特征向量到所有特征向量中心(即求均值)之间的距离分布直方图，得到测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd；
S3：对所述的测试样本的对应累积概率密度Cr和测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd取log并相加得到测试样本的正常程度。
本发明的技术效果在于：这种基于生成器的异常检测方法基于自动编码器和对抗生成网络同时优化重构误差以及获取正常样本的流形分布，并通过设计同时考虑特征向量空间和数据空间的分数用以判别测试样本的正常程度的方法，具有训练快、精度高、效果好的特点。
附图说明
图1为本发明实施例提供的异常检测算法的训练及测试流程示意图。
图2为本发明实施例提供的异常检测算法对分数函数设计的思路示意图。
图3为本发明实施例提供的异常检测算法在MNIST,CIFAR10上的检测效果示意图。
图4为本发明实施例提供的异常检测算法在CIFAR10上和使用重构误差方法的对比示意图。
具体实施方式
参照附图1-4，一种基于生成器的异常检测方法，包括神经网络架构训练异常检测模型，其特征在于：所述的神经网络架构训练异常检测模型包括编码器、生成器、判别器，所述的编码器为从数据空间到特征向量空间的编码器，在所述的编码器后置一个正则化层用以规范化特征向量的取值范围，所述的生成器与所述的编码器连接，所述的判别器添加于所述的生成器后，用以拟合分布度量。
优选的，所述的方法还包括以下步骤：
S1：统计正常样本在重构误差上的分布直方图，得到测试样本的对应累积概率密度Cr；
S2：统计训练样本对应的特征向量到所有特征向量中心(即求均值)之间的距离分布直方图，得到测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd；
S3：对所述的测试样本的对应累积概率密度Cr和测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd取log并相加得到测试样本的正常程度。
本发明实施基于生成器的异常检测方法包括：
在模型训练时：
1)使用编码器E将数据x映射到特征向量空间Z；
2)使用标准化层将特征向量E(x)归一化到z；
3)使用生成器G将特征向量z映射到数据空间
4)使用判别器D将真实数据x和生成数据映射到处于[0,1]区间的数D(x)和D(x’)；
5)最小化判别器损失函数训练判别器D的参数；
6)最小化生成器损失函数以及重构误差训练生成器G的参数；
7)给定一个特征向量的中心z0，最小化特征向量训练编码器E的参数。
8)在训练完成后，使用编码器E将所有训练时所用数据(其中N时训练数据的数目)映射到特征向量空间，得到一列特征向量/>对/>统计得到频率直方图Hz；
9)在训练完成后，使用标准化层以及生成网络G将所有特征向量映射到数据空间，得到一列生成数据/>对/>统计得到频率直方图Hr。
2.在模型测试时：
1)给定一个待检测样本x′，通过编码器E得到特征向量E(x′)，计算得到距离||E(x′)-z0||并代入到频率直方图Hz中得到分数sz(x′)＝logCz(||E(x′)-z0||)，其中Cz是Hz的累积概率密度；
2)通过标准化层以及生成网络G将特征向量映射到数据空间的计算得到距离并代入到频率直方图Hr中得到分数/>其中Cr是Hr的累积概率密度；
3)得到x′的最终分数s(x′)＝sz(x′)+sr(x′)，当分数低时，x′是正常样本，否则为异常样本，这个阈值可以通过用户自定义选取。
可见，本发明实施例异常检测算法有效地利用待检测数据在特征向量空间以及数据空间的差异来进行是否正常的判断，因此能够展现出更好的效果。
本发明实施例提供的异常检测算法通过使用对抗生成网络的训练方式，能够获得一个更加准确的表达正常样本的流形分布，从而获得区分性更加显著的重构误差。假设没有判别器D以及概率分布损失函数，那么使用重构误差将导致复合映射趋向于一个恒等映射，那么对于正常样本和非正常样本便几乎没有区别，从而降低模型的性能。通过添加判别器D以及概率分布损失函数，生成器G受到约束从而避免陷入恒等映射的局部最优解，由于生成器G只能生成正常样本，从而加大了正常和非正常样本之间的差异性，从而提升模型的性能。
本发明实施例提供的异常检测算法通过添加对特征向量的正则项约束，能够获得在特征向量空间更加聚合的特征向量表达，从而获得区分性更加显著的特征向量。通过压缩编码器的输出向量与固定向量之间的距离将正常样本纳入一个非常小的区域内，那么非正常样本在经过编码后落入这个区域的概率就会变低，因此区分性就会变大，从而提升模型的性能。
本发明实施例提供的异常检测算法通过标准化层连接编码器的输出和生成器的输入，避免了分布不匹配导致的训练困难问题。众所周知，生成对抗网络需要从一个固定的先验分布中进行采样，而我们无论是使用重构误差还是上述正则项训练编码器都无法得到一个固定的先验分布。因此，使用标准化层后，能够将编码器得到的输出映射到和生成器一般所使用的标准正态分布重合度非常高的区域内，也就能够在很大程度上缓解这个问题，带来训练的便利。
本发明实施例提供的异常检测算法中的分数函数能够同时考虑到样本在特征向量空间以及数据空间上的差异性，从而获得更好的性能。以往的方法往往只关注于上述两方面之一，我们的方法能够以等权重的方式将两者结合起来，因此取得了更好的效果。为了避免出现两部分分数数量级的差距，我们使用概率直方图的方式将两部分分数统一化成了概率密度，并通过使用累积概率密度的方式，避免了分数的歧义性(参考图2)。因此我们的分数函数能够表现出更好的性能。
本发明实施例提供的异常检测算法在MNIST、Fashion-MNIST、CIFAR10这三个数据集上都成功完成了实验，如图3。结果表明，相对于其他方法，本发明实施例提供的异常检测算法可以在添加少量计算的情况下，大大提升模型的效果。
本发明实施例提供的异常检测算法在CIFAR10数据集上的依分数函数从小(正常)到大(非正常)的效果示意(见图4)明显优于仅使用重构误差训练的自动编码器。可以看到，使用像素级别的重构误差训练的模型往往会被数据中更大比例的背景信息所干扰，而我们的方法由于避免了坍缩到近似的恒等映射上，因此排序的效果更加合理。
本发明实施例提供的异常检测算与现有其它异常检测算相比具有以下优点：提出一种全新的网络架构，能够同时训练正常样本的重构误差以及流形分布；提出了一种新的分数函数，能够同时考虑待检测样本在特征向量空间以及数据空间中俄差异性。本发明实施例提供的异常检测算法在多个数据集上都取得了超越其他方法的性能
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种基于生成器的异常检测方法，包括神经网络架构训练异常检测模型，其特征在于：所述的神经网络架构训练异常检测模型包括编码器、生成器、判别器，所述的编码器为从数据空间到特征向量空间的编码器，在所述的编码器后置一个正则化层用以规范化特征向量的取值范围，所述的生成器与所述的编码器连接，所述的判别器添加于所述的生成器后，用以拟合分布度量，包括步骤：
S1：统计正常图像样本在重构误差上的分布直方图，得到测试图像样本的对应累积概率密度；
S2：统计训练图像样本对应的特征向量到所有特征向量中心之间的距离分布直方图，得到测试图像样本对应特征向量在特征向量空间中与中心距离的累积概率密度；
S3：对所述的测试图像样本的对应累积概率密度和测试图像样本对应特征向量在特征向量空间中与中心距离的累积概率密度/>取log并相加得到测试图像样本的正常程度；
在模型训练时：
1)使用编码器E将数据x映射到特征向量空间Z；
2)使用标准化层将特征向量E(x)归一化到z；
3)使用生成器G将特征向量z映射到数据空间；
4)使用判别器D将真实数据x和生成数据映射到处于[0 ,1]区间的数D(x)和D(x’)；
5)最小化判别器损失函数训练判别器D的参数；
6)最小化生成器损失函数以及重构误差训练生成器G的参数；
7)给定一个特征向量的中心，最小化特征向量/>训练编码器E的参数；
8)在训练完成后，使用编码器E将所有训练时所用数据映射到特征向量空间，得到一列特征向量/>，对/>统计得到频率直方图/>，N是训练数据的数目；
9)在训练完成后，使用标准化层以及生成网络G将所有特征向量映射到数据空间，得到一列生成数据/>，对/>统计得到频率直方图/>；
在模型测试时：
1)给定一个待检测图像样本，通过编码器E得到特征向量/>，计算得到距离并代入到频率直方图/>中得到分数/>，其中/>是/>的累积概率密度；
2)通过标准化层以及生成网络G将特征向量映射到数据空间的，计算得到距离并代入到频率直方图/>中得到分数/>，其中/>是/>的累积概率密度；
3)得到的最终分数/>，当分数低时，/>是正常图像样本，否则为异常图像样本,当分数小于预定的阈值时为正常图像样本。
2.根据权利要求1所述基于生成器的异常检测方法，其特征在于：在所述步骤S2中，所述特征向量中心即为数据均值。
CN202110036714.8A 2021-01-12 2021-01-12 一种基于生成器的异常检测方法 Active CN112766459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110036714.8A CN112766459B (zh) 2021-01-12 2021-01-12 一种基于生成器的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110036714.8A CN112766459B (zh) 2021-01-12 2021-01-12 一种基于生成器的异常检测方法

Publications (2)

Publication Number Publication Date
CN112766459A CN112766459A (zh) 2021-05-07
CN112766459B true CN112766459B (zh) 2024-05-03

Family

ID=75701630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110036714.8A Active CN112766459B (zh) 2021-01-12 2021-01-12 一种基于生成器的异常检测方法

Country Status (1)

Country Link
CN (1) CN112766459B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741292A (zh) * 2017-10-27 2019-05-10 罗伯特·博世有限公司 用对抗自编码器检测第一图像数据集当中异常图像的方法
CN109861953A (zh) * 2018-05-14 2019-06-07 新华三信息安全技术有限公司 一种异常用户识别方法及装置
CN110674882A (zh) * 2019-09-27 2020-01-10 成都信息工程大学 一种基于傅立叶函数变换的异常点检测方法
CN110992354A (zh) * 2019-12-13 2020-04-10 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102169255B1 (ko) * 2018-12-20 2020-10-23 펜타시큐리티시스템 주식회사 Cae 기반으로 비정상적인 트래픽을 탐지하는 방법 및 장치
US11544634B2 (en) * 2019-06-27 2023-01-03 Royal Bank Of Canada System and method for detecting data drift

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741292A (zh) * 2017-10-27 2019-05-10 罗伯特·博世有限公司 用对抗自编码器检测第一图像数据集当中异常图像的方法
CN109861953A (zh) * 2018-05-14 2019-06-07 新华三信息安全技术有限公司 一种异常用户识别方法及装置
CN110674882A (zh) * 2019-09-27 2020-01-10 成都信息工程大学 一种基于傅立叶函数变换的异常点检测方法
CN110992354A (zh) * 2019-12-13 2020-04-10 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A two-stage anomaly detection framework: Towards low omission rate in industrial vision applications;Jianyu Liu等;《Advanced Engineering Informatics》;第55卷;全文 *
An Encoding Adversarial Network for Anomaly Detection;Elies gherbi等;《Proceedings of Machine Learning Research 101》;188-203 *
Anomaly detection for image data based on data distribution and reconstruction;Yixin Luo等;《Applied Intelligence》;第53卷;22500–22510 *
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection;Dong Gong等;《arXiv:1904.02639v2》;1-10 *
一种基于深度Encoder-Decoder神经网络的智能电网数据服务器流量异常检测算法;杨永娇等;《计算机与现代化》(第10期);66-71 *
基于生成对抗网络和自动编码器的机械系统异常检测;戴俊等;《仪器仪表学报》;第40卷(第09期);16-26 *

Also Published As

Publication number Publication date
CN112766459A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
US11057788B2 (en) Method and system for abnormal value detection in LTE network
CN112784881B (zh) 网络异常流量检测方法、模型及系统
CN110442516B (zh) 信息处理方法、设备及计算机可读存储介质
CN112200048A (zh) 一种基于回归模型的旋转设备故障预测方法、系统及可读存储介质
CN113128612B (zh) 电力数据中异常值的处理方法及终端设备
CN112766459B (zh) 一种基于生成器的异常检测方法
CN110751201B (zh) 基于纹理特征变换的sar装备任务失效成因推理方法
CN114168788A (zh) 音频审核的处理方法、装置、设备及存储介质
CN116978105A (zh) 一种ai换脸图像异常检测方法
CN116658433A (zh) 一种耐颗粒型磁力泵智能检测方法及系统
CN115982566A (zh) 一种水电机组多通道故障诊断方法
CN114553473B (zh) 一种基于登录ip和登陆时间的异常登陆行为检测系统和方法
CN115034580A (zh) 融合数据集的质量评估方法和装置
Hsieh et al. A no-reference error-tolerability test methodology for image processing applications
Cai et al. Estimation of high-dimensional change-points under a group sparsity structure
CN114355234A (zh) 一种电源模块的智能化质量检测方法及系统
CN113283316A (zh) 一种基于声音信号的开关机械故障诊断方法、装置及设备
CN109669932B (zh) 一种基于次序依赖的电力数据集修复方法
CN112217749A (zh) 一种盲信号分离方法及装置
CN113051809A (zh) 一种基于改进受限玻尔兹曼机的虚拟健康因子构建方法
Hsieh et al. On Development of Reliable Machine Learning Systems Based on Machine Error Tolerance of Input Images
Bu et al. Measuring robustness of deep neural networks from the lens of statistical model checking
Saquib et al. Hierarchical fingerprint quality estimation scheme
CN111861967B (zh) 用于检测辐射图像中的局部异常的网络、方法和装置
Jakobs et al. SancScreen: Towards a Real-world Dataset for Evaluating Explainability Methods.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant