CN112766459A - 一种基于生成器的异常检测方法 - Google Patents
一种基于生成器的异常检测方法 Download PDFInfo
- Publication number
- CN112766459A CN112766459A CN202110036714.8A CN202110036714A CN112766459A CN 112766459 A CN112766459 A CN 112766459A CN 202110036714 A CN202110036714 A CN 202110036714A CN 112766459 A CN112766459 A CN 112766459A
- Authority
- CN
- China
- Prior art keywords
- generator
- encoder
- anomaly detection
- test sample
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 21
- 230000001186 cumulative effect Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computational Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及异常检测算法领域，具体涉及一种基于生成器的异常检测方法，包括神经网络架构训练异常检测模型，其特征在于：所述的神经网络架构训练异常检测模型包括编码器、生成器、判别器，所述的编码器为从数据空间到特征向量空间的编码器，在所述的编码器后置一个正则化层用以规范化特征向量的取值范围，所述的生成器与所述的编码器连接，所述的判别器添加于所述的生成器后，用以拟合分布度量；这种基于生成器的异常检测方法，实现同时利用特征向量以及正常数据流形分布的异常检测。
Description
技术领域
本发明涉及异常检测算法领域，具体涉及一种基于生成器的异常检测方法。
背景技术
异常检测问题，是一类在仅有某个类别的样本(也被称为正常样本)可用的情况下，如何通过训练一个机器学习模型或者使用一族相关指标，能够在未知类别的测试样本集中找到不同于正常样本的样本(也称为异常样本)的问题。
传统的用于解决异常检测问题的算法，一般有两种：一种是通过将样本通过某种变换(例如对于图像数据的几何算子变换或卷积神经网络，对于向量数据的傅立叶变换等)被映射成特征向量，然后在特征向量空间内找到正常样本的边界，并依此设计分数函数来确定测试样本是否属于边界内样本；一种是通过无监督学习的方式(例如Auto-encoders,GANs)找到正常样本在数据空间域的流形分布，并设计距离函数度量测试样本和这个流形质检的差异。上述两大类方法各自在不同的领域取得了较好的效果，但如何将这两者有机地结合起来，从而获取对于异常检测问题更好的算法，是我们需要考虑的问题。
发明内容
本发明的目的是提供一种基于生成器的异常检测方法，实现同时利用特征向量以及正常数据流形分布的异常检测。
为了实现以上目的，本发明采用的技术方案为：一种基于生成器的异常检测方法，包括神经网络架构训练异常检测模型，其特征在于：所述的神经网络架构训练异常检测模型包括编码器、生成器、判别器，所述的编码器为从数据空间到特征向量空间的编码器，在所述的编码器后置一个正则化层用以规范化特征向量的取值范围，所述的生成器与所述的编码器连接，所述的判别器添加于所述的生成器后，用以拟合分布度量。
进一步的，所述的方法还包括以下步骤：
S1：统计正常样本在重构误差上的分布直方图，得到测试样本的对应累积概率密度Cr；
S2：统计训练样本对应的特征向量到所有特征向量中心(即求均值)之间的距离分布直方图，得到测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd；
S3：对所述的测试样本的对应累积概率密度Cr和测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd取log并相加得到测试样本的正常程度。
本发明的技术效果在于：这种基于生成器的异常检测方法基于自动编码器和对抗生成网络同时优化重构误差以及获取正常样本的流形分布，并通过设计同时考虑特征向量空间和数据空间的分数用以判别测试样本的正常程度的方法，具有训练快、精度高、效果好的特点。
附图说明
图1为本发明实施例提供的异常检测算法的训练及测试流程示意图。
图2为本发明实施例提供的异常检测算法对分数函数设计的思路示意图。
图3为本发明实施例提供的异常检测算法在MNIST,CIFAR10上的检测效果示意图。
图4为本发明实施例提供的异常检测算法在CIFAR10上和使用重构误差方法的对比示意图。
具体实施方式
参照附图1-4，一种基于生成器的异常检测方法，包括神经网络架构训练异常检测模型，其特征在于：所述的神经网络架构训练异常检测模型包括编码器、生成器、判别器，所述的编码器为从数据空间到特征向量空间的编码器，在所述的编码器后置一个正则化层用以规范化特征向量的取值范围，所述的生成器与所述的编码器连接，所述的判别器添加于所述的生成器后，用以拟合分布度量。
优选的，所述的方法还包括以下步骤：
S1：统计正常样本在重构误差上的分布直方图，得到测试样本的对应累积概率密度Cr；
S2：统计训练样本对应的特征向量到所有特征向量中心(即求均值)之间的距离分布直方图，得到测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd；
S3：对所述的测试样本的对应累积概率密度Cr和测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd取log并相加得到测试样本的正常程度。
本发明实施基于生成器的异常检测方法包括：
在模型训练时：
1)使用编码器E将数据x映射到特征向量空间Z；
2)使用标准化层将特征向量E(x)归一化到z；
3)使用生成器G将特征向量z映射到数据空间
4)使用判别器D将真实数据x和生成数据
映射到处于[0,1]区间的数D(x)和D(x’)；
5)最小化判别器损失函数
训练判别器D的参数；
6)最小化生成器损失函数以及重构误差
训练生成器G的参数；
7)给定一个特征向量的中心z0，最小化特征向量
训练编码器E的参数。
8)在训练完成后，使用编码器E将所有训练时所用数据
(其中N时训练数据的数目)映射到特征向量空间，得到一列特征向量
对
统计得到频率直方图Hz；
9)在训练完成后，使用标准化层以及生成网络G将所有特征向量
映射到数据空间，得到一列生成数据
对
统计得到频率直方图Hr。
2.在模型测试时：
1)给定一个待检测样本x′，通过编码器E得到特征向量E(x′)，计算得到距离||E(x′)-z0||并代入到频率直方图Hz中得到分数sz(x′)＝logCz(||E(x′)-z0||)，其中Cz是Hz的累积概率密度；
2)通过标准化层以及生成网络G将特征向量映射到数据空间的
计算得到距离
并代入到频率直方图Hr中得到分数
其中Cr是Hr的累积概率密度；
3)得到x′的最终分数s(x′)＝sz(x′)+sr(x′)，当分数低时，x′是正常样本，否则为异常样本，这个阈值可以通过用户自定义选取。
可见，本发明实施例异常检测算法有效地利用待检测数据在特征向量空间以及数据空间的差异来进行是否正常的判断，因此能够展现出更好的效果。
本发明实施例提供的异常检测算法通过使用对抗生成网络的训练方式，能够获得一个更加准确的表达正常样本的流形分布，从而获得区分性更加显著的重构误差。假设没有判别器D以及概率分布损失函数，那么使用重构误差将导致复合映射
趋向于一个恒等映射，那么对于正常样本和非正常样本便几乎没有区别，从而降低模型的性能。通过添加判别器D以及概率分布损失函数，生成器G受到约束从而避免陷入恒等映射的局部最优解，由于生成器G只能生成正常样本，从而加大了正常和非正常样本之间的差异性，从而提升模型的性能。
本发明实施例提供的异常检测算法通过添加对特征向量的正则项
约束，能够获得在特征向量空间更加聚合的特征向量表达，从而获得区分性更加显著的特征向量。通过压缩编码器的输出向量与固定向量之间的距离将正常样本纳入一个非常小的区域内，那么非正常样本在经过编码后落入这个区域的概率就会变低，因此区分性就会变大，从而提升模型的性能。
本发明实施例提供的异常检测算法通过标准化层连接编码器的输出和生成器的输入，避免了分布不匹配导致的训练困难问题。众所周知，生成对抗网络需要从一个固定的先验分布中进行采样，而我们无论是使用重构误差还是上述正则项训练编码器都无法得到一个固定的先验分布。因此，使用标准化层后，能够将编码器得到的输出映射到和生成器一般所使用的标准正态分布重合度非常高的区域内，也就能够在很大程度上缓解这个问题，带来训练的便利。
本发明实施例提供的异常检测算法中的分数函数能够同时考虑到样本在特征向量空间以及数据空间上的差异性，从而获得更好的性能。以往的方法往往只关注于上述两方面之一，我们的方法能够以等权重的方式将两者结合起来，因此取得了更好的效果。为了避免出现两部分分数数量级的差距，我们使用概率直方图的方式将两部分分数统一化成了概率密度，并通过使用累积概率密度的方式，避免了分数的歧义性(参考图2)。因此我们的分数函数能够表现出更好的性能。
本发明实施例提供的异常检测算法在MNIST、Fashion-MNIST、CIFAR10这三个数据集上都成功完成了实验，如图3。结果表明，相对于其他方法，本发明实施例提供的异常检测算法可以在添加少量计算的情况下，大大提升模型的效果。
本发明实施例提供的异常检测算法在CIFAR10数据集上的依分数函数从小(正常)到大(非正常)的效果示意(见图4)明显优于仅使用重构误差训练的自动编码器。可以看到，使用像素级别的重构误差训练的模型往往会被数据中更大比例的背景信息所干扰，而我们的方法由于避免了坍缩到近似的恒等映射上，因此排序的效果更加合理。
本发明实施例提供的异常检测算与现有其它异常检测算相比具有以下优点：提出一种全新的网络架构，能够同时训练正常样本的重构误差以及流形分布；提出了一种新的分数函数，能够同时考虑待检测样本在特征向量空间以及数据空间中俄差异性。本发明实施例提供的异常检测算法在多个数据集上都取得了超越其他方法的性能
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (2)
1.一种基于生成器的异常检测方法，包括神经网络架构训练异常检测模型，其特征在于：所述的神经网络架构训练异常检测模型包括编码器、生成器、判别器，所述的编码器为从数据空间到特征向量空间的编码器，在所述的编码器后置一个正则化层用以规范化特征向量的取值范围，所述的生成器与所述的编码器连接，所述的判别器添加于所述的生成器后，用以拟合分布度量。
2.根据权利要求1所述基于生成器的异常检测方法，其特征在于：所述的方法还包括以下步骤：
S1：统计正常样本在重构误差上的分布直方图，得到测试样本的对应累积概率密度Cr；
S2：统计训练样本对应的特征向量到所有特征向量中心(即求均值)之间的距离分布直方图，得到测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd；
S3：对所述的测试样本的对应累积概率密度Cr和测试样本对应特征向量在特征向量空间中与中心距离的累积概率密度Cd取log并相加得到测试样本的正常程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110036714.8A CN112766459B (zh) | 2021-01-12 | 2021-01-12 | 一种基于生成器的异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110036714.8A CN112766459B (zh) | 2021-01-12 | 2021-01-12 | 一种基于生成器的异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766459A true CN112766459A (zh) | 2021-05-07 |
| CN112766459B CN112766459B (zh) | 2024-05-03 |
Family
ID=75701630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110036714.8A Active CN112766459B (zh) | 2021-01-12 | 2021-01-12 | 一种基于生成器的异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766459B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298240A (zh) * | 2021-12-30 | 2022-04-08 | 中山大学 | 一种针对多元时间序列的主动异常检测方法及其相关装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741292A (zh) * | 2017-10-27 | 2019-05-10 | 罗伯特·博世有限公司 | 用对抗自编码器检测第一图像数据集当中异常图像的方法 |
| CN109861953A (zh) * | 2018-05-14 | 2019-06-07 | 新华三信息安全技术有限公司 | 一种异常用户识别方法及装置 |
| CN110674882A (zh) * | 2019-09-27 | 2020-01-10 | 成都信息工程大学 | 一种基于傅立叶函数变换的异常点检测方法 |
| CN110992354A (zh) * | 2019-12-13 | 2020-04-10 | 华中科技大学 | 基于引入自动记忆机制对抗自编码器的异常区域检测方法 |
| US20200202160A1 (en) * | 2018-12-20 | 2020-06-25 | Penta Security Systems Inc. | Method and apparatus for detecting abnormal traffic based on convolutional autoencoder |
| US20200410403A1 (en) * | 2019-06-27 | 2020-12-31 | Royal Bank Of Canada | System and method for detecting data drift |
-
2021
- 2021-01-12 CN CN202110036714.8A patent/CN112766459B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741292A (zh) * | 2017-10-27 | 2019-05-10 | 罗伯特·博世有限公司 | 用对抗自编码器检测第一图像数据集当中异常图像的方法 |
| CN109861953A (zh) * | 2018-05-14 | 2019-06-07 | 新华三信息安全技术有限公司 | 一种异常用户识别方法及装置 |
| US20200202160A1 (en) * | 2018-12-20 | 2020-06-25 | Penta Security Systems Inc. | Method and apparatus for detecting abnormal traffic based on convolutional autoencoder |
| US20200410403A1 (en) * | 2019-06-27 | 2020-12-31 | Royal Bank Of Canada | System and method for detecting data drift |
| CN110674882A (zh) * | 2019-09-27 | 2020-01-10 | 成都信息工程大学 | 一种基于傅立叶函数变换的异常点检测方法 |
| CN110992354A (zh) * | 2019-12-13 | 2020-04-10 | 华中科技大学 | 基于引入自动记忆机制对抗自编码器的异常区域检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| DONG GONG等: "Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection", 《ARXIV:1904.02639V2》, pages 1 - 10 * |
| ELIES GHERBI等: "An Encoding Adversarial Network for Anomaly Detection", 《PROCEEDINGS OF MACHINE LEARNING RESEARCH 101》, pages 188 - 203 * |
| JIANYU LIU等: "A two-stage anomaly detection framework: Towards low omission rate in industrial vision applications", 《ADVANCED ENGINEERING INFORMATICS》, vol. 55 * |
| YIXIN LUO等: "Anomaly detection for image data based on data distribution and reconstruction", 《APPLIED INTELLIGENCE》, vol. 53, pages 22500 * |
| 戴俊等: "基于生成对抗网络和自动编码器的机械系统异常检测", 《仪器仪表学报》, vol. 40, no. 09, pages 16 - 26 * |
| 杨永娇等: "一种基于深度Encoder-Decoder神经网络的智能电网数据服务器流量异常检测算法", 《计算机与现代化》, no. 10, pages 66 - 71 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298240A (zh) * | 2021-12-30 | 2022-04-08 | 中山大学 | 一种针对多元时间序列的主动异常检测方法及其相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766459B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108696331B (zh) | 一种基于生成对抗网络的信号重构方法 | |
| Yu et al. | C_CART: an instance confidence-based decision tree algorithm for classification | |
| CN112766459A (zh) | 一种基于生成器的异常检测方法 | |
| CN111127532B (zh) | 基于深度学习特征光流的医学图像形变配准方法及系统 | |
| CN112200060A (zh) | 一种基于网络模型的旋转设备故障诊断方法、系统及可读存储介质 | |
| CN109039721A (zh) | 基于误差重构的节点重要性评估方法 | |
| Fawcett | PRIE: a system for generating rulelists to maximize ROC performance | |
| CN118312868A (zh) | 基于深度同心孪生网络的船舶主机小样本故障诊断方法 | |
| Xie et al. | A nonlocal self-similarity-based weighted tensor low-rank decomposition for multichannel image completion with mixture noise | |
| CN113553319A (zh) | 基于信息熵加权的lof离群点检测清洗方法、装置、设备及存储介质 | |
| Ni et al. | Multi-meter intelligent detection and recognition method under complex background | |
| CN110751201A (zh) | 基于纹理特征变换的sar装备任务失效成因推理方法 | |
| Kohns et al. | Decoupling shrinkage and selection for the Bayesian quantile regression | |
| CN115034580A (zh) | 融合数据集的质量评估方法和装置 | |
| CN115982566A (zh) | 一种水电机组多通道故障诊断方法 | |
| CN112989374B (zh) | 基于复杂网络分析的数据安全风险识别方法及装置 | |
| Hou et al. | What Has Been Enhanced in my Knowledge-Enhanced Language Model? | |
| CN112217749A (zh) | 一种盲信号分离方法及装置 | |
| CN112529080A (zh) | 一种基于频谱特征判别的图像生成方法 | |
| Wu et al. | GADF-VGG16 based fault diagnosis method for HVDC transmission lines | |
| CN110297989A (zh) | 异常检测的测试方法、装置、设备和介质 | |
| Quan et al. | Efficient semi-supervised inference for logistic regression under case-control studies | |
| CN118362805B (zh) | 一种emc的测试方法、测试装置和终端设备 | |
| CN111861967B (zh) | 用于检测辐射图像中的局部异常的网络、方法和装置 | |
| Li et al. | Rolling Bearing Fault Classification Utilizing Adaptive Density Peaks Search Clustering Based on Wavelet Packet Transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |