CN112465798A - 一种基于生成对抗网络和记忆模块的异常检测方法 - Google Patents

一种基于生成对抗网络和记忆模块的异常检测方法 Download PDF

Info

Publication number
CN112465798A
CN112465798A CN202011441942.5A CN202011441942A CN112465798A CN 112465798 A CN112465798 A CN 112465798A CN 202011441942 A CN202011441942 A CN 202011441942A CN 112465798 A CN112465798 A CN 112465798A
Authority
CN
China
Prior art keywords
network
data
memory module
sample
anomaly detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011441942.5A
Other languages
English (en)
Other versions
CN112465798B (zh
Inventor
徐昌庆
黄子键
陈丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011441942.5A priority Critical patent/CN112465798B/zh
Publication of CN112465798A publication Critical patent/CN112465798A/zh
Application granted granted Critical
Publication of CN112465798B publication Critical patent/CN112465798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于生成对抗网络和记忆模块的异常检测方法，用于解决现有技术中存在的模型对异常的重构能力过强的问题。这种方法主要提出了一种基于记忆模块的生成对抗网络模型，来学习正常数据的整体特征和数据模式，并对异常检测中的异常分值做出了新的定义，从而限制了模型对异常的重构能力。所述方法主要实现步骤为：对数据进行预处理和数据集划分；构建包含压缩网络、判别网络和估计网络的模型并利用最大最小博弈进行对抗式训练，对潜在变量空间以及生成样本的数据分布进行了限制，在学习正常数据局部特征的同时，利用记忆模块和估计网络来记住正常样本的数据模式；最后利用基于记忆模块重构误差的异常分值进行异常检测。

Description

一种基于生成对抗网络和记忆模块的异常检测方法
技术领域
本发明涉及异常检测领域，特别涉及一种基于生成对抗网络和记忆模块的异常检测方法。
背景技术
随着物联网概念和相关技术的迅速发展，海量的物联网数据为数据挖掘和数据分析技术的应用和发展提供了丰沃的土壤。在众多物联网大数据应用中，异常检测是一项应用非常广泛并且极具挑战性的任务，涉及到方方面面的日常应用。例如在交通领域的车辆违章识别和行人行为检测，在无线网络领域的网络入侵检测和流量检测，在工业领域的无线传感器异常和错误数据注入检测，在智能手机和移动应用的恶意木马和蠕虫检测，以及在医学领域的肿瘤诊断等等。对这些数据加以分析，发现新信息，预测未来并做出控制决策是至关重要的过程，可以为社会带来极大的价值，从而提高人们的生活质量和生产效率。
目前，对各种场景下异常检测方法的研究层出不穷，然而由于社会发展中产生的新兴需求，以及在新型系统中数据生成和管理的层次结构变化，导致了数据量和数据维度的不断增大，而对于异常样本的获取和分析相当有限，使得传统的异常检测方法在面对高维数据时表现不佳。近年来，深度学习技术的出现和应用使得对大规模的数据分析和挖掘成为可能，基于深度学习的异常检测方法得到快速发展。
基于生成对抗网络的异常检测方法是异常检测领域中的一个重要研究方向，然而在目前还存在着以下不足：
(1)当给定数据集的真实分布比较复杂时，生成器网络可能会被误导并生成正常样本之外的数据实例；
(2)GAN的目标是为了数据生成而非异常检测，基于判别器网络输出的异常分值可能不是最佳的评判异常的指标，需要对评价指标作出进一步设计；
(3)GAN的训练比较困难，很容易不收敛或出现“模式坍塌”的情况。因此需要对生成对抗网络做进一步的设计和限制，以使其符合异常检测任务的要求。
发明内容
为了克服现有技术中的不足，本发明提供一种基于生成对抗网络和记忆模块的异常检测方法，通过对抗式训练的方式建立模型，在提取样本局部特征的同时学习正常数据的整体表征，并利用记忆模块来记住正常数据模式，最后利用相关记忆项的重构误差作为异常分值从而实现异常检测。
为了达到上述发明目的，解决其技术问题所采用的技术方案如下：
一种基于生成对抗网络和记忆模块的异常检测方法，包括以下步骤：
步骤A：数据预处理部分，对原始数据进行数据清洗，并进行数值化和归一化处理；
步骤B：数据集划分部分，只包含正常样本的训练集以及同时包含正常样本和异常样本的测试集；
步骤C：构建模型部分，利用自动编码器、生成对抗网络模块构建模型，包括压缩网络、估计网络和判别网络；
步骤D：模型训练阶段部分，通过最大最小博弈训练生成对抗网络，同时利用重构结果与样本输入的均方误差训练自动编码器；
步骤E：异常检测阶段部分，利用记忆项与输入样本的重构误差作为异常分值，通过步骤D中训练好的模型进行异常检测。
进一步的，步骤A包含以下步骤：
步骤A1：数据清洗部分，对数据中的空值和无效值进行处理，将包含大量空值的特征丢弃，剩余空值使用其所属特征的平均值来代替；
步骤A2：数值化处理部分，数据中包含有类别属性，其值为离散化的字符串或无意义的数字类别，利用独热编码的方式将其数值化；
步骤A3：归一化处理部分，样本不同量纲的特征的取值范围可能存在较大的差异，采用离差标准化方法将数据归一化至[0,1]，加快模型收敛速度。
进一步的，步骤C包含以下步骤：
步骤C1：压缩网络部分，压缩网络由编码器En、解码器De、记忆模块M以及判别器Dc和Ds构成，对于输入数据x，首先通过编码器En将其映射为潜在变量编码zc和zs，其中zc由先验类别分布p(zc)＝Cat(zc)以及判别器Dc所限制，zs由先验高斯分布p(zs)＝N(zs∣0，I)以及判别器Ds所限制，然后利用zc从记忆模块M中获取对应的潜在表示，最后通过解码器De进行重构，获取重构样本；
步骤C2：判别网络部分，判别网络利用判别器Dx来区分输入数据是来自原始正常数据分布还是由解码器从先验分布zc和zs采样生成的数据；
步骤C3：估计网络部分，估计网络利用一个编码器E，对输入进行编码，进而预测输入的潜在编码向量
Figure BDA0002830502490000031
进一步的，步骤D包含以下步骤：
步骤D1：从训练集X选取m个样本x＝{x(l)，...，x(m)}，并从先验分布p(zc)和p(zs)中分别选取m个潜在编码向量
Figure BDA0002830502490000032
步骤D2：样本x通过自动编码器得到其对应的潜在编码向量zc和zs以及相应的重构样本
Figure BDA0002830502490000033
步骤D3：解码器利用
Figure BDA0002830502490000034
和
Figure BDA0002830502490000035
生成样本xgen，将xgen和
Figure BDA0002830502490000036
分别作为判别器Dx的输入并进行判断，通过下式来训练Dx：
Figure BDA0002830502490000037
步骤D4：将zc和
Figure BDA0002830502490000038
作为判别器Dc的输入，将zs和
Figure BDA0002830502490000039
作为判别器Ds的输入，利用下式分别训练Dc和Ds：
Figure BDA00028305024900000310
Figure BDA00028305024900000311
步骤D5：估计网络E分别对
Figure BDA0002830502490000041
和xgen进行预测，得到zgen和
Figure BDA0002830502490000042
利用下式来训练E：
Figure BDA0002830502490000043
步骤D6：利用下式来训练编码器En和De：
Figure BDA0002830502490000044
进一步的，步骤E包含以下步骤：
步骤E1：给定样本x，通过自动编码器得到其对应的潜在编码向量zc和zs，寻找与zc中最相关的独热向量ei，利用下式计算样本的异常分值A(x)：
i＝arg max(zc)
z＝(eiM，zs)
Figure BDA0002830502490000045
步骤E2：利用预先设定的阈值进行异常检测，将异常分值大于阈值的样本标记为异常。
本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：
本发明通过大量的实验证实，本发明通过引入记忆模块来存储正常样本的数据模式，并使用与样本最接近的记忆项来重构输入，保证了正常样本与异常样本之间重构误差的巨大差异，从而提高了对异常的检测能力。这种记忆模块与生成对抗网络相结合的方法不仅克服了传统基于生成对抗网络的异常检测方法泛化能力过强的缺点，同时通过重新定义的异常分值很好地限制了模型对异常的重构能力，有效地对正常样本和异常样本进行区分，减少了异常检测的漏警和误报，提高了异常检测精度，适合当前各个领域中大数据分析和挖掘的需求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1是本发明一种基于生成对抗网络和记忆模块的异常检测方法的总体架构图；
图2是本发明一种基于生成对抗网络和记忆模块的异常检测方法中压缩网络的架构图；
图3是本发明一种基于生成对抗网络和记忆模块的异常检测方法中判别网络的架构图；
图4是本发明一种基于生成对抗网络和记忆模块的异常检测方法中估计网络的架构图；
图5是本发明一种基于生成对抗网络和记忆模块的异常检测方法中异常检测的技术流程图；
图6是本发明具体实施方式中的异常检测结果示例。
具体实施方式
以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本实施例公开了一种基于生成对抗网络和记忆模块的异常检测方法，包括以下步骤：
步骤A：数据预处理部分，对原始数据进行数据清洗，并进行数值化和归一化处理；
步骤B：数据集划分部分，只包含正常样本的训练集以及同时包含正常样本和异常样本的测试集；
步骤C：构建模型部分，利用自动编码器、生成对抗网络模块构建模型，包括压缩网络、估计网络和判别网络；
步骤D：模型训练阶段部分，通过最大最小博弈训练生成对抗网络，同时利用重构结果与样本输入的均方误差训练自动编码器；
步骤E：异常检测阶段部分，利用记忆项与输入样本的重构误差作为异常分值，通过步骤D中训练好的模型进行异常检测。
进一步的，步骤A包含以下步骤：
步骤A1：数据清洗部分，对数据中的空值和无效值进行处理，将包含大量空值的特征丢弃，剩余空值使用其所属特征的平均值来代替；
步骤A2：数值化处理部分，数据中包含有类别属性，其值为离散化的字符串或无意义的数字类别，利用独热编码(One-Hot Encoding)的方式将其数值化；
步骤A3：归一化处理部分，样本不同量纲的特征的取值范围可能存在较大的差异，采用离差标准化(Min-Max Normalization)方法将数据归一化至[0,1]，加快模型收敛速度。
进一步的，步骤C包含以下步骤：
步骤C1：压缩网络部分，压缩网络由编码器En、解码器De、记忆模块M以及判别器Dc和Ds构成，对于输入数据x，首先通过编码器En将其映射为潜在变量编码zc和zs，其中zc由先验类别分布p(zc)＝Cat(zc)以及判别器Dc所限制，zs由先验高斯分布p(zs)＝N(zs∣0,I)以及判别器Ds所限制，然后利用zc从记忆模块M中获取对应的潜在表示，最后通过解码器De进行重构，获取重构样本；
步骤C2：判别网络部分，判别网络利用判别器Dx来区分输入数据是来自原始正常数据分布还是由解码器从先验分布zc和zs采样生成的数据；
步骤C3：估计网络部分，估计网络利用一个编码器E，对输入进行编码，进而预测输入的潜在编码向量
Figure BDA0002830502490000061
进一步的，步骤D包含以下步骤：
步骤D1：从训练集；选取m个样本x＝{x(l)，...，x(m)}，并从先验分布p(zc)和p(zs)中分别选取m个潜在编码向量
Figure BDA0002830502490000062
步骤D2：样本x通过自动编码器得到其对应的潜在编码向量zc和zs以及相应的重构样本
Figure BDA0002830502490000071
步骤D3：解码器利用
Figure BDA0002830502490000072
和
Figure BDA0002830502490000073
生成样本xgen，将xgen和
Figure BDA0002830502490000074
分别作为判别器Dx的输入并进行判断，通过下式来训练Dx：
Figure BDA0002830502490000075
步骤D4：将zc和
Figure BDA0002830502490000076
作为判别器Dc的输入，将zs和
Figure BDA0002830502490000077
作为判别器Ds的输入，利用下式分别训练Dc和Ds：
Figure BDA0002830502490000078
Figure BDA0002830502490000079
步骤D5：估计网络E分别对
Figure BDA00028305024900000710
和xgen进行预测，得到zgen和
Figure BDA00028305024900000711
利用下式来训练E：
Figure BDA00028305024900000712
步骤D6：利用下式来训练编码器En和De：
Figure BDA00028305024900000713
进一步的，步骤E包含以下步骤：
步骤E1：给定样本x，通过自动编码器得到其对应的潜在编码向量zc和zs，寻找与zc中最相关的独热向量ei，利用下式计算样本的异常分值A(x)：
i＝arg max(zc)
z＝(eiM，zs)
Figure BDA00028305024900000714
步骤E2：利用预先设定的阈值进行异常检测，将异常分值大于阈值的样本标记为异常。
以医疗图像中的肺炎检测为例，参照图1，对本发明的具体步骤作进一步的描述：
(1)数据预处理
收集人体肺部CT的图像，将图像数据进行裁剪至相同32x32的大小，将图片像素值归一化为[-1,1]；
(2)数据集划分
按照诊断结果是否为肺炎进行数据标注，将肺炎图像标注为1，正常图像标注为0。将正常样本按照4:1的比例划分至训练集和测试集，训练集中只包含正常样本，测试集中包含正常样本和所有异常样本。
(3)模型构建及训练
利用压缩网络、判别网络和估计网络构建模型并进行训练。
第一步，构造压缩网络。图2展示了压缩网络的具体实现过程，对于输入图像x，首先通过编码器En将其映射为潜在变量编码zc和zs，其中zc由先验类别分布p(zc)＝Cat(zc)以及判别器Dc所限制，zs由先验高斯分布p(zs)＝N(zs∣0,I)以及判别器Ds所限制，然后利用zc从记忆模块M中获取对应的潜在表示，最后通过解码器De进行重构，获取重构样本。
第二步，构造判别网络。图3展示了判别网络的具体实现过程。从先验分布p(zc)和p(zs)中采样并通过解码器生成图片xgen，原始图片x和xgen作为判别器Dx的输入，判别网络区分输入数据是来自原始正常数据分布还是由解码器生成的数据。
第三步，构造估计网络。图4展示了估计网络的具体实现过程。原始图片的重构
Figure BDA0002830502490000081
与生成的图片xgen作为估计网络的输入，利用编码器E对输入进行编码，进而预测对应的潜在编码向量
Figure BDA0002830502490000082
和
Figure BDA0002830502490000083
第四步，利用下式分别训练判别器Dx、Dc和Ds，
Figure BDA0002830502490000084
Figure BDA0002830502490000091
Figure BDA0002830502490000092
第五步，利用下式来训练E，
Figure BDA0002830502490000093
第六步，利用下式来训练编码器En和De，
Figure BDA0002830502490000094
(4)异常检测
利用上述训练好的模型进行异常检测，其流程如图5所示。对于给定的输入图片x，首先通过编码器得到对应的潜在编码向量zc和zs，寻找与zc最相似的独热向量ei，其中，i＝arg max(zc)，使用ei对记忆模块进行相应的离散表示eiM，并利用解码器进行重构，异常分值定义为重构结果与原始输入的重构误差，如下式所示，
Figure BDA0002830502490000095
将异常分值与预先设定的阈值进行比较，异常分值大于阈值的图像被判定为异常图像，而异常分值小于阈值的图像被判定为正常。
图6展示了本发明在医疗图像上的异常检测结果，其中最左边的图表示原始输入的图像，中间的图表示本发明模型对输入图像的重构结果，最右边的图表示原始图像和重构图像之间的残差图像。第一到三排表示异常图像样本，第四排和第五排表示正常图像样本，可以看出，正常样本能够得到很好地重构，几乎不存在重构误差，而异常样本的重构结果十分糟糕，显然本发明方法能够对异常进行有效地检测。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于生成对抗网络和记忆模块的异常检测方法，其特征在于，包括以下步骤：
步骤A：数据预处理部分，对原始数据进行数据清洗，并进行数值化和归一化处理；
步骤B：数据集划分部分，只包含正常样本的训练集以及同时包含正常样本和异常样本的测试集；
步骤C：构建模型部分，利用自动编码器、生成对抗网络模块构建模型，包括压缩网络、估计网络和判别网络；
步骤D：模型训练阶段部分，通过最大最小博弈训练生成对抗网络，同时利用重构结果与样本输入的均方误差训练自动编码器；
步骤E：异常检测阶段部分，利用记忆项与输入样本的重构误差作为异常分值，通过步骤D中训练好的模型进行异常检测。
2.根据权利要求1所述的一种基于生成对抗网络和记忆模块的异常检测方法，其特征在于，步骤A包含以下步骤：
步骤A1：数据清洗部分，对数据中的空值和无效值进行处理，将包含大量空值的特征丢弃，剩余空值使用其所属特征的平均值来代替；
步骤A2：数值化处理部分，数据中包含有类别属性，其值为离散化的字符串或无意义的数字类别，利用独热编码的方式将其数值化；
步骤A3：归一化处理部分，样本不同量纲的特征的取值范围可能存在较大的差异，采用离差标准化方法将数据归一化至[0,1]，加快模型收敛速度。
3.根据权利要求1所述的一种基于生成对抗网络和记忆模块的异常检测方法，其特征在于，步骤C包含以下步骤：
步骤C1：压缩网络部分，压缩网络由编码器En、解码器De、记忆模块M以及判别器Dc和Ds构成，对于输入数据x，首先通过编码器En将其映射为潜在变量编码zc和zs，其中zc由先验类别分布p(zc)＝Cat(zc)以及判别器Dc所限制，zs由先验高斯分布p(zs)＝N(zs|0，I)以及判别器Ds所限制，然后利用zc从记忆模块M中获取对应的潜在表示，最后通过解码器De进行重构，获取重构样本；
步骤C2：判别网络部分，判别网络利用判别器Dx来区分输入数据是来自原始正常数据分布还是由解码器从先验分布zc和zs采样生成的数据；
步骤C3：估计网络部分，估计网络利用一个编码器E，对输入进行编码，进而预测输入的潜在编码向量
Figure FDA0002830502480000021
4.根据权利要求1所述的一种基于生成对抗网络和记忆模块的异常检测方法，其特征在于，步骤D包含以下步骤：
步骤D1：从训练集X选取m个样本x＝{x(1)，...，x(m)}，并从先验分布p(zc)和p(zs)中分别选取m个潜在编码向量
Figure FDA0002830502480000022
步骤D2：样本x通过自动编码器得到其对应的潜在编码向量zc和zs以及相应的重构样本
Figure FDA0002830502480000023
步骤D3：解码器利用
Figure FDA0002830502480000024
和
Figure FDA0002830502480000025
生成样本xgen，将xgen和
Figure FDA0002830502480000026
分别作为判别器Dx的输入并进行判断，通过下式来训练Dx：
Figure FDA0002830502480000027
步骤D4：将zc和
Figure FDA0002830502480000028
作为判别器Dc的输入，将zs和
Figure FDA0002830502480000029
作为判别器Ds的输入，利用下式分别训练Dc和Ds：
Figure FDA00028305024800000210
Figure FDA00028305024800000211
步骤D5：估计网络E分别对
Figure FDA00028305024800000212
和xgen进行预测，得到zgen和
Figure FDA00028305024800000213
利用下式来训练E：
Figure FDA00028305024800000214
步骤D6：利用下式来训练编码器En和De：
Figure FDA00028305024800000215
5.根据权利要求1所述的一种基于生成对抗网络和记忆模块的异常检测方法，其特征在于，步骤E包含以下步骤：
步骤E1：给定样本x，通过自动编码器得到其对应的潜在编码向量zc和zs，寻找与zc中最相关的独热向量ei，利用下式计算样本的异常分值A(x)：
i＝argmax(zc)
z＝(eiM，zs)
Figure FDA0002830502480000031
步骤E2：利用预先设定的阈值进行异常检测，将异常分值大于阈值的样本标记为异常。
CN202011441942.5A 2020-12-11 2020-12-11 一种基于生成对抗网络和记忆模块的异常检测方法 Active CN112465798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011441942.5A CN112465798B (zh) 2020-12-11 2020-12-11 一种基于生成对抗网络和记忆模块的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011441942.5A CN112465798B (zh) 2020-12-11 2020-12-11 一种基于生成对抗网络和记忆模块的异常检测方法

Publications (2)

Publication Number Publication Date
CN112465798A true CN112465798A (zh) 2021-03-09
CN112465798B CN112465798B (zh) 2022-10-18

Family

ID=74802003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011441942.5A Active CN112465798B (zh) 2020-12-11 2020-12-11 一种基于生成对抗网络和记忆模块的异常检测方法

Country Status (1)

Country Link
CN (1) CN112465798B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205164A (zh) * 2021-12-16 2022-03-18 北京百度网讯科技有限公司 流量分类方法及装置、训练方法及装置、设备和介质
CN114330486A (zh) * 2021-11-18 2022-04-12 河海大学 基于改进Wasserstein GAN的电力系统不良数据辨识方法
CN116545764A (zh) * 2023-06-26 2023-08-04 烟台大学 一种工业互联网的异常数据检测方法、系统和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992354A (zh) * 2019-12-13 2020-04-10 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法
CN111967571A (zh) * 2020-07-07 2020-11-20 华东交通大学 一种基于mhma的异常检测方法和设备
CN111988277A (zh) * 2020-07-18 2020-11-24 郑州轻工业大学 一种基于双向生成对抗网络的攻击检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992354A (zh) * 2019-12-13 2020-04-10 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法
CN111967571A (zh) * 2020-07-07 2020-11-20 华东交通大学 一种基于mhma的异常检测方法和设备
CN111988277A (zh) * 2020-07-18 2020-11-24 郑州轻工业大学 一种基于双向生成对抗网络的攻击检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330486A (zh) * 2021-11-18 2022-04-12 河海大学 基于改进Wasserstein GAN的电力系统不良数据辨识方法
CN114205164A (zh) * 2021-12-16 2022-03-18 北京百度网讯科技有限公司 流量分类方法及装置、训练方法及装置、设备和介质
CN114205164B (zh) * 2021-12-16 2023-07-18 北京百度网讯科技有限公司 流量分类方法及装置、训练方法及装置、设备和介质
CN116545764A (zh) * 2023-06-26 2023-08-04 烟台大学 一种工业互联网的异常数据检测方法、系统和设备
CN116545764B (zh) * 2023-06-26 2024-02-02 烟台大学 一种工业互联网的异常数据检测方法、系统和设备

Also Published As

Publication number Publication date
CN112465798B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
Lv et al. Localizing anomalies from weakly-labeled videos
Lee et al. BMAN: Bidirectional multi-scale aggregation networks for abnormal event detection
Huang et al. Abnormal event detection using deep contrastive learning for intelligent video surveillance system
CN108764085B (zh) 基于生成对抗网络的人群计数方法
CN112465798B (zh) 一种基于生成对抗网络和记忆模块的异常检测方法
Huang et al. Self-supervision-augmented deep autoencoder for unsupervised visual anomaly detection
CN112491796B (zh) 一种基于卷积神经网络的入侵检测及语义决策树量化解释方法
Zhang et al. A multistage refinement network for salient object detection
CN112016500A (zh) 基于多尺度时间信息融合的群体异常行为识别方法及系统
Du et al. GAN-based anomaly detection for multivariate time series using polluted training set
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
Sun et al. Adversarial 3d convolutional auto-encoder for abnormal event detection in videos
CN112131421A (zh) 医学图像分类方法、装置、设备及存储介质
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
CN113269228B (zh) 一种图网络分类模型的训练方法、装置、系统及电子设备
CN116311214B (zh) 车牌识别方法和装置
Kim et al. Video anomaly detection using Cross U-Net and cascade sliding window
CN113435432B (zh) 视频异常检测模型训练方法、视频异常检测方法和装置
Wang et al. Mutuality-oriented reconstruction and prediction hybrid network for video anomaly detection
CN114218998A (zh) 一种基于隐马尔可夫模型的电力系统异常行为分析方法
CN116975728B (zh) 用于煤层气钻井工程的安全管理方法及其系统
CN117152486A (zh) 一种基于可解释性的图像对抗样本检测方法
CN115099321B (zh) 双向自回归无监督预训练微调式排污异常监控方法及应用
Li et al. STADE-CDNet: Spatial–Temporal Attention With Difference Enhancement-Based Network for Remote Sensing Image Change Detection
CN111797732B (zh) 一种对采样不敏感的视频动作识别对抗攻击方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant