CN116383747A - 基于多时间尺度深度卷积生成对抗网络的异常检测方法 - Google Patents

基于多时间尺度深度卷积生成对抗网络的异常检测方法 Download PDF

Info

Publication number
CN116383747A
CN116383747A CN202310359540.8A CN202310359540A CN116383747A CN 116383747 A CN116383747 A CN 116383747A CN 202310359540 A CN202310359540 A CN 202310359540A CN 116383747 A CN116383747 A CN 116383747A
Authority
CN
China
Prior art keywords
discriminator
subsequence
normal
generator
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310359540.8A
Other languages
English (en)
Inventor
宋磊
高颂
张陈晨
杜俊蓉
桂轩昂
张健
郭丽丽
李绪志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology and Engineering Center for Space Utilization of CAS
Original Assignee
Technology and Engineering Center for Space Utilization of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology and Engineering Center for Space Utilization of CAS filed Critical Technology and Engineering Center for Space Utilization of CAS
Priority to CN202310359540.8A priority Critical patent/CN116383747A/zh
Publication of CN116383747A publication Critical patent/CN116383747A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于多时间尺度深度卷积生成对抗网络的异常检测方法，包括以下步骤：获取训练样本集；所述训练样本集由多个正常样本组成；正常样本通过引入遗忘机制的滑动窗口获得；采用所述训练样本集，对异常检测模型进行训练，得到训练完成的异常检测模型；构建由正常样本和异常样本组成的测试样本集；采用所述测试样本集，对所述训练完成的异常检测模型进行测试，得到阈值T的最优值Topt；进行异常检测。本发明基于多时间尺度，将多维时间序列时间的依赖特征和关联特征关联度表示，然后使用对抗训练实现摆脱模型对数据标签和异常样本的依赖，充分学习正常数据分布，实现无监督异常检测，具有异常检测结果准确率高的优点。

Description

基于多时间尺度深度卷积生成对抗网络的异常检测方法
技术领域
本发明属于工业设备状态监测和故障诊断技术领域，具体涉及一种基于多时间尺度深度卷积生成对抗网络的异常检测方法。
背景技术
航天技术发展迅速，已经成为衡量现代化科技水平的重要指标。对于航天工业设备来说，长期、稳定的运行是重中之重，除了高度可靠的设计方案，还需要具有完备有效的运行管理方案。运行中的设备每天承担着巨大的压力，如果这类设备发生损坏，不仅会造成巨大的经济损失，严重时还会出现灾难性事故，因此尽早的发现运行中设备的异常，并及时进行维护修复是极为关键的一环。在工业智能化进程的推动下，工业异常检测成为领域内重要的技术基础，有效、先进的异常检测技术能够更好的加速推进信息化与工业化的深度融合，推进生产过程的智能化。
系统内发生故障的原因是一个或者多个构成部件出现疲劳、损坏等现象，发生故障的表现是运行参数超出阈值范围，从而使单个设备或者系统整体性能下降、部分功能丢失甚至运行失效停止，无法继续完成工程任务。异常检测就是通过运用一定的方法和手段，发现设备运行产生的数据中不符合预期的行为模式，也是目前数据科学领域最有研究价值和应用前景的方向之一。在各类场景下，异常数据普遍存在着远小于数据集，且难以采集、确定的情况，因此在多数情况下，异常数据和正常数据的规模严重失衡，大部分处理办法是运用无监督学习方法进行异常检测任务。现有基于深度学习的异常检测方法大致可分为四类：基于深度学习分类的方法、基于预测的方法、基于转换的方法、以及基于生成模型的方法。(1)基于深度学习分类的方法：基于深度学习分类的方法比传统分类方法更适合处理高维序列，由于其学习能力较强，因此分类准确率也非常高，可以逼近任意非线性关系。但是基于神经网络的特征提取器和异常检测模型无法共同优化，会出现表征崩塌问题，难以提取出鲁棒的深度特征。(2)基于预测的方法：基于预测的方法是受到人类神经系统预测机制的启发，通过比较期望值与实际观测值进行检测异常。但是，数据中的噪声干扰、面对长序列数据容易产生梯度消失以及计算效率低下等问题，都会限制其应用。(3)基于转换的方法：基于转换的方法是通过对数据进行变形、对图像进行翻转等操作，这种方法严重依赖于数据特性，对于时间序列这类数据，难以为其设计较为通用的转换方法。(4)基于生成模型的方法：对于处理时间序列来说，基于生成模型的方法是较为有效的手段，该方法利用重构误差训练模型，仅需正常数据参与，不需要数据标签和异常数据，是一种无监督方法，目前，基于生成模型的方法以自编码器和生成对抗网络为主。
在基于生成模型进行异常检测的方法中，存在原始数据或浅层特征对多维时间序列的内在特征表示能力不足、异常数据稀缺且缺乏人工标注，而导致多维时间序列异常检测精度不高的问题。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于多时间尺度深度卷积生成对抗网络的异常检测方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于多时间尺度深度卷积生成对抗网络的异常检测方法，包括以下步骤：
步骤1，获取训练样本集；所述训练样本集由多个正常样本组成；所述训练样本集中每个训练样本的获取方式为：
步骤1.1，获取被检测设备正常工况时的n维时间序列X＝(X1,X2,...,Xn)，其中，X1,X2,...,Xn分别代表：第1维时间序列，第2维时间序列,…,第n维时间序列；
步骤1.2，设定滑动窗口长度为w，得到滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)，方法为：
步骤1.2.1，使用长度为w的滑动窗口，从X1,X2,...,Xn中各取出时间步t时的长度为w的子序列，得到n个子序列，表示为：
Figure BDA0004164536600000031
其中，Xt代表时间步t时的n个子序列的集合；/>
Figure BDA0004164536600000032
分别代表：时间步t时的第1维子序列，第2维子序列,…,第n维子序列；
步骤1.2.2，采用下式，得到滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)：
Figure BDA0004164536600000033
其中：
滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)，为n行n列矩阵，矩阵中任意元素表示为：
Figure BDA0004164536600000034
其中，i＝1,2,...,n，j＝1,2,...,n，采用下式计算：
Figure BDA0004164536600000035
其中：
k为缩放因子，k的值和滑动窗口长度w保持一致；
Figure BDA0004164536600000036
含义为：时间步t时的第i维子序列/>
Figure BDA0004164536600000037
和时间步t时的第j维子序列/>
Figure BDA0004164536600000038
相乘；
对于时间步t时的第i维子序列
Figure BDA0004164536600000039
Figure BDA00041645366000000310
中各元素在子序列的位置分别为：第w-1位置，第w-2位置,…,第0位置；时间步t时的第i维子序列
Figure BDA0004164536600000041
中的任意元素表示为：/>
Figure BDA0004164536600000042
其中，δ＝0,1,...,w-1；
对于时间步t时的第j维子序列
Figure BDA0004164536600000043
Figure BDA0004164536600000044
中各元素在子序列的位置分别为：第w-1位置，第w-2位置,…,第0位置；时间步t时的第j维子序列Xj t中的任意元素表示为：/>
Figure BDA0004164536600000045
Figure BDA0004164536600000046
代表时间步t时的第i维子序列/>
Figure BDA0004164536600000047
中的元素/>
Figure BDA0004164536600000048
的权重值，/>
Figure BDA0004164536600000049
其中，α为底数，值>1，/>
Figure BDA00041645366000000410
代表元素/>
Figure BDA00041645366000000411
在时间步t时的第i维子序列/>
Figure BDA00041645366000000412
中的位置值；
Figure BDA00041645366000000413
代表时间步t时的第j维子序列/>
Figure BDA00041645366000000414
中的元素/>
Figure BDA00041645366000000415
的权重值，/>
Figure BDA00041645366000000416
Figure BDA00041645366000000417
代表元素/>
Figure BDA00041645366000000418
在时间步t时的第j维子序列/>
Figure BDA00041645366000000419
中的位置值；
步骤1.3，改变滑动窗口长度w的值，假设将滑动窗口长度w的值设定为w1、w2和w3，则分别得到对应的引入遗忘机制的格拉姆矩阵St(w1)、St(w2)和St(w3)；
对n维时间序列X＝(X1,X2,...,Xn)进行计算，得到对应的引入遗忘机制的格拉姆矩阵St(w0)，其中，w0为n维时间序列X＝(X1,X2,...,Xn)中每个时间序列包括的元素个数，同时也为采用的滑动窗口长度w的值；
步骤1.4，将St(w1)、St(w2)、St(w3)和St(w0)进行拼接，得到一个训练样本；
步骤2，采用所述训练样本集，对异常检测模型进行训练，得到训练完成的异常检测模型；其中，所述异常检测模型采用对抗网络；
步骤3，构建由正常样本和异常样本组成的测试样本集；采用所述测试样本集，对所述训练完成的异常检测模型进行测试，得到阈值T的最优值Topt；
步骤4，采用训练完成的异常检测模型和最优值Topt，对被检测设备进行异常检测。
优选的，所述异常检测模型采用深度卷积生成对抗网络，步骤2具体为：
步骤2.1，深度卷积生成对抗网络V(G,D)包括生成器G和判别器D；
步骤2.2，从先验概率pz(z)中采样得到随机噪声向量z，将随机噪声向量z输入到生成器G，生成器G输出随机噪声向量z下的虚假数据G(z)；
将正常训练样本表示为正常训练样本y，正常训练样本y的概率密度函数为pdete(y)，代表真实数据分布；
步骤2.3，将正常训练样本y和虚假数据G(z)输入到判别器D，判别器D分别判别正常训练样本y和虚假数据G(z)的真伪，输出判别结果；
步骤2.4，采用下式，分别计算得到生成器G的损失函数lossG和判别器D的损失函数lossD：
Figure BDA0004164536600000051
Figure BDA0004164536600000052
其中：
Figure BDA0004164536600000053
代表：当判别器D的输入为来自于pdete(y)的正常训练样本y时，判别器D应输出正确判别结果，即：判别器D输出的判别结果D(y)为1；
Figure BDA0004164536600000054
代表：当判别器D的输入为来自于生成器G输出的虚假数据G(z)时，判别器D应输出错误分类结果，即：判别器D输出的判别结果D(y)为0；
步骤2.5，将生成器G的损失函数lossG，作为生成器G的反馈，进而调节生成器G的网络参数；将判别器D的损失函数lossD，作为判别器D的反馈，进而调节判别器D的网络参数；如此不断迭代，对生成器G和判别器D进行优化，使生成器G能够产生与真实数据分布相似的样本，使判别器D最大概率的区分正常训练样本和虚假数据，从而得到训练完成的生成器G和训练完成的判别器D，进而得到训练完成的异常检测模型。
优选的，生成器G包括串联的第一生成器全卷积层Dense1、第二生成器全卷积层Dense2、第一反卷积层Decon v1和第二反卷积层Decon v2，各层使用Tan作为激活函数；
判别器D包括串联的第一卷积层con v1、第二卷积层con v2、平层Flatten、第一判别器全卷积层Dense_1和第二判别器全卷积层Dense_2；其中，第一卷积层con v1、第二卷积层con v2、平层Flatten、第一判别器全卷积层Dense_1的激活函数为Tan激活函数；第二判别器全卷积层Dense_2的激活函数为Sigmoid激活函数。
优选的，步骤3具体为：
步骤3.1，设置阈值T的取值范围；在该取值范围内，对阈值T进行遍历，每遍历到一个阈值T，得到对应的一个错误率ERR；
步骤3.2，绘制错误率ERR和阈值T的曲线，将错误率ERR取最小值时的阈值T，作为阈值T的最优值Topt。
优选的，错误率ERR的获得方法为：
将输入样本y输入到训练完成的异常检测模型，训练完成的异常检测模型输出异常分数AS，采用下式，将异常分数AS与当前的阈值T进行比较，对输入样本进行正常或异常标记：
Figure BDA0004164536600000061
即：如果异常分数AS大于阈值T，标记输入样本y为正常样本1；反之，如果异常分数AS小于等于阈值T，标记输入样本y为异常样本0；
输入样本y本身具有正常或异常的属性；
综合输入样本y本身正常或异常的属性，以及标记值，得到混淆矩阵；根据混淆矩阵，得到FP、FN、TP和TN的值；根据下式，得到错误率ERR：
Figure BDA0004164536600000071
其中：
∈：为避免分母为0的极小值；
FP：被模型预测为正类的负样本数量；
FN：被模型预测为负类的正样本数量；
TP：被模型预测为正类的正样本数量；
TN：被模型预测为负类的负样本数量。
本发明提供的基于多时间尺度深度卷积生成对抗网络的异常检测方法具有以下优点：
本发明基于多时间尺度，将多维时间序列时间的依赖特征和关联特征关联度表示，然后使用对抗训练实现摆脱模型对数据标签和异常样本的依赖，充分学习正常数据分布，实现无监督异常检测，具有异常检测结果准确率高的优点。
附图说明
图1为本发明提供的采用深度卷积生成对抗网络的原理图；
图2为本发明提供的Gram矩阵示意图；
图3为本发明提供的引入遗忘机制的滑动窗口的原理图；
图4为本发明提供的多通道相关矩阵的原理图；
图5为本发明提供的对抗网络中生成器和判别器的结构图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于多时间尺度深度卷积生成对抗网络的异常检测方法，用于解决多维时间序列内在特征表示能力不足、异常数据稀缺、缺乏人工标注等问题，并针对历史数据中可能出现的异常数据误报的情况，提出相应的解决方案。本发明基于多时间尺度，将多维时间序列时间的依赖特征和关联特征关联度表示，然后使用对抗训练实现摆脱模型对数据标签和异常样本的依赖，充分学习正常数据分布，实现无监督异常检测。
本发明提供一种基于多时间尺度深度卷积生成对抗网络的异常检测方法，主要步骤为：首先基于Gram矩阵对多维时间序列进行表示，同时引入遗忘机制，得到多分辨率Gram矩阵作为输入样本；然后，使用多尺度深度卷积生成对抗网络(MTS-DCGAN)对多分辨率Gram矩阵进行无监督对抗训练，通过对抗网络内的卷积结构获取多维时间序列的潜在特征，最后基于一个新型的阈值选择方法通过异常分数判断正常数据和异常数据。
本发明提供一种基于多时间尺度深度卷积生成对抗网络的异常检测方法，用于工业设备状态监测和故障诊断，包括以下步骤：
步骤1，获取训练样本集；所述训练样本集由多个正常样本组成；所述训练样本集中每个训练样本的获取方式为：
步骤1.1，获取被检测设备正常工况时的n维时间序列X＝(X1,X2,...,Xn)，其中，X1,X2,...,Xn分别代表：第1维时间序列，第2维时间序列,…,第n维时间序列；
步骤1.2，设定滑动窗口长度为w，得到滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)，方法为：
步骤1.2.1，使用长度为w的滑动窗口，从X1,X2,...,Xn中各取出时间步t时的长度为w的子序列，得到n个子序列，表示为：
Figure BDA0004164536600000081
其中，Xt代表时间步t时的n个子序列的集合；/>
Figure BDA0004164536600000082
分别代表：时间步t时的第1维子序列，第2维子序列,…,第n维子序列；
步骤1.2.2，采用下式，得到滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)：
Figure BDA0004164536600000091
其中：
在多维时间序列中，格拉姆Gram矩阵的每个元素表示不同维度子序列之间的关联性。具体的，对于n个向量组成的多维时间序列，如果有相同的时间戳，那么就可以将Gram矩阵由图像拓展至多维时间序列。假设n维时间序列在时间步t上的表示为Xt，Gram矩阵的示意图如图2所示。
滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)，为n行n列矩阵，矩阵中任意元素表示为：
Figure BDA0004164536600000092
其中，i＝1,2,...,n，j＝1,2,...,n，采用下式计算：
Figure BDA0004164536600000093
其中：
k为缩放因子，k的值和滑动窗口长度w保持一致；当Gram矩阵发生变化时，多维时间序列内部的关联性就发生改变，从而被模型检测到。
Figure BDA0004164536600000094
含义为：时间步t时的第i维子序列/>
Figure BDA0004164536600000095
和时间步t时的第j维子序列/>
Figure BDA0004164536600000096
相乘；
对于时间步t时的第i维子序列
Figure BDA0004164536600000097
Figure BDA0004164536600000098
中各元素在子序列的位置分别为：第w-1位置，第w-2位置,…,第0位置；时间步t时的第i维子序列
Figure BDA0004164536600000099
中的任意元素表示为：/>
Figure BDA00041645366000000910
其中，δ＝0,1,...,w-1；
对于时间步t时的第j维子序列
Figure BDA00041645366000000911
Figure BDA00041645366000000912
中各元素在子序列的位置分别为：第w-1位置，第w-2位置,…,第0位置；时间步t时的第j维子序列
Figure BDA0004164536600000101
中的任意元素表示为：/>
Figure BDA0004164536600000102
Figure BDA0004164536600000103
代表时间步t时的第i维子序列/>
Figure BDA0004164536600000104
中的元素/>
Figure BDA0004164536600000105
的权重值，/>
Figure BDA0004164536600000106
其中，α为底数，值>1，/>
Figure BDA0004164536600000107
代表元素/>
Figure BDA0004164536600000108
在时间步t时的第i维子序列/>
Figure BDA0004164536600000109
中的位置值；
Figure BDA00041645366000001010
代表时间步t时的第j维子序列/>
Figure BDA00041645366000001011
中的元素/>
Figure BDA00041645366000001012
的权重值，/>
Figure BDA00041645366000001013
Figure BDA00041645366000001014
代表元素/>
Figure BDA00041645366000001015
在时间步t时的第j维子序列/>
Figure BDA00041645366000001016
中的位置值；
本发明中，将遗忘机制引入滑动窗口后，对Gram矩阵的计算公式进行更改，在滑动窗口中赋予指数加权fe(t)＝αorder(t)。具体的，与基于滑动窗口的处理方式相比，单点检测方法只处理当前时间点的样本，但普通的滑动窗口无法学习时间序列的时间依赖性，往往无法检测出上下文和集体异常。在考虑到历史数据中的异常数据对滑动窗口的影响问题，本发明将遗忘机制引入滑动窗口，距离当前时刻样本越远的历史样本，其对当前时刻样本的影响越小，所以权重越低；相反，距离当前时刻样本越近的历史样本，其对当前时刻样本的影响越大，所以权重越高，如图3所示，为权重变化示意图。
步骤1.3，改变滑动窗口长度w的值，假设将滑动窗口长度w的值设定为w1、w2和w3，则分别得到对应的引入遗忘机制的格拉姆矩阵St(w1)、St(w2)和St(w3)；
对n维时间序列X＝(X1,X2,...,Xn)进行计算，得到对应的引入遗忘机制的格拉姆矩阵St(w0)，其中，w0为n维时间序列X＝(X1,X2,...,Xn)中每个时间序列包括的元素个数，同时也为采用的滑动窗口长度w的值；
步骤1.4，将St(w1)、St(w2)、St(w3)和St(w0)进行拼接，得到一个训练样本；
步骤2，采用所述训练样本集，对异常检测模型进行训练，得到训练完成的异常检测模型；其中，所述异常检测模型采用对抗网络；
异常检测模型以深度卷积生成对抗网络为基本架构，采用深度卷积生成对抗网络，参考图1和图5，步骤2具体为：
步骤2.1，深度卷积生成对抗网络V(G,D)包括生成器G和判别器D；
步骤2.2，从先验概率pz(z)中采样得到随机噪声向量z，将随机噪声向量z输入到生成器G，生成器G输出随机噪声向量z下的虚假数据G(z)；
将正常训练样本表示为正常训练样本y，正常训练样本y的概率密度函数为pdete(y)，代表真实数据分布；
步骤2.3，将正常训练样本y和虚假数据G(z)输入到判别器D，判别器D分别判别正常训练样本y和虚假数据G(z)的真伪，输出判别结果；
步骤2.4，采用下式，分别计算得到生成器G的损失函数lossG和判别器D的损失函数lossD：
Figure BDA0004164536600000111
Figure BDA0004164536600000112
其中：
Figure BDA0004164536600000113
代表：当判别器D的输入为来自于pdete(y)的正常训练样本y时，判别器D应输出正确判别结果，即：判别器D输出的判别结果D(y)为1；
Figure BDA0004164536600000114
代表：当判别器D的输入为来自于生成器G输出的虚假数据G(z)时，判别器D应输出错误分类结果，即：判别器D输出的判别结果D(y)为0；
步骤2.5，将生成器G的损失函数lossG，作为生成器G的反馈，进而调节生成器G的网络参数；将判别器D的损失函数lossD，作为判别器D的反馈，进而调节判别器D的网络参数；如此不断迭代，对生成器G和判别器D进行优化，使生成器G能够产生与真实数据分布相似的样本，使判别器D最大概率的区分正常训练样本和虚假数据，从而得到训练完成的生成器G和训练完成的判别器D，进而得到训练完成的异常检测模型。
作为一种具体实现方式，如图5所示，生成器G包括串联的第一生成器全卷积层Dense1、第二生成器全卷积层Dense2、第一反卷积层Decon v1和第二反卷积层Decon v2，各层使用Tan作为激活函数；
判别器D包括串联的第一卷积层con v1、第二卷积层con v2、平层Flatten、第一判别器全卷积层Dense_1和第二判别器全卷积层Dense_2；其中，第一卷积层con v1、第二卷积层con v2、平层Flatten、第一判别器全卷积层Dense_1的激活函数为Tan激活函数；第二判别器全卷积层Dense_2的激活函数为Sigmoid激活函数。
步骤3，构建由正常样本和异常样本组成的测试样本集；采用所述测试样本集，对所述训练完成的异常检测模型进行测试，得到阈值T的最优值Topt；
步骤3具体为：
步骤3.1，设置阈值T的取值范围；在该取值范围内，对阈值T进行遍历，每遍历到一个阈值T，得到对应的一个错误率ERR；
错误率ERR的获得方法为：
将输入样本y输入到训练完成的异常检测模型，训练完成的异常检测模型输出异常分数AS，采用下式，将异常分数AS与当前的阈值T进行比较，对输入样本进行正常或异常标记：
Figure BDA0004164536600000121
即：如果异常分数AS大于阈值T，标记输入样本y为正常样本1；反之，如果异常分数AS小于等于阈值T，标记输入样本y为异常样本0；
输入样本y本身具有正常或异常的属性；
综合输入样本y本身正常或异常的属性，以及标记值，得到混淆矩阵；根据混淆矩阵，得到FP、FN、TP和TN的值；根据下式，得到错误率ERR：
Figure BDA0004164536600000131
其中：
∈：为避免分母为0的极小值；
FP：被模型预测为正类的负样本数量；
FN：被模型预测为负类的正样本数量；
TP：被模型预测为正类的正样本数量；
TN：被模型预测为负类的负样本数量。
步骤3.2，绘制错误率ERR和阈值T的曲线，将错误率ERR取最小值时的阈值T，作为阈值T的最优值Topt。
传统方案中，采用ROC曲线对数据集中不同类的数据分布变化不敏感，会阻碍异常检测模型选择出最优的阈值。主要原因有如下两点：一是正常样本的数量(TN+FP)远远高于异常样本的数量，从而导致TN+FP□FP，不易选出最优阈值；二是当TN□TP时，
Figure BDA0004164536600000132
在ROC的阈值搜索策略下会更多地关注数值更大的/>
Figure BDA0004164536600000133
从而导致误检率升高。
而采用本发明的阈值设置策略，TP、FP、TN和FN定义错误率(ErrorRate，ERR)。为了避免分母出现0，在分母添加一个接近0的小数∈。阈值选择方法的目标是最小化ERR，即减少误判样本的数量。
步骤4，采用训练完成的异常检测模型和最优值Topt，对被检测设备进行异常检测。
本发明基于多时间尺度深度卷积生成对抗网络的异常检测方法，异常检测结果准确率高，原因为：
(1)作为一个具有对抗学习过程的生成模型，MTS-DCGAN可以在不需要监督训练的 情况下获得出色的性能；
(2)MTS-DCGAN的生成器成功学习到正常数据分布，并能够生成高质量的Gram矩 阵，判别器可以有效识别异常；
(3)基于遗忘机制的滑动窗口和Gram矩阵可以帮助模型学习多维时间序列的潜在 分布。
下面介绍一个具体实施例：
通过具体实验例进行进一步说明，数据集选择Satelite公开数据集，该数据集是由哈佛大学提供的无监督异常检测基准数据集。该数据集来自多个来源，主要基于最初用于有监督机器学习的数据集。该数据集包括某卫星采集的多个遥测数据，包含36个标签为正常和异常的属性。软件上使用开源机器学习库Scikit-learn、深度学习框架Keras和TensorFlow来开发基准模型和MTS-DCGAN。计算机的配置为Intel(R)Xeon(R)CPU E5-2620v4 2.10GHz，并配备一块12G内存的NVIDIA TITAN X(Pascal)GPU，并选择了基准对比模型加以验证。
首先使用三个长度分别为30、60、90的滑动窗口获取不同尺度下的多维时间序列，然后利用相关性计算和遗忘机制将多尺度的时间序列转换为多分辨率的Gram矩阵，同时为了确保能从原始时间序列中获取时间依赖信息，模型增加一个原始数据通道，将原始时间序列直接和多分辨率Gram矩阵合并，最终得到输入矩阵X，如图4所示，接下来在对抗训练中，生成器通过采样自先验分布的噪声变量映射到数据空间，从而学习输入X的分布pg。判别器是一个标准卷积结构的二分类器，用于将输入X映射为一个数值D(·)∈[0,1]。判别器的输出D(·)为输入被判别为真或假的概率，判别器和生成器交替优化目标函数V(G,D)，生成器和判别器都采用SGD作为优化器。目标函数的具体表达公式为
Figure BDA0004164536600000151
为了使MTS-DCGAN的训练更加稳定，对生成器和判别器设定不同的学习率分别为0.0004和0.0001。在异常检测任务中，不平衡数据集可能会导致评价结果失效，因此训练结果的评价指标使用混淆矩阵、F1分数和MCC来评价。在基于混淆矩阵的基础上，本发明还应用了ERR阈值设置策略，ERR可以避免非平衡数据集对指标的影响，提高模型的性能。MTS-DCGAN可以自动地对不同的异常类型输出不同的异常分数，进而用来区分未见过的不同类型异常数据。
本发明主要创新包括：
(1)滑动窗口通过三个不同的尺度获取多维时间序列，加上原始数据时间序列组成四个通道的输入数据，应用Gram矩阵计算的方法计算得到的矩阵作为MTS-DCGAN模型的输入。
(2)多时间尺度深度卷积生成对抗网络，可以直接处理多维时间序列，学习正常数据的分布与特征。MTS-DCGAN以深度卷积生成对抗网络为基本架构，并对其在结构上做出调整以适应多维时间序列，在训练过程中使用仅包含正常样本的训练集来训练MTS-DCGAN，然后在包含正常样本和异常样本的测试集上完成异常检测。
(3)阈值选择方法为：在异常检测中，判别器将输入映射为一个异常分数AS，设置阈值用来区分正常样本和异常样本的边界。本发明阈值选择方法为：首先遍历所有可能的阈值T，对每个阈值T进行标记，计算混淆矩阵，利用混淆矩阵中的真正类、假负类、假正类和真负类定义错误率，ERR的最小值即为最优阈值Topt。
因此，本发明基于多滑动窗口的交叉计算方法是一种不需要先验知识就能提取多元时间序列相关特征的有效预处理方法。同时，建立遗忘机制，改进基于滑动窗口的预处理方法，可以避免历史数据对时间序列的过度影响造成异常检测的虚警。DCGANs的判别器和生成器通过同时优化，提供了一种有效的无监督异常检测方法，ERR的阈值设置策略可以获得更优异的性能。该框架在非平衡数据集下的检测精度和鲁棒性较厚，适合应用在异常检测的任务中加以应用。
本发明通过使用仅包含正常样本的训练集来训练MTS-DCGAN，通过多时间尺度滑动窗口将多维时间序列转换为多分辨率Gram矩阵，通过深度卷积结构获取潜在特征，然后在包含正常样本和异常样本的测试集上完成异常检测，并使用新的阈值选择方法，来优化正常和异常数据不平衡情况下的异常检测性能，具有异常检测性能优异的特点。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种基于多时间尺度深度卷积生成对抗网络的异常检测方法，其特征在于，包括以下步骤：
步骤1，获取训练样本集；所述训练样本集由多个正常样本组成；所述训练样本集中每个训练样本的获取方式为：
步骤1.1，获取被检测设备正常工况时的n维时间序列X＝(X1,X2,...,Xn)，其中，X1,X2,...,Xn分别代表：第1维时间序列，第2维时间序列,…,第n维时间序列；
步骤1.2，设定滑动窗口长度为w，得到滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)，方法为：
步骤1.2.1，使用长度为w的滑动窗口，从X1,X2,...,Xn中各取出时间步t时的长度为w的子序列，得到n个子序列，表示为：
Figure FDA0004164536580000011
其中，Xt代表时间步t时的n个子序列的集合；/>
Figure FDA0004164536580000012
分别代表：时间步t时的第1维子序列，第2维子序列,…,第n维子序列；
步骤1.2.2，采用下式，得到滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)：
Figure FDA0004164536580000013
其中：
滑动窗口长度为w时的引入遗忘机制的格拉姆矩阵St(w)，为n行n列矩阵，矩阵中任意元素表示为：
Figure FDA0004164536580000014
其中，i＝1,2,...,n，j＝1,2,...,n，采用下式计算：
Figure FDA0004164536580000015
其中：
k为缩放因子，k的值和滑动窗口长度w保持一致；
Figure FDA0004164536580000021
含义为：时间步t时的第i维子序列/>
Figure FDA0004164536580000022
和时间步t时的第j维子序列/>
Figure FDA0004164536580000023
相乘；
对于时间步t时的第i维子序列
Figure FDA0004164536580000024
Figure FDA0004164536580000025
中各元素在子序列的位置分别为：第w-1位置，第w-2位置,…,第0位置；时间步t时的第i维子序列/>
Figure FDA0004164536580000026
中的任意元素表示为：/>
Figure FDA0004164536580000027
其中，δ＝0,1,...,w-1；
对于时间步t时的第j维子序列
Figure FDA0004164536580000028
Figure FDA0004164536580000029
中各元素在子序列的位置分别为：第w-1位置，第w-2位置,…,第0位置；时间步t时的第j维子序列/>
Figure FDA00041645365800000210
中的任意元素表示为：/>
Figure FDA00041645365800000211
Figure FDA00041645365800000212
代表时间步t时的第i维子序列/>
Figure FDA00041645365800000213
中的元素/>
Figure FDA00041645365800000214
的权重值，
Figure FDA00041645365800000215
其中，α为底数，值>1，/>
Figure FDA00041645365800000216
代表元素/>
Figure FDA00041645365800000217
在时间步t时的第i维子序列/>
Figure FDA00041645365800000218
中的位置值；
Figure FDA00041645365800000219
代表时间步t时的第j维子序列/>
Figure FDA00041645365800000220
中的元素/>
Figure FDA00041645365800000221
的权重值，/>
Figure FDA00041645365800000222
Figure FDA00041645365800000223
代表元素/>
Figure FDA00041645365800000224
在时间步t时的第j维子序列/>
Figure FDA00041645365800000225
中的位置值；
步骤1.3，改变滑动窗口长度w的值，假设将滑动窗口长度w的值设定为w1、w2和w3，则分别得到对应的引入遗忘机制的格拉姆矩阵St(w1)、St(w2)和St(w3)；
对n维时间序列X＝(X1,X2,...,Xn)进行计算，得到对应的引入遗忘机制的格拉姆矩阵St(w0)，其中，w0为n维时间序列X＝(X1,X2,...,Xn)中每个时间序列包括的元素个数，同时也为采用的滑动窗口长度w的值；
步骤1.4，将St(w1)、St(w2)、St(w3)和St(w0)进行拼接，得到一个训练样本；
步骤2，采用所述训练样本集，对异常检测模型进行训练，得到训练完成的异常检测模型；其中，所述异常检测模型采用对抗网络；
步骤3，构建由正常样本和异常样本组成的测试样本集；采用所述测试样本集，对所述训练完成的异常检测模型进行测试，得到阈值T的最优值Topt；
步骤4，采用训练完成的异常检测模型和最优值Topt，对被检测设备进行异常检测。
2.根据权利要求1所述的基于多时间尺度深度卷积生成对抗网络的异常检测方法，其特征在于，所述异常检测模型采用深度卷积生成对抗网络，步骤2具体为：
步骤2.1，深度卷积生成对抗网络V(G,D)包括生成器G和判别器D；
步骤2.2，从先验概率pz(z)中采样得到随机噪声向量z，将随机噪声向量z输入到生成器G，生成器G输出随机噪声向量z下的虚假数据G(z)；
将正常训练样本表示为正常训练样本y，正常训练样本y的概率密度函数为pdete(y)，代表真实数据分布；
步骤2.3，将正常训练样本y和虚假数据G(z)输入到判别器D，判别器D分别判别正常训练样本y和虚假数据G(z)的真伪，输出判别结果；
步骤2.4，采用下式，分别计算得到生成器G的损失函数lossG和判别器D的损失函数lossD：
Figure FDA0004164536580000031
Figure FDA0004164536580000032
其中：
Figure FDA0004164536580000033
代表：当判别器D的输入为来自于pdete(y)的正常训练样本y时，判别器D应输出正确判别结果，即：判别器D输出的判别结果D(y)为1；
Figure FDA0004164536580000034
代表：当判别器D的输入为来自于生成器G输出的虚假数据G(z)时，判别器D应输出错误分类结果，即：判别器D输出的判别结果D(y)为0；
步骤2.5，将生成器G的损失函数lossG，作为生成器G的反馈，进而调节生成器G的网络参数；将判别器D的损失函数lossD，作为判别器D的反馈，进而调节判别器D的网络参数；如此不断迭代，对生成器G和判别器D进行优化，使生成器G能够产生与真实数据分布相似的样本，使判别器D最大概率的区分正常训练样本和虚假数据，从而得到训练完成的生成器G和训练完成的判别器D，进而得到训练完成的异常检测模型。
3.根据权利要求2所述的基于多时间尺度深度卷积生成对抗网络的异常检测方法，其特征在于，生成器G包括串联的第一生成器全卷积层Dense1、第二生成器全卷积层Dense2、第一反卷积层Decon v1和第二反卷积层Decon v2，各层使用Tan作为激活函数；
判别器D包括串联的第一卷积层con v1、第二卷积层con v2、平层Flatten、第一判别器全卷积层Dense_1和第二判别器全卷积层Dense_2；其中，第一卷积层con v1、第二卷积层con v2、平层Flatten、第一判别器全卷积层Dense_1的激活函数为Tan激活函数；第二判别器全卷积层Dense_2的激活函数为Sigmoid激活函数。
4.根据权利要求1所述的基于多时间尺度深度卷积生成对抗网络的异常检测方法，其特征在于，步骤3具体为：
步骤3.1，设置阈值T的取值范围；在该取值范围内，对阈值T进行遍历，每遍历到一个阈值T，得到对应的一个错误率ERR；
步骤3.2，绘制错误率ERR和阈值T的曲线，将错误率ERR取最小值时的阈值T，作为阈值T的最优值Topt。
5.根据权利要求4所述的基于多时间尺度深度卷积生成对抗网络的异常检测方法，其特征在于，错误率ERR的获得方法为：
将输入样本y输入到训练完成的异常检测模型，训练完成的异常检测模型输出异常分数AS，采用下式，将异常分数AS与当前的阈值T进行比较，对输入样本进行正常或异常标记：
Figure FDA0004164536580000051
即：如果异常分数AS大于阈值T，标记输入样本y为正常样本1；反之，如果异常分数AS小于等于阈值T，标记输入样本y为异常样本0；
输入样本y本身具有正常或异常的属性；
综合输入样本y本身正常或异常的属性，以及标记值，得到混淆矩阵；根据混淆矩阵，得到FP、FN、TP和TN的值；根据下式，得到错误率ERR：
Figure FDA0004164536580000052
其中：
∈：为避免分母为0的极小值；
FP：被模型预测为正类的负样本数量；
FN：被模型预测为负类的正样本数量；
TP：被模型预测为正类的正样本数量；
TN：被模型预测为负类的负样本数量。
CN202310359540.8A 2023-04-06 2023-04-06 基于多时间尺度深度卷积生成对抗网络的异常检测方法 Pending CN116383747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310359540.8A CN116383747A (zh) 2023-04-06 2023-04-06 基于多时间尺度深度卷积生成对抗网络的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310359540.8A CN116383747A (zh) 2023-04-06 2023-04-06 基于多时间尺度深度卷积生成对抗网络的异常检测方法

Publications (1)

Publication Number Publication Date
CN116383747A true CN116383747A (zh) 2023-07-04

Family

ID=86978350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310359540.8A Pending CN116383747A (zh) 2023-04-06 2023-04-06 基于多时间尺度深度卷积生成对抗网络的异常检测方法

Country Status (1)

Country Link
CN (1) CN116383747A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117834389A (zh) * 2024-03-04 2024-04-05 中国西安卫星测控中心 一种基于异常通信业务特征元矩阵的故障分析方法
CN118013361A (zh) * 2024-02-01 2024-05-10 中国铁路沈阳局集团有限公司长春高铁基础设施段 铁路上供电设备智能诊断与评估系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323228A (zh) * 2020-03-20 2020-06-23 广东技术师范大学 一种基于时间序列映射与卷积神经网络的故障诊断方法
CN113436128A (zh) * 2021-07-23 2021-09-24 山东财经大学 一种双鉴别器多模态mr图像融合方法、系统及终端
WO2022141871A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 时序数据异常检测方法、装置、设备及存储介质
US20230067842A1 (en) * 2021-09-01 2023-03-02 At&T Intellectual Property I, L.P. Time series anomaly detection and visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323228A (zh) * 2020-03-20 2020-06-23 广东技术师范大学 一种基于时间序列映射与卷积神经网络的故障诊断方法
WO2022141871A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 时序数据异常检测方法、装置、设备及存储介质
CN113436128A (zh) * 2021-07-23 2021-09-24 山东财经大学 一种双鉴别器多模态mr图像融合方法、系统及终端
US20230067842A1 (en) * 2021-09-01 2023-03-02 At&T Intellectual Property I, L.P. Time series anomaly detection and visualization

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAORAN LIANG ET.AL: "Robust unsupervised anomaly detection via multi-time scale DCGANs with forgetting mechanism for industrial multivariate time series", 《NEUROCOMPUTING》, pages 446 - 455 *
UMAPORN YOKKAMPON ET.AL: "Robust Unsupervised Anomaly Detection With Variational Autoencoder in Multivariate Time Series Data", 《IEEE ACCESS》, pages 57835 - 57849 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118013361A (zh) * 2024-02-01 2024-05-10 中国铁路沈阳局集团有限公司长春高铁基础设施段 铁路上供电设备智能诊断与评估系统
CN118013361B (zh) * 2024-02-01 2024-10-15 中国铁路沈阳局集团有限公司长春高铁基础设施段 铁路上供电设备智能诊断与评估系统
CN117834389A (zh) * 2024-03-04 2024-04-05 中国西安卫星测控中心 一种基于异常通信业务特征元矩阵的故障分析方法
CN117834389B (zh) * 2024-03-04 2024-05-03 中国西安卫星测控中心 一种基于异常通信业务特征元矩阵的故障分析方法

Similar Documents

Publication Publication Date Title
CN111914873B (zh) 一种两阶段云服务器无监督异常预测方法
Lyu et al. Image-based process monitoring using deep learning framework
CN112101426A (zh) 基于自编码器的无监督学习图像异常检测方法
CN116383747A (zh) 基于多时间尺度深度卷积生成对抗网络的异常检测方法
CN113255848A (zh) 基于大数据学习的水轮机空化声信号辨识方法
CN114676742A (zh) 一种基于注意力机制和残差网络的电网异常用电检测方法
CN111241673A (zh) 用于噪声环境工业设备的健康状态预测方法
CN113609569B (zh) 一种判别式的广义零样本学习故障诊断方法
CN110717602B (zh) 一种基于噪音数据的机器学习模型鲁棒性评估方法
CN118152901B (zh) 基于数据驱动的设备故障预测方法及系统
Chou et al. SHM data anomaly classification using machine learning strategies: A comparative study
CN116720743A (zh) 基于数据聚类和机器学习的碳排放测算方法
CN116304853A (zh) 一种极限学习机与特征提取相结合的数据分类方法及系统
Kim et al. AnoGAN-based anomaly filtering for intelligent edge device in smart factory
Yan et al. Chemical process fault diagnosis based on improved ResNet fusing CBAM and SPP
CN117992496A (zh) 一种基于时空特征融合的日志异常检测方法
CN117909881A (zh) 多源数据融合的抽油机的故障诊断方法及装置
CN117763335A (zh) 一种基于大模型的设备故障预测方法
CN116714437B (zh) 基于大数据的氢燃料电池汽车安全监控系统及监控方法
CN117521063A (zh) 基于残差神经网络并结合迁移学习的恶意软件检测方法及装置
CN117154256A (zh) 锂电池的电化学修复方法
CN116739100A (zh) 量子神经网络的漏洞检测方法及自动驾驶漏洞检测方法
CN116680639A (zh) 一种基于深度学习的深海潜水器传感器数据的异常检测方法
CN116304941A (zh) 一种基于多模型组合的海洋数据质量控制方法及装置
CN112632466A (zh) 一种基于主成分分析和深度双向长短时记忆网络的轴承故障预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230704