CN116522265A - 工业互联网时序数据异常检测方法及装置 - Google Patents

工业互联网时序数据异常检测方法及装置 Download PDF

Info

Publication number
CN116522265A
CN116522265A CN202310462292.XA CN202310462292A CN116522265A CN 116522265 A CN116522265 A CN 116522265A CN 202310462292 A CN202310462292 A CN 202310462292A CN 116522265 A CN116522265 A CN 116522265A
Authority
CN
China
Prior art keywords
time
data
scale
self
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310462292.XA
Other languages
English (en)
Inventor
谢伟
吴金龙
顾荣斌
何旭东
方晓蓉
邵佳炜
张晶
潘晨灵
刘文意
刘金锁
胡游君
周忠冉
李马峰
蔡世龙
潘安顺
顾亚林
张俊杰
邱文元
富思
李静
时宽治
王虹岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
State Grid Shanghai Electric Power Co Ltd
Nari Information and Communication Technology Co
State Grid Electric Power Research Institute
Original Assignee
Nanjing University of Aeronautics and Astronautics
State Grid Shanghai Electric Power Co Ltd
Nari Information and Communication Technology Co
State Grid Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics, State Grid Shanghai Electric Power Co Ltd, Nari Information and Communication Technology Co, State Grid Electric Power Research Institute filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202310462292.XA priority Critical patent/CN116522265A/zh
Publication of CN116522265A publication Critical patent/CN116522265A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

本发明公开了基于多尺度双向时空信息融合的工业互联网时序数据异常检测方法及装置，包括基于GAT和BiLSTM的双向时空特征提取、基于多尺度门控TCN的多尺度特征提取、基于双仿射的特征融合编码、基于变分自编码的对抗训练的和基于工业时序数据重构误差的异常检测。本发明首先通过构建的双向时空特征提取模块依次捕获多个时间序列之间的相关性和双向依赖性。其次，采用设计的多尺度特征提取模块自适应的提取时间序列的多尺度时序特征，并引入双仿射特征融合编码模块实现多尺度时序特征和双向时空特征的交叉融合，增强模型对原始数据的特征提取。最后，提出了结合对抗训练的变分自编码器来放大异常的重构误差并增强模型对训练数据噪声的抗干扰能力，提高了本发明对异常数据的区分能力和检测性能。

Description

工业互联网时序数据异常检测方法及装置
技术领域
本发明属于人工智能和计算机技术领域，具体涉及一种基于多尺度双向时空信息融合的工业互联网时序数据异常检测方法及装置。
背景技术
工业互联网将现存的孤立工业系统转化为连接的网络，增强了制造过程，但数目众多的智能传感器和设备产生的数据往往具有高度动态性和时序性，因此若能对节点状态进行智能监测将对工业流程中的自动化决策具有重要的意义。受益于无监督学习和深度学习技术的快速发展，近些年，多元时序数据异常检测方法性能有所提升，取得了较显著的成果。
时间序列异常检测的研究已经进行了几十年，是一个活跃的研究领域，在机器学习和数据挖掘中越来越受到关注。传统的异常检测方法可以分为聚类方法、基于距离的方法、基于密度的方法和基于隔离的等方法。近年来，由于深度神经网络强大的表示能力，深度学习方法受到了广泛的关注。此处只关注基于深度学习的无监督异常检测模型，现有的深度学习方法可以分为基于预测的方法和基于重构的方法两种。基于预测的方法是训练一个模型，用过去的数据来预测后验观测，异常是那些与预测结果有差异的点。包括基于自回归移动平均和长短期记忆循环神经网络有许多不同的模型都属于该类方法。而基于RNN架构的深度学习模型在工业互联网异常检测中也占据着主要地位。基于预测的方法倾向于捕获时间序列中的周期性特征导致模型易受随机波动的影响，并且由于复杂多维时间序列存在一定的不可预测性，导致其异常检测误报率偏高。基于重建的方法学习将标称数据点(nominal data point)压缩为低维表示，再基于这些压缩编码表示重构为原始数据。即通过将数据映射到低维空间中，以最小重构误差提取范数总的重要信息。一般来说，异常通常包含一些不具代表性的特征，因此很难在不损失信息的情况下将其映射到低维空间中，异常通常意味着较大的重构误差，进而实现异常检测。因此，基于重构的方法学习整个正常时间序列的潜在分布。其中自编码器AD就是异常检测中最为常用的一种重构模型，在此基础上，也陆续提出了许多新颖的重建模型。由于本发明面向工业互联网实际生产活动异常检测，检测数据不可避免的会受到噪声的影响，而基于重构方法由于只学习正常时间序列的潜在分布，再将其重构为原始数据，因此对于数据扰动和噪声更为鲁棒，因此本发明选择基于重构的方法进行异常检测。
综上所述，近几年伴随人工智能技术的发展，工业互联网时序数据异常检测工作取得了很大的进展，尽管进行了大量的研究，但绝大多数方法因未能有效地考虑到传感器之间复杂的未知拓扑关系以及工业互联网时间序列内在的不同尺度模式，从而不可避免地产生异常状态的假警报，为此本发明提出了解决上述技术问题的基于多尺度双向时空信息融合的工业互联网时序数据异常检测方法及装置。
发明内容
本发明针对上述问题提出了一种融合多尺度特征和双向时空特征的异常检测方法及装置。
工业互联网时序数据异常检测方法，包括以下步骤：
步骤S1：采用GAT和BiLSTM构建双向时空特征提取，使用图注意力层来捕获多个时间序列之间的相关性，并通过BiLSTM在获取时间序列之间相关性的基础上，捕获序列的时间特征以形成双向时空特征表示；
步骤S2：通过叠加多个不同尺度的时间卷积层，使多尺度门控TCN能够处理不同时间层次的空间依赖性，多尺度门控TCN从不同尺度提取时间序列输入的多尺度时序特征，并通过门控单元自适应选择多尺度时序特征进行合并；
步骤S3：对多尺度门控TCN合并的多尺度时序特征和时空特征表示进行融合并产生潜变量的均值和方差，以完成对输入数据的编码操作，并采用GRU堆叠两个全连接层作为解码器，通过解码器以获取最终重构结果；
步骤S4：采用两阶段的训练方式对自编码AE1和AE2进行训练，在第一阶段中对自编码AE1和AE2分别进行自训练，以学习重建正常输入数据，在第二阶段，以对抗训练的方式训练自编码器AE1和AE2，通过将AE1的重构输出重新输入到AE2进行对抗训练，最终获得训练好的模型；
步骤S5：利用训练好的模型重构测试数据，然后通过计算测试数据的重构误差来获得测试时间序列中某个点为异常的可能性，进而完成工业互联网时序数据异常检测。
进一步的，所述的步骤S1具体包括如下子步骤：
步骤S11：将等时间间隔采样的多传感器时间序列输入表示为X＝{x1,...,xT}∈RT ×k：其中，T是时间戳的最大长度，k是传感器收集的特征数量,RT×k是T行k列的矩阵，每一个时间观测点xt∈Rk都是在时间戳t下收集的多维传感器数据对时序数据，其中，Rk表示维度为k的向量，并采取滑动窗口划分操作，将多维时间序列X划分为滑动窗口W作为模型输入；
步骤S12：将滑动窗口划分后的多元时间序列W视为一个完全图，其中每个节点代表某个特征，每条边表示两个对应特征之间的关系，则每个节点可以用一个序列向量si＝{si,t|t∈[0,n)}表示，其中，n是时间戳的总数即滑动窗口大小，总共K个结点，s是每个节点的向量表示，并通过图注意力网络来捕捉相邻节点之间的关系；
步骤S13：在图注意力网络获取不同序列之间的相关性后，将GAT得到的输出序列输入前向和后向LSTM分别生成各自隐藏状态，并将其合并作为最终的双向时空特征表示。
进一步的，所述的步骤S2具体包括如下子步骤：
步骤S21：通过堆叠因果扩张卷积层和使用残差网络架构来构建TCN，采用成指数关系增大的扩张因子来构建具有不同感受野的TCN，并利用具有不同卷积核大小的多个TCN构建多尺度时间序列层，通过不同尺度的TCN学习不同尺度的特征来提取多尺度特征；
步骤S22：为每个尺度的TCN产生一个并行的时间卷积层来构建门控TCN，采用门控机制各自结果依次输入各自的门控单元，通过门控单元来自适应的选择重要的信息进行合并，作为最终的多尺度时序特征输出xms：
其中，s1表示第一个尺度的TCN中卷积核的大小，同理，sn表示第n个尺度的TCN中卷积核的大小，表示尺度大小为s1时门控TCN的输出，同理，/>表示尺度大小为sn时门控TCN的输出，[；]表示合并操作，/>表示合并后的多尺度门控特征，W是线性层的权重，b是线性层的偏置,ReLU是激活函数。
所述的步骤S3具体包括如下子步骤：
步骤S31：通过对多尺度特征提取模块和双向时空特征提取模块生成的特征进行双仿射变换实现特征之间的深度融合，并将双仿射变换的输出进行合并生成最终的多尺度双向时空特征表示x′:
x′＝Concat(xts′,xms′)
其中，Concat表示合并操作，xts′是双向时空特征提取模块的最终双向时空特征输出，xms′是多尺度门控TCN模块的最终多尺度特征输出，
步骤S32：通过GRU对多尺度双向时空特征进行特征编码以生成特征的均值和方差，并结合先验估计生成最终潜变量表示z：
μt,σt＝GRU(ht-1,x′t)
zt＝μt+σteε
其中，μt表示t时间戳数据分布的均值，ht-1表示GRU在t-1时间戳生成的隐藏状态，σt表示t时间戳数据分布的标准差，ε表示正态分布,x′t表示t时间戳下的多尺度双向时空特征表示，zt表示t时间戳下的最终潜变量，
步骤S33：通过在GRU层之后堆叠两个维度为k的全连接层作为解码器，在重构阶段利用解码器对潜变量z进行重构得到当前时间戳的重构值，并通过计算重构值与当前时间戳的真实值的差异作为异常诊断的标准。
进一步的，所述的步骤S4具体包括如下子步骤：
步骤S41：自编码AE1和AE2分别进行自训练，将正常数据经过编码器Encoder编码后同时输入解码器Decoder1和解码器Decoder2，解码器Decoder1和解码器Decoder2通过各自解码器网络重构出数据，在迭代训练结束后得到可以重构正常数据的编码器Encoder、解码器Decoder1和解码器Decoder2，其中自编码AE1和自编码AE2在自训练中的重构损失分别表示为和/>
其中，xn,i表示n时间戳输入数据xn中的第i个特征的值，AE1(xn,i)和AE2(xn,i)分别表示输入数据xn,i经过自编码器AE1和AE2重构后的值，
步骤S42：在第二阶段进行对抗训练，对抗训练的目标是自编码器AE2以区分真实数据和自编码器AE1生成的重构数据，并训练自编码器AE1以欺骗自编码器AE2，来自AE1生成的重构数据再次由编码器Encoder压缩到z，然后由自编码器AE2重建，同时使用对抗性训练的机制，AE1的目标是最小化原始数据输入和AE2输出之间的差异，这表示AE1成果的欺骗了AE2，使得AE2将AE1重构后的数据当作真实的数据，因而产生较小的重构误差，AE2的目标是最大化这一差异，表示AE2能够正确区别真实数据和重构数据，因而产生较大的重构误差，对抗训练目标是：
其中，表示AE1的目标是最小化原始数据输入和AE2重构输出之间的差异，/>表示AE2的目标是最大化原始数据输入和AE2重构输出之间的差异。
所述的步骤S5具体包括：在完成模型的构建与训练后，自编码器AE1和自编码器AE2的网络权重得到收敛，此时包含异常的测试数据用来输入模型以完成异常检测，根据模型的预测标签和真实标签来衡量模型的性能，以数据的重构误差为基础计算滑动窗口的异常分数，计算公式表示为：
其中，α参数用来衡量自编码器AE1的重构误差以及自编码器AE2重构误差之间的比例，表示测试集中第n个样本中的第i个特征的值，/>和/>分别表示输入数据xn,i经过自编码器AE1和AE2重构后的值，设定阈值∈，当/>时，则相对应的异常标签yn＝1，否则yn＝0。
工业互联网时序数据异常检测装置，包括双向时空特征提取模块、多尺度特征提取模块、双仿射特征融合编码模块、变分自编码器对抗训练模块和异常检测模块；所述的双向时空特征提取模块与多尺度特征提取模块信号连接，多尺度特征提取模块与双仿射特征融合编码模块信号连接，双仿射特征融合编码模块与变分自编码器对抗训练模块信号连接，变分自编码器对抗训练模块和异常检测模块信号连接；
所述的双向时空特征提取模块，用于获取工业互联网时序数据的双向时空特征，首先使用图注意力层来捕获多个时间序列之间的相关性，并通过BiLSTM在获取时间序列之间相关性的基础上，捕获序列的时间特征以形成双向时空特征表示；
所述的多尺度特征提取模块，用于获取工业互联网时序数据的多尺度时序特征，使用多尺度门控TCN学习不同时间层次的空间依赖性,并将各自结果依次输入各自的门控单元，通过门控单元来自适应的选择多尺度时序特征进行合并；
所述的双仿射特征融合编码模块，用于实现对多尺度特征提取模块合并的多尺度时序特征和时空特征表示进行融合并产生潜变量的均值和方差，以完成对输入数据的编码操作，并采用GRU堆叠两个全连接层作为解码器，通过解码器以获取最终重构结果；
所述的变分自编码器对抗训练模块，通过对抗训练的方式来放大异常输入的重建误差，在第一阶段中自编码AE1和AE2分别进行自训练，以学习重建正常输入数据，在第二阶段，以对抗训练的方式训练自编码器AE1和AE2，通过将AE1的重构输出重新输入到AE2进行对抗训练，最终获得训练好的模型；
所述的异常检测模块，利用训练好的模型对测试数据进行异常检测，通过计算测试数据的重构误差来获得测试时间序列中某个点为异常的可能性，进而完成工业互联网时序数据异常检测。
一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时，实现权利要求1-6任意一项所述的方法步骤。
一种电子设备，所述的电子设备包括处理器以及存储器,所述的存储器存储有计算机程序,所述的计算机程序被所述的处理器执行时，实现权利要求1-6任意一项所述的方法步骤。
一种计算机程序产品，包括计算机程序/指令，所述的计算机程序/指令被处理器执行时实现权利要求1-6任意一项所述的方法步骤。
与现有技术相比，本发明所具有的优点：
1、本发明综合考虑了工业互联网多元时序数据序列间的双向时空复杂特征关系，通过GAT的图注意力机制使得本发明模型可在无任何先验知识的情况下成功捕捉不同时间序列之间的相关性，避免了模型因特定传感器受噪声影响而降低模型整体准确率的问题。
2、本发明采用多尺度门控TCN提取时间序列的多尺度时序特征，充分考虑到了工业互联网时间序列特征的多尺度特性，并提出了基于多尺度时序特征和双向时空特征融合的双仿射模块，实现了多尺度时序特征和双向时空特征的深度融合。
3、本发明采用VAE结合对抗训练的方式，有效的解决了传统自编码器模型易受训练数据噪声影响而导致模型性能低下的问题。在广泛实验上与其它最优方法相比性能均有提升。
附图说明
图1为本发明基于多尺度双向时空信息融合的工业互联网时序数据异常检测方法的流程图；
图2为本发明基于多尺度双向时空信息融合的工业互联网时序数据异常检测模型的框架图；
图3为本发明的TCN详细结构图；
图4为本发明提出的多尺度门控TCN模型图；
图5为本发明的消融实验结果图。
图6为本发明的参数敏感性分析实验图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1所示，本发明公开了一种基于多尺度双向时空信息融合的工业互联网时序数据异常检测方法及装置，依次包括基于GAT和BiLSTM的双向时空特征提取、基于多尺度门控TCN的多尺度特征提取、基于双仿射的特征融合、基于自编码的对抗训练的和基于工业时序数据重构误差的异常检测。本发明首先通过图注意力神经网络捕获多个时间序列之间的相关性，并通过双向长短期记忆神经网络在获取时间序列之间相关性的基础上捕获时间序列的时间特征，进而更好地生成多元时间序列的双向时空关系特征。同时，充分考虑到工业互联网时间序列特征的多尺度特性，使用多尺度门控时间卷积神经网络提取时间序列的多尺度时序特征，并通过双仿射模块实现多尺度时序特征和双向时空特征的有效融合，再利用变分自编码器结合对抗训练的方式有效解决传统自编码器模型易受训练数据噪声影响而导致模型性能低下的问题，提升本发明的异常检测的性能。
如图2所示为本发明的装置结构图，从图上可以看出，本发明的整体网络架构分为两个阶段：训练阶段和异常检测阶段。在训练阶段主要通过对抗训练的方式来重建正常的时间序列。在异常检测阶段利用训练好的模型重构测试数据，然后通过计算测试数据的重构误差来获得测试时间序列中某个点为异常的可能性，对于每个时间戳的测试数据xt，得到该时间戳为异常的异常得分at。异常得分越高，说明该点异常的可能性越大。
S1，基于GAT和BiLSTM的双向时空特征提取。
本发明将等时间间隔采样的多传感器时间序列输入表示为X＝{x1,K,xT}∈RT×k：其中，T是时间戳的最大长度，k是传感器收集的特征数量,每一个时间观测点xt∈Rk都是在时间戳t下收集的多维传感器数据对时序数据，并采取滑动窗口划分操作，将多维时间序列X划分为滑动窗口W作为模型输入。将滑动窗口划分后的多元时间序列W视为一个完全图，其中每个节点代表某个特征，每条边表示两个对应特征之间的关系，则每个节点可以用一个序列向量si＝{si,t|t∈[0,n)}表示，其中，n是时间戳的总数即滑动窗口大小，K为多元时间序列特征的总数，s是每个节点的向量表示，并通过图注意力网络来捕捉相邻节点之间的关系。GAT层计算每个节点特征表示为：
其中，s′i表示每个节点i的输出表示，与输入节点sj具有相同的形状；σ表示sigmoid激活函数；αij表示注意力得分，用来衡量节点i和节点j直接的相关性，L表示节点i的相邻节点个数。注意力得分αij表示为：
其中，表示两个节点的拼接；w∈R2n是可学习的列向量，其中R2n表示维度为2n的向量，n是每个节点特征向量的维度，即时间戳的总数；exp表示以自然常数e为底的指数函数；LeakyReLU是非线性激活函数。
同时本发明为了捕获时间序列中的时间依赖性，在GAT获取不同序列之间的相关性后，使用BiLSTM捕获时序数据的双向时序特征。BiLSTM由两个输入方向相反的LSTM隐藏层组成，在这种结构下，先前和未来的信息在输出层均可被利用，因此本发明将GAT得到的输出序列输入前向和后向LSTM，分别生成隐藏状态和/>并将其合并生成最终的隐藏状态作为时间特征表示/>
其中，[；]表示合并操作，表示前向LSTM在t-1时间戳生成的隐藏状态，/>表示反向LSTM在t-1时间戳生成的隐藏状态,s′t表示t时刻的输入数据。
S2，基于多尺度门控TCN的多尺度特征提取。
本发明为获取不同尺度的时间依赖性，利用具有不同卷积核大小的多个TCN构建多尺度时间序列层，通过不同尺度的TCN构建不同尺度的特征图来提取多尺度特征。与基于RNN的方法不同，TCN能够以非递归的方式正确处理长范围序列，从而促进并行计算，缓解梯度爆炸问题。TCN利用独特的因果扩张卷积来实现指数级大的感受野，对指定长度序列数据进行整体感知，因此使用TCN使用与网络层数成指数关系的扩张因子来构建具有不同感受野的TCN。因此，因果扩张卷积表示为：
其中，F(t)为t时刻的数据输出，f(i)表示第i个滤波器，xt-d·i为t-d·i时间戳的数据输入，d为扩张因子，与网络层数成指数关系，s为滤波器的大小。
由于TCN的感受野大小取决于网络深度k以及滤波器大小s和扩张因子d的影响，因此为了使得TCN模型输出能够获取更长的历史信息，本发明通过堆叠因果扩张卷积层来实现构建TCN，并采用了残差网络架构来缓解增加深度带来的梯度消失问题，具体TCN网络结构如图3所示。
本发明为了更好的捕获多尺度时序特征，采用多个不同尺度的门控TCN进行特征提取。其中，每个尺度的门控时间卷积层由两个并行的时间卷积层(TCN-a和TCN-b)组成，本发明通过叠加多个不同尺度的时间卷积层，使得本发明的多尺度门控TCN能够处理不同时间层次的空间依赖性,并将各自结果依次输入各自的门控单元，通过门控单元来自适应的选择重要的信息进行合并，作为最终的多尺度时序特征输出：
其中，s1表示第一个尺度的TCN中卷积核的大小，同理，sn表示第n个尺度的TCN中卷积核的大小，表示尺度大小为s1时门控TCN的输出，同理，/>表示尺度大小为sn时门控TCN的输出，[；]表示合并操作，/>表示合并后的多尺度门控特征，W是线性层的权重，b是线性层的偏置,ReLU是激活函数。具体多尺度门控TCN模型如图4所示。
S3，基于双仿射的特征融合。
采用双仿射变换对特征进行融合，通过对多尺度特征模块和双向时空特征模块生成的特征进行双仿射变换实现特征之间的深度融合，双仿射变换如下：
xts′＝softmax(xmsW1(xts)T)xts
xms′＝softmax(xms′W1(xts)T)xts′
其中，softmax表示激活函数，xms和xts分别表示对多尺度特征模块和双向时空特征提取模块的输出；W1和W2表示可学习的权重矩阵。最后本发明将双仿射变换的输出进行合并生成最终的多尺度双向时空特征表示x′＝Concat(xts′,xms′)。其中，Concat表示合并操作，xts′是经过双彷射变化后的双向时空特征提取模块的最终双向时空特征输出，xms′是经过双彷射变化后的多尺度门控TCN模块的最终多尺度特征输出。通过GRU对特征进行编码生成均值和方差，并结合先验估计生成最终潜变量z：
μt,σt＝GRU(ht-1,x′t)
zt＝μt+σteε
其中，μt表示t时间戳数据分布的均值，ht-1表示GRU在t-1时间戳生成的隐藏状态，σt表示t时间戳数据分布的标准差，ε表示正态分布,x′t表示t时间戳生成的特征表示。
在重构阶段解码器通过对潜变量z进行重构得到当前时间戳的重构值，并通过计算重构值与当前时间戳的真实值的差异进行异常诊断，本发明通过在GRU层之后堆叠两个维度为k的全连接层作为解码器：
Decoder(z)＝Linear2(Linear1(GRU(z)))
xrecon＝Decoder(zt)
其中，z表示潜变量，xrecon表示经过解码后重构的值。如图2框架所示，本发明所提模型主要包括自编码器AE1和自编码器AE2，自编码器AE1由编码网络Encoder和解码网络Decoder1组成，自编码器AE2由编码网络Encoder和解码网络Decoder2组成，Decoder1和Decoder2二者具有相同的网络结构，自编码器AE1和自编码器AE2共享编码网络Encoder。其编码-解码形式如下公式所示：
AE1(xt)＝Decoder1(Encoder(xt))
AE2(xt)＝Decoder2(Encoder(xt))
S4，基于自编码的对抗训练。
采用两阶段的训练方式，在第一阶段中自编码AE1和AE2分别进行自训练，以学习重建正常输入数据。在第二阶段，以对抗训练的方式训练自编码器AE1和AE2，通过将AE1的重构输出重新输入到AE2进行对抗训练，其中AE1旨在通过重构数据欺骗AE2，AE2旨在正确判别数据是来自真实的数据还是来自于重建生成的数据。
自编码器训练：编码器Encoder、解码器Decoder1和解码器Decoder2的自编码器训练。为了使得Encoder、Decoder1和Decoder2可以重构正常数据，将正常数据经过Encoder编码后同时输入Decoder1和Decoder2，通过各自解码器网络重构出数据，在迭代训练结束后得到可以重构正常数据的编码器Encoder、解码器Decoder1和解码器Decoder2。因此，该阶段的主要目的是使得AE1和AE2可以学习到正常数据的特征分布，最小化对正常数据的重构损失，其中分别表示自编码AE1和自编码AE2在自训练中的重构损失：
其中，xn,i表示n时间戳xn中的第i个特征的值，AE1(xn,i)和AE2(xn,i)分别表示输入数据xn,i经过自编码器AE1和AE2重构后的值。
对抗训练：在第二阶段，训练的目标是自编码器AE2以区分真实数据和自编码器AE1生成的重构数据，并训练自编码器AE1以欺骗自编码器AE2。来自AE1生成的重构数据再次由编码器Encoder压缩到z，然后由自编码器AE2重建，同时使用对抗性训练的机制，AE1的目标是最小化W和AE2输出之间的差异，这表示AE1成果的欺骗了AE2，使得AE2将AE1重构后的数据当作真实的数据，因而产生较小的重构误差。AE2的目标是最大化这一差异，表示AE2能够正确区别真实数据和重构数据，因而产生较大的重构误差。对抗训练目标是：
因此，综合以上分析，在自编码器训练阶段自编码AE1和AE2的目标都是将xn,i与重构值AE1(xn,i)、AE2(xn,i)之间的重构误差降到最低，以达到充分学习数据潜在特征，而在对抗训练阶段，自编码器AE1的目标是将xn,i与经过自编码器AE1和自编码器AE2模块后的二次重建数据AE2(AE1(xn,i))之间的重构误差降至最低，反之，自编码器AE2是将这个误差尽可能的放大，以做到识别目的。对于前后两阶段的训练，本发明设置了两阶段重构误差的权重比例，会随着训练迭代次数的增加而变化，前期对于自编码器训练阶段的训练损失/>的比例较大，但随着迭代次数n的增加，会增加对抗训练阶段损失lossA所占的比例。最终将两阶段结合起来后的训练总损失，自编码器AE1和自编码器AE2的损失如下示：
同时本发明为了缓解模型对于噪声的过度拟合，引入了VAE模型，假定潜变量z符合正态分布，通过编码器网络自适应生成拟合数据分布的均值方差，再采样高斯噪声生成潜变量z，从而在重构工业时序数据时获得鲁棒性，缓解模型对于训练数据中噪声的过度拟合。训练时在损失函数中加入VAE正则项可表示为:
LossKL(θ,φ；x)＝-DKL[qφ(z|x)||pθ(z)]
其中，θ和φ分别是先验分布p和后验分布q的参数，x和z分别是变分自编码器的输入和潜变量特征表示，DKL[qφ(z|x)||pθ(z)]表示解码器与正态分布间的KL散度，LossKL(θ,φ；x)则是利用该KL散度的负值作为损失函数。
S5，基于工业时序数据重构误差的异常检测。
在完成模型的构建与训练后，自编码器AE1和自编码器AE2的网络权重得到收敛，此时包含异常的测试数据用来输入模型以完成异常检测。根据模型的预测标签和真实标签来衡量模型的性能。本发明以数据的重构误差为基础计算滑动窗口的异常分数，计算公式表示为：
其中，α参数用来衡量自编码器AE1的重构误差以及自编码器AE2重构误差之间的比例，表示测试集中第n个样本中的第i个特征的值，/>和/>分别表示输入数据xn,i经过自编码器AE1和AE2重构后的值，同时本发明采用了非参数动态阈值方法(POT)来确定阈值∈，非参数动态阈值方法(POT)是一种基于极值理论的阈值设定方法，主要参数只有风险系数，以控制假阳性数量，当/>时，则相对应的异常标签yn＝1，否则yn＝0。
实验过程由两个步骤组成。第一步是训练多尺度双向时空信息融合的异常检测模型。第二步是使用学习到的模型对测试集进行异常检测。
在训练过程中，选择AdamW作为训练优化算法，初始学习率设置为10-4，并使用在验证集上使用带有早停法的网格搜索来调整模型的参数，对GAT、BiLSTM、多尺度门控TCN、GRU编码器和解码器进行迭代优化，得到最终的参数。首先将多维时间序列X划分为滑动窗口W作为模型输入，再将滑动窗口W同时输入双向时空特征提取模块和多尺度特征提取模块，经过模型训练，获得时间序列的有效双向时空特征表示和多尺度特征表示，使用双仿射对两者进行融合，并通过融合后的特征进行编码和解码，计算自编码器的重构误差作为模型损失函数。通过最小化总体损失函数反向传播训练整体网络。
在检测阶段，使用训练好的多尺度双向时空信息融合的异常检测模型计算测试集中每个时间戳的异常得分，以此进行异常检测。
到此，本发明的工业互联网时间序列异常检测已经计算完成。实施在一台运行Windows10(64位)、配备NVIDIA GeForce GTX 1660Ti图形处理单元(GPU)和16GB内存的服务器上进行了所有的实验。使用PyTorch和Python实现。为了评估本发明，使用ECG5000、GPW、Occupancy和SWaT四个公开数据集进行测试。将本发明与基准方法SCVAE、EncDec-AD、USAD、MTAD-GAT和DAGMM进行了性能比较。
性能评价主要从精确率(Precision)、召回率(Recall)和F1-score三个指标进行。
(1)精确率。查准率表示在检测出的异常中真异常的比例。
(2)召回率。表示在所有真异常中被模型标记为异常的比例。
(3)F1-score。F1-score为综合考虑查准率和查全率的性能衡量指标。
主要目标是验证本发明所提取的工业互联网时间序列异常检测是否与功能和模块化的独立性有关，同时，测试结果的评价指标主要是精确率、召回率和F1-score。与其他方法的实验性能对比，结果如表2所示。在所有数据集上，本发明取得了非常具有前景的结果。
表1对比实验结果
表1展示了本发明方法与其他三种对比方法的实验数据，可以看出，本发明方法在ECG5000、GPW、Occupancy和SWaT四个数据集上均取得了最高的F1分数，特别是在Occupancy数据集上高出其他最高的F1分数2.3％，证明了本发明方法的有效性。EncDec-AD和SC-VAE均是通过自编码器重构正常时间序列行为，然后使用重构错误来检测异常，但由于SC-VAE使用了卷积神经网络和转置卷积神经网络分别作为编码器和解码器，而传统卷积不能很好的处理时间上的复杂依赖关系因此效果略低与EncDec-AD。但是当特征之间的相互关系变得复杂和非线性时，传统的自编码器在检测细微异常方面可能会表现不佳，因此效果略低于采用了对抗训练的USAD方式。虽然USAD采用了对抗训练的方式，但只考虑了时间上的依赖性没有考虑特征变量间的相关性，因此相比于本发明所提方法效果不佳。MTAD-GAT虽然同时考虑了双向时空信息并结合时间预测和重构误差进行异常检测，但由于未采用对抗训练的方式，在检测细微异常方面可能会表现不佳。DAGMM主要是对特征变量间的相关性进行建模，但它却忽略了沿时间维度学习每个度量的低维表示，以上这些缺陷都会导致检测性能无法达到最佳。通过表1实验发现，自编码通过将原始数据压缩为潜变量再重构出原始数据，虽然可以实现去噪的功能，但由于普通自编码器相比于VAE没有采用正则化项，当数据集中存在较多的噪声时容易过拟合，从而学习到异常分布，并且由于普通自编码是确定性映射，它只会将数据映射到学习过的分布，所以会出现将输入的正常数据，映射到学习到的异常分布并重构为异常数据，这使得部分正常数据具有较大的重构误差，因而被误判为异常。本发明采用VAE架构正是为了解决此问题，VAE属于生成式模型，使用概率编码器来模拟隐变量的分布，而不是隐变量本身，因此隐变量具有一定的可变性和随机性，并不会因为噪声数据而学习到异常分布，因此本发明有效的避免了将正常数据误判为异常的问题，从而模型的精确率高于其他方法。
为了验证本发明所提方法关键模块的有效性，本节将在GPW和Occupancy数据集上进行消融实验，本发明设计了MSTSAD的三种变体，分别命名为MSTSAD_01、MSTSAD_02和MSTSAD_03，三种模型的描述如下所示：
(1)MSTSAD_01：相比于本发明方法仅考虑双向时空关系，而不考虑多尺度时序关系；
(2)MSTSAD_02，相比于本发明方法仅考虑多尺度时序关系，而不考虑双向时空关系；
(3)MSTSAD_03，相比于本发明方法仅采用对抗训练的方式，不采用VAE架构。
从图5的实验结果可以看出，同时考虑双向时空特征和多尺度时序关系以及采用VAE架构的模型取得了最高的F1分数，与MSTSAD_02相比，MSTSAD在GPW和Occupancy上的异常检测性能提升了近2.78％、1.27％，与MSTSAD_01相比，在GPW和Occupancy上也取得了稳步的提升，因此，可以认为本发明同时提取双向时空特征和多尺度时序特征以及采用VAE架构可以更好的学习到时序数据的特征分布，进而更好的检测出异常。
为了检验设置不同超参数对本发明所提模型训练的性能影响，设计了滑动窗口大小k、潜变量维度z以及异常得分比例α的测试实验，其中第一个实验为在Occupancy数据集上固定潜变量z＝8和异常得分比例α＝0.6,主要分析滑动窗口大小k的变化对模型的影响，第二个实验固定k＝20和异常得分比例α＝0.6，分析不同z值在Occupancy数据集模型性能的差异，第三个实验固定k＝20和潜变量z＝8，分析不同异常得分比例α在Occupancy数据集模型性能的差异，图6展示了三次实验的实验结果。
本发明提供的基于多尺度双向时空信息融合的工业互联网时序数据异常检测方法的装置，包括双向时空特征提取模块、多尺度特征提取模块、双仿射特征融合编码模块、变分自编码器对抗训练模块和异常检测模块；
其中，双向时空特征提取模块用于获取工业互联网时序数据的双向时空特征，首先使用图注意力层来捕获多个时间序列之间的相关性，并通过BiLSTM在获取时间序列之间相关性的基础上，捕获序列的时间特征以形成双向时空特征表示；
其中，多尺度特征提取模块用于获取工业互联网时序数据的多尺度时序特征，使用多尺度门控TCN学习不同时间层次的空间依赖性,并将各自结果依次输入各自的门控单元，通过门控单元来自适应的选择重要的信息进行合并，作为最终的多尺度时序特征输出；
其中，双仿射特征融合编码模块用于实现来对多尺度特征和双向时空特征进行融合并产生潜变量的均值和方差，以完成对输入数据的编码操作，并采用GRU堆叠两个全连接层作为解码器，通过解码器以获取最终重构结果；
其中，变分自编码器对抗训练模块通过对抗训练的方式来放大异常输入的重建误差，在第一阶段中自编码AE1和AE2分别进行自训练，以学习重建正常输入数据。在第二阶段，以对抗训练的方式训练自编码器AE1和AE2，通过将AE1的重构输出重新输入到AE2进行对抗训练；
其中，异常检测模块利用训练好的模型对测试数据进行异常检测，通过计算测试数据的重构误差来获得测试时间序列中某个点为异常的可能性，并采用了一种非参数动态阈值方法来动态确定阈值。
此外，本发明还提供一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时，实现上述工业互联网时序数据异常检测方法的方法步骤。
此外，本发明还提供一种电子设备，所述的电子设备包括处理器以及存储器,所述的存储器存储有计算机程序,所述的计算机程序被所述的处理器执行时，实现上述工业互联网时序数据异常检测方法的方法步骤。
此外，本发明还提供一种计算机程序产品，包括计算机程序/指令，所述的计算机程序/指令被处理器执行时实现上述工业互联网时序数据异常检测方法的方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.工业互联网时序数据异常检测方法，其特征在于，包括以下步骤：
步骤S1：采用GAT和BiLSTM构建双向时空特征提取，使用图注意力层来捕获多个时间序列之间的相关性，并通过BiLSTM在获取时间序列之间相关性的基础上，捕获序列的时间特征以形成双向时空特征表示；
步骤S2：通过叠加多个不同尺度的时间卷积层，使多尺度门控TCN能够处理不同时间层次的空间依赖性，多尺度门控TCN从不同尺度提取时间序列输入的多尺度时序特征，并通过门控单元自适应选择多尺度时序特征进行合并；
步骤S3：对多尺度门控TCN合并的多尺度时序特征和时空特征表示进行融合并产生潜变量的均值和方差，以完成对输入数据的编码操作，并采用GRU堆叠两个全连接层作为解码器，通过解码器以获取最终重构结果；
步骤S4：采用两阶段的训练方式对自编码AE1和AE2进行训练，在第一阶段中对自编码AE1和AE2分别进行自训练，以学习重建正常输入数据，在第二阶段，以对抗训练的方式训练自编码器AE1和AE2，通过将AE1的重构输出重新输入到AE2进行对抗训练，最终获得训练好的模型；
步骤S5：利用训练好的模型重构测试数据，然后通过计算测试数据的重构误差来获得测试时间序列中某个点为异常的可能性，进而完成工业互联网时序数据异常检测。
2.根据权利要求1所述的工业互联网时序数据异常检测方法，其特征在于，所述的步骤S1具体包括如下子步骤：
步骤S11：将等时间间隔采样的多传感器时间序列输入表示为X＝{x1,...,xT}∈RT×k：其中，T是时间戳的最大长度，k是传感器收集的特征数量,RT×k是T行k列的矩阵，每一个时间观测点xt∈Rk都是在时间戳t下收集的多维传感器数据对时序数据，其中，Rk表示维度为k的向量，并采取滑动窗口划分操作，将多维时间序列X划分为滑动窗口W作为模型输入；
步骤S12：将滑动窗口划分后的多元时间序列W视为一个完全图，其中每个节点代表某个特征，每条边表示两个对应特征之间的关系，则每个节点可以用一个序列向量si＝{si,t|t∈[0,n)}表示，其中，n是时间戳的总数即滑动窗口大小，总共K个结点，s是每个节点的向量表示，并通过图注意力网络来捕捉相邻节点之间的关系；
步骤S13：在图注意力网络获取不同序列之间的相关性后，将GAT得到的输出序列输入前向和后向LSTM分别生成各自隐藏状态，并将其合并作为最终的双向时空特征表示。
3.根据权利要求1所述的工业互联网时序数据异常检测方法，其特征在于，所述的步骤S2具体包括如下子步骤：
步骤S21：通过堆叠因果扩张卷积层和使用残差网络架构来构建TCN，采用成指数关系增大的扩张因子来构建具有不同感受野的TCN，并利用具有不同卷积核大小的多个TCN构建多尺度时间序列层，通过不同尺度的TCN学习不同尺度的特征来提取多尺度特征；
步骤S22：为每个尺度的TCN产生一个并行的时间卷积层来构建门控TCN，采用门控机制各自结果依次输入各自的门控单元，通过门控单元来自适应的选择重要的信息进行合并，作为最终的多尺度时序特征输出xms：
其中，s1表示第一个尺度的TCN中卷积核的大小，同理，sn表示第n个尺度的TCN中卷积核的大小，表示尺度大小为s1时门控TCN的输出，同理，/>表示尺度大小为sn时门控TCN的输出，[；]表示合并操作，/>表示合并后的多尺度门控特征，W是线性层的权重，b是线性层的偏置,ReLU是激活函数。
4.根据权利要求1所述的工业互联网时序数据异常检测方法，其特征在于，所述的步骤S3具体包括如下子步骤：
步骤S31：通过对多尺度特征提取模块和双向时空特征提取模块生成的特征进行双仿射变换实现特征之间的深度融合，并将双仿射变换的输出进行合并生成最终的多尺度双向时空特征表示x＝:
x′＝Concat(xts′,xms′)
其中，Concat表示合并操作，xts′是双向时空特征提取模块的最终双向时空特征输出，xms′是多尺度门控TCN模块的最终多尺度特征输出，
步骤S32：通过GRU对多尺度双向时空特征进行特征编码以生成特征的均值和方差，并结合先验估计生成最终潜变量表示z：
μt,σt＝GRU(ht-1,x′t)
zt＝μt+σteε
其中，μt表示t时间戳数据分布的均值，ht-1表示GRU在t-1时间戳生成的隐藏状态，σt表示t时间戳数据分布的标准差，ε表示正态分布,x′t表示t时间戳下的多尺度双向时空特征表示，zt表示t时间戳下的最终潜变量，
步骤S33：通过在GRU层之后堆叠两个维度为k的全连接层作为解码器，在重构阶段利用解码器对潜变量z进行重构得到当前时间戳的重构值，并通过计算重构值与当前时间戳的真实值的差异作为异常诊断的标准。
5.根据权利要求1所述的工业互联网时序数据异常检测方法，其特征在于，所述的步骤S4具体包括如下子步骤：
步骤S41：自编码AE1和AE2分别进行自训练，将正常数据经过编码器Encoder编码后同时输入解码器Decoder1和解码器Decoder2，解码器Decoder1和解码器Decoder2通过各自解码器网络重构出数据，在迭代训练结束后得到可以重构正常数据的编码器Encoder、解码器Decoder1和解码器Decoder2，其中自编码AE1和自编码AE2在自训练中的重构损失分别表示为和/>
其中，xn,i表示n时间戳输入数据xn中的第i个特征的值，AE1(xn,i)和AE2(xn,i)分别表示输入数据xn,i经过自编码器AE1和AE2重构后的值，
步骤S42：在第二阶段进行对抗训练，对抗训练的目标是自编码器AE2以区分真实数据和自编码器AE1生成的重构数据，并训练自编码器AE1以欺骗自编码器AE2，来自AE1生成的重构数据再次由编码器Encoder压缩到z，然后由自编码器AE2重建，同时使用对抗性训练的机制，AE1的目标是最小化原始数据输入和AE2输出之间的差异，这表示AE1成果的欺骗了AE2，使得AE2将AE1重构后的数据当作真实的数据，因而产生较小的重构误差，AE2的目标是最大化这一差异，表示AE2能够正确区别真实数据和重构数据，因而产生较大的重构误差，对抗训练目标是：
其中，表示AE1的目标是最小化原始数据输入和AE2重构输出之间的差异，/>表示AE2的目标是最大化原始数据输入和AE2重构输出之间的差异。
6.根据权利要求1所述的工业互联网时序数据异常检测方法，其特征在于，所述的步骤S5具体包括：在完成模型的构建与训练后，自编码器AE1和自编码器AE2的网络权重得到收敛，此时包含异常的测试数据用来输入模型以完成异常检测，根据模型的预测标签和真实标签来衡量模型的性能，以数据的重构误差为基础计算滑动窗口的异常分数，计算公式表示为：
其中，α参数用来衡量自编码器AE1的重构误差以及自编码器AE2重构误差之间的比例，表示测试集中第n个样本中的第i个特征的值，/>和/>分别表示输入数据xn,i经过自编码器AE1和AE2重构后的值，设定阈值∈，当/>时，则相对应的异常标签yn＝1，否则yn＝0。
7.工业互联网时序数据异常检测装置，其特征在于，包括双向时空特征提取模块、多尺度特征提取模块、双仿射特征融合编码模块、变分自编码器对抗训练模块和异常检测模块；所述的双向时空特征提取模块与多尺度特征提取模块信号连接，多尺度特征提取模块与双仿射特征融合编码模块信号连接，双仿射特征融合编码模块与变分自编码器对抗训练模块信号连接，变分自编码器对抗训练模块和异常检测模块信号连接；
所述的双向时空特征提取模块，用于获取工业互联网时序数据的双向时空特征，首先使用图注意力层来捕获多个时间序列之间的相关性，并通过BiLSTM在获取时间序列之间相关性的基础上，捕获序列的时间特征以形成双向时空特征表示；
所述的多尺度特征提取模块，用于获取工业互联网时序数据的多尺度时序特征，使用多尺度门控TCN学习不同时间层次的空间依赖性,并将各自结果依次输入各自的门控单元，通过门控单元来自适应的选择多尺度时序特征进行合并；
所述的双仿射特征融合编码模块，用于实现对多尺度特征提取模块合并的多尺度时序特征和时空特征表示进行融合并产生潜变量的均值和方差，以完成对输入数据的编码操作，并采用GRU堆叠两个全连接层作为解码器，通过解码器以获取最终重构结果；
所述的变分自编码器对抗训练模块，通过对抗训练的方式来放大异常输入的重建误差，在第一阶段中自编码AE1和AE2分别进行自训练，以学习重建正常输入数据，在第二阶段，以对抗训练的方式训练自编码器AE1和AE2，通过将AE1的重构输出重新输入到AE2进行对抗训练，最终获得训练好的模型；
所述的异常检测模块，利用训练好的模型对测试数据进行异常检测，通过计算测试数据的重构误差来获得测试时间序列中某个点为异常的可能性，进而完成工业互联网时序数据异常检测。
8.一种计算机可读存储介质，其特征在于，所述的计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时，实现权利要求1-6任意一项所述的方法步骤。
9.一种电子设备，其特征在于，所述的电子设备包括处理器以及存储器,所述的存储器存储有计算机程序,所述的计算机程序被所述的处理器执行时，实现权利要求1-6任意一项所述的方法步骤。
10.一种计算机程序产品，其特征在于，包括计算机程序/指令，所述的计算机程序/指令被处理器执行时实现权利要求1-6任意一项所述的方法步骤。
CN202310462292.XA 2023-04-25 2023-04-25 工业互联网时序数据异常检测方法及装置 Pending CN116522265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310462292.XA CN116522265A (zh) 2023-04-25 2023-04-25 工业互联网时序数据异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310462292.XA CN116522265A (zh) 2023-04-25 2023-04-25 工业互联网时序数据异常检测方法及装置

Publications (1)

Publication Number Publication Date
CN116522265A true CN116522265A (zh) 2023-08-01

Family

ID=87391516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310462292.XA Pending CN116522265A (zh) 2023-04-25 2023-04-25 工业互联网时序数据异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN116522265A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915514A (zh) * 2023-09-14 2023-10-20 鹏城实验室 基于双向时间卷积网络的入侵检测方法、装置及智能汽车
CN117233615A (zh) * 2023-11-10 2023-12-15 中油绿电新能源有限公司 基于对比学习网络的电池充电过程异常检测方法及装置
CN117725543A (zh) * 2024-02-18 2024-03-19 中国民航大学 一种多元时间序列异常预测方法、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915514A (zh) * 2023-09-14 2023-10-20 鹏城实验室 基于双向时间卷积网络的入侵检测方法、装置及智能汽车
CN116915514B (zh) * 2023-09-14 2023-12-12 鹏城实验室 基于双向时间卷积网络的入侵检测方法、装置及智能汽车
CN117233615A (zh) * 2023-11-10 2023-12-15 中油绿电新能源有限公司 基于对比学习网络的电池充电过程异常检测方法及装置
CN117233615B (zh) * 2023-11-10 2024-02-06 中油绿电新能源有限公司 基于对比学习网络的电池充电过程异常检测方法及装置
CN117725543A (zh) * 2024-02-18 2024-03-19 中国民航大学 一种多元时间序列异常预测方法、电子设备及存储介质
CN117725543B (zh) * 2024-02-18 2024-05-03 中国民航大学 一种多元时间序列异常预测方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN116522265A (zh) 工业互联网时序数据异常检测方法及装置
CN115018021B (zh) 基于图结构与异常注意力机制的机房异常检测方法及装置
CN114386521A (zh) 时间序列数据的异常检测方法、系统、设备和存储介质
Nizam et al. Real-time deep anomaly detection framework for multivariate time-series data in industrial iot
Jin et al. Position encoding based convolutional neural networks for machine remaining useful life prediction
CN113343901A (zh) 基于多尺度注意力图卷积网络的人体行为识别方法
Wang et al. A cognitive memory-augmented network for visual anomaly detection
CN115587335A (zh) 异常值检测模型的训练方法、异常值检测方法及系统
CN114760098A (zh) 一种基于cnn-gru的电网虚假数据注入检测方法及装置
CN115983087B (zh) 一种注意力机制与lstm结合检测时序数据异常方法及终端机
CN116760742A (zh) 基于多阶段混合时空融合的网络流量异常检测方法及系统
CN115169430A (zh) 基于多尺度解码的云网端资源多维时间序列异常检测方法
CN117076171A (zh) 一种面向多元时序数据的异常检测及定位方法及装置
Nayak et al. Video anomaly detection using convolutional spatiotemporal autoencoder
Fu et al. MCA-DTCN: A novel dual-task temporal convolutional network with multi-channel attention for first prediction time detection and remaining useful life prediction
Qin et al. CSCAD: Correlation structure-based collective anomaly detection in complex system
CN117150402A (zh) 基于生成式对抗网络的电力数据异常检测方法及模型
CN117113139A (zh) 故障检测模型的训练方法、装置、计算机设备和存储介质
CN116662866A (zh) 基于数据插补和表征学习的端到端不完整时间序列分类方法
Zhou et al. A dendritic neuron model for exchange rate prediction
Manju et al. Early action prediction using 3DCNN with LSTM and bidirectional LSTM
CN112990428A (zh) 重复性人类活动异常运动检测
Park et al. TCAE: temporal convolutional autoencoders for time series anomaly detection
CN117314900B (zh) 一种基于半自监督特征匹配缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination