CN114500004A - 一种基于条件扩散概率生成模型的异常检测方法 - Google Patents

一种基于条件扩散概率生成模型的异常检测方法 Download PDF

Info

Publication number
CN114500004A
CN114500004A CN202210003869.6A CN202210003869A CN114500004A CN 114500004 A CN114500004 A CN 114500004A CN 202210003869 A CN202210003869 A CN 202210003869A CN 114500004 A CN114500004 A CN 114500004A
Authority
CN
China
Prior art keywords
data
generation model
historical time
probability generation
anomaly detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210003869.6A
Other languages
English (en)
Inventor
夏元清
闫媞锦
詹玉峰
邹伟东
刘坤
戴莉
吴楚格
郭泽华
李怡然
张元�
张金会
闫莉萍
孙中奇
翟弟华
崔冰
高寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210003869.6A priority Critical patent/CN114500004A/zh
Publication of CN114500004A publication Critical patent/CN114500004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开的基于条件扩散概率生成模型的异常检测方法，通过预处理历史时序数据；对历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；利用离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；利用离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。能够减少生成模型本身函数的约束，以及在保持表达能力的同时减少迭代次数，实现更好的异常检测效果。

Description

一种基于条件扩散概率生成模型的异常检测方法
技术领域
本发明属于网络安全中攻击检测技术领域，特别涉及一种基于条件扩散概率生成模型的异常检测方法。
背景技术
信息物理系统通常用于监控和控制工业过程中的种要基础设施，例如电厂，输油管道等等。通过传感器对系统输出和控制器的输入进行监测，构建针对信息物理系统的状态监测系统，从而能够对系统中存在的问题或受到的攻击及时地进行报警，避免其因故障导致的经济和环境损失。然而，现有信息物理系统愈发复杂，传统异常检测方法难以满足需要。如何利用人工智能技术，构建数据驱动的异常检测方法，对系统进行高效监控已成为攻击检测领域重要的研究方向。
基于收集时间序列数据的异常检测由于其广泛应用场景，近些年一直是机器学习社区的研究热点。由于复杂系统的模型难以构建，各中间件耦合性较强，传统基于模型的异常检测方法往往不可用。随着近些年深度学习技术的发展以及硬件算力的提高，基于深度学习的异常检测方法逐渐吸引到众多研究人员的注意力，其中基于生成模型的异常检测方法因为可以直接建模正常数据的分布，在异常检测领域取得了较好的效果。
如何更好建模正常数据的分布是提高异常检测效果的关键问题。现有采用时间序列卷积或循环神经网络的方法没有显式建模出收集数据各维度之间的关系；此外，常见的生成模型如变分自编码器，流模型等对于函数约束较大，过强的约束限制了模型的表达能力，使得数据分布无法很好得被学习，从而限制了其异常检测的效果。因此，更好建模数据维度之间的相关性，提出表达能力更强的生成模型对异常检测算法具有十分重要的意义。
发明内容
本发明克服了现有技术的不足之一，提供了一种基于条件扩散概率生成模型的异常检测方法，能够减少生成模型本身函数的约束，以及在保持表达能力的同时减少迭代次数，实现更好的异常检测效果。
根据本公开的一方面，提出了一种基于条件扩散概率生成模型的异常检测方法，所述方法包括：
预处理历史时序数据；
对所述历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；
利用所述离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；
利用所述离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；
根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。
在一种可能的实现方式中，所述预处理历史时序数据，包括：
采用降采样方法对所述历史时序数据进行平滑处理；
若平滑处理的历史时序数据为连续数据，对所述历史时序数据进行归一化处理；
若所述历史时序数据为离散数据，采用one-hot向量对若所述历史时序数据进行编码。
在一种可能的实现方式中，所述根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型，包括：
将所述历史时序数据的特征，第n步状态转移的噪声强度αn和从目标分布中采集的样本输入到反向Markov链中，经过多次迭代得到下一时刻观测值；
以所述历史时序数据的特征作为构建离线条件扩散概率生成模型的条件，将所述下一时刻观测值作为输入，利用最大似然估计方法构建离线条件扩散概率生成模型。
在一种可能的实现方式中，所述利用所述离线条件扩散概率生成模型和噪声状态转移矩阵重构新时序数据，包括：
基于所述新时序数据下一步状态转移等价于所述历史时序数据的τ步状态转移，得到变分下界差值；
在预设的历史时序数据和历史噪声序列的基础上，根据优化变分下界差值重构新噪声序列。
在一种可能的实现方式中，所述对所述历史时序数据进行特征提取，包括：
针对所述历史时序数据的时间方向的信息，利用不同一维卷积核的时间序列卷积层获取不同时间尺度的特征，融合不同时间尺度的特征得到时间方向特征；
针对所述历史时序数据的不同维度数据的特征，利用图注意力网络提取不同维度数据特征；
融合所述时间方向特征和不同维度数据特征得到所述历史时序数据特征。
在一种可能的实现方式中，所述对所述历史时序数据进行归一化处理，包括：
Figure BDA0003455830190000031
其中，
Figure BDA0003455830190000032
为下一时刻观测值，xmax和xmin为历史时序数据的最大值和最小值。
本公开的基于条件扩散概率生成模型的异常检测方法，通过预处理历史时序数据；对历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；利用离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；利用离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。能够减少生成模型本身函数的约束，以及在保持表达能力的同时减少迭代次数，实现更好的异常检测效果。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1示出了根据本公开一实施例的基于条件扩散概率生成模型的异常检测方法流程图；
图2示出了根据本公开另一实施例的基于条件扩散概率生成模型的异常检测方法流程图；
图3a和图3b分别示出了根据本公开一实施例的历史时序数据特征提取网络结构；
图4示出了根据本公开一实施例的历史时序数据集中异常报警示意图；
图5示出了根据本公开一实施例的不同特征提取方法的TFDPM模型训练损失随迭代次数变化示意图。
图6示出了根据本公开一实施例的不同特征提取方法的TFDPM模型检测效果随批样本数目变化示意图。
图7示出了根据本公开一实施例的不同特征提取方法的TFDPM模型检测效果随生成模型Markov链长度变化示意图。
图8示出了根据本公开一实施例的不同特征提取方法的TFDPM模型检测效果随数据滑窗长度变化示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明的基于条件扩散概率生成模型的信息物理系统的异常检测方法，通过图神经网络提取历史时序数据特征，将历史时序数据特征作为条件构建条件扩散概率生成模型。在给定历史时序数据特征时，构建下一时刻观测值与目标分布的映射，从而将预测问题转化为生成模型采样问题。并构建额外网络创建噪声序列，减少生成过程迭代次数，解决预测速度慢的问题。
图1和图2分别示出了根据本公开一实施例的基于条件扩散概率生成模型的异常检测方法流程图。如图1和图2所示，该方法可以包括：
步骤S1：预处理历史时序数据。
例如，预先收集异常检测系统的观测输出值和控制器输出值，构成历史时序数据，然后对历史时序数据进行预处理，并构建由长度为w的历史数据序列及下一时刻观测数据组成的元组，以供线上实时检测和线下训练共用。
在一实例中，对于收集到历史时序数据，假设历史时序数据中缺失值较少，则丢弃缺失值。
采用降采样方法对历史时序数据进行平滑处理。例如由于采样历史时序数据频率较高，噪声成分较多，需要对历史时序数据进行下采样和初步平滑处理，基本操作步骤为将数据划为多个窗口，用窗口内的均值代替整个窗口的数据。
对于连续数据类型进行归一化，归一化处理方式为：
Figure BDA0003455830190000051
其中，
Figure BDA0003455830190000052
为下一时刻观测值，xmax和xmin为历史时序数据的最大值和最小值。
对于离散数据类型，采用one-hot向量进行编码。
最后，将历史时序数据做滑窗，构建训练集，假设滑窗长度为ω，滑窗步长可以为1。
步骤S2：对历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型。
在一实例中，对历史时序数据进行特征提取可以包括：
针对历史时序数据的时间方向的信息，利用不同一维卷积核的时间序列卷积层获取不同时间尺度的特征，融合不同时间尺度的特征得到时间方向特征；
针对历史时序数据的不同维度数据的特征，利用图注意力网络提取不同维度数据特征；
融合时间方向特征和不同维度数据特征得到历史时序数据特征。
图3a和图3b分别示出了根据本公开一实施例的历史时序数据特征提取网络结构。
例如，对历史数据
Figure BDA0003455830190000065
提取特征Ft，可以采用如图3a和图3b的神经网络进行提取。如图3a所示，该神经网络采用两个图注意力网络分别提取时间轴和不同维度数据的特征，记为Double-GAT。如图3b所示，该神经网络采用时间序列卷积(TCN)以及图注意力网络分别提取数据时间轴和不同维度的特征，将其记为TCN-GAT。
在一示例中，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型，可以包括：
将所述历史时序数据的特征，第n步状态转移的噪声强度αn和从目标分布中采集的样本输入到反向Markov链中，经过多次迭代得到下一时刻观测值；
以所述历史时序数据的特征作为构建离线条件扩散概率生成模型的条件，将所述下一时刻观测值作为输入，利用最大似然估计方法构建离线条件扩散概率生成模型。
例如，将依据历史数据提取的特征Ft作为条件，构建条件生成模型。则上述预测问题可转化为如下最大似然估计问题：
Figure BDA0003455830190000061
式中
Figure BDA0003455830190000062
表示从t-ω到t-1时刻观测数据，
Figure BDA0003455830190000063
为t时刻对应的观测值，Ft为依据历史数据提取的特征。将下一时刻观测值
Figure BDA0003455830190000064
基于历史数据提取的特征Ft，以及相关参数给到条件扩散概率生成模型中即可得到离线条件扩散概率生成模型。
假设存在单调递增的噪声序列0＜β1＜β2＜…＜βN＜1，其中N为噪声序列的长度，
Figure BDA0003455830190000071
表示t时刻观测值第n步状态转移的状态量，则可设计如下Markov链：
Figure BDA0003455830190000072
其中每一步的状态转移方程为：
Figure BDA0003455830190000073
根据式(4)，进一步推导可得给定观测值
Figure BDA0003455830190000074
时，第n步状态
Figure BDA0003455830190000075
的状态为：
Figure BDA0003455830190000076
其中αn＝1-βn，
Figure BDA0003455830190000077
分别表示第n步状态转移时的噪声强度和状态转移噪声强度连乘量。当n较大时，上述条件概率分布将趋向于标准高斯分布。给定原始数据，
Figure BDA0003455830190000078
可表示为
Figure BDA0003455830190000079
其中∈为从标准高斯分布采样的样本。
设上述过程反向的Markov链设计为如下形式：
Figure BDA00034558301900000710
Figure BDA00034558301900000711
其中μθ和Σθ表示高斯分布的期望和方差，均为可训练的网络，其中θ为可训练的参数。则根据詹森不等式，对应的对数似然估计可以写为：
Figure BDA00034558301900000712
经过进一步的化简可得：
Figure BDA00034558301900000713
其中，第一项为常数；第二项启发于VAE中的连续分布，可将其参数化为：
Figure BDA00034558301900000714
第三项需要进行求解和优化，根据Bayes定理及Gaussian分布的性质，可得：
Figure BDA0003455830190000081
其中期望和方差分别为，
Figure BDA0003455830190000082
Figure BDA0003455830190000083
若将反向过程中
Figure BDA0003455830190000084
参数化为如下形式：
Figure BDA0003455830190000085
Figure BDA0003455830190000086
Figure BDA0003455830190000087
其中∈θ表示一可训练的神经网络，
Figure BDA0003455830190000088
表示通过反向过程估计的t时刻观测值，则对应的变分下界中的第三项可以转化为：
Figure BDA0003455830190000089
简便起见，可采用如下简化形式作为条件扩散概率生成模型的优化目标：
Figure BDA00034558301900000810
采用Pytorch框架实现，用公开信息物理系统数据集进行训练和测试。训练完成之后，即构建了给定条件Ft时，从原始观测数据到标准高斯分布的映射。
在生成样本步骤中，需要将Ft，αn，以及从目标分布
Figure BDA00034558301900000814
中采样的样本
Figure BDA00034558301900000811
输入到反向Markov链中，生成下一时刻观测值的估计值
Figure BDA00034558301900000812
其中，反向Markov链中每一步的迭代方程为
Figure BDA00034558301900000813
迭代N步后，可获得下一时刻观测值的估计
Figure BDA0003455830190000091
步骤S3：利用离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列。
在一示例中，该步骤可以包括：基于新时序数据下一步状态转移等价于历史时序数据的τ步状态转移，得到变分下界差值；在预设的历史时序数据和历史噪声序列的基础上，根据优化变分下界差值重构新噪声序列。
举例来说，由于在第二步生成预测过程中，训练的离线条件扩散概率生成模型∈θ需要迭代N次方可生成下一时刻观测值的估计值，预测耗时较高，如何有效减少迭代次数，加速预测过程是十分重要的。
假设构造的新的单调递增噪声序列为
Figure BDA0003455830190000092
其中Nl为新噪声序列的长度，满足Nl＜N，此时第n步状态转移时的噪声强度和状态转移噪声强度连乘量可类似计算得到：
Figure BDA0003455830190000093
分析可得，第n步噪声
Figure BDA0003455830190000094
满足如下性质：
Figure BDA0003455830190000095
根据此性质，可构建神经网络
Figure BDA0003455830190000096
将
Figure BDA0003455830190000097
参数化为：
Figure BDA0003455830190000098
其中，φ为可训练参数。
针对上述最大似然估计问题，首先，对于任意n∈{2,…,T}，可得到如下变分下界：
Figure BDA0003455830190000099
将此新变分下界记为
Figure BDA00034558301900000910
可证明该优化变分下界与步骤S2中的变分下界等价。
为在减少迭代次数的同时，保持模型表达能力，在新噪声序列下一步状态转移等价于原噪声序列下τ步状态转移，即：
Figure BDA0003455830190000101
在式(24)条件下，优化后的网络满足：
Figure BDA0003455830190000102
其中θ*表示前述θ训练完成后的最佳参数。
由式(25)可得，最大似然值和上述变分下界的差值分别为：
Figure BDA0003455830190000103
其中，
Figure BDA0003455830190000104
化简可得：
Figure BDA0003455830190000105
Figure BDA0003455830190000106
其中
Figure BDA0003455830190000107
表示通过式(22)得到的第n步噪声值，
Figure BDA00034558301900001012
表示前面已经训练好的网络，在训练此网络时，θ*保持不变。
通过优化上述下界，训练模型。最终，在给定
Figure BDA0003455830190000108
和
Figure BDA0003455830190000109
条件下，可得到新噪声序列。
步骤S4：利用离线条件扩散概率生成模型和新噪声序列预测下一时刻的观测值；
步骤S5：根据下一时刻的观测值和实际值的差值确定预设阈值，将离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。
在一示例中，根据历史时序数据，通过步骤S2中的特征提取得到历史时序数据特征Ft。将历史时序数据特征Ft以及其他参数输入到训练过的噪声序列生成网络中，生成新的噪声序列
Figure BDA00034558301900001010
依据新构建的噪声序列
Figure BDA00034558301900001011
历史数据特征Ft，目标分布采样
Figure BDA0003455830190000111
将其输入到步骤S2中的生成离线条件扩散概率生成模型中，得到下一时刻观测值的估计
Figure BDA0003455830190000112
计算预测值与实际观测值的均方差，根据训练数据的label，选取合适的阈值。将训练过的模型和阈值部署到线上，从而构成实时数据收集，预处理及异常检测的在线系统。
由表1可知，基于图3a和图3b两种特征提取网络的TFDPM模型异常检测数据与当前其他异常检测数据相比，本发明的基于图3a和图3b两种特征提取网络的TFDPM模型异常检测方法更好。
表1
Figure BDA0003455830190000113
基于新构建噪声序列的条件扩散概率生成模型异常检测效果基本与原效果相当，但是，基于条件扩散概率生成模型预测速度相比于现有异常检测方法的预测速度提高了约3倍。
表2
Figure BDA0003455830190000121
图4示出了根据本公开一实施例的历史时序数据集中异常报警示意图。如图4所示，左侧图为观测值和预测值序列，右侧图为观测值和预测值序列对应的均方差。由图5可知，异常发生的阶段(红色区域)恰好为均方差较大的区域，红色星号标记点表示模型产生的误报。
图5、图6、图7、图8分别示出了根据本公开一实施例的不同特征提取方法的TFDPM模型的训练损失随迭代次数变化示意图、检测效果随批样本数目变化示意图、检测效果随生成模型Markov链长度变化示意图和检测效果随数据滑窗长度变化示意图。
如图5所示，图5展示了采用不同特征提取方法时，训练损失随迭代次数的变化。图6-图8展示了模型在两数据集上的异常检测效果随批数据大小，Markov链长度以及滑窗长度三个超参数变化的影响。由图5-图8可知，基于图注意力网络的特征提取方法异常检测效果要比直接采用GRU效果好，表明了显式建模数据维度相关性的必要性。此外，在各超参数设置下，本发明的基于条件扩散概率生成模型的异常检测方法始终能够保持较好的异常检测效果，具有较好的鲁棒性。
本公开的基于条件扩散概率生成模型的异常检测方法，通过预处理历史时序数据；对历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；利用离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；利用离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。能够减少生成模型本身函数的约束，以及在保持表达能力的同时减少迭代次数，实现更好的异常检测效果。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.一种基于条件扩散概率生成模型的异常检测方法，其特征在于，所述方法包括：
预处理历史时序数据；
对所述历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；
利用所述离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；
利用所述离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；
根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。
2.根据权利要求1所述的异常检测方法，其特征在于，所述预处理历史时序数据，包括：
采用降采样方法对所述历史时序数据进行平滑处理；
若平滑处理的历史时序数据为连续数据，对所述历史时序数据进行归一化处理；
若所述历史时序数据为离散数据，采用one-hot向量对若所述历史时序数据进行编码。
3.根据权利要求1所述的异常检测方法，其特征在于，所述根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型，包括：
将所述历史时序数据的特征，第n步状态转移的噪声强度αn和从目标分布中采集的样本输入到反向Markov链中，经过多次迭代得到下一时刻观测值；
以所述历史时序数据的特征作为构建离线条件扩散概率生成模型的条件，将所述下一时刻观测值作为输入，利用最大似然估计方法构建离线条件扩散概率生成模型。
4.根据权利要求1所述的异常检测方法，其特征在于，所述利用所述离线条件扩散概率生成模型和噪声状态转移矩阵重构新时序数据，包括：
基于所述新时序数据下一步状态转移等价于所述历史时序数据的τ步状态转移，得到变分下界差值；
在预设的历史时序数据和历史噪声序列的基础上，根据优化变分下界差值重构新噪声序列。
5.根据权利要求1所述的异常检测方法，其特征在于，所述对所述历史时序数据进行特征提取，包括：
针对所述历史时序数据的时间方向的信息，利用不同一维卷积核的时间序列卷积层获取不同时间尺度的特征，融合不同时间尺度的特征得到时间方向特征；
针对所述历史时序数据的不同维度数据的特征，利用图注意力网络提取不同维度数据特征；
融合所述时间方向特征和不同维度数据特征得到所述历史时序数据特征。
6.根据权利要求2所述的异常检测方法，其特征在于，所述对所述历史时序数据进行归一化处理，包括：
Figure FDA0003455830180000021
其中，
Figure FDA0003455830180000022
为下一时刻观测值，xmax和xmin为历史时序数据的最大值和最小值。
CN202210003869.6A 2022-01-05 2022-01-05 一种基于条件扩散概率生成模型的异常检测方法 Pending CN114500004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210003869.6A CN114500004A (zh) 2022-01-05 2022-01-05 一种基于条件扩散概率生成模型的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210003869.6A CN114500004A (zh) 2022-01-05 2022-01-05 一种基于条件扩散概率生成模型的异常检测方法

Publications (1)

Publication Number Publication Date
CN114500004A true CN114500004A (zh) 2022-05-13

Family

ID=81510502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210003869.6A Pending CN114500004A (zh) 2022-01-05 2022-01-05 一种基于条件扩散概率生成模型的异常检测方法

Country Status (1)

Country Link
CN (1) CN114500004A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114927096A (zh) * 2022-06-14 2022-08-19 苏州华兴源创科技股份有限公司 Gamma校准方法、装置、计算机设备、存储介质
CN115409131A (zh) * 2022-10-28 2022-11-29 武汉惠强新能源材料科技有限公司 基于spc过程管控系统的生产线异常检测方法
CN118035926A (zh) * 2024-04-11 2024-05-14 合肥工业大学 基于多元数据扩散的模型训练、水检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124942A1 (zh) * 2016-01-19 2017-07-27 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
CN107092582A (zh) * 2017-03-31 2017-08-25 江苏方天电力技术有限公司 一种基于残差后验的异常值在线检测及置信度评估方法
CN111540199A (zh) * 2020-04-21 2020-08-14 浙江省交通规划设计研究院有限公司 一种基于多模态融合和图注意力机制的高速交通流预测方法
WO2021164267A1 (zh) * 2020-02-21 2021-08-26 平安科技（深圳）有限公司 异常检测方法、装置、终端设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124942A1 (zh) * 2016-01-19 2017-07-27 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
CN107092582A (zh) * 2017-03-31 2017-08-25 江苏方天电力技术有限公司 一种基于残差后验的异常值在线检测及置信度评估方法
WO2021164267A1 (zh) * 2020-02-21 2021-08-26 平安科技（深圳）有限公司 异常检测方法、装置、终端设备及存储介质
CN111540199A (zh) * 2020-04-21 2020-08-14 浙江省交通规划设计研究院有限公司 一种基于多模态融合和图注意力机制的高速交通流预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
段文奇等: "基于复杂网络的网络效应新产品扩散模式", 《上海交通大学学报》 *
闫媞锦: "TFDPM: Attack detection for cyber-physical systemswith diffusion probabilistic models", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114927096A (zh) * 2022-06-14 2022-08-19 苏州华兴源创科技股份有限公司 Gamma校准方法、装置、计算机设备、存储介质
CN115409131A (zh) * 2022-10-28 2022-11-29 武汉惠强新能源材料科技有限公司 基于spc过程管控系统的生产线异常检测方法
CN115409131B (zh) * 2022-10-28 2023-02-17 武汉惠强新能源材料科技有限公司 基于spc过程管控系统的生产线异常检测方法
CN118035926A (zh) * 2024-04-11 2024-05-14 合肥工业大学 基于多元数据扩散的模型训练、水检测方法及系统

Similar Documents

Publication Publication Date Title
CN112784965B (zh) 面向云环境下大规模多元时间序列数据异常检测方法
Liu et al. Intelligent prognostics of machining tools based on adaptive variational mode decomposition and deep learning method with attention mechanism
Li et al. Data-driven bearing fault identification using improved hidden Markov model and self-organizing map
CN114500004A (zh) 一种基于条件扩散概率生成模型的异常检测方法
US20230094389A1 (en) Quantum computing based deep learning for detection, diagnosis and other applications
Caceres et al. A probabilistic Bayesian recurrent neural network for remaining useful life prognostics considering epistemic and aleatory uncertainties
Xu et al. A novel multi-scale CNN and attention mechanism method with multi-sensor signal for remaining useful life prediction
CN113344295B (zh) 基于工业大数据的设备剩余寿命预测方法、系统及介质
CN112765896A (zh) 一种基于lstm的水处理时序数据异常检测方法
Zhang et al. Deep learning-driven data curation and model interpretation for smart manufacturing
Velasco-Gallego et al. RADIS: A real-time anomaly detection intelligent system for fault diagnosis of marine machinery
CN113110398B (zh) 基于动态时间归整和图卷积网络的工业过程故障诊断方法
CN114218872B (zh) 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法
CN115484102A (zh) 一种面向工业控制系统的异常检测系统和方法
CN114282443B (zh) 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法
CN111177224A (zh) 一种基于条件式规整化流模型的时间序列无监督异常检测方法
CN114528547A (zh) 基于社区特征选择的icps无监督在线攻击检测方法和设备
Zhang et al. MS-TCN: A multiscale temporal convolutional network for fault diagnosis in industrial processes
Kumar et al. An adaptive transformer model for anomaly detection in wireless sensor networks in real-time
CN116520806A (zh) 一种工业系统智能故障诊断系统及其方法
Sun et al. Intelligent fault diagnosis scheme for rolling bearing based on domain adaptation in one dimensional feature matching
Chang et al. Temporal convolution-based sorting feature repeat-explore network combining with multi-band information for remaining useful life estimation of equipment
Xu et al. Global attention mechanism based deep learning for remaining useful life prediction of aero-engine
Li et al. Knowledge enhanced ensemble method for remaining useful life prediction under variable working conditions
CN113469013A (zh) 一种基于迁移学习和时间序列的电机故障预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220513