CN117235572B - 基于时空信息的多元时间序列异常检测方法 - Google Patents
基于时空信息的多元时间序列异常检测方法 Download PDFInfo
- Publication number
- CN117235572B CN117235572B CN202311143311.9A CN202311143311A CN117235572B CN 117235572 B CN117235572 B CN 117235572B CN 202311143311 A CN202311143311 A CN 202311143311A CN 117235572 B CN117235572 B CN 117235572B
- Authority
- CN
- China
- Prior art keywords
- time
- node
- information
- vector
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 230000005856 abnormality Effects 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 63
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 25
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 12
- 150000001875 compounds Chemical class 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000004567 concrete Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 208000033986 Device capturing issue Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于时空信息的多元时间序列异常检测方法，包括获取多元时间序列并进行滑动窗口采样，N维时间序列标记为A1～AN；构建一异常检测网络，包括时间信息提取模块、图结构学习模块、空间信息提取模块、预测输出模块、异常评分模块；用异常检测网络分别进行时间特征提取、图结构学习、空间信息提取、计算预测变量；计算风险最小化函数，并多次重复上述步骤训练异常检测网络得到训练好的异常检测模型，并用于多元时间序列的异常检测。本发明同时捕获序列时序信息与序列间依赖信息，能够更好地从训练数据中学习预测数据正常行为并提升异常检测效果，具有良好的检测准确度与较高的运算速度。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种基于时空信息的多元时间序列异常检测方法。
背景技术
异常检测是一种数据分析技术，是识别复杂系统中发生的异常行为的自动化解决方案。多元时间序列异常检测方法旨在发现和识别在多个时间序列中出现的异常值或异常模式。
现有技术中曾提出了一种基于图神经网络的异常检测方法GDN。GDN将来自N个传感器的多元时间序列数据转换为图结构，其中每个节点i对应于一个变量Si，每条边ej,i表示两个变量之间的关系。GDN采用余弦距离度量变量之间的关系。GDN通过滑动窗口的方式将多元时间序列切分为多个子序列，每个子序列作为一个图输入到模型中。该模型使用图神经网络进行时间序列预测，然后基于预测误差检测异常。
现有技术中还有基于深度Transformer网络的异常检测方法TranAD。TranAD使用基于注意力的序列编码器，利用数据中的时间趋势的知识执行推理。TranAD采用Transformer网络结构，通过多头注意力机制捕捉变量之间的依赖关系，通过残差连接提高模型的泛化能力，通过位置编码学习时间信息。TranAD采用某种形式的重构误差作为异常分数。
然而，现有技术中的方法存在着以下缺陷：
(1)未能捕获序列间依赖信息：现有方法大多都是针对数据中某一变量在不同时间窗口(当前时间窗口与某历史时间窗口)中表现出的相关性。多元时间序列数据中各参数的异常特征不同、相互作用复杂，识别复杂的特征相互作用和耦合在多元时间序列异常检测中是必不可少的。
(2)不具备解释能力：大多数异常检测研究集中在改善检测精度上，忽视了如何为所发现的异常提供解释。在安全领域，异常检测模型黑盒问题可能会带来一些重大风险。因此，开发具有可解释性的多元时间序列异常检测模型举足轻重。
(3)无法兼顾精确度与召回率：在异常检测任务中，精确度和召回率是两个常用的性能指标，精确度越高误报率越低，召回率越高漏检率越低。大多数现有异常检测方法很难同时兼顾精确度和召回率。
(4)需要手动设置阈值：现有方法大多需要手动设置阈值来判断是否存在异常。阈值的设置较困难，需要进行反复试验和调整。
(5)阈值设置不合理：现有方法大多随意设置阈值以获得优秀的性能指标，无设置依据，无法实现抗噪声异常检测，无法体现模型本身的异常识别能力。
因此，亟需一种能解决上述多元时间序列异常检测中存在的问题的异常检测方法。
发明内容
本发明的目的就在于提供一种针对多元时间序列异常检测场景中未利用序列间依赖信息、无法解释异常、无法兼顾精确度与召回率、阈值设置不合理等问题，将深度学习技术引入可预测性建模异常检测框架，同时捕获遥测数据的空间信息和时间信息，建模变量正常行为，通过预测误差识别异常，解决了上述背景技术中提到的问题的，基于时空信息的多元时间序列异常检测方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种基于时空信息的多元时间序列异常检测方法，包括以下步骤；
(1)获取由N维时间序列构成的多元时间序列并进行滑动窗口采样；
其中，N维时间序列标记为A1～AN；
滑动窗口大小W，每次采样得到一个时刻的历史数据序列，其中，t时刻的历史数据序列Xt＝[X(t-w),X(t-w+1),…,X(t-1)]，其中，X(t-w)为A1～AN在(t-W)时刻的历史特征的集合；
(2)构建一异常检测网络；
包括时间信息提取模块、图结构学习模块、空间信息提取模块、预测输出模块、异常评分模块；
所述图结构学习模块包括词嵌入层、融合层、多层感知机和激活函数层；
(3)时间特征提取：
将历史数据序列送入时间信息提取模块，得到对应时刻的时间信息表示，其中，Xt的时间信息表示为 分别为A1～AN在t时刻的时间信息预测数据；
(4)将A1～AN作为N个节点，构成不包含边的图，送入图结构学习模块中学习边关系，生成图结构，包括步骤(41)～(44)；
(41)将A1～AN作为N个节点，通过词嵌入层生成节点嵌入向量其中，节点i的节点嵌入向量为/>i＝1～N；
(42)对每个节点，通过融合层将其节点嵌入向量，与其他节点嵌入向量进行拼接融合，得到融合信息，再经多层感知机输出融合向量，其中，节点i对应的融合向量为ui；
(43)使用hard concrete分布对融合向量进行映射，得到邻接向量，其中节点i的邻接向量为A′i；
(44)将N个节点的邻接向量拼接得到邻接矩阵A′，将A′作为学习得到的图结构，所述邻接矩阵A′的第i行数据为节点i的邻接向量；
(5)用空间信息提取模块进行空间信息提取；
(51)将图结构送入空间信息提取模块，对图结构的每个节点，从邻接矩阵A′中选取K个邻居节点，得到最近邻居集，其中节点i的最近邻居集为
(52)对每个节点，用基于图注意力网络的特征提取器，基于最近邻居集，对K个邻居节点在同一时刻的时间信息预测数据进行聚合，得到该时刻的空间信息，其中，节点i在时刻t得到的空间信息为
(53)将N个节点在同一时刻的空间信息构成行向量，得到该时刻的空间信息表示，其中，时刻t的空间信息表示
(6)计算预测变量；
预测输出模块为全连接层和ReLU激活函数堆叠的神经网络，将空间信息表示由预测输出模块非线映射为N维，得到预测变量，其中，zt对应的预测变量为
(7)计算风险最小化函数
(71)通过下式计算预测损失函数
式(1)中，L为多元时间序列的总长度，xt为A1～AN在t时刻的历史特征的集合；
(72)通过下式计算风险最小化函数
式(2)中，λ为权重因子，||A′||0为A′的L0激活正则化；
(8)重复步骤(1)～(7)，每次重复计算一次风险最小化函数将/>值最小时的异常检测网络，作为训练好的异常检测模型；
(9)异常检测；
(91)预设一时刻t的异常阈值Y(t)；
(92)将一待测的N维时间序列Q送入(8)中异常检测模型，输出对应的预测变量；
(93)用异常评分模块根据下式计算其异常评分；
A(t)＝maxi∈Nai(t) (5)
式(3)中，为Q中，节点i在时刻t的元素，/>为Q的预测变量中，节点i在时刻t的元素，Erri(t)为节点i在时刻t的预测误差；
式(4)中，和/>分别为Erri(t)值在时间维度上的中位数和四分位距，ai(t)为节点i在时刻t的标准化后的预测误差；
式(5)中，A(t)为待测的N维时间序列Q在时刻t的异常评分；
(94)比较A(t)和Y(t)，若A(t)≥Y(t)，则A(t)为异常，否则为正常。
作为优选：步骤(3)中，所述时间信息提取模块采用LSTM特征提取器，得到t时刻的时间信息表示方法为；
(31)将Xt中，X1在(t-W)～(t-1)时刻的历史特征作为输入，经LSTM特征提取器得到A1在t时刻的时间信息预测数据
(32)依次得到A2～AN在t时刻的时间信息预测数据
(33)t时刻时间信息表示
作为优选：步骤(41)中，节点i的节点嵌入向量为通过下式得到；
式(6)中，emb(·)表示词嵌入层；
步骤(42)中，ui通过下式得到；
式(7)中，为节点m的节点嵌入向量，m≠i，m＝1～N，/>为/>的融合信息，MLP()为多层感知机；
步骤(43)中，节点i的邻接向量为A′i过下式得到；
式(8)中，对为ui经hard concrete分布进行映射，得到的近似二进制值，式(9)中，是，[δ,γ]为拉伸区间、δ、γ分别为拉伸区间的两个端值，M为hard concrete分布中控制近似度的温度值，z为服从(0，1)之间均匀分布的随机数，sigmoid()为sigmoid函数；
步骤(44)中，通过下式拼接得到邻接矩阵A′；
A′＝[A′1,A′2,…,A′N] (10)
作为优选：δ＝-0.1，γ＝1.1，τ＝0.66。
作为优选：(51)中，节点i从邻接矩阵A′中选取K个邻居节点的方法为；
邻接矩阵A′的第i行数据为节点i的邻接向量；
从邻接向量中从大到小选取K个元素，构成节点i的最近邻居集为
作为优选：步骤(52)具体通过下述公式进行聚合；
式(11)中，节点j为节点i的邻居节点，π(i,j)为节点i与节点j之间的注意力系数，LeakyReLU()为LeakyReLU函数，W′∈RN×w，为图注意力网络的权重矩阵，a为图注意力网络的系数向量，T表示转置；
式(12)中，αi,j为节点i与节点j之间的归一化注意力系数，k为集合中的一个节点，exp()为exp函数；
式(13)中，ReLU为ReLU函数。
作为优选：步骤(91)中，Y(t)为训练过程中，用于验证模型的N维时间序列在时刻t的异常评分A′(t)的上四分位数。
本发明的改进主要在于：
(1)本发明从多元时间序列的数据特性出发，将数据驱动方法与深度学习技术相结合，对多元时间序列进行数学建模和向量表示，学习多维变量或特征之间的复杂依赖关系，解决通常情况下缺乏图结构先验信息的问题，保证学习到的序列间依赖信息的质量，为后续空间信息提取提供支持。
(2)本发明同时提取时间信息与空间信息，引入基于LSTM的特征提取器建模序列的平稳和非平稳性、短期和长期行为，引入注意力机制聚合邻居信息，学习多元时间序列的丰富时空特征，提高检测性能，兼顾检测精确度与召回率。
(3)本发明使用预测误差将多元时间序列存在的多种误差聚合为时刻t的异常评分，能够检测出高维数据中多种类型异常，实现迅速定位异常时刻和某时刻的异常变量并提供异常解释。
(4)本发明采用训练过程中验证数据上的A(t)的上四分位数作为指示异常的阈值，使得阈值设置简单合理，简化检测
与现有技术相比，本发明的优点在于：
(1)公开了一种基于时空信息的多元时间序列异常检测方法，该方法属于异常检测领域中的多元时间序列异常检测方向，旨在发现和识别在多个时间序列中出现的异常值或异常模式。
(2)本方法利用多元时间序列数据中时间和空间两个维度中的依赖关系进行高效异常检测。本发明通过多维数据图结构学习方法学习多维变量或特征之间的复杂依赖关系，解决通常情况下缺乏图结构先验信息的问题，保证序列间依赖信息的质量；通过聚合预测误差实现检测高维数据中多种类型异常；通过灵活阈值设置实现抗噪声异常检测；通过使用预测误差识别异常为异常时刻和某时刻的异常参数提供异常解释。与现有主流异常检测方法相比，本发明同时捕获序列时序信息与序列间依赖信息，能够更好地从训练数据中学习预测数据正常行为并提升异常检测效果，具有良好的检测准确度与较高的运算速度。
附图说明
图1为本发明构建异常检测网络的整体结构图；
图2为对多元时间序列进行滑动窗口采样的示意图；
图3为图结构学习模块的学习方法示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1到图3，一种基于时空信息的多元时间序列异常检测方法，包括以下步骤；
(1)获取由N维时间序列构成的多元时间序列并进行滑动窗口采样；
其中，N维时间序列标记为A1～AN；
滑动窗口大小W，每次采样得到一个时刻的历史数据序列，其中，t时刻的历史数据序列Xt＝[X(t-w),X(t-w+1),…,X(t-1)]，其中，X(t-w)为A1～AN在(t-W)时刻的历史特征的集合；
(2)构建一异常检测网络；
包括时间信息提取模块、图结构学习模块、空间信息提取模块、预测输出模块、异常评分模块；
所述图结构学习模块包括词嵌入层、融合层、多层感知机和激活函数层；
(3)时间特征提取：
将历史数据序列送入时间信息提取模块，得到对应时刻的时间信息表示，其中，Xt的时间信息表示为 分别为A1～AN在t时刻的时间信息预测数据；
(4)将A1～AN作为N个节点，构成不包含边的图，送入图结构学习模块中学习边关系，生成图结构，包括步骤(41)～(44)；
(41)将A1～AN作为N个节点，通过词嵌入层生成节点嵌入向量其中，节点i的节点嵌入向量为/>i＝1～N；
(42)对每个节点，通过融合层将其节点嵌入向量，与其他节点嵌入向量进行拼接融合，得到融合信息，再经多层感知机输出融合向量，其中，节点i对应的融合向量为ui；
(43)使用hard concrete分布对融合向量进行映射，得到邻接向量，其中节点i的邻接向量为A′i；
(44)将N个节点的邻接向量拼接得到邻接矩阵A′，将A′作为学习得到的图结构，所述邻接矩阵A′的第i行数据为节点i的邻接向量；
(5)用空间信息提取模块进行空间信息提取；
(51)将图结构送入空间信息提取模块，对图结构的每个节点，从邻接矩阵A′中选取K个邻居节点，得到最近邻居集，其中节点i的最近邻居集为
(52)对每个节点，用基于图注意力网络的特征提取器，基于最近邻居集，对K个邻居节点在同一时刻的时间信息预测数据进行聚合，得到该时刻的空间信息，其中，节点i在时刻t得到的空间信息为
(53)将N个节点在同一时刻的空间信息构成行向量，得到该时刻的空间信息表示，其中，时刻t的空间信息表示
(6)计算预测变量；
预测输出模块为全连接层和ReLU激活函数堆叠的神经网络，将空间信息表示由预测输出模块非线映射为N维，得到预测变量，其中，zt对应的预测变量为
(7)计算风险最小化函数
(71)通过下式计算预测损失函数
式(1)中，L为多元时间序列的总长度，Xt为A1～AN在t时刻的历史特征的集合；
(72)通过下式计算风险最小化函数
式(2)中，λ为权重因子，||A′||0为A′的L0激活正则化；
(8)重复步骤(1)～(7)，每次重复计算一次风险最小化函数将/>值最小时的异常检测网络，作为训练好的异常检测模型；
(9)异常检测；
(91)预设一时刻t的异常阈值Y(t)；
(92)将一待测的N维时间序列Q送入(8)中异常检测模型，输出对应的预测变量；
(93)用异常评分模块根据下式计算其异常评分；
A(t)＝maxi∈Nai(t) (5)
式(3)中，为Q中，节点i在时刻t的元素，/>为Q的预测变量中，节点i在时刻t的元素，Erri(t)为节点i在时刻t的预测误差；
式(4)中，和/>分别为Erri(t)值在时间维度上的中位数和四分位距，ai(t)为节点i在时刻t的标准化后的预测误差；
式(5)中，A(t)为待测的N维时间序列Q在时刻t的异常评分；
(94)比较A(t)和Y(t)，若A(t)≥Y(t)，则A(t)为异常，否则为正常。
本实施例中，步骤(3)中，所述时间信息提取模块采用LSTM特征提取器，得到t时刻的时间信息表示方法为；
(31)将Xt中，A1在(t-W)～(t-1)时刻的历史特征作为输入，经LSTM特征提取器得到A1在t时刻的时间信息预测数据
(32)依次得到A2～AN在t时刻的时间信息预测数据
(33)t时刻时间信息表示
步骤(41)中，节点i的节点嵌入向量为通过下式得到；
式(6)中，emb(·)表示词嵌入层；
步骤(42)中，ui通过下式得到；
式(7)中，为节点m的节点嵌入向量，m≠i，m＝1～N，/>为/>的融合信息，MLP()为多层感知机；
步骤(43)中，节点i的邻接向量为A′i过下式得到；
式(8)中，对为ui经hard concrete分布进行映射，得到的近似二进制值，式(9)中，是，[δ,γ]为拉伸区间、δ、γ分别为拉伸区间的两个端值，τ为hard concrete分布中控制近似度的温度值，z为服从(0，1)之间均匀分布的随机数，sigmoid()为sigmoid函数；
步骤(44)中，通过下式拼接得到邻接矩阵A′；
A′＝[A′1,A′2,…,A′N] (10)
本实施例中，δ＝-0.1，γ＝1.1，τ＝0.66。
步骤(51)中，节点i从邻接矩阵A′中选取K个邻居节点的方法为；
邻接矩阵A′的第i行数据为节点i的邻接向量；
从邻接向量中从大到小选取K个元素，构成节点i的最近邻居集为
步骤(52)具体通过下述公式进行聚合；
式(11)中，节点j为节点i的邻居节点，π(i,j)为节点i与节点j之间的注意力系数，LeakyReLU()为LeakyReLU函数，W′∈RN×w，为图注意力网络的权重矩阵，a为图注意力网络的系数向量，T表示转置；
式(12)中，αi,j为节点i与节点j之间的归一化注意力系数，k为集合中的一个节点，exp()为exp函数；
式(13)中，ReLU为ReLU函数。
步骤(91)中，Y(t)为训练过程中，用于验证模型的N维时间序列在时刻t的异常评分A′(t)的上四分位数。
另外，参见图1，本发明在对多元时间序列进行滑动窗口采样前，还可以进行数据预处理，用于提高数据质量，使数据更好适应模型。
实施例2：参见图1到图3，在实施例1的基础上，我们进一步补充如下：
关于步骤(31)，属于现有技术，其处理方法为：LSTM特征提取器采用长短期记忆网络，也就是LSTM单元，它引入了3个门，分别是：输入门、遗忘门和输出门。
输入门计算得到中间参数遗忘门计算得到中间参数/>LSTM单元的遗忘门选择要从单元状态中丢弃的信息。当fu (t)＝0且/>时，LSTM单元将历史信息删除，并将候选状态/>写入，此时记忆单元/>仍旧和上一时刻的历史信息相关。当fi (t)＝1且时，LSTM单元直接复制上一时刻的内容，不写入新的信息。更新内部状态后进行循环信息传递。最后，输出门控制当前时刻从内部状态传递到外部状态的信息量，得到最终输出预测/>经过学习后，LSTM网络近似多元时间序列的非线性动力系统，拟合变量，获得富含时间依赖等隐式关系的特征/>上述内容可用下面公式进行表示：
其中，W、U和b分别为LSTM单元中的状态-输入权重矩阵、状态-状态权重矩阵和偏置向量；g、f和o分别为LSTM单元的输入门、遗忘门和输出门。
关于步骤(4)(5)，我们以5个节点为例，详述步骤(4)中生成图结构的过程、及步骤(5)空间信息提取的过程。
由于N＝5，则多元时间序列是由5维时间序列构成的并进行滑动窗口采样得到的。如图2所示，图2的多元时间序列中，第一行数据为第一维时间序列，最后一行数据为第五维时间序列。由于N＝5，5维时间序列标记为X1～X5。
步骤(4)中，将A1～A5作为5个节点，构成不包含边的图，送入图结构学习模块中学习边关系，生成图结构；
(41)将A1～A5作为5个节点，通过词嵌入层生成节点嵌入向量词嵌入层的生成方式参见公式(6)。
(42)对每个节点，通过融合层将其节点嵌入向量，与其他节点嵌入向量进行拼接融合，得到融合信息，再经多层感知机输出融合向量。
如图3所示，对将/>作为第一个元素，分别与/>进行拼接融合；
对将/>作为第一个元素，分别与/>进行拼接融合，依此类推，得到5个融合信息，分别经多层感知机，输出u1～u5；拼接融合和多层感知机的处理过程，参见公式(7)。
(43)使用hard concrete分布对u1～u5进行映射，得到邻接向量A′1～A′5，具体映射方法参见本发明公式(8)、(9)。
(44)根据公式10，对A′1～A′5进行拼接，得到邻接矩阵A′，将A′作为学习得到的图结构。
(5)用空间信息提取模块进行空间信息提取；
(51)该步骤用于得到每个节点的最近邻居集。我们假设K＝2，观察图3所示邻接矩阵A′：
对节点A1，邻接矩阵A′中第一行为A1的邻接向量A′1，A′1中，从大到小选取2个元素分别是第二个元素、第四个元素，则表示A2、A4构成A1的最近邻居集
对节点A2，邻接矩阵A′中第二行为A2的邻接向量A′2，A′2中，从大到小选取2个元素分别是第一个、第三个，则表示A1、A3构成A2的最近邻居集
同理，A1、A2构成节点A3的最近邻居集
A1、A2构成节点A4的最近邻居集
A3、A5构成节点A5的最近邻居集
(52)该步骤基于基于图注意力网络的特征提取器和最近邻居集进行聚合；
对节点A1，则聚合A2、A4在时刻t的时间信息预测数据，聚合方法参见公式(11)-(13)，得到
对节点A2，聚合A1、A3在时刻t的时间信息预测数据，得到
同理得到A3～A5在时刻t的时间信息预测数据
(53)得到时刻t的空间信息表示
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于时空信息的多元时间序列异常检测方法，其特征在于：包括以下步骤；
(1)获取由N维时间序列构成的多元时间序列并进行滑动窗口采样；
其中，N维时间序列标记为A1～AN；
滑动窗口大小W，每次采样得到一个时刻的历史数据序列，其中，t时刻的历史数据序列Xt＝[X(t-w),X(t-w+1),…,X(t-1)]，其中，X(t-w)为A1～AN在(t-W)时刻的历史特征的集合；
(2)构建一异常检测网络；
包括时间信息提取模块、图结构学习模块、空间信息提取模块、预测输出模块、异常评分模块；
所述图结构学习模块包括词嵌入层、融合层、多层感知机和激活函数层；
(3)时间特征提取：
将历史数据序列送入时间信息提取模块，得到对应时刻的时间信息表示，其中，Xt的时间信息表示为 分别为A1～AN在t时刻的时间信息预测数据；
(4)将A1～AN作为N个节点，构成不包含边的图，送入图结构学习模块中学习边关系，生成图结构，包括步骤(41)～(44)；
(41)将A1～AN作为N个节点，通过词嵌入层生成节点嵌入向量其中，节点i的节点嵌入向量为/>i＝1～N；
(42)对每个节点，通过融合层将其节点嵌入向量，与其他节点嵌入向量进行拼接融合，得到融合信息，再经多层感知机输出融合向量，其中，节点i对应的融合向量为ui；
(43)使用hard concrete分布对融合向量进行映射，得到邻接向量，其中节点i的邻接向量为A′i；
(44)将N个节点的邻接向量拼接得到邻接矩阵A′，将A′作为学习得到的图结构，所述邻接矩阵A′的第i行数据为节点i的邻接向量；
(5)用空间信息提取模块进行空间信息提取；
(51)将图结构送入空间信息提取模块，对图结构的每个节点，从邻接矩阵A′中选取K个邻居节点，得到最近邻居集，其中节点i的最近邻居集为
(52)对每个节点，用基于图注意力网络的特征提取器，基于最近邻居集，对K个邻居节点在同一时刻的时间信息预测数据进行聚合，得到该时刻的空间信息，其中，节点i在时刻t得到的空间信息为
(53)将N个节点在同一时刻的空间信息构成行向量，得到该时刻的空间信息表示，其中，时刻t的空间信息表示
(6)计算预测变量；
预测输出模块为全连接层和ReLU激活函数堆叠的神经网络，将空间信息表示由预测输出模块非线映射为N维，得到预测变量，其中，zt对应的预测变量为
(7)计算风险最小化函数
(71)通过下式计算预测损失函数
式(1)中，L为多元时间序列的总长度，xt为A1～AN在t时刻的历史特征的集合；
(72)通过下式计算风险最小化函数
式(2)中，λ为权重因子，||A′||0为A′的L0激活正则化；
(8)重复步骤(1)～(7)，每次重复计算一次风险最小化函数将/>值最小时的异常检测网络，作为训练好的异常检测模型；
(9)异常检测；
(91)预设一时刻t的异常阈值Y(t)；
(92)将一待测的N维时间序列Q送入(8)中异常检测模型，输出对应的预测变量；
(93)用异常评分模块根据下式计算其异常评分；
A(t)＝maxi∈Nai(t) (5)
式(3)中，为Q中，节点i在时刻t的元素，/>为Q的预测变量中，节点i在时刻t的元素，Erri(t)为节点i在时刻t的预测误差；
式(4)中，和/>分别为Erri(t)值在时间维度上的中位数和四分位距，ai(t)为节点i在时刻t的标准化后的预测误差；
式(5)中，A(t)为待测的N维时间序列Q在时刻t的异常评分；
(94)比较A(t)和Y(t)，若A(t)≥Y(t)，则A(t)为异常，否则为正常。
2.根据权利要求1所述的基于时空信息的多元时间序列异常检测方法，其特征在于：步骤(3)中，所述时间信息提取模块采用LSTM特征提取器，得到t时刻的时间信息表示方法为；
(31)将Xt中，A1在(t-W)～(t-1)时刻的历史特征作为输入，经LSTM特征提取器得到A1在t时刻的时间信息预测数据
(32)依次得到A2～AN在t时刻的时间信息预测数据
(33)t时刻时间信息表示
3.根据权利要求1所述的基于时空信息的多元时间序列异常检测方法，其特征在于：步骤(41)中，节点i的节点嵌入向量为通过下式得到；
式(6)中，emb(·)表示词嵌入层；
步骤(42)中，ui通过下式得到；
式(7)中，为节点m的节点嵌入向量，m≠i，m＝1～N，/>为/>的融合信息，MLP()为多层感知机；
步骤(43)中，节点i的邻接向量为A′i过下式得到；
式(8)中，对为ui经hard concrete分布进行映射，得到的近似二进制值，式(9)中，是，[δ,γ]为拉伸区间、δ、γ分别为拉伸区间的两个端值，τ为hard concrete分布中控制近似度的温度值，z为服从(0，1)之间均匀分布的随机数，Sigmoid()为sigmoid函数；
步骤(44)中，通过下式拼接得到邻接矩阵A′；
A′＝[A′1,A′2,…,A′N] (10)。
4.根据权利要求3所述的基于时空信息的多元时间序列异常检测方法，其特征在于：δ＝-0.1，γ＝1.1，τ＝0.66。
5.根据权利要求1所述的基于时空信息的多元时间序列异常检测方法，其特征在于：(51)中，节点i从邻接矩阵A′中选取K个邻居节点的方法为；
邻接矩阵A′的第i行数据为节点i的邻接向量；
从邻接向量中从大到小选取K个元素，构成节点i的最近邻居集为
6.根据权利要求1所述的基于时空信息的多元时间序列异常检测方法，其特征在于：步骤(52)具体通过下述公式进行聚合；
式(11)中，节点j为节点i的邻居节点，π(i,j)为节点i与节点j之间的注意力系数，LeakyReLU()为LeakyReLU函数，W′∈RN×w，为图注意力网络的权重矩阵，a为图注意力网络的系数向量，T表示转置；
式(12)中，αi,j为节点i与节点j之间的归一化注意力系数，k为集合中的一个节点，exp()为exp函数；
式(13)中，ReLU为ReLU函数。
7.根据权利要求1所述的基于时空信息的多元时间序列异常检测方法，其特征在于：步骤(91)中，Y(t)为训练过程中，用于验证模型的N维时间序列在时刻t的异常评分A′(t)的上四分位数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311143311.9A CN117235572B (zh) | 2023-09-06 | 2023-09-06 | 基于时空信息的多元时间序列异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311143311.9A CN117235572B (zh) | 2023-09-06 | 2023-09-06 | 基于时空信息的多元时间序列异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117235572A CN117235572A (zh) | 2023-12-15 |
| CN117235572B true CN117235572B (zh) | 2024-02-27 |
Family
ID=89088924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311143311.9A Active CN117235572B (zh) | 2023-09-06 | 2023-09-06 | 基于时空信息的多元时间序列异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117235572B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102258206B1 (ko) * | 2020-12-16 | 2021-05-31 | 주식회사 환경과학기술 | 이종 데이터 융합을 이용한 이상 강수 감지 학습 장치, 이상 강수 감지 학습 방법, 이종 데이터 융합을 이용한 이상 강수 감지 장치 및 이상 강수 감지 방법 |
| CN116665130A (zh) * | 2023-06-07 | 2023-08-29 | 河海大学 | 基于时空图的大坝安全监测多元时间序列异常检测方法 |
-
2023
- 2023-09-06 CN CN202311143311.9A patent/CN117235572B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102258206B1 (ko) * | 2020-12-16 | 2021-05-31 | 주식회사 환경과학기술 | 이종 데이터 융합을 이용한 이상 강수 감지 학습 장치, 이상 강수 감지 학습 방법, 이종 데이터 융합을 이용한 이상 강수 감지 장치 및 이상 강수 감지 방법 |
| CN116665130A (zh) * | 2023-06-07 | 2023-08-29 | 河海大学 | 基于时空图的大坝安全监测多元时间序列异常检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117235572A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | A perspective survey on deep transfer learning for fault diagnosis in industrial scenarios: Theories, applications and challenges | |
| CN114509685A (zh) | 一种构建锂离子电池热失控预测模型的方法及预测系统 | |
| US10943154B2 (en) | Systems for modeling uncertainty in multi-modal retrieval and methods thereof | |
| Caceres et al. | A probabilistic Bayesian recurrent neural network for remaining useful life prognostics considering epistemic and aleatory uncertainties | |
| CN115618296B (zh) | 一种基于图注意力网络的大坝监测时序数据异常检测方法 | |
| CN111652066A (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
| CN114898121B (zh) | 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法 | |
| CN114118225A (zh) | 发电机剩余寿命预测方法、系统、电子设备和存储介质 | |
| CN115659174A (zh) | 基于图正则化CNN-BiLSTM的多传感器故障诊断方法、介质及设备 | |
| CN116929815A (zh) | 基于物联网的设备工作状态监测系统及其方法 | |
| CN117148197A (zh) | 一种基于集成Transformer模型的锂离子电池寿命预测方法 | |
| CN115831377A (zh) | 基于icu病历数据的院内死亡风险预测方法 | |
| CN117235572B (zh) | 基于时空信息的多元时间序列异常检测方法 | |
| Zhu et al. | RGCNU: recurrent graph convolutional network with uncertainty estimation for remaining useful life prediction | |
| CN113469013A (zh) | 一种基于迁移学习和时间序列的电机故障预测方法及系统 | |
| CN117314900A (zh) | 一种基于半自监督特征匹配缺陷检测方法 | |
| CN117251813A (zh) | 一种网络流量异常检测方法和系统 | |
| CN116842323A (zh) | 一种供水管线运行数据异常检测方法 | |
| CN112381213A (zh) | 一种基于双向长短期记忆网络的工业设备剩余寿命预测方法 | |
| CN117154256A (zh) | 锂电池的电化学修复方法 | |
| US20240126247A1 (en) | Methods and systems for performing root cause analysis with a trained machine learning model | |
| CN117132919A (zh) | 一种多尺度高维特征分析无监督学习视频异常检测方法 | |
| CN117036855A (zh) | 目标检测模型训练方法、装置、计算机设备和存储介质 | |
| US20240070449A1 (en) | Systems and methods for expert guided semi-supervision with contrastive loss for machine learning models | |
| CN116663613A (zh) | 一种面向智能物联系统的多元时序异常检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |