CN116361635A - 一种多维时序数据异常检测方法 - Google Patents

一种多维时序数据异常检测方法 Download PDF

Info

Publication number
CN116361635A
CN116361635A CN202310643926.1A CN202310643926A CN116361635A CN 116361635 A CN116361635 A CN 116361635A CN 202310643926 A CN202310643926 A CN 202310643926A CN 116361635 A CN116361635 A CN 116361635A
Authority
CN
China
Prior art keywords
data
representing
anomaly detection
node
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310643926.1A
Other languages
English (en)
Other versions
CN116361635B (zh
Inventor
杨宁
李杉
张鑫
赵爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Document And Information Center Chinese Academy Of Sciences
Original Assignee
Chengdu Document And Information Center Chinese Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Document And Information Center Chinese Academy Of Sciences filed Critical Chengdu Document And Information Center Chinese Academy Of Sciences
Priority to CN202310643926.1A priority Critical patent/CN116361635B/zh
Publication of CN116361635A publication Critical patent/CN116361635A/zh
Application granted granted Critical
Publication of CN116361635B publication Critical patent/CN116361635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种多维时序数据异常检测方法，涉及时序数据异常检测技术领域，包括：S1、通过GAT提取多维时序数据的空间特征，并通过GRU提取多维时序数据的时间特征；S2、基于多层感知机将多维时序数据的空间特征和时间特征进行数据重构；S3、基于重构后的数据获取训练集，并基于训练集建立异常检测模型，通过异常检测模型获取最佳阈值；S4、将重构后的数据的均方根差作为异常分数输入异常检测模型与最佳阈值进行对比以得到异常检测结果；本发明基于GAT和GRU的特征挖掘模块充分挖掘序列间关系特征，针对应用场景中产生的数据的分布或特征可能会发生动态地变换，保持了模型在新场景中的异常检测能力。

Description

一种多维时序数据异常检测方法
技术领域
本发明涉及时序数据异常检测技术领域，具体而言，涉及一种多维时序数据异常检测方法。
背景技术
时序数据是按时间顺序记录的有序数据，用于表示系统随时间的发展变化。在应用场景中，常见的是多维时序数据。比如，医疗辅助场景中的脑电图、心电图等检测数据是多维时序数据，互联网后台系统中CPU、内存等指标数据是多维时序数据。对多维时序数据进行异常检测在实际应用中具有重要作用，例如对工业生产行业中温度传感器采集得到的时间序列数据进行异常检测，可以及时发现数据的异常变化，并产生相应的预警效果，这样管理人员就可以采取相应的措施来减少损失；应用系统中，多维时序数据具有维度高、数据量大和指标间相互关联等特征，这给异常检测方法的研究带来了巨大的挑战。尤其是序列各维度间可能存在复杂的依赖关系，使得异常的表现和原因复杂多样。因此，如何充分挖掘序列间关系特征，以提高检测方法的精确率和召回率，是研究任务的难点。另外，由于系统的复杂性和动态性，使得源源不断产生的数据的分布或特征可能会发生动态地变换，所以异常检测方法应该还要能以较少的代价快速调整模型参数以保障性能。
现有的多维时序数据异常检测方法主要分为以下几类：基于统计学的方法，对正常数据建立统计模型，通过检验测试数据是否符合模型的统计分布来检测异常；基于传统机器学习的方法，主要使用分类、聚类算法，并结合支持向量、PCA等技术，完成异常检测；基于深度学习的方法，主要使用循环神经网络、卷积网络、生成对抗网络、自编码器等神经网络模型构建。然而，现有的异常检测方法几乎都是使用固定模型，即在训练集上调整参数，一旦参数调整好后就不再更改，当数据特征规律随时间变化时，这类模型的性能会急剧下降，导致检测能力较低。
基于此，本申请提出一种多维时序数据异常检测方法，来解决上述问题。
发明内容
本发明的目的在于提供一种多维时序数据异常检测方法，其能够针对应用场景中产生的数据的分布或特征可能会发生动态地变换，保持模型在新场景中的异常检测，在旧数据上保持良好性能，显著提高异常检测能力。
本发明的技术方案为：
本申请提供一种多维时序数据异常检测方法，其包括以下步骤：
S1、通过GAT提取多维时序数据的空间特征，并通过GRU提取多维时序数据的时间特征；
S2、基于多层感知机将多维时序数据的空间特征和时间特征进行数据重构；
S3、基于重构后的数据获取训练集，并基于训练集建立异常检测模型，通过异常检测模型获取最佳阈值；
S4、将重构后的数据的均方根差作为异常分数输入异常检测模型与最佳阈值进行对比以得到异常检测结果。
进一步地，步骤S1中，上述通过GAT提取多维时序数据的空间特征的计算过程包括：
Figure SMS_1
，
Figure SMS_2
，
Figure SMS_3
，
Figure SMS_4
，
其中，
Figure SMS_21
表示节点/>
Figure SMS_6
和邻居节点/>
Figure SMS_15
之间的权重系数，softmax表示归一化处理函数，
Figure SMS_8
表示邻居节点/>
Figure SMS_13
到节点/>
Figure SMS_19
的权重系数，/>
Figure SMS_25
表示节点/>
Figure SMS_17
的邻居节点，/>
Figure SMS_23
表示节点/>
Figure SMS_5
的邻居节点的集合，/>
Figure SMS_11
为邻居节点/>
Figure SMS_10
到节点/>
Figure SMS_14
的权重系数，/>
Figure SMS_20
表示/>
Figure SMS_26
激活函数，/>
Figure SMS_9
表示权重参数，||表示拼接运算，/>
Figure SMS_16
为权重参数，/>
Figure SMS_22
表示节点i的特征向量，/>
Figure SMS_27
表示节点j的特征向量，F表示输入序列的长度，/>
Figure SMS_7
为节点i的表示向量，/>
Figure SMS_12
表示sigmoid激活函数，FC为全连接网络，/>
Figure SMS_18
为输出向量，/>
Figure SMS_24
表示节点N的通过注意力学习到的表示向量。
进一步地，步骤S1中，上述通过GAT提取多维时序数据的空间特征的计算过程包括：
Figure SMS_28
，
Figure SMS_29
，
Figure SMS_30
，
Figure SMS_31
，
其中，x t表示每个单元的输入，
Figure SMS_34
表示重置门，/>
Figure SMS_38
表示更新门，/>
Figure SMS_41
表示t/>
Figure SMS_35
时刻的隐藏状态，/>
Figure SMS_39
表示sigmoid激活函数，/>
Figure SMS_42
、/>
Figure SMS_44
和/>
Figure SMS_32
分别表示不同门控单元的可学习参数，/>
Figure SMS_36
表示/>
Figure SMS_40
激活函数，/>
Figure SMS_43
为当前时刻的候选状态，/>
Figure SMS_33
表示矩阵的乘积，/>
Figure SMS_37
表示当前时刻的隐藏状态。
进一步地，步骤S2中，上述数据重构的计算公式为：
Figure SMS_45
，
其中，
Figure SMS_46
表示重构序列，h time表示GRU的输出向量，/>
Figure SMS_47
表示GAT的输出向量，||表示拼接运算，MLP为多层感知机网络。
进一步地，步骤S3中，上述通过异常检测模型获取最佳阈值的计算公式包括：
Figure SMS_48
，
其中，
Figure SMS_49
为最佳阈值，TP为预测正常且实际正常的样本数量，FP为预测正常但实际异常的样本数量，FN为预测异常但实际正常的样本数量。
进一步地，步骤S4中，上述异常分数计算过程包括：
Figure SMS_50
，
其中，
Figure SMS_51
为异常分数，/>
Figure SMS_52
为样本数量，F为输入序列的长度，/>
Figure SMS_53
为真实值，/>
Figure SMS_54
为预测值。
进一步地，还包括：利用增量学习算法动态更新异常检测模型的参数，计算过程包括：
计算梯度夹角：
Figure SMS_55
，
式中，
Figure SMS_57
为梯度，/>
Figure SMS_59
为基于回放集计算得到的梯度，/>
Figure SMS_61
为当前新数据上的损失函数，/>
Figure SMS_56
为异常检测模型的参数集合，/>
Figure SMS_60
为从所有回放数据集/>
Figure SMS_62
中随机采样得到的子集，/>
Figure SMS_63
为/>
Figure SMS_58
中随机采样得到的子集的损失函数；
对梯度夹角判断，若
Figure SMS_64
，则将梯度/>
Figure SMS_65
投影到满足上式约束的最接近的梯度/>
Figure SMS_66
，若/>
Figure SMS_67
，则利用优化函数求解新梯度：
Figure SMS_68
，
式中，
Figure SMS_69
为新梯度，/>
Figure SMS_70
为梯度，/>
Figure SMS_71
为；
基于新的梯度
Figure SMS_72
更新模型参数和回放数据集：
Figure SMS_73
，
Figure SMS_74
，
式中，
Figure SMS_75
为新梯度，r为学习率，/>
Figure SMS_76
为模型参数，/>
Figure SMS_77
为更新后的模型参数，/>
Figure SMS_78
为回放数据集，/>
Figure SMS_79
为更新后的回放数据集，/>
Figure SMS_80
为输入数据。
相对于现有技术，本发明至少具有如下优点或有益效果：
（1）本发明一种多维时序数据异常检测方法，针对序列各维度间可能存在复杂的依赖关系，设计了GAT和GRU的特征挖掘模块充分挖掘了序列间关系特征，基于编码-解码的思路能够动态更新参数，通过由图注意力网络（GAT）和门控循环单元（GRU）构成的编码器来提取输入数据的时间特征和关系特征，然后用多层感知机（MLP）作为解码器，将提取到的特征向量重构出输入数据，针对数据特征规律随时间变化的特点，创新地在更新模型参数时设计了增量学习模块动态地更新模型参数，在适应新数据的同时保证模型兼容性，可以为工业系统、互联网系统的安全运维提供技术支持；
（2）本发明针对应用场景中产生的数据的分布或特征可能会发生动态地变换，设计了基于A-GEM算法的模型参数更新方法，保持了模型在新场景中的异常检测能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一种多维时序数据异常检测方法的步骤图；
图2为本发明一种多维时序数据异常检测方法的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
实施例
请参阅图1、图2，图1所示为本申请实施例提供的一种多维时序数据异常检测方法的步骤图，图2所示为本申请实施例提供的一种多维时序数据异常检测方法的结构示意图。
本申请提供一种多维时序数据异常检测方法，其包括以下步骤：
S1、通过GAT提取多维时序数据的空间特征，并通过GRU提取多维时序数据的时间特征；
S2、基于多层感知机将多维时序数据的空间特征和时间特征进行数据重构；
S3、基于重构后的数据获取训练集，并基于训练集建立异常检测模型，通过异常检测模型获取最佳阈值；
S4、将重构后的数据的均方根差作为异常分数输入异常检测模型与最佳阈值进行对比以得到异常检测结果。
作为一种优选的实施方式，步骤S1中，通过GAT提取多维时序数据的空间特征的计算过程包括：
给定输入数据
Figure SMS_81
，N表示多维时序数据的维度，即序列数量，将本发明中，将每个序列建模为图中的节点，图中的边表示对应节点间的关系，本发明构建的图是完全图，即节点两两相连，利用GAT完成图上的表示学习：通过多头注意力机制为边分配权重，然后通过聚合操作实现节点间信息整合，从而提取到序列之间关系特征，最后输出节点的表示向量，表示学习时，/>
Figure SMS_82
为每个节点的特征向量，F表示输入序列的长度，用公式可以表示为：
Figure SMS_83
，
Figure SMS_84
，
通过加权求和，得到节点i的表示向量：
Figure SMS_85
，
输出为所有节点特征向量的线性变换，表示为：
Figure SMS_86
，
其中，
Figure SMS_92
表示节点/>
Figure SMS_89
和邻居节点/>
Figure SMS_95
之间的权重系数，softmax表示归一化处理函数，
Figure SMS_90
表示邻居节点/>
Figure SMS_94
到节点/>
Figure SMS_99
的权重系数，/>
Figure SMS_105
表示节点/>
Figure SMS_98
的邻居节点，/>
Figure SMS_104
表示节点/>
Figure SMS_87
的邻居节点的集合，/>
Figure SMS_93
为邻居节点/>
Figure SMS_91
到节点/>
Figure SMS_96
的权重系数，/>
Figure SMS_101
表示/>
Figure SMS_107
激活函数，/>
Figure SMS_100
表示权重参数，||表示拼接运算，/>
Figure SMS_106
为权重参数，/>
Figure SMS_103
表示节点i的特征向量，/>
Figure SMS_109
表示节点j的特征向量，F表示输入序列的长度，/>
Figure SMS_88
为节点i的表示向量，/>
Figure SMS_97
表示sigmoid激活函数，FC为全连接网络，/>
Figure SMS_102
为输出向量，/>
Figure SMS_108
表示节点N的通过注意力学习到的表示向量。
作为一种优选的实施方式，步骤S1中，通过GAT提取多维时序数据的空间特征的计算过程包括：
为获取多维时序数据的时间特征，本发明采用GRU挖掘数据的时序特征，GRU中，每个单元的输入为
Figure SMS_110
，即在t时刻的N个序列的值，经过GRU网络最终得到特征向量h time∈R d，d为向量维度，本发明设为6，GRU的执行过程如下：
1）获取门控状态；通过上一隐藏状态h t-1和当前输入x t获取门控状态，计算公式如下：
重置门：
Figure SMS_111
，
更新门：
Figure SMS_112
，
2）获取候选状态；使用重置门重置前一隐藏状态，然后与当前输入拼接，再通过tanh激活函数将数据缩放到[-1,1]的范围，计算公式如下：
Figure SMS_113
，
3）更新当前隐藏状态；计算公式如下：
Figure SMS_114
，
其中，x t表示每个单元的输入，
Figure SMS_117
表示重置门，/>
Figure SMS_120
表示更新门，/>
Figure SMS_124
表示t/>
Figure SMS_118
时刻的隐藏状态，/>
Figure SMS_122
表示sigmoid激活函数，/>
Figure SMS_125
、/>
Figure SMS_127
和/>
Figure SMS_115
分别表示不同门控单元的可学习参数，/>
Figure SMS_119
表示/>
Figure SMS_123
激活函数，/>
Figure SMS_126
为当前时刻的候选状态，/>
Figure SMS_116
表示矩阵的乘积，/>
Figure SMS_121
表示当前时刻的隐藏状态。
需要说明的是，取最后一个单元的隐藏向量为GRU的输出向量h time。
作为一种优选的实施方式，步骤S2中，数据重构的计算公式为：
Figure SMS_128
，
其中，
Figure SMS_129
表示重构序列，h time表示GRU的输出向量，/>
Figure SMS_130
表示GAT的输出向量，||表示拼接运算，MLP为多层感知机网络。
其中，将
Figure SMS_131
和/>
Figure SMS_132
拼接得到编码器的输出向量，并将该特征向量作为多层感知机(MLP)的输入，即完成数据重构。
作为一种优选的实施方式，步骤S3中，通过异常检测模型获取最佳阈值的计算公式包括：
Figure SMS_133
，
其中，
Figure SMS_134
为最佳阈值，TP为预测正常且实际正常的样本数量，FP为预测正常但实际异常的样本数量，FN为预测异常但实际正常的样本数量。
需要说明的是，TP、FP、FN均是基于训练集分类结果计算得到。
作为一种优选的实施方式，步骤S4中，异常分数计算过程包括：
Figure SMS_135
，
其中，
Figure SMS_136
为异常分数，/>
Figure SMS_137
为样本数量，F为输入序列的长度，/>
Figure SMS_138
为真实值，/>
Figure SMS_139
为预测值。
作为一种优选的实施方式，还包括：利用增量学习算法动态更新异常检测模型的参数，计算过程包括：
计算梯度夹角：
Figure SMS_140
，
式中，
Figure SMS_142
为梯度，/>
Figure SMS_144
为基于回放集计算得到的梯度，/>
Figure SMS_147
为当前新数据上的损失函数，/>
Figure SMS_143
为异常检测模型的参数集合，/>
Figure SMS_145
为从所有回放数据集/>
Figure SMS_146
中随机采样得到的子集，/>
Figure SMS_148
为/>
Figure SMS_141
中随机采样得到的子集的损失函数；
对梯度夹角判断，若
Figure SMS_149
，则将梯度/>
Figure SMS_150
投影到满足上式约束的最接近的梯度/>
Figure SMS_151
，若/>
Figure SMS_152
，则利用优化函数求解新梯度：
Figure SMS_153
，
式中，
Figure SMS_154
为新梯度，/>
Figure SMS_155
为梯度，/>
Figure SMS_156
为；
基于新的梯度
Figure SMS_157
更新模型参数和回放数据集：
Figure SMS_158
，
Figure SMS_159
，
式中，
Figure SMS_160
为新梯度，r为学习率，/>
Figure SMS_161
为模型参数，/>
Figure SMS_162
为更新后的模型参数，/>
Figure SMS_163
为回放数据集，/>
Figure SMS_164
为更新后的回放数据集，/>
Figure SMS_165
为输入数据。
由此，更新回放数据集和模型参数，保证模型在学习新数据的同时，能够在旧数据上保持良好性能，以便下次新数据时使用。
可以理解，图中所示的结构仅为示意，一种多维时序数据异常检测方法还可包括比图中所示更多或者更少的组件，或者具有与图中所示不同的配置。图中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中，应该理解到，所揭露的方法，也可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，附图中的流程图或框图显示了根据本申请的多个实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供的一种多维时序数据异常检测方法，基于编码-解码的思路能够动态更新参数，通过由图注意力网络（GAT）和门控循环单元（GRU）构成的编码器来提取输入数据的时间特征和关系特征，然后用多层感知机（MLP）作为解码器，将提取到的特征向量重构出输入数据，针对数据特征规律随时间变化的特点，创新地在更新模型参数时设计了增量学习模块动态地更新模型参数，避免灾难性遗忘，在适应新数据的同时保证模型兼容性，可以为工业系统、互联网系统的安全运维提供技术支持。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种多维时序数据异常检测方法，其特征在于，包括以下步骤：
S1、通过GAT提取多维时序数据的空间特征，并通过GRU提取多维时序数据的时间特征；
S2、基于多层感知机将多维时序数据的空间特征和时间特征进行数据重构；
S3、基于重构后的数据获取训练集，并基于训练集建立异常检测模型，通过异常检测模型获取最佳阈值；
S4、将重构后的数据的均方根差作为异常分数输入异常检测模型与最佳阈值进行对比以得到异常检测结果。
2.如权利要求1所述的一种多维时序数据异常检测方法，其特征在于，步骤S1中，所述通过GAT提取多维时序数据的空间特征的计算过程包括：
Figure QLYQS_1
，
Figure QLYQS_2
，
Figure QLYQS_3
，
Figure QLYQS_4
，
其中，
Figure QLYQS_22
表示节点/>
Figure QLYQS_6
和邻居节点/>
Figure QLYQS_16
之间的权重系数，softmax表示归一化处理函数，/>
Figure QLYQS_18
表示邻居节点/>
Figure QLYQS_24
到节点/>
Figure QLYQS_21
的权重系数，/>
Figure QLYQS_27
表示节点/>
Figure QLYQS_9
的邻居节点，/>
Figure QLYQS_12
表示节点/>
Figure QLYQS_5
的邻居节点的集合，/>
Figure QLYQS_11
为邻居节点/>
Figure QLYQS_8
到节点/>
Figure QLYQS_14
的权重系数，/>
Figure QLYQS_10
表示/>
Figure QLYQS_15
激活函数，/>
Figure QLYQS_17
表示权重参数，||表示拼接运算，/>
Figure QLYQS_23
为权重参数，/>
Figure QLYQS_20
表示节点i的特征向量，/>
Figure QLYQS_26
表示节点j的特征向量，F表示输入序列的长度，/>
Figure QLYQS_7
为节点i的表示向量，/>
Figure QLYQS_13
表示sigmoid激活函数，FC为全连接网络，/>
Figure QLYQS_19
为输出向量，/>
Figure QLYQS_25
表示节点N的通过注意力学习到的表示向量。
3.如权利要求1所述的一种多维时序数据异常检测方法，其特征在于，步骤S1中，所述通过GAT提取多维时序数据的空间特征的计算过程包括：
Figure QLYQS_28
，
Figure QLYQS_29
，
Figure QLYQS_30
，
Figure QLYQS_31
，
其中，x t表示每个单元的输入，
Figure QLYQS_35
表示重置门，/>
Figure QLYQS_37
表示更新门，/>
Figure QLYQS_41
表示t/>
Figure QLYQS_34
时刻的隐藏状态，/>
Figure QLYQS_39
表示sigmoid激活函数，/>
Figure QLYQS_42
、/>
Figure QLYQS_44
和/>
Figure QLYQS_32
分别表示不同门控单元的可学习参数，/>
Figure QLYQS_36
表示/>
Figure QLYQS_40
激活函数，/>
Figure QLYQS_43
为当前时刻的候选状态，/>
Figure QLYQS_33
表示矩阵的乘积，/>
Figure QLYQS_38
表示当前时刻的隐藏状态。
4.如权利要求1所述的一种多维时序数据异常检测方法，其特征在于，步骤S2中，所述数据重构的计算公式为：
Figure QLYQS_45
，
其中，
Figure QLYQS_46
表示重构序列，h time表示GRU的输出向量，/>
Figure QLYQS_47
表示GAT的输出向量，||表示拼接运算，MLP为多层感知机网络。
5.如权利要求1所述的一种多维时序数据异常检测方法，其特征在于，步骤S3中，所述通过异常检测模型获取最佳阈值的计算公式包括：
Figure QLYQS_48
，
其中，
Figure QLYQS_49
为最佳阈值，TP为预测正常且实际正常的样本数量，FP为预测正常但实际异常的样本数量，FN为预测异常但实际正常的样本数量。
6.如权利要求1所述的一种多维时序数据异常检测方法，其特征在于，步骤S4中，所述异常分数计算过程包括：
Figure QLYQS_50
，
其中，
Figure QLYQS_51
为异常分数，/>
Figure QLYQS_52
为样本数量，F为输入序列的长度，/>
Figure QLYQS_53
为真实值，/>
Figure QLYQS_54
为预测值。
7.如权利要求1所述的一种多维时序数据异常检测方法，其特征在于，还包括：利用增量学习算法动态更新异常检测模型的参数，计算过程包括：
计算梯度夹角：
Figure QLYQS_55
，
式中，
Figure QLYQS_57
为梯度，/>
Figure QLYQS_59
为基于回放集计算得到的梯度，/>
Figure QLYQS_61
为当前新数据上的损失函数，/>
Figure QLYQS_58
为异常检测模型的参数集合，/>
Figure QLYQS_60
为从所有回放数据集/>
Figure QLYQS_62
中随机采样得到的子集，/>
Figure QLYQS_63
为/>
Figure QLYQS_56
中随机采样得到的子集的损失函数；
对梯度夹角判断，若
Figure QLYQS_64
，则将梯度/>
Figure QLYQS_65
投影到满足上式约束的最接近的梯度/>
Figure QLYQS_66
，若/>
Figure QLYQS_67
，则利用优化函数求解新梯度：
Figure QLYQS_68
，
式中，
Figure QLYQS_69
为新梯度，/>
Figure QLYQS_70
为梯度，/>
Figure QLYQS_71
为；
基于新的梯度
Figure QLYQS_72
更新模型参数和回放数据集：
Figure QLYQS_73
，
Figure QLYQS_74
，
式中，
Figure QLYQS_75
为新梯度，r为学习率，/>
Figure QLYQS_76
为模型参数，/>
Figure QLYQS_77
为更新后的模型参数，/>
Figure QLYQS_78
为回放数据集，
Figure QLYQS_79
为更新后的回放数据集，/>
Figure QLYQS_80
为输入数据。
CN202310643926.1A 2023-06-02 2023-06-02 一种多维时序数据异常检测方法 Active CN116361635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310643926.1A CN116361635B (zh) 2023-06-02 2023-06-02 一种多维时序数据异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310643926.1A CN116361635B (zh) 2023-06-02 2023-06-02 一种多维时序数据异常检测方法

Publications (2)

Publication Number Publication Date
CN116361635A true CN116361635A (zh) 2023-06-30
CN116361635B CN116361635B (zh) 2023-10-10

Family

ID=86910626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310643926.1A Active CN116361635B (zh) 2023-06-02 2023-06-02 一种多维时序数据异常检测方法

Country Status (1)

Country Link
CN (1) CN116361635B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541794A (zh) * 2023-07-06 2023-08-04 中国科学技术大学 一种基于自适应图注意网络的传感器数据异常检测方法
CN117150407A (zh) * 2023-09-04 2023-12-01 国网上海市电力公司 一种工业碳排放数据的异常检测方法
CN117724935A (zh) * 2024-02-06 2024-03-19 山东大学 一种软件系统多指标异常检测方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446340A (zh) * 2018-03-02 2018-08-24 哈尔滨工业大学（威海） 一种面向海量小文件的用户热点数据访问预测方法
CN110969872A (zh) * 2019-12-18 2020-04-07 上海天壤智能科技有限公司 基于强化学习和图注意力网络的交通信号控制方法及系统
CN112053556A (zh) * 2020-08-17 2020-12-08 青岛海信网络科技股份有限公司 一种交通监控复眼动态识别交通事故自我进化系统
CN113033098A (zh) * 2021-03-26 2021-06-25 山东科技大学 一种基于AdaRW算法的海洋目标检测深度学习模型训练方法
CN113496259A (zh) * 2021-06-29 2021-10-12 安徽农业大学 一种融入标签信息的图神经网络推荐方法
CN113821968A (zh) * 2021-06-15 2021-12-21 腾讯科技（深圳）有限公司 持续学习的方法和装置
CN114092769A (zh) * 2022-01-20 2022-02-25 国网江西省电力有限公司电力科学研究院 基于联邦学习的变电站多场景巡检分析方法
CN114495507A (zh) * 2022-02-25 2022-05-13 南京工业大学 融合时空注意力神经网络和交通模型的交通流预测方法
CN115063588A (zh) * 2022-06-29 2022-09-16 深圳前海微众银行股份有限公司 一种数据处理方法、装置、设备及存储介质
US20220374962A1 (en) * 2021-05-17 2022-11-24 National University Of Defense Technology Session-based recommendation method and device
CN115423048A (zh) * 2022-11-03 2022-12-02 山东大学 一种基于模式相似性的交通流量异常检测方法及系统
CN115470201A (zh) * 2022-08-30 2022-12-13 同济大学 基于图注意力网络的海洋遥感缺失数据智能补全方法
CN115545265A (zh) * 2022-06-10 2022-12-30 四川大学 一种基于数据修复和分解序列预测的售电量预测方法
CN115694697A (zh) * 2022-09-28 2023-02-03 东南大学 一种基于机器学习的空时域预测信道建模方法
CN115982224A (zh) * 2021-10-08 2023-04-18 微软技术许可有限责任公司 为多变量时序数据异常检测提供解释性

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446340A (zh) * 2018-03-02 2018-08-24 哈尔滨工业大学（威海） 一种面向海量小文件的用户热点数据访问预测方法
CN110969872A (zh) * 2019-12-18 2020-04-07 上海天壤智能科技有限公司 基于强化学习和图注意力网络的交通信号控制方法及系统
CN112053556A (zh) * 2020-08-17 2020-12-08 青岛海信网络科技股份有限公司 一种交通监控复眼动态识别交通事故自我进化系统
CN113033098A (zh) * 2021-03-26 2021-06-25 山东科技大学 一种基于AdaRW算法的海洋目标检测深度学习模型训练方法
US20220374962A1 (en) * 2021-05-17 2022-11-24 National University Of Defense Technology Session-based recommendation method and device
CN113821968A (zh) * 2021-06-15 2021-12-21 腾讯科技（深圳）有限公司 持续学习的方法和装置
CN113496259A (zh) * 2021-06-29 2021-10-12 安徽农业大学 一种融入标签信息的图神经网络推荐方法
CN115982224A (zh) * 2021-10-08 2023-04-18 微软技术许可有限责任公司 为多变量时序数据异常检测提供解释性
CN114092769A (zh) * 2022-01-20 2022-02-25 国网江西省电力有限公司电力科学研究院 基于联邦学习的变电站多场景巡检分析方法
CN114495507A (zh) * 2022-02-25 2022-05-13 南京工业大学 融合时空注意力神经网络和交通模型的交通流预测方法
CN115545265A (zh) * 2022-06-10 2022-12-30 四川大学 一种基于数据修复和分解序列预测的售电量预测方法
CN115063588A (zh) * 2022-06-29 2022-09-16 深圳前海微众银行股份有限公司 一种数据处理方法、装置、设备及存储介质
CN115470201A (zh) * 2022-08-30 2022-12-13 同济大学 基于图注意力网络的海洋遥感缺失数据智能补全方法
CN115694697A (zh) * 2022-09-28 2023-02-03 东南大学 一种基于机器学习的空时域预测信道建模方法
CN115423048A (zh) * 2022-11-03 2022-12-02 山东大学 一种基于模式相似性的交通流量异常检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541794A (zh) * 2023-07-06 2023-08-04 中国科学技术大学 一种基于自适应图注意网络的传感器数据异常检测方法
CN116541794B (zh) * 2023-07-06 2023-10-20 中国科学技术大学 一种基于自适应图注意网络的传感器数据异常检测方法
CN117150407A (zh) * 2023-09-04 2023-12-01 国网上海市电力公司 一种工业碳排放数据的异常检测方法
CN117724935A (zh) * 2024-02-06 2024-03-19 山东大学 一种软件系统多指标异常检测方法及系统

Also Published As

Publication number Publication date
CN116361635B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN116361635B (zh) 一种多维时序数据异常检测方法
Hsieh et al. Unsupervised online anomaly detection on multivariate sensing time series data for smart manufacturing
CN110909046B (zh) 时间序列的异常检测方法及装置、电子设备、存储介质
EP4290412A2 (en) Computer-implemented method, computer program product and system for data analysis
US20200074269A1 (en) Computer-implemented method, computer program product and system for data analysis
US20190034497A1 (en) Data2Data: Deep Learning for Time Series Representation and Retrieval
Che et al. Hybrid multimodal fusion with deep learning for rolling bearing fault diagnosis
Liao et al. Combining deep learning and survival analysis for asset health management
US20170039470A1 (en) Factor extraction system and factor extraction method
Tuluptceva et al. Perceptual image anomaly detection
CN116383096A (zh) 基于多指标时序预测的微服务系统异常检测方法及装置
Li et al. A robust supervised subspace learning approach for output-relevant prediction and detection against outliers
Nguyen et al. Physics-infused fuzzy generative adversarial network for robust failure prognosis
Zhang et al. Multi-label prediction in time series data using deep neural networks
Qin et al. CSCAD: Correlation structure-based collective anomaly detection in complex system
CN114169091A (zh) 工程机械部件剩余寿命的预测模型建立方法及预测方法
KR20220145007A (ko) 텐서 스트림 데이터에서 손실, 이상치, 패턴을 검출 및 복구하는 데이터 처리 방법
Takeishi et al. Knowledge-based regularization in generative modeling
CN116775423A (zh) 用于集群故障预测的方法
CN115240782A (zh) 药物属性预测方法、装置、电子设备及存储介质
Düdükçü et al. LSTM and WaveNet implementation for predictive maintenance of turbofan engines
CN113792776A (zh) 面向网络安全异常检测中深度学习模型的解释方法
Han et al. Temporal graph regression via structure-aware intrinsic representation learning
İnce et al. Joint autoencoder-regressor deep neural network for remaining useful life prediction
Marei et al. CNC Machining Centre Thermal Error Prediction from Temperature Sensors Using Autoencoder-Augmented Long Short Term Memory Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant