CN115018021A - 基于图结构与异常注意力机制的机房异常检测方法及装置 - Google Patents

基于图结构与异常注意力机制的机房异常检测方法及装置 Download PDF

Info

Publication number
CN115018021A
CN115018021A CN202210942327.5A CN202210942327A CN115018021A CN 115018021 A CN115018021 A CN 115018021A CN 202210942327 A CN202210942327 A CN 202210942327A CN 115018021 A CN115018021 A CN 115018021A
Authority
CN
China
Prior art keywords
graph structure
data
matrix
correlation
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210942327.5A
Other languages
English (en)
Other versions
CN115018021B (zh
Inventor
高宜凡
张杰明
陈展尘
陈显超
梁妍陟
刘洋
陈金成
李波
陈忠颖
陈益哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202210942327.5A priority Critical patent/CN115018021B/zh
Publication of CN115018021A publication Critical patent/CN115018021A/zh
Application granted granted Critical
Publication of CN115018021B publication Critical patent/CN115018021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及机房检测技术领域,公开了基于图结构与异常注意力机制的机房异常检测方法及装置。本发明根据目标电力机房的传感器监测数据构建多维时间序列,将序列转换为图结构并获取对应的邻接矩阵,根据邻接矩阵和对应图结构的附加权重得到聚合矩阵,将聚合矩阵输入至预先训练完成的图卷积神经网络,以提取图结构特征;并将多维时间序列片段和图结构特征输入到预先训练完成的异常检测模型,得到对应异常检测结果,进而确定异常数据;其中异常检测模型包括多级编解码模块,每级编解码模块包括基于关联差异的Transformer编码器及解码器,该编码层的注意力模块为带有两分支结构的异常注意力模块。本发明能够有效提高异常检测精度及稳定性。

Description

基于图结构与异常注意力机制的机房异常检测方法及装置
技术领域
本发明涉及机房检测技术领域,尤其涉及基于图结构与异常注意力机制的机房异常检测方法及装置。
背景技术
电力机房作为单位用电端与国家电网的一个中转点,内部集成了包括变压器、发电机、电源控制设备、电源管理设备等众多的对电力设备。电力机房的各设备需要在运行时保证安全平稳,否则一旦某台设备出现故障,将会对电力系统的安全运行构成威胁。因此有关电力机房异常检测技术的研究与应用具有重要的现实意义。
传统的电力机房异常检测主要依靠人工巡检的方式,基于数据中心基础设施管理系统故障报警,通过人工查找机房和设备铭牌来确定异常设备位置。这种方法不仅效率低下,而且需要耗费大量人力物力。
随着人工智能的发展,现有技术中将深度学习算法应用于电力机房的异常检测领域。基于深度学习的异常检测可以被定义为在数据中自动发现偏离正常行为的实例或模型的问题。深度学习算法作为人工智能的重要部分,能够有效解决大部分传统方法稳定性和泛化性有限的问题。应用深度学习算法解决电力机房的异常检测问题时,往往是基于关于电机机房设备的单维数据,通过循环神经网络(RNN)或者长短期记忆网络(LSTM)网络模型学习时序数据点级别的表征,进而依靠重建误差或预测误差进行判定。然而,此类方法基于单维数据进行深度学习,不能有效捕捉设备之间的运行状态的联系和相关性,容易导致模型预测精度有限及稳定性不足的问题,且所学习的点级别表征信息量较小,并且可能被正常模式主导,使得异常点难以区分,导致异常检测精度较低。
发明内容
本发明提供了基于图结构与异常注意力机制的机房异常检测方法及装置,解决了目前基于深度学习网络的机房异常检测方法存在异常检测精度和稳定性不足的缺陷的技术问题。
本发明第一方面提供一种基于图结构与异常注意力机制的机房异常检测方法,包括:
获取目标电力机房的传感器监测数据,根据所述传感器监测数据构建多维时间序列;
根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵;
将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征;
利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段,将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型,得到对应的异常检测结果;
根据所述异常检测结果确定对应多维时间序列中的异常数据;
其中,所述异常检测模型包括多级的编解码模块,前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入,每个所述编解码模块包括基于关联差异的Transformer编码器及解码器,所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的,所述两分支结构用于同时建模先验关联和序列关联;所述解码器利用多头注意力机制进行解码。
根据本发明第一方面的一种能够实现的方式,所述根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,包括:
将所述多维时间序列对应的传感器视为图结构中的节点,将传感器之间的相关性视为图结构中节点之间的边,根据图结构中节点与节点之间的相关性构建邻接矩阵。
根据本发明第一方面的一种能够实现的方式,所述根据图结构中节点与节点之间的相关性构建邻接矩阵,包括:
按照下列相关性度量关系式表示节点与节点之间的相关性:
Figure 188784DEST_PATH_IMAGE001
式中,
Figure 139423DEST_PATH_IMAGE002
表示节点
Figure 336442DEST_PATH_IMAGE003
与节点
Figure 751243DEST_PATH_IMAGE004
之间的相关性,
Figure 693792DEST_PATH_IMAGE005
为节点
Figure 944775DEST_PATH_IMAGE004
与其余节点之间的相关性假设,
Figure 630972DEST_PATH_IMAGE006
为节点
Figure 900279DEST_PATH_IMAGE003
与其余节点之间的相关性假设,
Figure 13728DEST_PATH_IMAGE005
Figure 250544DEST_PATH_IMAGE006
的取值范围皆为0~1,
Figure 537169DEST_PATH_IMAGE007
表示节点
Figure 864245DEST_PATH_IMAGE003
与节点
Figure 696066DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率,
Figure 108592DEST_PATH_IMAGE008
为节点
Figure 198908DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率,
Figure 380491DEST_PATH_IMAGE009
为节点
Figure 161976DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率,
Figure 858536DEST_PATH_IMAGE010
为节点
Figure 424647DEST_PATH_IMAGE004
的相关节点集合。
根据本发明第一方面的一种能够实现的方式,所述根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵,包括:
按照下式得到聚合矩阵::
Figure 539365DEST_PATH_IMAGE011
式中,
Figure 165518DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵,E为邻接矩阵A对应图结构的附加权重,
Figure 349375DEST_PATH_IMAGE013
为预置的图结构复杂性系数,
Figure 719176DEST_PATH_IMAGE013
的取值范围为0~1。
根据本发明第一方面的一种能够实现的方式,所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层,所述将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征,包括:
将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理,得到每个节点的输出特征:
Figure 186935DEST_PATH_IMAGE014
式中,
Figure 983990DEST_PATH_IMAGE015
表示节点
Figure 655143DEST_PATH_IMAGE004
的输出特征,
Figure 563056DEST_PATH_IMAGE016
Figure 449104DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 417060DEST_PATH_IMAGE004
Figure 827706DEST_PATH_IMAGE003
的输入特征,
Figure 539310DEST_PATH_IMAGE018
Figure 466814DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果,
Figure 605672DEST_PATH_IMAGE019
Figure 2149DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果,
Figure 517444DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 299455DEST_PATH_IMAGE004
的邻居节点集合,W为预置的可训练权重矩阵;
将所述每个节点的输出特征经过所述Sigmoid函数层进行处理,得到相应的图结构特征。
根据本发明第一方面的一种能够实现的方式,所述根据所述异常检测结果确定对应多维时间序列中的异常数据,包括:
将所述异常检测结果与对应多维时间序列进行比较以获取异常得分;
若所述异常得分超过预设阈值,将对应数据标记为异常数据。
根据本发明第一方面的一种能够实现的方式,所述方法还包括:
在根据所述多维时间序列构建相应的图结构之前,对所述多维时间序列进行预处理;所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
本发明第二方面提供一种基于图结构与异常注意力机制的机房异常检测装置,包括:
数据获取模块,用于获取目标电力机房的传感器监测数据,根据所述传感器监测数据构建多维时间序列;
数据转换模块,用于根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵;
特征提取模块,用于将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征;
异常检测模块,用于利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段,将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型,得到对应的异常检测结果;
异常数据确定模块,用于根据所述异常检测结果确定对应多维时间序列中的异常数据;
其中,所述异常检测模型包括多级的编解码模块,前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入,每个所述编解码模块包括基于关联差异的Transformer编码器及解码器,所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的,所述两分支结构用于同时建模先验关联和序列关联;所述解码器利用多头注意力机制进行解码。
根据本发明第二方面的一种能够实现的方式,所述数据转换模块包括:
第一数据转换单元,用于将所述多维时间序列对应的传感器视为图结构中的节点,将传感器之间的相关性视为图结构中节点之间的边,根据图结构中节点与节点之间的相关性构建邻接矩阵。
根据本发明第二方面的一种能够实现的方式,所述第一数据转换单元具体用于:
按照下列相关性度量关系式表示节点与节点之间的相关性:
Figure 920798DEST_PATH_IMAGE001
式中,
Figure 991523DEST_PATH_IMAGE002
表示节点
Figure 107246DEST_PATH_IMAGE003
与节点
Figure 947026DEST_PATH_IMAGE004
之间的相关性,
Figure 240735DEST_PATH_IMAGE005
为节点
Figure 798756DEST_PATH_IMAGE004
与其余节点之间的相关性假设,
Figure 452591DEST_PATH_IMAGE006
为节点
Figure 146877DEST_PATH_IMAGE003
与其余节点之间的相关性假设,
Figure 378532DEST_PATH_IMAGE005
Figure 158269DEST_PATH_IMAGE006
的取值范围皆为0~1,
Figure 615795DEST_PATH_IMAGE007
表示节点
Figure 243217DEST_PATH_IMAGE003
与节点
Figure 65679DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率,
Figure 395030DEST_PATH_IMAGE008
为节点
Figure 593930DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率,
Figure 574393DEST_PATH_IMAGE009
为节点
Figure 567757DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率,
Figure 384403DEST_PATH_IMAGE010
为节点
Figure 121415DEST_PATH_IMAGE004
的相关节点集合。
根据本发明第二方面的一种能够实现的方式,所述数据转换模块还包括:
第二数据转换单元,用于按照下式得到聚合矩阵:
Figure 457849DEST_PATH_IMAGE011
式中,
Figure 887694DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵,E为邻接矩阵A对应图结构的附加权重,
Figure 191636DEST_PATH_IMAGE013
为预置的图结构复杂性系数,
Figure 466760DEST_PATH_IMAGE013
的取值范围为0~1。
根据本发明第二方面的一种能够实现的方式,所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层,所述特征提取模块包括:
第一特征提取单元,用于将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理,得到每个节点的输出特征:
Figure 424745DEST_PATH_IMAGE014
式中,
Figure 822228DEST_PATH_IMAGE015
表示节点
Figure 551150DEST_PATH_IMAGE004
的输出特征,
Figure 443013DEST_PATH_IMAGE016
Figure 940991DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 774955DEST_PATH_IMAGE004
Figure 725593DEST_PATH_IMAGE003
的输入特征,
Figure 919683DEST_PATH_IMAGE018
Figure 272167DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果,
Figure 277032DEST_PATH_IMAGE019
Figure 714967DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果,
Figure 948633DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 483519DEST_PATH_IMAGE004
的邻居节点集合,W为预置的可训练权重矩阵;
第二特征提取单元,用于将所述每个节点的输出特征经过所述Sigmoid函数层进行处理,得到相应的图结构特征。
根据本发明第二方面的一种能够实现的方式,所述异常数据确定模块包括:
异常得分计算单元,用于将所述异常检测结果与对应多维时间序列进行比较以获取异常得分;
异常数据确定单元,用于若所述异常得分超过预设阈值,将对应数据标记为异常数据。
根据本发明第二方面的一种能够实现的方式,所述装置还包括:
数据预处理模块,用于在根据所述多维时间序列构建相应的图结构之前,对所述多维时间序列进行预处理;所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
本发明第三方面提供了一种基于图结构与异常注意力机制的机房异常检测装置,包括:
存储器,用于存储指令;其中,所述指令用于实现如上任意一项能够实现的方式所述的基于图结构与异常注意力机制的机房异常检测方法;
处理器,用于执行所述存储器中的指令。
本发明第四方面一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上任意一项能够实现的方式所述的基于图结构与异常注意力机制的机房异常检测方法。
从以上技术方案可以看出,本发明具有以下优点:
本发明根据目标电力机房的传感器监测数据构建多维时间序列,并将多维时间序列转换为图结构并获取对应的邻接矩阵,根据邻接矩阵和对应图结构的附加权重得到聚合矩阵,将聚合矩阵输入至预先训练完成的图卷积神经网络,以提取图结构特征;并将多维时间序列片段和图结构特征输入到预先训练完成的异常检测模型,得到对应的异常检测结果,进而确定异常数据;其中异常检测模型包括多级编解码模块,每级编解码模块包括基于关联差异的Transformer编码器及解码器;本发明基于多维度输入变量进行异常检测,多维变量能够有效捕捉机房设备之间的运行状态联系和相关性,避免了采用单维数据进行异常检测导致的模型预测精度有限以及稳定性不足的问题;通过建立图结构,将多维时间序列利用有向图表示,使模型能够更有效地学习多维时间数据之间的依赖程度;采用多级编解码模块,能够减少数据过拟合现象,提高模型检测性能的稳定性,其中编码层采用基于关联差异的Transformer编码器,能够提高模型区分正常数据与异常数据的能力,进一步提高模型检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明一个可选实施例提供的一种基于图结构与异常注意力机制的机房异常检测方法的流程图;
图2为本发明一个可选实施例提供的Transformer编码器的结构示意图;
图3为本发明一个可选实施例提供的解码器的结构示意图;
图4为本发明一个可选实施例提供的一种基于图结构与异常注意力机制的机房异常检测方法的异常检测逻辑示意图。
图5为本发明一个可选实施例提供的一种基于图结构与异常注意力机制的机房异常检测装置的结构连接框图。
附图标记:
1-数据获取模块;2-数据转换模块;3-特征提取模块;4-异常检测模块;5-异常数据确定模块。
具体实施方式
本发明实施例提供了基于图结构与异常注意力机制的机房异常检测方法及装置,用于解决目前基于深度学习网络的机房异常检测方法存在异常检测精度和稳定性不足的缺陷的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
为了更好地对本申请实施例中的技术方案进行描述,下面对相关知识进行介绍。
(1)图卷积神经网络(Graph Convolutional Network,GCN):
是一类采用图形结构进行卷积的神经网络,本质上是一个特征提取器。由于图的结构一般是不规则的,可以看作是无限维的一种数据,不具有平移不变性,因此无法用CNN或RNN神经网络进行特征提取。图结构中的节点因为相邻和更远的点的影响,而改变着自己的状态直到最终的平衡,且关系越亲近的邻居节点影响越大。GCN利用这一点完成对图结构特征的提取。
(2)重构误差(Reconstruction error):
指的是模型输出值与原始输入之间的均方误差。
(3)邻接矩阵(Adjacency Matrix):
是表示顶点之间相邻关系的矩阵,是n阶方阵。即当节点
Figure 596969DEST_PATH_IMAGE003
与节点
Figure 824995DEST_PATH_IMAGE004
相连时,对应的邻接矩阵
Figure 49303DEST_PATH_IMAGE021
,表示两节点之间的连接关系。
(4)多维时间序列:
多维时间序列可以表示为
Figure 173117DEST_PATH_IMAGE022
,其中,
Figure 270517DEST_PATH_IMAGE023
是长度为V的信号,N是信号总数,即传感器的个数。
(5)先验关联:
异常数据总是集中出现,因此异常数据的相关性集中在相邻的时间点,由于连续性,这些时间点包含类似的异常模式,我们把这种相邻的异常模式以先验关联进行表征。因此异常关联为采用可学习的高斯核函数表示的对应时间点的数据与邻接数据的偏差。
(6)序列关联:
从原始时间序列中学习关联权重大小,可以自适应地找到最有效的关联,基于此可得到序列关联。序列关联为从所述多维时间序列中学习的对应时间点的自我注意权重。
(7)关联差异:
通过时间点的先验关联与序列关联之间的距离来量化,称为关联差异。通常利用KL散度来表征关联差异。KL散度又被称为相对熵(relative entropy),是两个概率分布间差异的非对称性度量。在信息理论中,相对熵等价于两个概率分布的信息熵的差值。当参与计算的一个概率分布为真实分布,另一个为理论(拟合)分布,相对熵表示使用理论分布拟合真实分布时产生的信息损耗。
本发明提供了一种基于图结构与异常注意力机制的机房异常检测方法。
请参阅图1,图1示出了本发明实施例提供的一种基于图结构与异常注意力机制的机房异常检测方法的流程图。
本发明实施例提供的一种基于图结构与异常注意力机制的机房异常检测方法,包括:
步骤S1,获取目标电力机房的传感器监测数据,根据所述传感器监测数据构建多维时间序列。
其中,传感器监测数据为用于监测目标电力机房故障的传感器所采集的数据。例如,主轴承温度、风扇转速、CPU温度、电源电压等数据。
步骤S2,根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵。
在一种能够实现的方式中,所述根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,包括:
将所述多维时间序列对应的传感器视为图结构中的节点,将传感器之间的相关性视为图结构中节点之间的边,根据图结构中节点与节点之间的相关性构建邻接矩阵。
具体地,对于图的定义为
Figure 683044DEST_PATH_IMAGE024
,其中
Figure 773360DEST_PATH_IMAGE025
表示节点的集合,
Figure 954942DEST_PATH_IMAGE026
表示为边的集合。
Figure 456200DEST_PATH_IMAGE027
N表示传感器的个数。
计算图结构中节点与节点之间的相关性时,需要为每一个传感器即节点选择相关节点,以构建相关节点集合。同时,对于每个节点,设置节点与其余节点之间的相关性假设:
Figure 356022DEST_PATH_IMAGE028
式中,
Figure 984450DEST_PATH_IMAGE005
为节点
Figure 286118DEST_PATH_IMAGE004
与其余节点之间的相关性假设。
在一种能够实现的方式中,按照下列相关性度量关系式表示节点与节点之间的相关性:
Figure 459742DEST_PATH_IMAGE001
式中,
Figure 909178DEST_PATH_IMAGE002
表示节点
Figure 278979DEST_PATH_IMAGE003
与节点
Figure 484089DEST_PATH_IMAGE004
之间的相关性,
Figure 343460DEST_PATH_IMAGE005
为节点
Figure 952296DEST_PATH_IMAGE004
与其余节点之间的相关性假设,
Figure 938838DEST_PATH_IMAGE006
为节点
Figure 949519DEST_PATH_IMAGE003
与其余节点之间的相关性假设,
Figure 979792DEST_PATH_IMAGE005
Figure 75924DEST_PATH_IMAGE006
的取值范围皆为0~1,
Figure 99113DEST_PATH_IMAGE007
表示节点
Figure 964301DEST_PATH_IMAGE003
与节点
Figure 165475DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率,
Figure 561952DEST_PATH_IMAGE008
为节点
Figure 811668DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率,
Figure 859258DEST_PATH_IMAGE009
为节点
Figure 169017DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率,
Figure 554255DEST_PATH_IMAGE010
为节点
Figure 669979DEST_PATH_IMAGE004
的相关节点集合。
这里,前部分为余弦相关,用来度量节点之间在空间中的相关性,后部分为P概率相关,用来度量节点
Figure 509759DEST_PATH_IMAGE003
和节点
Figure 803468DEST_PATH_IMAGE004
在时间上的相关性。结合时空两个维度,可以更有效地表示节点之间的依赖程度,将节点的拓扑结构精细化。
Figure 95909DEST_PATH_IMAGE002
的结果越大,表示两个节点越相似。
其中,假设n维时间数据服从正太分布,其中n是传感器的个数,节点
Figure 15324DEST_PATH_IMAGE003
和节点
Figure 709610DEST_PATH_IMAGE004
的数据分别为
Figure 672756DEST_PATH_IMAGE029
Figure 780389DEST_PATH_IMAGE030
则:
Figure 175598DEST_PATH_IMAGE031
Figure 537441DEST_PATH_IMAGE032
其中,
Figure 687799DEST_PATH_IMAGE033
分别表示均值和方差,可以通过观测数据计算得到。
其中,邻接矩阵的元素
Figure 954833DEST_PATH_IMAGE034
为:
Figure 468247DEST_PATH_IMAGE035
即,首先利用相关性度量关系式计算与节点
Figure 871546DEST_PATH_IMAGE004
与各相关节点之间的相关性,然后选择前K个值,其中
Figure 192806DEST_PATH_IMAGE036
,这里K值可以根据用户预计的图结构的复杂性来选择,并且将K个值对应的邻接矩阵元素设为1,其余为0。
本发明实施例中,提出用图结构建立多维数据之间的相关性。传统的图神经网络使用相同的模型为每个节点建立图结构,限制了模型的灵活性,传统的图卷积神经网络使用相同的模型为每个节点建立图结构,限制了模型的灵活性。本实施例中,基于模型的复杂度选择前K个值进行邻接矩阵的构建,以用于后续的网络训练,可以准确地学习传感器之间的相互依赖程度
在一种能够实现的方式中,所述根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵,包括:
按照下式得到聚合矩阵:
Figure 760185DEST_PATH_IMAGE011
式中,
Figure 497197DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵,E为邻接矩阵A对应图结构的附加权重,
Figure 82899DEST_PATH_IMAGE013
为预置的图结构复杂性系数,
Figure 512743DEST_PATH_IMAGE013
的取值范围为0~1。
传统的异常检测方法都是基于二维空间进行处理,容易忽略传感器之间的相互关系,为此本发明上述实施例中,引入图结构,来表示多维时间序列的拓扑结构,从二维空间转换到多维空间。在进行图结构的表示上,引入聚合矩阵,即由邻接矩阵和初始化时的预测权重矩阵组合而成,加入的预测权重一开始是随机初始化,然后与邻接矩阵一起输入到图结构的特征学习网络(即图卷积神经网络)进行调参,这使得时间序列的拓扑结构更具有灵活性。
步骤S3,将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征。
在一种能够实现的方式中,所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层,所述将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征,包括:
将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理,得到每个节点的输出特征::
Figure 800374DEST_PATH_IMAGE014
式中,
Figure 341077DEST_PATH_IMAGE015
表示节点
Figure 46865DEST_PATH_IMAGE004
的输出特征,
Figure 382031DEST_PATH_IMAGE016
Figure 924002DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 65133DEST_PATH_IMAGE004
Figure 563111DEST_PATH_IMAGE003
的输入特征,
Figure 395411DEST_PATH_IMAGE018
Figure 611629DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果,
Figure 556451DEST_PATH_IMAGE019
Figure 908935DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果,
Figure 664533DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 164784DEST_PATH_IMAGE004
的邻居节点集合,W为预置的可训练权重矩阵;
将所述每个节点的输出特征经过所述Sigmoid函数层进行处理,得到相应的图结构特征。
具体地,输入聚合矩阵为
Figure 585401DEST_PATH_IMAGE012
,其维度是
Figure 369555DEST_PATH_IMAGE037
N是传感器的个数,T是信号通过滑动窗口截取的时间序列的长度,卷积核的参数为
Figure 217426DEST_PATH_IMAGE038
,加入池化层后,通过下采样,对特征进行压缩,减少全连接层的参数,降低模型的复杂度,最后通过全连接层,将邻接矩阵的每个节点表示为相关节点的加权求和,即该输出特征。
现有技术中,通常对图结构进行特征提取的网络是单层全连接网络。本发明实施例中,对现有的图结构的特征提取网络进行改进,加入了卷积层与池化层。由于对图结构的特征提取,是基于聚合矩阵进行处理,利用该矩阵的方阵特性,添加卷积网络可以扩大感受野的范围,提高模型的精细度。
本发明实施例中,通过搭建一个轻量级的图卷积神经网络对图结构进行特征提取,这里卷积核的参数设置为
Figure 204973DEST_PATH_IMAGE038
,网络的输入为聚合矩阵,是N阶方阵,其中N表示传感器的个数,即多维时间序列的维度。由于卷积网络的轻量特点,使得该网络便于移植处理与嵌入操作。
其中,将所述每个节点的输出特征经过所述Sigmoid函数层进行处理,具体为:
对于每个节点进行共享线性变换:
Figure 429281DEST_PATH_IMAGE039
Figure 569407DEST_PATH_IMAGE040
式中,
Figure 916074DEST_PATH_IMAGE041
表示串联,
Figure 328601DEST_PATH_IMAGE042
为将传感器相关性假设
Figure 405535DEST_PATH_IMAGE005
与相应变换后的特征
Figure 587118DEST_PATH_IMAGE015
连接起来的结果;
使用Sigmoid函数对
Figure 104687DEST_PATH_IMAGE042
进行激活。
本发明实施例中,将输入的聚合矩阵映射为每个值属于0~1且所有值之和为1的结果。图卷积神经网络的输出为N个节点的表示,即
Figure 817559DEST_PATH_IMAGE043
步骤S4,利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段,将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型,得到对应的异常检测结果。
其中,如图2所示,所述异常检测模型包括多级的编解码模块,前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入。每个所述编解码模块包括基于关联差异的Transformer编码器及解码器,所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的,所述两分支结构用于同时建模先验关联和序列关联;所述解码器利用多头注意力机制进行解码。
本发明实施例中,借鉴现有的基于关联差异的时间序列异常检测方法,采用具有二分支结构的Transformer编码器,该二分支结构可以计算时间序列的先验相关和序列相关。相比于单分支,可以增加正常数据与异常数据之间的区别。在此基础上,本申请对异常检测模型进行改进。由于模型有时会对异常的数据进行拟合,即产生“过拟合”现象,异常数据会通过与周围其他正常节点建立“假性”关联,使得异常数据的损失函数值较低,隐藏自己的异常性。为了使模型在异常数据上表现为异常的数据和预测的数据差异较大,本申请将多个具有该Transformer编码器的编解码模块进行串联,将第一个编解码模块输出的预测值与真实值的差值作为第二个编解码模块的输入,以此希望第二个编解码模块能学习到差值中所剩余的信息。
本发明实施例中,Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的。对于先验相关,可以采用一个可学习的高斯核来计算相对时间距离的先验相关。由于高斯核函数只有一个峰值,并且距离中心点的距离越近,相似度越接近1,反之越接近于0。利用此特性,引入高斯核函数的注意力机制会更加关注邻近的节点特征。这里,为高斯核函数嵌入一个可学习的参数,使得先验相关适应各种时间序列模式,例如不同长度的异常段。序列相关分支是从原始序列中学习关联,可以自适应地找到最有效的关联。
Transformer编码器的结构示意图可如图3所示。其中,第L层参数为Q、K、V、r。
Transformer编码器的第
Figure 383669DEST_PATH_IMAGE044
层输出为:
Figure 482075DEST_PATH_IMAGE045
Figure 108229DEST_PATH_IMAGE046
其中,
Figure 806932DEST_PATH_IMAGE047
,表示第L层与
Figure 911155DEST_PATH_IMAGE048
通道的输出。初始输入
Figure 129646DEST_PATH_IMAGE049
,表示嵌入的原始序列。
Figure 926701DEST_PATH_IMAGE050
表示第L层的隐藏表示。
QKV的初始值为:
Figure 348586DEST_PATH_IMAGE051
式中,
Figure 584395DEST_PATH_IMAGE052
分别表示查询、关键字、自我注意值和学习量,
Figure 595077DEST_PATH_IMAGE053
Figure 877547DEST_PATH_IMAGE054
分别表示第L层中Q、K、V、r的参数矩阵,
Figure 973679DEST_PATH_IMAGE055
计算序列相关所采用的计算公式为:
Figure 482021DEST_PATH_IMAGE056
可以基于学习到的高斯核参数
Figure 612788DEST_PATH_IMAGE057
生成异常关联
Figure 564694DEST_PATH_IMAGE058
,并且第
Figure 148122DEST_PATH_IMAGE059
个元素
Figure 460155DEST_PATH_IMAGE060
对应于第
Figure 445429DEST_PATH_IMAGE059
个时间点。先验相关的计算公式可以为:
Figure 66772DEST_PATH_IMAGE061
式中,
Figure 199813DEST_PATH_IMAGE062
为参与计算时间序列的长度,
Figure 253219DEST_PATH_IMAGE063
对应不同时间点,即第
Figure 906049DEST_PATH_IMAGE059
个时间点到第
Figure 386709DEST_PATH_IMAGE064
个时间点的关联权重由高斯核
Figure 741467DEST_PATH_IMAGE065
计算。Rescale(.)表示除以行和操作,用于将关联权重转变为离散分布。
解码器的结构示意图可如图4所示。
解码器输出的第
Figure 598564DEST_PATH_IMAGE044
层的隐藏表示为:
Figure 607365DEST_PATH_IMAGE066
作为一项无监督的任务,可以采用重建损失优化异常检测模型。重建损失将引导序列关联找到最有信息的关联。为了进一步放大正常和异常时间点之间的差异,可以进一步使用附加损失来放大关联差异。相应的损失函数为:
Figure 258926DEST_PATH_IMAGE067
式中,
Figure 366559DEST_PATH_IMAGE068
是每个节点附加权重,
Figure 574818DEST_PATH_IMAGE069
是神经网络的参数,
Figure 123611DEST_PATH_IMAGE070
是损失的权衡系数,
Figure 273970DEST_PATH_IMAGE071
为聚合矩阵通过图卷积神经网络后得到的输出,
Figure 541003DEST_PATH_IMAGE072
Figure 785908DEST_PATH_IMAGE071
的重建数据,
Figure 454787DEST_PATH_IMAGE073
表示输入序列通过异常检测模型得到的重构损失。
步骤S5,根据所述异常检测结果确定对应多维时间序列中的异常数据。
在一种能够实现的方式中,所述根据所述异常检测结果确定对应多维时间序列中的异常数据,包括:
将所述异常检测结果与对应多维时间序列进行比较以获取异常得分;
若所述异常得分超过预设阈值,将对应数据标记为异常数据。
获取异常得分时,可以将异常检测结果与观测的时间序列进行比较,计算出
Figure 776047DEST_PATH_IMAGE074
时刻的传感器
Figure 264797DEST_PATH_IMAGE059
的错误值:
Figure 80437DEST_PATH_IMAGE075
式中,
Figure 666140DEST_PATH_IMAGE076
表示
Figure 830405DEST_PATH_IMAGE074
时刻的传感器
Figure 374826DEST_PATH_IMAGE059
的错误值,
Figure 915528DEST_PATH_IMAGE077
表示第
Figure 355737DEST_PATH_IMAGE059
个节点在
Figure 956483DEST_PATH_IMAGE074
时刻由其他节点通过边的连接进行的加权集合表示,
Figure 232874DEST_PATH_IMAGE078
Figure 639585DEST_PATH_IMAGE079
表示节点
Figure 137562DEST_PATH_IMAGE004
与节点
Figure 955214DEST_PATH_IMAGE003
之间边的值,
Figure 171432DEST_PATH_IMAGE080
表示
Figure 116254DEST_PATH_IMAGE077
通过图卷积神经网络后得到的结果,
Figure 468738DEST_PATH_IMAGE081
Figure 958757DEST_PATH_IMAGE082
表示通过图卷积神经网络处理后节点
Figure 396691DEST_PATH_IMAGE004
与节点
Figure 145204DEST_PATH_IMAGE003
之间边的值,
Figure 352195DEST_PATH_IMAGE083
表示异常检测结果中第
Figure 780158DEST_PATH_IMAGE059
个传感器在
Figure 767706DEST_PATH_IMAGE074
时刻的值,
Figure 992014DEST_PATH_IMAGE016
表示第
Figure 132139DEST_PATH_IMAGE059
个传感器在
Figure 416490DEST_PATH_IMAGE074
时刻的观测值;
对所述进行归一化处理,得到对应的异常得分:
Figure 625755DEST_PATH_IMAGE084
式中,
Figure 653754DEST_PATH_IMAGE085
表示第
Figure 146921DEST_PATH_IMAGE059
个传感器在
Figure 664490DEST_PATH_IMAGE074
时刻的数据的异常得分,
Figure 564313DEST_PATH_IMAGE086
分别表示在预置时间间隔内第
Figure 943472DEST_PATH_IMAGE059
个传感器的错误值的均值和方差。
其中,可以使用当前时刻的前数天数据进行训练建模,然后以当天的数据作为测试集得到异常分数,将预设阈值设置为所得异常分数的最大值。
进一步地,可以使用max函数对传感器的异常得分进行聚合,即
Figure 979562DEST_PATH_IMAGE087
。如果
Figure 668032DEST_PATH_IMAGE088
超过预设阈值,则将时间点对应的数据标记为异常数据。
在一种能够实现的方式中,所述方法还包括:
在根据所述多维时间序列构建相应的图结构之前,对所述多维时间序列进行预处理;所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
具体地,可以利用滑动窗口截取到的时间序列进行平均值计算,将得到的结果作为缺失数据的填充。对于感知数据中出现明显反常的数据进行修改,以保证进行模型训练的样本为正确样本。
本发明还提供了一种基于图结构与异常注意力机制的机房异常检测装置。
请参阅图5,图5示出了本发明实施例提供的一种基于图结构与异常注意力机制的机房异常检测装置的结构连接框图。
本发明实施例提供的一种基于图结构与异常注意力机制的机房异常检测装置,包括:
数据获取模块1,用于获取目标电力机房的传感器监测数据,根据所述传感器监测数据构建多维时间序列;
数据转换模块2,用于根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵;
特征提取模块3,用于将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征;
异常检测模块4,用于利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段,将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型,得到对应的异常检测结果;
异常数据确定模块5,用于根据所述异常检测结果确定对应多维时间序列中的异常数据;
其中,所述异常检测模型包括多级的编解码模块,前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入,每个所述编解码模块包括基于关联差异的Transformer编码器及解码器,所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的,所述两分支结构用于同时建模先验关联和序列关联;所述解码器利用多头注意力机制进行解码。
在一种能够实现的方式中,所述数据转换模块2包括:
第一数据转换单元,用于将所述多维时间序列对应的传感器视为图结构中的节点,将传感器之间的相关性视为图结构中节点之间的边,根据图结构中节点与节点之间的相关性构建邻接矩阵。
在一种能够实现的方式中,所述第一数据转换单元具体用于:
按照下列相关性度量关系式表示节点与节点之间的相关性:
Figure 789572DEST_PATH_IMAGE001
式中,
Figure 473887DEST_PATH_IMAGE002
表示节点
Figure 630062DEST_PATH_IMAGE003
与节点
Figure 489434DEST_PATH_IMAGE004
之间的相关性,
Figure 911319DEST_PATH_IMAGE005
为节点
Figure 819232DEST_PATH_IMAGE004
与其余节点之间的相关性假设,
Figure 892230DEST_PATH_IMAGE006
为节点
Figure 860186DEST_PATH_IMAGE003
与其余节点之间的相关性假设,
Figure 267903DEST_PATH_IMAGE005
Figure 979507DEST_PATH_IMAGE006
的取值范围皆为0~1,
Figure 172591DEST_PATH_IMAGE007
表示节点
Figure 311448DEST_PATH_IMAGE003
与节点
Figure 442346DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率,
Figure 19958DEST_PATH_IMAGE008
为节点
Figure 319746DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率,
Figure 691821DEST_PATH_IMAGE009
为节点
Figure 496966DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率,
Figure 363422DEST_PATH_IMAGE010
为节点
Figure 203202DEST_PATH_IMAGE004
的相关节点集合。
在一种能够实现的方式中,所述数据转换模块2还包括:
第二数据转换单元,用于按照下式得到聚合矩阵:
Figure 746179DEST_PATH_IMAGE011
式中,
Figure 304199DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵,E为邻接矩阵A对应图结构的附加权重,
Figure 207302DEST_PATH_IMAGE013
为预置的图结构复杂性系数,
Figure 167168DEST_PATH_IMAGE013
的取值范围为0~1。
在一种能够实现的方式中,所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层,所述特征提取模块3包括:
第一特征提取单元,用于将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理,得到每个节点的输出特征:
Figure 881046DEST_PATH_IMAGE014
式中,
Figure 473832DEST_PATH_IMAGE015
表示节点
Figure 869042DEST_PATH_IMAGE004
的输出特征,
Figure 745731DEST_PATH_IMAGE016
Figure 568193DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 161460DEST_PATH_IMAGE004
Figure 360360DEST_PATH_IMAGE003
的输入特征,
Figure 91555DEST_PATH_IMAGE018
Figure 84919DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果,
Figure 652298DEST_PATH_IMAGE019
Figure 717206DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果,
Figure 240591DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 716441DEST_PATH_IMAGE004
的邻居节点集合,W为预置的可训练权重矩阵;
第二特征提取单元,用于将所述每个节点的输出特征经过所述Sigmoid函数层进行处理,得到相应的图结构特征。
在一种能够实现的方式中,所述异常数据确定模块5包括:
异常得分计算单元,用于将所述异常检测结果与对应多维时间序列进行比较以获取异常得分;
异常数据确定单元,用于若所述异常得分超过预设阈值,将对应数据标记为异常数据。
在一种能够实现的方式中,所述装置还包括:
数据预处理模块,用于在根据所述多维时间序列构建相应的图结构之前,对所述多维时间序列进行预处理;所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
本发明还提供了一种基于图结构与异常注意力机制的机房异常检测装置,包括:
存储器,用于存储指令;其中,所述指令用于实现如上任意一项实施例所述的基于图结构与异常注意力机制的机房异常检测方法;
处理器,用于执行所述存储器中的指令。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上任意一项实施例所述的基于图结构与异常注意力机制的机房异常检测方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,上述描述的装置和模块的具体有益效果,可以参考前述方法实施例中的对应有益效果,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图结构与异常注意力机制的机房异常检测方法,其特征在于,包括:
获取目标电力机房的传感器监测数据,根据所述传感器监测数据构建多维时间序列;
根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵;
将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征;
利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段,将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型,得到对应的异常检测结果;
根据所述异常检测结果确定对应多维时间序列中的异常数据;
其中,所述异常检测模型包括多级的编解码模块,前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入,每个所述编解码模块包括基于关联差异的Transformer编码器及解码器,所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的,所述两分支结构用于同时建模先验关联和序列关联;所述解码器利用多头注意力机制进行解码。
2.根据权利要求1所述的基于图结构与异常注意力机制的机房异常检测方法,其特征在于,所述根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,包括:
将所述多维时间序列对应的传感器视为图结构中的节点,将传感器之间的相关性视为图结构中节点之间的边,根据图结构中节点与节点之间的相关性构建邻接矩阵。
3.根据权利要求2所述的基于图结构与异常注意力机制的机房异常检测方法,其特征在于,所述根据图结构中节点与节点之间的相关性构建邻接矩阵,包括:
按照下列相关性度量关系式表示节点与节点之间的相关性:
Figure 47578DEST_PATH_IMAGE001
式中,
Figure 320428DEST_PATH_IMAGE002
表示节点
Figure 236300DEST_PATH_IMAGE003
与节点
Figure 439748DEST_PATH_IMAGE004
之间的相关性,
Figure 937725DEST_PATH_IMAGE005
为节点
Figure 647056DEST_PATH_IMAGE004
与其余节点之间的相关性假设,
Figure 784645DEST_PATH_IMAGE006
为节点
Figure 604833DEST_PATH_IMAGE003
与其余节点之间的相关性假设,
Figure 147197DEST_PATH_IMAGE005
Figure 27429DEST_PATH_IMAGE006
的取值范围皆为0~1,
Figure 652314DEST_PATH_IMAGE007
表示节点
Figure 10614DEST_PATH_IMAGE003
与节点
Figure 670134DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率,
Figure 721267DEST_PATH_IMAGE008
为节点
Figure 833448DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率,
Figure 185320DEST_PATH_IMAGE009
为节点
Figure 184500DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率,
Figure 468851DEST_PATH_IMAGE010
为节点
Figure 68328DEST_PATH_IMAGE004
的相关节点集合。
4.根据权利要求2所述的基于图结构与异常注意力机制的机房异常检测方法,其特征在于,所述根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵,包括:
按照下式得到聚合矩阵:
Figure 34010DEST_PATH_IMAGE011
式中,
Figure 402543DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵,E为邻接矩阵A对应图结构的附加权重,
Figure 529899DEST_PATH_IMAGE013
为预置的图结构复杂性系数,
Figure 616673DEST_PATH_IMAGE013
的取值范围为0~1。
5.根据权利要求2所述的基于图结构与异常注意力机制的机房异常检测方法,其特征在于,所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层,所述将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征,包括:
将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理,得到每个节点的输出特征:
Figure 182784DEST_PATH_IMAGE014
式中,
Figure 422135DEST_PATH_IMAGE015
表示节点
Figure 972590DEST_PATH_IMAGE004
的输出特征,
Figure 297392DEST_PATH_IMAGE016
Figure 667193DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 744739DEST_PATH_IMAGE004
Figure 479477DEST_PATH_IMAGE003
的输入特征,
Figure 275264DEST_PATH_IMAGE018
Figure 386439DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果,
Figure 584071DEST_PATH_IMAGE019
Figure 489710DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果,
Figure 787442DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 436729DEST_PATH_IMAGE004
的邻居节点集合,W为预置的可训练权重矩阵;
将所述每个节点的输出特征经过所述Sigmoid函数层进行处理,得到相应的图结构特征。
6.根据权利要求1所述的基于图结构与异常注意力机制的机房异常检测方法,其特征在于,所述根据所述异常检测结果确定对应多维时间序列中的异常数据,包括:
将所述异常检测结果与对应多维时间序列进行比较以获取异常得分;
若所述异常得分超过预设阈值,将对应数据标记为异常数据。
7.根据权利要求1所述的基于图结构与异常注意力机制的机房异常检测方法,其特征在于,所述方法还包括:
在根据所述多维时间序列构建相应的图结构之前,对所述多维时间序列进行预处理;所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
8.一种基于图结构与异常注意力机制的机房异常检测系统,其特征在于,包括:
数据获取模块,用于获取目标电力机房的传感器监测数据,根据所述传感器监测数据构建多维时间序列;
数据转换模块,用于根据所述多维时间序列构建相应的图结构,获取所述图结构的邻接矩阵,根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵;
特征提取模块,用于将所述聚合矩阵输入至预先训练完成的图卷积神经网络,得到相应的图结构特征;
异常检测模块,用于利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段,将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型,得到对应的异常检测结果;
异常数据确定模块,用于根据所述异常检测结果确定对应多维时间序列中的异常数据;
其中,所述异常检测模型包括多级的编解码模块,前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入,每个所述编解码模块包括基于关联差异的Transformer编码器及解码器,所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的,所述两分支结构用于同时建模先验关联和序列关联;所述解码器利用多头注意力机制进行解码。
9.一种基于图结构与异常注意力机制的机房异常检测装置,其特征在于,包括:
存储器,用于存储指令;其中,所述指令用于实现如权利要求1-7任意一项所述的基于图结构与异常注意力机制的机房异常检测方法;
处理器,用于执行所述存储器中的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的基于图结构与异常注意力机制的机房异常检测方法。
CN202210942327.5A 2022-08-08 2022-08-08 基于图结构与异常注意力机制的机房异常检测方法及装置 Active CN115018021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210942327.5A CN115018021B (zh) 2022-08-08 2022-08-08 基于图结构与异常注意力机制的机房异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210942327.5A CN115018021B (zh) 2022-08-08 2022-08-08 基于图结构与异常注意力机制的机房异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN115018021A true CN115018021A (zh) 2022-09-06
CN115018021B CN115018021B (zh) 2023-01-20

Family

ID=83065508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210942327.5A Active CN115018021B (zh) 2022-08-08 2022-08-08 基于图结构与异常注意力机制的机房异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN115018021B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186547A (zh) * 2023-04-27 2023-05-30 深圳市广汇源环境水务有限公司 一种环境水务监测采样异常数据快速识别方法
CN116204846A (zh) * 2023-05-06 2023-06-02 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN116662811A (zh) * 2023-06-13 2023-08-29 无锡物联网创新中心有限公司 一种工业设备的时序状态数据重构方法及相关装置
CN116680141A (zh) * 2023-07-31 2023-09-01 北京趋动智能科技有限公司 异常预测方法、装置、存储介质及电子设备
CN116678552A (zh) * 2023-08-03 2023-09-01 四川中测仪器科技有限公司 一种变温度环境下光纤应力传感器异常监测方法
CN117093947A (zh) * 2023-10-20 2023-11-21 深圳特力自动化工程有限公司 一种发电柴油机运行异常监测方法及系统
CN117150388A (zh) * 2023-11-01 2023-12-01 江西现代职业技术学院 汽车底盘的异常状态检测方法及系统
CN117319451A (zh) * 2023-11-28 2023-12-29 爱瑞克(大连)安全技术集团有限公司 基于多模态大数据的城市级消防物联网监管系统及其方法
CN117349770A (zh) * 2023-09-19 2024-01-05 武汉理工大学 一种结构健康监测多应变传感器数据异常检测与修复方法
CN117851920A (zh) * 2024-03-07 2024-04-09 国网山东省电力公司信息通信公司 电力物联数据异常检测方法及系统
CN118332291A (zh) * 2024-06-12 2024-07-12 中国人民解放军海军航空大学 一种飞行器多传感器数据故障预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161535A (zh) * 2019-12-23 2020-05-15 山东大学 基于注意力机制的图神经网络交通流量预测方法及系统
CN113157771A (zh) * 2021-04-27 2021-07-23 广东海聊科技有限公司 一种数据异常检测方法及电网数据异常检测方法
CN113961759A (zh) * 2021-10-22 2022-01-21 北京工业大学 基于属性图表示学习的异常检测方法
CN114065862A (zh) * 2021-11-18 2022-02-18 南京航空航天大学 一种多维时序数据异常检测方法和系统
CN114818515A (zh) * 2022-06-24 2022-07-29 中国海洋大学 一种基于自注意力机制和图卷积网络的多维时序预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161535A (zh) * 2019-12-23 2020-05-15 山东大学 基于注意力机制的图神经网络交通流量预测方法及系统
CN113157771A (zh) * 2021-04-27 2021-07-23 广东海聊科技有限公司 一种数据异常检测方法及电网数据异常检测方法
CN113961759A (zh) * 2021-10-22 2022-01-21 北京工业大学 基于属性图表示学习的异常检测方法
CN114065862A (zh) * 2021-11-18 2022-02-18 南京航空航天大学 一种多维时序数据异常检测方法和系统
CN114818515A (zh) * 2022-06-24 2022-07-29 中国海洋大学 一种基于自注意力机制和图卷积网络的多维时序预测方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186547B (zh) * 2023-04-27 2023-07-07 深圳市广汇源环境水务有限公司 一种环境水务监测采样异常数据快速识别方法
CN116186547A (zh) * 2023-04-27 2023-05-30 深圳市广汇源环境水务有限公司 一种环境水务监测采样异常数据快速识别方法
CN116204846A (zh) * 2023-05-06 2023-06-02 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN116204846B (zh) * 2023-05-06 2023-08-01 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN116662811B (zh) * 2023-06-13 2024-02-06 无锡物联网创新中心有限公司 一种工业设备的时序状态数据重构方法及相关装置
CN116662811A (zh) * 2023-06-13 2023-08-29 无锡物联网创新中心有限公司 一种工业设备的时序状态数据重构方法及相关装置
CN116680141A (zh) * 2023-07-31 2023-09-01 北京趋动智能科技有限公司 异常预测方法、装置、存储介质及电子设备
CN116680141B (zh) * 2023-07-31 2023-12-01 北京趋动智能科技有限公司 异常预测方法、装置、存储介质及电子设备
CN116678552A (zh) * 2023-08-03 2023-09-01 四川中测仪器科技有限公司 一种变温度环境下光纤应力传感器异常监测方法
CN116678552B (zh) * 2023-08-03 2023-10-03 四川中测仪器科技有限公司 一种变温度环境下光纤应力传感器异常监测方法
CN117349770B (zh) * 2023-09-19 2024-05-14 武汉理工大学 一种结构健康监测多应变传感器数据异常检测与修复方法
CN117349770A (zh) * 2023-09-19 2024-01-05 武汉理工大学 一种结构健康监测多应变传感器数据异常检测与修复方法
CN117093947B (zh) * 2023-10-20 2024-02-02 深圳特力自动化工程有限公司 一种发电柴油机运行异常监测方法及系统
CN117093947A (zh) * 2023-10-20 2023-11-21 深圳特力自动化工程有限公司 一种发电柴油机运行异常监测方法及系统
CN117150388B (zh) * 2023-11-01 2024-01-26 江西现代职业技术学院 汽车底盘的异常状态检测方法及系统
CN117150388A (zh) * 2023-11-01 2023-12-01 江西现代职业技术学院 汽车底盘的异常状态检测方法及系统
CN117319451A (zh) * 2023-11-28 2023-12-29 爱瑞克(大连)安全技术集团有限公司 基于多模态大数据的城市级消防物联网监管系统及其方法
CN117319451B (zh) * 2023-11-28 2024-02-27 爱瑞克(大连)安全技术集团有限公司 基于多模态大数据的城市级消防物联网监管系统及其方法
CN117851920A (zh) * 2024-03-07 2024-04-09 国网山东省电力公司信息通信公司 电力物联数据异常检测方法及系统
CN117851920B (zh) * 2024-03-07 2024-07-05 国网山东省电力公司信息通信公司 电力物联数据异常检测方法及系统
CN118332291A (zh) * 2024-06-12 2024-07-12 中国人民解放军海军航空大学 一种飞行器多传感器数据故障预测方法
CN118332291B (zh) * 2024-06-12 2024-08-23 中国人民解放军海军航空大学 一种飞行器多传感器数据故障预测方法

Also Published As

Publication number Publication date
CN115018021B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN115018021B (zh) 基于图结构与异常注意力机制的机房异常检测方法及装置
CN111967343A (zh) 基于简单神经网络和极端梯度提升模型融合的检测方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN108919059A (zh) 一种电网故障诊断方法、装置、设备及可读存储介质
CN111768000A (zh) 在线自适应微调深度学习的工业过程数据建模方法
CN111695611B (zh) 一种蜂群优化核极限学习和稀疏表示机械故障识别方法
CN110781595B (zh) 能源使用效率pue的预测方法、装置、终端及介质
CN112836604A (zh) 一种基于vmd-ssae的滚动轴承故障诊断分类方法、系统、设备及其存储介质
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN108108716A (zh) 一种基于深度信念网络的回环检测方法
CN116522265A (zh) 工业互联网时序数据异常检测方法及装置
CN116484740A (zh) 一种基于挖掘电网空间拓扑特征的线路参数辨识方法
CN116796275A (zh) 一种工业设备多模态时序异常检测方法
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
Chen et al. Military image scene recognition based on CNN and semantic information
CN116384576A (zh) 风速预测方法、装置、系统及存储介质
CN115496144A (zh) 配电网运行场景确定方法、装置、计算机设备和存储介质
CN114239384A (zh) 一种基于非线性度量原型网络的滚动轴承故障诊断方法
CN113762591A (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN117152528A (zh) 绝缘子状态识别方法、装置、设备、存储介质和程序产品
CN111652246B (zh) 一种基于深度学习的图像自适应稀疏化表征方法及装置
CN112184037B (zh) 一种基于加权svdd的多模态过程故障检测方法
CN114627496A (zh) 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法
CN114692729A (zh) 基于深度学习的新能源场站不良数据辨识与修正方法
Zenkov Machine Learning. Correlational Convolution Method for Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant