CN114077811B - 一种基于图神经网络的电力物联网设备异常检测方法 - Google Patents

一种基于图神经网络的电力物联网设备异常检测方法 Download PDF

Info

Publication number
CN114077811B
CN114077811B CN202210057230.6A CN202210057230A CN114077811B CN 114077811 B CN114077811 B CN 114077811B CN 202210057230 A CN202210057230 A CN 202210057230A CN 114077811 B CN114077811 B CN 114077811B
Authority
CN
China
Prior art keywords
nodes
node
graph
neural network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210057230.6A
Other languages
English (en)
Other versions
CN114077811A (zh
Inventor
谢昕
徐磊
李欣磊
黄钰慧
宁蔚烨
喻思
李钊
熊佳芋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202210057230.6A priority Critical patent/CN114077811B/zh
Publication of CN114077811A publication Critical patent/CN114077811A/zh
Application granted granted Critical
Publication of CN114077811B publication Critical patent/CN114077811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种基于图神经网络的电力物联网设备异常检测方法，它包括如下步骤：S1：利用数据采集工具，收集不同电力物联网设备的流量数据、业务数据；S2：对收集的数据进行Koopman分析；S3：构建电力物联网的图结构；S4：以图模型为输入，构建图神经网络模型，利用图卷积与图注意力网络对节点特征状态更新；S5：使用K‑Means聚类对某一时刻的节点进行异常检测。本发明通过引入Koopman分析，捕获电力物联网数据的非线性动力学特征；引入图卷积神经网络，提取电力物联网的空间特征，融合设备节点自身属性以及电力物联网拓扑结构中邻域设备节点的信息实现对电力物联网的异常检测，有效提高检测的准确率和稳定性。

Description

一种基于图神经网络的电力物联网设备异常检测方法
技术领域
本申请涉及电力设备检测技术领域，具体涉及一种基于图神经网络的电力物联网设备异常检测方法。
背景技术
随着通信技术的快速发展及应用环境的复杂化，越来越多的智能设备被集成到电力物联网中，用以感知电网状态及信息传输等，与此同时也带来更多的风险与挑战。电力物联网中的终端设备，即智能电表、智能温度传感器、智能监控、一些提供数据采集、通信服务的智能终端产品等采集到的外界数据内容随机性较大，在数据存储形式、格式等特征上存在较大差异时，造成各个节点数据之间很难取得一致，分散分布的电力物联网终端数量庞大而又广泛互联，跳出了传统边界安全的保护范畴，使得这些终端成为攻击电网的重要目标和跳板。因此如何使用准确、高效的异常检测技术保障电力物联网系统安全显得尤为重要。
一方面，在现实生活中，有很多数据是从非欧式空间生成的，比如城市的轨道交通网络、社交网络等等，这些数据结构在计算机中统称为图。同样的，电力物联网系统也具有图结构特征, 电力物联网中由许多智能设备组成，其中每一个智能设备可以看作图中的节点，不同智能设备之间的空间关系看作图中的边。电力物联网的图结构中蕴藏着更多、更有效的空间信息，因此研究电力物联网设备异常检测，仅仅从时间角度提取特征已经不能满足实际需求。
另一方面，由于电力物联网属于非线性动力系统，设备的数据存在非规范的周期性特点，不同设备之间还存在着连接性，当网络攻击者对电力物联网进行入侵时, 往往不是针对网路中单独的节点进行攻击，而是多个网络攻击者联合攻击，从而造成网络崩溃,因此目前的单点物联网设备异常检测已满足不了现阶段对网络攻击者的防御。
文献号为CNKI:SUN:XXAQ.0.2019-12-007的论文中提出了一种基于设备型号和BP神经网络的物联网异常检测模型。此模型主要按照以下步骤进行训练：1）原始流量数据经过安全网关时，安全网关的流量监视功能通过一个阻尼时间窗口来采集流量；2）随后将采集的流量传递给特征分析模块，提取相应的特征信息，构建特征矩阵；3）设备识别模型对接入网络的设备进行识别分类，判定设备类型是否属于白名单，如果否则拒绝设备接入网络；4）通过BP神经网络对接入网络的设备进行流量攻击行为的检测。但该方案存在以下缺陷：①构建特征矩阵过程中只提取基于时间序列的统计特征，未能够提取电力物联网设备的空间特征，导致后续异常检测准确率不高。②本方案中的异常检测模型主要思想是利用BP神经网络对单点物联网设备的历史数据进行拟合以分析预测未来数据，再根据设定的阈值将预测数据与真实数据进行对比来判断是否异常。但单点设备终端的异常检测，对不断更新的联合异常攻击和恶意软件无法做出快速及时的响应。
公开号为CN110309884A的专利文献中公开了一种基于泛在电力物联网体系的用电数据异常检测识别系统，该发明将智能学习算法引入泛在电力物联网中，对用户异常用电数据进行智能检测。主要步骤如下：1）接收用电数据并存储，对同一用户的历史用电数据进行处理；2）从所处理的数据中提取特征，并进行降维，得到特征主成分；3）根据N个用户的特征主成分，计算局部离群因子，通过局部离群因子识别出用电数据的可疑概率；4）识别出可疑概率高于阈值的可疑用户。但该方案只对同一设备的历史用电数据进行处理，没有利用到设备之间的空间特征。
发明内容
本发明的目的在于，提供一种基于图神经网络的电力物联网设备异常检测方法，引入Koopman分析，处理数据的非线性特点，消除自然震荡模式带来的消极影响，并引入图卷积神经网络，提取电力物联网的空间特征，融合设备节点自身属性以及电力物联网拓扑结构中邻域设备节点的信息实现对电力物联网的异常检测，有效提高检测的准确率和稳定性。
本发明采取的技术方案是：一种基于图神经网络的电力物联网设备异常检测方法，包括如下步骤：
S1：利用数据采集工具，收集电力物联网中不同设备的流量数据和业务数据；
S2：对采集到的流量数据和业务数据进行Koopman分析，捕获流量数据和业务数据中存在的瞬时动力学的非线性震荡，学习流量数据和业务数据的自然振荡模式和异常振荡模式，将非线性数据转化为线性数据；
S3：以所述设备为节点，每个节点的流量数据和业务数据作为该节点的初始特征， 设备之间的连接关系为边，构建图模型，所述图模型
Figure 757946DEST_PATH_IMAGE001
，其中V为节点的集合，E为边 的集合；
S4：以所述图模型为输入，采用图卷积神经网络层1—ReLU层1—图卷积神经网络层2—ReLU层2—图注意力网络层的结构构建图神经网络模型，通过所述图神经网络模型对所述图模型的节点数据进行更新，以图卷积神经网络对图模型进行卷积运算，提取节点之间的空间特征，并通过图注意力机制对节点之间边的权重进行约束；
S5：以所述图神经网络模型的输出作为K-Means聚类的输入，通过K-Means聚类对所述图模型节点进行分类，将所述图模型中的节点分为中心节点和其他节点；采用欧式距离计算方法计算中心节点与其他节点之间的距离，并设定阈值；当其他节点与中心节点距离小于阈值时，说明对应的设备正常，当其他节点与中心节点距离大于阈值时，说明对应的设备异常。
进一步地，所述步骤S1中的流量数据包括源IP地址，目标IP地址，源MAC地址、目标MAC地址、通信协议、数据包长度和时间戳；所述业务数据包括用电量，电压，设备状态，用户操作记录。
进一步地，所述步骤S2的具体方法为：
S201：采用DMD（动态模态分解法）获取近似的Koopman算子值；
S202：利用 Koopman 算子对步骤S1中采集到的流量数据和业务数据进行线性化处理，所述Koopman 算子是由非线性微分方程组成，能够捕获电力物联网非线性系统中的信息；
S203：定义相空间函数g(x)，g(x)能够表达设备的所有状态，对于设备在t时刻的 数据
Figure 127617DEST_PATH_IMAGE002
，满足公式：
Figure 48299DEST_PATH_IMAGE003
其中，T表示映射函数，即当前数据到下一时刻数据的映射；
S204：定义作用在相空间函数g(x)上的Koopman算子U，所述Koopman算子U满足公式：
Figure 974667DEST_PATH_IMAGE004
。
进一步地，所述步骤S4的具体方法为：
S401：根据设备的数量和每个设备之间的关系构建邻接矩阵A，所述邻接矩阵为N×N维的矩阵，其中N为设备的数量；
S402：每个节点
Figure 244499DEST_PATH_IMAGE006
具有特征
Figure 473486DEST_PATH_IMAGE008
，其中i表示节点序号，i=1，2，……N，根据节点特征构建特征矩阵
Figure 6098DEST_PATH_IMAGE010
，其中N为节点数量，即设备数量，F为每个节点的特征数量；
S403：通过图卷积神经网络层提取节点的有效空间特征，即将邻接矩阵A和特征矩 阵
Figure 860791DEST_PATH_IMAGE011
相乘，实现节点与该节点的邻居节点的特征聚合；并通过图注意力网络层对不同节 点之间的连接关系设置不同的权重，整合两个图卷积神经网络层提取的有效空间特征，排 除冗余信息；
S404：将步骤S403中得到的经过所述图注意力网络层整合后输出的节点特征作为所述图神经网络模型的输出。
进一步地，所述步骤403中邻接矩阵A和特征矩阵
Figure 732932DEST_PATH_IMAGE011
相乘满足公式：
Figure 257454DEST_PATH_IMAGE012
其中，l表示网络层数，
Figure 667576DEST_PATH_IMAGE013
表示第l层节点的特征矩阵，当l=0时，
Figure 670167DEST_PATH_IMAGE014
表示初始 特征矩阵，所述初始特征矩阵由步骤S1中获取的数据组成；A为邻接矩阵，f为非线性函数， 具体表达式为：
Figure 600077DEST_PATH_IMAGE015
其中，
Figure 482451DEST_PATH_IMAGE016
为ReLU激活函数，D为度矩阵，W l 为第l层的权重参数矩阵，
Figure 255235DEST_PATH_IMAGE017
，I为 单位矩阵；
Figure 936883DEST_PATH_IMAGE016
的表达式如下所示：
Figure 845933DEST_PATH_IMAGE018
对于单个节点，满足公式：
Figure 630700DEST_PATH_IMAGE019
其中，
Figure 766146DEST_PATH_IMAGE020
表示节点i的第l+1层的特征向量，i为节点序号，i=1，2，……N；
Figure 376119DEST_PATH_IMAGE021
表示 节点j的第l层的特征向量；j为节点i的邻居节点；
Figure 264309DEST_PATH_IMAGE022
，
Figure 239219DEST_PATH_IMAGE023
分别为节点i和 节点j的度，N i 表示节点i的所有邻居节点。
进一步地，所述步骤403中不同节点之间连接关系的权重满足公式：
Figure 721016DEST_PATH_IMAGE024
其中，
Figure 993734DEST_PATH_IMAGE025
表示节点j相对于节点i的重要性，即权重系数，W l 为第l层的权重参数矩 阵，
Figure 877376DEST_PATH_IMAGE026
表示当前节点i的特征向量，
Figure 23187DEST_PATH_IMAGE027
表示节点i的邻居节点j的特征向量，
Figure 116914DEST_PATH_IMAGE028
为单层全连接 神经网络；
对权重系数进行归一化处理：
Figure 803110DEST_PATH_IMAGE029
其中
Figure 478942DEST_PATH_IMAGE030
是节点j相对于节点i的归一化权重系数，softmax表示归一化函数。
将
Figure 985534DEST_PATH_IMAGE030
代入
Figure 114027DEST_PATH_IMAGE020
的表达式得到：
Figure 462969DEST_PATH_IMAGE031
。
进一步地，所述步骤S404中图神经网络模型的输出为
Figure 711416DEST_PATH_IMAGE032
；其中
Figure 526926DEST_PATH_IMAGE033
表 示单层全连接神经网络。
进一步地，所述步骤S5的具体方法为：
S501：对N个节点随机选择K个节点，作为K个中心节点，其中K＜N；每个中心节点代表一个簇的平均值或中心；
S502：计算剩余N-K个节点与K个中心节点的距离，根据距离最短原则，将剩余N-K个节点与距离最近的中心节点进行归类，即将剩余N-K个节点赋予给距离最近的中心节点，然后重新计算每个中心节点的值，即每个簇的平均值；
S503：重复步骤S502，直至K个中心节点的值不再发生变化。
进一步地，所述步骤S502中，将剩余N-K个节点赋予给距离最近的中心节点时，采用平方和误差函数作为更新函数，所述平方和误差函数的具体表达式为：
Figure 80398DEST_PATH_IMAGE034
其中，Q i 表示第i个节点，C i 表示第i簇，m i 表示第i簇的中心节点，
Figure 639555DEST_PATH_IMAGE035
表示Q i 与m i 之间的欧氏距离。
本发明的有益效果在于：
（1）目前针对电力物联网的异常检测所使用的数据集均为欧氏空间数据，即以Excel表格形式出现的数据集，然而欧式空间数据无法作为图神经网络的输入；本发明将非欧式空间数据引入电力物联网中，即以电力物联网的网络拓扑结构为基础，构建了基于电力物联网的图结构数据，以此作为图神经网络的输入，便于进行图卷积处理；
（2）由于电力物联网数据存在非线性的特点，且在电力物联网会存在数据的瞬时突变，而这些突变，往往是正常的波动，并非异常；因此对采集的数据进行Koopman分析，对电力物联网数据进行线性化处理，充分学习时间特征，捕获自然震荡模式和异常震荡模型，最大程度降低突变数据带来的误报；
（3）本发明在特征提取部分引入图卷积神经网络，直接在图结构数据上进行卷积运算，提取电力物联网设备的空间特征，充分利用电力物联网设备的时间序列数据和空间拓扑关系，打破了现有技术未能有效利用电力物联网空间特征的局面；
（4）聚合节点与边的特征时，引入图注意力机制，针对不同设备节点之间的联系设置不同的权重，增强设备节点之间空间关系的合理性；当前电力物联网设备中，存在着复杂多样的空间联系，但设备节点之间的空间联系并不完全统一，即存在某一节点与一些节点联系强，与其余节点联系弱的现象，在提取空间特征的过程中，通过图注意力机制进一步精准的把握各节点之间连接关系的强弱关系，对电力物联网设备节点之间的联系权重进行合理约束，增大模型对强联系设备的关注度，从而进一步增强模型对异常检测的能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例的方法流程图；
图2为本发明实施例的图模型示意图；
图3为本发明实施例的节点聚合过程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
除非另作定义，此处使用的技术术语或者科学术语应当为本申请所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样， “一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。 “连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。 “上”、 “下”、 “左”、 “右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
如图1~图3所示，一种基于图神经网络的电力物联网设备异常检测方法，包括如下步骤：
S1：利用数据采集工具，收集电力物联网中不同设备的流量数据和业务数据；流量数据包括源IP地址，目标IP地址，源MAC地址、目标MAC地址、通信协议、数据包长度和时间戳；所述业务数据包括用电量，电压，设备状态，用户操作记录。
S2：对采集到的流量数据和业务数据进行Koopman分析，捕获流量数据和业务数据中存在的瞬时动力学的非线性震荡，学习流量数据和业务数据的自然振荡模式和异常振荡模式，将非线性数据转化为线性数据，具体步骤为：
S201：采用DMD（动态模态分解法）获取近似的Koopman算子值；
S202：利用 Koopman 算子对步骤S1中采集到的流量数据和业务数据进行线性化处理，所述Koopman 算子是由非线性微分方程组成，能够捕获电力物联网非线性系统中的信息；
S203：定义相空间函数g(x)，g(x)能够表达设备的所有状态，对于设备在t时刻的 数据
Figure 273668DEST_PATH_IMAGE002
，满足公式（1）：
Figure 869865DEST_PATH_IMAGE003
（1）
其中，T表示映射函数，即当前数据到下一时刻数据的映射；
S204：定义作用在相空间函数g(x)上的Koopman算子U，所述Koopman算子U满足公式（2）：
Figure 35267DEST_PATH_IMAGE004
（2）
设g(x)的初始状态为
Figure 50978DEST_PATH_IMAGE036
，则经过时间t后，g(x)可以用
Figure 759171DEST_PATH_IMAGE037
表示； 令
Figure 385325DEST_PATH_IMAGE038
，则有
Figure 428236DEST_PATH_IMAGE039
。因此Koopman算子的作用可以看作在映射函数T下 相空间函数g(x)的变换。通过分析无穷维的Koopman算子，能够体现有限维非线性系统的动 力学特征，能够更好的识别自然振荡和异常振荡。
S3：以所述设备为节点，每个节点的流量数据和业务数据作为该节点的初始特征， 设备之间的连接关系为边，构建图模型，所述图模型
Figure 1300DEST_PATH_IMAGE001
，其中V为节点的集合，E为边 的集合。
S4：以所述图模型为输入，采用图卷积神经网络层1—ReLU层1—图卷积神经网络层2—ReLU层2—图注意力网络层的结构构建图神经网络模型，通过所述图神经网络模型对所述图模型的节点数据进行更新，以图卷积神经网络对图模型进行卷积运算，提取节点之间的空间特征，并通过图注意力机制对节点之间边的权重进行约束，具体方法为：
S401：根据设备的数量和每个设备之间的关系构建邻接矩阵A，所述邻接矩阵为N×N维的矩阵，其中N为设备的数量；所述邻接矩阵第x行第y列表示第x个节点与第y个节点的联系关系，其中0＜x≤N，0＜y≤N；当两个节点有联系时，邻接矩阵 A中对应位置的数值设置为1，两个节点之间没有联系时，邻接矩阵 A中对应位置的数值设置为0；所述邻接矩阵中对角线上的数值为0；
S402：每个节点
Figure 157474DEST_PATH_IMAGE040
具有特征
Figure 407059DEST_PATH_IMAGE041
，其中i表示节点序号，i=1，2，……N，根据节点特征 构建特征矩阵
Figure 156840DEST_PATH_IMAGE011
，其中N为节点数量，即设备数量，F为每个节点的特征数量；
S403：通过图卷积神经网络层提取节点的有效空间特征，即将邻接矩阵A和特征矩 阵
Figure 861491DEST_PATH_IMAGE011
相乘，实现节点与该节点的邻居节点的特征聚合；并通过图注意力网络层对不同节 点之间的连接关系设置不同的权重，整合两个图卷积神经网络层提取的有效空间特征，排 除冗余信息；
S404：将步骤S403中得到的经过所述图注意力网络层整合后输出的节点特征作为所述图神经网络模型的输出。
在本发明实施例中，所述步骤403中邻接矩阵A和特征矩阵
Figure 324702DEST_PATH_IMAGE011
相乘满足公式 （3）：
Figure 433604DEST_PATH_IMAGE012
（3）
其中，l表示网络层数，
Figure 60894DEST_PATH_IMAGE042
表示第l层节点的特征矩阵，当l=0时，
Figure 227958DEST_PATH_IMAGE043
表示初 始特征矩阵，所述初始特征矩阵由步骤S1中获取的数据组成；A为邻接矩阵，f为非线性函 数，具体表达式为：
Figure 234091DEST_PATH_IMAGE015
（4）
其中，
Figure 904107DEST_PATH_IMAGE016
为ReLU激活函数， D为度矩阵，所述度矩阵是对角阵，对角上的元素为各 个节点的度，其余元素均为0，节点的度表示和该节点相关联的边的数量，引入度矩阵对邻 接矩阵进行归一化，可有效防止特征出现较大偏差；W l 为第l层的权重参数矩阵，所述权重 参数矩阵的行数、列数与邻接矩阵A相同，矩阵中的数值由模型随机初始化得到，并通过梯 度下降法对权重参数矩阵进行训练，不断学习优化；
Figure 940065DEST_PATH_IMAGE017
，I为单位矩阵；
Figure 596305DEST_PATH_IMAGE016
的表达式如下所示：
Figure 847158DEST_PATH_IMAGE018
（5）
对于单个节点，可通过公式（4）推导出公式（6）：
Figure 812709DEST_PATH_IMAGE019
（6）
其中，
Figure 86695DEST_PATH_IMAGE020
表示节点i的第l+1层的特征向量，i为节点序号，i=1，2，……N，它聚合 了当前节点的所有邻居节点的特征；
Figure 671261DEST_PATH_IMAGE021
表示节点j的第l层的特征向量；j为节点i的邻居节 点；
Figure 901254DEST_PATH_IMAGE022
，
Figure 913072DEST_PATH_IMAGE023
分别为节点i和节点j的度，N i 表示节点i的所有邻居节点；通过 公式（4），可实现两层图卷积神经网络层的信息叠加。
利用卷积神经网络层可提取节点的时空特征信息，ReLU层则迫使部分神经元的输出为0，减少了参数的相互依存关系，缓解了网络模型过拟合的问题。为了尽可能地利用图卷积操作提取有效的空间特征，排除冗余信息，本发明实施例还引入了图注意力机制，具体方法为：
根据输入的节点特征，进行注意力系数计算，所述步骤403中不同节点之间连接关系的权重满足公式：
Figure 408775DEST_PATH_IMAGE024
（7）
其中，
Figure 918736DEST_PATH_IMAGE025
表示节点j相对于节点i的重要性，即权重系数，W l 为第l层的权重参数矩 阵，
Figure 878601DEST_PATH_IMAGE026
表示当前节点i的特征向量，
Figure 936687DEST_PATH_IMAGE027
表示节点i的邻居节点j的特征向量，
Figure 434533DEST_PATH_IMAGE028
为单层全连接 神经网络；
对权重系数进行归一化处理：
Figure 95322DEST_PATH_IMAGE029
（8）
其中
Figure 847377DEST_PATH_IMAGE030
是节点j相对于节点i的归一化权重系数，softmax表示归一化函数。
将
Figure 591211DEST_PATH_IMAGE030
代入公式（6）得到公式（9）：
Figure 123824DEST_PATH_IMAGE044
（9）
最后定义输出函数，所述步骤S404中图神经网络模型的输出函数为：
Figure 729249DEST_PATH_IMAGE032
（10）
其中，
Figure DEST_PATH_IMAGE045
表示单层全连接神经网络；利用全连接层神经网络，起到激活函数的作 用。
S5：以所述图神经网络模型的输出作为K-Means聚类的输入，通过K-Means聚类对所述图模型节点进行分类，将所述图模型中的节点分为中心节点和其他节点；采用欧式距离计算方法计算中心节点与其他节点之间的距离，并设定阈值；当其他节点与中心节点距离小于阈值时，说明对应的设备正常，当其他节点与中心节点距离大于阈值时，说明对应的设备异常，具体方法为：
S501：对N个节点随机选择K个节点，作为K个中心节点，其中K＜N；每个中心节点代表一个簇的平均值或中心；在本发明实施例中，K=2；
S502：计算剩余N-K个节点与K个中心节点的距离，根据距离最短原则，将剩余N-K个节点与距离最近的中心节点进行归类，即将剩余N-K个节点赋予给距离最近的中心节点，然后重新计算每个中心节点的值，即每个簇的平均值；
S503：重复步骤S502，直至K个中心节点的值不再发生变化。
所述步骤S502中，将剩余N-K个节点赋予给距离最近的中心节点时，采用平方和误差函数作为更新函数，所述平方和误差函数的具体表达式为：
Figure 116236DEST_PATH_IMAGE034
（11）
其中，Q i 表示第i个节点，C i 表示第i簇，m i 表示第i簇的中心节点，
Figure 516125DEST_PATH_IMAGE035
表示Q i 与m i 之间的欧氏距离。
将N-K个节点与K个中心节点的值进行比较：当距离小于设定的阈值时，说明设备正常，当距离大于阈值时，说明设备异常。当某一设备A处于异常，若另一设备B与异常设备A联系最强，那么设备B出现异常的概率将比其他设备要大；本发明实施例可通过图注意力机制将设备之间关系的影响反应在检测结果上，充分利用电力物联网设备流量的时间序列数据及其设备间的空间拓扑关系进行异常检测。
本实施例的图模型如图2 所示，本发明实施例共有6个节点：节点A与节点B、节点C、节点D有联系，节点B与节点A、节点C有联系，节点C与节点B、节点A、节点E、节点F有联系，节点E与节点C、节点F有联系，节点F与节点C、节点E有联系。
以节点A为例，节点A的节点聚合过程如图3所示：
节点B通过图神经网络模型聚合来自节点A、节点C的节点信息，节点C通过图神经网络模型聚合来自节点A、节点B、节点E、节点F的信息，节点D通过图神经网络模型聚合来自节点A的信息。最终，节点A通过图神经网络模型聚合来自节点B、节点C、节点D的信息。因此，虽然节点A只与节点B、节点C、节点D有关系，但实际上节点A的聚合过程包含了节点A、节点B、节点C、节点D、节点E、节点F的信息。
本发明实施例将非欧式空间数据引入电力物联网中，即以电力物联网的网络拓扑结构为基础，构建了基于电力物联网的图结构数据，以此作为图神经网络的输入，便于进行图卷积处理，相比与现有技术使用欧氏空间数据作为数据处理依据，适用范围更加广泛。在特征提取部分引入图卷积神经网络，直接在图结构数据上进行卷积运算，提取电力物联网各设备的空间特征，充分利用电力物联网设备流量的时间序列数据及其设备间的空间拓扑关系，打破了现有技术未能有效利用电力物联网设备空间特征的局面。在聚合节点与边的特征时，引入图注意力机制，针对不同设备节点之间的联系设置不同的权重，增强设备节点之间空间关系的合理性。通过本发明实施例可有效捕获电力物联网设备的时间特征与设备间的空间特征，为异常流量数据的判断提供更多更可靠的数据支持，有效提高基于电力物联网的异常检测系统的准确率和稳定性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，包括如下步骤：
S1：利用数据采集工具，收集电力物联网中不同设备的流量数据和业务数据；
S2：对采集到的流量数据和业务数据进行Koopman分析，捕获流量数据和业务数据中存在的瞬时动力学的非线性震荡，学习流量数据和业务数据的自然振荡模式和异常振荡模式，将非线性数据转化为线性数据；
S3：以所述设备为节点，每个节点的流量数据和业务数据作为该节点的初始特征，设备之间的连接关系为边，构建图模型，所述图模型
Figure 631848DEST_PATH_IMAGE001
，其中V为节点的集合，E为边的集合；
S4：以所述图模型为输入，采用图卷积神经网络层1—ReLU层1—图卷积神经网络层2—ReLU层2—图注意力网络层的结构构建图神经网络模型，通过所述图神经网络模型对所述图模型的节点数据进行更新，以图卷积神经网络对图模型进行卷积运算，提取节点之间的空间特征，并通过图注意力机制对节点之间边的权重进行约束；
S5：以所述图神经网络模型的输出作为K-Means聚类的输入，通过K-Means聚类对所述图模型节点进行分类，将所述图模型中的节点分为中心节点和其他节点；采用欧式距离计算方法计算中心节点与其他节点之间的距离，并设定阈值；当其他节点与中心节点距离小于阈值时，说明对应的设备正常，当其他节点与中心节点距离大于阈值时，说明对应的设备异常。
2.根据权利要求1所述的一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，所述步骤S1中的流量数据包括源IP地址，目标IP地址，源MAC地址、目标MAC地址、通信协议、数据包长度和时间戳；所述业务数据包括用电量，电压，设备状态，用户操作记录。
3.根据权利要求1所述的一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，所述步骤S2的具体步骤为：
S201：采用DMD（动态模态分解法）获取近似的Koopman算子；
S202：利用 Koopman 算子对步骤S1中采集到的流量数据和业务数据进行线性化处理，所述Koopman 算子是由非线性微分方程组成，能够捕获电力物联网非线性系统中的信息；
S203：定义相空间函数g(x)，g(x)能够表达设备的所有状态，对于设备在t时刻的数据
Figure 17830DEST_PATH_IMAGE002
，满足公式：
Figure 656621DEST_PATH_IMAGE003
其中，T表示映射函数，即当前数据到下一时刻数据的映射；
S204：定义作用在相空间函数g(x)上的Koopman算子U，所述Koopman算子U满足公式：
Figure 520672DEST_PATH_IMAGE004
。
4.根据权利要求1所述的一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，所述步骤S4的具体步骤为：
S401：根据设备的数量和每个设备之间的关系构建邻接矩阵A，所述邻接矩阵为N×N维的矩阵，其中N为设备的数量；
S402：每个节点
Figure 69465DEST_PATH_IMAGE005
具有特征
Figure 983938DEST_PATH_IMAGE006
，其中i表示节点序号，i=1，2，……N，根据节点特征构建特征矩阵
Figure 719813DEST_PATH_IMAGE007
，其中N为节点数量，即设备数量，F为每个节点的特征数量；
S403：通过图卷积神经网络层提取节点的有效空间特征，即将邻接矩阵A和特征矩阵
Figure 777768DEST_PATH_IMAGE008
相乘，实现节点与该节点的邻居节点的特征聚合；并通过图注意力网络层对不同节点之间的连接关系设置不同的权重，整合两个图卷积神经网络层提取的有效空间特征，排除冗余信息；
S404：将步骤S403中得到的经过所述图注意力网络层整合后输出的节点特征作为所述图神经网络模型的输出。
5.根据权利要求4所述的一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，所述步骤S403中邻接矩阵A和特征矩阵
Figure 915488DEST_PATH_IMAGE008
相乘满足公式：
Figure 643273DEST_PATH_IMAGE009
其中，l表示网络层数，
Figure 991077DEST_PATH_IMAGE010
表示第l层节点的特征矩阵，当l=0时，
Figure 462510DEST_PATH_IMAGE011
表示初始特征矩阵，所述初始特征矩阵由步骤S1中获取的数据组成；A为邻接矩阵，f为非线性函数，具体表达式为：
Figure 579370DEST_PATH_IMAGE012
其中，
Figure 743636DEST_PATH_IMAGE013
为ReLU激活函数，D为度矩阵，W l 为第l层的权重参数矩阵，
Figure 454103DEST_PATH_IMAGE014
，I为单位矩阵；
Figure 89746DEST_PATH_IMAGE013
的表达式如下所示：
Figure 202058DEST_PATH_IMAGE015
对于单个节点，满足公式：
Figure 130700DEST_PATH_IMAGE016
其中，
Figure 594042DEST_PATH_IMAGE017
表示节点i的第l+1层的特征向量，i为节点序号，i=1，2，……N；
Figure 141698DEST_PATH_IMAGE018
表示节点j的第l层的特征向量；j为节点i的邻居节点；
Figure 498730DEST_PATH_IMAGE019
，
Figure 739219DEST_PATH_IMAGE020
分别为节点i和节点j的度，N i 表示节点i的所有邻居节点。
6.根据权利要求5所述的一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，所述步骤S403中不同节点之间连接关系的权重满足公式：
Figure 283332DEST_PATH_IMAGE021
其中，
Figure 900259DEST_PATH_IMAGE022
表示节点j相对于节点i的重要性，即权重系数，W l 为第l层的权重参数矩阵，
Figure 85033DEST_PATH_IMAGE023
表示当前节点i的特征向量，
Figure 496423DEST_PATH_IMAGE024
表示节点i的邻居节点j的特征向量，
Figure 668778DEST_PATH_IMAGE025
为单层全连接神经网络；
对权重系数进行归一化处理：
Figure 417291DEST_PATH_IMAGE026
其中
Figure 686599DEST_PATH_IMAGE027
是节点j相对于节点i的归一化权重系数，softmax表示归一化函数；
将
Figure 393524DEST_PATH_IMAGE027
代入
Figure 53175DEST_PATH_IMAGE017
的表达式得到：
Figure 372423DEST_PATH_IMAGE028
。
7.根据权利要求6所述的一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，所述步骤S404中图神经网络模型的输出为
Figure 168341DEST_PATH_IMAGE029
；其中
Figure 921533DEST_PATH_IMAGE030
表示单层全连接神经网络。
8.根据权利要求1所述的一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，所述步骤S5的具体步骤为：
S501：对N个节点随机选择K个节点，作为K个中心节点，其中K＜N；每个中心节点代表一个簇的平均值或中心；
S502：计算剩余N-K个节点与K个中心节点的距离，根据距离最短原则，将剩余N-K个节点与距离最近的中心节点进行归类，即将剩余N-K个节点赋予给距离最近的中心节点，然后重新计算每个中心节点的值，即每个簇的平均值；
S503：重复步骤S502，直至K个中心节点的值不再发生变化。
9.根据权利要求8所述的一种基于图神经网络的电力物联网设备异常检测方法，其特征在于，所述步骤S502中，将剩余N-K个节点赋予给距离最近的中心节点时，采用平方和误差函数作为更新函数，所述平方和误差函数的具体表达式为：
Figure 193115DEST_PATH_IMAGE031
其中，Q i 表示第i个节点，C i 表示第i簇，m i 表示第i簇的中心节点，
Figure 424376DEST_PATH_IMAGE032
表示Q i 与m i 之间的欧氏距离。
CN202210057230.6A 2022-01-19 2022-01-19 一种基于图神经网络的电力物联网设备异常检测方法 Active CN114077811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210057230.6A CN114077811B (zh) 2022-01-19 2022-01-19 一种基于图神经网络的电力物联网设备异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210057230.6A CN114077811B (zh) 2022-01-19 2022-01-19 一种基于图神经网络的电力物联网设备异常检测方法

Publications (2)

Publication Number Publication Date
CN114077811A CN114077811A (zh) 2022-02-22
CN114077811B true CN114077811B (zh) 2022-04-12

Family

ID=80284508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210057230.6A Active CN114077811B (zh) 2022-01-19 2022-01-19 一种基于图神经网络的电力物联网设备异常检测方法

Country Status (1)

Country Link
CN (1) CN114077811B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900357A (zh) * 2022-05-07 2022-08-12 长三角信息智能创新研究院 时空图神经网络链路泛洪攻击检测方法、设备及存储介质
US20230370334A1 (en) * 2022-05-12 2023-11-16 Microsoft Technology Licensing, Llc Networked device discovery and management
CN115618273B (zh) * 2022-09-15 2023-06-30 哈尔滨工业大学 一种基于并行图卷积神经网络的铁路轨道状态评估方法及系统
CN115456109B (zh) * 2022-09-30 2023-11-24 中国电力科学研究院有限公司 电网故障元件辨识方法、系统、计算机设备及存储介质
CN115834433B (zh) * 2023-02-17 2023-05-12 杭州沄涞科技有限公司 基于物联网技术的数据处理方法及系统
CN116151511B (zh) * 2023-03-01 2023-10-20 国网山东省电力公司菏泽供电公司 一种基于数据处理的配电馈线和台区智能诊断管理方法及系统
CN115941501B (zh) * 2023-03-08 2023-07-07 华东交通大学 基于图神经网络的主机设备管控方法
CN116560277A (zh) * 2023-05-17 2023-08-08 北京科技大学顺德创新学院 一种基于图神经网络的冷轧工业过程监测方法
CN117061322A (zh) * 2023-09-27 2023-11-14 广东云百科技有限公司 物联网流量池管理方法及系统
CN117034179B (zh) * 2023-10-10 2024-02-02 国网山东省电力公司营销服务中心(计量中心) 基于图神经网络的异常电量识别及溯源方法及系统
CN117350170B (zh) * 2023-11-20 2024-02-09 华北电力大学（保定） 基于koopman深度神经网络的非线性振荡分析方法
CN117290800B (zh) * 2023-11-24 2024-01-26 华东交通大学 一种基于超图注意力网络的时序异常检测方法及系统
CN117395164B (zh) * 2023-12-12 2024-03-26 烟台大学 工业物联网的网络属性预测方法及系统
CN117688504B (zh) * 2024-02-04 2024-04-16 西华大学 基于图结构学习的物联网异常检测方法及装置
CN117828514B (zh) * 2024-03-04 2024-05-03 清华大学深圳国际研究生院 一种基于图结构学习的用户网络行为数据异常检测方法
CN117909719B (zh) * 2024-03-19 2024-05-24 勤源(江苏)科技有限公司 基于自主学习算法的终端物联设备监控预警方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112165496A (zh) * 2020-10-13 2021-01-01 清华大学 基于聚类图神经网络的网络安全异常检测算法和检测系统
WO2021007257A1 (en) * 2019-07-09 2021-01-14 Facebook Technologies, Llc Systems and methods for distributing a neural network across multiple computing devices
CN112861967A (zh) * 2021-02-07 2021-05-28 中国电子科技集团公司电子科学研究院 基于异构图神经网络的社交网络异常用户检测方法及设备
CN112966595A (zh) * 2021-03-04 2021-06-15 桂林电子科技大学 一种基于图神经网络的传感器网络数据异常判决方法
CN113709779A (zh) * 2021-07-29 2021-11-26 南京邮电大学 一种蜂窝网络故障诊断方法
CN113704500A (zh) * 2021-09-07 2021-11-26 浙江工业大学 一种基于图神经网络的知识图谱社区划分方法
CN113852492A (zh) * 2021-09-01 2021-12-28 南京信息工程大学 基于注意力机制和图卷积神经网络的网络流量预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600896B1 (en) * 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
US11544535B2 (en) * 2019-03-08 2023-01-03 Adobe Inc. Graph convolutional networks with motif-based attention
CN113780431A (zh) * 2021-09-15 2021-12-10 杭州英视信息科技有限公司 基于神经网络技术的网络流量信息分析方法及系统
CN113792937B (zh) * 2021-09-29 2022-09-13 中国人民解放军国防科技大学 一种基于图神经网络的社交网络影响力预测方法、装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021007257A1 (en) * 2019-07-09 2021-01-14 Facebook Technologies, Llc Systems and methods for distributing a neural network across multiple computing devices
CN112165496A (zh) * 2020-10-13 2021-01-01 清华大学 基于聚类图神经网络的网络安全异常检测算法和检测系统
CN112861967A (zh) * 2021-02-07 2021-05-28 中国电子科技集团公司电子科学研究院 基于异构图神经网络的社交网络异常用户检测方法及设备
CN112966595A (zh) * 2021-03-04 2021-06-15 桂林电子科技大学 一种基于图神经网络的传感器网络数据异常判决方法
CN113709779A (zh) * 2021-07-29 2021-11-26 南京邮电大学 一种蜂窝网络故障诊断方法
CN113852492A (zh) * 2021-09-01 2021-12-28 南京信息工程大学 基于注意力机制和图卷积神经网络的网络流量预测方法
CN113704500A (zh) * 2021-09-07 2021-11-26 浙江工业大学 一种基于图神经网络的知识图谱社区划分方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Learning Deep Neural Network Representations for Koopman Operators of Nonlinear Dynamical Systems;Enoch Yeung et al.;《IEEE Xplore》;20190829;全文 *
随机数据驱动下基于SDMD的机电振荡参数辨识;杨德友 等;《电网分析与研究》;20200228;第48卷(第2期);第85-91页 *
非线性耦合振子系统中的Koopman分析;王诗旖;《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》;20220115(第1期);全文 *

Also Published As

Publication number Publication date
CN114077811A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN114077811B (zh) 一种基于图神经网络的电力物联网设备异常检测方法
Hodo et al. Shallow and deep networks intrusion detection system: A taxonomy and survey
CN112165496B (zh) 基于聚类图神经网络的网络安全异常检测算法和检测系统
Li et al. LSTM-BA: DDoS detection approach combining LSTM and Bayes
Huang et al. Resilient routing mechanism for wireless sensor networks with deep learning link reliability prediction
Bostani et al. Modification of supervised OPF-based intrusion detection systems using unsupervised learning and social network concept
Xie et al. Self-attentive deep learning method for online traffic classification and its interpretability
CN105867323B (zh) 基于动态克隆选择算法的工业云数据安全自动化生产线
CN112822189A (zh) 一种流量识别方法及装置
Khedr et al. FMDADM: A multi-layer DDoS attack detection and mitigation framework using machine learning for stateful SDN-based IoT networks
KR20210115991A (ko) 시계열 데이터 분석을 이용한 네트워크 이상징후 탐지 방법 및 장치
Abdel-Aziz et al. Machine learning techniques for anomalies detection and classification
CN111367908A (zh) 一种基于安全评估机制的增量式入侵检测方法及系统
Thom et al. Smart recon: Network traffic fingerprinting for IoT device identification
Xu et al. [Retracted] DDoS Detection Using a Cloud‐Edge Collaboration Method Based on Entropy‐Measuring SOM and KD‐Tree in SDN
Zhang et al. Network traffic anomaly detection based on ML-ESN for power metering system
Narendrasinh et al. FLBS: Fuzzy lion Bayes system for intrusion detection in wireless communication network
Binbusayyis Hybrid VGG19 and 2D-CNN for intrusion detection in the FOG-cloud environment
Pei et al. Research on anomaly detection of wireless data acquisition in power system based on spark
Manandhar et al. Intrusion detection based on outlier detection method
CN111431872A (zh) 一种基于tcp/ip协议特征的两阶段物联网设备识别方法
Hu et al. Classification of Abnormal Traffic in Smart Grids Based on GACNN and Data Statistical Analysis
CN114362972B (zh) 一种基于流量摘要和图采样的僵尸网络混合检测方法及系统
Sheikhan et al. Fast neural intrusion detection system based on hidden weight optimization algorithm and feature selection
Roy et al. Top-Performing Unifying Architecture for Network Intrusion Detection in SDN Using Fully Convolutional Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant