CN117076862A - 一种基于属性图的电力物联网网络异常检测方法及系统 - Google Patents

一种基于属性图的电力物联网网络异常检测方法及系统 Download PDF

Info

Publication number
CN117076862A
CN117076862A CN202311054545.6A CN202311054545A CN117076862A CN 117076862 A CN117076862 A CN 117076862A CN 202311054545 A CN202311054545 A CN 202311054545A CN 117076862 A CN117076862 A CN 117076862A
Authority
CN
China
Prior art keywords
data
electric power
power internet
things
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311054545.6A
Other languages
English (en)
Inventor
孙沛
孙碧颖
党倩
杜春慧
徐鹏
王晨宇
桂小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd
Priority to CN202311054545.6A priority Critical patent/CN117076862A/zh
Publication of CN117076862A publication Critical patent/CN117076862A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于属性图的电力物联网网络异常检测方法及系统，对输入数据X进行数据预处理；训练深度自编码器，提取数据预处理后X′的特征嵌入，获得降维后的数据D′；基于降维后数据D′，根据电力物联网中的流量数据构建属性图G；根据属性图G检测异常流量数据，实现基于属性图的电力物联网网络异常检测。本发明使用深度自编码器在不依赖标签的情况下，自适应提取数据特征实现特征降维，降低了网络异常检测的时间开销和空间开销。

Description

一种基于属性图的电力物联网网络异常检测方法及系统
技术领域
本发明属于电力物联网技术领域，具体涉及一种基于属性图的电力物联网网络异常检测方法及系统。
背景技术
随着计算机与通信技术的快速发展，电力物联网已成为电网建设智能化、信息化的必然趋势。电力物联网融合了云计算、物联网、大数据等互联网技术，通过电力数据的智能感知、高质量的通信网络、先进的数据分析，实现电力数据的实时采集、传输、存储和处理，提高了电网的安全性、可靠性、经济性和可持续性。然而，由于电力物联网开放、互联的特性，使其更容易遭到网络攻击。
目前针对电力物联网的网络异常检测方法大多依赖数据标签和人工特征。而在现实场景中，电力物联网场景下进行网络异常检测有三个问题：
第一，数据具有标注成本高，难度大的特点，如果设计方法依赖标签，将其应用在实际系统难度较大，并且对未知攻击检测能力较弱；
第二，网络攻击具有突发性，正常流量数据和异常流量数据分布不均衡，这种特性可能会影响异常检测的效果；
第三，人工特征具有不准确性，提取的特征有很多冗余，可能会影响模型的检测效率，浪费存储空间。
为了解决电力物联网中的网络异常检测问题，需要设计合理方案，在不依赖标签的情况下对数据降维，同时可以在数据分布不均衡时对电力物联网中的流量数据进行异常检测。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于属性图的电力物联网网络异常检测方法及系统，用于解决数据标记成本较高、人工特征具有冗余性，检测效率低的技术问题。
本发明采用以下技术方案：
一种基于属性图的电力物联网网络异常检测方法，包括以下步骤：
S1、对输入数据X进行数据预处理；
S2、训练深度自编码器，提取步骤S1数据预处理后X′的特征嵌入，获得降维后的数据D′；
S3、基于步骤S2得到的降维后数据D′，根据电力物联网中的流量数据构建属性图G；
S4、根据步骤S3构建的属性图G检测异常流量数据，实现基于属性图的电力物联网网络异常检测。
具体的，步骤S1具体为：
删除输入数据X中含有缺失值的部分；将所有输入数据X合并为一个文件；使用One-Hot编码对类别特征进行编码；然后对输入数据X进行Z-Score标准化，得到标准化后的输入数据X′。
具体的，步骤S2具体为：
S201、初始化深度自编码器；
S202、将输入数据X′输入到DAE模型；
S203、使用均方误差作为损失函数，计算重构误差；
S204、使用Adam优化器，根据MSE优化深度自编码器中的编码器和解码器网络参数；
S205、达到设置的训练次数后，输出训练完成的深度自编码器模型；
S206、将需要异常检测的数据D输入深度自编码器；
S207、经过编码器，获得降维后的数据D′。
进一步的，步骤S201中，学习率为0.001，训练次数为300，优化器为Adam优化器。
具体的，步骤S3具体为：
S301、遍历数据集D′，计算出欧式距离作为相似度，得到相似性矩阵S；
S302、根据相似性矩阵S，选取每个流量数据样本相似度最高的k个顶点建立边，边的权重为构建出邻接矩阵A；
S303、根据邻接矩阵A和数据集D′，构建出属性图G；
S304、根据邻接矩阵A，计算出度矩阵D；
S305、根据邻接矩阵A和度矩阵D计算出拉普拉斯矩阵L。
进一步的，步骤S302中，邻接矩阵A为：
其中，Aij是相似性矩阵A的第i行j列，Sij是相似性矩阵S的第i行j列。
进一步的，步骤S304中，矩阵D如下：
D＝diag(d1，d2，…，dN)∈RN×N
其中，di为G中的第i个顶点的度，vj为顶点G中的第i个顶点的邻居顶点，aij为邻接矩阵A第i行j列的权重，R为实数，N为G中顶点的个数。
具体的，步骤S4具体为：
S401、将降维的数据D′作为初始图信号，使用热方程式表示属性图G的能量传播过程，使用热核作为滤波器进行平滑处理；
S402、对任意一个顶点u∈V，计算在参数t的下的集中度；
S403、当集中度cu(t)≥阈值C时，顶点u为异常。
进一步的，步骤S403中，阈值C为：
其中，为所有顶点集中度的平均值，s(c(t))为所有顶点集中度的标准差。
第二方面，本发明实施例提供了一种基于属性图的电力物联网网络异常检测系统，包括：
数据模块，对输入数据X进行数据预处理；
训练模块，训练深度自编码器，提取数据模块数据预处理后X′的特征嵌入，获得降维后的数据D′；
构建模块，基于训练模块得到的降维后数据D′，根据电力物联网中的流量数据构建属性图G；
检测模块，根据构建模块构建的属性图G检测异常流量数据，实现基于属性图的电力物联网网络异常检测。
与现有技术相比，本发明至少具有以下有益效果：
一种基于属性图的电力物联网网络异常检测方法，通过无监督学习的方式，在不依赖数据标签的背景下，实现了对不平衡网络流量数据的异常检测。其中，基于深度自编码器进行自适应特征提取及特征降维，在提高了异常检测效率的同时降低了模型成本；基于属性图进行异常检测，解决了网络流量不平衡导致检测准确性较低的问题。
进一步的，对输入数据X进行数预处理，通过删除无效数据、统一数据量纲等方式将数据处理为适合模型处理的格式，提高模型的准确率和效率。
进一步的，训练深度自编码器模型，对输入数据进行自适应特征提取的同时，将高维的输入数据进行降维，提高模型的检测效率、降低时空开销。
进一步的，对处理后的数据进行建模，将网络流量数据基于KNN和欧氏距离抽象为属性图G，辅助模型在非平衡数据背景下进行异常检测。
进一步的，基于图信号处理，将属性图G作为初始图信号，利用热核对图信号进行平滑处理，计算出每个图顶点的集中度。之后，根据高斯分布确定阈值，在不依赖标签的背景下完成图异常检测，筛选出异常流量。
可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
综上所述，本发明使用深度自编码器在不依赖标签的情况下，自适应提取数据特征实现特征降维，降低了网络异常检测的时间开销和空间开销。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明方法架构图；
图2为本发明数据预处理流程图；
图3为本发明深度自编码器训练流程图；
图4为本发明深度自编码器模型结构；
图5为本发明是否使用深度自编码器对异常检测的结果影响；
图6为本发明在不同比例异常样本下的实验结果；
图7为本发明根据一实施例提供的一种芯片的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本发明中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于属性图的电力物联网网络异常检测方法，引入深度自编码器，提取电力物联网中网络流量的抽象特征，在无监督学习的背景下实现了特征降维，提高了检测的效率，引入了属性图，根据流量数据间的属性关系和空间关系，在流量数据分布不平衡的状态下完成异常检测，提高了检测的准确性。
请参阅图1，本发明一种基于属性图的电力物联网网络异常检测方法，包括以下步骤：
S1、对输入数据X进行数据预处理；
请参阅图2，具体步骤如下：
S101、对于输入数据中含有缺失值的部分，直接将该条数据删除；
S102、输入数据包含多个文件，将所有数据合并为一个文件；
S103、使用One-Hot编码对类别特征进行编码；
S104、对输入数据X进行Z-Score标准化，消除不同特征间的量纲差异，得到标准化后的输入数据X′。
输入数据X′如下：
其中，X′为Z-Score标准化后的结果，X为输入数据，μ为平均值，σ为标准差。
S2、训练深度自编码器(Deep Autoencoder，DAE)，提取X′的特征嵌入，实现特征降维；
请参阅图3，具体步骤如下：
S201、初始化深度自编码器，设置学习率(Learning Rage，LR)为0.001，训练次数为300，优化器选择Adam优化器；
S202、将输入数据X′输入到DAE模型，DAE的模型结构参考图4所示；
S203、使用均方误差(Mean-Square Error，MSE)作为损失函数，计算重构误差；
重构误差MSE如下：
其中，n为输入数据X′的样本个数，X′j为输入的第i个样本，为深度自编码器重构的第i个样本。
S204、使用Adam优化器，根据MSE优化深度自编码器中的编码器和解码器网络参数；
S205、达到设置的训练次数后，输出训练完成的深度自编码器模型；
S206、将需要异常检测的数据D输入深度自编码器；
S207、经过编码器，获得降维后的数据D′。
S3、根据电力物联网中的流量数据，构建属性图G；
S301、遍历数据集D′，计算出欧式距离作为相似度，得到相似性矩阵S；
相似性矩阵S如下：
其中，Sij是相似性矩阵S的第i行j列，Sji是相似性矩阵S的第J行i列，D′i为D′的i个样本，D′j为D′的j个样本。
S302、根据相似性矩阵S，选取每个流量数据样本相似度最高的k个顶点建立边，边的权重为构建出邻接矩阵A；
邻接矩阵A如下：
其中，Aij是相似性矩阵A的第i行j列，Sij是相似性矩阵S的第i行j列。
S303、根据邻接矩阵A和数据集D′，构建出属性图G；
属性图G为：
G＝(V，E，D′)
其中，V代表顶点集合，V中的一个顶点在所提方法中表示一个流量数据样本；E表示顶点间边的集合，顶点间有边表示两个顶点是相似的，边的权重为顶点间的相似度；D′为特征矩阵，表示顶点的属性集合，在本发明中为深度自编码器提取的抽象特征。
S304、根据邻接矩阵A，计算出度矩阵D；
度矩阵D如下：
D＝diag(d1，d2，…，dN)∈RN×N
其中，di为G中的第i个顶点的度，vj为顶点G中的第i个顶点的邻居顶点，aij为邻接矩阵A第i行j列的权重。
S305、根据邻接矩阵A和度矩阵D计算出拉普拉斯矩阵L。
拉普拉斯矩阵L如下：
L＝D-A
其中，D为图G的度矩阵，A为图G的邻接矩阵。
S4、根据构建的属性图G检测异常流量数据。
S401、将经过深度自编码器降维的数据D′作为初始图信号，使用热方程式表示图G的能量传播过程，其中使用热核(Heat Kernel)作为滤波器进行平滑处理；
实际上，热核e-tL的作用就是在参数t下对图信号去噪。对于任意的节点u∈V，xu(t)用来表示一个节点的内部能量，其越大表示顶点越不平滑，也就是和邻居节点差异性越大。
图G的热方程式的公式如下：
其中，L为图G的拉普拉斯矩阵，t为热量传播的时间，x(0)为初始时图信号D′
S402、对任意一个顶点u∈V，计算在参数t的下的集中度(concentration)；
由于热核保留了图信号的总和或平均值，所以集中度是一个可以有效提取节点信号特征的表达；经过热核滤波后的信号最大值为1，对于分布在个顶点上总和为1的信号，当信号完全平滑时取得最小值1/N；
如果一个顶点在参数t下的集中度越大，表示该顶点和邻居顶点的相关性越低；因此，一个顶点的集中度越大，它是离群顶点的可能性就越大。
定义集中度如下：
cu(t)＝||e-tLδu||2
其中，cu(t)表示对顶点u∈V进行过滤后得到的信号，在参数t下的第二范式；L为拉普拉斯矩阵；δu为冲击函数，表示在顶点u上有单位值，否则为0。
S403、为了筛选出离群顶点，需要通过一个阈值C来判断异常，当某个顶点的集中度大于阈值就表示该顶点是异常的；即任意一个顶点u∈V，当它的集中度cu(t)≥C时，顶点u被认为是异常的。
求出属性图中每个顶点的集中度c(t)；
属性图中每个顶点的集中度c(t)为：
c(t)＝[c1(t)，c2(t)，...，cN(t)]
阈值的大小取决于所有顶点的平均集中度和标准差，其定义如下：
其中，为所有顶点集中度的平均值，s(c(t))为所有顶点集中度的标准差。
本发明再一个实施例中，提供一种基于属性图的电力物联网网络异常检测系统，该系统能够用于实现上述基于属性图的电力物联网网络异常检测方法，具体的，该基于属性图的电力物联网网络异常检测系统包括数据模块、训练模块、构建模块以及检测模块。
其中，数据模块，对输入数据X进行数据预处理；
训练模块，训练深度自编码器，提取数据模块数据预处理后X′的特征嵌入，获得降维后的数据D′；
构建模块，基于训练模块得到的降维后数据D′，根据电力物联网中的流量数据构建属性图G；
检测模块，根据构建模块构建的属性图G检测异常流量数据，实现基于属性图的电力物联网网络异常检测。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于属性图的电力物联网网络异常检测方法的操作，包括：
对输入数据X进行数据预处理；训练深度自编码器，提取数据预处理后X′的特征嵌入，获得降维后的数据D′；基于降维后数据D′，根据电力物联网中的流量数据构建属性图G；根据属性图G检测异常流量数据，实现基于属性图的电力物联网网络异常检测。
请参阅图7，终端设备为芯片，该实施例的芯片600包括处理器622，其数量可以为一个或多个，以及存储器632，用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器622可以被配置为执行该计算机程序，以执行上述的基于属性图的电力物联网网络异常检测方法。
另外，芯片600还可以包括电源组件626和通信组件650，该电源组件626可以被配置为执行芯片600的电源管理，该通信组件650可以被配置为实现芯片600的通信，例如，有线或无线通信。此外，该芯片600还可以包括输入/输出(I/O)接口658。芯片600可以操作基于存储在存储器632的操作系统。
发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于属性图的电力物联网网络异常检测方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
对输入数据X进行数据预处理；训练深度自编码器，提取数据预处理后X′的特征嵌入，获得降维后的数据D′；基于降维后数据D′，根据电力物联网中的流量数据构建属性图G；根据属性图G检测异常流量数据，实现基于属性图的电力物联网网络异常检测。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合仿真实验对本发明的效果作进一步的描述：
本发明方法在在标准数据集NSL-KDD上进行实验。图5说明了深度自编码器提取特征嵌入对网络异常检测性能的影响。其中，使用深度自编码器进行降维后，基于属性图(Attribute Graph，AG)进行异常检测的结果表示为DAE+AG；直接使用属性图进行异常检测的实验结果表示为AG。实验分别对比了异常样本比例为35％和15％的情况模拟在不同数据分布下所提方法的检测效果。为了更全面的评估所提方法在非平衡数据下的性能，图6为本发明方法在不同异常样本的比例下的实验结果，通过ROC曲线和AUC值来说明其有效性。
从图5可以看出，相较于直接使用属性图进行异常检测，使用深度自编码器将流量数据特征从41维降低至20维后性能略有下降。
具体来说，在异常样本比例为35％时，精确率、查准率、召回率三项指标平均下降1％；在异常样本比例为15％时，三项指标平均下降1％左右。因此，通过在两个数据集上的实验结果可知，深度自编码器在对流量数据进行降维，提高检测效率的同时并不会对检测结果产生太大影响。
从图6可以看出，根据本发明方法在不同异常样本比例的ROC曲线，随着异常样本比例的降低，ROC曲线的面积越大，也就是AUC的值逐渐增大，所提方法的检测性能越来越好。当异常样本占比5％时，DAEAG的AUC达到最大值，为0.976；当异常样本占比45％时，AUC值下降至0.89。
从实验结果可以看出，本发明方法在非平衡数据下的检测性能明显高于平衡数据。总体来说，相较于平衡数据，所提方法在非平衡数据上表现更好，该方法是高可用的。
实验结果表明，本发明方法可以有效地在不依赖标签且数据不平衡的场景下完成电力物联网中的网络异常检测任务。
综上所述，本发明一种基于属性图的电力物联网网络异常检测方法及系统，网络流量数据具有不平衡特性，对网络异常检测造成了挑战。本发明将电力物联网中的网络流量数据建模为属性图，同时考虑流量数据间的属性关系和空间关系进行异常检测；本发明基于属性图，计算图顶点的集中度，根据阈值检测异常了网络流量数据，在不依赖标签的情况下，对不平衡数据有着良好的检测能力。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等，需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于属性图的电力物联网网络异常检测方法，其特征在于，包括以下步骤：
S1、对输入数据X进行数据预处理；
S2、训练深度自编码器，提取步骤S1数据预处理后X′的特征嵌入，获得降维后的数据D′；
S3、基于步骤S2得到的降维后数据D′，根据电力物联网中的流量数据构建属性图G；
S4、根据步骤S3构建的属性图G检测异常流量数据，实现基于属性图的电力物联网网络异常检测。
2.根据权利要求1所述的基于属性图的电力物联网网络异常检测方法，其特征在于，步骤S1具体为：
删除输入数据X中含有缺失值的部分；将所有输入数据X合并为一个文件；使用One-Hot编码对类别特征进行编码；然后对输入数据X进行Z-Score标准化，得到标准化后的输入数据X′。
3.根据权利要求1所述的基于属性图的电力物联网网络异常检测方法，其特征在于，步骤S2具体为：
S201、初始化深度自编码器；
S202、将输入数据X′输入到DAE模型；
S203、使用均方误差作为损失函数，计算重构误差；
S204、使用Adam优化器，根据MSE优化深度自编码器中的编码器和解码器网络参数；
S205、达到设置的训练次数后，输出训练完成的深度自编码器模型；
S206、将需要异常检测的数据D输入深度自编码器；
S207、经过编码器，获得降维后的数据D′。
4.根据权利要求3所述的基于属性图的电力物联网网络异常检测方法，其特征在于，步骤S201中，学习率为0.001，训练次数为300，优化器为Adam优化器。
5.根据权利要求1所述的基于属性图的电力物联网网络异常检测方法，其特征在于，步骤S3具体为：
S301、遍历数据集D′，计算出欧式距离作为相似度，得到相似性矩阵S；
S302、根据相似性矩阵S，选取每个流量数据样本相似度最高的k个顶点建立边，边的权重为构建出邻接矩阵A；
S303、根据邻接矩阵A和数据集D′，构建出属性图G；
S304、根据邻接矩阵A，计算出度矩阵D；
S305、根据邻接矩阵A和度矩阵D计算出拉普拉斯矩阵L。
6.根据权利要求5所述的基于属性图的电力物联网网络异常检测方法，其特征在于，步骤S302中，邻接矩阵A为：
其中，Aij是相似性矩阵A的第i行j列，Sij是相似性矩阵S的第i行j列。
7.根据权利要求5所述的基于属性图的电力物联网网络异常检测方法，其特征在于，步骤S304中，矩阵D如下：
D＝diag(d1,d2,…,dN)∈RN×N
其中，di为G中的第i个顶点的度，vj为顶点G中的第i个顶点的邻居顶点，aij为邻接矩阵A第i行j列的权重，R为实数，N为G中顶点的个数。
8.根据权利要求1所述的基于属性图的电力物联网网络异常检测方法，其特征在于，步骤S4具体为：
S401、将降维的数据D′作为初始图信号，使用热方程式表示属性图G的能量传播过程，使用热核作为滤波器进行平滑处理；
S402、对任意一个顶点u∈V，计算在参数t的下的集中度；
S403、当集中度cu(t)≥阈值C时，顶点u为异常。
9.根据权利要求8所述的基于属性图的电力物联网网络异常检测方法，其特征在于，步骤S403中，阈值C为：
其中，为所有顶点集中度的平均值，s(c(t))为所有顶点集中度的标准差。
10.一种基于属性图的电力物联网网络异常检测系统，其特征在于，包括：
数据模块，对输入数据X进行数据预处理；
训练模块，训练深度自编码器，提取数据模块数据预处理后X′的特征嵌入，获得降维后的数据D′；
构建模块，基于训练模块得到的降维后数据D′，根据电力物联网中的流量数据构建属性图G；
检测模块，根据构建模块构建的属性图G检测异常流量数据，实现基于属性图的电力物联网网络异常检测。
CN202311054545.6A 2023-08-21 2023-08-21 一种基于属性图的电力物联网网络异常检测方法及系统 Pending CN117076862A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311054545.6A CN117076862A (zh) 2023-08-21 2023-08-21 一种基于属性图的电力物联网网络异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311054545.6A CN117076862A (zh) 2023-08-21 2023-08-21 一种基于属性图的电力物联网网络异常检测方法及系统

Publications (1)

Publication Number Publication Date
CN117076862A true CN117076862A (zh) 2023-11-17

Family

ID=88711122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311054545.6A Pending CN117076862A (zh) 2023-08-21 2023-08-21 一种基于属性图的电力物联网网络异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN117076862A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117880856A (zh) * 2024-03-11 2024-04-12 武汉众诚华鑫科技有限公司 一种基于人工智能的电信基站安全预警方法及系统
CN117880856B (zh) * 2024-03-11 2024-05-31 武汉众诚华鑫科技有限公司 一种基于人工智能的电信基站安全预警方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117880856A (zh) * 2024-03-11 2024-04-12 武汉众诚华鑫科技有限公司 一种基于人工智能的电信基站安全预警方法及系统
CN117880856B (zh) * 2024-03-11 2024-05-31 武汉众诚华鑫科技有限公司 一种基于人工智能的电信基站安全预警方法及系统

Similar Documents

Publication Publication Date Title
CN112101190A (zh) 一种遥感图像分类方法、存储介质及计算设备
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN114528950B (zh) 一种基于三维点云识别保密介质类型的销毁方法与系统
CN114897779A (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN108805174A (zh) 聚类方法及装置
CN114998695A (zh) 一种提高图像识别速度的方法及系统
CN117078048A (zh) 基于数字孪生的智慧城市资源管理方法及系统
CN115392937A (zh) 一种用户欺诈风险识别方法、装置、电子设备及存储介质
CN111783910A (zh) 建筑项目管理方法、电子设备及相关产品
CN114118401A (zh) 基于神经网络的配电网络流量预测方法、系统、装置及存储介质
CN116468967B (zh) 样本图像筛选方法、装置、电子设备及存储介质
CN117076862A (zh) 一种基于属性图的电力物联网网络异常检测方法及系统
CN115272776B (zh) 基于双路卷积与双注意的高光谱图像分类方法及存储介质
CN108764301B (zh) 一种基于反向稀疏表示的混凝土裂缝检测方法
CN114913424B (zh) 一种基于改进的U-net模型的崩岗提取方法及系统
CN115985403A (zh) 一种空间转录组的双重自监督聚类分析方法及系统
CN114095268A (zh) 用于网络入侵检测的方法、终端及存储介质
CN114092827A (zh) 一种图像数据集生成方法
CN113239999A (zh) 数据异常检测方法、装置和电子设备
CN112906652A (zh) 一种人脸图像的识别方法、装置、电子设备及存储介质
CN115996133B (zh) 一种工业控制网络行为检测方法以及相关装置
CN114648527B (zh) 尿路上皮细胞玻片图像分类方法、装置、设备和介质
CN117151934B (zh) 一种配电网不停电作业项目多维聚类分析方法及装置
CN115238805B (zh) 异常数据识别模型的训练方法及相关设备
CN116541252B (zh) 一种机房故障日志数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination