CN116502161A - 一种基于动态超图神经网络的异常检测方法 - Google Patents
一种基于动态超图神经网络的异常检测方法 Download PDFInfo
- Publication number
- CN116502161A CN116502161A CN202310306909.9A CN202310306909A CN116502161A CN 116502161 A CN116502161 A CN 116502161A CN 202310306909 A CN202310306909 A CN 202310306909A CN 116502161 A CN116502161 A CN 116502161A
- Authority
- CN
- China
- Prior art keywords
- node
- embedding
- moment
- hypergraph
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 31
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 claims abstract description 24
- 238000011176 pooling Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 23
- 238000010276 construction Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于动态超图神经网络的异常检测方法，包括：获取预设的节点在多个时刻下的超图，根据每一时刻下的超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入；获取节点每一时刻的节点特征，作为源节点嵌入，并将每一时刻的节点距离信息同步编码到对应时刻的源节点嵌入中，得到节点距离编码；将节点结构嵌入、源节点嵌入以及节点距离编码输入长短期记忆网络，并经过池化模块，得到边嵌入；根据预设的概率阈值替换边嵌入中的节点，得到负超边嵌入；根据边嵌入、负超边嵌入以及预设的损失函数确定每一时刻下的超图中的异常超边。本发明可以提高超边异常检测模型的准确性，可广泛应用于深度学习与图神经网络异常边检测领域。
Description
技术领域
本发明涉及深度学习与图神经网络异常边检测技术领域，尤其是一种基于动态超图神经网络的异常检测方法。
背景技术
用动态超图分析社交网络、网络安全等诸多现实问题时，动态超边的异常检测是一个关键任务，这代表超图在不同时刻的边关系发生了改变，且改变是否符合实际有待确认，其中，原始数据内存在的确切异常边关系及不符合数据平台规定的违规活动等都会被视为异常情况。动态超图中存在的复杂超边关系，使得动态超边中的异常检测任务比其它动态图形更为复杂，主要存在两个问题：其一，由于动态超图原始数据在表征学习过程中会丢失一些原始属性信息，尤其是在社交网络中，对于一些不可访问的隐私信息，很难从原始数据集中构建出每个用户节点完整的特性，为了弥补这些数据缺失带来的影响，就需要一个较好的动态超图构建方法；其二，受到动态超图中存在复杂多边关系特点的影响，多类边关系在同一时刻会发生不同的改变，比如在一个时序快照中，动态超图内具体的某一类边关系网络会有新节点参与，同时也会有节点退出网络，这些变动需要根据之前的时序快照中节点与节点、节点与边、边与边之间的关系来判断是否属于正常行为，且由于数据异常情况本身属于小概率事件，要正确捕获异常边并不容易。
因此，上述问题亟待解决。
发明内容
有鉴于此，本发明实施例提供一种基于动态超图神经网络的异常检测方法，以提高动态超图超边异常检测模型的准确性。
本发明实施例的一方面提供了一种基于动态超图神经网络的异常检测方法，包括：
获取预设的节点在多个时刻下的超图，对每一时刻下的超图，根据超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入；
获取所述预设的节点每一时刻的节点特征，作为源节点嵌入，并将每一时刻的节点距离信息同步编码到对应时刻的源节点嵌入中，得到节点距离编码；
将所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码输入长短期记忆网络，并经过池化模块，得到边嵌入；
根据预设的概率阈值替换所述边嵌入中的节点，得到负超边嵌入；
根据所述边嵌入、所述负超边嵌入以及预设的损失函数确定每一时刻下的超图中的异常超边。
可选地，每一时刻下的超图的构建过程，包括：
根据该时刻下预设的节点对应的节点嵌入、超边数量以及相邻超边集构建该时刻下的超图。
可选地，所述根据该时刻下预设的节点对应的节点嵌入、超边数量以及相邻超边集构建该时刻下的超图，包括：
利用正弦编码器和余弦编码器将节点嵌入降维到设定维度；
根据每一预设的节点与邻居节点构成超边；
根据相邻超边集对每一预设的节点分配相邻的超边，并构建该时刻下的超图。
可选地，所述对每一时刻下的超图，根据超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入，包括：
根据超图中单个节点最大的度对超图进行分解，得到多个分解子图；
将每一分解子图进行线性特征转换，以统一每一分解子图对应的关系矩阵的维度，并得到包含分解子图中各级节点与超边关系矩阵信息的第一输出矩阵；
将每一时刻下的超图输入至超图卷积神经网络，得到第二输出矩阵；
聚合所述第一输出矩阵与所述第二输出矩阵，得到每一时刻下的超图对应的节点结构嵌入。
可选地，在所述将所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码输入长短记忆网络之前，所述还包括：
融合所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码。
可选地，所述经过池化模块，得到边嵌入，包括：
经过池化模块将长短期记忆网络的输出转换为超边特征矩阵，所述超编特征矩阵作为边嵌入。
可选地，所述根据预设的概率阈值替换所述边嵌入中的节点，得到负超边嵌入，包括：
以预设的采样概率对所述边嵌入中的节点进行采样；
将采样概率低于所述概率阈值的节点替换为除自身外的任意节点，删除对应的超边，并随机连接另一条超边，新连接的超边的权重与被删除的超边的权重一致；
返回所述以预设的采样概率对所述边嵌入中的节点进行采样的步骤，直至重复次数达到设定要求，得到负超边嵌入。
本发明实施例的另一方面还提供了一种基于动态超图神经网络的异常检测装置，包括：
第一检测单元，用于获取预设的节点在多个时刻下的超图，对每一时刻下的超图，根据超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入；
第二检测单元，用于获取所述预设的节点每一时刻的节点特征，作为源节点嵌入，并将每一时刻的节点距离信息同步编码到对应时刻的源节点嵌入中，得到节点距离编码；
第三检测单元，用于将所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码输入长短期记忆网络，并经过池化模块，得到边嵌入；
第四检测单元，用于根据预设的概率阈值替换所述边嵌入中的节点，得到负超边嵌入；
第五检测单元，用于根据所述边嵌入、所述负超边嵌入以及预设的损失函数确定每一时刻下的超图中的异常超边。
本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现上述的方法。
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现上述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法。
本发明将预设的节点在多个时刻下的超图进行分解采样，创造性地提出超图节点级分解过程来研究同一时刻的不同子图结构特征，并从多个角度计算单个节点特征，最终扩散到全局来更新每一时刻超图全局节点嵌入，进而利用多个时刻下的超图的节点特征生成边嵌入，提高动态超图超边异常检测模型的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于动态超图神经网络的异常检测方法的流程示意图；
图2为本发明实施例提供的一种基于动态超图神经网络的异常检测方法的示例流程图；
图3为本发明实施例提供的各变量及其含义的说明图；
图4为本发明实施例提供的一种动态超图异常检测模型的示例结构图；
图5为本发明实施例提供的一种动态超图中的超边随时刻演化示例图；
图6为本发明实施例提供的一种动态超图构建模型的示例图；
图7为本发明实施例提供的一种门控循环神经网络内部结构示意图；
图8为本发明实施例提供的动态超图构建部分的算法实现示例图；
图9为本发明实施例提供的一种超图节点级分解过程示意图；
图10为本发明实施例提供的一种特征聚合的示例图；
图11为本发明实施例提供的一种长短期记忆神经网络模型示意图；
图12为本发明实施例提供的一种基于动态超图神经网络的异常检测装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明实施例提供了一种基于动态超图神经网络的异常检测方法，具体包括以下步骤：
S100：获取预设的节点在多个时刻下的超图，对每一时刻下的超图，根据超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入。
具体的，每一时刻下的超图的构建过程可以包括：
根据该时刻下预设的节点对应的节点嵌入、超边数量以及相邻超边集构建该时刻下的超图。
具体可以包括一下步骤：
S1、利用正弦编码器和余弦编码器将节点嵌入降维到设定维度。
S2、根据每一预设的节点与邻居节点构成超边。
S3、根据相邻超边集对每一预设的节点分配相邻的超边，并构建该时刻下的超图。
具体的，得到节点结构嵌入的过程可以包括：
S1、根据超图中单个节点最大的度对超图进行分解，得到多个分解子图。
S2、将每一分解子图进行线性特征转换，以统一每一分解子图对应的关系矩阵的维度，并得到包含分解子图中各级节点与超边关系矩阵信息的第一输出矩阵。
S3、将每一时刻下的超图输入至超图卷积神经网络，得到第二输出矩阵。
S4、聚合所述第一输出矩阵与所述第二输出矩阵，得到每一时刻下的超图对应的节点结构嵌入。
S110：获取所述预设的节点每一时刻的节点特征，作为源节点嵌入，并将每一时刻的节点距离信息同步编码到对应时刻的源节点嵌入中，得到节点距离编码。
S120：将所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码输入长短期记忆网络，并经过池化模块，得到边嵌入。
为了综合各嵌入特征，在上述步骤S120之前，本发明还可以包括：
融合所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码。
具体的，确定边嵌入的过程可以包括：
经过池化模块将长短期记忆网络的输出转换为超边特征矩阵，所述超编特征矩阵作为边嵌入。
S130：根据预设的概率阈值替换所述边嵌入中的节点，得到负超边嵌入。
具体的，可以包括：
S1、以预设的采样概率对所述边嵌入中的节点进行采样。
S2、将采样概率低于所述概率阈值的节点替换为除自身外的任意节点，删除对应的超边，并随机连接另一条超边，新连接的超边的权重与被删除的超边的权重一致。
S3、返回所述以预设的采样概率对所述边嵌入中的节点进行采样的步骤，直至重复次数达到设定要求，得到负超边嵌入。
S140：根据所述边嵌入、所述负超边嵌入以及预设的损失函数确定每一时刻下的超图中的异常超边。
为了更详细描述本发明，接下来将以具体实例说明本发明的实际应用过程。
参照图2，本发明实施例提供了一种基于动态超图神经网络的异常检测方法的示例流程图。参照图3，本发明实施例提供了以下过程使用的各变量及其含义的说明图。参照图4，本发明实施例提供了一种动态超图异常检测模型的示例结构图。
接下来将以三个部分内容对本发明实施例进行说明。
1.主要假设。
在现实世界中，将t时刻具有多层次关系的实体联系抽象为超图若是含有异常超边的超图则为/>其中/>表示t时刻的超边集合，/>表示t时刻动态超图的正常边,其中p＝1,2...m，对应地，/>表示t时刻的异常超边集合，/>表示t时刻的动态超图的异常超边，其中p＝1,2...m；At∈Rn×m表示t时刻节点与超边构成的关系矩阵；/>表示t时刻的节点特征矩阵；/>表示t时刻中的第p个超边/>的特征矩阵,嵌入维度需要根据超边生成方式具体分析，其中p＝1,2...m；/>表示t时刻的输出特征矩阵。
随着时间演变特性，从而可以演化出一组动态超图考虑到动态超图结构中的异常边检测任务，所以把超图中源数据内部的异常边及人工标注的伪异常边共同描述成新的边集/>从而形成包含了异常超边结构的新的动态超图，如图5所示为动态超图中的超边随时刻演化示例图。
2.动态超图构建。
2.1参照图6，本发明实施例提供了一种动态超图构建模型的示例图。
2.2动态超图的构建。
给定超图中时刻t的节点嵌入其中/>表示第i个节点的特征，构建t时刻的超图/>在/>中，/>表示一个样本节点；多个样本节点可以组成/>表示t时刻的节点集合；超边/>表示一个包含灵活样本数量的样本集合，多条超边组成/>表示t时刻的超边集合；因此t时刻的动态超图可以被表述成/>由多个离散超图可以构成动态超图/>
现有的基于超图的神经网络主要缺点是只使用了最初的超图结构，忽略了调整后的特征嵌入对这些结构的动态修改，从而无法充分利用特征之间的高阶关系。本发明考虑到最初构建的超图可能不适合表示数据，所以在每一层利用K-NN和K-menas聚类方法，分别基于局部特征和全局特征来动态更新超图结构，因此，随着网络的深入，超边集会随着特征嵌入的发展而动态调整，这样可以获得更好的超图结构，用于深度神经网络的高阶数据关系建模。对于超图中任何节点和边，本发明使用来标识t时刻中与超边ep相关的节点集，用/>来标识t时刻包含节点vi的所有超边集，具体表示如下：
其中，中的n表示超边/>中的顶点数量；/>中的m表示包含节点/>的超边数；节点/>同时也是t时刻超图中超边集/>的质心/>
一方面，本发明用输入嵌入初始化超图结构，为了能不断学习到新的节点嵌入特征，并解决t时刻超图中各个节点特征维度不统一的问题，现设计多个正弦、余弦编码器对输入特征Xt进行降维表示，并根据如下公式(1)设计的编码器组把输入特征维度降低到任何所需维度的特征：(1)
Xt＝ωasin(2πωfXt-1)
Xt＝ωacos(2πωfXt-1)
其中，ωa，ωf分别是满足|ωa|＝1，|ωf|＝|Xt-1|条件的权重矩阵，由网络训练得到，特别地：X0＝X1。之后再使用K-NN方法根据如下标准化欧式距离公式(2)计算出每个顶点的K-1个最近邻居，这些邻居节点与顶点/>一起构成/>的超边。
其中，V[xij]t表示t时刻对应嵌入和/>的方差。并用关系矩阵At∈Rn×m来表示节点与超边的关系，如下所示
另一方面，根据欧氏距离计算公式对每个时刻的整个超图进行K-means聚类，对于每个节点，距离最近的S-1个簇将被分配为该顶点的相邻超边。针对超边关系复杂导致集群数量S的值大，从而加大了聚类难度的问题，本发明结合如下集群范围计算公式(3)对整体特征图使用聚类：
D＝Y·ds+(1-Y)·max(0，δ-dD) (3)
其中，ds，dD均采用欧氏距离计算公式进行计算，ds表示所有相似节点之间的距离；dD表示所有不相似节点对之间的距离；超参数δ＞0用来刻画超边空间半径；Y是用来刻画节点是否相似的，具体计算如下公式(4)所示：(4)
其中，分别表示两个不同的节点，||·||u表示lu正则化，阈值设置0.85，如果所得Y值超过0.85则说明两个节点相似，若节点相似则取Y＝i，节点不相似则取Y＝0。此外，t时刻的质心/>的更新如下公式(5)所示：
其中，表示与节点/>相邻的超边数量；Xt表示t时刻超图的输入特征；ωi表示相关超边的权值系数。考虑到动态超图中超边的动态性，所以本发明结合门控循环神经网络模型来根据输入特征动态分配超边权重，具体实现如下公式(6)所示：(6)
zt＝σ(Wz·[ht-1，Xt])
rt＝σ(Wr·[ht-1，Xt])
其中，zt表示更新门，用来决定t时刻之前的信息有多少需要保留；rt表示重置门，用来保留t时刻之前的可能会有用的信息；表示候选隐状态，用来减少以往状态的影响；ht表示隐状态，作为此刻的最终输出结果，特别地：h0＝0；W表示可训练的权重/>(7)并在得到ht后根据如下公式(7)生成超边权值ω：
ω＝softmax(htW+b)
其中，W表示可训练的参数矩阵，b表示偏置矩阵。门控循环神经网络内部结构示意图如图7所示。
综上内容所述，可以将动态超图构建部分用如图8所示的算法表示整个构建过程。
3.动态超图异常边检测模型。
3.1模型的工作流程。
该部分的原始输入是构图部分每个时刻t的节点特征Xt、超边权重ω及超边与节点的关系矩阵At；目标任务是找出动态超图在演化过程中出现的突兀超边结构，学习动态超图中每条超边的异常分数，所以最终的输出是每条超边的异常得分结果，根据超边得分判断超边是否异常。与其它动态图形结构的边异常检测任务设置相同，动态超图的异常边检测任务也基于如下情况进行：
即为了解决异常数据不足的问题，假设在训练阶段所有的边都是正常的，此时不存在任何异常样本，需要通过负采样策略生成伪异常边，并用训练集中现有的超边(正边)和伪异常超边(负边)一起训练异常检测器，得出超边最终分值。
3.1.1局部子图采样。
本发明从节点的度角度出发，创造性地提出了超图节点级分解过程思想，即假定超图是超图/>的子图且在超图/>中，所有节点的度都至少为K，则称为K级分解，且若超图中单个节点最大度为M，则至多可以有M-1层分解。使用超图节点级分解模块过程模块可以根据节点与超边的参与关系来确定节点的重要性和单个节点对全图结构的影响程度。理论上参与了多条超边活动的节点应该包含更丰富的特征，在考虑局部信息时应该更为关注。这部分的具体步骤如下：
第一步：先根据超图节点级过程分解思想划分出多个分解子图结构，在分解过程中，随着分解层级K的逐渐增大，度较小的节点会被逐一划出分解层级，从而每个分解子图中的节点和超边的连接关系互不相同，可以对应成t时刻多个节点与超边的i级关系矩阵特别地：/>具体分解过程如图9所示。
第二步：由于经过超图节点级分解过程后得到的节点与超边的i级关系矩阵 的维度不同，所以引入可训练的特征转换矩阵W，并将特征转换矩阵W与各关系矩阵/>相乘进行一次线性特征转换来统一关系矩阵的维度，最终得到包含分解子图中各级节点与超边关系矩阵信息的新的输出矩阵Zi，具体操作如下公式(8)所示：(8)
W＝f(Xt)
第三步：把t时刻的节点特征矩阵Xt输入到超图卷积中，并用最新的输出矩阵Zi取代传统超图卷积中的节点与超边的关系矩阵，以此来进一步细化特征，捕获节点-超边-节点之间的多层关系，具体操作如下公式(9)所示：(9)
其中，X(l)(l＝1，2，...M-1)表示第l层的输入特征，X(1)＝Xt，θ表示滤波器，Dv和De的作用是完成归一化操作。
第四步：聚合所有输出，产生t时刻节点结构嵌入具体操作如下所示：
综上所述，该部分具体示意图如图10所示。
3.1.2嵌入更新。
(1)节点嵌入更。
第一步：在动态超图构建模块已经使用了聚类的方法，使得具有相似特征的节点在物理距离上尽可能地靠近，现用单层线性编码方式将t时刻节点距离信息同步编码到节点特征之中，如下公式(10)所示：
其中，表示t时刻目标节点；/>表示目标节点的邻居节点；dist(·)表示欧式距离计算函数；linear(·)表示可学习线性映射函数。
第二步：结合动态超图构建过程中经过正弦、余弦编码器模块后得到的t时刻节点特征矩阵Xt(源节点嵌入)、经过超图节点及分解过程得到的t时刻节点局部结构特征(节点结构嵌入)和t时刻目标节点距离信息编码/>(节点距离编码)可以生成t时刻节点的最终嵌入。为了提高运行效率，本发明将最终节点编码融合成三个编码项的总和，而不是扩展张量的维度，融合形式如下公式(11)所示：
(2)超边嵌入
第一步：考虑到动态超图的时空特性及复杂程度，为缓解长序列训练过程中的梯度消失和梯度爆炸问题，在对超边进行编码之前引入长短期记忆神经网络对节点特征进行处理。首先将节点嵌入作为长短期记忆神经网络的输入，具体处理过程如下公式(12)所示：
ht＝o⊙tanh(ct)
其中，W表示权重矩阵，b表示偏置矩阵，ct-1表示上一时刻的内部状态，记录了时序中到上一时刻为止的所有历史信息；输入门i的作用是控制当前输入数据，对于传入的数据进行选择性“记忆”，重要的留下来，不重要的可以减少信息量的输入；遗忘门f的作用是选择性忘记上一时刻内部状态信息，忘记不重要的，记住重要的；ct表示当前时刻的内部状态，更新需要记录的信息，w⊙ct-1是一个可选操作；输出门o的作用是控制当前时刻的内部状态ct有多少信息需要输出给外部状态ht；h0采用随机初始化方式。
长短期记忆神经网络模型示意图如图11所示。
第二步：在长短期记忆网络后接入池化模块的目标是将节点嵌入转换为超边特征矩阵，具体操作如下公式(13)所示：
其中，表示t时刻中的第p个超边/>的特征矩阵；(ht)k表示ht的第k行，/>表示t时刻中与超边/>相关的节点的总数量。
3.1.3超边异常概率得分计算。
第一步：由于异常数据属于小概率事件，在模型训练过程中样本量较少，这会使模型很难发现异常数据的潜在特征，从而导致模型异常边辨别能力较差，所以需要引入负采样方案，增加异常边，以此来验证异常检测模型对异常边检测的有效性。本发明结合伯努利概率思想，首先在一个由超边组成的节点集/>中，设置概率阈值，并以/>的概率进行采样。具体而言，在/>中，当的概率大于所设阈值，则分别替换掉/>其中d1，d2，...，dn分别对应节点/>的度；然后，当确定哪个节点会被替换后，将该节点替换成除节点本身以外的任意节点，即删除原边，随机连接另一条边，且边的权重不发生改变；最后将在/>上进行多次负采样后得到的超边结构记为/>从而在边嵌入的基础上衍生出负边嵌入。
第二步：计算两条超边的异常得分，具体计算如下公式(14)所示：
其中，(ht)1，(ht)2，...，(ht)n分别表示t时刻对应节点的特征嵌入；a，b...，γ是需要优化的参数；β，μ是得分函数中的超参数；当/>则丢弃生成的负采样超边，直到/>经过多次操作后每个时刻的负采样数据在数量上会和样本中的超边总数相同。
第三步：因为经过负采样操作采集到的超边数据可能出现与其他的正常超边结构重合的情况，所以也无法保证所有生成的负采样超边都是异常的，所以严格的交叉熵损失函数并不能用以区分现有边和生成边，在此引入新的损失函数公式(15)进行训练：(15)
其中，f(·)表示异常超边得分函数，τ∈(0，1)表示原超边数据和生成超边数据之间的异常分数的差值。该损失函数会使得变得更小，/>变得更大，这与本发明期望生成的超边比原图中的超边更有可能出现异常的情况是一致的。同时，当模型训练过程中确定出现异常超边的时候，t时刻的动态超图/>也就变成了带有异常超边的超图结构/>
参照图12，本发明实施例提供了一种基于动态超图神经网络的异常检测装置，包括：
第一检测单元，用于获取预设的节点在多个时刻下的超图，对每一时刻下的超图，根据超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入；
第二检测单元，用于获取所述预设的节点每一时刻的节点特征，作为源节点嵌入，并将每一时刻的节点距离信息同步编码到对应时刻的源节点嵌入中，得到节点距离编码；
第三检测单元，用于将所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码输入长短期记忆网络，并经过池化模块，得到边嵌入；
第四检测单元，用于根据预设的概率阈值替换所述边嵌入中的节点，得到负超边嵌入；
第五检测单元，用于根据所述边嵌入、所述负超边嵌入以及预设的损失函数确定每一时刻下的超图中的异常超边。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (10)
1.一种基于动态超图神经网络的异常检测方法，其特征在于，包括：
获取预设的节点在多个时刻下的超图，对每一时刻下的超图，根据超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入；
获取所述预设的节点每一时刻的节点特征，作为源节点嵌入，并将每一时刻的节点距离信息同步编码到对应时刻的源节点嵌入中，得到节点距离编码；
将所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码输入长短期记忆网络，并经过池化模块，得到边嵌入；
根据预设的概率阈值替换所述边嵌入中的节点，得到负超边嵌入；
根据所述边嵌入、所述负超边嵌入以及预设的损失函数确定每一时刻下的超图中的异常超边。
2.根据权利要求1所述的一种基于动态超图神经网络的异常检测方法，其特征在于，每一时刻下的超图的构建过程，包括：
根据该时刻下预设的节点对应的节点嵌入、超边数量以及相邻超边集构建该时刻下的超图。
3.根据权利要求2所述的一种基于动态超图神经网络的异常检测方法，其特征在于，所述根据该时刻下预设的节点对应的节点嵌入、超边数量以及相邻超边集构建该时刻下的超图，包括：
利用正弦编码器和余弦编码器将节点嵌入降维到设定维度；
根据每一预设的节点与邻居节点构成超边；
根据相邻超边集对每一预设的节点分配相邻的超边，并构建该时刻下的超图。
4.根据权利要求1所述的一种基于动态超图神经网络的异常检测方法，其特征在于，所述对每一时刻下的超图，根据超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入，包括：
根据超图中单个节点最大的度对超图进行分解，得到多个分解子图；
将每一分解子图进行线性特征转换，以统一每一分解子图对应的关系矩阵的维度，并得到包含分解子图中各级节点与超边关系矩阵信息的第一输出矩阵；
将每一时刻下的超图输入至超图卷积神经网络，得到第二输出矩阵；
聚合所述第一输出矩阵与所述第二输出矩阵，得到每一时刻下的超图对应的节点结构嵌入。
5.根据权利要求1所述的一种基于动态超图神经网络的异常检测方法，其特征在于，在所述将所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码输入长短记忆网络之前，所述还包括：
融合所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码。
6.根据权利要求1所述的一种基于动态超图神经网络的异常检测方法，其特征在于，所述经过池化模块，得到边嵌入，包括：
经过池化模块将长短期记忆网络的输出转换为超边特征矩阵，所述超编特征矩阵作为边嵌入。
7.根据权利要求1所述的一种基于动态超图神经网络的异常检测方法，其特征在于，所述根据预设的概率阈值替换所述边嵌入中的节点，得到负超边嵌入，包括：
以预设的采样概率对所述边嵌入中的节点进行采样；
将采样概率低于所述概率阈值的节点替换为除自身外的任意节点，删除对应的超边，并随机连接另一条超边，新连接的超边的权重与被删除的超边的权重一致；
返回所述以预设的采样概率对所述边嵌入中的节点进行采样的步骤，直至重复次数达到设定要求，得到负超边嵌入。
8.一种基于动态超图神经网络的异常检测装置，其特征在于，包括：
第一检测单元，用于获取预设的节点在多个时刻下的超图，对每一时刻下的超图，根据超图中单个节点最大的度对超图进行分解采样，得到节点结构嵌入；
第二检测单元，用于获取所述预设的节点每一时刻的节点特征，作为源节点嵌入，并将每一时刻的节点距离信息同步编码到对应时刻的源节点嵌入中，得到节点距离编码；
第三检测单元，用于将所述节点结构嵌入、所述源节点嵌入以及所述节点距离编码输入长短期记忆网络，并经过池化模块，得到边嵌入；
第四检测单元，用于根据预设的概率阈值替换所述边嵌入中的节点，得到负超边嵌入；
第五检测单元，用于根据所述边嵌入、所述负超边嵌入以及预设的损失函数确定每一时刻下的超图中的异常超边。
9.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310306909.9A CN116502161A (zh) | 2023-03-21 | 2023-03-21 | 一种基于动态超图神经网络的异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310306909.9A CN116502161A (zh) | 2023-03-21 | 2023-03-21 | 一种基于动态超图神经网络的异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116502161A true CN116502161A (zh) | 2023-07-28 |
Family
ID=87317480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310306909.9A Pending CN116502161A (zh) | 2023-03-21 | 2023-03-21 | 一种基于动态超图神经网络的异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116502161A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290800A (zh) * | 2023-11-24 | 2023-12-26 | 华东交通大学 | 一种基于超图注意力网络的时序异常检测方法及系统 |
| CN117851958A (zh) * | 2024-03-07 | 2024-04-09 | 中国人民解放军国防科技大学 | 基于fhgs的动态网络边异常检测方法、装置和设备 |
| CN118133883A (zh) * | 2024-05-06 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 图采样方法、图谱预测方法及存储介质 |
-
2023
- 2023-03-21 CN CN202310306909.9A patent/CN116502161A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290800A (zh) * | 2023-11-24 | 2023-12-26 | 华东交通大学 | 一种基于超图注意力网络的时序异常检测方法及系统 |
| CN117290800B (zh) * | 2023-11-24 | 2024-01-26 | 华东交通大学 | 一种基于超图注意力网络的时序异常检测方法及系统 |
| CN117851958A (zh) * | 2024-03-07 | 2024-04-09 | 中国人民解放军国防科技大学 | 基于fhgs的动态网络边异常检测方法、装置和设备 |
| CN117851958B (zh) * | 2024-03-07 | 2024-06-11 | 中国人民解放军国防科技大学 | 基于fhgs的动态网络边异常检测方法、装置和设备 |
| CN118133883A (zh) * | 2024-05-06 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 图采样方法、图谱预测方法及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wayne et al. | Unsupervised predictive memory in a goal-directed agent | |
| CN108062388B (zh) | 人机对话的回复生成方法和装置 | |
| Robert et al. | Textural features for image classification | |
| CN116502161A (zh) | 一种基于动态超图神经网络的异常检测方法 | |
| Hong et al. | Analysis of a municipal wastewater treatment plant using a neural network-based pattern analysis | |
| CN114220271A (zh) | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 | |
| CN112765896A (zh) | 一种基于lstm的水处理时序数据异常检测方法 | |
| Gopal | Artificial neural networks in geospatial analysis | |
| CN108462708B (zh) | 一种基于hdp-hmm的行为序列的检测方法 | |
| CN118397519B (zh) | 基于人工智能的校园学生安全监视系统及方法 | |
| CN117494871A (zh) | 一种考虑船舶交互影响的船舶轨迹预测方法 | |
| CN117272168A (zh) | 基于运动时序特征编码的人体动作识别与预测方法 | |
| Zhou et al. | Functional networks and applications: A survey | |
| CN116364203A (zh) | 一种基于深度学习的水质预测方法、系统和装置 | |
| Nussbaumer et al. | Reconstructing bird trajectories from pressure and wind data using a highly optimized hidden Markov model | |
| Ghosh et al. | Meta-transfer learning: An application to streamflow modeling in river-streams | |
| CN114298299A (zh) | 基于课程学习的模型训练方法、装置、设备及存储介质 | |
| Zhang et al. | A Survey of Generative Techniques for Spatial-Temporal Data Mining | |
| CN117332335A (zh) | 一个基于信息融合的多米诺效应预测方法 | |
| CN116957038A (zh) | 神经网络模型的训练方法、装置、电子设备及存储介质 | |
| Zhengfeng | Accurate recognition method of continuous sports action based on deep learning algorithm | |
| Kineman et al. | Relational Systems Ecology: The Anticipatory Niche and Complex Model Coupling | |
| CN116611022B (zh) | 智慧校园教育大数据融合方法及平台 | |
| CN114896479B (zh) | 一种在线学习方法、系统及计算机可读存储介质 | |
| Manduchi et al. | Variational PSOM: Deep Probabilistic Clustering with Self-Organizing Maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |