CN117851959A

CN117851959A - 基于fhgs的动态网络子图异常检测方法、装置和设备

Info

Publication number: CN117851959A
Application number: CN202410262249.3A
Authority: CN
Inventors: 张千桢; 陆敏; 朱先强; 丁兆云; 李杨桦
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2024-03-07
Filing date: 2024-03-07
Publication date: 2024-04-09
Anticipated expiration: 2044-03-07
Also published as: CN117851959B

Abstract

本申请涉及一种基于FHGS的动态网络子图异常检测方法、装置和设备。所述方法包括：采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储待检测子图，并计算稠密子矩阵的密度，得到子矩阵密度。迭代压缩稠密子矩阵，并计算稠密子矩阵压缩后的密度，以及利用贪婪算法获取稠密子矩阵迭代压缩后的密度最大值。根据FHGS结构的层级数比对每一层的密度最大值确定子图的异常检测结果。采用本方法能够实时快速获取高精度子图异常检测结果，并且保证较高的准确率。

Description

基于FHGS的动态网络子图异常检测方法、装置和设备

技术领域

本申请涉及子图异常检测技术领域，特别是涉及一种基于FHGS的动态网络子图异常检测方法、装置和设备。

背景技术

图数据异常检测普遍应用于社交网络、交通网络、金融交易等现实生活中的各个方面，子图异常问题往往与现实生活中的异常群体行为相关联。例如，在金融网络中，异常子图通常意味着群体欺诈行为的出现；在通信网络中，异常子图大多代表攻击者们对正常网络的联合攻击；在社交网络中，异常子图可能表示虚假错误信息的大范围散发与传播。对异常子图进行及时检测有利于尽早发现异常行为，防止恶意活动进一步扩大。传统的子图异常检测方法主要针对静态网络或动态网络中的快照图，忽略了动态数据的时效性，无法对子图异常进行实时或接近实时地检测。

发明内容

基于此，有必要针对上述技术问题，提供一种能够实时检测子图异常的基于FHGS的动态网络子图异常检测方法、装置和设备。

一种基于FHGS的动态网络子图异常检测方法，所述方法包括：

采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。

将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储待检测子图，并计算稠密子矩阵的密度，得到子矩阵密度。

迭代压缩稠密子矩阵，并计算稠密子矩阵压缩后的密度，以及利用贪婪算法获取稠密子矩阵迭代压缩后的密度最大值。

根据FHGS结构的层级数比对每一层的密度最大值确定子图的异常检测结果。

在其中一个实施例中，还包括：采用时间滑动窗口将动态网络中的动态图数据根据动态图数据的到达时间顺序生成多个子图，并对每一个子图进行异常标签标注，若子图中异常边的数量总和大于预设的异常边阈值，则标注子图的标签为异常。反之，若子图中异常边的数量总和不大于预设的异常边阈值，则标注子图的标签为正常，得到带标签的待检测子图。

在其中一个实施例中，还包括：将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储待检测子图，并计算稠密子矩阵的密度，得到子矩阵密度：

；

其中，为FHGS结构当前存储结构层对应的存储层矩阵，/>为图数据存储子矩阵的行索引集合，/>为图数据存储子矩阵的列索引集合，/>为图数据存储子矩阵中源节点的指纹集合，/>为图数据存储子矩阵/>中目标节点的指纹集合，/>为FHGS结构当前存储结构层对应的存储层矩阵/>中第/>行/>列的矩阵元素的边权重，/>为子矩阵密度。

在其中一个实施例中，还包括：迭代压缩稠密子矩阵，并计算稠密子矩阵压缩后的密度，将稠密子矩阵中行和或列和最小值对应的行或列从稠密子矩阵中删除，以及利用贪婪算法获取稠密子矩阵每次迭代压缩后的密度最大值，若稠密子矩阵的行索引集合和列索引集合均为空，则终止迭代。

一种基于FHGS的动态网络子图异常检测方法，所述方法包括：

通过FHGS结构中每一层图数据存储子矩阵存储所述待检测子图，并选取图数据存储子矩阵中边权重最大值对应的元素作为稠密子矩阵，计算稠密子矩阵的密度，得到子矩阵密度。

利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，并计算稠密子矩阵扩展后的密度，得到待检测密度。

根据待检测密度的最大值获取子图的异常检测结果。

在其中一个实施例中，还包括：利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，在每次迭代后将边权重最大值对应的元素从图数据存储子矩阵中删除，并计算稠密子矩阵扩展后的密度，得到待检测密度。

在其中一个实施例中，根据TopK算法中预设的K值确定稠密子矩阵经全局迭代扩展次数。

一种基于FHGS的动态网络子图异常检测装置，所述装置包括：

待检测子图获取模块，用于采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。

子矩阵密度获取模块，用于将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储待检测子图，并计算稠密子矩阵的密度，得到子矩阵密度；

子矩阵压缩模块，用于迭代压缩所述稠密子矩阵，并计算稠密子矩阵压缩后的密度，以及利用贪婪算法获取稠密子矩阵迭代压缩后的密度最大值。

异常检测结果获取模块，用于根据FHGS结构的层级数比对每一层的密度最大值确定子图的异常检测结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

根据子矩阵密度迭代压缩稠密子矩阵，并计算稠密子矩阵压缩后的密度，以及利用贪婪算法获取稠密子矩阵迭代压缩后的密度最大值。

上述基于FHGS的动态网络子图异常检测方法、装置和设备，采用时间滑动窗口将动态网络划分为多个时间片段，并在每个时间片段内生成对应的子图，以捕捉动态网络中动态图数据随时间的演化情况，保障后续子图异常检测的精度和准确性。然后对生成的子图进行异常标签标注，为了在后续的异常检测中提供有监督的训练数据，进而通过计算子矩阵的密度，可以了解子图的紧密程度和复杂度，密度较高的子矩阵包含更多的异常边。另外，利用稠密子矩阵存储子图，对其迭代压缩，减少存储空间，以提高后续计算的效率。进一步地，遍历每一层压缩过程，取子矩阵密度最大值对应的FHGS层级中的子图，并比对各层子矩阵密度最大值的大小，取其中最小值作为子图异常检测结果。通过在不同层级上筛选出找到不同程度的子图异常结果，这样全面多层次的检测策略，可以提高子图异常检测的准确性和精度，并且满足实时检测的需求。

附图说明

图1为一个实施例中基于FHGS的动态网络子图异常检测方法的流程示意图；

图2为一个实施例中FHGS-Graph全局子图异常检测方法的流程示意图；

图3为一个实施例中FHGS-GraphK局部子图异常检测方法的流程示意图；

图4为一个实施例中基于FHGS的动态网络子图异常检测装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种基于FHGS的动态网络子图异常检测方法，包括以下步骤：

步骤102，采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。

具体的，采用时间滑动窗口对动态网络中动态图数据按照其到达处理器的时间，顺次划分成一个一个的子图，根据预设的异常边阈值，利用动态图数据中边的真实异常标签对每一个子图进行异常标签标注，若子图中异常边的数量总和大于该阈值，则判定该子图为异常子图，设置其异常标签为1，否则认为该子图为正常子图，设置其标签为0，进而得到多个带标签的待检测子图。

步骤104，将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储待检测子图，并计算稠密子矩阵的密度，得到子矩阵密度。

具体的，进一步地，当子图中的一条边到达内存时，利用FHGS结构的每层哈希函数，将边分别存储到各层图数据存储子矩阵的对应位置/>，并更新该位置中的边权重。

进一步地，利用已更新边权重的图数据存储子矩阵作为初始稠密子矩阵存储待检测子图，并计算该初始稠密子矩阵的密度，得到子矩阵密度，即初始密度：

；

步骤106，迭代压缩稠密子矩阵，并计算稠密子矩阵压缩后的密度，以及利用贪婪算法获取稠密子矩阵迭代压缩后的密度最大值。

具体地，通过启发式算法贪婪地对稠密子矩阵进行压缩，从稠密子矩阵中选择行和或列和最小值对应的行或列，将对应的行号或列号从稠密子矩阵中移除，同时，该稠密子矩阵每次迭代压缩后，计算矩阵密度，得到多个压缩子矩阵密度，利用贪婪算法获取多个压缩子矩阵密度的最大值，以此作为该层级稠密子矩阵的异常密度，若稠密子矩阵的行索引集合和列索引集合均为空，则终止迭代。

步骤108，根据FHGS结构的层级数比对每一层的密度最大值确定子图的异常检测结果。

根据FHGS结构的层级数比对每一层异常密度，取其中最小值作为该层存储的子图的异常得分，得到子图的异常检测结果。

上述基于FHGS的动态网络子图异常检测方法，采用时间滑动窗口将动态网络划分为多个时间片段，并在每个时间片段内生成对应的子图，以捕捉动态网络中动态图数据随时间的演化情况，保障后续子图异常检测的精度和准确性。然后对生成的子图进行异常标签标注，为了在后续的异常检测中提供有监督的训练数据，进而通过计算子矩阵的密度，可以了解子图的紧密程度和复杂度，密度较高的子矩阵包含更多的异常边。另外，利用稠密子矩阵存储子图，对其迭代压缩，减少存储空间，以提高后续计算的效率。进一步地，遍历每一层压缩过程，取子矩阵密度最大值对应的FHGS层级中的子图，并比对各层子矩阵密度最大值的大小，取其中最小值作为子图异常检测结果。通过在不同层级上筛选出找到不同程度的子图异常结果，这样全面多层次的检测策略，可以提高子图异常检测的准确性和精度，并且满足实时检测的需求。

在其中一个实施例中，采用时间滑动窗口将动态网络中的动态图数据根据动态图数据的到达时间顺序生成多个子图，并对每一个子图进行异常标签标注，若子图中异常边的数量总和大于预设的异常边阈值，则标注子图的标签为异常。反之，若子图中异常边的数量总和不大于预设的异常边阈值，则标注子图的标签为正常，得到带标签的待检测子图。

值得说明的是，动态图数据作为特殊的时间序列数据具有实时性、动态性、无限性的特点，针对数据的动态变化，采用时间滑动窗口对数据进行处理，通过设置时间滑动窗口将连续不断的动态图数据按到达时间划分为一个一个的子图，并实时检测子图异常。在划分子图的过程中，依据图数据中边的真实异常标签对生成的子图进行标签标注。将标注的标签数据作为标签真值，便于评估本方法性能。

在其中一个实施例中，将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储待检测子图，并计算稠密子矩阵的密度，得到子矩阵密度：

；

其中，为FHGS结构当前存储结构层对应的存储层矩阵，/>为图数据存储子矩阵的行索引集合，/>为图数据存储子矩阵的列索引集合，/>为图数据存储子矩阵/>中源节点的指纹集合，/>为图数据存储子矩阵/>中目标节点的指纹集合，/>为FHGS结构当前存储结构层对应的存储层矩阵/>中第/>行/>列的矩阵元素的边权重，/>为子矩阵密度。

在其中一个实施例中，迭代压缩稠密子矩阵，并计算稠密子矩阵压缩后的密度，将稠密子矩阵中行和或列和最小值对应的行或列从稠密子矩阵中删除，以及利用贪婪算法获取稠密子矩阵每次迭代压缩后的密度最大值，若稠密子矩阵的行索引集合和列索引集合均为空，则终止迭代。

值得说明的是，每一次稠密子矩阵压缩后计算一次当前稠密子矩阵的密度，通过不断的迭代压缩，可以使得最后选出的稠密子矩阵是所有迭代过程中最稠密的，密度值最大，进而检测出子图异常的精度和准确率更高。

在其中一个实施例中，如图2所示，提供了一种FHGS-Graph全局子图异常检测方法，包括子图划分及标签标注、FHGS初始化及更新、稠密子矩阵压缩和子图异常得分计算四个步骤，具体如下内容所示：

Input:动态图数据；

Output:每张图的异常得分；

1：Procedure:FHGS-Graph；

2：初始化FHGS；

3：while 接收到新图do；

4：根据图重置FHGS中的矩阵 />；

5：for 每条边 do；

6：更新矩阵对应位置/>的边权重信息；

7：output Density(/>)；

8：Procedure: Density()；

9：；

10：；

11：while do；

12：；

13：；

14：if then；

15：；

16：；

17：；

18：；

19：return ；

在一个实施例中，提供了一种基于FHGS的动态网络子图异常检测方法，包括以下步骤：

根据待检测密度的最大值获取子图的异常检测结果。

在其中一个实施例中，利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，在每次迭代后将边权重最大值对应的元素从图数据存储子矩阵中删除，并计算稠密子矩阵扩展后的密度，得到待检测密度。

值得说明的是，每次全局扩展稠密子矩阵后计算一次该矩阵密度，并且每完成一次全局迭代扩展后，将边权重最大值对应的元素从图数据存储子矩阵中删除，进而从删除元素后形成的新的图数据存储子矩阵中选择边权重最大值，以此进行一下次全局迭代。通过遍历完成k个边权重最大值对应的元素，以使得最后选出的稠密子矩阵是所有迭代过程中最稠密的，进而实现更高的检测精度和准确率。

在其中一个实施例中，如图3所示，提供了一种FHGS-GraphK局部子图异常检测方法，包括子图划分及标签标注、FHGS初始化及更新、TopK元素选择和子图异常得分计算四个步骤，具体如下内容所示：

Input:动态图数据；

Output:每张图的异常得分：

1：Procedure:FHGS-GraphK ()；

2：初始化FHGS；

3：while 接收到新图 do；

4：根据图重置FHGS中的矩阵/>；

5：for 每条边 do；

6：更新矩阵对应位置/>的边权重信息；

7：output/> Density-K(/>)；

8：Procedure: Density-K()；

9：；

10：；

11：for do；

12：；

13：；

14：；

15：return；

应该理解的是，虽然图1-图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种基于FHGS的动态网络子图异常检测装置，包括：待检测子图获取模块402、子矩阵密度获取模块404、子矩阵压缩模块406和异常检测结果获取模块408，其中：

待检测子图获取模块402，用于采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。

子矩阵密度获取模块404，用于将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储待检测子图，并计算稠密子矩阵的密度，得到子矩阵密度；

子矩阵压缩模块406，用于根据子矩阵密度迭代压缩所述稠密子矩阵，并计算稠密子矩阵压缩后的密度，以及利用贪婪算法获取稠密子矩阵迭代压缩后的密度最大值。

异常检测结果获取模块408，用于根据FHGS结构的层级数比对每一层的密度最大值确定子图的异常检测结果。

关于基于FHGS的动态网络子图异常检测装置的具体限定可以参见上文中对于基于FHGS的动态网络子图异常检测方法的限定，在此不再赘述。上述基于FHGS的动态网络子图异常检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于FHGS的动态网络子图异常检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4-图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种基于FHGS的动态网络子图异常检测方法，其特征在于，所述方法包括：

采用时间滑动窗口划分动态网络生成子图，并对所述子图进行异常标签标注，得到待检测子图；

将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储所述待检测子图，并计算所述稠密子矩阵的密度，得到子矩阵密度；

迭代压缩所述稠密子矩阵，并计算所述稠密子矩阵压缩后的密度，以及利用贪婪算法获取所述稠密子矩阵迭代压缩后的密度最大值；

根据FHGS结构的层级数比对每一层的所述密度最大值确定所述子图的异常检测结果。

2.根据权利要求1所述的方法，其特征在于，采用时间滑动窗口划分动态网络生成子图，并对所述子图进行异常标签标注，得到待检测子图，包括：

采用时间滑动窗口将动态网络中的动态图数据根据所述动态图数据的到达时间顺序生成多个子图，并对每一个所述子图进行异常标签标注，若所述子图中异常边的数量总和大于预设的异常边阈值，则标注所述子图的标签为异常；反之，若所述子图中异常边的数量总和不大于预设的异常边阈值，则标注所述子图的标签为正常，得到带标签的待检测子图。

3.根据权利要求2所述的方法，其特征在于，将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储所述待检测子图，并计算所述稠密子矩阵的密度，得到子矩阵密度，包括：

将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储所述待检测子图，并计算所述稠密子矩阵的密度，得到子矩阵密度：

；

其中，为所述FHGS结构当前存储结构层对应的存储层矩阵，/>为所述图数据存储子矩阵的行索引集合，/>为所述图数据存储子矩阵的列索引集合，/>为所述图数据存储子矩阵/>中源节点的指纹集合，/>为所述图数据存储子矩阵中目标节点的指纹集合，/>为所述FHGS结构当前存储结构层对应的存储层矩阵/>中第/>行/>列的矩阵元素的边权重，/>为子矩阵密度。

4.根据所述权利要求3所述的方法，其特征在于，迭代压缩所述稠密子矩阵，并计算所述稠密子矩阵压缩后的密度，以及利用贪婪算法获取所述稠密子矩阵迭代压缩后的密度最大值，包括：

迭代压缩所述稠密子矩阵，并计算所述稠密子矩阵压缩后的密度，将所述稠密子矩阵中行和或列和最小值对应的行或列从所述稠密子矩阵中删除，以及利用贪婪算法获取所述稠密子矩阵每次迭代压缩后的密度最大值，若所述稠密子矩阵的行索引集合和列索引集合均为空，则终止迭代。

5.一种基于FHGS的动态网络子图异常检测装置，其特征在于，所述装置包括：

待检测子图获取模块，用于采用时间滑动窗口划分动态网络生成子图，并对所述子图进行异常标签标注，得到待检测子图；

子矩阵密度获取模块，用于将FHGS结构中每一层的图数据存储子矩阵作为稠密子矩阵存储所述待检测子图，并计算所述稠密子矩阵的密度，得到子矩阵密度；

子矩阵压缩模块，用于迭代压缩所述稠密子矩阵，并计算所述稠密子矩阵压缩后的密度，以及利用贪婪算法获取所述稠密子矩阵迭代压缩后的密度最大值；

异常检测结果获取模块，用于根据FHGS结构的层级数比对每一层的所述密度最大值确定所述子图的异常检测结果。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。