CN118114238A - 基于fhgs的动态网络局部子图异常检测方法及装置 - Google Patents

基于fhgs的动态网络局部子图异常检测方法及装置 Download PDF

Info

Publication number
CN118114238A
CN118114238A CN202410262447.XA CN202410262447A CN118114238A CN 118114238 A CN118114238 A CN 118114238A CN 202410262447 A CN202410262447 A CN 202410262447A CN 118114238 A CN118114238 A CN 118114238A
Authority
CN
China
Prior art keywords
density
sub
submatrix
detected
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410262447.XA
Other languages
English (en)
Inventor
朱先强
陆敏
张千桢
罗来龙
黄雪芹
臧越超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202410262447.XA priority Critical patent/CN118114238A/zh
Publication of CN118114238A publication Critical patent/CN118114238A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Complex Calculations (AREA)

Abstract

本申请涉及一种基于FHGS的动态网络局部子图异常检测方法及装置。所述方法包括：采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。通过FHGS结构中每一层图数据存储子矩阵存储所述待检测子图，并选取图数据存储子矩阵中边权重最大值对应的元素作为稠密子矩阵，计算稠密子矩阵的密度，得到子矩阵密度。利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，并计算稠密子矩阵扩展后的密度，得到待检测密度。根据待检测密度的最大值获取子图的异常检测结果。采用本方法能够提高动态网络子图异常检测精度。

Description

基于FHGS的动态网络局部子图异常检测方法及装置
技术领域
本申请涉及子图异常检测技术领域，特别是涉及一种基于FHGS的动态网络局部子图异常检测方法及装置。
背景技术
图数据异常检测普遍应用于社交网络、交通网络、金融交易等现实生活中的各个方面，子图异常问题往往与现实生活中的异常群体行为相关联。例如，在金融网络中，异常子图通常意味着群体欺诈行为的出现；在通信网络中，异常子图大多代表攻击者们对正常网络的联合攻击；在社交网络中，异常子图可能表示虚假错误信息的大范围散发与传播。对异常子图进行及时检测有利于尽早发现异常行为，防止恶意活动进一步扩大。传统的子图异常检测方法主要针对静态网络或动态网络中的快照图，忽略了动态数据的时效性，无法对子图异常进行实时或接近实时地检测。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高动态网络中子图异常检测精度的基于FHGS的动态网络局部子图异常检测方法及装置。
一种基于FHGS的动态网络局部子图异常检测方法，所述方法包括：
采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。
通过FHGS结构中每一层图数据存储子矩阵存储所述待检测子图，并选取图数据存储子矩阵中边权重最大值对应的元素作为稠密子矩阵，计算稠密子矩阵的密度，得到子矩阵密度。
利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，并计算稠密子矩阵扩展后的密度，得到待检测密度。
根据待检测密度的最大值获取子图的异常检测结果。
在其中一个实施例中，还包括：采用时间滑动窗口将动态网络中的动态图数据根据动态图数据的到达时间顺序生成多个子图，并对每一个子图进行异常标签标注，若子图中异常边的数量总和大于预设的异常边阈值，则标注子图的标签为异常。反之，若子图中异常边的数量总和不大于预设的异常边阈值，则标注子图的标签为正常，得到带标签的待检测子图。
在其中一个实施例中，还包括：利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，在每次迭代后将边权重最大值对应的元素从图数据存储子矩阵中删除，并计算稠密子矩阵扩展后的密度，得到待检测密度。
在其中一个实施例中，根据TopK算法中预设的K值确定稠密子矩阵经全局迭代扩展次数。
一种基于FHGS的动态网络局部子图异常检测装置，所述装置包括：
待检测子图获取模块，用于采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。
子矩阵密度获取模块，用于通过FHGS结构中每一层图数据存储子矩阵存储所述待检测子图，并选取图数据存储子矩阵中边权重最大值对应的元素作为稠密子矩阵，计算稠密子矩阵的密度，得到子矩阵密度。
待检测密度获取模块，用于利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，并计算稠密子矩阵扩展后的密度，得到待检测密度。
异常检测结果获取模块，用于根据待检测密度的最大值获取子图的异常检测结果。
在其中一个实施例中，待检测密度获取模块，还用于利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，在每次迭代后将边权重最大值对应的元素从图数据存储子矩阵中删除，并计算稠密子矩阵扩展后的密度，得到待检测密度。
上述基于FHGS的动态网络局部子图异常检测方法及装置，采用时间滑动窗口将动态网络划分为多个时间片段，并在每个时间片段内生成对应的子图，以捕捉动态网络中动态图数据随时间的演化情况，保障后续子图异常检测的精度和准确性。利用稠密子矩阵存储子图，对其迭代压缩，减少存储空间，以提高后续计算的效率。进一步地，遍历每一层压缩过程，取边权重最大值对应的元素作为稠密子矩阵，并计算各层稠密子矩阵的密度。然后，利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，计算稠密子矩阵扩展后的密度，取其最大值作为子图的异常检测结果。通过在不同层级上筛选，找到局部影响程度最大的子图异常结果，这样全面细致多层次的检测策略，可以提高子图异常检测的准确性和精度，并且满足实时检测的需求。
附图说明
图1为一个实施例中基于FHGS的动态网络局部子图异常检测方法的流程示意图；
图2为一个实施例中FHGS-GraphK局部子图异常检测方法的流程示意图；
图3为一个实施例中基于FHGS的动态网络局部子图异常检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于FHGS的动态网络局部子图异常检测方法，包括以下步骤：
步骤102，采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。
具体的，采用时间滑动窗口对动态网络中动态图数据按照其到达处理器的时间，顺次划分成一个一个的子图，根据预设的异常边阈值，利用动态图数据中边的真实异常标签对每一个子图进行异常标签标注，若子图中异常边的数量总和大于该阈值，则判定该子图为异常子图，设置其异常标签为1，否则认为该子图为正常子图，设置其标签为0，进而得到多个带标签的待检测子图。
步骤104，通过FHGS结构中每一层图数据存储子矩阵存储所述待检测子图，并选取图数据存储子矩阵中边权重最大值对应的元素作为稠密子矩阵，计算稠密子矩阵的密度，得到子矩阵密度。
具体的，进一步地，当子图中的一条边(s,d,w,t)到达内存时，利用FHGS结构的每层哈希函数，将边分别存储到各层图数据存储子矩阵的对应位置并更新该位置中的边权重。
进一步地，利用已更新边权重中的最大值对应的元素作为初始稠密子矩阵存储待检测子图(Scur,Tcur)，并计算该初始稠密子矩阵的密度，得到子矩阵密度，即初始密度：
其中，X为FHGS结构当前存储结构层对应的存储层矩阵，SX为图数据存储子矩阵的行索引集合，TX为图数据存储子矩阵的列索引集合，为图数据存储子矩阵(SX,TX)中源节点的指纹集合，/>为图数据存储子矩阵(SX,TX)中目标节点的指纹集合，X[s][t]_w为FHGS结构当前存储结构层对应的存储层矩阵X中第s行t列的矩阵元素的边权重，D为子矩阵密度。
步骤106，利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，并计算稠密子矩阵扩展后的密度，得到待检测密度。
具体地，通过启发式算法贪婪地对稠密子矩阵进行压缩，从稠密子矩阵中选择行和或列和最小值对应的行或列，将对应的行号或列号从稠密子矩阵(Scur,Tcur)中移除，同时，该稠密子矩阵每次迭代压缩后，计算矩阵密度，得到多个压缩子矩阵密度，在每次迭代后将边权重最大值对应的元素从图数据存储子矩阵中删除，并计算稠密子矩阵扩展后的密度，得到待检测密度。另外，根据TopK算法中预设的K值确定稠密子矩阵经全局迭代扩展次数。
步骤108，根据待检测密度的最大值获取子图的异常检测结果。
根据TopK算法中预设的K值比对FHGS结构中每一层异常密度，取其中最大值作为该层存储的子图的异常得分，得到子图的异常检测结果。
上述基于FHGS的动态网络局部子图异常检测方法，用时间滑动窗口将动态网络划分为多个时间片段，并在每个时间片段内生成对应的子图，以捕捉动态网络中动态图数据随时间的演化情况，保障后续子图异常检测的精度和准确性。利用稠密子矩阵存储子图，对其迭代压缩，减少存储空间，以提高后续计算的效率。进一步地，遍历每一层压缩过程，取边权重最大值对应的元素作为稠密子矩阵，并计算各层稠密子矩阵的密度。然后，利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，计算稠密子矩阵扩展后的密度，取其最大值作为子图的异常检测结果。通过在不同层级上筛选，找到局部影响程度最大的子图异常结果，这样全面细致多层次的检测策略，可以提高子图异常检测的准确性和精度，并且满足实时检测的需求。
在其中一个实施例中，采用时间滑动窗口将动态网络中的动态图数据根据动态图数据的到达时间顺序生成多个子图，并对每一个子图进行异常标签标注，若子图中异常边的数量总和大于预设的异常边阈值，则标注子图的标签为异常。反之，若子图中异常边的数量总和不大于预设的异常边阈值，则标注子图的标签为正常，得到带标签的待检测子图。
值得说明的是，动态图数据作为特殊的时间序列数据具有实时性、动态性、无限性的特点，针对数据的动态变化，采用时间滑动窗口对数据进行处理，通过设置时间滑动窗口将连续不断的动态图数据按到达时间划分为一个一个的子图，并实时检测子图异常。在划分子图的过程中，依据图数据中边的真实异常标签对生成的子图进行标签标注。将标注的标签数据作为标签真值，便于评估本方法性能。
在其中一个实施例中，还包括：利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，在每次迭代后将边权重最大值对应的元素从图数据存储子矩阵中删除，并计算稠密子矩阵扩展后的密度，得到待检测密度。
值得说明的是，每次全局扩展稠密子矩阵后计算一次该矩阵密度，并且每完成一次全局迭代扩展后，将边权重最大值对应的元素从图数据存储子矩阵中删除，进而从删除元素后形成的新的图数据存储子矩阵中选择边权重最大值，以此进行一下次全局迭代。通过遍历完成k个边权重最大值对应的元素，以使得最后选出的稠密子矩阵是所有迭代过程中最稠密的，进而实现更高的检测精度和准确率。
在其中一个实施例中，根据TopK算法中预设的K值确定稠密子矩阵经全局迭代扩展次数。
在其中一个实施例中，如图2所示，提供了一种FHGS-GraphK局部子图异常检测方法，包括子图划分及标签标注、FHGS初始化及更新、TopK元素选择和子图异常得分计算四个步骤，具体如下内容所示：
应该理解的是，虽然图1-图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种基于FHGS的动态网络局部子图异常检测装置，包括：待检测子图获取模块302、子矩阵密度获取模块304、待检测密度获取模块306和异常检测结果获取模块308，其中：
待检测子图获取模块302，用于采用时间滑动窗口划分动态网络生成子图，并对子图进行异常标签标注，得到待检测子图。
子矩阵密度获取模块304，用于通过FHGS结构中每一层图数据存储子矩阵存储所述待检测子图，并选取图数据存储子矩阵中边权重最大值对应的元素作为稠密子矩阵，计算稠密子矩阵的密度，得到子矩阵密度。
待检测密度获取模块306，用于利用启发式算法根据子矩阵密度对稠密子矩阵进行全局迭代扩展，并计算稠密子矩阵扩展后的密度，得到待检测密度。
异常检测结果获取模块308，用于根据待检测密度的最大值获取子图的异常检测结果。
关于基于FHGS的动态网络局部子图异常检测装置的具体限定可以参见上文中对于基于FHGS的动态网络局部子图异常检测方法的限定，在此不再赘述。上述基于FHGS的动态网络局部子图异常检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于FHGS的动态网络局部子图异常检测方法，其特征在于，所述方法包括：
采用时间滑动窗口划分动态网络生成子图，并对所述子图进行异常标签标注，得到待检测子图；
通过FHGS结构中每一层图数据存储子矩阵存储所述待检测子图，并选取所述图数据存储子矩阵中边权重最大值对应的元素作为稠密子矩阵，计算所述稠密子矩阵的密度，得到子矩阵密度；
利用启发式算法根据所述子矩阵密度对所述稠密子矩阵进行全局迭代扩展，并计算所述稠密子矩阵扩展后的密度，得到待检测密度；
根据所述待检测密度的最大值获取所述子图的异常检测结果。
2.根据权利要求1所述的方法，其特征在于，采用时间滑动窗口划分动态网络生成子图，并对所述子图进行异常标签标注，得到待检测子图，包括：
采用时间滑动窗口将动态网络中的动态图数据根据所述动态图数据的到达时间顺序生成多个子图，并对每一个所述子图进行异常标签标注，若所述子图中异常边的数量总和大于预设的异常边阈值，则标注所述子图的标签为异常；反之，若所述子图中异常边的数量总和不大于预设的异常边阈值，则标注所述子图的标签为正常，得到带标签的待检测子图。
3.根据权利要求2所述的方法，利用启发式算法根据所述子矩阵密度对所述稠密子矩阵进行全局迭代扩展，并计算所述稠密子矩阵扩展后的密度，得到待检测密度，包括：
利用启发式算法根据所述子矩阵密度对所述稠密子矩阵进行全局迭代扩展，在每次迭代后将所述边权重最大值对应的元素从所述图数据存储子矩阵中删除，并计算所述稠密子矩阵扩展后的密度，得到待检测密度。
4.根据权利要求1至3中任一项所述的方法，其特征在于，根据TopK算法中预设的K值确定所述稠密子矩阵经全局迭代扩展次数。
5.一种基于FHGS的动态网络局部子图异常检测装置，其特征在于，所述装置包括：
待检测子图获取模块，用于采用时间滑动窗口划分动态网络生成子图，并对所述子图进行异常标签标注，得到待检测子图；
子矩阵密度获取模块，用于通过FHGS结构中每一层图数据存储子矩阵存储所述待检测子图，并选取所述图数据存储子矩阵中边权重最大值对应的元素作为稠密子矩阵，计算所述稠密子矩阵的密度，得到子矩阵密度；
待检测密度获取模块，用于利用启发式算法根据所述子矩阵密度对所述稠密子矩阵进行全局迭代扩展，并计算所述稠密子矩阵扩展后的密度，得到待检测密度；
异常检测结果获取模块，用于根据所述待检测密度的最大值获取所述子图的异常检测结果。
6.根据权利要求5所述的装置，其特征在于，所述待检测密度获取模块，还用于利用启发式算法根据所述子矩阵密度对所述稠密子矩阵进行全局迭代扩展，在每次迭代后将所述边权重最大值对应的元素从所述图数据存储子矩阵中删除，并计算所述稠密子矩阵扩展后的密度，得到待检测密度。
CN202410262447.XA 2024-03-07 2024-03-07 基于fhgs的动态网络局部子图异常检测方法及装置 Pending CN118114238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410262447.XA CN118114238A (zh) 2024-03-07 2024-03-07 基于fhgs的动态网络局部子图异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410262447.XA CN118114238A (zh) 2024-03-07 2024-03-07 基于fhgs的动态网络局部子图异常检测方法及装置

Publications (1)

Publication Number Publication Date
CN118114238A true CN118114238A (zh) 2024-05-31

Family

ID=91210422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410262447.XA Pending CN118114238A (zh) 2024-03-07 2024-03-07 基于fhgs的动态网络局部子图异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN118114238A (zh)

Similar Documents

Publication Publication Date Title
Margolin On the convergence of the cross-entropy method
CN114401136B (zh) 一种针对多个属性网络的快速异常检测方法
CN113282799B (zh) 节点的操作方法、装置、计算机设备和存储介质
CN113268528A (zh) 面向传感数据的多概率阈值频繁项集挖掘方法及装置
CN111275106A (zh) 对抗样本生成方法、装置及计算机设备
CN115114484A (zh) 异常事件检测方法、装置、计算机设备和存储介质
Eshun et al. Two de-anonymization attacks on real-world location data based on a hidden Markov model
CN118114238A (zh) 基于fhgs的动态网络局部子图异常检测方法及装置
CN117851959B (zh) 基于fhgs的动态网络子图异常检测方法、装置和设备
Puranik et al. Community detection in evolving networks
CN111460321A (zh) 基于Node2Vec的重叠社区搜索方法及设备
CN110807061A (zh) 一种基于分层搜索不确定图的频繁子图的方法
CN105740371A (zh) 一种基于密度的增量聚类数据挖掘方法及系统
CN112990285B (zh) 一种面向大规模图结构的简化攻击方法
CN115409070A (zh) 离散数据序列临界点的确定方法、装置以及设备
CN114897290A (zh) 业务流程的演化识别方法、装置、终端设备以及存储介质
KR101591595B1 (ko) 대용량 그래프 데이터베이스에서 링크를 예측하는 방법
CN113344140A (zh) 一种基于剪枝条件的不确定数据序列扫描方法及系统
CN111708845B (zh) 一种身份匹配方法和装置
CN117851958B (zh) 基于fhgs的动态网络边异常检测方法、装置和设备
CN117370619B (zh) 图的分片存储和子图采样方法及装置
CN110968454B (zh) 确定已丢失数据块的恢复数据的方法和装置
CN114627373B (zh) 一种面向遥感图像目标检测模型的对抗样本生成方法
CN114491201A (zh) 基于图神经网络的兴趣点去重方法、装置、设备和存储介质
CN118250027A (zh) 内网主机节点安全防御过程中的资源分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination