CN112650968A - 一种多网络基于异常对齐模型的异常子图检测方法 - Google Patents

一种多网络基于异常对齐模型的异常子图检测方法 Download PDF

Info

Publication number
CN112650968A
CN112650968A CN202011292399.7A CN202011292399A CN112650968A CN 112650968 A CN112650968 A CN 112650968A CN 202011292399 A CN202011292399 A CN 202011292399A CN 112650968 A CN112650968 A CN 112650968A
Authority
CN
China
Prior art keywords
abnormal
subgraph
function
alignment model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011292399.7A
Other languages
English (en)
Other versions
CN112650968B (zh
Inventor
孙英
武南南
王文俊
于洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011292399.7A priority Critical patent/CN112650968B/zh
Publication of CN112650968A publication Critical patent/CN112650968A/zh
Application granted granted Critical
Publication of CN112650968B publication Critical patent/CN112650968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种多网络基于异常对齐模型的异常子图检测方法。该方法在图异常检测框架中，引入网络对齐方法构建多个网络的异常对齐模型，采用NPGS统计量方法计算异常子图的异常值，最终得到最优的异常子图。本发明在弱异常特征的网络中，检测异常子图；利用多网络构建网络模型；利用NPGS函数，检测子图的异常值。

Description

一种多网络基于异常对齐模型的异常子图检测方法
技术领域
本发明属于异常检测领域，涉及一种多网络基于异常对齐模型的异常子图检测方法。
背景技术
异常检测是一个重要的数据挖掘研究领域问题，在实际应用中具有重要意义。现有的异 常检测方法判定子图是否异常，都是依赖于所观察到的网络中节点的异常特征数据值，例如 在基于无参数图扫描统计量(NPGS)的异常检测方法中，对于那些异常特征不明显的网络其 检测结果就不够理想了，例如：在城市道路交通网络或受限访问的朋友关系网络中，检测城 市犯罪热点地区就是一个难题。为了解决这个难题，我们引入网络对齐的基本方法，在多个 网络中建立异常对齐检测模型，实现针对异常特征不明显的网络中，挖掘异常子图的目标。
发明内容
针对上述技术问题，本发明提出一种多网络基于异常对齐模型的异常子图检测方法。该 方法在图异常检测框架中，引入网络对齐方法构建多个网络的异常对齐模型，采用NPGS统计 量方法计算异常子图的异常值，最终得到最优的异常子图。
1)异常对齐模型的构建
定义两个属性网络G1＝(V1,E1,p)和G2＝(V2,E2,q)，V1,V2是节点集合，E1,E2是边集合，p表 示异常特征集合，q表示非异常属性特征集合。M∈[0,1]m×n表示两个网络节点集之间的边关 系，M(vi,vj)>0表示节点vi和vj之间的边(vi∈V1,vj∈V2)。异常对齐模型的目标函数定义 如下：
Figure BDA0002784300640000011
其中：S1,S2是G1和G2的连通异常子图，
Figure BDA0002784300640000012
是无参数图扫描统计量函 数(NPGS)，例如，Berk-Jones NPGS函数定义如公式(2)，Q(S1,S2,M)是子图对齐函数，其 定义如公式(3)。
Figure BDA0002784300640000013
Figure BDA0002784300640000014
Q(S1,S2,M)＝ICS(S1,S2,M)+FT(S1,S2,M), (3)
其中
Figure BDA0002784300640000021
和
Figure BDA0002784300640000022
s1＝vec(S1),s2＝vec(S2)是S1,S2的向量化表示，m∈[0,1]mn×1是对齐矩阵M的向量化表示。
Figure BDA0002784300640000023
A1,A2是网络G1和G2的邻接矩阵。
异常对齐模型的目标函数(1)满足如下三个属性：
属性1：函数Fα(S1)是单调递增函数，随着S1中的异常节点个数增加而增加。
属性2：函数Fα(S1)是单调递减函数，随着S1中的正常节点个数减少而减少。
属性3：函数Q是单调递增函数，随着S1和S2中的对齐的节点对数增加而增加。
2)优化异常对齐模型目标函数
当S1,M为固定不变，则异常对齐模型的向量矩阵形式可以简化为：
Figure BDA0002784300640000024
则该简化模型在t时刻的优化步骤为：
iv.
Figure BDA0002784300640000025
v.
Figure BDA0002784300640000026
vi.
Figure BDA0002784300640000027
3)异常对齐模型异常检测算法。
本发明所提出的异常子图检测算法如下(所有变量均以向量形式或矩阵形式表示)：初始化过 程中，S1,S2的初值被置为G1和G2。异常特征集合为
Figure BDA0002784300640000028
a)迭代循环过程中第1步：根据
Figure BDA0002784300640000029
Figure BDA00027843006400000210
和Mi-1，求解Mi,使网络对齐函数值最大。
b)迭代循环过程中第2步：根据
Figure BDA00027843006400000211
Figure BDA00027843006400000212
和Mi，求解
Figure BDA00027843006400000213
使得S1的优化公式值最优。
c)迭代循环过程中第3步：根据
Figure BDA00027843006400000214
Figure BDA00027843006400000215
和Mi，求解
Figure BDA00027843006400000216
使得S2的优化公式值最优。
d)迭代循环过程中第4步：根据
Figure BDA00027843006400000217
Figure BDA00027843006400000218
和Mi，按照u的优化公式求解ui。
e)迭代循环的结束条件为：i时刻和i-1时刻的目标函数值之差小于规定值ξ，如ξ≤0.001。
本发明的方法的特点及效果：
1.在弱异常特征的网络中，检测异常子图。
2.利用多网络构建网络模型。
3.利用NPGS函数，检测子图的异常值。。
4.根据网络对齐方法构建多网络间基于异常对齐模型的异常子图检测方法。
附图说明
本发明所提出的优化算法的迭代过程，如上图所示例。
图1为基于异常对齐模型的异常子图检测算法；
图2本发明算法异常特征检测迭代过程示例；
图3在微博数据集中的用户异常特征检测城市犯罪热点区域的案例。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任 何限制。
如图所示，本发明提出一种基于异常对齐模型的异常子图检测方法，包括以下步骤：
1)构建网络模型，在两个数据集中分别抽取节点和边的关系，构建网络A和网络B，利 用A网络中能够观测到的异常数据构建异常特征集合p，网络B中的节点或边的非异常特征 集合q，抽取两个网络节点集合之间的变关系，构建初始网络对齐关系矩阵H。
2)根据网络A和网络B的子图对齐函数，查找最优对齐矩阵M
3)在网络A中，根据不同异常水平α和异常子图中包含的正常节点数K，查找使得子图 NPGS函数Fα(S1)的函数值最大的异常子图S1。
4)根据更新后的M和S1计算最优的网络B的异常子图S2。
5)反复更新迭代，直至优化结果收敛至最优异常子图S2。
表格1数据集描述表
Figure BDA0002784300640000031
算法的对比评测结果如下表所示：
表格2本发明的算法性能评测对比分析表
Figure BDA0002784300640000041
本算法实施在Weibo数据集(Weibo)和Baidu迁徙数据集&Covid-19数据集(B&C)，数据集明细表如上所示。

Claims (3)

1.一种多网络基于异常对齐模型的异常子图检测方法，其特征在于：包括如下步骤
1)异常对齐模型的构建：
定义两个属性网络G1＝(V1，E1，p)和G2＝(V2，E2，q)，V1，V2是节点集合，E1，E2是边集合，p表示异常特征集合，q表示非异常属性特征集合，M∈[0，1]m×n表示两个网络节点集之间的边关系，M(vi，vj)＞0表示节点vi和vj之间的边(vi∈V1，vj∈V2)；
异常对齐模型的目标函数定义如下：
Figure FDA0002784300630000011
其中：S1，S2是G1和G2的连通异常子图，
Figure FDA0002784300630000012
是无参数图扫描统计量函数(NPGS)；
2)优化异常对齐模型的目标函数：
当S1，M为固定不变，则异常对齐模型的向量矩阵形式可以简化为：
Figure FDA0002784300630000013
Subject to.Ms1-s2＝0
则该简化模型在t时刻的优化步骤为：
i.
Figure FDA0002784300630000014
ii.
Figure FDA0002784300630000015
iii.
Figure FDA0002784300630000016
3)求解异常对齐模型，得到目标网络中异常子图，从而完成异常检测目标：
本发明提出了异常子图检测算法，所有变量均以向量形式或矩阵形式表示。
2.根据权利要求1所述的一种多网络基于异常对齐模型的异常子图检测方法，其特征在于：Q(S1，S2，M)是子图对齐函数，异常对齐模型的目标函数(1)满足如下三个属性：
1)、函数Fα(S1)是单调递增函数，随着S1中的异常节点个数增加而增加；
2)、函数Fα(S1)是单调递减函数，随着S1中的正常节点个数减少而减少；
3)、函数Q是单调递增函数，随着S1和S2中的对齐的节点对数增加而增加。
3.根据权利要求1所述的一种多网络基于异常对齐模型的异常子图检测方法，其特征在于：本异常子图检测算法如下(所有变量均以向量形式或矩阵形式表示)：
a)初始化过程中，S1，S2的初值被置为G1和G2。异常特征集合为
Figure FDA0002784300630000017
b)迭代循环过程中第1步：根据
Figure FDA0002784300630000021
和Mi-1，求解Mi，使网络对齐函数值最大；
c)迭代循环过程中第2步：根据
Figure FDA0002784300630000022
和Mi，求解
Figure FDA0002784300630000023
使得S1的优化公式值最优；
d)迭代循环过程中第3步：根据
Figure FDA0002784300630000024
和Mi，求解
Figure FDA0002784300630000025
使得S2的优化公式值最优；
e)迭代循环过程中第4步：根据
Figure FDA0002784300630000026
和Mi，按照u的优化公式求解ui；
f)迭代循环的结束条件为：i时刻和i-1时刻的目标函数值之差小于规定值ξ，如ξ≤0.001。
CN202011292399.7A 2020-11-18 2020-11-18 一种多网络基于异常对齐模型的异常子图检测方法 Active CN112650968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011292399.7A CN112650968B (zh) 2020-11-18 2020-11-18 一种多网络基于异常对齐模型的异常子图检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292399.7A CN112650968B (zh) 2020-11-18 2020-11-18 一种多网络基于异常对齐模型的异常子图检测方法

Publications (2)

Publication Number Publication Date
CN112650968A true CN112650968A (zh) 2021-04-13
CN112650968B CN112650968B (zh) 2022-07-12

Family

ID=75349988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292399.7A Active CN112650968B (zh) 2020-11-18 2020-11-18 一种多网络基于异常对齐模型的异常子图检测方法

Country Status (1)

Country Link
CN (1) CN112650968B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401136A (zh) * 2022-01-14 2022-04-26 天津大学 一种针对多个属性网络的快速异常检测方法
CN114760113A (zh) * 2022-03-30 2022-07-15 深信服科技股份有限公司 一种异常告警检测方法、装置及电子设备和存储介质
CN114884688A (zh) * 2022-03-28 2022-08-09 天津大学 一种跨多属性网络的联邦异常检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895420A (zh) * 2010-07-12 2010-11-24 西北工业大学 快速网络流量异常检测方法
CN104935570A (zh) * 2015-04-22 2015-09-23 电子科技大学 基于网络流连接图的网络流连接行为特征分析方法
CN105989597A (zh) * 2015-02-13 2016-10-05 中国科学院西安光学精密机械研究所 基于像素选择过程的高光谱图像异常目标检测方法
CN107707417A (zh) * 2017-11-29 2018-02-16 桂林电子科技大学 基于子图处理的无线传感器网络异常节点检测与定位方法
CN108540327A (zh) * 2018-04-19 2018-09-14 中国人民解放军战略支援部队信息工程大学 一种动态网络异常链接行为检测方法及系统
US20200057956A1 (en) * 2018-08-14 2020-02-20 International Business Machines Corporation Learning sparsity-constrained gaussian graphical models in anomaly detection
CN110910235A (zh) * 2019-10-23 2020-03-24 华融融通（北京）科技有限公司 一种基于用户关系网络的贷中异常行为检测方法
CN111126437A (zh) * 2019-11-22 2020-05-08 中国人民解放军战略支援部队信息工程大学 基于加权动态网络表示学习的异常群体检测方法
CN111209317A (zh) * 2020-01-15 2020-05-29 同济大学 一种知识图谱异常社区检测方法及装置
CN111291229A (zh) * 2020-01-21 2020-06-16 中国科学院计算技术研究所 一种稠密多部子图的检测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895420A (zh) * 2010-07-12 2010-11-24 西北工业大学 快速网络流量异常检测方法
CN105989597A (zh) * 2015-02-13 2016-10-05 中国科学院西安光学精密机械研究所 基于像素选择过程的高光谱图像异常目标检测方法
CN104935570A (zh) * 2015-04-22 2015-09-23 电子科技大学 基于网络流连接图的网络流连接行为特征分析方法
CN107707417A (zh) * 2017-11-29 2018-02-16 桂林电子科技大学 基于子图处理的无线传感器网络异常节点检测与定位方法
CN108540327A (zh) * 2018-04-19 2018-09-14 中国人民解放军战略支援部队信息工程大学 一种动态网络异常链接行为检测方法及系统
US20200057956A1 (en) * 2018-08-14 2020-02-20 International Business Machines Corporation Learning sparsity-constrained gaussian graphical models in anomaly detection
CN110910235A (zh) * 2019-10-23 2020-03-24 华融融通（北京）科技有限公司 一种基于用户关系网络的贷中异常行为检测方法
CN111126437A (zh) * 2019-11-22 2020-05-08 中国人民解放军战略支援部队信息工程大学 基于加权动态网络表示学习的异常群体检测方法
CN111209317A (zh) * 2020-01-15 2020-05-29 同济大学 一种知识图谱异常社区检测方法及装置
CN111291229A (zh) * 2020-01-21 2020-06-16 中国科学院计算技术研究所 一种稠密多部子图的检测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401136A (zh) * 2022-01-14 2022-04-26 天津大学 一种针对多个属性网络的快速异常检测方法
CN114401136B (zh) * 2022-01-14 2023-05-05 天津大学 一种针对多个属性网络的快速异常检测方法
CN114884688A (zh) * 2022-03-28 2022-08-09 天津大学 一种跨多属性网络的联邦异常检测方法
CN114760113A (zh) * 2022-03-30 2022-07-15 深信服科技股份有限公司 一种异常告警检测方法、装置及电子设备和存储介质
CN114760113B (zh) * 2022-03-30 2024-02-23 深信服科技股份有限公司 一种异常告警检测方法、装置及电子设备和存储介质

Also Published As

Publication number Publication date
CN112650968B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN112650968B (zh) 一种多网络基于异常对齐模型的异常子图检测方法
Salehi et al. A Survey on Anomaly detection in Evolving Data: [with Application to Forest Fire Risk Prediction]
O'Reilly et al. Anomaly detection in wireless sensor networks in a non-stationary environment
CN110738647B (zh) 融合多感受野特征映射与高斯概率模型的老鼠检测方法
CN114221790A (zh) 一种基于图注意力网络的bgp异常检测方法及系统
CN111046968B (zh) 一种基于改进dpc算法的道路网络轨迹聚类分析方法
CN108763793A (zh) 一种加权模糊型d-s证据理论框架
CN113821793B (zh) 基于图卷积神经网络的多阶段攻击场景构建方法及系统
CN102156756A (zh) 一种基于图嵌入的在道路网络中查找最优路径的方法
Ma et al. Modeling and analysis for vertical handoff based on the decision tree in a heterogeneous vehicle network
Ahmed et al. Network sampling designs for relational classification
CN111275132A (zh) 一种基于sa-pfcm++算法的目标分群方法
CN104699804A (zh) 一种基于基因表达式编程的n中心点分类方法
CN113297429A (zh) 一种基于神经网络架构搜索的社交网络链路预测方法
CN111460026B (zh) 基于直觉模糊时间序列图挖掘的网络流量异常检测方法
CN116055113A (zh) 异常节点发现方法及装置
CN103164487B (zh) 一种基于密度与几何信息的数据聚类方法
Roh et al. Deep Learning-based Wireless Signal Classification in the IoT Environment.
CN106130661A (zh) 基于Hammerstein‑Wiener模型的宽带无线发射机识别方法
CN116170237B (zh) 一种融合gnn和acgan的入侵检测方法
CN112422546A (zh) 一种基于变邻域算法和模糊聚类的网络异常检测方法
WO2021012220A1 (zh) 一种针对集成树分类器的逃避攻击方法及装置
CN114519605A (zh) 广告点击欺诈检测方法、系统、服务器和存储介质
CN109063721A (zh) 一种行为特征数据提取的方法及装置
CN112948502B (zh) 多来源传输数据分类存储方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant