CN112650968B - 一种多网络基于异常对齐模型的异常子图检测方法 - Google Patents
一种多网络基于异常对齐模型的异常子图检测方法 Download PDFInfo
- Publication number
- CN112650968B CN112650968B CN202011292399.7A CN202011292399A CN112650968B CN 112650968 B CN112650968 B CN 112650968B CN 202011292399 A CN202011292399 A CN 202011292399A CN 112650968 B CN112650968 B CN 112650968B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- subgraph
- function
- alignment
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Mathematics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Evolutionary Computation (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种多网络基于异常对齐模型的异常子图检测方法。该方法在图异常检测框架中,引入网络对齐方法构建多个网络的异常对齐模型,采用NPGS统计量方法计算异常子图的异常值,最终得到最优的异常子图。本发明在弱异常特征的网络中,检测异常子图;利用多网络构建网络模型;利用NPGS函数,检测子图的异常值。
Description
技术领域
本发明属于异常检测领域,涉及一种多网络基于异常对齐模型的异常子图检测方法。
背景技术
异常检测是一个重要的数据挖掘研究领域问题,在实际应用中具有重要意义。现有的异 常检测方法判定子图是否异常,都是依赖于所观察到的网络中节点的异常特征数据值,例如 在基于无参数图扫描统计量(NPGS)的异常检测方法中,对于那些异常特征不明显的网络其 检测结果就不够理想了,例如:在城市道路交通网络或受限访问的朋友关系网络中,检测城 市犯罪热点地区就是一个难题。为了解决这个难题,我们引入网络对齐的基本方法,在多个 网络中建立异常对齐检测模型,实现针对异常特征不明显的网络中,挖掘异常子图的目标。
发明内容
针对上述技术问题,本发明提出一种多网络基于异常对齐模型的异常子图检测方法。该 方法在图异常检测框架中,引入网络对齐方法构建多个网络的异常对齐模型,采用NPGS统计 量方法计算异常子图的异常值,最终得到最优的异常子图。
1)异常对齐模型的构建
定义两个属性网络G1=(V1,E1,p)和G2=(V2,E2,q),V1,V2是节点集合,E1,E2是边集合,p表 示异常特征集合,q表示非异常属性特征集合。M∈[0,1]m×n表示两个网络节点集之间的边关 系,M(vi,vj)>0表示节点vi和vj之间的边(vi∈V1,vj∈V2)。异常对齐模型的目标函数定义 如下:
其中:S1,S2是G1和G2的连通异常子图,是无参数图扫描统计量函 数(NPGS),例如,Berk-Jones NPGS函数定义如公式(2),Q(S1,S2,M)是子图对齐函数,其 定义如公式(3)。
Q(S1,S2,M)=ICS(S1,S2,M)+FT(S1,S2,M), (3)
异常对齐模型的目标函数(1)满足如下三个属性:
属性1:函数Fα(S1)是单调递增函数,随着S1中的异常节点个数增加而增加。
属性2:函数Fα(S1)是单调递减函数,随着S1中的正常节点个数减少而减少。
属性3:函数Q是单调递增函数,随着S1和S2中的对齐的节点对数增加而增加。
2)优化异常对齐模型目标函数
当S1,M为固定不变,则异常对齐模型的向量矩阵形式可以简化为:
则该简化模型在t时刻的优化步骤为:
3)异常对齐模型异常检测算法。
e)迭代循环的结束条件为:i时刻和i-1时刻的目标函数值之差小于规定值ξ,如ξ≤0.001。
本发明的方法的特点及效果:
1.在弱异常特征的网络中,检测异常子图。
2.利用多网络构建网络模型。
3.利用NPGS函数,检测子图的异常值。。
4.根据网络对齐方法构建多网络间基于异常对齐模型的异常子图检测方法。
附图说明
本发明所提出的优化算法的迭代过程,如上图所示例。
图1为基于异常对齐模型的异常子图检测算法;
图2本发明算法异常特征检测迭代过程示例;
图3在微博数据集中的用户异常特征检测城市犯罪热点区域的案例。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的说明,但下述实施例绝非对本发明有任 何限制。
如图所示,本发明提出一种基于异常对齐模型的异常子图检测方法,包括以下步骤:
1)构建网络模型,在两个数据集中分别抽取节点和边的关系,构建网络A和网络B,利 用A网络中能够观测到的异常数据构建异常特征集合p,网络B中的节点或边的非异常特征 集合q,抽取两个网络节点集合之间的变关系,构建初始网络对齐关系矩阵H。
2)根据网络A和网络B的子图对齐函数,查找最优对齐矩阵M
3)在网络A中,根据不同异常水平α和异常子图中包含的正常节点数K,查找使得子图 NPGS函数Fα(S1)的函数值最大的异常子图S1。
4)根据更新后的M和S1计算最优的网络B的异常子图S2。
5)反复更新迭代,直至优化结果收敛至最优异常子图S2。
表格1数据集描述表
算法的对比评测结果如下表所示:
表格2本发明的算法性能评测对比分析表
本算法实施在Weibo数据集(Weibo)和Baidu迁徙数据集&Covid-19数据集(B&C),数据集明细表如上所示。
Claims (2)
1.一种多网络基于异常对齐模型的异常子图检测方法,其特征在于:包括如下步骤
1)异常对齐模型的构建:
定义两个属性网络G1=(V1,E1,p)和G2=(V2,E2,q),V1,V2是节点集合,E1,E2是边集合,p表示异常特征集合,q表示非异常属性特征集合,M∈[0,1]m×n表示两个网络节点集之间的边关系,M(vi,vj)>0表示节点vi和vj之间的边,vi∈V1,vj∈V2;
异常对齐模型的目标函数定义如下:
Q(S1,S2,M)=ICS(S1,S2,M)+FT(S1,S2,M), (3)
2)优化异常对齐模型的目标函数:
当S1,M为固定不变,则异常对齐模型的向量矩阵形式可以简化为:
Subject to.Ms1-s2=0
则简化模型在t时刻的优化步骤为:
3)求解异常对齐模型,得到目标网络中异常子图,从而完成异常检测目标:
提出了异常子图检测算法,所有变量均以向量形式或矩阵形式表示;
异常子图检测算法如下,所有变量均以向量形式或矩阵形式表示:
(6)迭代循环的结束条件为:i时刻和i-1时刻的目标函数值之差小于规定值ξ,ξ≤0.001。
2.根据权利要求1所述的一种多网络基于异常对齐模型的异常子图检测方法,其特征在于:Q(S1,S2,M)是子图对齐函数,异常对齐模型的目标函数(1)满足如下三个属性:
1)、函数Fα(S1)是单调递增函数,随着S1中的异常节点个数增加而增加;
2)、函数Fα(S1)是单调递减函数,随着S1中的正常节点个数减少而减少;
3)、函数Q是单调递增函数,随着S1和S2中的对齐的节点对数增加而增加。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011292399.7A CN112650968B (zh) | 2020-11-18 | 2020-11-18 | 一种多网络基于异常对齐模型的异常子图检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011292399.7A CN112650968B (zh) | 2020-11-18 | 2020-11-18 | 一种多网络基于异常对齐模型的异常子图检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112650968A CN112650968A (zh) | 2021-04-13 |
CN112650968B true CN112650968B (zh) | 2022-07-12 |
Family
ID=75349988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011292399.7A Active CN112650968B (zh) | 2020-11-18 | 2020-11-18 | 一种多网络基于异常对齐模型的异常子图检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112650968B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114401136B (zh) * | 2022-01-14 | 2023-05-05 | 天津大学 | 一种针对多个属性网络的快速异常检测方法 |
CN114884688B (zh) * | 2022-03-28 | 2023-07-04 | 天津大学 | 一种跨多属性网络的联邦异常检测方法 |
CN114760113B (zh) * | 2022-03-30 | 2024-02-23 | 深信服科技股份有限公司 | 一种异常告警检测方法、装置及电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104935570A (zh) * | 2015-04-22 | 2015-09-23 | 电子科技大学 | 基于网络流连接图的网络流连接行为特征分析方法 |
CN108540327A (zh) * | 2018-04-19 | 2018-09-14 | 中国人民解放军战略支援部队信息工程大学 | 一种动态网络异常链接行为检测方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101895420B (zh) * | 2010-07-12 | 2012-05-30 | 西北工业大学 | 快速网络流量异常检测方法 |
CN105989597B (zh) * | 2015-02-13 | 2020-05-12 | 中国科学院西安光学精密机械研究所 | 基于像素选择过程的高光谱图像异常目标检测方法 |
CN107707417B (zh) * | 2017-11-29 | 2020-08-07 | 桂林电子科技大学 | 基于子图处理的无线传感器网络异常节点检测与定位方法 |
US11216743B2 (en) * | 2018-08-14 | 2022-01-04 | International Business Machines Corporation | Learning sparsity-constrained gaussian graphical models in anomaly detection |
CN110910235A (zh) * | 2019-10-23 | 2020-03-24 | 华融融通(北京)科技有限公司 | 一种基于用户关系网络的贷中异常行为检测方法 |
CN111126437B (zh) * | 2019-11-22 | 2023-05-02 | 中国人民解放军战略支援部队信息工程大学 | 基于加权动态网络表示学习的异常群体检测方法 |
CN111209317A (zh) * | 2020-01-15 | 2020-05-29 | 同济大学 | 一种知识图谱异常社区检测方法及装置 |
CN111291229B (zh) * | 2020-01-21 | 2023-10-31 | 中国科学院计算技术研究所 | 一种稠密多部子图的检测方法及系统 |
-
2020
- 2020-11-18 CN CN202011292399.7A patent/CN112650968B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104935570A (zh) * | 2015-04-22 | 2015-09-23 | 电子科技大学 | 基于网络流连接图的网络流连接行为特征分析方法 |
CN108540327A (zh) * | 2018-04-19 | 2018-09-14 | 中国人民解放军战略支援部队信息工程大学 | 一种动态网络异常链接行为检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112650968A (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112650968B (zh) | 一种多网络基于异常对齐模型的异常子图检测方法 | |
Salehi et al. | A Survey on Anomaly detection in Evolving Data: [with Application to Forest Fire Risk Prediction] | |
WO2022205833A1 (zh) | 无线网络协议知识图谱构建分析方法、系统、设备及介质 | |
CN110738647B (zh) | 融合多感受野特征映射与高斯概率模型的老鼠检测方法 | |
CN113821793B (zh) | 基于图卷积神经网络的多阶段攻击场景构建方法及系统 | |
CN102156756A (zh) | 一种基于图嵌入的在道路网络中查找最优路径的方法 | |
CN110334285B (zh) | 一种基于结构平衡约束的符号网络社区发现方法 | |
CN114221790A (zh) | 一种基于图注意力网络的bgp异常检测方法及系统 | |
CN111275132A (zh) | 一种基于sa-pfcm++算法的目标分群方法 | |
CN105139031A (zh) | 一种基于子空间聚类的数据处理方法 | |
CN112464107B (zh) | 一种基于多标签传播的社交网络重叠社区发现方法及装置 | |
CN111460026B (zh) | 基于直觉模糊时间序列图挖掘的网络流量异常检测方法 | |
CN113297429A (zh) | 一种基于神经网络架构搜索的社交网络链路预测方法 | |
CN110011847B (zh) | 一种传感云环境下的数据源质量评估方法 | |
CN103164487B (zh) | 一种基于密度与几何信息的数据聚类方法 | |
CN110889493A (zh) | 针对关系网络添加扰动的方法及装置 | |
WO2022151579A1 (zh) | 边缘计算场景下后门攻击主动防御方法及装置 | |
CN116720975A (zh) | 基于结构相似的局部社区发现方法及系统 | |
CN113487858B (zh) | 一种面向路网数据的异常轨迹检测方法 | |
CN112948502B (zh) | 多来源传输数据分类存储方法、装置、设备及存储介质 | |
CN114519605A (zh) | 广告点击欺诈检测方法、系统、服务器和存储介质 | |
CN115238773A (zh) | 异质图元路径自动评估的恶意账号检测方法及装置 | |
CN109063721A (zh) | 一种行为特征数据提取的方法及装置 | |
Naldi et al. | A traffic-based evolutionary algorithm for network clustering | |
CN115175192A (zh) | 一种基于图神经网络的车联网入侵检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |