CN108540327B - 一种动态网络异常链接行为检测方法及系统 - Google Patents

一种动态网络异常链接行为检测方法及系统 Download PDF

Info

Publication number
CN108540327B
CN108540327B CN201810355450.0A CN201810355450A CN108540327B CN 108540327 B CN108540327 B CN 108540327B CN 201810355450 A CN201810355450 A CN 201810355450A CN 108540327 B CN108540327 B CN 108540327B
Authority
CN
China
Prior art keywords
network
history
nodes
time slice
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810355450.0A
Other languages
English (en)
Other versions
CN108540327A (zh
Inventor
刘琰
孙通
刘楝
罗向阳
南煜
陶致远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN201810355450.0A priority Critical patent/CN108540327B/zh
Publication of CN108540327A publication Critical patent/CN108540327A/zh
Application granted granted Critical
Publication of CN108540327B publication Critical patent/CN108540327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种动态网络异常链接行为检测方法及系统。该方法包括:根据前T个时间片网络{G1,G2,…,GT‑1,GT},确定当前时间片网络GT+1的历史网络Ghistory;利用网络表示学习方法对所述历史网络Ghistory进行网络表示学习,确定新的历史网络G'history;根据所述新的历史网络G'history中网络节点对(i,j)之间的距离dij,确定所述网络节点对(i,j)之间的相近度adj(i,j);若判断获知所述相近度adj(i,j)小于预设异常判定阈值,确定当前时间片网络GT+1中节点对(i,j)之间的链接link(i,j)是异常链接行为。该系统包括历史网络构建模块、网络表示学习模块、相近度确定模块和异常链接判断模块。本发明可得到节点间相近程度,进而根据节点间相近度可以更准确地识别动态网络的异常链接行为。

Description

一种动态网络异常链接行为检测方法及系统
技术领域
本发明涉及动态网络技术领域,尤其涉及一种动态网络异常链接行为检测方法及系统。
背景技术
动态网络在演化的过程中随时会有节点间的链接行为发生,异常链接行为检测的目的是在众多网络链接中识别哪些链接行为是异常的。异常链接行为往往是导致网络异常变化的直接或间接原因,如电力网络中某些链接的短路可能导致整个电网的故障,互联网中一台主机访问恶意网站可能会感染网络病毒并在相邻的主机间扩散造成更大规模的破坏。因此对异常链接的识别是非常有必要的。
现有的网络异常链接检测技术大多仅通过历史链接次数来评价节点间的关系,对网络中节点间更进一步的隐含关系考虑不足,异常链接识别结果不具有较强的说服性。
发明内容
本发明提供一种动态网络异常链接行为检测方法及系统,通过对原始网络进行抽象表达,可得到节点间相近程度,进而可以更准确地识别动态网络的异常链接行为。
一方面,本发明提供一种动态网络异常链接行为检测方法,该方法包括:
步骤1、根据前T个时间片网络{G1,G2,…,GT-1,GT},确定当前时间片网络 GT+1的历史网络Ghistory,T为正整数;
步骤2、利用网络表示学习方法对所述历史网络Ghistory进行网络表示学习,确定新的历史网络G'history
步骤3、根据所述新的历史网络G'history中网络节点对(i,j)之间的距离dij,确定所述网络节点对(i,j)之间的相近度adj(i,j),i和j为正整数;
步骤4、若判断获知所述相近度adj(i,j)小于预设异常判定阈值,确定当前时间片网络GT+1中节点对(i,j)之间的链接link(i,j)是异常链接行为。
进一步地,所述步骤1具体为:
步骤11、将所述前T个时间片网络{G1,G2,…,GT-1,GT}中的时间片网络Gt以t 为权重生成加权网络{G1',G2',…,GT-1',GT'};
步骤12、将所述加权网络{G1',G2',…,GT-1',GT'}按权重相加组成当前时间片网络GT+1的历史网络Ghistory(Vhistory,Ehistory),其中1≤t≤T,t为整数,Vhistory为历史网络Ghistory的节点集合,Ehistory为历史网络Ghistory的边集合。
进一步地,所述步骤2具体为:
步骤21、在所述历史网络中利用随机游走生成器随机选取网络节点v,生成每个网络节点v的第p个随机游走序列
Figure BDA0001634584910000023
每个网络节点v包括γ个随机游走序列,每个随机游走序列的序列长度为m,1≤p≤γ,m和γ为预设整数值;
步骤22、初始化网络节点v的初始向量表示Φ(v0)和窗口宽度w;
步骤23、根据所述初始向量表示Φ(v0)和所述随机游走序列
Figure BDA0001634584910000024
利用 skipgram模型对窗口宽度w内的Φ(vp±w)进行更新,并在所述窗口宽度内确定网络节点v的最优向量表示Φ(v)。
进一步地,所述步骤3具体为:
步骤31、计算新的历史网络G'history中网络节点对(i,j)在d维空间中的欧氏距离dij
步骤32、根据所述欧氏距离dij按照下式
Figure BDA0001634584910000021
确定所述网络节点对(i,j)之间的相近度adj(i,j),其中
Figure BDA0001634584910000022
为所有网络节点对之间距离的平均值。
另一方面,本发明提供一种动态网络异常链接行为检测系统,该系统包括:
历史网络构建模块,根据前T个时间片网络{G1,G2,…,GT-1,GT},确定当前时间片网络GT+1的历史网络Ghistory,T为正整数;
网络表示学习模块,利用网络表示学习方法对所述历史网络Ghistory进行网络表示学习,确定新的历史网络G'history
相近度确定模块,根据所述新的历史网络G'history中网络节点对(i,j)之间的距离dij,确定所述网络节点对(i,j)之间的相近度adj(i,j),i和j为正整数;
异常链接判断模块,若判断获知所述相近度adj(i,j)小于预设异常判定阈值,确定当前时间片网络GT+1中节点对(i,j)之间的链接link(i,j)是异常链接行为。
进一步地,所述历史网络构建模块具体包括:加权子模块,将所述前T 个时间片网络{G1,G2,…,GT-1,GT}中的时间片网络Gt以t为权重生成加权网络 {G1',G2',…,GT-1',GT'};
构建子模块,将所述加权网络{G1',G2',…,GT-1',GT'}按权重相加组成当前时间片网络GT+1的历史网络Ghistory(Vhistory,Ehistory),其中1≤t≤T,t为整数,Vhistory为历史网络Ghistory的节点集合,Ehistory为历史网络Ghistory的边集合。
进一步地,所述网络表示学习模块具体包括:
随机游走序列生成子模块,在所述历史网络中利用随机游走生成器随机选取网络节点v,生成每个网络节点v的第p个随机游走序列
Figure BDA0001634584910000031
每个网络节点v包括γ个随机游走序列,每个随机游走序列的序列长度为m,1≤p≤γ,m和γ为预设整数值;
初始化子模块,初始化网络节点v的初始向量表示Φ(v0)和窗口宽度w;
节点向量化表示子模块,根据所述初始向量表示Φ(v0)和所述随机游走序列
Figure BDA0001634584910000041
利用skipgram模型对窗口宽度w内的Φ(vp±w)进行更新,并在所述窗口宽度内确定网络节点v的最优向量表示Φ(v)。
进一步地,所述相近度确定模块具体包括:
距离计算子模块,计算新的历史网络G'history中网络节点对(i,j)在d维空间中的欧氏距离dij
相近度确定子模块,根据所述欧氏距离dij按照下式
Figure BDA0001634584910000042
确定所述网络节点对(i,j)之间的相近度adj(i,j),其中
Figure BDA0001634584910000043
为所有网络节点对之间距离的平均值。
本发明的有益效果:
本发明提供的动态网络异常链接行为检测方法及系统,通过利用历史链接记录进行网络建模得到历史网络,然后利用网络表示学习方法对该网络进行网络表示学习,最后在经过网络表示学习后的历史网络上计算任意两个网络节点的相近程度,从而根据所述相近程度对当前时刻网络的链接行为进行异常检测。与传统检测方法相比,本发明考虑了节点间更多深层的结构关系,弥补了传统方法对网络节点间关系考虑不足的缺点,可以更准确地识别动态网络的异常链接行为。
附图说明
图1为本发明实施例提供的动态网络异常链接行为检测方法的流程示意图;
图2为本发明又一实施例提供的动态网络异常链接行为检测方法的流程示意图;
图3为本发明实施例提供的邮件记录的示意图;
图4为本发明实施例提供的异常链接比例随时间的变化折线图;
图5为本发明实施例提供的动态网络异常链接行为检测系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面对本发明实施例出现的专业术语作相关解释说明。
动态网络:与静态网络不同,动态网络随时间不断变化,表现为网络图中节点以及节点之间的边随时间推移出现或消失。一个包含n个时间片的动态网络表示为G={G1,G2,…,Gt,Gt+1,…,Gn}。其中,第t个时间片网络Gt=(Vt,Et), Vt为网络中节点集合,Et为边集合,表示节点之间的关系;当网络为加权网络时Gt=(Vt,Et,Wt),Wt为边权重集合。
网络异常链接:网络中发生链接概率很低的两个节点在某一时刻发生了链接,这样的链接行为称为网络异常链接。
网络表示学习:给定一个网络G=(V,E),网络表示学习的目的是学习一个映射函数f将网络中每一个节点映射到一个低维向量中:vi→yi∈Rd, d<<|V|。算法最终得到网络节点低维稠密的向量表示,这种表示形式在处理大规模复杂网络时非常有效。
图1为本发明实施例提供的动态网络异常链接行为检测方法的流程示意图。如图1所示,该方法包括以下步骤:
S101、根据前T个时间片网络{G1,G2,…,GT-1,GT},确定当前时间片网络 GT+1的历史网络Ghistory,T为正整数;
具体地,本发明实施例采用时间片划分的方法构建动态网络,以一个时间片为基本时间单位。假设历史数据包含T个时间片网络,对于更早的链接记录认为对当前时间段的链接已不会产生影响。用这T个时间片网络里的所有链接构建历史网络,检测T+1时间片网络中链接行为的异常性。距离当前时间越近的链接记录对当前时间段节点间链接影响越大,记当前时间片网络GT+1的前 T个时间片网络为{G1,G2,…,GT-1,GT}。
S102、利用网络表示学习方法对所述历史网络Ghistory进行网络表示学习,确定新的历史网络G'history
具体地,利用Deepwalk方法对得到的历史网络Ghistory进行网络表示学习,经过网络表示学习后的历史网络记为G'history
S103、根据所述新的历史网络G'history中网络节点对(i,j)之间的距离dij,确定所述网络节点对(i,j)之间的相近度adj(i,j),i和j为正整数;
具体地,G'history中网络节点间的距离体现了网络节点的相近度:距离越近的网络节点,相近度越高;距离越远的网络节点,相近度越低。
S104、若判断获知所述相近度adj(i,j)小于预设异常判定阈值,确定当前时间片网络GT+1中节点对(i,j)之间的链接link(i,j)是异常链接行为。
具体地,通过上面对节点相近度的计算,可得到历史网络G'history中任意两个节点的相近度。图2为本发明又一实施例提供的动态网络异常链接行为检测方法的流程示意图。如图2所示,预先设置一个异常判定阈值k,当相近度小于k的两个网络节点在当前时间段发生链接时,则认为该链接行为link(i,j)是异常的。此外如果当前的时间片网络中发生链接的两个网络节点不全在历史网络中,我们也认为该链接link(i,j)是异常的。
根据链接预测原理,在链接预测任务中,一般认为链接可能性高的节点在未来会发生链接关系。本发明提供的动态网络异常链接行为检测方法正是依据上述链接预测原理认为链接可能性低的节点在未来一般不会发生链接关系。因此要进行动态网络异常链接行为检测需要知道当前网络中各个节点可能存在链接的概率。网络表示学习能够较好的描述网络中节点的相近度,节点相近度表示节点间关系的紧密程度,关系越紧密的节点相近度越高,例如社团中节点与社团内部节点之间的相近程度大于与社团外部节点的相近程度。节点的相近度可以作为衡量节点间存在链接概率大小的标准,相近度越高的节点存在链接的概率越大,反之相反。链接概率确定后,低于预设阈值的低概率链接行为认为是异常的链接行为。本发明考虑了节点间更多的结构关系,弥补了传统方法对网络节点间关系考虑不足的缺点,可以更准确地识别动态网络的异常链接行为。
在上述实施例的基础上,该方法中的S101具体为:将所述前T个时间片网络{G1,G2,…,GT-1,GT}中的时间片网络Gt以t为权重生成加权网络 {G1',G2',…,GT-1',GT'};将所述加权网络{G1',G2',…,GT-1',GT'}按权重相加组成当前时间片网络GT+1的历史网络Ghistory(Vhistory,Ehistory),其中1≤t≤T,t为整数,Vhistory为历史网络Ghistory的节点集合,Ehistory为历史网络Ghistory的边集合。
具体地,由于距离当前时间越近的链接记录对当前时间段节点间链接影响越大,为了体现这种特性,本发明实施例采用线性递增的方式建模历史网络。记当前时间片网络GT+1的前T个时间片网络为{G1,G2,…,GT-1,GT},对所有的Gt, 1≤t≤T,将Gt中的每条边以t为权重加入历史网络,即G1中每条边权重为1, G2中每条边权重为2,以此类推,GT中每条边权重为T。所有的T个时间片网络按照时间顺序加入完毕后得到的历史网络记为Ghistory(Vhistory,Ehistory),Vhistory为节点集合,Ehistory为带权重的边集合。
在上述各实施例的基础上,该方法中的步骤S102具体为:在所述历史网络中利用随机游走生成器随机选取网络节点v,生成每个网络节点v的第p个随机游走序列
Figure BDA0001634584910000071
每个网络节点v包括γ个随机游走序列,每个随机游走序列的序列长度为m,1≤p≤γ,m和γ为预设整数值;
初始化网络节点v的初始向量表示Φ(v0)和窗口宽度w;
根据所述初始向量表示Φ(v0)和所述随机游走序列
Figure BDA0001634584910000072
利用skipgram模型对窗口宽度w内的Φ(vp±w)进行更新,并在所述窗口宽度内确定网络节点v 的最优向量表示Φ(v)。
具体地,本发明实施例采用Deepwalk方法对历史网络进行网络表示学习。Deepwalk是一种基于随机游走策略的网络表示学习方法。通过解决如下优化问题:
Figure BDA0001634584910000073
找到网络节点v的一个最优的向量表达式Φ:v→R|V|×d,其中Φ是一个映射函数Φ:v→R|V|×d,Pr表示概率,V为节点集合Vhistory中的节点个数。它将每个网络节点v表示成一个d维向量,w为窗口大小。通过优化即可使得该网络节点v和其距离在w内的路径上的所有节点共现概率最大。
Deepwalk方法流程如算法1所示,包含两个主要部分:随机游走生成器和更新过程(SkipGram)。随机游走生成器随机均匀地选取网络节点v,并生成固定长度的随机游走序列。每个网络节点v生成长度为m的γ个随机游走序列。 SkipGram模型则可以最大化出现在窗口w中的网络节点之间的共现概率。上一步路径生成完毕后将其作为skipgram模型的输入,每执行一次SkipGram对映射函数Φ进行一次更新,最终得到每个节点的向量表示Φ(v)。
Figure BDA0001634584910000081
在上述各实施例的基础上,该方法中的步骤S 103具体为:
计算新的历史网络G'history中网络节点对(i,j)在d维空间中的欧氏距离dij
根据所述欧氏距离dij按照下式
Figure BDA0001634584910000082
确定所述网络节点对(i,j)之间的相近度adj(i,j),其中
Figure BDA0001634584910000091
为所有网络节点对之间距离的平均值。
具体地,网络节点i,j的距离dij的计算方法是计算这两个网络节点在d 维空间中的欧氏距离,d为经过网络表示学习后的网络节点空间的维度。本发明实施例以新的历史网络G'history中所有网络节点对之间距离的平均值
Figure BDA0001634584910000092
为基准,网络节点i,j之间的相近度定义为
Figure BDA0001634584910000093
随着时间推移,新的时间片网络加入历史网络Ghistory,而历史网络Ghistory中最早的时间片网络被抛弃掉,然后再次对历史网络Ghistory进行网络表示学习,从而实现网络节点间的相近度的自动更新。
动态网络异常链接行为检测算法伪代码如算法2所示。
Figure BDA0001634584910000094
Figure BDA0001634584910000101
下面通过具体实施例来说明本发明的有益效果。
本发明实施例采用安然(Enron)邮件数据集构建邮件网络进行动态网络趋势性异常变化检测。安然邮件数据集是安然公司(原是世界上最大的综合性天然气和电力公司之一,在北美地区是头号天然气和电力批发销售商)150名高层管理人员的来往邮件,已被美国联邦能源监管委员会公开,目前可在线获取。在邮件记录中我们发现邮件接收方数量远大于邮件发送方数量,因为安然公司成员不仅之间相互通信,还存在大量的与公司外人员的通信。在异常链接行为检测任务中,本发明实施例仅考虑接收方邮箱地址在发送方邮箱地址集合中的通信记录,即公司内部的通信记录。
数据预处理:提取邮件记录中发送方和接受方的地址以及发送时间,用于构建邮件网络。图3为本发明实施例提供的邮件记录的示意图。如图3所示, Date字段为发送日期,From字段为发送方地址,To字段为接收方地址。以一个自然月为单位对安然邮件数据集进行划分,构建动态邮件网络。数据范围为 2000/1/1至2001/12/31,一共24个月的数据,经过划分得到24个时间片网络。历史数据段时间长度设置为6个月(6个时间片)。
为了检测当前一个月的时间片网络Gt中的异常链接,我们将该月的前6 个月的链接数据作为历史数据用于异常链接检测的参照,按时间早晚的顺序,历史数据表示为{Gt-6,Gt-5,…,Gt-1}。时间上离当前网络越近的链接行为对当前网络的链接影响越大,因此我们按线性递增的方式设置历史数据中每个时间片网络的权重,权重设置如表1所示。将Gt-6,Gt-5,…,Gt-1中的所有节点和边组合在一起构成历史网络Ghistory,再对其进行网络表示学习得到G'history。然后就可以按照我们在前面给出的异常链接检测方法检测Gt中所有链接的异常性,首先用2000 年1月至2000年6月6个时间片网络构建历史网络,2000年7月至2000年12月6个时间片网络为训练数据,用于确定检测阈值,2001年1月至2001年12 月12个时间片网络为测试数据,检测每个月对应时间片网络中的异常链接。
本发明实施例采用另外三个现有方法作为本发明检测方法(以下简称 LDNE方法)的对比实验。
1.LC(Link Count):仅考虑历史链接次数来进行动态网络异常链接检测,即如果在历史记录中没有发生过链接的两个节点在当前时间片网络中发生了链接,则认为该链接是异常的。
2.共同邻居算法CN(Common Neighbors):以共同邻居作为节点相似度衡量标准进行动态网络异常链接检测。该方法的前提是拥有公共邻居越多的两个节点相似度越高,相似度越高的节点存在链接关系的可能性越大,反之相反。因此,若相似程度很低的两个节点发生链接,则认为该链接为异常链接。
3.局部路径算法LP(Local Path):仅考虑节点与其直接相连的邻居节点和间接邻居节点构成的路径,通过局部路径来计算节点的相似度,异常链接判别方法与CN相同。
表1历史链接权重设置
Figure BDA0001634584910000111
表2为2001年12个月每个月对应的时间片网络中的链接数量,检测出的异常链接数量,以及异常链接占总链接数量的比例。本发明实施例中阈值k 是一个比例型的阈值,在训练数据中阈值k将网络中m%的链接判定为正常链接,剩余1-m%的链接判定为异常链接。本发明提供的检测方法中,GT+1中异常链接比例计算公式为
Figure BDA0001634584910000112
其中I为指示函数,当adj(i,j)<k成立时I取1,反之取0。
图4为本发明实施例提供的异常链接比例随时间的变化折线图。CN,LP 方法中阈值的设定思想与LDNE相同,m%设置为90%。
表2异常链接检测结果
Figure BDA0001634584910000121
由表2和图4可知,LC方法的检测结果中异常链接比例最高的月份为4, 6,7月,达到了0.31,最低的月份为3月和12月,比例为0.27,最高值与最低值相差0.04。其余月份间的异常链接比例差别也比较小,在整个过程中曲线变化较为平稳。
LDNE方法的检测结果中异常链接比例最高的月份为7月份,比例为0.21,最低的月份为1月和3月,比例为0.09,最高值与最低值相差0.12。从6月份开始异常链接比例有较明显的增大,7,8月份为比例最高的两个月,而后异常链接比例开始下降。
CN与LP方法检测到的异常链接比例变化趋势与LDNE方法基本一致,但在6,7,8三个月的变化幅度比LDNE小。
现实情况是安然公司从2001下半年开始迅速衰落,本发明提供的检测方法LDNE检测到的异常链接比例在6,7,8三个月有明显增加,与实际情况相符,对比方法LC没有检测出显著的变化,CN与LP方法的检测效果没有LDNE 明显。本发明提供的检测方法利用更深层的随机游走,获取了网络节点间更多隐含的结构关系,所以得到的检测结果也更符合预期。
本发明提供的检测方法检测到的7月份最显著的10个异常链接如表3所示,如果当前时间片网络中发生链接的节点不在历史网络的节点集合中(仅一个不在或两个都不在),则将该链接两个节点的相近度设置为0。由于缺乏可信的证据这里不再对它们是否造成了网络异常进行更深入的分析。
表3最显著的10个异常链接
Figure BDA0001634584910000131
通过上述实施例可以看出,本发明通过对链接权重采用线性递增的方式构造历史网络,对历史网络进行网络表示学习,然后计算历史网络节点间的相近度用于表示节点间可能存在链接概率的大小。与传统方法相比,本发明考虑了更多节点间的潜在关系,在真实数据集安然邮件数据集上进行的实验中,本发明提供的方法对异常链接的检测结果优于传统方法。
图5为本发明实施例提供的动态网络异常链接行为检测系统的结构示意图。如图所示,该系统包括:历史网络构建模块501、网络表示学习模块502、相近度确定模块503及异常链接判断模块504。其中,
历史网络构建模块501根据前T个时间片网络{G1,G2,…,GT-1,GT},确定当前时间片网络GT+1的历史网络Ghistory,T为正整数;网络表示学习模块502 根据网络表示学习方法对所述历史网络Ghistory进行网络表示学习,确定新的历史网络G'history;相近度确定模块503根据所述新的历史网络G'history中网络节点对 (i,j)之间的距离dij,确定所述网络节点对(i,j)之间的相近度adj(i,j),i和j为正整数;异常链接判断模块504若判断获知所述相近度adj(i,j)小于预设异常判定阈值,确定当前时间片网络GT+1中节点对(i,j)之间的链接link(i,j)是异常链接行为。需要说明的是本发明实施例提供的动态网络异常链接行为检测系统是为了实现上述方法实施例的,其功能具体可参考上述方法实施例,此处不再赘述。
在上述实施例的基础上,该系统中的历史网络构建模块具体包括:加权子模块和构建子模块。其中,
加权子模块将所述前T个时间片网络{G1,G2,…,GT-1,GT}中的时间片网络 Gt以t为权重生成加权网络{G1',G2',…,GT-1',GT'};构建子模块,将所述加权网络{G1',G2',…,GT-1',GT'}按权重相加组成当前时间片网络GT+1的历史网络 Ghistory(Vhistory,Ehistory),其中1≤t≤T,t为整数,Vhistory为历史网络Ghistory的节点集合,Ehistory为历史网络Ghistory的边集合。需要说明的是本发明实施例提供的动态网络异常链接行为检测系统是为了实现上述方法实施例的,其功能具体可参考上述方法实施例,此处不再赘述。
在上述各实施例的基础上,该系统中的网络表示学习模块具体包括:随机游走序列生成子模块、初始化子模块和节点向量化表示子模块。其中,
随机游走序列生成子模块在所述历史网络中利用随机游走生成器随机选取网络节点v,生成每个网络节点v的第p个随机游走序列
Figure BDA0001634584910000141
每个网络节点v包括γ个随机游走序列,每个随机游走序列的序列长度为m,1≤p≤γ,m和γ为预设整数值;初始化子模块,初始化网络节点v的初始向量表示Φ(v0)和窗口宽度 w;节点向量化表示子模块,根据所述初始向量表示Φ(v0)和所述随机游走序列
Figure BDA0001634584910000142
利用skipgram模型对窗口宽度w内的Φ(vp±w)进行更新,并在所述窗口宽度内确定网络节点v的最优向量表示Φ(v);其中,Φ(v0)∈R|V|×d,V为节点集合Vhistory中的节点个数,d为预设向量维度,每个网络节点v包括γ个随机游走序列,每个随机游走序列的序列长度为m,1≤p≤γ,m和γ为预设整数值。需要说明的是本发明实施例提供的动态网络异常链接行为检测系统是为了实现上述方法实施例的,其功能具体可参考上述方法实施例,此处不再赘述。
在上述各实施例的基础上,该系统中的相近度确定模块具体包括:距离计算子模块和相近度确定子模块。其中,距离计算子模块,计算新的历史网络G'history中网络节点对(i,j)在d维空间中的欧氏距离dij;近度确定子模块,根据所述欧氏距离dij按照下式
Figure BDA0001634584910000151
确定所述网络节点对(i,j)之间的相近度adj(i,j),其中
Figure BDA0001634584910000152
为所有网络节点对之间距离的平均值。需要说明的是本发明实施例提供的动态网络异常链接行为检测系统是为了实现上述方法实施例的,其功能具体可参考上述方法实施例,此处不再赘述。
由上述内容可知,本发明提供的动态网络异常链接行为检测方法及系统中的时间开销主要为网络表示学习的计算与经过网络表示学习后的网络图中任意两点距离的计算,本发明算法的复杂度可以表示为O(VEdl+dV2)。V为历史网络节点数量,E为历史网络边数量,d为网络表示学习后节点向量的维度,l 为迭代次数。式中前半部分为对历史网络进行网络表示学习的复杂度,后半部分为历史网络中任意两点的距离计算的复杂度。通过复杂度分析,可以从另一方面看到本发明的算法相对于传统算法比较简单。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种动态网络异常链接行为检测方法,其特征在于,包括:
步骤1、根据前T个时间片网络{G1,G2,…,GT-1,GT},确定当前时间片网络GT+1的历史网络Ghistory,T为正整数;具体为:
步骤11、将所述前T个时间片网络{G1,G2,…,GT-1,GT}中的时间片网络Gt以t为权重生成加权网络{G1',G2',…,GT-1',GT'};
步骤12、将所述加权网络{G1',G2',…,GT-1',GT'}按权重相加组成当前时间片网络GT+1的历史网络Ghistory(Vhistory,Ehistory),其中1≤t≤T,t为整数,Vhistory为历史网络Ghistory的节点集合,Ehistory为历史网络Ghistory的边集合;
步骤2、利用网络表示学习方法对所述历史网络Ghistory进行网络表示学习,确定新的历史网络G'history
步骤3、根据所述新的历史网络G'history中网络节点对(i,j)之间的距离dij,确定所述网络节点对(i,j)之间的相近度adj(i,j),i和j为正整数;具体为:
步骤31、计算新的历史网络G'history中网络节点对(i,j)在d维空间中的欧氏距离dij
步骤32、根据所述欧氏距离dij按照下式
Figure FDA0002866974930000011
确定所述网络节点对(i,j)之间的相近度adj(i,j),其中
Figure FDA0002866974930000012
为所有网络节点对之间距离的平均值;
步骤4、若判断获知所述相近度adj(i,j)小于预设异常判定阈值,确定当前时间片网络GT+1中节点对(i,j)之间的链接link(i,j)是异常链接行为。
2.根据权利要求1所述的方法,其特征在于,所述步骤2具体为:
步骤21、在所述历史网络Ghistory中利用随机游走生成器随机选取网络节点v,生成每个网络节点v的第p个随机游走序列
Figure FDA0002866974930000021
每个网络节点v包括γ个随机游走序列,每个随机游走序列的序列长度为m,1≤p≤γ,m和γ为预设整数值;
步骤22、初始化网络节点v的初始向量表示Φ(v0)和窗口宽度w;
步骤23、根据所述初始向量表示Φ(v0)和所述随机游走序列
Figure FDA0002866974930000022
利用skipgram模型对窗口宽度w内的Φ(vp±w)进行更新,并在所述窗口宽度内确定网络节点v的最优向量表示Φ(v)。
3.一种动态网络异常链接行为检测系统,其特征在于,包括:
历史网络构建模块,根据前T个时间片网络{G1,G2,…,GT-1,GT},确定当前时间片网络GT+1的历史网络Ghistory,T为正整数;具体包括:
加权子模块,将所述前T个时间片网络{G1,G2,…,GT-1,GT}中的时间片网络Gt以t为权重生成加权网络{G1',G2',…,GT-1',GT'};
构建子模块,将所述加权网络{G1',G2',…,GT-1',GT'}按权重相加组成当前时间片网络GT+1的历史网络Ghistory(Vhistory,Ehistory),其中1≤t≤T,t为整数,Vhistory为历史网络Ghistory的节点集合,Ehistory为历史网络Ghistory的边集合;
网络表示学习模块,利用网络表示学习方法对所述历史网络Ghistory进行网络表示学习,确定新的历史网络G'history
相近度确定模块,根据所述新的历史网络G'history中网络节点对(i,j)之间的距离dij,确定所述网络节点对(i,j)之间的相近度adj(i,j),i和j为正整数;具体包括:
距离计算子模块,计算新的历史网络G'history中网络节点对(i,j)在d维空间中的欧氏距离dij
相近度确定子模块,根据所述欧氏距离dij按照下式
Figure FDA0002866974930000031
确定所述网络节点对(i,j)之间的相近度adj(i,j),其中
Figure FDA0002866974930000032
为所有网络节点对之间距离的平均值;
异常链接判断模块,若判断获知所述相近度adj(i,j)小于预设异常判定阈值,确定当前时间片网络GT+1中节点对(i,j)之间的链接link(i,j)是异常链接行为。
4.根据权利要求3所述的系统,其特征在于,所述网络表示学习模块具体包括:
随机游走序列生成子模块,在所述历史网络中利用随机游走生成器随机选取网络节点v,生成每个网络节点v的第p个随机游走序列
Figure FDA0002866974930000033
每个网络节点v包括γ个随机游走序列,每个随机游走序列的序列长度为m,1≤p≤γ,m和γ为预设整数值;
初始化子模块,初始化网络节点v的初始向量表示Φ(v0)和窗口宽度w;
节点向量化表示子模块,根据所述初始向量表示Φ(v0)和所述随机游走序列
Figure FDA0002866974930000034
利用skipgram模型对窗口宽度w内的Φ(vp±w)进行更新,并在所述窗口宽度内确定网络节点v的最优向量表示Φ(v)。
CN201810355450.0A 2018-04-19 2018-04-19 一种动态网络异常链接行为检测方法及系统 Active CN108540327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810355450.0A CN108540327B (zh) 2018-04-19 2018-04-19 一种动态网络异常链接行为检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810355450.0A CN108540327B (zh) 2018-04-19 2018-04-19 一种动态网络异常链接行为检测方法及系统

Publications (2)

Publication Number Publication Date
CN108540327A CN108540327A (zh) 2018-09-14
CN108540327B true CN108540327B (zh) 2021-05-28

Family

ID=63478733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810355450.0A Active CN108540327B (zh) 2018-04-19 2018-04-19 一种动态网络异常链接行为检测方法及系统

Country Status (1)

Country Link
CN (1) CN108540327B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113272774A (zh) * 2018-11-02 2021-08-17 思睿人工智能公司 用于全历史动态网络分析的系统和方法
CN110380888B (zh) * 2019-05-29 2021-02-23 华为技术有限公司 一种网络异常检测方法和装置
CN111126437B (zh) * 2019-11-22 2023-05-02 中国人民解放军战略支援部队信息工程大学 基于加权动态网络表示学习的异常群体检测方法
CN112650968B (zh) * 2020-11-18 2022-07-12 天津大学 一种多网络基于异常对齐模型的异常子图检测方法
CN113079168B (zh) * 2021-04-13 2023-02-21 网络通信与安全紫金山实验室 一种网络异常检测方法、装置及存储介质
CN115114488B (zh) * 2022-07-15 2024-03-26 中国西安卫星测控中心 基于角色发现的动态信息网络异常演化节点检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336865A (zh) * 2013-06-26 2013-10-02 中国科学院信息工程研究所 一种动态通信网络构建方法及装置
CN106933991A (zh) * 2017-02-24 2017-07-07 陈晶 一种面向智能终端的深度分析与用户画像系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337481A1 (en) * 2016-05-17 2017-11-23 Xerox Corporation Complex embeddings for simple link prediction
CN107451596B (zh) * 2016-05-30 2020-04-14 清华大学 一种网络节点分类方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336865A (zh) * 2013-06-26 2013-10-02 中国科学院信息工程研究所 一种动态通信网络构建方法及装置
CN106933991A (zh) * 2017-02-24 2017-07-07 陈晶 一种面向智能终端的深度分析与用户画像系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A dynamic network anomaly detection method based on trend analysis;Tong Sun等;《2017 3rd IEEE International Conference on Computer and Communications》;20180326;第405-411页 *
基于三阶路径的链路预测新指标;赵晓婧等;《晋中学院学报》;20170625;第34卷(第3期);第64-68页 *
网络表示学习综述;涂存超等;《中国科学:信息科学》;20170820;第47卷(第8期);第980-996页 *

Also Published As

Publication number Publication date
CN108540327A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108540327B (zh) 一种动态网络异常链接行为检测方法及系统
Ioannidis et al. Coupled graphs and tensor factorization for recommender systems and community detection
US11927609B2 (en) Condition monitoring via energy consumption audit in electrical devices and electrical waveform audit in power networks
JP2019061565A (ja) 異常診断方法および異常診断装置
CN108881250B (zh) 电力通信网络安全态势预测方法、装置、设备及存储介质
CN109905399B (zh) 一种基于自我网络结构演化的社交媒体个体异常用户检测方法
CN110705045B (zh) 一种利用网络拓扑特性构建加权网络的链路预测方法
Zhan et al. Anomaly detection in dynamic systems using weak estimators
CN109492076A (zh) 一种基于网络的社区问答网站答案可信评估方法
Tehrani et al. Online electricity theft detection framework for large-scale smart grid data
Na et al. Fake data injection attack detection in AMI system using a hybrid method
CN111241158B (zh) 一种飞行器遥测数据的异常检测方法和装置
CN116628554B (zh) 一种工业互联网数据异常的检测方法、系统和设备
CN117093928A (zh) 基于谱域图神经网络的自适应图节点异常检测方法
CN116545764A (zh) 一种工业互联网的异常数据检测方法、系统和设备
CN113079168B (zh) 一种网络异常检测方法、装置及存储介质
CN110086860A (zh) 一种物联网大数据环境下的数据异常检测方法及装置
CN114553517A (zh) 非线性加权的网络安全评估方法、装置、设备和存储介质
CN115238773A (zh) 异质图元路径自动评估的恶意账号检测方法及装置
CN116957770A (zh) 一种识别金融欺诈的方法及装置
CN113672932A (zh) 一种基于自适应熵值权重的电力物联网智能终端可信计算信任值获取方法
Ghaddar et al. Identifying mass-based local anomalies using binary space partitioning
Wang et al. Mbm-iot: Intelligent multi-baseline modeling of heterogeneous device behaviors against iot botnet
CN114787846A (zh) 用于评估商家声誉的方法和系统
JP7325557B2 (ja) 異常診断方法および異常診断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant