CN111709028A - 一种网络安全状态评估和攻击预测方法 - Google Patents

一种网络安全状态评估和攻击预测方法 Download PDF

Info

Publication number
CN111709028A
CN111709028A CN202010317082.8A CN202010317082A CN111709028A CN 111709028 A CN111709028 A CN 111709028A CN 202010317082 A CN202010317082 A CN 202010317082A CN 111709028 A CN111709028 A CN 111709028A
Authority
CN
China
Prior art keywords
attack
sequence
hmm
observation
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010317082.8A
Other languages
English (en)
Other versions
CN111709028B (zh
Inventor
詹孟奇
李杨
张棪
杨兴华
范雨琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN202010317082.8A priority Critical patent/CN111709028B/zh
Publication of CN111709028A publication Critical patent/CN111709028A/zh
Application granted granted Critical
Publication of CN111709028B publication Critical patent/CN111709028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577Assessing vulnerabilities and evaluating computer system security
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/554Detecting local intrusion or implementing counter-measures involving event detection and direct action

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种网络安全状态评估和攻击预测方法,其步骤包括:1)从设定观测周期内入侵检测系统IDS产生的警报中选择具有代表性的IDS警报,并将所选每一代表性IDS警报作为一攻击步骤;将属于同一类攻击的代表性IDS警报按照时间顺序排列,得到该类攻击的攻击步骤序列;2)分别从每类攻击的攻击步骤序列中提取攻击事件;3)利用从第m类攻击的攻击步骤序列中所提取的攻击事件生成训练序列训练马尔可夫模型HMM,保存每一训练后的HMM及对应的训练序列S;4)对于一观察序列,将该观察序列与各HMM对应的训练序列S进行匹配,选择最匹配的HMM;然后将该观察序列输入该最匹配的HMM,评估该观察序列对应的网络安全状态。

Description

一种网络安全状态评估和攻击预测方法
技术领域
本发明涉及一种基于半马尔科夫条件随机场的网络安全状态评估和攻击预测方法,属于计算机网络安全技术领域。
背景技术
多步攻击是一种目前常见的网络攻击形式,它由同一攻击者为达到特定目标而执行的一组相关恶意活动组成。由于攻击者攻击计算机系统和网络所使用的技术极其复杂,已经开发了许多技术,例如入侵检测系统(IDS)来检测攻击。随着网络的复杂性和规模的增长,IDS产生了大量的警报数据。一般而言,一个攻击阶段包括几个相关联的攻击事件。本发明可以分析这些海量的IDS警报数据,识别并提取有关攻击事件的信息,这样的信息可用于安全状态评估和攻击预测。这类技术使得管理员能够在网络受到威胁之前执行主动响应来做出反应。
这类技术都基于对历史数据进行学习。但是IDS生成的警报中存在大量无关信息和误报,这会影响安全状态评估和攻击预测的准确性。同时,细粒度的原始警报并不能完全反映攻击的步骤和阶段。在这种情况下,有必要预处理数据,提取代表性警报并关联属于同一“攻击事件”的警报。这样,可以提高警报的有效性,并且可以降低模型训练的成本。[HaoHu,Yuling Liu,Hongqi Zhang,and Yuchen Zhang.“Security Metric Methods forNetwork Multistep Attacks Using AMC and Big Data Correlation Analysis.”Security and Communication Networks,2018.]基于IP地址的相关性实现了警报相关性分析。[P.Holgado,V.A.Villagráand L.Vázquez,“Real-Time Multistep AttackPrediction Based on Hidden Markov Models.”IEEE Transactions on Dependable andSecure Computing,vol.17,no.1,pp.134-147,1Jan.-Feb.2020.]将IDS警报信息与基于CVE漏洞信息构建的数据库相匹配,从而关联IDS警报
除警报提取外,还需要模型来评估安全状态并预测攻击。[Y.Zhang,D.Zhao,andJ.Liu,“The Application of Baum-Welch Algorithm in Multistep Attack.”TheScientific World Journal,2014.]提出了一种基于隐马尔可夫模型的方法来预测攻击阶段。[Udaya Sampath K.Perera Miriya Thanthrige,Jagath Samarabandu,and XianbinWang.“Intrusion Alert Prediction Using a Hidden Markov Model.”arxiv:1610.07276,2016.]使用隐马尔可夫模型(HMM)来预测下一个警报类型和类别。
基于IP地址的相关性或基于CVE信息均不能充分利用原始警报的信息,也没有考虑多步骤攻击情形中警报之间的上下文信息,从而导致提取的警报质量较差,导致后续安全评估及攻击预测不够准确、全面。
除警报提取外,还需要模型来评估安全状态并预测攻击。现有方案评估准确度欠佳,且不能实现全面的攻击预测。由于用于训练HMM模型的观察值是粗粒度的,因此[Y.Zhang,D.Zhao,and J.Liu,“The Application of Baum-Welch Algorithm inMultistep Attack.”The Scientific World Journal,2014.]只能评估和预测“攻击阶段”,缺乏对特定“攻击事件”的预测。在[Udaya Sampath K.Perera Miriya Thanthrige,Jagath Samarabandu,and Xianbin Wang.“Intrusion Alert Prediction Using aHidden Markov Model.”arxiv:1610.07276,2016.]中,HMM模型中的隐藏状态的数量是不确定的,因此该模型只能预测攻击类型和类别,缺乏对“攻击阶段”和安全状态的评估。
发明内容
针对现有技术中存在的技术问题,本发明的目的在于提供一种基于半马尔科夫条件随机场的网络安全状态评估和攻击预测方法。本发明首先对警报的质量进行量化,从而根据警报的质量选择最具代表性的警报作为“攻击步骤”,然后基于半马尔可夫条件随机场(semi-CRFs)从“攻击步骤”中提取“攻击事件”。所提取的攻击事件相对于细粒度的原始警报和粗粒度的安全状态,具有中等粒度,并且提取过程利用了包括片段属性和上下文在内的多个特征,片段及上下文特征均从警报字段中获得。对于片段特征而言,由片段内每个警报的字段组合得到。对于上下文特征,由前后两个警报的字段组合得到。片段和上下文特征为后续的评估和预测提供了更充分的信息,有利于得到更好的评估及预测效果。之后基于隐马尔可夫模型(HMM)评估安全状态。由于HMM中隐藏状态的含义和数量是确定的,因此可以知道“攻击阶段”并评估安全状态。最后,基于HMM和semi-CRFs预测“攻击事件”和“攻击步骤”,从而得到准确、全面的网络安全状态评估及攻击预测结果。
本发明提出的网络安全状态评估和预测方法流程如图1所示,基于IDS警报数据训练模型,训练后的模型可用于安全状态评估和攻击预测,主要包括四个步骤:警报收集及筛选、攻击事件提取、安全状态评估、攻击预测。
1、警报收集及筛选
警报收集和选择过程的目标是在每个采样期间选择最具代表性的IDS警报,表示攻击步骤。本发明引入了警报质量(QoA)[席荣荣,云晓春,张永铮,郝志宇.一种改进的网络安全态势量化评估方法[J].计算机学报,2015,38(04):749-758.]的概念以量化警报质量。QoA越高,它就越能有效地描述网络的安全性。本发明通过警报的参数量化QoA值,其中包括三个指标:AF(警报频率)、AC(警报临界)、AS(警报严重性)。AF表示单位时间某个警报的发生次数。在攻击情形中,IDS通常会在短时间内生成大量警报。更频繁地发生的警报可以更好地描述当前的网络攻击行为。因此,将AF定义为:
Figure BDA0002459817900000031
AC表示安全状态发生改变的可能性。在监测过程中,如果出现新警报,则表示网络中存在新的攻击行为,并且状态转换的可能性会增加。根据警报的发生情况将其分为三类:在此采样周期中已经出现过的警报;在前N个周期中出现过的警报;在前N个周期中未出现的警报,其中优先级分别设置为1、2和3。AS表示警报的严重性,依据警报输出信息中的“Priority”字段,将警报严重性设置为1、2、3。结合AF、AC、AS,QoA的定义如下。
Figure BDA0002459817900000032
Figure BDA0002459817900000033
Figure BDA0002459817900000034
Figure BDA0002459817900000035
由于AF∈[0,1],与AC和AS相比,AF具有不同的取值范围,因此将AF进行标准化:
AF*=AF(Max-Min)+Min=2AF+1 (3)
由于AC∈[1,3],AF∈[1,3],因此在公式(3)中Max=3,Min=1。
从图2中的模型可以看出,QoA实际上是AF、AC和AS三个属性连接区域的总和。很明显,QoA越高,警报的价值就越高。因此,本发明使用QoA来量化警报的质量,在一段观测周期内,选取QoA值最高的几个警报作为攻击步骤,从而从大量原始IDS警报中提取攻击步骤,以提高训练数据的有效性。
2、攻击事件提取
攻击事件提取的目标是从上面筛选的细粒度攻击步骤中提取攻击事件,利用semi-CRFs模型从步骤1得到的攻击步骤中提取攻击事件。
在semi-CRFs模型中,存在两个序列:序列元素xi构成的输入序列x和输出标签yj构成的输出标签序列y,xi代表第i个具有代表性的警报(即攻击步骤),标签yj是分配给序列片段(即由多个xi组成的子序列,而不是单个序列元素xi)的标签。Semi-CRFs的结构如图3所示。
在本发明的模型中,输入序列x是由上述警报收集及筛选过程得到的攻击步骤序列。标签yj在训练集中进行标注,每个标签对应于N个警报,表示攻击步骤对应的攻击事件。与现有的使用HMM标记警报序列的方法相比,semi-CRFs具有几个优点:semi-CRFs避免了HMM模型中的独立性假设,同时还避免了其他基于定向图模型的判别马尔可夫模型的限制——局部归一化导致的标记偏置问题。此外,semi-CRFs可以利用上下文信息和多个特征,取得良好的攻击事件提取效果。由于多个连续的攻击步骤通常表示攻击场景中的一个攻击事件,因此它符合semi-CRFs对片段进行标记的特点。例如,假设三个攻击步骤‘PROTOCOL-ICMP Unusual PING detected’,‘PROTOCOL-ICMP PING’and‘PROTOCOL-ICMPEcho Reply’组成攻击事件‘ICMP ping/reply’,这三个攻击步骤对应为图3中的x1,x2,x3,则‘ICMP ping/reply’对应图3中的y1。同时,由于较少数量且粒度适中的攻击事件被用于下一步骤中HMM模型的输入,使得HMM的训练成本较低并同时得到较高的安全评估及攻击预测精度。
在semi-CRFs模型中,给定观测序列x={x1,x2,…,xn},s={s1,s2,…,sk}表示x的分段,其中sj=(tj,uj,yj),包括第j个分段sj的起始位置tj,终止位置uj以及分段对应的标签yj。例如在图3中的片段{x1,x2,x3},其起始位置为x1,终止位置为x3,标签为y1。g=(g1,...,gk)表示特征函数,将三元组(j,x,s)映射到测度g(j,x,s)。在本发明中,使用IDS警报中的字段作为特征。在semi-CRFs中,依据马尔可夫特性,标签与前一个分段s相关联。因此g(j,x,s)=g(yj,yj-1,x,tj,uj)。
Figure BDA0002459817900000041
则semi-CRF为:
Figure BDA0002459817900000042
其中,W为G(x,s)的对应权重。Z(x)=∑s′eW*G(x,s′)为归一化因子。
Semi-CRF的参数学习问题可以被定义为给定训练集
Figure BDA0002459817900000043
本发明希望找到使得L(W)最大的W。
Figure BDA0002459817900000044
由于等式5为凸函数,因此参数学习问题可以用梯度下降法解决。
Semi-CRF的推理问题定义为给定W和x,找到最优的分段,即argmaxsP(s|x,W),其中P(s|x,W)由等式(4)定义。
argmaxsP(s|x,W)=argmaxsW·G(x,s)=argmaxsW·∑jg(yj,yj-1,x,tj,uj) (6)
给定一个序列,有很多种分段方法,根据公式6,要找最优的分段相当于是要找最大的W·G.这个过程用维特比算法解决,可以简单理解为每划分一段,就得到一个值;尝试所有可能的划分(分段长度d∈[1,L],即尝试所有可能的划分)。每划分一段都保留最大值(即公式7第一行的max的原因),最后划分完成,再从终点的最大值回溯,即得到了每个分段。因此整个过程的核心是公式7。设L是分段长度的上限,si:l表示观测序列中从第一个观测(即攻击步骤)至第i个观测之间的所有可能的分段(即观测序列长度为i的观测序列所有可能分段),Vx,g,W(i,y)表示对于任意s′∈si:l,W·G(x,s′)的最大值,则Vertibi算法在semi-CRF上的变体可表示为:
Figure BDA0002459817900000051
y为当前分段对应的标签,y′表示当前分段的前一个分段对应的标签,基于前一个分段的特征与参数学习过程得到的参数,通过等式(4)计算得到。通过计算在分段长度d(d∈[1,L])条件下的V,最佳分段对应于对maxyV(|x|,y)的路径回溯。
在基于semi-CRFs的攻击事件提取之后,大量细粒度攻击步骤被聚合到粒度适中的攻击事件中。
3、安全状态评估
在通过semi-CRFs模型提取攻击事件之后,提取的攻击事件被用作训练隐马尔可夫模型(HMM)的观测序列。HMM可以被描述为两个随机过程:1)观测序列,在本发明的方法中其对应于由semi-CRFs模型提取的攻击事件。2)隐藏状态序列,在本发明的方法中由攻击阶段表示,具有马尔可夫性质。每个状态对应一个观测。HMM的参数定义如下:
设Q是所有可能的状态的集合,Q={q1,q2,…,qN},V是所有可能的观测的集合V={v1,v2,…,vM}。其中N代表HMM的隐状态数量,M代表观测的数量。具体到本文而言,Q代表攻击阶段,N代表攻击阶段数量;由semi-CRF模型提取的攻击事件作为观测。
A为N*N的状态转移矩阵,其中aij表示在时刻t处于状态qi的条件下在时刻t+1转移到状态qj的概率。
aij=P(it+1=qj|it=qi)i=1,2,…,N;j=1,2…,N (8)
B为N*M的观测概率矩阵,其中bj(k)表示在时刻t处于状态qj的条件下生成观测Vk的概率。
bj(k)=P(ot=vk|it=qj)k=1,2,…,M;j=1,2…,N (9)
π为初始状态概率向量,其中πi代表时刻t=1处于状态qi的概率。
π=(πi)=P(i1=qi)i=1,2…,N (10)
因此隐马尔可夫模型可表示为λ=(A,B,π)。
HMM模型有3个基本问题:
(1)概率计算问题。给定模型λ=(A,B,π)和观测序列O=(o1,o2,…,oT),计算在模型λ下观测序列O出现的概率P(O|λ)。
(2)学习问题。已知观测序列O=(o1,o2,…,oT),估计模型λ=(A,B,π)参数,在该模型下观测序列概率P(O|λ)最大。
(3)预测问题。已知模型λ=(A,B,π)和观测序列O=(o1,o2,…,oT),求对给定观测序列条件概率P(I|O)最大的状态序列I=(i1,i2,…,iT)。
具体到本发明的方法而言,根据semi-CRFs模块提取的攻击事件训练隐马尔可夫模型对应于问题2.评估安全状态对应于问题3。对于问题2,本发明采用监督学习方法;对于问题3,采用Vertibi算法。
监督学习方法从训练数据中估计转移概率和观测概率。设训练集中时刻t处于状态i,时刻t+1转移到状态j的频数为Aij,那么状态转移概率aij的估计是:
Figure BDA0002459817900000061
设训练集中状态为j且观测为k的频数为Bjk,那么状态为j观测为k的概率bj(k)的估计为:
Figure BDA0002459817900000062
初始状态概率πi的估计为训练集中初始状为qi的频率。
在本发明的方法中,给定一个攻击事件序列,可以训练一个表示一类攻击的HMM。当使用经过训练的HMM时,需要选择一个与观察序列(即输入到HMM的攻击事件序列)最匹配的HMM。为此,本发明将HMM的参数扩展为λ=(A,B,π,S),S是用于训练HMM的攻击事件序列(训练序列)。当IDS生成警报时,将通过从攻击步骤中提取攻击事件来形成一个攻击事件序列。由于训练序列S被记录在每个训练的HMM中,可以通过计算当前攻击事件序列和每个HMM中训练序列S之间的相似性来找到最佳匹配的HMM。本发明利用最长公共子序列的长度来表示两个序列之间的相似度,长度越长,相似度越高。采用动态规划算法计算最长公共子序列长度。与现有方法采用前向算法选择HMM相比,基于攻击事件采用最长公共子序列长度不受未知攻击事件的影响,可以准确匹配HMM。
根据最长公共子序列长度选择了最匹配的HMM后,基于Viterbi算法,利用训练的HMM模型对安全状态进行评估。Viterbi算法可以找到最佳的隐藏状态序列,每个隐藏状态表示一个攻击阶段。
4、攻击预测
由上述安全评估过程已经在HMM中得到了状态转移矩阵A和观测概率矩阵B。假设由Viterbi算法得到的最优状态序列为i1,i2,…,iT,iT=qj,可以计算下一个观测的概率,
Figure BDA0002459817900000071
Pt+1(vi)表示在时刻T+1时观测为vi的概率。ajr表示在时刻T处于状态qj的条件下在时刻T+1状态转移到qr的概率。br(i)表示处于状态qr的条件下生成观测vi的概率。因此ajrbr(i)表示处于状态qj的条件下在时刻T+1转移到状态qr,并通过qr生成观测vi的概率。N代表HMM的隐状态数量,因此通过
Figure BDA0002459817900000072
得到了vi的概率。当Pt+1(vi)取得最大值时,其对应的vi为预测的攻击事件。
在使用semi-CRFs提取攻击事件时,本发明得到了攻击事件相对于攻击步骤的条件概率,因此可以通过贝叶斯公式计算攻击步骤相对于攻击事件的条件概率:
Figure BDA0002459817900000073
ASj表示攻击步骤j,AEi表示攻击事件i。P(ASj|AEi)表示攻击步骤j在攻击事件i发生情况下的条件概率。P(AEi|ASj)表示攻击事件i在攻击步骤j发生情况下的条件概率。P(ASj)表示攻击步骤j发生的概率。P(AEi)表示攻击事件i发生的概率。
由于本发明已经通过HMM,基于公式(13)计算出了下一个可能的攻击事件(AEi),因此通过公式(14)可以计算出下一个攻击步骤的概率。
与现有技术相比,本发明的积极效果为:
1、提出了一种基于semi-CRFs的攻击事件提取方法。首先,基于QoA从原始IDS警报中提取攻击步骤,以显著减少数据量。然后基于semi-CRFs从攻击步骤中提取攻击事件。与现有方案相比,所提取的攻击事件的粒度适中,并且提取过程利用了包括片段属性和上下文在内的多个特征,为后续的评估和预测提供了更充分的信息。
2、通过使用包含详细攻击信息的适度粒度攻击事件作为HMM的观察序列,提高了基于HMM的安全评估的准确性。
3、提出了一种基于攻击事件最长子序列长度的隐马尔可夫模型匹配方法。与现有的攻击方法相比,该方法具有时间复杂度低、不受未知攻击事件影响等优点。
4、提出的方法在评估安全状态的同时,提供全面的攻击预测,包括攻击事件和攻击步骤,从而为网络安全主动响应提供更好的决策参考。
附图说明
图1是本发明的方法的流程图;
图2是QoA模型图;
图3是semi-CRFs模型图;
图4是HMM的输出状态序列图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明。
为了验证本发明的方法并将其与以前的方法进行比较,本发明选用DARPA2000数据集中的LLDOS1.0攻击场景来进行实验。在这个攻击场景中,包含五个攻击阶段:
(1)攻击者扫描网络以确定哪些主机已启动。
(2)攻击者使用Sadmind ping,查找活动主机中运行Sadmind服务的薄弱主机。
(3)由Sadmind缓冲区溢出漏洞侵入主机。
(4)在被控制的主机上安装DDOS木马。
(5)利用控制的主机启动DDOS攻击。
本发明使用Snort作为网络入侵检测系统以生成入侵警报,使用python编写并实现了程序。
首先,选择最具代表性的警报来提取每个采样周期的攻击步骤。在本文中,本发明将采样周期设置为1分钟。在每个采样周期中,从Snort生成的警报中选择QoA分数排名前三的警报。如果在采样周期中生成的不同警报的数量小于3,则选择所有警报。
然后攻击步骤标记对应的攻击事件。参考DARPA2000文档中对LLDOS1.0攻击情形的描述,总共标记了10种攻击事件。基于从Snort日志数据中选择的攻击步骤及其相应的攻击事件,训练了semi-CRFs模型。IDS警报中的攻击类型、攻击类别、协议和段长度作为semi-CRFs模型的特征。
此外,根据DARPA2000文档,将攻击事件与攻击阶段相对应。然后运用监督算法训练隐马尔可夫模型。
为了评估本发明提出的方法并将其与之前的方法进行比较,本发明重放了LLDOS1.0 pcap数据包并将流量导入Snort。然后,基于本文提出的方法,本发明基于QoA选择IDS生成的最具代表性的警报来提取攻击步骤,并将其输入到训练的semi-CRFs模型中。
当攻击事件被输入训练的HMM时,维特比算法用于计算最有可能的状态序列。HMM的输出状态序列如图4所示,其中x轴表示时间(以分钟为单位),y轴表示HMM输出状态(0:正常,1至5分别对应于LLDOS1.0的五个攻击阶段)。
如图4所示,本发明提出的方法准确地评估了安全状态。在前29分钟,系统处于正常状态。在30到46分钟内,系统处于攻击阶段1;47至71分钟系统处于攻击阶段2;72至88分钟系统处于攻击阶段3;89到124分钟系统处于攻击阶段4;125到194分钟,系统处于攻击阶段5.评估的安全状态与LLDOS1.0中的完全相同。与现有方法[P.Holgado,V.A.VillagráandL.Vázquez,“Real-Time Multistep Attack Prediction Based on Hidden MarkovModels.”IEEE Transactions on Dependable and Secure Computing,vol.17,no.1,pp.134-147,1Jan.-Feb.2020.]的结果相比,其结果中只有三种安全状态,本发明对安全状态的评估包括五个攻击阶段,这更符合LLDOS1.0的实际安全状态。
最后预测了下一个攻击事件和攻击步骤。在只考虑最大概率值所对应的攻击事件和攻击步骤时,攻击事件的预测准确率为72%,攻击步骤的预测准确率为58%;考虑前三大概率值对应的攻击事件和攻击步骤时,攻击事件的预测准确率为92%,攻击步骤的预测准确率为83%。所提出的方法的预测准确率略高于现有方法[Udaya Sampath K.PereraMiriya Thanthrige,Jagath Samarabandu,and Xianbin Wang.“Intrusion AlertPrediction Using a Hidden Markov Model.”arxiv:1610.07276,2016.],更重要的是,本发明的方法可以同时预测攻击事件和攻击步骤。此外,HMM中隐藏状态的含义和数量在本发明的方法中是确定的,因此本发明可以同时评估安全状态。在现有方法中,不能同时评估安全状态并预测攻击事件和攻击步骤。
尽管为说明目的公开了本发明的具体内容、实施算法以及附图,其目的在于帮助理解本发明的内容并据以实施,但是本领域的技术人员可以理解:在不脱离本发明及所附的权利要求的精神和范围内,各种替换、变化和修改都是可能的。本发明不应局限于本说明书最佳实施例和附图所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种网络安全状态评估方法,其步骤包括:
1)从设定观测周期内入侵检测系统IDS产生的警报中选择具有代表性的IDS警报,并将所选每一代表性IDS警报作为一攻击步骤;将属于同一类攻击的代表性IDS警报按照时间顺序排列,得到该类攻击的攻击步骤序列;
2)利用semi-CRFs模型分别从每类攻击的攻击步骤序列中提取攻击事件;
3)利用从第m类攻击的攻击步骤序列中所提取的攻击事件生成训练序列训练马尔可夫模型HMM,得到用于预测第m类攻击的HMM;保存每一训练后的HMM及对应的训练序列S;
4)对于一观察序列,将该观察序列与各HMM对应的训练序列S进行匹配,选择一个与该观察序列最匹配的HMM;然后将该观察序列输入该最匹配的HMM,评估该观察序列对应的网络安全状态。
2.如权利要求1所述的方法,其特征在于,利用semi-CRFs模型从攻击步骤序列中提取攻击事件的方法为:
21)将同一类攻击的各攻击步骤构成一观测序列x={x1,x2,...,xn}输入semi-CRFs模型
Figure FDA0002459817890000011
其中,xn代表第n个攻击步骤,s={s1,s2,...,sk}表示x的分段,第k个分段sk=(tk,uk,yk),tk为第k个分段sk的起始位置,uk为第k个分段sk的终止位置,yk第k个分段sk的分段对应的标签;W为G(x,s)的对应权重,
Figure FDA0002459817890000012
g(j,x,s)表示将三元组(j,x,s)映射到一个测度,Z(x)为归一化因子;
22)通过计算argmaxsW·G(x,s)确定攻击步骤序列的分段,将每一分段作为一攻击事件。
3.如权利要求2所述的方法,其特征在于,设L是分段长度的上限,si:l表示观测序列中从第一个观测至第i个观测之间的所有可能的分段,Vx,g,W(i,y)表示对于任意s′∈si:l,W·G(x,s′)的最大值,依据马尔可夫特性将g(j,x,s)扩展为g(yj,yj-1,x,tj,uj);通过
Figure FDA0002459817890000013
确定攻击步骤序列的分段;其中,tj为第j个分段sj的起始位置,yj第j个分段sj的分段对应的标签,分段长度d∈[1,L],y为当前分段对应的标签,y′为当前分段的前一分段对应的标签。
4.如权利要求2所述的方法,其特征在于,Z(x)=∑s′eW*G(x,s′)
5.如权利要求1所述的方法,其特征在于,根据该观察序列与HMM对应的训练序列S之间的最长公共子序列长度确定该观察序列与HMM对应的训练序列S之间的匹配度。
6.如权利要求5所述的方法,其特征在于,采用动态规划算法计算所述最长公共子序列长度。
7.一种攻击预测方法,其步骤包括:
1)从设定观测周期内入侵检测系统IDS产生的警报中选择具有代表性的IDS警报,将所选每一代表性IDS警报作为一攻击步骤并按照时间顺序排列,得到一攻击步骤序列;
2)利用semi-CRFs模型从该攻击步骤序列中提取攻击事件;
3)将所提取的攻击事件输入训练后的马尔可夫模型HMM,预测下一攻击事件及其发生概率。
8.如权利要求7所述的方法,其特征在于,根据公式
Figure FDA0002459817890000021
预测下一攻击事件AEi;其中,Pt+1(vi)表示在T+1时刻观测事件vi的概率,ajr表示在T时刻处于状态qj的条件下在T+1时刻状态转移到qr的概率,br(i)表示处于状态qr的条件下生成观测事件vi的概率,N代表HMM的隐状态数量;当Pt+1(vi)取得最大值时,其对应的观测事件vi为预测的下一攻击事件AEiajrbr(i)表示处于状态qj的条件下在时刻T+1转移到状态qr,并通过qr生成观测vi的概率。
9.如权利要求7或8所述的方法,其特征在于,根据条件概率
Figure FDA0002459817890000022
预测事件的发生概率;其中,ASj表示攻击步骤j,AEi表示攻击事件i,P(ASj|AEi)表示攻击步骤j在攻击事件i发生情况下的条件概率,P(AEi|ASj)表示攻击事件i在攻击步骤j发生情况下的条件概率,P(ASj)表示攻击步骤j发生的概率,P(AEi)表示攻击事件i发生的概率。
10.一种服务器,其特征在于,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程序包括用于执行权利要求1至9任一所述方法中各步骤的指令。
CN202010317082.8A 2020-04-21 2020-04-21 一种网络安全状态评估和攻击预测方法 Active CN111709028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010317082.8A CN111709028B (zh) 2020-04-21 2020-04-21 一种网络安全状态评估和攻击预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010317082.8A CN111709028B (zh) 2020-04-21 2020-04-21 一种网络安全状态评估和攻击预测方法

Publications (2)

Publication Number Publication Date
CN111709028A true CN111709028A (zh) 2020-09-25
CN111709028B CN111709028B (zh) 2023-04-07

Family

ID=72536669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010317082.8A Active CN111709028B (zh) 2020-04-21 2020-04-21 一种网络安全状态评估和攻击预测方法

Country Status (1)

Country Link
CN (1) CN111709028B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422524A (zh) * 2020-10-29 2021-02-26 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN112822206A (zh) * 2021-01-29 2021-05-18 清华大学 网络协同攻击行为的预测方法、装置以及电子设备
CN112995331A (zh) * 2021-03-25 2021-06-18 绿盟科技集团股份有限公司 一种用户行为威胁检测方法、装置及计算设备
CN113438207A (zh) * 2021-06-03 2021-09-24 张宇翔 一种基于白名单的网络安全防护方法
CN113572732A (zh) * 2021-06-22 2021-10-29 浙江工业大学 一种基于vae和聚合hmm的多步攻击建模和预测方法
CN114362992A (zh) * 2021-11-23 2022-04-15 北京信息科技大学 一种基于snort日志的隐马尔可夫攻击链预测方法及装置
CN114553481A (zh) * 2022-01-17 2022-05-27 重庆邮电大学 网络攻击事件预测及最优主动防御策略选取系统
CN115174208A (zh) * 2022-07-04 2022-10-11 中国银行股份有限公司 一种多步攻击检测方法及装置
CN115348042A (zh) * 2021-04-29 2022-11-15 中国移动通信集团上海有限公司 监测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107070852A (zh) * 2016-12-07 2017-08-18 东软集团股份有限公司 网络攻击检测方法和装置
CN108494810A (zh) * 2018-06-11 2018-09-04 中国人民解放军战略支援部队信息工程大学 面向攻击的网络安全态势预测方法、装置及系统
US20190182274A1 (en) * 2017-12-11 2019-06-13 Radware, Ltd. Techniques for predicting subsequent attacks in attack campaigns

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107070852A (zh) * 2016-12-07 2017-08-18 东软集团股份有限公司 网络攻击检测方法和装置
US20190182274A1 (en) * 2017-12-11 2019-06-13 Radware, Ltd. Techniques for predicting subsequent attacks in attack campaigns
CN108494810A (zh) * 2018-06-11 2018-09-04 中国人民解放军战略支援部队信息工程大学 面向攻击的网络安全态势预测方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王坤;邱辉;杨豪璞;: "基于攻击模式识别的网络安全态势评估方法" *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422524A (zh) * 2020-10-29 2021-02-26 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN112422524B (zh) * 2020-10-29 2022-10-04 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN112822206A (zh) * 2021-01-29 2021-05-18 清华大学 网络协同攻击行为的预测方法、装置以及电子设备
CN112822206B (zh) * 2021-01-29 2021-12-07 清华大学 网络协同攻击行为的预测方法、装置以及电子设备
CN112995331A (zh) * 2021-03-25 2021-06-18 绿盟科技集团股份有限公司 一种用户行为威胁检测方法、装置及计算设备
CN112995331B (zh) * 2021-03-25 2022-11-22 绿盟科技集团股份有限公司 一种用户行为威胁检测方法、装置及计算设备
CN115348042A (zh) * 2021-04-29 2022-11-15 中国移动通信集团上海有限公司 监测方法、装置、电子设备及存储介质
CN113438207A (zh) * 2021-06-03 2021-09-24 张宇翔 一种基于白名单的网络安全防护方法
CN113572732A (zh) * 2021-06-22 2021-10-29 浙江工业大学 一种基于vae和聚合hmm的多步攻击建模和预测方法
CN114362992A (zh) * 2021-11-23 2022-04-15 北京信息科技大学 一种基于snort日志的隐马尔可夫攻击链预测方法及装置
CN114553481A (zh) * 2022-01-17 2022-05-27 重庆邮电大学 网络攻击事件预测及最优主动防御策略选取系统
CN115174208A (zh) * 2022-07-04 2022-10-11 中国银行股份有限公司 一种多步攻击检测方法及装置

Also Published As

Publication number Publication date
CN111709028B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111709028B (zh) 一种网络安全状态评估和攻击预测方法
CN111475804B (zh) 一种告警预测方法及系统
US11528290B2 (en) Systems and methods for machine learning-based digital content clustering, digital content threat detection, and digital content threat remediation in machine learning-based digital threat mitigation platform
Yu et al. An automatically tuning intrusion detection system
CN111107102A (zh) 基于大数据实时网络流量异常检测方法
US11888881B2 (en) Context informed abnormal endpoint behavior detection
Ren et al. An online adaptive approach to alert correlation
Kaiafas et al. Detecting malicious authentication events trustfully
US11706236B2 (en) Autonomous application of security measures to IoT devices
US20220210172A1 (en) Detection of anomalies associated with fraudulent access to a service platform
Yassin et al. Signature-Based Anomaly intrusion detection using Integrated data mining classifiers
CN112714130A (zh) 一种基于大数据自适应网络安全态势感知方法
CN114218998A (zh) 一种基于隐马尔可夫模型的电力系统异常行为分析方法
Zohrevand et al. Should i raise the red flag? A comprehensive survey of anomaly scoring methods toward mitigating false alarms
Cui et al. Using EBGAN for anomaly intrusion detection
KR102548321B1 (ko) 효율적인 악성 위협 탐지를 위한 valuable alert 선별 방법
Liao et al. Research on real-time network security risk assessment and forecast
Huo et al. Traffic anomaly detection method based on improved GRU and EFMS-Kmeans clustering
Flores et al. Network anomaly detection by continuous hidden markov models: An evolutionary programming approach
CN113468540A (zh) 基于网络安全大数据的安全画像处理方法及网络安全系统
Rajora Reviews research on applying machine learning techniques to reduce false positives for network intrusion detection systems
Yolacan et al. A framework for studying new approaches to anomaly detection
CN116318929B (zh) 一种基于安全告警数据的攻击策略抽取方法
Flores et al. Hybrid network anomaly detection–learning hmms through evolutionary computation
US20230409422A1 (en) Systems and Methods for Anomaly Detection in Multi-Modal Data Streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant