CN111901137A - 一种利用蜜罐告警日志挖掘多步攻击场景的方法 - Google Patents

一种利用蜜罐告警日志挖掘多步攻击场景的方法 Download PDF

Info

Publication number
CN111901137A
CN111901137A CN201910374167.7A CN201910374167A CN111901137A CN 111901137 A CN111901137 A CN 111901137A CN 201910374167 A CN201910374167 A CN 201910374167A CN 111901137 A CN111901137 A CN 111901137A
Authority
CN
China
Prior art keywords
attack
graph
alarm
honeypot
alarm log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910374167.7A
Other languages
English (en)
Inventor
张茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mingxin'an Co ltd
Original Assignee
Beijing Mingxin'an Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mingxin'an Co ltd filed Critical Beijing Mingxin'an Co ltd
Priority to CN201910374167.7A priority Critical patent/CN111901137A/zh
Publication of CN111901137A publication Critical patent/CN111901137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1491—Countermeasures against malicious traffic using deception as countermeasure, e.g. honeypots, honeynets, decoys or entrapment

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出了一种利用蜜罐告警日志进行多步攻击场景挖掘的方法。通过蜜罐吸引攻击，产生告警日志，并利用攻击图特征进行攻击挖掘生成攻击图，再利用基于密度的局部离散群因子算法对攻击图进行优先级判定，体现多步攻击的威胁程度。与现有技术相比，本发明的有益效果是：利用蜜罐吸引攻击，可以得到真实攻击密度更高的报警日志，利用攻击图可以更好体现每步攻击之间的联系，定义的特征属性更好的将同一类攻击聚为一类，通过计算攻击图的异常值可以判定多步攻击的威胁程度。

Description

一种利用蜜罐告警日志挖掘多步攻击场景的方法
技术领域
本发明涉及大数据分析和网络安全领域，特别涉及一种利用蜜罐告警日志挖掘多步攻击场景的方法。
背景技术
随着互联网的迅猛发展以及网络全球化的日益紧密，网络安全问题也日益凸显。近年来出现的各种网络攻击无不呈现出更强的持续性和隐蔽性，以及多步攻击也更具有复杂性。因此如何应对层出不穷的网络安全问题并且及时采取应对措施是当下必须关注的问题。
目前的告警日志数据都是通过部署在网络环境中的IDS得到的，由于其本身的局限性，带来了很多不可避免的缺点。IDS普遍具有报警冗余、价值密度低、报警孤立的问题。因为 IDS部署在整个网络中，所以会收集整个网络的告警信息，使得真实告警密度低，无法高效的挖掘出隐藏其中的真实攻击。大量的报警冗余使得安全管理员无法快速的聚焦到关键的报警，延误防御时机，同时IDS并不能宏观完整的展示多步攻击的全貌。所以需要对告警日志进行关联分析，挖掘出有价值完整的多步攻击场景。通过重构攻击场景，可以使安全管理员迅速的识别攻击全貌，并更好的应对网络攻击。
现有的基于报警关联的方法主要有以下四类：(1)基于报警相似度的关联方法(2)基于预定义的攻击场景的关联方法 (3)基于因果关系的报警关联方法 (4)基于数据挖掘的攻击场景关联方法。
基于报警相似度的关联方法虽然不需要先验知识，但不能够总结报警类型间的因果关系，存在未能版主理解攻击的意图以及关系的缺点。基于预定义攻击场景的方法是最为准确的一种方法，但这种方法首先依赖于攻击模板知识库的构建。这种方法的优点是能够准确地检测到知识库中已有的攻击类型，但是对于新的模式，并不能够很好地检测。基于因果知识的方法不必像基于预定义攻击场景的方法如此僵化，并不是必须完全匹配攻击模板才算成功，但是也需要知识库的支持。另外在知识库的建立方面也需要较大的投入成本。对于基于数据挖掘的关联方法，其优点在于不需要大量的知识库和先验知识的支持，但是在挖掘过程中的计算量比较大，并且挖掘的准确率并不如直接模式匹配那样高。
发明内容
本发明正是基于上述问题，提出了一种利用蜜罐告警日志进行多步攻击场景挖掘的方法。通过蜜罐吸引攻击，产生告警日志，并利用攻击图特征进行攻击挖掘生成攻击图，再利用基于密度的局部离散群因子算法对攻击图进行优先级判定，体现多步攻击的威胁程度。
本发明包括如下步骤：
A.告警日志产生和预处理：利用搭建的蜜罐将针对网络的大部分攻击吸引过来，产生真实攻击密度高的告警日志，并提取需要的属性进行格式归一化，然后对报警日志去除冗余；
B.攻击场景挖掘：通过属性相似度进行聚类，将聚类的攻击利用攻击图表示，生成候选攻击图；
C.攻击优先级评估：利用局部离群因子算法对生成的攻击图进行优先级判定，给出图的优先级排序列表。
与现有技术相比，本发明的有益效果是：利用蜜罐吸引攻击，可以得到真实攻击密度更高的报警日志，利用攻击图可以更好体现每步攻击之间的联系，定义的特征属性更好的将同一类攻击聚为一类，通过计算攻击图的异常值可以判定攻击图的威胁程度。
A1.本专利使用的多蜜罐协同模式，通过在网络中搭建多个蜜罐，协同工作，迷惑并能够收集到更多攻击者的信息；协同方式是以诸多真实环境的功能主机为基本单元，通过服务、蜜罐等任务的动态伪随机切换而形成的动态陷阱系统，从而迷惑和干扰敌手。通过协同方式，为攻击者提供一系列攻击流程，能够收集到更多攻击者和攻击过程的信息，并以告警日志的形式呈现；同时不易被攻击者发现蜜罐系统的存在。
A2.报警日志格式归一化，虽然蜜罐系统的IDS产生的告警具有标准格式，但不同的标准产生的格式会有差别，而且有些属性也不会用到，为了将数据格式统一并有利于分析和处理，将报警日志的格式定义为11元组
Alert＝＜Id，time，srcIp，srcPort，dstIp，dstPort，type，priority，gId，groupId，fatherId＞
其中，前8个属性是alert的原始属性，后3个是为了在关联过程中便于攻击图的关联定义的。每个属性对应含义，图1是报警属性表；接下来对报警去除冗余，将一段较短时间阈值内除了time属性不同，其他属性均相同的报警合为一条。
B1.定义属性相似度函数，(1)时间维度
Figure RE-GSB0000182463390000021
(2)IP维度
Figure RE-GSB0000182463390000022
(3)端口维度
Figure RE-GSB0000182463390000023
最终的相似读是三个维度的加权平均
Figure RE-GSB0000182463390000024
B2.攻击图生成，将告警日志集合ASet＝{a1，a2，...an}作为输入，并初始化AGS＝φ；将a1作为图g1的第一个顶点得到初始的攻击图集合AGS＝{g1}；依次取出Aset中未分析的报警ai，计算ai与AGS＝{g1，g2，...gn}中每一个图的隶属度，隶属度的计算方法为，依次计算 ai与图gk中n个报警顶点的相似度C(ai，aj)，其中aj∈gk，记录下相似度最大值作为ai隶属于图gk的隶属度；依次扫描AGS中每一个图，计算ai与每一个图的隶属度，记录与ai隶属度最大的图gk，如果其隶属度大于等于预设的阈值θ，将ai加入到图gk中，即增加ai为图gk新的顶点，并且增加一条产生该隶属度的顶点aj到ai的边：E(aj，ai)。如果所有的隶属度都小于阈值，那么新增一个攻击图，且该攻击图只有一个顶点，该顶点为ai。
分析完Aset中的每一条报警后，最终生成包含多个候选攻击图的集合 AGS＝{g1，g2，...gn}，具体实现过程如图1所示。
B3.定义攻击图内部特征，利用图gk中每个顶点ai代表的alert中的优先级进行平均异常优先级的计算
Figure RE-GSB0000182463390000031
定义报警间隔率为一个攻击图中先后发生的有关联的两条报警顶点之间的平均时间间隔，
Figure RE-GSB0000182463390000032
定义时间跨度间隔的公式GTimeDuration(gi)＝|a1.time-an.time|；定义出入率表示一个攻击场景在通信交互时特点，其公式为
Figure RE-GSB0000182463390000033
B4.通过上步定义并计算的每个攻击图的四个特征，并将攻击图集合 AGS＝{g1，g2，...gn}作为输入；初始化Cluster＝{set1}，set1中包含一个图g1；依次从AGS 中取出未分类的攻击图gi，计算gi与Cluster＝{set1，set2，set3...setm}中每一个集合的隶属度，具体计算方法为：依次计算gi与seti中n个攻击图的4个特征距离dk(gi，gj)，如果都满足距离小于阈值δ1、δ2、δ3、δ4，那么就将gi加入到seti集合中。
依次对AGS中每一个攻击图进行上述聚类操作，直到分析完成所有攻击图，最终生成聚类后的攻击图集合Cluster＝{set1，set2，set3...setm}。
B5.攻击场景挖掘，对于聚类后的攻击图集合set＝{g1，g2，g3...gn}进行挖掘，将集合中的所有的节点和节点间的关系合成为一个图作为攻击场景。
C1.定义表示点o和点p之间的距离，k-distance为第k距离，Nk(p)≥k为p的第k邻域点的个数；p点的第k可达公式为reach-distancek(p，o)＝max{d(p，o)，k-distance(o)}；利用上述定义公式可得p的局部可达密度为
Figure RE-GSB0000182463390000034
最后得到p 的局部利群因子表示为
Figure RE-GSB0000182463390000035
其中LOF的值越高，表明利群程度越高，越有可能是异常点。
C2.度量LOF的攻击图优先级，首先利用图的四个特征值进行距离计算
Figure RE-GSB0000182463390000041
利用C1中的第k可达距离公式计算攻击图gj到gi的第k可达距离，接着利用上述公式以依次计算图gj的局部可达密度和攻击图的局部离群因子。
其中，LOF的值可能为0到无穷大，所以采用将LOF值映射到0到1之间的方法来确定攻击图的优先级，公式为
Figure RE-GSB0000182463390000042
认为计算出的值越高，该攻击图越异常，越应该给予更多的关注。
附图说明：图1是报警属性表。

Claims (4)

1.一种利用蜜罐报警日志挖掘多步攻击场景的方法，其特征在于，所述方法包括：
A.告警日志产生和预处理：利用搭建的蜜罐将针对网络的大部分攻击吸引过来，产生真实攻击密度高的告警日志，并提取需要的属性进行格式归一化，然后对报警日志去除冗余；
B.攻击场景挖掘：通过属性相似度进行聚类，将聚类的攻击利用攻击图表示，生成候选攻击图；
C.攻击优先级评估：利用局部离群因子算法对生成的攻击图进行优先级判定，给出图的优先级排序列表。
2.根据权利要求1所述的利用蜜罐报警日志的攻击场景挖掘方法，其特征在于，步骤A进一步包括以下步骤：
A1.本专利使用的多蜜罐协同模式，通过在网络中搭建多个蜜罐，协同工作，迷惑并能够收集到更多攻击者的信息；协同方式是以诸多真实环境的功能主机为基本单元，通过服务、蜜罐等任务的动态伪随机切换而形成的动态陷阱系统，从而迷惑和干扰敌手。通过协同方式，为攻击者提供一系列攻击流程，能够收集到更多攻击者和攻击过程的信息，并以告警日志的形式呈现；同时不易被攻击者发现蜜罐系统的存在。
A2.报警日志格式归一化，虽然蜜罐系统的IDS产生的告警具有标准格式，但不同的标准产生的格式会有差别，而且有些属性也不会用到，为了将数据格式统一并有利于分析和处理，将报警日志的格式定义为11元组
Alert＝<Id，time，srcIp，srcPort，dstlp，dstPort，type，priority，gld，groupld，fatherld>
其中，前8个属性是alert的原始属性，后3个是为了在关联过程中便于攻击图的关联定义的。每个属性对应含义如表1-1所示；接下来对报警去除冗余，将一段较短时间阈值内除了time属性不同，其他属性均相同的报警合为一条。
3.根据权利要求1所述的利用蜜罐报警日志的攻击场景挖掘方法，其特征在于，步骤B进一步包括以下步骤：
B1.定义属性相似度函数，(1)时间维度
Figure FSA0000182752620000011
(2)IP维度
Figure FSA0000182752620000012
(3)端口维度
Figure FSA0000182752620000013
最终的相似读是三个维度的加权平均
Figure FSA0000182752620000014
B2.攻击图生成，将告警日志集合ASet＝{a1，a2，...an}作为输入，并初始化AGS＝φ；将a1作为图g1的第一个顶点得到初始的攻击图集合AGS＝{g1}；依次取出Aset中未分析的报警ai，计算ai与AGS＝{g1，g2，...gn}中每一个图的隶属度，隶属度的计算方法为，依次计算ai与图gk中n个报警顶点的相似度C(ai，aj)，其中aj∈gk，记录下相似度最大值作为ai隶属于图gk的隶属度；依次扫描AGS中每一个图，计算ai与每一个图的隶属度，记录与ai隶属度最大的图gk，如果其隶属度大于等于预设的阈值θ，将ai加入到图gk中，即增加ai为图gk新的顶点，并且增加一条产生该隶属度的顶点aj到ai的边：E(aj，ai)。如果所有的隶属度都小于阈值，那么新增一个攻击图，且该攻击图只有一个顶点，该顶点为ai。
分析完Aset中的每一条报警后，最终生成包含多个候选攻击图的集合AGS＝{g1，g2，...gn}，具体实现过程如图1所示。
B3.定义攻击图内部特征，利用图gk中每个顶点ai代表的alert中的优先级进行平均异常优先级的计算
Figure FSA0000182752620000021
定义报警间隔率为一个攻击图中先后发生的有关联的两条报警顶点之间的平均时间间隔，
Figure FSA0000182752620000022
定义时间跨度间隔的公式GTimeDuration(gi)＝|a1.time-an.time|；定义出入率表示一个攻击场景在通信交互时特点，其公式为
Figure FSA0000182752620000023
B4.通过上步定义并计算的每个攻击图的四个特征，并将攻击图集合AGS＝{g1，g2，...gn}作为输入；初始化Cluster＝{set1}，set1中包含一个图g1；依次从AGS中取出未分类的攻击图gi，计算gi与Cluster＝{set1，set2，set3...setm}中每一个集合的隶属度，具体计算方法为：依次计算gi与seti中n个攻击图的4个特征距离dk(gi，gj)，如果都满足距离小于阈值δ1、δ2、δ3、δ4，那么就将gi加入到seti集合中。
依次对AGS中每一个攻击图进行上述聚类操作，直到分析完成所有攻击图，最终生成聚类后的攻击图集合Cluster＝{set1，set2，set3...setm}。
B5.攻击场景挖掘，对于聚类后的攻击图集合set＝{g1，g2，g3...gn}进行挖掘，将集合中的所有的节点和节点间的关系合成为一个图作为攻击场景。
4.根据权利要求1所述的利用蜜罐报警日志的攻击场景挖掘方法，其特征在于，步骤C进一步包括以下步骤：
C1.定义表示点o和点p之间的距离，k-distance为第k距离，Nk(p)≥k为p的第k邻域点的个数；p点的第k可达公式为reach-distancek(p，o)＝max{d(p，o)，k-distance(o)}；利用上述定义公式可得p的局部可达密度为
Figure FSA0000182752620000024
最后得到p的局部利群因子表示为
Figure FSA0000182752620000031
其中LOF的值越高，表明利群程度越高，越有可能是异常点。
C2.度量LOF的攻击图优先级，首先利用图的四个特征值进行距离计算
Figure FSA0000182752620000032
利用C1中的第k可达距离公式计算攻击图gj到gi的第k可达距离，接着利用上述公式以依次计算图gj的局部可达密度和攻击图的局部离群因子。
其中，LOF的值可能为0到无穷大，所以采用将LOF值映射到0到1之间的方法来确定攻击图的优先级，公式为
Figure FSA0000182752620000033
认为计算出的值越高，该攻击图越异常，越应该给予更多的关注。
CN201910374167.7A 2019-05-06 2019-05-06 一种利用蜜罐告警日志挖掘多步攻击场景的方法 Pending CN111901137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910374167.7A CN111901137A (zh) 2019-05-06 2019-05-06 一种利用蜜罐告警日志挖掘多步攻击场景的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910374167.7A CN111901137A (zh) 2019-05-06 2019-05-06 一种利用蜜罐告警日志挖掘多步攻击场景的方法

Publications (1)

Publication Number Publication Date
CN111901137A true CN111901137A (zh) 2020-11-06

Family

ID=73169569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910374167.7A Pending CN111901137A (zh) 2019-05-06 2019-05-06 一种利用蜜罐告警日志挖掘多步攻击场景的方法

Country Status (1)

Country Link
CN (1) CN111901137A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468347A (zh) * 2020-12-14 2021-03-09 中国科学院信息工程研究所 一种云平台的安全管理方法、装置、电子设备及存储介质
CN113132414A (zh) * 2021-05-08 2021-07-16 北京邮电大学 一种多步攻击模式挖掘方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468347A (zh) * 2020-12-14 2021-03-09 中国科学院信息工程研究所 一种云平台的安全管理方法、装置、电子设备及存储介质
CN112468347B (zh) * 2020-12-14 2022-02-25 中国科学院信息工程研究所 一种云平台的安全管理方法、装置、电子设备及存储介质
CN113132414A (zh) * 2021-05-08 2021-07-16 北京邮电大学 一种多步攻击模式挖掘方法

Similar Documents

Publication Publication Date Title
CN111565205B (zh) 网络攻击识别方法、装置、计算机设备和存储介质
CN112738015B (zh) 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法
CN108076040B (zh) 一种基于杀伤链和模糊聚类的apt攻击场景挖掘方法
Song et al. Toward a more practical unsupervised anomaly detection system
CN110474885B (zh) 基于时间序列与ip地址的报警关联分析方法
CN112333195B (zh) 基于多源日志关联分析的apt攻击场景还原检测方法及系统
CN113821793B (zh) 基于图卷积神经网络的多阶段攻击场景构建方法及系统
CN111709022B (zh) 基于ap聚类与因果关系的混合报警关联方法
CN113422763B (zh) 基于攻击场景构建的报警关联分析方法
CN113904881B (zh) 一种入侵检测规则误报处理方法和装置
CN112468487B (zh) 实现模型训练的方法、装置、实现节点检测的方法及装置
Juvonen et al. An efficient network log anomaly detection system using random projection dimensionality reduction
CN111224984B (zh) 一种基于数据挖掘算法的Snort改进方法
CN117216660A (zh) 基于时序网络流量集成异常点和异常集群检测方法及装置
CN113904795A (zh) 一种基于网络安全探针的流量快速精确检测方法
CN116915450A (zh) 基于多步网络攻击识别和场景重构的拓扑剪枝优化方法
CN111901137A (zh) 一种利用蜜罐告警日志挖掘多步攻击场景的方法
CN109067778B (zh) 一种基于蜜网数据的工控扫描器指纹识别方法
Do Xuan et al. Optimization of network traffic anomaly detection using machine learning.
Liu et al. An accuracy network anomaly detection method based on ensemble model
CN116938587A (zh) 基于溯源图行为语义提取的威胁检测方法及系统
CN113420791B (zh) 边缘网络设备接入控制方法、装置及终端设备
CN113132414B (zh) 一种多步攻击模式挖掘方法
Hachmi et al. A three-stage process to detect outliers and false positives generated by intrusion detection systems
Das et al. Serial and parallel based intrusion detection system using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Room 512-2, building 2, No. 34, Xueyuan South Road, Haidian District, Beijing 100082

Applicant after: Beijing Xin'an Software Co.,Ltd.

Address before: Room 512-2, building 2, No. 34, Xueyuan South Road, Haidian District, Beijing 100082

Applicant before: Beijing mingxin'an Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination