CN110460611B - 基于机器学习的全流量攻击检测技术 - Google Patents

基于机器学习的全流量攻击检测技术 Download PDF

Info

Publication number
CN110460611B
CN110460611B CN201910762659.3A CN201910762659A CN110460611B CN 110460611 B CN110460611 B CN 110460611B CN 201910762659 A CN201910762659 A CN 201910762659A CN 110460611 B CN110460611 B CN 110460611B
Authority
CN
China
Prior art keywords
flow
rule
vulnerability
analysis
rules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910762659.3A
Other languages
English (en)
Other versions
CN110460611A (zh
Inventor
孙波
李应博
张伟
司成祥
张建松
李胜男
毛蔚轩
盖伟麟
房婧
侯美佳
董建武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN201910762659.3A priority Critical patent/CN110460611B/zh
Publication of CN110460611A publication Critical patent/CN110460611A/zh
Application granted granted Critical
Publication of CN110460611B publication Critical patent/CN110460611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及网络检测技术领域，尤其是一种基于机器学习的全流量攻击检测技术，其步骤为：(1)获取漏洞利用数据包，捕获网络数据包；(2)提取规则，通过获取的漏洞利用的网络数据包，通过该数据包对漏洞利用的网络特征分析并进行规则提取；(3)测试规则，线下使用yara官方的规则测试工具，对提取出来的规则和捕获到的漏洞利用数据包进行测试；(4)规则应用，将测试后的规则在后续的流量分析里进行应用，对匹配该规则的会话进行告警并保存原始的流量数据包，本发明能够提升分析工作的效率，大大提高安全对抗的能力。

Description

基于机器学习的全流量攻击检测技术
技术领域
本发明涉及网络检测技术领域，具体领域为一种基于机器学习的全流量攻击检测技术。
背景技术
传统的检测模型试图找出恶意代码或恶意域名，这就导致了一项棘手的工作，即不断发现和识别一个有限数量的恶意事件。任务是无止境的，攻击者总是先行一步利用新漏洞。
为了打破这种循环，新的威胁检测模型将聚焦于识别攻击行为指标；换句话说，检测目标从确定一件事是什么，转化为它在做什么，产生什么后果。虽然攻击者可以通过对恶意软件稍加改动或购买新域名来隐藏其威胁，但攻击的行为和目标总是相似的。例如，几乎每一次攻击都必须建立某种形式的隐藏通信，以便攻击者能够协调和管理攻击。攻击还需要在内部蔓延，入侵更多的内部设备和凭据，并最终破坏资产并将敏感数据外传。
发明内容
本发明的目的在于提供一种基于机器学习的全流量攻击检测技术，以解决现有技术中网络监管不完善、网络攻击造成资产破坏并将敏感数据外传的问题。
为实现上述目的，本发明提供如下技术方案：一种基于机器学习的全流量攻击检测技术，其步骤为：
(1)获取漏洞利用数据包，捕获网络数据包；
(2)提取规则，通过获取的漏洞利用的网络数据包，通过该数据包对漏洞利用的网络特征分析并进行规则提取；
(3)测试规则，线下使用yara官方的规则测试工具，对提取出来的规则和捕获到的漏洞利用数据包进行测试；
(4)规则应用，将测试后的规则在后续的流量分析里进行应用，对匹配该规则的会话进行告警并保存原始的流量数据包。
优选的，根据步骤(1)和(2)，构造普适特征库并进行收集和分析大量的样本数据，从而提取出共性特征，该步骤的功能是收集大量的漏洞流量数据，并对这些流量数据进行包重组和包检测。
优选的，根据步骤(3)，从漏洞流量的数据字段中提取攻击特征，通过机器学习抽象得到的共性特征，再对所得的共性特征进行关联分析，得到漏洞利用的特征组合，这些组合构成普适特征库。
优选的，根据步骤(4)，对流量数据区分分析，其分析过程包括单会话流量漏洞成功触发行为分析和多会话流量漏洞成功触发行为分析。
优选的，单会话流量漏洞成功触发行为分析中单会话流量是指攻击者发送攻击流量与被攻击者向攻击者发送相应的返回流量在同一个TCP连接中，此种情况下判断漏洞成功触发，只需匹配成功触发的返回流量特征即可，其关键是构建成功触发的返回流量特征。
优选的，多会话流量漏洞成功触发行为分析中对于多会话的情况，即攻击者发送攻击流量，被攻击者向其他一个或多个用户发送流量，由于多会话情况下，同一个TCP会话中回显和攻击特征不会同时存在，只能采用数据挖掘理论中的强关联规则方法在相关联的会话中构造多维特征向量，实现检测的准确性和泛化性。
优选的，根据步骤(4)，将特征集合生成为yara规则，加入攻击流量的检测识别中，利用yara引擎搭建基于规则的分析子模块，识别和分类恶意文件样本，并支撑事件反应和取证调查工作。
优选的，分析子模块支持采用文本字符串、十六进制值数或通用描述创建规则，yara引擎遍历可疑的目录和文件来寻找匹配的目标，并用规则来检查运行的进程，能够发现未许可的文件变更，也能检测已记录的格式是否出现在未授权的地方。
与现有技术相比，本发明的有益效果是：通过对网络流量进行实时协议还原分析，对多层级流量特征进行机器学习和自动建模，在网络数据流中利用yara规则检测出漏洞利用或木马后门的网络攻击行为。改变传统的工作方式，提升分析工作的效率，大大提高安全对抗的能力。
附图说明
图1为本发明的规则获取与分析流程框图；
图2为本发明的机器学习流程示意图；
图3为本发明的应用案例一解释示例图；
图4为本发明的应用案例二流量大小图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于机器学习的全流量攻击检测技术，其步骤为：
(1)获取漏洞利用数据包，捕获网络数据包；
(2)提取规则，通过获取的漏洞利用的网络数据包，通过该数据包对漏洞利用的网络特征分析并进行规则提取；
(3)测试规则，线下使用yara官方的规则测试工具，对提取出来的规则和捕获到的漏洞利用数据包进行测试；
(4)规则应用，将测试后的规则在后续的流量分析里进行应用，对匹配该规则的会话进行告警并保存原始的流量数据包。
根据步骤(1)和(2)，构造普适特征库并进行收集和分析大量的样本数据，从而提取出共性特征，该步骤的功能是收集大量的漏洞流量数据，并对这些流量数据进行包重组和包检测。
如图1所示，根据步骤(3)，从漏洞流量的数据字段中提取攻击特征，通过机器学习抽象得到的共性特征，再对所得的共性特征进行关联分析，得到漏洞利用的特征组合，这些组合构成普适特征库，具体实现由收集攻击流量模块、机器学习抽象共性特征、关联分析构造特征集合和生成yara规则四部分组成。
机器学习特征模块
在安全领域，无规则行为模式分析关注的是行为。如图2所示，它通过关联分析、统计分析和机器学习来发现异常行为，一方面大大减轻了人工分析和排查的工作量，另一方面可以发现部分人工难以察觉的异常。
应用案例一：
例如，无规则行为分析系统能够检测出用户与服务器连接关系上的异常，主要观察对象是用户。可以使用内网流量数据、终端日志数据、数据库服务器数据，建立用户画像，进而利用机器学习的算法计算出各个用户之间的关联或相似关系，具有相似行为且关联密切的用户(图3中的圈内的灰色点)可以看作为同一个虚拟群组(图3中的圈)，一旦有用户(图3中的圈内移出线连接的点)的某些行为，如服务器登录行为、数据库访问行为与个人历史行为偏离较大，同时一该用户所在虚拟群组行为偏离较大，可检测出该用户行为异常。
应用案例二：
例如，无规则行为分析能够检测出主机流量上的异常，主要观察对象是实体。这里的流量是泛指，既可以是上传下载文件的大小、也可以是数据库被请求的情况、代理被请求的情况等。如下图所示，蓝色曲线表示某主机一种服务的流量变化情况，红色点表示检测出的异常点。通常检测流量类异常可通过规则或统计模型给出，但图4中流量大小本身并无显著变化，有变化的是流量的模式，而这种异常模式不能使用常见的周期、同频、高频等特征直接描述。这里UEBA利用机器学习算法可以自动发现流量模式上的异常，进而追溯产生异常的原因。
根据步骤(4)，对流量数据区分分析，其分析过程包括单会话流量漏洞成功触发行为分析和多会话流量漏洞成功触发行为分析。
单会话流量漏洞成功触发行为分析中单会话流量是指攻击者发送攻击流量与被攻击者向攻击者发送相应的返回流量在同一个TCP连接中，此种情况下判断漏洞成功触发，只需匹配成功触发的返回流量特征即可，其关键是构建成功触发的返回流量特征。
多会话流量漏洞成功触发行为分析中对于多会话的情况，即攻击者发送攻击流量，被攻击者向其他一个或多个用户发送流量，由于多会话情况下，同一个TCP会话中回显和攻击特征不会同时存在，只能采用数据挖掘理论中的强关联规则方法在相关联的会话中构造多维特征向量，实现检测的准确性和泛化性。
根据步骤(4)，将特征集合生成为yara规则，加入攻击流量的检测识别中，利用yara引擎搭建基于规则的分析子模块，识别和分类恶意文件样本，并支撑事件反应和取证调查工作。
分析子模块支持采用文本字符串、十六进制值数或通用描述创建规则，yara引擎遍历可疑的目录和文件来寻找匹配的目标，并用规则来检查运行的进程，能够发现未许可的文件变更，也能检测已记录的格式是否出现在未授权的地方。
大量的流量虽然能够被发现，但是如何区分其中包含的成功触发流量和不成功触发流量是目前的难题。
对于多会话的情况，即攻击者发送攻击流量，被攻击者向其他一个或多个用户发送流量。所以流量检测过程中，要综合多个会话中发现的特征，关联后进行判断得到多个具有强关联性的组合，形成漏洞流量特征集合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于机器学习的全流量攻击检测方法，其特征在于：其步骤为：
（1）获取漏洞利用数据包，捕获网络数据包；
（2）提取规则，通过获取的漏洞利用的网络数据包，通过该数据包对漏洞利用的网络特征分析并进行规则提取；
（3）测试规则，线下使用yara官方的规则测试工具，对提取出来的规则和捕获到的漏洞利用数据包进行测试；
（4）规则应用，将测试后的规则在后续的流量分析里进行应用，对匹配该规则的会话进行告警并保存原始的流量数据包；
根据步骤（1）和（2），构造普适特征库并进行收集和分析大量的样本数据，从而提取出共性特征，该步骤的功能是收集大量的漏洞流量数据，并对这些流量数据进行包重组和包检测；
根据步骤（3），从漏洞流量的数据字段中提取攻击特征，通过机器学习抽象得到的共性特征，再对所得的共性特征进行关联分析，得到漏洞利用的特征组合，这些组合构成普适特征库；
根据步骤（4），对流量数据区分分析，其分析过程包括单会话流量漏洞成功触发行为分析和多会话流量漏洞成功触发行为分析；
单会话流量漏洞成功触发行为分析中单会话流量是指攻击者发送攻击流量与被攻击者向攻击者发送相应的返回流量在同一个TCP连接中，此种情况下判断漏洞成功触发，只需匹配成功触发的返回流量特征即可，其关键是构建成功触发的返回流量特征；
多会话流量漏洞成功触发行为分析中对于多会话的情况，即攻击者发送攻击流量，被攻击者向其他一个或多个用户发送流量，由于多会话情况下，同一个TCP会话中回显和攻击特征不会同时存在，只能采用数据挖掘理论中的强关联规则方法在相关联的会话中构造多维特征向量，实现检测的准确性和泛化性。
2.根据权利要求1所述的基于机器学习的全流量攻击检测方法，其特征在于：根据步骤（4），将特征集合生成为yara规则，加入攻击流量的检测识别中，利用yara引擎搭建基于规则的分析子模块，识别和分类恶意文件样本，并支撑事件反应和取证调查工作。
3.根据权利要求2所述的基于机器学习的全流量攻击检测方法，其特征在于：分析子模块支持采用文本字符串、十六进制值数或通用描述创建规则，yara引擎遍历可疑的目录和文件来寻找匹配的目标，并用规则来检查运行的进程，能够发现未许可的文件变更，也能检测已记录的格式是否出现在未授权的地方。
CN201910762659.3A 2019-08-16 2019-08-16 基于机器学习的全流量攻击检测技术 Active CN110460611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910762659.3A CN110460611B (zh) 2019-08-16 2019-08-16 基于机器学习的全流量攻击检测技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910762659.3A CN110460611B (zh) 2019-08-16 2019-08-16 基于机器学习的全流量攻击检测技术

Publications (2)

Publication Number Publication Date
CN110460611A CN110460611A (zh) 2019-11-15
CN110460611B true CN110460611B (zh) 2022-01-11

Family

ID=68487515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910762659.3A Active CN110460611B (zh) 2019-08-16 2019-08-16 基于机器学习的全流量攻击检测技术

Country Status (1)

Country Link
CN (1) CN110460611B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274094B (zh) * 2020-02-04 2023-09-26 上海携程商务有限公司 接口预警方法、系统、设备及存储介质
US20220164449A1 (en) * 2020-11-20 2022-05-26 Sophos Limited Classifer generator
CN113518073B (zh) * 2021-05-05 2022-07-19 东南大学 一种比特币挖矿僵尸网络流量的快速识别方法
CN115051870B (zh) * 2022-06-30 2024-02-06 浙江网安信创电子技术有限公司 一种基于因果发现检测未知网络攻击的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853277A (zh) * 2010-05-14 2010-10-06 南京信息工程大学 一种基于分类和关联分析的漏洞数据挖掘方法
CN105022960A (zh) * 2015-08-10 2015-11-04 济南大学 基于网络流量的多特征移动终端恶意软件检测方法及系统
CN107070851A (zh) * 2015-11-09 2017-08-18 韩国电子通信研究院 基于网络流的连接指纹生成和垫脚石追溯的系统和方法
CN107092830A (zh) * 2017-06-09 2017-08-25 武汉虹旭信息技术有限责任公司 基于流量分析的ios恶意软件预警和检测系统及其方法
CN107273747A (zh) * 2017-05-22 2017-10-20 中国人民公安大学 勒索软件检测的方法
CN107819783A (zh) * 2017-11-27 2018-03-20 深信服科技股份有限公司 一种基于威胁情报的网络安全检测方法及系统
CN108718296A (zh) * 2018-04-27 2018-10-30 广州西麦科技股份有限公司 基于sdn网络的网络管控方法、装置与计算机可读存储介质
KR20190028597A (ko) * 2017-09-08 2019-03-19 (주)피즐리소프트 Fpga 기반 고속 스노트 룰과 야라 룰 매칭 방법
CN109684835A (zh) * 2017-10-18 2019-04-26 卡巴斯基实验室股份制公司 使用机器学习来检测恶意文件的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3222024A1 (en) * 2014-11-21 2017-09-27 Bluvector, Inc. System and method for network data characterization

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853277A (zh) * 2010-05-14 2010-10-06 南京信息工程大学 一种基于分类和关联分析的漏洞数据挖掘方法
CN105022960A (zh) * 2015-08-10 2015-11-04 济南大学 基于网络流量的多特征移动终端恶意软件检测方法及系统
CN107070851A (zh) * 2015-11-09 2017-08-18 韩国电子通信研究院 基于网络流的连接指纹生成和垫脚石追溯的系统和方法
CN107273747A (zh) * 2017-05-22 2017-10-20 中国人民公安大学 勒索软件检测的方法
CN107092830A (zh) * 2017-06-09 2017-08-25 武汉虹旭信息技术有限责任公司 基于流量分析的ios恶意软件预警和检测系统及其方法
KR20190028597A (ko) * 2017-09-08 2019-03-19 (주)피즐리소프트 Fpga 기반 고속 스노트 룰과 야라 룰 매칭 방법
CN109684835A (zh) * 2017-10-18 2019-04-26 卡巴斯基实验室股份制公司 使用机器学习来检测恶意文件的系统和方法
CN107819783A (zh) * 2017-11-27 2018-03-20 深信服科技股份有限公司 一种基于威胁情报的网络安全检测方法及系统
CN108718296A (zh) * 2018-04-27 2018-10-30 广州西麦科技股份有限公司 基于sdn网络的网络管控方法、装置与计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于分布式的僵尸网络主动探测方法研究;司成祥;《通信学报 》;20130830;全文 *

Also Published As

Publication number Publication date
CN110460611A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110460611B (zh) 基于机器学习的全流量攻击检测技术
CN108471429B (zh) 一种网络攻击告警方法及系统
CN108683687B (zh) 一种网络攻击识别方法及系统
CN106909847B (zh) 一种恶意代码检测的方法、装置及系统
CN108881265B (zh) 一种基于人工智能的网络攻击检测方法及系统
CN108881263B (zh) 一种网络攻击结果检测方法及系统
CN108833186B (zh) 一种网络攻击预测方法及装置
Qin et al. DDoS attack detection using flow entropy and clustering technique
EP2040435A1 (en) Intrusion detection method and system
CN108833185B (zh) 一种网络攻击路线还原方法及系统
CN113691566B (zh) 基于空间测绘和网络流量统计的邮件服务器窃密检测方法
Herrero et al. A neural-visualization IDS for honeynet data
CN109951419A (zh) 一种基于攻击链攻击规则挖掘的apt入侵检测方法
CN112261033A (zh) 基于企业内网的网络安全防护方法
Chen et al. Intrusion detection using a hybrid support vector machine based on entropy and TF-IDF
Almotairi et al. A technique for detecting new attacks in low-interaction honeypot traffic
CN112153062B (zh) 基于多维度的可疑终端设备检测方法及系统
JP2004312083A (ja) 学習データ作成装置、侵入検知システムおよびプログラム
CN112261034A (zh) 基于企业内网的网络安全防护系统
Aswani et al. Topic modeling of SSH logs using latent dirichlet allocation for the application in cyber security
Song et al. A comprehensive approach to detect unknown attacks via intrusion detection alerts
CN115987687A (zh) 网络攻击取证方法、装置、设备及存储介质
Huang et al. Application of type-2 fuzzy logic to rule-based intrusion alert correlation detection
Xiu-yu A model of online attack detection for computer forensics
Ban 3-3 Data Mining Applied to Darknet Traffic Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant