CN105471882A - 一种基于行为特征的网络攻击检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于行为特征的网络攻击检测方法及装置，涉及信息安全技术领域。本发明技术要点：步骤1：收集各类安全设备输出的原始安全信息；并将所述原始安全信息转换为统一格式的安全事件；步骤2：根据各个字段内容对所述安全事件进行分类；步骤3：对源IP地址及目的IP地址均相同的且发生在一次监测时期内的各类安全事件按照事件产生时间的先后顺序进行排序得到安全事件组合；查找安全事件关联规则库中是否具有相同的安全事件组合，若具有则认为目的IP地址对应的主机遭受到攻击并进行告警；若不具有则将这些安全事件存入关联规则挖掘数据库中。

Description

一种基于行为特征的网络攻击检测方法及装置

技术领域

本发明涉及信息安全技术领域，尤其是一种基于行为特征的网络攻击检测方法。

背景技术

在互联网迅速普及当中，人们在感受网络所带来的便利的同时，也面临着各种各样的进攻和威胁：机密泄漏、数据丢失、网络滥用、身份冒用、非法入侵等数据表明，我国有63.6％的企业用户处于“高度风险”级别，每年因网络泄密导致的经济损失高达上百亿。

随着计算机网络及相关技术的发展，网络攻击产生的速度越来越快、规模越来越大、自动化程度越来高，如蠕虫病毒、DDos攻击、僵尸网络等已给网络的正常使用带来了极大的威胁。

目前，基于网络行为分析的攻击检测方法主要有以下几种：

(1)基于概率统计的网络行为分析

基于概率统计的方法通过对用户行为进行抽样统计，对其稳定的网络行为进行统计分析。该方法基于概率统计理论，应用较早，是目前最有流行的网络行为分析方法。其优点是它的理论基础概率统计已非常成熟。但在实际应用中，不同的网络用户其操作习惯及其行为很复杂，简单的概率统计难以给出精确匹配的网络行为模式，因此其恶意攻击代码的阀值难以确定，易造成误报、漏报。

(2)基于机器学习的网络行为分析方法

基于机器学习的方法通过模仿人的学习原理，建立学习系统，并对机器进行学习训练，能够识别用户网络行为特征。其主要研究内容是建立学习系统，并通过大量的样本学习训练。目前主要的方法有归纳法、神经网络、遗传算法等。遗传算法作为人工智能的一个独立分支，基于大量样本进行学习训练，能够描述复杂的行为模式，其行为模型匹配程度高，因此误报率低，检测速度快。但由于该方法需要大量的样本，当用户行为发生变化时，无法及时更新匹配。

(3)基于神经网络的网络行为分析

神经网络在网络行为分析中的应用成为了一个研究热点，该方法能够很好描述复杂的非线性问题，并能通过学习训练进行系统更新，该方法与统计理论相比，能够更好地匹配用户行为模式，抗干扰能力强，且具有更快的分析速度。其缺点是需要确定各因素间的拓扑结构以及各因素之间的权重，这在实际操作中很难确定。

(4)基于数据挖掘的网络行为分析方法

数据挖掘方法擅长从大量关系复杂的数据中提取数据特征，因此比较适用于网络用户的复杂行为。近年来，数据挖掘在网络行为分析中的应用也成为了一个研究热点。数据挖掘方法在恶意代码检测中的应用主要是聚类分析和关联规则，其主要优点是误警率低、适应能力好、可以减轻数据过载。但同时它也存在检测模型实时性实施困难、学习和评价计算成本高、系统需要大量的训练数据等缺点。

针对网络攻击行为的检测，目前主要采用特征匹配、模式匹配和规则匹配算法，只能实现对已知攻击行为的检测，而对于未知或变种攻击的检测目前主要是通过蜜罐技术、基于异常的入侵检测技术等。基于蜜罐的检测技术在如何准确高效地对大量复杂数据进行行之有效的自动数据分析机制，无法有效地进行未知及变种攻击的检查。而基于异常的入侵检测技术，很难实现对网络行为的正确建模，漏检率和误检率很高。

对于大规模的网络攻击行为检测，目前很多系统借用了入侵检测的方法，还有一些结合蜜罐、日志统计等方法来发现攻击。但这些方法通常是基于不同的安全需求和目标独立开发，多局限于单一的主机或网络架构，系统间缺乏互用性，对大规模的网络攻击检测能力明显不足。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种高准确率及能够识别未知攻击的基于行为特征的网络攻击检测方法及装置。

本发明公开的基于行为特征的网络攻击检测方法，包括：

步骤1：收集各类安全设备输出的原始安全信息；并将所述原始安全信息转换为统一格式的安全事件；所述安全事件至少包含事件产生时间字段、事件标识号字段、事件类型字段、源IP地址字段及目的IP地址字段；

步骤2：根据各个字段内容对所述安全事件进行分类；

步骤3：对源IP地址及目的IP地址均相同的且发生在一次监测时期内的各类安全事件按照事件产生时间的先后顺序进行排序得到安全事件组合；查找安全事件关联规则库中是否具有相同的安全事件组合，若具有则认为目的IP地址对应的主机遭受到攻击并进行告警；若不具有则将这些安全事件存入关联规则挖掘数据库中；

其中，安全事件关联规则库是这样生成及定期更新的：定期统计关联规则挖掘数据库内关联规则挖掘数据库若干个源IP地址及目的IP地址均相同的不同类的安全事件在该统计时间内按照固定顺序先后发生的次数；将次数大于设定阈值的安全事件组合作为安全事件关联规则存入安全事件关联规则库中；清空关联规则挖掘数据库。

进一步，所述安全设备至少包括防火墙、入侵检测系统、漏洞库、杀毒软件及主机监控系统。

进一步，所述安全事件的字段还包括：安全设备标识号、源端口、目的端口、网络协议类型、优先级及可信度。

所述步骤1还包括合并冗余安全事件的步骤及去除错误的安全事件的步骤；

其中合并冗余安全事件的步骤包括：

步骤11：判断两个安全事件的事件标识号、安全设备标识号、事件类型、源IP地址、目的IP地址、源端口、目的端口及网络协议类型是否均相同，若是则将这两条安全事件的其他字段内容进行合并得到一条安全事件；合并的具体做法是：将两条安全事件的优先级字段内容同时作为合并后安全事件的优先级；取两条安全事件中较高的可信度为合并后安全事件的可信度；

去除错误的安全事件的步骤包括：

步骤12：首先检测并得到某目标IP地址对应的主机的漏洞库；然后将该目标IP地址的安全事件逐一与所述漏洞库进行匹配，若匹配成功则将此安全事件的可信度置为最高值，否则将该目标IP地址的对应的主机的操作系统、软件版本、端口及网络协议与所述安全事件进行匹配，若匹配成功则将此安全事件的可信度增加，若依然不匹配则将该安全事件丢弃。

步骤2进一步包括：

将安全事件各个字段内容进行量化；

利用K-means聚类算法将已有的安全事件分为k类；

当有新的安全事件到来时，计算这条安全事件与原有各聚类中安全事件的相似度；如果新安全事件与某聚类安全事件的相似程度大于设定的经验阀值，则将这一安全事件增加到该聚类当中；如果新安全事件与多个聚类的安全事件的相似程度都大于所述经验阀值，那么将这些聚类合并为同一聚类，同时把新的安全事件加入其中；如果新安全事件与任何一个聚类的安全事件的相似程度都达不到所述经验阀值，则将该安全事件创建为新的聚类。

本发明还提供了一种基于行为特征的网络攻击检测装置，包括：

安全事件获取单元，用于收集各类安全设备输出的原始安全信息；并将所述原始安全信息转换为统一格式的安全事件；所述安全事件至少包含事件产生时间字段、事件标识号字段、事件类型字段、源IP地址字段及目的IP地址字段；

安全事件分类单元，用于根据各个字段内容对所述安全事件进行分类；

组合攻击识别及告警单元，用于对源IP地址及目的IP地址均相同的且发生在同一次监测时期内的各类安全事件按照事件产生时间的先后顺序进行排序得到安全事件组合；查找安全事件关联规则库中是否具有相同的安全事件组合，若具有则认为目的IP地址对应的主机遭受到攻击并进行告警；若不具有则将这些安全事件存入关联规则挖掘数据库中；

安全事件关联规则库生成及定期更新单元，用于定期统计关联规则挖掘数据库内若干个源IP地址及目的IP地址均相同的不同类的安全事件在该统计时间内按照固定顺序先后发生的次数；将次数大于设定阈值的安全事件组合作为新的安全事件关联规则存入安全事件关联规则库中；清空关联规则挖掘数据库。

所述安全事件获取单元还包括冗余安全事件合并单元及错误安全事件去除单元；

其中冗余安全事件合并单元进一步包括：

冗余安全事件识别单元，用于判断两个安全事件的事件标识号、安全设备标识号、事件类型、源IP地址、目的IP地址、源端口、目的端口及网络协议类型是否均相同，若是则认为这两条安全事件互为冗余；

合并单元，用于将互为冗余的安全事件的其他字段内容进行合并得到一条安全事件；合并的具体做法是：将互为冗余的安全事件的优先级字段内容同时作为合并后安全事件的优先级；取互为冗余的安全事件中较高的可信度为合并后安全事件的可信度；

错误安全事件去除单元包括：

漏洞库获取单元，用于检测并得到某目标IP地址对应的主机的漏洞库；

漏洞库匹配单元，用于将该目标IP地址的安全事件逐一与所述漏洞库进行匹配，若匹配成功则将此安全事件的可信度置为最高值；否则调用主机属性匹配单元；

主机属性匹配单元，用于将该目标IP地址的对应的主机的操作系统、软件版本、端口及网络协议与所述安全事件进行匹配，若匹配成功则将此安全事件的可信度增加，若依然不匹配则将该安全事件丢弃。

安全事件分类单元进一步包括：

字段量化单元，用于将安全事件各个字段内容进行量化；

原聚类形成单元，用于利用K-means聚类算法将已有的安全事件分为k类；

安全事件归类单元，用于当有新的安全事件到来时，计算这条安全事件与原有各聚类中安全事件的相似度；如果新安全事件与某聚类安全事件的相似程度大于设定的经验阀值，则将这一安全事件增加到该聚类当中；如果新安全事件与多个聚类的安全事件的相似程度都大于所述经验阀值，那么将这些聚类合并为同一聚类，同时把新的安全事件加入其中；如果新安全事件与任何一个聚类的安全事件的相似程度都达不到所述经验阀值，则将该安全事件创建为新的聚类。

由于采用了上述技术方案，本发明的有益效果是：

1.检测效率高

本发明在对安全事件进行关联规则匹配前，利用相似度计算对冗余或重复告警事件进行合并，同时，设定过滤规则对错误或虚假告警事件进行滤除，大大降低了用于关联规则匹配的安全事件数量，提高了后续关联规则匹配的处理效率。

2.误报率低

本发明通过收集防火墙、入侵检测系统、漏洞库、杀毒软件、主机监控系统等多种安全设备的数据进行联合检测，并对各个安全事件进行融合、聚类，可大大降低误报率。

3.具备对未知攻击的检测能力

本发明定期挖掘安全事件之间的内在联系，从而发现未知攻击行为，形成新的关联规则，更新关联规则库，因此本发明还具备未知攻击的检测能力。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明方法实施流程图。

图2为步骤1的实施流程。

图3为步骤3的实施流程。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本实施例描述一个具体的基于行为关联的网络攻击检测方法包括以下步骤，参见图1：

步骤1：

本发明采用安全设备获取原始的安全信息，所述安全设备包括但不限于防火墙、入侵检测系统、漏洞库、杀毒软件、主机监控系统等。其中，入侵检测系统可以是Snort，漏洞库可使用OSVDB漏洞数据库和SnortIDS-Nessus漏洞关联表，杀毒软件可采用360杀毒软件，主机监控系统可采用OVALInterpret。

对各类安全设备检测到的安全信息进行统一格式化，例如将各安全信息转换为IDMEF格式。本实施例中，安全事件格式字段包含事件产生时间、事件标识号、事件类型、源IP地址及目的IP地址。在一个优选实施例中，还包括安全设备标识号、源端口、目的端口、网络协议类型、优先级及可信度。对安全事件的格式化可采用在设备上安装代理程序，向安全设备发送格式模板，传感器根据格式模板对安全信息进行封装得到安全事件，参见图2。

步骤2：

对已经获取到的安全事件进行聚类，具体可采用聚类算法采用K-means算法。

先将各个安全事件的字段内容进行量化。

然后利用K-means聚类算法将已有的安全事件库分为k类。

距离度量采用欧几里德公式，其计算简单、运行速度快，且支持多维空间检索，欧几里德公式如下：

$dis(x_1,c_1)=\sqrt{{(x_1-c_1)}^2+\mathrm{...}+{(x_n-c_n)}^2}.$

为了体现不同字段内容的重要程度，在一个优选的实施例中，给不同的字段内容赋予不同的权重，即基于加权的欧几里德公式对过滤后的数据进行距离度量，公式具体如下：

$dis(x_1,c_1)=\sqrt{w_1{(x_1-c_1)}^2+\mathrm{...}+w_n{(x_n-c_n)}^2};$

其中，x₁＝{x₁，x₂，…，x_n}，c1＝{c₁，c₂，…，c_n}表示量化后的安全事件的各个字段内容，w_i为对应的权值。

其中k的取值根据实际的数据样本进行自适应选取：

用于当有新的安全事件到来时，计算这条安全事件与原有各聚类中安全事件的相似度；如果新安全事件与某聚类安全事件的相似程度大于设定的经验阀值，则将这一安全事件增加到该聚类当中；如果新安全事件与多个聚类的安全事件的相似程度都大于所述经验阀值，那么将这些聚类合并为同一聚类，同时把新的安全事件加入其中；如果新安全事件与任何一个聚类的安全事件的相似程度都达不到所述经验阀值，则将该安全事件创建为新的聚类。

步骤3：

对源IP地址及目的IP地址均相同的且发生在一次监测时期内的不同类安全事件按照事件产生时间的先后顺序进行排序得到安全事件组合；查找安全事件关联规则库中是否具有相同的安全事件组合，若具有则认为目的IP地址对应的主机遭受到攻击并进行告警。若不具有则将这些安全事件存入关联规则挖掘数据库中。

例如发现针对同一源IP地址及同一目的IP地址在一次监测时期内，依次发生了A类安全事件、B类安全事件及C类安全事件；而关联规则库中存在这样一条关联规则：rule1→rule2→rule3。若接收到的A类安全事件与规则中的rule1相匹配，B类安全事件与rule2匹配，C类安全事件与rule3匹配，则判断出目标IP地址对应的主机遭受某种组合攻击，进行告警。

其中，关联规则库是这样生成并定时更新的：每隔一段时间便统计关联规则挖掘数据库中若干个源IP地址及目的IP地址均相同的不同类的安全事件在该统计时间内按照固定顺序先后发生的次数；将次数大于设定阈值的安全事件组合作为新的安全事件关联规则存入安全事件关联规则库中，删除关联规则挖掘数据库。参见图3。

例如，在一定时期内关联规则挖掘数据库中存储了三条源IP地址及目的IP地址均相同的安全事件，其中安全事件1属于A类，安全事件2属于B类，安全事件3属于C类。通过数据挖掘，发现安全事件2发生后安全事件3发生这一组合的次数达到4次，安全事件3发生后安全事件1发生这一组合的次数为1。而设定阈值为2，那么认为安全事件2发生后安全事件3发生这一组合为一条新的关联规则，将其存入关联规则库中。本次关联规则挖掘完成后便清空关联规则挖掘数据库，以便下次挖掘规则使用。

在另一实施例中，为了提高检测效率，对安全事件进行冗余合并及去错。

对冗余安全事件进行合并的具体做法是：

判断两个安全事件的事件标识号、安全设备标识号、事件类型、源IP地址、目的IP地址、源端口、目的端口及网络协议类型是否均相同，若是则将这两条安全事件的其他字段内容进行合并得到一条安全事件；合并的具体做法是：将两条安全事件的优先级字段内容同时作为合并后安全事件的优先级；取两条安全事件中较高的可信度为合并后安全事件的可信度。

去除错误的安全事件的步骤包括：

首先检测并得到某目标IP地址对应的主机的漏洞库；然后将该目标IP地址的安全事件逐一与所述漏洞库进行匹配，若匹配成功则将此安全事件的可信度置为最高值，否则将该目标IP地址的对应的主机的操作系统、软件版本、端口及网络协议与所述安全事件进行匹配，若匹配成功则将此安全事件的可信度增加，若依然不匹配则将该安全事件丢弃。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于行为特征的网络攻击检测方法，其特征在于，包括：

步骤1：收集各类安全设备输出的原始安全信息；并将所述原始安全信息转换为统一格式的安全事件；所述安全事件至少包含事件产生时间字段、事件标识号字段、事件类型字段、源IP地址字段及目的IP地址字段；

步骤2：根据各个字段内容对所述安全事件进行分类；

步骤3：对源IP地址及目的IP地址均相同的且发生在同一次监测时期内的各类安全事件按照事件产生时间的先后顺序进行排序得到安全事件组合；查找安全事件关联规则库中是否具有相同的安全事件组合，若具有则认为目的IP地址对应的主机遭受到攻击并进行告警；若不具有则将这些安全事件存入关联规则挖掘数据库中；

其中，安全事件关联规则库是这样生成及定期更新的：定期统计关联规则挖掘数据库内若干个源IP地址及目的IP地址均相同的不同类的安全事件在该统计时间内按照固定顺序先后发生的次数；将次数大于设定阈值的安全事件组合作为新的安全事件关联规则存入安全事件关联规则库中；清空关联规则挖掘数据库。

2.根据权利要求1所述的一种基于行为特征的网络攻击检测方法，其特征在于，所述安全设备至少包括防火墙、入侵检测系统、漏洞库、杀毒软件及主机监控系统。

3.根据权利要求1所述的一种基于行为特征的网络攻击检测方法，其特征在于，所述安全事件的字段还包括：安全设备标识号、源端口、目的端口、网络协议类型、优先级及可信度。

4.根据权利要求3所述的一种基于行为特征的网络攻击检测方法，其特征在于，所述步骤1还包括合并冗余安全事件的步骤及去除错误的安全事件的步骤；

其中合并冗余安全事件的步骤包括：

步骤11：判断两个安全事件的事件标识号、安全设备标识号、事件类型、源IP地址、目的IP地址、源端口、目的端口及网络协议类型是否均相同，若是则将这两条安全事件的其他字段内容进行合并得到一条安全事件；合并的具体做法是：将两条安全事件的优先级字段内容同时作为合并后安全事件的优先级；取两条安全事件中较高的可信度为合并后安全事件的可信度；

去除错误的安全事件的步骤包括：

步骤12：首先检测并得到某目标IP地址对应的主机的漏洞库；然后将该目标IP地址的安全事件逐一与所述漏洞库进行匹配，若匹配成功则将此安全事件的可信度置为最高值，否则将该目标IP地址的对应的主机的操作系统、软件版本、端口及网络协议与所述安全事件进行匹配，若匹配成功则将此安全事件的可信度增加，若依然不匹配则将该安全事件丢弃。

5.根据权利要求1所述的一种基于行为特征的网络攻击检测方法，其特征在于，步骤2进一步包括：

将安全事件各个字段内容进行量化；

利用K-means聚类算法将已有的安全事件分为k类；

当有新的安全事件到来时，计算这条安全事件与原有各聚类中安全事件的相似度；如果新安全事件与某聚类安全事件的相似程度大于设定的经验阀值，则将这一安全事件增加到该聚类当中；如果新安全事件与多个聚类的安全事件的相似程度都大于所述经验阀值，那么将这些聚类合并为同一聚类，同时把新的安全事件加入其中；如果新安全事件与任何一个聚类的安全事件的相似程度都达不到所述经验阀值，则将该安全事件创建为新的聚类。

6.一种基于行为特征的网络攻击检测装置，其特征在于，包括：

安全事件获取单元，用于收集各类安全设备输出的原始安全信息；并将所述原始安全信息转换为统一格式的安全事件；所述安全事件至少包含事件产生时间字段、事件标识号字段、事件类型字段、源IP地址字段及目的IP地址字段；

安全事件分类单元，用于根据各个字段内容对所述安全事件进行分类；

组合攻击识别及告警单元，用于对源IP地址及目的IP地址均相同的且发生在同一次监测时期内的各类安全事件按照事件产生时间的先后顺序进行排序得到安全事件组合；查找安全事件关联规则库中是否具有相同的安全事件组合，若具有则认为目的IP地址对应的主机遭受到攻击并进行告警；若不具有则将这些安全事件存入关联规则挖掘数据库中；

安全事件关联规则库生成及定期更新单元，用于定期统计关联规则挖掘数据库内若干个源IP地址及目的IP地址均相同的不同类的安全事件在该统计时间内按照固定顺序先后发生的次数；将次数大于设定阈值的安全事件组合作为新的安全事件关联规则存入安全事件关联规则库中；清空关联规则挖掘数据库。

7.根据权利要求6所述的一种基于行为特征的网络攻击检测装置，其特征在于，所述安全设备至少包括防火墙、入侵检测系统、漏洞库、杀毒软件及主机监控系统。

8.根据权利要求6所述的一种基于行为特征的网络攻击监测装置，其特征在于，所述安全事件的字段还包括：安全设备标识号、源端口、目的端口、网络协议类型、优先级及可信度。

9.根据权利要求8所述的一种基于行为特征的网络攻击检测装置，其特征在于，所述安全事件获取单元还包括冗余安全事件合并单元及错误安全事件去除单元；

其中冗余安全事件合并单元进一步包括：

冗余安全事件识别单元，用于判断两个安全事件的事件标识号、安全设备标识号、事件类型、源IP地址、目的IP地址、源端口、目的端口及网络协议类型是否均相同，若是则认为这两条安全事件互为冗余；

合并单元，用于将互为冗余的安全事件的其他字段内容进行合并得到一条安全事件；合并的具体做法是：将互为冗余的安全事件的优先级字段内容同时作为合并后安全事件的优先级；取互为冗余的安全事件中较高的可信度为合并后安全事件的可信度；

错误安全事件去除单元包括：

漏洞库获取单元，用于检测并得到某目标IP地址对应的主机的漏洞库；

漏洞库匹配单元，用于将该目标IP地址的安全事件逐一与所述漏洞库进行匹配，若匹配成功则将此安全事件的可信度置为最高值；否则调用主机属性匹配单元；

主机属性匹配单元，用于将该目标IP地址的对应的主机的操作系统、软件版本、端口及网络协议与所述安全事件进行匹配，若匹配成功则将此安全事件的可信度增加，若依然不匹配则将该安全事件丢弃。

10.根据权利要求6所述的一种基于行为特征的网络攻击检测装置，其特征在于，安全事件分类单元进一步包括：

字段量化单元，用于将安全事件各个字段内容进行量化；

原聚类形成单元，用于利用K-means聚类算法将已有的安全事件分为k类；

安全事件归类单元，用于当有新的安全事件到来时，计算这条安全事件与原有各聚类中安全事件的相似度；如果新安全事件与某聚类安全事件的相似程度大于设定的经验阀值，则将这一安全事件增加到该聚类当中；如果新安全事件与多个聚类的安全事件的相似程度都大于所述经验阀值，那么将这些聚类合并为同一聚类，同时把新的安全事件加入其中；如果新安全事件与任何一个聚类的安全事件的相似程度都达不到所述经验阀值，则将该安全事件创建为新的聚类。