CN100414868C - 大规模分布式入侵检测系统的实时数据融合方法 - Google Patents

Abstract

本发明为大规模分布式入侵检测系统的实时数据融合方法。在大规模高速网络中，入侵检测系统一般采用分层的分布式结构，通过分散采集、分布处理和集中管理，满足了大规模高速网络的需求。在一个大型网络中可以配置多个入侵检测系统，每个入侵检测系统负责网络的一部分，还可以配置一些如防火墙等其它安全部件。为了获得入侵的全局视图，要求这些安全部件能够协同工作。本发明提出一种大规模分布式网络情况下的入侵检测告警实时融合方法(如附图所示)，通过“聚类—合并—关联”三个步骤实现对告警的融合，目标是产生大规模环境下的告警，同时提高单个入侵检测的检测率，降低它们的虚警率，最终为安全管理人员提供简练精确的告警。

Description

大规模分布式入侵检测系统的实时数据融合方法

技术领域

本发明属于网络安全领域，具体涉及大规模分布式入侵检测系统之中告警的一种实时融合方法。

背景技术

以Internet为代表的全球性信息化浪潮日益深化，信息网络技术的应用正日益普及和广泛，应用层次正在深入，应用领域从传统的、小型业务系统逐渐向大型、关键业务系统扩展，典型的如党政部门信息系统、金融业务系统、企业商务系统等。伴随网络的普及，安全日益成为影响网络效能的重要问题，而Internet所具有的开放性、国际性和自由性在增加应用自由度的同时，对安全提出了更高的要求，这主要表现在：

开放性的网络，导致网络的技术是全开放的，任何一个人、团体都可能获得，因而网络所面临的破坏和攻击可能是多方面的。例如：可能来自物理传输线路的攻击，也可以对网络通信协议和实现实施攻击；可以是对软件实施攻击，也可以对硬件实施攻击。

国际性的一个网络还意味着网络的攻击不仅仅来自本地网络的用户，它可以来自Internet上的任何一个机器，也就是说，网络安全所面临的是一个国际化的挑战。

自由性意味着网络最初对用户的使用并没有提供任何的技术约束，用户可以自由地访问网络，自由地使用和发布各种类型的信息。用户只对自己的行为负责，而没有任何的法律限制。

尽管开放的、自由的、国际化的Internet的发展给政府机构、企事业单位带来了革命性的改革和开放，使得他们能够利用Internet提高办事效率和市场反应能力，以便更具竞争力，通过Internet，他们可以从异地取回重要数据，同时又要面对网络开放带来的数据安全的新挑战和新危险。如何保护企业的机密信息不受黑客和工业间谍的入侵，已成为政府机构、企事业单位信息化健康发展所要考虑的重要事情之一。

高度发达的网络伴随着高风险，网络安全问题越来越受到人们的关注。已经比较成熟的防火墙技术存在着弊端，比如后门、内部攻击、实时性以及对病毒的防范。入侵检测系统(IDS，Intrusion Detection System)作为一种主动防御策略，可以弥补防火墙的不足，为网络安全提供实时的入侵检测并采取相应的防护手段。

随着网络规模的不断扩大，网络攻击手段也在不断发展，例如分布式拒绝服务攻击造成了巨大的经济损失并且以目前的技术手段难以防范，这时候，基于主机以及小规模网络的入侵检测系统显示了其局限性，而将入侵检测系统应用于大规模高速网络成为入侵检测系统研究的新的立足点。为了能够应用于大规模高速网络并检测分布式攻击，入侵检测系统一般采用分层的分布式结构，通过分散采集、分布处理和集中管理，满足了大规模高速网络的需求。我们称这种应用于大规模高速网络的入侵检测系统为大规模分布式入侵检测系统。

发明内容

本发明的目的在于提供一种大规模分布式入侵检测系统的实时数据融合方法，实现的目标是产生大规模环境下的告警，同时提高单个入侵检测的检测率，降低它们的虚警率，最终为安全管理人员提供简练精确的告警。

在一个大型网络中可以配置多个入侵检测系统，每个入侵检测系统负责网络的一部分。为了获得入侵的全局视图，要求这些入侵检测系统能够协同检测。采用协同检测的方法可以把基于特征检测和基于异常检测的IDS(Intrusion Detection System)结合起来检测入侵，能够达到取长补短的目的。多个系统协同检测能够得出全局的检测结果，比起单个IDS的检测结果，该结果更切实际、更准确。

本发明提出的大规模分布式入侵检测系统的实时数据融合方法，如图1所示。

图1中提到的一些名词，解释如下：

低级告警：IDS、防火墙、防病毒软件或其他安全部件产生的告警；

告警簇：一组低级告警的集合，一个集合称为一个告警簇；同一告警簇中的低级告警对象彼此类似，不同告警簇中的低级告警对象彼此相异。

中级告警：告警簇合并形成的告警，一个告警簇对应一个中级告警；

高级告警：经过数据融合部件后形成的高层次的告警；

聚类：将多个相似程度较高的低级告警聚类形成一个或多个告警簇的过程称为聚类；

合并：将一个告警簇变成一个中级告警的能力；合并功能的目的是创建新告警，它包含该告警簇中的各种有代表性的信息；

关联：将多个中级告警关联成一个高级告警的能力；入侵者通常不能只进行一次攻击就能达到要他要达到的恶意目的，传统的IDS只检测对应入侵计划步骤的基本攻击，即低级告警，关联功能的目标是关联告警从而识别入侵者当前执行的入侵计划，向安全管理员提供更综合的信息；

聚类模块：具有聚类功能的模块；

合并模块：具有合并功能的模块；

关联模块：具有关联功能的模块；

下面详细说明聚类、合并和关联功能。

1.聚类

先介绍聚类模块，它是对不同IDS或其它安全部件产生的告警进行聚类，该模块是用来检测和聚类不同IDS对同一个攻击的告警。假设：IDS、防火墙或其他安全部件产生的告警都符合IDMEF的格式；不同IDS或其他安全部件产生的低级告警将存放到聚类模块的缓冲数据库中。当新的低级告警到来的时候，要遍历缓冲数据库查找与新的告警具有连接关系的告警。关键问题是定义两个告警之间的相似关系，只有那些相似程度比较高的告警才进行聚类。对于入侵检测中告警的相似关系计算，可以采用基于专家系统的方法和基于概率的方法。我们采用基于概率的方法。

基于概率的方法提供了一个统一的数学框架，对于那些非常匹配但不是完全匹配的告警进行关联。对于每个特征都定义一个相似函数，总的相似度是由相似期望值来度量，最小相似度可以由一些特定或者所有的特征来确定。对于那些合并的告警，它们的特征必须匹配，或者匹配程度满足最小相似度。

我们处理的数据对象为初级告警，它们均是IDMEF中定义的Alert类的实例。我们假设分析n个初级告警数据对象，每个对象可以用p个属性变量来表示，如源地址、目的地址、协议类型、时间、数量等等。这些数据结构是关系表的形式，可以用下式(1)所示的n×p的数据矩阵来表示：

$\left[\begin{array}{ccccc}{x}_{11}& ...& x_{1f}& ...& x_{1p}\\ ...& ...& ...& ...& ...\\ x_{i1}& ...& x_{\mathrm{if}}& ...& x_{\mathrm{ip}}\\ ...& ...& ...& ...& ...\\ x_{n1}& ...& x_{\mathrm{nf}}& ...& x_{\mathrm{np}}\end{array}\right]---\left(1\right)$

其中x_if表示第i个初级告警数据对象的第f个属性变量。

相异度矩阵：存储n个低级告警对象两两之间的近似性，用下式(2)所示n×n矩阵表示：

$\left[\begin{array}{ccccc}0& & & & \\ d\left(\mathrm{2,1}\right)& 0& & & \\ d\left(\mathrm{3,1}\right)& d\left(\mathrm{3,2}\right)& 0& & \\ ...& ...& ...& & \\ d(n,1)& d(n,2)& ...& ...& 0\end{array}\right]---\left(2\right)$

其中d(i，j)是低级告警对象i和对象j之间相异性的量化表示，通常它是一个非负数，当对象i和j越相似或越接近，其值就越接近0；两个对象越不同，其值越大。而且显然，d(i，j)＝d(j，i)且d(i，i)＝0，因此相异度矩阵对角线的值全为0，左上角值不用再列出。

对于相异度的计算，我们做如下考虑，两个初级告警对象的相异度由构成它们的p个属性的相异度计算得到。下面我们先分别介绍不同类型属性相似度的计算方法，然后我们会给出初级告警对象相异度的计算公式。

初级告警对象的属性类型可以有如下几种：数值型变量、布尔型变量、枚举型变量。

1)数值型变量

数值型变量是一个连续的变量，如时间、数量。对于数值型变量可以采用如下几种度量方法：欧几里得距离、曼哈坦距离和明考斯基距离，最常用的是欧几里得距离，定义如下：

$d(i,j)=\sqrt{{|x_{i1}-x_{j1}|}^2+{|x_{i2}-x_{j2}|}^2+\mathrm{\Λ}+{|x_{\mathrm{ip}}-x_{\mathrm{jp}}|}^2}---\left(3\right)$

其中对象i＝(x_i1，x_i2，Λ，x_ip)，对象j＝(x_j1，x_j2，Λ，x_jp)，它们是两个包含p维数值型变量的对象。

曼哈坦距离定义如下：

d(i，j)＝|x_i1-x_j1|+|x_i2-x_j2|+Λ+|x_ip-x_jp|       (4)

明考斯基距离是上述两种距离的概化描述，定义如下：

$d(i,j)=\sqrt[1/q]{{|x_{i1}-x_{j1}|}^q+{|x_{i2}-x_{j2}|}^q+\mathrm{\Λ}+{|x_{\mathrm{ip}}-x_{\mathrm{jp}}|}^q}---\left(5\right)$

这里我们使用加权的欧几里得距离来表示：

$d(i,j)=\sqrt{w_1{|x_{i1}-x_{j1}|}^2+w_2{|x_{i2}-x_{j2}|}^2+\mathrm{\Λ}+w_p{|x_{\mathrm{ip}}-x_{\mathrm{jp}}|}^2}---\left(6\right)$

其中w_f表示不同属性占的权重。

2)布尔型变量：

布尔型变量只有两个状态：0或1。评价两个对象i和j之间相异度，我们采用著名的简单匹配系数法，定义如下：

$d(i,j)=\frac{r+s}{q+r+s+t}---\left(7\right)$

其中q是对象i和j都为1的变量的数目，t是对象i和j都为0的变量的数目，r是对象i值为1而对象j值为0的变量的数目，s是对象i值为0而对象j值为1的变量的数目。

3)枚举型变量：

枚举型变量跟布尔型变量不同，有多个取值。两个对象i，j之间的相异度可以用简单匹配的方法来计算：

$d(i,j)=\frac{p-m}{p}---\left(8\right)$

其中m是匹配的数目，即对象i和j取值相同的变量的数目，而p是全部枚举型变量的数目。

初级告警对象相异度计算方法：

假设初级告警对象i，j分别包含p个不同类型的属性，对象i和对象j之间的相异度d(i，j)定义为：

$d(i,j)=\frac{\underset{f=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}{w}^{\left(f\right)}{d}_{\mathrm{ij}}^{\left(f\right)}}{\underset{f=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}}---\left(9\right)$

其中p为对象i和j中属性的个数之和，f是p个属性中的某一个。w^(f)表示属性f在对象相似度中的权值，δ_ij ^(f)是一个指示项，它的取值为0或者1。d_ij ^(f)是对象i和对象j在f属性上的相异度。

如果对象x_if或者x_jf至少缺少一个，即对于属性f，低级告警i或者j没有该属性f，此时 ${\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}=0;$ 如果x_if＝x_jf＝0，且属性f是不对称的二元变量，则指示项 ${\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}=0;$ 否则 ${\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}=1.$

属性f对i和j之间相异度的计算方式与它的具体类型有关：

如果f是布尔型变量：当x_if＝x_jf时， $d_{\mathrm{ij}}^{\left(f\right)}=0;$ 否则 $d_{\mathrm{ij}}^{\left(f\right)}=1;$

如果f是数值型变量， $d_{\mathrm{ij}}^{\left(f\right)}=\frac{|x_{\mathrm{if}}-x_{\mathrm{jf}}|}{{\max }_h{x}_{\mathrm{hf}}-{\min }_h{x}_{\mathrm{hf}}},$ 其中h表示所有包含属性f的对象；

这样，针对包含不同类型的属性变量的初级告警，它们之间的相异度便可以计算出来，相异度不大于某一设定的阈值的低级告警被分为一组，这样聚类模块完成了对低级告警的分组，聚类功能可以用下面的谓词表示，cluster_alert(clusterid，alertid)。

2.合并

前面提到，聚类模块完成了对低级告警的分组，聚类功能可以用下面的谓词表示，cluster_alert(clusterid，alertid)。上式表明：一个低级告警alertid属于告警簇clusterid。合并是对每一个告警簇生成一个中级告警，表示如下：cluster_global_alert(clustered，alertid)。生成的中级告警要包含聚类中告警簇的大部分信息。

下面我们给出合并聚类，生成中级告警的过程。假设插入了一个新的低级告警alertid。存在两种可能：(1)如果告警簇中没有与alertid相似的告警，就生成一个中级告警。这种情况下的中级告警就只有alertid。(2)如果alertid可以插入到已有的告警簇中，就要更新该告警簇和它所对应的中级告警。并且在插入一个新的低级告警可能会导致几个已有的告警簇合并成一个新的告警簇。例如，一个新的低级告警如果同时属于两个已知的告警簇，在插入新的低级告警后，需要对插入低级告警的两个告警簇进行合并，生成两个新的中级告警，这时候两个新的中级告警可能存在相似关系，这两个中级告警可能属于同一个告警簇，这时就出现多个告警簇合并成一个新的告警簇的情形。

2.1对攻击的Classifications属性进行合并

对攻击的Classifications属性进行合并的中心问题就是生成告警的classification属性的全局值。该属性是描述与告警相关的攻击。这种情况下，专家规则可以简单的定义为某个classification值是聚类中要合并的所有告警的classification值。一定要避免冗余：保证一个攻击只出现一次。

2.2合并攻击的Sources/Targets属性

生成中级告警的Sources和Targets属性的值，这些属性描述了攻击的源和目标。给定两个要合并的告警sources：source1和source2，存在两种情形：

source1和source2的节点地址和用户名字、进程名和服务名相同的情况下，就考虑对source1和source2进行合并，在中级告警中生成唯一的source属性。

source1和source2的节点地址和用户名字、进程名和服务名不同的情况下，要把source1和source2的信息都包含在中级告警的source属性中。

Target的合并过程与source的合并过程非常相似。需要注意的是同一个source和target只能在中级告警的source属性和target属性中出现一次。

2.3合并时间信息

前面已经提到，在DTD中IDMEF定义了三个时间属性：

Detectiontime：攻击发生的时间。对Detectiontime的合并，定义了时间段[下限，上限]，下限是告警簇中Detectiontime最早的时间，上限是最晚的时间。下限用作中级告警的Detectiontime，上限添加到中级告警的附加数据属性中去。

Createtime：检测到攻击的时间。Createtime合并与Detectiontime的合并方法类似。下限用作中级告警的Createtime，上限添加到中级告警的附加数据属性中去。

Analyzertime：协同系统发布告警的时间。约定为系统时钟的时间，在中级告警的Analyzertime生成的时候协同系统必须参考系统时钟的时间。

3.关联

有两种关联方法：

当安全管理员能辨别事件间的联系时使用显式关联。该联系可以是基于不同告警之间联系知识的逻辑链接，也可以是根据信息系统组件拓扑结构的链路。此类关联需要管理员拥有先验知识。

当数据分析能得出事件间的映射关系时使用隐式关联。这个方法主要基于告警的观察组和他们间隐含的联系。

3.1显式关联

显式关联通过使用谓词attack_correlation(Attack1，Attack2)和alert_correlation(Alert1，Alert2)来实现。但这种方法存在一些缺陷，因为用人工来确定关联规则相当烦杂。

3.2隐式关联

关联规则可以用Petri图来表示，这些关联规则形成一个关联规则库。当该过程收到一个新的告警Alert1，它将做如下处理。

假设Alert1和Alert2关联。在第一步中，我们检查是否有其他告警存储在数据库中，并且其关联也在关联库中。如果告警Alert2和Alert1潜在关联，则用相应的关联规则检查是否满足关联条件。结果形成一个告警对集合，这些告警对集合中的一个成员为Alert1。对于集合中的每个对，我们应用一个算法来检查这个对是否对应一个现有的过程。如果不是，则生成一个新过程。例如，假设有一个存在三个告警(alert1，alert2，alert3)的过程。假设收到了alert4，在线关联过程生成一个对(alert3，alert4)。此时，就生成了一个更长的过程(alert1，alert2，alert3，alert4)。

对于每个连续的过程，在线关联过程生成一个特殊的称作“高级告警”的告警，该告警完全符合IDMEF格式，该告警的“关联告警”域对应一个关联告警列表(列表中元素有先后顺序之分)，通过使用合并功能合并相关联的告警中包含的数据从而生成告警中的其他域。

本发明主要是针对大规模分布式入侵检测系统告警融合而提出的一种机制。大规模分布式入侵的特征主要有以下几点：

涉及的范围广泛：通常被攻击者攻陷的主机遍布于不同子网中或不同地域，甚至是全球性的攻击。

攻击速度快：攻击者攻陷多主机后，攻击的规模成倍增长，攻击的规模扩展速度非常高。

数据流量大：被攻陷主机同时发出攻击行为时，网络中的数据量非常庞大，甚至阻塞整个网络。

分布式主要体现在对分布式攻击的检测以及数据的分布式采集。

由于大规模分布式入侵本身的特点，导致大规模分布式入侵检测的工作并不能由一个简单的系统完成，而需要整个网络中的安全部件相互协同工作来检测，不同区域内的入侵检测系统协同工作进行检测。

本发明提出这种基于“聚类——合并——关联”三个步骤的数据融合方法，实现了不同的安全部件之间的协作，通过协作，可以获得更准确的高级告警。因为入侵者通常不能只进行一次攻击就能达到要他要达到的恶意目的，传统的IDS只检测对应入侵计划步骤的基本攻击，即低级告警，关联功能的目标是关联告警从而识别入侵者当前执行的入侵计划，向安全管理员提供更综合的信息可以产生大规模环境下的告警，同时提高单个入侵检测的检测率，降低它们的虚警率，最终为安全管理人员提供简练精确的告警。

本发明提出的数据融合方法具有很好的扩展性，非常适合大规模分布式入侵检测系统的特点。针对不同的系统规模可以采用不同数量的数据融合模块，因为我们的高级告警和低级告警都是采用统一的格式，均符合IDMEF的Alert类的定义，这样一个数据融合模块产生的高级告警可以作为另一个数据融合模块的低级告警，这样可以在更高层面上进行进一步的融合。具体实施方式中将举一个三级数据融合模块集成的例子(如图2所示)。

附图说明

图1：大规模分布式入侵检测告警实时数据融合方法图；

图2：多个数据融合模块的集成图。

具体实施方式

本发明提出的数据融合方法具有很好的扩展性，非常适合大规模分布式入侵检测系统的特点，针对不同的系统规模可以采用不同数量的数据融合模块。

1)小型网络

对于一个较小的网络环境来说，如小于100台计算机的企业网，那么采用如图1所示的一个数据融合部件就可以满足要求。

2)大型网络

对于大规模的分布式网络环境，如中国教育网，它拥有上百万台计算机，那么部署数据融合模块，需要作一些准备工作：第一步：将按域对网络进行划分：以网络安全授权的区域性为原则，将一个大的网络分为多个安全域，每个域中放置一个数据融合模块；第二步，选取一种合适的方式对这些数据融合模块进行组织，建议采用树形结构的集成方式由底层向上，逐层实现。如图所示：将一个大规模网络分成n个安全域，每个域中放置一个融合模块，并且融合模块采用三层树型结构，下层的告警作为上层融合模块的输入，上层融合模块将产生更高一级的告警，如图，共产生I级、II级和III级高级告警。

另，对本发明中提到的一些参数的设置可以作如下考虑：

式(9)中相异度d(i，j)定义中：w^(f)的一种分配方案可以是：对数值型变量使用较高的权值如0.8，对布尔型变量使用较低的权限如0.2，δ_ij ^(f)是一个指示项，它的取值为0或者1。

同时判断低级告警是否能属于一组，决定于设定的阈值，如果相异度不大于这个设定的阈值，那么这些低级告警可以被分为一组，因此这个阈值的设定对聚类结果的影响很大，为了产生合理的阈值，阈值可以通过在具体的实验环境下对聚类模块进行训练得到。

Claims (3)

1. 一种大规模分布式入侵检测系统的实时数据融合方法，通过“聚类——合并——关联”三个步骤实现对告警的融合，其特征在于：聚类是通过计算低级告警的相异度，将多个相似程度较高的低级告警放到一起，形成一个或多个告警簇，合并是将一个告警簇变成一个新的中级告警，这个新告警包含原告警簇中的各种有代表性的信息，关联是利用关联规则将多个中级告警关联成一个高级告警的过程，通过聚类、合并、关联过程后，最终生成高级告警，并提供给安全管理员，其中对于相异度的计算，采用基于概率的方法：这里告警的形式符合IDMEF的格式，每一个低级告警由多个特征表示，对于每个特征都定义一个相似函数，对于n个初级告警数据对象，每个对象用p个属性变量来表示，用下式(1)所示n×p矩阵来表示：

$\left[\begin{array}{ccccc}{x}_{11}& ...& x_{1f}& ...& x_{1p}\\ ...& ...& ...& ...& ...\\ x_{i1}& ...& x_{\mathrm{if}}& ...& x_{\mathrm{ip}}\\ ...& ...& ...& ...& ...\\ x_{n1}& ...& x_{\mathrm{nf}}& ...& x_{\mathrm{np}}\end{array}\right]---\left(1\right)$

其中p个属性变量包括源地址、目的地址、协议类型、时间、数量，x_if表示第i个初级告警数据对象的第f个属性变量；

相异度矩阵：存储n个低级告警对象两两之间的近似性，用下式(2)所示n×n矩阵表示：

$\left[\begin{array}{ccccc}0& & & & \\ d\left(\mathrm{2,1}\right)& 0& & & \\ d\left(\mathrm{3,1}\right)& d\left(\mathrm{3,2}\right)& 0& & \\ ...& ...& ...& & \\ d(n,1)& d(n,2)& ...& ...& 0\end{array}\right]---\left(2\right)$

初级告警对象相异度计算方法：

假设初级告警对象i，j分别包含p个不同类型的属性，对象i和对象j之间的相异度d(i，j)定义为：

$d(i,j)=\frac{\underset{f=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}{w}^{\left(f\right)}{d}_{\mathrm{ij}}^{\left(f\right)}}{\underset{f=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}}---\left(9\right)$

其中p为对象i和j中属性的个数之和，f是p个属性中的某一个，w^(f)表示属性f在对象相似度中的权值，可以反映出告警中不同属性的重要程度，它是一个0到1之间的实数，δ_ij ^(f)是一个指示项，它的取值为0或者1，d_ij ^(f)是对象i和对象j在f属性上的相异度，如果对象x_if或者x_jf至少缺少一个，即对于属性f，低级告警i或者j没有该属性f，此时 ${\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}=0,$ 如果x_if＝x_jf＝0，且属性f是不对称的二元变量，则指示项 ${\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}=0,$ 否则 ${\mathrm{\δ}}_{\mathrm{ij}}^{\left(f\right)}=1,$

属性f对i和j之间相异度的计算方式与它的具体类型有关：

如果f是布尔型变量：当x_ij＝x_jf时， $d_{\mathrm{ij}}^{\left(f\right)}=0,$ 否则 $d_{\mathrm{ij}}^{\left(f\right)}=1,$

如果f是数值型变量， $d_{\mathrm{ij}}^{\left(f\right)}=\frac{|x_{\mathrm{ij}}-x_{\mathrm{ij}}|}{{\max }_h{x}_{\mathrm{hf}}-{\min }_h{x}_{\mathrm{hf}}},$ 其中h表示所有包含属性f的对象，这样，针对包含不同类型的属性变量的初级告警，它们之间的相异度便可以计算出来，相异度不大于某一设定的阈值的低级告警被分为一组，这样聚类模块完成了对低级告警的分组。

2. 如权利要求1所述的大规模分布式入侵检测系统的实时数据融合方法，其特征在于：合并过程是对每一个告警簇生成一个中级告警，生成的中级告警要包含聚类中告警簇的大部分信息。

3. 如权利要求1所述的大规模分布式入侵检测系统的实时数据融合方法，其特征在于：关联过程是利用关联规则将多个中级告警转换成一个高级告警的过程，有两种关联方法：当安全管理员能辨别事件间的联系时使用显式关联，此类关联需要管理员拥有先验知识；当数据分析能得出事件间的映射关系时使用隐式关联，关联规则用有向Petri图来表示，这些关联规则形成一个关联规则库，当该过程收到一个新的中级告警时，检查是否有其他告警存储在数据库中，并且其关联也在关联库中，如果与已出现的中级告警存在关联关系，则用相应的关联规则判定是否满足关联条件，结果形成一个告警对集合，对于集合中的每个对，我们应用匹配算法来检查这个对是否对应一个现有的高级告警的过程，如果不是，则生成一个新过程，否则就生成一个更长的过程。

Images