CN102150394A - 确定发出最多数据流的主机的系统与方法 - Google Patents

Abstract

公开了在高速网络中确定发出最多数据流的主机的系统和方法。所述方法可包括：对一定时段中来自主机的多个数据包抽样；根据被抽样的数据包确定每一个主机的计数值和计数误差之间的差值；根据确定的差值排列所述多个主机，以从中识别出第一组主机；以及从所述第一组主机选择第二组主机作为发出最多数据流的主机。

Description

确定发出最多数据流的主机的系统与方法

相关申请的交叉引用

该申请要求2008年9月30日提交的第61/101,522号美国临时申请的优先权，其全部内容通过引用并入本文。

技术领域

本申请涉及确定高速网络上的发出最多数据流的主机的系统和方法。

背景技术

高效准确地识别在一定时段内传播最多数据流的主机(即，最大传播者)，对管理网络和研究应用层上的主机行为(从查出DDoS攻击、蠕虫传播、对等网络热点到瞬间拥塞)是非常重要的。目前的现有技术还不能高效准确地以超高链路速度(例如10到40Gbps)识别发出最多数据流的主机。

已经开展了很多用于网络管理、安全和增进对互联网及其发展的更好理解的业务统计工作。数据流的大小分布和其发源地有助于网络配置服务和业务规划设计。发现含有多个数据包的数据流对计费和核算是有用的。研究也显示数据流层通信模式可进一步揭示每个主机的应用层行为。

为了分辨主机是否是发出最多数据流的主机，根据在本领域的一个已知的方法，总是需要测试主机的数据流数是否在门限之上。然而，很难固定这样的门限。即使固定了门限，也将出现太多或太少的发出最多数据流的主机。对于多数情况，应该是仅仅对少数几个发出最多数据流的主机及其准确数据流数更感兴趣。然而，现有技术未能准确地识别大型网络中超高速链路上的发出最多数据流的主机，例如，ISP主干链路发生的在10Gbps到40Gbps范围的速度，主机总数量大约几十万，并且总数据流约几百万。

发明内容

本申请旨在提出一种系统和方法来不仅可准确地识别发出最多数据流的主机，而且可准确地估计发出最多数据流的主机的传播基数，即每个被识别的发出最多数据流的主机的数据流数。

根据一个实施方式，公开了一种确定多个主机中的发出最多数据流的主机的系统，包括：

标识器，接收一定时段内来自所述多个主机的多个数据包，并包括：

差值确定单元，根据所接收的数据包确定每个主机的计数值与计数误差之间的差值；以及

识别单元，根据所确定的差值排列所述多个主机，以从中识别出第一组主机；以及

估计器，从所述第一组主机中选择第二组主机作为所述发出最多数据流的主机。

根据另一个实施方式，公开一种从多个主机中确定发出最多数据流的主机的方法，包括：

对一定时段中来自主机的多个包抽样；

根据被抽样的包确定每一个主机的计数值和计数误差之间的差值；

根据确定的差值排列所述多个主机，以从中识别出第一组主机；以及

从所述第一组主机选择第二组主机作为发出最多数据流的主机。

根据本发明的一个实施方式，可以运行在最高速度链路(即40Gpbs)上。可用非常有限的存储器处理百万数据流和数十万主机，比如，只需700KB存储器就能满足8M数据流和200K主机。在识别出的最大的20个传播者中，几乎没有错误，并且这些发出最多数据流的主机的估计的数据流数的相对误差通常约为3％，而且，数据流数量分布越不均匀，该相对误差会更小。现有技术无法达到这样高效率和准确性。本方法易于由普通的硬件支持实施，并高效率地提供非常准确的信息以有助于在超高速大型网络上的应用。

附图说明

图1是示出根据本申请一个实施方式的确定发出最多数据流的主机的系统的框图；

图2是概要地示出如图1所示系统的标识器(identifier)的结构的框图；

图3是概要地示出如图1所示系统的估计器的结构的框图；

图4是概要地示出如图1所示系统的过滤器的结构的框图；

图5是概要地示出具有用于如图1所示系统的数据结构的体系结构的系统框图，其中，出于简明的目的省去了其中的一些单元；

图6是概要地示出计算主机s最终数据流数的方法的流程图；

图7是概要地示出调整主机s的数据流数的算法的流程图；以及

图8是概要地示出根据本申请的一个实施方式的确定发出最多数据流的主机的方法的流程图。

具体实施方式

以下将参照附图对本申请的实施方式进行详细描述。

图1为用于确定高速网络上多个主机中的发出最多数据流的主机的系统1000包括标识器10和估计器20。

标识器10接收网络中的c台主机在一定时段内通过数据流发送的数据包，其中c是主机的数量。主机和数据流的标识信息(即主机ID和流ID)可以由数据包头(header)中字段的任意组合来限定，例如，IP地址、端口、协议和TCP标识。在一个具体实施方式中，源地址s被用作主机ID，并且流ID由5元组(tiple)f＝<srcIP，destIP，srcPort，destPort，proto>表示。本领域技术人员应该理解本发明并不限于此，数据包头的其他字段也可用于分别表示主机ID和流ID。

标识器10包括哈希表101、最小堆(min-heap)102、计数单元103、差值确定单元104、识别单元105和更新单元106。

如图2所示，哈希表101中的节点的关键字是主机ID，并且哈希表101中的节点的值是最小堆102中该节点对应的位置。最小堆102的每个节点都有三个字段，即主机ID、计数值、和计数误差。在一个周期的开始，堆102中与计数值和计数误差相关的所有字段设置为零。

对每一个到达的主机ID为s和流ID f的数据包，计数单元103通过哈希表101检查当前s是否被标识器10计数，即，检查s是否作为关键字存在于哈希表101中。

如果s存在于哈希表101中，则差值确定单元104通过以下等式计算主机ID为s的主机的数据流数M_s：

M_s＝count_s-err_s       1)

然后，识别单元105确定M_s是否在估计的门限T₂之上。通常，估计的门限T₂可被设置为一个小整数，例如2-5。如果M_s在估计的门限T₂之上，则识别单元105确定具有M_s的主机是潜在的超级传播者，在此之后识别单元105将更新命令发送到估计器20以执行更新程序，这将在下文描述。

在预计的测量周期的结束处，识别单元105根据所计算的数据流数以升序或降序对数据流数在T₂之上的所有主机进行排列。所排列的主机中的前2k个或后2k个主机被识别为潜在的发出最多数据流的主机，其中k是整数。虽然理论上k可以选自从1至主机的总数，但当涉及网络管理和安全时，这里只考虑k是一个小数值常数的情况，例如10或20。

如图2所示，标识器10还配置有用以更新哈希表101和堆102的更新单元106，这将在下文进行描述。

估计器20用于从由标识器10确定的前2k个潜在的发出最多数据流的主机中选择前k个主机。

估计器20包括第一计数器201，第一计数器201配置有w×n个计数单元(n列，每列有w个计数单元)，例如，每个计数单元分别由5位表示。

如图3所示，除第一计数器201以外，估计器20还包括第一选择单元202、估计单元203、第一确定单元204、第一调整单元205、第二调整单元206、第二确定单元207、第二选择单元208和更新单元209。更新单元209用于对第一计数器201更新。

首先参照图6描述对具有单元201-208的主机s的数据流数进行估计的方法，稍后描述更新单元的更新方法。

参见图6，在步骤S601中，对于主机ID为s的主机，第一选择单元202基于ID s从第一计数器201中选择l列对应的计数单元。在该具体实施方式中，出于说明的目的，选择三列(即，l＝3)计数单元。

如图5中所示，第一选择单元202配置有l个计算单元。不同的计算单元可使用不同的哈希函数(这些哈希函数可计算例如32位哈希结果)，并且每个计算单元利用哈希函数以根据下述等式从第一计数器201中选择一列计数单元。

column_s＝h_i(s)  其中i＝1到l            2)

其中，column_s表示所选择的计数单元的列，输入参数是主机ID s。

在步骤S602中，通过下述等式，估计单元203从同一级别中被选中的三列(Mh1(s)[i]，Mh2(s)[i]和Mh3(s)[i])中选择最小一列作为估算的计数值

Ms[i]＝min(Mh1(s)[i]，Mh2(s)[i]，Mh3(s)[i])其中i＝1到w  3)

在步骤S603中，例如，估计单元203通过以下等式估计数据流Ms，

M_s＝α_w×w²×(∑_i＝1 ^w2^-Ms[i])^-1，其中i＝1到w    4)

其中α_w表示偏移修正参数。例如，如在2007年6月的算法分析国际会议(International Conference on Analysis of Algorithms；AofA’07)上P.弗拉若莱(P.Flajolet)等人在“对一种近优选的基数估计算法的分析(Hyperloglog：The analysis of a near-optimal cardinality estimation algorithm)”中所提出的，α_w的值可以近似为0.72134。在步骤S604中，第一确定单元204确定估计的数值M_s是否小于例如2.5w，其中w是在第一计数单元201中每个列中的在计数单元的数量。如果第一确定单元204确定估计的数值M_s小于2.5w，则第一调整单元205使用图7所示的算法调整M_s，这将在下文进行描述。否则，M_s不需要调整。

如图7所示，在步骤S6041中，第一调整单元205通过下述等式将M_h1(s)[i]、M_h2(s)[i]、M_h3(s)[i]转换为3个位图B1、B2、B3：

B_k[i]＝0，如果M_hk(s)[i]＝0；

B_k[i]＝1，其他，其中i＝1到w    5)

在步骤S6042中，设置B4＝(B1或B2)，B5＝(B1或B3)，B6＝(B2或B3)，B7＝(B1或B2或B3)。然后在步骤S6043中，第一调整单元205将B1～B7中的空位算作E1～E7，然后在步骤S6044中确定是否E1～E7＞0。如果E1～E7＞0，则第一调整单元205在步骤S6045中按以下规则调整数字M_s。

$M_s=m(\ln \left(\frac{m}{E_1}\right)+\ln \left(\frac{m}{E_2}\right)+\ln \left(\frac{m}{E_3}\right)-\ln \left(\frac{m}{E_4}\right)-\ln \left(\frac{m}{E_5}\right)-\ln \left(\frac{m}{E_6}\right)+\ln \left(\frac{m}{E_7}\right))---6)$

返回到图6，在步骤S605中，第二调整单元206进一步将调整值1/r×T₂增加至已调整的数据流数M_s，其中r是流量采样率。

然后在步骤S606中，第二确定单元207确定已调整的数值M_s是否比另一门限2w/r小。

然后，第二选择单元208基于确定的结果选择s的数据流数，并将具有最大数据流数的前k个主机输出为发出最多数据流的主机。特别地，在已调整的数据流数M_s比2w/r小的情况下，在步骤S607中将M_s确定为s的数据流数；否则，在步骤S608中，将差值counts-errs用作s的数据流数。

再参见图1，系统100进一步包括过滤器30，过滤器30对在一定时期内来自网络中主机的数据流中的数据包进行采样，并且为每一个被采样的数据包提供一个数据流数增量用以更新标识器10。如图4所示，过滤器30配置有抽样单元301、确定单元302和过滤单元303。

抽样单元301对到达的包抽样，并根据下述等式基于流ID f计算V_f的值：

V_f＝h(f)     7)

其中，h()是均匀哈希函数，可以计算例如32位的哈希结果。

数组F的m位被分布在过滤单元303中。在采样之初，数组的所有位被设置为零。

确定单元302确定所计算的V_f是否比预定的抽样门限T₁小。如果是，那么这个包被抽样，然后过滤单元30检查F[V_f]。如果F[V_f]＝0，则设置F[V_f]＝1，并且向标识器10发送一个更新命令，以执行更新程序，其中，该更新命令中包括一个增量值。这将在下面描述。特别地，如果过滤单元303中的数组F的空位数是e，那么增量值应该是m/e。

以下将分别描述更新标识器10和估计器20的方法。

1.更新标识器10的方法

在该实施方式中，更新标识器10的方法可以使用任何已知的前k元素方法，例如，迈特瓦利(Metwally)在2006年提出的节省空间算法(Space-Saving algorithm)。特别地，提出主机s的增量值应该是m/e，然后如果s在表101中，则更新单元106操作以将堆102中的s的计数值增加m/e；或者找出最小堆102中具有最小计数值count_min的键值s_min，将最小堆102中的对应的err值设置为count_min，把count_min增加m/e，用s替换最小堆102中的ID s_min，并且用与s相对应的新节点替换在哈希表101中与s_min对应的节点。

2.更新估计器20的方法

当标识器10的识别单元103确定M_s高于估计门限T₂时，估计器20中的更新单元209选择第一选择单元202中的三个计算单元M_h1(s)、M_h2(s)和M_h3(s)，并设M_hi(s)[V_f]＝max(M_hi(s)[V_f]，ρ(V_f))，其中ρ(h(f))是V_f的二进制形式的最左边的1的位置。

以下，参照图8描述从多个主机中确定发出最多数据流的主机的方法2000。

在步骤S801中，例如，利用过滤单元30对在一定间隔时间中来自多个主机的多个数据包抽样，以及如上所述地更新估计器20。在步骤S802中，根据每个被抽样的数据包确定每个主机的计数值和计数误差之间的差值。在步骤S803中，根据确定的差值排列所有主机，以识别在所排列主机中的前2k(top-2k)个主机。在步骤S804中，从前2k主机中挑选前k(top-k)个主机作为发出最多数据流的主机，该步骤如图6所示，并且在这里省去其详细描述。

以上公开的系统1000可以由软件、硬件、固件和任何组合实施。方法2000可以例如由系统1000执行。在系统1000由软件实施的情况下，参数可以被选择为：m＝2²³，w＝256，n＝1000和c＝1000，这大约需要700KB存储器，可以安装在高速内存中，例如SRAM。

另外，因为标识器10配置有最小堆102，它需要至多2logc的存储器以更新堆102的计数值。当c＝1000时，这个值是20，因此它可使用1/16的数据流采样率，从而平均需要少于2次的存储操作，并且可以由SRAM处理40Gbps的数据流。为处理极端情况，当数据流突发并且数据流采样选择持续流时，可用小的缓存器临时保存更新信息。

而且，发明人针对多种数据(包括合成数据和真实数据流数据)进行了试验。关于识别发出最多数据流的主机几乎没有错误，估计数据流数的相对误差通常少于3％，并且数据流数量分布越不均匀，相对误差越小。我们处理的最大数据流数是8M，主机的最大数量是200K，并且存储消耗至多是700KB。

本发明不限于上述的实施方式。本领域技术人员根据本申请的技术方案获得的其他实施方式也应该落入本发明要求保护的范围内。

Claims (14)

1.一种确定多个主机中发出最多数据流的主机的系统，包括：

标识器，接收一定时段内来自所述多个主机的多个数据包，并包括：

差值确定单元，根据所接收的数据包确定每个主机的计数值与计数误差之间的差值；以及

识别单元，根据所确定的差值排列所述多个主机，以从中识别出第一组主机；以及

估计器，从所述第一组主机中选择第二组主机作为所述发出最多数据流的主机。

2.如权利要求1所述系统，其中，所述标识器进一步包括：

计数单元，对所接收的数据包计数，以得到所述计数值和所述计数误差。

3.如权利要求1所述系统，其中，所述计数值和所述计数误差被分布在所述标识器的最小堆中。

4.如权利要求1所述系统，其中，所述估计器进一步包括：

第一计数器(201)，配置有多个计数单元；

第一选择单元(202)，从所述多个计数单元中选择至少一个计数单元；

估计单元(203)，从所述至少一个计数单元中选择最小的一个计数单元，以估计所述第二组主机中每一个主机的数据流数；以及

第二选择单元(208)，根据估计的数据流数选择所述第二组主机。

5.如权利要求4所述系统，其中，所述估计器进一步包括第一确定单元(204)和第一调整单元(205)，

其中，所述第一确定单元(204)确定估计的数据流数是否比第一预定门限小，如果所述估计的数据流比第一预定门限小，则所述第一调整单元(205)调整所述估计的数据流数。

6.如权利要求4所述系统，其中，所述估计器进一步包括：

第二调整单元(206)，使用预定规则进一步调整已调整的数据流数；并且

其中，所述第二选择单元(208)根据所述已调整的数据流数来选择所述第二组主机。

7.如权利要求6所述系统，其中，所述预定规则使得所述第二调整单元(206)将调整值增加到所述已调整的数据流数，其中所述调整值与所述系统的采样率相关。

8.如权利要求6所述系统，其中，所述第二选择单元(208)按照以下规则根据所述已调整的数据流数选择所述第二组主机：

如果由所述第二调整单元(206)调整的所述已调整的数据流数比第二预定门限小，则将由所述第二调整单元(206)调整的数据流数确定为最终的数据流数；其中，所述第二门限与所述多个计数单元以及所述系统的采样率相关；否则，

将所述差值确定为最终的数据流数；以及

选择具有最大的最终数据流数的主机作为所述第二组主机。

9.如权利要求1述系统，进一步包括：

过滤器，确定来自主机的由多个数据包构成的数据流中的第一数据包，以确定所述时段。

10.如权利要求9所述系统，其中，所述过滤器进一步确定是否更新所述标识器；以及所述标识器进一步包括：

堆，保持所述多个数据包中每一个数据包的信息；以及

更新单元，根据所述过滤器的确定结果更新所述信息。

11.如权利要求4所述系统，其中，所述估计器进一步包括用于更新所述计数单元的更新单元。

12.一种从多个主机中确定发出最多数据流的主机的方法，包括：

对一定时段中来自主机的多个数据包抽样；

根据被抽样的数据包确定每一个主机的计数值和计数误差之间的差值；

根据确定的差值排列所述多个主机，以从中识别出第一组主机；以及

从所述第一组主机选择第二组主机作为发出最多数据流的主机。

13.如权利要求12所述方法，其中，所述从所述第一组主机选择第二组主机作为发出最多数据流的主机的步骤进一步包括：

计算所述第一组主机中每一主机的数据流数；

根据所计算的数据流数排列所述第一组主机；以及

从所排列的主机中选择至少一个主机作为发出最多数据流的主机。

14.如权利要求13所述方法，其中，所述计算所述第一组主机中每一主机的数据流数的步骤进一步包括：

估计所述第一组主机中的每一个主机的数据流数；

如果所估计的数据流数比第一预定值小，则调整估计的数据流数；

如果已调整的数据流数比第二预定值小，则将已调整的数据流数确定为数据流数；或者

如果已调整的数据流数大于或者等于所述第二预定值，则将所述差值确定为数据流数。

Images