CN110912767B - 一种网络流量的单点测量方法 - Google Patents

Abstract

本发明公开了一种网络流量的单点测量方法，在被测网络中，将网络中的每个交换机上部署sketch数据结构，并安装TCAM硬件设施，设定sketch的统计阈值，然后在保证所有数据包被统计的前提下，使用sketch对流量进行测量记录，同时动态分配TCAM资源，精确地测量出单个流量，最后将记录结果按照流量ID进行统计，得到最终的测量结果。

Description

一种网络流量的单点测量方法

技术领域

本发明属于网络管理技术领域，更为具体地讲，涉及一种网络流量的单点测量方法。

背景技术

现有的网络流量测量方法中，主要从提高单个节点的测量精度入手，通过数据压缩的方法实现使用较少的存储与计算资源测量流量的目的。现有方法大致可以分为两类：基于sketch的方法与基于counter的方法。

基于sketch的方法中，不记录流量的具体ID，转而通过流量矩阵对其进行记录与估计，而基于counter的方法中，记录流量的ID，通过动态的方法来准确地记录并测量大流。

TCAM(ternary content addressable memory)，是一种三态内容寻址存储器，主要用于快速查找ACL、路由等表项。TCAM提供了键值对的记录、更新、查找等功能，并且可以实现常数时间内的键值查找。

发明内容

本发明的目的在于克服现有技术的不足，提供一种网络流量的单点测量方法，利用TCAM快速准确的查找与记录能力，灵活地为分配流量，在提升流量测量速度的同时，提高了网络流量的单点测量精度。

为实现上述发明目的，本发明一种网络流量的单点测量方法，其特征在于，包括以下步骤：

(1)、被测网络的硬件处理

在被测网络中，将网络中的每个交换机上部署sketch数据结构，并安装TCAM硬件设施，设定sketch的统计阈值θ；

(2)、网络流量的单点测量

(2.1)、设置测量周期T；依次记录测量周期T内所有经过交换机的数据包，并依次提取数据包中的流量标识字段，即流量ID；

(2.2)、在TCAM中查询该流量ID，若存在，则使用对应的TCAM进行流量记录操作，得到该流量ID的记录值，然后跳转至步骤(2.5)，否则进行步骤(2.3)；

(2.3)、利用sketch记录该流量ID，并获取其在sketch中的统计值，判断该统计值是否大于θ，若小于θ，则跳转至步骤(2.5)，否则进行步骤(2.4)；

(2.4)、查询是否存在空闲的TCAM，若存在，则将该流量ID及其在sketch中的统计值记录到TCAM中，然后进入步骤(2.5)；

(2.5)、判断测量周期T内所有的流量ID是否处理完成，如果处理完成，则进入步骤(3)，否则，返回步骤(2.2)，进行下一条流量ID的单点测量；

(3)、流量统计

(3.1)、检查某一流量ID是否存在于TCAM内，若存在，则将该流量ID的测量值记为TCAM中的记录值，并结束，否则执行步骤(3.2)；

(3.2)、在sketch中查询该流量ID的统计值，并将该统计值记录为该流量ID的测量值。

本发明的发明目的是这样实现的：

本发明一种网络流量的单点测量方法，在被测网络中，将网络中的每个交换机上部署sketch数据结构，并安装TCAM硬件设施，设定sketch的统计阈值，然后在保证所有数据包被统计的前提下，使用sketch对流量进行测量记录，同时动态分配TCAM资源，精确地测量出单个流量，最后将记录结果按照流量ID进行统计，得到最终的测量结果。

同时，本发明一种网络流量的单点测量方法还具有以下有益效果：

(1)、本发明通过在交换机上部署sketch数据结构，并安装TCAM硬件设施，增加了在交换机上的测量效率，具体来说就是降低了测量单个数据包所需要的测量时间；

(2)、利用TCAM快速准确的查找与记录能力，灵活地为分配流量，在提升流量测量速度的同时，提高了网络流量的单点测量精度。

附图说明

图1是本发明一种网络流量的单点测量测量方法流程图；

图2是某一单点的流量测量示意图；

图3是另外一单点的流量测量示意图；

图4是不同单点测量方法流量测量误差对比图；

图5是不同单点测量方法大流检测准确率对比图；

图6是不同单点测量方法吞吐量对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种网络流量的单点测量测量方法流程图。

在本实施例中，如图1所示，本发明一种网络流量的单点测量方法，包括以下步骤：

S1、被测网络的硬件处理

在被测网络中，将网络中的每个交换机上部署sketch数据结构，sketch采用CountMin Sketch(CM Sketch)，并安装TCAM硬件设施，设定sketch的统计阈值θ；

S2、网络流量的单点测量

S2.1、设置测量周期T；依次记录测量周期T内所有经过交换机的数据包，并依次提取数据包中的流量标识字段，即流量ID；

S2.2、在TCAM中查询该流量ID，若存在，则使用对应的TCAM进行流量记录操作，得到该流量ID的记录值，然后跳转至步骤S2.5，否则进行步骤S2.3；

S2.3、利用sketch记录该流量ID，并获取其在sketch中的统计值，判断该统计值是否大于θ，若小于θ，则跳转至步骤S2.5，否则进行步骤S2.4；

S2.4、查询是否存在空闲的TCAM，若存在，则将该流量ID及其在sketch中的统计值记录到TCAM中，然后进入步骤S2.5；

S2.5、判断测量周期T内所有的流量ID是否处理完成，如果处理完成，则进入步骤S3，否则，返回步骤S2.2，进行下一条流量ID的单点测量；

在本实施例中，如图2所示，当数据包B到达时，先通过它的流量ID在TCAM中查找匹配项，如果有匹配项，则直接在相应的表项上进行计数，得到该流量ID的记录值；

如图3所示，当一个数据包C到达时，如果在TCAM中没有找到匹配项，则将它插入到CM Sketch中，插入完成后，并查询它在CM Sketch中的统计值即v＝min(c1,c2,c3,c4)，如果v>θ，那么就将数据包C的流量ID和它的统计值v添加到TCAM中。

S3、流量统计

S3.1、检查某一流量ID是否存在于TCAM内，若存在，则将该流量ID的测量值记为TCAM中的记录值，并结束，否则执行步骤S3.2；

S3.2、在sketch中查询该流量ID的统计值，并将该统计值记录为该流量ID的测量值。

实例

从CAIDA上下载下一个约10万条流的网络流数据集，将每个数据包插入单点测量系统中，按照本发明进行测量，同时采用CMSketch、Elastic Sketch方法进行测量；通过将3种单点测量方案估计出的流量矩阵与真实流量矩阵进行比较，统计出误差、吞吐量和大流检测准确度，其中误差由图4所示，大流检测准确度由图5所示，吞吐量由图6所示。其中heavy part表示本发明中的TCAM个数或Elastic Sketch中的heavy part个数，light part表示CM Sketch中计数器的总数；另外CM表示只采用CM Sketch的测量方案，ES表示ElasticSketch使用的测量方案，TCAM表示本发明使用的测量方案。

图4统计了所有流中前20％大的流(因为大流的误差是流量测量中更加关注的点)的相对均方根误差RRMSE，(a)表示heavy part固定为20000时，变化light part的测量误差曲线，(b)表示light part固定为400000时，变化heavy part的测量误差曲线。

图5统计了所有流中大流检测的准确度，(a)表示heavy part固定为20000时，变化light part的大流检测准确度曲线，(b)表示light part固定为400000时，变化heavy part的大流检测准确度曲线。

图6统计了三种方法的吞吐量，(a)表示heavy part固定为20000时，变化lightpart的吞吐量曲线，(b)表示light part固定为400000时，变化heavy part的吞吐量曲线。

从图4-图6中可以看出只使用CM Sketch的测量方案在测量误差和吞吐量方面都是最差的，而Elastic Sketch和本发明的测量方案在误差上相差不多，但是吞吐量方面，本发明的测量方案就大得多。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种网络流量的单点测量方法，其特征在于，包括以下步骤：

(1)、被测网络的硬件处理

在被测网络中，将网络中的每个交换机上部署sketch数据结构，并安装TCAM硬件设施，设定sketch的统计阈值θ；

(2)、网络流量的单点测量

(2.1)、设置测量周期T；依次记录测量周期T内所有经过交换机的数据包，并依次提取数据包中的流量标识字段，即流量ID；

(2.2)、在TCAM中查询该流量ID，若存在，则使用对应的TCAM进行流量记录操作，得到该流量ID的记录值，然后跳转至步骤(2.5)，否则进行步骤(2.3)；

(2.3)、利用sketch记录该流量ID，并获取其在sketch中的统计值，判断该统计值是否大于θ，若小于θ，则跳转至步骤(2.5)，否则进行步骤(2.4)；

(2.4)、查询是否存在空闲的TCAM，若存在，则将该流量ID及其在sketch中的统计值记录到TCAM中，然后进入步骤(2.5)；

(2.5)、判断测量周期T内所有的流量ID是否处理完成，如果处理完成，则进入步骤(3)，否则，返回步骤(2.2)，进行下一条流量ID的单点测量；

(3)、流量统计

(3.1)、检查某一流量ID是否存在于TCAM内，若存在，则将该流量ID的测量值记为TCAM中的记录值，并结束，否则执行步骤(3.2)；

(3.2)、在sketch中查询该流量ID的统计值，并将该统计值记录为该流量ID的测量值。

Images