CN111970176B

CN111970176B - 用于IPv4和IPv6双栈网络的数据摘要方法及设备

Info

Publication number: CN111970176B
Application number: CN202011129142.XA
Authority: CN
Inventors: 罗来龙; 郭得科; 李尚森; 廖汉龙; 袁昊; 武睿
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2020-10-21
Filing date: 2020-10-21
Publication date: 2021-01-15
Anticipated expiration: 2040-10-21
Also published as: CN111970176A

Abstract

本说明书一个或多个实施例提供一种用于IPv4和IPv6双栈网络的数据摘要方法及设备；所述方法包括：利用采样策略，得到IPv4与IPv6网络流数据的基数比例；将数据摘要结构划分为第一子空间和第二子空间；利用空间分配策略，根据采样得到的基数比例，调整分配给第一子空间和第二子空间的空间大小；识别网络流包头中的版本数据，根据版本数据区分IPv4和IPv6网络流，将IPv4网络流数据压缩存储在第一子空间中，将IPv6网络流数据压缩存储在第二子空间中。本方法减少了数据摘要中的哈希冲突，避免了不同协议网络数据统计信息的相互干扰，在无额外空间开销的情况下，降低了平均相对误差，提升了数据摘要的压缩精度。

Description

用于IPv4和IPv6双栈网络的数据摘要方法及设备

技术领域

本说明书一个或多个实施例涉及数据处理技术领域，尤其涉及用于IPv4和IPv6双栈网络的数据摘要方法及设备。

背景技术

在网络测量中，利用数据摘要表示网络流数据统计信息是一种基本策略。在当前的双栈网络中，IPv4和IPv6网络流在流基数和流大小方面差异很大。

现有的数据摘要技术不考虑IPv4与IPv6数据的差异性，直接对全部网络流数据无差别压缩表示。这种策略导致：占总流量较多且流大小较大的IPv4流会由于哈希碰撞冲突导致IPv6流统计信息的过估计；占总流量较少且流大小较小的IPv6流也会给数据摘要中IPv4流的统计信息引入误差。这种不同类型流量之间不均衡异构的特性会导致不必要的误差，影响数据摘要的压缩精度。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种用于IPv4和IPv6双栈网络的数据摘要方法及设备，以解决IPv4与IPv6网络流之间的哈希碰撞冲突所导致的数据摘要压缩精度降低的问题。

基于上述目的，本说明书一个或多个实施例提供了一种用于IPv4和IPv6双栈网络的数据摘要方法，包括：

利用采样策略，得到IPv4与IPv6网络流数据的基数比例；

将数据摘要结构划分为第一子空间和第二子空间；

利用空间分配策略，根据采样得到的基数比例，调整分配给所述第一子空间和所述第二子空间的空间大小；

识别网络流包头中的版本数据，根据版本数据区分IPv4和IPv6网络流，将IPv4网络流数据压缩存储在第一子空间中，将IPv6网络流数据压缩存储在第二子空间中。

基于同一发明构思，本说明书一个或多个实施例还提供了一种用于IPv4和IPv6双栈网络的数据摘要装置，包括：

采样模块，被配置为利用采样策略，得到IPv4与IPv6网络流数据的基数比例；

数据摘要结构划分模块，被配置为将数据摘要结构划分为第一子空间和第二子空间；

空间分配模块，被配置为利用空间分配策略，根据采样得到的基数比例，调整分配给所述第一子空间和所述第二子空间的空间大小；

数据分类模块，被配置为识别网络流包头中的版本数据，根据版本数据区分IPv4和IPv6网络流，将IPv4网络流数据压缩存储在第一子空间中，将IPv6网络流数据压缩存储在第二子空间中。

基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。

基于同一发明构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任意一项所述方法。

从上面所述可以看出，本说明书一个或多个实施例提供的一种用于IPv4和IPv6双栈网络的数据摘要方法及设备，区分压缩存储IPv4与IPv6流量在物理独立的数据摘要结构中，减少了数据摘要中的哈希冲突，避免了不同协议网络数据之间统计信息的相互干扰，在没有额外空间开销的情况下，降低了平均相对误差，提升了数据摘要的压缩精度。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为真实网络数据中的流大小累积概率分布图；

图2为传统数据摘要技术流程图；

图3为本发明实施例的应用于IPv4和IPv6双栈网络的数据摘要方法流程框架图；

图4为本发明实施例的应用于IPv4和IPv6双栈网络的数据摘要方法流程图；

图5为本发明实施例的数据摘要方法，在不同真实数据集条件下，应用于4种不同摘要数据结构中，得到的性能变化图；

图6为本发明实施例的数据摘要方法，在同一真实数据集、不同计数器个数条件下，应用于4种不同摘要数据结构中，得到的性能变化图；

图7为本发明实施例的数据摘要方法，在同一合成数据集、不同计数器个数条件下，应用于CMM摘要数据结构中，得到的性能对比图；

图8为本发明实施例的数据摘要方法，在同一合成数据集、不同计数器数组个数条件下，应用于CMM摘要数据结构中，得到的性能对比图；

图9为本发明实施例的数据摘要方法，在同一真实数据集、不同计数器个数条件下，应用于CMM摘要数据结构中，得到的性能对比图；

图10为本发明实施例的数据摘要方法，在同一真实数据集、不同计数器数组个数条件下，应用于CMM摘要数据结构中，得到的性能对比图；

图11为本发明实施例的数据摘要方法，在同一合成数据集、不同计数器个数条件下，应用于CM摘要数据结构中，得到的性能对比图；

图12为本发明实施例的数据摘要方法，在同一合成数据集、不同计数器数组个数条件下，应用于CM摘要数据结构中，得到的性能对比图；

图13为本发明实施例的数据摘要方法，在同一真实数据集、不同计数器个数条件下，应用于CM摘要数据结构中，得到的性能对比图；

图14为本发明实施例的数据摘要方法，在同一真实数据集、不同计数器数组个数条件下，应用于CM摘要数据结构中，得到的性能对比图；

图15为本发明实施例的装置结构示意图；

图16为本发明实施例的电子设备结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

在当前互联网中，IPv4占主导地位，总流量较多，而IPv6总流量较少。参考图1，在真实网络数据中，IPv4流量和IPv6流量在流大小方面差异很大，超过90%的IPv6流包含少于10个数据包，大约42%的IPv4流包含多于10个数据包。可以说，大多数大流通过IPv4协议进行传输。

如背景技术部分所述，参考图2，现有的数据摘要技术不考虑IPv4与IPv6数据的差异性，直接对全部网络流数据无差别压缩表示。这种策略导致：占总流量较多且流大小较大的IPv4流会由于哈希碰撞冲突导致IPv6流统计信息的过估计；占总流量较少且流大小较小的IPv6流也会给数据摘要中IPv4流的统计信息引入误差。这种不同类型流量之间不均衡异构的特性会导致不必要的误差，影响数据摘要的压缩精度。

针对于上述现有技术存在的问题，本发明区分压缩存储IPv4与IPv6流量在物理独立的数据摘要结构中，减少了数据摘要中的哈希冲突，避免了不同协议网络数据之间统计信息的相互干扰，在没有额外空间开销的情况下，本方法降低了平均相对误差，提升了数据摘要的压缩精度。

以下，通过具体的实施例来详细说明本说明书一个或多个实施例的技术方案。

本说明书一个或多个实施例提供了一种用于IPv4和IPv6双栈网络的数据摘要方法——分类数据摘要策略(D-sketch)。本方法可以应用于现有的压缩型数据摘要结构中，包括：最小计数摘要(CM Sketch)，最小-均值计数摘要(CMM Sketch)，计数摘要(C Sketch)和最小计数-最保守更新摘要(CM-CU Sketch)，等。

参考图3、4，所述的用于IPv4和IPv6双栈网络的数据摘要方法，包括以下步骤：

步骤S1、利用采样策略，得到IPv4与IPv6网络流数据的基数比例。

本实施例中，为了适应网络流的特性，D-sketch在每次测量周期之前利用采样策略获取流量基数比例信息来适应性的调整空间分配。

具体的，D-sketch使用较少的网络流数据来估计IPv4与IPv6的比值，每一个测量周期大多在5-10分钟，通过固定采样概率的方式简化每一个测量周期前的采样过程，设定

的采样概率，在每

个网络流数据包之后保存并识别包的IP版本号。显然的，更高的采样概率会形成更高的预测精度。

根据所有保存的IP版本号，统计获得采样样本S。假设F表示在一个测量周期中所有网络流的集合，通过样本S估计集合F中IPv4和IPv6的基数比例。

步骤S2、将数据摘要结构划分为第一子空间和第二子空间。

本实施例中，第一子空间标记为Sketch4，用于压缩存储IPv4网络流数据，第二子空间标记为Sketch6，用于压缩存储IPv6网络流数据；第一子空间与二子空间在空间上物理独立，互不干扰。

步骤S3、利用空间分配策略，根据采样得到的基数比例，调整分配给所述第一子空间和所述第二子空间的空间大小。

本实施例中，为了实现空间分配策略，首先需要改变底层的哈希函数，即改变计算d个相应计数器索引值的方法，其中，d为数据摘要结构中计数器数组的个数。

根据采样策略得到IPv4与IPv6网络流数据之间的基数比例

。

依据该基数比例决定IPv4与IPv6的空间分配。具体的，Sketch4给内部每一个计数器数组分配

个计数器，Sketch6给内部每一个计数器数组分配

个计数器，其中，w为每一个计数器数组中计数器的个数。

根据计数器数量与数据摘要结构的压缩存储速度成正比，压缩存储速度与相同时间需要的存储空间大小成正比，得到Sketch4与Sketch6的空间大小比例为

。

步骤S4、识别网络流包头中的版本数据，根据版本数据区分IPv4和IPv6网络流，将IPv4网络流数据压缩存储在第一子空间中，将IPv6网络流数据压缩存储在第二子空间中。

本实施例中，是通过解析网络流包头结构的首4位IP协议号，从而加以区分IPv4和IPv6网络流。具体的，如果首4位是4，则该网络流数据为IPv4网络流；如果首4位是6，则该网络流数据为IPv6网络流。

作为一个可选的实施例，使用2.60Ghz及16GB RAM配置的主机进行实验，通过互联网采集真实网络流数据集，将数据集分为10个数据子集，每个子集包含约一百万个网络数据包；将10个真实数据子集的流大小重新键为1，可以得到生成数据集。

可选的，通过平均相对误差ARE以及平均相对误差的减少量Decrease of ARE量化本发明对于数据摘要方法性能的提升程度：ARE越小，数据摘要方法的压缩精度越高；Decrease of ARE越大，本发明对于数据摘要方法性能的提升越大。

，

，其中，

表示数据集中元素的数量，

表示网络流数据集中第

元素的真实大小，

表示在点查询中对第

元素大小的估计值，

表示采用本发明后数据摘要方法的平均相对误差。

作为一个可选的实施例，参考图5，是本发明实施例的数据摘要方法，在不同真实数据集条件下，应用于4种不同摘要数据结构中，得到的性能变化图。本实施例的4种摘要数据结构包括CM Sketch，CMM Sketch，C Sketch和CM-CU Sketch，设置w为6000，d为1。

如图5所示，当采用本发明的数据摘要方法时，与现有技术相比，本实施例的平均相对误差减少量均大于0，即ARE均有所减小。具体的，对于CMM Sketch，ARE的下降幅度在[11.4％，31.7％]之间，平均为20.1％；对于CM Sketch，ARE的下降幅度在[7.0％，36.6％]之间，平均为19.8％；对于C Sketch，ARE的下降幅度在[8.4％，36.6％]之间，平均为19.8％；对于CM-CU Sketch，ARE的下降幅度在[8.3％，36.5％]之间，平均为19.5％。

可选的，参考图6，是本发明实施例的数据摘要方法，在同一真实数据集、不同计数器个数条件下，应用于4种不同摘要数据结构中，得到的性能变化图。本实施例随机选择一个真实网络流数据子集，设置d为1，w从950到12,350增加。

如图6所示，当采用本发明的数据摘要方法，并改变w数量时，与现有技术相比，本实施例的平均相对误差减少量均大于0，即ARE均有所减小。具体的，对于CMM Sketch，ARE的下降幅度在[11.0％，31.0％]之间，平均为19.1％；对于CM Sketch，ARE的下降幅度在[6.0％，39.1％]之间，平均为20.3％；对于C Sketch，ARE的下降幅度在[5.7％，30.3％]之间，平均为20.7％；对于CM-CU Sketch，ARE的下降幅度在[4.0％，37.3％]之间，平均为20.1％。

作为一个可选的实施例，参考图7-10，是本发明实施例的数据摘要方法应用于CMM摘要数据结构中的性能对比图。当采用本发明的数据摘要方法时，与现有技术相比，本实施例的平均相对误差均有所下降。

可选的，参考图11-14，是本发明实施例的数据摘要方法应用于CM摘要数据结构中的性能对比图。当采用本发明的数据摘要方法时，与现有技术相比，本实施例的平均相对误差均有所下降。

由上述实施例可见，本实施例的用于IPv4和IPv6双栈网络的数据摘要方法，区分压缩存储IPv4与IPv6流量在物理独立的数据摘要结构中，减少了数据摘要中的哈希冲突，避免了不同协议网络数据之间统计信息的相互干扰，在没有额外空间开销的情况下，降低了平均相对误差，提升了数据摘要的压缩精度。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，本说明书一个或多个实施例还提供了一种用于IPv4和IPv6双栈网络的数据摘要装置。参考图15，所述的用于IPv4和IPv6双栈网络的数据摘要装置，包括：

采样模块1501，被配置为利用采样策略，得到IPv4与IPv6网络流数据的基数比例；

数据摘要结构划分模块1502，被配置为将数据摘要结构划分为第一子空间和第二子空间；

空间分配模块1503，被配置为利用空间分配策略，根据采样得到的基数比例，调整分配给所述第一子空间和所述第二子空间的空间大小；

数据分类模块1504，被配置为识别网络流包头中的版本数据，根据版本数据区分IPv4和IPv6网络流，将IPv4网络流数据压缩存储在第一子空间中，将IPv6网络流数据压缩存储在第二子空间中。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的用于IPv4和IPv6双栈网络的数据摘要方法。

图16示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。

总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

基于同一发明构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任意一实施例所述的用于IPv4和IPv6双栈网络的数据摘要方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种应用于IPv4和IPv6双栈网络的数据摘要方法，其特征在于，包括：

利用采样策略，得到IPv4与IPv6网络流数据的基数比例；

将Sketch数据摘要结构划分为第一子空间和第二子空间；

2.根据权利要求1所述的应用于IPv4和IPv6双栈网络的数据摘要方法，其特征在于，所述数据摘要方法应用于压缩型摘要数据结构中。

3.根据权利要求2所述的应用于IPv4和IPv6双栈网络的数据摘要方法，其特征在于，所述压缩型摘要数据结构，包括：最小计数摘要，最小-均值计数摘要，计数摘要和最小计数-最保守更新摘要。

4.根据权利要求1所述的应用于IPv4和IPv6双栈网络的数据摘要方法，其特征在于，所述利用采样策略，得到IPv4与IPv6网络流数据的基数比例，具体包括：

利用固定采样概率的方式简化每一个测量周期前的采样过程，设定

的采样概率，在每

个网络流数据包之后保存并识别包的IP版本号；

根据所有保存的IP版本号统计获得采样样本；

通过采样样本估计一个测量周期中所有网络流数据里IPv4和IPv6的基数比例。

5.根据权利要求1所述的应用于IPv4和IPv6双栈网络的数据摘要方法，其特征在于，所述第一子空间用于压缩存储IPv4网络流数据；所述第二子空间用于压缩存储IPv6网络流数据；所述第一子空间与所述二子空间在空间上物理独立。

6.根据权利要求1所述的应用于IPv4和IPv6双栈网络的数据摘要方法，其特征在于，所述利用空间分配策略，根据采样得到的基数比例，调整分配给所述第一子空间和所述第二子空间的空间大小，具体包括：

改变底层的哈希函数，改变计算d个相应计数器索引值的方法，其中，d为数据摘要结构中计数器数组的个数；

根据采样策略得到IPv4与IPv6网络流数据之间的基数比例

；

第一子空间给内部每一个计数器数组分配

个计数器，第二子空间给内部每一个计数器数组分配

个计数器，其中，w为每一个计数器数组中计数器的个数；

根据计数器数量与数据摘要结构的压缩存储速度成正比、压缩存储速度与相同时间需要的存储空间大小成正比，得到分配给第一子空间与第二子空间的空间大小比例为

。

7.根据权利要求1所述的应用于IPv4和IPv6双栈网络的数据摘要方法，其特征在于，所述识别网络流包头中的版本数据，根据版本数据区分IPv4和IPv6网络流，是通过解析网络流包头结构的首4位IP协议号，首4位是4，所述网络流数据就是IPv4网络流；首4位是6，所述网络流数据就是IPv6网络流。

8.一种应用于IPv4和IPv6双栈网络的数据摘要装置，其特征在于，包括：

数据摘要结构划分模块，被配置为将Sketch数据摘要结构划分为第一子空间和第二子空间；

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至7任一所述方法。