CN115632877A - 一种大规模pcap数据正确性验证方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种大规模PCAP数据正确性验证方法、系统及存储介质，包括：S1、生成基准HashMap数据字典；S2、通过多线程生成多个PCAP数据包文件对应的目标MD5值列表；S3、将每个目标MD5值列表同时与基准HashMap数据字典进行对比，根据对比结果，构建误命中数据集合与漏命中数据集合，实现PCAP数据正确性验证。本发明中采用多线程开多视图的方式同时加载文件进行对比，节约了合并文件的时间，且结合计算机自身IO资源的特点和能力，科学合理的控制线程个数，最大限度的提升对比的效率；与现有方法一相比本发明将总比对时间复杂度从幂数级转换为线性级，将检索单个数据帧的时间复杂度效率提升到O(1)。

Description

一种大规模PCAP数据正确性验证方法、系统及存储介质

技术领域

本发明属于计算机网络数据分析处理领域，具体涉及一种大规模PCAP数据正确性验证方法、系统及存储介质。

背景技术

在网络数据分析筛选还原设备的测试验证场景下，需要对设备的海量数据筛选还原能力进行验证，其中一项关键指标是筛选还原结果的准确性，即基于特定规则，如IP五元组（源IP地址，源端口，目的IP地址，目的端口和传输层协议这五个量组成的一个集合）、关键词、正则表达式、数据包特征等，对实时的数据流进行筛选，将筛选命中的数据进行存盘记录，验证存盘数据命中是否全面、准确。数据筛选还原有两种常见错误命中情形，分别是漏命中和误命中。漏命中是指满足筛选条件的数据，未被检测出来；误命中是指不应该命中的数据被错误的检测出来。

测评验证过程一般如下：

相关业务专家根据制定的筛选规则集，对原始流量进行预处理，生成基准命中结果数据文件，作为不同厂商筛选还原设备筛选功能以及筛选还原准确率判定的标准。测试过程中将此筛选规则集作为筛选条件下发至各厂商设备，利用数据回放设备将基准命中结果数据文件分发至各厂商设备。各厂商设备基于筛选规则集对原始流量进行处理后，将筛选命中的数据按需存放到指定文件目录下。

测评人员需对比各厂商生成的PCAP数据包文件和基准命中结果数据文件，来确认筛选还原结果的准确率。数据命中量可能很大，不能直接写入一个文件中，一般存储策略是按照文件大小和写文件的时长条件对命中数据进行切分，例如：一个文件写够50MB大小，或者从文件打开开始计时，达到30分钟，满足其中任一条件，则切换生成新的文件，直至将所有命中数据写完为止。由于各厂商存储PCAP数据包文件的策略存在差异且格式为二进制大规模PCAP数据包，因此无法通过人工方式逐帧比对。

现有的大规模PCAP数据正确性验证的方法有两种，一种是单线程嵌套循环遍历的方式，该方法的缺点首先是单线程没有充分利用计算机的IO资源，其次是嵌套循环效率低，随着数据量的增大，比对时间复杂度呈幂数增长。另一种是归一化文件比对方式，即将存储的多个PCAP数据包文件合并后，再与基准命中结果数据文件一一比对，这种方法的缺点是归一化文件本身需要耗费大量的时间，同时需要消耗大量的IO读写资源。

发明内容

针对现有技术中的上述不足，本发明提供的大规模PCAP数据正确性验证方法、系统及存储介质解决了现有技术在进行PCP数据正确性检验时，没有充分利用计算机的IO资源、对比时间复杂度程幂数增长以及归一化文件耗时长的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种大规模PCAP数据正确性验证方法，包括以下步骤：

S1、生成基准HashMap数据字典；

S2、通过多线程生成多个PCAP数据包文件对应的目标MD5值列表；

S3、将每个目标MD5值列表同时与基准HashMap数据字典进行对比，根据对比结果，构建误命中数据集合与漏命中数据集合，实现PCAP数据正确性验证。

进一步地，所述步骤S1具体为：

S11、遍历基准命中结果数据文件中的每一帧数据生成源MD5值；

S12、将MD5值作为key值，以读取的时序生成包序号作为Value值，生成HashMap数据字典。

进一步地，所述步骤S2具体为：

配置线程个数，基于配置的线程个数，通过多线程多视图同时加载分包存储的多个PCAP数据包文件中的数据帧，并生成对应的多个目标MD5值列表。

进一步地，所述步骤S3中，将一个目标MD5值列表与基准HashMap数据字典进行对比，构建误命中数据集合与漏命中数据集合的方法具体为：

S31、判断当前目标MD5值在基准HashMap数据字典是否存在对应一致的源MD5值；

若是，则进入步骤S32；

若否，则进入步骤S33；

S32、在基准HashMap数据字典中删除对应的源MD5值；

S33、将当前目标MD5值和对应列表索引，持久化存入误命中数据集合中，进入步骤S34；

S34、判断当前目标MD5值是否为目标MD5值列表中的最后一个目标MD5值；

若是，则进入步骤S35；

若否，则按照目标MD5值列表中目标MD5值顺序，选择下一目标MD5值作为当前目标MD5，并返回步骤S31；

S35、将基准HashMap数据字典中未被删除的源MD5值，持久化存入漏命中数据集合中。

进一步地，对于PCAP数据正确性验证过程的时间复杂度，对比单个数据帧的时间复杂度为O(1)，对比所有数据帧的时间复杂度为O(n)。

本发明的有益效果为：

（1）本发明中采用多线程开多视图的方式同时加载文件进行对比，节约了合并文件的时间，且结合计算机自身IO资源的特点和能力，科学合理的控制线程个数，最大限度的提升对比的效率。

（2）本发明中是将待检验数据帧与在基准HashMap数据字典中基准数据帧比对，比对数据帧总的时间复杂度为O(n)，比对检索单个数据帧的时间复杂度为O(1)；与现有方法一相比本发明将总比对时间复杂度从幂数级转换为线性级，将检索单个数据帧的时间复杂度效率提升到O(1)。

一种大规模PCAP数据正确性验证方法的验证系统，包括：

基准数据生成模块：用于生成基准HashMap数据字典，所述基准HashMap数据字典以基准命中结果数据文件中的每一帧数据的源MD5值为key值，以时序生成包序号为Value值；

待验证数据生成模块：用于同时生成多个PCAP数据包文件对应的目标MD5值列表；

数据对比模块：用于将同时目标MD5值列表与基准HashMap数据字典对比；

验证结果生成模块：用于根据对比结果，构建PCAP数据正确性验证结果结构，包括误命中数据集合与漏命中数据集合。

进一步地，所述数据对比模块进行数据对比的方法具体为：

判断目标MD5值列表中的目标MD5值是否存在于基准HashMap数据字典中；若是，在基准HashMap数据字典中删除对应的源MD5值；若否，获取当前目标MD5值和对应列表索引；

当目标MD5值为当前目标MD5值列表中的最后一个时，获取基准HashMap数据字典中未被删除的源MD5值。

进一步地，所述验证结果生成模块中，误命中数据集合存入获取的目标MD5值及其对应的列表索引；漏命中数据集合中存入基准HashMap数据字典中未被删除的源MD5值。

本发明的有益效果为：

本发明提供的PCAP数据正确性验证系统降低了大规模PCAP数据正确性验证的时间复杂度，提升了数据对比效率，充分利用了计算机的IO资源。

一种计算机存储介质，所述计算机存储介质执行计算机程序时，实现大规模PCAP数据正确性验证方法。

本发明的有益效果为：

本发明为实现PCAP数据正确性验证的计算机程序提供了对应的计算机可读存储介质，方便用户直接使用该存储介质实现大规模PCAP数据正确性验证。

附图说明

图1为本发明提供的大规模PCAP数据正确性验证方法流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1：

本发明实施例提供了一种大规模PCAP数据正确性验证方法，如图1所示，包括以下步骤：

S1、生成基准HashMap数据字典；

S2、通过多线程生成多个PCAP数据包文件对应的目标MD5值列表；

S3、将每个目标MD5值列表同时与基准HashMap数据字典进行对比，根据对比结果，构建误命中数据集合与漏命中数据集合，实现PCAP数据正确性验证。

本发明实施例的步骤S1具体为：

S11、遍历基准命中结果数据文件中的每一帧数据生成源MD5值；

S12、将MD5值作为key值，以读取的时序生成包序号作为Value值，生成HashMap数据字典。

在本实施例的步骤S12中，将时序生成包序号作为Value值是为了快速定位漏命中的数据，例如包序号为5在漏命中数据集合中，则说明包序号为5的基准数据帧就未被设备厂商筛选还原正确。

本发明实施例的步骤S2具体为：

配置线程个数，基于配置的线程个数，通过多线程多视图同时加载分包存储的多个PCAP数据包文件中的数据帧，并生成对应的多个目标MD5值列表。

本实施例中的PCAP数据包是指链路层数据帧集合。

本实施例中多线程的个数是通过配置文件注入程序的，可以根据实际CPU的核数、服务器IO资源实际情况以及内存实际情况等进行优化调整。

本实施例中的通过多线程的对比方式，对现有方法对比，现有方法采用归一化文件后进行对比，合并PCP文件需要耗费大量的试卷，且需要耗费大量的IO读写资源，这种情况会随着PCAP文件的大小和数量的增加而愈加明显。本实施例中采用多线程开多视图的方式同时加载文件进行对比，节约了合并文件的时间，且结合计算机自身IO资源的特点和能力，科学合理的控制线程个数，最大限度的提升对比的效率。

本发明实施例的步骤S3中，将一个目标MD5值列表与基准HashMap数据字典进行对比，构建误命中数据集合与漏命中数据集合的方法具体为：

S31、判断当前目标MD5值在基准HashMap数据字典是否存在对应一致的源MD5值；

若是，则进入步骤S32；

若否，则进入步骤S33；

S32、在基准HashMap数据字典中删除对应的源MD5值；

S33、将当前目标MD5值和对应列表索引，持久化存入误命中数据集合中，进入步骤S34；

S34、判断当前目标MD5值是否为目标MD5值列表中的最后一个目标MD5值；

若是，则进入步骤S35；

若否，则按照目标MD5值列表中目标MD5值顺序，选择下一目标MD5值作为当前目标MD5，并返回步骤S31；

S35、将基准HashMap数据字典中未被删除的源MD5值，持久化存入漏命中数据集合中。

本实施例的步骤S32中，删除基准HashMap数据字典中对比一致的源MD5值的目的是，通过最终未被删除的源MD5值即可确认各厂商设备漏命中的数据帧和包序号。

本实施例的步骤S33中，将目标MD5值的列表索引存入误命中数据集合中，是为了能够快速定位误命中的数据帧，例如列表索引值为3在误命中数据集合中，则说明列表索引值为3的数据帧被设备厂商误筛选还原了。

本发明实施例中，对于PCAP数据正确性验证过程的时间复杂度，本实施例中将待检验的数据帧与在基准HashMap数据字典中基准数据帧对比，对比单个数据帧的时间复杂度为O(1)，对比所有数据帧的时间复杂度为O(n)。

本实施例与现有的单线程对比方式相比，现有的单线程嵌套for循环比对数据帧的方式如下：

for (int i = 0; i < n; i++)

{

for (int j = 0; j< n; j++)

{

//比对pacp数据帧正确性

}

}

上述程序中，第一个for循环嵌套拿出基准数据帧数据，第二个for循环嵌套拿出待验证的数据帧数据，可知比对数据帧总的时间复杂度为O(n²)，比对检索单个数据帧的时间复杂度为O(n)。而本实施例中是将待检验数据帧与在基准HashMap数据字典中基准数据帧比对，比对数据帧总的时间复杂度为O(n)，比对检索单个数据帧的时间复杂度为O(1)。

实施例2：

本发明实施例中提供了基于实施例1中的大规模PCAP数据正确性验证方法的验证系统，包括：

基准数据生成模块：用于生成基准HashMap数据字典，所述基准HashMap数据字典以基准命中结果数据文件中的每一帧数据的源MD5值为key值，以时序生成包序号为Value值；

待验证数据生成模块：用于同时生成多个PCAP数据包文件对应的目标MD5值列表；

数据对比模块：用于将同时目标MD5值列表与基准HashMap数据字典对比；

验证结果生成模块：用于根据对比结果，构建PCAP数据正确性验证结果结构，包括误命中数据集合与漏命中数据集合。

本发明实施例中的所述数据对比模块进行数据对比的方法具体为：

判断目标MD5值列表中的目标MD5值是否存在于基准HashMap数据字典中；若是，在基准HashMap数据字典中删除对应的源MD5值；若否，获取当前目标MD5值和对应列表索引；

当目标MD5值为当前目标MD5值列表中的最后一个时，获取基准HashMap数据字典中未被删除的源MD5值。

本发明实施例中验证结果生成模块中，误命中数据集合存入获取的目标MD5值及其对应的列表索引；漏命中数据集合中存入基准HashMap数据字典中未被删除的源MD5值。

实施例3：

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，执行计算机程序时实现实施例1中大规划PCAP数据正确性验证方法的步骤。本发明实施例中，计算机可读存储介质包括但不限于U盘、移动硬盘、只读存储器（ROM, Read-OnlyMemory）、随机存取存储器（RAM, Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。

Claims (9)

1.一种大规模PCAP数据正确性验证方法，其特征在于，包括以下步骤：

S1、生成基准HashMap数据字典；

S2、通过多线程生成多个PCAP数据包文件对应的目标MD5值列表；

S3、将每个目标MD5值列表同时与基准HashMap数据字典进行对比，根据对比结果，构建误命中数据集合与漏命中数据集合，实现PCAP数据正确性验证。

2.根据权利要求1所述的大规模PCAP数据正确性验证方法，其特征在于，所述步骤S1具体为：

S11、遍历基准命中结果数据文件中的每一帧数据生成源MD5值；

S12、将MD5值作为key值，以读取的时序生成包序号作为Value值，生成HashMap数据字典。

3.根据权利要求1所述的大规模PCAP数据正确性验证方法，其特征在于，所述步骤S2具体为：

配置线程个数，基于配置的线程个数，通过多线程多视图同时加载分包存储的多个PCAP数据包文件中的数据帧，并生成对应的多个目标MD5值列表。

4.根据权利要求2所述的大规模PCAP数据正确性验证方法，其特征在于，所述步骤S3中，将一个目标MD5值列表与基准HashMap数据字典进行对比，构建误命中数据集合与漏命中数据集合的方法具体为：

S31、判断当前目标MD5值在基准HashMap数据字典是否存在对应一致的源MD5值；

若是，则进入步骤S32；

若否，则进入步骤S33；

S32、在基准HashMap数据字典中删除对应的源MD5值；

S33、将当前目标MD5值和对应列表索引，持久化存入误命中数据集合中，进入步骤S34；

S34、判断当前目标MD5值是否为目标MD5值列表中的最后一个目标MD5值；

若是，则进入步骤S35；

若否，则按照目标MD5值列表中目标MD5值顺序，选择下一目标MD5值作为当前目标MD5，并返回步骤S31；

S35、将基准HashMap数据字典中未被删除的源MD5值，持久化存入漏命中数据集合中。

5.根据权利要求1所述的大规模PCAP数据正确性验证方法，其特征在于，对于PCAP数据正确性验证过程的时间复杂度，对比单个数据帧的时间复杂度为O(1)，对比所有数据帧的时间复杂度为O(n)。

6.一种基于权利要求1~5任一权利要求所述的大规模PCAP数据正确性验证方法的验证系统，其特征在于，包括：

基准数据生成模块：用于生成基准HashMap数据字典，所述基准HashMap数据字典以基准命中结果数据文件中的每一帧数据的源MD5值为key值，以时序生成包序号为Value值；

待验证数据生成模块：用于同时生成多个PCAP数据包文件对应的目标MD5值列表；

数据对比模块：用于将同时目标MD5值列表与基准HashMap数据字典对比；

验证结果生成模块：用于根据对比结果，构建PCAP数据正确性验证结果结构，包括误命中数据集合与漏命中数据集合。

7.根据权利要求6所述的验证系统，其特征在于，所述数据对比模块进行数据对比的方法具体为：

判断目标MD5值列表中的目标MD5值是否存在于基准HashMap数据字典中；若是，在基准HashMap数据字典中删除对应的源MD5值；若否，获取当前目标MD5值和对应列表索引；

当目标MD5值为当前目标MD5值列表中的最后一个时，获取基准HashMap数据字典中未被删除的源MD5值。

8.根据权利要求7所述的验证系统，其特征在于，所述验证结果生成模块中，误命中数据集合存入获取的目标MD5值及其对应的列表索引；漏命中数据集合中存入基准HashMap数据字典中未被删除的源MD5值。

9.一种计算机存储介质，其特征在于，所述计算机存储介质执行计算机程序时，实现如权利要求1~5任一权利要求所述的大规模PCAP数据正确性验证方法。

Images