CN112491652B - 一种用于测试的网络流量样本处理方法及装置 - Google Patents
一种用于测试的网络流量样本处理方法及装置 Download PDFInfo
- Publication number
- CN112491652B CN112491652B CN202011296424.9A CN202011296424A CN112491652B CN 112491652 B CN112491652 B CN 112491652B CN 202011296424 A CN202011296424 A CN 202011296424A CN 112491652 B CN112491652 B CN 112491652B
- Authority
- CN
- China
- Prior art keywords
- flow
- sample
- network
- information
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供一种用于测试的网络流量样本处理方法及装置,该方法包括:根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本;对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息;根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息。本发明实施例通过对网络流量样本,特别是大流量样本的捕获、分析和回放,可更加准确地捕获和还原实际背景流量,提高了流量回放的精度。
Description
技术领域
本发明涉及网络流量捕获和回放技术领域,尤其涉及一种用于测试的网络流量样本处理方法及装置。
背景技术
网络流量样本捕获和回放方法是一种将网络中的流量(特别是大流量样本)进行存储和分析并还原的网络测试方法。通过流量捕获和回放技术,可以将网络中捕获的流量进行回放,并还原录制的实际流量场景,对各种涉及到需要处理大流量样本的网络产品或系统都有着非常重要的实际意义。
当前,现有的流量捕获和回放方案更多集中在数据存储、数据检索等方面,侧重于单机可处理的流量捕获和回放方法,而无法针对大流量样本进行高精度的捕获、分析和回放。针对大流量的网络流量,通常需要采用网络汇聚分发设备将100GE级别的输入线路拆分成若干个10GE线路,将流量均衡输出到后端的多台服务器上,虽然现有技术可以部署在服务器上对流量进行捕获和存储,但由于多台服务器的时间精度存在差异,无法实现大流量样本的合流和准确回放。
因此,现在亟需一种用于测试的网络流量样本处理方法及装置来解决上述问题。
发明内容
针对现有技术存在的问题,本发明实施例提供一种用于测试的网络流量样本处理方法及装置。
第一方面,本发明实施例提供了一种用于测试的网络流量样本处理方法,包括:
根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本;
对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息;
根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息。
进一步地,所述预设捕获参数配置信息包括时间戳精度、网络流量样本文件命名规则、捕获起始时间、预设捕获结束条件、索引参数和网络流量样本标注信息。
进一步地,所述预设回放功能及编排参数包括待回放网络流量样本名称、流量片段、回放倍速、回放时刻、样本起点、文件回放数量及顺序、误差阈值和检查周期。
进一步地,所述根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本,包括:
根据所述时间戳精度,基于本地同步时间,对捕获到的流量标记时间戳,得到网络流量样本,所述时间戳精度包括系统时间精度信息、秒级时间戳信息和纳秒级时间戳信息。
进一步地,所述对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息,包括:
通过以太网帧计算所述网络流量样本的速率,并根据所述速率构建速率预测分布统计图;
对所述网络流量样本中数据包所在协议层、协议类型和五元组进行统计,并存储索引,得到流量统计信息,以通过所述流量统计信息进行检索定位位置。
进一步地,所述根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息,包括:
对网络流量样本或流量片段进行排序,并对排序后的网络流量样本或流量片段设置回放编排方法;
根据所述回放编排方法,对排序后的网络流量样本或流量片段进行回放,所述回放编排方法包括并行回放、串行回放、插入和重叠的一种或多种。
进一步地,所述方法还包括:
根据报文序号、起始时间后预设时刻及时长和预设流量方向,将所述网络流量样本拆分为多个流量片段,并为每个流量片段进行标识。
第二方面,本发明实施例提供了一种用于测试的网络流量样本处理装置,包括:
流量捕获模块,用于根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本;
流量分析模块,用于对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息;
流量回放模块,用于根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息。
第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种用于测试的网络流量样本处理方法及装置,通过对网络流量样本,特别是大流量样本的捕获、分析和回放,可更加准确地捕获和还原实际背景流量,提高了流量回放的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的用于测试的网络流量样本处理方法的流程示意图;
图2为本发明实施例提供的一种捕获数据包的高精度时间存储方法的示意图;
图3为本发明实施例提供的用于测试的网络流量样本处理装置的结构示意图;
图4为本发明实施例提供的网络流量样本处理装置的整体架构图;
图5为本发明实施例提供的网络流量样本处理装置的连接示意图;
图6为本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的流量捕获和回放方案更多集中在数据存储、数据检索等方面,侧重于单机可处理的流量捕获和回放方法,无法针对大流量样本进行高精度的捕获、分析和回放。针对大流量,通常需要采用网络汇聚分发设备将100GE级别的输入线路拆分成若干个10GE线路,将流量均衡输出到后端的多台服务器上,虽然现有技术可以部署在服务器上对流量进行捕获和存储,但由于多台服务器的时间精度存在差异,无法实现大流量样本的合流和准确回放。因此迫切需要一种具有高精度,针对大流量样本的实时捕获、分析和回放方法,可以更准确地捕获和还原实际背景流量,或通过分析配置生成所需的特定背景流量。
针对实验测试等工作的需要,本发明实施例以实验环境中对大流量样本进行捕获、分析和回放进行说明,提出的方案可以处理单个尺寸2GB以上的大流量样本文件,支持pcap格式或配置有高精度时间格式的pcapng格式的大流量样本文件,同时单机具有10TB以上的处理能力,最大回放速度可达到100Gbps。
图1为本发明实施例提供的用于测试的网络流量样本处理方法的流程示意图,如图1所示,本发明实施例提供了一种用于测试的网络流量样本处理方法,包括:
步骤101,根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本。
在本发明实施例中,通过命令行或本地(或远程)交互方式,根据待回放的流量,设置预设捕获参数配置信息,然后按照预设捕获参数配置信息执行流量捕获任务,并将捕获得到的样本文件实时存储在当前设备的存储区域中,直到任务结束,从而得到网络流量样本。在进行流量捕获时,可对捕获样本的时间进行标记;同时,支持及时建立索引,满足大尺寸样本的处理需求,在本发明实施例中,可按序号和时间,快速定位特定网络流量样本所在文件的字节位置,从而降低处理样本的响应时延。并且,还可对捕获任务设置多个终止操作条件及其组合,其中,终止操作条件包括单个文件捕获报文数、字节数、捕获时长和多文件的文件序列数。除此之外,在本发明实施例中,在捕获过程中,对网络流量样本进行信息标注和描述,并将坏包过滤掉,其中,标注的信息可包括报文数、字节数、起止时间和异常记录等信息。
步骤102,对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息。
在本发明实施例中,对上述实施例得到的网络流量样本进行离线分析,绘制该网络流量样本的速率分布统计图,并根据网络流量样本中数据包所在的协议层、协议类型以及五元组等信息进行统计,得到流量统计信息。优选地,在本发明实施例中,可对网络流量样本创建索引并存储,用于依据多种条件快速检索定位报文或文件位置;同时,可根据网络流量样本的信息标注以及网络流量样本中存在的异常报文情况进行统计分类。
步骤103,根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息。
在本发明实施例中,配置好参数后,可显示回放流量的速率统计信息或绘制成速率统计可视化图表,具体地,参数可包括导入的待回放网络流量样本文件名称、所需流量片段、回放倍速、回放时刻、样本起点、文件回放数量及顺序、误差阈值和检查周期等。当将流量样本数据回放至预设网卡线路或测试网络时,可实时显示回放流量的速率统计信息或绘制成速率统计可视化图表,并与原始速率统计信息进行对比。在本发明实施例中,按照参数配置要求执行流量回放任务,在回放任务执行过程中,可随时暂停和恢复任务,可动态调整样本文件的回放倍速。当回放任务暂停或结束时,显示回放日志统计信息,包括回放的起始和结束时间、成功发送的报文数量、修正误差时间和动作等信息。
本发明实施例提供的用于测试的网络流量样本处理方法,通过对网络流量样本,特别是大流量样本的捕获、分析和回放,可更加准确地捕获和还原实际背景流量,提高了流量回放的精度。
在上述实施例的基础上,所述预设捕获参数配置信息包括时间戳精度、网络流量样本文件命名规则、捕获起始时间、预设捕获结束条件(也可以为多种预设捕获结束条件的组合)、索引参数和网络流量样本标注信息。
在上述实施例的基础上,所述根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本,包括:
根据所述时间戳精度,基于本地同步时间,对捕获到的流量标记时间戳,得到网络流量样本,所述时间戳精度包括系统时间精度信息、秒级时间戳信息和纳秒级时间戳信息。
在本发明实施例中,并行接收前端网络设备发送过来的大流量实时数据。通过硬件设备外联时间同步模块,用以提高时间精度和同步多台硬件设备的时间。在本发明实施例中,可通过命令行或本地(或远程)交互方式,进行预设捕获参数的配置。进一步地,对接收到的实时数据报文打上时间戳标记,时间戳有普通精度和高精度两种模式可选择,其中,普通精度时间戳为服务器的系统时间精度信息。高精度时间戳由两部分组成,一部分是服务器系统的秒级时间戳信息;另一部分是纳秒级时间戳信息,图2为本发明实施例提供的一种捕获数据包的高精度时间存储方法的示意图,可参考图2所示,在进行高精度时间戳标记时,该信息数据将当前数据包中的源MAC地址低4字节数据进行替换,存储在数据报文内。由于时间同步模块可为硬件设备提供高精度的同步时间,从而保证了多台搭载捕获模块的硬件设备并行接收大流量数据时,标记的时间戳信息仍然可以与分流前的原始流量保持准确的时序。
进一步地,在本发明实施例中,捕获数据的精度可根据存储格式对相应的参数配置。以pcapng格式为例,当采用高精度时间戳信息时,接口描述块(Interface DescriptionBlock)中的if_tsresol选项字段配置为9,表示其时间精度为纳秒,同时数据报文中的源MAC地址低4字节信息由纳秒时间信息替换。
进一步地,文件命名可配置相应的规则或变量,如文件大小或文件起止时间等,使得文件名按规则快速生成和连续生成,从而进行自动管理,并记录起始/结束时间和结束的条件。捕获功能结束的条件参数可配置为数据捕获报文数、字节数、时间、文件序列个数或命令行设定的其他参数等。优选地,在本发明实施例中,文件命名和记录结束条件支持参数的组合逻辑配置。
需要说明的是,在本发明实施例中,在捕获到网络流量样本并存储之后,可对存储的样本文件进行切片,切片参数为文件大小,切片时保持样本文件中数据报文的完整。当切片参数无法满足数据报文完整时,文件实际大小可设置为不大于该参数的最大数据报文数。同时,在存储之后创建索引值,索引值为时间和帧序号,通过时间和帧序号可以支持将流量进行指定倍速回放或指定时间(或位置)回放。索引值创建可配置为逐帧创建或分块创建,逐帧创建为每帧数据都创建索引,分块创建以若干帧为单位创建索引,以便减少索引空间大小,提高索引搜索速度。并且,对捕获的样本文件进行信息标注和描述,可根据配置自动添加单个或多个样本文件的报文数、字节数、起止时间和异常信息记录等信息,对于接收到的损坏的数据报文,进行丢弃并进行计数统计。进一步地,可捕获流量中巨型帧样本,最大有效载荷可为9000字节。
在上述实施例的基础上,所述对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息,包括:
通过以太网帧计算所述网络流量样本的速率,并根据所述速率构建速率预测分布统计图;
对所述网络流量样本中数据包所在协议层、协议类型和五元组进行统计,并存储索引,得到流量统计信息,以通过所述流量统计信息进行检索定位位置。
在本发明实施例中,对存储的网络流量样本文件进行离线分析,也可以对导入的pcap、pcapng格式的数据文件进行分析,并创建存储索引,从而根据文件内容进行统计或依据多种检索条件及其组合,快速检索定位报文或文件位置。在进行速率分布统计图绘制时,速率计算可采用以太网帧长度(包括帧定界符、前导码、二层帧头、有效载荷、CRC校验和最小帧间距)或二层帧长度(包括二层帧头、有效载荷和CRC)计算。同时,对网络流量样本进行基于MAC地址或其他流量方向标记的方向分类统计、IP统计以及四层协议五元组统计。对于异常报文计数统计,包括坏包(CRC校验错误)、网卡缓存不足、CPU无法处理等情况导致的丢弃计数分类统计。
在上述实施例的基础上,所述预设回放功能及编排参数包括待回放网络流量样本名称、流量片段、回放倍速、回放时刻、样本起点、文件回放数量及顺序、误差阈值和检查周期。
在上述实施例的基础上,所述根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息,包括:
对网络流量样本或流量片段进行排序,并对排序后的网络流量样本或流量片段设置回放编排方法;
根据所述回放编排方法,对排序后的网络流量样本或流量片段进行回放,所述回放编排方法包括并行回放、串行回放、插入、重叠的一种或多种。
在本发明实施例中,对上述实施例存储的单个或多个网络流量样本文件(包括pcap/pcapng格式文件或网络流量样本文件的流量片段)进行回放,由于时间同步模块可为多台服务器提供高精度的同步时间,可保证多台服务器回放的样本数据经汇聚后,与原始流量基本保持一致。在对网络流量样本文件进行倍速回放时,可按照一定倍速缩短或增加样本文件中各数据报文的相对时间间隔,从而实现回放密度可变。其中,倍速参数同时支持动态调整,即在回放任务启动后调整倍速参数。
进一步地,在本发明实施例中,可并行或串行回放多个网络流量样本文件或流量片段。具体地,在进行并行回放多个网络流量样本文件或流量片段时,各网络流量样本文件或流量片段的首包时刻即为回放起始时刻,后续包的回放以与首包的相对时间间隔进行交织回放;在串行回放多个网络流量样本文件或流量片段时,首先配置好回放文件或流量片段的序列,然后按照序列顺序逐个回放样本文件或流量片段。
在进行流量回放时,可指定回放起始时刻(定时回放功能),以及各个文件或流量片段的起始播放时刻,各网络流量样本文件或流量片段的数据报文交织,需要增加回放起始时刻与文件起始播放时刻的偏移。当配置好文件回放倍速、流量片段选取、模块回放起始时刻、文件起始播放时刻和文件序列等参数后,可显示回放输出流量的速率统计信息或绘制成速率统计图。需要说明的是,在本发明实施例中,由于系统所依托的硬件,如中央处理器、内存、网卡等部件性能存在差异或限制,回放的精度会受到累计时间误差的影响,因此,可周期性的检查回放时间与当前时间的累计偏差值,当该累计偏差值偏差超过预设误差阈值时,需要微调回放速率,修正累计误差,在本发明实施例中,检查周期和误差阈值可配置。对于正在回放的回放任务可进行暂停或终止,并且暂停回放任务后可恢复继续回放任务。同时,本发明实施例还可对回放任务的日志信息进行统计,统计的日志信息包括回放的起始和结束时间、成功发送的总报文数量、单个样本文件成功发送的报文数量、回放流量速率统计、修正误差的操作时间、次数和动作等过程日志信息。
在上述实施例的基础上,所述方法还包括:
根据报文序号、起始时间后预设时刻及时长和预设流量方向,将所述网络流量样本拆分为多个流量片段,并为每个流量片段进行标识。
在本发明实施例中,回放任务支持多个流量片段的顺序组合和叠加组合。每个网络流量样本文件可按报文序号、起始时间后预设时刻及时长和预设流量方向三种条件拆分多个流量片段。每个网络流量文件、流量片段支持可按启动时刻和片段位置的编排。
图3为本发明实施例提供的用于测试的网络流量样本处理装置的结构示意图,如图3所示,本发明实施例提供了一种用于测试的网络流量样本处理装置,包括流量捕获模块301、流量分析模块302和流量回放模块303,其中,流量捕获模块301用于根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本;流量分析模块302用于对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息;流量回放模块303用于根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息。
在本发明实施例中,图4为本发明实施例提供的网络流量样本处理装置的整体架构图,可参考图4所示,流量捕获模块301可设置在一台或多台硬件设备上(例如服务器),通过命令行或本地(或远程)交互方式,根据待回放的流量,设置预设捕获参数配置信息,然后按照预设捕获参数配置信息执行流量捕获任务,并将捕获得到的样本文件实时存储在当前设备的存储区域中,直到任务接收,从而得到网络流量样本。图5为本发明实施例提供的网络流量样本处理装置的连接示意图,可参考图5所示,在进行流量捕获时,时间同步模块可对捕获样本的时间进行标记;同时,流量捕获模块301支持及时建立索引,满足大尺寸样本的处理需求,在本发明实施例中,可参考图4和图5所示,流量捕获模块301可按序号和时间,从网络汇聚分发设备中捕获流量样本,并快速定位特定网络流量样本所在文件的字节位置,从而降低处理样本的响应时延,然后将通过流量分析模块分析之后,通过流量回放模块303进行流量回放。并且,流量捕获模块301还可对捕获任务设置多个终止操作条件及其组合,其中,终止操作条件包括单个文件捕获报文数、字节数、捕获时长和多文件的文件序列数。除此之外,在本发明实施例中,在捕获过程中,对网络流量样本进行信息标注和描述,并将坏包过滤掉,其中,标注的信息可包括报文数、字节数、起止时间和异常记录等信息。
进一步地,流量分析模块302可部署在流量捕获模块301所在硬件设备或专用分析设备上,对上述实施例得到的网络流量样本进行离线分析,绘制该网络流量样本的速率分布统计图,并根据网络流量样本中数据包所在协议层、协议类型以及五元组等信息进行统计,得到流量统计信息。优选地,在本发明实施例中,根据网络流量样本的信息标注以及网络流量样本中存在的异常报文情况进行统计分类。
进一步地,流量回放模块303可部署在单台或多台硬件设备上,配置好参数后,可显示回放流量的速率统计信息或绘制成速率统计可视化图表,具体地,参数可包括导入样本文件名称、所需流量片段、回放倍速、回放时刻、样本起点、样本回复数量及顺序、误差阈值和检查周期等。当将流量样本数据回放至预设网卡线路或测试网络时,可实时显示回放流量的速率统计信息或绘制成速率统计可视化图表,并与原始速率统计信息进行对比。在本发明实施例中,按照参数配置要求执行流量回放任务,在回放任务执行过程中,可随时暂停和恢复任务,可动态调整样本文件的回放倍速。当回放任务暂停或结束时,显示回放日志统计信息,包括回放的起始和结束时间、成功发送的报文数量、修正误差时间和动作等信息。
本发明实施例提供的用于测试的网络流量样本处理装置,通过对网络流量样本,特别是大流量样本的捕获、分析和回放,可更加准确地捕获和还原实际背景流量,提高了流量回放的精度。
本发明实施例提供的装置是用于执行上述各方法实施例的,具体流程和详细内容请参照上述实施例,此处不再赘述。
图6为本发明实施例提供的电子设备结构示意图,参照图6,该电子设备可以包括:处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令,以执行如下方法:根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本;对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息;根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息。
此外,上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的用于测试的网络流量样本处理方法,例如包括:根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本;对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息;根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种用于测试的网络流量样本处理方法,其特征在于,包括:
根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本;
对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息;
根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息;
所述根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本,包括:
根据时间戳精度,基于本地同步时间,对捕获到的流量标记时间戳,得到网络流量样本,所述时间戳精度包括系统时间精度信息、秒级时间戳信息和纳秒级时间戳信息;
其中,在进行所述秒级时间戳信息或所述纳秒级时间戳信息的时间戳标记时,基于时间同步模块,将当前数据包中的源MAC地址低4字节数据替换为所述秒级时间戳信息或所述纳秒级时间戳信息,以得到网络流量样本;
所述预设捕获参数配置信息包括时间戳精度、网络流量样本文件命名规则、捕获起始时间、预设捕获结束条件、索引参数和网络流量样本标注信息;
其中,所述索引参数中的索引值是通过逐帧创建或分块创建得到的。
2.根据权利要求1所述的用于测试的网络流量样本处理方法,其特征在于,所述预设回放功能及编排参数包括待回放网络流量样本名称、流量片段、回放倍速、回放时刻、样本起点、文件回放数量及顺序、误差阈值和检查周期。
3.根据权利要求1所述的用于测试的网络流量样本处理方法,其特征在于,所述对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息,包括:
通过以太网帧计算所述网络流量样本的速率,并根据所述速率构建速率预测分布统计图;
对所述网络流量样本中数据包所在协议层、协议类型和五元组进行统计,并存储索引,得到流量统计信息,以通过所述流量统计信息进行检索定位位置。
4.根据权利要求2所述的用于测试的网络流量样本处理方法,其特征在于,所述根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息,包括:
对网络流量样本或流量片段进行排序,并对排序后的网络流量样本或流量片段设置回放编排方法;
根据所述回放编排方法,对排序后的网络流量样本或流量片段进行回放,所述回放编排方法包括并行回放、串行回放、插入和重叠的一种或多种。
5.根据权利要求2所述的用于测试的网络流量样本处理方法,其特征在于,所述方法还包括:
根据报文序号、起始时间后预设时刻及时长和预设流量方向,将所述网络流量样本拆分为多个流量片段,并为每个流量片段进行标识。
6.一种用于测试的网络流量样本处理装置,其特征在于,包括:
流量捕获模块,用于根据预设捕获参数配置信息,对待回放的流量进行捕获并存储,得到网络流量样本;
流量分析模块,用于对所述网络流量样本进行离线分析,生成所述网络流量样本对应的速率预测分布统计图和流量统计信息;
流量回放模块,用于根据预设回放功能及编排参数,显示所述速率预测分布统计图和流量统计信息;
所述流量捕获模块具体用于:
根据时间戳精度,基于本地同步时间,对捕获到的流量标记时间戳,得到网络流量样本,所述时间戳精度包括系统时间精度信息、秒级时间戳信息和纳秒级时间戳信息;
其中,在进行所述秒级时间戳信息或所述纳秒级时间戳信息的时间戳标记时,基于时间同步模块,将当前数据包中的源MAC地址低4字节数据替换为所述秒级时间戳信息或所述纳秒级时间戳信息,以得到网络流量样本;
所述预设捕获参数配置信息包括时间戳精度、网络流量样本文件命名规则、捕获起始时间、预设捕获结束条件、索引参数和网络流量样本标注信息;
其中,所述索引参数中的索引值是通过逐帧创建或分块创建得到的。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述用于测试的网络流量样本处理方法的步骤。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一项所述用于测试的网络流量样本处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011296424.9A CN112491652B (zh) | 2020-11-18 | 2020-11-18 | 一种用于测试的网络流量样本处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011296424.9A CN112491652B (zh) | 2020-11-18 | 2020-11-18 | 一种用于测试的网络流量样本处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112491652A CN112491652A (zh) | 2021-03-12 |
CN112491652B true CN112491652B (zh) | 2023-03-24 |
Family
ID=74931507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011296424.9A Active CN112491652B (zh) | 2020-11-18 | 2020-11-18 | 一种用于测试的网络流量样本处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112491652B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113242158B (zh) * | 2021-05-10 | 2022-11-29 | 上海华讯网络系统有限公司 | 一种基于交换机硬件时间戳的实时监控方法和系统 |
CN113259257B (zh) * | 2021-06-21 | 2021-10-19 | 南京赛宁信息技术有限公司 | 网络靶场中自定义速率分布的背景流量发生方法与装置 |
CN113691585B (zh) * | 2021-07-16 | 2024-02-02 | 曙光网络科技有限公司 | 数据录制和回放的系统 |
CN113709003A (zh) * | 2021-09-02 | 2021-11-26 | 上海天旦网络科技发展有限公司 | 通过网络流量数据自动生成测试用例的系统、方法及介质 |
CN114124555A (zh) * | 2021-11-29 | 2022-03-01 | 杭州迪普科技股份有限公司 | 报文回放方法、装置、电子设备及计算机可读介质 |
CN114285774B (zh) * | 2021-12-09 | 2023-10-13 | 广州品唯软件有限公司 | 流量录制方法、装置、电子设备及存储介质 |
CN116775664B (zh) * | 2023-08-17 | 2023-11-14 | 金篆信科有限责任公司 | 一种提高时间自由度的数据库回放方法、装置、系统及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1456977A (zh) * | 2003-06-16 | 2003-11-19 | 中国科学院计算技术研究所 | 一种计算机网络端主机系统精确标记数据包时间戳的方法 |
CN102075318A (zh) * | 2010-12-28 | 2011-05-25 | 重庆邮电大学 | 基于fpga的多信道数据包监听和时间戳捕获系统和方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7809525B2 (en) * | 2007-07-31 | 2010-10-05 | International Business Machines Corporation | Automatic configuration of robotic transaction playback through analysis of previously collected traffic patterns |
CN101202545B (zh) * | 2007-11-13 | 2011-06-08 | 中国人民解放军63891部队 | 高精度数据录取授时仪 |
CN101729389B (zh) * | 2008-10-21 | 2012-05-23 | 北京启明星辰信息技术股份有限公司 | 基于流量预测和可信网络地址学习的流量控制装置和方法 |
CN102821005B (zh) * | 2012-08-03 | 2015-04-15 | 苏州迈科网络安全技术股份有限公司 | 流量控制精度的自动化测试方法及系统 |
CN103259737B (zh) * | 2013-04-18 | 2016-01-13 | 西安交通大学 | 一种并行存储高速网络流量的快速定位方法 |
CN103986624B (zh) * | 2014-05-28 | 2017-08-08 | 西安交通大学 | 一种网络流量还原回放方法 |
CN110324203B (zh) * | 2019-06-18 | 2022-08-02 | 哈尔滨工业大学(威海) | 一种多通道高精度网络流量生成装置 |
CN110445691B (zh) * | 2019-08-16 | 2020-03-24 | 上海锵戈科技有限公司 | 定制与回放相结合的网络业务传输性能测试方法和装置 |
CN111412959B (zh) * | 2020-04-29 | 2021-07-09 | 长江水利委员会水文局 | 流量在线监测计算方法、监测仪以及监测系统 |
-
2020
- 2020-11-18 CN CN202011296424.9A patent/CN112491652B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1456977A (zh) * | 2003-06-16 | 2003-11-19 | 中国科学院计算技术研究所 | 一种计算机网络端主机系统精确标记数据包时间戳的方法 |
CN102075318A (zh) * | 2010-12-28 | 2011-05-25 | 重庆邮电大学 | 基于fpga的多信道数据包监听和时间戳捕获系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112491652A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112491652B (zh) | 一种用于测试的网络流量样本处理方法及装置 | |
US7742414B1 (en) | Lightweight indexing for fast retrieval of data from a flow-level compressed packet trace | |
CN109144858B (zh) | 流畅度检测方法、装置、计算设备及存储介质 | |
CN103795580A (zh) | 一种数据监控方法、系统及相关设备 | |
CN103986624B (zh) | 一种网络流量还原回放方法 | |
CN106921665B (zh) | 一种报文处理方法及网络设备 | |
WO2020062789A1 (zh) | 视频业务质量评估方法、装置、设备、及可读存储介质 | |
CN103259737B (zh) | 一种并行存储高速网络流量的快速定位方法 | |
CN109936474B (zh) | 一种生成网络拓扑图的方法及设备 | |
CN112565338A (zh) | 一种以太网报文捕获、过滤、存储、实时解析方法及系统 | |
CN111400127A (zh) | 业务日志的监控方法及装置、存储介质、计算机设备 | |
US20170126550A1 (en) | Selecting a flow data source | |
CN101895736B (zh) | 媒体流数据处理方法及其装置 | |
US7715317B2 (en) | Flow generation method for internet traffic measurement | |
CN109120468B (zh) | 获取端到端网络时延的方法、装置和存储介质 | |
CN105871802A (zh) | 一种监控流媒体文件传输的方法、装置及系统 | |
CN112583659A (zh) | 视联网网络状态的检测方法、装置、终端设备和存储介质 | |
CN116719750A (zh) | 软件测试方法及装置、服务器设备和存储介质 | |
CN114157611B (zh) | 一种报文去重方法、装置及存储介质 | |
EP4354297A1 (en) | Data integrity processing method and apparatus, and electronic device | |
CN114095383A (zh) | 网络流量采样方法、系统和电子设备 | |
CN111123744B (zh) | 菜谱的录制方法和装置、存储介质、电子设备 | |
CN111064637B (zh) | NetFlow数据去重方法及装置 | |
CN110896545B (zh) | 在线计费漫游故障定位方法及相关装置、存储介质 | |
EP3223478A1 (en) | Packet processing method and device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |