CN112511384B - 流量数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种流量数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取局域网测试环境中的待处理流量数据，根据预设的流量筛选方案对待处理流量数据进行筛选，得到目标流量数据；从目标流量数据中提取特征信息；通过流量评分模型和特征信息对目标流量数据进行数据筛选处理，得到有效流量数据；其中，流量评分模型为预先采用与流量筛选方案对应的流量样本进行训练的模型。采用本方法能够有效地从局域网测试环境中筛选出符合要求的有效流量数据。

Description

流量数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及测试技术领域，特别是涉及一种流量数据处理方法、装置、计算机设备和存储介质。

背景技术

随着测试技术的发展，对于局域网中各系统接口之间数据交互的测试也逐渐成为测试中的重要环节。

然而，在局域网的日常测试环境中，各系统间接口交互的数据流量过于繁杂，因此，对测试环境中产生的流量数据难以进行追踪且无法识别其有效性。在传统测试过程中，并不会针对局域网测试环境中的网络流量数据进行分析处理，也无法从杂乱无章的局域网测试环境中有效地筛选出符合要求的流量数据。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效地从局域网测试环境中筛选有效流量数据的流量数据处理方法、装置、计算机设备和存储介质。

一种流量数据处理方法，上述方法包括：

获取局域网测试环境中的待处理流量数据，根据预设的流量筛选方案对待处理流量数据进行筛选，得到目标流量数据；

从目标流量数据中提取特征信息；

通过流量评分模型和特征信息对目标流量数据进行数据筛选处理，得到有效流量数据；其中，流量评分模型为预先采用与流量筛选方案对应的流量样本进行训练的模型。

在一个实施例中，流量筛选方案为以待处理流量数据的协议类型、请求端地址及端口、响应端地址及端口、流量类型、响应状态、黑名单流量和白名单流量之中的至少一项作为筛选依据进行筛选。

在一个实施例中，上述方法还包括：

将筛选出的有效流量数据作为备用测试数据进行存储。

在一个实施例中，上述方法还包括：

以筛选出的有效流量数据作为测试数据进行用例自动化生成、用例自动化纠错、压力测试、稳定性测试和/或鲁棒性测试。

在一个实施例中，当流量筛选方案为以请求端地址及端口和响应端地址及端口作为筛选依据进行筛选时，根据预设的流量筛选方案对待处理流量数据进行过滤，得到目标流量数据之后，还包括：

以目标流量数据的数据包包头信息、请求方法信息、请求体中的关键字段及其值、响应体中的关键字段及其值之中的至少一项作为二次筛选依据对目标数据流量进行二次筛选；

从目标流量数据中提取特征信息，包括：从二次筛选后的目标流量数据中提取特征信息。

在一个实施例中，从目标流量数据中提取特征信息，包括：

从目标流量数据的请求端提取请求特征信息；和/或，从目标流量数据的响应端提取响应特征信息。

在一个实施例中，通过流量评分模型和特征信息对目标流量数据进行数据筛选处理，得到有效流量数据，包括：

根据特征信息生成特征序列，并将特征序列转化为特征向量矩阵；将特征向量矩阵作为入参输入至流量评分模型，得到流量评分模型输出的评分大于预设阈值的有效流量数据。

在一个实施例中，方法还包括：

周期性获取有效流量数据并对有效流量数据的有效性进行验证。

一种流量数据处理装置，上述装置包括：

流量数据筛选模块，用于获取局域网测试环境中的待处理流量数据，根据预设的流量筛选方案对待处理流量数据进行筛选，得到目标流量数据；

流量特征提取模块，用于从目标流量数据中提取特征信息；

流量数据评价模块，用于通过流量评分模型和特征信息对目标流量数据进行数据筛选处理，得到有效流量数据；其中，流量评分模型为预先采用与流量筛选方案对应的流量样本进行训练的模型。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的流量数据处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的流量数据处理方法的步骤。

上述流量数据处理方法、装置、计算机设备和存储介质，通过根据预设筛选方案从局域网测试环境中筛选目标流量数据，并利用有效性评分模型从目标流量数据中筛选符合要求的有效流量数据，可以有效地从局域网测试环境下繁杂交错的网络流量数据中筛选出能够被再次利用的有效流量数据。

附图说明

图1为一个实施例中流量数据处理方法的应用环境图；

图2为一个实施例中流量数据处理方法的流程示意图；

图3为一个应用实例中对流量数据进行过滤以及特征提取的技术构架图；

图4为一个应用实例中获取有效流量数据的技术构架图；

图5为一个应用实例中对流量数据有效性进行验证的技术构架图；

图6为一个实施例中流量数据处理装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或者”的关系。

本申请提供的流量数据处理方法，可以应用于如图1所示的应用环境中。服务器100获取局域网测试环境中的待处理流量数据，根据预设的流量筛选方案对待处理流量数据进行筛选处理，得到目标流量数据，从目标流量数据中提取特征信息，通过流量评分模型和特征信息对目标流量数据进行数据筛选，得到有效流量数据；其中，流量评分模型为预先采用与流量筛选方案对应的流量样本进行训练的模型。其中，服务器100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种流量数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202：获取局域网测试环境中的待处理流量数据，根据预设的流量筛选方案对待处理流量数据进行筛选，得到目标流量数据。

其中，局域网是在一个局部的地理范围内，将各种计算机、外部设备和数据库等互相联接起来组成的计算机通信网，在日常测试环境中，局域网中各系统、各接口或服务之间交互的网络流量数据复杂而交错。流量筛选方案为预先设定对流量数据(这里指待处理流量数据)进行数据筛选的筛选方案，可以根据业务需求进行设置，即预先指定某一个或多个筛选依据。

具体地，可以通过在局域网测试环境中部署监听器，利用监听器来监听局域网中的网络流量作为待处理流量数据。例如，对于RPC协议的流量而言，可以在测试环境的公共代理上部署监听器对其进行监听，对于HTTP协议的流量而言，可以在请求端和响应端等分别部署监听器对其进行监听等。当监听器监听到待处理流量数据时，可以对其进行复制并转发至流量过滤器。流量过滤器根据内置的或用户选定的预设流量筛选方案对待处理流量数据进行数据筛选处理，并将经过筛选的符合预设流量筛选方案的流量数据作为目标流量数据。

步骤S204：从目标流量数据中提取特征信息。

其中，特征信息指的是能够反映流量数据属性或功能等特征的信息，具体地，可以从目标流量数据的至少一个维度进行特征信息提取，提取方式和数量不限，但所提取的特征信息应是能达到预设指标且能反映目标流量数据基本特征的信息。

步骤S206：通过流量评分模型和特征信息对目标流量数据进行数据筛选处理，得到有效流量数据；其中，流量评分模型为预先采用与流量筛选方案对应的流量样本进行训练的模型。

其中，流量评分模型为预先进行模型训练得到的模型，可以采用机器学习方法对模型进行训练，具体训练方法不限，例如可以采用随机森林算法进行模型训练。模型训练所采用的样本可以根据流量筛选方案中筛选依据的不同进行选择，例如，可以根据协议类型的不同分别选取不同协议类型下各请求端和响应端之间的有效流量数据和无效流量数据作为训练样本。例如，对于HTTP协议，选取HTTP协议的各请求端和响应端之间的有效流量数据和无效流量数据作为训练样本，或对于RPC协议，选取RPC协议的各请求端和响应端之间的有效流量数据和无效流量数据作为训练样本等。

具体地，可以将目标流量数据的特征信息输入流量评分模型，利用流量评分模型对目标流量数据的有效性进行判别，从而筛选出符合训练标准的流量数据作为有效流量数据。

在一个实施例中，通过流量评分模型和特征信息对目标流量数据进行数据筛选处理，得到有效流量数据，包括：根据特征信息生成特征序列，并将特征序列转化为特征向量矩阵；将特征向量矩阵作为入参输入至流量评分模型，得到流量评分模型输出的评分大于预设阈值的有效流量数据。

在本实施例中，流量特征提取器在获取到目标流量数据的特征信息后，可以将特征进行组合并生成特征序列(特征数组)，然后利用流量评分器将特征序列转化为特征向量矩阵，并将特征向量矩阵作为输入参数输入至流量评分模型，流量评分模型根据该特征向量矩阵对目标流量数据进行评分，并判断评分是否大于预设阈值，若是，则将其作为有效流量数据进行输出。

上述流量数据处理方法，通过根据预设筛选方案从局域网测试环境中筛选目标流量数据，并利用有效性评分模型从目标流量数据中筛选符合要求的有效流量数据，可以有效地从局域网测试环境下繁杂交错的网络流量数据中筛选出能够被再次利用的有效流量数据。

在一个实施例中，流量筛选方案为以待处理流量数据的协议类型、请求端地址及端口、响应端地址及端口、流量类型、响应状态、黑名单流量和白名单流量之中的至少一项作为筛选依据进行筛选。

在本实施例中，用户可以根据业务需求对流量筛选方案进行配置，也可以选择系统内置默认的流量筛选方案。流量筛选方案可以包括但并不限于上述的一个或多个筛选依据。本实施例，通过配置多种筛选依据，且支持筛选依据的多样化组合，可以优化流量筛选方案，提高方案适用性，从而实现流量筛选的多样性和灵活性。

在一个实施例中，上述方法还包括将筛选出的有效流量数据作为备用测试数据进行存储。

在本实施例中，进一步还可以将筛选出的有效流量数据作为备用测试数据进行存储，以备再次应用。例如，可以根据筛选出的有效流量数据的接口URL地址进行分类存储，将各有效流量数据作为对应接口的备用测试数据。通过将有效流量数据进行回收储存，可以解决局域网测试环境中流量数据难以再次利用而导致的流量浪费的问题。

在一个实施例中，上述方法还包括以筛选出的有效流量数据作为测试数据进行用例自动化生成、用例自动化纠错、压力测试、稳定性测试和/或鲁棒性测试。

在本实施例中，在根据业务需求进行流量筛选后，可以进一步将筛选出的有效数据流量用作用例自动化生成、用例自动化纠错、压力测试、稳定性测试和/或鲁棒性测试等业务的测试数据，为该些业务提供流量数据支撑。以提高后续测试任务的执行效率，同时，流量数据的再应用也增强了其自身的利用率。

在一个实施例中，当流量筛选方案为以请求端地址及端口和响应端地址及端口作为筛选依据进行筛选时，根据预设的流量筛选方案对待处理流量数据进行过滤，得到目标流量数据之后，还包括：以目标流量数据的数据包包头信息、请求方法信息、请求体中的关键字段及其值、响应体中的关键字段及其值之中的至少一项作为二次筛选依据对所述目标数据流量进行二次筛选；从目标流量数据中提取特征信息，包括：从二次筛选后的目标流量数据中提取特征信息。

其中，二次筛选依据可以根据用户需求进行个性化设置，包括但不限于上述的二次筛选依据。在本实施例中，当流量筛选方案包括以请求端地址及端口和响应端地址及端口作为筛选依据进行筛选时，通过首次筛选可以初步得到了感兴趣的请求端和响应端的目标流量数据，在此基础上，用户还可以自定义二次筛选依据，系统根据用户自定义的二次筛选依据对首次筛选得到的目标流量数据进行二次筛选过滤，从而可以得到更加符合个性化需求的流量数据，提高流量过滤的灵活性和精确性。

在一个实施例中，从目标流量数据中提取特征信息，包括：从目标流量数据的请求端提取请求特征信息；和/或，从目标流量数据的响应端提取响应特征信息。

具体地，请求特征信息可以包括请求端URL地址(适用于HTTP协议)、请求端请求的接口服务和接口名(适用于RPC协议)、请求端IP地址和端口、请求头、请求方法(适用于HTTP协议)以及请求体中的关键字段及其值之中的至少一个。

响应特征信息可以包括响应端URL地址(适用于HTTP协议)、响应端请求的接口服务和接口名、响应端IP地址和端口、响应头，以及响应体中的关键字段及其值之中的至少一个。若还存在代理端，也可以提取代理的IP地址和端口的特征等。

本实施例，通过从目标流量的请求端和/或响应端提取特征，尤其是分别从请求端和响应端提取特征，可以得到充分反映目标流量数据请求和响应特征的信息，从而提高有效性评分的准确性。

在一个实施例中，上述方法还包括：周期性获取有效流量数据并对有效流量数据的有效性进行验证。

在本实施例中，由于随着时间的推移和系统版本的迭代，过滤规则和分析评分方法也会逐渐完善和更新，通过将录制的流量进行重演的流量回放形式周期性地对有效流量数据的有效性进行再验证，可以及时发现并剔除失效的流量数据，维持筛选出的流量数据的有效性。

下面结合一个应用实例，对本申请涉及的流量数据处理方法进行进一步具体说明。

如图3所示，图3示出了一个应用实例的对流量数据进行过滤以及特征提取的技术构架图。例如，RPC监听器和HTTP监听器分别监听RPC协议和HTTP协议的网络流量数据，并将流量数据转发给流量过滤器，根据预设的流量规则集(流量筛选方案)筛选目标流量数据，然后根据个性化过滤规则进行流量数据的二次筛选，然后利用流量特征分析器对筛选出的目标流量数据进行特征提取并生成特征序列。

如图4所示，图4示出了一个应用实例的获取有效流量数据的技术构架图。例如，利用流量评分器对目标流量数据的特征序列进行分析，并将其转化为特征向量矩阵，将特征向量矩阵作为入参输入至流量评分模型，通过流量评分模型获取有效流量数据及其评分，并将有效流量数据及其评分存入数据库。

如图5所示，图5示出了一个应用实例的对流量数据有效性进行验证的技术构架图。例如，从数据库中获取有效流量数据及其评分，利用流量回放器进行回放，若回放不成功则直接判断其无效，若回放成功，则可以进一步对其进行过滤、分析、评分等处理以判别其当前的有效性，并将当前仍处于有效状态的流量数据重新存入数据库，以实现对数据库中原有流量数据的更新。

应该理解的是，虽然图2-5的流程中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种流量数据处理装置，包括：流量数据筛选模块610、流量特征提取模块620和流量数据评价模块630，其中：

流量数据筛选模块610，用于获取局域网测试环境中的待处理流量数据，根据预设的流量筛选方案对待处理流量数据进行筛选，得到目标流量数据；

流量特征提取模块620，用于从目标流量数据中提取特征信息；

流量数据评价模块630，用于通过流量评分模型和特征信息对目标流量数据进行数据筛选，得到有效流量数据；其中，流量评分模型为预先采用与流量筛选方案对应的流量样本进行训练的模型。

在一个实施例中，流量数据筛选模块610以待处理流量数据的协议类型、请求端地址及端口、响应端地址及端口、流量类型、响应状态、黑名单流量和白名单流量之中的至少一项作为筛选依据进行筛选。

在一个实施例中，上述装置还包括流量数据存储模块640，用于将筛选出的有效流量数据作为备用测试数据进行存储。

在一个实施例中，上述装置还包括流量数据利用模块650，用于以筛选出的有效流量数据作为测试数据进行用例自动化生成、用例自动化纠错、压力测试、稳定性测试和/或鲁棒性测试。

在一个实施例中，当流量筛选方案为以请求端地址及端口和响应端地址及端口作为筛选依据进行筛选时，流量数据筛选模块610还用于以目标流量数据的数据包包头信息、请求方法信息、请求体中的关键字段及其值、响应体中的关键字段及其值之中的至少一项作为二次筛选依据对目标数据流量进行二次筛选；流量特征提取模块620从二次筛选后的目标流量数据中提取特征信息。

在一个实施例中，流量特征提取模块620从目标流量数据的请求端提取请求特征信息；和/或，从目标流量数据的响应端提取响应特征信息。

在一个实施例中，流量数据评价模块630根据特征信息生成特征序列，并将特征序列转化为特征向量矩阵；将特征向量矩阵作为入参输入至流量评分模型，得到流量评分模型输出的评分大于预设阈值的有效流量数据。在一个实施例中，上述装置还包括流量数据验证模块660，用于周期性获取有效流量数据并对有效流量数据的有效性进行验证。

关于流量数据处理装置的具体限定可以参见上文中对于流量数据处理方法的限定，在此不再赘述。上述流量数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储流量数据评分模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种流量数据处理方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取局域网测试环境中的待处理流量数据，根据预设的流量筛选方案对待处理流量数据进行筛选，得到目标流量数据；从目标流量数据中提取特征信息；通过流量评分模型和特征信息对目标流量数据进行数据筛选，得到有效流量数据；其中，流量评分模型为预先采用与流量筛选方案对应的流量样本进行训练的模型。

在一个实施例中，处理器执行计算机程序实现根据预设的流量筛选方案对待处理流量数据进行筛选时，具体实现以待处理流量数据的协议类型、请求端地址及端口、响应端地址及端口、流量类型、响应状态、黑名单流量和白名单流量之中的至少一项作为筛选依据进行筛选。

在一个实施例中，处理器执行计算机程序还实现以下步骤：将筛选出的有效流量作为备用测试数据进行存储。

在一个实施例中，处理器执行计算机程序还实现以下步骤：以筛选出的有效流量数据作为测试数据进行用例自动化生成、用例自动化纠错、压力测试、稳定性测试和/或鲁棒性测试。

在一个实施例中，当流量筛选方案为以请求端地址及端口和响应端地址及端口作为筛选依据进行筛选时，处理器执行计算机程序实现根据预设的流量筛选方案对待处理流量数据进行过滤，得到目标流量数据之后，还实现以下步骤：以目标流量数据的数据包包头信息、请求方法信息、请求体中的关键字段及其值、响应体中的关键字段及其值之中的至少一项作为二次筛选依据对目标数据流量进行二次筛选。处理器执行计算机程序实现从目标流量数据中提取特征信息时，具体实现以下步骤：从二次筛选后的流量数据中提取特征信息。

在一个实施例中，处理器执行计算机程序实现从目标流量数据中提取特征信息时，具体实现以下步骤：从目标流量数据的请求端提取请求特征信息；和/或，从目标流量数据的响应端提取响应特征信息。

在一个实施例中，处理器执行计算机程序实现通过流量评分模型和特征信息对目标流量数据进行数据筛选，得到有效流量数据时，具体实现以下步骤：根据特征信息生成特征序列，并将特征序列转化为特征向量矩阵；将特征向量矩阵作为入参输入至流量评分模型，得到流量评分模型输出的评分大于预设阈值的有效流量数据。

在一个实施例中，处理器执行计算机程序还实现周期性获取有效流量数据并对有效流量数据的有效性进行验证。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取局域网测试环境中的待处理流量数据，根据预设的流量筛选方案对待处理流量数据进行筛选，得到目标流量数据；从目标流量数据中提取特征信息；通过流量评分模型和特征信息对目标流量数据进行数据筛选，得到有效流量数据；其中，流量评分模型为预先采用与流量筛选方案对应的流量样本进行训练的模型。

在一个实施例中，计算机程序被处理器执行实现根据预设的流量筛选方案对待处理流量数据进行筛选时，具体实现以待处理流量数据的协议类型、请求端地址及端口、响应端地址及端口、流量类型、响应状态、黑名单流量和白名单流量之中的至少一项作为筛选依据进行筛选。

在一个实施例中，计算机程序被处理器执行还实现以下步骤：将筛选出的有效流量作为备用测试数据进行存储。

在一个实施例中，计算机程序被处理器执行还实现以下步骤：以筛选出的有效流量数据作为测试数据进行用例自动化生成、用例自动化纠错、压力测试、稳定性测试和/或鲁棒性测试。

在一个实施例中，当流量筛选方案为以请求端地址及端口和响应端地址及端口作为筛选依据进行筛选时，计算机程序被处理器执行实现根据预设的流量筛选方案对待处理流量数据进行过滤，得到目标流量数据之后，还实现以下步骤：以目标流量数据的数据包包头信息、请求方法信息、请求体中的关键字段及其值、响应体中的关键字段及其值之中的至少一项作为二次筛选依据对目标数据流量进行二次筛选。计算机程序被处理器执行实现从目标流量数据中提取特征信息时，具体实现以下步骤：从二次筛选后的流量数据中提取特征信息。

在一个实施例中，计算机程序被处理器执行实现从目标流量数据中提取特征信息时，具体实现以下步骤：从目标流量数据的请求端提取请求特征信息；和/或，从目标流量数据的响应端提取响应特征信息。

在一个实施例中，计算机程序被处理器执行实现通过流量评分模型和特征信息对目标流量数据进行数据筛选，得到有效流量数据时，具体实现以下步骤：根据特征信息生成特征序列，并将特征序列转化为特征向量矩阵；将特征向量矩阵作为入参输入至流量评分模型，得到流量评分模型输出的评分大于预设阈值的有效流量数据。

在一个实施例中，计算机程序被处理器执行还实现周期性获取有效流量数据并对有效流量数据的有效性进行验证。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种流量数据处理方法，所述方法包括：

获取局域网测试环境中的待处理流量数据；

根据以请求端地址及端口和响应端地址及端口作为筛选依据的流量筛选方案对所述待处理流量数据进行筛选，得到目标流量数据；以所述目标流量数据的数据包包头信息、请求方法信息、请求体中的关键字段及其值、响应体中的关键字段及其值之中的至少一项作为二次筛选依据对所述目标流量数据进行二次筛选；

从所述二次筛选后的目标流量数据中提取特征信息；

通过流量评分模型和所述特征信息对所述目标流量数据进行数据筛选处理，得到有效流量数据；其中，所述流量评分模型为预先采用与所述流量筛选方案对应的流量样本进行训练的模型；

将筛选出的有效流量数据作为对应的备用测试数据进行分类存储。

2.根据权利要求1所述的方法，其特征在于，所述流量筛选方案还包括以所述待处理流量数据的协议类型、流量类型、响应状态、黑名单流量和白名单流量之中的至少一项作为筛选依据进行筛选。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

以所述备用测试数据进行用例自动化生成、用例自动化纠错、压力测试、稳定性测试和/或鲁棒性测试。

4.根据权利要求1所述的方法，其特征在于，所述从所述二次筛选后的目标流量数据中提取特征信息，包括：

从所述目标流量数据的请求端提取请求特征信息；和/或，从所述目标流量数据的响应端提取响应特征信息。

5.根据权利要求1所述的方法，其特征在于，所述通过流量评分模型和所述特征信息对所述目标流量数据进行数据筛选处理，得到有效流量数据，包括：

根据所述特征信息生成特征序列，并将所述特征序列转化为特征向量矩阵；将所述特征向量矩阵作为入参输入至所述流量评分模型，得到所述流量评分模型输出的评分大于预设阈值的有效流量数据。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：

周期性获取所述有效流量数据并对所述有效流量数据的有效性进行验证。

7.一种流量数据处理装置，其特征在于，所述装置包括：

流量数据筛选模块，用于获取局域网测试环境中的待处理流量数据，根据以请求端地址及端口和响应端地址及端口作为筛选依据的流量筛选方案对所述待处理流量数据进行筛选，得到目标流量数据，以所述目标流量数据的数据包包头信息、请求方法信息、请求体中的关键字段及其值、响应体中的关键字段及其值之中的至少一项作为二次筛选依据对所述目标流量数据进行二次筛选；

流量特征提取模块，用于从所述二次筛选后的目标流量数据中提取特征信息；

流量数据评价模块，用于通过流量评分模型和所述特征信息对所述目标流量数据进行数据筛选处理，得到有效流量数据；其中，所述流量评分模型为预先采用与所述流量筛选方案对应的流量样本进行训练的模型；将筛选出的有效流量数据作为对应的备用测试数据进行分类存储。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images