CN114866450A - 一种数据处理方法及客户端设备 - Google Patents

Abstract

本发明公开了一种数据处理方法及客户端设备，可以获得流量回放任务；其中，流量回放任务为对目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，第一流量数据组包括目标业务在第一时段内的各条流量数据；响应于流量回放任务，获得第一流量数据组；按照预定义的数据处理方式，对第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；将处理后流量数据组发送至测试集群处进行回放处理。本发明可以有效实现对流量数据的流量回放。

Description

一种数据处理方法及客户端设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及客户端设备。

背景技术

随着计算机科学与技术的发展，流量数据处理技术不断提高。

在互联网应用中，流量回放是一种可以有效预测到业务的流量比例和预计用户使用行为的处理方式，对于业务系统容量和异常定位具有重要作用。

但是，现有技术无法有效实现流量回放。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及客户端设备，技术方案如下：

一种数据处理方法，应用于客户端设备；所述数据处理方法包括：

获得流量回放任务；其中，所述流量回放任务为对所述目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，所述第一流量数据组包括所述目标业务在第一时段内的各条流量数据；

响应于所述流量回放任务，获得所述第一流量数据组；

按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；

将所述处理后流量数据组发送至测试集群处进行回放处理。

可选的，所述获得流量回放任务，包括：

周期性的向任务下发组件发送任务获取请求；

获得由所述任务下发组件基于所述任务获取请求下发的所述流量回放任务。

可选的，所述按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理，包括：

按照先后时间顺序，对所述第一流量数据组中的各条流量数据进行排序，获得第二流量数据组；

在所述第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。

可选的，所述将所述处理后流量数据组发送至测试集群处进行回放处理，包括：

将携带有所述处理后流量数据组的流量回放请求发送至统一网关，以使得所述统一网关：分别确定所述处理后流量数据组中的各条流量数据是否包括所述回放请求标识信息，将包括有所述回放请求标识信息的流量数据发送至所述测试集群中进行回放处理。

可选的，所述统一网关还将未包括有所述回放请求标识信息的流量数据发送至线上集群进行正常的访问处理。

可选的，在所述获得流量回放任务之前，所述数据处理方法还包括：

保持对所述目标业务在预定义历史时长内的流量数据组进行录制及保存，所述预定义历史时长的时长不小于所述第一时段的时长；

所述响应于所述流量回放任务，获得所述第一流量数据组，包括：

在到达所述第一时段的最后时刻时，从当前已保存的所述预定义历史时长内的流量数据组中，提取出所述第一流量数据组。

可选的，所述预定义系数大于1。

一种客户端设备，包括：第一获得单元、第二获得单元、第一处理单元、第三获得单元和第一发送单元；其中：

所述第一获得单元，用于获得流量回放任务；其中，所述流量回放任务为对所述目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，所述第一流量数据组包括所述目标业务在第一时段内的各条流量数据；

所述第二获得单元，用于响应于所述流量回放任务，获得所述第一流量数据组；

所述第一处理单元，用于按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理；

所述第三获得单元，用于获得处理后流量数据组；

所述第一发送单元，用于将所述处理后流量数据组发送至测试集群处进行回放处理。

可选的，所述第一获得单元包括：第一下发单元和第四获得单元；

所述第一下发单元，用于周期性的向任务下发组件发送任务获取请求；

所述第四获得单元，用于获得由所述任务下发组件基于所述任务获取请求下发的所述流量回放任务。

可选的，所述第一处理单元包括：排序单元、第五获得单元和添加单元；

所述排序单元，用于按照先后时间顺序，对所述第一流量数据组中的各条流量数据进行排序；

所述第五获得单元，用于获得第二流量数据组；

所述添加单元，用于在所述第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。

可选的，所述第一发送单元，用于将携带有所述处理后流量数据组的流量回放请求发送至统一网关，以使得所述统一网关：分别确定所述处理后流量数据组中的各条流量数据是否包括所述回放请求标识信息，将包括有所述回放请求标识信息的流量数据发送至所述测试集群中进行回放处理。

可选的，所述统一网关还将未包括有所述回放请求标识信息的流量数据发送至线上集群进行正常的访问处理。

可选的，所述客户端设备还包括：保存单元；

所述保存单元，用于保持对所述目标业务在预定义历史时长内的流量数据组进行录制及保存，所述预定义历史时长的时长不小于所述第一时段的时长；

所述第二获得单元，用于在到达所述第一时段的最后时刻时，从当前已保存的所述预定义历史时长内的流量数据组中，提取出所述第一流量数据组。

可选的，所述预定义系数大于1。

本发明提出的数据处理方法及客户端设备，可以获得流量回放任务；其中，流量回放任务为对目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，第一流量数据组包括目标业务在第一时段内的各条流量数据；响应于流量回放任务，获得第一流量数据组；按照预定义的数据处理方式，对第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；将处理后流量数据组发送至测试集群处进行回放处理。本发明可以有效实现对流量数据的流量回放。

上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例提供的第一种数据处理方法的流程图；

图2示出了本发明实施例提供的第四种数据处理方法的流程图；

图3示出了本发明实施例提供的第五种数据处理方法的流程图；

图4示出了本发明实施例提供的一种客户端设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如图1所示，本实施例提出了第一种数据处理方法，该方法可以应用于客户端设备。该方法可以包括以下步骤：

S101、获得流量回放任务；其中，流量回放任务为对目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，第一流量数据组包括目标业务在第一时段内的各条流量数据；

其中，客户端设备为用户所使用的安装有用于处理目标业务的客户端的电子设备，如手机和平板电脑。

具体的，目标业务可以包括网页访问、视频观看和地图导航等业务。客户端可以与目标业务相对应，比如，当目标业务为视频观看时，客户端可以为视频应用程序(Application，APP)；再比如，当目标业务为地图导航时，客户端可以为地图导航APP。

具体的，第一流量数据组可以是由目标业务在第一时段内的所有流量数据构成的。其中，每条流量数据均可以包括请求地址、请求方法、请求参数和请求头信息等相关请求信息。

其中，预定义系数可以是用于对流量数据进行放大的系数。可选的，预定义系数可以大于1；可选的，预定义系数也可以小于1。

其中，第一时段可以是某个时段。可选的，第一时段可以是由技术人员指定的某个时段。

S102、响应于流量回放任务，获得第一流量数据组；

具体的，本发明可以在接收到流量回放任务后，获得第一流量数据组。

可选的，本发明可以在接收到流量回放任务后，确定出第一时段，之后对目标业务在第一时段内的各条流量数据进行录制及保存，获得第一流量数据组；

可选的，本发明也可以一直保持对流量数据的录制，并保存近一段时长内的流量数据；比如，本发明可以24小时不停的进行对流量数据的录制，并仅保存近24小时内的流量数据。此时，在接收到流量回放任务时，可以确定出第一时段，当第一时段刚结束时，即可以从已保存的流量数据中提取出第一时段内的流量数据，获得第一流量数据组。

需要说明的是，本发明在保存流量数据时，可以对流量数据保存预定义的时长，如三四天。当对流量数据保存的时长到达预定义时长时，可以对其进行自动删除。

S103、按照预定义的数据处理方式，对第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；

具体的，本发明可以在获得第一流量数据组后，按照预先定义好的数据处理方式，分别对第一流量数据组中的各条流量数据进行处理，之后将处理后的各条流量数据确定为流量数据组。

可选的，在本实施例提出的第二种数据处理方法中，上述步骤S103可以包括：

按照先后时间顺序，对第一流量数据组中的各条流量数据进行排序，获得第二流量数据组；

在第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。

具体的，本发明可以按照流量发生时间的先后顺序，对第一流量数据组中的各条流量数据进行排序，将排序好的各条流量数据确定为第二流量数据组；之后，本发明可以分别在第二流量数据组的各条流量数据的请求头信息中，添加用于标识需进行回放处理的回放请求标识信息，如添加X-playback:true。

S104、将处理后流量数据组发送至测试集群处进行回放处理。

其中，测试集群可以为用于对流量数据进行回放测试的集群。需要说明的是，测试集群可以是由多个用于进行回放测试的电子设备构成的。

具体的，本发明可以在获得处理后流量数据组后，将处理后流量数据组发送至测试集群处进行回放测试，有效实现对流量数据的流量回放。

需要说明的是，如果上述预定义系数大于1，则本发明可以在对流量数据进行流量回放时，可以对其同时进行相应倍数的相同流量请求。比如，当上述预定义系数为2时，本发明可以在对某条流量数据进行回放时，对其同时进行2个相同的流量请求。

需要说明的是，在现有技术中，流量回放测试方式均是在服务端上执行对流量的录制、保存和测试，或者均是在服务端上执行压测场景，对服务端的时间准度和数据存储容量要求较高，且用户请求的时间连贯性不足。而本发明可以直接在客户端设备上进行流量录制，保证录制的流量在时间线上与用户行为的符合度，有效实现对流量数据的流量回放，并可以无需服务端进行流量录制和保存，可以减少服务端的数据处理压力，减少服务端的资源消耗。另，本发明通过对现网客户端的用户实际流量进行录制，通过现网客户端直接进行流量回放压测，可以在低成本、高精度的情况下进行系统流量回放压测，获得业务容量数据，为业务的维护提供数据支持。

本实施例提出的数据处理方法，可以应用于客户端设备。该方法可以获得流量回放任务；其中，流量回放任务为对目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，第一流量数据组包括目标业务在第一时段内的各条流量数据；响应于流量回放任务，获得第一流量数据组；按照预定义的数据处理方式，对第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；将处理后流量数据组发送至测试集群处进行回放处理。本发明可以有效实现对流量数据的流量回放。

基于上述第二种数据处理方法，本实施例提出第三种数据处理方法。在第三种数据处理方法中，上述步骤S104可以包括：

将携带有处理后流量数据组的流量回放请求发送至统一网关，以使得统一网关：分别确定处理后流量数据组中的各条流量数据是否包括回放请求标识信息，将包括有回放请求标识信息的流量数据发送至测试集群中进行回放处理。

其中，统一网关为可以提供HTTP四、七层转发功能及流量分流功能的网关。

具体的，统一网关可以通过HTTP协议，与客户端设备进行通信。

具体的，本发明可以在获得处理后流量数据组之后，生成携带有处理后流量数据组的流量回放请求，并将生成的流量回放请求发送至统一网关，由统一网关进行流量分发。

具体的，统一网关可以在接收到流量回放请求后，从中提取出处理后流量数据组，对于处理后流量数据组中的各条流量数据，统一网关均判断其请求头信息中是否存在有回放请求标识信息。对于存在有回放请求标识信息的流量数据，统一网关可以将其发送至测试集群进行流量回放处理。

可选的，在上述第三种数据处理方法中，统一网关还将未包括有回放请求标识信息的流量数据发送至线上集群进行正常的访问处理。

其中，线上集群可以是用于处理用户发送的访问请求的集群。

具体的，对于未存在有回放请求标识信息的流量数据，统一网关可以确定其为用户正常发送的流量请求，可以将其发送至线上集群进行正常的流量请求处理。

需要说明的是，本发明可以通过统一网关的设置，可以实现对流量数据的识别，即识别出其为待进行流量回放处理的流量数据还是为正常请求的流量数据，基于识别结果对流量数据进行分发，保证流量回放的有效实现，以及对正常流量数据的正常处理，提高资源利用率。

本实施例提出的数据处理方法，可以通过统一网关的设置，可以实现对流量数据的识别，即识别出其为待进行流量回放处理的流量数据还是为正常请求的流量数据，基于识别结果对流量数据进行分发，保证流量回放的有效实现，以及对正常流量数据的正常处理，提高资源利用率。

基于图1，如图2所示，本实施例提出第四种数据处理方法。在该方法中，步骤S101可以包括以下步骤：

S201、周期性的向任务下发组件发送任务获取请求；

其中，任务下发组件可以是一种用于下发流量回放任务的服务。

具体的，本发明可以对任务下发组件进行流量回放任务的周期性轮询，比如每隔1分钟即向任务下发组件发送对流量回放任务的获取请求。

S202、获得由任务下发组件基于任务获取请求下发的流量回放任务。

具体的，任务下发组件在存在有待向客户端设备发送的流量回放任务时，可以在接收到客户端设备发送的任务获取请求时，向客户端设备发送流量回放任务。

具体的，任务下发组件也可以主动的向客户端设备发送流量回放任务。

需要说明的是，本发明通过上述步骤S201和S202，可以有效保障客户端设备对于流量回放任务的获得，从而有效保障流量回放的实现。

本实施例提出的数据处理方法，可以有效保障客户端设备对于流量回放任务的获得，从而有效保障流量回放的实现。

基于图1，如图3所示，本实施例提出第五种数据处理方法。该方法在步骤S101之前，还可以包括步骤S100。其中：

S100、保持对目标业务在预定义历史时长内的流量数据组进行录制及保存，预定义历史时长的时长不小于第一时段的时长；

具体的，客户端设备可以在启动后，保持对目标业务的流量数据的录制，并仅对在预定义历史时长内的流量数据进行录制，比如仅对近24小时内的流量数据进行保存。

此时，上述步骤S102可以为步骤S301。其中：

S301、在到达第一时段的最后时刻时，从当前已保存的预定义历史时长内的流量数据组中，提取出第一流量数据组。

具体的，本发明可以在获得流量回放任务后，从中确定出第一时段，当第一时段刚好结束时，本发明可以从当前已保存的预定义历史时长内的流量数据组中，提取出在第一时段内的第一流量数据组。比如，如果第一时段为2022年3月12日20点至22点，本发明在24小时内不间断的对目标业务的流量数据进行录制，且仅在近24小时内录制的流量数据进行保存，则本发明可以在时间到达2022年3月22点时，从当前已保存的流量数据中提取出过去两个小时内的流量数据作为第一流量数据组。

需要说明的是，本发明通过上述步骤S100和S301，可以有效实现对流量数据的录制、保存以及相应时段内流量数据组的获得，有效保障流量回放的实现。

本实施例提出的数据处理方法，可以有效实现对流量数据的录制、保存以及相应时段内流量数据组的获得，有效保障流量回放的实现。

与图1所示方法相对应，如图4所示，本实施例提出一种客户端设备。该客户端设备包括：第一获得单元101、第二获得单元102、第一处理单元103、第三获得单元104和第一发送单元105；其中：

第一获得单元101，用于获得流量回放任务；其中，流量回放任务为对目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，第一流量数据组包括目标业务在第一时段内的各条流量数据；

第二获得单元102，用于响应于流量回放任务，获得第一流量数据组；

第一处理单元103，用于按照预定义的数据处理方式，对第一流量数据组中的各条流量数据进行处理；

第三获得单元104，用于获得处理后流量数据组；

第一发送单元105，用于将处理后流量数据组发送至测试集群处进行回放处理。

需要说明的是，第一获得单元101、第二获得单元102、第一处理单元103、第三获得单元104和第一发送单元105的具体处理过程及其带来的技术效果，可以参照本实施例在图1所示方法中对步骤S101至S104的相关说明，此处不再赘述。

可选的，第一获得单元101包括：第一下发单元和第四获得单元；

第一下发单元，用于周期性的向任务下发组件发送任务获取请求；

第四获得单元，用于获得由任务下发组件基于任务获取请求下发的流量回放任务。

可选的，第一处理单元103包括：排序单元、第五获得单元和添加单元；

排序单元，用于按照先后时间顺序，对第一流量数据组中的各条流量数据进行排序；

第五获得单元，用于获得第二流量数据组；

添加单元，用于在第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。

可选的，第一发送单元105，用于将携带有处理后流量数据组的流量回放请求发送至统一网关，以使得统一网关：分别确定处理后流量数据组中的各条流量数据是否包括回放请求标识信息，将包括有回放请求标识信息的流量数据发送至测试集群中进行回放处理。

可选的，统一网关还将未包括有回放请求标识信息的流量数据发送至线上集群进行正常的访问处理。

可选的，客户端设备还包括：保存单元；

保存单元，用于保持对目标业务在预定义历史时长内的流量数据组进行录制及保存，预定义历史时长的时长不小于第一时段的时长；

第二获得单元102，用于在到达第一时段的最后时刻时，从当前已保存的预定义历史时长内的流量数据组中，提取出第一流量数据组。

可选的，预定义系数大于1。

本实施例提出的客户端设备，可以获得流量回放任务；其中，流量回放任务为对目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，第一流量数据组包括目标业务在第一时段内的各条流量数据；响应于流量回放任务，获得第一流量数据组；按照预定义的数据处理方式，对第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；将处理后流量数据组发送至测试集群处进行回放处理。本发明可以有效实现对流量数据的流量回放。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于客户端设备；所述数据处理方法包括：

获得流量回放任务；其中，所述流量回放任务为对所述目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，所述第一流量数据组包括所述目标业务在第一时段内的各条流量数据；

响应于所述流量回放任务，获得所述第一流量数据组；

按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；

将所述处理后流量数据组发送至测试集群处进行回放处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述获得流量回放任务，包括：

周期性的向任务下发组件发送任务获取请求；

获得由所述任务下发组件基于所述任务获取请求下发的所述流量回放任务。

3.根据权利要求1所述的数据处理方法，其特征在于，所述按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理，包括：

按照先后时间顺序，对所述第一流量数据组中的各条流量数据进行排序，获得第二流量数据组；

在所述第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。

4.根据权利要求3所述的数据处理方法，其特征在于，所述将所述处理后流量数据组发送至测试集群处进行回放处理，包括：

将携带有所述处理后流量数据组的流量回放请求发送至统一网关，以使得所述统一网关：分别确定所述处理后流量数据组中的各条流量数据是否包括所述回放请求标识信息，将包括有所述回放请求标识信息的流量数据发送至所述测试集群中进行回放处理。

5.根据权利要求4所述的数据处理方法，其特征在于，所述统一网关还将未包括有所述回放请求标识信息的流量数据发送至线上集群进行正常的访问处理。

6.根据权利要求1所述的数据处理方法，其特征在于，在所述获得流量回放任务之前，所述数据处理方法还包括：

保持对所述目标业务在预定义历史时长内的流量数据组进行录制及保存，所述预定义历史时长的时长不小于所述第一时段的时长；

所述响应于所述流量回放任务，获得所述第一流量数据组，包括：

在到达所述第一时段的最后时刻时，从当前已保存的所述预定义历史时长内的流量数据组中，提取出所述第一流量数据组。

7.根据权利要求1所述的数据处理方法，其特征在于，所述预定义系数大于1。

8.一种客户端设备，其特征在于，包括：第一获得单元、第二获得单元、第一处理单元、第三获得单元和第一发送单元；其中：

所述第一获得单元，用于获得流量回放任务；其中，所述流量回放任务为对所述目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，所述第一流量数据组包括所述目标业务在第一时段内的各条流量数据；

所述第二获得单元，用于响应于所述流量回放任务，获得所述第一流量数据组；

所述第一处理单元，用于按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理；

所述第三获得单元，用于获得处理后流量数据组；

所述第一发送单元，用于将所述处理后流量数据组发送至测试集群处进行回放处理。

9.根据权利要求8所述的客户端设备，其特征在于，所述第一获得单元包括：第一下发单元和第四获得单元；

所述第一下发单元，用于周期性的向任务下发组件发送任务获取请求；

所述第四获得单元，用于获得由所述任务下发组件基于所述任务获取请求下发的所述流量回放任务。

10.根据权利要求8所述的客户端设备，其特征在于，所述第一处理单元包括：排序单元、第五获得单元和添加单元；

所述排序单元，用于按照先后时间顺序，对所述第一流量数据组中的各条流量数据进行排序；

所述第五获得单元，用于获得第二流量数据组；

所述添加单元，用于在所述第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。

Images