CN115562996A - 数据处理方法以及装置 - Google Patents

Abstract

本说明书实施例提供一种数据处理方法以及装置，其中方法包括：根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。通过等级标签获取用户流量数据，获取到各等级标签对应的用户数据流量，并存入流量数据列表，以使从流量数据列表中获取的流量数据更加全面，同时因为在数据流量列表中按类别存入任务表，保证每类用户流量数据输出的稳定性，也便于发现用户流量数据处理异常的情况。

Description

数据处理方法以及装置

技术领域

本说明书实施例涉及数据处理技术领域，特别涉及一种数据处理方法。

背景技术

风控域为网商小微融资的底层核心。日常有会大量的生产变更产生，包括离线数据切换、策略模型发布等。为了守护生产安全，防范变更不符合预期时带来的影响，于是通过自动化回流生产日志，在变更预生效阶段，实时调用生产环境和预生效环境，并比较两者返回的结果，以达到提前验证变更正确性的目的，即我们所称的“流量仿真”。

目前的方法是，只简单的随机回流生产日志，那势必会造成流量不均。热点产品的流量占大头，而大部分小众产品流量匮乏，从而导致无法进行全面核对。

发明内容

有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：

根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；

根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；

从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。

根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：

数据获取模块，被配置为根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；

数据更新模块，被配置为根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；

数据处理模块，被配置为从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。

根据本说明书实施例的第三方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。

本说明书实施例提供一种数据处理方法以及装置，其中所述数据处理方法包括：根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。通过等级标签获取用户流量数据，可以获取到各等级标签对应的用户数据流量，并存入流量数据列表，以使从流量数据列表中获取的流量数据更加全面和均衡，同时因为在数据流量列表中按类别存入任务表，保证每类用户流量数据都可以进行输出，以使输出的流量大、稳定性高，也便于发现用户流量数据处理异常的情况。

附图说明

图1是本说明书一个实施例提供的一种数据处理方法的场景示意图；

图2是本说明书一个实施例提供的一种数据处理方法的流程图；

图3是本说明书一个实施例提供的一种数据处理方法的处理过程流程图；

图4是本说明书一个实施例提供的一种数据处理装置的结构示意图；

图5是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

流量仿真：自动化回流生产日志，在变更预生效阶段，实时调用生产环境和预生效环境，并比较两者返回的结果，以达到提前验证变更正确性的目的。

流量池：线上产品流量多样化，按照高频流量、低频流量和新业务三类区分成三类场景，并分别进行处置的一类装置。

列表：是一种数据项构成的有限序列，即按照一定的线性顺序，排列而成的数据项的集合，在这种数据结构上进行的基本操作包括对元素的查找，插入，和删除。

在本说明书中，提供了一种数据处理方法，本说明书同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

参见图1，图1示出了根据本说明书一个实施例提供的一种数据处理方法的场景示意图，具体包括服务端110，客户端120，流量数据列表130和任务表140。

具体地，服务端110接收不同客户端120发送的用户流量数据，如，请求查看余额，请求查看额度等流量数据，这些用户流量数据带有等级标签和类别标签，等级标签用于表征用户数据流量对应的等级，类别标签用于表征用户流量数据所属于的业务类别。

服务端110在接收到这些流量之后，根据等级标签从所有的用户流量数据中抽取一部分用户流量数据并存储至流量池130，流量池130中包括多个任务表140，每个任务表140均对应一个业务类别的流量数据。

通过等级标签获取用户流量数据，可以获取到各等级标签对应的用户数据流量，并存入流量数据列表，以使从流量数据列表中获取的流量数据更加全面，同时因为在数据流量列表中按类别存入任务表，保证每类用户流量数据输出的稳定性，也便于发现用户流量数据处理异常的情况。

参见图2，图2示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，具体包括以下步骤。

步骤202：根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签。

其中，等级标签可以为表征用户流量数据所对应的等级的标签，该等级标签根据用户流量数据的出现频率确定；在实际应用中，用户流量数据的出现频率越高，该用户流量数据的等级标签越高；用户流量数据的出现频率越低，该用户流量数据的等级标签越低，例如，用户请求查看借贷额度，用户流量数据A出现的频率为每分钟100次，那么用户流量数据A的等级标签为高频流量；用户流量数据可以为用户通过客户端向服务端发送的请求数据，例如，用户请求查看借贷额度；类别标签可以为用户流量数据所属于的业务类型的标签，例如，用户流量数据为用户请求查看借贷额度的流量数据，那么该用户流量数据所对应的类型标签，可以为借贷业务标签。

在实际应用中，用户流量数据存在出现频率较高的流量数据，也存在用户流量数据出现频率较低的流量数据，如果不考虑用户流量数据出现的频率，而进行随机抽取，那么就可能会造成仅获取到高频流量的情况，以使之后在进行用户流量数据处理的时候，可能因为无法通过全面的用户流量数据得到准确的处理结果，所以，加入用户流量数据的等级标签，以抽取不同等级标签的用户流量数据。

例如，等级标签包括高频流量等级标签、低频流量等级标签，分别从高频流量等级标签、低频流量等级标签抽取100条用户流量数据。

本说明书实施例通过根据等级标签获取用户流量数据，从而可以获取到不同等级标签对应的用户流量数据，以提高用户流量数据的全面性。

在一种可实现的方式中，所述根据等级标签获取用户流量数据，包括：

通过预设时间间隔，根据等级标签获取用户流量数据。

其中，预设时间间隔可以理解为预先设定的时间周期，例如，预设时间间隔为十分钟，也就是说，每十分钟进行一次根据等级标签获取用户流量数据的操作。

在实际应用中，需要不断的收集新的用户流量数据，以使用户流量数据更加贴近近期的实际情况中的用户流量数据，所以需要以预设的时间间隔去获取用户数据流量。

例如，预设时间间隔为十分钟，则每过十分钟收集一次用户数据流量，等级标签包括高频流量等级标签、低频流量等级标签，每过十分钟分别从高频流量等级标签、低频流量等级标签抽取100条用户流量数据。

本说明书实施例通过预设时间间隔获取用户数据流量，以保证用户数据流量更加符合当前时间的情况，也就提高了用户数据流量的真实性。

在一种可实现的方式中，所述等级标签为至少两个；

相应地，所述根据等级标签获取用户流量数据，包括：

从所述至少两个等级标签分别对应的用户流量数据中，获取预设数量的用户流量数据。

其中，预设数量为预设用户流量数据的条数，例如，预设数量为100条，则获取100条用户流量数据。

在实际应用中，通过设置获取的用户数据流量的数量，可以控制用户数据流量更新的快慢，从而可以提高用户流量数据的稳定性。

例如，预设数量为100条，预设时间间隔为十分钟，则每过十分钟收集一次用户数据流量，等级标签包括高频流量等级标签、低频流量等级标签，每过十分钟分别从高频流量等级标签、低频流量等级标签抽取100条用户流量数据。

本说明书实施例通过设置获取的用户数据流量的数量，可以控制用户数据流量更新的快慢，从而可以提高用户流量数据的稳定性。

在一种可实现的方式中，所述等级标签包括第一等级标签，其中，所述第一等级标签对应的用户流量数据出现的频率大于预设频率阈值；

相应地，所述根据等级标签获取用户流量数据，包括：

从所述第一等级标签对应的用户流量数据中，获取所述预设数量的用户流量数据。

其中，第一等级标签可以为高频率等级标签，例如，“1”可以代表第一等级标签，用户获取余额对应的用户流量数据为高频率等级标签，则给用户获取余额对应的用户流量数据打上“1”，以表示用户获取余额对应的用户流量数据为高频率流量数据；用户流量数据出现的频率可以理解为在一段时间内，用户数据流量出现的次数，例如，在一个小时内，用户流量数据A出现了100次，则用户流量数据A的频率为一个小时100次；预设频率阈值可以为确定用户流量数据的阈值，例如，频率为一个小时100次以上，定义为高频率流量数据，频率为一个小时及以下，定义为低频率流量数据。

在实际应用中，可以将用户流量数据以出现的频率分为多个等级的流量数据，并对每个等级设置一个流量标签，这样，对于不同频率的用户数据流量，都可以进行收集，而不会因为某些用户流量数据出现的频率低，造成无法收集的情况。

例如，预设频率阈值为：频率为一个小时100次以上，定义为高频率流量数据，频率为一个小时及以下，定义为低频率流量数据。在一段时间内，用户获取余额对应的用户流量数据出现频率为每小时100次以上，用户获取额度对应的用户流量数据出现频率为每小时100次以上，则用户获取余额以及用户获取额度对应的用户流量数据为高频率流量数据。而用户获取余额以及用户获取额度对应的用户流量数据因为数据量大，如，每十分钟用户获取余额对应的用户流量数据为1000条，每十分钟用户获取额度对应的用户流量数据为1000条，则可以从用户获取余额对应的用户流量数据和用户获取额度对应的用户流量数据中，随机抽取100条用户流量数据。

又例如，在一段时间内，用户获取余额对应的用户流量数据出现频率为每小时100次以上，用户获取额度对应的用户流量数据出现频率为每小时100次以上，则用户获取余额以及用户获取额度对应的用户流量数据为高频率流量数据。而用户获取余额以及用户获取额度对应的用户流量数据因为数据量大，如，每十分钟用户获取余额对应的用户流量数据为1000条，每十分钟用户获取额度对应的用户流量数据为1000条，则可以在第一分钟抽取10条，在第二分钟抽取10条，……，在第十分钟抽取10条，也就是在10分钟内平均地抽取了100条。

需要说明的是，对于高频率流量数据的抽取方式本说明书实施例不进行限定，可以达到具体的抽取方式即可。

本说明书实施例对高频率等级标签对应的用户流量数据进行随机获取，得到具有代表性高频率流量数据，提高了抽取的用户数据流量的真实性。

在一种可实现的方式中，所述等级标签包括第二等级标签，其中，所述第二等级标签对应的用户流量数据出现的频率小于或等于所述预设频率阈值；

相应地，所述根据等级标签获取用户流量数据，包括：

监测所述第二等级标签对应的用户流量数据，在所述第二等级标签对应的用户流量数据的数量，满足所述预设数量的情况下，获取所述预设数量的所述第二等级标签对应的用户流量数据。

其中，第二等级标签可以为低频率等级标签，例如，“2”可以代表第二等级标签，用户获取额度对应的用户流量数据为低频率等级标签，则给用户获取额度对应的用户流量数据打上“2”，以表示用户获取额度对应的用户流量数据为低频率流量数据。

在实际应用中，对于低频业务，也就是低频率等级标签对应的用户流量数据，由于线上流量数据稀少，因此采取汇总的方式，会将一段时间内的流量全部存储起来，同时也会进行新老更替。

例如，预设频率阈值为：频率为一个小时100次以上，定义为高频率流量数据，频率为一个小时及以下，定义为低频率流量数据。在一段时间内，用户获取还款日期对应的用户流量数据出现频率为每小时100次以下，用户获取配置项对应的用户流量数据出现频率为每小时100次以下，则用户获取还款日期对应的用户流量数据以及用户获取配置项为低频率流量数据。而用户获取还款日期以及用户获取配置项对应的用户流量数据因为数据量少，如，每十分钟用户获取还款日期对应的用户流量数据为50条，每十分钟用户获取配置项对应的用户流量数据为10条，则可以等待用户获取还款日期以及用户获取配置项对应的用户流量数据足够100条时，再进行获取。

又例如，在一段时间内，用户获取还款日期对应的用户流量数据出现频率为每小时100次以下，用户获取配置项对应的用户流量数据出现频率为每小时100次以下，则用户获取还款日期对应的用户流量数据以及用户获取配置项为低频率流量数据。而用户获取还款日期以及用户获取配置项对应的用户流量数据因为数据量少，如，每十分钟用户获取还款日期对应的用户流量数据为50条，每十分钟用户获取配置项对应的用户流量数据为10条，则可以直接获取用户获取还款日期以及用户获取配置项对应的用户流量数据，即60条用户流量数据。

本说明书实施例，通过对低频率等级标签对应的用户流量数据进行采集，以使不经常出现的用户数据流量也会被采集到，提高了用户流量数据的全面性。

在一种可实现的方式中，所述等级标签包括第三等级标签，其中，所述第三等级标签根据预设业务场景创建；

相应地，所述根据等级标签获取用户流量数据，包括：

根据所述第三等级标签，接收所述预设数量的所述第三等级标签对应的用户流量数据。

其中，第三等级标签可以为未发布的业务等级标签、即新业务等级标签，例如，新业务N未向客户发布，则新业务N对应的用户流量数据，可以添加第三等级标签；预设业务场景可以为新建立的、未发布的业务场景。

在实际应用中，对于新业务、新场景，在线上没有流量数据，因此需要手工进行构造并存储，其中，线上可以理解为用户通过网络发送至服务端的形式。

例如，对于未上线的业务场景，则不会存在真实的流量数据，那么需要测试人员手动构建流量数据，如，测试工作人员构造新业务N对应用户流量数据50条，并将这50条新业务N对应用户流量数据发送至采集模块，即为接收所述预设数量的所述第三等级标签对应的用户流量数据。

本说明书实施例通过对未上线的业务场景进行收集，也就是还可以对没有真实的用户流量数据进行获取，以提供对新业务进行测试处理的流量数据。

步骤204：根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据。

其中，流量数据列表可以为上述实施例中的流量池，用于存储用户流量数据，实现方式可以为基于列表的数据结构。

在实际应用中，核心高频流量、低频流量、新场景人工构造的流量都统一经过流量池进行蓄流，最终各类产品经过流量池后，输出的核对流量保持稳定。

例如，预设数量为100条，预设时间间隔为十分钟，则每过十分钟收集一次用户数据流量，等级标签包括高频流量等级标签、低频流量等级标签以及新业务等级标签，每过十分钟分别从高频流量等级标签、低频流量等级标签以及新业务等级标签抽取100条用户流量数据。在某个十分钟，预设频率阈值为：频率为一个小时100次以上，定义为高频率流量数据，频率为一个小时及以下，定义为低频率流量数据。在一段时间内，用户获取余额对应的用户流量数据出现频率为每小时100次以上，用户获取额度对应的用户流量数据出现频率为每小时100次以上，则用户获取余额以及用户获取额度对应的用户流量数据为高频率流量数据。而用户获取余额以及用户获取额度对应的用户流量数据因为数据量大，如，每十分钟用户获取余额对应的用户流量数据为1000条，每十分钟用户获取额度对应的用户流量数据为1000条，则可以从用户获取余额对应的用户流量数据和用户获取额度对应的用户流量数据中，随机抽取100条用户流量数据。用户获取还款日期对应的用户流量数据出现频率为每小时100次以下，用户获取配置项对应的用户流量数据出现频率为每小时100次以下，则用户获取还款日期以及用户获取配置项对应的用户流量数据为低频率流量数据。而用户获取还款日期以及用户获取配置项对应的用户流量数据因为数据量少，如，每十分钟用户获取还款日期对应的用户流量数据为50条，每十分钟用户获取配置项对应的用户流量数据为10条，则可以等待用户获取还款日期以及用户获取配置项对应的用户流量数据足够100条时，再进行获取。测试工作人员构造新业务N对应用户流量数据50条，并将这50条新业务N对应用户流量数据发送至采集模块，即为接收所述预设数量的所述第三等级标签对应的用户流量数据。

获取到53条用户获取余额对应的用户流量数据，47条用户获取额度对应的用户流量数据，71条用户获取还款日期对应的用户流量数据，29条用户获取配置项对应的用户流量数据，以及50条新业务N对应用户流量数据，则将这些150条数据放入流量数据列表。

本说明书实施例根据类别标签将用户流量数据存入预先建立的流量数据列表，以保证流量数据列表中存在所有类别标签对应的用户流量数据，提高了数据的全面性。

在一种可实现的方式中，所述根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，包括：

确定所述类别标签对应的所述流量数据列表的目标任务表，将所述类别标签对应的用户流量数据存入所述目标任务表。

其中，目标任务表可以为一个类别的用户流量数据对应的任务表，例如，用户获取余额对应的任务表。

在实际应用中，流量数据列表可以为一个队列表，针对每一类业务对应的用户流量数据，对应队列表中的一个任务表。每个任务表在队列表中始终存储100条线上请求记录。这样每分钟从该对列表中捞取对应任务的记录，构造核对请求，保持核对稳定。

例如，获取到53条用户获取余额对应的用户流量数据，47条用户获取额度对应的用户流量数据，71条用户获取还款日期对应的用户流量数据，29条用户获取配置项对应的用户流量数据，以及50条新业务N对应用户流量数据，则将这些150条数据放入流量数据列表。则确定用户获取余额对应的任务表，并将53条用户获取余额对应的用户流量数据存入用户获取余额对应的任务表。确定用户获取额度对应的任务表，并将47条用户获取额度对应的用户流量数据存入用户获取额度对应的任务表。确定用户获取还款日期对应的任务表，并将71条用户获取还款日期对应的用户获取还款日期存入用户获取余额对应的任务表。确定用户获取配置项对应的任务表，并将29条用户获取配置项对应的用户流量数据存入用户获取配置项对应的任务表。确定新业务N对应的任务表，并将50条新业务N对应的用户流量数据存入新业务N对应的任务表。

又例如，在获取到用户获取余额对应的用户流量数据后，确定用户获取余额对应的任务表，但因为是第一次获取用户获取余额对应的用户流量数据，没有对应的用户获取余额对应的任务表，则先生成一个用户获取余额对应的任务表，再将用户获取余额对应的用户流量数据放入用户获取余额对应的任务表。

本说明书实施例通过任务表保证可以存储多个类别的用户流量数据，可以从该任务表中获取用户流量数据，提高数据的稳定性。

在一种可实现的方式中，在所述将类别标签对应的用户流量数据存入所述目标任务表之后，还包括：

确定存入所述目标任务表的用户流量数据的数据数量，并在所述目标任务表中删除所述数据数量的历史用户流量数据。

其中，数据数量可以理解为用户流量数据的条数，例如，数据数量为40条；历史用户流量数据可以理解为任务表中之前存储的用户流量数据，例如，之前的任务表中存在100条用户流量数据，则历史用户流量数据为100条。

在实际应用中，为了保证更符合实际中的用户流量数据，并且保证资源的合理使用，需要对旧的流量数据进行删除。

例如，用户获取余额对应的用户流量数据为53条，则确定用户获取余额对应的任务表，并将53条用户获取余额对应的用户流量数据存入用户获取余额对应的任务表，并从用户获取余额对应的任务表中删除53条旧的用户流量数据。

本说明书实施例通过在加入新的用户流量数据之后，删除同样数量的旧的用户流量数据，提高了资源的利用率。

步骤206：从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。

其中，目标流量数据可以为任务表的一部分数据，例如，从每个任务表抽取10条数据。

在实际应用中，从任务表中获取用户数据流量可以进行流量仿真，也就是实时调用生产环境和预生效环境，并比较两者返回的结果，以达到提前验证变更正确性的目的。

例如，任务表包括用户获取额度对应的任务表和用户获取还款日期对应的任务表，则从用户获取额度对应的任务表和用户获取还款日期对应的任务表中，各获取50条用户数据流量。

本说明书实施例通过从任务表获取用户数据流量，由于任务表包括多个等级标签的用户流量数据，数据的全面性高，所以根据目标流量数据进行数据处理得到的准去性高。

在一种可实现的方式中，所述根据所述目标流量数据进行数据处理，包括：

根据预设标识规则为所述目标流量数据进行标识，并根据预设路由规则，将标识后的所述目标流量数据转发至第一类型处理设备以及第二类型处理设备。

其中，预设标识规则可以为预设的、识别所述目标流量数据，并进行标识的规则，例如，根据端口号确定用户数据流量是否为目标流量，并对目标流量进行标识；预设路由规则可以为转发流量数据的规则；第一类型处理设备可以理解为生产机器，即面向用户的服务器，生产机器的配置、策略为面向用户的配置、策略；第二类型处理设备可以理解为测试机器，测试机器的配置、策略为待进行测试的配置、策略。

在实际应用中，通过RPC拦截的方式，应用在作为服务端被其它应用调用、作为客户端调用其它应用的时候，均会被拦截。当满足指定接口、指定方法和指定参数时，在上下文中打上业务标，即进行染色。同时会给客户端下发路由规则，对于成功染色的流量，会路由到指定的机器上。

例如，预设标识规则为端口号为5555的用户流量数据会被识别为目标流量数据，则将目标流量数据进行标识，然后通过路由规则可以确定端口号为5555目标流量数据对应的第一类型处理设备的网络地址以及第二类型处理设备网络地址，并将目标流量数据根据第一类型处理设备的网络地址转发至第一类型处理设备，将目标流量数据根据第二类型处理设备的网络地址转发至第二类型处理设备。

本说明书实施例提供一种数据处理方法以及装置，其中所述数据处理方法包括：根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。通过等级标签获取用户流量数据，可以获取到各等级标签对应的用户数据流量，并存入流量数据列表，以使从流量数据列表中获取的流量数据更加全面，同时因为在数据流量列表中按类别存入任务表，保证每类用户流量数据输出的稳定性，也便于发现用户流量数据处理异常的情况。

下述结合附图3，以本说明书提供的数据处理方法在服务器的应用为例，对所述数据处理方法进行进一步说明。其中，图3示出了本说明书一个实施例提供的一种数据处理方法的处理过程流程图，具体包括以下步骤。

步骤302：从所述第一等级标签对应的用户流量数据中，获取所述预设数量的用户流量数据。

其中，第一等级标签可以为高频率等级标签，例如，“1”可以代表第一等级标签，用户获取余额对应的用户流量数据为高频率等级标签，则给用户获取余额对应的用户流量数据打上“1”，以表示用户获取余额对应的用户流量数据为高频率流量数据；用户流量数据出现的频率可以理解为在一段时间内，用户数据流量出现的次数，例如，在一个小时内，用户流量数据A出现了100次，则用户流量数据A的频率为一个小时100次；预设频率阈值可以为确定用户流量数据的阈值，例如，频率为一个小时100次以上，定义为高频率流量数据，频率为一个小时及以下，定义为低频率流量数据。

在实际应用中，可以将用户流量数据以出现的频率分为多个等级的流量数据，并对每个等级设置一个流量标签，这样，对于不同频率的用户数据流量，都可以进行收集，而不会因为某些用户流量数据出现的频率低，造成无法收集的情况。

例如，预设频率阈值为：频率为一个小时100次以上，定义为高频率流量数据，频率为一个小时及以下，定义为低频率流量数据。在一段时间内，用户获取余额对应的用户流量数据出现频率为每小时100次以上，用户获取额度对应的用户流量数据出现频率为每小时100次以上，则用户获取余额以及用户获取额度对应的用户流量数据为高频率流量数据。而用户获取余额以及用户获取额度对应的用户流量数据因为数据量大，如，每十分钟用户获取余额对应的用户流量数据为1000条，每十分钟用户获取额度对应的用户流量数据为1000条，则可以从用户获取余额对应的用户流量数据和用户获取额度对应的用户流量数据中，随机抽取100条用户流量数据。

步骤304：监测所述第二等级标签对应的用户流量数据，在所述第二等级标签对应的用户流量数据的数量，满足所述预设数量的情况下，获取所述预设数量的所述第二等级标签对应的用户流量数据。

其中，第二等级标签可以为低频率等级标签，例如，“2”可以代表第二等级标签，用户获取额度对应的用户流量数据为低频率等级标签，则给用户获取额度对应的用户流量数据打上“2”，以表示用户获取额度对应的用户流量数据为低频率流量数据。

在实际应用中，对于低频业务，也就是低频率等级标签对应的用户流量数据，由于线上流量数据稀少，因此采取汇总的方式，会将一段时间内的流量全部存储起来，同时也会进行新老更替。

例如，预设频率阈值为：频率为一个小时100次以上，定义为高频率流量数据，频率为一个小时及以下，定义为低频率流量数据。在一段时间内，用户获取还款日期对应的用户流量数据出现频率为每小时100次以下，用户获取配置项对应的用户流量数据出现频率为每小时100次以下，则用户获取还款日期对应的用户流量数据以及用户获取配置项为低频率流量数据。而用户获取还款日期以及用户获取配置项对应的用户流量数据因为数据量少，如，每十分钟用户获取还款日期对应的用户流量数据为50条，每十分钟用户获取配置项对应的用户流量数据为10条，则可以等待用户获取还款日期以及用户获取配置项对应的用户流量数据足够100条时，再进行获取。

步骤306：根据所述第三等级标签，接收所述预设数量的所述第三等级标签对应的用户流量数据。

其中，第三等级标签可以为未发布的业务等级标签、即新业务等级标签，例如，新业务N未向客户发布，则新业务N对应的用户流量数据，可以添加第三等级标签；预设业务场景可以为新建立的、未发布的业务场景。

在实际应用中，对于新业务、新场景，在线上没有流量数据，因此需要手工进行构造并存储，其中，线上可以理解为用户通过网络发送至服务端的形式。

例如，对于未上线的业务场景，则不会存在真实的流量数据，那么需要测试人员手动构建流量数据，如，测试工作人员构造新业务N对应用户流量数据50条，并将这50条新业务N对应用户流量数据发送至采集模块，即为接收所述预设数量的所述第三等级标签对应的用户流量数据。

步骤308：确定所述类别标签对应的所述流量数据列表的目标任务表，将所述类别标签对应的用户流量数据存入所述目标任务表。

其中，目标任务表可以为一个类别的用户流量数据对应的任务表，例如，用户获取余额对应的任务表。

在实际应用中，流量数据列表可以为一个队列表，针对每一类业务对应的用户流量数据，对应队列表中的一个任务表。每个任务表在队列表中始终存储100条线上请求记录。这样每分钟从该对列表中捞取对应任务的记录，构造核对请求，保持核对稳定。

例如，获取到53条用户获取余额对应的用户流量数据，47条用户获取额度对应的用户流量数据，71条用户获取还款日期对应的用户流量数据，29条用户获取配置项对应的用户流量数据，以及50条新业务N对应用户流量数据，则将这些150条数据放入流量数据列表。则确定用户获取余额对应的任务表，并将53条用户获取余额对应的用户流量数据存入用户获取余额对应的任务表。确定用户获取额度对应的任务表，并将47条用户获取额度对应的用户流量数据存入用户获取额度对应的任务表。确定用户获取还款日期对应的任务表，并将71条用户获取还款日期对应的用户获取还款日期存入用户获取余额对应的任务表。确定用户获取配置项对应的任务表，并将29条用户获取配置项对应的用户流量数据存入用户获取配置项对应的任务表。确定新业务N对应的任务表，并将50条新业务N对应的用户流量数据存入新业务N对应的任务表。

步骤310：确定存入所述目标任务表的用户流量数据的数据数量，并在所述目标任务表中删除所述数据数量的历史用户流量数据。

其中，数据数量可以理解为用户流量数据的条数，例如，数据数量为40条；历史用户流量数据可以理解为任务表中之前存储的用户流量数据，例如，之前的任务表中存在100条用户流量数据，则历史用户流量数据为100条。

在实际应用中，为了保证更符合实际中的用户流量数据，并且保证资源的合理使用，需要对旧的流量数据进行删除。

例如，用户获取余额对应的用户流量数据为53条，则确定用户获取余额对应的任务表，并将53条用户获取余额对应的用户流量数据存入用户获取余额对应的任务表，并从用户获取余额对应的任务表中删除53条旧的用户流量数据。

步骤312：根据预设标识规则为所述目标流量数据进行标识，并根据预设路由规则，将标识后的所述目标流量数据转发至第一类型处理设备以及第二类型处理设备。

其中，预设标识规则可以为预设的、识别所述目标流量数据，并进行标识的规则，例如，根据端口号确定用户数据流量是否为目标流量，并对目标流量进行标识；预设路由规则可以为转发流量数据的规则；第一类型处理设备可以理解为生产机器，即面向用户的服务器，生产机器的配置、策略为面向用户的配置、策略；第二类型处理设备可以理解为测试机器，测试机器的配置、策略为待进行测试的配置、策略。

在实际应用中，通过RPC拦截的方式，应用在作为服务端被其它应用调用、作为客户端调用其它应用的时候，均会被拦截。当满足指定接口、指定方法和指定参数时，在上下文中打上业务标，即进行染色。同时会给客户端下发路由规则，对于成功染色的流量，会路由到指定的机器上。

例如，预设标识规则为端口号为5555的用户流量数据会被识别为目标流量数据，则将目标流量数据进行标识，然后通过路由规则可以确定端口号为5555目标流量数据对应的第一类型处理设备的网络地址以及第二类型处理设备网络地址，并将目标流量数据根据第一类型处理设备的网络地址转发至第一类型处理设备，将目标流量数据根据第二类型处理设备的网络地址转发至第二类型处理设备。

通过等级标签获取用户流量数据，可以获取到各等级标签对应的用户数据流量，并存入流量数据列表，以使从流量数据列表中获取的流量数据更加全面，同时因为在数据流量列表中按类别存入任务表，保证每类用户流量数据输出的稳定性，也便于发现用户流量数据处理异常的情况。

与上述方法实施例相对应，本说明书还提供了数据处理装置实施例，图4示出了本说明书一个实施例提供的一种数据处理装置的结构示意图。如图4所示，该装置包括：

数据获取模块402，被配置为根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；

数据更新模块404，被配置为根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；

数据处理模块406，被配置为从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。

在一种可实现的方式中，数据获取模块402，被配置为：

通过预设时间间隔，根据等级标签获取用户流量数据。

在一种可实现的方式中，数据获取模块402，被配置为：

所述等级标签为至少两个；

相应地，所述根据等级标签获取用户流量数据，包括：

从所述至少两个等级标签分别对应的用户流量数据中，获取预设数量的用户流量数据。

在一种可实现的方式中，数据获取模块402，被配置为：

所述等级标签包括第一等级标签，其中，所述第一等级标签对应的用户流量数据出现的频率大于预设频率阈值；

相应地，所述根据等级标签获取用户流量数据，包括：

从所述第一等级标签对应的用户流量数据中，获取所述预设数量的用户流量数据。

在一种可实现的方式中，数据获取模块402，被配置为：

所述等级标签包括第二等级标签，其中，所述第二等级标签对应的用户流量数据出现的频率小于或等于所述预设频率阈值；

相应地，所述根据等级标签获取用户流量数据，包括：

监测所述第二等级标签对应的用户流量数据，在所述第二等级标签对应的用户流量数据的数量，满足所述预设数量的情况下，获取所述预设数量的所述第二等级标签对应的用户流量数据。

在一种可实现的方式中，数据获取模块402，被配置为：

所述等级标签包括第三等级标签，其中，所述第三等级标签根据预设业务场景创建；

相应地，所述根据等级标签获取用户流量数据，包括：

根据所述第三等级标签，接收所述预设数量的所述第三等级标签对应的用户流量数据。

在一种可实现的方式中，数据更新模块404，被配置为：

所述根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，包括：

确定所述类别标签对应的所述流量数据列表的目标任务表，将所述类别标签对应的用户流量数据存入所述目标任务表。

在一种可实现的方式中，数据更新模块404，被配置为：

在所述将类别标签对应的用户流量数据存入所述目标任务表之后，还包括：

确定存入所述目标任务表的用户流量数据的数据数量，并在所述目标任务表中删除所述数据数量的历史用户流量数据。

在一种可实现的方式中，数据处理模块406，被配置为：

根据预设标识规则为所述目标流量数据进行标识，并根据预设路由规则，将标识后的所述目标流量数据转发至第一类型处理设备以及第二类型处理设备。

本说明书实施例提供一种数据处理方法以及装置，其中所述数据处理装置包括：数据获取模块，被配置为根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；数据更新模块，被配置为根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；数据处理模块，被配置为从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。通过等级标签获取用户流量数据，可以获取到各等级标签对应的用户数据流量，并存入流量数据列表，以使从流量数据列表中获取的流量数据更加全面，同时因为在数据流量列表中按类别存入任务表，保证每类用户流量数据输出的稳定性，也便于发现用户流量数据处理异常的情况。

上述为本实施例的一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库540用于保存数据。

计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备550可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。

其中，处理器520用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的数据处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种数据处理方法，包括：

根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；

根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；

从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。

2.根据权利要求1所述的方法，所述根据等级标签获取用户流量数据，包括：

通过预设时间间隔，根据等级标签获取用户流量数据。

3.根据权利要求1或2所述的方法，所述等级标签为至少两个；

相应地，所述根据等级标签获取用户流量数据，包括：

从所述至少两个等级标签分别对应的用户流量数据中，获取预设数量的用户流量数据。

4.根据权利要求3所述的方法，所述等级标签包括第一等级标签，其中，所述第一等级标签对应的用户流量数据出现的频率大于预设频率阈值；

相应地，所述根据等级标签获取用户流量数据，包括：

从所述第一等级标签对应的用户流量数据中，获取所述预设数量的用户流量数据。

5.根据权利要求4所述的方法，所述等级标签包括第二等级标签，其中，所述第二等级标签对应的用户流量数据出现的频率小于或等于所述预设频率阈值；

相应地，所述根据等级标签获取用户流量数据，包括：

监测所述第二等级标签对应的用户流量数据，在所述第二等级标签对应的用户流量数据的数量，满足所述预设数量的情况下，获取所述预设数量的所述第二等级标签对应的用户流量数据。

6.根据权利要求5所述的方法，所述等级标签包括第三等级标签，其中，所述第三等级标签根据预设业务场景创建；

相应地，所述根据等级标签获取用户流量数据，包括：

根据所述第三等级标签，接收所述预设数量的所述第三等级标签对应的用户流量数据。

7.根据权利要求1所述的方法，所述根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，包括：

确定所述类别标签对应的所述流量数据列表的目标任务表，将所述类别标签对应的用户流量数据存入所述目标任务表。

8.根据权利要求7所述的方法，在所述将所述类别标签对应的用户流量数据存入所述目标任务表之后，还包括：

确定存入所述目标任务表的用户流量数据的数据数量，并在所述目标任务表中删除所述数据数量的历史用户流量数据。

9.根据权利要求1所述的方法，所述根据所述目标流量数据进行数据处理，包括：

根据预设标识规则为所述目标流量数据进行标识，并根据预设路由规则，将标识后的所述目标流量数据转发至第一类型处理设备以及第二类型处理设备。

10.一种数据处理装置，包括：

数据获取模块，被配置为根据等级标签获取用户流量数据，其中，所述用户流量数据携带类别标签和所述等级标签；

数据更新模块，被配置为根据所述类别标签，将所述用户流量数据存入预先建立的流量数据列表，其中，所述流量数据列表包括针对所述类别标签的任务表，所述任务表管理获取到的用户流量数据；

数据处理模块，被配置为从所述任务表获取目标流量数据，并根据所述目标流量数据进行数据处理。

11.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述数据处理方法的步骤。

12.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述数据处理方法的步骤。

Images