CN117499492A - 数据处理方法、装置及设备 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法、装置及设备，其中方法包括：确定获取到的第一数据处理请求是否满足优先处理条件；若是，则将第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理；其中，目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，令牌桶中的各令牌依次基于创建时长进行创建；通过本申请实施例，避免了因存在大量数据而导致的数据丢失以及重要数据无法被处理等问题。

Description

数据处理方法、装置及设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

Kafka是一种高吞吐量的分布式发布订阅消息系统，当前基于Kafka的数据处理过程，通常是位于Kafka上游的数据源将其产生的数据发送给Kafka，并由Kafka直接处理；即Kafka接收到数据源发送的数据后，进行相应的数据处理。当上游的数据源在短时间内产生大量数据时，会导致Kafka的数据处理速率难以控制，不仅容易出现数据丢失等现象，而且一些重要数据可能无法被处理。

发明内容

本申请提供一种数据处理方法、装置及设备，以控制向Kafka发送数据处理请求的速率，从而避免因存在大量数据而导致的数据丢失以及重要数据无法被处理等问题。

第一方面，本申请实施例提供了一种数据处理方法，包括：

确定获取到的第一数据处理请求是否满足优先处理条件；

若是，则将所述第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述Kafka系统用于对所述目标数据处理请求中的待处理数据进行数据处理。

可以看出，本申请实施例中，在获取到第一数据处理请求时，若确定第一数据处理请求满足优先处理条件，则将第一数据处理请求确定为当前待处理的数据处理请求中首个被处理的目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及，基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理。该过程中，由于在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

第二方面，本申请实施例提供了一种数据处理装置，包括：

确定模块，用于确定接收到的第一数据处理请求是否满足优先处理条件；

获取模块，用于若所述确定模块的决定结果为是，则将所述第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

发送模块，用于基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述Kafka系统用于对所述目标数据处理请求中的待处理数据进行数据处理。

第三方面，本申请实施例提供了一种数据处理系统，包括：数据源、数据处理装置和Kafka系统；

所述数据源，用于向所述Kafka系统发送第一数据处理请求；

所述数据处理装置，用于获取所述第一数据处理请求，确定所述第一数据处理请求是否满足优先处理条件；若是，则将所述第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌；基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

所述Kafka系统，用于接收所述目标数据处理请求，并对所述目标数据处理请求中的待处理数据进行数据处理

第四方面，本申请实施例提供了一种电子设备，包括：

处理器；以及，被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行上述第一方面提供的数据处理方法中的步骤。

第五方面，本申请实施例提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行上述第一方面提供的数据处理方法中的步骤。

附图说明

为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的应用场景示意图；

图2为本申请实施例提供的一种数据处理方法的第一种流程示意图；

图3为本申请实施例提供的一种数据处理方法的第二种流程示意图；

图4为本申请实施例提供的一种数据处理方法的第三种流程示意图；

图5为本申请实施例提供的一种数据处理方法的第四种流程示意图；

图6为本申请实施例提供的一种数据处理方法的第五种流程示意图；

图7为本申请实施例提供的数据处理过程的示意图；

图8为本申请实施例提供的一种数据处理装置的模块组成示意图；

图9为本申请实施例提供的一种数据处理系统的组成示意图；

图10为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请一个或多个实施例中的技术方案，下面将结合本申请一个或多个实施例中的附图，对本申请一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

本申请实施例提供了一种数据处理方法、装置及设备。考虑到现有的基于Kafka的数据处理过程中，通常是位于Kafka上游的数据源将其产生的待处理据发送给Kafka，由Kafka直接进行数据处理；即Kafka接收到数据源发送的待处理数据后，将待处理数据保存至该数据源的预设主题(topic)所对应的分区(partition)中，并创建与分区一一对应的消费者对象，通过该消费者对象对对应分区中的待处理数据进行数据处理，例如过滤掉格式不准确的数据、删除重复数据等；以及，将处理结果保存至StarRocks数据库中。该基于Kafka的数据处理过程中，当上游的数据源在短时间内产生大量数据时，会导致Kafka出现数据处理速率难以控制等问题，不仅容易出现数据丢失现象，而且会使StarRocks数据库的CPU快速飙升，一旦超出StarRocks能承载的阈值，还可能出现处理结果丢失或者处理结果写入失败等问题；进而造成一些重要数据可能无法被处理或者处理结果丢失等问题。基于此，本申请实施例提供了一种数据处理方法，在获取到第一数据处理请求时，若确定第一数据处理请求满足优先处理条件，则将第一数据处理请求确定为当前待处理的数据处理请求中首个被处理的目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及，基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理。该过程中，由于在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

具体的，图1为本申请一个或多个实施例提供的一种数据处理方法的应用场景示意图，如图1所示，该场景包括：数据源、数据处理装置和Kafka系统。

其中，数据源可以是终端设备，也可以是服务端，还可以是设置于终端设备或服务端中的应用。终端设备可以是手机、平板电脑、台式计算机、便携式笔记本等；服务端可以是独立的服务器，也可以是由多个服务器组成的服务器集群，图1中以独立的服务器进行示例性示出；应用可以是独立的应用程序(Application，简称App)，也可以是网页应用等。当数据源具有待处理数据时，可以根据待处理数据向Kafka系统发送第一数据处理请求。

数据处理装置具有拦截功能且包括Lua脚本，能够对数据源发送给Kafka系统的第一数据处理请求进行拦截操作以获取该第一数据处理请求，并在基于Lua脚本确定第一数据处理请求是当前待处理数据处理请求中首个被处理的数据处理请求时，将第一数据处理请求确定为目标数据处理请求，并按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及基于目标令牌，向Kafka系统发送目标数据处理请求。

Kafka系统，对接收到的目标数据处理请求中的待处理数据进行数据处理。

可以理解的是，图1中的虚线用于表征数据源向Kafka系统发送的第一数据处理请求，最终是通过数据处理装置发送给Kafka系统的。

上述过程中，由于数据处理装置在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

基于上述应用场景架构，本申请一个或多个实施例提供了一种数据处理方法。图2为本申请一个或多个实施例提供的一种数据处理方法的流程示意图。图2中的方法能够由图1中的数据处理装置执行。如图2所示，该方法包括以下步骤：

步骤S102，确定获取到的第一数据处理请求是否满足优先处理条件；

为了保障数据源的重要的待处理数据可以被优先处理，本申请实施例中，当数据处理装置获取到数据源发送的第一数据处理请求时，确定第一数据处理请求是否满足优先处理条件。其中，第一数据处理请求可以包括待处理数据和待处理数据对应的目标主题。

步骤S104，若是，则将第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，令牌桶中的各令牌依次基于创建时长进行创建；

其中，当前待处理的数据处理请求包括第一数据处理请求，还可以包括第二数据处理请求，该第二数据处理请求的获取时间早于第一数据处理请求的获取时间。可以理解的是，由于当前获取到的第一数据处理请求满足优先处理条件，因此第一数据处理请求是当前待处理的数据处理请求中首个被处理的数据处理请求。当当前获取到的第一数据处理请求不满足优先处理条件时，由于其获取时间早于下一次获取到的第一数据处理请求的获取时间，因此可以将其确定为第二数据处理请求。

步骤S106，基于目标令牌，向Kafka系统发送目标数据处理请求；Kafka系统用于对目标数据处理请求中的待处理数据进行数据处理。

考虑到当前的Kafka系统，通常是在代码中预设数据源的主题，如果需要变更主题，则需要修改整体代码，因此主题的变更非常不灵活。基于此，本申请实施例中的Kafka系统基于数据源配置文件维护各数据源的主题、及主题对应的分区等信息。具体而言，当Kafka系统接收到目标数据处理请求时，从目标数据处理请求中获取待处理数据对应的目标主题；根据目标主题从数据源配置文件中获取对应的分区数量；创建该分区数量的消费者对象，通过消费者对象对待处理数据进行数据处理。其中，数据源配置文件中可以包括数据源名称、数据源的主题、主题对应的分区数量等信息。由于数据源配置文件具有动态可配置性，能够动态灵活的配置数据源的主题、以及主题对应的分区数量等信息；因此，实现了主题的动态灵活配置。

需要指出的是，通过消费者对象对待处理数据进行数据处理的过程，可参考现有的消费者对象对待处理数据进行数据处理的过程，对此本申请中不再详述。

本申请一个或多个实施例中，在获取到第一数据处理请求时，若确定第一数据处理请求满足优先处理条件，则将第一数据处理请求确定为当前待处理的数据处理请求中首个被处理的目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及，基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理。该过程中，由于在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

为了保障数据源发送的重要数据可以被有效处理，本申请一个或多个实施例中，数据处理请求中可以包括优先级信息，并基于该优先级信息确定获取到的第一数据处理请求是否满足优先处理条件。具体的，如图3所示，步骤S102可以包括以下步骤S102-2：

步骤S102-2，确定获取到的第一数据处理请求的优先级，根据优先级确定第一数据处理请求是否满足优先处理条件。

具体的，确定是否存在第二数据处理请求；若存在第二数据处理请求、且第一数据处理请求的优先级高于第二数据处理请求的优先级，则确定第一数据处理请求满足优先处理条件；若存在第二数据处理请求、且第一数据处理请求的优先级不高于第二数据处理请求的优先级，则确定第一数据处理请求不满足优先处理条件；若不存在第二数据处理请求、且第一数据处理请求的优先级高于预设优先级，则确定第一数据处理请求满足优先处理条件；若不存在第二数据处理请求、且第一数据处理请求的优先级不高于预设优先级，则确定第一数据处理请求不满足优先处理条件。

更加具体的，从获取到的第一数据处理请求中获取优先级信息，并确定是否存在第二数据处理请求；若存在第二数据请求，则从第二数据请求中获取优先级信息，并根据获取到的优先级信息确定第一数据处理请求的优先级是否高于第二数据处理请求的优先级；若第一数据处理请求的优先级高于第二数据处理请求的优先级，则确定第一数据处理请求满足优先处理条件；若第一数据处理请求的优先级不高于第二数据处理请求的优先级，则确定第一数据处理请求不满足优先处理条件。若不存在第二数据处理请求，则根据获取到的优先级信息确定第一数据处理请求的优先级是否高于预设优先级，若第一数据处理请求的优先级高于预设优先级，则确定第一数据处理请求满足优先处理条件；若第一数据处理请求的优先级不高于预设优先级，则确定第一数据处理请求不满足优先处理条件。

本申请一个或多个实施例中，为了便于对待处理的数据处理请求进行有效管理，可以将各待处理的数据处理请求保存至Redis缓存中，即每个待处理的数据处理请求在Redis缓存中对应一个字典结构，字典结构中保存相应数据处理请求的接收时间、优先级信息、待处理数据等。相应的，从第二数据请求中获取优先级信息，可以为从Redis缓存的各字典结构中获取相应第二数据请求的优先级信息。

可以理解的是，优先级越高，表征对应的待处理数据越重要。由此，通过在数据处理请求中携带优先级信息，能够使数据处理装置基于该优先级信息确定当前获取到的第一数据处理请求是否满足优先处理条件，并在确定结果为是时进行优先处理，从而保障了重要数据能够被及时处理。

如前所述，为了实现对数据处理请求发往Kafka系统的有效控制，本申请实施例中，基于从令牌桶中获取到的目标令牌向Kafka系统发送目标数据处理请求。由于令牌的创建需要时间，因此，当确定获取到的第一数据处理请求满足优先处理条件时，令牌桶中当前的可支配令牌可能不足以执行目标数据处理请求的发送操作。为了保障重要数据可以被及时处理，本申请一个或多个实施例中，此时，可以进行令牌的预支处理，并基于预支令牌向Kafka系统发送目标数据处理请求。即可以按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌。具体的，如图4所示，步骤S104可以包括以下步骤S104-2至步骤S104-8：

S104-2，若是，则确定与目标处理请求对应的目标令牌的第一数量；

本申请一个或多个实施例中，不同优先级的目标数据处理请求所对应的目标令牌的第一数量可以不同，并且可以预先建立优先级与第一数量的关联关系。与之对应的，步骤S104-2可以包括：根据目标处理请求的优先级，从该关联关系中获取关联的第一数量，并将获取到的第一数量确定为与目标处理请求对应的目标令牌的第一数量。例如，优先级越高，第一数量越大；优先级从高到低可以包括一级、二级、三级、四级等，一级对应的第一数量可以是10、二级对应的第一数量可以是8、三级对应的第一数量可以是7、四级对应的第一数量可以是6等；当前的目标数据处理请求的优先级为二级，则确定与目标处理请求对应的目标令牌的第一数量是8。需要指出的，各优先级的数据处理请求所对应的第一数量可以在实际应用中根据需要自行设定。

本申请一个或多个实施例中，还可以所有目标数据处理请求所对应的目标令牌的第一数量均相同，并且预先设定该第一数量。与之对应的，步骤S104-2可以包括：将预设的第一数量确定为与目标处理请求对应的目标令牌的第一数量。例如，第一数量为10。

S104-4，根据令牌桶当前的令牌参数，确定目标数据处理请求是否满足令牌预支条件，是则执行步骤S104-6，否则执行步骤S104-8；

为了保障令牌的有效预支及获取，本申请一个或多个实施例中，每次确定目标数据处理请求后，均基于令牌桶当前的令牌参数，确定令牌桶中当前可支配令牌的第三数量，并根据第一数量和第三数量确定目标数据处理请求是否满足令牌预支条件。其中，令牌参数可以包括令牌统计时间、单位时间内创建的令牌的第二数量、令牌统计时间所对应的可支配令牌的第四数量等。可以理解的是，可支配令牌即没有被占用的令牌；令牌预支即可以提前从令牌桶中获取到第一数量的目标令牌，也就是说，即使令牌桶中当前可支配令牌的数量不足第一数量，也无需等到创建出第一数量的可支配令牌后，才能获取到第一数量的目标令牌，而是当前就可以提前获取到第一数量的目标令牌。相应的，步骤S104-4可以包括：

确定当前时间是否晚于令牌统计时间；若当前时间不晚于令牌统计时间，则确定目标数据处理请求满足令牌预支条件；若当前时间晚于令牌统计时间，则根据当前时间、令牌参数中的令牌统计时间和第二数量，确定当前可支配令牌的第三数量；以及，确定第一数量是否大于第三数量；若第一数量大于第三数量，则确定目标数据处理请求满足令牌预支条件；若第一数量不大于第三数量，则确定目标数据处理请求不满足令牌预支条件。

其中，当前时间的确定基准可以在实际应用中根据需要自行设定。作为一个示例，当前时间可以以数据处理装置的系统时间为基准进行确定。作为另一示例，当前时间可以以北京时间为基准进行确定。可以理解的是，当当前时间不晚于令牌统计时间时，表征令牌桶当前正在创建前一个目标数据处理请求所对应的令牌，即当前正在创建的令牌是已被占用的令牌，令牌桶中当前可支配令牌的第三数量为零；由于当前获取到的第一数据处理请求满足优先处理条件，故确定当前获取到的第一数据处理请求满足令牌预支条件。当当前时间晚于令牌统计时间时，表征令牌桶处于创建可支配令牌的状态，由于此时已创建的可支配令牌的第三数量可能不足第一数量，因此首先需要确定第三数量，然后将第三数量与第一数量进行比对。具体示例可参见后文的相关描述。

进一步的，上述根据当前时间、令牌参数中的令牌统计时间和第二数量，确定当前可支配令牌的第三数量，可以包括：根据第二数量，确定每个令牌的创建时长；根据创建时长，确定从令牌统计时间到当前时间所创建的令牌的第五数量；根据第四数量和第五数量，确定当前可支配令牌的第三数量。具体的，若确定单位时间的时间单位不是预设时间单位，则将单位时间转换为预设时间单位的目标时间，将目标时间与第二数量进行相除，得到每个令牌的创建时长；将当前时间与令牌统计时间相减，得到第一时差；将该第一时差与创建时长相除，得到从令牌统计时间到当前时间所创建的令牌的第五数量；对第四数量和第五数量进行相加，并根据相加结果确定当前可支配令牌的第三数量。

为了实现对数据处理请求发往Kafka系统的有效控制，本申请一个或多个实施例中，令牌参数还可以包括：可支配令牌的最大数量。相应的，上述根据相加结果确定当前可支配令牌的第三数量，可以包括：比对相加结果与可支配令牌的最大数量的大小，若相加结果不大于可支配令牌的最大数量，则将相加结果确定为当前可支配令牌的第三数量；若相加结果大于可支配令牌的最大数量，则将可支配令牌的最大数量确定为当前可支配令牌的第三数量。

需要指出的是，每个令牌的创建时长可以是秒级别的，也可以微妙级别的，其可以在实际应用中根据需要自行设定。以微妙级别为例，为了精准操作，前述的各个时间均可以是微妙级别。即前述确定当前时间是否晚于令牌统计时间之前，还可以包括：确定当前时间所对应的微妙时间戳。在一种实施方式中，当前时间所对应的微妙时间戳T＝t1*1000000+t2，其中，t1为秒级别的当前时间，t2为当前这一秒已经过去的微秒数。例如，当前时间是凌晨1点零1分15秒，且第15秒已经过去了300微妙，则t1＝1*60*60+60+(15-1)＝3674，t2＝300。

步骤S104-6，从令牌桶中预支令牌，得到第一数量的目标令牌，执行步骤S106；

步骤S104-8，从令牌桶包括的可支配令牌中获取第一数量的目标令牌，执行步骤S106。

为了便于后续能够从令牌桶中准确的获取到目标令牌，本申请一个或多个实施例中，在得到第一数量的目标令牌之后，方法还包括：更新令牌桶的令牌参数。具体的，步骤S104-6之后还可以包括：根据第一数量和令牌参数，确定目标令牌的预支信息；根据预支信息，更新令牌参数。

更加具体的，如图5所示，步骤S104-6之后还可以包括以下步骤S104-72和步骤S104-78：

步骤S104-72，根据第一数量和令牌桶中当前可支配令牌的第三数量，确定预支令牌的第六数量；

具体的，对第一数量和第三数量进行相减操作，得到预支令牌的第六数量。

步骤S104-74，根据第六数量和创建时长，确定预支时长；

具体的，对第六数量和创建时长进行相乘操作，得到预支时长。

步骤S104-76，根据预支时长和当前时间，确定预支令牌的创建结束时间；将第六数量、预支时长和创建结束时间，确定为目标令牌的预支信息；

具体的，对当前时间和预支时长进行相加操作，得到预支令牌的创建结束时间；并将确定的第六数量、预支时长和创建结束时间，确定为目标令牌的预支信息。

步骤S104-78，将令牌参数中的令牌统计时间更新为预支信息中的创建结束时间，并将令牌参数中令牌统计时间所对应的可支配令牌的第四数量更新为零。

可以理解的是，由于进行了令牌预支，因此当前没有可支配令牌，故将令牌参数中令牌统计时间所对应的可支配令牌的第四数量更新为零。需要指出的是，更新令牌桶的令牌参数的操作，还可以在将目标数据处理请求发送给Kafka系统之后执行，即在步骤S104-6之后，先执行步骤S106，然后执行上述步骤S104-72至步骤S104-78。

进一步的，如图5所示，步骤S104-8之后还可以包括以下步骤S104-10：

步骤S104-10，将令牌参数中的令牌统计时间更新为当前时间，并根据第一数量更新令牌参数中令牌统计时间所对应的可支配令牌的第四数量。

其中，根据第一数量更新令牌参数中令牌统计时间所对应的可支配令牌的第四数量，可以包括：对第三数量与第一数量进行相减操作，得到令牌统计时间所对应的可支配令牌的第四数量；并将令牌参数中包括的第四数量更新为得到的第四数量。需要指出的是，更新令牌桶的令牌参数的操作，还可以在将目标数据处理请求发送给Kafka系统之后执行，即在步骤S104-8之后，先执行步骤S106，然后执行上述步骤S104-10。

由此，无论是预支第一数量的目标令牌，还是从令牌桶包括的可支配令牌中获取第一数量的目标令牌，在得到目标令牌后，均对令牌参数进行更新处理，能够为后续的令牌获取操作提供有效的数据依据。

进一步的，当确定第一数据处理请求不满足优先处理条件时，可以按照第二令牌获取方式从令牌桶中获取目标令牌。具体的，如图6所示，方法还可以包括以下步骤S105：

步骤S105，若否，则将第一数据处理请求确定为待处理的数据处理请求，并从当前待处理的各数据处理请求中确定目标数据处理请求，按照第二令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌，执行步骤S106。

其中，从当前待处理的各数据处理请求中确定目标数据处理请求可以包括：若确定不存在第二数据处理请求，则将第一数据处理请求确定为目标数据处理请求；若确定存在第二数据处理请求，则将优先级最高且获取时间最早的第二数据处理请求确定为目标数据处理请求。

进一步的，按照第二令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌，可以包括：确定与目标处理请求对应的目标令牌的第一数量；根据令牌桶当前的令牌参数，确定在到达预设超时时长所对应的目标令牌的最晚获取时间时，令牌桶中可支配令牌的数量是否不小于第一数量；若是，则确定目标令牌的获取时间，并在到达获取时间时，从令牌桶中获取第一数量的目标令牌。

具体的，确定与目标处理请求对应的目标令牌的第一数量；根据令牌参数包括的单位时间内创建的令牌的第二数量，确定每个令牌的创建时长；从Redis缓存中获取目标数据处理请求的目标获取时间，将目标获取时间与预设超时时长相加，得到目标令牌的最晚获取时间；将第一数量与令牌参数包括的第四数量相减，将相减结果与每个令牌的创建时长相乘，将相乘结果与令牌统计时间相加，得到第一数量的目标令牌的创建结束时间；确定创建结束时间是否不晚于目标令牌的最晚获取时间，若是，则确定在到达预设超时时长所对应的目标令牌的最晚获取时间时，令牌桶中可支配令牌的数量是否不小于第一数量；若令牌桶中可支配令牌的数量不小于第一数量，则将目标令牌的创建结束时间确定为目标令牌的获取时间，并在确定到达目标令牌的获取时间时，从令牌桶中获取第一数量的目标令牌。例如，目标令牌的创建结束时间是以数据处理装置的系统时间为基准的2023年4月10日8点10分01秒，则在确定到达2023年4月10日8点10分01秒时，从令牌桶中获取第一数量的目标令牌。需要指出的是，目标令牌的创建结束时间的确定基准与前述当前时间的确定基准相同。

进一步的，步骤S105之后还可以包括：将令牌参数中的令牌统计时间更新为目标令牌的获取时间(即创建结果时间)，并将令牌统计时间对应的可支配令牌的第三数量更新为零。

需要指出的是，当正在处理目标数据处理请求时(例如生成其预支的令牌，或者等待创建其对应的可支配令牌)，若获取到满足优先处理条件的第一数据处理请求，则基于当前正在处理的目标数据处理请求所确定的令牌统计时间(例如预支令牌的创建结束时间，或者可支配令牌的创建结束时间)，获取该第一数据处理请求所对应的目标令牌。由此，即使当前正在处理的目标数据处理请求的优先级低于第一数据处理请求，由于当前正在处理的目标数据处理请求所需的令牌数量不是很多，因此不会造成第一数据处理请求无法被处理的情况。

进一步需要指出的是，上述令牌桶的令牌参数可以保存在Redis缓存中，在获取目标令牌时，首先从Redis缓存中获取令牌桶当前的令牌参数，并基于获取到的令牌参数进行目标令牌的获取处理。在一种实施方式中，可以在Redis缓存中维护一份令牌参数，每次处理目标数据处理请求时，基于该一份令牌参数执行目标令牌的获取操作。在另一种实施方式中，可以在Redis缓存中与每个待处理的数据处理请求一一对应维护一份令牌参数，即待处理的数据处理请求的数量与令牌参数的份数相同，此时，令牌参数中还可以包括相应数据处理请求的等待时长，并且在每处理一个目标数据处理请求时，按照前述方式更新每份令牌参数。其中，等待时长表征获取相应数据处理请求的目标令牌所需等待的时长。

可以理解的是，令牌桶的令牌参数可以预先初始化，且初始化的令牌统计时间为初始化操作所对应的时间，以及在获取到第一个第一数据处理请求时，开始对该令牌参数进行更新处理。为了便于理解本申请实施例提供的数据处理方法，以及为了便于描述，以下以时间单位为秒，按照时间的先后顺序，将获取到的各第一数据处理请求依次记为请求1、请求2、请求3…请求N，N为正整数；预设优先级为三级，预设超时时长为300秒；如图7所示，初始化的令牌参数包括：一分钟创建令牌的第二数量为30、令牌统计时间为2023年4月11日12：00：00(图7及后文中均省略了2023年4月11日，仅保留了时分秒)、令牌统计时间对应的可支配令牌的第四数量为20、可支配令牌的最大数量为200，进行示例性说明如下：

对于请求1：获取时间为12：00：58，优先级为二级，第一数量为80；此时不存在第二数据处理请求，且二级高于预设优先级三级，确定请求1满足优先处理条件，则按照第一令牌获取方式从令牌桶中获取目标令牌，即获取当前时间为12：01：10，确定当前时间晚于令牌统计时间，则将单位时间“一分钟”转换为目标时间60秒，每个令牌的创建时长＝60/30＝2秒；当前时间与令牌统计时间相减，得到第一时差为70秒，从令牌统计时间到当前时间所创建的令牌的第五数量＝70/2＝35，第四数量与第五数量相加＝20+35＝55；由于55小于200，故确定当前可支配令牌的第三数量＝55；由于55小于80，故需要预支令牌，则此时从令牌中预支令牌，得到80个目标令牌，并基于目标令牌，将请求1发送给Kafka系统；以及更新令牌参数，确定预支令牌的第六数量＝80-55＝25，预支时长＝25*2＝50秒，预支令牌的创建结束时间＝当前时间+50秒＝12：02：00；将令牌参数中的令牌统计时间12：00：00，更新为12：02：00，将令牌统计时间对应的可支配令牌的第四数量更新为0。至此，关于请求1的所有操作均已完成。

假设经过一段时间后，存在请求4(优先级四级)、请求8(优先级五级)、请求10(优先级五级)三个待处理的数据处理请求，并在12：05：25获取到请求15。请求15的优先级为四级，则确定此时优先级最高且获取时间最早的请求4为目标数据处理请求，由于请求4不满足优先处理条件，则按照第二令牌获取方式从令牌桶中获取目标令牌，即确定请求4对应的第一数量为40；获取的令牌桶当前的令牌参数包括：一分钟创建的令牌的第二数量为30、令牌统计时间为12：05：30、令牌统计时间对应的可支配令牌的第四数量为0、可支配令牌的最大数量为200。则确定每个令牌的创建时长＝60/30＝2秒；从Redis缓存中获取请求4的目标获取时间为12：04：28，将目标获取时间与300秒相加，得到目标令牌的最晚获取时间为12：09：28，并计算(40-0)*2＝80秒，令牌统计时间加上该80秒得到目标令牌的创建结束时间为12：06：50；该创建结束时间不晚于目标令牌的最晚获取时间；则确定目标令牌的获取时间为12：06：50，在到达获取时间12：06：50时，从令牌桶中获取40个目标令牌，并基于目标令牌将请求4发送给Kafka系统；以及更新令牌参数，将令牌统计时间更新为目标令牌的获取时间12：06：50，将令牌统计时间对应的可支配令牌的第四数量更新为零。至此，关于请求4的所有操作均已完成。其他请求的处理过程可参见前文的相关描述，这里不再一一进行说明。需要指出的是，图7仅用于示意而不用于限定，令牌桶的令牌参数的具体格式可以在实际应用中根据需要自行设定。

本申请一个或多个实施例中，在获取到第一数据处理请求时，若确定第一数据处理请求满足优先处理条件，则将第一数据处理请求确定为当前待处理的数据处理请求中首个被处理的目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及，基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理。该过程中，由于在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

对应上述描述的数据处理方法，基于相同的技术构思，本申请一个或多个实施例还提供一种数据处理装置。图8为本申请一个或多个实施例提供的一种数据处理装置的模块组成示意图，如图8所示，该装置包括：

确定模块201，用于确定接收到的第一数据处理请求是否满足优先处理条件；

获取模块202，用于若所述确定模块的决定结果为是，则将所述第一数据处理请求确定为目标数据处理请求，并从令牌桶中获取与所述目标数据处理请求对应的目标令牌；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

发送模块203，用于基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述Kafka系统用于对所述目标数据处理请求中的待处理数据进行数据处理。

本申请实施例提供的数据处理装置，在获取到第一数据处理请求时，若确定第一数据处理请求满足优先处理条件，则将第一数据处理请求确定为当前待处理的数据处理请求中首个被处理的目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及，基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理。该过程中，由于在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

需要说明的是，本申请中关于数据处理装置的实施例与本申请中关于数据处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据处理方法的实施，重复之处不再赘述。

对应上述描述的数据处理方法，基于相同的技术构思，本申请一个或多个实施例还提供一种数据处理系统。图9为本申请一个或多个实施例提供的一种数据处理系统的组成示意图，如图9所示，该系统包括：数据源301、数据处理装置302和Kafka系统303；

所述数据源301，用于向所述Kafka系统303发送第一数据处理请求；

所述数据处理装置302，用于获取所述第一数据处理请求，并确定所述第一数据处理请求是否满足优先处理条件；若是，则将所述第一数据处理请求确定为目标数据处理请求，并从令牌桶中获取与所述目标数据处理请求对应的目标令牌；基于所述目标令牌，向Kafka系统303发送所述目标数据处理请求；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

所述Kafka系统303，用于接收所述目标数据处理请求，并对所述目标数据处理请求中的待处理数据进行数据处理。

需要指出的是，图9中的虚线用于表征数据源301向Kafka系统303发送的第一数据处理请求，最终是通过数据处理装置302发送给Kafka系统303的。

本申请实施例提供的数据处理系统，数据处理装置在获取到第一数据处理请求时，若确定第一数据处理请求满足优先处理条件，则将第一数据处理请求确定为当前待处理的数据处理请求中首个被处理的目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及，基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理。该过程中，由于在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

需要说明的是，本申请中关于数据处理系统的实施例与本申请中关于数据处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据处理方法的实施，重复之处不再赘述。

进一步地，对应上述描述的数据处理方法，基于相同的技术构思，本申请一个或多个实施例还提供一种电子设备，该电子设备用于执行上述的数据处理方法，图10为本申请一个或多个实施例提供的一种电子设备的结构示意图。

如图10所示，电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器401和存储器402，存储器402中可以存储有一个或一个以上存储应用程序或数据。其中，存储器402可以是短暂存储或持久存储。存储在存储器402的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括电子设备中的一系列计算机可执行指令。更进一步地，处理器401可以设置为与存储器402通信，在电子设备上执行存储器402中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源403，一个或一个以上有线或无线网络接口404，一个或一个以上输入输出接口405，一个或一个以上键盘406等。

在一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

确定获取到的第一数据处理请求是否满足优先处理条件；

若是，则将所述第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述Kafka系统用于对所述目标数据处理请求中的待处理数据进行数据处理。

本申请一个或多个实施例提供的电子设备，在获取到第一数据处理请求时，若确定第一数据处理请求满足优先处理条件，则将第一数据处理请求确定为当前待处理的数据处理请求中首个被处理的目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及，基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理。该过程中，由于在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

需要说明的是，本申请中关于电子设备的实施例与本申请中关于数据处理方法及图像去噪方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据处理方法及图像去噪方法的实施，重复之处不再赘述。

进一步地，对应上述描述的数据处理方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：

确定获取到的第一数据处理请求是否满足优先处理条件；

若是，则将所述第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述Kafka系统用于对所述目标数据处理请求中的待处理数据进行数据处理。

本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，在获取到第一数据处理请求时，若确定第一数据处理请求满足优先处理条件，则将第一数据处理请求确定为当前待处理的数据处理请求中首个被处理的目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与目标数据处理请求对应的目标令牌；以及，基于目标令牌，向Kafka系统发送目标数据处理请求，以使Kafka系统对目标数据处理请求中的待处理数据进行数据处理。该过程中，由于在将数据处理请求发送给Kafka系统之前，先从令牌桶中获取对应的目标令牌，而令牌的创建需要时间，因此能够降低向Kafka系统发送数据处理请求的速率，缓解Kafka系统中大量数据处理请求的聚集状况；也就是说，实现了对数据处理请求发往Kafka系统的有效控制，避免了因存在大量请求而导致的Kafka系统的数据处理速率无法控制等问题，进而避免了数据丢失等现象。再者，满足优先处理条件的数据处理请求可以被优先处理，保障了重要数据能够被有效处理。

需要说明的是，本申请中关于存储介质的实施例与本申请中关于数据处理方法及图像去噪方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据处理方法及图像去噪方法的实施，重复之处不再赘述。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

确定获取到的第一数据处理请求是否满足优先处理条件；

若是，则将所述第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述Kafka系统用于对所述目标数据处理请求中的待处理数据进行数据处理。

2.根据权利要求1所述的方法，其特征在于，所述确定获取到的第一数据处理请求是否满足优先处理条件，包括：

确定是否存在第二数据处理请求；所述第二数据处理请求的获取时间早于所述第一数据处理请求的获取时间；

若存在所述第二数据处理请求、且所述第一数据处理请求的优先级高于所述第二数据处理请求的优先级，则确定所述第一数据处理请求满足优先处理条件；

若存在所述第二数据处理请求、且所述第一数据处理请求的优先级不高于所述第二数据处理请求的优先级，则确定所述第一数据处理请求不满足优先处理条件；

若不存在所述第二数据处理请求、且所述第一数据处理请求的优先级高于预设优先级，则确定所述第一数据处理请求满足优先处理条件；

若不存在所述第二数据处理请求、且所述第一数据处理请求的优先级不高于预设优先级，则确定所述第一数据处理请求不满足优先处理条件。

3.根据权利要求1所述的方法，其特征在于，所述按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌，包括：

确定与所述目标处理请求对应的目标令牌的第一数量；

根据所述令牌桶当前的令牌参数，确定所述目标数据处理请求是否满足令牌预支条件；

若是，则从所述令牌桶中预支令牌，得到所述第一数量的目标令牌；

若否，则从所述令牌桶包括的可支配令牌中获取所述第一数量的目标令牌。

4.根据权利要求3所述的方法，其特征在于，所述令牌参数包括令牌统计时间，单位时间内创建的令牌的第二数量；所述根据所述令牌桶当前的令牌参数，确定所述目标数据处理请求是否满足令牌预支条件，包括：

确定当前时间是否晚于所述令牌统计时间；

若所述当前时间不晚于所述令牌统计时间，则确定所述目标数据处理请求满足令牌预支条件；

若所述当前时间晚于所述令牌统计时间，则根据所述当前时间、所述令牌统计时间和所述第二数量，确定当前可支配令牌的第三数量；以及，确定所述第一数量是否大于所述第三数量；

若所述第一数量大于所述第三数量，则确定所述目标数据处理请求满足令牌预支条件；

若所述第一数量不大于所述第三数量，则确定所述目标数据处理请求不满足令牌预支条件。

5.根据权利要求4所述的方法，其特征在于，所述令牌参数还包括所述令牌统计时间所对应的可支配令牌的第四数量；所述根据所述当前时间、所述令牌统计时间和所述第二数量，确定当前可支配令牌的第三数量，包括：

根据所述第二数量，确定每个令牌的创建时长；

根据所述创建时长，确定从所述令牌统计时间到所述当前时间所创建的令牌的第五数量；

根据所述第四数量和所述第五数量，确定当前可支配令牌的第三数量。

6.根据权利要求5所述的方法，其特征在于，所述从所述令牌桶中预支所述第一数量的目标令牌之后，所述方法包括：

根据所述第一数量和所述令牌参数，确定所述目标令牌的预支信息；

根据所述预支信息，更新所述令牌参数。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一数量和所述令牌参数，确定所述目标令牌的预支信息，包括：

根据所述第一数量和所述第三数量，确定预支令牌的第六数量；

根据所述第六数量和所述创建时长，确定预支时长；

根据所述预支时长和所述当前时间，确定所述预支令牌的创建结束时间；

将所述第六数量、所述预支时长和所述创建结束时间，确定为所述目标令牌的预支信息；

所述根据所述预支信息，更新所述令牌参数，包括：

将所述令牌统计时间，更新为所述创建结束时间；

将所述令牌参数中的所述第四数量更新为零。

8.根据权利要求3所述的方法，其特征在于，所述从所述令牌桶包括的可支配令牌中获取所述第一数量的目标令牌之后，所述方法还包括：

将所述令牌参数中的令牌统计时间，更新为当前时间；

根据所述第一数量，更新所述令牌统计时间所对应的可支配令牌的第四数量。

9.根据权利要求2所述的方法，其特征在于，若确定所述第一数据处理请求不满足优先处理条件，则所述方法还包括：

从所述待处理的数据处理请求中确定所述目标数据处理请求，按照第二令牌获取方式从所述令牌桶中获取与所述目标数据处理请求对应的目标令牌。

10.根据权利要求9所述的方法，其特征在于，所述按照第二令牌获取方式从所述令牌桶中获取与所述目标数据处理请求对应的目标令牌，包括：

确定与所述目标处理请求对应的目标令牌的第一数量；

根据所述令牌桶当前的令牌参数，确定在预设超时时长内所述令牌桶中可支配令牌的第七数量是否不小于所述第一数量；

若是，则确定所述目标令牌的获取时间，并在到达所述获取时间时，从所述令牌桶中获取所述第一数量的目标令牌。

11.一种数据处理装置，其特征在于，包括：

确定模块，用于确定接收到的第一数据处理请求是否满足优先处理条件；

获取模块，用于若所述确定模块的决定结果为是，则将所述第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

发送模块，用于基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述Kafka系统用于对所述目标数据处理请求中的待处理数据进行数据处理。

12.一种数据处理系统，其特征在于，包括：数据源、数据处理装置和Kafka系统；

所述数据源，用于向所述Kafka系统发送第一数据处理请求；

所述数据处理装置，用于获取所述第一数据处理请求，并确定所述第一数据处理请求是否满足优先处理条件；若是，则将所述第一数据处理请求确定为目标数据处理请求，按照第一令牌获取方式从令牌桶中获取与所述目标数据处理请求对应的目标令牌；基于所述目标令牌，向Kafka系统发送所述目标数据处理请求；所述目标数据处理请求为当前待处理的数据处理请求中首个被处理的数据处理请求，所述令牌桶中的各令牌依次基于创建时长进行创建；

所述Kafka系统，用于接收所述目标数据处理请求，并对所述目标数据处理请求中的待处理数据进行数据处理。

13.根据权利要求12所述的系统，其特征在于，

所述Kafka系统，用于从所述目标数据处理请求中获取所述待处理数据对应的目标主题；根据所述目标主题从数据源配置文件中获取对应的分区数量；创建所述分区数量的消费者对象，通过所述消费者对象对所述待处理数据进行数据处理。

14.一种电子设备，其特征在于，包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如权利要求1-10任一项所述的数据处理方法中的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如权利要求1-10任一项所述的数据处理方法。