CN115048421A - 一种数据处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、设备和存储介质，所述方法包括：确定当前数据处理任务对应的配置项后，基于配置项对应的当前数据处理任务的当前执行时间对应的多个时间区间，确定各时间区间分别对应的目标数据库操作语句，其中，时间区间是对当前执行时间进行划分得到的；并行执行各目标数据库操作语句，以从业务数据库中获取各时间区间分别对应的当前业务数据，并根据各当前业务数据计算当前指标数据；汇总各当前业务数据和当前指标数据，得到数据处理结果。上述技术方案，实现对当前数据处理任务的统一管理和配置，将当前数据处理任务划分为多个并行执行的进程，提升数据处理速度，降低管理和运维成本，进一步提升用户体验。

Description

一种数据处理方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据处理方法、装置、设备和存储介质。

背景技术

随着物流业务的发展，需要对大量物品的运输状态进行监控，以确定预设时间段内的业务量。物流系统中包括多个业务系统，例如，包括外单系统、分拣系统、承运系统、调度系统和仓储系统等，业务系统所包含的业务数据用于监控物品的运输状态。

各业务系统所包含的业务数据还用于确定与订单量有关的指标数据，在实际应用中，需要基于业务系统计算多个指标数据，指标数据的计算往往需要涉及多个业务系统的业务数据。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：

业务数据的数据量为千万条级别，且指标数据的计算需要大量复杂的业务逻辑，计算速度处理较慢。

发明内容

本发明提供一种数据处理方法、装置、设备和存储介质，以提升指标数据的计算速度。

第一方面，本发明实施例提供了一种数据处理方法，包括：

确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；

并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；

汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

进一步地，在基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句之前，还包括：

为所述配置项配置所述当前执行时间和时间分区步长；

基于所述时间分区步长将所述当前执行时间划分为多个时间区间。

进一步地，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，包括：

确定用于获取所述当前执行时间内的原始业务数据，以及根据所述原始业务数据计算原始指标数据的原始数据库操作语句；

根据各所述时间区间对应的开始时间和结束时间，分别配置所述原始数据库操作语句，得到所述目标数据库操作语句。

进一步地，在并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据之后，还包括：

基于所述当前指标数据更新所述当前数据处理任务的上一执行时间内各时间区间内的上一指标数据。

进一步地，所述配置项对应多个数据处理任务时，各所述数据处理任务均配置有开关控制阀，所述方法还包括：

根据各所述数据处理任务对应的开关控制阀，确定各所述数据处理任务的状态信息。

进一步地，并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据，包括：

并行执行各所述目标数据库操作语句，以从业务数据库中获取状态信息为开关控制阀打开的多个数据处理任务所需的各所述时间区间分别对应的多组业务数据，并根据各组所述业务数据分别计算多个数据处理任务对应的指标数据。

进一步地，汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果，包括：

根据业务需求确定数据计算维度；

将各所述时间区间的所述当前业务数据和所述当前指标数据按照所述数据计算维度进行汇总，得到所述数据处理结果。

进一步地，在汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果之后，还包括：

确定所述数据处理结果的输出路径；

基于所述输出路径将所述数据处理结果以报文形式输出。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

确定模块，用于确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；

执行模块，用于并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；

汇总模块，用于汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任一所述的数据处理方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的数据处理方法。

上述发明中的实施例具有如下优点或有益效果：

本发明实施例提供一种数据处理方法，包括：确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。上述技术方案，首先可以确定当前数据处理任务对应的配置项，根据配置项对应的当前数据处理任务的当前执行时间对应多个时间区间确定目标数据库操作语句，由于目标数据库操作语句配置了时间信息，可以在各时间区间分别执行不同的目标数据库操作语句，并行执行各目标数据库操作语句，在执行目标数据库操作语句的过程中从业务系统数据库中获取各时间区间内的当前业务数据，并根据当前业务数据确定当前指标数据，获取当前业务数据时由一次查询整个执行时间的业务数据改为多次查询各时间区间的当前业务数据，利用时间区间降低数据库查询的压力，汇总各当前业务数据和当前指标数据，得到数据处理结果，实现对当前数据处理任务的统一管理和配置，根据时间区间将当前数据处理任务划分为多个并行执行的进程，减少各进程的数据处理量，提升数据处理速度，降低管理和运维成本，进一步提升用户体验。

附图说明

图1为本发明实施例提供的物流系统的示意图；

图2为本发明实施例提供的一种数据处理方法的流程图；

图3为本发明实施例提供的另一种数据处理方法的流程图；

图4为本发明实施例提供的配置中心的示意图；

图5为本发明实施例提供的时间分区的示意图；

图6a为本发明实施例提供的一种补偿机制的示意图；图6b为本发明实施例提供的另一种补偿机制的示意图；图6c为本发明实施例提供的又一种补偿机制的示意图；

图7为本发明实施例提供的一种数据处理装置的结构示意图；

图8为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的物流系统的示意图，如图1所示，物流系统可以包括多个业务系统，例如，外单系统、分拣系统、承运系统、调度系统和仓储系统等。业务系统所包含的用于存储业务数据的数据库可以为MySQL，各系统均提供用于查询业务数据的API接口，以使得指标数据计算对应的SQL语句运行时，可以基于API接口从各业务系统对应的数据库中获取业务数据。基于SQL语句从数据库获取业务数据的过程，可以理解为基于SQL语句查询数据库的过程，SQL语句直接查询数据库可能会查询较慢，多条乃至上百条复杂逻辑SQL语句的执行对数据库压力较大，可能出现慢SQL，查询体验和性能较差。在获取到业务数据后，基于预先设置的指标数据计算对应的业务处理逻辑，处理业务数据可以得到指标数据。计算多项指标数据时，对每项指标数据计算的研发成本高且无法统一管理，不能满足统一管理的需求。

下面将结合各实施例对本发明实施例所提供的数据处理方法进行详细的描述。

图2为本发明实施例提供的一种数据处理方法的流程图，本发明实施例可适用于需要提升数据处理速度的情况。该方法可以由数据处理装置来执行，该装置可以由软件和/或硬件的方式来实现。如图2所述，该方法具体包括以下步骤：

步骤210、确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句。

其中，当前数据处理任务可以为获取当前业务数据，并根据当前业务数据计算当前指标数据，当前业务数据可以为从物流系统所包含的各业务系统中获取的，当前指标数据可以为与订单量有关的指标数据。时间区间为根据配置项的执行时间所划分的。

具体地，可以确定用于执行当前数据处理任务的目标数据库操作语句，具体可以确定用于从业务系统中获取当前业务数据，并根据当前业务数据计算当前指标数据的目标数据库操作语句。

在实际应用中，可以在配置中心中为当前数据处理任务配置对应的配置项，并为配置项确定唯一编码，以基于线程执行每一条配置项。也可以在配置中心中为配置项配置对应的执行时间和时间分区步长，进而可以基于时间分区步长将执行时间划分为多个时间区间。当然，还可以在配置中心分别为目标数据库操作语句配置当前执行时间对应的多个时间区间，得到本发明实施例中用于当前数据处理任务的目标数据库操作语句。

配置中心为目标数据库操作语句配置了时间信息，即在当前执行时间对应的多个时间区间可以执行配置有该时间区间的目标数据库操作语句。

本发明实施例中，为目标数据库操作语句配置了时间信息，以在各时间区间分别执行不同的目标数据库操作语句，多线程运行各目标数据库操作语句，可以分别确定各时间区间的数据处理结果，减少了各时间区间内数据处理的计算量，提升数据处理效率。

步骤220、并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据。

具体地，可以基于并行统计器并行执行多个线程执行器，以并行执行前述配置了时间信息的目标数据库操作语句，即各时间区间对应的目标数据库操作语句，实现从业务系统中获取各时间区间内的当前业务数据，并根据各时间区间内的当前业务数据计算各时间区间对应的当前指标数据。

当然，并行统计器还可以缓存各时间区间对应的当前指标数据。

本发明实施例中，线程执行器可以实现并行执行各时间区间对应的目标数据库操作语句，以在各时间区间内获取当前业务数据，并根据当前业务数据计算各时间区间对应的当前指标数据，减少数据处理数据量的同时提升数据处理的速度。

步骤230、汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

具体地，同样可以基于并行统计器，汇总当前数据处理任务的执行时间所包含的各时间区间内获取的当前业务数据以及计算当前业务数据得到的当前指标数据，将汇总结果确定为数据处理结果。

本发明实施例中，将执行时间内的当前数据处理任务划分为多个时间区间内的当前数据处理任务，在各时间区间内执行当前数据处理任务得到各时间区间内的当前指标数据，汇总各时间区间内通过执行当前数据处理任务获取到的当前业务数据以及计算当前业务数据得到的当前指标数据得到数据处理结果，减少了各时间区间内的数据处理量，提升数据处理速度，降低管理和运维成本，提升用户体验。

本发明实施例提供的一种数据处理方法，包括：确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。上述技术方案，首先可以确定当前数据处理任务对应的配置项，根据配置项对应的当前数据处理任务的当前执行时间对应多个时间区间确定目标数据库操作语句，由于目标数据库操作语句配置了时间信息，可以在各时间区间分别执行不同的目标数据库操作语句，并行执行各目标数据库操作语句，在执行目标数据库操作语句的过程中从业务系统数据库中获取各时间区间内的当前业务数据，并根据当前业务数据确定当前指标数据，获取当前业务数据时由一次查询整个执行时间的业务数据改为多次查询各时间区间的当前业务数据，利用时间区间降低数据库查询的压力，汇总各当前业务数据和当前指标数据，得到数据处理结果，实现对当前数据处理任务的统一管理和配置，根据时间区间将当前数据处理任务划分为多个并行执行的进程，减少各进程的数据处理量，提升数据处理速度，降低管理和运维成本，进一步提升用户体验。

图3为本发明实施例提供的另一种数据处理方法的流程图，本发明实施例可适用于需要提升数据处理速度的情况。本发明实施例在上述实施例的基础上，在基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句之前，增加了“为所述配置项配置所述当前执行时间和时间分区步长；基于所述时间分区步长将所述当前执行时间划分为多个时间区间。”，在并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据之后，增加了“基于所述当前指标数据更新所述当前数据处理任务的上一执行时间内各时间区间内的上一指标数据。”，在汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果之后，增加了“确定所述数据处理结果的输出路径，并基于所述输出路径将所述数据处理结果以报文形式输出。”，其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图3，本发明实施例提供的数据处理方法包括：

步骤310、确定当前数据处理任务的配置项，同时为当前数据处理任务配置开关控制阀。

其中，当前数据处理任务对应有唯一的配置项，配置项可以对应多个数据处理任务，即执行与配置项对应的目标数据库操作语句时，可以同时执行多个数据处理任务。

图4为本发明实施例提供的配置中心的示意图，如图4所示，配置中心可以包括基础配置模块、查询配置模块和加工配置模块，基础配置模块可以包括配置编码单元，可以在配置编码单元中为数据处理配置对应的配置项，还可以为配置项确定唯一编码，以基于线程执行每一条配置项。

开光控制阀可以控制当前数据处理任务是否可以执行，开关控制阀打开时，表明执行目标数据库操作语句时可以执行开关控制阀对应的当前数据处理任务；开关控制阀关闭时，表明执行目标数据库操作语句时不可以执行开关控制阀对应的当前数据处理任务。

本发明实施例中，基于开关控制阀可以控制在执行目标数据库操作语句时，是否执行配置项所对应的各数据处理任务，以根据实际需求，基于配置项执行实际所需的数据处理任务，避免浪费进程。

步骤320、为所述配置项配置执行时间和时间分区步长；基于所述时间分区步长将所述执行时间划分为多个时间区间。

具体地，图4所示的配置中心的查询配置模块可以包括时间生成单元和时间分区步长配置单元，因此可以在时间生成单元中为配置项配置对应的执行时间，在时间分区步长配置单元中为配置项配置时间分区步长。在为配置项配置执行时间和时间分区步长后，使用时间分区策略，按照时间分区步长对执行时间进行划分，以基于时间分区步长将执行时间划分为多个时间区间。例如，执行时间为[“2022-01-01 00:00:00”、“2022-01-01 23:59:59”]，时间分区步长为60分钟时，基于60分钟将[“2022-01-01 00:00:00”、“2022-01-0123:59:59”]划分为：[“2022-01-01 00:00:00”、“2022-01-01 00:59:59”]、[“2022-01-0101:00:00”、“2022-01-01 01:59:59”]、[“2022-01-01 2:00:00”、“2022-01-01 2:59:59”]…[“2022-01-01 23:00:00”、“2022-01-01 23:59:59”]。

进而，可以基于JSF动态调用通用接口，基于通用接口获取执行时间和时间分区步长，并将执行时间和时间分区步长发送至时间分段器，以使得时间分段器按照60分钟的时间分区步长，对执行时间进行区间划分。当然，时间分段器在完成对执行时间的区间划分后，可以将得到的时间区间返回至配置中心。

需要说明的是，在业务系统内数据量激增时，即预设时间内任一业务系统内业务数据的数据量大于预设值时，可以更新时间分区步长，以将执行时间划分为更小的时间区间，进一步减小每次数据处理的数据量。

在实际应用中，执行时间的划分可分为以下两种情况：①按照0点到当前时间计算指标数据时，如：按照接单时间计算接单量，执行时间为["2020-06-18 00:00"，“2020-06-18 10:10”]，可以被划分为["2020-06-18 00:00"，“2020-06-18 00:15”]、["2020-06-1815:00"，“2020-06-18 30:00”].....["2020-06-18 10:00"，“2020-06-18 10:10”]等多个时间区间。②按照全天24小时00:00-23:59计算全天时间维度的指标数据时，以15分钟为单位，划分总计96个时间分区。图5为本发明实施例提供的时间分区的示意图，如图5所示，执行时间可以为[00:00、23:59]，时间分区步长为15分钟，因此，以15分钟为单位，将执行时间对应的时间段按照单位划分为时间分区，最后一个分区<＝15分钟。

本发明实施例中，配合时间分段器，在配置中心内实现了对执行时间的划分，利用时间分区降低了数据库查询的压力。

步骤330、基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句。

其中，配置项对应多个数据处理任务，时间区间为根据配置项的执行时间所划分的。业务系统的数据库为MySQL时，目标数据库操作语句可以为SQL语句。

一种实施方式中，步骤330具体可以包括：

根据各所述数据处理任务对应的开关控制阀，确定各所述数据处理任务的状态信息；确定状态信息为开关控制阀打开的数据处理任务所对应的获取业务数据以及根据所述业务数据计算指标数据的原始数据库操作语句；根据各所述时间区间对应的开始时间和结束时间分别配置所述原始数据库操作语句，得到所述目标数据库操作语句。

具体地，图4所示的配置中心的基础配置模块还包括开关配置单元，可以在开关配置单元中为配置项所对应的多个数据处理任务分别配置开关控制阀的状态信息，可以为数据处理任务配置开关控制阀打开或者开关控制阀关闭。如果数据处理任务配置有开关控制阀打开，表明在执行配置项对应的SQL语句时，可以执行该开关控制阀对应的数据处理任务；如果数据处理任务配置有开关控制阀关闭，表明在执行配置项对应的SQL语句时，不可以执行开关控制阀对应的数据处理任务。

因此，确定可以执行的数据处理任务所对应的原始SQL语句，即可以确定开关控制阀的状态信息为开关控制阀打开的数据处理任务所对应的原始SQL语句。具体可以确定开关控制阀的状态信息为开关控制阀打开的各数据处理任务对应的获取业务数据以及根据业务数据计算指标数据的原始SQL语句。

图4所示的配置中心的查询配置模块还包括SQL语句单元，可以在SQL语句单元中，确定开关控制阀的状态信息为开关控制阀打开的各数据处理任务对应的获取业务数据以及根据业务数据计算指标数据的原始SQL语句。还可以在SQL语句单元为各原始SQL语句配置时间信息，具体可以将各时间区间对应的开始时间和结束时间作为时间信息，配置原始SQL语句，得到目标SQL语句，以使得目标SQL语句仅在时间信息包含的开始时间和结束时间所构成的时间区间内执行，以获取时间区间内的业务数据，并根据业务数据计算指标数据。

本发明实施例中，为目标数据库操作语句配置了时间信息，以在各时间区间分别执行不同的目标数据库操作语句，可以多线程运行各目标数据库操作语句，分别在各时间区间内执行当前数据处理任务，减少了各时间区间内数据处理的计算量，提升数据处理效率。

步骤340、并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据。

具体地，可以将目标数据库操作语句交付给并行统计器进行并行计算，并行统计器可以并行执行多个线程执行器，使用线程执行器执行目标数据库操作语句，以从业务系统的数据库中获取当前业务数据。

图4所示的配置中心的数据查询配置模型中还包括数据源单元，数据源单元可以用于配置接入数据源单元的业务系统中的业务数据的枚举值，即可以基于数据源单元从业务系统对应的数据库中获取当前业务数据。

在实际应用中，并行统计器可以包括DB并行统计器、JSF并行统计器和自定义并行统计器，线程执行器可以包括JimDB执行器、JSF执行器、DB执行器和业务系统特殊执行器。

执行当前数据处理任务需要的当前业务数据无法基于目标数据库操作语句获取时，即目标数据库操作语句从预设业务系统的数据库中获取当前业务数据时，可以基于业务系统特殊执行器或者JSF执行器调用预设业务系统的API接口，以基于该API接口从预设业务系统的数据库中当前业务数据。

当然，按照时间区间从业务系统的数据库中获取到各时间区间对应的当前业务数据后，可以缓存各时间分区的当前业务数据。进而，可以继续执行目标数据库操作语句，并基于各时间分区的当前业务数据计算各时间区间的当前指标数据。

在执行步骤340之后，还包括：基于所述当前指标数据更新所述当前数据处理任务的上一执行时间内各时间区间内的上一指标数据。

利用补偿机制，可以基于当前执行时间包含的当前时间分区的当前数据处理结果补偿上一执行时间包含的上一时间分区的上一数据处理结果，保障缓存中数据的实时性。具体而言，可以将一天内的24小时，即[“00:00:00”、“23:59:59”]划分为24个时间区间[“00:00:00”、“00:59:59”]、[“2020-06-18 01:00:00”、“01:59:59”]…[“23:00:00”、“23:59:59”]，并将各时间区间划分为四个时间单元，例如，将[“00:00:00”、“00:59:59”]划分为[“00:00:00”、“00:14:59”]、[“15:00:00”、“29:59:59”]、[“30:00:00”、“44:59:59”]、[“45:00:00”、“59:59:59”]，以此类推，也可以将其他时间区间划分为四个时间单元。

图6a为本发明实施例提供的一种补偿机制的示意图，如图6a所示，如果配置项的执行时间对应的时间分区的开始时间为不在当前时间的1小时之内，且不在23点，则将当前时间的分钟数确定为各时间分区的开始时间分钟数。例如，当前时间为02:15时，上一时间分区的开始时间可以为01:15，因此，可以基于配置有该时间分区的目标数据库操作语句从数据库获取当前业务数据并更新当前时间分区缓存。并基于[“02:15”、“02:30”]获取到的当前业务数据以及计算得到的当前指标数据，更新[“01:15”、“01:30”]获取到的上一业务数据以及计算得到的上一指标数据；同样，[“02:30”、“02:45”]获取到的当前业务数据以及计算得到的当前指标数据，更新[“01:30”、“01:45”]获取到的上一业务数据以及计算得到的上一指标数据；[“02:45”、“03:00”]获取到的当前业务数据以及计算得到的当前指标数据，更新[“01:45”、“02:00”]获取到的上一业务数据以及计算得到的上一指标数据，以实现根据当前时间区间内的当前业务数据和当前指标数据更新上一时间区间内的上一业务数据和上一指标数据。当然，可以基于定时任务调用执行频次，02：15开始，执行三次更新，以实现对当前执行时间包含的当前时间分区对应的上一执行时间包含的上一时间分区的上一业务数据和上一指标数据的更新。在实际应用中，可以按照目标数据库操作语句+日期+小时+分钟作为key加锁，允许当前执行时间包含的当前时间分区更新上一执行时间包含的上一时间分区内的上一业务数据和上一指标数据，防止多次执行，对系统造成过大压力。

图6b为本发明实施例提供的另一种补偿机制的示意图，如图6b所示，如果配置项的执行时间对应的时间分区的开始时间在当前时间的1小时之内，为保证最近计算的当前指标数据为最新指标数据，可以将当前时间作为时间分区的开始时间，并执行目标数据库操作语句，以从数据库获取当前业务数据，并根据当前业务数据计算当前指标数据。例如，当前时间为03:00时，可以依次在[“03:00”、“03:15”]、[“03:15”、“03:30”]、[“03:30”、“03:45”]、[“03:45”、“04:00”]内从数据库获取当前业务数据，并根据当前业务数据计算当前指标数据。

图6c为本发明实施例提供的又一种补偿机制的示意图，如图6c所示，如果配置项的执行时间对应的时间分区的开始时间为23时，由于23时的4个时间单元为最后一天内的最后4个单元，23时的下一小时为第二天，无需更新当天23小时所获取的业务数据，因此23小时内执行SQL语句，可以依次在[“23:00”、“23:15”]、[“23:15”、“23:30”]、[“23:30”、“23:45”]、[“23:45”、“00:00”]内从数据库获取当前业务数据，并根据当前业务数据计算当前指标数据。

另外，配置项对应多个数据处理任务时，并行执行各目标数据库操作语句，可以从业务数据库中获取状态信息为开关控制阀打开的多个数据处理任务所需的各时间区间分别对应的多组业务数据，并根据各组业务数据分别计算多个数据处理任务对应的指标数据。

配置项对应有多个数据处理任务，在执行配置项对应的目标数据库操作语句时，可以根据各数据处理任务的状态信息确定是否执行各数据处理任务。即在执行配置项对应的目标数据库操作语句时，仅执行状态信息为开关控制阀打开的数据处理任务。在并行执行各目标数据库操作语句的过程中，各数据处理任务需要获取不同的业务数据，因此，需要在各时间区间内分别获取多组业务数据，每个状态信息为开关控制阀打开的数据处理任务可以对应一组业务数据。当然，可以根据各组业务数据计算数据处理任务对应的指标数据。

本发明实施例中，线程执行器可以实现并行执行各时间区间对应的目标数据库操作语句，以在各时间区间内获取当前业务数据，并根据当前业务数据计算各时间区间对应的当前指标数据，减少数据处理数据量的同时提升数据处理的速度。当然，根据补偿机制可以实现对当前时间区间对应的上一时间区间所获取的当前业务数据和计算得到的当前指标数据进行更新，以保证缓存中数据的实时性。

步骤350、汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

具体地，利用汇总计算方法，多线程执行并遍历每个线程结果集合；多条结果按照唯一标识将获取到的所有当前业务数据以及计算得到的当前指标数据汇总到最终的结果集中，得到数据处理结果。

一种实施方式中，步骤350具体可以包括：

根据业务需求确定数据计算维度；将各所述时间区间的所述当前业务数据和所述当前指标数据按照所述数据计算维度进行汇总，得到所述数据处理结果。

如图4所示的配置中心的加工配置模块报包括结果汇总单元和数据转换单元，因此，可以在数据转换单元中，根据业务需求配置数据转换策略，以确定数据计算维度。

在“配送中心维度”中，可以汇总预设城市内的当前业务数据和当前指标数据，得到预设城市对应的数据处理结果，在“区域维度”中，可以汇总预设区域内的当前业务数据和当前指标数据，得到预设区域对应的数据处理结果。业务需求为获取区域内的当前指标数据时，数据转换策略为将“配送中心维度”转换为“区域维度”，因此，可以确定数据计算维度为区域维度，进而可以汇总“区域维度”的当前业务数据和当前指标数据，得到“区域维度”的数据处理结果。

本发明实施例中，汇总各时间区间内通过执行当前数据处理任务获取到的当前业务数据以及计算得到的当前指标数据得到数据处理结果，可以获取到各维度的数据处理结果，提升数据处理速度，降低管理和运维成本，提升用户体验。

步骤360、确定所述数据处理结果的输出路径，并基于所述输出路径将所述数据处理结果以报文形式输出。

如图4所示的配置中心的加工配置模块报还包括输出单元，如图4所示，可以基于输出单元配置数据处理结果对应的输出路径。具体而言，可以使用JsonPath插件将数据处理结果填充到json格式报文配置路径中，例如，指标数据为应揽收任务量时，基于输出单元可以配置业务数据和应揽收任务量对应的输出路径为“$.pickUp.total.shouldPickUpTaskCount”，进而可以先寻找第一层级中pickUp的节点，再寻找pickUp节点下第二层级为total的节点，在该节点下查找第三层级的节点，若不存在则创建名称为“shouldPickUpTaskCount”的第三层级节点并将数据存储到该节点，若存在直接将数据存储到该节点，以报文形式实现数据处理结果的输出。

在实际应用中，可以将数据处理结果输出至展示页面进行显示，以便于用于对数据处理结果的实时监控。

本发明实施例中，基于报文，实现了对数据处理结果的输出。

本发明实施例提供的数据处理方法包括：确定当前数据处理任务的配置项；为所述配置项配置执行时间和时间分区步长；基于所述时间分区步长将所述执行时间划分为多个时间区间；基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句；并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果；确定所述数据处理结果的输出路径，并基于所述输出路径将所述数据处理结果以报文形式输出。上述技术方案，首先可以确定数据处理对应的配置项，并为配置项配置对应的执行时间和时间分区步长，进而基于时间分区步长可以将执行时间划分为多个时间区间，将各时间区间作为时间信息配置于用于获取当前业务数据并根据当前业务数据计算当前指标数据的原始数据库操作语句，得到目标数据库操作语句，实现为目标数据库操作语句配置时间信息，以在各时间区间分别执行不同的目标数据库操作语句，并行执行各目标数据库操作语句，在执行目标数据库操作语句的过程中从业务系统数据库中获取各时间区间内的当前业务数据并根据当前业务数据确定当前指标数据，获取当前业务数据时由一次查询整个执行时间的业务数据改为多次查询各时间区间的业务数据，利用时间区间降低数据库查询的压力，汇总各当前业务数据和当前指标数据，得到数据处理结果，实现对当前数据处理任务的统一管理和配置，根据时间区间将当前数据处理任务划分为多个并行执行的进程，减少各进程的数据处理量，提升数据处理速度，降低管理和运维成本，进一步提升用户体验。

另外，配置项对应多个数据处理任务时，并行执行各目标数据库操作语句，可以从业务数据库中获取状态信息为开关控制阀打开的多个数据处理任务所需的各时间区间分别对应的多组业务数据，并根据各组业务数据分别计算多个数据处理任务对应的指标数据。实现根据实际需求，执行实际所需的数据处理任务，避免浪费进程。当然，基于补偿机制实现了对业务数据和指标数据的更新，提升了数据处理的准确性。

图7为本发明实施例提供的一种数据处理装置的结构示意图。该装置与上述各实施例的数据处理方法属于同一个发明构思，在数据处理装置的实施例中未详尽描述的细节内容，可以参考上述数据处理方法的实施例。

该数据处理装置的具体结构如图7所示，包括：

确定模块710，用于确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；

执行模块720，用于并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；

汇总模块730，用于汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

在上述实施例的基础上，该装置还包括：

划分模块，用于为所述配置项配置执行时间和时间分区步长；基于所述时间分区步长将所述执行时间划分为多个时间区间。

在上述实施例的基础上，所述配置项对应多个数据处理任务时，各所述数据处理任务均配置有开关控制阀，相应地，确定模块710，具体用于：

根据各所述数据处理任务对应的开关控制阀，确定各所述数据处理任务的状态信息；确定状态信息为开关控制阀打开的数据处理任务所对应的获取业务数据以及根据所述业务数据计算指标数据的原始数据库操作语句；根据各所述时间区间对应的开始时间和结束时间分别配置所述原始数据库操作语句，得到所述目标数据库操作语句。

在上述实施例的基础上，该装置还包括：

更新模块，用于基于所述当前指标数据更新所述当前数据处理任务的上一执行时间内各时间区间内的上一指标数据。

在上述实施例的基础上，执行模块720，具体用于：

并行执行各所述目标数据库操作语句，以从业务数据库中获取状态信息为开关控制阀打开的多个数据处理任务所需的各所述时间区间分别对应的多组业务数据，并根据各组所述业务数据分别计算多个数据处理任务对应的指标数据。

在上述实施例的基础上，汇总模块730，具体用于：

根据业务需求确定数据计算维度；将各所述时间区间的所述当前业务数据和所述当前指标数据按照所述数据计算维度进行汇总，得到所述数据处理结果。

在上述实施例的基础上，该装置还包括：

输出模块，用于确定所述数据处理结果的输出路径，并基于所述输出路径将所述数据处理结果以报文形式输出。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行数据处理方法相应的功能模块和有益效果。

值得注意的是，上述数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

图8为本发明实施例提供的一种计算机设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算机设备8的框图。图8显示的计算机设备8仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机设备8以通用计算计算机设备的形式表现。计算机设备8的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备8典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备8访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备8可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备8也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备8交互的设备通信，和/或与使得该计算机设备8能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备8还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器20通过总线18与计算机设备8的其它模块通信。应当明白，尽管图8中未示出，可以结合计算机设备8使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及页面显示，例如实现本发实施例所提供的数据处理方法，该方法包括：

确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；

并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；

汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的数据处理方法的技术方案。

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如本发实施例所提供的数据处理方法，该方法包括：

确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；

并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；

汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

另外，本发明技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；

并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；

汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

2.根据权利要求1所述的数据处理方法，其特征在于，在基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句之前，还包括：

为所述配置项配置所述当前执行时间和时间分区步长；

基于所述时间分区步长将所述当前执行时间划分为多个时间区间。

3.根据权利要求1所述的数据处理方法，其特征在于，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，包括：

确定用于获取所述当前执行时间内的原始业务数据，以及根据所述原始业务数据计算原始指标数据的原始数据库操作语句；

根据各所述时间区间对应的开始时间和结束时间，分别配置所述原始数据库操作语句，得到所述目标数据库操作语句。

4.根据权利要求1所述的数据处理方法，其特征在于，在并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据之后，还包括：

基于所述当前指标数据更新所述当前数据处理任务的上一执行时间内各时间区间内的上一指标数据。

5.根据权利要求1所述的数据处理方法，其特征在于，所述配置项对应多个数据处理任务时，各所述数据处理任务均配置有开关控制阀，所述方法还包括：

根据各所述数据处理任务对应的开关控制阀，确定各所述数据处理任务的状态信息。

6.根据权利要求5所述的数据处理方法，其特征在于，并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据，包括：

并行执行各所述目标数据库操作语句，以从业务数据库中获取状态信息为开关控制阀打开的多个数据处理任务所需的各所述时间区间分别对应的多组业务数据，并根据各组所述业务数据分别计算多个数据处理任务对应的指标数据。

7.根据权利要求1所述的数据处理方法，其特征在于，汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果，包括：

根据业务需求确定数据计算维度；

将各所述时间区间的所述当前业务数据和所述当前指标数据按照所述数据计算维度进行汇总，得到所述数据处理结果。

8.根据权利要求1所述的数据处理方法，其特征在于，在汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果之后，还包括：

确定所述数据处理结果的输出路径；

基于所述输出路径将所述数据处理结果以报文形式输出。

9.一种数据处理装置，其特征在于，包括：

确定模块，用于确定当前数据处理任务对应的配置项后，基于所述配置项对应的所述当前数据处理任务的当前执行时间对应的多个时间区间，确定各所述时间区间分别对应的目标数据库操作语句，其中，所述时间区间是对所述当前执行时间进行划分得到的；

执行模块，用于并行执行各所述目标数据库操作语句，以从业务数据库中获取各所述时间区间分别对应的当前业务数据，并根据各所述当前业务数据计算当前指标数据；

汇总模块，用于汇总各所述当前业务数据和所述当前指标数据，得到数据处理结果。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的数据处理方法。

11.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的数据处理方法。

Images