CN109032796A - 一种数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。该实施方式能够在多应用并发执行时实现任务锁的正常获取记录，解决应用资源争抢的问题，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数开启并发处理，有效提升处理效率。

Description

一种数据处理方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

现有的数据同步过程中采用的定时任务调度。在发起任务执行命令时，假设有三台应用主机同时得到数据同步任务执行的命令，并通过获取应用执行锁来决定当前最快获取锁的应用来执行资产信息同步任务，其他应用结束本次任务执行。

当前任务执行步骤如下：

1、资产信息同步定时任务在规定时间触发执行；

2、根据应用部署，假设有三台应用同时相应这个执行的任务；

3、三台应用同时启动获取执行任务锁；

4、获取到执行任务锁的应用进行任务的执行，其他两台应用任务结束。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

对于多应用响应任务，存在任务锁的应用资源争抢问题；

最终只有一台应用执行真正任务，导致其余应用的资源浪费；

每天任务处理数据量递增的情况，单一应用处理存在效率瓶颈。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够在多应用并发执行时实现任务锁的正常获取记录，解决应用资源争抢的问题，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数开启并发处理，有效提升处理效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法。

一种数据处理方法，包括：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。

可选地，从数据库参数配置或所述各应用的JVM(Java虚拟机)参数配置中获取所述并发配置信息。

可选地，按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据的步骤，包括：对每条数据按照主键ID(标识)进行如下的取模操作：该条数据对应的任务锁标识＝MOD(主键ID，任务并发度)；获取与所述各应用的任务锁标识对应的数据，以得到所述各应用对应的分片数据；其中，所述各应用的任务锁标识根据所述各应用的任务锁信息得到，所述任务并发度根据所述并发配置信息得到。

可选地，按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据的步骤，包括：获取与所述各应用的任务锁信息对应的分片参数配置；根据所述分片参数配置和数据的主键ID进行数据切分，以确定每一分片数据的数据范围，所述每一数据范围对应一任务锁标识；根据与各应用的任务锁标识对应的数据范围，获取与所述各应用对应的分片数据，所述各应用的任务锁标识根据所述各应用的任务锁信息得到。

根据本发明实施例的另一方面，提供了一种数据处理装置。

一种数据处理装置，包括：任务锁信息获取模块，用于根据获取到的并发配置信息获取多个应用的任务锁信息；分片数据获取模块，用于按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；数据处理模块，用于利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。

可选地，还包括并发配置信息获取模块，用于从数据库参数配置或所述各应用的JVM参数配置中获取所述并发配置信息。

可选地，所述分片数据获取模块还用于：对每条数据按照主键ID进行如下的取模操作：该条数据对应的任务锁标识＝MOD(主键ID，任务并发度)；获取与所述各应用的任务锁标识对应的数据，以得到所述各应用对应的分片数据；其中，所述各应用的任务锁标识根据所述各应用的任务锁信息得到，所述任务并发度根据所述并发配置信息得到。

可选地，所述分片数据获取模块还用于：获取与所述各应用的任务锁信息对应的分片参数配置；根据所述分片参数配置和数据的主键ID进行数据切分，以确定每一分片数据的数据范围，所述每一数据范围对应一任务锁标识；根据与各应用的任务锁标识对应的数据范围，获取与所述各应用对应的分片数据，所述各应用的任务锁标识根据所述各应用的任务锁信息得到。

根据本发明实施例的又一方面，提供了一种电子设备。

一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明提供的数据处理方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的数据处理方法。

上述发明中的一个实施例具有如下优点或有益效果：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取各应用对应的分片数据；利用各应用对应的分片数据，按照各应用的业务逻辑进行数据处理。能够在多应用并发执行时实现任务锁的正常获取记录，解决应用资源争抢的问题，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数开启并发处理，有效提升处理效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据处理方法的主要步骤示意图；

图2是根据本发明实施例的数据处理的系统架构示意图；

图3是根据本发明实施例的数据处理的一个优选流程示意图；

图4是根据本发明实施例的数据处理装置的主要模块示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据处理方法的主要步骤示意图。

如图1所示，本发明实施例的数据处理方法主要包括如下的步骤S101至步骤S103。

步骤S101：根据获取到的并发配置信息获取多个应用的任务锁信息。

其中，各应用系统(即应用主机，可简称应用)可以从数据库参数配置或各应用的JVM参数配置中获取并发配置信息。

数据库参数配置包括所有参数的配置信息，其中按照参数的类型可以分为两类：一是业务规则方面的参数配置，例如在资产信息同步处理的场景中，业务规则规定金额必须大于零，逾期天数不能大于30天等，这些参数配置归属于业务行为，随着业务的变化而变化；另一是应用系统运行时的参数配置，可以称之为系统参数，具体可以包括任务并发度(即并发任务(任务为数据处理任务)的数量)、各应用主机分片、任务锁信息的配置、数据过滤方式、任务锁信息对应的数据分片规则、是否需要任务并发结束的任务稽核校验等各种参数。

JVM参数配置为应用系统启动时通过JVM虚拟机启动添加的参数(简称JVM启动参数)。在应用系统启动之初，初始化配置JVM(Java程序运行环境)启动参数，在系统运行期可以通过System.getProperty("LOAN")(JVM运行期系统函数)获取JVM参数配置。在JVM参数配置中可以进行任务并发度、任务锁信息的配置等。

并发配置信息包括任务并发度、各应用的任务锁信息等，任务锁信息中包括任务锁标识。各应用系统在获取到并发配置信息之后，可以从并发配置信息中获取各自的任务锁信息。

其中，各应用系统在获取并发配置信息时，可以优先从JVM参数配置中获取，当从JVM参数配置中未能获取到并发配置信息时，再从数据库参数配置中获取。

另外，本发明实施例还提供一种应用系统保护策略，即当应用系统从数据库参数配置或JVM参数配置中均未获取到并发配置信息时，可以设置并行参数为1，并尝试获取对任务执行锁定，从而在应用系统没有配置任何任务并发度的情况下，默认就会将任务并发度设置为1，保证了系统在忽略并发配置的情况依旧可以正常运行。

步骤S102：按照与多个应用中各应用的任务锁信息对应的数据分片规则，获取各应用对应的分片数据。

在一个实施方式中，步骤S102具体可以包括：

对每条数据按照主键ID进行如下的取模操作：

该条数据对应的任务锁标识＝MOD(主键ID，任务并发度)；

获取与各应用的任务锁标识对应的数据，以得到各应用对应的分片数据，具体地，每一应用可以根据各自的任务锁标识对应的数据，得到各自对应的分片数据；

其中，各应用的任务锁标识分别根据各应用的任务锁信息得到，任务并发度根据并发配置信息得到。

对于某一应用，以任务并发度＝3为例，MOD(主键ID，3)的结果为1或2或0，即每条数据对应的任务锁标识为1或2或0，假设该应用的任务锁标识为0，则通过获取任务锁标识0对应的数据，可以得到该应用对应的分片数据。

主键ID即数据的每条数据的唯一标识(ID)。

在另一个实施方式中，步骤S102具体可以包括：

获取与各应用的任务锁信息对应的分片参数配置；

根据分片参数配置和数据的主键ID进行数据切分，以确定每一分片数据的数据范围，其中，每一数据范围对应一任务锁标识；

根据与各应用的任务锁标识对应的数据范围，获取与各应用对应的分片数据，具体地，每一应用根据各自的任务锁标识对应的数据范围，获取各自对应的分片数据，其中，各应用的任务锁标识分别根据各应用的任务锁信息得到。

具体可以采用“ID取值BETWEEN-系统配置AND-系统配置”方式进行数据隔离和切分。其中，系统配置从分片参数配置获取，表示计算数据范围的开始点和结束点所需的参数，以任务并发度＝3为例，假设当前数据的主键ID范围在1到3000，当前某应用的任务锁标识为1，那么每一分片数据大小为：((3000-1)+1)/3，每一分片数据的数据范围开始于(当前分片数-1)*每个分片数据大小+1；结束于当前分片数*每一分片数据大小。本例切分为3个分片，则每一分片数据的数据范围如下：1至1000；1001至2000；2001至3000。每一分片即每一数据范围对应一任务锁标识，当前分片数表示分片的编号，例如当前分片数为1，表示该分片为第一个分片，按照上述切分方法得到数据范围为1至1000，假设该分片对应的任务锁标识为1，则该应用对应的分片数据为主键ID范围在1到1000的数据。

与任务锁信息对应的分片参数可以在数据库参数配置或应用系统的JVM参数配置中根据业务需求动态配置。

步骤S103：利用各应用对应的分片数据，按照各应用的业务逻辑进行数据处理。

具体地，每一应用根据对应的分片数据执行各自的业务逻辑，以完成各自的数据处理任务。

本发明实施例摒弃了多应用并发执行时获取唯一任务锁的方式，采用获取多应用处理并发锁，从而避免了资源争抢，实现任务锁的正常获取记录，通过多应用同时执行任务，保证资源的分配平均和资源高效利用，在数据量的递增和突增的情况下，可以动态添加应用，动态调整多应用启动的参数开启并发处理，可以有效提升处理效率，打破单一应用的处理瓶颈。

图2是根据本发明实施例的数据处理的系统架构示意图。

本发明实施例的数据处理的系统架构包括业务系统的应用集群、数据库配置管理系统、数据库集群三个部分。

业务系统主要用于具体的业务实现，由多个应用(图中示例性示出三个应用：应用A、应用B、应用C)配置成集群模式(即SYNC(同步工程)应用集群)，每个应用都是独立运行的个体，包括任务调度模块和任务处理模块等。各应用的任务调度在配置的时间内触发执行，与数据库交互获取任务锁，判断是否可以执行当前任务并进行任务处理的调用。

数据库配置管理系统主要用于进行数据库参数配置。例如配置任务锁的并发数，任务锁对应的数据分片规则，是否需要任务并发结束的任务稽核校验等，具体上文已经详细介绍，此处不再赘述。

数据库集群主要用于存储所有业务的数据，采用主从模式进行数据读写分离，与任务处理模块交互传递相对独立的数据分片，存储应用并发执行锁的信息等。

本系统架构在进行数据处理的过程中，应用系统可以通过两种方式获取任务锁：一是通过获取JVM参数配置来获取每次执行的任务锁和数据分片，并传递给任务处理模块，传递的信息包括任务并发度和当前任务锁节点的信息(例如任务锁标识)。二是通过CAS(比较和交换)的方式，获取数据库的锁分配，CAS是乐观锁的核心算法，其涉及三个操作数：当前存储的值(简称当前值)、下次修改的值、需要更新的值。具体实现如下：通过获取数据库的当前存储的值，来确认下次修改的值，再根据当前值和需要更新的值进行更新，如果更新记录数为1，表示更新成功，如果更新记录数为0表示更新失败，重新获取数据库当前值。例如数据库当前分片字段表示为1，那么本次获取的数据库当前值为1，本次需要修改的值为1+1即为2，所以本次需要更新数据库当前值为1的结果更新为2，如果更新结果返回条数为1，表示已经成功更新1行记录，那么表示本次更新成功，如果更新记录数返回0，表示本次更新失败，需要重新获取数据库当前值，再次执行更新操作，直到更新成功为止。当上述更新成功时，即获取锁标识，若没有更新成功，则重试更新以重新获取锁标识，从而完成获取数据库的锁分配的过程。数据库的并发锁配置是由数据库配置管理系统进行修改和变更，数据库的并发锁配置包括数据库参数配置中的任务并发度、各应用的任务锁信息等配置。应用系统获取任务并发度、对应的任务锁信息等配置后传递到任务处理模块，由任务处理模块根据任务锁信息获取切分独立的分片数据。

根据任务锁获取数据切分可以采用两种方式：一是根据任务锁信息，将数据按照主键ID取模操作，即MOD(主键ID,任务并发度)＝当前任务锁的值(即任务锁标识)，从而不同的应用主机获取了不同的切分数据。二是根据任务锁信息和与任务锁信息对应的分片参数配置，将数据按照主键ID进行数据分片，采用“ID取值BETWEEN-系统配置AND-系统配置”方式进行数据隔离和切分。该两种方式在上述步骤S102已经详细介绍，此处不再赘述。

本发明实施例在多应用并发执行任务时将数据分片隔离，每个应用并发执行任务，获取相应的独立切分数据进行后续的任务处理。任务处理模块根据调度任务传递的任务锁信息进行数据的切分，根据不同的锁参数信息(任务锁信息)，获取相对独立的数据分片，并行地进行数据处理。避免了应用资源争抢，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数开启并发处理，有效提升处理效率。

图3是根据本发明实施例的数据处理的一个优选流程示意图。

如图3所示，本发明实施例的数据处理的一个优选流程可以包括如下的步骤S301至步骤S311。本数据处理流程以ABS(资产证券化)系统中对资产信息的同步处理为例，来进行介绍。需要说明的是，本数据处理流程不仅限于对资产信息的处理，还可以用于其他数据的处理。本流程以多个应用中的一个应用(以下以当前应用表示)为例来介绍数据处理的过程。

步骤S301：定时任务调度触发资产同步任务开始执行。

在资产同步任务执行前，可以先确认是否开启并行执行。具体地，可以从JVM参数配置中获取JVM初始配置参数：-DLOAN＝1，以确定开启并行执行。

步骤S302：判断从当前应用的JVM参数配置中是否读取到并发配置信息，若是，则执行步骤S303，否则执行步骤S304。

具体地，从JVM参数配置中可以获取任务并发度和当前应用的任务锁标识等并发配置信息。

例如，获取到如下的并发配置信息：

-DPARTITION_ALL_LOAN＝3；

-DCURRENT_PARTITION_LOAN＝0；

表示开启三个并行任务执行资产同步任务，即任务并发度＝3，且当前获取的任务锁标识为0。

步骤S303：根据JVM参数配置设置当前应用执行任务的并发参数。

然后跳转到步骤S308。

步骤S304：判断从数据库参数配置中是否读取到并发配置信息，若是，则执行步骤S305，否则执行步骤S306。

步骤S305：根据数据库参数配置设置当前应用执行任务的并发参数。

然后跳转到步骤S308。

当前应用执行任务的并发参数具体可以包括总并行度参数(即任务并发度)，当前任务分片参数，任务锁信息，数据切分方式(即数据分片规则)等。

步骤S306：设置并行参数为1，并获取对任务执行的锁定。

步骤S307：判断对任务执行的锁定是否获取成功，若是，则跳转到步骤S308，否则结束该资产同步任务。

步骤S308：根据当前应用执行任务的并发参数获取数据库中的分片数据。

具体地，按照与当前应用的任务锁信息对应的数据分片规则，获取当前应用对应的分片数据，详细过程上文已经详细介绍，不再赘述。

步骤S309：记录当前应用执行的参数明细日志。

步骤S310：任务处理模块根据获取到的分片数据进行业务逻辑处理。

步骤S311：当前应用记录当前参数信息和应用执行信息的状态日志。

本实施例的数据处理流程，可以实现基于ABS(资产证券化)系统等各种业务系统的多应用、并发响应的数据处理，根据数据的主键ID或数据范围进行数据规范地切分，根据配置拆分多应用响应，并发高效地执行数据同步等任务，解决单一应用处理任务的瓶颈和应用资源争抢的问题。

图4是根据本发明实施例的数据处理装置的主要模块示意图。

如图4所示，本发明实施例的数据处理装置400主要包括：任务锁信息获取模块401、分片数据获取模块402、数据处理模块403。

任务锁信息获取模块401，用于根据获取到的并发配置信息获取多个应用的任务锁信息。

数据处理装置400还可以包括并发配置信息获取模块，用于从数据库参数配置或各应用的JVM参数配置中获取并发配置信息。

另外，本发明实施例还提供一种应用系统保护策略，即当应用系统从数据库参数配置或JVM参数配置中均未获取到并发配置信息时，并发配置信息获取模块可以设置应用的并行参数为1，并尝试获取对任务执行锁定，从而在应用系统没有配置任何任务并发度的情况下，默认就会将任务并发度设置为1，保证了系统在忽略并发配置的情况依旧可以正常运行。

分片数据获取模块402，用于按照与多个应用中各应用的任务锁信息对应的数据分片规则，获取各应用对应的分片数据。

在一个实施方式中，分片数据获取模块402具体可用于：

对每条数据按照主键ID进行如下的取模操作：

该条数据对应的任务锁标识＝MOD(主键ID，任务并发度)；

获取与各应用的任务锁标识对应的数据，以得到各应用对应的分片数据；

其中，各应用的任务锁标识根据各应用的任务锁信息得到，任务并发度根据并发配置信息得到。

在另一个实施方式中，分片数据获取模块402具体可以用于：

获取与所述各应用的任务锁信息对应的分片参数配置；

根据所述分片参数配置和数据的主键ID进行数据切分，以确定每一分片数据的数据范围，所述每一数据范围对应一任务锁标识；

根据与各应用的任务锁标识对应的数据范围，获取与所述各应用对应的分片数据，所述各应用的任务锁标识根据所述各应用的任务锁信息得到。

数据处理模块403，用于利用各应用对应的分片数据，按照各应用的业务逻辑进行数据处理。

另外，在本发明实施例中数据处理装置的具体实施内容，在上面数据处理方法中已经详细说明了，故在此重复内容不再说明。

图5示出了可以应用本发明实施例的数据处理方法或数据处理装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据处理方法一般由服务器505执行，相应地，数据处理装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括任务锁信息获取模块401、分片数据获取模块402、数据处理模块403。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，任务锁信息获取模块401还可以被描述为“用于根据获取到的并发配置信息获取多个应用的任务锁信息的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。

根据本发明实施例的技术方案，根据获取到的并发配置信息获取多个应用的任务锁信息；按照与各应用的任务锁信息对应的数据分片规则，获取各应用对应的分片数据；利用各应用对应的分片数据，按照各应用的业务逻辑进行数据处理。能够在多应用并发执行时实现任务锁的正常获取记录，解决应用资源争抢的问题，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数开启并发处理，有效提升处理效率。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

根据获取到的并发配置信息获取多个应用的任务锁信息；

按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；

利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。

2.根据权利要求1所述的方法，其特征在于，从数据库参数配置或所述各应用的JVM参数配置中获取所述并发配置信息。

3.根据权利要求1所述的方法，其特征在于，按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据的步骤，包括：

对每条数据按照主键ID进行如下的取模操作：

该条数据对应的任务锁标识＝MOD(主键ID，任务并发度)；

获取与所述各应用的任务锁标识对应的数据，以得到所述各应用对应的分片数据；

其中，所述各应用的任务锁标识根据所述各应用的任务锁信息得到，所述任务并发度根据所述并发配置信息得到。

4.根据权利要求1所述的方法，其特征在于，按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据的步骤，包括：

获取与所述各应用的任务锁信息对应的分片参数配置；

根据所述分片参数配置和数据的主键ID进行数据切分，以确定每一分片数据的数据范围，所述每一数据范围对应一任务锁标识；

根据与各应用的任务锁标识对应的数据范围，获取与所述各应用对应的分片数据，所述各应用的任务锁标识根据所述各应用的任务锁信息得到。

5.一种数据处理装置，其特征在于，包括：

任务锁信息获取模块，用于根据获取到的并发配置信息获取多个应用的任务锁信息；

分片数据获取模块，用于按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；

数据处理模块，用于利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。

6.根据权利要求5所述的装置，其特征在于，还包括并发配置信息获取模块，用于从数据库参数配置或所述各应用的JVM参数配置中获取所述并发配置信息。

7.根据权利要求5所述的装置，其特征在于，所述分片数据获取模块还用于：

对每条数据按照主键ID进行如下的取模操作：

该条数据对应的任务锁标识＝MOD(主键ID，任务并发度)；

获取与所述各应用的任务锁标识对应的数据，以得到所述各应用对应的分片数据；

其中，所述各应用的任务锁标识根据所述各应用的任务锁信息得到，所述任务并发度根据所述并发配置信息得到。

8.根据权利要求5所述的装置，其特征在于，所述分片数据获取模块还用于：

获取与所述各应用的任务锁信息对应的分片参数配置；

根据所述分片参数配置和数据的主键ID进行数据切分，以确定每一分片数据的数据范围，所述每一数据范围对应一任务锁标识；

根据与各应用的任务锁标识对应的数据范围，获取与所述各应用对应的分片数据，所述各应用的任务锁标识根据所述各应用的任务锁信息得到。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。