CN109725996B - 任务模式选择与任务执行方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供一种任务模式选择与任务执行方法，包括：获取待执行的各数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式；根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表；按照所述任务执行配置表，执行待执行的各数据抽取任务。本发明还提供一种任务模式选择与任务执行装置、设备及存储介质。本发明能够实现任务执行模式的智能选择，还能够避免各数据抽取任务的相互影响，提高数据抽取与汇总效率。

Description

任务模式选择与任务执行方法、装置、设备及存储介质

技术领域

本发明涉及互联网技术领域，尤其涉及一种任务模式选择与任务执行方法、装置、设备及存储介质。

背景技术

随着网络技术的快速发展，金融保险领域逐渐采用数据库存储保险数据和用户数据等，而随着保险种类和用户数量的增加，对保险数据和用户数据等的管理提出了新的要求，目前，按照保险种类，将保险数据和用户数据等存储在不同的数据库中，便于数据的管理。

然而，在实际操作过程中，存在需要使用各数据库内的数据的情况，因此，需要从各数据库中抽取所需的数据并汇总，目前，数据抽取与汇总主要依赖于Kettle工具，由Kettle工具实现数据抽取与汇总，而通过Kettle工具进行数据抽取与汇总时，由于数据抽取任务较多，任务执行时间各异且相互交叉影响，当某一数据抽取任务依赖的Kettle同步任务出现延迟时，会影响其它数据抽取任务，需要耗费较多的时间才能完成数据抽取与汇总，此外，任务执行模式包括单业务执行模式和多业务执行模式，而系统的业务执行模式固定，无法实现任务执行模式的智能选择。

因此，如何实现任务执行模式的智能选择，以及如何避免各数据抽取任务的相互影响，提高数据抽取与汇总效率是目前亟待解决的问题。

发明内容

本发明的主要目的在于提供一种任务模式选择与任务执行方法、装置、设备及存储介质，旨在实现任务执行模式的智能选择，以及提高任务模式选择与任务执行的便捷性和效率。

为实现上述目的，本发明提供一种任务模式选择与任务执行方法，所述任务模式选择与任务执行方法包括以下步骤：

获取待执行的各数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式；

根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；

根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表；

按照所述任务执行配置表，执行待执行的各数据抽取任务。

可选地，根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式的步骤包括：

从所述执行信息中获取各数据抽取任务的业务标签，并确定各数据抽取任务的业务标签是否均相同；

若各数据抽取任务的业务标签相同，则选择的任务执行模式为单业务执行模式；

若各数据抽取任务中存在至少一个数据抽取任务的业务标签不同，则选择的任务执行模式为多业务执行模式。

可选地，根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组的步骤包括：

确定选择的任务执行模式是单业务执行模式，还是多业务执行模式；

若选择的任务执行模式是单业务执行模式，则根据所述执行信息中的任务依赖关系，将待执行的各数据抽取任务划分为若干任务组；

若选择的任务执行模式是多业务执行模式，则根据所述执行信息中各数据抽取任务的业务标签，将各数据抽取任务划分为若干任务组；

根据所述执行信息中的任务依赖关系，将所述若干任务组中各任务组内的数据抽取任务划分为若干任务子组。

可选地，根据所述执行信息中的任务依赖关系，将待执行的各数据抽取任务划分为若干任务组的步骤包括：

从所述执行信息中获取待执行的各数据抽取任务的任务依赖关系；

根据待执行的各数据抽取任务的任务依赖关系，确定待执行的各数据抽取任务的数据抽取依赖任务；

根据待执行的各数据抽取任务的数据抽取依赖任务，将待执行的各数据抽取任务划分为若干任务组。

可选地，根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表的步骤包括：

确定所述任务分组信息是同时包含任务组标签和任务子组标签，还是仅包含任务组标签，而不包含任务子组标签；

若所述任务分组信息同时包含任务组标签和任务子组标签，则根据所述执行信息，配置各任务组和各任务子组的执行优先级，以及配置各数据抽取任务的执行参数；

若所述任务分组信息仅包含任务组标签，而不包含任务子组标签，则根据所述执行信息，配置各任务组的执行优先级，以及配置各数据抽取任务的执行参数。

可选地，所述任务模式选择与任务执行方法还包括：

获取当前可用CPU资源，并确定所述当前可用CPU资源是否超过预设CPU资源；

若所述当前可用CPU资源未超过预设CPU资源，则根据所述当前可用CPU资源确定同步执行任务数。

可选地，根据所述当前可用CPU资源确定同步执行任务数的步骤包括：

获取预存的可用CPU资源与同步执行任务数的映射关系表；

从所述映射关系表中查询与所述当前可用CPU资源对应的同步执行任务数。

此外，为实现上述目的，本发明还提供一种任务模式选择与任务执行装置，所述任务模式选择与任务执行装置包括：

模式选择模块，用于获取待执行的各数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式；

任务分组模块，用于根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；

参数配置模块，用于根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表；

任务执行模块，用于按照所述任务执行配置表，执行待执行的各数据抽取任务。

此外，为实现上述目的，本发明还提供一种任务模式选择与任务执行设备，所述任务模式选择与任务执行设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的任务模式选择与任务执行程序，其中所述任务模式选择与任务执行程序被所述处理器执行时，实现如上述的任务模式选择与任务执行方法的步骤。

此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有任务模式选择与任务执行程序，其中所述任务模式选择与任务执行程序被处理器执行时，实现如上述的任务模式选择与任务执行方法的步骤。

本发明提供一种任务模式选择与任务执行方法、装置、设备及存储介质，本发明基于各数据抽取任务的执行信息中的业务标签选择任务执行模式，实现任务执行模式的智能选择，然后基于与选择的任务执行模式关联的分组策略和执行信息，对各数据抽取任务进行分组，并配置待执行的各数据抽取任务的执行参数，不同的任务执行模式，采用不同的分组策略，实现数据抽取任务的依赖关系分组和业务分组，避免各业务之间的数据抽取任务，以及具有依赖关系的数据抽取任务之间的相互影响，即使存在某一数据抽取任务依赖的Kettle同步任务出现延迟，也不会影响全部数据抽取任务，有效的避免了数据抽取任务之间的相互影响，提高数据抽取与汇总效率。

附图说明

图1为本发明各实施例涉及的任务模式选择与任务执行设备的硬件结构示意图；

图2为本发明任务模式选择与任务执行方法第一实施例的流程示意图；

图3为本发明第一实施例中步骤S102的细化流程示意图；

图4为本发明任务模式选择与任务执行方法第三实施例的流程示意图；

图5为本发明任务模式选择与任务执行装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例涉及的任务模式选择与任务执行方法主要应用于任务模式选择与任务执行设备，该任务模式选择与任务执行设备可以是PC(个人计算机personalcomputer)、便携计算机、移动终端等具有显示和处理功能的设备。

参照图1，图1为本发明实施例方案中涉及的任务模式选择与任务执行设备的硬件结构示意图。本发明实施例中，任务模式选择与任务执行设备可以包括处理器1001(例如中央处理器Central Processing Unit、CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，图1中作为一种存储介质的存储器1005可以包括操作系统、网络通信模块以及任务模式选择与任务执行程序。在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的任务模式选择与任务执行程序，并执行本发明实施例提供的任务模式选择与任务执行方法。

本发明实施例提供了一种任务模式选择与任务执行方法。

参照图2，图2为本发明任务模式选择与任务执行方法第一实施例的流程示意图。

本实施例中，该任务模式选择与任务执行方法由任务模式选择与任务执行设备实现，该任务模式选择与任务执行设备可以是PC、掌上电脑和平板电脑等设备，可选为图1所示的设备，所述任务模式选择与任务执行方法包括以下步骤：

步骤S101，获取待执行的各数据抽取任务的执行信息，并根据执行信息中各数据抽取任务的业务标签选择任务执行模式；

步骤S102，根据与任务执行模式关联的分组策略和执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；

步骤S103，根据执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表；

步骤S104，按照任务执行配置表，执行待执行的各数据抽取任务。

数据抽取与汇总主要依赖于Kettle工具，由Kettle工具实现数据抽取与汇总，而通过Kettle工具进行数据抽取与汇总时，由于数据抽取任务较多，任务执行时间各异且相互交叉影响，当某一数据抽取任务依赖的Kettle同步任务出现延迟时，会影响其它数据抽取任务，需要耗费较多的时间才能完成数据抽取与汇总，此外，任务执行模式包括单业务执行模式和多业务执行模式，而系统的业务执行模式固定，无法实现任务执行模式的智能选择。考虑到上述问题，本实施例中提出一种任务模式选择与任务执行方法，以下详细介绍任务模式选择与任务执行方法的具体步骤：

步骤S101，获取待执行的各数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式；

本实施例中，设备在执行数据抽取任务之前，获取待执行的各数据抽取任务的执行信息，并根据执行信息中各数据抽取任务的业务标签选择任务执行模式，其中，任务执行模式包括但不限于单业务执行模式和多业务执行模式，该执行信息包括但不限于各数据抽取任务的执行时间、业务标签和任务依赖关系，上述执行时间为手动执行数据抽取任务时，用户点击数据抽取任务按钮的点击时间；上述业务标签用于表示数据抽取任务所属的业务场景，包括准备金业务场景和个人险业务场景等；上述任务依赖关系用于表示各数据抽取任务的依赖情况，包括输入输出依赖关系和kettle依赖关系。

其中，输入输出依赖关系由各数据抽取任务之间的输入来确定，即确定某个数据抽取任务的输入是否为另一个数据抽取任务的输出，若某个数据抽取任务的输入为另一个数据抽取任务的输出，则确定这两个数据抽取任务有输入输出依赖关系，kettle依赖关系由各数据抽取任务的依赖kettle任务以及依赖kettle任务的前置条件确定，即确定某个数据抽取任务所依赖的kettle的前置条件是否为另一个数据抽取任务所依赖的kettle，若某个数据抽取任务所依赖的kettle的前置条件为另一个数据抽取任务所依赖的kettle，则确定这两个数据抽取任务有kettle依赖关系，一个数据抽取任务所依赖的kettle至少为1个，且一个kettle可被多个数据抽取任务所依赖。

其中，数据抽取任务包括但不限于年金产品数据抽取、山羊合约产品数据抽取、内部收益率产品数据抽取、传统分红数据抽取、寿团产品数据抽取、分红缴清增额数据抽取、投连产品数据抽取、追加保费数据抽取、短险产品数据抽取、万能产品数据抽取、保证续保数据抽取和特殊投连产品数据抽取。

进一步地，还可以预先设置好各数据抽取任务之间的任务依赖关系，通过各个数据抽取任务对应的依赖标识来确定各个具有依赖关系的数据抽取任务。如当某四个数据抽取任务对应的标识为A1，A2，A3，B1和B2时，则可确定A1，A2和A3具有任务依赖关系，B1和B2具有任务依赖关系。

具体地，本实施例中，步骤S101包括：

步骤a1，从执行信息中获取各数据抽取任务的业务标签，并确定各数据抽取任务的业务标签是否均相同；

步骤a2，若各数据抽取任务的业务标签相同，则选择的任务执行模式为单业务执行模式；

步骤a3，若各数据抽取任务中存在至少一个数据抽取任务的业务标签不同，则选择的任务执行模式为多业务执行模式。

本实施例中，设备获取待执行的各数据抽取任务的执行信息之后，从该执行信息中获取各数据抽取任务的业务标签，并确定各数据抽取任务的业务标签是否均相同，即确定各数据抽取任务是否均属于同一业务，如果各数据抽取任务的业务标签均相同，即各数据抽取任务均属于同一业务，则选择单业务执行模式为任务执行模式，如果各数据抽取任务中存在至少一个数据抽取任务的业务标签不同，即各数据抽取任务不属于同一业务，则选择多业务执行模式为任务执行模式。

步骤S102，根据与任务执行模式关联的分组策略和执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；

本实施例中，设备存储有与任务执行模式，即单业务执行模式和多业务执行模式分别关联的分组策略，则选择任务执行模式之后，根据与选择的任务执行模式关联的分组策略和该执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息。其中，与单业务执行模式关联的分组策略为按照各数据抽取任务之间的任务依赖关系(输入输出依赖关系和kettle依赖关系)将各数据抽取任务划分为若干任务组，而与多业务执行模式关联的分组策略为按照各数据抽取任务的业务标签，将各数据抽取任务划分为若干任务组，且按照各数据抽取任务之间的依赖情况，进一步地将各任务组进行二次分组，得到各任务组的若干任务子组。其中，任务分组信息包括但不限于任务组标签、任务子组标签、各数据抽取任务的所属任务组信息以及各数据抽取任务的所属任务子组信息。

具体地，参照图3，步骤S102包括：

步骤S1021，确定选择的任务执行模式是单业务执行模式，还是多业务执行模式；

步骤S1022，若选择的任务执行模式是单业务执行模式，则根据执行信息中的任务依赖关系，将待执行的各数据抽取任务划分为若干任务组；

本实施例中，设备选择任务执行模式之后，确定选择的任务执行模式是单业务执行模式，还是多业务执行模式，如果选择的任务执行模式是单业务执行模式，则根据执行信息中的任务依赖关系，将待执行的各数据抽取任务划分为若干任务组，即将具有任务依赖关系的数据抽取任务划分为一个任务组。

步骤S1023，若选择的任务执行模式是多业务执行模式，则根据执行信息中各数据抽取任务的业务标签，将各数据抽取任务划分为若干任务组；

步骤S1024，根据执行信息中的任务依赖关系，将若干任务组中各任务组内的数据抽取任务划分为若干任务子组。

本实施例中，如果选择的任务执行模式是多业务执行模式，则根据执行信息中各数据抽取任务的业务标签，将各数据抽取任务划分为若干任务组，即将业务标签相同的数据抽取任务划分为一个任务组(有几种类型的业务标签，就将各数据抽取任务划分为几个任务组，一个数据抽取任务至少包括一种业务标签，且一个数据抽取任务至少位于一个任务组)，然后根据执行信息中的任务依赖关系，将若干任务组中各任务组内的数据抽取任务划分为若干任务子组，即将一个任务组中具有任务依赖关系的数据抽取任务划分为一个任务子组。

步骤S103，根据执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表。

本实施例中，设备对各数据抽取任务进行分组之后，根据执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表，其中，执行参数包括但不限于执行开始时间、执行频次、任务标识和执行顺序。

具体地，本实施例中，步骤S103包括：

步骤b1，确定任务分组信息是同时包含任务组标签和任务子组标签，还是仅包含任务组标签，而不包含任务子组标签；

步骤b2，若任务分组信息同时包含任务组标签和任务子组标签，则根据执行信息，配置各任务组和各任务子组的执行优先级，以及配置各数据抽取任务的执行参数；

本实施例中，设备对各数据抽取任务进行分组，且获取到任务分组信息之后，确定该任务分组信息是同时包含任务组标签和任务子组标签，还是仅包含任务组标签，而不包含任务子组标签，如果任务分组信息同时包含任务组标签和任务子组标签，则根据执行信息，配置各任务组和各任务子组的执行优先级，以及配置各数据抽取任务的执行参数，即从执行信息中获取各数据抽取任务的执行开始时间，根据各任务组中各数据抽取任务的执行开始时间，确定各任务组的最早执行开始时间，并根据各任务组的最早执行开始时间对应配置各任务组的执行优先级，同时根据各任务子组中各数据抽取任务的执行开始时间，确定各任务子组的最早执行开始时间，并根据各任务子组的最早执行开始时间对应配置各任务子组的执行优先级，最后将该执行信息中各数据抽取任务的执行开始时间、执行频次和任务标识等执行参数配置给对应的数据抽取任务；

步骤b3，若任务分组信息仅包含任务组标签，而不包含任务子组标签，则根据执行信息，配置各任务组的执行优先级，以及配置各数据抽取任务的执行参数。

本实施例中，如果任务分组信息仅包含任务组标签，而不包含任务子组标签，则根据执行信息，配置各任务组的执行优先级，以及配置各数据抽取任务的执行参数，即根据各任务组中各数据抽取任务的执行开始时间，确定各任务组的最早执行开始时间，并根据各任务组的最早执行开始时间对应配置各任务组的执行优先级，然后根据该执行信息中各数据抽取任务的执行开始时间和任务依赖关系，配置各任务组中各数据抽取任务的执行顺序，最后按照各任务组的执行优先级的先后顺序，以及各任务组中各数据抽取任务的执行顺序，基于该执行信息配置各任务组中各数据抽取任务的执行参数。

其中，各任务组中各数据抽取任务的执行顺序具体配置方式为从该执行信息中获取各数据抽取任务的执行开始时间和任务依赖关系，并按照各任务组中各数据抽取任务的执行开始时间，对各任务组中的各数据抽取任务进行排序，以生成各任务组中各数据抽取任务的执行顺序表，然后根据各任务组中各数据抽取任务的任务依赖关系，对执行顺序表进行调整，并按照调整后的执行顺序表配置各任务组中各数据抽取任务的执行顺序，即按照排序的先后顺序依次确定对应的数据抽取任务是否具有与其依赖的其它数据抽取任务，如果不具有与其依赖的其它数据抽取任务，则不调整排序，如果具有与其依赖的其它数据抽取任务，且与其依赖的其它数据抽取任务的输出为对应数据抽取任务的输入，则将其依赖的其它数据抽取任务排列在对应数据抽取任务之前，最后按照调整后的执行顺序表配置各任务组中各数据抽取任务的执行顺序。

步骤S104，按照任务执行配置表，执行各待执行的数据抽取任务。

本实施例中，设备生成任务执行配置表之后，按照该任务执行配置表，执行各待执行的数据抽取任务，即在单业务模式下，按照执行优先级的先后顺序，依次选择任务组，并按照数据抽取任务的执行顺序执行选择后的任务组中的数据抽取任务，而在多业务模式下，按照任务组的执行优先级的先后顺序，依次选择任务组，然后基于该任务组中各任务子组的执行优先级，依次选择任务子组，并按照该任务子组中各数据抽取任务的执行顺序，依次执行各数据抽取任务。

本实施例中，基于各数据抽取任务的执行信息中的业务标签选择任务执行模式，实现任务执行模式的智能选择，然后基于与选择的任务执行模式关联的分组策略和执行信息，对各数据抽取任务进行分组，并配置待执行的各数据抽取任务的执行参数，不同的任务执行模式，采用不同的分组策略，实现数据抽取任务的依赖关系分组和业务分组，避免各业务之间的数据抽取任务，以及具有依赖关系的数据抽取任务之间的相互影响，即使存在某一数据抽取任务依赖的Kettle同步任务出现延迟，也不会影响全部数据抽取任务，有效的避免了数据抽取任务之间的相互影响，提高数据抽取与汇总效率。

进一步地，基于上述第一实施例，提出了本发明任务模式选择与任务执行方法的第二实施例，与前述实施例的区别在于，步骤S1022包括：

步骤c1，从执行信息中获取待执行的各数据抽取任务的任务依赖关系；

步骤c2，根据待执行的各数据抽取任务的任务依赖关系，确定待执行的各数据抽取任务的数据抽取依赖任务；

需要说明的是，本发明基于前述实施例，提出了一种任务组的具体划分方式，以下仅对此进行说明，其他可参照前述实施例。

本实施例中，设备在单业务执行模式下时，从执行信息中获取待执行的各数据抽取任务的任务依赖关系，包括输入输出依赖关系和kettle依赖关系，并根据待执行的各数据抽取任务的任务依赖关系，确定待执行的各数据抽取任务的数据抽取依赖任务，即首先根据各数据抽取任务的输入输出依赖关系，确定各数据抽取任务的第一数据抽取依赖任务，然后根据各数据抽取任务的kettle依赖关系，确定各数据抽取任务的第二数据抽取依赖任务，将各数据抽取任务的第一数据抽取依赖任务和第二数据抽取依赖任务确定为各数据抽取任务的数据抽取依赖任务。

步骤c3，根据待执行的各数据抽取任务的数据抽取依赖任务，将待执行的各数据抽取任务划分为若干任务组。

本实施例中，设备在确定各数据抽取任务的数据抽取依赖任务之后，根据待执行的各数据抽取任务的数据抽取依赖任务，将待执行的各数据抽取任务划分为若干任务组，即先任意选择一数据抽取任务，并获取与选择的数据抽取任务具有依赖关系的数据抽取任务，并确定具有依赖关系的数据抽取任务是否也具有与其依赖的数据抽取任务，即确定选择的数据抽取任务是否具有间接依赖关系的数据抽取任务，如果具有依赖关系的数据抽取任务不具有与其依赖的数据抽取任务，即选择的数据抽取任务不具有间接依赖关系的数据抽取任务，则将选择的数据抽取任务、与其依赖的数据抽取任务确定为一个任务组，如果具有依赖关系的数据抽取任务具有与其依赖的数据抽取任务，即选择的数据抽取任务具有间接依赖关系的数据抽取任务，则将选择的数据抽取任务、与其依赖的数据抽取任务、以及具有间接依赖关系的全部数据抽取任务确定为一个任务组，最后得到的各任务组之间不具有依赖关系，且一个数据抽取任务仅属于一个任务组。

例如，数据抽取任务包括数据抽取任务1、数据抽取任务2、数据抽取任务3、数据抽取任务4和数据抽取任务5，其中，数据抽取任务1依赖kettle2，数据抽取任务2依赖kettle1、kettle2和kettle3，数据抽取任务3依赖kettle1，数据抽取任务4依赖kettle3和kettle4、数据抽取任务5依赖kettle4，且kettle3的前置条件为kettle1，而kettle1、kettle2和kettle4无前置条件，则数据抽取任务1、数据抽取任务3和数据抽取任务5无数据抽取依赖任务，数据抽取任务2的数据抽取依赖任务为数据抽取任务1，数据抽取任务4数据抽取依赖任务为数据抽取任务3，因此，任务组有3组，分别为包含数据抽取任务1和数据抽取任务2的第一任务组、包含数据抽取任务3和数据抽取任务4的第二任务子组和包含数据抽取任务5的第三任务组。

本实施例中，基于各数据抽取任务的任务依赖关系，能够准确的将具有任务依赖关系的数据抽取任务划分为一个任务组，实现数据抽取任务的依赖关系分组，避免各数据抽取任务的相互影响。

进一步地，参照图4，基于上述第一或第二实施例，提出了本发明任务模式选择与任务执行方法的第三实施例，与前述实施例的区别在于，任务模式选择与任务执行方法还包括：

步骤S105，获取当前可用CPU资源，并确定当前可用CPU资源是否超过预设CPU资源；

需要说明的是，本发明基于前述实施例提出了一种同步执行任务数的具体确定方式，以下仅对此进行说明，其它可参照前述实施例。

本实施例中，设备在执行数据抽取任务的过程中，实时获取设备的当前可用CPU资源，并确定当前可用CPU资源是否超过预设CPU资源，如果当前可用CPU资源超过预设CPU资源，则每次只执行一个数据抽取任务，如果当前可用CPU资源未超过预设CPU资源，则可同时执行多个数据抽取任务。

步骤S106，若当前可用CPU资源未超过预设CPU资源，则根据当前可用CPU资源确定同步执行任务数。

本实施例中，如果当前可用CPU资源未超过预设CPU资源，则根据当前可用CPU资源确定同步执行任务数，即CPU可同时执行的任务数量。需要说明的是，上述预设CPU资源可根据CPU总资源来设置，或者由用户根据具体需要而设置，本实施例对此不作具体限定。

具体地，在本实施例中，步骤S106包括：

步骤d1，获取预存的可用CPU资源与同步执行任务数的映射关系表；

步骤d2，从映射关系表中查询与当前可用CPU资源对应的同步执行任务数。

本实施例中，设备在确定当前可用CPU资源未超过预设CPU资源之后，获取预存的可用CPU资源与同步执行任务数的映射关系表，并从映射关系表中查询与当前可用CPU资源对应的同步执行任务数，例如，当前可用CPU资源小于A时，对应的同步执行任务数为2；当前可用CPU资源大于或者等于A，小于B时，对应的同步执行任务数为3；当前可用CPU资源大于或者等于B，小于C时，对应的同步执行任务数为4，其中，A<B<C。

本实施例中，通过设备的当前可用CPU资源确定同步执行任务数，设备可同时执行多个数据抽取任务，有效的提高数据抽取与汇总效率。

此外，本发明实施例还提供一种任务模式选择与任务执行装置。

参照图5，图5为本发明任务模式选择与任务执行装置第一实施例的功能模块示意图。

本发明任务模式选择与任务执行装置为虚拟装置，存储于图1所示任务模式选择与任务执行设备的存储器1005中，用于实现任务模式选择与任务执行程序的所有功能；任务模式选择与任务执行装置的各模块被处理器1001执行时，获取待执行的各数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式；根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表；按照所述任务执行配置表，执行待执行的各数据抽取任务。

具体的，本实施例中，所述任务模式选择与任务执行装置包括：

模式选择模块101，用于获取待执行的各数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式；

任务分组模块102，用于根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；

参数配置模块103，用于根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表；

任务执行模块104，用于按照所述任务执行配置表，执行待执行的各数据抽取任务。

进一步地，所述模式选择模块101还用于：

从所述执行信息中获取各数据抽取任务的业务标签，并确定各数据抽取任务的业务标签是否均相同；

若各数据抽取任务的业务标签相同，则选择的任务执行模式为单业务执行模式；

若各数据抽取任务中存在至少一个数据抽取任务的业务标签不同，则选择的任务执行模式为多业务执行模式。

进一步地，所述任务分组模块102还用于：

确定选择的任务执行模式是单业务执行模式，还是多业务执行模式；

若选择的任务执行模式是单业务执行模式，则根据所述执行信息中的任务依赖关系，将待执行的各数据抽取任务划分为若干任务组；

若选择的任务执行模式是多业务执行模式，则根据所述执行信息中各数据抽取任务的业务标签，将各数据抽取任务划分为若干任务组；

根据所述执行信息中的任务依赖关系，将所述若干任务组中各任务组内的数据抽取任务划分为若干任务子组。

进一步地，所述任务分组模块102还用于：

从所述执行信息中获取待执行的各数据抽取任务的任务依赖关系；

根据待执行的各数据抽取任务的任务依赖关系，确定待执行的各数据抽取任务的数据抽取依赖任务；

根据待执行的各数据抽取任务的数据抽取依赖任务，将待执行的各数据抽取任务划分为若干任务组。

进一步地，所述参数配置模块103还用于：

确定所述任务分组信息是同时包含任务组标签和任务子组标签，还是仅包含任务组标签，而不包含任务子组标签；

若所述任务分组信息同时包含任务组标签和任务子组标签，则根据所述执行信息，配置各任务组和各任务子组的执行优先级，以及配置各数据抽取任务的执行参数；

若所述任务分组信息仅包含任务组标签，而不包含任务子组标签，则根据所述执行信息，配置各任务组的执行优先级，以及配置各数据抽取任务的执行参数。

进一步地，所述任务模式选择与任务执行装置还包括：

CPU资源确定模块，用于获取当前可用CPU资源，并确定所述当前可用CPU资源是否超过预设CPU资源；

任务数确定模块，用于若所述当前可用CPU资源未超过预设CPU资源，则根据所述当前可用CPU资源确定同步执行任务数。

进一步地，所述任务数确定模块还用于：

获取预存的可用CPU资源与同步执行任务数的映射关系表；

从所述映射关系表中查询与所述当前可用CPU资源对应的同步执行任务数。

其中，上述任务模式选择与任务执行装置中各个模块的功能实现与上述任务模式选择与任务执行方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

此外，本发明实施例还提供一种存储介质。

本发明存储介质上存储有任务模式选择与任务执行程序，其中所述任务模式选择与任务执行程序被处理器执行时，实现如上述的任务模式选择与任务执行方法的步骤。

其中，任务模式选择与任务执行程序被执行时所实现的方法可参照本发明任务模式选择与任务执行方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种任务模式选择与任务执行方法，其特征在于，所述任务模式选择与任务执行方法包括以下步骤：

获取待执行的各数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式；

根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；

根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表；

按照所述任务执行配置表，执行待执行的各数据抽取任务；

其中，所述根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式的步骤包括：

从所述执行信息中获取各数据抽取任务的业务标签，并确定各数据抽取任务的业务标签是否均相同；

若各数据抽取任务的业务标签相同，则选择的任务执行模式为单业务执行模式；

若各数据抽取任务中存在至少一个数据抽取任务的业务标签不同，则选择的任务执行模式为多业务执行模式。

2.如权利要求1所述的任务模式选择与任务执行方法，其特征在于，根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组的步骤包括：

确定选择的任务执行模式是单业务执行模式，还是多业务执行模式；

若选择的任务执行模式是单业务执行模式，则根据所述执行信息中的任务依赖关系，将待执行的各数据抽取任务划分为若干任务组；

若选择的任务执行模式是多业务执行模式，则根据所述执行信息中各数据抽取任务的业务标签，将各数据抽取任务划分为若干任务组；

根据所述执行信息中的任务依赖关系，将所述若干任务组中各任务组内的数据抽取任务划分为若干任务子组。

3.如权利要求2所述的任务模式选择与任务执行方法，其特征在于，根据所述执行信息中的任务依赖关系，将待执行的各数据抽取任务划分为若干任务组的步骤包括：

从所述执行信息中获取待执行的各数据抽取任务的任务依赖关系；

根据待执行的各数据抽取任务的任务依赖关系，确定待执行的各数据抽取任务的数据抽取依赖任务；

根据待执行的各数据抽取任务的数据抽取依赖任务，将待执行的各数据抽取任务划分为若干任务组。

4.如权利要求2所述的任务模式选择与任务执行方法，其特征在于，根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表的步骤包括：

确定所述任务分组信息是同时包含任务组标签和任务子组标签，还是仅包含任务组标签，而不包含任务子组标签；

若所述任务分组信息同时包含任务组标签和任务子组标签，则根据所述执行信息，配置各任务组和各任务子组的执行优先级，以及配置各数据抽取任务的执行参数；

若所述任务分组信息仅包含任务组标签，而不包含任务子组标签，则根据所述执行信息，配置各任务组的执行优先级，以及配置各数据抽取任务的执行参数。

5.如权利要求1-4中任一项所述的任务模式选择与任务执行方法，其特征在于，所述任务模式选择与任务执行方法还包括：

获取当前可用CPU资源，并确定所述当前可用CPU资源是否超过预设CPU资源；

若所述当前可用CPU资源未超过预设CPU资源，则根据所述当前可用CPU资源确定同步执行任务数。

6.如权利要求5所述的任务模式选择与任务执行方法，其特征在于，根据所述当前可用CPU资源确定同步执行任务数的步骤包括：

获取预存的可用CPU资源与同步执行任务数的映射关系表；

从所述映射关系表中查询与所述当前可用CPU资源对应的同步执行任务数。

7.一种任务模式选择与任务执行装置，其特征在于，所述任务模式选择与任务执行装置包括：

模式选择模块，用于获取待执行的各数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式；

任务分组模块，用于根据与所述任务执行模式关联的分组策略和所述执行信息，对各数据抽取任务进行分组，并在分组完成时，获取任务分组信息；

参数配置模块，用于根据所述执行信息和任务分组信息，配置待执行的各数据抽取任务的执行参数，以生成任务执行配置表；

任务执行模块，用于按照所述任务执行配置表，执行待执行的各数据抽取任务；

所述模式选择模块，还用于从所述执行信息中获取各数据抽取任务的业务标签，并确定各数据抽取任务的业务标签是否均相同；若各数据抽取任务的业务标签相同，则选择的任务执行模式为单业务执行模式；若各数据抽取任务中存在至少一个数据抽取任务的业务标签不同，则选择的任务执行模式为多业务执行模式。

8.一种任务模式选择与任务执行设备，其特征在于，所述任务模式选择与任务执行设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的任务模式选择与任务执行程序，其中所述任务模式选择与任务执行程序被所述处理器执行时，实现如权利要求1至6中任一项所述的任务模式选择与任务执行方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有任务模式选择与任务执行程序，其中所述任务模式选择与任务执行程序被处理器执行时，实现如权利要求1至6中任一项所述的任务模式选择与任务执行方法的步骤。