CN108804215B - 一种任务处理方法、装置以及电子设备 - Google Patents

Abstract

本发明实施例提供了一种任务处理方法、装置以及电子设备，其中方法包括：在各待执行任务中，根据各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务；判断目标待执行任务是否可执行；若目标待执行任务不可执行，判断目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；若目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，则将目标待执行任务的执行时间后置N分钟。本发明实施例实现了提高处理任务的效率。

Description

一种任务处理方法、装置以及电子设备

技术领域

本发明涉及计算机技术领域，特别是涉及一种任务处理方法、装置以及电子设备。

背景技术

随着计算机技术的快速发展，依赖于计算机技术的业务处理任务也越来越多。现有技术通常通过DMP(data-management platform,数据管理平台)对公司数据业务进行处理，该业务处理方式为将整个业务分为几个部分的顺序处理方式。

具体为，选取当前时间优先级最高的待执行任务，对该任务解析，按照为该待执行任务设置的任务处理逻辑，获取处理该待执行任务的业务计算模板，执行该待执行任务，直到将该待执行任务处理完。但是，一些情况下，由于正在执行的待执行任务数据未准备完毕或者计算框架的集群故障等问题，导致该待执行任务一次无法成功执行完成，因此会设置任务重试次数，在任务处理失败时，在该重试次数内从头开始处理该待执行任务。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

现有的任务处理方式中各个部分的处理逻辑耦合度高，在待执行任务处理失败时，每次都需要从头开始执行，导致处理任务的效率低下。

发明内容

本发明实施例的目的在于提供一种任务处理方法、装置以及电子设备，以实现提高处理任务的效率。具体技术方案如下：

为实现上述发明目的，本发明实施例公开了一种任务处理方法，包括：

在各待执行任务中，根据所述各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务；

判断所述目标待执行任务是否可执行；

若所述目标待执行任务不可执行，判断所述目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；所述子任务执行阶段为按照所述目标待执行任务各阶段执行结果对应划分的任务执行阶段；

若所述目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，则将所述目标待执行任务的执行时间后置N分钟，以使在所述N分钟时间后，当所述目标待执行任务的优先级最高时，从所述子任务执行阶段继续执行，所述N为自然数。

可选地，在所述在各待执行任务中，根据所述各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务之前，所述方法还包括：

获取各业务包，对所述各业务包进行解析，得到包含业务类型以及可开始执行时间的各业务信息；

将所述各业务信息加入到对应业务类型的各业务表中；所述各业务表按照业务类型重要程度设置有优先级；

通过任务生成模型，将所述各业务表中包含的各业务信息，组装成包含可开始执行时间、业务类型的各待执行任务；

对所述各待执行任务对应设置周期性执行时间，以使得所述各待执行任务按照对应周期性执行时间同步加入到任务表中。

可选地，所述在各待执行任务中，根据所述各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务，包括：

在所述任务表中，将复合优先级最高的待执行任务，确定为当前时间优先级最高的目标待执行任务，所述复合优先级包括：任务最早可开始执行时间、任务创建时间以及任务本身优先级。

可选地，所述判断所述目标待执行任务是否可执行之后，所述方法还包括：

若所述目标待执行任务可执行，获取所述目标待执行任务所在子任务执行阶段对应的业务计算模板；

通过所述业务计算模板处理所述目标待执行任务所在子任务执行阶段的子任务；

将所述子任务的执行结果保存在所述子任务执行阶段的存储区域，并将所述子任务的执行结果对应信息，输入到下一个子任务执行阶段。

可选地，所述判断所述目标待执行任务不可执行原因是否为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足，包括：

通过检测程序，判断所述目标待执行任务不可执行原因是否为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；

所述判断所述目标待执行任务不可执行原因是否为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足之后，所述方法还包括：

若所述目标待执行任务不可执行原因不是所述子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件得到满足，生成告警信息。

为实现上述发明目的，本发明实施例还公开了一种任务处理装置，包括：

目标待执行任务确定模块，用于在各待执行任务中，根据所述各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务；

任务执行判断模块，用于判断所述目标待执行任务是否可执行；

故障原因判断模块，用于若所述目标待执行任务不可执行，判断所述目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；所述子任务执行阶段为按照所述目标待执行任务各阶段执行结果对应划分的任务执行阶段；

目标待执行任务后置模块，用于若所述目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，则将所述目标待执行任务的执行时间后置N分钟，以使在所述N分钟时间后，当所述目标待执行任务的优先级最高时，从所述子任务执行阶段继续执行，所述N为自然数。

可选地，所述装置还包括：

任务信息获取模块，用于获取各业务包，对所述各业务包进行解析，得到包含业务类型以及可开始执行时间的各业务信息；

任务信息加入模块，用于将所述各业务信息加入到对应业务类型的各业务表中；所述各业务表按照业务类型重要程度设置有优先级；

待执行任务生成模块，用于通过任务生成模型，将所述各业务表中包含的各业务信息，组装成包含可开始执行时间、业务类型的各待执行任务；

周期性任务设置模块，用于对所述各待执行任务对应设置周期性执行时间，以使得所述各待执行任务按照对应周期性执行时间同步加入到任务表中。

可选地，所述目标待执行任务确定模块，具体用于，在所述任务表中，将复合优先级最高的待执行任务，确定为当前时间优先级最高的目标待执行任务，所述复合优先级包括：任务最早可开始执行时间、任务创建时间以及任务本身优先级。

可选地，所述装置还包括：

业务计算模板获取模块，用于若所述目标待执行任务可执行，获取所述目标待执行任务所在子任务执行阶段对应的业务计算模板；

子任务处理模块，用于通过所述业务计算模板处理所述目标待执行任务所在子任务执行阶段的子任务；

执行结果处理模块，用于将所述子任务的执行结果保存在所述子任务执行阶段的存储区域，并将所述子任务的执行结果对应信息，输入到下一个子任务执行阶段。

可选地，所述故障原因判断模块，具体用于通过检测程序，判断所述目标待执行任务不可执行原因是否为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；

所述装置还包括：

告警信息生成模块，用于若所述目标待执行任务不可执行原因不是所述子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件得到满足，生成告警信息。

为实现上述发明目的，本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述任务处理方法中任一所述的方法步骤。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任务处理方法中任一所述的方法步骤。

本发明实施例还公开了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的任务处理方法。

本发明实施例提供的一种任务处理方法、装置以及电子设备，可实现将当前时间未准备完毕或者计算框架的集群故障等非逻辑错误造成失败的目标待执行任务，且本发明实施例实现了模块化的数据处理方式，即将整个任务划分为多个子任务，当子任务执行过程中出现异常时，先分析错误原因，在根据错误原因采取对应的解决方案。如果出现非逻辑错误，后置子任务N分钟，待到再次可执行时，只需要接着上次执行的地方继续执行即可，不需要重新开始执行，提高了任务的处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例的一种任务处理方法流程图；

图2为本发明实施例的一种任务处理方法中获取各待执行任务的方法流程图；

图3为本发明实施例的一种任务处理方法中目标待执行任务的子任务处理方法流程图；

图4为本发明实施例的一种任务处理装置结构示意图；

图5为本发明实施例的一种任务处理系统框架结构示意图；

图6为本发明实施例的一种电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

现有技术通常通过DMP(data-management platform,数据管理平台)对公司数据业务进行处理，具体为，选取当前时间优先级最高的待执行任务，对该任务解析，按照为该待执行任务设置的任务处理逻辑，获取处理该待执行任务的业务计算模板，执行该待执行任务，直到将该待执行任务处理完。但是，一些情况下，由于正在执行的待执行任务数据未准备完毕或者计算框架的集群故障等问题，导致该待执行任务一次无法成功执行完成，因此会设置任务重试次数，在任务处理失败时，在该重试次数内从头开始处理该待执行任务。

现有的业务处理方式中，通过DMP顺序的处理业务，这种任务处理方式中，各个部分的处理逻辑耦合度高，使得在待执行任务处理失败时，每次都需要从头开始执行，导致处理任务的效率低下。

为了解决上述技术问题，本发明实施例通过结合GPRC(GRPC是一个高性能、通用的开源RPC(Remote Procedure Call，远程过程调用协议)框架和ActiveMq，进而形成本发明实施例的一种任务处理方法。通过GPRC的方式实时答复DMP的业务实时处理请求，通过ActiveMq通信的方式解决非实时通讯问题(计算过程是非实时的)，整个分析框架提供模块化的任务处理方式，并对任务设置后置时间以及自动重试等机制，保证任务的正常处理，实现提高处理任务的效率。具体实施方式如下：

第一方面，本发明实施例公开了一种任务处理方法，如图1所示。图1为本发明实施例的一种任务处理方法流程图，包括：

S101，在各待执行任务中，根据各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务。

在本发明实施例中，DMP管理平台中存在多种需要处理的业务，各业务对应当前公司需求。例如：视频公司的视频用户行为业务，广告公司的广告数据分析业务等。通过GRPC获取该DMP管理平台的各业务对应的各任务包，进而将获得的各任务包解析成各待执行任务，将各待执行任务存放到业务表中。

在本步骤中，首先根据当前时间点与各任务的最早可开始执行时间的关系，在任务表中筛选待执行任务集合，进而在待执行任务集合中，根据各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务。

具体地，可预先按照业务类型重要程度设置有多个业务表，加入每个业务表的各业务信息即具有该业务表的优先级。另外，当对业务类型没有优先级要求时，各业务信息可加入到同一个业务表中，在该业务表中设置优先级字段。进而，通过任务生成模型将业务信息生成待执行任务加入到任务表中，在任务表中获取目标待执行任务。在对任务表中的各待执行任务没有再次设置优先级时，各待执行任务的优先级即为对应业务表的默认优先级。当对任务表中的各待执行任务按照用户需求重新设置优先级时，则各待执行任务的优先级即为重新设定的优先级。

本步骤可为，按照优先级顺序选取优先级最高的待执行任务，进而按照可开始执行的时间，选取可开始执行时间最早的待执行任务，该待执行任务即为本发明实施例的目标待执行任务。

S102，判断目标待执行任务是否可执行。

在本发明实施例中，可按照任务的执行过程，预先将每个任务完整执行过程划分为多个子任务执行过程，每个任务对应划分为子任务，进而可将处理任务的系统对应划分为每个子任务执行阶段，在处理任务的系统构建处理该阶段子任务的业务处理逻辑，该系统为处理业务的计算框架的集群。例如，将完整的视频分析任务划分为：视频数据预处理子阶段/视频数据计算子阶段/视频数据结果输出子阶段；人群包创建投放任务划分为：人群包任务创建子任务(用户选择各种规则等)/周期性同步子任务/人群圈取子任务(圈定人群，生成数据)/人群入库couchbase子任务(生成的数据入库集群)/信息反馈子任务(告知用户数据已ready，目前为可投放状态)具体任务划分执行过程由实施人员设定，此处不再赘述。

在本步骤中，可使用该目标待执行任务所在子任务执行阶段对应的业务计算模板，执行该目标待执行任务所在子任务执行阶段的子任务，若不能正常执行则可执行S103。若正常执行且结束，则创建下一个子任务阶段的任务(一个任务可划分为多个子任务，每个子任务都由上一个子任务的状态来决定是否创建下一个子任务，如果可创建，下一个子任务由当前子任务创建)。

S103，若目标待执行任务不可执行，判断目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；子任务执行阶段为按照目标待执行任务各阶段执行结果对应划分的任务执行阶段。

上述S102判断该目标待执行任务不可执行后，在本步骤中，可判断该目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足。子任务执行依赖的条件如依赖的数据是否准备好。

在本步骤中，可在每个子任务执行阶段设置错误识别机制，每个错误识别机制可检测当前该目标待执行任务不可执行的原因。该错误识别机制单独运行该目标待执行任务对应于该子任务执行阶段的子任务，检测该子任务的程序是否运行，如果可以正常运行，则说明该目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因。如果不能正常运行，则说明该目标待执行任务不可执行的原因为该目标待执行本身程序错误。

S104，若目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，则将目标待执行任务的执行时间后置N分钟，以使在N分钟时间后，当目标待执行任务的优先级最高时，从子任务执行阶段继续执行，N为自然数。

当上述S103确定该目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因时，说明当前时间所在子任务执行阶段的系统不可执行任务，需要等到该子任务执行阶段系统恢复后，才能正常执行任务。可将该目标待执行任务的下一次可执行时间后置N分钟，并将该目标待执行任务执行状态重置为该子任务的初始状态，以使在N分钟时间后，获取该目标待执行任务，并且判断该目标待执行任务与业务表中存储的各待执行任务的优先级，若该当该目标待执行任务的优先级最高时，从该子任务执行阶段继续执行该目标待执行任务。

或该目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，例如，该执行该目标待执行任务所在子任务执行阶段的子任务数据没有准备完毕，则需要等到子任务执行依赖的条件满足后，才能正常执行任务。可将该目标待执行任务的下一次可执行时间后置N分钟，并将该目标待执行任务执行状态重置为该子任务的初始状态，以使在N分钟时间后，获取该目标待执行任务，并且判断该目标待执行任务与业务表中存储的各待执行任务的优先级，若该当该目标待执行任务的优先级最高时，从该子任务执行阶段继续执行该目标待执行任务。

本发明实施例提供的一种任务处理方法，实现了高效的处理任务。可实现将当前时间未准备完毕或者计算框架的集群故障等非逻辑错误造成失败的目标待执行任务，后置N分钟后再次重试。且本发明实施例实现了模块化的数据处理方式，即将整个任务划分为多个子任务，当子任务执行过程中出现异常时，先分析错误原因，在根据错误原因采取对应的解决方案。如果出现非逻辑错误，后置子任务N分钟，待到再次可执行时，只需要接着上次执行的地方继续执行即可，不需要重新开始执行，提高了任务的处理效率。

可选地，在本发明的任务处理方法的一种实施例中，S101中在各待执行任务中，根据各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务之前，可先获得各待执行任务，如图2所示。图2为本发明实施例的一种任务处理方法中获取各待执行任务的方法流程图，方法还包括：

S201，获取各业务包，对各业务包进行解析，得到包含业务类型以及可开始执行时间的各业务信息。

本步骤中，可通过GRPC的方式与DPM管理平台交互，进而获得该DMP管理平台传输至DMP后端的各业务包。

在获取到各业务包后，针对每个任务包，可用解析器或者解析程序对该任务包进行解析，得到包含业务类型以及有效时间的各任务信息。

S202，将各业务信息加入到对应业务类型的各业务表中；各业务表按照业务类型重要程度设置有优先级；

在本发明实施例中，可按照业务类型建立每种业务类型的业务表。可根据各业务信息的业务类型，将各待执行任务加入对应类型的业务表中。其中，各业务表预先设定有优先级，各业务表的优先级依据其对应的业务类型设定，各业务表中的任务可以自行调整优先级(一般在特殊情况下才调整优先级)。

例如，该DPM管理平台为存储视频业务的平台，可将视频业务按照用户属性划分，即为将视频业务划分为会员视频业务/普通视频业务，则对应建立会员视频业务表/普通视频业务表。另外，还可将视频业务按照视频清晰度划分，例如，流畅视频业务/高清视频业务/蓝光视频业务，则对应建立流畅视频业务表/高清视频业务表/蓝光视频业务表。在接收到各业务信息后，按照各业务信息的业务类型，将各业务信息加入预先建立的各业务类型的业务表中。

S203，通过任务生成模型，将各业务表中包含的各业务信息，组装成包含可开始执行时间、业务类型的各待执行任务。

本发明实施例中，任务生成模型可为按照每个数据包所请求处理该数据包信息的具体需求，将该数据包的数据信息转换成对应的处理程序的模型。

上述得到各任务信息后，通过该任务生成模型，将每个任务信息组装成包含有效时间、业务类型的各待执行任务。

S204，对各待执行任务对应设置周期性执行时间，以使得各待执行任务按照对应周期性执行时间同步加入到任务表中。

在本发明实施例中，为保证任务可周期性的执行，可为每个待执行任务对应设置周期性执行时间，该周期性执行时间可按照业务需求设置。进而使得各待执行任务在对应的执行时间重新加入到任务表中，等待调度执行。

可见，通过本发明实施例，可将获取的各业务包生成各待处理任务，并将各待处理任务存储到对应类型的业务表中，便于对各待处理任务分类管理。另外，对各待处理任务设置周期执行时间，保证各待处理任务可周期性的执行。

可选地，在本发明的任务处理方法的一种实施例中，S101中在各待执行任务中，根据各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务的实施方式，包括：

在所述任务表中，将复合优先级最高的待执行任务，确定为当前时间优先级最高的目标待执行任务，所述复合优先级包括：任务最早可开始执行时间、任务创建时间以及任务本身优先级。

本发明实施例中，可按照待执行任务的复合优先级，将复合优先级最高的待执行任务，确定为当前时间优先级最高的目标待执行任务。复合优先级包括：任务最早可开始执行时间、任务创建时间以及任务本身优先级。

可见，通过本发明实施例，可实现在存储的待执行任务中，按照优先级筛选出当前时间执行的目标待执行任务，使得当前时间处理该目标待执行任务，提高任务的处理效率。

可选地，在本发明的任务处理方法的一种实施例中，S102中判断目标待执行任务是否可执行之后，方法还包括处理目标待执行任务所在子任务执行阶段的子任务，如图3所示。图3为本发明实施例的一种任务处理方法中目标待执行任务的子任务处理方法流程图，包括：

S301，若目标待执行任务可执行，获取目标待执行任务所在子任务执行阶段对应的业务计算模板；

在本步骤中，可对任务执行过程划分的每个子任务执行阶段设置对应于该子任务执行阶段的业务处理模块，且可按照每种业务类型在每个子任务执行阶段的业务处理模块中设置对应该业务类型的业务计算模板。

例如，视频业务的各个子任务执行阶段为：视频数据预处理子阶段/视频数据计算子阶段/视频数据结果输出子阶段；视频业务类型为：流畅视频业务/高清视频业务/蓝光视频业务，进而，可在视频数据预处理子阶段建立处理流畅视频业务的业务计算模板A；可在视频数据预处理子阶段建立处理高清视频业务的业务计算模板B；可在视频数据预处理子阶段建立处理蓝光视频业务的业务计算模板C。其他子任务执行阶段建立的各类型的业务计算模板与该方式相同，此处不再一一列举。

在本步骤中，在与该目标待执行任务所在子任务执行阶段对应的业务处理模块中，获取该目标待执行任务的子任务对应的业务计算模板。例如，该目标待执行任务的视频业务类型为蓝光视频业务，该目标待执行任务所在子任务执行阶段为视频数据预处理子阶段，则可在视频数据预处理子阶段获取业务计算模板B。

S302，通过业务计算模板处理目标待执行任务所在子任务执行阶段的子任务。

上述S301获取目标待执行任务所在子任务执行阶段对应的业务计算模板后，在本步骤中可使用该业务计算模板处理该目标待执行任务所在子任务执行阶段的子任务。

例如，使用该业务计算模板B对该目标待执行预处理，例如，数据转换以及数据过滤处理，具体业务处理为现有业务处理方式，此处不再赘述。

S303，将子任务的执行结果保存在子任务执行阶段的存储区域，并将子任务的执行结果对应信息，输入到下一个子任务执行阶段。

上述S301使用业务计算模板，对该目标待执行任务所在子任务执行阶段的子任务处理完后，将该子任务的执行结果保存在该子任务执行阶段的存储区域，例如文件系统。并根据该子任务的执行状态，决定是否创建下一个子任务。

例如，上述业务计算模板B对该目标待执行数据转换以及数据过滤处理后，将得到数据存储在转换以及数据过滤处理子阶段的存储区域中，并且向视频数据计算子阶段输入目标待执行数据的存储位置以及执行状态，该视频数据计算子阶段确定是否要创建转换以及数据过滤处理后的目标待执行数据的处理程序。

可见，通过本发明实施例，可实现对目标待执行任务进行模块化的处理，降低现有业务处理过程中的耦合度。

可选地，在本发明的任务处理方法的一种实施例中，S104中判断目标待执行任务不可执行原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足的实施方式，可包括：

通过检测程序，判断目标待执行任务不可执行原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足。

在本步骤中，可首先设置检测程序，检测该目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足，例如，检测该目标待执行任务的子任务数据是否准备完毕。如果不能满足，产生告警信息。如果得到满足，进而设置检测系统运行状态的检测程序，通过该检测程序检测该目标待执行任务所在子任务执行阶段系统的运行状态，查看系统运行是否正常。

另外，还可设置检测该目标待执行任务所在子任务执行阶段的子任务程序是否可执行，如果可正常执行，则说明该目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因。如果不能正常执行，则说明该目标待执行任务不可执行的原因为该目标待执行本身程序错误。

在S104的判断目标待执行任务不可执行原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足之后，还可包括：

若目标待执行任务不可执行原因不是子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件得到满足，生成告警信息。

当目标待执行任务不可执行原因不为上述两种情况时，则说明该目标待执行任务程序本身有问题，则可生成告警信息，告知管理人员。

该告警信息可为报警信息，即为设置邮件，短信，微信等提示信息。

可见，通过本发明实施例，可实现有效的区分目标待执行任务不可执行的原因是程序本身错误还是系统错误。在确定是程序本身错误时，通过产生告警信息告知管理人员，提升任务的执行效率。

本发明实施例还公开了一种任务处理装置，可如图4所示。图4为本发明实施例的一种任务处理装置结构示意图，包括：

目标待执行任务确定模块401，用于在各待执行任务中，根据各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务；

任务执行判断模块402，用于判断目标待执行任务是否可执行；

故障原因判断模块403，用于若目标待执行任务不可执行，判断目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；子任务执行阶段为按照目标待执行任务各阶段执行结果对应划分的任务执行阶段；

目标待执行任务后置模块404，用于若目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，则将目标待执行任务的执行时间后置N分钟，以使在N分钟时间后，当目标待执行任务的优先级最高时，从子任务执行阶段继续执行，N为自然数。

本发明实施例提供的一种任务处理装置，可实现将当前时间未准备完毕或者计算框架的集群故障等非逻辑错误造成失败的目标待执行任务，且本发明实施例实现了模块化的数据处理方式，即将整个任务划分为多个子任务，当子任务执行过程中出现异常时，先分析错误原因，在根据错误原因采取对应的解决方案。如果出现非逻辑错误，后置子任务N分钟，待到再次可执行时，只需要接着上次执行的地方继续执行即可，不需要重新开始执行，提高了任务的处理效率。

可选地，在本发明的任务处理装置的一种实施例中，装置还包括：

任务信息获取模块，用于获取各业务包，对各业务包进行解析，得到包含业务类型以及可开始执行时间的各业务信息；

任务信息加入模块，用于将各业务信息加入到对应业务类型的各业务表中；各业务表按照业务类型重要程度设置有优先级；

待执行任务生成模块，用于通过任务生成模型，将各业务表中包含的各业务信息，组装成包含可开始执行时间、业务类型的各待执行任务；

周期性任务设置模块，用于对各待执行任务对应设置周期性执行时间，以使得各待执行任务按照对应周期性执行时间同步加入到任务表中。

可选地，在本发明的任务处理装置的一种实施例中，目标待执行任务确定模块401，具体用于，在任务表中，将复合优先级最高的待执行任务，确定为当前时间优先级最高的目标待执行任务，复合优先级包括：任务最早可开始执行时间、任务创建时间以及任务本身优先级。

可选地，在本发明的任务处理装置的一种实施例中，装置还包括：

业务计算模板获取模块，用于若目标待执行任务可执行，获取目标待执行任务所在子任务执行阶段对应的业务计算模板；

子任务处理模块，用于通过业务计算模板处理目标待执行任务所在子任务执行阶段的子任务；

执行结果处理模块，用于将子任务的执行结果保存在子任务执行阶段的存储区域，并将子任务的执行结果对应信息，输入到下一个子任务执行阶段。

可选地，在本发明的任务处理装置的一种实施例中，故障原因判断模块403，故障原因判断模块，具体用于通过检测程序，判断目标待执行任务不可执行原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；

装置还包括：

告警信息生成模块，用于若目标待执行任务不可执行原因不是子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件得到满足，生成告警信息。

为了更好的说明本发明实施例的一种任务处理方法，本发明实施例还公开一种任务处理系统框架图，如图5所示。图5为本发明实施例的一种任务处理系统框架结构示意图。该任务处理系统包括API(Application Program Interface，应用程序接口)模块501、业务任务同步模块502、任务计算调度模块503以及消息通讯模块504。则该任务处理系统处理该任务的方式可如下：

API模块501：通过GRPC的方式与DMP管理平台交互，获取各业务对应的各任务包，解析各任务包并校验其有效性，得到包含业务类型以及有效时间的各任务信息。

业务任务同步模块502：将各业务表中包含的各业务信息，组装成包含可开始执行时间、业务类型的各待执行任务，将各待执行任务加入任务表，等待调度执行。

任务计算调度模块503：在各待执行任务中，根据各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务。

(1)若检测该目标待执行任务依赖的上游(数据或任务)未准备完毕，将此目标待执行任务后置时间N分钟，避免重复检查相同的任务；

(2)根据该目标待执行任务的描述参数任务类型，获取该目标待执行任务所在子任务执行阶段对应的业务计算模板，生成可执行的计算代码，然后通过spark/Hadoop执行该目标待执行任务所在子任务执行阶段的子任务；

(3)任务计算状态：

若该目标待执行任务所在子任务执行阶段的子任务可成功执行，通过ActiveMq将任务状态及执行结果等相关信息同步给DMP管理平台。

若该目标待执行任务所在子任务执行阶段的子任务不可执行，检测不可执行的原因：

内部不可恢复的错误导致执行失败：可通过邮件/短信/微信等方式告警

该目标待执行任务所在子任务执行阶段系统故障原因导致执行失败：将该目标待执行任务后置时间N分钟后自动重试，并邮件告警提示。

消息通讯模块504：

该目标待执行整个过程执行完成之后，将最终的结果信息反馈给DMP管理平台。

本发明实施例的任务处理系统，可有效区分目标待执行任务是非逻辑错误还是逻辑错误造成的失败。当目标待执行任务上游依赖(数据/任务)未准备完毕的情况下，后置N分钟，避免任务在准备不充分的情况下开始执行，导致失败。以及当目标待执行任务当前不可执行时，后置N分钟后重试，进而可以有效避免因集群故障，用户误杀等原因造成的失败，减少人工干预。另外，本发明实施例通过模块化的任务处理方式，可实现对不同类型的任务插件化管理。并且在执行过程中可配置在任务处理过程中加入新的子任务执行阶段，并且还可设置多种类型的任务计算模板。

又一方面，本发明实施例还公开了一种电子设备，如图6所示。图6为本发明实施例的一种电子设备结构示意图，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601、通信接口602、存储器603通过通信总线604完成相互间的通信；

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现以下步骤：

在各待执行任务中，根据各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务；

判断目标待执行任务是否可执行；

若目标待执行任务不可执行，判断目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；子任务执行阶段为按照目标待执行任务各阶段执行结果对应划分的任务执行阶段；

若目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，或目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，则将目标待执行任务的执行时间后置N分钟，以使在N分钟时间后，当目标待执行任务的优先级最高时，从子任务执行阶段继续执行，N为自然数。

上述电子设备提到的通信总线604可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线604可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口602用于上述电子设备与其他设备之间的通信。

存储器603可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器603还可以是至少一个位于远离前述处理器601的存储装置。

上述的处理器601可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例提供的一种电子设备，可实现将当前时间未准备完毕或者计算框架的集群故障等非逻辑错误造成失败的当前待执行任务数据，后置N分钟后再次重试。且本发明实施例实现了模块化的数据处理方式，即将整个任务划分为多个子任务，当子任务执行过程中出现异常时，先分析错误原因，在根据错误原因采取对应的解决方案。如果出现非逻辑错误，后置子任务N分钟，待到再次可执行时，只需要接着上次执行的地方继续执行即可，不需要重新开始执行，提高了任务的处理效率。

又一方面，本发明实施例还公开了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任务处理方法中任一方法步骤。

本发明实施例提供的一种计算机可读存储介质，可实现将当前时间未准备完毕或者计算框架的集群故障等非逻辑错误造成失败的当前待执行任务数据，后置N分钟后再次重试。且本发明实施例实现了模块化的数据处理方式，即为当N分钟后再次执行该待执行任务时，即将整个任务划分为多个子任务，当子任务执行过程中出现异常时，先分析错误原因，在根据错误原因采取对应的解决方案。如果出现非逻辑错误，后置子任务N分钟，待到再次可执行时，只需要接着上次执行的地方继续执行即可，不需要重新开始执行，提高了任务的处理效率。

又一方面，本发明实施例还公开了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一任务处理方法。

本发明实施例提供的一种包含指令的计算机程序产品，可实现将当前时间未准备完毕或者计算框架的集群故障等非逻辑错误造成失败的当前待执行任务数据，后置N分钟后再次重试。且本发明实施例实现了模块化的数据处理方式，即将整个任务划分为多个子任务，当子任务执行过程中出现异常时，先分析错误原因，在根据错误原因采取对应的解决方案。如果出现非逻辑错误，后置子任务N分钟，待到再次可执行时，只需要接着上次执行的地方继续执行即可，不需要重新开始执行，提高了任务的处理效率。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种任务处理方法，其特征在于，包括：

在各待执行任务中，根据所述各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务；

判断所述目标待执行任务是否可执行；

若所述目标待执行任务不可执行，判断所述目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；所述子任务执行阶段为按照所述目标待执行任务各阶段执行结果对应划分的任务执行阶段；

若所述目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，则将所述目标待执行任务的执行时间后置N分钟，以使在所述N分钟时间后，若当所述目标待执行任务的优先级最高时，从所述子任务执行阶段继续执行，所述N为自然数；

若所述目标待执行任务不可执行原因不是所述子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件得到满足，生成告警信息；

每个子任务执行阶段设置错误识别机制，所述判断所述目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，包括：

错误识别机制单独运行所述目标待执行任务对应于子任务执行阶段的子任务，检测子任务的程序是否运行，如果正常运行，确定所述目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，如果不能正常运行，确定该目标待执行任务不可执行的原因为目标待执行任务的程序错误。

2.根据权利要求1所述的任务处理方法，其特征在于，在所述在各待执行任务中，根据所述各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务之前，所述方法还包括：

获取各业务包，对所述各业务包进行解析，得到包含业务类型以及可开始执行时间的各业务信息；

将所述各业务信息加入到对应业务类型的各业务表中；所述各业务表按照业务类型重要程度设置有优先级；

通过任务生成模型，将所述各业务表中包含的各业务信息，组装成包含可开始执行时间、业务类型的各待执行任务；

对所述各待执行任务对应设置周期性执行时间，以使得所述各待执行任务按照对应周期性执行时间同步加入到任务表中。

3.根据权利要求2所述的任务处理方法，其特征在于，所述在各待执行任务中，根据所述各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务，包括：

在所述任务表中，将复合优先级最高的待执行任务，确定为当前时间优先级最高的目标待执行任务，所述复合优先级包括：任务最早可开始执行时间、任务创建时间以及任务本身优先级。

4.根据权利要求1所述的任务处理方法，其特征在于，所述判断所述目标待执行任务是否可执行之后，所述方法还包括：

若所述目标待执行任务可执行，获取所述目标待执行任务所在子任务执行阶段对应的业务计算模板；

通过所述业务计算模板处理所述目标待执行任务所在子任务执行阶段的子任务；

将所述子任务的执行结果保存在所述子任务执行阶段的存储区域，并将所述子任务的执行结果对应信息，输入到下一个子任务执行阶段。

5.一种任务处理装置，其特征在于，包括：

目标待执行任务确定模块，用于在各待执行任务中，根据所述各待执行任务的优先级，确定当前时间优先级最高的目标待执行任务；

任务执行判断模块，用于判断所述目标待执行任务是否可执行；

故障原因判断模块，用于若所述目标待执行任务不可执行，判断所述目标待执行任务不可执行的原因是否为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件是否得到满足；所述子任务执行阶段为按照所述目标待执行任务各阶段执行结果对应划分的任务执行阶段；

目标待执行任务后置模块，用于若所述目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件没有得到满足时，则将所述目标待执行任务的执行时间后置N分钟，以使在所述N分钟时间后，若当所述目标待执行任务的优先级最高时，从所述子任务执行阶段继续执行，所述N为自然数；

告警信息生成模块，用于若所述目标待执行任务不可执行原因不是所述子任务执行阶段系统故障原因，或所述目标待执行任务所在子任务执行阶段的子任务执行依赖的条件得到满足，生成告警信息；

每个子任务执行阶段设置错误识别机制，所述故障原因判断模块具体用于错误识别机制单独运行该目标待执行任务对应于该子任务执行阶段的子任务，检测该子任务的程序是否运行，如果可以正常运行，确定该目标待执行任务不可执行的原因为所在子任务执行阶段系统故障原因，如果不能正常运行，确定该目标待执行任务不可执行的原因为目标待执行任务的程序错误。

6.根据权利要求5所述的任务处理装置，其特征在于，所述装置还包括：

任务信息获取模块，用于获取各业务包，对所述各业务包进行解析，得到包含业务类型以及可开始执行时间的各业务信息；

任务信息加入模块，用于将所述各业务信息加入到对应业务类型的各业务表中；所述各业务表按照业务类型重要程度设置有优先级；

待执行任务生成模块，用于通过任务生成模型，将所述各业务表中包含的各业务信息，组装成包含可开始执行时间、业务类型的各待执行任务；

周期性任务设置模块，用于对所述各待执行任务对应设置周期性执行时间，以使得所述各待执行任务按照对应周期性执行时间同步加入到任务表中。

7.根据权利要求6所述的任务处理装置，其特征在于，所述目标待执行任务确定模块，在所述任务表中，将复合优先级最高的待执行任务，确定为当前时间优先级最高的目标待执行任务，所述复合优先级包括：任务最早可开始执行时间、任务创建时间以及任务本身优先级。

8.根据权利要求5所述的任务处理装置，其特征在于，所述装置还包括：

业务计算模板获取模块，用于若所述目标待执行任务可执行，获取所述目标待执行任务所在子任务执行阶段对应的业务计算模板；

子任务处理模块，用于通过所述业务计算模板处理所述目标待执行任务所在子任务执行阶段的子任务；

执行结果处理模块，用于将所述子任务的执行结果保存在所述子任务执行阶段的存储区域，并将所述子任务的执行结果对应信息，输入到下一个子任务执行阶段。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。

Images