CN108021430B - 一种分布式任务处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种分布式任务处理方法及装置，该方法包括：管理节点遍历包括每个运行任务的任务信息的任务处理队列，其中，任务信息包括该任务的状态信息；根据任务信息，从任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；为目标任务添加非处理标识；以使计算节点申请到该目标任务后，根据该非处理标识，将该目标任务透传至数据接收端。

Description

一种分布式任务处理方法及装置

技术领域

本发明涉及分布式集群系统任务处理技术领域，特别涉及一种分布式任务处理方法及装置。

背景技术

随着计算机信息化进程的推进，人们越来越依赖使用计算机进行批量数据的分析处理，分布式集群系统的应用越来越广泛。在分布式集群系统中存在管理节点以及计算节点。管理节点用于整体调度待处理的任务，计算节点用于向向管理节点申请任务，分析处理管理节点所分配的任务并且定时上报分析处理的任务的状态。当分布式集群系统中某一计算节点崩溃，则会导致该计算节点下的任务都无法完成分析处理，这就容易给用户带来损失。

为了解决上述问题，该分布式集群系统需要具备容错的功能。其中，现有技术中，当分布式集群系统中某个计算节点崩溃后，若计算节点在一定的时间范围内重新启动，则会自行从崩溃位置处的任务重新开始进行处理，否则，通过管理节点将该崩溃的计算节点下的任务重新调度至其他计算节点，以使其他计算节点处理该崩溃的计算节点下的任务。

该现有技术在一定程度上实现了分布式集群系统的容错功能，然而，当存在某个错误任务持续致使计算节点崩溃时，即当崩溃的计算节点在一定的时间范围内重新启动后，自行重新开始处理该某个错误任务时，该计算节点会继续崩溃。或者，该崩溃的计算节点未在一定的时间范围内重新启动，管理节点将该崩溃的计算节点的包括该错误任务的所有任务重新调度至其他计算节点，当新的计算节点开始处理该错误任务时，该新的计算节点也会崩溃。该某个错误任务的存在，造成了该分布式集群系统的不稳定。

那么如何解决上述问题成为亟待解决的问题。

发明内容

本发明实施例公开了一种分布式任务处理方法及装置，及时将错误任务从分布式集群系统剔除，以在实现容错功能的基础上，增加分布式集群系统的稳定性。具体方案如下：

一方面，本发明实施例提供了一种分布式任务处理方法，所述方法包括：

遍历任务处理队列，其中，所述任务处理队列中包括每个运行任务的任务信息，所述任务信息包括该任务的状态信息；

根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；

为所述目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。

可选的，所述任务处理队列中的每个任务信息中还包括该任务的崩溃次数；

所述根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务的步骤之后，所述方法还包括：

判断所述目标任务的崩溃次数是否超过崩溃阈值；

当判断所述目标任务的崩溃次数超过崩溃阈值时，执行为所述目标任务添加非处理标识的步骤；否则，将所述目标任务的崩溃次数加一。

可选的，所述方法还包括：

当判断所述目标任务的崩溃次数超过崩溃阈值时，判断所述目标任务是否达到最小任务切分单位；

当判断所述目标任务达到最小任务切分单位时，执行为所述目标任务添加非处理标识的步骤；

当判断所述目标任务未达到最小任务切分单位时，以所述最小任务切分单位对所述目标任务进行切分；

并将切分后所形成的各子任务作为待处理任务发送至任务等待队列，其中，所述任务等待队列中包括待处理任务的任务信息，所述各子任务的任务信息中的崩溃次数的数值等于所述目标任务的崩溃次数加一。

可选的，所述为所述目标任务添加非处理标识的步骤之后，所述方法还包括：

将所述目标任务作为待处理任务发送至任务等待队列；

接收计算节点发送的任务申请请求；

响应所述任务申请请求，将所述任务等待队列中的待处理任务调度至所述计算节点；

在所述任务处理队列中添加所调度后的待处理任务的任务信息。

可选的，所述将所述任务等待队列中的待处理任务调度至所述计算节点的步骤，包括：

判断所述计算节点中是否存在崩溃次数超过所述崩溃阈值的任务；

当判断所述计算节点中存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点；

当判断所述计算节点中不存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数不低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点。

一方面，本发明实施例提供了一种分布式任务处理方法，所述方法包括：

接收管理节点调度的目标任务；

判断所述目标任务是否携带非处理标识；

当判断为是时，将所述目标任务透传至数据接收端。

可选的，所述方法还包括：

当判断所述目标任务未携带非处理标识时，处理所述目标任务。

可选的，所述将所述目标任务透传至数据接收端的步骤，包括：

将所述目标任务透传至数据接收端，并将与所述目标任务对应的任务信息透传至所述数据接收端。

可选的，在所述接收管理节点调度的目标任务的步骤之前，所述方法还包括：

向所述管理节点发送任务申请请求，以使所述管理节点根据所述任务申请请求，将所述目标任务调度至所述计算节点。

一方面，本发明实施例提供了一种分布式任务处理装置，所述装置包括：

遍历模块，用于遍历任务处理队列，其中，所述任务处理队列中包括每个运行任务的任务信息，所述任务信息包括该任务的状态信息；

筛选模块，用于根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；

第一添加模块，用于为所述目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。

可选的，所述任务处理队列中的每个任务信息中还包括该任务的崩溃次数；

所述装置还包括第一判断模块和加一模块；

所述第一判断模块，用于从所述任务处理队列中，筛选出对应状态信息超时未更新的目标任务的步骤之后，判断所述目标任务的崩溃次数是否超过崩溃阈值；当判断所述目标任务的崩溃次数超过崩溃阈值时，触发所述第一添加模块；

所述加一模块，用于当判断所述目标任务的崩溃次数未超过崩溃阈值时，将所述目标任务的崩溃次数加一。

可选的，所述装置还包括第二判断模块、切分模块和第一发送模块；

所述第二判断模块，用于当判断所述目标任务的崩溃次数超过崩溃阈值时，判断所述目标任务是否达到最小任务切分单位；

当判断所述目标任务达到最小任务切分单位时，触发所述第一添加模块；

所述切分模块，用于当判断所述目标任务未达到最小任务切分单位时，以所述最小任务切分单位对所述目标任务进行切分；

所述第一发送模块，用于并将切分后所形成的各子任务作为待处理任务发送至任务等待队列，其中，所述任务等待队列中包括待处理任务的任务信息，所述各子任务的任务信息中的崩溃次数的数值等于所述目标任务的崩溃次数加一。

可选的，所述装置还包括第二发送模块、第一接收模块、调度模块和第二添加模块；

所述第二发送模块，用于在所述为所述目标任务添加非处理标识的步骤之后，将所述目标任务作为待处理任务发送至任务等待队列；

所述第一接收模块，用于接收计算节点发送的任务申请请求；

所述调度模块，用于响应所述任务申请请求，将所述任务等待队列中的待处理任务调度至所述计算节点；

所述第二添加模块，用于在所述任务处理队列中添加所调度后的待处理任务的任务信息。

可选的，所述调度模块包括判断单元、第一选择调度单元和第二选择调度单元；

所述判断单元，用于判断所述计算节点中是否存在崩溃次数超过所述崩溃阈值的任务；

所述第一选择调度单元，用于当判断所述计算节点中存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点；

所述第二选择调度单元，用于当判断所述计算节点中不存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数不低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点。

另一方面，本发明实施例提供了一种分布式任务处理装置，应用于计算节点，所述装置包括：

第二接收模块，用于接收管理节点调度的目标任务；

第三判断模块，用于判断所述目标任务是否携带非处理标识；

透传模块，用于当判断为是时，将所述目标任务透传至数据接收端。

可选的，所述装置还包括处理模块；

所述处理模块，用于当判断所述目标任务未携带非处理标识时，处理所述目标任务。

可选的，所述透传模块，具体用于将所述目标任务透传至数据接收端，并将与所述目标任务对应的任务信息透传至所述数据接收端。

可选的，所述装置还包括请求发送模块；

所述请求发送模块，用于在所述接收管理节点调度的目标任务的步骤之前，向所述管理节点发送任务申请请求，以使所述管理节点根据所述任务申请请求，将所述目标任务调度至所述计算节点。

在本发明实施例中，管理节点遍历包括每个运行任务的任务信息的任务处理队列，其中，所述任务信息包括该任务的状态信息；根据所述任务信息，从任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；为目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。可见，当任务处理队列中存在对应的状态信息超时未更新的目标任务时，该管理节点即认为该目标任务为错误任务，并为目标任务添加非处理标识，以使计算节点申请到该目标任务后，根据该非处理标识，不对该目标任务进行处理，直接将该目标任务透传至数据接收端，及时将错误任务从分布式集群系统剔除，在实现容错功能的基础上，增加分布式集群系统的稳定性。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式任务处理方法的流程示意图；

图2为本发明实施例提供的一种分布式任务处理方法的另一流程示意图；

图3为本发明实施例提供的一种分布式任务处理方法的另一流程示意图；

图4为本发明实施例提供的另一种分布式任务处理方法的流程示意图；

图5为本发明实施例提供的一种分布式任务处理装置的结构示意图；

图6为本发明实施例提供的一种分布式任务处理装置的另一结构示意图；

图7为本发明实施例提供的一种分布式任务处理装置的另一结构示意图；

图8为本发明实施例提供的另一种分布式任务处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种分布式任务处理方法及装置，及时将错误任务从分布式集群系统剔除，以在实现容错功能的基础上，增加分布式集群系统的稳定性。

该分布式集群系统中可以包括至少一个管理节点和若干计算节点，其中，该管理节点用于对分布式任务进行调度分配，该计算节点用于处理所调度分配到的分布式任务。

如图1所示，本发明实施例提供的一种分布式任务处理方法，该方法可应用于管理节点，该方法可以包括如下步骤：

S101：遍历任务处理队列，其中，所述任务处理队列中包括每个运行任务的任务信息，所述任务信息包括该任务的状态信息；

可以理解的是，管理节点本地或外连的存储设备中存储有任务处理队列，该任务处理队列中包括所管辖的计算节点中正在运行处理的任务的任务信息。该管理节点可以定时或不定时地遍历该任务处理队列。

该任务信息中还可以包括该任务的属性信息，例如该任务的属性为图片、视频或音频等。该任务信息中还可以包括该任务对应的处理操作，例如对图片进行图像识别等操作处理；对视频进行进行图像识别或分流等操作处理；对音频进行语音识别等操作处理。该任务信息中还可以包括该任务的相关信息，当任务的属性为图片时，该相关信息可以为获得该图片的设备信息，以及获得该图片的触发机制(如车辆或行人闯红灯)，以及该图片的数据量等等；当任务的属性为视频时，该相关信息可以为获得该视频的设备信息、该视频的数据量、该视频的码流信息以及视频的开始时间与结束时间等等；当任务的属性为音频时，该相关信息可以为获得该音频的设备信息、该音频的数据量等等。

其中，该任务信息包括该任务的状态信息，该状态信息可以为该任务处理的进程信息，当该任务的属性为图片时，该状态信息可以为描述当前处理完成图片的数量和未处理完成的图片数量的信息；当该任务的属性为视频或音频时，该状态信息可以为描述视频或音频当前处理完成部分内容占该视频或音频全部内容的百分比的信息，例如：该状态信息为描述视频或音频处理完成97％的信息。S102：根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；

计算节点崩溃后，无法向管理节点上报正在运行的任务的状态信息，致使该管理节点无法更新对应任务的状态信息。当管理节点遍历任务处理队列时，根据任务信息，检测到任务处理队列中的任务对应的状态信息在超过预设时间阈值未更新时，确定对应的任务为超时未更新的目标任务，即错误任务(也就是导致计算节点崩溃的任务)，从该任务处理队列中，筛选出对应的状态信息超时未更新的目标任务。其中，可以理解的是，该任务信息中可以包括状态信息的更新时间，当该更新时间与当前时间的差值的绝对值大于预设时间阈值时，则确定对应的任务为超时未更新的目标任务，该当前时间为管理节点遍历任务处理队列时的时间。

其中，当管理节点定时遍历任务处理队列时，可以将两次遍历(本次与上次遍历)过程中，对应的状态信息未更新的任务即为超时未更新的目标任务；当管理节点不定时遍历任务处理队列时，可以设定时间更新阈值，对应的状态信息超过该时间更新阈值未更新的任务即为超时未更新的目标任务。

另外，任何能从任务处理队列筛选出对应的状态信息超时未更新的目标任务的实现方式都可以应用于本发明实施例。

S103：为所述目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。

举例而言，该非处理标识可以是“Forbidden”、“Don't”等字符串标识，或“A”、“B”、“a”、“b”等字符标识，等等。其中，本发明实施例并不对该非处理标识的类型进行限定，任何能区分出状态信息超时未更新的目标任务与正常更新的正常任务的信息，都可以作为本发明实施例中的非处理标识。其中，该非处理标识可以添加在关于该目标任务的数据包的包头处。

进一步的，为该目标任务添加非处理标识后，可以将该添加非处理标识后的目标任务作为待处理任务发送至任务等待队列，以等待被继续调度。此时，当计算节点申请到携带非处理标识的任务时，并不对该任务进行任何处理，直接将该携带非处理标识的任务透传至数据接收端。

为了更好的提示管理人员各任务的状态信息，在为目标任务添加非处理标识时，该管理节点还可以输出提示信息，以提示管理人员该目标任务后续的不会被计算节点处理，将会直接被透传至数据接收端。

其中，该数据接收端可以是具有存储显示功能的终端设备，该数据接收端接收到目标任务及目标任务对应的任务信息后，可以存储该目标任务及目标任务对应的任务信息，并在显示屏中显示该目标任务及目标任务对应的任务信息，以使管理人员可以对该目标任务进行处理。另外，该数据接收端还可以是网络侧的服务器，该服务器可以对目标任务例如：图片、视频或音频等进行相应处理。

另外的，每个任务的任务数据量太大也可能会导致出现误判的现象，为了减少误判，还可以在为该目标任务添加非处理标识前，先判断该目标任务是否达到最小任务切分单位，对于到达最小任务切分单位的目标任务直接添加非处理标识，对于未到达最小任务切分单位的目标任务，以该最小任务切分单位切分后，再将所形成的子任务作为待处理任务发送至任务等待队列中，等待重新调度至计算节点中，以使计算节点处理对应的子任务，当任务状态再超时未更新时，再对应添加非处理标识。

应用本发明实施例，管理节点遍历包括每个运行任务的任务信息的任务处理队列，其中，所述任务信息包括该任务的状态信息；根据所述任务信息，从任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；为目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。可见，当任务处理队列中存在对应的状态信息超时未更新的目标任务时，该管理节点即认为该目标任务为错误任务，并为目标任务添加非处理标识，以使计算节点申请到该目标任务后，根据该非处理标识，不对该目标任务进行处理，直接将该目标任务透传至数据接收端，及时将错误任务从分布式集群系统中剔除，在实现容错功能的基础上，增加分布式集群系统的稳定性。

一般情况下，每个计算节点会同时运行处理多个任务，当计算节点由于运行处理其中的某一个任务而崩溃，或者，计算节点与管理节点之间的连接断开，或者计算节点断电，而导致计算节点无法向管理节点上报正在运行的任务的状态信息，进而导致当管理节点遍历任务处理队列时，确定并筛选出某些正在运行处理的状态信息超时未更新的任务为目标任务。为该目标任务添加非处理标识，以使计算节点对该类任务不进行处理，直接透传至数据接收端。此种情况可能会导致出现误判的问题，目标任务可能是正常的任务，即是可以被计算节点进行正常处理的任务，却被添加非处理标识，以使计算节点对该类任务不进行处理。为了减少误判，作为一种实现方式，所述任务处理队列中的每个任务信息中还包括该任务的崩溃次数；

基于图1所示流程，如图2所示，所述根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务(S102)的步骤之后，所述方法还可以包括：

S201：判断所述目标任务的崩溃次数是否超过崩溃阈值；

当判断所述目标任务的崩溃次数超过崩溃阈值时，执行S103；

S202：当判断所述目标任务的崩溃次数未超过崩溃阈值时，将所述目标任务的崩溃次数加一。

其中，该崩溃阈值可以根据实际情况进行设定，一般为了更好的保证分布式集群系统的稳定性，该崩溃阈值可以为0，即当目标任务的崩溃次数大于0时，则认为该目标任务为错误任务，并执行后续的分布式任务处理方法。当目标任务的崩溃次数为0时，则认为该目标任务不为错误任务，将该目标任务的崩溃次数加一，即从0修改为1，以进行后续的分布式任务处理方法，例如，将该目标任务作为待处理任务发送至任务等待队列，以等待被重新调度。

基于图2所示流程，如图3所示，本发明实施例所提供的一种分布式任务处理方法还可以包括：

S301：当判断所述目标任务的崩溃次数超过崩溃阈值时，判断所述目标任务是否达到最小任务切分单位；

当判断所述目标任务达到最小任务切分单位时，执行S103；

S302：当判断所述目标任务未达到最小任务切分单位时，以所述最小任务切分单位对所述目标任务进行切分；

S303：并将切分后所形成的各子任务作为待处理任务发送至任务等待队列，其中，该任务等待队列中包括待处理任务的任务信息，该各子任务的任务信息中的崩溃次数的数值等于所述目标任务的崩溃次数加一。

可以理解的是，每个任务的任务数据量太大也可能会导致出现误判的现象，例如：当计算节点A正在运行处理的任务a的属性为图片，并且任务a中存在128张图片，任务a的崩溃次数超过崩溃阈值，任务a中每张图片的编号分别为1-128，最小任务切分单位为1张图片。当计算节点A运行处理编号为1的图片时，该计算节点崩溃，如果不判断任务a是否到达最小任务切分单位，管理节点会直接将任务a添加非处理标识，其中的128张图片均直接被透传至数据接收端。而实际上，编号为2-128的图片可能为误判的图片，编号为2-128的图片可能不会导致计算节点崩溃，即可以被计算节点正常处理，此时，如果以最小任务切分单位对任务a进行切分，形成128个子任务，进而进行后续的分布式任务处理流程，就可以减少误判的情况。进一步的，还可以更加准确地确定出导致计算节点崩溃的任务。

另外，当任务属性为视频时，最小任务切分单位为预先设置的时间范围为N的视频流，其中，N大于0。

作为一种实现方式，所述为所述目标任务添加非处理标识的步骤之后，本发明实施例所提供的分布式任务处理方法还可以包括：

将目标任务作为待处理任务发送至任务等待队列；

接收计算节点发送的任务申请请求；

响应所述任务申请请求，将所述任务等待队列中的待处理任务调度至所述计算节点；

在所述任务处理队列中添加所调度后的待处理任务的任务信息。

当接收到计算节点发送的任务申请请求后，该管理节点可以依据任务等待队列中任务的先后顺序，为计算节点分配任务，也可以随机为计算节点分配任务，这都是可以的。当管理节点将任务等待队列的某一任务分配至计算节点后，从任务等待队列中删除该某一任务对应的任务信息，并在任务处理队列添加该某一任务对应的任务信息。

进一步的，为了更好的减少出现误判的现象，管理节点不允许计算节点同时运行处理两个及以上的崩溃次数超过崩溃阈值的任务。管理节点可以通过任务处理队列查询每个计算节点当前运行处理的任务的崩溃次数，并根据查询结果为每个发送任务申请请求的计算节点调度分配任务。所述将所述任务等待队列中的待处理任务调度至所述计算节点的步骤，可以包括：

判断所述计算节点中是否存在崩溃次数超过所述崩溃阈值的任务；

当判断所述计算节点中存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点；

当判断所述计算节点中不存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数不低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点。

另一方面，本发明实施例还提供了一种分布式任务处理方法，可以应用于计算节点，如图4所示，可以包括步骤：

S401：接收管理节点调度的目标任务；

向管理节点发送任务申请请求后，管理节点根据该任务申请请求，为该计算节点分配目标任务，接收管理节点根据任务申请请求发送的目标任务。

S402：判断该目标任务是否携带非处理标识；

S403：当判断为是时，将所述目标任务透传至数据接收端。

当计算节点判断出该目标任务携带非处理标识，即认为该目标任务为错误任务，不对目标任务进行任何处理，直接将目标任务透传至数据接收端，以使数据接收端对该目标任务进行后续处理。

应用本发明实施例，计算节点接收管理节点调度的目标任务；判断所述目标任务是否携带非处理标识；当判断为是时，将所述目标任务透传至数据接收端。可见，计算节点接收到携带非处理标识的目标任务时，不会对该目标任务进行处理，直接将该目标任务透传至数据接收端，及时将错误任务从分布式集群系统中剔除，在实现分布式集群系统容错功能的基础上，增加了分布式集群系统的稳定性。

作为一种实现方式，该目标任务可能未携带非处理标识，此时该计算节点可以处理该目标任务，例如，当该目标任务为图片时，对该图片进行图片处理。进一步的，将处理结果发送至数据接收端。本发明实施例提供的一种分布式任务处理方法还可以包括：当判断所述目标任务未携带非处理标识时，处理所述目标任务。

作为一种实现方式，为了更好的最大化的保证数据的完整性。所述将所述目标任务透传至数据接收端的步骤，可以包括：将所述目标任务透传至数据接收端，并将与所述目标任务对应的任务信息透传至所述数据接收端。

作为一种实现方式，在所述接收管理节点调度的目标任务的步骤之前，本发明实施例提供了分布式任务处理方法还可以包括：

向所述管理节点发送任务申请请求，以使所述管理节点根据所述任务申请请求，将所述目标任务调度至所述计算节点。

相应于上述方法实施例，本发明实施例提供了一种分布式任务处理装置，应用于管理节点，如图5所示，所述装置可以包括：

遍历模块510，用于遍历任务处理队列，其中，所述任务处理队列中包括每个运行任务的任务信息，所述任务信息包括该任务的状态信息；

筛选模块520，用于根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；

第一添加模块530，用于为所述目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。

应用本发明实施例，管理节点遍历包括每个运行任务的任务信息的任务处理队列，其中，所述任务信息包括该任务的状态信息；根据所述任务信息，从任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；为目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。可见，当任务处理队列中存在对应的状态信息超时未更新的目标任务时，该管理节点即认为该目标任务为错误任务，并为目标任务添加非处理标识，以使计算节点申请到该目标任务后，根据该非处理标识，不对该目标任务进行处理，直接将该目标任务透传至数据接收端，在实现分布式集群系统容错功能的基础上，增加了分布式集群系统的稳定性。

作为一种实现方式，所述任务处理队列中的每个任务信息中还包括该任务的崩溃次数；

以图5所示结构为基础，如图6所示，本发明实施例提供的一种分布式任务处理装置还可以包括第一判断模块610和加一模块620；

所述第一判断模块610，用于从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务的步骤之后，判断所述目标任务的崩溃次数是否超过崩溃阈值；当判断判断所述目标任务的崩溃次数超过崩溃阈值时，触发所述第一添加模块530；

所述加一模块620，用于当判断所述目标任务的崩溃次数未超过崩溃阈值时，将所述目标任务的崩溃次数加一。

作为一种实现方式，以图6所示结构为基础，如图7所示，本发明实施例提供的一种分布式任务处理装置还可以包括第二判断模块710、切分模块720和第一发送模块730；

所述第二判断模块710，用于当判断所述目标任务的崩溃次数超过崩溃阈值时，判断所述目标任务是否达到最小任务切分单位；

当判断所述目标任务达到最小任务切分单位时，触发所述第一添加模块530；

所述切分模块720，用于当判断所述目标任务未达到最小任务切分单位时，以所述最小任务切分单位对所述目标任务进行切分；

所述第一发送模块730，用于并将切分后所形成的各子任务作为待处理任务发送至任务等待队列，其中，所述任务等待队列中包括待处理任务的任务信息，所述各子任务的任务信息中的崩溃次数的数值等于所述目标任务的崩溃次数加一。

作为一种实现方式，本发明实施例提供的一种分布式任务处理装置还可以包括第二发送模块、第一接收模块、调度模块和第二添加模块；

所述第二发送模块，用于在所述为所述目标任务添加非处理标识的步骤之后，将所述目标任务作为待处理任务发送至任务等待队列；所述第一接收模块，用于接收计算节点发送的任务申请请求；所述调度模块，用于响应所述任务申请请求，将所述任务等待队列中的待处理任务调度至所述计算节点；所述第二添加模块，用于在所述任务处理队列中添加所调度后的待处理任务的任务信息。

作为一种实现方式，所述调度模块包括判断单元、第一选择调度单元和第二选择调度单元；所述判断单元，用于判断所述计算节点是否存在崩溃次数超过所述崩溃阈值的任务；所述第一选择调度单元，用于当判断所述计算节点中存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点；所述第二选择调度单元，用于当判断所述计算节点中不存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数不低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点。

相应于上述方法实施例，本发明实施例还提供了一种分布式任务处理装置，应用于计算节点，如图8所示，所述装置可以包括：

第二接收模块810，用于接收管理节点调度的目标任务；

第三判断模块820，用于判断所述目标任务是否携带非处理标识；

透传模块830，用于当判断为是时，将所述目标任务透传至数据接收端。

应用本发明实施例，计算节点接收管理节点调度的目标任务；判断所述目标任务是否携带非处理标识；当判断为是时，将所述目标任务透传至数据接收端。可见，计算节点接收到携带非处理标识的目标任务时，不会对该目标任务进行处理，直接将该目标任务透传至数据接收端，在实现分布式集群系统容错功能的基础上，增加了分布式集群系统的稳定性。

作为一种实现方式，本发明实施例提供的一种分布式任务处理装置还可以包括处理模块；所述处理模块，用于当判断所述目标任务未携带非处理标识时，处理所述目标任务。

作为一种实现方式，所述透传模块830，具体用于将所述目标任务透传至数据接收端，并将与所述目标任务对应的任务信息透传至所述数据接收端。

作为一种实现方式，本发明实施例提供的一种分布式任务处理装置还可以包括请求发送模块；

所述请求发送模块，用于在所述接收管理节点调度的目标任务的步骤之前，向所述管理节点发送任务申请请求，以使所述管理节点根据所述任务申请请求，将所述目标任务调度至所述计算节点。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (18)

1.一种分布式任务处理方法，其特征在于，所述方法包括：

遍历任务处理队列，其中，所述任务处理队列中包括每个运行任务的任务信息，所述任务信息包括该任务的状态信息；

根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；其中，所述目标任务为：导致计算节点崩溃的错误任务；计算节点崩溃后，无法向管理节点上报正在运行的任务的状态信息；

为所述目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。

2.根据权利要求1所述的方法，其特征在于，所述任务处理队列中的每个任务信息中还包括该任务的崩溃次数；

所述根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务的步骤之后，所述方法还包括：

判断所述目标任务的崩溃次数是否超过崩溃阈值；

当判断所述目标任务的崩溃次数超过崩溃阈值时，执行为所述目标任务添加非处理标识的步骤；否则，将所述目标任务的崩溃次数加一。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当判断所述目标任务的崩溃次数超过崩溃阈值时，判断所述目标任务是否达到最小任务切分单位；

当判断所述目标任务达到最小任务切分单位时，执行为所述目标任务添加非处理标识的步骤；

当判断所述目标任务未达到最小任务切分单位时，以所述最小任务切分单位对所述目标任务进行切分；

并将切分后所形成的各子任务作为待处理任务发送至任务等待队列，其中，所述任务等待队列中包括待处理任务的任务信息，所述各子任务的任务信息中的崩溃次数的数值等于所述目标任务的崩溃次数加一。

4.根据权利要求2或3任一项所述的方法，其特征在于，所述为所述目标任务添加非处理标识的步骤之后，所述方法还包括：

将所述目标任务作为待处理任务发送至任务等待队列；

接收计算节点发送的任务申请请求；

响应所述任务申请请求，将所述任务等待队列中的待处理任务调度至所述计算节点；

在所述任务处理队列中添加所调度后的待处理任务的任务信息。

5.根据权利要求4所述的方法，其特征在于，所述将所述任务等待队列中的待处理任务调度至所述计算节点的步骤，包括：

判断所述计算节点中是否存在崩溃次数超过所述崩溃阈值的任务；

当判断所述计算节点中存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点；

当判断所述计算节点中不存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数不低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点。

6.一种分布式任务处理方法，其特征在于，所述方法包括：

接收管理节点调度的目标任务；其中，所述目标任务为：导致计算节点崩溃的错误任务；计算节点崩溃后，无法向管理节点上报正在运行的任务的状态信息；

判断所述目标任务是否携带非处理标识；

当判断为是时，将所述目标任务透传至数据接收端。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当判断所述目标任务未携带非处理标识时，处理所述目标任务。

8.根据权利要求6所述的方法，其特征在于，所述将所述目标任务透传至数据接收端的步骤，包括：

将所述目标任务透传至数据接收端，并将与所述目标任务对应的任务信息透传至所述数据接收端。

9.根据权利要求6-8任一项所述的方法，其特征在于，在所述接收管理节点调度的目标任务的步骤之前，所述方法还包括：

向所述管理节点发送任务申请请求，以使所述管理节点根据所述任务申请请求，将所述目标任务调度至所述计算节点。

10.一种分布式任务处理装置，其特征在于，所述装置包括：

遍历模块，用于遍历任务处理队列，其中，所述任务处理队列中包括每个运行任务的任务信息，所述任务信息包括该任务的状态信息；

筛选模块，用于根据所述任务信息，从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务；其中，所述目标任务为：导致计算节点崩溃的错误任务；计算节点崩溃后，无法向管理节点上报正在运行的任务的状态信息；

第一添加模块，用于为所述目标任务添加非处理标识；以使计算节点申请到所述目标任务后，根据所述非处理标识，将所述目标任务透传至数据接收端。

11.根据权利要求10所述的装置，其特征在于，所述任务处理队列中的每个任务信息中还包括该任务的崩溃次数；

所述装置还包括第一判断模块和加一模块；

所述第一判断模块，用于从所述任务处理队列中，筛选出对应的状态信息超时未更新的目标任务的步骤之后，判断所述目标任务的崩溃次数是否超过崩溃阈值；当判断所述目标任务的崩溃次数超过崩溃阈值时，触发所述第一添加模块；

所述加一模块，用于当判断所述目标任务的崩溃次数未超过崩溃阈值时，将所述目标任务的崩溃次数加一。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括第二判断模块、切分模块和第一发送模块；

所述第二判断模块，用于当判断所述目标任务的崩溃次数超过崩溃阈值时，判断所述目标任务是否达到最小任务切分单位；

当判断所述目标任务达到最小任务切分单位时，触发所述第一添加模块；

所述切分模块，用于当判断所述目标任务未达到最小任务切分单位时，以所述最小任务切分单位对所述目标任务进行切分；

所述第一发送模块，用于并将切分后所形成的各子任务作为待处理任务发送至任务等待队列，其中，所述任务等待队列中包括待处理任务的任务信息，所述各子任务的任务信息中的崩溃次数的数值等于所述目标任务的崩溃次数加一。

13.根据权利要求11或12所述的装置，其特征在于，所述装置还包括第二发送模块、第一接收模块、调度模块和第二添加模块；

所述第二发送模块，用于在所述为所述目标任务添加非处理标识的步骤之后，将所述目标任务作为待处理任务发送至任务等待队列；

所述第一接收模块，用于接收计算节点发送的任务申请请求；

所述调度模块，用于响应所述任务申请请求，将所述任务等待队列中的待处理任务调度至所述计算节点；

所述第二添加模块，用于在所述任务处理队列中添加所调度后的待处理任务的任务信息。

14.根据权利要求13所述的装置，其特征在于，所述调度模块包括判断单元、第一选择调度单元和第二选择调度单元；

所述判断单元，用于判断所述计算节点中是否存在崩溃次数超过所述崩溃阈值的任务；

所述第一选择调度单元，用于当判断所述计算节点中存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点；

所述第二选择调度单元，用于当判断所述计算节点中不存在崩溃次数超过所述崩溃阈值的任务时，从所述任务等待队列中选择崩溃次数不低于所述崩溃阈值的待处理任务，将所选择出的待处理任务调度至所述计算节点。

15.一种分布式任务处理装置，其特征在于，应用于计算节点，所述装置包括：

第二接收模块，用于接收管理节点调度的目标任务；其中，所述目标任务为：导致计算节点崩溃的错误任务；计算节点崩溃后，无法向管理节点上报正在运行的任务的状态信息；

第三判断模块，用于判断所述目标任务是否携带非处理标识；

透传模块，用于当判断为是时，将所述目标任务透传至数据接收端。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括处理模块；

所述处理模块，用于当判断所述目标任务未携带非处理标识时，处理所述目标任务。

17.根据权利要求15所述的装置，其特征在于，所述透传模块，具体用于将所述目标任务透传至数据接收端，并将与所述目标任务对应的任务信息透传至所述数据接收端。

18.根据权利要求15-17任一项所述的装置，其特征在于，所述装置还包括请求发送模块；

所述请求发送模块，用于在所述接收管理节点调度的目标任务的步骤之前，向所述管理节点发送任务申请请求，以使所述管理节点根据所述任务申请请求，将所述目标任务调度至所述计算节点。

Images