CN110519381A - 分布式任务的处理方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种分布式任务的处理方法、装置、终端设备及存储介质，该分布式任务的处理方法包括：获取分布式任务的调度指令，并识别所述调度指令的指令类型；当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。本发明解决了传统的分布式任务调度处理方式，会导致对机器集群中服务器的利用率不均衡的技术问题。

Description

分布式任务的处理方法、装置、终端设备及存储介质

技术领域

本发明涉及Fintech(金融科技)技术领域，尤其涉及一种分布式任务的处理方法、装置、终端设备及存储介质。

背景技术

当前的分布式任务调度处理主要是采用是单机调度方式，即任务调度后落在一台节点服务器上进行处理，另外，对还可以采用任务分片的形式进行调度，由一台服务器按集群中服务器的总量对任务数据进行切片，从而通过多台服务器并行的对被分配的任务数据进行处理，如此，可以一定程度的加快处理速度。

然而，现有的单机调度方式会导致集群中其他服务器处于闲置状态，无法得到有效利用，且由于任务分片的形式只能对任务数据进行切片，在任务的处理过程中，集群服务器的资源需求差异(主要因数据漏斗在不同节点服务器对分布式任务进行处理后对业务数据进行筛选)，同样会导致服务器的利用率不均衡。

发明内容

本发明的主要目的在于提供一种分布式任务的处理方法、装置、终端设备及存储介质，旨在解决传统的分布式任务调度处理方式，会导致对机器集群中服务器的利用率不均衡的技术问题。

为实现上述目的，本发明提供一种分布式任务的处理方法，所述分布式任务的处理方法包括以下步骤：

获取分布式任务的调度指令，并识别所述调度指令的指令类型；

当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；

根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。

可选地，所述调度指令的指令类型至少包括取数指令、所述执行指令和终止指令中的一种，

在所述获取分布式任务的调度指令，并识别所述调度指令的指令类型的步骤之后，所述方法还包括：

根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令。

可选地，所述根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令的步骤，包括：

当识别到的所述指令类型为取数指令时，从所述取数指令所指定的数据源中提取待处理任务数据；

按照预设批次，封装所述待处理任务数据以生成新的所述调度指令。

可选地，所述根据识别到的所述指令类型处理所述分布式任务的步骤，还包括：

当识别到的所述指令类型为终止指令时，检测当前处理所述分布式任务的机器集群；

在所述机器集群中广播所述终止指令，以终止处理所述分布式任务。

可选地，所述当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤的步骤，包括：

当识别到的所述指令类型为执行指令时，提取所述执行指令携带的所述待处理任务数据；

处理所述待处理任务数据，并检测当前处理所述待处理任务数据的逻辑步骤。

可选地，所述逻辑步骤至少包括中间步骤和所述最终步骤中的一种，

所述根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤的步骤，包括：

若检测到所述逻辑步骤为中间步骤，则封装对所述待处理任务数据进行处理的处理结果，以生成新的指令类型为执行指令的调度指令；

若检测到所述逻辑步骤为最终步骤，则停止生成新的调度指令。

可选地，所述分布式任务的处理方法，还包括：

接收所述调度指令，并在处理当前所述分布式任务的所述机器集群中，分批发送所述调度指令。

此外，本发明还提供一种分布式任务的处理装置，所述分布式任务的处理装置包括：

获取模块，用于获取分布式任务的调度指令，并识别所述调度指令的指令类型；

检测模块，用于当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；

生成模块，用于根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。

此外，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式任务的处理程序，所述分布式任务的处理程序被所述处理器执行时实现如上所述的分布式任务的处理方法的步骤。

此外，本发明还提供一种存储介质，应用于计算机，所述存储介质上存储有分布式任务的处理程序，所述分布式任务的处理程序被处理器执行时实现如上所述的分布式任务的处理方法的步骤。

本发明通过获取分布式任务的调度指令，并识别所述调度指令的指令类型；当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。在对分布式任务的调度过程中，当用于处理分布式任务的机器集群中的各节点服务器，获取到分布式任务调度中心分发的调度指令之后，基于识别调度指令中封装的分布式任务上下文，识别出调度指令的指令类型，从而，基于调度指令的不同指令类型对调度指令中封装的分布式任务进行处理，并在识别到调度指令的指令类型为执行指令时，根据当前节点服务器对分布式任务进行处理的结果，检测当前节点服务器对分布式任务进行处理的逻辑步骤，在检测到的逻辑步骤不符合预设条件(不是对当前分布式任务进行处理的最终步骤)时，将当前节点服务器对分布式处理的处理结果进一步进行封装从而生成新的调度指令，以供当前分布式任务调度系统中的调度中心重新分发该调度指令。

本发明实现了，在分布式任务调度系统中的各节点服务器对分布式任务进行处理的过程当中，根据不同节点服务器对分布式任务进行处理不同逻辑步骤，进一步将分布式任务进行平均分发，以保证不同节点服务器始终都是处理均等数量的数据任务，从而，在原分布式调度仅基于分布式任务数据进行切片并基于机器集群中资源数量进行调度的基础上，进一步根据对分布式任务进行处理的逻辑步骤对分布式任务进行调度和分发，保证了机器集群中各节点服务器的资源都能够被均衡的利用，提升了分布式任务的处理效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明分布式任务的处理方法第一实施例的流程示意图；

图3为本发明分布式任务的处理方法一实施例中步骤S200的细化流程示意图；

图4为本发明分布式任务的处理方法一实施例中步骤S300的细化流程示意图；

图5为本发明分布式任务的处理方法一实施例中应用场景示意图；

图6为本发明分布式任务的处理装置的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。

需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。本发明实施例终端设备可以是PC，便携计算机等终端设备。

如图1所示，该终端设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及分布式任务的处理程序。其中，操作系统是管理和控制样本终端设备硬件和软件资源的程序，支持分布式任务的处理程序以及其它软件或程序的运行。

在图1所示的终端设备中，用户接口1003主要用于与各个终端进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的分布式任务的处理程序，并执行以下操作：

获取分布式任务的调度指令，并识别所述调度指令的指令类型；

当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；

根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。

进一步地，处理器1001还可以用于调用存储器1005中存储的分布式任务的处理程序，在执行获取分布式任务的调度指令，并识别所述调度指令的指令类型的步骤之后，还执行以下步骤：

根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令。

进一步地，处理器1001还可以用于调用存储器1005中存储的分布式任务的处理程序，并执行以下步骤：

当识别到的所述指令类型为取数指令时，从所述取数指令所指定的数据源中提取待处理任务数据；

按照预设批次，封装所述待处理任务数据以生成新的所述调度指令。

进一步地，处理器1001还可以用于调用存储器1005中存储的分布式任务的处理程序，并执行以下步骤：

当识别到的所述指令类型为终止指令时，检测当前处理所述分布式任务的机器集群；

在所述机器集群中广播所述终止指令，以终止处理所述分布式任务。

进一步地，处理器1001还可以用于调用存储器1005中存储的分布式任务的处理程序，并执行以下步骤：

当识别到的所述指令类型为执行指令时，提取所述执行指令携带的所述待处理任务数据；

处理所述待处理任务数据，并检测当前处理所述待处理任务数据的逻辑步骤。

进一步地，处理器1001还可以用于调用存储器1005中存储的分布式任务的处理程序，并执行以下步骤：

若检测到所述逻辑步骤为中间步骤，则封装对所述待处理任务数据进行处理的处理结果，以生成新的指令类型为执行指令的调度指令；

若检测到所述逻辑步骤为最终步骤，则停止生成新的调度指令。

进一步地，处理器1001还可以用于调用存储器1005中存储的分布式任务的处理程序，并执行以下步骤：

接收所述调度指令，并在处理当前所述分布式任务的所述机器集群中，分批发送所述调度指令。

基于上述的结构，提出本发明分布式任务的处理方法的各个实施例。

请参照图2，图2为本发明分布式任务的处理方法第一实施例的流程示意图。

本发明实施例提供了分布式任务的处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例分布式任务的处理方法应用于上述终端设备，本发明实施例终端设备可以是PC，便携计算机等终端设备，在此不做具体限制。

本实施例分布式任务的处理方法包括：

步骤S100，获取分布式任务的调度指令，并识别所述调度指令的指令类型。

在分布式任务的调度处理过程中，机器集群中的用于对分布式任务的任务数据进行实际处理的各节点服务器，在获取到分布式任务调度中心所分发的调度指令之后，根据识别获取到的调度指令中所封装的分布式任务上下文，对当前获取到的调度指令的指令类型进行识别。

需要说明的是，在本实施例中，分布式任务的调度中心通过对分布式任务的任务上下文参数进行封装，从而生成当前分布式任务的调度指令，其中，分布式任务的调度中心，可以是当前对分布式任务进行处理的机器集群中的任意一台节点服务器，或者，调度中心也可以为单独设置的仅用于分发对分布式任务调度指令的服务器。

进一步地，本实施例中，在步骤S100，获取分布式任务的调度指令，并识别所述调度指令的指令类型之后，本发明分布式任务的处理方法，还包括：

步骤A，根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令。

在机器集群中的各节点服务器，获取到分布式任务调度中心所分发的调度指令并识别出指令类型之后，随即基于根据调度指令中所封装的当前分布式任务的任务上下文，对当前节点服务器上各自所接收到的分布式任务进行处理，并在完成当前分布式任务的任务上下文所指定的处理操作之后，进一步根据对当前分布式任务的处理结果生成新的调度指令。

需要说明的是，本实实施例中，调度指令的指令类型至少包括：取数指令、执行指令和终止指令。

进一步地，步骤A，包括：

步骤A1，当识别到的所述指令类型为取数指令时，从所述取数指令所指定的数据源中提取待处理任务数据。

具体地，例如，在如图5所示的应用场景中，当机器集群中的调度中心(机器集群中的任意一台节点服务器)，在获取到指令分发总线所发送的调度指令，并依据调度指令中所封装的分布式任务上下文识别出当前调度指令的指令类型为“取数指令”时，随即在当前节点服务器上检测该调度指令所封装的分布式任务上下文中携带的分布式任务数据源信息，并从该检测到的数据源中，提取出当前分布式任务所需要进行计算处理的待处理任务数据。

步骤A2，按照预设批次，封装所述待处理任务数据以生成新的所述调度指令。

具体地，例如，在如图5所示的应用场景中，当前节点服务器在检测到调度指令所封装的分布式任务上下文中携带的分布式任务数据源信息，并从该数据源中提取出当前分布式任务所需要进行计算处理的待处理任务数据之后，按照预先设定的每批次数据量大小，将提取出的待处理任务数据进行切分，然后将切分后的各批次待处理任务数据单独进行封装，从而生成多个新的携带有待处理任务数据，且分布式任务上下文中所指定的处理操作变更为对待处理任务数据进行计算处理的调度指令(即指令类型为执行指令)，以供指令分发总线分批次将生成的该调度指令进行分发。

需要说明的是，本实例中，预设批次可以基于节点服务器所提取到的待处理数据数据量的大小，以及当前对分布式任务进行处理的机器集群中处于空闲状态的节点服务器数量进行设定，例如，提取到的待处理任务数据数据量大小为1百万条，机器集群中当前时刻处于空闲状态的机器实例(节点服务器)数量为20台，则预设批次则可以设置为：1百万条除以20台，等于5万条每批，应当理解的是，在本发明分布式任务的处理方法中，并不对该预设批次的实际数值进行限制。

步骤S200，当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤。

在机器集群中的各节点服务器，获取到分布式任务调度中心所分发的调度指令并识别出指令类型为执行指令时，在执行根据调度指令中所封装的当前分布式任务的任务上下文中所指定的处理操作之后，检测当前节点服务器对分布式任务进行处理的逻辑步骤为中间步骤，或者为最终步骤。

需要说明的是，本实例中，节点服务器对分布式任务进行实际处理逻辑步骤包括：中间步骤和最终步骤，其中，当检测到在节点服务器按照分布式任务上下文指定的处理操作，对当前执行指令中所携带的待处理任务数据进行处理之后，当前待处理任务数据仍然需要进行进一步的操作处理才能得出最终结果，则判断当前节点服务器对该分布式任务进行处理的逻辑步骤为中间步骤。

具体地，例如，若当前分布式任务的任务逻辑处理过程分为身份识别，征信风险识别以及财务处理，则在检测到当前节点服务器对调指令中所携带的待处理任务数据进行的处理操作为身份识别或者为征信风险识别时，也就是当前分布式任务还需要对待处理任务数据进行财务处理才能最终完成时，即判断当前节点服务器对该分布式任务进行处理的逻辑步骤为中间步骤，相反的，在检测到当前节点服务器对调指令中所携带的待处理任务数据进行的处理操作为财务出处理，即当前分布式任务已经最终完成时，则判断当前节点服务器对该分布式任务进行处理的逻辑步骤为最终步骤。

进一步地，请参照图3，图3为上述步骤S200的细化流程示意图，步骤S200，当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤，包括：

步骤S201，当识别到的所述指令类型为执行指令时，提取所述执行指令携带的所述待处理任务数据。

具体地，例如，在如图5所示的应用场景中，当机器集群中的任意一台节点服务器，在获取到指令分发总线所发送的调度指令，并依据调度指令中所封装的分布式任务上下文识别出当前调度指令的指令类型为“执行指令”时，随即从当前获取到的调度指令中提取出先前封装的待处理任务数据。

步骤S202，处理所述待处理任务数据，并检测当前处理所述待处理任务数据的逻辑步骤。

当前节点服务器检测该调度指令所封装的分布式任务上下文中指定的对当前待处理任务数据进行的处理操作，按照该处理操作对待处理任务数据进行处理，并检测该处理操作在对当前分布式任务进行处理的任务逻辑处理过程中的所处的逻辑步骤为中间步骤，或者为最终步骤。

具体地，例如，在如图5所示的应用场景中，当前节点服务器检测到该调度指令所封装的分布式任务上下文中，指定的对当前待处理任务数据进行的处理操作为“身份识别”，则当前节点服务器按照该“身份识别”处理操作逐条对待处理任务数据进行身份识别，并同时检测该“身份识别”处理操作在对当前分布式任务进行处理的任务逻辑处理过程(身份识别，征信风险识别以及财务处理)中处于第一步，即当前分布式任务还需要进行征信风险识别以及财务处理才能最终完成，因此检测到当前节点服务器对该分布式任务进行处理的逻辑步骤为中间步骤。

步骤S300，根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。

在当前节点服务器检测到对分布式任务进行处理的逻辑步骤始终为中间步骤的过程中，将当前节点服务器对分布式处理的处理结果进一步进行封装，从而生成新的调度指令，直到当前节点服务器检测到对分布式任务进行处理的逻辑步骤为最终步骤时，即当前分布式任务已经最终完成时，终止对该分布式任务继续进行处理。

进一步地，请参照图4，图4为步骤S300的细化流程示意图，步骤S300，根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤，包括：

步骤S301，若检测到所述逻辑步骤为中间步骤，则封装对所述待处理任务数据进行处理的处理结果，以生成新的指令类型为执行指令的调度指令。

具体地，例如，在如图5所示的应用场景中，若当前节点服务器检测到该调度指令所封装的分布式任务上下文中，指定的对当前待处理任务数据进行的处理操作为“身份识别”或者为“征信风险识别”，从而依据该“身份识别”处理操作或者“征信风险识别”处理操作在对当前分布式任务进行处理的任务逻辑处理过程(身份识别，征信风险识别以及财务处理)中处于中间过程，检测到当前节点服务器对该分布式任务进行处理的逻辑步骤为中间步骤，随即将当前节点服务器按照该“身份识别”处理操作或者“征信风险识别”处理操作，逐条对待处理任务数据进行身份识别或者征信风险识别的处理结果，重新按照预设批次进行封装，以生成新的携带有当前节点服务器对待处理任务数据进行身份识别或者征信风险识别的处理结果，且分布式任务上下文中所指定任务逻辑处理操作变更为“征信风险识别”(当前处理操作为“身份识别”)或者“财务处理”(当前处理操作为“征信风险识别”)的调度指令(即指令类型同样为执行指令，指定的任务逻辑处理操作变更为当前分布式任务逻辑处理过程中的下一步骤)，以供指令分发总线分批次将生成的该调度指令进行分发。

步骤S302，若检测到所述逻辑步骤为最终步骤，则停止生成新的调度指令。

具体地，例如，在如图5所示的应用场景中，若当前节点服务器检测到该调度指令所封装的分布式任务上下文中，指定的对当前待处理任务数据进行的处理操作为“财务处理”，从而依据该“财务处理”处理操作在对当前分布式任务进行处理的任务逻辑处理过程(身份识别，征信风险识别以及财务处理)中处于最终操作，检测到当前节点服务器对该分布式任务进行处理的逻辑步骤为最终步骤，随即在当前节点服务器上输出“财务处理”的处理结果，并随即终止对当前分布式任务继续进行处理。

本发明通过在分布式任务的调度处理过程中，机器集群中的用于对分布式任务的任务数据进行实际处理的各节点服务器，在获取到分布式任务调度中心所分发的调度指令之后，根据识别获取到的调度指令中所封装的分布式任务上下文，对当前获取到的调度指令的指令类型进行识别，在机器集群中的各节点服务器，获取到分布式任务调度中心所分发的调度指令并识别出指令类型之后，随即基于根据调度指令中所封装的当前分布式任务的任务上下文，对当前节点服务器上各自所接收到的分布式任务进行处理，并在完成当前分布式任务的任务上下文所指定的处理操作之后，进一步根据对当前分布式任务的处理结果生成新的，供分布式任务的调度中心进行分发的调度指令，在机器集群中的各节点服务器，获取到分布式任务调度中心所分发的调度指令并识别出指令类型为执行指令时，在执行根据调度指令中所封装的当前分布式任务的任务上下文中所指定的处理操作之后，检测当前节点服务器对分布式任务进行处理的逻辑步骤为中间步骤或者为最终步骤，在当前节点服务器检测到对分布式任务进行处理的逻辑步骤始终为中间步骤的过程中，将当前节点服务器对分布式处理的处理结果进一步进行封装，从而生成新的调度指令，直到当前节点服务器检测到对分布式任务进行处理的逻辑步骤为最终步骤时，即当前分布式任务已经最终完成时，终止对该分布式任务继续进行处理。

本发明实现了，在分布式任务调度系统中的各节点服务器对分布式任务进行处理的过程当中，根据不同节点服务器对分布式任务进行处理不同逻辑步骤，进一步将分布式任务进行平均分发，以保证不同节点服务器始终都是处理均等数量的数据任务，从而，在原分布式调度仅基于分布式任务数据进行切片并基于机器集群中资源数量进行调度的基础上，进一步根据对分布式任务进行处理的逻辑步骤对分布式任务进行调度和分发，保证了机器集群中各节点服务器的资源都能够被均衡的利用，提升了分布式任务的处理效率。

进一步地，提出本发明分布式任务的处理方法的第二实施例。

基于上述分布式任务的处理方法第一实施例，本实施例中，上述步骤A中，根据识别到的所述指令类型对所述分布式任务进行处理，还包括：

步骤A3，当识别到的所述指令类型为终止指令时，检测当前处理所述分布式任务的机器集群。

在机器集群中的各节点服务器，获取到分布式任务调度中心所分发的调度指令并识别出指令类型为终止指令时，随即检测当前机器集群中，正处于根据调度指令中所封装的当前分布式任务的任务上下文中所指定的处理操作进行执行处理状态的节点服务器。

具体地，例如，在如图5所示的应用场景中，当机器集群中的调度中心(机器集群中的任意一台节点服务器)，在获取到指令分发总线所发送的调度指令，并依据调度指令中所封装的分布式任务上下文识别出当前调度指令的指令类型为“终止指令”时，随即检测当前机器集群中，正处于对分布式任务的任务数据进行身份识别、征信风险识别或者财务处理状态的节点服务器。

步骤A4，在所述机器集群中广播所述终止指令，以终止处理所述分布式任务。

在机器集群中，向正处于根据调度指令中所封装的当前分布式任务的任务上下文中所指定的处理操作进行执行处理状态的节点服务器，广播当前节点服务器所识别到的指令类型为终止指令的调度指令，从而使各正处于根据调度指令中所封装的当前分布式任务的任务上下文中所指定的处理操作进行执行处理状态的节点服务器，终止对当前分布式任务继续进行处理。

具体地，例如，在如图5所示的应用场景中，在检测到当前机器集群中，正处于对分布式任务的任务数据进行身份识别、征信风险识别或者财务处理状态的节点服务器之后，通过指令分发总线在当前机器集群中向各处于对分布式任务的任务数据进行身份识别、征信风险识别或者财务处理状态的节点服务器广播指令类型为“终止指令”的调度指令，以供各节点服务器在识别到该终止指令之后，立即终止对分布式任务的任务数据进行身份识别、征信风险识别或者财务处理。

进一步地，本发明分布式任务的处理方法，还包括：

步骤B，接收所述调度指令，并在处理当前所述分布式任务的所述机器集群中，分批发送所述调度指令。

当前对分布式任务进行处理的机器集群中的指令分发总线，接收各节点在完成当前分布式任务的任务上下文所指定的处理操作之后，进一步根据对当前分布式任务的处理结果生成新的各调度指令，并基于分批次将各调度指令分发至机器集群中，当前时刻处于空闲状态的节点服务器上。

具体地，例如，在如图5所示的应用场景中，指令分发总线接收当前机器集群中，各节点服务器从指令类型为“取数指令”的调度指令所标识数据源中，提取出待处理任务数据，并按照预先设定的每批次数据量大小，将提取出的待处理任务数据进行切分和封装，从而生成的多个新的携带有待处理任务数据，且分布式任务上下文中所指定的处理操作变更为对待处理任务数据进行计算处理的调度指令，或者，接收各节点服务器按照指令类型为“执行指令”的调度指令所封装的分布式任务上下文指定的对待处理任务数据进行“身份识别”或者为“征信风险识别”，并对应逐条对待处理任务数据进行身份识别或者征信风险识别之后，将处理结果重新按照预设批次进行封装生成的新的携带有对应处理结果，且分布式任务上下文中所指定任务逻辑处理操作变更为“征信风险识别”(当前处理操作为“身份识别”)或者“财务处理”(当前处理操作为“征信风险识别”)的各调度指令，然后按照各节点服务器封装生成调度指令时依据的批次，将接收到的新的各调度指令分发至机器集群中，当前时刻处于空闲状态的节点服务上，以供该各处于空闲状态的节点服务器识别各调度指令的指令类型，并按照封装的任务上下文执行相应的处理操作。

本发明通过在机器集群中的各节点服务器，获取到分布式任务调度中心所分发的调度指令并识别出指令类型为终止指令时，随即检测当前机器集群中，正处于根据调度指令中所封装的当前分布式任务的任务上下文中所指定的处理操作进行执行处理状态的节点服务器，在机器集群中，向正处于根据调度指令中所封装的当前分布式任务的任务上下文中所指定的处理操作进行执行处理状态的节点服务器，广播当前节点服务器所识别到的指令类型为终止指令的调度指令，从而使各正处于根据调度指令中所封装的当前分布式任务的任务上下文中所指定的处理操作进行执行处理状态的节点服务器，终止对当前分布式任务继续进行处理，并在当前对分布式任务进行处理的机器集群中的指令分发总线，接收各节点在完成当前分布式任务的任务上下文所指定的处理操作之后，进一步根据对当前分布式任务的处理结果生成新的各调度指令，并基于分批次将各调度指令分发至机器集群中，当前时刻处于空闲状态的节点服务器上。

实现了，可随时基于认为添加的终止指令结束对分布式任务的处理操作，提高了对分布式任务进行处理的灵活性，并通过指令分发总线接收各节点服务器在对分布式任务进行处理的过程中所生成的新的调度指令，循环的进行分发，在基于分布式任务数据进行切片并基于机器集群中资源数量进行调度的基础上，进一步根添加对分布式任务进行处理的过程作为指令分发的参考因素，从而保证了机器集群中各节点服务器的资源都能够被均衡的利用，提升了分布式任务的处理效率。

此外，请参照图6，本发明实施例还提出一种分布式任务的处理装置，所述分布式任务的处理装置，包括：

获取模块，用于获取分布式任务的调度指令，并识别所述调度指令的指令类型；

检测模块，用于当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；

生成模块，用于根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。

优选地，本发明分布式任务的处理装置，还包括：

执行模块，用于根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令。

优选地，执行模块，包括：

第一提取单元，用于当识别到的所述指令类型为取数指令时，从所述取数指令所指定的数据源中提取待处理任务数据；

第一生成单元，用于按照预设批次，封装所述待处理任务数据以生成新的所述调度指令。

优选地，执行模块，还包括：

第一检测单元，用于当识别到的所述指令类型为终止指令时，检测当前处理所述分布式任务的机器集群；

广播单元，用于在所述机器集群中广播所述终止指令，以终止处理所述分布式任务。

优选地，检测模块，包括：

第二提取单元，用于当识别到的所述指令类型为执行指令时，提取所述执行指令携带的所述待处理任务数据；

第二检测单元，用于对处理所述待处理任务数据，并检测当前处理所述待处理任务数据的逻辑步骤。

优选地，生成模块，包括：

第二生成单元，用于若检测到所述逻辑步骤为中间步骤，则封装对所述待处理任务数据进行处理的处理结果，以生成新的指令类型为执行指令的调度指令；

其中，第二生成单元，还用于若检测到所述逻辑步骤为最终步骤，则停止生成新的调度指令。

优选地，本发明分布式任务的处理装置，还包括：

发送模块，用于接收所述调度指令，并在处理当前所述分布式任务的所述机器集群中，分批发送所述调度指令。

本实施例提出的分布式任务的处理装置各个模块运行时实现如上所述的分布式任务的处理方法的步骤，在此不再赘述。

此外，本发明实施例还提出一种存储介质，应用于计算机，即所述存储介质为计算机可读存储介质，所述介质上存储有分布式任务的处理程序，所述分布式任务的处理程序被处理器执行时实现如上所述的分布式任务的处理方法的步骤。

其中，在所述处理器上运行的分布式任务的处理程序被执行时所实现的方法可参照本发明基于分布式任务的处理方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式任务的处理方法，其特征在于，所述分布式任务的处理方法包括：

获取分布式任务的调度指令，并识别所述调度指令的指令类型；

当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；

根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。

2.如权利要求1所述的分布式任务的处理方法，其特征在于，所述调度指令的指令类型至少包括取数指令、所述执行指令和终止指令中的一种，

在所述获取分布式任务的调度指令，并识别所述调度指令的指令类型的步骤之后，所述方法还包括：

根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令。

3.如权利要求2所述的分布式任务的处理方法，其特征在于，所述根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令的步骤，包括：

当识别到的所述指令类型为取数指令时，从所述取数指令所指定的数据源中提取待处理任务数据；

按照预设批次，封装所述待处理任务数据以生成新的所述调度指令。

4.如权利要求2所述的分布式任务的处理方法，其特征在于，所述根据识别到的所述指令类型处理所述分布式任务的步骤，还包括：

当识别到的所述指令类型为终止指令时，检测当前处理所述分布式任务的机器集群；

在所述机器集群中广播所述终止指令，以终止处理所述分布式任务。

5.如权利要求3所述的分布式任务的处理方法，其特征在于，所述当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤的步骤，包括：

当识别到的所述指令类型为执行指令时，提取所述执行指令携带的所述待处理任务数据；

处理所述待处理任务数据，并检测当前处理所述待处理任务数据的逻辑步骤。

6.如权利要求5所述的分布式任务的处理方法，其特征在于，所述逻辑步骤至少包括中间步骤和所述最终步骤中的一种，

所述根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤的步骤，包括：

若检测到所述逻辑步骤为中间步骤，则封装对所述待处理任务数据进行处理的处理结果，以生成新的指令类型为执行指令的调度指令；

若检测到所述逻辑步骤为最终步骤，则停止生成新的调度指令。

7.如权利要求1至6所述的分布式任务的处理方法，其特征在于，所述分布式任务的处理方法，还包括：

接收所述调度指令，并在处理当前所述分布式任务的所述机器集群中，分批发送所述调度指令。

8.一种分布式任务的处理装置，其特征在于，所述分布式任务的处理装置包括：

获取模块，用于获取分布式任务的调度指令，并识别所述调度指令的指令类型；

检测模块，用于当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；

生成模块，用于根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式任务的处理程序，所述分布式任务的处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的分布式任务的处理方法的步骤。

10.一种存储介质，其特征在于，应用于计算机，所述存储介质上存储有分布式任务的处理程序，所述分布式任务的处理程序被处理器执行时实现如权利要求1至7中任一项所述的分布式任务的处理方法的步骤。