CN110471753A - 批量调度系统的控制方法及装置 - Google Patents

Abstract

本发明公开了一种批量调度系统的控制方法及装置，该方法包括：监测基于有向无环图的批量调度系统的运行状态；在批量调度系统的运行状态为中断时，确定异常节点任务；重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果。本发明在监测到批量调度系统的运行状态为中断时确定异常节点任务，进而重提批量调度系统，利用重提后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，能够提高批量调度系统执行结果的准确性。

Description

批量调度系统的控制方法及装置

技术领域

本发明涉及批量处理技术领域，尤其涉及批量调度系统的控制方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

目前，大多数批量调度系统都是基于有向无环图(英文全称：Directed AcyclicGraph，简称DAG)技术来实现各个节点任务之间的驱动依赖关系，解决批量调度系统的高并发及横向扩展功能。

批量调度系统根据驱动依赖关系和系统资源情况把节点任务调用起来并执行，但是批量调度系统把节点任务提交执行的进程与节点任务执行的进程是异步执行的，即批量调度系统把节点任务提交执行后，任务是否执行结束或者成功需要批量调度系统进行轮询判断或者节点任务回调通知才可以。为了保证高可用及节点任务执行结果的准确性，当某一个节点任务因各种原因出现异常时，批量调度系统会把当前运行的所有节点任务的状态置为“killed”状态。由于批量调度系统把节点任务提交执行的进程与节点任务执行的进程是异步执行的，批量调度系统将某个节点任务的状态置为“killed”状态时，可能该节点任务已经执行结束了，正常情况下该节点任务的状态应该为“执行成功”，但现在该任务节点的状态被置为“killed”状态。

其次，在重提批量调度系统时，都是从出问题的异常节点任务或状态置为“killed”的节点任务重跑，即出问题的异常节点任务或状态置为“killed”的节点任务会重新执行，由于已经执行的节点任务的状态被错误的置为“killed”状态，此时会导致引入重复数据，导致批量调度系统的执行结果不准确。

因此，现有的批量调度系统存在执行结果不准确的问题。

发明内容

本发明实施例提供一种批量调度系统的控制方法，用以提高批量调度系统执行结果的准确性，该方法包括：

监测基于有向无环图的批量调度系统的运行状态；

在批量调度系统的运行状态为中断时，确定异常节点任务；

重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果。

本发明实施例还提供一种批量调度系统的控制装置，用以提高批量调度系统执行结果的准确性，该装置包括：

监测模块，用于监测基于有向无环图的批量调度系统的运行状态；

异常确定模块，用于在批量调度系统的运行状态为中断时，确定异常节点任务；

重提覆盖模块，用于重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述批量调度系统的控制方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述批量调度系统的控制方法的计算机程序。

本发明实施例中，在监测到批量调度系统的运行状态为中断时确定异常节点任务，进而重提批量调度系统，利用重提后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，能够提高批量调度系统执行结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。在附图中：

图1为本发明实施例提供的批量调度系统的控制方法的实现流程图；

图2为本发明实施例提供的批量调度系统的控制方法中步骤101的实现流程图；

图3为本发明实施例提供的批量调度系统的控制方法中步骤101的另一实现流程图；

图4为本发明实施例提供的批量调度系统的控制方法中步骤102的实现流程图；

图5为本发明实施例提供的批量调度系统的控制方法中步骤102的另一实现流程图；

图6为本发明实施例提供的批量调度系统的控制方法的另一实现流程图；

图7为本发明实施例提供的批量调度系统的控制装置的功能模块图；

图8为本发明实施例提供的批量调度系统的控制装置中监测模块701的结构框图；

图9为本发明实施例提供的批量调度系统的控制装置中监测模块701的另一结构框图；

图10为本发明实施例提供的批量调度系统的控制装置中异常确定模块702的结构框图；

图11为本发明实施例提供的批量调度系统的控制装置异常确定模块702的另一结构框图；

图12为本发明实施例提供的批量调度系统的控制装置的另一功能模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1示出了本发明实施例提供的批量调度系统的控制方法的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

如图1所示，批量调度系统的控制方法，其包括：

步骤101，监测基于有向无环图的批量调度系统的运行状态；

步骤102，在批量调度系统的运行状态为中断时，确定异常节点任务；

步骤103，重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果。

有向无环图(DAG)技术，是有向图的一种，是指任意一条边有方向，且不存在环路的图，即一个无回路的有向图。DAG技术常常用来表述事件之间的驱动依赖关系，管理任务之间的调度关系。目前存在的很多批量调度系统就是利用DAG的特性来管理各个任务之间的驱动关系。其原理是把批量任务中每一个任务对应一个节点，利用DAG在一个节点任务之前构造另一个节点任务。

在本发明实施例中，批量调度系统同样采用有向无环图技术，即批量调度系统为基于有向无环图技术的批量调度系统。有向无环图反映了批量调度系统中各个节点任务相互之间的驱动依赖关系，批量调度系统基于各个节点任务相互之间的驱动依赖关系，提高批量调度系统的高并发性能及横向扩展功能。

在对批量调度系统进行控制时，首先监测基于有向无环图的批量调度系统的运行状态，判断批量调度系统的运行是否中断。若批量调度系统的运行出现中断，说明需要及时对中断的异常节点任务进行处理。

在判断为批量调度系统的运行状态为中断的状态时，对异常节点任务进行定位，确定产生中断的异常节点任务。在确定异常节点任务后，对批量调度系统进行重提。对于该异常节点任务，重提批量调度系统后，批量调度系统获取该该异常节点任务在重提后的执行结果，进而利用重提批量调度系统后该异常节点任务的执行结果，覆盖掉该异常节点任务先前的异常执行结果，从而获得该异常节点任务准确的执行结果，以提高批量调度系统执行结果的准确性。

在本发明的一实施例中，步骤102，在批量调度系统的运行状态为中断时，确定异常节点任务包括：

在批量调度系统的运行状态为中断时，根据异常节点任务的参数信息确定异常节点任务；异常节点任务的参数信息至少包括节点任务标识。

为了快速定位确定异常节点任务，可以统计记录批量调度系统中每个节点任务的参数信息。节点任务的参数信息用于定位与参数信息对应的节点任务，区分和标识批量调度系统中的每个节点任务。批量调度系统中每个节点任务具有不同的参数信息，即不同的参数信息对应不同的节点任务，在参数信息确定的情况下，参数信息对应的节点任务在批量调度系统中是唯一确定的。

另外，本领域技术人员可以理解的是，异常节点任务的参数信息不仅可以包括节点任务标识(节点任务ID)，还可以包括除上述节点任务标识之外的其它的参数信息，例如节点任务的关键字段信息，本发明实施例对此不作特别的限制。

在本发明实施例中，在批量调度系统的运行状态为中断时，根据异常节点任务的参数信息确定异常节点任务，可以提高确定异常节点任务的效率。

在本发明实施例中，监测基于有向无环图的批量调度系统的运行状态，在监测到批量调度系统的运行状态为中断时确定异常节点任务，进而重提批量调度系统，利用重提后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，能够提高批量调度系统执行结果的准确性。

另一方面，在批量调度系统不出问题的情况下，批量调度系统是全天候不间断运转的，不可能人力时时刻刻紧盯批量调度系统。若批量调度系统发生中断问题，可能人工很久才会发现，此时批量调度系统可能已经停止运转较长时间了。针对出现问题的异常节点任务，人工还需要逐个手动判断和处理，给批量调度系统的运转及维护带来较为繁重的工作。

可见，现有技术中当批量调度系统出现中断时，需要人工判断和处理异常节点任务，不仅需要大量的人力支持，同时人工干预还产生了大量的处理和维护工作，由此导致批量调度系统对中断异常的处理效率较低。

而本发明实施例提供的批量调度系统的控制方法，当批量调度系统出现中断异常时，完全不需要人工干预和处理异常，因此，可以极大的提高批量调度系统对中断异常的处理效率。另一方面，还可以节省人力及人工成本，降低批量调度系统的维护工作量。

图2示出了本发明实施例提供的批量调度系统的控制方法中步骤101的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，如图2所示，步骤101，监测基于有向无环图的批量调度系统的运行状态，包括：

步骤201，按照预设时间间隔监测基于有向无环图的批量调度系统的运行状态。

在监测批量调度系统的运行状态时，可以预先设定监测的时间间隔，以按照预先设定的时间间隔自动监测批量调度系统的运行状态，这样可以及时发现中断异常的批量调度系统，提高批量调度系统处理异常的效率，同时还可以避免和消除人工干预，降低批量调度系统的维护工作量。

其中，预设时间间隔为预先设定的时间间隔，本领域技术人员可以理解的是，可以根据实际情况和具体需求预先设定该预设时间间隔。例如，预先设定该预设时间间隔为2小时，4小时或12小时，或24小时等。本领域技术人员可以理解的是，还可以预先设定该预设时间间隔为除上述时间间隔之外的其它时间间隔，例如0.5小时，3小时或6小时等，本发明实施例对此不作特别的限制。

在本发明实施例中，按照预设时间间隔自动监测基于有向无环图的批量调度系统的运行状态，可以提高批量调度系统处理异常的效率，避免人工干预处理异常的工作，降低批量调度系统的维护工作量。

图3示出了本发明实施例提供的批量调度系统的控制方法中步骤101的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，如图3所示，步骤101，监测基于有向无环图的批量调度系统的运行状态，包括：

步骤301，在接收到监测触发指令时监测基于有向无环图的批量调度系统的运行状态。

申请人进过实践后发现，有时候可能需要按照实际的需求临时或者在某段时间内间歇性的监测批量调度系统的运行状态，以满足特定的、个性化的监测需求。即通过监测触发指令的方式，在接收到监测触发指令时，根据接收到的监测触发指令对批量调度系统进行监测，这样可以提高批量调度系统运行状态监测的灵活性，满足个性化的监测需求。

在本发明实施例中，在接收到监测触发指令时监测基于有向无环图的批量调度系统的运行状态，可以提高监测批量调度系统的灵活性，满足个性化的监测需求。

图4示出了本发明实施例提供的批量调度系统的控制方法中步骤102的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，异常节点任务包括第一异常节点任务，第一异常节点任务每次重提批量调度系统的执行结果均一致。如图4所示，步骤102，在批量调度系统的运行状态为中断时，确定异常节点任务，包括：

步骤401，在批量调度系统的运行状态为中断时，确定第一异常节点任务；

相应的，步骤103，重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，包括：

步骤402，重提批量调度系统，利用重提批量调度系统后第一异常节点任务的执行结果覆盖第一异常节点任务的异常执行结果。

对于批量调度系统中的节点任务来说，有些节点任务可以支持重跑。即若同一节点任务不论重复执行多少次，每次执行结果都是一致的，该部分节点任务即为支持重跑的节点任务。针对这些节点任务的开发设计文档，需要支持覆盖操作。例如，某个节点任务的开发设计文档中设计的表需要支持insert overwrite(覆盖)操作，而不仅仅是insertinto(插入)操作；还例如在写入文件时，利用的是覆盖操作而非追加或者插入的方式等等。

具体的，例如某个节点任务是把一个表中的数据写入一个文件中，节点任务每次执行应该是覆盖文件内容，而非采用追加或者插入的方式，这样才能保证该节点任务每次执行结果都一致。再例如某个节点任务是将多个数据源根据一定的逻辑关系把结果插入到某张表中，在设计该节点任务的开发设计文档时，就要保证是覆盖的方式而非直接追加的方式。

在本发明实施例中，第一异常节点任务为能够支持重跑的节点任务，即第一异常节点任务每次重提批量调度系统的执行结果均一致。在批量调度系统的运行状态为中断的状态时，确定第一异常节点任务。针对该第一异常节点任务，重提批量调度系统时获取该第一异常节点任务的执行结果，进而利用重提后该第一异常节点任务的执行结果覆盖该第一异常节点任务先前的异常执行结果，这样可以进一步提高批量调度系统执行结果的准确性。

在本发明实施例中，在批量调度系统的运行状态为中断时，确定第一异常节点任务，进而重提批量调度系统，利用重提批量调度系统后第一异常节点任务的执行结果覆盖第一异常节点任务的异常执行结果，鉴于第一异常节点任务每次重提批量调度系统的执行结果均一致，利用重提后的执行结果覆盖之前的异常执行结果，能够提高批量调度系统执行结果的准确性。

在本发明的一实施例中，在批量调度系统的运行状态为中断时，确定第一异常节点任务，包括：

在批量调度系统的运行状态为中断时，根据第一异常节点任务的参数信息确定第一异常节点任务；第一异常节点任务的参数信息至少包括节点任务标识。

具体的，根据第一异常节点任务的参数信息确定第一异常节点任务，与上述实施例中根据异常节点任务的参数信息确定异常节点任务类似，具体请参见上述实施例相关部分的描述，此处不在相似赘述。

另外，本领域技术人员可以理解的是，第一异常节点任务的参数信息除了包括节点任务标识之外，还可以包括其它可以实现根据参数信息定位对应的节点任务的参数信息，例如第一节点任务的关键字段信息等，本发明实施例对此不作特别的限制。

在本发明实施例中，在批量调度系统的运行状态为中断时，根据第一异常节点任务的参数信息确定第一异常节点任务，可以提高确定异常节点任务的效率。

图5示出了本发明实施例提供的批量调度系统的控制方法中步骤102的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，异常节点任务包括配置在清理配置表中的第二异常节点任务，清理配置表中同一节点任务每次重提批量调度系统的执行结果不一致。如图5所示，步骤102，在批量调度系统的运行状态为中断时，确定异常节点任务，包括：

步骤501，在批量调度系统的运行状态为中断时，确定预置的清理配置表中第二异常节点任务；

相应的，步骤103，重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，包括：

步骤502，对第二异常节点任务的异常执行结果进行清理；

步骤503，重提批量调度系统，获取重提批量调度系统后第二异常节点任务的执行结果。

对于批量调度系统中的节点任务来说，有些节点任务是不支持重跑的。即若同一节点任务每次的执行结果时不一致的，该部分节点任务即为不支持重跑的节点任务。在本发明实施例中，针对这些不支持重跑的节点任务，可以将该部分节点任务，或者该部分节点任务的参数信息记录在清理配置表中，即预先配置该清理配置表，清理配置表包含所有支持重跑的节点任务的参数信息。

另外，本领域技术人员可以理解的是，此处节点任务的参数信息不仅可以包括节点任务标识，还可以包括除上述节点任务标识之外的其它参数信息，例如节点任务的关键字段信息，本发明实施例对此不作特别的限制。

在本发明实施例中，第二异常节点任务为不支持重跑的节点任务，即第二异常节点任务每次重提批量调度系统的执行结果不一致。在批量调度系统的运行状态为中断时，确定第二异常节点任务，该第二异常节点任务或者第二异常节点任务的参数信息包含在预先配置的清理配置表中。针对该第二异常节点任务，首先清理该第二异常节点任务先前的异常执行结果，进而在重提批量调度系统后，获取重提后该第二异常节点任务的执行结果，此时该第二异常节点任务的执行结果为准确的执行结果，从而不会在批量调度系统中引入异常数据，因此能够提高批量调度系统执行结果的准确性。

在本发明实施例中，在批量调度系统的运行状态为中断时，确定预置的清理配置表中第二异常节点任务，进而对第二异常节点任务的异常执行结果进行清理，最后重提批量调度系统，获取重提批量调度系统后第二异常节点任务的执行结果，鉴于第二异常节点任务每次重提批量调度系统的执行结果不一致，在重提批量调度系统时先对异常执行结果进行清理，进而获取重提后第二异常节点任务的执行结果，因此，能够提高批量调度系统执行结果的准确性。

图6示出了本发明实施例提供的批量调度系统的控制方法的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，如图6所示，批量调度系统的控制方法，在上述方法步骤的基础上，还包括：

步骤601，根据接收到的配置指令配置清理配置表中的节点任务。

为了能够快速定位异常节点任务，对于批量调度系统中不支持重跑的节点任务，需要对该部分的节点任务进行配置或记录，以便在重提批量调度系统时，定位对应的异常节点任务，并执行清理异常节点任务的异常执行结果的进程，以避免在批量调度系统中引入异常数据。

另外，有时候可能需要对清理配置表中的节点任务进行调整，例如，增加、删除或者修改等。有时候又需要根据实际业务的需要，临时调整(例如增加清理配置表中的节点任务)或者在某段时间内间歇性的调整清理配置表中的节点任务，以满足临时的、个性化的节点任务的配置需求。此时，可以通过配置指令的的方式，即在接收到(节点任务的)配置指令时，根据接收到的配置指令对清理配置表中的节点任务进行配置，例如增加新的节点任务至清理配置表中，或者将清理配置表中已然存在的节点任务删除等。

在本发明实施例中，根据接收到的配置指令配置清理配置表中的节点任务，可以按需配置清理配置表中的节点任务，不仅可以提高配置节点任务的灵活性，还可以提高控制批量调度系统的灵活性。

在本发明的一实施例中，如图6所示，批量调度系统的控制方法，在上述方法步骤的基础上，还包括：

步骤602，根据接收到的配置指令配置清理配置表中节点任务的参数信息；节点任务的参数信息至少包括节点任务标识；

相应的，步骤103，在批量调度系统的运行状态为中断时，确定预置的清理配置表中第二异常节点任务，包括：

步骤603，在批量调度系统的运行状态为中断时，根据清理配置表中第二异常节点任务的参数信息确定对应的第二异常节点任务。

根据接收到的配置指令配置清理配置表中节点任务的参数信息，与上述实施例中根据接收到的配置指令配置清理配置表中节点任务相类似，具体请参见上述实施例中相关实施例的描述，此处不再详细赘述。

同样的，申请人经过研究进一步发现，有时候可能需要对清理配置表中的节点任务的参数信息进行调整，例如，增加、删除或者修改等。有时候又需要根据实际业务的需要，临时调整(例如增加清理配置表中的节点任务的参数信息)或者在某段时间内间歇性的调整清理配置表中的节点任务的参数信息，以满足临时的、个性化的节点任务参数信息的配置需求。此时，可以通过配置指令的的方式，即在接收到(节点任务的参数信息)配置指令时，根据接收到的配置指令对清理配置表中的节点任务的参数信息进行配置，例如增加节点任务的参数信息至清理配置表中，或者将清理配置表中已然存在的节点任务的参数信息删除等。

具体的，根据第二异常节点任务的参数信息确定对应的第二异常节点任务，与上述实施例中根据异常节点任务的参数信息确定异常节点任务类似，具体请参见上述实施例相关部分的描述，此处不在相似赘述。

另外，本领域技术人员可以理解的是，第二异常节点任务的参数信息除了包括节点任务标识之外，还可以包括其它可以实现根据参数信息定位对应的节点任务的参数信息，例如第二异常节点任务的关键字段信息等，本发明实施例对此不作特别的限制。

在本发明实施例中，根据接收到的配置指令配置清理配置表中节点任务的参数信息，在批量调度系统的运行状态为中断时，根据清理配置表中第二异常节点任务的参数信息确定对应的第二异常节点任务。鉴于节点任务的参数信息与节点任务对应，通过节点任务的参数信息可以快速定位，确定对应的节点任务，因此，能够提高确定异常节点任务的效率。

本发明实施例中还提供了一种批量调度系统的控制装置，如下面的实施例所述。由于这些装置解决问题的原理与批量调度系统的控制方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。

图7示出了本发明实施例提供的批量调度系统的控制装置的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

参考图7，所述批量调度系统的控制装置所包含的各个模块用于执行图1对应实施例中的各个步骤，具体请参阅图1以及图1对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述批量调度系统的控制装置包括监测模块701、异常确定模块702及重提覆盖模块703。

监测模块701，用于监测基于有向无环图的批量调度系统的运行状态；

异常确定模块702，用于在批量调度系统的运行状态为中断时，确定异常节点任务；

重提覆盖模块703，用于重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果。

在本发明实施例中，监测模块701监测基于有向无环图的批量调度系统的运行状态，异常确定模块702在监测到批量调度系统的运行状态为中断时确定异常节点任务，进而重提覆盖模块703重提批量调度系统，利用重提后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，能够提高批量调度系统执行结果的准确性。

在本发明的一实施例中，异常确定模块702包括：

异常确定单元，用于在批量调度系统的运行状态为中断时，根据异常节点任务的参数信息确定异常节点任务；异常节点任务的参数信息至少包括节点任务标识。

在本发明实施例中，异常确定单元在批量调度系统的运行状态为中断时，根据异常节点任务的参数信息确定异常节点任务，可以提高确定异常节点任务的效率。

图8示出了本发明实施例提供的批量调度系统的控制装置中监测模块701的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，参考图8，所述监测模块701所包含的各个单元用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述监测模块701包括自动监测单元801。

自动监测单元801，用于按照预设时间间隔监测基于有向无环图的批量调度系统的运行状态。

在本发明实施例中，自动监测单元801按照预设时间间隔自动监测基于有向无环图的批量调度系统的运行状态，可以提高批量调度系统处理异常的效率，避免人工干预处理异常的工作，降低批量调度系统的维护工作量。

图9示出了本发明实施例提供的批量调度系统的控制装置中监测模块701的另一结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，参考图9，所述监测模块701所包含的各个单元用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述监测模块701包括触发监测单元901。

触发监测单元901，用于在接收到监测触发指令时监测基于有向无环图的批量调度系统的运行状态。

在本发明实施例中，触发监测单元901在接收到监测触发指令时监测基于有向无环图的批量调度系统的运行状态，可以提高监测批量调度系统的灵活性和适应性。

图10示出了本发明实施例提供的批量调度系统的控制装置中异常确定模块702的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，异常节点任务包括第一异常节点任务，第一异常节点任务每次重提批量调度系统的执行结果均一致。

参考图10，所述异常确定模块702所包含的各个单元用于执行图4对应实施例中的各个步骤，具体请参阅图4以及图4对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述异常确定模块702包括第一异常确定单元1001。

第一异常确定单元1001，用于在批量调度系统的运行状态为中断时，确定第一异常节点任务。

相应的，重提覆盖模块703包括：

重提覆盖单元1102，用于重提批量调度系统，利用重提批量调度系统后第一异常节点任务的执行结果覆盖第一异常节点任务的异常执行结果。

在本发明实施例中，第一异常确定单元1001在批量调度系统的运行状态为中断时，确定第一异常节点任务，进而重提覆盖单元1102重提批量调度系统，利用重提批量调度系统后第一异常节点任务的执行结果覆盖第一异常节点任务的异常执行结果，鉴于第一异常节点任务每次重提批量调度系统的执行结果均一致，利用重提后的执行结果覆盖之前的异常执行结果，能够提高批量调度系统执行结果的准确性。

在本发明的一实施例中，第一异常确定单元1001包括：

第一异常确定子单元，用于在批量调度系统的运行状态为中断时，根据第一异常节点任务的参数信息确定第一异常节点任务；第一异常节点任务的参数信息至少包括节点任务标识。

在本发明实施例中，第一异常确定子单元在批量调度系统的运行状态为中断时，根据第一异常节点任务的参数信息确定第一异常节点任务，可以提高确定异常节点任务的效率。

图11示出了本发明实施例提供的批量调度系统的控制装置异常确定模块702的另一结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，异常节点任务包括配置在清理配置表中的第二异常节点任务，清理配置表中同一节点任务每次重提批量调度系统的执行结果不一致。

参考图11，所述异常确定模块702所包含的各个单元用于执行图5对应实施例中的各个步骤，具体请参阅图5以及图5对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述异常确定模块702包括

第二异常确定单元1101，用于在批量调度系统的运行状态为中断时，确定预置的清理配置表中第二异常节点任务。

相应的，重提覆盖模块703包括清理单元1102及重提获取单元1103。

清理单元1102，用于对第二异常节点任务的异常执行结果进行清理。

重提获取单元1103，用于重提批量调度系统，获取重提批量调度系统后第二异常节点任务的执行结果。

在本发明实施例中，第二异常确定单元1101在批量调度系统的运行状态为中断时，确定预置的清理配置表中第二异常节点任务，进而清理单元1102对第二异常节点任务的异常执行结果进行清理，最后重提获取单元1103重提批量调度系统，获取重提批量调度系统后第二异常节点任务的执行结果，鉴于第二异常节点任务每次重提批量调度系统的执行结果不一致，在重提批量调度系统时先对异常执行结果进行清理，进而获取重提后第二异常节点任务的执行结果，因此，能够提高批量调度系统执行结果的准确性。

图12示出了本发明实施例提供的批量调度系统的控制装置的另一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，参考图12，所述批量调度系统的控制装置所包含的各个单元及子单元用于执行图6对应实施例中的各个步骤，具体请参阅图6以及图6对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述模块结构的基础上，所述批量调度系统的控制装置，还包括节点任务配置模块1201。

节点任务配置模块1201，用于根据接收到的配置指令配置清理配置表中的节点任务。

在本发明实施例中，节点任务配置模块1201根据接收到的配置指令配置清理配置表中的节点任务，可以按需配置清理配置表中的节点任务，不仅可以提高配置节点任务的灵活性，还可以提高控制批量调度系统的灵活性。

在本发明的一实施例中，参考图12，在上述模块结构的基础上，所述批量调度系统的控制装置，还包括参数信息配置模块1202。

参数信息配置模块1202，用于根据接收到的配置指令配置清理配置表中节点任务的参数信息；节点任务的参数信息至少包括节点任务标识。

相应的，第二异常确定单元1101包括：

第二异常确定子单元1203，用于在批量调度系统的运行状态为中断时，根据清理配置表中第二异常节点任务的参数信息确定对应的第二异常节点任务。

在本发明实施例中，参数信息配置模块1202根据接收到的配置指令配置清理配置表中节点任务的参数信息，第二异常确定子单元1203在批量调度系统的运行状态为中断时，根据清理配置表中第二异常节点任务的参数信息确定对应的第二异常节点任务。鉴于节点任务的参数信息与节点任务对应，通过节点任务的参数信息可以快速定位，确定对应的节点任务，因此，能够提高确定异常节点任务的效率。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述批量调度系统的控制方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述批量调度系统的控制方法的计算机程序。

综上所述，本发明实施例在监测到批量调度系统的运行状态为中断时确定异常节点任务，进而重提批量调度系统，利用重提后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，能够提高批量调度系统执行结果的准确性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种批量调度系统的控制方法，其特征在于，包括：

监测基于有向无环图的批量调度系统的运行状态；

在批量调度系统的运行状态为中断时，确定异常节点任务；

重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果。

2.如权利要求1所述的方法，其特征在于，监测基于有向无环图的批量调度系统的运行状态，包括：

按照预设时间间隔监测基于有向无环图的批量调度系统的运行状态。

3.如权利要求1所述的方法，其特征在于，监测基于有向无环图的批量调度系统的运行状态，包括：

在接收到监测触发指令时监测基于有向无环图的批量调度系统的运行状态。

4.如权利要求1所述的方法，其特征在于，异常节点任务包括第一异常节点任务，第一异常节点任务每次重提批量调度系统的执行结果均一致，在批量调度系统的运行状态为中断时，确定异常节点任务，包括：

在批量调度系统的运行状态为中断时，确定第一异常节点任务；

相应的，重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，包括：

重提批量调度系统，利用重提批量调度系统后第一异常节点任务的执行结果覆盖第一异常节点任务的异常执行结果。

5.如权利要求1所述的方法，其特征在于，异常节点任务包括配置在清理配置表中的第二异常节点任务，清理配置表中同一节点任务每次重提批量调度系统的执行结果不一致，在批量调度系统的运行状态为中断时，确定异常节点任务，包括：

在批量调度系统的运行状态为中断时，确定预置的清理配置表中第二异常节点任务；

相应的，重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，包括：

对第二异常节点任务的异常执行结果进行清理；

重提批量调度系统，获取重提批量调度系统后第二异常节点任务的执行结果。

6.如权利要求5所述的方法，其特征在于，还包括：

根据接收到的配置指令配置清理配置表中的节点任务。

7.如权利要求5或6所述的方法，其特征在于，还包括：

根据接收到的配置指令配置清理配置表中节点任务的参数信息；节点任务的参数信息至少包括节点任务标识；

相应的，在批量调度系统的运行状态为中断时，确定预置的清理配置表中第二异常节点任务，包括：

在批量调度系统的运行状态为中断时，根据清理配置表中第二异常节点任务的参数信息确定对应的第二异常节点任务。

8.一种批量调度系统的控制装置，其特征在于，包括：

监测模块，用于监测基于有向无环图的批量调度系统的运行状态；

异常确定模块，用于在批量调度系统的运行状态为中断时，确定异常节点任务；

重提覆盖模块，用于重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7任一所述方法的计算机程序。