CN103838621A - 用于调度例行作业的方法和系统、调度节点 - Google Patents
用于调度例行作业的方法和系统、调度节点 Download PDFInfo
- Publication number
- CN103838621A CN103838621A CN201210490591.6A CN201210490591A CN103838621A CN 103838621 A CN103838621 A CN 103838621A CN 201210490591 A CN201210490591 A CN 201210490591A CN 103838621 A CN103838621 A CN 103838621A
- Authority
- CN
- China
- Prior art keywords
- customary
- customary operation
- computing node
- scheduling
- arrange
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Multi Processors (AREA)
Abstract
本发明公开一种用于调度例行作业的方法和系统、调度节点。其中在用于调度例行作业的方法中，获取各计算节点的资源信息，收集需要调度的例行作业的作业信息，根据各例行作业之间的依赖关系，将例行作业进行分组，针对每个组，按照关键路径法，确定例行作业的关键路径，安排每个组处于关键路径上的例行作业，判断全部例行作业是否已安排完毕，若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。通过利用关键路径法来安排例行作业，填补了在云计算环境中对于例行作业的处理空白，改变以往有人工设置造成资源忙闲不均、利用率比较低的缺点。
Description
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种用于调度例行作业的方法和系统、调度节点。
背景技术
近几年来，云计算模式已经成为企业界和学术界关注和研究的重点。传统的计算模式下，用户维护自己的计算资源、存储资源。在云计算模式下，计算资源、存储资源和网络资源进行集中管理，组成资源池，然后通过调度算法，利用抽象的虚拟化技术，使得一个物理机可以支持多个虚拟机，也可以不同的物理机间迁移虚拟机，从而大大提高了资源的利用率。因此资源集中化管理是云计算平台的基础，而资源调度方法则是云平台的关键。
在企业内部随着越来越多的应用都开始部署在云计算平台上，对于云计算环境中的分布式计算节点，如何通过作业调度以高效处理上层计算请求，提高计算节点的利用率，成为当前研究的热点。国内外研究主要包括多作业并行运行时作业间的调度、单作业运行时子任务的调度和并行运行的子任务数量的优化等。
在作业调度方法中，最基本的是先入先出法，但是系统的整体利用率不是很高，整体响应时间比较长。公平调度方法（FairScheduler）提出可以较好的利用系统的空闲时间，安排较小的作业运行。容量调度（Capacity Scheduler）则是将资源划分多个队列，每个作业分配优先级和资源占用比例，从而提高资源利用率。
以上的资源调度方法，基本上针对需要即时运行的作业集，而不是针对例行作业进行。例行作业是经常性或周期性在需要某段时间内运行完成的作业。这种作业一般具有所需资源已知、作业之间的依赖关系确定、需要开始或完成时间明确的特点。在银行、电信等大企业内部有很多例行作业运行在云计算平台之上。当前对于例行作业在云平台调度目前主要是评人工经验进行设置，这样的缺点主要有：
（1）容易造成设备资源忙闲不均，设备利用率低；
（2）作业依赖关系需要靠作业本身维护，耦合性比较大；
（3）中间插入作业比较困难，需要人工评经验反复调整，并且容易引起资源紧张或者竞争。
发明内容
本发明要解决的技术问题是提供一种用于调度例行作业的方法和系统、调度节点。通过利用关键路径法来安排例行作业，填补了在云计算环境中对于例行作业的处理空白，改变以往有人工设置造成资源忙闲不均、利用率比较低的缺点。
根据本发明的一个方面，提供一种用于调度例行作业的方法，包括：
获取各计算节点的资源信息；
收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系；
根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系；
针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间；
安排每个组处于关键路径上的例行作业；
判断全部例行作业是否已安排完毕；
若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。
根据本发明的另一方面，提供一种用于调度例行作业的调度节点，包括：
获取单元，用于获取各计算节点的资源信息；
收集单元，用于收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系；
分组单元，用于根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系；
关键路径确定单元，用于针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间；
第一安排单元，用于安排每个组处于关键路径上的例行作业；
第一识别单元，用于判断全部例行作业是否已安排完毕；
通知单元，用于在第一识别单元判断全部例行作业已安排完毕时，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。
根据本发明的另一方面，提供一种用于调度例行作业的系统，包括：调度节点、至少一个计算节点，其中：
调度节点，用于获取各计算节点的资源信息；收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系；根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系；针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间；安排每个组处于关键路径上的例行作业；判断全部例行作业是否已安排完毕；若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业；
计算节点，用于根据调度节点的通知获取安排的例行作业以进行作业处理。
本发明通过获取各计算节点的资源信息，收集需要调度的例行作业的作业信息，根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系，针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间，安排每个组处于关键路径上的例行作业，判断全部例行作业是否已安排完毕，若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。通过利用关键路径法来安排例行作业，填补了在云计算环境中对于例行作业的处理空白，改变以往有人工设置造成资源忙闲不均、利用率比较低的缺点。
附图说明
图1为本发明例行作业调度方法一个实施例的示意图。
图2为本发明例行作业调度方法另一实施例的示意图。
图3为本发明调度节点一个实施例的示意图。
图4为本发明调度节点另一实施例的示意图。
图5为本发明例行作业调度系统一个实施例的示意图。
图6为本发明例行作业调度系统一个网络示意图。
具体实施方式
下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。
图1为本发明例行作业调度方法一个实施例的示意图。如图1所示，本实施例的例行作业调度方法步骤如下：
步骤101，获取各计算节点的资源信息。
其中，计算节点资源主要包括计算节点CPU（Central ProcessingUnit，中央处理单元）主频、内存大小、存储大小、网络资源等，还包括计算节点已经安排的作业情况等。
步骤102，收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系。
其中，作业信息包括作业依赖关系、作业所需资源、作业最早开始时间、作业最晚开始时间、作业优先级别等信息。
步骤103，根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系。
步骤104，针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间。
步骤105，安排每个组处于关键路径上的例行作业。
步骤106，判断全部例行作业是否已安排完毕。
步骤107，若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。
基于本发明上述实施例提供的例行作业调度方法，通过获取各计算节点的资源信息，收集需要调度的例行作业的作业信息，根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系，针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间，安排每个组处于关键路径上的例行作业，判断全部例行作业是否已安排完毕，若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。通过利用关键路径法来安排例行作业，填补了在云计算环境中对于例行作业的处理空白，改变以往有人工设置造成资源忙闲不均、利用率比较低的缺点。
优选的，在步骤105中，采用的进一步具体的算法为：将各个群组中关键路径上的，按相同的开始时间的作业进行安排，可以采用装箱算法中的降序最佳适应法（Bidirectional Forwarding Detection，简称：BFD），其中需要考虑，在此时刻已经安排的作业所占用的资源，及CiT=Cit+Cit’-Cit’’。其中CiT为第i个计算节点某一时刻可以用资源，Cit为该i计算节点总的资源，Cit’为预计在该时刻结束的所有作业释放的资源，Cit’’为预计所有计划在该时刻开始作业所需的资源。Cit’’由收集的作业和该作业历史所实际所用资源来确定，一般公式为：Cit’’=αCitp’’+βCitf’’，Citp’’和Citf’’分别为安排作业时设定的所需资源和该作业实际运行过程中平均所耗资源或者最近几次实际运行中该作业平均所耗资源，α和β为经验系数，α+β=1,α,β≥0，也可以由系统进行确定，一种确定的方法为α=1-(|Citp’’-Citf’’|)/(Citp’’+Citf’’)，β=|Citp’’-Citf’’|)/(Citp’’+Citf’’)。
图2为本发明例行作业调度方法另一实施例的示意图。相比于图1所示实施例，在图2所示实施例中，进一步描述了在步骤106中判断还有部分例行作业没有安排完毕的情形。为了简明起见，在图2中仅描述了步骤105-步骤107之间的处理，省略部分与图1所示实施例相应部分相同。
步骤101，获取各计算节点的资源信息。
步骤102，收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系。
步骤103，根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系。
步骤104，针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间。
步骤105，安排每个组处于关键路径上的例行作业。
步骤106，判断全部例行作业是否已安排完毕。若全部例行作业已安排完毕，则执行步骤107；若还有部分例行作业没有安排完毕，则执行步骤201。
步骤107，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。之后，不再执行本实施例的其它步骤。
步骤201，按照自由时间由小到大的顺序以及优先级别由高到低的顺序对所述部分例行作业进行安排。
步骤202，判断所述部分例行作业是否已全部安排完毕。若所述部分例行作业已全部安排完毕，则执行步骤107；若所述部分例行作业中还有未安排完毕的剩余例行作业，则执行步骤203。
步骤203，将所述剩余例行作业的开始时间延迟一个时间单位。
由于资源有限，需要将优先级别低、自由时间大的作业延迟一个时间单位，以便进行作业安排。
步骤204，按照自由时间由小到大的顺序以及优先级别由高到低的顺序对所述剩余例行作业进行安排。
步骤205，判断所述剩余例行作业是否已全部安排完毕。若所述剩余例行作业已全部安排完，则执行步骤107；若所述剩余例行作业中还有未安排完毕的待安排例行作业，则执行步骤206。
步骤206，查询在所述待安排例行作业默认运行时刻各计算节点的剩余资源。若存在具有剩余资源能够满足所述待安排例行作业运行的第一计算节点，则执行步骤207；若存在具有剩余资源之和能够满足所述待安排例行作业运行的多个计算节点，则返回步骤105。
步骤207，安排所述第一计算节点执行所述待安排例行作业，然后返回步骤107。
若发现某一个节点的资源足够，则安排该节点进行相应的作业。若发现多个节点的剩余资源之后可以满足该作业的运行，则对该时刻所有作业进行针对所有计算节点的重排。若仍然不能安排作业，则选择某一优先级别低、自由时间多的作业延后一个时间单位，若是该作业在自由时间内无资源进行安排，可以申请机动资源，或者根据设置规则延后安排该作业。
优选的，当调度节点接收到计算节点发送的重排请求时，将重排请求中包括的不满足前置条件的例行作业作为待安排例行作业，执行查询在所述待安排例行作业默认运行时刻各计算节点的剩余资源的步骤，其中计算节点在运行例行作业前，对运行例行作业的前置条件进行检查。仅在前置条件满足时，才会执行相应作业。
图3为本发明调度节点一个实施例的示意图。如图3所示，用于调度例行作业的调度节点包括：
获取单元301，用于获取各计算节点的资源信息。
收集单元302，用于收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系。
分组单元303，用于根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系。
关键路径确定单元304，用于针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间。
第一安排单元305，用于安排每个组处于关键路径上的例行作业。
第一识别单元306，用于判断全部例行作业是否已安排完毕。
通知单元307，用于在第一识别单元判断全部例行作业已安排完毕时，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。
基于本发明上述实施例提供的调度节点，通过获取各计算节点的资源信息，收集需要调度的例行作业的作业信息，根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系，针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间，安排每个组处于关键路径上的例行作业，判断全部例行作业是否已安排完毕，若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。通过利用关键路径法来安排例行作业，填补了在云计算环境中对于例行作业的处理空白，改变以往有人工设置造成资源忙闲不均、利用率比较低的缺点。
图4为本发明调度节点另一实施例的示意图。与图3所示实施例相比，在图4所示实施例中，调度节点还包括第二安排单元401、第二识别单元402，其中：
第二安排单元401，用于在第一识别单元306判断还有部分例行作业没有安排完毕时，按照自由时间由小到大的顺序以及优先级别由高到低的顺序对所述部分例行作业进行安排。
第二识别单元402，用于判断所述部分例行作业是否已全部安排完毕；若所述部分例行作业已全部安排完毕，则指示通知单元307执行通知相应计算节点获取安排的例行作业的操作。
优选的，调度节点还包括延迟单元403、第三安排单元404、第三识别单元405，其中：
延迟单元403，用于在第二识别单元402判断所述部分例行作业中还有未安排完毕的剩余例行作业时，将所述剩余例行作业的开始时间延迟一个时间单位。
第三安排单元404，用于按照自由时间由小到大的顺序以及优先级别由高到低的顺序对所述剩余例行作业进行安排。
第三识别单元405，用于判断所述剩余例行作业是否已全部安排完毕；若所述剩余例行作业已全部安排完，则指示通知单元307执行通知相应计算节点获取安排的例行作业的操作。
优选的，调度节点还包括查询单元406、第四安排单元407，其中：
查询单元406，用于在第三识别单元405判断所述剩余例行作业中还有未安排完毕的待安排例行作业时，查询在所述待安排例行作业默认运行时刻各计算节点的剩余资源。
第四安排单元407，用于在查询单元406查询到存在具有剩余资源能够满足所述待安排例行作业运行的第一计算节点时，则安排所述第一计算节点执行所述待安排例行作业，然后指示通知单元307执行通知相应计算节点获取安排的例行作业的操作。
优选的，查询单元406还用于在查询到存在具有剩余资源之和能够满足所述待安排例行作业运行的多个计算节点时，指示第一安排单元305执行安排每个组处于关键路径上的例行作业的操作。
优选的，调度节点还包括反馈单元408，用于接收到计算节点发送的重排请求，将重排请求中包括的不满足前置条件的例行作业作为待安排例行作业，指示查询单元406执行查询在所述待安排例行作业默认运行时刻各计算节点的剩余资源的操作，其中计算节点在运行例行作业前，对运行例行作业的前置条件进行检查。
图5为本发明例行作业调度系统一个实施例的示意图。如图5所示，用于调度例行作业的系统包括：调度节点501和至少一个计算节点502，其中：
调度节点501，用于获取各计算节点的资源信息；收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系；根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系；针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间；安排每个组处于关键路径上的例行作业；判断全部例行作业是否已安排完毕；若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业。
计算节点502，用于根据调度节点的通知获取安排的例行作业以进行作业处理。
基于本发明上述实施例提供的例行作业调度系统，通过获取各计算节点的资源信息，收集需要调度的例行作业的作业信息，根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系，针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间，安排每个组处于关键路径上的例行作业，判断全部例行作业是否已安排完毕，若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。通过利用关键路径法来安排例行作业，填补了在云计算环境中对于例行作业的处理空白，改变以往有人工设置造成资源忙闲不均、利用率比较低的缺点。
优选的，调度节点为图3和图4中任一实施例涉及的调度节点。
图6为本发明例行作业调度系统一个网络示意图。如图6所示，系统包括一个调度节点和多个计算节点。计算节点可以使虚拟机，也可以是物理机。为了使得系统具有更广泛是应用范围，调度节点和计算节点之间通过WebServices接口的方式进行交互。其中调度节点主要功能有：节点管理、作业管理、调度管理、节点资源和状态管理、节点作业情况管理、作业通知管理和与计算节点接口等功能。在计算节点部署节点代理（Agent），其主要功能有：与调度节点接口、资源和状态上报、作业情况上报、作业接收及更新、作业前置处理等功能。
本发明在满足作业依赖关系和最晚完成时间的前提下，考虑资源需求和计算节点资源，在满足需求的情况下，尽量均衡的安排作业，从而达到提高资源利用效率的目的，并在运行过程中不断修正作业所需的资源数据，同时增加前置处理，确保作业正常运行。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (14)
1.一种用于调度例行作业的方法，其特征在于，包括：
获取各计算节点的资源信息；
收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系；
根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系；
针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间；
安排每个组处于关键路径上的例行作业；
判断全部例行作业是否已安排完毕；
若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。
2.根据权利要求1所述的方法，其特征在于：
若还有部分例行作业没有安排完毕，则按照自由时间由小到大的顺序以及优先级别由高到低的顺序对所述部分例行作业进行安排；
判断所述部分例行作业是否已全部安排完毕；
若所述部分例行作业已全部安排完毕，则执行通知相应计算节点获取安排的例行作业的步骤。
3.根据权利要求2所述的方法，其特征在于：
若所述部分例行作业中还有未安排完毕的剩余例行作业，则将所述剩余例行作业的开始时间延迟一个时间单位；
按照自由时间由小到大的顺序以及优先级别由高到低的顺序对所述剩余例行作业进行安排；
判断所述剩余例行作业是否已全部安排完毕；
若所述剩余例行作业已全部安排完，则执行通知相应计算节点获取安排的例行作业的步骤。
4.根据权利要求3所述的方法，其特征在于：
若所述剩余例行作业中还有未安排完毕的待安排例行作业，则查询在所述待安排例行作业默认运行时刻各计算节点的剩余资源；
若存在具有剩余资源能够满足所述待安排例行作业运行的第一计算节点，则安排所述第一计算节点执行所述待安排例行作业，然后执行通知相应计算节点获取安排的例行作业的步骤。
5.根据权利要求4所述的方法，其特征在于：
若存在具有剩余资源之和能够满足所述待安排例行作业运行的多个计算节点，则执行安排每个组处于关键路径上的例行作业的步骤。
6.根据权利要求4或5所述的方法，其特征在于：
当接收到计算节点发送的重排请求时，将重排请求中包括的不满足前置条件的例行作业作为待安排例行作业，执行查询在所述待安排例行作业默认运行时刻各计算节点的剩余资源的步骤，其中计算节点在运行例行作业前，对运行例行作业的前置条件进行检查。
7.一种用于调度例行作业的调度节点，其特征在于，包括：
获取单元，用于获取各计算节点的资源信息；
收集单元，用于收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系；
分组单元，用于根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系；
关键路径确定单元，用于针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间；
第一安排单元，用于安排每个组处于关键路径上的例行作业；
第一识别单元，用于判断全部例行作业是否已安排完毕；
通知单元，用于在第一识别单元判断全部例行作业已安排完毕时，通知相应计算节点获取安排的例行作业，以便相应计算节点根据安排的例行作业进行作业处理。
8.根据权利要求7所述的调度节点，其特征在于：调度节点还包括第二安排单元、第二识别单元，其中：
第二安排单元，用于在第一识别单元判断还有部分例行作业没有安排完毕时，按照自由时间由小到大的顺序以及优先级别由高到低的顺序对所述部分例行作业进行安排；
第二识别单元，用于判断所述部分例行作业是否已全部安排完毕；若所述部分例行作业已全部安排完毕，则指示通知单元执行通知相应计算节点获取安排的例行作业的操作。
9.根据权利要求8所述的调度节点，其特征在于：调度节点还包括延迟单元、第三安排单元、第三识别单元，其中：
延迟单元，用于在第二识别单元判断所述部分例行作业中还有未安排完毕的剩余例行作业时，将所述剩余例行作业的开始时间延迟一个时间单位；
第三安排单元，用于按照自由时间由小到大的顺序以及优先级别由高到低的顺序对所述剩余例行作业进行安排；
第三识别单元，用于判断所述剩余例行作业是否已全部安排完毕；若所述剩余例行作业已全部安排完，则指示通知单元执行通知相应计算节点获取安排的例行作业的操作。
10.根据权利要求9所述的调度节点，其特征在于：调度节点还包括查询单元、第四安排单元，其中：
查询单元，用于在第三识别单元判断所述剩余例行作业中还有未安排完毕的待安排例行作业时，查询在所述待安排例行作业默认运行时刻各计算节点的剩余资源；
第四安排单元，用于在查询单元查询到存在具有剩余资源能够满足所述待安排例行作业运行的第一计算节点时，则安排所述第一计算节点执行所述待安排例行作业，然后指示通知单元执行通知相应计算节点获取安排的例行作业的操作。
11.根据权利要求10所述的调度节点，其特征在于：
查询单元还用于在查询到存在具有剩余资源之和能够满足所述待安排例行作业运行的多个计算节点时，指示第一安排单元执行安排每个组处于关键路径上的例行作业的操作。
12.根据权利要求9或10所述的调度节点，其特征在于：调度节点还包括反馈单元，用于接收到计算节点发送的重排请求，将重排请求中包括的不满足前置条件的例行作业作为待安排例行作业，指示查询单元执行查询在所述待安排例行作业默认运行时刻各计算节点的剩余资源的操作，其中计算节点在运行例行作业前，对运行例行作业的前置条件进行检查。
13.一种用于调度例行作业的系统，其特征在于，系统包括调度节点和至少一个计算节点，其中：
调度节点，用于获取各计算节点的资源信息；收集需要调度的例行作业的作业信息，其中作业信息包括各例行作业之间的依赖关系；根据各例行作业之间的依赖关系，将例行作业进行分组，其中不同组的例行作业之间没有依赖关系；针对每个组，按照关键路径法，确定例行作业的关键路径，并标识出各例行作业的自由时间；安排每个组内处于关键路径上的例行作业；判断全部例行作业是否已安排完毕；若全部例行作业已安排完毕，通知相应计算节点获取安排的例行作业；
计算节点，用于根据调度节点的通知获取安排的例行作业以进行作业处理。
14.根据权利要求13所述的系统，其特征在于：
调度节点为权利要求7-12中任一项涉及的调度节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210490591.6A CN103838621B (zh) | 2012-11-27 | 2012-11-27 | 用于调度例行作业的方法和系统、调度节点 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210490591.6A CN103838621B (zh) | 2012-11-27 | 2012-11-27 | 用于调度例行作业的方法和系统、调度节点 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103838621A true CN103838621A (zh) | 2014-06-04 |
| CN103838621B CN103838621B (zh) | 2017-05-10 |
Family
ID=50802153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210490591.6A Active CN103838621B (zh) | 2012-11-27 | 2012-11-27 | 用于调度例行作业的方法和系统、调度节点 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103838621B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217292A (zh) * | 2014-09-03 | 2014-12-17 | 南通北城科技创业管理有限公司 | 一种基于云计算的服务平台系统 |
| CN105354083A (zh) * | 2015-09-30 | 2016-02-24 | 北京京东尚科信息技术有限公司 | 一种检查调度任务前置条件的方法及装置 |
| CN107111799A (zh) * | 2014-12-16 | 2017-08-29 | 微软技术许可有限责任公司 | 作业调度和监测 |
| CN107748696A (zh) * | 2017-09-20 | 2018-03-02 | 上海壹账通金融科技有限公司 | 一种任务调度的方法及终端设备 |
| CN108228329A (zh) * | 2018-02-02 | 2018-06-29 | 观相科技（上海）有限公司 | 一种分组调度系统 |
| CN108958923A (zh) * | 2017-05-25 | 2018-12-07 | 上海华为技术有限公司 | 一种调度硬件加速器的方法以及调度设备 |
| CN109582448A (zh) * | 2018-10-17 | 2019-04-05 | 中国电子科技集团公司第二十八研究所 | 一种面向关键度和时效性的边缘计算任务调度方法 |
| CN109615138A (zh) * | 2018-12-13 | 2019-04-12 | 中国银行股份有限公司 | 一种作业流程调优方法及装置 |
| CN109840248A (zh) * | 2019-01-25 | 2019-06-04 | 中国银行股份有限公司 | 一种作业流程优化方法、装置及存储介质 |
| CN111324426A (zh) * | 2018-12-17 | 2020-06-23 | 中国移动通信集团山东有限公司 | Oracle数据库任务作业管理调度系统及方法 |
| CN111782377A (zh) * | 2020-07-24 | 2020-10-16 | Oppo广东移动通信有限公司 | 一种任务执行控制方法、装置及计算机可读存储介质 |
| CN111857984A (zh) * | 2020-06-01 | 2020-10-30 | 北京文思海辉金信软件有限公司 | 银行系统中的作业调用处理方法、装置和计算机设备 |
| CN113516458A (zh) * | 2021-09-09 | 2021-10-19 | 中电金信软件有限公司 | 一种对批量作业进行分组处理的方法及装置 |
| CN116225669A (zh) * | 2023-05-08 | 2023-06-06 | 之江实验室 | 一种任务执行方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030076780A1 (en) * | 2001-07-27 | 2003-04-24 | Thales | Task management method for a packet switch routing automaton forming part of a secured packet-switching transmission network |
| CN101271296A (zh) * | 2007-03-20 | 2008-09-24 | 京瓷美达株式会社 | 作业调度器以及作业调度方法 |
| CN101339523A (zh) * | 2007-07-05 | 2009-01-07 | 国际商业机器公司 | 多处理器环境中的流水线处理方法和设备 |
| CN102254246A (zh) * | 2011-06-17 | 2011-11-23 | 中国建设银行股份有限公司 | 一种工作流管理方法及其系统 |
-
2012
- 2012-11-27 CN CN201210490591.6A patent/CN103838621B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030076780A1 (en) * | 2001-07-27 | 2003-04-24 | Thales | Task management method for a packet switch routing automaton forming part of a secured packet-switching transmission network |
| CN101271296A (zh) * | 2007-03-20 | 2008-09-24 | 京瓷美达株式会社 | 作业调度器以及作业调度方法 |
| CN101339523A (zh) * | 2007-07-05 | 2009-01-07 | 国际商业机器公司 | 多处理器环境中的流水线处理方法和设备 |
| CN102254246A (zh) * | 2011-06-17 | 2011-11-23 | 中国建设银行股份有限公司 | 一种工作流管理方法及其系统 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217292A (zh) * | 2014-09-03 | 2014-12-17 | 南通北城科技创业管理有限公司 | 一种基于云计算的服务平台系统 |
| CN107111799A (zh) * | 2014-12-16 | 2017-08-29 | 微软技术许可有限责任公司 | 作业调度和监测 |
| CN105354083B (zh) * | 2015-09-30 | 2018-12-04 | 北京京东尚科信息技术有限公司 | 一种检查调度任务前置条件的方法及装置 |
| CN105354083A (zh) * | 2015-09-30 | 2016-02-24 | 北京京东尚科信息技术有限公司 | 一种检查调度任务前置条件的方法及装置 |
| CN108958923A (zh) * | 2017-05-25 | 2018-12-07 | 上海华为技术有限公司 | 一种调度硬件加速器的方法以及调度设备 |
| CN107748696B (zh) * | 2017-09-20 | 2020-05-01 | 深圳壹账通智能科技有限公司 | 一种任务调度的方法及终端设备 |
| CN107748696A (zh) * | 2017-09-20 | 2018-03-02 | 上海壹账通金融科技有限公司 | 一种任务调度的方法及终端设备 |
| CN108228329A (zh) * | 2018-02-02 | 2018-06-29 | 观相科技（上海）有限公司 | 一种分组调度系统 |
| CN109582448B (zh) * | 2018-10-17 | 2021-03-16 | 中国电子科技集团公司第二十八研究所 | 一种面向关键度和时效性的边缘计算任务调度方法 |
| CN109582448A (zh) * | 2018-10-17 | 2019-04-05 | 中国电子科技集团公司第二十八研究所 | 一种面向关键度和时效性的边缘计算任务调度方法 |
| CN109615138A (zh) * | 2018-12-13 | 2019-04-12 | 中国银行股份有限公司 | 一种作业流程调优方法及装置 |
| CN109615138B (zh) * | 2018-12-13 | 2023-01-20 | 中国银行股份有限公司 | 一种作业流程调优方法及装置 |
| CN111324426A (zh) * | 2018-12-17 | 2020-06-23 | 中国移动通信集团山东有限公司 | Oracle数据库任务作业管理调度系统及方法 |
| CN109840248A (zh) * | 2019-01-25 | 2019-06-04 | 中国银行股份有限公司 | 一种作业流程优化方法、装置及存储介质 |
| CN109840248B (zh) * | 2019-01-25 | 2021-03-02 | 中国银行股份有限公司 | 一种作业流程优化方法、装置及存储介质 |
| CN111857984A (zh) * | 2020-06-01 | 2020-10-30 | 北京文思海辉金信软件有限公司 | 银行系统中的作业调用处理方法、装置和计算机设备 |
| CN111782377A (zh) * | 2020-07-24 | 2020-10-16 | Oppo广东移动通信有限公司 | 一种任务执行控制方法、装置及计算机可读存储介质 |
| CN113516458A (zh) * | 2021-09-09 | 2021-10-19 | 中电金信软件有限公司 | 一种对批量作业进行分组处理的方法及装置 |
| CN116225669A (zh) * | 2023-05-08 | 2023-06-06 | 之江实验室 | 一种任务执行方法、装置、存储介质及电子设备 |
| CN116225669B (zh) * | 2023-05-08 | 2024-01-09 | 之江实验室 | 一种任务执行方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103838621B (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103838621A (zh) | 用于调度例行作业的方法和系统、调度节点 | |
| US11829804B2 (en) | Assigning jobs to heterogeneous processing modules | |
| CN103605567B (zh) | 面向实时性需求变化的云计算任务调度方法 | |
| CN102932422B (zh) | 基于改进蚁群算法的云环境任务调度方法 | |
| US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
| CN102063336B (zh) | 一种分布式计算多应用功能异步并发调度方法 | |
| CN103729248B (zh) | 一种基于缓存感知的确定待迁移任务的方法和装置 | |
| CN104102544B (zh) | 混合云环境下多QoS约束的并行任务调度成本优化方法 | |
| EP2755133B1 (en) | Application execution controller and application execution method | |
| CN102387173A (zh) | 一种MapReduce系统及其调度任务的方法和装置 | |
| CN103365726A (zh) | 一种面向gpu集群的资源管理方法和系统 | |
| Adabi et al. | Bi-level fuzzy based advanced reservation of Cloud workflow applications on distributed Grid resources | |
| CN102253857A (zh) | 一种多核环境下的Xen虚拟机调度控制方法 | |
| CN102708003A (zh) | 一种云平台下的资源分配方法 | |
| Choi et al. | pHPA: A proactive autoscaling framework for microservice chain | |
| US8539495B2 (en) | Recording medium storing therein a dynamic job scheduling program, job scheduling apparatus, and job scheduling method | |
| Xiao et al. | A priority based scheduling strategy for virtual machine allocations in cloud computing environment | |
| Selvi et al. | Resource allocation issues and challenges in cloud computing | |
| Dave et al. | Various job scheduling algorithms in cloud computing: A survey | |
| CN107070965B (zh) | 一种虚拟化容器资源下的多工作流资源供给方法 | |
| CN104156505A (zh) | 一种基于用户行为分析的Hadoop集群作业调度方法及装置 | |
| Shu-Jun et al. | Optimization and research of hadoop platform based on fifo scheduler | |
| CN103617083A (zh) | 存储调度方法和系统、作业调度方法和系统及管理节点 | |
| Xu et al. | Expansion slot backfill scheduling for concurrent workflows with deadline on heterogeneous resources | |
| Patel et al. | An improved approach for load balancing among heterogeneous resources in computational grids |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |