CN113886029A - 一种跨地域分布数据中心任务调度方法及系统 - Google Patents

一种跨地域分布数据中心任务调度方法及系统 Download PDF

Info

Publication number
CN113886029A
CN113886029A CN202111204158.7A CN202111204158A CN113886029A CN 113886029 A CN113886029 A CN 113886029A CN 202111204158 A CN202111204158 A CN 202111204158A CN 113886029 A CN113886029 A CN 113886029A
Authority
CN
China
Prior art keywords
task
cluster
module
tasks
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111204158.7A
Other languages
English (en)
Inventor
刘建坤
林海伦
曹小波
刘璐
孙屹飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN202111204158.7A priority Critical patent/CN113886029A/zh
Publication of CN113886029A publication Critical patent/CN113886029A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Abstract

本发明提供了一种跨地域分布数据中心任务调度方法及系统，包括资源管理模块、任务调度模块、任务运行管理模块、任务执行模块和故障恢复模块。资源管理模块：采用心跳信号和集群可用资源表来记录集群运行状态和可用资源情况；任务调度模块：基于消息队列接收用户提交的任务，采用优先队列，结合任务执行优先值来管理任务队列，并根据各地域集群的资源使用情况，任务运行所需数据及集群资源利用率，选择最优集群下发任务，完成任务调度与运行；任务运行管理模块：包括日志管理模块、状态管理模块和结果反馈模块，主要提供日志查询功能和任务运行状态记录功能；故障恢复模块，提高调度系统的稳定性和容错性，为用户提供更好的使用体验。

Description

一种跨地域分布数据中心任务调度方法及系统
技术领域
本发明涉及任务调度技术领域，尤其涉及一种跨地域分布数据中心任务调度方法及系统。
背景技术
任务调度就是根据任务提交的先后顺序、优先级、所需计算资源等条件制定合理的策略安排任务的执行，将任务合理地下发至执行单元上执行，旨在高效、充分利用现有计算资源完成任务。任务调度是跨地域分布式系统的关键能力之一。
随着计算机应用范围日益扩大，大数据时代的到来，分布式系统的进一步发展，如何将跨地域的多个分布式系统集成起来统一调度和管理成为亟需解决的问题。近年来，国内外工业界和学术界对跨地域分布式任务调度方法开展了大量的研究工作。这些工作主要涉及作业的任务调度、集群间数据传输、多集群的资源管理以及跨域作业的任务调度。目前，现有的跨地域分布式调度系统在以下方面存在限制：
第一、在进行简单任务调度时，过于繁杂的调度算法将产生较大开销。
第二、集群的调度日志及调度信息等收集困难。
第三、跨地域传输大量数据，需要耗费大量的通信时间，进而影响整个系统的执行效率。
发明内容
本发明的目的在于提供一种面向跨地域的分布式任务调度方法和系统，采用优先队列管理待执行任务，充分考虑各地域集群的可用资源及任务数据传输消耗等因素，提高任务执行效率和整个系统的资源利用率。采用消息中间件完成调度系统与各地域集群的通信，通过合理的任务调度方法，高效利用各集群的资源完成任务，并支持故障恢复功能，增强了系统的容错性。同时，设置日志管理模块，记录任务运行日志，并提供日志查询功能。该方法能够实现将跨地域的多个集群集成起来统一调度和管理，高效完成任务的调度与执行。
为达到以上目的，本发明采用的技术方案是：一种跨地域分布数据中心任务调度系统，包括：
1)资源管理模块，用于实时监控系统下集群的工作状态和资源可用情况；
2)任务调度模块，用于保存用户提交的任务，对任务进行校验，并根据集群的资源可用情况完成任务的调度下发，任务调度模块包括：任务保存模块、下发校验模块和任务下发模块；
3)任务运行管理模块，用于任务运行期间的运行状态管理和日志管理，其包括状态管理模块、日志管理模块和结果反馈模块；
4)任务执行模块，用于执行已下发任务；
5)故障恢复模块，用于应对调度系统故障问题。
根据本发明的另一方面，提出一种跨地域分布数据中心任务调度方法，包括如下步骤：
步骤1、资源管理模块实时监控系统下集群的工作状态和资源可用情况；
步骤2、待运行任务被提交至调度管理模块，该模块根据资源管理模块实时监控的资源可用情况决定任务是否下发和执行；如资源可用，则通过下发校验子模块对任务进行校验，并通过任务下发子模块完成任务的调度下发；
步骤3、任务执行模块执行已下发任务；
步骤4、任务执行过程中，通过任务运行管理模块记录运行状态、运行日志和运行结果；
步骤5、当执行发生故障时，故障恢复模块应对调度系统故障问题。
有益效果：
本发明的系统和方法采用优先队列管理待执行任务，充分考虑各地域集群的可用资源及任务数据传输消耗等因素，提高任务执行效率和整个系统的资源利用率。采用消息中间件完成调度系统与各地域集群的通信，通过合理的任务调度方法，高效利用各集群的资源完成任务，并支持故障恢复功能，增强了系统的容错性。同时，设置日志管理模块，记录任务运行日志，并提供日志查询功能。该方法能够实现将跨地域的多个集群集成起来统一调度和管理，高效完成任务的调度与执行。
附图说明
图1为本发明的系统框架图；
图2为本发明的系统结构图；
图3为本发明的方法中任务下发至可用集群的流程图；
图4为本发明的方法中任务提交至任务队列的流程图；
图5为本发明的方法中集群执行已下发任务的流程图；
图6为本发明的方法中任务执行流程优化的示例图；
图7为本发明的方法中任务执行流程优化的示例图；
图8为本发明的方法中任务出队示意图；
图9为本发明的方法中任务状态转移图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明提出的一种跨域分布式数据中心调度系统，整体架构如图1所示，主要包括以下模块：
(1)资源管理模块
资源管理模块主要功能是：实时监控系统下集群的工作状态和资源可用情况，例如：集群的CPU负载、I/O速率、可用带宽、硬盘容量和内存消耗等情况。
集群工作状态，分为可用和不可用，通过心跳信号是否正常判断集群是否可用。
集群资源可用情况，基于消息中间件完成调度系统和各地域集群的通信，并采用资源可用情况表记录各地域集群的资源可用情况。
(2)任务调度模块
任务调度模块的主要功能是：保存用户提交的任务，对任务进行常规校验，并根据集群的资源可用情况完成任务的调度下发。该模块实现的主要功能包括：任务保存、下发校验和任务下发等。
任务保存：为了合理、全面的调度任务，避免某些任务因为优先级低等原因，而无法执行，根据本发明的一个实施例，提出了一种基于优先队列及自动定义执行优先值的任务保存方法。该方法包括以下步骤：
步骤2-1-1、计算任务的执行优先值V，V的值越大，执行顺序越靠前。V综合考虑任务优先级、任务等待时间及任务复杂度等因素，其计算公式如下。
V＝pl+w0×tw+w1×k/tc
其中，pl表示任务优先级，pl∈{1，2，3，4，5}；tw表示任务等待时间系数，w0、w1为权重参数且满足w0+w1＝1；k为常量值，tc表示任务复杂度，根据如下公式计算，其中D表示任务所需数据量，R表示任务所需资源，a、b是常量值。
tc＝a×D+b×R
步骤2-1-2、将任务提交到任务队列，任务队列采用优先队列存储任务，每当有新任务提交至优先队列时，都要进行一次上滤操作，保证优先值最高的任务位于队首。
支持对已提交任务的优先级进行修改，并进行相应的上滤操作即可。
支持对已提交任务的任务周期进行修改。其中任务周期类型包括单次运行和周期运行，这里采用定时任务框架管理任务，当周期任务时间周期触发时，自动提交任务到任务队列。
下发校验：负责在任务下发前对任务配置进行校验，重点对任务所需资源及数据进行校验，若校验不通过则放弃任务，更新任务状态为失败并将错误原因记录到日志文件。
任务下发：为了合理利用各地域集群资源，降低数据传输消耗，高效执行任务，根据本发明的一个实施例，提出一种基于集群资源、以下发任务为主的任务下发方法，该方法包含以下几个步骤：
步骤2-2-1、根据任务所需资源，结合各地域集群可用资源表，对各地域集群进行过滤，满足当前任务所需资源的集群放入候选集，进行第2-2-2步操作，若没有集群满足则等待一定的时间，再将该任务重新入队，保持其执行优先值不变。
步骤2-2-2、如果存在多个集群满足要求，则根据任务运行所需数据是否在当前集群存储，如有则候选集只保留存储该任务所需数据的集群。
步骤2-2-3、从候选集中选取任务执行集群，采用负载均衡的策略，根据集群的资源利用率确定集群，选择资源利用率低的作为任务执行集群。
步骤2-2-4、下发任务至执行集群，集群返回接收任务的确认信息。
(3)任务运行管理模块
任务运行管理模块主要实现任务的状态管理、日志管理和结果反馈等功能。
状态管理：负责记录任务运行状态、运行结果、运行进度等信息，并提供任务暂停、恢复、停止等功能。
日志管理：负责记录任务运行日志，并提供日志查询功能。
结果反馈：负责将任务执行结果反馈到任务调度系统。
(4)任务执行模块
任务执行模块主要功能是高效完成已下发任务，并且支持多个任务并发执行。任务执行包括以下几个步骤：
步骤4-1、任务分解生成子任务拓扑图。根据任务模型，首先将任务分解成子任务集合，然后根据子任务之间的执行依赖关系，形成一个DAG(有向无环图)，即任务运行拓扑图。
步骤4-2、执行流程优化。根据不同情况进行执行运行流程优化，如果多个子任务之间没有依赖关系，并且前驱都已经执行完毕，则采用并行运行的模式，如图6所示，子任务A执行完毕后，子任务B和子任务C可以并行执行。如图7所示，子任务A执行完毕后，子任务B和子任务C串行执行(记为X)，子任务D和子任务E串行执行(记为Y)，那么X和Y并行执行，等到X和Y均执行完毕再执行子任务F。
步骤4-3、执行任务，遍历子任务拓扑图，首先执行没有依赖的子任务，每当有子任务运行结束后，更新子任务运行状态，进一步更新任务运行拓扑图，将已完成子任务从图中删除，并更新其后继子任务的依赖项，直到所有子任务均执行完毕。
步骤4-4、记录任务状态和任务结果等信息。
(5)故障恢复模块
故障恢复模块提供一种基于备用调度节点的故障恢复方法，提高调度系统的容错性，为用户提供更好的使用体验。
根据本发明的又一实施例，提出一种跨地域分布数据中心任务调度方法，具体步骤如下：
步骤S0、资源管理模块，维护集群工作状态表和各地域集群资源可用表，其中集群工作状态表记录各地域是否可用，集群资源可用表记录集群可用资源以及资源总量。
本发明采用RabbitMQ消息队列实现调度系统和各地域集群的通信，根据心跳信号来判断各地域集群是否可用，若心跳信号正常则集群可用，反之则不可用；集群资源可用信息采用主动推送的方式进行更新，每当各地域集群可用资源发生变化时，集群都会主动的向任务调度系统发送变更信息。其中资源包括：CPU资源、内存资源、硬盘资源和数据传输带宽资源等。
步骤S1、将用户提交的任务保存到任务队列，验证任务、根据调度方法下发至最优执行集群，包括以下步骤：
步骤S1.1将任务保存至任务保存模块的任务队列，该模块接收用户提交的任务，计算出任务的执行优先值，并根据任务的执行优先值插入队列，包括以下步骤：
步骤S1.1.1、计算任务的执行优先值。当有新任务提交到任务调度模块时，首先根据任务优先级pl，任务等待运行时间系数tw和任务的复杂度tc，计算出任务的执行优先值。这里w0和w1均取值0.5，pl∈{1，2，3，4，5}，tw∈{0，1，2，3，4，5}，其计算公式如下，T为任务提交后等待运行的时间，单位为分钟，k取值1。
V＝pl+w0×tw+w1×k/tc
Figure BDA0003306115200000051
tc是任务复杂度，根据如下公式计算，其中D表示任务所需数据量，R表示任务所需资源，这里a、b均取值0.5，D是归一化后的数据量，
Figure BDA0003306115200000052
R是归一化后的任务所需
资源
Figure BDA0003306115200000061
tc＝a×D+b×R
步骤S1.1.2、任务提交到任务队列。这里任务队列采用优先队列的数据结构，任务执行优先值最大的任务位于队首，包括任务入队和出队两种操作：
任务入队，首先将任务插入队尾，然后根据任务的执行优先值进行上滤操作，直到满足优先队列的规则；
任务出队，则将队首任务出队，从当前位置开始进行下滤操作，直到满足优先队列的规则，如图8所示，任务A出队，按照优先队列规则，那么任务C就会上升到A的位置，同理，此时G会上升到C的位置，以此类推，直到达到叶子结点。
任务队列支持对已提交任务的优先级进行修改，修改任务优先级，那么任务的执行优先值就会发生改变，然后对整个任务队列进行构建优先队列的操作即可。
任务队列同时支持对已提交任务的任务周期进行修改。其中任务周期类型包括单次运行和周期运行，本发明调度系统采用定时任务框架Quartz管理任务，当周期任务时间周期触发时，自动将任务提交到任务队列。图3为本发明的方法中任务下发至可用集群的流程图；图4为本发明的方法中任务提交至任务队列的流程图；图5为本发明的方法中集群执行已下发任务的流程图；
步骤S1.2、在任务下发前对任务配置进行校验，重点对任务所需资源及数据进行校验，若校验不通过则放弃任务，更新任务状态为失败并将错误原因记录到日志文件，比如：某任务task1所需资源超过集群所拥有的总资源，那么该任务的资源配置错误，采用任务运行管理模块的状态管理功能，标记上述任务状态为失败，并且将失败原因记录到日志文件，便于后续排查问题。
步骤S1.3将任务队列中的任务下发至可用地域的集群上，从任务队列中取出执行优先值最高的任务，根据任务所需资源、各地域集群可用资源表、任务数据储存地域及各地域集群资源利用率，选择最优的集群负责执行任务，包括以下步骤：
步骤1.3.1、根据任务所需资源，结合各地域集群可用资源表，对各地域集群进行过滤，满足当前任务所需资源的集群放入候选集，进行第2步操作，若没有集群满足则等待一定的时间，再将该任务重新入队，并保持其执行优先值不变。
步骤1.3.2、如果存在多个集群满足要求，则根据任务运行所需数据是否在当前集群存储，如有则候选集只保留存储该任务所需数据的集群，反之，则不对候选集进行操作。
步骤1.3.3、从候选集中选取任务下发集群，采用负载均衡的策略，根据集群的资源利用率选取最优集群，在同等条件下选择资源利用率最低的集群作为任务下发集群。
步骤1.3.4、下发任务至执行集群，并且监听集群返回接收任务的确认信息，若等待时间超过Th则重新下发任务。
Figure BDA0003306115200000071
其中Tl为设定的等待时间下限，Ti为之前任务确认时间，这里Tl设置为2分钟。
步骤S2、执行模块执行已下发任务，将任务分解生成子任务拓扑图，进行执行流程优化，参考图5对集群执行已下发任务进行详细描述，分为以下几步：
步骤S2.1、任务分解生成子任务拓扑图。根据任务模型，首先将任务分解成子任务集合，然后根据子任务之间的执行依赖关系，形成一个有向无环图，即任务运行拓扑图。
步骤S2.2、执行流程优化。根据不同情况进行执行运行流程优化，如果多个子任务之间没有依赖关系，并且前驱都已经执行完毕，则采用并行运行的模式，如图6所示，子任务A执行完毕后，子任务B和子任务C可以并行执行。如图7所示，子任务A执行完毕后，子任务B和子任务C串行执行(记为X)，子任务D和子任务E串行执行(记为Y)，那么X和Y并行执行，等到X和Y均执行完毕再执行子任务F。
步骤S2.3、执行任务，遍历子任务拓扑图，首先执行没有依赖的子任务(即图中没有前驱节点的节点)，每当有子任务运行结束后，更新子任务运行状态，进一步更新任务运行拓扑图，将已完成子任务从图中删除，并更新其后继子任务的依赖项。
步骤S2.4、继续执行没有依赖的子任务，并依据步骤S2.3更新任务运行拓扑图，直到所有任务都执行完毕。
步骤S2.5、通过任务运行管理模块记录任务的运行状态和运行结果等信息。
其中，所述任务运行管理模块：包括状态管理模块、日志管理模块和结果反馈模块。
所述的状态管理模块，用于记录任务运行状态、运行进度、任务起止时间等信息，其中任务状态包括：就绪态(WAITING)、运行态(RUNNING)、暂停态(PAUSE)、停止态(STOP)、成功态(FINISH)、失败态(FAILURE)，其状态转换过程如图9所示：
就绪态——>运行态：任务从任务队列里出队，下发至集群开始执行；
运行态——>成功态：任务执行成功，释放所占资源；
运行态——>失败态：任务执行失败，释放所占资源；
运行态——>停止态：任务停止，释放所占资源；
运行态——>暂停态：任务暂停，保存运行上下文信息，便于后续任务恢复；
暂停态——>运行态：根据任务的运行上下文信息，恢复运行。
日志管理模块：提供日志查询功能，支持根据时间、任务ID单一条件查询和多条件相结合的方式进行查询。
所述的故障恢复模块，提供了故障恢复机制，通过监听节点实时监控任务调度系统的心跳信号是否正常运行，若心跳信号异常，则判定调度系统故障，立刻采用备用节点作为任务调度系统，并把任务队列、任务状态等信息同步到上述节点。
上述调度系统需要设定定时任务，将任务队列、运行状态等信息持久化到硬盘，方便后续故障恢复时的关键数据同步。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.一种跨地域分布数据中心任务调度系统，其特征在于，包括：
资源管理模块，用于实时监控系统下集群的工作状态和资源可用情况；
任务调度模块，用于保存用户提交的任务，对任务进行校验，并根据集群的资源可用情况完成任务的调度下发，任务调度模块包括：任务保存模块、下发校验模块和任务下发模块；
任务运行管理模块，用于任务运行期间的运行状态管理和日志管理，其包括状态管理模块、日志管理模块和结果反馈模块；
任务执行模块，用于执行已下发任务；
故障恢复模块，用于应对调度系统故障问题。
2.一种跨地域分布数据中心任务调度方法，其特征在于，包括如下步骤：
步骤1、资源管理模块实时监控系统下集群的工作状态和资源可用情况；
步骤2、待运行任务被提交至调度管理模块，该模块根据资源管理模块实时监控的资源可用情况决定任务是否下发和执行；如资源可用，则通过下发校验子模块对任务进行校验，并通过任务下发子模块完成任务的调度下发；
步骤3、任务执行模块执行已下发任务；
步骤4、任务执行过程中，通过任务运行管理模块记录运行状态、运行日志和运行结果；
步骤5、当执行发生故障时，故障恢复模块应对调度系统故障问题。
3.根据权利要求2所述的一种跨地域分布数据中心任务调度方法，其特征在于，采用消息中间件完成调度系统和各地域集群的通信。
4.根据权利要求2所述的一种跨地域分布数据中心任务调度方法，其特征在于，所述步骤1中，资源管理模块通过心跳信号是否正常判断集群是否可用，并采用资源可用情况表记录各地域集群的资源可用情况。
5.根据权利要求2所述的一种跨地域分布数据中心任务调度方法，其特征在于，所述步骤2中，任务保存具体包括以下步骤：
步骤2a-1、计算任务的执行优先值，其值越大，执行顺序越靠前，执行优先值与任务优先级、任务等待时间及任务复杂度有关；
步骤2a-2、将任务提交到任务队列，任务队列采用优先队列存储任务，每当有新任务提交至优先队列，都要进行一次上滤操作，保证优先值最高的任务在队首。
6.根据权利要求2所述的一种跨地域分布数据中心任务调度方法，其特征在于，所述步骤2、任务下发具体包括以下步骤：
步骤2b-1、根据任务所需资源，结合各地域集群资源表，对各地域集群进行过滤，可用资源满足当前任务的集群放入候选集，如果候选集不为空的话进行第2-3步操作，否则等待一定的时间，再次尝试将该任务提交至任务队列；
步骤2b-2、如果候选集存在多个集群，则根据任务所需数据是否在当前集群存储，对候选集进一步筛选，如集群存储有任务所需数据，那么候选集只保存存储任务数据的集群；
步骤2b-3、从候选集中选取任务执行集群，为提高任务执行效率，采用负载均衡的策略，根据集群的资源利用率确定集群，选择资源利用率低的作为任务执行集；
步骤2b-4、下发任务至集群，集群返回接收任务的确认信息。
7.根据权利要求2所述的一种跨地域分布数据中心任务调度方法，其特征在于，所述步骤2，任务保存支持对已提交任务的优先级进行修改，支持对已提交任务的任务周期进行修改。
8.根据权利要求2所述的一种跨地域分布数据中心任务调度方法，其特征在于，所述步骤3，任务执行主要包括以下步骤：
步骤3-1、任务分解生成子任务拓扑图，根据任务模型，首先将任务分解成子任务集合，然后根据子任务之间的执行依赖关系，形成一个有向无环图，即任务运行拓扑图；
步骤3-2、执行流程优化，根据不同情况进行执行运行流程优化，如果多个子任务之间没有依赖关系，并且前驱都已经执行完毕，则采用并行运行的模式；
步骤3-3、执行任务，遍历子任务拓扑图，首先执行没有依赖的子任务，每当有子任务运行结束后，更新子任务运行状态，进一步更新任务运行拓扑图，将已完成子任务从图中删除，并更新其后继子任务的依赖项，直到所有子任务均执行完毕；
步骤3-4、记录任务状态和任务结果信息。
9.根据权利要求2所述的一种跨地域分布数据中心任务调度方法，其特征在于，所述步骤5、当执行发生故障时，故障恢复模块应对调度系统故障问题，通过监听节点实时监控任务调度系统的心跳信号是否正常运行，若心跳信号异常，则判定调度系统故障，立刻采用备用节点作为任务调度系统，并把任务队列、任务状态信息同步到上述节点。
CN202111204158.7A 2021-10-15 2021-10-15 一种跨地域分布数据中心任务调度方法及系统 Pending CN113886029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111204158.7A CN113886029A (zh) 2021-10-15 2021-10-15 一种跨地域分布数据中心任务调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111204158.7A CN113886029A (zh) 2021-10-15 2021-10-15 一种跨地域分布数据中心任务调度方法及系统

Publications (1)

Publication Number Publication Date
CN113886029A true CN113886029A (zh) 2022-01-04

Family

ID=79003057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111204158.7A Pending CN113886029A (zh) 2021-10-15 2021-10-15 一种跨地域分布数据中心任务调度方法及系统

Country Status (1)

Country Link
CN (1) CN113886029A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114791855A (zh) * 2022-06-23 2022-07-26 中航金网(北京)电子商务有限公司 云平台下的任务调度方法、装置、介质、设备和程序产品
CN115550972A (zh) * 2022-11-30 2022-12-30 成都中星世通电子科技有限公司 一种电磁感知任务自动分解与资源分配方法及系统
CN117519953A (zh) * 2024-01-08 2024-02-06 北京大学 一种面向服务器无感知计算的分离式内存管理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114791855A (zh) * 2022-06-23 2022-07-26 中航金网(北京)电子商务有限公司 云平台下的任务调度方法、装置、介质、设备和程序产品
CN114791855B (zh) * 2022-06-23 2022-09-16 中航金网(北京)电子商务有限公司 云平台下的任务调度方法、装置、介质、设备和程序产品
CN115550972A (zh) * 2022-11-30 2022-12-30 成都中星世通电子科技有限公司 一种电磁感知任务自动分解与资源分配方法及系统
CN117519953A (zh) * 2024-01-08 2024-02-06 北京大学 一种面向服务器无感知计算的分离式内存管理方法
CN117519953B (zh) * 2024-01-08 2024-04-05 北京大学 一种面向服务器无感知计算的分离式内存管理方法

Similar Documents

Publication Publication Date Title
CN113886029A (zh) 一种跨地域分布数据中心任务调度方法及系统
US8549536B2 (en) Performing a workflow having a set of dependancy-related predefined activities on a plurality of task servers
US20110023049A1 (en) Optimizing workflow execution against a heterogeneous grid computing topology
WO2021143590A1 (zh) 一种分布式容器镜像构建调度系统及方法
Yuan et al. Efficient resource management for cloud computing
CN106959895A (zh) 快速释放线程的资源调度方法和系统
EP3084603B1 (en) System and method for supporting adaptive busy wait in a computing environment
Hu et al. Cloud model-based security-aware and fault-tolerant job scheduling for computing grid
CN107273196A (zh) 生物信息学高性能计算作业调度及系统管理套件
CN116346823A (zh) 一种基于消息队列的大数据异构任务调度方法及系统
CN110928659A (zh) 一种具有自适应功能的数值水池系统远程多平台接入方法
Meddeber et al. Tasks assignment for Grid computing
CN115357395A (zh) 故障设备任务转移方法及系统、电子设备和存储介质
CN112698931B (zh) 一种云工作流分布式调度系统
Saroja et al. Multi-criteria decision-making for heterogeneous multiprocessor scheduling
CN111506407B (zh) Pull模式与Push模式相结合的资源管理与作业调度方法、系统
Xu et al. Towards autonomic virtual applications in the in-vigo system
Wu et al. GA-based job scheduling strategies for fault tolerant grid systems
CN113568722A (zh) 一种基于资源负载预测的任务调度优化数据处理系统
CN112581080A (zh) 一种轻量级的分布式工作流引擎构建系统
Sinha Designing energy management aware task scheduling algorithm and model for cloud data centers
Li et al. Rpbg: Intelligent orchestration strategy of heterogeneous docker cluster based on graph theory
CN113485800B (zh) 基于中心节点的自动派单方法、系统、设备及存储介质
Makhrus et al. An Advantage Actor-Critic Deep Reinforcement Learning Method for Power Management in HPC Systems
CN111459669A (zh) 高动态资源非均衡条件下的多节点任务调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination