CN115981825A - 基于混合式共享状态视图架构的集群并行调度系统 - Google Patents

基于混合式共享状态视图架构的集群并行调度系统 Download PDF

Info

Publication number
CN115981825A
CN115981825A CN202310065956.9A CN202310065956A CN115981825A CN 115981825 A CN115981825 A CN 115981825A CN 202310065956 A CN202310065956 A CN 202310065956A CN 115981825 A CN115981825 A CN 115981825A
Authority
CN
China
Prior art keywords
resource
shadow
state
resources
mining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310065956.9A
Other languages
English (en)
Other versions
CN115981825B (zh
Inventor
李超
贺昊
李元成
陈�全
过敏意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202310065956.9A priority Critical patent/CN115981825B/zh
Publication of CN115981825A publication Critical patent/CN115981825A/zh
Application granted granted Critical
Publication of CN115981825B publication Critical patent/CN115981825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

一种基于混合式共享视图架构下的集群资源并行调度系统,包括:阴影资源管理器、资源挖掘调度器、资源挖掘任务过滤器、状态回声模块。本发明针对共享视图调度架构下难以被利用的阴影资源,在原有的共享视图调度架构上进行升级,有效地降低大规模集群高并行度时调度的冲突,提升集群在调度时延、任务吞吐率、资源利用率等各方面的性能。

Description

基于混合式共享状态视图架构的集群并行调度系统
技术领域
本发明涉及的是一种云资源分配领域的技术,具体是一种基于混合式共享状态视图架构的集群并行调度系统。
背景技术
现有的共享视图架构下的集群调度系统相较于集中式和两级式的架构有着可扩展性强、灵活性高、可配置全局调度策略等优势。因此,共享视图架构逐步成为大规模集群所采用的调度架构。由于现有的共享视图调度架构存在视图更新时延,在高任务负载的情况下集群的调度冲突率会明显升高,从而影响集群整体的性能。面对目前愈发复杂的云原生应用场景,任务粒度越来越小,任务提交速率越来越大,共享视图架构也不可避免地遇到瓶颈。
发明内容
本发明针对现有技术存在的上述不足,提出一种基于混合式共享状态视图架构的集群并行调度系统,针对共享视图调度架构下难以被利用的阴影资源,在原有的共享视图调度架构上进行升级,有效地降低大规模集群高并行度时调度的冲突,提升集群在调度时延、任务吞吐率、资源利用率等各方面的性能。
本发明是通过以下技术方案实现的:
本发明涉及一种基于混合式共享状态视图架构的集群并行调度系统,包括:资源挖掘任务过滤器、状态回声模块、阴影资源管理器和资源挖掘调度器,其中:资源挖掘任务过滤器对于提交的任务,结合过滤阈值将能够调度至阴影资源的任务过滤为资源挖掘任务并分发至资源挖掘调度器中的资源挖掘任务队列,将其余普通任务输出至各个普通调度器;状态回声模块将输入至中央状态视图的状态更新请求和成功的提交进行整合输出为状态回声输出至阴影资源管理器;阴影资源管理器分析状态回声并基于分析结果创建、删除或更新阴影资源状态并更新阴影状态视图的同时,对于阴影资源状态建立索引,便于快速地查询和写入;资源挖掘调度器通过阴影资源管理器查询可用的阴影资源,将资源挖掘任务队列中的资源挖掘任务调度至可用阴影资源,并提交到阴影状态视图;当无可用的阴影资源时则将任务调度至非阴影资源,并提交到中央状态视图,实现集群并行调度。
所述的过滤是指:将任务中符合阴影资源可用资源量和过滤阈值的的任务作为资源挖掘任务分配至资源挖掘调度器。
所述的中央状态视图包括:集群中所有资源的最新状态信息,用于维护集群资源状态和判断调度器调度决策的提交是否成功。
所述的阴影资源是指:共享状态视图架构中的普通调度器无法利用或被利用的概率较小的资源。由于视图更新时延的存在,资源释放时普通调度器无法立刻感知到该资源已释放直到本地状态视图再次更新,在此期间普通调度器无法利用该资源;由于资源等待时延的存在,此时调度器利用该资源的概率较小。
所述的视图更新时延是指:共享状态视图架构中普通调度器本地状态视图本次同步中央状态视图进行更新与上次同步更新的间隔时间。
所述的资源等待时延是指:释放的资源从本地状态视图更新可以被普通调度器看到,直到资源被再次分配的这段时间间隔。
所述的阴影资源状态包括:阴影资源ID,估计存活时间,可用资源量,占用资源量,分配到该阴影资源上的任务,阴影资源对应的资源节点。
所述的阴影资源管理器包括:状态回声分析单元、阴影资源状态计算单元、阴影状态视图单元和阴影资源状态索引单元,其中:状态回声分析单元根据状态回声模块发送的状态回声进行解析得到删除、创建或更新阴影资源状态的分析结果:当分析结果为删除阴影资源状态,则删除阴影状态视图和阴影资源状态索引中对应的阴影资源状态,当分析结果为创建或更新阴影资源状态,则阴影资源状态计算单元利用阴影资源估计函数计算阴影资源的估计存活时间,并根据状态回声中的信息计算其它阴影资源状态后,向阴影状态视图和阴影资源状态索引中添加新的阴影资源状态或更新对应的阴影资源状态;阴影状态视图单元基于所有普通资源和阴影资源的占用情况判断资源挖掘调度器的调度提交是否成功;阴影资源状态索引单元根据阴影资源状态信息对阴影资源状态建立索引,便于对阴影资源状态快速查询。
所述的状态回声包含:资源状态的标志、资源类型与总量、资源对应的节点、资源状态的更新操作,其中:更新状态的资源标志包括阴影资源和非阴影资源;资源状态的更新操作包括占用、释放。
所述的阴影资源存活时间估计函数为:
Figure BDA0004062259200000021
其中:
Figure BDA0004062259200000022
为任务平均资源需求量,
Figure BDA0004062259200000023
任务平均执行时间,
Figure BDA0004062259200000024
Figure BDA0004062259200000025
都根据集群运行的历史统计数据计算得到;R为阴影资源的可用资源量。
所述的解析,具体包括:
1)判断状态回声中资源状态的标志是否为阴影资源;
2)当不是阴影资源,则对资源状态的更新操作进行判断:当为资源释放则分析结果为创建新的资源状态,否则返回结果为不对阴影资源状态进行操作;
3)当为阴影资源,则判断阴影资源状态中估计存活时间是否过时:当过时则返回结果删除阴影资源状态,否则返回结果更新阴影资源状态。
所述的资源挖掘调度器包括:资源挖掘任务队列单元、资源挖掘调度单元以及普通调度单元,其中:资源挖掘任务队列单元对资源挖掘任务过滤器分配的资源挖掘任务进行排队处理,形成待调度的资源挖掘任务队列;资源挖掘调度单元对资源挖掘任务队列中的任务的需求查询阴影资源状态索引,得到可用阴影资源的状态信息后基于调度算法选择合适的阴影资源分配至对应任务,并向阴影状态视图进行提交;当提交请求成功则执行此次调度并更新被分配的阴影资源状态,否则此次调度不执行;在无法查询到可用阴影资源时,资源挖掘调度器中的普通调度单元将资源挖掘任务作为普通任务然后调度至可用的非阴影资源,并向中央状态视图进行提交。
所述的资源挖掘任务过滤器包括:过滤阈值计算单元和负载平衡单元,其中:过滤阈值计算单元根据提交任务的历史统计数据、阴影资源存活时间估计函数和平衡调节参数计算得出资源挖掘任务过滤阈值,并将预计执行时间低于过滤阈值以及资源需求符合阴影资源粒度的集群任务过滤为资源挖掘任务并分配给资源挖掘调度器;负载平衡单元根据资源挖掘调度器的负载情况和集群中普通调度器的负载情况动态调节平衡参数,控制分配到资源挖掘调度器的任务数量,实现负载均衡。
所述的资源挖掘任务过滤阈值为:T=βf(R),其中:α为稳定参数。由管理员设置,数值范围为(0,100],数值越低则资源挖掘系统的调度稳定性越高;R为对于提交任务历史数据统计的α分位数;f(R)为阴影资源存活时间估计函数;β为平衡参数,根据资源挖掘调度器和普通调度器的负载情况进行动态调节。
所述的动态调节平衡参数是指:根据比值
Figure BDA0004062259200000031
进行动态调节,使比值K尽可能等于1,其中:avg(DSp)为各个普通调度器平均的调度时延,DSRM为资源挖掘调度器的调度时延。
所述的状态回声模块包括:状态信息复制单元和状态回声生成单元,其中:状态信息复制单元将中央状态视图收到的状态更新请求和在中央状态视图提交成功的调度请求进行复制然后输出至状态回声生成单元;状态回声生成单元将状态信息复制单元复制的信息进行整合,生成状态回声并输出至阴影资源管理器。
本发明涉及一种基于上述系统的集群资源调度方法,包括以下步骤:
步骤1)基于共享状态视图架构设置阴影资源管理器,通过阴影资源管理器分析状态回声信息监测是否有新的阴影资源的产生和原有阴影资源的状态信息的变化后,采用阴影状态视图和阴影资源状态索引的方式管理阴影资源状态信息,便于资源调度系统的利用;
步骤2)根据阴影资源的粒度和过滤阈值,资源挖掘任务过滤器将任务过滤为资源挖掘任务并分配至资源挖掘调度器;
步骤3)根据阴影资源管理器中阴影资源状态索引查询可用的阴影资源,资源挖掘调度器将任务队列中的资源挖掘任务调度至对应的阴影资源,并提交至阴影状态视图,避免资源挖掘调度器向中央状态视图提交影响普通调度器的调度;
步骤4)利用状态回声维护阴影状态视图,避免影响中央状态视图的更新。
所述的阴影资源管理器探查阴影资源的产生、管理阴影资源状态、组织阴影资源状态索引,具体包括:
①阴影资源管理器接收并分析状态回声模块输出的状态回声;
②当状态回声为非阴影资源释放,则根据释放资源的类型和总量等属性计算阴影资源估计存活时间,然后创建新的阴影资源状态并添加索引;
③当状态回声为阴影资源释放或阴影资源被占据,则根据释放或被占据的资源的总量等属性更新相对应的阴影资源状态;
④每次对于任一阴影资源的操作都会检查这一阴影资源的预估存活时间;当估计存活时间小于现在时间,则删除该阴影资源状态和索引;同时,阴影资源管理器也会周期性地删除估计存活时间小于现在时间的阴影资源状态及其索引。
技术效果
本发明通过利用集群中存在的难以被利用的阴影资源,设计基于混合式共享状态视图架构的集群并行调度系统,通过阴影资源管理器、资源挖掘调度器、资源挖掘任务过滤器间协同工作实现对于阴影资源监测、管理和利用等功能,并能在基于共享状态视图的原调度系统上进行向后兼容的升级。
与现有技术相比,本发明有效地挖掘和利用集群中难以被利用的阴影资源,实现在不增加额外的集群资源的情况下增加集群可利用资源总量,提高集群任务吞吐量、任务放置时延、资源利用率、调度冲突率等性能表现;本发明提高基于共享状态视图的原调度系统对任务提交速率的承受上限,有效地提高集群应对突发性工作负载的能力,增强集群调度系统运行的稳定性。
附图说明
图1为本发明系统架构示意图;
图2为本发明中阴影资源管理器示意图;
图3为本发明中阴影资源状态维护流程示意图;
图4为实施例效果示意图。
具体实施方式
如图1所示,为本实施例应用场景,包括:存在数量众多工作节点的大规模集群;集群调度架构应用共享状态视图架构,且具有多个并行的调度器和中央状态视图;调度器通过向中央状态视图提交调度请求实现并行控制,保证并行调度的正确性;通过中央状态视图和调度器的本地状态视图同步更新,实现调度器对全局资源的调度能力,并存在视图更新时延;在中央状态视图的工作节点设置阴影资源状态视图、阴影资源管理器和资源挖掘调度器,形成混合式的架构。
本实施例涉及应用于上述场景下的基于共享状态视图调度架构的集群并行调度系统,包括:阴影资源管理器、资源挖掘调度器、资源挖掘任务过滤器和状态回声模块,其中:阴影资源管理器根据状态回声中的信息,对阴影资源进行监测与管理,得到阴影资源状态并组织成索引,同时更新阴影状态视图;阴影状态视图维护着阴影资源在集群中最新的状态信息和中央状态视图中普通资源的状态信息。资源挖掘调度器通过阴影资源状态索引快速获取可用阴影资源的状态信息,并根据调度算法选择阴影资源进行调度;资源挖掘任务过滤器对提交的任务进行过滤,将部分符合阴影资源可用资源量和估计存活时间的任务过滤为资源挖掘任务并分配给资源挖掘调度器;资源挖掘过滤器通过调节过滤阈值控制分配给资源挖掘调度器的任务速率以保证负载均衡;状态回声模块根据集群输出至中央状态视图的状态更新请求和提交到中央状态视图的调度请求,生成状态回声并输出至阴影资源管理器,帮助阴影资源管理器实时监测阴影资源的产生和维护阴影资源的最新状态信息。
本实施例涉及基于对于上述系统的集群并行调度方法,包括如下步骤:
步骤1:设置共享视图调度架构中普通调度器本地状态视图与中央状态视图的更新时延Ud,并在调度过程中进行周期性的更新;根据集群历史运行信息记录,统计任务平均资源需求量
Figure BDA0004062259200000051
集群任务平均执行时间
Figure BDA0004062259200000052
资源等待时延Wd;根据任务平均资源需求量
Figure BDA0004062259200000053
集群任务平均执行时间
Figure BDA0004062259200000054
视图更新时延Ud和资源等待时延Wd,设置阴影资源存活时间估计函数
Figure BDA0004062259200000055
R为资源需求量;
步骤2:设置资源挖掘任务过滤器;根据提交任务需求的历史统计数据以及设置的稳定参数α,计算得出任务需求的α分位数R,代入阴影资源存活时间估计函数f(R)并乘以平衡参数β得到过滤阈值T=βf(R);根据上述计算的过滤阈值的结果设置资源挖掘任务过滤器的过滤阈值,将任务预计执行时间不大于过滤阈值T且符合阴影资源粒度的任务进行筛选并作为资源挖掘任务分配给资源挖掘调度器。
所述的资源挖掘任务过滤器根据目前资源挖掘调度器和普通调度器的负载,动态地调节稳定参数α控制分发给资源挖掘调度器的任务和其他调度器的任务,以实现负载均衡,避免分发给资源挖掘调度器过多的任务导致性能下降。稳定参数α根据比值
Figure BDA0004062259200000056
在资源挖掘调度系统运行中动态调节,当K大于1则增大平衡参数,当K小于1则减小平衡参数;
步骤3:设置阴影资源管理器,如图2所示,阴影资源管理器中具有许多的阴影资源状态,并根据常用的查询需求组织成可以被快速查询的索引;阴影资源状态具有阴影资源ID、估计存活时间、可用资源量、占用资源量、分配任务、节点等状态信息,并可以根据调度需求增添其他的状态信息;
步骤4:在阴影资源管理器模块中设置阴影状态视图,每次中央状态视图收到集群发送的资源状态更新请求和调度提交时,状态回声模块复生成状态回声输出至阴影资源管理器;阴影资源管理器根据状态回声确保阴影资源状态视图存有最新的阴影资源占用的状态信息和中央状态视图中资源的状态信息;
如图3所示,所述的阴影资源管理器分析收到的状态回声以更新、创建、删除阴影资源状态,具体操作过程为:阴影资源管理器判断该资源是否为阴影资源;当非阴影资源,则判断更新操作是否为释放,当更新操作为释放,则利用阴影资源存活时间估计函数f(R)计算阴影资源的估计存活时间,并创建新的阴影资源状态并添加索引,否则不进行操作;当该资源为阴影资源,则判断该阴影资源的估计存活时间是否过时,当未过时则更新相应的阴影资源状态,否则删除阴影资源状态和索引。
步骤5:设置资源挖掘调度器,对资源挖掘任务进行调度;首先设置调度算法,资源挖掘调度器会在阴影资源管理器中查询符合任务需求的可用阴影资源,并根据调度算法选择合适的可用阴影资源进行调度,然后向阴影状态视图提交调度请求,当提交成功则将该任务分配到相应的阴影资源,否则重新调度;当无可用的的阴影资源可被分配,则资源挖掘调度器会将资源挖据任务当做普通任务调度至普通资源上并向中央状态视图进行提交。
经过具体实际实验,在现有大规模集群运行状态环境下测试上述方法,具体为:共享状态视图的更新时延为0.5s,集群规模为5000个物理服务器,任务平均CPU需求为单个节点1.0%的CPU资源,任务平均内存需求为单个节点0.5%的内存资源,任务平均执行时间为4s,普通调度器的数量设置为16个,调度器峰值处理速率为1000个任务每秒;通过在开源大规模集群调度仿真系统进行实验,如图4所示,能够得到的实验数据是:集群处于每分钟21000左右的任务提交速率的工作负载下,任务吞吐率提升约25%,平均资源利用率提升约9%;任务平均放置时延在高工作负载下能得到降低约90%的提升;同时实现相同的集群吞吐量的情况下有效地降低调度冲突率。
所述的开源大规模集群调度仿真系统进行实验,仿真系统中包含集群工作负载采样生成功能,集群参数设置功能,集群性能监测功能等,该仿真系统可以模拟不同调度策略在面对不同负载下的性能表现,并且能够对多种不同的场景进行模拟仿真。
与现有技术相比,本发明通过共享视图调度架构下难以被利用的阴影资源;通过在原有的共享视图调度架构上进行向后兼容的升级,本发明设计利用阴影资源的基于混合式共享状态视图架构的集群并行调度系统,通过阴影资源管理器、资源挖掘调度器、资源挖掘任务过滤器间的协同工作,调度系统实现阴影资源监测、管理和利用等功能,充分有效地利用集群中的阴影资源,改善集群任务吞吐量、任务放置时延、资源利用率、调度冲突率等性能表现,实现在不增加额外的集群资源的情况下增加集群可利用资源总量。
与现有技术相比本发明对原本的共享视图调度架构的调度系统进行升级后,在利用阴影资源的同时几乎不影响原本的共享状态视图架构的调度系统的运行,对原调度系统具有良好的兼容性,通过资源挖掘过滤器的提高原本的调度系统对任务提交速率的承受上限,有效地提高集群应对突发性工作负载的能力,增强集群调度系统运行的稳定性。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种基于混合式共享状态视图架构的集群资源调度系统,其特征在于,包括:资源挖掘任务过滤器、状态回声模块、阴影资源管理器和资源挖掘调度器,其中:资源挖掘任务过滤器对于提交的任务,结合过滤阈值将能够调度至阴影资源的任务过滤为资源挖掘任务并分发至资源挖掘调度器中的资源挖掘任务队列,将其余普通任务输出至各个普通调度器;状态回声模块将输入至中央状态视图的状态更新请求和成功的提交进行整合输出为状态回声输出至阴影资源管理器;阴影资源管理器分析状态回声并基于分析结果创建、删除或更新阴影资源状态并更新阴影状态视图的同时,对于阴影资源状态建立索引,便于快速地查询和写入;资源挖掘调度器通过阴影资源管理器查询可用的阴影资源,将资源挖掘任务队列中的资源挖掘任务调度至可用阴影资源,并提交到阴影状态视图;当无可用的阴影资源时则将任务调度至非阴影资源,并提交到中央状态视图,实现集群并行调度;
所述的状态回声包含:资源状态的标志、资源类型与总量、资源对应的节点、资源状态的更新操作,其中:更新状态的资源标志包括阴影资源和非阴影资源;资源状态的更新操作包括占用和释放。
2.根据权利要求1所述的基于混合式共享状态视图架构的集群资源调度系统,其特征是,所述的阴影资源管理器包括:状态回声分析单元、阴影资源状态计算单元、阴影状态视图单元和阴影资源状态索引单元,其中:状态回声分析单元根据状态回声模块发送的状态回声进行解析得到删除、创建或更新阴影资源状态的分析结果:当分析结果为删除阴影资源状态,则删除阴影状态视图和阴影资源状态索引中对应的阴影资源状态,当分析结果为创建或更新阴影资源状态,则阴影资源状态计算单元利用阴影资源估计函数计算阴影资源的估计存活时间,并根据状态回声中的信息计算其它阴影资源状态后,向阴影状态视图和阴影资源状态索引中添加新的阴影资源状态或更新对应的阴影资源状态;阴影状态视图单元基于所有普通资源和阴影资源的占用情况判断资源挖掘调度器的调度提交是否成功;阴影资源状态索引单元根据阴影资源状态信息对阴影资源状态建立索引,便于对阴影资源状态快速查询。
3.根据权利要求2所述的基于混合式共享状态视图架构的集群资源调度系统,其特征是,所述的解析,具体包括:
1)判断状态回声中资源状态的标志是否为阴影资源;
2)当不是阴影资源,则对资源状态的更新操作进行判断:当为资源释放则分析结果为创建新的资源状态,否则返回结果为不对阴影资源状态进行操作;
3)当为阴影资源,则判断阴影资源状态中估计存活时间是否过时:当过时则返回结果删除阴影资源状态,否则返回结果更新阴影资源状态。
4.根据权利要求1所述的基于混合式共享状态视图架构的集群资源调度系统,其特征是,所述的资源挖掘调度器包括:资源挖掘任务队列单元、资源挖掘调度单元以及普通调度单元,其中:资源挖掘任务队列单元对资源挖掘任务过滤器分配的资源挖掘任务进行排队处理,形成待调度的资源挖掘任务队列;资源挖掘调度单元对资源挖掘任务队列中的任务的需求查询阴影资源状态索引,得到可用阴影资源的状态信息后基于调度算法选择合适的阴影资源分配至对应任务,并向阴影状态视图进行提交;当提交请求成功则执行此次调度并更新被分配的阴影资源状态,否则此次调度不执行;在无法查询到可用阴影资源时,资源挖掘调度器中的普通调度单元将资源挖掘任务作为普通任务然后调度至可用的非阴影资源,并向中央状态视图进行提交。
5.根据权利要求1所述的基于混合式共享状态视图架构的集群资源调度系统,其特征是,所述的资源挖掘任务过滤器包括:过滤阈值计算单元和负载平衡单元,其中:过滤阈值计算单元根据提交任务的历史统计数据、阴影资源存活时间估计函数和平衡调节参数计算得出资源挖掘任务过滤阈值,并将预计执行时间低于过滤阈值以及资源需求符合阴影资源粒度的集群任务过滤为资源挖掘任务并分配给资源挖掘调度器;负载平衡单元根据资源挖掘调度器的负载情况和集群中普通调度器的负载情况动态调节平衡参数,控制分配到资源挖掘调度器的任务数量,实现负载均衡。
6.根据权利要求5所述的基于混合式共享状态视图架构的集群资源调度系统,其特征是,所述的阴影资源存活时间估计函数为:
Figure FDA0004062259190000021
其中:
Figure FDA0004062259190000022
为任务平均资源需求量,
Figure FDA0004062259190000023
任务平均执行时间,
Figure FDA0004062259190000024
Figure FDA0004062259190000025
都根据集群运行的历史统计数据计算得到;R为阴影资源的可用资源量。
7.根据权利要求5所述的基于混合式共享状态视图架构的集群资源调度系统,其特征是,所述的动态调节平衡参数是指:根据比值
Figure FDA0004062259190000026
进行动态调节,使比值K尽可能等于1,其中:avg(DSp)为各个普通调度器平均的调度时延,DSRM为资源挖掘调度器的调度时延。
8.根据权利要求1所述的基于混合式共享状态视图架构的集群资源调度系统,其特征是,所述的状态回声模块包括:状态信息复制单元和状态回声生成单元,其中:状态信息复制单元将中央状态视图收到的状态更新请求和在中央状态视图提交成功的调度请求进行复制然后输出至状态回声生成单元;状态回声生成单元将状态信息复制单元复制的信息进行整合,生成状态回声并输出至阴影资源管理器。
9.一种基于权利要求1-8中任一所述系统的集群资源调度方法,其特征在于,基于共享状态视图架构设置阴影资源管理器,用于监测和管理共享状态视图架构集群中难以被利用的阴影资源;根据阴影资源的数量和粒度,资源挖掘任务过滤器通过调整过滤阈值将合适的任务过滤为资源挖掘任务并分配给资源挖掘调度器;根据阴影资源管理器中可用阴影资源的索引,资源挖掘调度器将任务队列中的资源挖掘任务调度至合适的阴影资源,并向阴影状态视图进行此次调度的提交,避免资源挖掘调度器向中央状态视图提交影响分布式调度器的调度;利用状态回声维护阴影状态视图,避免影响中央状态视图的更新;
所述的监测和管理是指:阴影资源管理器通过分析状态回声信息监测是否有新的阴影资源的产生和原有阴影资源的状态信息的变化,然后通过阴影状态视图和阴影资源状态索引的方式管理阴影资源状态信息,便于资源调度系统的利用;
所述的视图更新时延是指:共享状态视图架构中普通调度器本地状态视图本次同步中央状态视图进行更新与上次同步更新的间隔时间;
所述的阴影资源是指:某段时间内,共享状态视图架构中的普通调度器难以利用或被利用的概率较小的资源,由于视图更新时延的存在,资源释放时普通调度器无法立刻感知到该资源已释放直到本地状态视图再次更新,此时普通调度器难以利用该资源。
10.根据权利要求9所述的集群资源调度方法,其特征是,所述的阴影资源管理器探查阴影资源的产生、管理阴影资源状态、组织阴影资源索引,具体包括:
①阴影资源管理器复制集群节点向中央状态视图发送的状态更新请求作为状态回声;
②当状态回声为非阴影资源释放,则根据释放资源的总量等属性计算阴影资源估计存活时间、并创建新的阴影资源索引;
③当状态回声为阴影资源释放或阴影资源被占据,则根据释放或被占据的资源的总量等属性更新相对应的阴影资源状态;
④每次对于任一阴影资源的操作都会检查这一阴影资源的预估存活时间;当预估存活时间小于现在时间,则应视该阴影资源为不可用,并删除该阴影资源的索引。
CN202310065956.9A 2023-02-06 2023-02-06 基于混合式共享状态视图架构的集群并行调度系统 Active CN115981825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310065956.9A CN115981825B (zh) 2023-02-06 2023-02-06 基于混合式共享状态视图架构的集群并行调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310065956.9A CN115981825B (zh) 2023-02-06 2023-02-06 基于混合式共享状态视图架构的集群并行调度系统

Publications (2)

Publication Number Publication Date
CN115981825A true CN115981825A (zh) 2023-04-18
CN115981825B CN115981825B (zh) 2023-08-01

Family

ID=85976045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310065956.9A Active CN115981825B (zh) 2023-02-06 2023-02-06 基于混合式共享状态视图架构的集群并行调度系统

Country Status (1)

Country Link
CN (1) CN115981825B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971197A (zh) * 2008-03-15 2011-02-09 微软公司 用于调度资源分配的用户界面
CN111262841A (zh) * 2020-01-09 2020-06-09 武汉思普崚技术有限公司 一种虚拟微隔离网络的资源调度方法及系统
US20200334070A1 (en) * 2018-01-15 2020-10-22 Telefonaktiebolaget Lm Ericsson (Publ) Management of dynamic sharing of central processing units

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971197A (zh) * 2008-03-15 2011-02-09 微软公司 用于调度资源分配的用户界面
US20200334070A1 (en) * 2018-01-15 2020-10-22 Telefonaktiebolaget Lm Ericsson (Publ) Management of dynamic sharing of central processing units
CN111262841A (zh) * 2020-01-09 2020-06-09 武汉思普崚技术有限公司 一种虚拟微隔离网络的资源调度方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINYU CHENG等: "Global-view based Task Migration for Deep Learning Processor", 《2021 IEEE INTL CONF ON PARALLEL & DISTRIBUTED PROCESSING WITH APPLICATIONS, BIG DATA & CLOUD COMPUTING, SUSTAINABLE COMPUTING & COMMUNICATIONS, SOCIAL COMPUTING & NETWORKING (ISPA/BDCLOUD/SOCIALCOM/SUSTAINCOM)》, pages 908 - 915 *
刘林东: "基于分类挖掘的网格资源分配研究", 《计算机应用研究》, vol. 30, no. 2, pages 371 - 373 *
茶博士_38043550: "分布式调度架构之共享状态 调度", pages 1 - 7, Retrieved from the Internet <URL:https://blog.csdn.net/m0_38043550/article/details/106272594> *
茶博士_38043550: "分布式调度架构之共享状态调度", pages 1 - 7, Retrieved from the Internet <URL:https://blog.csdn.net/m0_38043550/article/details/106272594> *

Also Published As

Publication number Publication date
CN115981825B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111522639B (zh) Kubernetes集群架构系统下多维资源调度方法
CN112199194B (zh) 基于容器集群的资源调度方法、装置、设备和存储介质
US10558498B2 (en) Method for scheduling data flow task and apparatus
US8832703B2 (en) Dynamically changing job allocation priority based on a restoration rate for each user and time frame
EP3770774B1 (en) Control method for household appliance, and household appliance
US6591262B1 (en) Collaborative workload management incorporating work unit attributes in resource allocation
US6785756B2 (en) Methods and systems for multi-policy resource scheduling
CA2785398C (en) Managing queries
EP1750200A2 (en) System and method for executing job step, and computer product
JP2006521640A (ja) データストレージシステムのサービス品質コントローラ及びサービス品質方法
CN102096599A (zh) 一种多队列任务调度方法及相关系统和设备
CN113454614A (zh) 用于分布式计算中的资源划分的系统和方法
US20190014059A1 (en) Systems and methods for allocating computing resources in distributed computing
CN114327843A (zh) 任务调度方法及装置
CN107430526B (zh) 用于调度数据处理的方法和节点
CN116010064A (zh) Dag作业调度和集群管理的方法、系统及装置
CN113051060A (zh) 一种基于实时负载的gpu动态调度方法、装置及电子设备
CN113032102A (zh) 资源重调度方法、装置、设备和介质
CN116708454B (zh) 多集群云计算系统及多集群作业分发方法
Yang et al. Elastic executor provisioning for iterative workloads on apache spark
CN115981825A (zh) 基于混合式共享状态视图架构的集群并行调度系统
CN116360922A (zh) 集群资源调度方法、装置、计算机设备和存储介质
CN101390056A (zh) 应用系统智能优化器
CN114090201A (zh) 资源调度方法、装置、设备及存储介质
JP5441179B2 (ja) ジョブ実行管理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant