CN113434248B - 一种面向容器云的任务协同调度系统及其方法 - Google Patents
一种面向容器云的任务协同调度系统及其方法 Download PDFInfo
- Publication number
- CN113434248B CN113434248B CN202110675449.8A CN202110675449A CN113434248B CN 113434248 B CN113434248 B CN 113434248B CN 202110675449 A CN202110675449 A CN 202110675449A CN 113434248 B CN113434248 B CN 113434248B
- Authority
- CN
- China
- Prior art keywords
- scheduling
- task
- node
- tasks
- scoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 47
- 238000011156 evaluation Methods 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000009123 feedback regulation Effects 0.000 claims abstract description 6
- 230000006872 improvement Effects 0.000 claims abstract description 4
- 230000001419 dependent effect Effects 0.000 claims description 32
- 230000007613 environmental effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000007717 exclusion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000002085 persistent effect Effects 0.000 claims description 5
- 230000002195 synergetic effect Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种面向容器云的任务协同调度系统及其方法，环境特征抽取模块用于从当前资源环境下抽取任务协同调度所需的特征指标，进而支持调度方案构建模块进行节点调度能力的评判；调度方案构建模块用于为当前待调度任务构建当前环境下的最优调度方案；调度方案执行模块用于调度方案的执行，即负责将待调度任务调度到调度方案指定的最优调度节点；调度评估与反馈调节模块用于对最优调度方案的实际调度效果进行评估，即根据评估规则，对任务调度后环境资源状态的改善情况进行评判，评判结果被反馈到调度方案构建模块，用于改善评分算法评分的准确性。本发明在具有不同依赖特征关系的多目标任务调度方面，提升了资源收敛效果和调度性能。
Description
技术领域
本发明涉及容器云任务调度技术，具体涉及一种面向容器云的任务协同调度系统及其方法。
背景技术
作为云计算发展的主流分支，容器云进一步提炼了云计算，使其以更轻量、更节约、更快捷的方式供应高质量计算资源的任务能力。随着容器云技术的不断发展，越来越多的应用开始容器化改造后迁移到云端，或直接面向容器云，采用云原生架构开发、集成与部署，依托容器轻量化、资源耗费少、启动快，以及云端强大的集中式存储与处理能力等优势，旨在为用户提供更加高效、优质的任务。但是，由于云原生任务的架构特点，容器云平台中任务具有数量大、依赖关系复杂、版本迭代快等特征，这些因素增加了任务调度和资源利用的复杂性，最终可能影响业务的可用性。如何通过任务调度，提升容器云的资源利用率和任务质量已成为研究热点。当前大多数容器云平台底层使用集中式调度架构，虽然此种架构设计实现了底层资源的一致性，然而单一场景下的调度模型很难实现全局资源的优化组合，也难于考虑更多来自业务层面的有用信息参与调度。而早期任务调度算法如贪婪算法、启发式算法、层次分析算法等普遍从固有资源使用量的角度完成调度动作，缺少与实际运行环境的交互反馈，尤其对于多副本多依赖任务调度容易陷入局部最优，无法实现最佳收敛。综上所述，目前在相关领域内缺少针对容器云任务的协同调度方法及系统，以进一步提升容器云的资源利用率和任务质量，实现容器云平台全局资源的优化调度。
发明内容
本发明的目的在于提出一种面向容器云的任务协同调度系统及其方法，以改善容器云环境的资源利用和任务质量，实现容器云平台全局资源的优化调度。
实现本发明目的的技术解决方案为：一种面向容器云的任务协同调度系统，其特征在于，具体包括：
环境特征抽取模块：用于从当前资源环境下抽取任务协同调度所需的特征指标，进而支持调度方案构建模块进行节点调度能力的评判；所述特征指标包括基础指标和协同指标两大类，其中基础指标包括节点各类基础资源的全局闲置率，协同指标包括任务依赖关系、任务孪生关系下的依赖任务和孪生任务的全局占有率和节点相似性关系下的节点之间的皮尔逊相似度；
调度方案构建模块：用于为当前待调度任务构建当前环境下的最优调度方案；所述最优调度方案为任务和最优调度节点之间的一种“绑定”关系；所述调度方案构建模块执行流程包括：①提取待调度任务资源需求和环境特征指标；②由评分算法根据所述待调度任务资源需求和环境特征指标对所有节点的调度能力进行综合评分；③对节点评分结果进行排序，将评分最高节点标识为最优调度节点；④将调度任务与最优调度节点进行关系绑定；
调度方案执行模块：用于调度方案的执行，即负责将待调度任务调度到调度方案指定的最优调度节点；
调度评估与反馈调节模块：用于对最优调度方案的实际调度效果进行评估，即根据评估规则，对任务调度后环境资源状态的改善情况进行评判，评判结果被反馈到调度方案构建模块，用于改善评分算法评分的准确性。
进一步的，所述环境特征抽取模块采用定时环境扫描机制进行环境特征指标的收集，将其封装为数据结构后，以节点名称和样本序号为索引，进行持久化存储，以支持任务协同调度后续进程。
进一步的，所述评分算法由基础评分算法和协同评分算法线性组合而成，其中基础评分算法用于对节点基础资源进行评分，协同评分算法用于对任务、节点协同作用进行评分，评分算法的评分公式如式(1)所示；
其中，Pij为将任务si调度到节点nj的综合评分；
为节点nj的基础资源评分；
为任务si、节点nj的协同作用评分，
为调度t时刻的协调系数，用于调整基础评分与协同评分之间的作用力度。
更进一步的，所述基础评分算法实现对节点基础资源的评分，评分公式如式(2)所示：
其中，r′jkt(1≤t≤T)为调度t时刻节点nj上第k类资源的全局闲置率样本，r′jkT为全局闲置率最新样本，wjk为权重系数，采用熵权法从节点资源全局闲置率历史样本数据rjkt(1≤t≤T-1)计算而得。
更进一步的，所述协同评分算法实现对任务、节点协同作用的评分，包括：
a、任务相关性节点协同评分
所述任务相关性节点上包括孪生任务和依赖任务实例，假设节点nj上存在待调度任务si的bij个孪生任务实例和dij个依赖任务实例，定义
与
分别表示孪生任务实例和依赖任务实例在整个集群环境中的全局占有率，根据层次分析法确定的任务相关性节点协调评分表示为：
其中，
为将任务si调度到任务相关性节点nj的协同评分，wk A(k＝1，2)为任务相关性系数，fij∈[0，1]为综合权值；δij为开关变量，当b′ij＞0且d′ij＞0时，δij＝1，否则δij＝0；bij为节点nj上任务si的孪生任务实例数量，b′ij为孪生任务的全局占有率，dij为节点nj上任务si的依赖任务实例数量，d′ij为依赖任务的全局占有率。
b、任务无关性节点协同评分
所述任务无关性节点上为无特征关系任务实例，定义节点nj的近邻节点集合
其中N为集群节点集合，biv为节点nv上存在的待调度任务si的孪生任务实例数量，由皮尔逊相似度计算公式计算节点nj与近邻节点之间的相似度ρjv＝ρ(Qj，Qv)，此处Qj＝(rj1T，rj2T，…，rjKT)为节点nj上最新采样的基础资源全局闲置率向量，对皮尔逊相似度进行归一化处理，处理结果称之为节点相关性系数，如式(10)所示：
其中，ρ′jv为节点相关性系数，ρjv为节点nj与节点nv之间的皮尔逊相似度系数。
则任务无关性节点协同评分表示为节点相关性系数与节点决策评分的线性组合，如式(11)所示：
其中，
为将任务si调度到任务无关性节点nj的协同评分，ρ′jv为节点相关性系数，Piv为将任务si调度到近邻节点nv的综合评分，Fj为节点nj的近邻节点集合。
进一步的，所述调度方案执行模块设有缓冲队列，用于缓解大规模任务并发调度时的尖峰压力；所述调度方案执行模块支持与第三方容器云平台调度执行器集成使用。
进一步的，所述评估规则采用使用资源利用率、资源失衡度、副本调度失衡度和依赖调度失衡度作为调度评判指标，其中：
使用资源利用率为各节点资源利用率的均值，用于评估集群资源利用的效率；资源失衡度为各节点资源利用率方差的均值，用于评估集群资源使用的均衡程度；副本调度失衡度为集群调度失衡的孪生任务数与任务总数的占比，用于评估孪生任务调度分布的均衡程度，所述调度失衡的孪生任务根据孪生任务调度“互斥性原则”统计，所述“互斥性原则”规定孪生任务应“均匀分散”调度到集群节点，破坏互斥性原则的任务被视为调度失衡任务；依赖调度失衡度为集群调度失衡的依赖任务数与任务总数占比，用于评估依赖任务调度分布的均衡程度，所述调度失衡依赖任务数根据依赖任务调度“相容性原则”进行统计，所述“相容性原则”规定具有依赖关系的任务应调度到集群相同节点，破坏相容性原则的任务被视为调度失衡任务。
一种面向容器云的任务协同调度方法，基于所述的任务协同调度系统，实现面向容器云的任务协同调度。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于所述的任务协同调度系统，实现面向容器云的任务协同调度。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，基于所述的任务协同调度系统，实现面向容器云的任务协同调度。
本发明与现有技术相比，其显著优点为：1)提出了一种面向容器云任务的协同调度方法，考虑节点基础资源指标、任务依赖关系和节点相似性关系并参与调度，有效提升了容器云任务调度的整体性能；2)构建了一种面向容器云任务的协同调度系统，建立了调度动作反馈调优机制，利于跳出调度方案局部最优解，加速收敛；3)基于以上效果，本发明在具有不同依赖特征关系的多目标任务调度方面，表现出更好的资源收敛效果和调度性能，具有较强的可操作性和实用价值。
附图说明
图1是面向容器云的任务协同调度方法及其系统结构图。
图2是面向容器云的任务协同调度方法流程图。
图3是调度方案构建模块流程图。
图4是基于任务特征的容器云节点分类图。
图5是任务依赖关系示意图。
图6是最优调度方案构建算法流程图。
图7是基础评分算法流程图。
图8是协同评分算法流程图。
图9是任务协同层次结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本发明面向容器云的任务协同调度系统的结构如图1所示，整体流程如图2所示。调度系统由环境特征抽取模块、调度方案构建模块、调度方案执行模块与调度评估与反馈调节模块四个部分构成。调度方法执行流程包括：
a、环境特征抽取模块提取当前环境特征并统一封装后持久化存储，所述环境特征包括基础资源特征和协同关系特征两类。
b、调度方案构建模块根据环境特征，使用评分算法(基础评分算法和协同评分算法)对所有节点的调度能力进行评估，评分最高的节点确定为最优调度节点，并将待调度任务与最优调度节点关系进行绑定，绑定结果即为最优调度方案。
c、调度执行模块依据最优调度方案，获取待调度任务与最优调度节点绑定关系，在容器云环境最优调度节点上拉起待调度任务容器。
d、调度评估与反馈调节模块根据调度评判规则对当前调度结果进行评估，将评估结果反馈到调度方案构建模块进行参数协调，支持最优调度方案迭代。
下面结合附图3-9对各模块的组成和功能进行详细说明。
所述环境特征抽取模块用于从当前资源环境下抽取任务协同调度所需的特征指标，支持调度方案构建模块中的评分算法进行节点调度能力的评判。所述特征指标包括基础指标和协同指标两大类，其中基础资源指标包括CPU、内存、磁盘、带宽等基础资源的全局闲置率，协同指标包括任务依赖关系、任务孪生关系下的依赖任务和孪生任务全局占有率和节点相似性关系下的节点之间的皮尔逊相似度。实施流程示意如图1、2中的相应模块所示，具体实施步骤如下：
a、指标定时采样。假设容器云环境(以下简称云环境)存在J个节点，K类基础资源和M个已调度任务。定义N＝{n1，n2，...，nJ}为云环境节点集合，R＝{R1，R2，...，RJ}为云环境资源集合。其中Rj＝{rj1，rj2，…，rjK}为节点nj(1≤j≤J)的资源集合，rjk(1≤k≤K)为节点nj上第k类基础资源闲置量。另外，定义C＝{s1，s2，…，sM}为云环境已调度任务集合。以节点为单位，采用定时环境扫描机制从云环境采样各类基础资源闲置量样本rjkt(1≤t≤T)，其中T为样本总数。同样，以节点为单位，定时采样各节点上已调度任务的孪生任务实例数量样本bijt(1≤i≤M，1≤j≤J，1≤t≤T)和依赖任务实例数量样本dijt(1≤i≤M，1≤j≤J，1≤t≤T)。
b、指标转换与封装。采用公式
将采样的基础资源闲置量样本rjkt转换为全局基础资源闲置率样本r′jkt。采用公式
与
分别将已调度任务的孪生任务实例和依赖任务实例数量样本转换为孪生任务全局占有率和依赖任务全局占有率样本。
c、指标持久化存储。以节点名称和样本序号为索引建立样本数据r′jkt、b′ijt、d′ijt的存储结构，对样本数据进行持久化存储。提供查询接口，支持调度方案构建模块进行特征指标查询用于节点调度能力的评估。
所述调度方案构建模块用于构建待调度任务最优调度方案，为调度方案执行模块提供调度依据。最优调度方案构建算法流程如图6所示，实施流程示意如图3所示，包括调度场景划分、节点调度能力评估和最优调度方案构建三个步骤，具体实施步骤如下：
a、调度场景划分。根据任务之间的关系，将节点划分为任务相关性节点和任务无关性节点两种类型，如图4所示。所述任务相关性节点指存在关联任务的节点，即所述节点上存在待调度任务的孪生任务实例或依赖任务实例。所述孪生任务实例指同一容器云平台中相同任务的不同实例，所述依赖任务实例指同一容器云平台中具有依赖关系任务的被依赖方。所述依赖关系示意如图5所示，箭头指示为依赖方向，其中任务B，C，D为任务A的依赖任务。任务E为任务C的依赖任务。所述任务无关性节点指不存在关联任务的节点，即所述节点上不存在待调度任务的孪生任务实例或依赖任务实例。
b、调度能力评估。评估各节点的调度能力，即使用评分算法对各节点调度能力进行评分，评分最高的节点即为最优调度节点。所述评分算法由基础评分算法和协同评分算法组成，其中基础评分算法用于对节点基础资源进行评分，协同评分算法用于对任务、节点协同作用进行评分。所述评分算法的评分公式如式(1)所示。其中，Pij为将任务si调度到节点nj的综合评分；
为节点nj的基础资源评分；
为任务si、节点nj的协同作用评分。此外，
为调度t时刻的协调系数，用于调整基础评分与协同评分之间的作用力度。
参照图6所示最优调度方案构建算法流程图，节点调度能力评估流程具体包括：①利用基础评分算法计算各节点基础评分；②利用协同评分算法计算各节点协同评分；③计算各节点综合评分。调度方案构建模块依据节点调度能力的评估结果，对节点调度优先级进行评判，并选取优先级最高(即评分最高)的节点作为最优调度节点。
下面进一步介绍基础评分与协同评分的实施流程。
1)基础评分
基础评分算法实现对节点基础资源进行评分，评分公式如式(2)所示。
其中，r′jkt(1≤t≤T)为调度t时刻节点nj上第k类资源的全局闲置率样本，r′jkT为全局闲置率最新样本。wjk为权重系数，采用熵权法从节点资源全局闲置率历史样本数据rjkt(1≤t≤T-1)计算而得。所述权重系数wjk能够实时反应节点资源的使用情况，进而起到动态均衡集群资源使用的目的。
算法流程如图7所示，实施步骤包括：①循环遍历所有节点；②根据熵权法计算节点资源权重系数wjk；③利用公式(2)计算节点基础评分；④封装所有节点基础评分为基础评分向量
2)协同评分
协同评分算法实现对任务、节点协同作用进行评分。算法流程如图8所示，实施步骤包括：①循环遍历所有节点；②计算任务相关性系数，进而计算任务相关性节点协同评分；③计算节点相关性系数，进而计算任务无关性节点协同评分；④封装所有节点协同评分为协同评分向量
下面进一步介绍任务相关性节点和任务无关性节点协同评分实施流程。
a、任务相关性节点协同评分。本发明使用层次分析法确定任务之间的协同作用，如图9所示。其中，目标层为任务协同作用，准则层为节点上的孪生任务、依赖任务和无特征关系任务实例数量，方案层为正协同与负协同两类协同作用。假设节点nj上存在待调度任务si的bij个孪生任务实例和dij个依赖任务实例，定义
与
分别表示孪生任务实例和依赖任务实例在整个集群环境中的全局占有率，则根据层次分析法确定的任务相关性节点评分可表示为：
其中，
为将任务si调度到任务相关性节点nj的协同评分，wk A(k＝1，2)为任务相关性系数，fij∈[0，1]为综合权值；δij为开关变量，当b′ij＞0且d′ij＞0时，δij＝1，否则δij＝0；bij为节点nj上任务si的孪生任务实例数量，b′ij为孪生任务的全局占有率，dij为节点nj上任务si的依赖任务实例数量，d′ij为依赖任务的全局占有率。
b、任务无关性节点协同评分。所述任务无关性节点不存在任务关联的孪生任务和依赖任务实例。本发明使用皮尔逊相似性系数确定节点之间的协同作用。首先，定义节点nj的近邻节点集合
其中N为集群节点集合，biv为节点nv上存在的待调度任务si的孪生任务实例数量。其次，由皮尔逊相似度计算公式计算节点nj与近邻节点之间的相似度ρjv＝ρ(Qj，Qv)，此处Qj＝(rj1T，rj2T，…，rjKT)为节点nj上最新采样的基础资源全局闲置率向量。最后，对皮尔逊相似度进行归一化处理，处理结果称之为节点相关性系数，如式(10)所示。
其中，ρ′jv为节点相关性系数，ρjv为节点nj与节点nv之间的皮尔逊相似度系数。
那么，任务无关性节点协同评分表示为节点相关性系数与节点决策评分的线性组合，如式(11)所示。
其中，
为将任务si调度到任务无关性节点nj的协同评分，ρ′jv为节点相关性系数，Piv为将任务si调度到近邻节点nv的综合评分，Fj为节点nj的近邻节点集合。
所述调度方案执行模块用于最优调度方案的执行，负责将容器云任务部署到相应节点。如图1所示，所述模块还集成了缓冲队列，有效缓解大规模任务调度场景下的尖峰压力。所述模块通常结合具体容器云管理平台实现，具体实施步骤包括：
a、接收来自调度方案构建模块的调度请求，并将调度方案压入缓冲队列。
b、从缓冲队列拉取任务，通知目标节点进行部署。目标节点接收到部署通知后，通过本地进程拉取并运行目标任务镜像，目标任务以容器方式运行。
c、循环a、b两个步骤，直到没有调度请求且缓冲队列为空，所有任务调度完毕。
所述调度评估与反馈调节模块用于评估当前调度是否有利于资源环境的改善，基于评估结果对调度方案构建模块进行模型参数协调。如图2所示，本发明使用资源利用率(RUR)、资源失衡度(RID)、副本调度失衡度(RSID)和依赖调度失衡度(DSID)作为调度评判指标。其中，RUR使用各节点资源利用率的均值计算，用于评估集群资源利用的效率；RID使用各节点资源利用率方差的均值计算，用于评估集群资源使用的均衡程度；RSID使用集群调度失衡的孪生任务数与任务总数的占比计算，用于评估孪生任务调度分布的均衡程度。所述调度失衡的孪生任务根据孪生任务调度“互斥性原则”统计，所述“互斥性原则”规定孪生任务应“均匀分散”调度到集群节点，以提升任务容灾抗毁能力。破坏互斥性原则的任务被视为调度失衡任务；DSID使用集群调度失衡的依赖任务数与任务总数占比计算，用于评估依赖任务调度分布的均衡程度。所述调度失衡依赖任务数根据依赖任务调度“相容性原则”进行统计，所述“相容性原则”规定具有依赖关系的任务应调度到集群相同节点，以缩短任务之间的互操作路径，提升服务质量。破坏相容性原则的任务被视为调度失衡任务。
所述调度评估模块通过调度前后集群RUR、RID、RSID、DSID四个指标增量对调度方案构建模块
进行协调。记
和
分别为基础评判指标增量累积和协同评判指标增量累积。所述基础评判指标包括RUR与RID，所述协同评判指标包括RSID与DSID。所述参数协调具体实施流程包括：
a、若
时，由于节点资源使用发生倾斜，上调
增加基础评分比重以均衡节点资源，进而削弱协同作用过多将关联任务调度到相同节点带来的对资源均衡使用的影响。
b、若
时，任务关联任务过于分散，下调
以增大协同作用。调节过程始终保持
超过1或低于0则以1或0计算。
本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于所述的任务协同调度系统，实现面向容器云的任务协同调度。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，基于所述的任务协同调度系统，实现面向容器云的任务协同调度。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种面向容器云的任务协同调度系统，其特征在于，具体包括：
环境特征抽取模块：用于从当前资源环境下抽取任务协同调度所需的特征指标，进而支持调度方案构建模块进行节点调度能力的评判；所述特征指标包括基础指标和协同指标两大类，其中基础指标包括节点各类基础资源的全局闲置率，协同指标包括任务依赖关系、任务孪生关系下的依赖任务和孪生任务的全局占有率和节点相似性关系下的节点之间的皮尔逊相似度；
调度方案构建模块：用于为当前待调度任务构建当前环境下的最优调度方案；所述最优调度方案为任务和最优调度节点之间的一种“绑定”关系；所述调度方案构建模块执行流程包括：①提取待调度任务资源需求和环境特征指标；②由评分算法根据所述待调度任务资源需求和环境特征指标对所有节点的调度能力进行综合评分；③对节点评分结果进行排序，将评分最高节点标识为最优调度节点；④将调度任务与最优调度节点进行关系绑定；
调度方案执行模块：用于调度方案的执行，即负责将待调度任务调度到调度方案指定的最优调度节点；
调度评估与反馈调节模块：用于对最优调度方案的实际调度效果进行评估，即根据评估规则，对任务调度后环境资源状态的改善情况进行评判，评判结果被反馈到调度方案构建模块，用于改善评分算法评分的准确性；
所述评分算法由基础评分算法和协同评分算法线性组合而成，其中基础评分算法用于对节点基础资源进行评分，协同评分算法用于对任务、节点协同作用进行评分，评分算法的评分公式如式(1)所示；
其中，Pij为将任务si调度到节点nj的综合评分；
为节点nj的基础资源评分；
为任务si、节点nj的协同作用评分，
为调度t时刻的协调系数，用于调整基础评分与协同评分之间的作用力度；
所述基础评分算法实现对节点基础资源的评分，评分公式如式(2)所示：
其中，r'jkt(1≤t≤T)为调度t时刻节点nj上第k类资源的全局闲置率样本，r'jkT为全局闲置率最新样本，wjk为权重系数，采用熵权法从节点资源全局闲置率历史样本数据rjkt(1≤t≤T-1)计算而得；
所述协同评分算法实现对任务、节点协同作用的评分，包括：
a、任务相关性节点协同评分
所述任务相关性节点上包括孪生任务和依赖任务实例，假设节点nj上存在待调度任务si的bij个孪生任务实例和dij个依赖任务实例，定义
与
分别表示孪生任务实例和依赖任务实例在整个集群环境中的全局占有率，根据层次分析法确定的任务相关性节点协调评分表示为：
其中，
为将任务si调度到任务相关性节点nj的协同评分，wk A(k＝1,2)为任务相关性系数，fij∈[0,1]为综合权值；δij为开关变量，当b'ij＞0且d'ij＞0时，δij＝1，否则δij＝0；bij为节点nj上任务si的孪生任务实例数量，b'ij为孪生任务的全局占有率，dij为节点nj上任务si的依赖任务实例数量，d'ij为依赖任务的全局占有率；
b、任务无关性节点协同评分
所述任务无关性节点上为无特征关系任务实例，定义节点nj的近邻节点集合
其中N为集群节点集合，biv为节点nv上存在的待调度任务si的孪生任务实例数量，由皮尔逊相似度计算公式计算节点nj与近邻节点之间的相似度ρjv＝ρ(Qj,Qv)，此处Qj＝(rj1T,rj2T,…,rjKT)为节点nj上最新采样的基础资源全局闲置率向量，对皮尔逊相似度进行归一化处理，处理结果称之为节点相关性系数，如式(10)所示：
其中，ρ'jv为节点相关性系数，ρjv为节点nj与节点nv之间的皮尔逊相似度系数；
则任务无关性节点协同评分表示为节点相关性系数与节点决策评分的线性组合，如式(11)所示：
其中，
为将任务si调度到任务无关性节点nj的协同评分，ρ'jv为节点相关性系数，Piv为将任务si调度到近邻节点nv的综合评分，Fj为节点nj的近邻节点集合。
2.根据权利要求1所述的面向容器云的任务协同调度系统，其特征在于，所述环境特征抽取模块采用定时环境扫描机制进行环境特征指标的收集，将其封装为数据结构后，以节点名称和样本序号为索引，进行持久化存储，以支持任务协同调度后续进程。
3.根据权利要求1所述的面向容器云的任务协同调度系统，其特征在于，所述调度方案执行模块设有缓冲队列，用于缓解大规模任务并发调度时的尖峰压力；所述调度方案执行模块支持与第三方容器云平台调度执行器集成使用。
4.根据权利要求1所述的面向容器云的任务协同调度系统，其特征在于，所述评估规则采用资源利用率、资源失衡度、副本调度失衡度和依赖调度失衡度作为调度评判指标，其中：
资源利用率为各节点资源利用率的均值，用于评估集群资源利用的效率；资源失衡度为各节点资源利用率方差的均值，用于评估集群资源使用的均衡程度；副本调度失衡度为集群调度失衡的孪生任务数与任务总数的占比，用于评估孪生任务调度分布的均衡程度，所述调度失衡的孪生任务根据孪生任务调度“互斥性原则”统计，所述“互斥性原则”规定孪生任务应“均匀分散”调度到集群节点，破坏互斥性原则的任务被视为调度失衡任务；依赖调度失衡度为集群调度失衡的依赖任务数与任务总数占比，用于评估依赖任务调度分布的均衡程度，所述调度失衡依赖任务数根据依赖任务调度“相容性原则”进行统计，所述“相容性原则”规定具有依赖关系的任务应调度到集群相同节点，破坏相容性原则的任务被视为调度失衡任务。
5.一种面向容器云的任务协同调度方法，其特征在于，基于权利要求1-4任一项所述的任务协同调度系统，实现面向容器云的任务协同调度。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于权利要求1-4任一项所述的任务协同调度系统，实现面向容器云的任务协同调度。
7.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，基于权利要求1-4任一项所述的任务协同调度系统，实现面向容器云的任务协同调度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110675449.8A CN113434248B (zh) | 2021-06-17 | 2021-06-17 | 一种面向容器云的任务协同调度系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110675449.8A CN113434248B (zh) | 2021-06-17 | 2021-06-17 | 一种面向容器云的任务协同调度系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113434248A CN113434248A (zh) | 2021-09-24 |
| CN113434248B true CN113434248B (zh) | 2022-02-01 |
Family
ID=77756446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110675449.8A Active CN113434248B (zh) | 2021-06-17 | 2021-06-17 | 一种面向容器云的任务协同调度系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434248B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114363328B (zh) * | 2021-11-19 | 2024-02-20 | 三维通信股份有限公司 | 一种服务器集群的任务协同方法及系统 |
| CN114816931A (zh) * | 2022-05-09 | 2022-07-29 | 新华智云科技有限公司 | 微服务重要性评估方法及系统、计算机可读存储介质 |
| CN115562870B (zh) * | 2022-10-25 | 2023-07-21 | 北京京航计算通讯研究所 | 一种集群的任务节点资源构建方法 |
| CN116340007B (zh) * | 2023-05-30 | 2023-08-08 | 中国人民解放军军事科学院系统工程研究院 | 一种资源协同优化的智能无人集群任务分配方法与系统 |
| CN117729204B (zh) * | 2024-02-06 | 2024-05-10 | 山东大学 | 一种基于监控感知的k8s容器调度方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287003A (zh) * | 2019-06-28 | 2019-09-27 | 北京九章云极科技有限公司 | 资源的管理方法和管理系统 |
| CN112667376A (zh) * | 2020-12-23 | 2021-04-16 | 数字广东网络建设有限公司 | 任务调度处理方法、装置、计算机设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7516455B2 (en) * | 2003-09-05 | 2009-04-07 | Microsoft Corporation | Probabilistic scheduling |
| US10146592B2 (en) * | 2015-09-18 | 2018-12-04 | Salesforce.Com, Inc. | Managing resource allocation in a stream processing framework |
| CN107329819A (zh) * | 2017-07-11 | 2017-11-07 | 杭州时趣信息技术有限公司 | 一种作业管理方法及装置 |
| CN108427641A (zh) * | 2018-01-29 | 2018-08-21 | 中国互联网络信息中心 | 一种基于Docker容器的多任务调度自动化测试方法及系统 |
-
2021
- 2021-06-17 CN CN202110675449.8A patent/CN113434248B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287003A (zh) * | 2019-06-28 | 2019-09-27 | 北京九章云极科技有限公司 | 资源的管理方法和管理系统 |
| CN112667376A (zh) * | 2020-12-23 | 2021-04-16 | 数字广东网络建设有限公司 | 任务调度处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Resource Provisioning for MapReduce Computation in Cloud Container Environment;Yaozhong Ge等;《2019 IEEE 18th International Symposium on Network Computing and Applications (NCA)》;20191219;第1-4页 * |
| 异构Hadoop集群下的负载自适应反馈调度策略;潘佳艺等;《计算机科学》;20170315;第413-423页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113434248A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113434248B (zh) | 一种面向容器云的任务协同调度系统及其方法 | |
| CN106020933B (zh) | 基于超轻量虚拟机的云计算动态资源调度系统及方法 | |
| US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
| CN104657221B (zh) | 一种云计算中基于任务分类的多队列错峰调度模型及方法 | |
| CN111027736A (zh) | 多目标优化下的微服务组合部署与调度方法 | |
| Liu et al. | Resource preprocessing and optimal task scheduling in cloud computing environments | |
| CN108881432A (zh) | 基于ga算法的云计算集群负载调度方法 | |
| CN104333569A (zh) | 基于用户满意度的云任务调度算法 | |
| CN107203412A (zh) | 一种基于膜系统改进粒子群算法的云资源调度优化方法 | |
| CN103338228A (zh) | 基于双加权最小连接算法的云计算负载均衡调度算法 | |
| CN103701886A (zh) | 一种云计算环境下的服务及资源分层调度方法 | |
| CN103401939A (zh) | 一种采用混合调度策略的负载均衡方法 | |
| CN108769182A (zh) | 一种预测执行任务执行时间的组合优化调度方法 | |
| CN104881322A (zh) | 一种基于装箱模型的集群资源调度方法及装置 | |
| Li et al. | An efficient scheduling optimization strategy for improving consistency maintenance in edge cloud environment | |
| CN112214328B (zh) | 一种用于同构多链中交易处理的负载均衡方法 | |
| CN104035819A (zh) | 科学工作流调度处理方法及装置 | |
| CN116467076A (zh) | 一种基于集群可用资源的多集群调度方法及系统 | |
| CN108984286A (zh) | 一种云计算平台的资源调度方法和系统 | |
| CN117407160A (zh) | 一种边缘计算场景下在线任务和离线任务的混合部署方法 | |
| CN108304253A (zh) | 基于缓存感知和数据本地性的map任务调度方法 | |
| CN109976873B (zh) | 容器化分布式计算框架的调度方案获取方法及调度方法 | |
| CN108665157B (zh) | 一种实现云工作流系统流程实例均衡调度的方法 | |
| Wang et al. | On mapreduce scheduling in hadoop yarn on heterogeneous clusters | |
| CN112698911B (zh) | 一种基于深度强化学习的云作业调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 158 Dushuhu Avenue, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Suzhou Aerospace Information Research Institute Address before: 158 Dushuhu Avenue, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: SUZHOU Research Institute INSTITUTE OF ELECTRONICS CHINESE ACADEMY OF SCIENCES |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |