CN109039954B - 多租户容器云平台虚拟计算资源自适应调度方法及系统 - Google Patents

多租户容器云平台虚拟计算资源自适应调度方法及系统 Download PDF

Info

Publication number
CN109039954B
CN109039954B CN201810828825.0A CN201810828825A CN109039954B CN 109039954 B CN109039954 B CN 109039954B CN 201810828825 A CN201810828825 A CN 201810828825A CN 109039954 B CN109039954 B CN 109039954B
Authority
CN
China
Prior art keywords
container
resource
agent
resources
data center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810828825.0A
Other languages
English (en)
Other versions
CN109039954A (zh
Inventor
彭志平
崔得龙
李启锐
何杰光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Petrochemical Technology
Original Assignee
Guangdong University of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Petrochemical Technology filed Critical Guangdong University of Petrochemical Technology
Priority to CN201810828825.0A priority Critical patent/CN109039954B/zh
Publication of CN109039954A publication Critical patent/CN109039954A/zh
Application granted granted Critical
Publication of CN109039954B publication Critical patent/CN109039954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于网络技术领域,公开了一种多租户容器云平台虚拟计算资源自适应调度方法及系统,通过统一的云计算服务入口,用户的容器资源请求统一被汇集到云计算服务入口并传递给资源分配器;资源分配器与各数据中心的D‑Agent进行信息交互,并使用基于组合拍卖的方法决策应用的部署方案,然后由各个数据中心实施;运行期间,D‑Agent收集各个容器簇的相关性能信息,并作动态调整;使基于容器技术的多个数据中心相互协作。本发明运行期间,D‑Agent收集各个容器簇的相关性能信息,并作动态调整,以保证应用的性能和系统服务质量;使基于容器技术的多个数据中心能够相互协作,部署用户的虚拟机变得更加简单、便捷和高效。

Description

多租户容器云平台虚拟计算资源自适应调度方法及系统
技术领域
本发明属于网络技术领域,尤其涉及一种多租户容器云平台虚拟计算资源自适应调度方法及系统。
背景技术
目前,业内常用的现有技术是这样的:
当前数据中心计算资源静态调度的研究主要集中在虚拟化资源的放置、迁移以及随用户需求和应用系统参数的改变进行协同自适应配置,期望在减少资源碎片的同时提高计算资源利用率等方面。
在复杂、瞬变的云计算环境中,当用户应用部署到数据中心后,如果仅使用静态的资源分配方法,多租户的应用性能很难得到足够的保证。因此在租户应用负载发生突变时,必须进行动态的容器资源调度算法以确保满足服务质量和用户服务等级协议。
综上所述,现有技术存在的问题是:
(1)多数据中心计算资源管理效果差、服务器计算资源管理效果差。
(2)在复杂、瞬变的云计算环境中,当用户应用部署到数据中心后,如果仅使用静态的资源分配方法,多租户的应用性能很难得到足够的保证。因此在租户应用负载发生突变时,没有进行动态的容器资源调度算法以确保满足服务质量和用户服务等级协议。
(3)大部分数据中心动态调度算法虽然可以接受不定量和不定型的资源条件约束,但是缺少对算法计算可行性的验证。
(4)大部分数据中心计算资源调度通常基于数据心和网络连接的状态都是完全或部分已知以及数据中心拥有充足的服务器并且可以随意切换的假设,但真实云计算环境中数据中心的资源状态是瞬息万变,难以预知,而且缺少对数据中心过载时的情况考虑。
解决上述技术问题的难度和意义:
负载均衡,弹性供给:云计算的价值在于构筑用户需求,实际应用环境中往往既有大量实时在线处理业务,又有大量异步处理业务。实时在线业务处理时间短、需求波动大,而异步业务处理时间长,数据量庞大。现有的容器资源管理机制无法自适应调节各服务器负载,导致资源利用率不高。
参数协同配置:容器技术本身仍然处于快速发展演化之中,目前容器包含的子命令已经达到34个之多,其中核心子命令还有复杂的参数配置。例如,run命令可以配置的参数已多达28个。结合功能和应用场景,容器包含的命令可划分为与环境信息相关、与系统运维相关、与日志信息相关以及与Hub服务相关等类型,前后台命令及参数的不协调易造成系统容错复杂度的提高以及系统性能的大幅下降。
突发流量难测量,资源冗余:新接入租户并不能较准确的预测用户业务请求量,一旦出现用户需求的大幅波动,传统的处理模式对于这种非计划内的业务请求是通过快速扩容并验证上线,但该处理模式不仅费时,而且需要提前准备来应对突发流量,极易造成大量的资源冗余。
发明内容
针对现有技术存在的问题,本发明提供了一种多租户容器云平台虚拟计算资源自适应调度方法及系统。
本发明是这样实现的,一种多租户容器云平台虚拟计算资源自适应调度方法,,所述多租户容器云平台虚拟计算资源自适应调度方法包括:
通过统一的云计算服务入口,用户的容器资源请求统一被汇集到云计算服务入口并传递给资源分配器;
资源分配器与各数据中心的D-Agent进行信息交互,并使用基于组合拍卖的方法决策应用的部署方案,然后由各个数据中心实施;
运行期间,D-Agent收集各个容器簇(由多个用户的容器组成)的相关性能信息,并作动态调整;使基于容器技术的多个数据中心相互协作。
进一步,用户提交的容器请求被提交给资源分配器,资源分配器在进行预处理之后,向各个数据中心发起拍卖;各D-Agent根据对应数据中心的状态,对所有容器的子集进行投标;
使用饥渴度和均衡度对数据中心的状态进行量化,作为选取容器组合的性能指标;
饥渴度为:
Figure BDA0001743087150000031
类似,定义出内存和I/O的饥渴度分别为MEMW和IOw
物理主机总的饥渴度代表所述物理主机上等待容器部署的急迫程度,将急迫程度值定义为三种资源饥渴度之和:
Figure BDA0001743087150000032
数据中心的总体饥渴度定义为所有物理主机的三种资源平均饥渴度:
Figure BDA0001743087150000033
物理主机上述三种资源消耗的情况并不一定是均衡的;为了降低物理主机资源间的不均衡度,拟将任意两种资源间的不均衡度定义为两种资源利用率之差的绝对值;一台物理主机的总体不均衡度定义为三种资源两两之间不均衡度的均方根:
Figure BDA0001743087150000034
数据中心的不均衡度为各个物理主机不均衡度的平均值:
Figure BDA0001743087150000035
在收到用户请求的容器集合后,按照对CPU、内存和I/O资源的需求量进行排序得到容器需求列表;使用启发式算法计算各个投标组合以及投标组合承担后数据中心的状态发送给资源分配器,资源分配器运行竞标算法,决策中标者。
进一步,资源分配器收到各个数据中心的投标后,运行胜者决策算法,竞选出中标的数据中心;用户请求的容器集合为C={C1,C2,...,Cm},集合的大小为m;各个数据中心对容器集合的投标集合为B={b1(S1),b2(S2),...bn(Sn)},集合的大小为n;
投标的长度为标书中的容器数量,竞标的目标根据所有投标的出价挑选出最大化云计算系统收益的投标,为:
Figure BDA0001743087150000041
其中W是C的一个分割,A是W的所有分割;
数据中心竞标中,按照每一条从根节点到叶子节点的路径代表一组分割的方法构建投标树,然后使用深度优先算法搜索出树中收益最大的一条路径,得到所求的最优分割。
进一步,运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整中,包括:
采用两阶段启发式算法进行数据中心服务器资源选择;第一阶段使用资源互补算法进行新旧容器间的匹配;第二阶段利用层次搜索算法部署容器资源;
第一阶段:基于资源互补算法的新旧容器匹配:
以G=(V,E)表示带权的无向图,其中V表示容器簇;E表示簇内容器之间的流量;节点集合表示为
Figure BDA0001743087150000042
边的集合表示为δ(Q);则无向图G中,边的一个顶点在集合Q中,另一个顶点属于V\Q,当
Figure BDA0001743087150000043
或Q≠V时,δ(Q)中的边就组成一个割集,表示为(Q,V\Q);对于每一条边(i,j)∈E,都有一个非负的容量Ci,j;一个割集的容量为割集中每条边容量的总和,表示为:C(Q,V\Q)=∑i,j∈δ(Q)C(i,j);
第二阶段:基于层次搜索算法的容器资源放置;
当某个新创建的容器被放置到服务器时,依据容器资源部署顺序,从左子树的根节点开始依次搜索,找到与该容器最匹配的服务器进行放置,当所有的服务器都不能容纳这个容器时,启用一台新的服务器。
进一步,运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整中,进一步包括基于多agent的容器云数据中心计算资源自适应调度机制;包括:
1)预处理阶段:
D-Agent综合租户的服务请求信息,然后根据饥渴度列表和均衡度列表计算各个投标组合,反馈该数据中心资源的实时状况,并向C-Agent发起作业分配请求,同时等待系统资源分配器的投标结果;
C-Agent执行接收到的作业分配请求,根据所执行作业的租户属性,计算生成该租户的容器簇提出协同调度提议,将所述提议连同作业运行状态发送给D-agent,并向S-Agent提出资源供给请求;
S-Agent执行接收到的资源分配请求,根据服务的实时性能情况,计算生成协同调度资源提议和容器资源效用信息发送给C-Agent;
实施阶段:
D-Agent中标后,综合评估C-Agent提出的协同作业分配提议,做出虚拟化容器簇资源供给决策,并下达作业到C-Agent,同时更新当前数据中心的实况信息;
C-Agent落实作业分配提议,综合评估S-Agent提出的资源供给提议,做出容器资源供给决策,并下达任务到S-Agent;
S-Agent执行资源分配。
本发明的另一目的在于提供一种实现所述多租户容器云平台虚拟计算资源自适应调度方法的计算机程序。
本发明的另一目的在于提供一种实现所述多租户容器云平台虚拟计算资源自适应调度方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述的多租户容器云平台虚拟计算资源自适应调度方法。
本发明的另一目的在于提供一种实现多租户容器云平台虚拟计算资源自适应调度系统包括:
云计算服务入口汇集单元,通过统一的云计算服务入口,用户的容器资源请求统一被汇集到云计算服务入口并传递给资源分配器;
D-Agent进行信息交互单元,资源分配器与各数据中心的D-Agent进行信息交互,并使用基于组合拍卖的方法决策应用的部署方案,然后由各个数据中心实施;
多数据中心相互协作单元,运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整;使基于容器技术的多个数据中心相互协作。
本发明的另一目的在于提供一种搭载有所述多租户容器云平台虚拟计算资源自适应调度系统的多用户虚拟机。
综上所述,本发明的优点及积极效果为:
本发明将基于多agent的具有多个数据中心的云计算容器调度建模为如图1所示的模型。模型设置一个统一的云计算服务入口,用户的容器资源请求统一被汇集到该入口并传递给系统的资源分配器。资源分配器与各数据中心的D-Agent进行信息交互,并使用基于组合拍卖的方法决策应用的部署方案,然后由各个数据中心实施。在系统运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整,以保证应用的性能和系统服务质量。该模型可以使基于容器技术的多个数据中心能够相互协作,部署用户的虚拟机变得更加简单、便捷和高效。
附图说明
图1是本发明实施例提供的租户容器云平台虚拟计算资源自适应调度方法流程图。
图2是本发明实施例提供的基于最小割的资源互补容器匹配图。
图3是本发明实施例提供的协同自适应调度的组织架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现有技术中,多数据中心计算资源管理效果差。
下面结合具体分析对本发明作进一步描述。
一,多数据中心计算资源管理问题:
1)系统模型:
本发明将基于多agent的具有多个数据中心的云计算容器调度建模为如图1所示的模型。模型设置一个统一的云计算服务入口,用户的容器资源请求统一被汇集到该入口并传递给系统的资源分配器。资源分配器与各数据中心的D-Agent进行信息交互,并使用基于组合拍卖的方法决策应用的部署方案,然后由各个数据中心实施。在系统运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整,以保证应用的性能和系统服务质量。该模型可以使基于容器技术的多个数据中心能够相互协作,部署用户的虚拟机变得更加简单、便捷和高效。
本发明实施例提供的租户容器云平台虚拟计算资源自适应调度方法中,包括:
2)、数据中心投标
用户提交的容器请求被提交给资源分配器,资源分配器在进行预处理之后,向各个数据中心发起拍卖。各D-Agent根据对应数据中心的状态,对容器请求进行组合投标,即对所有容器的子集进行投标。
本发明拟使用饥渴度和均衡度对数据中心的状态进行量化,以此作为选取容器组合的性能指标。
饥渴度代表某种资源待使用的急迫程度。在进行容器部署时优先考虑饥渴度高的物理主机。本项目将主要考虑CPU、内存和I/O三种资源。CPU的饥渴度定义为:
Figure BDA0001743087150000081
类似,定义出内存和I/O的饥渴度分别为MEMW和IOw
物理主机总的饥渴度代表了该物理主机上等待容器部署的急迫程度,将其值定义为三种资源饥渴度之和:
Figure BDA0001743087150000082
数据中心的总体饥渴度定义为所有物理主机的三种资源平均饥渴度:
Figure BDA0001743087150000083
物理主机上述三种资源消耗的情况并不一定是均衡的。为了降低物理主机资源间的不均衡度,本项目拟将任意两种资源间的不均衡度定义为两种资源利用率之差的绝对值;一台物理主机的总体不均衡度定义为三种资源两两之间不均衡度的均方根:
Figure BDA0001743087150000084
数据中心的不均衡度定义为各个物理主机不均衡度的平均值:
Figure BDA0001743087150000085
为了快速获得数据中心的实况信息,数据中心将动态维护物理主机饥渴度列表和均衡度列表。在收到用户请求的容器集合后,按照其对CPU、内存和I/O资源的需求量进行排序得到容器需求列表。拟使用启发式算法计算各个投标组合以及其承担后数据中心的状态发送给资源分配器,资源分配器运行竞标算法,决策中标者。
3)、数据中心竞标:
资源分配器收到各个数据中心的投标后,运行胜者决策算法,竞选出中标的数据中心。假设用户请求的容器集合为C={C1,C2,...,Cm},集合的大小为m;各个数据中心对容器集合的投标集合为B={b1(S1),b2(S2),...bn(Sn)},集合的大小为n。
定义投标的长度为标书中的容器数量,竞标的目标是根据所有投标的出价挑选出可以最大化云计算系统收益的投标,定义为:
Figure BDA0001743087150000091
其中W是C的一个分割,A是W的所有分割。
本发明拟提出一种基于投标树的搜索算法,为了降低算法的复杂度,算法按照每一条从根节点到叶子节点的路径代表一组分割的方法构建投标树,然后使用深度优先算法搜索出树中收益最大的一条路径,即为所求的最优分割。
二、服务器计算资源管理问题:
在复杂、瞬变的云计算环境中,当用户应用部署到数据中心后,如果仅使用静态的资源分配方法,多租户的应用性能很难得到足够的保证。因此在租户应用负载发生突变时,必须进行动态的容器资源调度算法以确保满足服务质量和用户服务等级协议。本发明拟采用两阶段启发式算法进行数据中心服务器资源选择。第一阶段使用资源互补算法进行新旧容器间的匹配,减少资源碎片;第二阶段利用层次搜索算法部署容器资源,减少激活的服务器数量。
1)第一阶段:基于资源互补算法的新旧容器匹配。
以G=(V,E)表示带权的无向图,其中V表示容器簇;E表示簇内容器之间的流量;节点集合表示为
Figure BDA0001743087150000092
边的集合表示为δ(Q)。则无向图G中,边的一个顶点在集合Q中,另一个顶点属于V\Q,当
Figure BDA0001743087150000093
或Q≠V时,δ(Q)中的边就组成一个割集,表示为(Q,V\Q)。对于每一条边(i,j)∈E,都有一个非负的容量Ci,j。而一个割集的容量可以定义为割集中每条边容量的总和,可表示为:C(Q,V\Q)=∑i,j∈δ(Q)C(i,j)。
基于资源互补的容器匹配就是在图G中找一个容量最小的割集。以图2为例说明如下,图G最小割层次聚类结果可用二叉树T(V)表示,左子树TL为Q里的节点,权重为Q中边值的和W(TL)=∑i,j∈δ(Q)C(i,j);右子树TR为V\Q的节点,权重为V\Q中边值的总和W(TR)=∑i,j∈δ(Q)C(i,j),如果W(TL)<W(TR),则交换左右子树,以确保左子树TL里每个节点下的互补值(左子树的资源总和为所部署服务器拥有的资源总和)大于右子树。
2)第二阶段:基于层次搜索算法的容器资源放置。
当某个新创建的容器被放置到服务器时,依据图2的容器资源部署顺序,从左子树的根节点开始依次搜索,找到与该容器最匹配的服务器进行放置,只有当所有的服务器都不能容纳这个容器时,启用一台新的服务器。
三、基于多agent的容器云数据中心计算资源自适应调度机制
云服务提供商拥有的多个数据中心地位平等,而云服务提供商与数据中心、数据中心监控-agent(D-Agent)、容器簇监控-agent(C-Agent)和服务器监控-agent(S-Agent)都是主从关系,因此多租户多数据中心容器云平台的多agent间是具有混合特征的社会型系统,如图3所示。
下面结合具体实施例对本发明作进一步描述。
以D-Agent为协同调度发起者为例,介绍协同多agent社会的交互过程,该过程分为预处理和实施两个阶段:
预处理阶段:
1)D-Agent综合租户的服务请求信息,然后根据饥渴度列表和均衡度列表计算各个投标组合,反馈该数据中心资源的实时状况,并向C-Agent发起作业分配请求,同时等待系统资源分配器的投标结果。
2)C-Agent执行接收到的作业分配请求,根据所执行作业的租户属性,计算生成该租户的容器簇提出协同调度提议,将该提议连同作业运行状态发送给D-agent,并向S-Agent提出资源供给请求。
3)S-Agent执行接收到的资源分配请求,根据服务的实时性能情况,计算生成协同调度资源提议和容器资源效用信息发送给C-Agent。
实施阶段:
1)D-Agent中标后,综合评估C-Agent提出的协同作业分配提议,做出虚拟化容器簇资源供给决策,并下达作业到C-Agent,同时更新当前数据中心的实况信息。
2)C-Agent落实作业分配提议,综合评估S-Agent提出的资源供给提议,做出容器资源供给决策,并下达任务到S-Agent。
3)S-Agent执行资源分配。
从以上多agent交互过程可见,各种协同调度和反馈信息提议从
Figure BDA0001743087150000111
的三次握手为协同调度的一个回合。本发明拟基于以上交互过程,设计协同调度中多agent交互动作的时序。
下面结合具体应用对本发明作进一步描述。
本发明实施例提供的多租户容器云平台虚拟计算资源自适应调度系统,包括:
云计算服务入口汇集单元,通过统一的云计算服务入口,用户的容器资源请求统一被汇集到云计算服务入口并传递给资源分配器;
D-Agent进行信息交互单元,资源分配器与各数据中心的D-Agent进行信息交互,并使用基于组合拍卖的方法决策应用的部署方案,然后由各个数据中心实施;
多数据中心相互协作单元,运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整;使基于容器技术的多个数据中心相互协作。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种多租户容器云平台虚拟计算资源自适应调度方法,其特征在于,所述多租户容器云平台虚拟计算资源自适应调度方法包括:
通过统一的云计算服务入口,用户的容器资源请求统一被汇集到云计算服务入口并传递给资源分配器;
资源分配器与各数据中心的D-Agent进行信息交互,并使用基于组合拍卖的方法决策应用的部署方案,然后由各个数据中心实施;
D-Agent收集各个容器簇的相关性能信息,并作动态调整;使基于容器技术的多个数据中心相互协作;
用户提交的容器资源请求被提交给资源分配器,资源分配器在进行预处理之后,向各个数据中心发起拍卖;各D-Agent根据对应数据中心的状态,对所有容器的子集进行投标;
使用饥渴度和均衡度对数据中心的状态进行量化,作为选取容器组合的性能指标;
饥渴度为:
Figure FDA0002869776670000011
定义出内存和I/O的饥渴度分别为MEMW和IOw
物理主机总的饥渴度代表物理主机上等待容器部署的急迫程度,将急迫程度值定义为三种资源饥渴度之和:
Figure FDA0002869776670000012
数据中心的总体饥渴度定义为所有物理主机的三种资源平均饥渴度:
Figure FDA0002869776670000013
物理主机上述三种资源消耗的情况并不一定是均衡的;为了降低物理主机资源间的不均衡度,拟将任意两种资源间的不均衡度定义为两种资源利用率之差的绝对值;一台物理主机的总体不均衡度定义为三种资源两两之间不均衡度的均方根:
Figure FDA0002869776670000021
数据中心的不均衡度为各个物理主机不均衡度的平均值:
Figure FDA0002869776670000022
在收到用户请求的容器集合后,按照对CPU、内存和I/O资源的需求量进行排序得到容器需求列表;使用启发式算法计算各个投标组合以及投标组合承担后数据中心的状态发送给资源分配器,资源分配器运行竞标算法,决策中标者。
2.如权利要求1所述的多租户容器云平台虚拟计算资源自适应调度方法,其特征在于,
资源分配器收到各个数据中心的投标后,运行胜者决策算法,竞选出中标的数据中心;用户请求的容器集合为C={C1,C2,...,Cm},集合的大小为m;各个数据中心对容器集合的投标集合为B={b1(S1),b2(S2),...bn(Sn)},集合的大小为n;
投标的长度为标书中的容器数量,竞标的目标根据所有投标的出价挑选出最大化云计算系统收益的投标,为:
Figure FDA0002869776670000023
其中W是C的一个分割,A是W的所有分割;
数据中心竞标中,按照每一条从根节点到叶子节点的路径代表一组分割的方法构建投标树,然后使用深度优先算法搜索出树中收益最大的一条路径,得到所求的最优分割。
3.如权利要求1所述的多租户容器云平台虚拟计算资源自适应调度方法,其特征在于,运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整中,包括:
采用两阶段启发式算法进行数据中心服务器资源选择;第一阶段使用资源互补算法进行新旧容器间的匹配;第二阶段利用层次搜索算法部署容器资源;
第一阶段:基于资源互补算法的新旧容器匹配:
以G=(V,E)表示带权的无向图,其中V表示容器簇;E表示簇内容器之间的流量;节点集合表示为
Figure FDA0002869776670000031
边的集合表示为δ(Q);则无向图G中,边的一个顶点在集合Q中,另一个顶点属于V\Q,当
Figure FDA0002869776670000032
或Q≠V时,δ(Q)中的边就组成一个割集,表示为(Q,V\Q);对于每一条边(i,j)∈E,都有一个非负的容量Ci,j;一个割集的容量为割集中每条边容量的总和,表示为:C(Q,V\Q)=∑i,j∈δ(Q)C(i,j);
第二阶段:基于层次搜索算法的容器资源放置;
当某个新创建的容器被放置到服务器时,依据容器资源部署顺序,从左子树的根节点开始依次搜索,找到与该容器最匹配的服务器进行放置,当所有的服务器都不能容纳这个容器时,启用一台新的服务器。
4.如权利要求1所述的多租户容器云平台虚拟计算资源自适应调度方法,其特征在于,运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整中,进一步包括基于多agent的容器云数据中心计算资源自适应调度机制;包括:
1)预处理阶段:
D-Agent综合租户的服务请求信息,然后根据饥渴度列表和均衡度列表计算各个投标组合,反馈该数据中心资源的实时状况,并向C-Agent发起作业分配请求,同时等待系统资源分配器的投标结果;
C-Agent执行接收到的作业分配请求,根据所执行作业的租户属性,计算生成该租户的容器簇提出协同调度提议,将所述提议连同作业运行状态发送给D-agent,并向S-Agent提出资源供给请求;
S-Agent执行接收到的资源分配请求,根据服务的实时性能情况,计算生成协同调度资源提议和容器资源效用信息发送给C-Agent;
实施阶段:
D-Agent中标后,综合评估C-Agent提出的协同作业分配提议,做出虚拟化容器簇资源供给决策,并下达作业到C-Agent,同时更新当前数据中心的实况信息;
C-Agent落实作业分配提议,综合评估S-Agent提出的资源供给提议,做出容器资源供给决策,并下达任务到S-Agent;
S-Agent执行资源分配。
5.一种实现权利要求1~4任意一项所述多租户容器云平台虚拟计算资源自适应调度方法的信息数据处理终端。
6.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-4任意一项所述的多租户容器云平台虚拟计算资源自适应调度方法。
7.一种实现权利要求1~4任意一项所述多租户容器云平台虚拟计算资源自适应调度方法的多租户容器云平台虚拟计算资源自适应调度系统,其特征在于,所述多租户容器云平台虚拟计算资源自适应调度系统包括:
云计算服务入口汇集单元,通过统一的云计算服务入口,用户的容器资源请求统一被汇集到云计算服务入口并传递给资源分配器;
D-Agent进行信息交互单元,资源分配器与各数据中心的D-Agent进行信息交互,并使用基于组合拍卖的方法决策应用的部署方案,然后由各个数据中心实施;
多数据中心相互协作单元,运行期间,D-Agent收集各个容器簇的相关性能信息,并作动态调整;使基于容器技术的多个数据中心相互协作。
8.一种搭载有权利要求7所述多租户容器云平台虚拟计算资源自适应调度系统的多用户虚拟机。
CN201810828825.0A 2018-07-25 2018-07-25 多租户容器云平台虚拟计算资源自适应调度方法及系统 Active CN109039954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810828825.0A CN109039954B (zh) 2018-07-25 2018-07-25 多租户容器云平台虚拟计算资源自适应调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810828825.0A CN109039954B (zh) 2018-07-25 2018-07-25 多租户容器云平台虚拟计算资源自适应调度方法及系统

Publications (2)

Publication Number Publication Date
CN109039954A CN109039954A (zh) 2018-12-18
CN109039954B true CN109039954B (zh) 2021-03-23

Family

ID=64645295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810828825.0A Active CN109039954B (zh) 2018-07-25 2018-07-25 多租户容器云平台虚拟计算资源自适应调度方法及系统

Country Status (1)

Country Link
CN (1) CN109039954B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162400B (zh) * 2019-05-21 2021-01-26 湖南大学 复杂网络环境下实现mas系统中智能体合作的方法和系统
CN110764875A (zh) * 2019-10-25 2020-02-07 北京威晟艾德尔科技有限公司 一种基于竞争机制的Docker容器创建方法
CN111210262B (zh) * 2019-12-25 2023-10-03 浙江大学 基于激励机制的自发式边缘应用部署及定价方法
CN111625347B (zh) * 2020-03-11 2022-06-17 天津大学 基于服务组件级的细粒度云资源管控系统和方法
CN111488218B (zh) * 2020-03-13 2022-02-25 合肥中科类脑智能技术有限公司 一种一体机计算系统与方法
CN113835823A (zh) * 2020-06-23 2021-12-24 中兴通讯股份有限公司 资源调度方法和装置、电子设备、计算机可读存储介质
CN113110918A (zh) * 2021-05-13 2021-07-13 广州虎牙科技有限公司 读写速率管控方法、装置、节点设备及存储介质
CN114595030B (zh) * 2022-02-15 2023-05-23 黄淮学院 一种基于拍卖算法的云容器资源分配方法及系统
CN114327915B (zh) * 2022-03-08 2022-06-28 北京蚂蚁云金融信息服务有限公司 用于在线资源分配的方法及装置
CN114281556B (zh) * 2022-03-08 2022-07-05 北京蚂蚁云金融信息服务有限公司 用于自适应地优化在线资源分配的方法及装置
CN115840649B (zh) * 2023-02-16 2023-05-23 浙江云针信息科技有限公司 划分容量块式虚拟资源分配方法及装置、存储介质和终端
CN116389172B (zh) * 2023-06-05 2023-09-19 国网四川省电力公司信息通信公司 基于多租户的容器云平台资源安全管理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612987B2 (en) * 2007-01-15 2013-12-17 International Business Machines Corporation Prediction-based resource matching for grid environments
CN107193658A (zh) * 2017-05-25 2017-09-22 重庆工程学院 基于博弈论的云计算资源调度方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612987B2 (en) * 2007-01-15 2013-12-17 International Business Machines Corporation Prediction-based resource matching for grid environments
CN107193658A (zh) * 2017-05-25 2017-09-22 重庆工程学院 基于博弈论的云计算资源调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《容器技术在DRaas中的应用研究》;刘伟佳等;《微电子学与计算机》;20180630;第35卷(第6期);全文 *
Sareh Fotuhi Piraghaj*,†等.《ContainerCloudSim: An environment for modeling and simulation of containers in cloud data centers》.《SOFTWARE: PRACTICE AND EXPERIENCE Softw. Pract. Exper. 2017 *

Also Published As

Publication number Publication date
CN109039954A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109039954B (zh) 多租户容器云平台虚拟计算资源自适应调度方法及系统
Zhang et al. Virtual network embedding based on modified genetic algorithm
US20180060106A1 (en) Multi-tiered-application distribution to resource-provider hosts by an automated resource-exchange system
Mansouri et al. Cost-based job scheduling strategy in cloud computing environments
TW201820165A (zh) 用於雲端巨量資料運算架構之伺服器及其雲端運算資源最佳化方法
CN108196935B (zh) 一种面向云计算的虚拟机节能迁移方法
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
CN107992353A (zh) 一种基于最小迁移量的容器动态迁移方法及系统
WO2022142859A1 (zh) 数据处理方法、装置、计算机可读介质及电子设备
Delavar et al. A synthetic heuristic algorithm for independent task scheduling in cloud systems
Jiang et al. Resource-utilization-aware task scheduling in cloud platform using three-way clustering
Zhang et al. Hierarchical resource scheduling method using improved cuckoo search algorithm for internet of things
CN109710372A (zh) 一种基于猫头鹰搜索算法的计算密集型云工作流调度方法
CN103997515A (zh) 一种分布式云中计算中心选择方法及其应用
Ji et al. Adaptive workflow scheduling for diverse objectives in cloud environments
Adrian et al. Analysis of K-means algorithm for VM allocation in cloud computing
Shenbaga Moorthy et al. Optimal provisioning and scheduling of analytics as a service in cloud computing
Huang et al. Computation offloading for multimedia workflows with deadline constraints in cloudlet-based mobile cloud
Jiao et al. Immune optimization of task scheduling on multidimensional QoS constraints
CN112954012B (zh) 基于负载的改进模拟退火算法的云任务调度方法
Hu et al. Research of scheduling strategy on OpenStack
Li et al. Resource scheduling approach for multimedia cloud content management
CN114461369B (zh) 一种面向复杂应用场景的自适应数据调度系统及方法
TG et al. NORD: NOde Ranking-based efficient virtual network embedding over single Domain substrate networks
Krishna Priya et al. Crossover-based improved sine cosine algorithm for multimedia content distribution in cloud environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant