CN106790726B - 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法 - Google Patents

Abstract

本发明提供了一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法。本发明根据云平台服务器的CPU、内存、网络综合因素计算各服务器的负载权值并建立优先级队列：服务器性能优先级队列和待调度服务器性能优先级队列，在此基础上进行动态反馈调度：通过周期性负载监测，动态更新服务器的负载权值及两个队列；再查看待调度服务器性能优先级队列中是否有需要调度的服务器，选择一组或多组平均连接数最小的Docker容器进行调度，将容器调度到服务器性能优先级队列上动态性能最好的服务器上，同时更新两个优先级队列。本发明引入多维资源的处理以及基于优先级队列的动态反馈的综合负载均衡方法，保证了多维资源的综合性能和调度方法实现效率。

Description

一种基于Docker云平台的优先级队列动态反馈负载均衡资源 调度方法

技术领域

本发明属于计算机云计算技术领域，具体涉及一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法。

背景技术

云计算将计算资源整理抽象成计算资源库，然后将资源按量或按时计费，通过网络提供给计算资源使用者。云计算通过分布式、虚拟化等多种技术的整合，将处理能力、存储、网络等资源抽象成可以作为服务提供给用户的计算机资源，用户可以根据需求，按时或者按量付费获取，非常方便。

Docker容器技术具有轻量化、可配额和便携化等优点，非常适合用于开发PaaS云平台，在今后的云计算发展中具有重要的地位。但是，以Docker为基础的云平台的原理和资源模型与传统虚拟化平台不同，不能直接使用虚拟机虚拟化的资源调度策略，因此需要根据以Docker为基础的云平台的资源特点设计主机资源调度策略。

负载均衡是比较常用的资源调度策略，负载均衡的基本思想就是让所有的服务器的资源使用率接近，这样可以有效的避免服务器空载造成的资源浪费，也可以防止服务器超载造成的业务瘫痪。通过监控和计算服务器主机资源，将新分配的容器调度到资源使用率较低的服务器上，在适当的时候将过载的服务器上的容器调度到资源利用率低的空闲服务器上，从而保证资源利用率的均衡，保证云平台的整体性能。

云计算常用的负载均衡算法有轮转调度算法、加权轮转调度算法、目标地址哈希算法、源地址哈希算法、最小连接算法、启发式算法等。

对于Docker云平台宿主机不仅可以是不同配置的物理服务器，还可以是IaaS基础设施，因此资源调度策略需要支持不同规格的服务器。其次Docker云平台的调度粒度是容器，容器本身对资源的需求基本上是完全不同的，即Docker云平台具有不同规格的用户需求，因此资源调度策略要考虑不同规格用户需求。另外，Docker云平台中Docker启动速度在秒级，因此资源调度策略的响应时间过长，则资源调度策略的时间响应度占主要矛盾，因此需要在保证负载均衡的同时，尽量减小调度算法的及计算量，以减小调度时间。已有资源调度策略不是难以解决用户需求规格一致导致的负载不均衡问题，就是算法实现计算量大，负载均衡的时间响应度低，无法保证实时动态调度，并且现有的资源调度策略大多是针对以虚拟机为基础的云平台，很少有在Docker容器的基础上设计调度策略。

发明内容

本发明的目的在于，提供一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法，用以改进现有的常规资源调度策略，并应用于Docker云平台。

本发明的技术方案是按以下方式实现的，对Docker云平台主机资源建立数学模型，根据云平台服务器的CPU、内存、网络综合因素计算负载权值建立优先级队列，在此基础上进行动态反馈调度。该方法周期性的获取负载情况作为反馈信息，通过一定的评价公式计算资源调度的优先级，将不同优先级的资源按调度优先级排队生成优先级队列，调度器再根据优先级队列进行资源调度。

本发明是基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法，包括下列步骤：

(1)系统初始化

引入资源规格系数解决服务器规格不一，引入权值因子解决用户需求不一。

①设置资源规格系数：

对数据中心的n台服务器的主机资源建立数学模型，由管理员设置规格系数：cpu_i、mem_i、net_i分别表示服务器CPU、内存、网络的性能差异，其中，下标i为服务器标识符，规格系数需要按比例设置，规格系数越高服务器具有更好的性能。如两台服务器的CPU分别是双核和四核，则它们的规格系数可设置为cpu₁为1，cpu₂为2；

②设置每台服务器的CPU、内存、网络的权值因子λ₁、λ₂、λ₃：

由于不同类型的Docker容器对资源的需求程度也不同，因此通过设置权值因子Λ(Λ＝(λ₁，λ₂，λ₃))来保证Docker容器对资源的需求程度不同时服务器的综合负载性能。权值因子的设置需要根据容器需求，例如，若容器资源请求是计算占主导的，则适度调大cpu的权值因子λ₁。

基于每台服务器的历史运行任务设置权值因子λ₁、λ₂、λ₃的具体值，其中0＝＜λ₁,λ₂,λ₃＜＝1且λ₁+λ₂+λ₃＝1。

③设置上阈值t1、下阈值t2，以及监控周期，其中阈值t1、阈值t2基于n台服务器的负载权值分布情况进行预设。

(2)优先级队列的实现

根据各服务器的资源使用情况计算负载权值，由负载均值计算负载权值，并由此建立优先级队列。

①计算负载均值：

分别利用加权平均值计算CPU、内存、网络的负载均值：

其中V_c表示CPU的负载均值，l_ci表示第i台服务器的CPU平均利用率，cpu_i表示第i台服务器的CPU规格系数(按CPU的核的数量的比例设置CPU规格系数)，i∈{1,2,…,n}；

其中V_m表示内存的负载均值，l_mi表示第i台服务器的内存平均利用率，mem_i表示第i台服务器的内存规格系数(按内存大小的比例设置内存规格系数)，i∈{1,2,…,n}；

其中V_n表示网络的负载均值，l_neti表示第i台服务器的网络平均利用率，net_i表示第i台服务器的网络规格系数(按网络带宽的比例设置网络规格系数)，i∈{1,2,…,n}；

②计算均衡程度，即各台服务器的资源相对比率：

将每台服务器的CPU、内存、网络的平均利用率与对应的负载均值的比值分别作为各服务器的CPU、内存、网络的相对负载率A_i(A∈{CPU,MEN,NET})：

即

当计算得到的CPU_i、MEM_i、NET_i的值大于1时，则表示系统的任务相对过载；小于1时表示系统的任务相对空闲；等于1时表示接近平均水平，通过CPU_i、MEM_i、NET_i与数值1的大小关系来表示相对负载程度。

③计算每台服务器的负载权值weight_i：

weight_i＝λ₁(ln CPU_i)+λ₂(lnMEM_i)+λ₃(lnNET_i)，其中符号“ln”表示自然对数；

若负载权值weight_i大于零，则表征服务器负载偏重，需要被调度；若weight_i小于零则表示系统负载较轻，可以加入新任务。

④建立优先级队列：

根据各服务器的负载权值，确定各服务器的性能优先级，负载权值越小，其性能优先级越高；建立两个优先级队列，一个是服务器性能优先级队列，一个是待调度服务器优先级队列；筛选出负载权值小于预设阈值t1的服务器，再按负载权值升序存储到服务器性能优先级队列；筛选出负载均值大于预设阈值t2的服务器，再按负载权值降序存储到待调度服务器优先级队列。

(2)动态反馈负载均衡调度策略：

通过周期性负载监测，动态更新服务器负载权值，即当检测到用于计算负载权值的相关参数发生变化时，实时对服务器的负载权值进行更新，如当服务器的CPU、内存、网络的平均利用率发生变化时，则需要重新计算对应的weight_i值；然后基于各服务器的当前负载权值更新服务器性能优先级队列和待调度服务器性能优先级队列；

在查看待调度服务器优先级队列中是否有需要调度的服务器时(即待调度服务器优先级队列中存在服务器)，则从位于待调度服务器优先级队列的队头的服务器上选择一组或多组平均连接数最小的Docker容器进行调度，将选择的Docker容器调度到服务器性能优先级队列上动态性能最好的服务器上，即位于服务器性能优先级队列的队头的服务器；然后调整服务器性能优先级队列和待调度服务器优先级队列。

同时除了周期性负载监控外，本发明可以通过新增容器或主机超载保护机制等外部事件触发对指定Docker容器的调度，即将指定Docker容器调度到服务器性能优先级队列上性能最好的服务器上。

与现有技术相比，本发明的有益效果是：利用建立的Docker云平台主机资源的数学模型，动态计算服务器的权值，建立优先级队列，根据动态反馈进行资源调度，本调度方法考虑服务器规格和用户需求规格的不一致性，引入了多维资源的处理以及基于优先级队列的动态反馈的综合负载均衡方法，保证了多维资源的综合性能和调度方法实现效率。

附图说明

图1是优先级队列动态反馈负载均衡调度方法数据流图；

图2是触发资源调度的方法图；

图3是基于Docker云平台的动态反馈负载均衡资源调度系统组件图；

图4是动态反馈负载均衡流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明是基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法。如图1，该方法主要通过从数据库读取到的负载信息计算各服务器的负载权值，将服务器分成两组，一组是权值大于零的高负载服务器组，另一组是权值小于零的低负载服务器组。对于分选出来的结果应用不同的过滤器过滤不符合规则的服务器并建立相应的优先级队列，对于低负载服务器应用资源评估过滤资源情况异常的服务器并建立优先级队列1，而高负载服务器应用负载评估过滤未达到调度阈值的服务器并建立优先级队列2，并将构建的两个优先级队列存储到数据库中。从优先级队列2中选出合适的容器调度到优先级队列1中权值最高的服务器上并更新数据库。

主要结构包括：优先级队列的建立和动态反馈负载均衡调度方法。

其中优先级的实现主要通过建立的Docker云平台主机资源模型，引入CPU、内存、网络规格系数和动态因子来消除服务器规格和用户需求的不一致性，计算服务器的负载权值，据此建立两个优先级队列便于后续资源调度方法的调度。

而动态反馈负载均衡调度方法通过资源监控器周期的监测负载的情况，负载反馈器会根据负载情况和历史权值情况计算出评价服务器能力的负载权值。根据此负载权值计算出每个服务的性能优先级和调度优先级，根据这两个优先级建立两个基于堆的优先级队列，然后负载均衡器依次顺序进行调度。具体描述如下：

1.优先级队列的实现

引入资源规格系数解决服务器规格不一，引入权值因子解决用户需求不一，并根据负载均值计算负载权值，并由此建立优先级队列。

(1)建立Docker云平台主机资源数学模型；

(2)分别计算CPU、内存、网络的负载均值：V_c、V_m、V_n；

(3)将每台服务器的CPU、内存、网络的平均利用率与对应的负载均值的比值分别作为各服务器的CPU、内存、网络的相对负载率A_i(A∈{CPU,MEM,NET})，得到各服务器的均衡程度；

(4)根据公式weight_i＝λ₁(ln CPU_i)+λ₂(lnMEM_i)+λ₃(lnNET_i)计算每台服务器的负载权值weight_i，其中λ₁、λ₂、λ₃分别为预设的CPU、内存、网络带宽的权值因子，其中λ₁+λ₂+λ₃＝1。

(5)建立优先级队列：根据各服务器的负载权值，确定各服务器的性能优先级，即负载权值越小，其性能优先级越高；

然后建立两个优先级队列，一个是服务器性能优先级队列，一个是待调度服务器优先级队列；筛选出负载权值小于0的服务器，再按负载权值升序存储到服务器性能优先级队列；筛选出负载均值大于0的服务器，再按负载权值降序存储到待调度服务器优先级队列。

优先级队列的基本操作包括插入和查找，本发明中中采用的优先级队列在调度时需要找到优先级最高的元素，同时需要动态的建立队列需要大量的插入操作。为了均衡算法复杂度，采用二叉堆的方式实现优先级队列，二叉堆的实现方式能够保证插入和查找操作的复杂度都是O(log₂n)。

图2显示了两种触发调度的方式，即基于周期监控的服务器的负载权值对构建的两个优先级队列进行更新，并触发资源调度；由外部事件触发资源调度。

2.动态反馈负载均衡调度方法

通过周期性负载监测，动态更新服务器负载权值，然后将服务器按负载程度更新服务器性能优先级队列和待调度服务器性能优先级队列，在查看待调度服务器性能优先级队列中是否有需要调度的服务器，选择一组或多组平均连接数最小的Docker容器进行调度，将容器调度到服务器性能优先级队列上动态性能最好的服务器上，然后调整服务器性能优先级队列和待调度服务器性能优先级队列。同时除了周期性负载监控外，本发明还可以通过新增容器或主机超载保护机制等外部事件触发，然后将任务调度到服务器性能优先级队列性能最好的服务器上。

实现本发明的动态反馈负载均衡调度方法的系统组件如图3所示，图中的调度器是实现负载均衡的核心单元，调度器主要负责给新加入队列的任务(指新加入的Docker容器队列，将Docker应用容器作为资源分配的粒度，将一个Docker应用容器作为一个调度任务)分配服务器，为需要动态调整的容器组进行动态迁移，从这两方面实现负载均衡。负载监控器主要负责周期性的获取服务器主机的资源使用情况，从而计算各服务器的负载权值，并将服务器的负载权值提供给反馈控制器用于反馈控制决策，除此之外将一部分关键数据(比如上一次调度的响应时间)存入历史信息记录模块，以便在后续的时间进行决策时提供给反馈控制器。反馈控制器通过计算将有用的反馈控制信息提供给负载均衡器，最后由负载均衡控制器决定调度的策略，最后将策略提供给调度器。

参见图4，本发明的资源调度方法的执行步骤如下：

①系统参数初始化，如初始化资源规格系数、权值因子、资源监控周期T等参数；

②通过设置的定时器，周期收集各服务器的负载信息，并记录到数据库中；

③计算各服务器资源负载加权平均值、资源相对比率、服务器负载权值，并基于服务器负载权值确定其性能优先级，负载权值越小，性能优先级越高；

④根据各服务器负载权值，建立/更新服务器性能优先级队列和待调度服务器优先级队列(若未建立，则建立，若已建立，则更新)；

基于性能优先级对服务器进行过滤，过滤资源异常的服务器，如过滤掉前K个性能优先级最小的服务器，或性能优先级低于预设阈值t1的服务器等，将过滤后的各服务器按照负载权值升序存储到服务器性能优先级队列；将性能优先级低于预设阈值t2的服务器过滤后，按负载权值降序存储到待调度服务器优先级队列。

⑤将服务器性能优先级队列和待调度服务器优先级队列加入负载均衡控制器；

⑥在负载均衡控制器控制驱动下，由调度器完成资源调度；

⑦同时任务调度可以由外部控制命令和事件触发。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法，其特征在于，包括下列步骤：

步骤1：采用二叉堆的方式构建优先级队列：服务器性能优先级队列，待调度服务器优先级队列：

101：服务器的系统参数初始化：CPU规格系数cpu_i、内存规格系数mem_i、网络规格系数net_i，其中i为服务器标识符；每台服务器的CPU、内存、网络的权值因子λ₁、λ₂、λ₃，其中λ₁、λ₂、λ₃的取值范围为0～1，且λ₁+λ₂+λ₃＝1；对服务器的资源监控周期，以及阈值t1、t2的值；

102：计算服务器的CPU、内存、网络的负载均值V_c、V_m、V_n：

(1)

其中V_c表示CPU的负载均值，l_ci表示服务器i的CPU平均利用率；

(2)

其中V_m表示内存的负载均值，l_mi表示服务器i的内存平均利用率；

(3)

其中V_n表示网络的负载均值，l_neti表示服务器i的网络平均利用率；

103：基于每台服务器的CPU、内存、网络的平均利用率计算各服务器的CPU相对比率CPU_i、内存相对比率MEM_i、网络相对比率NET_i：

104：根据公式weight_i＝λ₁(lnCPU_i)+λ₂(lnMEM_i)+λ₃(lnNET_i)计算每台服务器的负载权值weight_i，其中i为服务器标识符，符号“ln”表示自然对数；

105：筛选出负载权值小于预设阈值t1的服务器，再按负载权值升序存储到服务器性能优先级队列；筛选出负载均值大于预设阈值t2的服务器，再按负载权值降序存储到待调度服务器优先级队列；其中，t1＝t2＝0；

步骤2：基于设置的资源监控周期，获取服务器的当前负载信息，并更新各服务器的负载权值，以及更新服务器性能优先级队列和待调度服务器优先级队列；并且记录服务器的上一次调度时的响应时间；

步骤3：基于当前服务器性能优先级队列、待调度服务器优先级队列和服务器的上一次调度时的响应时间进行动态反馈负载均衡调度：

将Docker容器作为资源分配的粒度，将一个Docker容器作为一个调度任务；

若待调度服务器优先级队列中存在服务器，则从位于待调度服务器优先级队列的队头的服务器上选择一组或多组平均连接数最小的Docker容器进行调度：将选择的Docker容器调度到位于服务器性能优先级队列的队头的服务器上；并调整服务器性能优先级队列和待调度服务器性能优先级队列；

当收到对指定Docker容器的调度命令时，将指定Docker容器调度到位于服务器性能优先级队列的队头的服务器上；并调整服务器性能优先级队列和待调度服务器性能优先级队列；

同时，通过外部事件触发，将任务调度到服务器性能优先级队列性能最好的服务器上，所述外部事件触发包括新增容器或主机超载保护机制。

Images