CN115686826A - 一种基于天基分布式卫星集群的动态调度方法和系统 - Google Patents

Abstract

本发明提供了一种基于天基分布式卫星集群的动态调度方法，包括以下步骤：对待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分并进行排序；按照排序依次对待调度Pod进行调度，判断卫星集群资源是否充足，若充足则将当前Pod部署到能够满足该Pod资源需求的卫星节点中资源最充分的节点上；否则根据抢占开销进行抢占式调度，若存在抢占开销小于当前Pod的处于服务中的Pod，则将抢占开销最小的Pod的服务停止，把资源释放给当前Pod，终止服务的Pod返回等待队列；否则当前Pod返回等待队列，直到有Pod完成任务释放出节点资源。本发明相比现有技术对卫星集群资源进行更加合理充分地利用，提高了卫星集群稳定性和服务可靠性。

Description

一种基于天基分布式卫星集群的动态调度方法和系统

技术领域

本发明属于容器集群管理技术领域，特别涉及一种基于天基分布式卫星集群的动态调度方法和系统。

背景技术

随着新一代卫星技术的日益发展，卫星应用服务内容和种类的日益丰富，然而依然面临如下问题：首先，单个卫星节点的计算和存储能力有限，难以独自快速地完成大量的计算密集型业务，而且有可能由于单点故障导致服务不可用。其次，星间链路存在拓扑高动态变化和传输时延较大的特点，会对业务的执行产生较大的影响。最后，丰富多样的应用和业务使得星间链路面临较大的流量压力，再加上星上计算、存储和通信资源均非常稀缺，这会导致一些优先级较高的业务不能得到及时响应和执行。因此，为满足用户对高质量卫星应用服务的需求，，卫星分布式集群方法应运而生。多个低轨卫星以星座或者编队的形式组成天基卫星集群，可以有效协调多个卫星的通信、计算和存储资源，满足用户的应用需求。

Kubernetes作为当前应用最为普遍的容器云编排管理系统，广泛部署和应用于多种分布式计算场景。Kubernetes的资源调度器Scheduler主要负责为新创建的Pod寻找合适的节点Node进行部署。Scheduler是一个独立的进程，该进程不断从相应模块拉取未被调度的Pod和可部署的节点Node列表，这一阶段拉取Pod的策略主要有：先进先出调度(First InFirst Out,FIFO)、公平份额调度(Fair Scheduler)、计算能力调度(Capacity Scheduler)等。然后通过默认的调度算法筛选出合适的节点Node并于Pod进行绑定。这一阶段调度过程主要包括预选(Predicates)和优选(Priorities)两个过程。预选阶段Scheduler会根据预设条件(如节点资源是否充足、端口是否冲突等)筛选出可被调度的候选节点。优选阶段调度器会根据候选节点剩余CPU利用率、内存利用率等多种评价指标，利用加权求和方式进行评分，选择评分最高的节点进行Pod部署。随着Kubernetes的普及和应用，为解决资源不足情况下Pod的调度问题，Kubernetes 1.9版本提出Pod的抢占式调度，并在1.10版本实现了具有抢占式调度的策略。抢占式调度可以在资源不足情况下，允许终止并释放正在运行的低优先级Pod所占用的资源，以满足未调度的高优先级Pod的资源需求。但是发生抢占调度时，默认根据业务类型优先级进行抢占，没有充分考虑业务之间的抢占开销以及个性化的业务需求，可能会产生大量的低优先级Pod被驱逐返回调度队列，并且这些Pod再次调度也需要较长等待时间，频繁的Pod驱逐事件也会降低容器资源利用效率和服务质量。

然而，天基分布式卫星集群容器编排调度系统不同于地面分布式集群，其受限于空间环境中链路拓扑高动态变化和高传输时延，计算、存储和带宽等资源稀缺等条件，直接采用Kubernetes原生资源调度机制存在以下问题：首先Kubernetes拉取Pod主要采用先入先出策略，其默认队列中所有业务的Pod优先级相同，只会按时间顺序来进行调度。首先没有充分考虑应用服务的业务类型和紧迫程度，会出现资源不足导致一些紧迫的或者高优先级的业务不能执行，该情形还往往会引起后续大量抢占调度事件的发生。

文献“基于Kubernetes的资源动态调度的研究与实现[D].杨鹏飞.浙江大学，2017”提出了一种基于网络负载的优先级调度策略，该方案根据网络负载状况来划分虚拟机优先级进行最终调度。但该方案收集网络负载指标的方法在天基卫星集群的应用场景并不适用。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种基于天基分布式卫星集群的动态调度方法和系统，更加合理、充分地利用卫星容器集群的资源，提高了容器集群稳定性和服务可靠性。

本发明的技术解决方案是：

一种基于天基分布式卫星集群的动态调度方法，包括以下步骤：

1)对待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分，并按照优先级评分从高到低的顺序对待调度Pod进行排序，形成待调度队列；

2)从待调度队列中选择排序最靠前的待调度Pod，判断卫星集群中是否存在能够满足当前待调度Pod的资源需求的卫星节点，若存在则进入步骤3)，否则进入步骤4)；

3)将当前待调度Pod部署到能够满足该Pod的资源需求的卫星节点中资源最充分的节点上，进入步骤5)；

4)计算各卫星节点处于服务中的Pod的抢占开销，判断处于服务中的Pod的抢占开销是否存在小于当前待调度Pod的优先级评分的，若不存在，当前待调度Pod返回待调度队列，待有Pod服务执行完毕释放节点资源后，再进行调度；否则将抢占开销最小的处于服务中的Pod的服务终止，释放其所在卫星节点的资源并将当前待调度的Pod部署到该卫星节点上，终止服务的Pod返回待调度队列；进入步骤5)；

5)判断待调度队列是否为空，若为空则结束调度任务，否则进入步骤1)。

优选的，所述步骤1)中，对动态到达的待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分，具体为：

其中，p_type为业务类型优先级评分，p_resource为资源需求优先级评分，p_ugency为紧迫程度优先级评分，p_QoS为服务质量优先级评分；α为业务类型优先等级权重，Type_Prio表示Pod的业务类型优先等级数值；β为资源需求优先等级权重，cpu_total、mem_total、disk_total、net_total分别为卫星集群中CPU、内存、磁盘、网络带宽资源总量，cpu、mem、disk、net分别为Pod的CPU、内存、磁盘、网络带宽资源需求；δ为紧迫程度优先等级权重，T_current为当前时刻，T_arrive为Pod的到达时间，Deadline为Pod的截止时间，ε为服务质量优先等级权重，QoS_Prio表示Pod的服务质量优先等级数值。

优选的，所述步骤4)中，计算各卫星节点处于服务中的Pod的抢占开销，具体为：

P_ij＝p_ij+γ×com_ij

其中，p_ij为处于服务中的Pod的优先级评分，com_ij为处于服务中的Pod的已完成业务量百分比，γ为已完成业务量抢占开销权重。

优选的，所述业务类型优先等级权重α、资源需求优先等级权重β、紧迫程度优先等级权重δ和服务质量优先等级权重ε满足以下关系：

β+δ+ε≤α。

一种基于天基分布式卫星集群的动态调度系统，包括Pod优先级评分模块、Pod动态调度模块；

Pod优先级评分模块：对待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分，并按照优先级评分从高到低的顺序对待调度Pod进行排序，形成待调度队列；

Pod动态调度模块：从待调度队列中选择排序最靠前的待调度Pod，判断卫星集群中是否存在能够满足当前待调度Pod的资源需求的卫星节点，若存在，将当前待调度Pod部署到能够满足该Pod的资源需求的卫星节点中资源最充分的节点上；若不存在，计算各卫星节点处于服务中的Pod的抢占开销，判断处于服务中的Pod的抢占开销是否存在小于当前待调度Pod的优先级评分的，若不存在，当前待调度Pod返回待调度队列，待有Pod服务执行完毕释放节点资源后，再进行调度；否则将抢占开销最小的处于服务中的Pod的服务终止，释放其所在卫星节点的资源并将当前待调度的Pod部署到该卫星节点上，终止服务的Pod返回待调度队列，判断待调度队列是否为空，若为空则结束调度任务，否则继续对待调度Pod进行调度直至调度队列为空，结束调度任务。

优选的，所述Pod优先级评分模块对动态到达的待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分，具体为：

其中，p_type为业务类型优先级评分，p_resource为资源需求优先级评分，p_ugency为紧迫程度优先级评分，p_QoS为服务质量优先级评分；α为业务类型优先等级权重，Type_Prio表示Pod的业务类型优先等级数值；β为资源需求优先等级权重，cpu_total、mem_total、disk_total、net_total分别为卫星集群中CPU、内存、磁盘、网络带宽资源总量，cpu、mem、disk、net分别为Pod的CPU、内存、磁盘、网络带宽资源需求；δ为紧迫程度优先等级权重，T_current为当前时刻，T_arrive为Pod的到达时间，Deadline为Pod的截止时间，ε为服务质量优先等级权重，QoS_Prio表示Pod的服务质量优先等级数值。

优选的，所述Pod动态调度模块计算各卫星节点处于服务中的Pod的抢占开销，具体为：

P_ij＝p_ij+γ×com_ij

其中，p_ij为处于服务中的Pod的优先级评分，com_ij为处于服务中的Pod的已完成业务量百分比，γ为已完成业务量抢占开销权重。

优选的，所述业务类型优先等级权重α、资源需求优先等级权重β、紧迫程度优先等级权重δ和服务质量优先等级权重ε满足以下关系：

β+δ+ε≤α。

本发明与现有技术相比的优点在于：

本发明基于天基分布式卫星集群的动态调度方法和系统，综合考虑Pod的业务类型和需求特征，对待调度Pod进行多维度优先级评分和排序，并按照优先级顺序实现集群资源动态调度机制优化，满足不同应用的个性化资源需求，进一步将Pod资源对象调度至分布式集群的最优节点，避免频繁的抢占调度事件，从而更加合理、充分地利用集群的资源，提高集群动态服务质量，提高集群稳定性和服务可靠性。

附图说明

图1为本发明基于天基分布式卫星集群的动态调度方法流程示意图。

具体实施方式

下面通过对本发明进行详细说明,本发明的特点和优点将随着这些说明而变得更为清楚、明确。

假设天基分布式卫星集群中共有I个卫星节点，记为node_i,i∈{1,2,...,I}；每个节点均具有CPU、内存、磁盘和网络资源四种可用资源，R_i＝{cpu_i,mem_i,disk_i,net_i}；待调度Pod资源对象由J个容器构成，记为Pod_j,j∈{1,2,...,J}，每个容器用一个N元组来表示其业务特征和需求，包括CPU、内存、磁盘、网络资源、业务类型、到达时间、截止时间和QoS要求等，定义如下：

D_j＝{cpu_j,mem_j,disk_j,net_j,Type_j,Tarrive_j,Deadline_j,QoS_j}。

一种基于天基分布式卫星集群的动态调度方法，如图1所示，包括以下步骤：

步骤1：Pod优先级评分。首先，在Pod调度之前，对待处理业务Pod请求进行根据业务类型、资源配置、紧迫程度和服务质量(Quality of service,QoS)进行多维度优先级综合评分。

步骤S110：在Pod优先级量化过程中，业务类型的优先级是最高维度的。假设根据业务类型Type，Pod优先级可以分为n级，最低等级为0，最高等级为n-1。首先，为各个优先级定义变量名和数值。针对不同Pod的业务类型，分别映射对应的优先等级数值。

令Type_Prio表示Pod的业务类型优先等级，则其业务类型优先级p_type规定为：

p_type＝α×Type_Prio

其中，α为业务类型优先等级权重。

步骤S120：对在同一业务类型Pod，按照紧迫程度和服务质量进行各个业务的需求优先级评分。为了准确描述Pod的重要程度，对于Pod_j的业务特征和需求D_j＝{cpu_j,mem_j,disk_j,net_j,Type_j,Tarrive_j,Deadline_j}，从下面几个维度选取指标对其优先级进行评估。

(1)资源配置

为尽可能多的进行容器调度，占用资源较少的容器可优先执行。我们将Pod_j的资源需求{cpu_j,mem_j,disk_j,net_j}进行归一化，并定义资源配置优先级p_resource如下：

其中，cpu_total，mem_total，disk_total，net_total为集群中CPU、内存、磁盘、网络带宽资源总量，β为资源需求优先等级权重。

(2)紧迫程度

为尽可能减少实时任务的服务延迟，提升服务质量，我们利用当前时间、到达时间和截止时间定义容器的服务紧迫程度，并定义紧迫程度优先级p_ugency如下：

其中，T_current为当前时刻，δ为紧迫程度优先等级权重。

(3)服务质量

QoS根据Pod配置文件中的资源requests和limits的设置情况，分为Guaranteed，Burstable和BestEffort三种重要程度等级，并根据其QoS需求重要程度选取[0,1]之间的数值作为其QoS优先级数值。针对不同Pod的QoS，分别映射对应的优先等级数值。

令QoS_Prio表示Pod的服务质量优先等级，则其服务质量优先级p_QoS规定为：

p_QoS＝ε×QoS_Prio

其中，ε为服务质量优先等级权重。

步骤S130：将Pod的业务优先级和需求优先级进行综合加权，其多维度优先级p定义为:

Pod优先级的各个纬度的优先级重要程度可以通过赋予相应的优先级权重来进行调整。在此，我们采用的是优先级比重按照业务类型第一优先，需求特征第二优先的顺序，对Pod优先级重要程度进行设定，因此需满足β+δ+ε≤α，则可得出同一业务类型的Pod优先级在同一量级，且在此基础上将同一业务类型Pod按照需求特征进行同一量级内的进一步优先级评分和排序。具体权重值可根据服务和集群情况自行拟定。比如可令业务类型优先级权重α为1000，β+δ+ε≤1000。

根据以上方法得出各个Pod的多维度优先级评分，并根据优先级评分对待处理Pod队列进行排序。

步骤2：Pod动态调度机制。

对于排序后的待调度Pod队列，根据集群资源状态执行两种调度机制。在集群资源充足情况下，按照优先级从大到小的顺序利用传统调度机制对Pod进行调度。在集群资源不足情况下，通过比较高优先级Pod与低优先级Pod的抢占开销，开启抢占式调度机制。

步骤S210：在集群资源充足情况下，并根据卫星动态链路状态和节点资源信息优化集群资源调度机制，按照优先级从大到小的顺序将未调度的Pod资源对象调度到集群中最优卫星节点上。具体步骤如下：

按照优先级从大到小的顺序，选择待调度Podj。

首先根据待调度Podj的资源需求过滤掉不符合要求的节点，得到可用候选节点集合nodes_avail；

根据待调度的CPU、内存、磁盘可用率以及网络资源作为评价指标，利用加权求和方式对候选节点评分，选择评分最高的节点进行Pod部署。

步骤S220：在集群资源不足情况下，开启抢占式调度机制，该机制通过对待处理的高优先级Pod与集群中正在处理的低优先级Pod的抢占开销分别进行计算和比较，若高优先级业务Pod抢占开销高于低优先级业务Pod，则终止低优先级业务Pod处理过程，并将资源释放给高优先级业务Pod，终止的低优先级业务Pod返回调度队列等待调度。具体步骤如下：

按照优先级从大到小的顺序，选择待调度的Podj，若根据待调度Podj的资源需求，不存在可用候选节点集合nodes_avail，则开启抢占调度；

令待调度Podj抢占开销为其优先级，各个节点node_i中当前服务Podij中抢占开销设定优先级与已完成业务量的加权和，定义如下：

P_ij＝p_ij+γ×com_ij

其中，p_ij为其优先级，com_ij为其已完成业务量百分比，γ为已完成业务量抢占开销权重。其权重可以根据对抢占调度的支持程度自行拟定，如已完成业务量较大的低优先级业务类型可不让位与待服务的低优先级业务类型，则γ可设为大于α的值，否则，可设为小于α的值。筛选各个节点node_i中抢占开销低于待调度Pod的低优先级Pod集合Pod_p＝{Pod_i1,Pod_i2,…,Pod_ij,…}，并对其抢占开销进行排序。

若Pod_p不为空，则选取Pod_p中抢占开销最小的容器Pod_ij将其服务挂起，释放其服务节点node_i资源，由待调度Pod对释放后的资源进行部署，终止的低优先级业务Pod返回调度队列等待调度。若Pod_p为空，则当前各个节点node_i上服务的全部Pod抢占开销均大于待调度Pod，无法进行抢占调度，待当前服务Pod执行完毕释放资源后再行调度。

Pod优先级更新：随着Pod的不断动态到达，为统一优先级标准，还需对待处理队列中的Pod进行优先级实时更新，并与新到达的Pod进行排序，以满足实时的动态调度要求。

步骤S310：对新到达的Pod按照Pod优先级评分规则进行综合评分。

步骤S320：对待处理队列中的Pod对其紧迫程度评分p_ugency进行更新，并更新其综合评分p。

步骤S330：按照更新后的优先级，对新到达Pod和待处理队列中的Pod进行重新排序，并按序进行调度。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (8)

1.一种基于天基分布式卫星集群的动态调度方法，其特征在于，包括以下步骤：

1)对待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分，并按照优先级评分从高到低的顺序对待调度Pod进行排序，形成待调度队列；

2)从待调度队列中选择排序最靠前的待调度Pod，判断卫星集群中是否存在能够满足当前待调度Pod的资源需求的卫星节点，若存在则进入步骤3)，否则进入步骤4)；

3)将当前待调度Pod部署到能够满足该Pod的资源需求的卫星节点中资源最充分的节点上，进入步骤5)；

4)计算各卫星节点处于服务中的Pod的抢占开销，判断处于服务中的Pod的抢占开销是否存在小于当前待调度Pod的优先级评分的，若不存在，当前待调度Pod返回待调度队列，待有Pod服务执行完毕释放节点资源后，再进行调度；否则将抢占开销最小的处于服务中的Pod的服务终止，释放其所在卫星节点的资源并将当前待调度的Pod部署到该卫星节点上，终止服务的Pod返回待调度队列；进入步骤5)；

5)判断待调度队列是否为空，若为空则结束调度任务，否则进入步骤1)。

2.根据权利要求1所述的一种基于天基分布式卫星集群的动态调度方法，其特征在于，所述步骤1)中，对动态到达的待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分，具体为：

其中，p_type为业务类型优先级评分，p_resource为资源需求优先级评分，p_ugency为紧迫程度优先级评分，p_QoS为服务质量优先级评分；α为业务类型优先等级权重，Type_Prio表示Pod的业务类型优先等级数值；β为资源需求优先等级权重，cpu_total、mem_total、disk_total、net_total分别为卫星集群中CPU、内存、磁盘、网络带宽资源总量，cpu、mem、disk、net分别为Pod的CPU、内存、磁盘、网络带宽资源需求；δ为紧迫程度优先等级权重，T_current为当前时刻，T_arrive为Pod的到达时间，Deadline为Pod的截止时间，ε为服务质量优先等级权重，QoS_Prio表示Pod的服务质量优先等级数值。

3.根据权利要求2所述的一种基于天基分布式卫星集群的动态调度方法，其特征在于，所述步骤4)中，计算各卫星节点处于服务中的Pod的抢占开销，具体为：

P_ij＝p_ij+γ×com_ij

其中，p_ij为处于服务中的Pod的优先级评分，com_ij为处于服务中的Pod的已完成业务量百分比，γ为已完成业务量抢占开销权重。

4.根据权利要求2或3所述的一种基于天基分布式卫星集群的动态调度方法，其特征在于，所述业务类型优先等级权重α、资源需求优先等级权重β、紧迫程度优先等级权重δ和服务质量优先等级权重ε满足以下关系：

β+δ+ε≤α。

5.一种基于天基分布式卫星集群的动态调度系统，其特征在于，包括Pod优先级评分模块、Pod动态调度模块；

Pod优先级评分模块：对待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分，并按照优先级评分从高到低的顺序对待调度Pod进行排序，形成待调度队列；

Pod动态调度模块：从待调度队列中选择排序最靠前的待调度Pod，判断卫星集群中是否存在能够满足当前待调度Pod的资源需求的卫星节点，若存在，将当前待调度Pod部署到能够满足该Pod的资源需求的卫星节点中资源最充分的节点上；若不存在，计算各卫星节点处于服务中的Pod的抢占开销，判断处于服务中的Pod的抢占开销是否存在小于当前待调度Pod的优先级评分的，若不存在，当前待调度Pod返回待调度队列，待有Pod服务执行完毕释放节点资源后，再进行调度；否则将抢占开销最小的处于服务中的Pod的服务终止，释放其所在卫星节点的资源并将当前待调度的Pod部署到该卫星节点上，终止服务的Pod返回待调度队列，判断待调度队列是否为空，若为空则结束调度任务，否则继续对待调度Pod进行调度直至调度队列为空，结束调度任务。

6.根据权利要求5所述的一种基于天基分布式卫星集群的动态调度系统，其特征在于，所述Pod优先级评分模块对动态到达的待调度Pod根据业务类型、资源需求、紧迫程度和服务质量计算优先级评分，具体为：

其中，p_type为业务类型优先级评分，p_resource为资源需求优先级评分，p_ugency为紧迫程度优先级评分，p_QoS为服务质量优先级评分；α为业务类型优先等级权重，Type_Prio表示Pod的业务类型优先等级数值；β为资源需求优先等级权重，cpu_total、mem_total、disk_total、net_total分别为卫星集群中CPU、内存、磁盘、网络带宽资源总量，cpu、mem、disk、net分别为Pod的CPU、内存、磁盘、网络带宽资源需求；δ为紧迫程度优先等级权重，T_current为当前时刻，T_arrive为Pod的到达时间，Deadline为Pod的截止时间，ε为服务质量优先等级权重，QoS_Prio表示Pod的服务质量优先等级数值。

7.根据权利要求6所述的一种基于天基分布式卫星集群的动态调度系统，其特征在于，所述Pod动态调度模块计算各卫星节点处于服务中的Pod的抢占开销，具体为：

P_ij＝p_ij+γ×com_ij

其中，p_ij为处于服务中的Pod的优先级评分，com_ij为处于服务中的Pod的已完成业务量百分比，γ为已完成业务量抢占开销权重。

8.根据权利要求6或7所述的一种基于天基分布式卫星集群的动态调度系统，其特征在于，所述业务类型优先等级权重α、资源需求优先等级权重β、紧迫程度优先等级权重δ和服务质量优先等级权重ε满足以下关系：

β+δ+ε≤α。

Images