CN110753009A - 基于多QoS分组的虚拟机和网络带宽联合分配方法 - Google Patents

Abstract

本发明涉及云计算技术领域，具体涉及一种基于多QoS分组的虚拟机和网络带宽联合分配方法，包括：构建基于多QoS分组的任务模型；按照QoS等级对所有应用程序请求进行排序，从而形成应用程序的请求队列；依次从请求队列中取出应用程序，根据应用程序的资源需求，运用虚拟机分配策略对该应用程序分配虚拟机；根据虚拟机分配后的链路和流量信息，运用网络带宽动态分配策略进行网络带宽分配。本发明综合考虑了计算资源参数和QoS参数，能够对应用程序的QoS请求进行准确的等级划分，采用联合虚拟机分配策略和动态带宽分配策略，可以很好地保证高QoS等级的应用程序的带宽要求，提高效率。

Description

基于多QoS分组的虚拟机和网络带宽联合分配方法

技术领域

本发明涉及云计算技术领域，具体涉及一种基于多QoS分组的虚拟机和网络带宽联合分配方法。

背景技术

目前大多数的互联网应用利用云计算基础设施来提供弹性和经济高效的服务。云提供商为租户提供计算、存储和网络资源，以满足不同需求的应用。这些应用程序需要不同优先级不同数量的资源。大型科学应用、计算密集型应用需要比网络资源更多的计算和存储能力，而网络密集型应用需要比计算能力更多的网络带宽。因此，云提供商应该在数据中心高效地分配和调度资源，以满足各种需求，云提供商还需要保证客户的服务级别协议SLA，以确保不同等级的可靠性和服务质量QoS要求。例如，QoS要求较高的应用程序，如用于网络手术的医疗软件、用于实时灾难管理的物联网应用程序或截止日期受限的科学应用程序，在云资源管理中需要更严格的策略，而QoS要求较低的应用程序可能有宽松的要求。随着具有不同QoS需求的混合应用共享同一数据中心，提供商应该高效地提供资源，以满足不同应用的各种QoS需求。

然而，云中的这种QoS很难得到保证，因为数据中心的资源由多个租户和应用程序共享，这些资源经常被超额预订以节省云提供商的运营成本。尤其是在许多数据中心设计中，网络资源被超额预订以降低设计的总成本。提供商保证QoS的一个简单方法是只为某个租户分配专用主机和网络，虽然专用资源可以最大限度地提高应用程序的性能，但是因为分配的资源仅用于特定的应用程序，这是一个代价高昂的解决方案，失去了云计算范式的许多优势。在云数据中心，网络比例、最低保障和高利用率之间存在权衡。这种限制使得云提供商无法以网络比例和高利用率为目标的同时保证某个租户的最小带宽。例如，当提供商通过预留带宽来保证特定流量的最小带宽时，由于存在未使用的预留带宽，整体网络利用率会下降。因此，包括亚马逊、微软和谷歌在内的大多数公共云提供商并不保证网络带宽，只在其网络服务中提供最大努力的性能。然而，需要及时响应的特定类型的应用程序(例如医疗和灾难管理应用程序)需要更可靠的云网络性能。

发明内容

1、为了解决上述问题，本发明考虑到软件定义网络SDN支持网络切片和动态带宽分配，通过引入动态网络重新配置，能够提高网络QoS满意度。在云数据中心中的SDN集成已被证明能有效提高能效、网络性能、网络可用性和安全性，可以利用这种方式保证应用程序的最小带宽分配，结合联合虚拟机分配策略和动态带宽分配策略来满足高QoS等级应用程序的需求。因此，本发明提供一种基于多QoS分组的虚拟机和网络带宽联合分配方法。

一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其包括以下步骤：

S1、根据应用程序资源需求和服务质量QoS需求构建出基于多QoS分组的任务模型；

S2、基于该模型，分别对每个应用程序请求划分QoS等级，分为高QoS等级、中QoS等级和低QoS等级；按照QoS等级对所有应用程序请求进行排序，从而形成应用程序的请求队列；

S3、依次从请求队列中取出应用程序，根据该应用程序的资源需求，运用虚拟机分配策略为该应用程序分配虚拟机，形成任务与请求资源的映射；

S4、根据虚拟机分配后的链路和流量信息，运用网络带宽动态分配策略进行网络带宽分配。

进一步的，构建基于多QoS分组的任务模型包括：根据应用程序资源需求和QoS需求，采用k均值聚类K-Means算法对数据中心负载跟踪数据的任务数据集task进行聚类分析，将该数据集task聚类为K个类别，分别是：cluster1，……，clusterK；并对聚类结果按照优先级从高到低排序，同等优先级按照时延敏感度由大到小进行排序，将聚类结果平均划分为三个组List_low,List_mid,List_high，形成QoS分组模型，QoS分组模型定义如下：

其中，Level_QoS表示请求的应用程序的QoS等级，QoS等级值为1为低QoS等级，QoS等级值为2为中QoS等级，QoS等级值为3为高QoS等级；QoS_App表示应用程序的QoS请求，List_low,List_mid,List_high表示聚类后划分的组，List_low表示低QoS等级分组，List_mid表示中QoS等级分组，List_high表示高QoS等级分组。

进一步的，K-Means算法的聚类过程包括：

S11、输入虚拟机容量、虚拟机的数量、网络带宽、优先级、时延敏感度、持续时间指标数据，并将其归一化，作为数据集D；

S12、从数据集D中选取K个数据对象作为初始聚类中心；

S13、分别计算每个数据对象x_i到K个聚类中心的距离，距离越近表示相异度越低，并将数据对象x_i划归入相异度最低的那个簇，得到K个簇；

S14、通过计算簇中所有数据对象各维度的算术平均数，重新计算K个簇的聚类中心；

S15、按照新的聚类中心对数据集D中的全部数据对象进行重新聚类；

S16、重复第S15步，直至各个簇中心基本稳定或达到最大迭代次数；

S17、输出聚类的K个类别，分别是：cluster1，……，clusterK。

进一步的，应用程序资源需求包括虚拟机容量、虚拟机数量和网络带宽，QoS需求包括优先级、时延敏感度、持续时间。

进一步的，按照QoS等级对所有请求的应用程序进行排序的方式包括：将高QoS等级排列在前，低QoS等级排列在后，同一QoS等级按照时间次序排列，从而形成应用程序的请求队列。

进一步的，所述虚拟机分配策略包括以下步骤：

S31、收集数据中心网络拓扑信息，按照连接性对主机进行分组，形成主机分组队列，初始化候选主机队列；

S32、使用首次适应降序FFD算法放置非高QoS等级的虚拟机；

S33、对于高QoS等级的虚拟机，根据应用程序已分配的主机列表情况更新候选主机队列；按照资源容量从高到低的顺序将主机从候选主机队列中依次出队，得到满足虚拟机资源需求的主机，完成虚拟机和物理主机的映射。

进一步的，所述网络带宽动态分配策略包括：将虚拟机放置后的链路和流量信息发送到网络管理器，网络管理器与软件定义网络SDN控制器进行通信，SDN控制器管理数据中心中的所有交换机，遍历数据中心的每一个网络流，根据网络拓扑得到每一个网络流的源主机和目的主机之间的所有交换机，若是高QoS等级的应用的网络流，则将其源主机地址、目的主机地址、虚拟局域网标识VlanId、最小带宽需求放入交换机的队列中，在交换机中按所需带宽配置优先级队列，按照优先级队列对经过交换机的网络流进行调度。

进一步的，主机分组队列包括：将连接到同一交换机的同一机架的主机分为一组，将主机组按照资源的容量从高到低排序，形成资源队列。

本发明的有益效果：

2、本发明采用K-Means算法生成QoS分组的任务模型，对任务进行QoS聚类时，综合考虑了计算资源参数和QoS参数，能够对应用程序的QoS请求进行准确的等级划分。

3、基于多QoS分组的任务模型，应用程序在请求资源时，被划分到待分配队列中，以与主机组队列产生映射。

4、在虚拟机分配策略中对主机按照连接性分组，减少其他租户的任务造成网络拥塞的机会，按资源的容量对主机组进行排序，可以很好地保证高QoS等级的应用程序的带宽要求，减少动态带宽的分配次数，提高效率。

5、本发明通过SDN控制器在交换机上实现优先级队列来保证高QoS等级的应用程序的最小带宽要求。

6、本发明采用联合虚拟机分配策略和动态带宽分配策略来满足高QoS等级应用程序的需求。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细的说明。

图1为本发明实施例的整体流程图；

图2为本发明实施例的虚拟机放置策略图；

图3为本发明实施例的网络带宽分配策略图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种基于多QoS分组的虚拟机和网络带宽联合分配方法，包括以下步骤：

S1、根据应用程序资源需求和服务质量QoS需求构建出基于多QoS分组的任务模型；

S2、基于该模型，分别对每个应用程序请求划分QoS等级，分为高QoS等级、中QoS等级和低QoS等级；按照QoS等级对所有应用程序请求进行排序，从而形成应用程序的请求队列；

S3、依次从请求队列中取出应用程序，根据该应用程序的资源需求，运用虚拟机分配策略为该应用程序分配虚拟机，形成任务与请求资源的映射；

S4、根据虚拟机分配后的链路和流量信息，运用网络带宽动态分配策略进行网络带宽分配。

第一步构建基于QoS分组的任务模型；

采用K-Means算法对Google数据中心负载跟踪数据的任务task进行聚类分析，将该数据集task聚类为K个类别，分别是：cluster1，……，clusterK，同一类别中的任务具有相似资源需求和相似QoS需求。对聚类结果按照优先级从高到低排序，同等优先级按照时延敏感度由大到小进行排序，将聚类结果平均划分为三个组List_low,List_mid,List_high，形成QoS分组模型。QoS分组模型定义如下：

其中，Level_QoS表示请求的应用程序的QoS等级，其值越大表明应用程序的QoS等级越高，QoS等级值为1为低QoS等级，QoS等级值为2为中QoS等级，QoS等级值为3为高QoS等级；QoS_App表示应用程序的QoS请求，List_low,List_mid,List_high表示聚类后划分的组，List_low表示低QoS等级分组，List_mid表示中QoS等级分组，List_high表示高QoS等级分组。

进一步的，聚类分析采用的指标包括：

1.虚拟机容量：包括任务对CPU和内存需求的大小；

2.虚拟机的数量：应用程序包含的任务对虚拟机数量的要求；

3.网络带宽：应用程序的最低带宽要求；

4.优先级：即任务的重要性程度，由0～11之间的整数表示，值越大优先级越高；

5.时延敏感度：任务时间延迟敏感程度，由0～3之间的整数表示，值越大敏感度越高；

6.持续时间：任务在机器上的运行时间。

进一步的，K-Means算法的聚类过程包括：

1.输入数据是上述列出的分类指标的向量，包括：虚拟机容量、虚拟机的数量、网络带宽、优先级、时延敏感度、持续时间，聚类之前对指标进行归一化处理为[0,1]之间，以确保具有不同单位的数据特征之间的可比性，将归一化处理后的数据指标作为数据集D；

2.从数据集D中选取K个数据对象作为初始聚类中心；

3.分别计算每个数据对象x_i到K个聚类中心的距离，距离越近表示相异度越低，并将数据对象x_i划归入相异度最低的那个簇，得到K个簇；

4.通过计算已得到簇中所有数据对象各维度的算术平均数，重新计算K个簇的聚类中心；

5.按照新的聚类中心对数据集D中的全部数据对象进行重新聚类；

6.重复第5步，直至各个簇中心基本稳定或达到最大迭代次数，各个簇的聚类中心浮动小于15％则达到基本稳定状态；

7.输出聚类的K个类别，分别是：cluster1，……，clusterK。

第二步对应用程序请求进行QoS等级分析，基于多QoS分组的任务模型，分别对每个应用程序请求划分QoS等级，分为高QoS等级、中QoS等级和低QoS等级；按照QoS等级对请求的应用程序进行排序，从而形成应用程序的请求队列。

在本发明的方法中，应用程序请求的资源和QoS要求在提交时提供，根据QoS分组模型对应用程序请求进行分析，得出应用程序的QoS等级信息。按照QoS等级对请求的应用程序进行排序，将高等级排列在前，低等级排列在后，同一等级按照时间次序排列，从而形成应用程序的请求队列。

可选的，按照QoS等级对请求的应用程序进行排序采用以下方式：

S21、首先从应用程序序列中选择前k个元素，按照应用程序的QoS等级创建一个大小为k的小顶堆；

S22、然后遍历应用程序序列中的第k+1个元素至最后一个元素，遍历的每个元素都与堆顶元素进行比较，如果当前遍历的元素大于堆顶元素，就用当前元素替换堆顶元素并调整最小堆；

S23、步骤S21、S22完成后，得到应用程序序列中QoS等级较高的前k个元素，去除这k个元素，对余下的元素重复进行步骤S21、S22的操作，最终得到若干个大小为k的序列，按照序列的先后顺序形成应用程序的请求队列。

第三步从应用程序的请求队列中取出应用程序，根据该应用程序的资源需求，运用虚拟机分配策略把应用程序请求的虚拟机分配到数据中心具有足够资源的主机中，应用程序的资源需求以虚拟机的形式提供，虚拟机分配策略如图2所示，其步骤包括：

1.收集数据中心网络拓扑信息，按照连接性对数据中心主机分组Hgroup，形成主机分组队列，并初始化候选主机队列Qh。

2.对于非高QoS等级的虚拟机，直接使用首次适应降序FFD(First FitDecreasing)算法进行放置。基于可用资源容量，通过FFD算法在主机的递减序列中搜索主机，将虚拟机VM放置在第一个适合的位置，此算法可以将更多的虚拟机VM整合到具有足够资源的主机中。一个主机的资源容量可以满足多个虚拟机的需求，使用该算法可以充分利用主机资源，减少资源消耗。

3.对于高QoS等级的虚拟机，先判断应用程序包含的虚拟机中是否存在已分配的，即判断该应用程序的已分配主机列表Happ是否为空，未分配则该应用程序的已分配主机列表为空，若未分配则将主机组按照可用容量从高到低进行排序，并将其加入到候选主机队列；若存在已分配，则将已分配的主机列表中每个主机ha所在的主机组Hedge加入侯选主机队列Qh中，同一个pod中的主机Hpod也加入到候选主机队列Qh中，至此得到高QoS等级虚拟机的候选主机队列。然后将主机从候选主机队列中按照资源容量从高到低依次出队，得到满足虚拟机资源需求的主机，若虚拟机请求资源Rd小于出队主机Hq的空闲资源Ch，则将待放置的虚拟机放置到出队的主机中，并且更新出队主机的空闲资源，同时将该出队主机加入到该应用程序的已分配主机列表中，由此完成虚拟机与物理主机的映射。

一个pod表示：数据中心机房平面布局通常采用矩形结构，为了保证制冷效果，通常将10至20个机柜背靠背并排放置成一行，形成一对机柜组，又称为一个pod。

进一步的，虚拟机的QoS等级信息根据QoS分组模型中得到的应用程序QoS等级信息确定。若一个应用程序的QoS等级通过QoS分组模型分析得到QoS等级值为3，则该应用程序为高QoS等级，相应的，该应用程序所对应的虚拟机的QoS等级值也为3，属于高QoS等级。

进一步的，主机分组队列包括：根据网络拓扑topo信息，将同一机架中连接到同一边缘交换机的主机分为一组，将主机组按照资源的容量从高到低排序，形成资源队列。

第四步采用网络带宽动态分配策略保证高QoS应用程序的最小带宽要求：

网络带宽动态分配策略如图3所示，虚拟机放置过程完成后的链路和流量信息被发送到网络管理器，网络管理器与SDN控制器进行通信，SDN控制器管理数据中心中的所有交换机。交换机中配置的是高QoS等级应用程序的网络流信息，根据高QoS应用程序所需的的带宽大小，将配置的高QoS应用程序的网络流信息进行排序，当多个应用程序的网络流经过该交换机时，就可以根据配置的这个高QoS应用程序的网络流队列进行判断，优先通过排序靠前的高QoS应用程序的网络流。具体地，遍历数据中心网络流集合F的每一个网络流f，根据网络拓扑topo得到其源主机和目的主机之间的所有交换机，遍历交换机集合Sf中的每个交换机s，若是高QoS等级的应用程序的网络流，则将其源主机地址hsrc、目的主机地址hdst、网络流f、虚拟局域网标识VlanId、最小带宽需求bandwidth放入交换机的队列中，根据高QoS应用程序所需带宽按照从大到小的顺序进行排序，得到应用程序网络流优先级队列。SDN控制器通过应用程序网络流优先级队列来管理交换机，优先分配带宽需求高的高QoS应用程序的带宽，从而确保高QoS等级应用程序的流量较其他等级应用程序优先传输。该方法仅适用于高QoS等级的应用程序，以此确保高QoS要求的应用程序在由其他应用程序引起的拥塞的网络环境中能够获得足够的带宽。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其特征在于，包括以下步骤：

S1、根据应用程序资源需求和服务质量QoS需求构建出基于多QoS分组的任务模型；

S2、基于该模型，分别对每个应用程序请求划分QoS等级，分为高QoS等级、中QoS等级和低QoS等级；按照QoS等级对所有应用程序请求进行排序，从而形成应用程序的请求队列；

S3、依次从请求队列中取出应用程序，根据该应用程序的资源需求，运用虚拟机分配策略为该应用程序分配虚拟机，形成任务与请求资源的映射；

S4、根据虚拟机分配后的链路和流量信息，运用网络带宽动态分配策略进行网络带宽分配。

2.根据权利要求1所述的一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其特征在于，所述构建基于多QoS分组的任务模型包括：根据应用程序资源需求和QoS需求，采用k均值聚类K-Means算法对数据中心负载跟踪数据的任务数据集task进行聚类分析，将该数据集task聚类为K个类别，分别是：cluster1，……，clusterK；并对聚类结果按照优先级从高到低排序，同等优先级按照时延敏感度由大到小进行排序，将聚类结果平均划分为三个组List_low,List_mid,List_high，形成QoS分组模型，QoS分组模型定义如下：

其中，Level_QoS表示请求的应用程序的QoS等级，QoS等级值为1为低QoS等级，QoS等级值为2为中QoS等级，QoS等级值为3为高QoS等级；QoS_App表示应用程序的QoS请求，List_low,List_mid,List_high表示聚类后划分的组，List_low表示低QoS等级分组，List_mid表示中QoS等级分组，List_high表示高QoS等级分组。

3.根据权利要求2所述的一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其特征在于，K-Means算法的聚类过程包括：

S11、输入虚拟机容量、虚拟机的数量、网络带宽、优先级、时延敏感度、持续时间指标数据，并将其归一化，作为数据集D；

S12、从数据集D中选取K个数据对象作为初始聚类中心；

S13、分别计算每个数据对象x_i到K个聚类中心的距离，距离越近表示相异度越低，将数据对象x_i划归入相异度最低的那个簇，得到K个簇；

S14、通过计算簇中所有数据对象各维度的算术平均数，重新计算K个簇的聚类中心；

S15、按照新的聚类中心对数据集D中的全部数据对象进行重新聚类；

S16、重复第S15步，直至各个簇中心基本稳定或达到最大迭代次数；

S17、输出聚类的K个类别，分别是：cluster1，……，clusterK。

4.根据权利要求1～3任一所述的一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其特征在于，应用程序资源需求包括虚拟机容量、虚拟机数量和网络带宽，QoS需求包括优先级、时延敏感度、持续时间。

5.根据权利要求1所述的一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其特征在于，按照QoS等级对所有请求的应用程序进行排序的方式包括：将高QoS等级排列在前，低QoS等级排列在后，同一QoS等级按照时间次序排列，从而形成应用程序的请求队列。

6.根据权利要求1所述的一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其特征在于，所述虚拟机分配策略包括以下步骤：

S31、收集数据中心网络拓扑信息，按照连接性对主机进行分组，形成主机分组队列，初始化候选主机队列；

S32、使用首次适应降序FFD算法放置非高QoS等级的虚拟机；

S33、对于高QoS等级的虚拟机，根据应用程序已分配的主机列表情况更新候选主机队列；按照资源容量从高到低的顺序将主机从候选主机队列中依次出队，得到满足虚拟机资源需求的主机，完成虚拟机和物理主机的映射。

7.根据权利要求1所述的一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其特征在于，所述网络带宽动态分配策略包括：将虚拟机放置后的链路和流量信息发送到网络管理器，网络管理器与软件定义网络SDN控制器进行通信，SDN控制器管理数据中心中的所有交换机，遍历数据中心的每一个网络流，根据网络拓扑得到每一个网络流的源主机和目的主机之间的所有交换机，若是高QoS等级的应用的网络流，则将其源主机地址、目的主机地址、虚拟局域网标识VlanId、最小带宽需求放入交换机的队列中，在交换机中按所需带宽配置优先级队列，按照优先级队列对经过交换机的网络流进行调度。

8.根据权利要求6或7所述的一种基于多QoS分组的虚拟机和网络带宽联合分配方法，其特征在于，主机分组队列包括：将连接到同一交换机的同一机架的主机分为一组，将主机组按照资源的容量从高到低排序，形成资源队列。

Images