CN105426228A - 一种面向流媒体直播与视频转码的OpenStack虚拟机放置方法 - Google Patents

Abstract

本发明基于云计算虚拟环境下大规模学习资源调度技术，为一种面向流媒体直播与视频转码的OpenStack虚拟机放置方法，以流媒体直播服务器与视频转码服务器对虚拟机CPU、内存、网络带宽资源的请求为依据，构建虚拟机资源需求特征向量W_j；以OpenStack云平台物理机CPU、内存、网络带宽资源消耗量为依据，构建物理机P_i上的虚拟机性能模型 以虚拟机资源需求特征向量和虚拟机性能模型为依据，将运行直播服务或转码服务的虚拟机集群放置到合适的物理机上，使该直播服务获得最大直播用户数，转码服务获得最短时间转码。

Description

一种面向流媒体直播与视频转码的OpenStack虚拟机放置方法

技术领域

本发明属于多媒体云计算技术领域，涉及物理机和虚拟机性能的量化计算，以及流媒体直播与视频转码服务的特征分析，从而利用OSP放置算法实现OpenStack云平台上对虚拟机的部署，具体涉及一种面向流媒体直播与视频转码的OpenStack虚拟机放置方法。

背景技术

随着互联网技术的迅速发展、网络带宽的大规模提升以及云计算产业的成功落地，基于云计算平台的流媒体服务受到越来越多的关注和应用。在当前的云计算平台上，构建可支持大规模直播用户同时访问，最快完成海量视频转码任务，且具有高资源利用率、低成本的多媒体视频系统将极大地促进信息产业的发展。检索到的以下几篇与本发明相关的属于多媒体云计算领域的专利，他们分别是：

1.中国专利CN201510129326，云环境下基于动态预测模型的虚拟机部署方法及系统；

2.中国专利CN103354545A，一种基于云计算的P2P流媒体服务器集群部署方法；

在上述专利1中，发明人提出了一种云环境下基于动态预测模型的虚拟机部署方法及系统，系统将待部署的虚拟机按照初始内存配额的大小进行降序排列，生成虚拟机列表；再根据采集的各个物理节点上已经部署的虚拟机的历史内存消耗实际值来为待部署的虚拟机寻找合适的物理节点；最后系统将虚拟机部署到最合适的物理节点上。本发明优化了云环境中的资源配置，提高资源使用率，但是只考虑了虚拟机内存性能，而未能考虑虚拟机在CPU，网络IO等各方面的综合性能。

在上述专利2中，发明人提出一种基于云计算的P2P流媒体服务器集群部署方法，预测具有延时保障的P2P流媒体直播系统的带宽需求，虚拟流媒体服务器集群构建在云平台DCN网络之上。该部署算法以具有延时保障的P2P流媒体直播系统的带宽需求为依据，构建P2P流媒体服务器集群逻辑结构；采用构建的P2P流媒体服务器集群部署矩阵，将P2P流媒体服务器集群部署到云平台之上。该方法很好地解决了云上P2P流媒体服务器集群部署的问题，但是没有考虑非P2P流媒体服务器集群下影响虚拟机微观性能的机理因素，以及性能变化规律，并且对服务器的其他资源综合考虑。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向流媒体直播与视频转码的OpenStack虚拟机放置方法，以流媒体直播服务器与视频转码服务器对虚拟机CPU、内存、网络带宽资源的请求为依据，构建虚拟机资源需求特征向量W_j；以OpenStack云平台物理机CPU、内存、网络带宽资源消耗量为依据，构建物理机P_i上的虚拟机性能模型 其中，为虚拟机CPU性能模型，为虚拟机内存性能模型，为虚拟机网络性能模型；以虚拟机资源需求特征向量和虚拟机性能模型为依据，将运行直播服务或转码服务的虚拟机集群放置到合适的物理机上，使该直播服务获得最大直播用户数，转码服务获得最短时间转码。

为了实现上述目的，本发明采用的技术方案是：

一种面向流媒体直播与视频转码的OpenStack虚拟机放置方法，其特征在于：

以流媒体直播服务器与视频转码服务器对虚拟机CPU、内存、网络带宽资源的请求为依据，构建虚拟机资源需求特征向量W_j，其步骤为：

Step1：初始化资源需求特征向量W_j＝{0,0,0}，其中j表示虚拟机服务器的编号；

Step2：根据虚拟机请求的CPU、内存、网络带宽资源得到虚拟机资源需求特征向量W_j＝(w_cj,w_mj,w_bj)，其中w_cj,w_mj,w_bj分别表示第j台虚拟机服务器的CPU、内存、网络带宽资源需求大小。

以OpenStack云平台物理机CPU、内存、网络带宽资源消耗量为依据，构建物理机P_i上的虚拟机性能模型公式为：

${\mathrm{PM}}_c^i\left(n_1\right)=\left\{\begin{array}{cc}-0.0155{\ln }_1+1.03& (n_1\≤8)\\ \frac{5.96}{n_1}+0.1435& (n_1>8)\end{array}\right.,$

${\mathrm{PM}}_m^i\left(n_2\right)=\frac{11.89}{10.19+n_2},$

${\mathrm{PM}}_b^i\left(n_3\right)=\frac{0.9816}{n_3}-0.009488,$

其中，n₁为物理机P_i上所有虚拟机的CPU核心数，n₂为物理机P_i上所有虚拟机内存大小之和，n₃为物理机P_i上虚拟机个数。

以虚拟机资源需求特征向量和虚拟机性能模型为依据，将运行直播服务或转码服务的虚拟机集群放置到合适的物理机上，使该直播服务获得最大直播用户数，转码服务获得最短时间转码，具体方法为：

Step1：若虚拟机V_j放置在物理机P_i上，则物理机P_i上的虚拟机性能变为其中n₁′＝n₁+w_cj，n₂′＝n₂+w_mj，n₃′＝n₃+1，n₁为物理机P_i上所有虚拟机的CPU核心数，w_cj表示第j台虚拟机服务器的CPU需求大小，n₂为物理机上所有虚拟机内存大小之和，w_mj表示第j台虚拟机服务器的内存需求大小，n₃为物理机P_i上虚拟机个数；

Step2：遍历OpenStack云平台中所有的物理机，选择满足min{||PM′-PM||}的物理机放置V_j,如果有多个物理机有相同的最小值，取其中第一个物理机，其中， $\left|\right|{\mathrm{PM}}^{\′}-PM\left|\right|=\sqrt{{\[{\mathrm{PM}}_c^i\left(n_1^{\′}\right)-{\mathrm{PM}}_c^i\left(n_1\right)\]}^2+{\[{\mathrm{PM}}_m^i\left(n_2^{\′}\right)-{\mathrm{PM}}_m^i\left(n_2\right)\]}^2+{\[{\mathrm{PM}}_b^i\left(n_3^{\′}\right)-{\mathrm{PM}}_b^i\left(n_3\right)\]}^2}.$

与现有技术相比，本发明的有益效果是：虚拟机部署是根据物理机上的虚拟机性能来实现部署的，能提高虚拟机的性能，提高物理机的资源利用率。

附图说明

图1是本发明的虚拟机放置流程图。

图2是本发明的虚拟机放置子系统的结构图。

具体实施方式

下面结合附图和实施例对本发明进行详细描述。

图1所示为本发明的虚拟机放置流程图，其主要任务是构建虚拟机的资源需求特征向量和构建物理机上的虚拟机性能模型，通过虚拟机性能模型来选择一个合适的物理机来放置虚拟机，使得虚拟机的性能下降最小。

1、构建虚拟机资源需求特征向量

以流媒体直播服务器与视频转码服务器对虚拟机CPU、内存、网络带宽资源的请求为依据，构建虚拟机资源需求特征向量W_j的步骤为：

Step1：初始化资源需求特征向量W_j＝{0,0,0}，其中j表示虚拟机服务器的编号；

Step2：根据虚拟机请求的CPU、内存、网络带宽资源得到虚拟机资源需求特征向量W_j＝(w_cj,w_mj,w_bj)，其中w_cj,w_mj,w_bj分别表示第j台虚拟机服务器的CPU、内存、网络带宽资源需求大小。

2、构建物理机P_i上的虚拟机CPU性能模型

Step1：单物理机上运行单台随机规格虚拟机，并在虚拟机上执行SuperPi测试程序，验证单台虚拟机平均CPU性能与物理节点资源消耗量的关系以及测试用例对实验结果的影响；

Step2：单物理机上同时运行多台相同规格虚拟机，虚拟机上执行SuperPi测试程序。测试在物理机上可以部署开发环境的虚拟机数目与虚拟机性能CPU之间的关系；

Step3：单物理机上同时运行多台随机规格虚拟机，虚拟机上执行SuperPi测试程序，测试在物理机上可以部署开发环境的虚拟机数目与虚拟机CPU性能之间的关系；

Step4：对测试结果使用Matlab拟合，得到如下模型：

${\mathrm{PM}}_c^i\left(n_1\right)=\left\{\begin{array}{cc}-0.0155{\ln }_1+1.03& (n_1\≤8)\\ \frac{5.96}{n_1}+0.1435& (n_1>8)\end{array}\right..$

3、构建虚拟机内存性能模型

Step1：探讨单个不同的内存大小虚拟机运行memtester时的测试场景,测试内存大小差异对实验的影响；

Step2：探讨多个相同内存大小的虚拟机同时运行memtester程序时的测试场景，测试在物理机上部署同配置虚拟机，物理节点内存消耗量与虚拟机内存性能之间的关系。

Step3：探讨多个随机内存大小的虚拟机同时运行memtester程序时的测试场景，测试在物理机上部署不同内存大小的虚拟机，物理节点内存消耗量与虚拟机内存性能之间的关系；

Step4：使用Matlab拟合，得到如下模型：

${\mathrm{PM}}_m^i\left(n_2\right)=\frac{11.89}{10.19+n_2}.$

4、构建虚拟机网络IO性能模型

Step1：探讨一台物理机上的若干台虚拟机不同时使用网络IO时带宽大小，使用Netperf测试单台虚拟机网络IO的最大带宽；

Step2：探讨一台物理机上的若干台虚拟机同时使用网络IO时带宽与物理节点上虚拟机数量关系，测试单台虚拟机网络IO的最大带宽；

Step3：使用Matlab拟合，得到如下模型：

${\mathrm{PM}}_b^i\left(n_3\right)=\frac{0.9816}{n_3}-\mathrm{0.009488.}$

5、面向流媒体直播与视频转码的OpenStack虚拟机放置方法

Step1：构建第j个虚拟机V_j的资源需求特征向量

Step2：获取OpenStack云平台中的物理机P_i，根据物理机P_i上运行的虚拟机的情况，计算当前物理机P_i上的虚拟机性能模型

Step3：若虚拟机V_j放置在物理机P_i上，则物理机P_i上的虚拟机性能变为其中n₁′＝n₁+w_cj，n₂′＝n₂+w_mj，n₃′＝n₃+1，n₁为物理机P_i上所有虚拟机的CPU核心数，w_cj表示第j台虚拟机服务器的CPU需求大小，n₂为物理机上所有虚拟机内存大小之和，w_mj表示第j台虚拟机服务器的内存需求大小，n₃为物理机P_i上虚拟机个数；

Step4：遍历OpenStack云平台中所有的物理机，选择满足min{||PM′-PM||}的物理机放置V_j,如果有多个物理机有相同的最小值，取其中第一个物理机，其中， $\left|\right|{\mathrm{PM}}^{\′}-PM\left|\right|=\sqrt{{\[{\mathrm{PM}}_c^i\left(n_1^{\′}\right)-{\mathrm{PM}}_c^i\left(n_1\right)\]}^2+{\[{\mathrm{PM}}_m^i\left(n_2^{\′}\right)-{\mathrm{PM}}_m^i\left(n_2\right)\]}^2+{\[{\mathrm{PM}}_b^i\left(n_3^{\′}\right)-{\mathrm{PM}}_b^i\left(n_3\right)\]}^2}.$

本发明虚拟机放置子系统如图2所示，其主要包含共有三个子功能，负载监控功能，定期采集存储OpenStack云平台物理资源状态信息；应用资源管理功能，记录特定类型的应用或服务对资源需求或消耗模块；放置功能，依据用户虚拟机请求，结合负载监控模块和应用资源管理模块的数据，按照虚拟机放置算法放置虚拟机。

Claims (4)

1.一种面向流媒体直播与视频转码的OpenStack虚拟机放置方法，其特征在于：

以流媒体直播服务器与视频转码服务器对虚拟机CPU、内存、网络带宽资源的请求为依据，构建虚拟机资源需求特征向量W_j；

以OpenStack云平台物理机CPU、内存、网络带宽资源消耗量为依据，构建物理机P_i上的虚拟机性能模型其中，为虚拟机CPU性能模型，为虚拟机内存性能模型，为虚拟机网络性能模型；

以虚拟机资源需求特征向量和虚拟机性能模型为依据，将运行直播服务或转码服务的虚拟机集群放置到合适的物理机上，使该直播服务获得最大直播用户数，转码服务获得最短时间转码。

2.根据权利要求1所述面向流媒体直播与视频转码的OpenStack虚拟机放置方法，其特征在于，所述构建虚拟机资源需求特征向量W_j的步骤为：

Step1：初始化资源需求特征向量W_j＝{0,0,0}，其中j表示虚拟机服务器的编号；

Step2：根据虚拟机请求的CPU、内存、网络带宽资源得到虚拟机资源需求特征向量W_j＝(w_cj,w_mj,w_bj)，其中w_cj,w_mj,w_bj分别表示第j台虚拟机服务器的CPU、内存、网络带宽资源需求大小。

3.根据权利要求1所述面向流媒体直播与视频转码的OpenStack虚拟机放置方法，其特征在于，所述构建物理机P_i上的虚拟机性能模型 的公式为：

${\mathrm{PM}}_c^i\left(n_1\right)=\left\{\begin{array}{cc}-0.01551n_1+1.03& (n_1\≤8)\\ \frac{5.96}{n_1}+0.1435& (n_1>8)\end{array}\right.,$

${\mathrm{PM}}_m^i\left(n_2\right)=\frac{11.89}{10.19+n_2},$

${\mathrm{PM}}_b^i\left(n_3\right)=\frac{0.9816}{n_3}-0.009488,$

其中，n₁为物理机P_i上所有虚拟机的CPU核心数，n₂为物理机P_i上所有虚拟机内存大小之和，n₃为物理机P_i上虚拟机个数。

4.根据权利要求1所述面向流媒体直播与视频转码的OpenStack虚拟机放置方法，其特征在于，所述将运行直播服务或转码服务的虚拟机集群放置到合适的物理机上的方法为：

Step1：若虚拟机V_j放置在物理机P_i上，则物理机P_i上的虚拟机性能变为其中n₁′＝n₁+w_cj，n₂′＝n₂+w_mj，n₃′＝n₃+1，n₁为物理机P_i上所有虚拟机的CPU核心数，w_cj表示第j台虚拟机服务器的CPU需求大小，n₂为物理机上所有虚拟机内存大小之和，w_mj表示第j台虚拟机服务器的内存需求大小，n₃为物理机P_i上虚拟机个数；

Step2：遍历OpenStack云平台中所有的物理机，选择满足min{||PM′-PM||}的物理机放置V_j,如果有多个物理机有相同的最小值，取其中第一个物理机，其中， $\left|\right|{\mathrm{PM}}^{\′}-PM\left|\right|=\sqrt{{\[{\mathrm{PM}}_c^i\left(n_1^{\′}\right)-{\mathrm{PM}}_c^i\left(n_1\right)\]}^2+{\[{\mathrm{PM}}_m^i\left(n_2^{\′}\right)-{\mathrm{PM}}_m^i\left(n_2\right)\]}^2+{\[{\mathrm{PM}}_b^i\left(n_3^{\′}\right)-{\mathrm{PM}}_b^i\left(n_3\right)\]}^2}.$