CN110888715A - 一种虚拟化计算方法 - Google Patents

Abstract

本发明涉及一种虚拟化计算方法，所述方法包括：步骤S1：提交虚拟化计算任务前进行任务本地化执行评估；步骤S2：确定虚拟化计算任务的资源需求和瓶颈资源；步骤S3：基于资源需求和瓶颈资源确定计算节点集合用于进行虚拟计算任务的执行；步骤S4：在虚拟化计算任务的执行过程中，进行以中心结算节点为中心的资源调整。本发明能够在有必要的情况下接收虚拟机化计算需求，能够快速的进行任务需求的评估，在满足瓶颈资源需求的情况下选择和当前虚拟化计算任务之间最协调的计算节点进行虚拟化计算任务的执行；还能够根据任务的执行情况进行以当前节点为中心的资源动态调整，从全局的角度出发满足虚拟化计算任务的执行需求，提高了虚拟化计算的效率。

Description

一种虚拟化计算方法

【技术领域】

本发明属于计算机技术领域，尤其涉及一种虚拟化计算方法。

【背景技术】

进入21世纪以来，信息技术特别是互联网悄然变革了人们的生活方式、工作方式和思维方式。中国IT产业未来发展的阵营中，电子商务、电子政务、社交网络等一系列导向型应用背后，是海量大数据基础支撑和云计算引擎。云计算中一个重要资源是其计算能力，构建基于云计算和海量大数据的虚拟化技术的目的主要是将过去分散的计算能力进行统筹规划和管理，并以共享的方式提供给各个任务使用，各个任务作为计算开销的用户，对于具体的计算开销的物理所在和变化情况是毫不知情的，对于资源在虚拟机单元之间的分配对于任务来说也是不可见的，任务的运行不会因为其数据量或者计算量的增加或者减少而产生大的变化，这就是个很好的虚拟化计算控制方法。而在传统的虚拟化平上线前，通过公式估算方式进行虚拟机计算性能进行估算，但是公式计算的方式并不能准确的反应虚拟化平台虚拟机计算性能。即利用公式估算方式会造成虚拟机计算性能估算的不准确性，出现虚拟机计算性能不满足需求的问题。因此，如何有效的进行计算的虚拟化是当前的热点问题。本发明能够在有必要的情况下接收虚拟机化计算需求，能够快速的进行任务需求的评估，在满足瓶颈资源需求的情况下选择和当前虚拟化计算任务之间最协调的计算节点进行虚拟化计算任务的执行；还能够根据任务的执行情况进行以当前节点为中心的资源动态调整，从全局的角度出发满足虚拟化计算任务的执行需求，提高了虚拟化计算的效率。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种虚拟化计算方法，所述方法包含：

步骤S1：提交虚拟化计算任务前进行任务本地化执行评估；

步骤S2：确定虚拟化计算任务的资源需求和瓶颈资源；

步骤S3：基于资源需求和瓶颈资源确定计算节点集合用于进行虚拟计算任务的执行；

步骤S4：在虚拟化计算任务的执行过程中，进行以中心结算节点为中心的资源调整。

进一步的，所述步骤S1具体为：接收虚拟机化计算任务，确定虚拟化计算任务的所需要的存储空间和计算时间，如果所述存储空间小于本地可用存储空间，则确定虚拟化计算任务的所需要的计算时间，如果所述计算时间小于允许时间，对所述虚拟化计算任务进行本地化执行；否则，进入步骤S2。

进一步的，所述确定虚拟化计算任务的所需要的存储空间，具体为：确定虚拟计算任务所需要的动态存储空间，确定虚拟计算任务所需要的动态存储空间，基于虚拟化计算任务所需要的静态存储空间和动态存储空间确定所需要的存储空间。

进一步的，将静态存储空间和动态存储空间直接相加作为所需要的存储空间。

进一步的，根据虚拟化计算任务执行程序实体所占用的程序空间和数据空间确定所述静态存储空间。

进一步的，所述确定虚拟计算任务所需要的动态存储空间，具体为：遍历任务执行程序实体，基于程序执行实体中变量的类型及其对应的使用次数确定动态存储空间。

进一步的，所述确定虚拟化计算任务的所需要的计算时间，具体为：遍历任务执行程序实体，确定程序执行实体中运算类型及其运算次数、程序实体中外部调用的类型及其次数；确定运算类型对应的计算时间乘以相应的次数的加和、外部调用相应类型的平均执行时间乘以相应的个次数的加和，将两个加和相加得到的时间值作为所述计算时间；所述计算时间为本地执行所需要的计算时间。

进一步的，在计算动态存储开销的同时计算计算时间；

进一步的，基于程序实体中的循环次数计算所述运算类型及其运算次数。

进一步的，设置神经网络模型，将程序执行实体中运算类型及其运算次数、程序实体中的循环次数、程序实体中外部调用的类型及其个数作为输入参数输入所述神经网络模型，将输出作为计算时间；在使用神经网络模型之前，采用训练记录对所述神经网络模型进行训练，将运算类型及其运算次数、程序实体中的循环次数、程序实体中外部调用的类型及其次数作为训练记录的输入参数，将计算时间作为输出结果；训练记录来自于对测试用例的本地或者等同软硬件条件下的测试结果。

本发明的有益效果包括：能够在有必要的情况下接收虚拟机化计算需求，能够快速的进行任务需求的评估，在满足瓶颈资源需求的情况下选择和当前虚拟化计算任务之间最协调的计算节点进行虚拟化计算任务的执行；还能够根据任务的执行情况进行以当前节点为中心的资源动态调整，从全局的角度出发满足虚拟化计算任务的执行需求，提高了虚拟化计算的效率。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1为本发明的虚拟化计算方法示意图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

对本发明所应用的一种虚拟化计算方法进行详细说明，如附图1所示，所述方法包含：

步骤S1：提交虚拟化计算任务前进行任务本地化执行评估；具体的：接收虚拟机化计算任务，确定虚拟化计算任务的所需要的存储空间和计算时间，如果所述存储空间小于本地可用存储空间，则确定虚拟化计算任务的所需要的计算时间，如果所述计算时间小于允许时间，对所述虚拟化计算任务进行本地化执行；否则，进入步骤S2；

对于用户提出的虚拟化计算任务，现有技术中往往是直接提交虚拟化计算平台进行计算，但是实际上，有些任务的提交是不“划算的”；通过进行提前的开销计算能够避免可能造成的客户损失；

所述确定虚拟化计算任务的所需要的存储空间，具体为：确定虚拟计算任务所需要的动态存储空间，确定虚拟计算任务所需要的动态存储空间，基于虚拟化计算任务所需要的静态存储空间和动态存储空间确定所需要的存储空间；

优选的：将静态存储空间和动态存储空间直接相加作为所需要的存储空间；

所述确定虚拟计算任务所需要的静态存储空间，具体为：根据虚拟化计算任务执行程序实体所占用的程序空间和数据空间确定所述静态存储空间；例如：将两者直接相加作为所述静态存储空间；

所述确定虚拟计算任务所需要的动态存储空间，具体为：遍历任务执行程序实体，基于程序执行实体中变量的类型及其对应的使用次数确定动态存储空间；例如：一种简单的做法是直接将变量类型对应的占用存储空间大小乘以相应的次数得到的数值进行加和，将加和后的值作为所述确定的动态存储空间值；对于不确定占用存储空间大小的情况下，直接所述变量类型对应的占用存储空间大小设置为默认值；这个默认值是可以根据对历史数据获得；也可以采用机器学习的方式进行上述确定；

所述确定虚拟化计算任务的所需要的计算时间，具体为：遍历任务执行程序实体，确定程序执行实体中运算类型及其运算次数、程序实体中外部调用的类型及其次数；确定运算类型对应的计算时间乘以相应的次数的加和、外部调用相应类型的平均执行时间乘以相应的个次数的加和，将两个加和相加得到的时间值作为所述计算时间；所述计算时间为本地执行所需要的计算时间；

优选的：在计算动态存储开销的同时计算计算时间；

优选的：基于程序实体中的循环次数计算所述运算类型及其运算次数；

优选的：设置神经网络模型，将程序执行实体中运算类型及其运算次数、程序实体中的循环次数、程序实体中外部调用的类型及其个数作为输入参数输入所述神经网络模型，将输出作为计算时间；在使用神经网络模型之前，采用训练记录对所述神经网络模型进行训练，将运算类型及其运算次数、程序实体中的循环次数、程序实体中外部调用的类型及其次数作为训练记录的输入参数，将计算时间作为输出结果；训练记录来自于对测试用例的本地或者等同软硬件条件下的测试结果；

优选的：所述允许时间为预设值；例如：所述允许时间为用户设置的；可替换的，所述允许时间被设置为等于虚拟化计算的执行等待时间，基于虚拟化计算任务的通信时间和虚拟化计算任务的平均等待时间来计算执行等待时间；虚拟化计算任务执行所需数据需要进行和虚拟化平台之间的交互，而对于一些任务来说这样开销显然是没必要的；在通信时间较长的情况下，将允许时间被设置为等于虚拟化计算的执行等待时间的二分之一；

优选的：在任务提交前进行存储空间和计算时间的预评估；

通过上述方式，可以大致的进行复杂度的估算，所需要的估算时间和实际需要的计算时间来比是很小的，上述估算可以提前进行，例如：在程序实体被加载到内存中时就进行上述估算；

步骤S2：确定虚拟化计算任务的资源需求和瓶颈资源；具体为：基于虚拟化计算任务执行所需要的存储空间、标准化计算时间和通信开销，确定虚拟化计算任务在执行过程中的瓶颈资源和资源需求情况；

优选的：虚拟化计算平台进行所述资源需求和瓶颈资源的确定；

优选的：在进行虚拟化计算任务的提交时将本地化执行评估过程中确定的存储空间和计算时间一同提交给虚拟化计算平台，将所述执行时间进行标准化以得到标准化执行时间；提交的执行时间为根据本地软硬件资源情况计算得到的，通过去本地化也就是标准化能够使得计算时间去除本地特性；

所述确定虚拟化计算任务在执行过程中的瓶颈资源和资源需求情况，具体为：将存储空间、标准化计算时间和通信开销中偏离平均值的距离较大的一者对应的资源作为瓶颈资源；其中,平均值为根据虚拟计算任务对各类资源的需求情况的历史信息得到；存储空间、标准化计算时间和通信开销对应的平均值不同，将存储空间、标准化计算时间或通信开销距离各自对应的平均值之间的偏离值分别除以各自对应的平均值后得到的值作为各自偏离平均值的距离；所述距离为三元向量VD，VD＝<MeM，CPT，COM>，其中，三元向量中的三元(MeM，CPT，COM)分别对应存储、计算和通信资源的偏离距离；

可替换的，通过双层人工智能模型来确定资源占用瓶颈和资源需求；具体的：第一层包括三个底层模型，第一、第二、第三模型；三个模型分别用于输入虚拟化计算任务的存储、计算和通信属性信息；三个模型的输出分别用于表征虚拟化计算任务的存储、计算和通信特征；第二层包括一个顶层模型；所述顶层模型的输入为所述三个模型的输出，输出为三元向量，三元向量中元素的较大值对应瓶颈资源，将所述三元向量作为资源需求向量；所述三元向量中的三元分别用于表征虚拟化计算任务对三种类型资源的需求和三种类型资源的平均需求之间的距离；例如：VD＝<0.1，0.5，0.3>；表示瓶颈资源为计算资源；优选的：将历史虚拟化计算任务中，虚拟计算平台执行的虚拟化计算任务属性信息作为输入，资源需求向量作为输出来训练双层人工智能模型；属性信息能够用于表征虚拟化计算任务在特定资源类型方面的需求量情况；

优选的：在采用双层人工智能模型来确定时，当虚拟化计算任务需求的平均值发生大的变化时，将所述双层人工智能模型输出的三元向量进行加权后得到的加权向量，基于加权向量确定瓶颈资源和资源需求向量；因此需要，周期性的计算虚拟化计算任务需求的平均值，并基于所述平均值进行权值的调整；随着时间的变化，历史任务的情况也随之变化，采用人工智能模型来确定时可能会存在较大的偏差，但是重新的，临时的进行模型的训练显然会浪费大量时间，因此，需要基于平均量进行权重调整，从而干预模型的输出值，从而能够快速的调整并得到输出值；当品均值发生大的变化并保持一定时间时，重新进行所述双层人工智能模型的训练；

优选的：所述第一层和第二层的模型为神经网络模型、机器学习模型等；

步骤S3：基于资源需求和瓶颈资源确定计算节点集合用于进行虚拟计算任务的执行；具体的：基于瓶颈资源确定候选计算节点，基于资源需求从候选计算节点集合中选择一个计算节点作为中心计算节点；基于所述中心计算节点进行虚拟计算任务的执行；

所述基于瓶颈资源确定候选计算节点，具体为：基于瓶颈资源，选择瓶颈资源丰富的计算节点作为候选计算节点；优选的：选择瓶颈资源最丰富的前n个计算节点作为候选计算节点；其中：n>＝1；在瓶颈资源得到满足的情况下，虚拟化计算任务的执行本身是得到保障的；所述计算节点为虚拟化计算平台中的计算节点，所述计算节点具有计算，存储和通信能力；

所述基于资源需求从候选计算节点集合中选择一个计算节点作为中心计算节点，具体为：计算可用资源向量，计算所述资源需求向量和候选计算节点的可用资源向量之间的匹配度，选择匹配度最高的计算节点作为中心计算节点；

候选的：所述可用资源为计算节点在过去的第一时间段内资源的平均可用情况；

所述计算可用资源向量，具体为：将可用存储、可用计算资源、可用通信资源距离各自对应的平均值之间的偏离值分别再除以各自对应的平均值后得到的值作为各自偏离平均值的距离；所述距离为三元向量AD，AD＝<A_MeM，A_CPT，A_COM>，其中，三元向量中的三元(A_MeM，A_CPT，A_COM)分别对应存储、计算和通信资源的偏离距离；其中,平均值为根据虚拟计算任务对各类资源的需求情况的历史信息得到；优选的：对所述三元向量中的值进行标准化，也就是去除候选计算节点本身的本地特性；

所述计算所述资源需求向量和候选计算节点的可用资源之间的匹配度，具体为：获取可用资源向量，获取资源需求向量，计算两个向量之间的相似度作为匹配度；两者之间的相似度可以用常规的例如差值平方和求开平方距离等计算；

现有技术中进行资源的匹配时，往往是将需求量和可用资源的情况之间作单一的比较，而实际上，任务运行过程中资源的需求是同时发生的，需要综和、同时考虑所有的资源情况才能够正确的反映出实际情况；首先瓶颈资源是任务在运行过程中最重要的资源，瓶颈资源得到缓解和满足的情况下，进行资源的整体适配是能够发挥任务执行效率的最恰当的方式；

步骤S4：在虚拟化计算任务的执行过程中，进行以中心结算节点为中心的资源调整；具体的：基于实时资源使用情况确定计算节点集合用于进行虚拟计算任务的执行；在基于中心计算节点进行虚拟计算任务的执行后，需要将虚拟计算任务提交到具体的中心计算节点上，并以所述中心计算节点为主；可选择地，以所述中心计算节点相邻的节点为辅助，执行所述虚拟化计算任务；

所述基于实时资源使用情况确定计算节点集合用于进行虚拟计算任务的执行，具体为：实时的检测中心计算节点的资源使用情况，当一种类型资源受限时，基于所述中心计算节点的连通图确定连通路径，将所述连通路径中的计算节点放入计算节点集合用于进行虚拟计算任务的辅助执行；其中：所述连通图是以所述中心计算节点为中心的加权连通图，连通图中以和所述中心计算节点通信连接的计算节点为节点，直接连接的两个节点之间的连线构成连通图的边，所述边的权重为两个计算节点之间的通信开销，通信开销越大，权重越大；

当出现一种类型资源受限时，任务的执行时间因为该类资源的短缺而被延长；例如：计算资源短缺，那么任务可能会并行度达不到，任务变成伪并行执行，这样存储空间再大，通信端口再多，也无法得到有效的利用；此时需要进行当前任务或者其他任务的转移；本发明选择构建计算节点机和进行辅助执行；

在任务的执行过程中，虚拟化计算任务主要在中心计算节点上完成，当中心计算节点上的资源不够时，从计算节点集合中选择节点用于所述虚拟化计算任务的执行；

所述基于所述中心计算节点的连通图确定连通路径，具体为：在连通图中，选择从中心计算节点出发权重和小于预设值的路径中受限类型的资源最丰富的路径作为所选定的连通路径；所述预设值为默认值或者根据短缺情况来设置；短缺不严重则所述值设置的较小，反之亦然；

通过上述虚拟化计算方法，能够打破传统的虚拟化计算方法中完全只看局部的任务管理和分配方式，从全局的角度出发使得整个虚拟化计算资源得到有效率利用。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (10)

1.一种虚拟化计算方法，其特征在于，所述方法包含：

步骤S1：提交虚拟化计算任务前进行任务本地化执行评估；

步骤S2：确定虚拟化计算任务的资源需求和瓶颈资源；

步骤S3：基于资源需求和瓶颈资源确定计算节点集合用于进行虚拟计算任务的执行；

步骤S4：在虚拟化计算任务的执行过程中，进行以中心结算节点为中心的资源调整。

2.根据权利要求1所述的虚拟化计算方法，其特征在于，所述步骤S1具体为：接收虚拟机化计算任务，确定虚拟化计算任务的所需要的存储空间和计算时间，如果所述存储空间小于本地可用存储空间，则确定虚拟化计算任务的所需要的计算时间，如果所述计算时间小于允许时间，对所述虚拟化计算任务进行本地化执行；否则，进入步骤S2。

3.根据权利要求2所述的虚拟化计算方法，其特征在于，所述确定虚拟化计算任务的所需要的存储空间，具体为：确定虚拟计算任务所需要的动态存储空间，确定虚拟计算任务所需要的动态存储空间，基于虚拟化计算任务所需要的静态存储空间和动态存储空间确定所需要的存储空间。

4.根据权利要求3所述的虚拟化计算方法，其特征在于，将静态存储空间和动态存储空间直接相加作为所需要的存储空间。

5.根据权利要求4所述的虚拟化计算方法，其特征在于，所述确定虚拟计算任务所需要的静态存储空间，具体为：根据虚拟化计算任务执行程序实体所占用的程序空间和数据空间确定所述静态存储空间。

6.根据权利要求5所述的虚拟化计算方法，其特征在于，所述确定虚拟计算任务所需要的动态存储空间，具体为：遍历任务执行程序实体，基于程序执行实体中变量的类型及其对应的使用次数确定动态存储空间。

7.根据权利要求6所述的虚拟化计算方法，其特征在于，所述确定虚拟化计算任务的所需要的计算时间，具体为：遍历任务执行程序实体，确定程序执行实体中运算类型及其运算次数、程序实体中外部调用的类型及其次数；确定运算类型对应的计算时间乘以相应的次数的加和、外部调用相应类型的平均执行时间乘以相应的个次数的加和，将两个加和相加得到的时间值作为所述计算时间；所述计算时间为本地执行所需要的计算时间。

8.根据权利要求7所述的虚拟化计算方法，其特征在于，在计算动态存储开销的同时计算计算时间。

9.根据权利要求8所述的虚拟化计算方法，其特征在于，基于程序实体中的循环次数计算所述运算类型及其运算次数。

10.根据权利要求9所述的虚拟化计算方法，其特征在于，设置神经网络模型，将程序执行实体中运算类型及其运算次数、程序实体中的循环次数、程序实体中外部调用的类型及其个数作为输入参数输入所述神经网络模型，将输出作为计算时间；在使用神经网络模型之前，采用训练记录对所述神经网络模型进行训练，将运算类型及其运算次数、程序实体中的循环次数、程序实体中外部调用的类型及其次数作为训练记录的输入参数，将计算时间作为输出结果；训练记录来自于对测试用例的本地或者等同软硬件条件下的测试结果。

Images