CN104679444A

CN104679444A - 虚拟化存储资源的动态调整方法与装置

Info

Publication number: CN104679444A
Application number: CN201310680567.3A
Authority: CN
Inventors: 蔡丹倩
Original assignee: China Telecom Corp Ltd
Current assignee: China Telecom Corp Ltd
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2015-06-03
Anticipated expiration: 2033-11-27
Also published as: CN104679444B

Abstract

本公开涉及一种虚拟化存储资源的动态调整方法与装置。该方法包括在进行存储之前基于各应用的需求预估各类数据在各个维度上的性能值；基于设置的各个维度的阀值和预估的性能值确定为各类数据在各个维度上分配的性能值；实时检测并统计存储过程中设定时间段内各类数据在各个维度上实际使用性能值的平均值；计算实际使用性能值的平均值与预估的性能值的差值；如果任一类数据在任一维度上的差值处于设置的各个维度的阀值范围内，则继续上述的实时检测，直至存储过程结束，否则，将预估的性能值更新为实际使用性能值的平均值，并继续重新确定为各类数据在各个维度上分配的性能值，直至存储过程结束。本公开能够为各种应用实时地进行存储资源的调整。

Description

虚拟化存储资源的动态调整方法与装置

技术领域

本公开涉及云存储，特别地，涉及一种虚拟化存储资源的动态调整方法与装置。

背景技术

普通云存储网络采用的计算资源虚拟化技术较为简单，可配置性能维度及层级比较单一，例如，仅有IOPS（Input/Output Operations PerSecond，每秒进行读写（I/O）操作的次数）与CPU，配置后仅能通过手动方式粗略修改，无法满足各类数据对不同维度的存储性能需求的连续性、实时性的变化，造成性能资源浪费。

普通云存储网络的计算资源仅仅只能初始配置，配置后需要人为地判断是否更改，往往造成资源浪费，例如，在一段时间内应用的实际性能需求低于配置值，有些计算服务器明明用不到却还开启着，造成资源的浪费。

举例说明，首先同一应用其不同时间存储的数据对于性能的需求是不一样的，即，应用的存储性能需求具有实时性。邮箱系统存储的数据一般是很多中小文件，且邮箱的白天活跃用户数很多，其白天对于并发访问数、响应时间的要求较高，而到了晚上或者休息时间其活跃用户数较少，需要的并发用户数、带宽与响应时间等则相应减少，其中的变化并不是跃进式的，当中会连续性的循序变化。

另外，目前互联网应用层出不穷，不同类型的应用，如邮箱、视频类应用、游戏类应用、个人与企业类应用所需要的性能需求都是各不相同的，而视频类应用、游戏类应用等又有很多类型，各种不同应用对性能的需求形成了连续性的变化。而不是简单的几个不同性能数值。因此，如何为各种应用实时进行存储配置已经成为目前亟待解决的问题。

发明内容

本公开鉴于以上问题中的至少一个提出了新的技术方案。

本公开在其一个方面提供了一种虚拟化存储资源的动态调整方法，其能够为各种应用实时地进行存储资源的调整。

本公开在其另一方面提供了一种虚拟化存储资源的动态调整装置，其能够为各种应用实时地进行存储资源的调整。

根据本公开，提供一种虚拟化存储资源的动态调整方法，包括：

在进行存储之前，基于各应用的需求预估各类数据在各个维度上的性能值；

基于设置的各个维度的阀值和预估的各类数据在各个维度上的性能值确定为各类数据在各个维度上分配的性能值；

实时检测并统计存储过程中设定时间段内各类数据在各个维度上实际使用性能值的平均值；

计算各类数据在各个维度上实际使用性能值的平均值与预估的相应类别数据在相应维度上的性能值的差值；

如果任一类数据在任一维度上的差值处于设置的各个维度的阀值范围内，则继续上述的实时检测，直至存储过程结束，否则，将预估的各类数据在各个维度上的性能值更新为相应类别数据在相应维度上实际使用性能值的平均值，并继续重新确定为各类数据在各个维度上分配的性能值，直至存储过程结束。

在本公开的一些实施例中，该方法还包括：

在对预估的各类数据在各个维度上的性能值进行更新之前，更新设置的各个维度的阀值。

在本公开的一些实施例中，设置的各个维度的阀值大于0且小于为各类数据在各个维度上分配的性能值与预估的相应类别数据在相应维度上的性能值的差。

在本公开的一些实施例中，各类数据的各个维度包括IOPS、响应时间、带宽、CPU和并发访问数。

根据本公开，还提供了一种虚拟化存储资源的动态调整装置，包括：

性能值预估单元，用于在进行存储之前，基于各应用的需求预估各类数据在各个维度上的性能值；

性能值分配单元，用于基于设置的各个维度的阀值和预估的各类数据在各个维度上的性能值确定为各类数据在各个维度上分配的性能值；

性能值检测单元，用于实时检测并统计存储过程中设定时间段内各类数据在各个维度上实际使用性能值的平均值；

判断单元，用于计算各类数据在各个维度上实际使用性能值的平均值与预估的相应类别数据在相应维度上的性能值的差值，如果任一类数据在任一维度上的差值处于设置的各个维度的阀值范围内，则继续上述的实时检测，直至存储过程结束，否则，将预估的各类数据在各个维度上的性能值更新为相应类别数据在相应维度上实际使用性能值的平均值，并继续重新确定为各类数据在各个维度上分配的性能值，直至存储过程结束。

在本公开的一些实施例中，该装置还包括：

阀值更新单元，用于在对预估的各类数据在各个维度上的性能值进行更新之前，更新设置的各个维度的阀值。

在本公开的技术方案中，由于在存储过程中实时检测各类数据在各个维度上的实际使用性能值，并根据该实际使用性能值动态调整预估的各类数据在各个维度上的性能值，再基于调整后的预估的各类数据在各个维度上的性能值重新为各类数据在各个维度上分配性能值，使得云平台能够根据各类应用需求准确地为其分配所需的性能值，避免了对系统资源的浪费。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分。在附图中：

图1是本公开一个实施例的虚拟化存储资源的动态调整方法的流程示意图。

图2是本公开另一实施例的虚拟化存储资源的动态调整方法的流程示意图。

图3是本公开一个实施例的虚拟化存储资源的动态调整装置的结构示意图。

图4是本公开另一实施例的虚拟化存储资源的动态调整装置的结构示意图。

具体实施方式

下面将参照附图描述本公开。要注意的是，以下的描述在本质上仅是解释性和示例性的，决不作为对本公开及其应用或使用的任何限制。除非另外特别说明，否则，在实施例中阐述的部件和步骤的相对布置以及数字表达式和数值并不限制本公开的范围。另外，本领域技术人员已知的技术、方法和装置可能不被详细讨论，但在适当的情况下意在成为说明书的一部分。

本公开下述实施例通过多维度虚拟化技术，同时满足对IOPS、响应时间、带宽、CPU、并发访问数的综合性能需求；通过多维度性能计算，如果超过或低于阀值自动触发性能值的重配过程，满足各类数据存储对性能实时性的要求；有多类数据存储时，计算最佳比例分别配置性能值，提高整系统性能利用率。

需要指出的是，各维度之间的计算不是相互独立的，云存储计算资源总量是有限的，如果某一性能值配置太大，势必会对其他性能值造成影响。

本公开下述实施例是要在总计算资源固定的情况下，计算出满足所有应用性能值的一个最佳比例，使得系统的性能利用率最高。

首先为每个应用赋予一组满足其所需的最接近的性能值，一般比实际所需性能值稍大。其次，所有应用的各个维度的性能值不能超出云存储系统的总计算资源。一旦超出，则提示系统资源不够，需减少接入的应用并重新计算。在所有应用都达到性能使用量最大的情况下，在分配好最佳性能值后，如果云存储系统计算资源仍然有闲置，则可提示可进一步增加接入的应用量。

如图1所示，该实施例可以包括以下步骤：

S102，在进行存储之前，基于各应用的需求预估各类数据在各个维度上的性能值；

其中，各类数据的各个维度可以包括但不限于IOPS、响应时间、带宽、CPU和并发访问数，IOPS的单位为每秒进行读写（I/O）操作的次数，带宽的单位为bps，即每秒可传输的位数，响应时间的单位为秒，CPU的单位是Hz，并发访问数的单位为个。

需要说明的是，在转化前各个维度的性能都有其各自独立的度量单位，例如，赫兹、秒等，在本公开中，为了便于进行资源分配，可以将各个维度的性能单位转化为统一的度量值，即性能值，其单位是计算资源。

接下来，详细说明如何将上述各个维度的单位转换为统一的计算资源。

首先确定系统的总计算资源，例如，可以把系统的总计算资源值记为100。

其次，先将其中四个维度（例如，IOPS、带宽、CPU与响应时间）的值固定，通过加压测试使得并发访问数由小变大，记录下并发访问数和消耗的计算资源的关系图，直到计算资源消耗量为100，再将其中四个维度（例如，IOPS、带宽、CPU与响应时间）的值取另一固定值，重复对并发访问数进行加压测试，依此类推，其中四个维度的值可以取多组固定值，最后计算出并发访问数与其他四个维度之间的关系。同样，在其他四个维度固定时，分别测试IOPS、带宽、响应时间、CPU分别与计算资源的关系。

需要指出的是，响应时间越长，消耗的计算资源越少，而其余四个维度（即，IOPS、带宽、CPU与并发访问数）均是数值越大，消耗的计算资源越多。

综上所述，这五个维度最终均可以统一为相同的度量单位，即，计算资源。

在该实施例中，在进行虚拟存储之前，可以将各应用对各个维度的需求转化为预估的各类数据在各个维度上的性能值。

S104，基于设置的各个维度的阀值和预估的各类数据在各个维度上的性能值确定为各类数据在各个维度上分配的性能值；

具体地，为了保证各个应用能够以期望的性能运行，可以在预估的各类数据在各个维度上的性能值的基础上在各类数据的各个维度上分别增加相应维度的阀值。进一步地，为了防止过于频繁地对各个应用所使用的资源进行调整，还可以在阀值的基础上再增加一个设定的门限值，最终在预估的各类数据在各个维度上的性能值基础上加上相应的阀值与设定的门限值即得到了为各类数据在各个维度上分配的性能值。

在确定了为各类数据在各个维度上分配的性能值后，可以按这些值对云平台中可使用的硬件进行性能虚拟化，并为各类数据分配相应的性能值。

S106，实时检测并统计存储过程中设定时间段内各类数据在各个维度上实际使用性能值的平均值；

具体地，在为各类数据的各个维度分配了性能值后，各个应用可以开始进行各类数据的虚拟存储。此时，开始对存储过程中各个应用的各类数据在各个维度上实际使用性能值进行检测，并将设定时间内检测到的实际使用性能值针对每类数据的每个维度进行算术平均，进而得到各类数据在各个维度上实际使用性能值的平均值。

S108，计算各类数据在各个维度上实际使用性能值的平均值与预估的相应类别数据在相应维度上的性能值的差值。

S110，判断所有类别数据在所有维度上的差值是否均处于设置的各个维度的阀值范围内，如处于，则转S106，继续上述的实时检测，直至存储过程结束，否则转S112。

S112，将预估的各类数据在各个维度上的性能值更新为相应类别数据在相应维度上实际使用性能值的平均值，并转S104，继续重新确定为各类数据在各个维度上分配的性能值，直至存储过程结束；

具体地，如果任一类数据在任一维度上实际使用性能值的平均值与预估的性能值的差值均在设置的各个维度的阀值范围内，即，实际使用性能值的平均值可能大于预估的性能值，也可能小于预估的性能值，但差值均在阀值范围内，此时就无需对当前分配的性能值进行调整。但是，如果实际使用性能值的平均值远小于预估的性能值，或远大于预估的性能值，即，两者之差大于阀值，则需对当前所分配的性能值进行调整，以防止资源浪费或提醒需额外增加系统资源。

在差值小于阀值的情况下，转步骤S106，继续进行实时检测与统计，并根据统计结果与预估的性能值进行比较，以确定是否进行虚拟资源的调整。

在差值大于阀值的情况下，由于要基于各类数据在各个维度上实际使用性能值的平均值进行资源的调整，因此，利用此平均值来更新预估的各类数据在各个维度上的性能值。然后，转S104重新确定为各类数据在各个维度上分配的性能值。

在该实施例中，由于在存储过程中实时检测各类数据在各个维度上的实际使用性能值，并根据该实际使用性能值动态调整预估的各类数据在各个维度上的性能值，再基于调整后的预估的各类数据在各个维度上的性能值重新为各类数据在各个维度上分配性能值，使得云平台能够根据各类应用需求准确地为其分配所需的性能值，避免了对系统资源的浪费。

进一步地，如果上述差值大于阀值，在对预估的各类数据在各个维度上的性能值进行更新之前，更新设置的各个维度的阀值。由于阀值随着实际使用性能值的平均值与预估的性能值的变化而变化，因此进一步体现了资源调整的动态性。

进一步地，设置的各个维度的阀值大于0且小于为各类数据在各个维度上分配的性能值与预估的相应类别数据在相应维度上的性能值的差。

在另一实例中，在进行虚拟存储开始前，测试估算每类数据存储实际所需的各个维度的性能值。

接下来，根据估算的每类数据在各个维度上的性能值计算出与这些预估的性能值最接近并偏大点的性能值组，由于实际性能值是不断变化的，如果分配的性能值与估算的性能值太接近，则实际值稍一变化就又需要重新计算，导致效率降低，因此设计实际分配值比估算值大些，大的比例（和阀值相关），并且可以根据精细度的需求进行调整，但不能超出系统总的计算资源。然后，按照计算出的稍大的性能值对云平台全部或部分硬件进行性能虚拟化，以最有效地利用性能资源。

为每类数据分配比实际所需稍大（实际值与估算值之差稍大于阀值）的性能值，其中，该性能值为平台性能值的一定比例。

对于每类数据，在存储过程中，实时检测出m组在各个维度上的实际使用性能值，记为（a1，a2，…，am）、（b1，b2，…，bm），…（e1，e2，…，em）。其中，a，b，c，d和e分别代表各个维度。

判断每类数据在每一维度上的检测平均值和估算值的差是否都在阀值范围内，如果差值的绝对值大于阀值，则表明资源不满足性能要求或资源剩余，应进行调整，如果差值的绝对值小于阀值，则表明应用存储需求变化不大，目前无需调整。

如需进行资源的调整，则可以将检测平均值替代初始的估算值，并重新进行全局优化计算及虚拟化并重新为各类数据分配性能值。

如图2所示，该实施例可以包括以下步骤：

S202，估算每类数据所需性能值；

S204，对云平台进行性能虚拟化，为每类数据分配性能值；

S206，实时检测存储过程中的实际性能值；

S208，判断存储是否结束，如未结束，则转S210，否则转S212；

S210，判断平均后的实际性能值与估算出的性能值之差是否在阀值范围内，如均在阀值范围内，则转S206，继续检测实际性能值，否则，转S204，重触发优化计算及虚拟化，并为该类数据重配性能值；

S212，停止检测。

本领域普通技术人员可以理解，实现上述方法实施例的全部和部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算设备可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质可以包括ROM、RAM、磁碟和光盘等各种可以存储程序代码的介质。

如图3所示，该实施例中的装置30可以包括性能值预估单元302、性能值分配单元304、性能值检测单元306和判断单元308。其中，

性能值预估单元302，用于在进行存储之前，基于各应用的需求预估各类数据在各个维度上的性能值；

性能值分配单元304，用于基于设置的各个维度的阀值和预估的各类数据在各个维度上的性能值确定为各类数据在各个维度上分配的性能值；

性能值检测单元306，用于实时检测并统计存储过程中设定时间段内各类数据在各个维度上实际使用性能值的平均值；

判断单元308，用于计算各类数据在各个维度上实际使用性能值的平均值与预估的相应类别数据在相应维度上的性能值的差值，如果任一类数据在任一维度上的差值处于设置的各个维度的阀值范围内，则继续上述的实时检测，直至存储过程结束，否则，将预估的各类数据在各个维度上的性能值更新为相应类别数据在相应维度上实际使用性能值的平均值，并继续重新确定为各类数据在各个维度上分配的性能值，直至存储过程结束。

如图4所示，与图3中的实施例相比，该实施例中的装置40还可以包括：

阀值更新单元402，用于在对预估的各类数据在各个维度上的性能值进行更新之前，更新设置的各个维度的阀值。

进一步地，各类数据的各个维度包括IOPS、响应时间、带宽、CPU和并发访问数。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同和相似的部分可以相互参见。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处可以参见方法实施例部分的说明。

与普通云存储网络相比，本公开云存储网络的优势在于其具有可以根据应用的需求自主触发可弹性变化的计算资源，可同时面向多应用的不同类型数据提供存储功能，每组应用同时获得不同的性能配置，使用多少计算资源就开启多少服务器，避免了对资源的浪费。

虽然已参照示例性实施例描述了本公开，但应理解，本公开不限于上述的示例性实施例。对于本领域技术人员显然的是，可以在不背离本公开的范围和精神的条件下修改上述的示例性实施例。所附的权利要求的范围应被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。

Claims

1.一种虚拟化存储资源的动态调整方法，其特征在于，包括：

2.根据权利要求1所述的虚拟化存储资源的动态调整方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的虚拟化存储资源的动态调整方法，其特征在于，所述设置的各个维度的阀值大于0且小于为各类数据在各个维度上分配的性能值与预估的相应类别数据在相应维度上的性能值的差。

4.根据权利要求1所述的虚拟化存储资源的动态调整方法，其特征在于，各类数据的各个维度包括IOPS、响应时间、带宽、CPU和并发访问数。

5.一种虚拟化存储资源的动态调整装置，其特征在于，包括：

6.根据权利要求5所述的虚拟化存储资源的动态调整装置，其特征在于，所述装置还包括：

7.根据权利要求6所述的虚拟化存储资源的动态调整装置，其特征在于，所述设置的各个维度的阀值大于0且小于为各类数据在各个维度上分配的性能值与预估的相应类别数据在相应维度上的性能值的差。

8.根据权利要求5所述的虚拟化存储资源的动态调整装置，其特征在于，各类数据的各个维度包括IOPS、响应时间、带宽、CPU和并发访问数。