CN103838524A

CN103838524A - 一种自适应精简配置的实现方法与存储系统

Info

Publication number: CN103838524A
Application number: CN201410093560.6A
Authority: CN
Inventors: 陈学伟
Original assignee: SHENZHEN DATA FAULT TOLERANCE SYSTEM CO Ltd
Current assignee: SHENZHEN DATA FAULT TOLERANCE SYSTEM CO Ltd
Priority date: 2014-03-13
Filing date: 2014-03-13
Publication date: 2014-06-04
Anticipated expiration: 2034-03-13
Also published as: CN103838524B

Abstract

本发明公开了一种自适应精简配置的实现方法与存储系统，其中，实现方法包括以下步骤：在虚拟磁盘进行精简配置时，分别对当前存储系统的各存储设备的业务流量情况进行感知，根据所述感知的结果选择存储设备进行扩容。采用上述方案，本发明通过在虚拟磁盘进行精简配置时，感知各存储设备的业务流量情况再进行扩容，达到存储设备的利用最大化，具有很高的市场应用价值。

Description

一种自适应精简配置的实现方法与存储系统

技术领域

本发明涉及存储系统的精简配置，尤其涉及的是，一种自适应精简配置的实现方法与存储系统。

背景技术

在存储系统中，精简配置是一种广泛使用的技术，它可以使存储最大效率的被使用，避免了容量的浪费，是一种很实用的技术。自动精简配置可以节省大量的磁盘空间并省去管理员在考虑“该为虚拟机分配多大磁盘空间”等问题时的烦恼。

但现在的精简配置扩容都是未有结合存储上的业务来进行，例如，一种可能的情况是，某一RAID（Redundant Array of Independent Disk，独立冗余磁盘阵列）已经到达了流量上限，而扩容在此RAID上进行，那么扩容后的VD（Virtual Disk，虚拟磁盘）所能提供的业务流量还是无法提高，而有的RAID比较空闲，扩容却没有在此RAID上进行。

发明内容

本发明所要解决的技术问题是提供一种新的自适应精简配置的实现方法与存储系统。

本发明的技术方案如下：一种自适应精简配置的实现方法，其包括以下步骤：在虚拟磁盘进行精简配置时，分别对当前存储系统的各存储设备的业务流量情况进行感知，根据所述感知的结果选择存储设备进行扩容。

优选的，所述实现方法中，选择当前业务流量相对空闲的存储设备进行扩容。

优选的，所述实现方法中，选择当前业务流量最低的存储设备进行扩容。

优选的，所述实现方法中，所述存储设备包括至少一独立冗余磁盘阵列。

优选的，所述实现方法中，所述感知，包括监控每一所述独立冗余磁盘阵列的待处理读写操作数量与其能够处理读写操作最大数量的比例。

优选的，所述实现方法中，每次进行所述扩容时，从选定的独立冗余磁盘阵列上选择合适的扩展范围，插入到虚拟磁盘的红黑树当中。

优选的，所述实现方法中，在选定所述独立冗余磁盘阵列之前，还判断其是否具有足够的可用空间，否则选择其他独立冗余磁盘阵列。

优选的，所述实现方法中，所述扩容包括一次在多个独立冗余磁盘阵列上进行或者每次都在相异独立冗余磁盘阵列上进行。

优选的，所述实现方法中，所述感知，还包括判断某存储设备是否达到其处理能力的上限，是则给出不作为后续扩容对象的结果。

本发明的又一技术方案如下：一种自适应精简配置的存储系统，其包括虚拟磁盘、精简配置模块、业务流量感知模块以及若干存储设备；所述精简配置模块对所述虚拟磁盘进行精简配置时，由所述业务流量感知模块分别对各所述存储设备的业务流量情况进行感知，所述精简配置模块根据所述感知的结果选择存储设备进行扩容。

采用上述方案，本发明通过在虚拟磁盘进行精简配置时，感知各存储设备的业务流量情况再进行扩容，提高了存储设备的利用程度，具有很高的市场应用价值。

附图说明

图1为本发明的一个实施例的示意图；

图2为本发明的一个实施例的RAID与磁盘关系示意图；

图3为本发明的一个实施例的红黑树示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，本发明的一个实施例是，一种自适应精简配置的实现方法，其包括以下步骤：在虚拟磁盘进行精简配置时，分别对当前存储系统的各存储设备的业务流量情况进行感知，根据所述感知的结果选择存储设备进行扩容。这样，在VD进行精简配置之时，对当前的存储设备上的业务流量情况进行感知，选择当前业务流量相对空闲的存储设备，例如RAID等，进行扩容，从而达到存储设备的利用最大化。优选的，在管理程序和存储两端均采用精简配置方法；优选的，所述存储设备包括至少一独立冗余磁盘阵列。优选的，实时或者周期监控各所述独立冗余磁盘阵列的所述比例。例如，每隔一个预设置时间监控一次各所述独立冗余磁盘阵列的所述比例。优选的，还制作各所述独立冗余磁盘阵列的所述比例的时间关系表，通过终端输出，用于监控RAID的使用状况与后续分析。优选的，所述时间关系表通过无线方式输出到管理终端，这样，管理员或者相关人员可以及时监控、处理存储系统。

首先需要判断每一个RAID的忙碌程度，也就是空闲情况，来决定每次扩容的策略。如图2所示，通过监控每个RAID的pending（待处理）IO（input/output，输入输出，也称读写）和max（最大）_pending的比例可以判断此RAID当前的忙碌情况。其中，Pengding IO为已经下发到磁盘，但是仍未返回的IO，max_pending为每个RAID所能处理的最大IO数目。优选的，所述实现方法中，所述感知，包括监控每一所述独立冗余磁盘阵列的待处理读写操作数量（pending IO）与其能够处理读写操作最大数量（max_pending）的比例。优选的，所述感知，还包括判断某存储设备是否达到其处理能力的上限，是则给出不作为后续扩容对象的结果。例如，某存储设备达到其处理能力的上限时，则在后续扩容不再选择该存储设备；又如，所述感知，还包括判断某存储设备是否达到其处理能力的某一预设百分比值，当该存储设备达到其处理能力的上限时，则在后续扩容不再选择该存储设备。优选的，根据存储系统中各存储设备之前若干已完成读写操作的执行结果及其执行时间，以及现有排队等待处理的读写操作数量，分别作为其过往处理能力与目前处理能力；然后根据所述过往处理能力与所述目前处理能力，判断对应的存储设备是否具备足够的未来处理能力，否则在后续扩容不再选择该存储设备。

优选的，所述实现方法中，选择当前业务流量相对空闲的存储设备进行扩容。例如，某一存储设备的当前业务流量低于50%时，视为其相对空闲，例如，选择当前业务流量低于50%的任一存储设备进行扩容。又如，选择当前业务流量低于30%的任一存储设备进行扩容。优选的，选择当前业务流量最低的存储设备进行扩容。这样，该存储设备能够提供较好的处理能力支持。优选的，在此RAID上还有足够空间时，选择其进行扩容，即，如果该存储设备没有足够空间，则在扩容中不再选择该存储设备。例如，在此RAID上的可用空间大于其总容量的50%时，视为其还有足够空间；又如，对于当前业务流量最低的存储设备，在其可用空间大于其总容量的40%时，选择其进行扩容；否则，选择当前业务流量次于该存储设备的另一存储设备，判断其可用空间是否大于其总容量的40%时，是则选择其进行扩容，或者，否则继续选择下一存储设备。优选的，所述实现方法中，在选定所述独立冗余磁盘阵列之前，还判断其是否具有足够的可用空间，否则选择其他独立冗余磁盘阵列。例如，一旦有某个VD有扩容命令发出，那么将在pool（存储池）所包含的RAID中，选择pending io和max_pending之比pending io/max_pending最小的RAID，在此RAID上进行扩容。例如，由虚拟化管理程序对存储资源进行管理。

优选的，所述实现方法中，每次进行所述扩容时，从选定的独立冗余磁盘阵列上选择合适的扩展范围（extent），插入到虚拟磁盘的红黑树当中；例如，扩展范围对应磁盘的区域块或者磁盘阵列的区域块。优选的，所述扩容包括一次在多个独立冗余磁盘阵列上进行或者每次都在相异独立冗余磁盘阵列上进行。如图3所示，每个VD都是多个extent的组合，将多个extent组成一颗红黑树（Red Black Tree，即RBTree，一种平衡二叉树），每次扩容只需要从RAID上选择合适的extent（扩展范围），并且插入到VD的红黑树当中。数据库空间的单位是数据块（block）、范围（extent）和段（segment）数据库空间的单位是数据块（block）、范围（extent）和段（segment）一个段中的extent可以是不连续的，甚至可以在不同的数据文件中。

如图1所示，本发明的又一实施例如下：一种自适应精简配置的存储系统，其包括虚拟磁盘、精简配置模块、业务流量感知模块以及若干存储设备；所述精简配置模块对所述虚拟磁盘进行精简配置时，由所述业务流量感知模块分别对各所述存储设备的业务流量情况进行感知，所述精简配置模块根据所述感知的结果选择存储设备进行扩容。每一次精简配置都根据感知系统的感知结果来觉得在哪个RAID上进行扩容，一个VD的数据可以分布在多个RAID上。优选的，所述存储系统应用上述任一实施例所述实现方法。

例如，如图1所示，在现有系统中增加如下模块：RAID业务流量感知模块，以判断某个RAID是否达到其处理能力的上限。以便挑选一个业务压力相对小的RAID来进行扩容。这样，对当前的业务有一个感知模块，使用io pending和max_pending的比例来判断当前RAID的忙闲状态，从而对扩容的策略做出动态调整，达到最大化存储资源的使用。又如，增加扩容模块，扩容可以一次在多个RAID上进行，也可以每次都在不同RAID上扩容，从而可以根据各个RAID不同时间的业务情况每一次选择不同的设备进行扩容。

进一步地，本发明的实施例还包括，上述各实施例的各技术特征，相互组合形成的自适应精简配置的实现方法与存储系统。

需要说明的是，自适应精简配置的实现方法是一种提高存储设备利用程度的实现方法，解决的是扩容时如何提高存储设备利用程度的技术问题，该方法通过执行计算机程序实现对存储系统内部运行性能的改进，反映的是利用业务流量确定选择存储设备，利用的是遵循自然规律的技术手段，获得存储设备的利用最大化的技术效果。因此，本发明专利申请是一种通过执行计算机程序实现计算机系统性能改进的解决方案，属于专利法第二条第二款规定的技术方案，属于专利保护的客体。

需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种自适应精简配置的实现方法，其特征在于，包括以下步骤：在虚拟磁盘进行精简配置时，分别对当前存储系统的各存储设备的业务流量情况进行感知，根据所述感知的结果选择存储设备进行扩容。

2.根据权利要求1所述实现方法，其特征在于，选择当前业务流量相对空闲的存储设备进行扩容。

3.根据权利要求2所述实现方法，其特征在于，选择当前业务流量最低的存储设备进行扩容。

4.根据权利要求1至3任一所述实现方法，其特征在于，所述存储设备包括至少一独立冗余磁盘阵列。

5.根据权利要求4所述实现方法，其特征在于，所述感知，包括监控每一所述独立冗余磁盘阵列的待处理读写操作数量与其能够处理读写操作最大数量的比例。

6.根据权利要求5所述实现方法，其特征在于，每次进行所述扩容时，从选定的独立冗余磁盘阵列上选择合适的扩展范围，插入到虚拟磁盘的红黑树当中。

7.根据权利要求6所述实现方法，其特征在于，在选定所述独立冗余磁盘阵列之前，还判断其是否具有足够的可用空间，否则选择其他独立冗余磁盘阵列。

8.根据权利要求7所述实现方法，其特征在于，所述扩容包括一次在多个独立冗余磁盘阵列上进行或者每次都在相异独立冗余磁盘阵列上进行。

9.根据权利要求8所述实现方法，其特征在于，所述感知，还包括判断某存储设备是否达到其处理能力的上限，是则给出不作为后续扩容对象的结果。

10.一种自适应精简配置的存储系统，其特征在于，包括虚拟磁盘、精简配置模块、业务流量感知模块以及若干存储设备；

所述精简配置模块对所述虚拟磁盘进行精简配置时，由所述业务流量感知模块分别对各所述存储设备的业务流量情况进行感知，所述精简配置模块根据所述感知的结果选择存储设备进行扩容。