CN103442070A

CN103442070A - 基于统计预测的私有云存储资源调配方法

Info

Publication number: CN103442070A
Application number: CN2013103903960A
Authority: CN
Inventors: 吴宗泽; 李其力; 梁啓成; 张勰; 何文涛
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2013-08-30
Filing date: 2013-08-30
Publication date: 2013-12-11

Abstract

本发明公开了一种基于统计预测的私有云存储资源调配方法，包括以下步骤：步骤1、将存储设备按块存储方式划分为块存储资源池，将存储设备按对象存储方式来划分为对象存储资源池；步骤2、实时监控数据的状态，通过统计预测，计算实时的数据价值；步骤3、系统通过统计分析存储数据的信息记录，进行数据动态迁移，使数据在相应的时间存放在相应的存储资源池中；步骤4、通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务。具有减少了存储成本，提高了系统整体的存储性能等优点。

Description

基于统计预测的私有云存储资源调配方法

技术领域

本发明涉及一种数据存储技术，特别涉及一种基于统计预测的私有云存储资源调配方法。

背景技术

存储设备在硬件性能、价格、维护难易程度等方面存在差异。在使用存储设备的过程中，从经济角度考虑，分布式存储的底层存储设备通常是异构的，有不同的等级。根据存储设备的特性与数据的类型，存储方式也是异构的，有块存储、文件存储和对象存储之分。从用户使用习惯来看，存储的内容分为常用数据与归档数据。常用数据通常关注于读写速度，而归档数据则关注于空间利用率、数据稳定性等。存储数据中大约30%属于“热数据”，它们对磁盘性能、数据保护、可用性和安全性的要求相对较高，适合使用传统的块存储和文件存储方式存储这些数据。而另外的70%属于“冷数据”，也就是说在创建之后很少或者从来不被访问，它们更多需要的是可管理性、可访问性、可扩展性、储存和成本，适合对象存储来处理。

在存储设备、存储方式、存储数据的异构性前提下，既想实现数据自适应分级迁移，又想实现存储透明性，就要求有一种可靠的调配机制。私有云存储恰好能解决上述问题。

私有云（Private Clouds）是将硬件资源通过虚拟化的形式提供给企业内部使用的计算模式。云存储（Cloud Storage）是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。私有云存储在企业内部的应用主要目的是为了提高硬件和软件资源的利用率，减小项目和应用运营和维护的成本。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于统计预测的私有云存储资源调配方法，该方法提高了企业内部存储设备资源利用率，在存储设备、存储方式、存储数据的异构性前提下，既实现数据自适应分级迁移，又实现存储透明性，实行一种可靠的调配机制，优化存储性能，改善数据可用性，减少总体存储成本，实现存储透明性。

本发明的目的通过下述技术方案实现，基于统计预测的私有云存储资源调配方法，可以包括以下步骤：

步骤1、将存储设备按块存储方式划分为块存储资源池，将存储设备按对象存储方式来划分为对象存储资源池；

步骤2、实时监控数据的状态，通过统计预测，计算实时的数据价值；

步骤3、系统通过统计分析存储数据的信息记录，进行数据动态迁移，使数据在相应的时间存放在相应的存储资源池中；

步骤4、通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务。保障用户的存储透明性。

所述块存储资源池使用高性能、高可靠存储设备群，对象存储资源池使用容量大、价格便宜的存储设备群。所述高性能、高可靠存储设备群指SSD（闪存）、高性能磁盘阵列等存储设备，所述容量大、价格便宜的存储设备群指中端磁盘阵列、磁带库等存储设备。

根据数据的使用价值来判断数据是按快存储的方式来存储还是按照对象存储方式来存储。使用价值较高的数据以块存储的方式存储，使用价值较低的数据以对象储存方式存储。

所述步骤3包括以下步骤：

S1、定义存储数据的使用价值确定数据的迁移；

S2、依照数据的使用价值量，对数据进行排队形成列队；

S3、在队列高位的数据存放在块存储资源池，在队列低位的数据存放在对象存储资源池。

所述步骤3包括以下步骤：

A1、当块存储资源池的存储量达到存储阈值时，确定数据需要迁移；

A2、当块存储资源池的存储量高于70%时，块存储资源池中使用价值低的数据迁移到对象存储资源池，直到块存储资源池的存储量低于50%或者对象存储资源池存储量高于90%；

A3、当块存储资源池的存储量小于30%时，对象存储资源池使用价值高的数据从对象存储资源池到块存储资源池发生迁移，直到块存储资源池的存储量高于50%或者对象存储资源池的存储量为空；

A4、如果数据在迁移过程中被访问，立即中断迁移，访问结束后重新计算使用价值再决定是否迁移；

A5、迁移过程中保持数据完整，先将数据复制完毕，再删除源数据。

数据的所述使用价值由数据被访问时间、数据的用户关注度和数据大小来评定；

数据访问时间；数据访问时间是判断数据价值的重要依据，最新创建或者使用的数据被访问的概率较大。采用t表示数据从开始创建至数据被访问时的访问时间，采用t_i表示数据从开始创建至数据被修改的时间的修改时间序列{t₁，t₂，…，t_n}；

数据的用户关注度；访问某一数据的用户数量越多，该数据的使用价值就越高。记使用过数据X的用户数量为C；

数据大小；小而且热的文件跟适合存储在性能高且容量小的块存储资源池中，记数据大小参数为

其中，S_data表示本数据大小，S_total表示总数据存储量；

记数据使用价值的计算模型为：

V_{n} = (1 - d) \cdot C \cdot \frac{1}{S} \cdot Σ_{i = 0}^{n - 1} \frac{1}{t_{n} - t_{i}} + d \cdot V_{n - 1},

其中，1≥d≥0为权值参数，代表历史值对V实时值的影响权重，V值越大，表示数据的使用价值越高。

私有云存储架构包含对象存储资源池、块存储资源池两部分，根据数据的属性与访问记录，将数据存放在不同存储方式的弹性资源池中，并实现数据客体在资源池中的自动迁移，以改善系统的存储性能。

本发明的目的：本发明将存储设备按块存储方式与对象存储方式来划分为两个资源池，通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务。系统通过统计分析存储文件的信息记录，保证合适的文件在合适的时间存放在合适的存储池中。文件迁移策略通过定义存储文件的使用价值来实现，依照使用价值量的高低，将文件进行排队，在队列高位的文件存放在块存储资源池，在队列地位的文件存放在对象存储资源池。用块存储方式存放使用价值较高的文件，用对象存储方式存放使用价值较低的文件，以达到减少总体存储成本，提高整体系统的存储性能的目的。

本发明相对于现有技术具有如下的优点及效果：

1、优化存储性能。不同的存储方式可使用不同性价比的存储设备发挥最大的综合效益。

2、改善数据可用性。结合块存储方式与对象存储方式的不同优势，为常用数据提供快速高效的存储环境，为归档数据提供安全可靠的存储环境。

3、减少总体存储成本。两类存储资源池分别使用不同级别的存储设备，块存储资源池使用高性能、高可靠存储设备群，对象存储资源池使用容量大、价格便宜的存储设备群。

4、数据迁移对应用透明。利用虚拟化技术，云计算平台对存储资源进行统一管理，迁移过程对应用透明。通过统计预测，实现文件迁移的智能化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明基于统计预测的私有云存储资源调配方法一个实施例的示意图。

图2为本发明数据迁移的流程图。

图3为本发明基于统计预测的私有云存储资源调配系统一个实施例的部署示意图。

图4为本发明基于统计预测的私有云存储资源调配系统一个实施例的服务系统框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

图1为本发明基于统计预测的私有云存储资源调配方法一个实施例的示意图，如图1所示，包括：

1、将存储设备按块存储方式与对象存储方式来划分为两个资源池。

2、块存储资源池使用高性能、高可靠存储设备群，对象存储资源池使用容量大、价格便宜的存储设备群。

3、使用价值较高的数据以块存储的方式存储，使用价值较低的数据以对象储存方式存储。

4、实时监控数据的状态，通过统计预测，计算实时的数据价值，实现数据动态迁移。系统通过统计分析存储数据的信息记录，保证合适的数据在合适的时间存放在合适的存储池中。

5、数据迁移策略通过定义存储数据的使用价值来实现，依照使用价值量的高低，将数据进行排队，在队列高位的数据存放在块存储资源池，在队列地位的数据存放在对象存储资源池。

6、通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务，保障用户的存储透明性。

系统通过统计分析存储文件的信息记录，保证合适的数据在合适的时间存放在合适的存储池中。具体通过定义存储数据的使用价值来实现，依照使用价值量的高低，将所有的数据进行排队，在队列高位的数据存放在块存储资源池，在队列地位的数据存放在对象存储资源池。数据使用价值由如下因素评定：

1、数据访问时间。数据访问时间是判断数据价值的重要依据，最新创建或者使用的数据被访问的概率较大。采用t表示数据从开始创建至数据被访问时的访问时间，采用t_i表示数据从开始创建至数据被修改的时间的修改时间序列{t₁，t₂，…，t_n}；

2、数据的用户关注度。访问某一数据的用户数量越多，该数据的使用价值就越高。记使用过数据X的用户数量为C；

3、数据大小。小而且热的文件跟适合存储在性能高且容量小的块存储资源池中，记数据大小参数为

其中S_data表示本数据大小，S_total表示总数据存储量；

记数据使用价值的计算模型为：

V_{n} = (1 - d) \cdot C \cdot \frac{1}{S} \cdot Σ_{i = 0}^{n - 1} \frac{1}{t_{n} - t_{i}} + d \cdot V_{n - 1},

图2为本发明数据迁移的流程图，如图2所示，数据迁移过程包括：

1、当块存储资源池的存储量高于70%时，块存储资源池中使用价值低的数据迁移到对象存储资源池，直到块存储资源池的存储量低于50%或者对象存储资源池存储量高于90%；

2、当块存储资源池的存储量小于30%时，对象存储资源池使用价值高的数据从对象存储资源池到块存储资源池发生迁移，直到块存储资源池的存储量高于50%或者对象存储资源池的存储量为空；

3、如果数据在迁移过程中被访问，立即中断迁移，访问结束后重新计算数据的使用价值再决定是否迁移；

4、迁移过程保持数据完整性，先将数据复制完毕，再删除源数据。

图3为本发明基于统计预测的私有云存储资源调配系统一个实施例的部署示意图，如图3所示，本系统包括：

1、认证服务器：处理请求用户身份的认证，在云存储应用中，用户认证是重要的一环。

2、代理服务器：面向集团内部，所有的I/O访问请求都由代理服务器处理，作为用户与存储服务器集群的桥梁。屏蔽了存储资源池的异构性，为用户提供透明的存取服务。根据用户的规模大小情况可以扩展为服务器群。

3、监控服务器：按照数据属性与活动周期的规律，合理布局数据保存的位置。实时监控数据存储方式的变化，为数据自动迁移提供有效服务。

4、存储服务器集群：通过局域网与代理服务器相连，分为块存储服务器集群与对象存储服务器集群。一般情况下，块存储资源池由较高端的高速磁盘系统组成，存储那些需要经常快速访问的文件。对象存储资源池由中低端的但容量较大的磁盘系统组成。

图4为本发明基于统计预测的私有云存储资源调配系统一个实施例的服务系统框架图，如图4所示，包括：

1、私有云存储服务系统大致分为三层：资源层、应用层、接入及管理层。要实现上述的用户管理系统，则要在应用层中详细记录用户的各种请求和操作，并能在展现层中加以呈现。

2、资源层是最基础的物理底层的硬件存储设备。两类存储池分别使用不同级别的存储设备，块存储资源池使用高性能、高可靠存储设备群，对象存储资源池使用容量大、价格便宜的存储设备群。云存储平台将物理存储设备利用虚拟化整合的方式，统一管理成开放存储的有效资源池。物理存储设备可以分开在不同的机房地点，通过集群的方式部署，彼此通过局域网连接在一起。存储节点采用完全对称的架构，一方面保证数据存储容量的无限可扩展，另一方面保证了其性能（如QPS、吞吐量等）可线性提升，只需简单地新增机器，系统会自动完成数据迁移等工作，使得各个存储节点重新达到平衡状态。

3、分析层可以由存储服务提供商根据公开的API接口，为用户提供云存储服务和应用。通常包括向下服务的资源管理、存储策略管理；向上服务的应用管理、统计分析。

4、应用层使得用户可以自主管理存储服务。云存储服务提供商屏蔽底层存储资源细节，将相关接口封装成便于用户使用的API形式，用户可以通过封装好的存储接入API进行存储数据存取访问。相应的企业管理员通过管理员权限进入管理门户对其租户进行账户、内容管理和对整个系统的运营维护。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.基于统计预测的私有云存储资源调配方法，其特征在于，包括以下步骤：

步骤4、通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务。

2.如权利1所述的基于统计预测的私有云存储资源调配方法，其特征在于，所述步骤1中，所述块存储资源池使用高性能、高可靠存储设备群，对象存储资源池使用容量大的存储设备群；所述高性能、高可靠存储设备群指闪存或高性能磁盘阵列，所述容量大的存储设备群指中端磁盘阵列或磁带库。

3.如权利1所述的基于统计预测的私有云存储资源调配方法，其特征在于，所述步骤1中，根据数据的使用价值来判断数据是按块存储的方式来存储还是按照对象存储方式来存储。

4.如权利1所述的基于统计预测的私有云存储资源调配方法，其特征在于，所述步骤3包括以下步骤：

S1、定义存储数据的使用价值确定数据的迁移；

S2、依照数据的使用价值量，对数据进行排队形成列队；

5.如权利1所述的基于统计预测的私有云存储资源调配方法，其特征在于，所述步骤3包括以下步骤：

A4、如果数据在迁移过程中被访问，立即中断迁移，访问结束后重新计算数据的使用价值再决定是否迁移；

6.如权利3所述的基于统计预测的私有云存储资源调配方法，其特征在于，数据的所述使用价值由数据被访问时间、数据的用户关注度和数据大小来评定；

采用t_i表示数据从开始创建至数据被修改了n次的修改时间序列{t₁，t₂，...，t_n}；记使用过数据的用户数量为C；

记数据大小参数为S，所述S的计算公式如下：

S = \frac{S_{data}}{S_{total}},

式中，S_data表示本数据大小，S_total表示总数据存储量；

记数据使用价值的计算模型为：

V_{n} = (1 - d) \cdot C \cdot \frac{1}{S} \cdot Σ_{i = 0}^{n - 1} \frac{1}{t_{n} - t_{i}} + d \cdot V_{n - 1},

式中，1≥d≥0为权值参数，代表历史值对V实时值的影响权重，V值越大，表示数据的使用价值越高。