CN1208724C - 一种自适应数据存储优化分布方法 - Google Patents

Abstract

本发明公开了一种自适应数据存储优化分布方法，步骤为：①系统对输入输出数据进行分析，统计数据使用频率和分布特征。②判断该数据是否为第一次使用：若是，将该数据存放至实际性能平均的存储设备簇上；否则，若该数据的使用率高，将数据迁移至性能更好的存储设备簇，反之，向性能差的存储设备簇迁移；当某一存储设备簇的负载过重时，将部分数据放置到较为空闲的存储设备簇；当某一存储设备簇的负载较低时，重构存储设备簇中的数据。③重复步骤①、②。本发明根据当前系统中所有存储设备的容量和性能状况，结合I/O数据的使用频率和分布特征，按照合适的策略对数据进行分布，加快经常使用的数据的存取性能，提高系统的工作性能，达到系统自适应进化的目的。

Description

一种自适应数据存储优化分布方法

技术领域

本发明属于数据存储技术领域，具体涉及一种自适应数据存储优化分布方法，即一种在海量存储环境中管理存储资源的技术。

背景技术

用于网络环境下的企业级海量存储系统面临如下挑战：数字化信息爆炸性增长、数据的重要性和安全性日益增加、大数量的用户群和多媒体的应用对存取性能产生巨大压力、24×7的服务需求要求极高的可用性和可维护性。迎接这种挑战的主要技术是高性能磁盘阵列、附网存储(NAS，NetworkAttached Storage)、存储区域网(SAN，Storage Area Network)、iSCSI(internet SCSI)和存储管理软件等。

虽然上述技术发展日新月异，它还存在以下几个方面的问题：

第一、现有系统有一个普遍存在的矛盾，即元部件的飞速发展和整体结构相对固定的矛盾。以最新的磁盘阵列技术为例，它的构成元部件是磁盘，一旦某个磁盘出故障，它会在备份的新盘上重构丢失的数据。然而，无论新盘在速度上和容量上比其它旧盘高出多少倍，重构后的磁盘阵列总体性能不会有丝毫提高。目前结构的存储系统不会由于更新了部件而得到整体性能的提高。因而，随着技术的进步，这种性能停滞不前的系统很快就会过时，用户不得不购买新的系统来满足应用新的需求；

第二、系统结构的组织方式较为固定，不能适应应用的多样性和动态性。例如，磁盘阵列的级别(RAID level)一般设定好后就固定下来，难以适应各种不同性质的应用，如对事务处理设定了RAID5而具有较高的性能，但对流媒体的应用就不大合适。

上述问题存在的原因在于现有存储系统物理和逻辑的组织是一种静态的结构，而静态组织结构模型不能很好地刻画处于不断变化之中的系统。这种结构往往适合于特定的应用需要，而且缺少适应不断变化的存储要求的机制。

在此之前，已有一些相关技术被提出来解决对存储资源的优化和管理。

例如，惠普公司开发的AutoRAID技术，见HP whitepaper，《HP AutoRAID：High-Performance Storage for the High-Availability NT Environment》，http：//www.hp.com.cn/prodserv/server/pcserver/whitepaper/DOCS/au toraid.pdf，该技术是综合了不同RAID优点的多级RAID阵列技术，它将最近使用的数据放在按RAID 0/1方式存储的快速高性能的磁盘中，将不太常用的数据放在RAID5方式存储的经济高效的磁盘中。AutoRAID技术可以使系统的安装、配置和扩展变得容易，该技术不再需要将数据转移到阵列中的其他磁盘上，只需将新磁盘安装好，AutoRAID就可以自动地判断磁盘大小，并将它加入磁盘阵列中；系统马上就可以利用新磁盘的空间，并将更多的数据按RAID 0/1方式存储，以提高系统的性能和存取速度。此外，AutoRAID能够管理由不同容量磁盘组成的磁盘阵列。动态数据转移是HPAutoRAID的一大特点，它是系统内部的一套控制机构，能够连续监视磁盘阵列的性能，并决定是否将数据保持在缓存中、是否将数据按RAID1存储、是否将数据写入RAID5阵列。这些控制机构能够适应不同的数据情况，并保持系统的高性能。对于工作环境不断变化的场合，这一特点极为有用。

但是，该技术仅仅根据应用对数据使用频度的不同，必须在一定的RAID级别上对存储资源加以优化，因此效果还十分有限。

发明内容

本发明的目的在于提供一种用于进化存储系统的进化方法，该方法能够克服普遍存在的存储系统结构的组织方式较为固定的缺陷。

为实现上述发明目的，一种自适应数据存储优化分布方法，其步骤为：

(1)系统对输入输出数据进行分析，统计数据使用频率和分布特征；

(2)判断该数据是否为第一次使用：

(2.1)如果是，将该数据存放至实际性能平均的存储设备簇上；

(2.2.1)否则，若该数据的使用率高，将数据迁移至性能更好的存储设备簇，反之，向性能差的存储设备簇迁移；

(2.2.2)当某一存储设备簇的负载过重时，将部分数据放置到较为空闲的存储设备簇；当某一存储设备簇的负载较低时，重构存储设备簇中的数据；

(3)重复步骤(1)、(2)，直至任务结束。

使用本发明方法，进化存储系统能够根据当前系统中所有存储设备的容量和性能状况，结合I/O数据的使用频率和分布特征，按照合适的策略对数据进行分布，加快经常使用的数据的存取性能，从而提高了整个进化存储系统的工作性能，达到系统自适应进化的目的。

附图说明

图1为采用本发明方法的一种进化存储系统的结构示意图；

图2为进化存储系统的控制系统的结构示意图；

图3为一种用于进化存储系统的进化方法的流程图。

具体实施方式

如图1所示，进化存储系统中包括存储库2、处理器3、交换机5和桥6。处理器3可以是单个处理器，SMP(Symmetric Multiple Processors，对称多处理器)，MPP(Massively Parallel Processors，并行处理系统)，群集或者其它网络计算装置。处理器3可以被多个注册装置所支持，如在进化存储系统中注册的计算机节点1所支持，计算机节点1可以是单个处理器，SMP，MPP，群集或者其它网络计算装置。存储库2包括多个物理存储设备4，如果存储设备支持SCSI接口，则每个物理存储设备4与一个SCSI(Small Computer Systems Interface)到FC(Fibre Channel，光纤通道)的桥6连接。由于SCSI通道数据传输速率与联接的存储设备个数有限，存储设备也可以采用FC接口，如果物理存储设备采用FC接口，桥6可以为光纤通道交换机。如果存储库2中物理存储设备的个数超过单个SCSI通道或者过光纤通道所能支持的范围，可以将SCSI通道或者光纤通道采用如图1所示的两级级联方式联接，光纤通道交换机5，也可以根据需要采用多级方式联接以扩充存储库2。将存储库2的物理存储设备指定为逻辑设备单元(LDU)。每一个物理存储设备4的LDU标识由该物理存储设备所在的SCSI通道(或FC通道)标识和该设备在SCSI通道(或FC通道)上的位置号共同确定，并在存储库2中唯一，例如位置号(1，1)可以标识在第一个通道上的第一个物理存储设备，该存储设备的LDU标识可能为LDU_20。存储设备4的LDU标识与位置号的映射关系表由系统维护，并可以动态更新。图1中的LDU由处理器3控制，并对其统一编址。整个存储系统的存储资源由处理器3进行管理。

在存储库2中，所有存储设备处于三种状态：运行，待机和禁用。

运行池中的存储设备按照存储设备簇的方式存放。存储设备簇是系统中基本的逻辑存储单位，提供一个相对稳定和线性的存储空间，它是由一个或者多个同构的物理存储设备的集合。同一存储设备簇中的存储设备具有相近的存储容量和物理存储性能。不同存储设备簇可以有不同的存储参数，如数据块大小。存储设备簇中的存储设备在物理上不一定相邻。每个存储设备簇中存储设备的数量可以动态改变，最少可以是一个。在保证可靠的存储空间的基础上，存储设备簇中的存储设备可以被另一个性能相近的存储设备替换。当存储设备簇中的存储设备数量变化或发生存储设备替换时，系统自动重构数据。存储设备簇以数据块的形式提供数据存取。

在工作中，处理器3，通过采用SCSI协议的SCSI总线，或者通过采用光纤通道协议的光纤，与存储库2连通，并将从处理器3接受到的数据传送到存储库2处，再将数据从存储库2中传送出来送给处理器3。

处理器3对存储库2中的物理存储设备4的工作性能进行实时监控，根据结果决定存储设备在存储库中的运行状态。同时对存储库2的输入输出数据进行特征分析，以决定数据在物理存储设备上的位置分布。

如图2所示，在工作中，计算机节点1传入的数据经过存储服务模块10传送到存储库2中，并通过该模块接收从存储库2中返回的数据，输出到计算机节点1，对外界提供可靠的存储服务。同时模块10对I/O数据进行采样，将采样数据传给数据I/O及分布特征分析模块9，由该模块对I/O数据的使用频率及该数据在存储库中的物理位置分布特征进行统计分析，将分析结果传送给决策分析模块8。存储设备管理模块7负责对存储库2中的存储设备进行管理，维护存储设备4的LDU标识与位置号的映射关系表，并完成决策分析模块8发送过来的操作命令。模块7还对存储库2中的物理存储设备4的运行状态信息进行实时采样分析，并将性能分析结果传送给决策分析模块8。

决策分析模块8综合从模块9传送来的I/O数据的使用频率和分布特征结果，与从模块7传送来的存储设备工作性能结果，在进化规则库11中选择适合当前运行状况的进化规则，得到该规则中制定的控制信息，将控制命令发送到存储设备管理模块7，由存储设备管理模块7对存储库中的数据重新进行分布或对存储设备进行再生处理。如果进化规则库11中有多条适用的进化规则，则让这几条规则进行竞争，即发送每条规则的测试数据到存储库中，根据返回的性能测试结果选择最佳的规则来优化系统。以自动优化存储系统工作性能，实现系统自身的进化功能。

在工作过程中，模块9将系统I/O及分布特征分析结果实时传送到用户管理模块12，以便用户对系统的数据I/O特征进行监控。同样存储设备管理模块7将收集到的存储库2中的物理存储设备4的运行状态信息实时传送到用户管理模块12。用户可以根据收集到的所有系统信息对系统运行状况做出分析，可以根据需要直接发送系统控制命令到决策分析模块8，以便对系统进行性能优化。例如可以手工将某个使用率较高的应用的数据统一迁移到性能较高的物理存储设备上。

在工作过程中，由于系统会根据自身状况和外界的数据访问特征动态调整数据的分布策略，因此决策分析模块8会实时将存储库2中的数据分布信息传给存储服务模块10，以便存储服务模块能够对外界提供可靠的存储服务。

管理员在进化存储系统运行过程中，可以通过用户管理模块12对进化规则库11进行维护。根据存储系统的运行状态，如果发现需要添加新的进化规则，则可以通过用户管理模块12加入新的进化规则，添加到进化规则库11中。同样也可以修改或删除不适用的进化规则。

图2中各模块均设置在处理器中，但用户管理模块12也可以设置在计算机节点上。

图3描述的是本发明方法的实施例的流程图，该方法用于对存储系统中数据分布进行优化。在步骤602中，系统对存储设备簇的物理性能作排队，统计分析输入输出数据的使用频率和数据的分布特征。接下来在步骤604中，判断该输入输出数据是否为第一次使用。如是第一次使用，则转入步骤606；否则，转入步骤608。在步骤606中，将该输入数据存入实际性能平均的存储设备簇上。在步骤608中，根据该数据的使用频率进行不同操作。在系统空闲时，若该数据的使用率高则向性能更好的存储设备簇迁移；反之则向性能差的存储设备迁移。在步骤610中，当某一存储设备簇的负载过重时，将部分数据放置到较为空闲的存储设备簇上；当某一存储设备簇负载较低时，重构存储设备簇中的数据，对该数据进行重新分布。此方法主要在系统空闲时进行，数据迁移时必须保证数据的一致性。通过以上步骤，系统在不增加新的存储设备的基础上，加快经常使用的数据的存取性能，从而优化了整个系统的性能，达到系统进化的目的。

尽管已经详细描述了本发明公开的实施例，但应理解在不脱离其构思和范围的情况下，本发明的实施例还有各种变化，替代和修改。

Claims (1)

1、一种自适应数据存储优化分布方法，其步骤为：

(1)系统对输入输出数据进行分析，统计数据使用频率和分布特征；

(2)判断该数据是否为第一次使用：

(2.1)如果是，将该数据存放至实际性能平均的存储设备簇上；

(2.2.1)否则，若该数据的使用率高，将数据迁移至性能更好的存储设备簇，反之，向性能差的存储设备簇迁移；

(2.2.2)当某一存储设备簇的负载过重时，将部分数据放置到较为空闲的存储设备簇；当某一存储设备簇的负载较低时，重构存储设备簇中的数据；

(3)重复步骤(1)、(2)，直至任务结束。

Images