CN103106047A - 一种基于对象的存储系统及其存储方法 - Google Patents

Abstract

本发明公开了一种基于对象的存储系统及其存储方法，涉及信息存储领域。本发明公开的存储系统，包括多个存储池、分级策略模块以及对象迁移模块，其中：存储池，存储不同热度级别的对象数据；分级策略模块，对各存储池中的对象数据进行热度分析，并根据事先设置的分级策略筛选出需要迁移的对象数据，将需要迁移的对象数据的信息发送给对象迁移模块；对象迁移模块，根据分级策略模块发送的对象数据的信息，将该对象数据迁移到对应的存储池中。本发明还公开了一种基于对象的存储方法。本申请技术方案减少了迁移的数据量，同时由于对象较小，大大简化了迁移过程中对数据的处理，加速了迁移过程，尤其适用于大文件应用环境。

Description

一种基于对象的存储系统及其存储方法

技术领域

本发明涉及信息存储领域，具体涉及一种基于对象的存储系统及其存储方法。

背景技术

对象存储系统是以对象为访问接口的网络存储系统，对象存储文件系统提供一套类似于文件操作的访问接口，并将文件操作转化为对象访问，使得用户的多种应用程序不需要进行任何修改就可以运行在对象存储系统上。采用对象接口可以使对象存储系统在跨平台数据共享、安全性、性能以及智能性方面具有优势。由于对象存储系统具有上述多种优势，许多大学、研究机构和公司都进行了针对对象存储技术的研究，取得了诸多成果。首个开源的基于对象的集群文件系统lustre已经在高性能计算领域广泛应用，其他一些对象存储系统例如CEPH、ActiveScale Storage Cluster等都已经成为研究和应用的热点技术。

集群存储系统，尤其是云存储系统需，要大量的磁盘来构建。不同磁盘在读写速率、可靠性、容量、价格方面存在着很大的差异，许多云存储系统选择通过分级存储管理系统来兼顾整个系统性能和成本，使构建的大容量存储系统具有较高的性价比。

现有的分级存储系统通常以文件为单位进行数据的迁移，在大文件(大于1GB)应用环境下，过多的文件迁移一方面会增加整个存储系统的运行压力，另一方面，较大的文件在迁移过程耗费的时间较长，会使得迁移过程变得复杂化。

发明内容

本发明所要解决的技术问题是，提供一种基于对象的存储系统及其存储方法，以提高数据迁移操作的效率和可靠性。

为了解决上述技术问题，本发明公开了一种基于对象的存储系统，至少包括多个存储池、分级策略模块以及对象迁移模块，其中：

所述存储池，存储不同热度级别的对象数据；

所述分级策略模块，对各存储池中的对象数据进行热度分析，并根据事先设置的分级策略筛选出需要迁移的对象数据，将需要迁移的对象数据的信息发送给所述对象迁移模块；

所述对象迁移模块，根据所述分级策略模块发送的对象数据的信息，将该对象数据迁移到对应的存储池中。

较佳地，上述系统中，所述事先设置的分级策略包括如下一种或几种条件：

达到或超过设定的访问频度、最近访问时间在设定时间范围内。

较佳地，上述系统还包括：

对象管理模块，对所述存储池进行管理，记录对象数据的存储位置，并获取用户进程所要访问的文件对应的对象数据的存储位置，以向用户进程反馈所要访问的对象数据的信息。

较佳地，上述系统中，所述对象迁移模块，根据所述分级策略模块发送的对象数据的信息，将该对象数据从初始存储池复制到对应的存储池，并在复制操作结束后通知所述对象管理模块该对象数据的存储位置已经改变，以及在所述对象管理模块更新操作结束后删除所述初始存储池中迁移的对象数据；

所述对象管理模块，收到所述对象迁移模块的通知后，更新该对象数据的存储位置，在该更新操作结束后反馈给所述对像迁移模块。

较佳地，上述系统中，所述对象管理模块，获取用户进程所要访问的文件对应的对象数据的存储位置时，若判断该对象数据正在迁移过程中，则待该迁移操作完成后再获取该对象数据的更新后的存储位置。

本发明还公开了一种基于对象的存储方法，包括：

在多个存储池中分别存储不同热度级别的对象数据；

对各存储池中的对象数据进行热度分析，先根据事先设置的分级策略筛选出需要迁移的对象数据，再根据筛选出的需要迁移的对象数据的信息，将该对象数据迁移到对应的存储池中。

较佳地，上述方法中，事先设置的分级策略包括如下一种或几种条件：

达到或超过设定的访问频度、最近访问时间在设定时间范围内。

较佳地，上述方法还包括：

对所述多个存储池进行管理，记录对象数据在各存储池中的存储位置；

当用户进程访问文件时，查询该用户进程所访问的文件对应的对象数据的存储位置，向用户进程反馈所要访问的对象数据的信息。

较佳地，上述方法中，对所述多个存储池进行管理，记录对象数据在各存储池中的存储位置的过程如下：

根据筛选出的需要迁移的对象数据的信息，将该对象数据从初始存储池迁移到对应的存储池，在迁移操作结束后更新该对象数据的存储位置，在该更新操作结束后，删除初始存储池中迁移的对象数据。

较佳地，上述方法还包括：

获取用户进程所要访问的文件对应的对象数据的存储位置时，若判断该对象数据正在迁移过程中，则待该迁移操作完成后再获取该对象数据的更新后的存储位置。

本申请技术方案提供的基于对象的存储系统及存储方法，将数据以对象为单位进行存放，对象可以保证数据的完整性，这样，在数据迁移过程中，迁移的对象不再是文件而是文件中的热点对象。从而减少了迁移的数据量，同时由于对象较小，大大简化了迁移过程中对数据的处理，加速了迁移过程，尤其适用于大文件应用环境。

附图说明

图1为本实施例提供的基于对象的分级存储方法的整体架构图；

图2为图1所示的其核心模块-对象管理模块的数据访问和操作流程示意图；

图3为本实施例提供的对象迁移模块的数据操作流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

实施例1

本实施例提供一种基于对象的存储系统，其不同于传统的以文件为单位的分级存储系统，而是以对象为基本单位进行数据的分级存储，并根据热度文件的不同分别存放在不同的存储池中，尤其适用于大文件应用环境。具体地，本实施例提供的存储系统，至少包括多个存储池、分级策略模块和对象迁移模块。

其中，存储池，存储不同热度级别的对象数据；

对象迁移模块，主要负责将分级策略模块指定的对象数据在不同性能的存储池间进行迁移；

分级策略模块，主要对各存储池中的对象数据进行热度分析，并从中根据事先设置的分级策略筛选出需要迁移的对象数据(即筛选出要升级和/或降级的对象数据)，之后将需要迁移的对象数据的信息交给对象迁移模块进行处理。

而上述事先设置的分级策略包括如下一种或几种条件：

达到或超过设定的访问频度、最近访问时间在设定时间范围内。

也就是满足了上述一种或几种条件即可确定此对象数据的热度已经发生改变，需要迁移到其他存储池中。

优选地，上述系统还包括有对象管理模块，此时，整个存储系统的架构如图1所示。此对象管理模块，主要负载存储池的管理，记录有数据对象的存放位置，查找用户进程所要访问的文件对应的对象数据的存储位置和向用户进行反馈所要访问的对象数据的信息以实现用户访问。

如图1所示，假设文件以对象的形式存放在存储池A和存储池B中，用户进程访问文件时，对象管理模块获取与用户进程所要访问的文件相关的对象所处的位置，之后访问要操作的对象。此过程中，分级策略模块在后台运行，当它检测到某个对象符合迁移要求时，就会将该对象标记，统计完成后将所有需要迁移的对象整理并交给对象迁移模块进行对象的迁移；对象迁移模块则将对象由存储池A复制到存储池B即可。需要说明的是，对象迁移模块将对象由存储池A复制到存储池B后，还会通知对象管理模块此对象数据的存储位置已经改变，因此对象管理模块更新此对象数据的存放位置。而对象迁移模块在对象管理模块更新操作结合后，将仍在存储池A中的对象删除，这样整个迁移过程完成，用户进程再次访问时，对象管理模块就会将对象数据的位置指向存储池B。

具体地，上述系统中对象管理模块进行数据读操作的过程如图2所示。当一个用户发起读操作时，会首先访问对象管理模块获取文件相关信息并检查数据是否已缓存，如果缓存则直接读取数据，否则需要通过对象管理模块获取数据所在的对象以及对象所存放的存储池，如果此时对象正在迁移过程中则需要等待迁移完成才能确定对象所在存储池位置(由于迁移时间很短，基本不会影响用户操作)，之后用户到该存储池中读取对象数据即可。而对象管理模块的写操作流程与读操作相似，只是需要将缓存数据置为dirty即可。

下面再结合图3详细说明对象迁移模块的操作流程，分级策略模块完成对象分拣后会启动对象迁移模块，并将需要迁移的对象数据的列表交给对象迁移模块。对象迁移模块启动后会首先检查需要迁移的对象是否在缓存中并检查是否为dirty，如果为dirty则取消对该对象的迁移动作，否则将缓存的对象flush到存储对象上，之后通知对象管理模块标记要迁移的对象为迁移状态。迁移完成后通知对象管理模块更新对象数据的存储位置，并清除对象数据的迁移状态，之后对象迁移模块会将旧的对象数据删除(即从初始存储池中删除迁移的对象数据)，全部对象完成迁移后，退出迁移进程。

实施例2

本实施例介绍一种基于对象的存储方法，该方法可依赖于实施例1提供的存储系统来实现。具体地，该方法包括如下操作：

在多个存储池中分别存储不同热度级别的对象数据；

对各存储池中的对象数据进行热度分析，先根据事先设置的分级策略筛选出需要迁移的对象数据，再根据筛选出的需要迁移的对象数据的信息，将该对象数据迁移到对应的存储池中。

其中，事先设置的分级策略包括如下一种或几种条件：

达到或超过设定的访问频度、最近访问时间在设定时间范围内。

当然，上述方法还包括有管理操作，即对多个存储池进行管理，记录对象数据在各存储池中的存储位置。这样，当用户进程访问文件时，查询该用户进程所访问的文件对应的对象数据的存储位置，向用户进程反馈所要访问的对象数据的信息即可。

具体地，对多个存储池进行管理，记录对象数据在各存储池中的存储位置指：根据筛选出的需要迁移的对象数据的信息，将该对象数据从初始存储池迁移到对应的存储池，在迁移操作结束后更新该对象数据的存储位置，在该更新操作结束后，删除初始存储池中迁移的对象数据即可。

需要说明的是，一些优选方案中提出，上述方法还包括如下操作：

获取用户进程所要访问的文件对应的对象数据的存储位置时，若判断该对象数据正在迁移过程中，则待该迁移操作完成后再获取该对象数据的更新后的存储位置。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

从上述实施例可以看出，本申请技术方案基于对象进行数据迁移，即在分级策略中不再以文件为数据热度的统计单位，而以对象为单位统计，从而完全在系统内进行。由于本申请技术方案采用的数据的迁移在更小的单位量级上进行，这就使得在大文件应用环境下可以有效的加速数据在不同存储池间的迁移，降低数据迁移对存储系统造成的压力。另外，本申请技术方案通过内部机制屏蔽掉存储池对于应用的差异，使用户感觉不到不同存储介质的存在。由于本申请技术方案采用了上述技术手段，因此更适用于大文件应用环境。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于对象的存储系统，其特征在于，该系统至少包括多个存储池、分级策略模块以及对象迁移模块，其中：

所述存储池，存储不同热度级别的对象数据；

所述分级策略模块，对各存储池中的对象数据进行热度分析，并根据事先设置的分级策略筛选出需要迁移的对象数据，将需要迁移的对象数据的信息发送给所述对象迁移模块；

所述对象迁移模块，根据所述分级策略模块发送的对象数据的信息，将该对象数据迁移到对应的存储池中。

2.如权利要求1所述的系统，其特征在于，所述事先设置的分级策略包括如下一种或几种条件：

达到或超过设定的访问频度、最近访问时间在设定时间范围内。

3.如权利要求1或2所述的系统，其特征在于，该系统还包括：

对象管理模块，对所述存储池进行管理，记录对象数据的存储位置，并获取用户进程所要访问的文件对应的对象数据的存储位置，以向用户进程反馈所要访问的对象数据的信息。

4.如权利要求3所述的系统，其特征在于，

所述对象迁移模块，根据所述分级策略模块发送的对象数据的信息，将该对象数据从初始存储池复制到对应的存储池，并在复制操作结束后通知所述对象管理模块该对象数据的存储位置已经改变，以及在所述对象管理模块更新操作结束后删除所述初始存储池中迁移的对象数据；

所述对象管理模块，收到所述对象迁移模块的通知后，更新该对象数据的存储位置，在该更新操作结束后反馈给所述对像迁移模块。

5.如权利要求3所述的系统，其特征在于，

所述对象管理模块，获取用户进程所要访问的文件对应的对象数据的存储位置时，若判断该对象数据正在迁移过程中，则待该迁移操作完成后再获取该对象数据的更新后的存储位置。

6.一种基于对象的存储方法，其特征在于，该方法包括：

在多个存储池中分别存储不同热度级别的对象数据；

对各存储池中的对象数据进行热度分析，先根据事先设置的分级策略筛选出需要迁移的对象数据，再根据筛选出的需要迁移的对象数据的信息，将该对象数据迁移到对应的存储池中。

7.如权利要求6所述的方法，其特征在于，事先设置的分级策略包括如下一种或几种条件：

达到或超过设定的访问频度、最近访问时间在设定时间范围内。

8.如权利要求6或7所述的方法，其特征在于，该方法还包括：

对所述多个存储池进行管理，记录对象数据在各存储池中的存储位置；

当用户进程访问文件时，查询该用户进程所访问的文件对应的对象数据的存储位置，向用户进程反馈所要访问的对象数据的信息。

9.如权利要求8所述的方法，其特征在于，对所述多个存储池进行管理，记录对象数据在各存储池中的存储位置的过程如下：

根据筛选出的需要迁移的对象数据的信息，将该对象数据从初始存储池迁移到对应的存储池，在迁移操作结束后更新该对象数据的存储位置，在该更新操作结束后，删除初始存储池中迁移的对象数据。

10.如权利要求8所述的方法，其特征在于，该方法还包括：

获取用户进程所要访问的文件对应的对象数据的存储位置时，若判断该对象数据正在迁移过程中，则待该迁移操作完成后再获取该对象数据的更新后的存储位置。

Images