CN108829341B - 一种基于混合存储系统的数据管理方法 - Google Patents

Abstract

本发明涉及一种基于混合存储系统的数据管理方法，其特征在于，包括以下步骤：利用FUSE，在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统；利用PLFS所提供的multi‑backend功能，在一个用户态文件系统中挂载两个后端并行文件系统；由数据标记模块对用户的POSIX数据请求进行打标签；由文件系统选择模块根据数据标记模块对数据所打的标签进行操作。本发明：1)达到了显著的节能效果；2)保证了存储系统的可靠性；3)没有损坏数据的一致性。

Description

一种基于混合存储系统的数据管理方法

技术领域

本发明涉及一种对数据中心内的数据进行管理的方法，尤其涉及一种基于混合存储系统的数据中心的数据的管理方法。

背景技术

随着国内信息化建设的深入和移动互联网的发展，个人和企业所产生的数据量也越来越大，这也催生了许多公有或私有的云存储中心，例如企业网内部的私有云，落户贵州的苹果公司iCould数据中心等。但是越来越多的迹象表明，数据中心的能量消耗中超过27％是被存储设备所使用的。随着数据中心存储容量的急剧上升，存储设备所消耗的能量也在不断的增加。为了减少存储设备的能耗，达到经济和环境的双重优势，优化数据管理系统是非常必要的。

传统的文件存储系统，主要是依靠调整机械磁盘(Hard Disk Drive)的转速或挂起不在使用的机械磁盘，以达到节能的目的。但是经常性的启停机械磁盘或改变其转速，会严重影响它的寿命，对于数据的可靠性也十分不利。

随着固态硬盘(Solid State Drive)的出现，存储系统也开始将固态硬盘纳入其中。由于固态硬盘具有较高的随机读写性能以及低功耗的特点，这也为存储系统的发展提出了新的设计理念。文件存储系统开始依据存储介质进行层次化的划分，将热点数据存储在固态硬盘上，将不常使用的数据(即冷数据)存放在机械磁盘上，不仅能够达到对热点数据快速读写的要求，也能够达到一定程度的节能效果，这就是所谓的混合存储系统。不过不同的存储介质的引入，对文件系统的管理提出了更高的要求，也带来了对于数据分布均衡以及数据一致性的挑战。

而传统的混合存储系统，对于磁盘的寿命的影响比较显著，频繁地启停机械磁盘会导致磁盘状态不稳定，减少磁盘寿命，严重的情况会导致数据丢失。

发明内容

本发明的目的：实现并行与分布式存储系统的高性能低功耗的基础上，满足数据一致性要求。

为了达到上述目的，本发明提供了一种基于混合存储系统的数据管理方法。该方法主要有以下特点：

(1)设计了数据标记模块。该模块支持POSIX标准，对I/O数据请求进行标签标注。考虑到大多数情况下存储系统以数据读取为主，该数据标签模块根据应用的I/O访问模式，标记读数据的冷热特性；对于新写入的数据，该标记模块自动将其标记为热数据，当热数据存放不下时，再依据LRU机制将最近最少使用的热数据标记为冷数据；

(2)设计了文件系统选择模块。该模块基于数据标记模块为各数据标准的标签信息，为其选择合适的底层文件系统。该模块为热数据选择由SSD固态盘组成的高速低功耗并行文件系统，为冷数据选择由传统HDD磁盘组成的大容量低成本并行文件系统，旨在平衡存储系统I/O性能和功耗。另外，考虑到固态盘和磁盘的寿命差别，该设计同时考虑了存储系统的可靠性问题；

(3)设计对用户和底层系统透明的中间层实现方案，利用用户态文件系统FUSE，将本发明所涉存储系统挂载于已有成熟并行文件系统之上，在用户态管理POSIX数据请求。该方案在不修改应用程度代码和文件系统内核代码的前提下实现了数据的管理，具有较强的兼容性和可一致性；

(4)设计同时挂载两个文件系统的方案，实现独立管理冷热数据的目的。基于中间层PLFS对于多个后端文件系统挂载点的支持能力，将本发明所涉混合存储系统挂载于两个后端并行文件系统，其中一个用于存放热数据(定义为热数据后端系统)；另外一个用于存放不常使用的冷数据(定义为冷数据后端系统)。冷热数据后端系统分别由独立并行文件系统管理，以确保两者间的相互独立性；

本发明所涉混合存储系统方案可通过API接口支持如Lustre、PVFS和Ceph等现有常见并行文件系统。优选地，冷、热数据后端存储系统均挂在PVFS并行文件系统，其中热数据后端存储系统管理SSD固态硬盘，冷数据后端存储系统管理传统HDD机械磁盘。

优选地，所述数据标记模块优先根据用户对冷热数据的定义进行标签标注，若无无相关信息，则对于数据的冷热标记根据以下两种方案之一进行：

方案一：所有新写入的数据被默认为冷数据，由所述文件系统选择模块将数据存放在所述冷数据后端存储系统中，同时记录应用程序对于数据的访问频率，触发预设的阈值是，数据标记模块将当前数据标记为热数据，并由所述文件系统选择模块将当前数据迁移至所述热数据后端存储系统。数据迁移过程可描述为：从冷数据后端存储系统读数据，写入热数据后端存储系统，由于两个存储系统分别由两个PVFS并行文件系统独立管理，迁移过程可简化为数据的复制过程；

方案二：所有新写入的数据被默认为热数据，由所述文件系统选择模块将数据存放在所述热数据后端系统中，同时记录数据的访问频率，所述数据标记模块根据LRU最近最少使用机制，将访问频率最低的数据标记为冷数据，由所述文件系统选择模块将冷数据转移到所述冷数据后端存储系统中。

优选地，还包括以下两种数据转移方案：

方案一：所有数据存储在所述冷数据后端存储系统中，热数据后端存储系统作为缓存使用：当数据从冷变热时，仅热数据被复制到所述热数据后端存储系统中；当数据从热变冷时，相应热数据直接从所述热数据后端存储系统中删除即可；

方案二：所有数据在系统中只存在一份，若数据由冷变热时，则将此数据移动到所述热数据后端存储系统中，所述冷数据后端存储系统中不在保留原版本；若数据由热变冷时，则将此数据移动到所述冷数据后端存储系统中，并删除在所述热数据后端存储系统中的版本。

本发明：1)达到了显著的节能效果。通过对底层分布式文件系统所在节点的操作，例如待机或临时关机，可以显著地降低数据中心的能耗。平均一台存储节点的功率在400W左右，通过待机或者临时关机的方式，可以将此节点的功率降低到50W(待机)或0W(关机)。

2)保证了存储系统的可靠性。通过挂载不同的底层分布式文件系统，由于每个分布式系统相互独立，不会因为数据的迁移或某部分数据的损坏而影响整个存储系统的可靠性。

3)确保了数据的一致性。本发明只会对数据进行分类、数据整理及数据重分布，这些功能以中间件的形式实现，用户可以选择不使用该功能。数据存放落盘到存储介质的过程，都交给所挂载的底层分布式文件系统进行处理。所以此发明并不会损坏数据的一致性。

附图说明

图1为本发明的流程图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

如图1所示，本发明提供的一种基于混合存储系统的数据管理方法包括以下技术方案：

利用FUSE(Filesystem in Userspace)，在系统中挂载一个用户态文件系统，用于管理用户的POSIX I/O请求。传统环境下，用户或应用程序调用标准POSIX接口之后，操作系统会切换到内核态，并执行相关的系统调用对这些请求进行处理，而FUSE可以将该请求从内核态再度调度到用户态中进行处理。使用FUSE的优势在于其支持新设计的文件系统在不修改操作系统内核代码的基础上，仅通过用户态即可参与传统文件系统的相关操作，简化了新型文件系统的设计复杂度。同时增加了开发者的自主性，减少了对于内核的改动，对于维护系统稳定性非常有好处。

本发明所设计的混合存储系统利用PLFS(Parallel Log-structured FileSystem)对多存储后端的支持功能，在一个用户态文件系统中挂载多个后端并行文件系统，实现了用户态的混合存储系统。本发明主要利用此功能，挂载两个后端并行文件系统，其中一个后端存储系统用于存放热数据(hot data)，定义为热数据后端系统，另外一个后端存储系统用于存放不常使用的冷数据(cold data)，定义为冷数据后端系统。两个后端系统之间相互独立，且由成熟的并行文件系统管理，本发明仅对数据进行分类、重新组织和再分布操作，并为相应数据选定后端存储系统，文件的实际管理操作由底层文件系统完成，本发明不直接参与其中。

本发明采用PVFS(Parallel Virtual File System)作为后端并行文件系统。PVFS被设计用于大规模的集群计算，专注于高性能地访问大型数据集，提供类似于RAID-0的数据管理。本发明中所使用的两个后端存储系统(即为热数据后端文件并行系统及冷数据后端并行文件系统，以下还是简称为热数据后端系统及冷数据后端系统)均采用PVFS，冷热两个后端存储系统的主要区别在于，热数据后端系统采用固态硬盘，而冷数据后端系统采用传统的机械磁盘。两个系统之间相互不干扰，系统之间仅通过局域网络进行通信。

本发明在用户层文件系统中提供了一个数据标记模块。此模块用于对数据请求打标签。例如，写数据请求进入到系统时，会根据写数据请求中的数据的特征或者用户的配置信息，确定其冷热数据属性，然后通过为该数据打上相应的冷热标签，并以此决定将其存放在热数据后端系统中还是冷数据后端系统中；当读数据请求抵达系统时，系统将根据其标签从对应的数据后端系统读取数据，并交付给此读数据请求。

本发明的数据重分布功能在PLFS的基础上改进而来，该功能根据调用请求的应用进程ID(PID)将数据块顺序进行重新进行排布，确保属于冷热数据部分能够分发至对应的底层文件系统上，有利于数据的读写和管理效率。

本发明设计了一个后端文件系统选择模块。该模块根据数据标记模块对数据添加的冷热标签，选择对应的后端并行文件系统。

本发明设计了两种数据冷热存储的方案。方案一：所有新写入的数据被默认为冷数据，由所述文件系统选择模块将数据存放在所述冷数据后端存储系统中，同时记录应用程序对于数据的访问频率，触发预设的阈值是，数据标记模块将当前数据标记为热数据，并由所述文件系统选择模块将当前数据迁移至所述热数据后端存储系统。数据迁移过程可描述为：从冷数据后端存储系统读数据，写入热数据后端存储系统，由于两个存储系统分别由两个PVFS并行文件系统独立管理，迁移过程可简化为数据的复制过程；

方案二：所有新写入的数据被默认为热数据，由所述文件系统选择模块将数据存放在所述热数据后端系统中，同时记录数据的访问频率，所述数据标记模块根据LRU最近最少使用机制，将访问频率最低的数据标记为冷数据，由所述文件系统选择模块将冷数据转移到所述冷数据后端存储系统中。

注意，在上述两种方案中，用户对冷热数据的定义具有最高的优先级，即对于I/O请求的判断，首先根据用户的定义进行判断冷热，若无相关定义信息，则由上述两种方案处理。

本发明提供了两种数据转移的方案。

方案一：所有数据都有一份存储在冷数据后端系统中，热数据只是一种备份数据，也就是说，当数据从冷变热，会复制一份数据到热数据后端系统中；当数据从热变冷，则可以直接从热数据后端系统中删除此数据。

方案二：所有数据在系统中只存在一份，若数据由冷变热，则复制此数据到热数据后端系统中，并在冷数据后端系统中删除它；若数据由热变冷，则复制此数据到冷数据后端系统中，并在热数据后端系统中删除它。

以下对本发明提供的方法进一步举例说明：

一)打开文件

1.用户调用open接口打开一个文件；

2.通过FUSE将此调用转发至本发明重载的用户层文件系统；

3.查询此文件是否在map＜filename，fd＞中，若存在，增加使用次数，跳转至操作10；

4.通过冷热数据标记模块，判断其应该存放在热数据后端系统中，还是冷数据后端系统中；

5.通过文件系统选择模块，选择对应的后端系统；

6.通过PVFS提供的API，查询文件是否存在；

7.通过PVFS提供的API，查询文件权限；

8.获得文件描述符fd；

9.文件描述符保存在本发明的用户层文件系统的内存区域，使用map＜filename，fd＞保存文件名和文件描述符的映射，并增加使用次数；

10.返回文件描述符fd。

二)写数据

1.用户调用write接口向一个文件描述符所对应文件中写数据；

2.通过FUSE将此调用转发至本发明重载的用户层文件系统；

3.记录此文件的写频率；

4.通过PVFS提供的API向后端系统中写数据；

5.写操作完成，返回写入字节数。

三)读数据

1.用户调用read接口从一个文件描述符所对应文件中读数据；

2.通过FUSE将此调用转发至本发明重载的用户层文件系统；

3.记录此文件的读频率；

4.通过PVFS提供的API从后端系统中读数据；

5.读操作完成，返回读取的数据。

四)关闭文件

1.用户调用read接口从一个文件描述符所对应文件中读数据；

2.通过FUSE将此调用转发至本发明重载的用户层文件系统；

3.查询此文件是否在map＜filename，fd＞中，若存在，跳转至操作4，若不存在则跳转至操作7；

4.减去此fd使用次数；

5.或使用次数为零，跳转至操作6，若不为零则跳转至操作7；

6.通过PVFS提供的API，关闭此fd所指向的文件；

7.返回。

五)后台操作(文件管理模块，主要是冷热数据迁移)

1.根据文件的访问频率，判断文件此时处于冷热的哪种状态；

2.若数据由冷变热，调用本发明的copy命令，将数据从冷数据后端系统中拷贝到热数据后端系统中，在根据配置信息，选择是否删除冷数据后端系统中的数据；

3.若数据由热变冷，调用本发明的copy命令，将数据从热数据后端系统中拷贝到冷数据后端系统中，并删除热数据后端系统中的数据；

4.因为冷热数据存储有两种方案，选择冷热数据会有不同：

5.当是方案一时(初始数据都放在冷数据后端系统中)，尽量选择更多的数据转移到热数据后端系统中，提高命中率，但又要保证热数据后端系统的容量充足，防止因为容量达到阈值而产生再次把刚迁移到热数据后端系统中的数据再迁移回冷数据后端系统中的情况发生；

当是方案二时(初始数据都放在热数据后端系统中)，尽量选择少的数据转移到冷数据后端系统中，提高命中率，但又要保证热数据后端系统的容量充足，防止因为容量达到阈值而再次选择最冷的热数据迁移到冷数据后端系统中的情况。

六)节能管理

1.当冷数据访问的频率不断减少，大部分用户访问命中热数据后端系统，选择将冷数据节点进行待机处理，达到节能的目的；

2.当访问请求命中热数据，则将冷数据节点从待机状态启动，并相应请求。

Claims (2)

1.一种基于混合存储系统的数据管理方法，其特征在于，仅对数据进行分类、重新组织和再分布操作，其中，数据重分布功能在PLFS的基础上改进而来，根据调用请求的应用进程ID将数据块顺序进行重新进行排布，确保属于冷热数据部分能够分发至对应的底层文件系统上，包括以下步骤：

第一步、利用FUSE，在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统；

第二步、利用PLFS所提供的multi-backend功能，在一个用户态文件系统中挂载两个后端并行文件系统，其中一个后端系统用于存放热数据，定义为热数据后端系统，另外一个后端系统用于存放不常使用的冷数据，定义为冷数据后端系统；热数据后端系统与冷数据后端系统之间是相互独立的；

设计对用户和底层系统透明的中间层实现方案，利用用户态文件系统FUSE将存储系统挂载于已有成熟并行文件系统之上，在用户态管理POSIX数据请求；

第三步、由数据标记模块对用户的POSIX数据请求进行打标签，若写数据请求进入到系统中，根据数据的特征或者用户的配置信息，对此写数据请求中的数据打标签，决定其是热数据还是冷数据；若读数据请求进入系统中，根据用户的配置信息或者系统中记录，将此读数据请求中的数据标记为热数据或者冷数据；

第四步、由文件系统选择模块根据数据标记模块对数据所打的标签，决定将数据存放在热数据后端系统中还是冷数据后端系统中；

或者，文件系统选择模块根据数据标记模块对数据所打的标签，去对应的热数据后端系统或冷数据后端系统中取数据，并交付给读数据请求；

热数据后端系统与冷数据后端系统均为PVFS，且热数据后端系统管理的节点的存储介质为固态硬盘，而所述冷数据后端系统管理的节点的存储介质为机械磁盘；

在第三步中，所述数据标记模块首先根据用户配置信息进行打标签，若无相关配置信息，则对于写数据请求，所述数据标记模块及所述文件系统选择模块根据以下两种方案之一存储数据：

方案一：所有进入系统的数据都被所述数据标记模块默认为冷数据，由所述文件系统选择模块将数据存放在所述冷数据后端系统中，在用户或应用的读请求进入系统后，记录数据的访问频率，若达到某一个阈值，则所述数据标记模块将当前数据标记为热数据，并由所述文件系统选择模块将当前数据转移到所述热数据后端系统；

方案二：所有进入系统的数据都被所述数据标记模块默认为热数据，由所述文件系统选择模块将数据存放在所述热数据后端系统中，在用户或应用的读请求进入系统后，记录数据的访问频率，若所述热数据后端系统容量达到一定的阈值，则所述数据标记模块将访问频率最低的数据标记为冷数据，由所述文件系统选择模块将冷数据转移到所述冷数据后端系统中。

2.如权利要求1所述的一种基于混合存储系统的数据管理方法，其特征在于，还包括以下两种数据转移方案：

方案一：所有数据都有一份存储在所述冷数据后端系统中，热数据只是一种备份数据，当数据从冷数据变为热数据，会复制一份数据到所述热数据后端系统中；当数据从热数据变为冷数据，直接从所述热数据后端系统中删除此数据；

方案二：所有数据在系统中只存在一份，若数据由冷数据变为热数据，则复制此数据到所述热数据后端系统中，并在所述冷数据后端系统中删除它；若数据由热数据变为冷数据，则复制此数据到所述冷数据后端系统中，并在所述热数据后端系统中删除它。

Images