CN104850358A - 一种磁光电混合存储系统及其数据获取和存储方法 - Google Patents

Abstract

本发明公开了一种磁光电混合存储系统，该系统包括内存、固态盘存储区、磁盘存储区和光盘存储区。上述三个存储区区域在逻辑上构成统一的存储空间，维护一个全局文件地址映射表，使得用户或者外部程序能够以统一一致性的方式进行数据寻址和存取。当存储数据时，该系统存储管理区根据数据的存取行为，自动在上述三个存储区选择合适的物理存储位置和数据组织方式。当存取模式发生变化时，存储管理区动态地选择合适的物理存储位置和数据组织方式，并进行必要的数据迁移，整个过程对于外部用户是完全透明的。本发明解决了现有存储系统的一些问题，合理利用三种存储设备的存储特征，提高了数据的存储效率和资源利用率。

Description

一种磁光电混合存储系统及其数据获取和存储方法

技术领域

本发明属于混合存储技术领域，更具体地，涉及一种磁光电混合存储系统及其数据获取和存储方法。

背景技术

随着互联网以及相关应用的飞速发展，信息资源呈爆炸性增长，通过网络进行传输的信息量不断膨胀。信息技术的飞速发展，信息存储的需求量急剧增大，对存储系统的容量需求的大幅度增长。

传统的存储服务器一般以大量的磁盘或光盘库为基础，固态盘作为缓存，构建数据存储系统。对于需要大量备份，而不经常访问的数据，具有光盘亲和性，通常使用光盘存储，对于经常性读写的数据，具有磁盘亲和性，通常使用硬盘存储。用户的大量数据存储需求下，数据的类型千变万化，不仅有光盘亲和性的数据，也有磁盘亲和性的数据，单一的存储设备无法完全满足所有用户的需求，这将给数据管理带来挑战性，同时，存储资源不合理的分配将导致大量资源的浪费。

发明内容

为了满足用户的不同存储需求，合理高效的分配资源，有必要将固态盘、磁盘和光盘等存储设备综合，建立一个混合型的存储系统。本发明的目的在于提供一种磁光电混合存储系统，该系统结合了内存、固态盘、磁盘和光盘，能够高效响应用户的各种存储需求，合理分配存储资源。

为了实现上述目的，按照本发明的一个方面，提供了一种磁光电混合存储系统，包括内存、固态盘存储区、磁盘存储区和光盘存储区，其中：

所述内存由全局文件地址映射区和存储管理区组成，全局文件地址映射区存储全局文件地址映射表，用于文件数据存储信息的查询；存储管理区根据数据的存取行为和数据的类型，选择物理存储位置和数据组织方式，控制和管理数据的存储，并且在数据存储行为发生变化时，存储管理区动态地进行数据迁移；

所述固态盘存储区由若干固态盘组成，用于数据的缓存和文件数据存储信息的存储；固态盘存储区包括固态盘全局文件地址映射区、全局数据缓存区和固态盘数据存储区；其中固态盘全局文件地址映射区用于存储全局文件地址映射表的一个副本，全局数据缓存区用于缓存整个存储空间中访问最频繁的数据，固态盘数据存储区用于存储具有固态盘亲和的文件数据；

所述磁盘存储区由若干磁盘组成，用于磁盘亲和性数据的存储、光盘数据的暂存以及数据副本的存储；所述磁盘存储区包括磁盘数据存储区、光盘数据暂存区和数据副本存储区，其中所述磁盘数据存储区用于存储具有磁盘亲和性的数据；所述光盘数据暂存区用于暂存具有光盘亲和性的数据，当光盘数据暂存量达到一整张光盘的存储容量时，将这部分数据一次性写入光盘中；所述磁盘存储区中的数据副本存储区用于存储固态盘或磁盘中数据的副本；

所述光盘存储区由光盘库组成，用于存储光盘亲和性数据，同时存储数据的副本；光盘存储区包括光盘数据存储区和数据副本存储区，所述光盘数据存储区用于存储具有光盘亲和性的数据；所述光盘存储区中的数据副本存储区用于存储磁盘和光盘中数据的副本。

进一步地，所述三个存储区区域在逻辑上构成统一的存储空间，构建一个全局文件地址映射表，用于记录文件在该系统中的存储位置信息，能够实现逻辑文件到物理存储的映射，使得用户或者外部程序能够以统一一致性的方式进行数据寻址和存取。

进一步地，所述全局文件地址映射表，存储了逻辑文件名、文件大小、创建时间、物理存储位置、副本存储位置等信息，其中所述物理存储位置为磁盘号或固态盘号或光盘号及对应的偏移地址。

按照本发明的另一方面，还提供了一种基于上述磁光电混合存储系统的数据获取方法，包括如下步骤：

(1-1)访问全局文件地址映射表，获取欲访问文件的数据存储信息；

(1-2)访问固态盘存储区的数据缓存区，若缓存命中，则直接从缓存中获取数据并反馈给用户，否则进入步骤(1-3)；

(1-3)根据数据存储信息，获取数据存储的硬件设备和地址等信息，若文件数据存储在固态盘中，则转步骤(1-4)；若文件数据存储在磁盘中，则转步骤(1-5)；若文件数据存储在光盘中，则转步骤(1-6)；

(1-4)从固态盘存储区的数据存储区中获取数据，将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束；

(1-5)从磁盘存储区的数据存储区中获取数据，并将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束；

(1-6)从光盘存储区的数据存储区中获取数据，并将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束。

按照本发明的另一方面，还提供了一种基于上述磁光电混合存储系统的数据存储方法，包括如下步骤：

(2-1)存储管理区分析用户的请求，针对写入文件数据的特点和硬件亲和性确定存储该数据的硬件设备并分配存储空间；

(2-2)访问全局文件地址映射表，记录用户即将写入的文件的存储信息；

(2-3)若文件数据为固态盘亲和性的数据，则转步骤(2-4)；若文件数据为磁盘亲和性的数据，则转步骤(2-5)；若文件数据为光盘亲和性的数据，则转步骤(2-6)；

(2-4)将数据写入固态盘存储区的数据存储区中，数据存储过程结束；

(2-5)将数据写入磁盘存储区的数据存储区中，数据存储过程结束；

(2-6)将数据写入磁盘存储区的数据暂存区中，若文件数据暂存区存储的数据总量未达到一张光盘的总存储容量，那么数据存储过程结束，否则进入步骤(2-7)；

(2-7)将数据暂存区的数据写入光盘存储区的光盘中，数据存储过程结束。

与现有技术相比，本发明具有如下优点：

(1)本发明提供了一种基于固态盘、磁盘和光盘的混合存储系统，合理利用三种存储设备的存储特征，提高了数据存储的效率；

(2)本发明提供了文件热点和介质亲和性属性，按照文件的特性合理分配和调度资源，提高资源的利用率；

(3)本发明提供了一种数据副本备份的策略，保证了数据的可靠性。

附图说明

图1为本发明系统的硬件结构示意图；

图2为本发明系统的结构示意图；

图3为本发明系统的数据获取流程图。

图4为本发明系统的数据存储流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例中将会用到一些新的定义，其中的名词解释如下：

固态盘亲和性数据：表示适合存储在固态盘中的数据，如经常访问的热数据、经常发生更新的数据等。

磁盘亲和性数据：表示适合存储在磁盘中的数据，如较常访问的数据、较大的热数据等。

光盘亲和性数据：表示适合存储在光盘中的数据，如一些很少访问的冷数据、归档数据等。

实施例：如图1所示为磁光电混合存储系统的硬件结构图，如图2为系统结构示意图，该系统结构包括内存、固态盘存储区、磁盘存储区、光盘存储区。

内存由全局文件地址映射区和存储管理区组成，全局文件地址映射区存储全局文件地址映射表，用于文件存储地址等信息的查询；存储管理区根据数据的存取行为(主要是数据存取的热度)和数据的类型，选择合适的物理存储位置和数据组织方式，控制和管理数据的存储。

固态盘存储区由若干固态盘组成，用于数据的缓存和文件数据存储信息的存储。固态盘存储区包括固态盘全局文件地址映射区、全局数据缓存区和固态盘数据存储区。固态盘全局文件地址映射区存储全局文件地址映射表的一个副本，保证全局文件地址映射表的可靠性；固态盘数据缓存区利用固态盘读写速度快的性质，缓存访问频繁的数据，从而提高数据读写效率；固态盘数据存储区存储一些具有固态盘亲和的文件数据，如经常访问的热的文件数据。磁盘存储区由若干磁盘组成，用于磁盘亲和性数据的存储、光盘数据的暂存以及数据副本的存储。磁盘存储区包括磁盘数据存储区、光盘数据暂存区和数据副本存储区。磁盘数据存储区用于存储具有磁盘亲和性的数据，如大容量流式文件数据；由于光盘具有一次性写的特点，需要将要写入光盘的数据累积到一定量，再一次性写入光盘，光盘数据暂存区则用于暂存这种具有光盘亲和性的数据，如一些长期不使用的文件数据，当光盘数据暂存量达到一整张光盘的存储容量时，便将这部分数据一次性写入光盘中；磁盘存储区中的数据副本存储区用于存储固态盘或磁盘中数据的副本，以保证数据的可靠性。

光盘存储区由光盘库组成，用于存储光盘亲和性数据，同时存储数据的副本。光盘存储区包括光盘数据存储区和数据副本存储区。光盘数据存储区用于存储具有光盘亲和性的数据，如一些长期不使用的文件数据；光盘存储区中的数据副本存储区用于存储磁盘和光盘中数据的副本，以保证数据的可靠性。

上述三个存储区区域在逻辑上构成统一的存储空间，构建一个全局文件地址映射表，记录文件在该系统中的存储位置信息，能够实现逻辑文件到物理存储的映射，使得用户或者外部程序能够以统一一致性的方式进行数据寻址和存取。其中存储了逻辑文件名、文件大小、创建时间、物理存储位置(磁盘号、固态盘号或光盘号及对应的偏移地址)、副本存储位置等信息。

当存储数据时，该系统存储管理区根据数据的存取行为(主要是数据存取的热度)和数据的类型，自动在上述三个存储区选择合适的物理存储位置和数据组织方式。当数据存储行为发生变化时，存储管理区动态地选择合适的物理存储位置和数据组织方式，并进行必要的数据迁移，整个过程对于外部用户是完全透明的。

下面说明本发明系统的工作过程：

(1)数据获取过程如下：

(1-1)首先，访问全局文件地址映射表，获取欲访问文件的数据存储信息；

(1-2)访问固态盘存储区的数据缓存区，若缓存命中，则直接从缓存中获取数据并反馈给用户，否则进入步骤(1-3)；

(1-3)根据数据存储信息，获取数据存储的硬件设备和地址等信息，若文件数据存储在固态盘中，则转步骤(1-4)；若文件数据存储在磁盘中，则转步骤(1-5)；若文件数据存储在光盘中，则转步骤(1-6)；

(1-4)从固态盘存储区的数据存储区中获取数据，将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束；

(1-5)从磁盘存储区的数据存储区中获取数据，并将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束；

(1-6)从光盘存储区的数据存储区中获取数据，并将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束。

(2)数据存储过程如下：

(2-1)首先，存储管理区分析用户的请求，针对写入文件数据的特点和硬件亲和性确定存储该数据的硬件设备并分配存储空间；

(2-2)访问全局文件地址映射表，记录用户即将写入的文件的存储信息；

(2-3)若文件数据为固态盘亲和性的数据，则转步骤(2-4)；若文件数据为磁盘亲和性的数据，则转步骤(2-5)；若文件数据为光盘亲和性的数据，则转步骤(2-6)；

(2-4)将数据写入固态盘存储区的数据存储区中，数据存储过程结束；

(2-5)将数据写入磁盘存储区的数据存储区中，数据存储过程结束；

(2-6)将数据写入磁盘存储区的数据暂存区中，若文件数据暂存区存储的数据总量未达到一张光盘的总存储容量，那么数据存储过程结束，否则进入步骤(2-7)；

(2-7)将数据暂存区的数据写入光盘存储区的光盘中，数据存储过程结束。

当该存储系统空闲时，系统自动将内存中的全局文件地址映射表备份到固态盘存储区中的全局文件地址映射区中，保证数据存储信息的可靠性。于此同时，固态盘存储区中存储的数据备份到磁盘存储区中的数据副本存储区中，磁盘存储区中存储的数据备份到光盘存储区中的数据副本存储区中，保证了系统存储数据的可靠性。于此同时，存储管理区实时监控文件数据的存取状况，对于文件数据亲和性变化的数据进行数据迁移，使得数据实时存储在合适的存储介质中。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种磁光电混合存储系统，其特征在于，所述系统包括内存、固态盘存储区、磁盘存储区和光盘存储区，其中：

所述内存由全局文件地址映射区和存储管理区组成，全局文件地址映射区存储全局文件地址映射表，用于文件数据存储信息的查询；存储管理区根据数据的存取行为和数据的类型，选择物理存储位置和数据组织方式，控制和管理数据的存储，并且在数据存储行为发生变化时，存储管理区动态地进行数据迁移；

所述固态盘存储区由若干固态盘组成，用于数据的缓存、文件数据存储信息的存储以及固态盘亲和性数据的存储；固态盘存储区包括全局文件地址映射区、全局数据缓存区和固态盘数据存储区；其中固态盘全局文件地址映射区用于存储全局文件地址映射表的一个副本，全局数据缓存区用于缓存整个存储空间中访问最频繁的数据，固态盘数据存储区用于存储具有固态盘亲和的文件数据；

所述磁盘存储区由若干磁盘组成，用于磁盘亲和性数据的存储、光盘数据的暂存以及数据副本的存储；所述磁盘存储区包括磁盘数据存储区、光盘数据暂存区和数据副本存储区，其中所述磁盘数据存储区用于存储具有磁盘亲和性的数据；所述光盘数据暂存区用于暂存具有光盘亲和性的数据，当光盘数据暂存量达到一整张光盘的存储容量时，将这部分数据一次性写入光盘中；所述磁盘存储区中的数据副本存储区用于存储固态盘或磁盘中数据的副本；

光盘存储区由光盘库组成，用于存储光盘亲和性数据，同时存储数据的副本；光盘存储区包括光盘数据存储区和数据副本存储区，所述光盘数据存储区用于存储具有光盘亲和性的数据；所述光盘存储区中的数据副本存储区用于存储磁盘和光盘中数据的副本。

2.根据权利要求1所述的磁光电混合存储系统，其特征在于，所述三个存储区区域在逻辑上构成统一的存储空间，构建一个全局文件地址映射表，用于记录文件在该系统中的存储位置信息，能够实现逻辑文件到物理存储的映射，使得用户或者外部程序能够以统一一致性的方式进行数据寻址和存取。

3.根据权利要求2所述的磁光电混合存储系统，其特征在于，所述全局文件地址映射表，存储了逻辑文件名、文件大小、创建时间、物理存储位置、副本存储位置等信息，其中所述物理存储位置为磁盘号或固态盘号或光盘号及对应的偏移地址。

4.根据权利要求1至3所述的磁光电混合存储系统，其特征在于，所述固态盘亲和性数据，表示适合存储在固态盘中的数据，包括经常访问的热数据或经常发生更新的数据；所述磁盘亲和性数据，表示适合存储在磁盘中的数据，包括较常访问的数据或较大的数据；所述光盘亲和性数据，表示适合存储在光盘中的数据，包括很少访问的冷数据或归档数据等。

5.一种基于权利要求1-4任一项磁光电混合存储系统的数据获取方法，其特征在于，所述方法包括如下步骤：

(1-1)访问全局文件地址映射表，获取欲访问文件的数据存储信息；

(1-2)访问固态盘存储区的数据缓存区，若缓存命中，则直接从缓存中获取数据并反馈给用户，否则进入步骤(1-3)；

(1-3)根据数据存储信息，获取数据存储的硬件设备和地址等信息，若文件数据存储在固态盘中，则转步骤(1-4)；若文件数据存储在磁盘中，则转步骤(1-5)；若文件数据存储在光盘中，则转步骤(1-6)；

(1-4)从固态盘存储区的数据存储区中获取数据，将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束；

(1-5)从磁盘存储区的数据存储区中获取数据，并将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束；

(1-6)从光盘存储区的数据存储区中获取数据，并将数据缓存到固态盘存储区的数据缓存区中，并将数据反馈给用户，数据获取过程结束。

6.一种基于权利要求1-4任一项磁光电混合存储系统的数据存储方法，其特征在于，所述方法包括如下步骤：

(2-1)存储管理区分析用户的请求，针对写入文件数据的特点和硬件亲和性确定存储该数据的硬件设备并分配存储空间；

(2-2)访问全局文件地址映射表，记录用户即将写入的文件的存储信息；

(2-3)若文件数据为固态盘亲和性的数据，则转步骤(2-4)；若文件数据为磁盘亲和性的数据，则转步骤(2-5)；若文件数据为光盘亲和性的数据，则转步骤(2-6)；

(2-4)将数据写入固态盘存储区的数据存储区中，数据存储过程结束；

(2-5)将数据写入磁盘存储区的数据存储区中，数据存储过程结束；

(2-6)将数据写入磁盘存储区的数据暂存区中，若文件数据暂存区存储的数据总量未达到一张光盘的总存储容量，那么数据存储过程结束，否则进入步骤(2-7)；

(2-7)将数据暂存区的数据写入光盘存储区的光盘中，数据存储过程结束。