CN103095805A

CN103095805A - 一种对数据进行智能分层管理的云存储系统

Info

Publication number: CN103095805A
Application number: CN2012105582796A
Authority: CN
Inventors: 邹红才; 葛春; 罗乘风
Original assignee: Jiangsu Morning Cloud Information Technology Co Ltd
Current assignee: Shanghai Kunjingyun Co ltd
Priority date: 2012-12-20
Filing date: 2012-12-20
Publication date: 2013-05-08
Anticipated expiration: 2032-12-20
Also published as: CN103095805B

Abstract

本发明一种对数据进行智能分层管理的云存储系统，包括一个或一个以上控制节点和多个存储节点，一个控制节点控制两个以上存储节点，所述控制节点中至少有一个控制节点把其控制的存储节点分成两个以上存储层进行管理，一个存储节点可以只属于一个存储层，也可以属于多个存储层，不同的存储层具有不同的优先存储级别；对已存储的文件根据访问次数作为参数根据设定的规则计算出优先存储级别，当一个文件的优先存储级别与当前存储层不符时，则将该文件移动存储到与当前优先级相符的存储层。不同的存储层采用不同的存储介质，以此可以获取非常高的存储性价比；且此发明使用于云存储系统，可以充分和云存储系统相结合，加强了云存储系统的效能。

Description

一种对数据进行智能分层管理的云存储系统

技术领域

本发明涉及对数据进行智能管理，特别是对数据进行智能分层管理的云存储系统。

背景技术

分层存储概念本身已不新鲜，在冯-诺依曼提出计算机的模型“存储程序”时就已经包含了分层存储的概念。“存储程序”原理，是将根据特定问题编写的程序存放在计算机存储器中，然后按存储器中的存储程序的首地址执行程序的第一条指令，以后就按照该程序的规定顺序执行其他指令，直至程序结束执行。在这里的外存储器与内存储器，就是一个分层存储的最初模型。

分层存储是将数据存储在不同层级的介质中，并在不同的介质之间进行自动或者手动的数据迁移，复制等操作。而实际上，如果将相同成本及效率的存储介质放在不同层级之间进行数据迁移复制在实用性及成本上并不是有效的数据存储方式。因此，在不同的层级之间必须使用有差别的存储介质，以期在相同成本下，既满足性能的需要又满足容量的需要。这种存储介质上的差别主要是在存取速度上及容量上。存取速度快的介质通常都是存储单位成本高，而且容量相对来讲比较低。相应的，存取速度慢的介质通常是为了满足容量与成本方面的要求，即在相同的成本下可以得到更大的容量。所以，从这方面来说，分层存储其实是一种在高速小容量层级的介质层与低速大容量层级的介质层之间进行一种自动或者手动数据迁移、复制、管理等操作的一种存储技术及方案。

随着存储需求不断上升，将所有的数据保存在价格不菲的高性能光纤通道磁盘中显得有点不切实际。现有的分层存储是将关键数据保存在光纤通道磁盘中，而将价值略低的数据保存在速度较慢、价格较低的存储中，如SATA磁盘甚至是磁带，如建立几层存储。但是，将公司数据分别存储相应的存储层中，并非是那么容易和高率。首先，存储管理员必须将数据分类，以了解文件或文件种类的价值；其次，公司业务变化时，如何及时、准确的把数据迁移回来提供数据服务；再者，怎样保证数据的安全和整个存储架构的存储访问效率等。

发明内容

针对现有技术存在的技术问题，本发明解决的技术问题是，提供一种对数据进行智能分层管理的云存储系统，对数据进行智能分层管理，根据访问文件需求情况将文件存储在不同的存储层。

本发明的一种对数据进行智能分层管理的云存储系统，包括一个或一个以上控制节点和多个存储节点，一个控制节点控制两个以上存储节点，一个存储节点只能被一个控制节点控制，控制节点统一管理存储节点上的文件元数据、文件的分块、文件数据块的存放地，选择并维护这些文件与数据块的对应关系及文件数据块的存放和数据的迁移，其中，所述控制节点中至少有一个控制节点把其控制的存储节点分成两个以上存储层进行管理，一个存储节点可以只属于一个存储层，也可以属于多个存储层，不同的存储层具有不同的优先存储级别；初始存储的文件保存在其中一个存储层上；对已存储的文件根据访问次数作为参数根据设定的规则计算出优先存储级别，当一个文件的优先存储级别与当前存储层不符时，如果与其优先存储级别相符合的存储层有足够存储空间，则将该文件移动存储到此存储层。如相同时间内访问次数高的存储级别高，访问次数低的存储基本低。简单的操作也可以只按一个参数，一个参数的情况下访问次数是比较好的选择，用该参数设定的规则比较容易操作，优先存储级别直接与访问次数关联，但可以根据需求还增设其他参数，满足更高的要求，具体参数数目不限，但访问次数是不可缺少的参数。其中优先存储级别最高的存储层的硬盘可以为光纤通道磁盘，该存储层的存储速度最快；有更快存储速度的磁盘后也可以采用更快的磁盘。

作为上述智能分层管理的云存储系统进一步改进，所述的参数还包括时间。文件被访问次数和时间根据设定的规则计算出优先存储级别更科学，具体的规则可以自由设定，其中比较简单的就是在特定时间内访问的次数来确定优先存储级别，不在此时间段内的访问次数被忽略不计；也可以在特定时间内的访问次数一次计数为一次，不在此时间范围内的访问次数按一定规则转换成一定次数进行计数，如访问一次计数为0.5次，时间距离现在时间越远的计数次数越少等。

作为上述智能分层管理的云存储系统进一步改进，所述的规则为最近最少使用算法。

作为上述智能分层管理的云存储系统进一步改进，所述的两个以上存储层为三个存储层，每个存储层采用不同的硬盘，根据存储优先级别高低的顺序在这三层中按1∶30∶75的比例配置固态硬盘、SAS硬盘、SATA硬盘。实际应用中更趋向于各层之间的存储介质、存储速度、介质价格等都是不同，存储和访问速度快的介质放在优先级比较高的存储层。

作为上述智能分层管理的云存储系统进一步改进，所述的两个以上存储层为三个存储层，每个存储层采用不同的硬盘，根据优先存储级别高低的顺序在这三层中按1∶30∶75的比例配置固态硬盘、SAS硬盘、SATA硬盘。三个存储层的存储速度、存储容量、存储介质等可以是不同，也可以相同。实际应用中更趋向于各层之间的存储介质、存储速度、介质价格等都是不同，存储和访问速度快的介质放在优先级比较高的存储层。这三层的访问和存储速度依次递减，价格也是依次递减，这样能实现更好的性价比。

作为上述智能分层管理的云存储系统进一步改进，所述的存储层为四层以上，按优先存储级别进行分层，第一存储层的优先存储级别要求最高，第二存储层比第一存储层优先存储级别低，依次下面各存储层比其前面存储层优先存储级别低，比后面优先存储级别高，其中第一存储层和第二存储层采用多副本机制，第三存储层、第四存储层之后使用数据编码机制，保证一份原始数据和多份编码数据。对于数据编码机制：1、如果原始数据不可以用，则将进行数据解码，重新生成原始数据存储放于其它存储节点；2、如果是数据编码数据不可用，此时查看是否有其它的数据编码数据，如果有通过拷贝编码数据实现数据恢复；如果全部编码数据都不可用则时行重新编码生成。

作为上述智能分层管理的云存储系统进一步改进，所述初始存储的文件保存在一个固定存储层上。具有第二、第三存储优先级的存储层都是比较好的选择。实际中也可以根据需要选择第一层或其他存储层。

作为上述智能分层管理的云存储系统进一步改进，所述的一个固定存储层，如果该存储层在存储前发现没有足够空间供存储所述初始存储的文件，就运用LRU算法计算该存储层已存储文件的优先存储级别，若有文件的优先存储级别与此层上的优先存储级别不符，将其转移至与其优先存储级别相符合的存储层。一个文件被访问是系统可以自动根据其存储优先级来确定其存储层，但如果文件长时间处于闲置状态时，系统可以主动去处理这类文件把其转移到与其自身相符的存储层上，也可以当其所在存储层空间小到一定值后开始对该层文件进行处理。

作为上述智能分层管理的云存储系统进一步改进，所述的固定存储层为第二存储层，第二存储层的优先存储级别仅次于第一存储层。具有第二优先级别的存储层存储初始文件一般来讲是比较好的选择，这是建立在分层3或4层左右，如果分层太多，那么可以根据需要来调整初始数据存储在哪个优先级别的存储层上更好。

作为上述智能分层管理的云存储系统进一步改进，所述的存储层多少、大小及每个存储层的优先存储级别范围由系统自动设定或用户进行设定。存储层的多少和每个存储层的大小都是根据需要来设定的，其中存储介质状况是一个重要考虑因素，一般存储速度快的介质放在最高优先级的存储层上，根据存储速度来进行优先存储级别和存储层的设定是个比较好的选择，但这也不是固定的，也会因其他因素，如安全、出错几率、介质的耐用性等，其中介质的耐用性本身也是一个不错的分层参考标准，其也可以与存储速度一起做为分层的参考标准。

作为上述智能分层管理的云存储系统进一步改进，所述的优先存储级别的一定范围值与某一特定存储层是相对应的，其中具有最高优先存储级别的存储层存储文件的优先存储级别根据存储空间的存储情况变化，变化规律为如果此存储层的文件在一定时间内保持在一定数量以上的存储空间空闲，则此层的优先存储级别会降低；如果此存储层的存储空间已经剩余量小于一定值，且已存储的文件全部是符合此层存储优先级要求的文件，则此存储层的存储优先级别升高。

相较于现有技术，本发明的一种对数据进行智能分层管理的云存储系统，对数据进行只能分层存储，可以根据读取速度的快慢将存储空间分成不同的存储层，将读取速度快的存储空间上存放经常访问的文件，将一些不经常访问的文件存储在读取速度慢的空间，并且可以对其进行编码保存，来节省空间。本发明能增加存储、读取速度和降低存储空间的双重效果。

附图说明

图1是分层存储结构示意图

图2客户端上传文件示意图

图3客户端下载文件示意图

具体实施方式

下面结合附图对发明进行详细说明。

如图1所示，图中给出一个存储控制节点100和多个数据存储节点的云存储系统部分示意图，使用本智能数据分层技术，此云存储系统的数据存储节点通常混合使用多种数据存储介质，而同种类的数据存储介质组合成同一层的数据存储层是比较好的选择，当然也可以混合使用。如本发明现今推荐的是，在每个数据存储结点中按1∶30∶75的比例配置固态硬盘(SSD)、SAS硬盘、SATA硬盘，从图1中可以看出一存储层101为SSD硬盘、第二存储层102为SAS硬盘和第三存储层103为SATA硬盘。当然存储层可以更多，也可以采用其他种类的硬盘。各种相同的数据存储介质组成同一存储层，也可以看成是虚拟存储池，各个存储结点的数据存储介质是共享的，组合成一个整体，由中央存储控制节点统一管理，分配使用。存储控制节点100通过智能数据分层算法根据数据冷热度，如采用数据分层算法为最近最少使用(LRU)算法，把不同层的存储介质用于存储不同优先级的数据。算法采用时间和次数两个参数可以算出数据热度的很多，只是LUR算法是比较经典的。

存储控制节点100是云存储系统的元数据管理节点，统一管理文件元数据，负责文件的分块，文件数据块的存放地选择并维护这些文件与数据块的对应关系及文件数据块的存放和数据的迁移等工作。所以控制节点100就是本发明数据分层技术的控制点，它负责维护文件访问热度及访问情况，把并发访问数大的文件调入第一层进行存储，次之的调入第二层，以次类推。当第一层存储空间不够时，控制节点根据最近最少使用(LRU)置换算法把部分数据置换到下一层存储介质中以腾出存储空间容纳新的热数据。在第一层、第二层的数据本发明方案使用云存储中多副本机制，保证高的并发访问能力和负载均衡能力及数据安全性。在第三层和之后的层如第四层使用磁带库等就使用数据编码机制，保证一份原始数据和多份编码数据，保证数据的安全性而又能提供一般访问能力。提供云存储系统的高性、高安全和非常高的存储性价比。

在本发明中我们对存储系统的数据以文件的为最小粒度对其优先存储级别进行冷热两种状态分类。对于数据冷热分类的标准可以是这样的确定的：对于每个文件都具有访问时间和访问计数两个属性，文件的冷热就是根据此两个文件属性计算得到来的。在系统中有一个配置项：文件热度阀值h_threshold，如果一个文件的文件热度值h大于或等于(＞＝)h_threshold则认为此文件为热文件，否则为冷文件。文件热度值的计算为：h＝文件访问计数/(当前时间-访问时间)。如果文件为热文件则按照文件的热度的降序排序优先调入高存储级别层进行数据存储，以此达到数据按数据冷热度进行分层存储。

(LRU)算法举例：在本发明中为了简化系统的实现与额外的计算开销，把LRU算法做了一定的简化计算，因为已对数据文件进行了冷热度的计算，也就是说对于每个文件都具有一个文件热度属性h，在此本发明认为热度值h越小的文件最近越少使用。现假设第一层只能存放3G文件数据，再有4个文件fa，fb，fc，fd每个文件的大小都为1G，它们的文件热度值分别为：5，3，2，8且本次初始时fa，fb，fc文件都已在第一层存储中，现在fd文件在第二层，现发现fd文件热度为8需要放入第一层进行存储，而第一层已满了，需要把其它的一个文件置换出来，那我们看fa，fb，fc的文件热度可知文件fc的文件热度最小，可知fc是最近最少使用的文件所以把fc文件置换到第二层，之后再把fd存入第一层，完成置换。

如图2为客户端下载文件示意图，该图简要说明客户端要访问云存储中的数据流程，包括如下步骤：

S201：客户端下载文件数据请求；

客户端下载文件的请求发送到控制节点，控制节查找数据存放在何处，然后进行读取，及一些其他操作。

S202：判断数据在不在第一层中；

首先控制节点判断数据是否在第一存储层中，该层的优先存储级别级别最高，一般是单位时间内访问次数靠前的文件才能存放在此层，也可以单纯根据访问次数来决定优先存储级别，只是缺少时间这个判断参数其会带来一定缺陷。要读取的文件在此层中就跳转到S205读取该数据，读取文件的同时/之前/之后程序也执行S206步骤及其后面步骤；要读取的数据不在此层中则执行S203步骤。

S203：判断数据在不在第二层中；

要读取的文件在此层中就跳转到S205读取该数据，读取文件的同时/之前/之后程序也执行S206步骤及其后面步骤；要读取的数据不在此层中则执行S204步骤。

S204：判断数据在不在第三层中；

要读取的文件在此层中就跳转到S205读取该数据，读取文件的同时/之前/之后程序也执行S206步骤及其后面步骤；如果要读取的文件不在此层中，那么就是该文件在整个存储系统中就不存在，会有其他信息反馈给客户端，在此不做详细说明。

S205：读取数据文件；

将客户端要读取的数据文件传输给客户端，然后此过程结束。

S206：更新文件计数；

读取此文件一次，此文件的访问次数增加一次，在此过程中还可以根据设定的条件判断处理一下历史访问的次数是否应该全部计数，这个判断是以时间为参数来进行的。

S207：判断文件计数是否超过此层阀值；

文件计数的阀值也就是优先存储级别，无论是一定时间内的访问计数，还是全部的历史访问计数设定的优先存储级别计算方法，都有一个阀值。如果此文件的优先存储级别比当前存储层更高，则执行S208，否则此过程结束。

S208：把此数据文件调入更高一层。

优先存储级别的各层之间至少是以访问一次为限来进行分层，所以只能调入更高的一层，而不能进行跳级跳层，但实际应用中也可以根据设定条件而不这么做，因为参考的参数还有时间和其他。

如图3所示为客户端上传文件示意图，本图为分三个存储层的情况，其他层数可以参考推出实现方案。从图中体现本发明上传文件的一个主要流程，包括如下步骤：

S301：客户端上传文件数据请求；

云存储系统中，客户端需要上传数据到云端，系统分配给你存储区域进行存储，如在虚拟机上的显现出来的是用户在向自己的主机上存储文件。

S302：第二层存储介质是否还有空间存储该上传文件；

此步骤是个判断过程，如果第二层有存储空间就将文件直接存储到该存储层，即跳转到S304；如果第二存储层没有足够存储该文件的存储空间就跳转到S303。

S 303：按LRU算法把部分数据转移到第三存储层腾出存储空间；

第二存储层空间满了，用LRU算法算出已存储文件的优先存储级别，与当前存储层优先存储级别不符的，此时的不符一般都是比当前存储层的优先存储级别低的，就将其转移到第三存储层。当然还会有特殊情况，如果第二存储层文件都符合本层优先存储级别，该如何处理？可以直接把该文件存储到第一或第三存储层，也可以提高本层的优先存储级别，然后再看看是否所有文件都符合本层的优先优先存储级别，可以重复操作下去。

S304：把上传文件存入第二存储层。

存储在第二存储层是会因情况不同而不同，根据各个存储层大小和存储层数的多少等情况，可以做出不同的选择。甚至还可以根据文件的属性等因素做出选择。

以上所揭露的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种对数据进行智能分层管理的云存储系统，包括一个或一个以上控制节点和多个存储节点，一个控制节点控制两个以上存储节点，一个存储节点只能被一个控制节点控制，控制节点统一管理存储节点上的文件元数据、文件的分块、文件数据块的存放地，选择并维护这些文件与数据块的对应关系及文件数据块的存放和数据的迁移，其特征在于：所述控制节点中至少有一个控制节点把其控制的存储节点分成两个以上存储层进行管理，一个存储节点可以只属于一个存储层，也可以属于多个存储层，不同的存储层具有不同的优先存储级别；初始存储的文件保存在其中一个存储层上；对已存储的文件根据访问次数作为参数根据设定的规则计算出优先存储级别，当一个文件的优先存储级别与当前存储层不符时，如果与其优先存储级别相符合的存储层有足够存储空间，则将该文件移动存储到此存储层。

2.根据权利要求1所述的云存储系统，其特征在于：所述的参数还包括时间。

3.根据权利要求2所述的云存储系统，其特征在于：所述的规则为最近最少使用算法。

4.根据权利要求1所述的云存储系统，其特征在于：所述的两个以上存储层为三个存储层，每个存储层采用不同的硬盘，根据优先存储级别高低的顺序在这三层中按1∶30∶75的比例配置固态硬盘、SAS硬盘、SATA硬盘。

5.根据权利要求1所述的云存储系统，其特征在于：所述的存储层为四层以上，按优先存储级别进行分层，第一存储层的优先存储级别要求最高，第二存储层比第一存储层优先存储级别低，依次下面各存储层比其前面存储层优先存储级别低，比后面优先存储级别高，其中第一存储层和第二存储层采用多副本机制，第三存储层、第四存储层之后使用数据编码机制，保证一份原始数据和多份编码数据。

6.根据权利要求1、2、3、4或5所述的云存储系统，其特征在于：所述初始存储的文件保存在一个固定存储层上。

7.根据权利要求6所述的云存储系统，其特征在于：所述的一个固定存储层，如果该存储层在存储前发现没有足够空间供存储所述初始存储的文件，就运用LRU算法计算该存储层已存储文件的优先存储级别，若有文件的优先存储级别与此层上的优先存储级别不符，将其转移至与其优先存储级别相符合的存储层。

8.根据权利要求6所述的云存储系统，其特征在于：所述的固定存储层为第二存储层，第二存储层的优先存储级别仅次于第一存储层。

9.根据权利要求1所述的云存储系统，其特征在于：所述的存储层多少、大小及每个存储层的优先存储级别范围由系统自动设定或用户进行设定。

10.根据权利要求1所述的云存储系统，其特征在于：所述的优先存储级别的一定范围值与某一特定存储层是相对应的，其中具有最高优先存储级别的存储层存储文件的优先存储级别根据存储空间的存储情况变化，变化规律为如果此存储层的文件在一定时间内保持在一定数量以上的存储空间空闲，则此层的优先存储级别会降低；如果此存储层的存储空间已经剩余量小于一定值，且已存储的文件全部是符合此层存储优先级要求的文件，则此存储层的存储优先级别升高。