CN103761059B - 一种用于海量数据管理的多盘位存储方法及系统 - Google Patents
一种用于海量数据管理的多盘位存储方法及系统 Download PDFInfo
- Publication number
- CN103761059B CN103761059B CN201410035889.7A CN201410035889A CN103761059B CN 103761059 B CN103761059 B CN 103761059B CN 201410035889 A CN201410035889 A CN 201410035889A CN 103761059 B CN103761059 B CN 103761059B
- Authority
- CN
- China
- Prior art keywords
- disk
- data
- memory node
- data memory
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013523 data management Methods 0.000 title claims abstract description 18
- 238000013500 data storage Methods 0.000 claims abstract description 26
- 238000007726 management method Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000006062 fragmentation reaction Methods 0.000 claims description 61
- 238000013467 fragmentation Methods 0.000 claims description 55
- 238000013508 migration Methods 0.000 claims description 24
- 230000005012 migration Effects 0.000 claims description 24
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 230000001617 migratory effect Effects 0.000 claims description 7
- 238000005303 weighing Methods 0.000 claims 1
- 239000012634 fragment Substances 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明涉及一种用于海量数据管理的多盘位存储方法及系统，所述方法包括：建立四层树型的数据存储结构,即一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；在每个数据存储节点上设置一个多盘位管理器，用于维护当前数据存储节点的磁盘信息，并在多盘位管理器的管理下，在磁盘中进行数据分片的增加或删除；通过多盘位管理器，对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。本发明既能充分利用多盘的并行读写的特点，又能够最小化数据盘出现故障时对其他盘的数据的影响，同时还能够不增加数据的冗余度，大大提高了系统效率。
Description
技术领域
本发明涉及海量数据存储管理研究领域，特别是涉及一种用于海量数据管理的多盘位存储方法及系统。
背景技术
随着Web2.0、移动互联网、微博等社交网络应用的高速发展，全世界每年产生的数据都呈指数形式增长。为了维护、管理这些海量数据，学术界、工业界设计开发了形形色色的海量数据管理系统，影响力比较大的有：BigTable、HBase、Hypertable、Cassandra、MongoDB等。这些数据管理系统都没有对存储节点多磁盘的情况提供特定的处理策略和优化方案：BigTable、HBase、Hypertable将数据存储在分布式文件系统GFS、Hadoop上，而Cassandra、MongoDB没有提供特定的多磁盘处理策略。若要充分利用多盘，则只能在操作系统级别配置相应的多磁盘管理技术。常用的多磁盘管理技术有：RAID技术和LVM条带化技术。
RAID技术的全称为“独立冗余磁盘阵列”，也简称：“磁盘阵列”，它利用多个硬盘的组合提供高效率及冗余的功能。常用的RAID级别有：RAID0、RAID1、RAID3、RAID5、RAID10、RAID30、RAID50和JOBD等。RAID 0、RAID5连续地分割数据并并行地读/写于多个磁盘上，具有很高的数据传输率，但RAID0在提高性能的同时，并没有提供数据可靠性,如果一个磁盘失效，将影响整个数据。以HBase为例：HBase的数据存储最小粒度单位为Region，一般大小设置在64MB，所有的Region的数据都拆分成多个更小的存储单元并行存储在多个磁盘，若一个盘发生故障，相当与整个节点的数据发生故障，故不可取；RAID1是将一个两块硬盘所构成RAID磁盘阵列，其容量仅等于一块硬盘的容量，因为另一块只是当作数据“镜像”，而现有的海量数据管理系统在逻辑层一般已经配置了多个备份(例如：一般将备份参数设置为3)，若采用RAID1技术，则实际上每份数据在集群中有6个备份，大大降低了硬盘的使用效率，也不可取；RAID3是把数据分成多个“块”，按照一定的容错算法，存放在N+1个硬盘上，实际数据占用的有效空间为N个硬盘的空间总和，而第N+1个硬盘上存储的数据是校验容错信息，RAID3，安全性是可以得到保障的，但是RAID3在读写速度方面相对较慢，尤其是当某个盘发生故障时，系统需要很长时间地进行数据恢复，从而影响该节点的数据读写，这与海量数据存储系统要求高吞吐率的设计理念不相符合。其他的RAID级别均与RAID0、RAID1、RAID3和RAID5技术类似。因此，RAID技术并不能够在效率、磁盘空间利用率以及数据的冗余度方面达到一个很好地平衡。
LVM striping技术的原理如图1所示：它也将一块连续的数据分成很多小部分并把它们分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突，而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的I/O并行能力，从而获得非常好的性能。但是它也存在与RAID0相同的问题。
因此，本发明提出了一种用于海量数据管理的多盘位存储方法及系统，以解决上述问题。
发明内容
本发明所要解决的技术问题是提出一种用于海量数据管理的多盘位存储方法及系统，用于解决海量数据管理中对数据存储节点多磁盘处理策略存在不足的技术问题。
本发明解决上述技术问题的技术方案如下：一种用于海量数据管理的多盘位存储方法，包括：
步骤1，建立四层树型的数据存储结构，从上到下依次是：一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；各个数据节点分别存储相同的数据分片；
步骤2，在每个数据存储节点上设置一个多盘位管理器，用于维护当前数据存储节点的磁盘信息，并在多盘位管理器的管理下，在磁盘中进行数据分片的增加或删除；
步骤3，通过多盘位管理器，对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，数据存储节点内部的磁盘分为系统安装盘和表数据盘，所述系统安装盘用于存储海量数据存储中产生的系统文件、数据和日志信息，所述表数据盘用于存储表数据，且所述多盘位管理器管理所述表数据盘。
进一步，一个多盘位管理器维护多个磁盘管理器，且每个磁盘管理器管理一个表数据盘，用于间接实现多盘位管理器管理表数据盘，且磁盘管理器对表数据盘的管理包括：维护当前表数据盘对应的目录信息、目录前缀信息；收集当前表数据盘已经使用的百分比、总的表数据盘空间、已经使用的表数据盘空间、非Root用户仍然使用的表数据盘空间和当前表数据盘所存储的数据分片总数。
进一步，数据存储节点的磁盘信息包括：磁盘的状态信息、磁盘的使用情况、磁盘的剩余空间情况和每个磁盘所存储的数据分片信息。
进一步，所述在多盘位管理器的管理下，在磁盘中进行数据分片的增加具体包括：
步骤21，启动多盘位管理器，统计每个磁盘的使用情况，若有磁盘对应的使用百分比超过预设的上限值，则将该磁盘对应的磁盘状态标志位设置为false；
步骤22，在所有的磁盘状态标志位为true的磁盘中，找到存储的数据分片数量最小的磁盘所对应的目录，并返回该目录，将该目录作为新增加的数据分片的存储目录，按该存储目录存储数据分片。
进一步，若给出了新增加的数据分片的大小，则在步骤22中，在满足以下要求的磁盘中找到存储的数据分片数量最小的磁盘：磁盘当前使用量和新增加数据分片的大小之和小于预设值，且磁盘状态标志位为true。
进一步，所述在多盘位管理器的管理下，在磁盘中进行数据分片的删除具体包括：数据存储节点首先删除待删除数据分片的元数据信息，然后通过多盘位管理器得到待删除数据分片的数据文件的实际存储目录，删除该存储目录。
进一步，通过多盘位管理器对数据存储节点内部各磁盘间的负载进行负载均衡分析，具体包括:保证每个磁盘剩余空间大于10GB，当所有的磁盘的剩余可用空间均大于10GB时，通过比较每个磁盘的使用的百分比来进行负载均衡的迁移方向判定，按确定的迁移方向在各磁盘间进行负载迁移。
进一步，所述进行负载均衡的迁移方向判定具体包括：
步骤3A1，计算每个磁盘的剩余可用空间和使用百分比；
步骤3A2，根据每个磁盘的剩余可用空间和使用百分比来计算迁移的优先级，使用百分比越高，迁移的优先级越高；
步骤3A3，将优先级最高的磁盘上的数据分片信息向优先级最低的磁盘迁移，将低于最高优先级一个级别的磁盘上的数据分片信息向高于最低优先级一个级别的有磁盘迁移，依次类推，并保证各磁盘的已使用空间低于设定的阀值。
进一步，对各数据存储节点之间的负载进行负载均衡分析，具体包括：确定迁移的目标数据存储节点后，需要先向该数据存储节点发送请求以及将要迁移的数据分片上的数据大小，目标数据存储节点返回对应目录信息后，再将数据发送到目标数据存储节点，若目标数据存储节点没有返回目录信息，说明目标数据存储节点的磁盘空间不足，则不能往该目标数据存储节点进行数据迁移。
对应地，本发明的技术方案还包括一种用于海量数据管理的多盘位存储系统，包括四层树型的数据存储结构，从上到下依次是：一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；各个数据节点分别存储相同的数据分片；在每个数据存储节点上设置有一个多盘位管理器，所述多盘位管理器用于维护当前数据存储节点的磁盘信息和管理在磁盘中进行数据分片增加或删除，还用于对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。
进一步，数据存储节点内部的磁盘分为系统安装盘和表数据盘，所述系统安装盘用于存储海量数据存储中产生的系统文件、数据和日志信息，所述表数据盘用于存储表数据，且所述多盘位管理器用于管理所述表数据盘。
进一步，一个多盘位管理器上维护有多个磁盘管理器，且每个磁盘管理器管理一个表数据盘。
本发明的有益效果是：本发明提出了一种用于海量数据管理的多盘位存储技术，该技术既能充分利用多盘的并行读写的特点，又能够最小化数据盘出现故障时对其他盘的数据的影响，本发明在Hypertable系统中进行了实现，实验证明能够大大提高系统的效率，且具备良好的适应性和可扩展性。
附图说明
图1为现有技术中采用LVM striping的技术原理图；
图2为本发明所述多盘位存储方法的流程示意图；
图3为本发明实施例中四层树型的数据存储结构的示例图；
图4为本发明实施例中数据存储节点的多盘位管理体系结构的示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图2所示，实施例一给出了一种用于海量数据管理的多盘位存储方法，包括：
步骤1，建立四层树型的数据存储结构，从上到下依次是：一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；
步骤2，在每个数据存储节点上设置一个多盘位管理器，用于维护当前数据存储节点的磁盘信息，并在多盘位管理器的管理下，在磁盘中进行数据分片的增加或删除；
步骤3，通过多盘位管理器，对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。
其中，所述步骤2中数据存储节点的磁盘信息包括：磁盘的状态信息、磁盘的使用情况、磁盘的剩余空间情况和每个磁盘所存储的数据分片信息。
对应的用于海量数据管理的多盘位存储系统即包括四层树型的数据存储结构，从上到下依次是：一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；在每个数据存储节点上设置有一个多盘位管理器，所述多盘位管理器用于维护当前数据存储节点的磁盘信息和管理在磁盘中进行数据分片增加或删除，还用于对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。
如图3所示，即示意了四层树型的数据存储结构，包括一个Master节点、三个数据存储节点(数据存储节点1、数据存储节点2和数据存储节点3)、每个数据存储节点下各有三个磁盘(磁盘1、磁盘2和磁盘3)、磁盘下对应存储四个数据分片(B1、B2、B3和B4)。采用这种4层树型的数据存储与分布策略，Master节点对全局的数据进行调度，决定数据的副本存储在哪些数据存储节点，数据存储节点的多盘位管理器决定本数据存储节点的数据分片存储在哪个磁盘。
如图4所示，给出了采用多盘位管理器的数据存储节点的架构图。数据存储节点的磁盘被分成2类：第1类叫做系统安装盘，用于存储海量数据存储的系统文件和数据，同时用于存储系统的日志信息；第2类叫做表数据盘，用于存储表数据。每个数据存储节点维护一个多盘位管理器，该多盘位管理器维护管理了多个磁盘管理器，每个磁盘管理一个磁盘：主要负责维护当前磁盘对应的目录信息和目录前缀信息；同时负责收集当前磁盘已经使用的百分比、总的磁盘空间、已经使用的磁盘空间、非Root用户仍然使用的磁盘空间和当前磁盘所存储的数据分片总数。图中所述其他数据为日志之类的信息，且其与数据分片、表数据盘和系统安装盘均连接一个文件系统，用于将相应数据传入文件系统中进行保护。
采用多盘位管理器，主要完成以下几项功能：在磁盘中进行数据分片的增加或删除、删除指定表、各数据存储节点之间的负载均衡、以及数据存储节点内部各磁盘间的负载均衡。
一、在磁盘中进行数据分片的增加
具体包括以下两个步骤：步骤21，启动多盘位管理器，统计每个磁盘的使用情况，若有磁盘对应的使用百分比超过预设的上限值，则将该磁盘对应的磁盘状态标志位设置为false。
步骤22，在所有的磁盘状态标志位为true的磁盘中，找到存储的数据分片数量最小的磁盘所对应的目录，并返回该目录，将该目录作为新增加的数据分片的存储目录，按该存储目录存储数据分片。需注意的是，若给出了新增加的数据分片的大小，则在在满足以下要求的磁盘中找到存储的数据分片数量最小的磁盘：磁盘当前使用量和新增加数据分片的大小之和小于预设值，且磁盘状态标志位为true。
二、在磁盘中进行数据分片的删除
数据存储节点首先删除待删除数据分片的元数据信息，然后通过多盘位管理器得到待删除数据分片的数据文件的实际存储目录，删除该存储目录。
三、各数据存储节点之间的负载均衡
确定迁移的目标数据存储节点后，需要先向该数据存储节点发送请求以及将要迁移的数据分片上的数据大小，目标数据存储节点返回对应目录信息后，再将数据发送到目标数据存储节点，若目标数据存储节点没有返回目录信息，说明目标数据存储节点的磁盘空间不足，则不能往该目标数据存储节点进行数据迁移。
四、数据存储节点内部各磁盘间的负载均衡
需保证每个磁盘剩余空间大于10GB，当所有的磁盘的剩余可用空间均大于10GB时，通过比较每个磁盘的使用的百分比来进行负载均衡的迁移方向判定，按确定的迁移方向在各磁盘间进行负载迁移。
所述进行负载均衡的迁移方向判定具体包括：
步骤3A1，计算每个磁盘的剩余可用空间和使用百分比；
步骤3A2，根据每个磁盘的剩余可用空间和使用百分比来计算迁移的优先级，使用百分比越高，迁移的优先级越高；
步骤3A3，将优先级最高的磁盘上的数据分片信息向优先级最低的磁盘迁移，将低于最高优先级一个级别的磁盘上的数据分片信息向高于最低优先级一个级别的有磁盘迁移，依次类推，并保证各磁盘的已使用空间低于设定的阀值。
对于步骤3A3，例如系统中有6个盘，磁盘利用率如下表所示：
| 磁盘ID | 使用百分比 |
| 1 | 95％ |
| 2 | 85％ |
| 3 | 75％ |
| 4 | 40％ |
| 5 | 30％ |
| 6 | 20％ |
当为如上的情况时，将1号磁盘的数据往6号磁盘迁移，2号盘往5号盘迁移，3号盘的数据网4号盘迁移。
具体的迁移流程为：
1)从磁盘ID为1的磁盘中所对应的磁盘管理器获取其维护的数据分片队列ranges_stored，从中获取一个数据分片rg。
2)计算rg总的占用的磁盘空间disk_used。
3)计算若磁盘6已占有的磁盘空间加上disk_used是否会超过阀值，若超过，则不进行磁盘迁移。
4)重复1)-3)步，直到完成迁移。
数据分片在不同磁盘间的迁移的处理流程依次如下：将数据分片下线；执行多盘位管理器的负载均衡算法，得到目标目录；拷贝迁移数据文件；修改Range的对应的日志信息；删除源文件。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于海量数据管理的多盘位存储方法，其特征在于，包括：
步骤1，建立四层树型的数据存储结构，从上到下依次是：一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；各个数据节点分别存储相同的数据分片；
步骤2，在每个数据存储节点上设置一个多盘位管理器，用于维护当前数据存储节点的磁盘信息，并在多盘位管理器的管理下，在磁盘中进行数据分片的增加或删除；
步骤3，通过多盘位管理器，对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。
2.根据权利要求1所述的多盘位存储方法，其特征在于，数据存储节点内部的磁盘分为系统安装盘和表数据盘，所述系统安装盘用于存储海量数据存储中产生的系统文件、数据和日志信息，所述表数据盘用于存储表数据，且所述多盘位管理器管理所述表数据盘。
3.根据权利要求2所述的多盘位存储方法，其特征在于，一个多盘位管理器维护多个磁盘管理器，且每个磁盘管理器管理一个表数据盘，用于间接实现多盘位管理器管理表数据盘，且磁盘管理器对表数据盘的管理包括：维护当前表数据盘对应的目录信息、目录前缀信息；收集当前表数据盘已经使用的百分比、总的表数据盘空间、已经使用的表数据盘空间、非Root用户仍然使用的表数据盘空间和当前表数据盘所存储的数据分片总数。
4.根据权利要求1所述的多盘位存储方法，其特征在于，所述在多盘位管理器的管理下，在磁盘中进行数据分片的增加具体包括：
步骤21，启动多盘位管理器，统计每个磁盘的使用情况，若有磁盘对应的使用百分比超过预设的上限值，则将该磁盘对应的磁盘状态标志位设置为false；
步骤22，在所有的磁盘状态标志位为true的磁盘中，找到存储的数据分片数量最小的磁盘所对应的目录，并返回该目录，将该目录作为新增加的数据分片的存储目录，按该存储目录存储数据分片。
5.根据权利要求1所述的多盘位存储方法，其特征在于，所述在多盘位管理器的管理下，在磁盘中进行数据分片的删除具体包括：数据存储节点首先删除待删除数据分片的元数据信息，然后通过多盘位管理器得到待删除数据分片的数据文件的实际存储目录，删除该存储目录。
6.根据权利要求1所述的多盘位存储方法，其特征在于，通过多盘位管理器对数据存储节点内部各磁盘间的负载进行负载均衡分析，具体包括:保证每个磁盘剩余空间大于10GB，当所有的磁盘的剩余可用空间均大于10GB时，通过比较每个磁盘的使用的百分比来进行负载均衡的迁移方向判定，按确定的迁移方向在各磁盘间进行负载迁移。
7.根据权利要求6所述的多盘位存储方法，其特征在于，所述进行负载均衡的迁移方向判定具体包括：
步骤3A1，计算每个磁盘的剩余可用空间和使用百分比；
步骤3A2，根据每个磁盘的剩余可用空间和使用百分比来计算迁移的优先级，使用百分比越高，迁移的优先级越高；
步骤3A3，将优先级最高的磁盘上的数据分片信息向优先级最低的磁盘迁移，将低于最高优先级一个级别的磁盘上的数据分片信息向高于最低优先级一个级别的有磁盘迁移，依次类推，并保证各磁盘的已使用空间低于设定的阀值。
8.根据权利要求1所述的多盘位存储方法，其特征在于，对各数据存储节点之间的负载进行负载均衡分析，具体包括：确定迁移的目标数据存储节点后，需要先向该数据存储节点发送请求以及将要迁移的数据分片上的数据大小，目标数据存储节点返回对应目录信息后，再将数据发送到目标数据存储节点，若目标数据存储节点没有返回目录信息，说明目标数据存储节点的磁盘空间不足，则不能往该目标数据存储节点进行数据迁移。
9.一种用于海量数据管理的多盘位存储系统，其特征在于，包括四层树型的数据存储结构，从上到下依次是：一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；各个数据节点分别存储相同的数据分片；
在每个数据存储节点上设置有一个多盘位管理器，所述多盘位管理器用于维护当前数据存储节点的磁盘信息和管理在磁盘中进行数据分片增加或删除，还用于对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。
10.根据权利要求9所述的多盘位存储系统，其特征在于，数据存储节点内部的磁盘分为系统安装盘和表数据盘，所述系统安装盘用于存储海量数据存储中产生的系统文件、数据和日志信息，所述表数据盘用于存储表数据，一个多盘位管理器上维护有多个磁盘管理器，且每个磁盘管理器管理一个表数据盘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410035889.7A CN103761059B (zh) | 2014-01-24 | 2014-01-24 | 一种用于海量数据管理的多盘位存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410035889.7A CN103761059B (zh) | 2014-01-24 | 2014-01-24 | 一种用于海量数据管理的多盘位存储方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103761059A CN103761059A (zh) | 2014-04-30 |
| CN103761059B true CN103761059B (zh) | 2017-02-08 |
Family
ID=50528304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410035889.7A Expired - Fee Related CN103761059B (zh) | 2014-01-24 | 2014-01-24 | 一种用于海量数据管理的多盘位存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103761059B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573674A (zh) * | 2015-12-15 | 2016-05-11 | 西安交通大学 | 一种面向海量小文件的分布式存储方法 |
| CN107346209B (zh) * | 2016-05-08 | 2022-05-20 | 上海霄云信息科技有限公司 | 一种多磁盘聚合式数据存储系统及其实现方法与应用方法 |
| CN106569739A (zh) * | 2016-10-09 | 2017-04-19 | 南京中新赛克科技有限责任公司 | 一种数据写入优化的方法 |
| CN107948229B (zh) * | 2016-10-13 | 2021-04-13 | 腾讯科技（深圳）有限公司 | 分布式存储的方法、装置及系统 |
| CN106599102A (zh) * | 2016-11-29 | 2017-04-26 | 郑州云海信息技术有限公司 | 一种基于目录切分机制的元数据性能提升方法 |
| CN107608859A (zh) * | 2017-09-29 | 2018-01-19 | 郑州云海信息技术有限公司 | 存储系统状态监控方法、装置、设备及计算机存储介质 |
| CN112667160A (zh) * | 2020-12-25 | 2021-04-16 | 深圳创新科技术有限公司 | 一种海量存储系统快速均衡方法及装置 |
| CN113626884A (zh) * | 2021-07-23 | 2021-11-09 | 随州市日瀚通讯科技有限公司 | Rf射频卡技术实现身份识别的多盘安全存储系统及方法 |
| CN113641467B (zh) * | 2021-10-19 | 2022-02-11 | 杭州优云科技有限公司 | 一种虚拟机的分布式块存储实现方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002073393A (ja) * | 2000-04-27 | 2002-03-12 | Internatl Business Mach Corp <Ibm> | 複数層論理ボリューム管理システムのシステムおよび方法 |
| CN101013387A (zh) * | 2007-02-09 | 2007-08-08 | 华中科技大学 | 基于对象存储设备的负载平衡方法 |
| CN103152395A (zh) * | 2013-02-05 | 2013-06-12 | 北京奇虎科技有限公司 | 一种分布式文件系统的存储方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7111147B1 (en) * | 2003-03-21 | 2006-09-19 | Network Appliance, Inc. | Location-independent RAID group virtual block management |
-
2014
- 2014-01-24 CN CN201410035889.7A patent/CN103761059B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002073393A (ja) * | 2000-04-27 | 2002-03-12 | Internatl Business Mach Corp <Ibm> | 複数層論理ボリューム管理システムのシステムおよび方法 |
| CN101013387A (zh) * | 2007-02-09 | 2007-08-08 | 华中科技大学 | 基于对象存储设备的负载平衡方法 |
| CN103152395A (zh) * | 2013-02-05 | 2013-06-12 | 北京奇虎科技有限公司 | 一种分布式文件系统的存储方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103761059A (zh) | 2014-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103761059B (zh) | 一种用于海量数据管理的多盘位存储方法及系统 | |
| EP2697719B1 (en) | Reliability based data allocation and recovery in a storage system | |
| US9384206B1 (en) | Managing data deduplication in storage systems | |
| CN104408091B (zh) | 分布式文件系统的数据存储方法及系统 | |
| US9529545B1 (en) | Managing data deduplication in storage systems based on storage space characteristics | |
| CN103914516B (zh) | 一种存储系统分层管理的方法与系统 | |
| CN101526882B (zh) | 独立磁盘冗余阵列子系统中逻辑单元重建的方法及装置 | |
| CN102369506B (zh) | 存储系统及存储系统的利用率管理方法 | |
| CN102855294A (zh) | 一种智能哈希数据布局方法、集群存储系统及其方法 | |
| US20150378604A1 (en) | Computer system and control method for computer system | |
| WO2012004837A1 (en) | Storage apparatus and storage management method | |
| CN107291889A (zh) | 一种数据存储方法及系统 | |
| CN107209714A (zh) | 分布式存储系统及分布式存储系统的控制方法 | |
| CN103763383A (zh) | 一体化云存储系统及其存储方法 | |
| US10481820B1 (en) | Managing data in storage systems | |
| US11151056B2 (en) | Efficient virtualization layer structure for a data storage system | |
| CN101976181A (zh) | 一种存储资源的管理方法及管理装置 | |
| CN104536903A (zh) | 一种按数据属性分类存放的混合存储方法及系统 | |
| CN104054071A (zh) | 访问存储设备的方法和存储设备 | |
| CN106406759A (zh) | 一种数据存储方法及装置 | |
| CN104216908A (zh) | 互联网数据管理系统及其读写方法 | |
| CN114442937B (zh) | 文件缓存方法、装置、计算机设备及存储介质 | |
| CN106547484A (zh) | 一种基于raid5的实现内存数据可靠性方法及系统 | |
| CN106951338B (zh) | 一种基于GlusterFS的高容错分布式存储方法 | |
| CN101997919B (zh) | 一种存储资源的管理方法及管理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170208 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |