CN101419600A - 基于面向对象文件系统的数据副本映射方法及装置 - Google Patents
基于面向对象文件系统的数据副本映射方法及装置 Download PDFInfo
- Publication number
- CN101419600A CN101419600A CNA2007101761796A CN200710176179A CN101419600A CN 101419600 A CN101419600 A CN 101419600A CN A2007101761796 A CNA2007101761796 A CN A2007101761796A CN 200710176179 A CN200710176179 A CN 200710176179A CN 101419600 A CN101419600 A CN 101419600A
- Authority
- CN
- China
- Prior art keywords
- memory node
- data
- node
- data space
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于面向对象文件系统的数据副本映射方法及装置,能够支持数据副本技术,达到快速映射的目的,方法简单有效。本发明实施例提供的基于面向对象文件系统的数据副本映射方法,包括:将面向对象文件系统中对象唯一的对象标识映射到第一数据空间;对各存储节点配置唯一的存储节点标识并进行分组,将存储节点标识映射到第二数据空间;确定所述对象的数据副本在各分组的目的存储节点,所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。本发明实施例提供的基于面向对象文件系统的数据副本映射装置包括:对象映射模块、数据副本映射控制模块、存储节点分组映射模块。
Description
技术领域
本发明涉及数据存储技术领域,尤其涉及一种基于面向对象文件系统的数据副本映射技术。
背景技术
随着网络技术的不断进步,网络数据量日益膨胀,海量数据存储已成为网络发展迫切需要解决的问题之一。网络存储系统提供网络信息系统的信息存取服务和信息共享服务,其超大数据容量、超高数据传输速率和超高系统可用性已成为网络存储的典型特征,而面向对象文件系统已成为网络存储系统的发展趋势。面向对象存储是指数据的存储以对象为单位,一个对象实际上是文件数据和一组属性的组合,该组属性可以定义基于文件的独立磁盘冗余阵列(Redundant Array of Independent Disks,RAID)参数、数据分布和服务质量等。文件数据与属性的组合使得面向对象存储能够基于单个文件决定其数据分布以及服务质量,有效地提高可扩展性与易管理性。面向对象文件系统正是基于这种存储机制实现的集群文件系统。面向对象文件系统由四种实体组成,分别是计算节点(Computer Node,CN)、元数据服务器(Metadata Server,MS)、对象存储设备(Object Storage Device,OSD)及网络设备。计算节点提供了用户访问面向对象文件系统的接口;元数据服务器管理系统中的文件、目录以及每个文件的分布视图;对象存储设备用来提供对象数据的管理和存储;网络设备负责将计算节点、元数据服务器和对象存储设备进行互联。
近年来一些数据存储方案倾向于采用大量存储容量较小且相对廉价的存储节点来构建大规模存储系统,因此在实际PB级存储系统中存储节点的个数普遍成千上万。随着存储节点数量的增加,存储系统中的数据丢失率将会大大增加。假设单个存储节点的平均失效时间为10年,则具有上万存储节点的大规模存储系统的平均失效时间仅为10小时左右。在这种情况下,必须采取切实可行的高可靠性数据存储保障技术。由于存储节点资源价格的日益降低,大规模存储系统中的存储节点资源显得相对丰富,数据副本技术就成为保障数据存储可靠性的流行技术,这就要求数据映射方法必须有效支持数据副本技术;并且随着存储系统规模的增大,存储节点增加和失效也会变得较为频繁,失效包括存储节点退出、损坏等情况,使得存储系统的可靠性维护变得越来越困难。
发明内容
本发明提供一种基于面向对象文件系统的数据副本映射方法及装置,能够支持数据副本技术,达到快速映射的目的,方法简单有效。
本发明实施例提供的基于面向对象文件系统的数据副本映射方法,包括:
将面向对象文件系统中对象唯一的对象标识映射到第一数据空间;
对各存储节点配置唯一的存储节点标识并进行分组,将存储节点标识映射到第二数据空间;
确定所述对象的数据副本在各分组的目的存储节点,所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。
本发明实施例提供的基于面向对象文件系统的数据副本映射装置,包括:
对象映射模块:用于将面向对象文件系统中对象唯一的对象标识映射到第一数据空间;
存储节点分组映射模块:用于对各存储节点配置唯一的存储节点标识并进行分组,将存储节点标识映射到第二数据空间;
数据副本映射控制模块:用于确定所述对象的数据副本在各分组的目的存储节点,所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。
本发明实施例提供的基于面向对象文件系统的数据副本映射方法及装置将一个具有唯一对象标识的对象映射到多个存储节点上,使得该对象具有多个数据副本,在其中一个存储节点失效的时候,可以从其它存储节点上获得该对象的数据,从而有效的解决了大规模存储系统的可靠性问题,方法简单,映射快速。
附图说明
图1为本发明实施例中数据定位方法示意图;
图2为本发明实施例中引入最小分散距离减小随机误差示意图;
图3为本发明实施例中基于面向对象文件系统的数据副本映射方法流程图;
图4为本发明实施例中基于面向对象文件系统的数据副本映射装置框图;
图5为本发明实施例中系统包含对象个数对映射结果的影响对比示意图;
图6为本发明实施例中系统包含存储节点个数对映射结果的影响对比示意图;
图7为本发明实施例中增删存储节点时迁移数据量与理论下限偏差对比示意图;
图8为本发明实施例中参数取值对映射结果的影响对比示意图。
具体实施方式
本发明实施例在大规模存储系统中,基于面向对象文件系统的数据存储及副本对象存储提供了一种数据副本映射方法及装置,能够达到快速映射的目的,方法简单有效,同时在存储节点失效或者增加的时候,能够动态平衡各个存储节点的数据量,达到数据存储平衡的目的,便于维护存储系统的可靠性。该方法的时间开销和空间开销较小,能够进行动态调整。
在面向对象文件系统中,需要将对象标识(Object Identifier)映射到存储节点上,每个对象的对象标识都是一个二进制数,在存储系统中是唯一的,存储节点的规模决定整个存储系统的规模,本发明实施例中存储节点即为OSD。将一个具有唯一对象标识的对象映射到多个OSD上,使得该对象具有多个数据副本,在其中一个OSD失效的时候,可以从其它OSD上获得该对象的数据,从而有效的解决了大规模存储系统的可靠性问题,对于给定对象的唯一对象标识,可以根据系统所维护的映射信息,计算出该对象的k个数据副本所在的k个存储节点,因此本发明实施例包括对象与数据副本的映射方法;从映射结果来看,各存储节点所分配到的数据量与其服务能力成正比,从而达到数据分布平衡的目的,当有存储节点失效或加入存储系统时,存储节点视图将发生改变,与此同时原来均衡的数据布局也将被打破,于是必须进行数据迁移以保障数据副本映射方法持续有效和数据布局始终均衡,因此本发明实施例还包括数据迁移方法以适应动态变化的存储节点视图。
本发明实施例首先提供了基于面向对象文件系统的数据副本映射实现机制,包括以下几个方面:
a1、定义对象集合,该集合中每个元素用唯一的对象标识来表示,对象即存储元素;
a2、定义存储节点集合,为每个存储节点定义唯一的存储节点标识,该集合中每个元素用唯一的存储节点标识来表示;
a3、定义分组关系集合,该集合中每个元素表示一种确定的存储节点分组方式;
a4、将存储节点标识均匀映射到第一数据空间上,例如空间大小为64比特数据空间,可以称为大圆空间;
a5、定义对象的对象标识哈希均匀映射算法,将对象标识均匀映射到第二数据存储空间上,例如空间大小为48比特数据空间,可以称为小圆空间;
a6、小圆空间和大圆空间采用同心圆的方式进行对应,则针对小圆空间值可以得到对应的大圆空间值;
a7、针对某一个对象的对象标识,可以得到该标识对应的小圆空间值,然后映射到大圆空间上;
a8、根据映射的大圆空间值,在大圆空间上按照顺时针方向查找不同组的k个存储节点,其中k是对象在存储系统中的副本数;
a9、k个存储节点即为该对象所存储的目标存储节点;
a10、当存储节点失效或者增加时,同样按照顺时针策略进行对象数据的迁移。
在大规模存储环境下,针对需要频繁变化的存储节点视图提供面向对象文件系统的数据副本映射方法,并且在依然维持存储节点之间数据平衡的前提下,数据迁移量最小。本发明提出的对象映射方法,基于一致性哈希算法,只需维护少量信息即可计算出对象的映射信息,是一种无中心的数据映射方法。本发明实施例支持数据副本,能够在异构存储节点环境中达到映射负载平衡,并且在存储节点失效、加入或退出时,数据迁移量接近理论下限。实验数据表明,本发明实施例对于大规模对象数据环境效果良好。
下面,对本发明实施例提供的基于面向对象文件系统的数据副本映射方法进行详细介绍,首先说明本发明实施例提供的对象映射方法中涉及集合的具体定义,参见表1所示。
表1
集合名称 | 集合描述 |
对象集合OB | 所有对象组成的集合,每个元素用对象标识来表示 |
存储节点集合O | O={OSDi|1≤i≤N},其中OSDi是存储节点标识,N是系统中包含的OSD总数 |
分组关系集合G | 多级同组关系的各种组合结果组成分组关系集合G |
对象映射方法可以定义为函数map(OID,k,rule),其定义域为OB×N×G;值域为O的幂集2O。其中OID为对象标识,k为数据副本阶数,rule为给定的分组关系。输出结果为O的子集OR,其中的元素两两满足关系rule,且‖OR‖=k,其中‖‖表示内积。
进一步可以定义以下集合和函数,如表2所示:
表2
下面给出对象映射方法的实现程序描述:
map(OID,k,rule)
{
While(count<k){
a)Step++
b)Otmp=Locate(Lookup(step,H(OID)))
c)若Otmp与Or中所有元素满足关系rule{
count++
Oresult=Oresult∪{Otmp}
}
}
Return Oresult
}
对该方法进行简单描述,如图1所示,假设两个对象标识相邻的对象0x123456789A和0x123456789B经过对象散列函数H(OID)的作用分散到样本空间Ω上。考察对象0x123456789B,在圆周C上沿顺时针方向遇到了单节点定位种子集合Sc、Sa和Sd中的元素,由于OSDc与OSDa属同一个分组,所以该对象的映射结果为存储节点OSDc和OSDd。映射的主要开销在于定位到与H(OID)顺时针前向最近S中的元素,查找该元素的后续k个属于不同分组的元素则相对耗时很少。
下面介绍数据分布均衡原理。定位种子集合S中的点都是在Ω上随机选取得到,在理想的随机函数作用下,可以认为在S中的点在Ω上均匀分布。因此对于某个特定对象Ob,设其在圆周C上映射为点c,有P(Lookup(1,c)∈Si)=‖Si‖/‖S‖,如公式[1]所示:
当对象个数和存储节点规模都很庞大时,依据大数定理,映射结果将更接近理论值。因此可以认为该数据映射方法在大规模存储系统中,使各OSD所分配的对象个数与该OSD的权重成正比。
由于S中的点都是在Ω上随机生成,因此有可能会出现极端情况。设sa、sb是S中的元素,分属OSDa和OSDb,且在圆周C上顺时针相邻。显然,若sa和sb间距过小,则满足Lookup(1,c)=sb的节点个数也较少,从这一局部角度来看,会出现OSDa分配的对象个数较多而OSDb分配的对象个数较少的情况。为了避免这一情况,使S中的点在Ω上分散尽量均匀,引入最小分散距离机制。具体做法是,选取合适的最小距离d,在生成S中的元素时,首先在区间[1,M/d]上随机选取元素s’,然后将d×s’作为S中的元素,于是S中的元素最小间距为d,在一定程度上分布更为平均,如图2所示。选取数值时应综合考虑μ和d的关系,满足μ∑ωi<<M/d。当d取值较大时,可以只记录s’,从而记录S所需的存储空间减少log2d/log2M。
针对系统中存储节点的增加和删除操作,本发明提供完备的动态调整策略。设系统中存储节点发生变化前总权重为Wold,发生变化后总权重为Wnew,对象个数为n,则需要迁移的对象个数的理论下限为公式[2]所示:
在本发明实施例提供的数据副本映射方法下,增删存储节点的处理机制非常简便易行。当系统中增加新节点OSDnew时,确定其权重ωnew,生成它对应的单节点定位种子集合Snew,其中元素个数为μωnew。在进行数据迁移时,考察某一特定对象,副本阶数为k,设其在圆周C上所对应的点c顺时针前向符合分组规则的k个点为{s1,s2,...,sk},保存有该对象数据副本的存储节点集合为{OSD1,OSD2,...,OSDk}。若Snew中存在位于区间[s1,sk]上的点,则该对象的第k个数据副本需要由节点OSDk迁移至OSDnew。若OSDnew中不存在位于[sl,sk]上的点,则该对象无需进行数据迁移。在这一机制作用下,当加入新节点时,数据迁移的目的节点只可能是新加入的节点OSDnew,在旧节点之间互相没有数据流动。调整完毕后,各对象节点含有的数据对象个数与其权重成正比,达到数据分布均衡,而且数据迁移量为理论最小。
对于节点失效和主动移除节点的情况处理方法类似。设OSDf发生失效,它包含的某一对象所对应的点c在圆周C上顺时针前向的k个符合分组规则的点为{s1,s2,...,sk},其中sf∈Sf。进行数据修复时,从集合{s1,s2,...,sk}/{sf}所确定的节点中随机选取一个节点作为数据复制源节点,数据复制目的节点为从c出发,顺时针前向第k+1个符合映射规则的点所确定的节点。由S中的节点生成规则可知,数据复制的目的节点和源节点都可能有很多个,从而避免了数据修复时出现热点节点。本方法对于一些系统采用的直到加入新替代节点后才进行数据修复的机制也同样适用。由于新节点一般会具有较高的性能,因此新节点对应的单节点定位种子集合也会具有较多的元素,最终将导致新节点在数据复制时会获得更多的对象。
基于以上分析,本发明实施例提供了一种基于面向对象文件系统的数据副本映射方法,如图3所示,包括:
S301、将面向对象文件系统中对象唯一的对象标识映射到第一数据空间;
S302、对各存储节点配置唯一的存储节点标识并进行分组,将存储节点标识映射到第二数据空间;
S303、确定对象的数据副本在各分组的目的存储节点,目的存储节点在第二数据空间中的映射值与该对象在第一数据空间中的映射值差值最小。
本发明实施例提供了一种基于面向对象文件系统的数据副本映射装置,如图4所示,包括:
对象映射模块401:用于将面向对象文件系统中对象唯一的对象标识映射到第一数据空间;
存储节点分组映射模块402:用于对各存储节点配置唯一的存储节点标识并进行分组,将存储节点标识映射到第二数据空间;
数据副本映射控制模块403:用于确定对象的数据副本在各分组的目的存储节点,目的存储节点在第二数据空间中的映射值与该对象在第一数据空间中的映射值差值最小。
该装置还可包括数据动态调整模块:用于当增加存储节点时,确定该新增存储节点的权重,根据权重确定新增存储节点映射到第二数据空间的映射值;根据对象的对象标识确定对应目的存储节点在第二数据空间内的映射值范围;当判断出新增存储节点在第二数据空间的映射值位于所述映射值范围时,将该对象的最后一个数据副本迁移至新增存储节点。
数据动态调整模块还用于当存储节点失效时,确定该失效存储节点所存储的数据副本对应的对象;确定对象的其它任一目的存储节点为数据复制源节点,在失效存储节点所在分组中重新确定对象的目的存储节点,并确定为数据复制目的节点;在数据复制源节点与数据复制目的节点之间对对象的数据副本进行迁移。
对本发明实施例提供的数据副本映射方法进行了数据测试。测试时取M=240,存储节点权重ω的取值范围为1~32,系统中的存储节点随机分配权重。随机生成N个对象将其映射在存储节点上。对OSDi统计其分配到的对象个数ni,如公式[3]所示:
其中ηi为负载均衡参数,理想情况下所有ηi均为1,但实现过程会带来一定的随机误差。通过计算所有|ηi-1|的平均值ηavg和统计ηi值落在[0.9,1.1]之上的存储节点个数百分比p来度量负载均衡程度。ηavg越接近0,p越接近1,说明本发明实施例提供的副本数据映射方法作用下各存储节点负载越平衡。取μ=8,d=220。考察系统的可扩展性,固定存储节点个数为1024个,当系统中对象总数N由105增长至107负载情况如图5所示。固定对象总数为107,μ和d取值不变,存储节点个数为512和1024时映射结果如图6所示。
从图5、图6可见,随着系统中对象个数增多,系统的负载越来越均衡,说明本发明对大规模存储系统效果良好。本方法在存储节点个数较少时依然保持着较好的映射结果,可见本方法对于不同存储节点规模的系统适应性良好。此外,随着数据副本个数的增长,映射结果表现得越为平衡。这表明本发明实施例非常适合多副本存储系统。
针对数据迁移的情况,取μ=32,d=220,固定对象总数为107,存储节点初始值为1024,每步增加128个存储节点。统计每次存储节点数量改变引起的实际对象迁移个数migrationreal,通过[2]式计算数据迁移理论最小值migrationtheory,通过计算|1-migrationreal/migrationtheory|来衡量映射方法的有效性。随后开始从系统中删除存储节点,每步删除128个存储节点,同样统计|1-migrationreal/migrationtheory|。请参见图7,测试结果表明,实际数据迁移量与理论下限Δω/W相比偏差不超过1%。
在本发明实施例中,考察参数改变对映射结果的影响,取副本阶数k=5,ω取值范围为1~16,1024个存储节点,107个数据对象,取不同的μ值和d值,度量对应的p值。测试结果如图8所示。可以看出,增大μ值和d值对于减小随机误差都具有良好的作用。特别的,在M=240,d=220,当μ值取到32时,分配对象个数与理论值偏差小于10%的节点个数达到100%;μ值取到64时,分配对象个数与理论值偏差小于5%的节点个数也达到100%。
在本方法作用下,新增存储节点时,数据迁移量等于新节点分配到的数据量;存储节点退出时,数据迁移量等于退出存储节点所含的数据量。于是对象映射得越为均衡,则数据迁移量将越接近理论下限。因此增大μ值和d值也可以使数据迁移量更接近理论下限。
根据以上测试结果,在记录定位种子集合S时,可取μ=32,M/d=240,节点权重取值范围为1到64之间。这样对于数千节点的存储系统,维护定位信息仅为十几兆字节,完全可以置于服务器内存中。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1、一种基于面向对象文件系统的数据副本映射方法,其特征在于,包括:
将面向对象文件系统中对象唯一的对象标识映射到第一数据空间;
对各存储节点配置唯一的存储节点标识并进行分组,将存储节点标识映射到第二数据空间;
确定所述对象的数据副本在各分组的目的存储节点,所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。
2、如权利要求1所述的方法,其特征在于,所述第一数据空间和第二数据空间中映射值按升序排列,并首尾相接组成圆周空间。
3、如权利要求2所述的方法,其特征在于,所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值在所述圆周空间上按顺时针方向距离最近。
4、如权利要求1所述的方法,其特征在于,所述将存储节点标识映射到第二数据空间,包括:
确定存储节点的权重;
根据所述权重将所述存储节点标识映射到第二数据空间。
5、如权利要求4所述的方法,其特征在于,还包括:
当增加存储节点时,确定该新增存储节点的权重,根据所述权重确定所述新增存储节点映射到第二数据空间的映射值;
根据对象的对象标识确定对应目的存储节点在第二数据空间内的映射值范围;
当判断出所述新增存储节点在第二数据空间的映射值位于所述映射值范围时,将所述对象的最后一个数据副本迁移至所述新增存储节点。
6、如权利要求5所述的方法,其特征在于,还包括:
当存储节点失效时,确定该失效存储节点所存储的数据副本对应的对象;
确定所述对象的其它任一目的存储节点为数据复制源节点,在所述失效存储节点所在分组中重新确定所述对象的目的存储节点,并确定为数据复制目的节点;
在所述数据复制源节点与所述数据复制目的节点之间对所述对象的数据副本进行迁移。
7、如权利要求4、5或6所述的方法,其特征在于,所述存储节点标识映射到第二数据空间时,相邻映射值之间满足设定的最小分散距离。
8、一种基于面向对象文件系统的数据副本映射装置,其特征在于,包括:
对象映射模块:用于将面向对象文件系统中对象唯一的对象标识映射到第一数据空间;
存储节点分组映射模块:用于对各存储节点配置唯一的存储节点标识并进行分组,将存储节点标识映射到第二数据空间;
数据副本映射控制模块:用于确定所述对象的数据副本在各分组的目的存储节点,所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。
9、如权利要求8所述的装置,其特征在于,还包括:
数据动态调整模块:用于当增加存储节点时,确定该新增存储节点的权重,根据权重确定新增存储节点映射到第二数据空间的映射值;根据对象的对象标识确定对应目的存储节点在第二数据空间内的映射值范围;当判断出新增存储节点在第二数据空间的映射值位于所述映射值范围时,将所述对象的最后一个数据副本迁移至所述新增存储节点。
10、如权利要求9所述的装置,其特征在于,所述数据动态调整模块还当存储节点失效时,确定该失效存储节点所存储的数据副本对应的对象;确定对象的其它任一目的存储节点为数据复制源节点,在失效存储节点所在分组中重新确定所述对象的目的存储节点,并确定为数据复制目的节点;在数据复制源节点与所述数据复制目的节点之间对对象的数据副本进行迁移。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101761796A CN101419600A (zh) | 2007-10-22 | 2007-10-22 | 基于面向对象文件系统的数据副本映射方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101761796A CN101419600A (zh) | 2007-10-22 | 2007-10-22 | 基于面向对象文件系统的数据副本映射方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101419600A true CN101419600A (zh) | 2009-04-29 |
Family
ID=40630393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007101761796A Pending CN101419600A (zh) | 2007-10-22 | 2007-10-22 | 基于面向对象文件系统的数据副本映射方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101419600A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599032A (zh) * | 2009-05-31 | 2009-12-09 | 成都市华为赛门铁克科技有限公司 | 存储节点管理方法、控制子系统和存储系统 |
CN102118433A (zh) * | 2010-12-27 | 2011-07-06 | 网宿科技股份有限公司 | 多层次的分布式集群系统 |
CN104580427A (zh) * | 2014-12-27 | 2015-04-29 | 北京奇虎科技有限公司 | 一种分布式存储系统中的主从平衡方法和装置 |
CN104750756A (zh) * | 2013-12-31 | 2015-07-01 | 中国移动通信集团公司 | 一种数据操作方法、设备及元数据存储设备 |
CN105630973A (zh) * | 2015-12-25 | 2016-06-01 | 深圳市中博科创信息技术有限公司 | 集群文件系统文件存储的方法及集群文件系统 |
CN106294421A (zh) * | 2015-05-25 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据写入、读取方法及装置 |
CN108536705A (zh) * | 2017-03-02 | 2018-09-14 | 华为技术有限公司 | 数据库系统中对象的编码及运算方法与数据库服务器 |
CN109032526A (zh) * | 2018-07-26 | 2018-12-18 | 郑州云海信息技术有限公司 | 用于分布式文件系统的数据处理方法及装置 |
CN109992447A (zh) * | 2017-12-29 | 2019-07-09 | 杭州华为数字技术有限公司 | 数据复制方法、装置及存储介质 |
-
2007
- 2007-10-22 CN CNA2007101761796A patent/CN101419600A/zh active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599032A (zh) * | 2009-05-31 | 2009-12-09 | 成都市华为赛门铁克科技有限公司 | 存储节点管理方法、控制子系统和存储系统 |
CN102118433A (zh) * | 2010-12-27 | 2011-07-06 | 网宿科技股份有限公司 | 多层次的分布式集群系统 |
CN104750756A (zh) * | 2013-12-31 | 2015-07-01 | 中国移动通信集团公司 | 一种数据操作方法、设备及元数据存储设备 |
CN104580427B (zh) * | 2014-12-27 | 2018-09-04 | 北京奇虎科技有限公司 | 一种分布式存储系统中的主从平衡方法和装置 |
CN104580427A (zh) * | 2014-12-27 | 2015-04-29 | 北京奇虎科技有限公司 | 一种分布式存储系统中的主从平衡方法和装置 |
CN106294421A (zh) * | 2015-05-25 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据写入、读取方法及装置 |
CN106294421B (zh) * | 2015-05-25 | 2020-02-04 | 阿里巴巴集团控股有限公司 | 一种数据写入、读取方法及装置 |
CN105630973A (zh) * | 2015-12-25 | 2016-06-01 | 深圳市中博科创信息技术有限公司 | 集群文件系统文件存储的方法及集群文件系统 |
CN108536705A (zh) * | 2017-03-02 | 2018-09-14 | 华为技术有限公司 | 数据库系统中对象的编码及运算方法与数据库服务器 |
CN108536705B (zh) * | 2017-03-02 | 2021-10-01 | 华为技术有限公司 | 数据库系统中对象的编码及运算方法与数据库服务器 |
US11194806B2 (en) | 2017-03-02 | 2021-12-07 | Huawei Technologies Co., Ltd. | Object encoding and computation method in database system and database server |
CN109992447A (zh) * | 2017-12-29 | 2019-07-09 | 杭州华为数字技术有限公司 | 数据复制方法、装置及存储介质 |
CN109992447B (zh) * | 2017-12-29 | 2021-06-15 | 华为技术有限公司 | 数据复制方法、装置及存储介质 |
CN109032526A (zh) * | 2018-07-26 | 2018-12-18 | 郑州云海信息技术有限公司 | 用于分布式文件系统的数据处理方法及装置 |
CN109032526B (zh) * | 2018-07-26 | 2021-08-10 | 郑州云海信息技术有限公司 | 用于分布式文件系统的数据处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101419600A (zh) | 基于面向对象文件系统的数据副本映射方法及装置 | |
US9740706B2 (en) | Management of intermediate data spills during the shuffle phase of a map-reduce job | |
US10223431B2 (en) | Data stream splitting for low-latency data access | |
US9609050B2 (en) | Multi-level data staging for low latency data access | |
US20190266131A1 (en) | Scalable Grid Deduplication | |
CN106055277A (zh) | 一种去中心化的分布式异构存储系统数据分布方法 | |
US10356150B1 (en) | Automated repartitioning of streaming data | |
CN103345508B (zh) | 一种适用于社会网络图的数据存储方法及系统 | |
CN107566531A (zh) | 一种支持均衡资源的Elasticsearch集群扩展方法 | |
CN104731796B (zh) | 数据存储计算方法和系统 | |
CN107450855B (zh) | 一种用于分布式存储的模型可变的数据分布方法及系统 | |
CN107688438B (zh) | 适用于大规模地震数据存储、快速定位的方法及装置 | |
CN104065568A (zh) | 一种Web服务器集群的路由方法 | |
CN103067525A (zh) | 一种基于特征码的云存储数据备份方法 | |
CN107220271B (zh) | 一种分布式数字资源存储处理与管理的方法及系统 | |
CN106570113B (zh) | 一种海量矢量切片数据云存储方法及系统 | |
TW201702908A (zh) | 資料庫彈性調度方法以及裝置 | |
Liao et al. | A QoS-aware dynamic data replica deletion strategy for distributed storage systems under cloud computing environments | |
CN103905517A (zh) | 一种数据存储方法及设备 | |
CN109716280B (zh) | 灵活的内存列存储布置 | |
CN103744882A (zh) | 一种基于键值对的目录片段表示方法及装置 | |
Chen et al. | Declustering databases on heterogeneous disk systems | |
EP3096248A1 (en) | Data management system and data management method | |
CN115934819A (zh) | 一种工业时序数据库通用分布式扩展方法 | |
KR101718739B1 (ko) | 이기종 하둡을 위한 동적 데이터 복제 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20090429 |