CN101334797A - 一种分布式文件系统及其数据块一致性管理的方法 - Google Patents
一种分布式文件系统及其数据块一致性管理的方法 Download PDFInfo
- Publication number
- CN101334797A CN101334797A CNA2008101422912A CN200810142291A CN101334797A CN 101334797 A CN101334797 A CN 101334797A CN A2008101422912 A CNA2008101422912 A CN A2008101422912A CN 200810142291 A CN200810142291 A CN 200810142291A CN 101334797 A CN101334797 A CN 101334797A
- Authority
- CN
- China
- Prior art keywords
- data block
- file access
- data
- server
- counter value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2048—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share neither address space nor persistent storage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/82—Solving problems relating to consistency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/88—Monitoring involving counting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式文件系统及其数据块一致性管理的方法,其方法包括:由文件定位寄存服务器生成数据块对应的计数器值,同时存放在文件访问服务器和文件定位寄存服务器上;在对该数据块写数据时,文件访问客户端同时向主、备文件访问服务器写数据,对写数据正常的文件访问服务器中的数据块计数器值进行修改;所述文件定位寄存服务器根据主、备文件访问服务器上报的对应数据块计数器值,以最大计数器值之数据块为正常和有效。本发明系统及其方法由于采用了数据块计数器的方式,对每个数据块记录其是否异常和需要重构,在海量集群系统中,可以简单高效地管理冗余备份的数据块,保持其之间的一致性,并且实现重构异常的备份数据块简单准确。
Description
技术领域
本发明涉及一种计算机应用领域的大容量存储分布式文件系统及其管理方法,具体涉及的是一种大规模分布式数据处理的文件系统及其冗余备份数据块一致性校验和备份管理的方法。
背景技术
现有技术中,大规模分布式数据处理的文件系统中,为了保证数据处理的高效和元数据的集中管理,一般都设计成一个元数据的集中管理服务器(如:文件定位寄存服务器,FLR,File Location register),和其他若干个数据文件存放服务器(如:文件访问服务器,FAS,File Access Service)的架构。
用户访问数据时都要先通过文件访问客户端(FAC,File Access Client)向FLR询问数据的具体存放位置,然后由FAC再向具体的FAS发起读写数据请求。FAS管理数据文件的方式是将文件数据划分为一个一个的数据块(CHUNK),每个文件由若干个数据块组成。数据块和文件的对应方式由统一标识符FILEID来标识,一个文件具有一个不同的FILEID,每个数据块CHUNK的标识CHUNKID是FILEID+CHUNK编号标识。文件的所有CHUNK分布信息由FLR统一放入数据库中管理。
在大容量的集群系统中,通常数据块是冗余备份的,也就是说对应数据块存在在多个FAS上。但现有技术中这样备份的两个数据块很难保证一致性,这是一个比较严重的问题,其主要出现在如下情况中:在写操作的过程中,如何保证同时在两个FAS上写出对应份数据;如果有一个FAS出现异常或者损坏的情况下,该FAS上的数据如何能重构得到;如果在写的过程中,FLR出现异常,如何保证FLR记录和FAS的一致性。
由于涉及到海量的数据块,现有技术不可能对数据块采用MD5等常规校验方法,因为这会严重影响处理的性能。
因此,现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种分布式文件系统及其数据块一致性管理的方法,为解决上述现有技术的问题,实现对海量数据的数据块进行校验以及必要时的重构。
本发明的技术方案包括:
一种分布式文件系统中数据块一致性管理的方法,其包括以下步骤:
A、在生成每一数据块时,由文件定位寄存服务器生成其对应的计数器值,同时存放在文件访问服务器和文件定位寄存服务器上;
B、在对该数据块写数据时,文件访问客户端同时向主、备文件访问服务器写数据,如果都写数据成功,则不对计数器值进行修改;否则,对写数据正常的文件访问服务器中的数据块计数器值按预定步长进行增加;
C、所述文件定位寄存服务器根据主、备文件访问服务器上报的对应数据块计数器值,以最大计数器值之数据块为正常和有效,对异常之数据块进行重构。
所述的方法,其中,所述步骤B还包括:
B1、在更改数据块数据时,所述文件定位寄存服务器给所述文件访问客户端返回该数据块所在的主、备文件访问服务器信息,所述文件访问客户端向所述主、备文件访问服务器发起修改数据操作;
B2、如果主、备文件访问服务器更改数据成功,则不发起该数据块计数器值的修改;否则,对正常更改数据的数据块所在文件访问服务器的计数器值进行按预定步长增加,同时按预定步长增加所述文件定位寄存服务器上的对应数据块的计数器值。
所述的方法,其中,所述步骤B2中对数据块计数器值的增加之预定步长为每次加1。
所述的方法,其中,所述步骤C还包括:所述文件定位寄存服务器在启动时刻和以一定的时间间隔向所述文件访问服务器发起数据块校验请求。
所述的方法,其中,所述数据块校验过程还包括:
D1、所述文件访问服务器把本地的所有数据块标识上报给文件定位寄存服务器,所述文件定位寄存服务器将先收到的数据块标识组成HASH表,后续收到的数据块标识在该HASH表中查找,查找成功,表示是一对主、备数据块;
D2、记录下所有对数据块标识,所述文件定位寄存服务器校验每个数据块标识。
所述的方法,其中,所述步骤D1中所述文件定位寄存服务器将每个主、备文件访问服务器作为一组,将整个集群数据块分成若干组。
所述的方法,其中,所述步骤D2还包括:
D21、检查该数据块在所述文件定位寄存服务器中是否有记录;如果没有则直接删除;否则,转入步骤D22;
D22、比较所述文件定位寄存服务器数据库中和各个文件访问服务器的对应数据块之计数器值,以最大值之数据块为有效。
所述的方法,其中,所述步骤D22还包括:
D23、如果所述文件定位寄存服务器上的数据块计数器值最大,则在所述文件定位寄存服务器数据库中删除该数据块的记录。
所述的方法,其中,所述步骤D22还包括:
D241、如果有文件访问服务器上具有最大的数据块之计数器值,则由所述文件定位寄存服务器对计数器值小的数据块所在的其他文件访问服务器发起数据块重构请求,从有效数据块复制到异常的数据块上;
D242、数据拷贝完成后,修改各个文件访问服务器上对应数据块的计数器值同最大值一致。
所述的方法,其中,所述步骤D22还包括:
D25、如果所述文件定位寄存服务器上的数据块之计数器值比所述文件访问服务器上的小,则同步修改该文件定位寄存服务器数据库中的该对应数据块之计数器值。
一种所述方法的分布式文件系统,包括通过网络连接的一文件访问服务器、至少一文件定位寄存服务器;所述文件访问服务器对应连接一数据库;用户通过一文件访问客户端向所述文件访问服务器及所述文件定位寄存服务器进行写数据请求;其中,所述文件访问服务器至少设置有主、备文件访问服务器;并且
所述文件访问客户端用于向所述主、备文件访问服务器的对应数据块写数据,并对写数据正常的文件服务器之数据块计数器值按预定步长增加;
所述文件定位寄存服务器用于生成数据块对应的计数器值,并根据主、备文件访问服务器上报的对应数据块计数器值,控制对异常之数据块进行重构。本发明所提供的一种分布式文件系统及其数据块一致性管理的方法,由于采用了数据块计数器的方式,对每个数据块记录其是否异常和需要重构,在海量集群系统中,可以简单高效地管理冗余备份的数据块,保持其之间的一致性,并且可以重构异常的备份数据块,其实现简单准确。
附图说明
图1是本发明方法及时写或更改数据时数据块计数器的修改流程示意图;
图2是本发明方法的文件定位寄存服务器FLR校验接收文件访问服务器FAS上报数据块CHUNK的流程图;
图3是本发明方法的文件定位寄存服务器FLR具体校验方法流程示意图;
图4为本发明分布式文件系统的结构示意图。
具体实施方式
以下结合附图,将对本发明的各较佳实施例进行更为详细的说明。
本发明分布式文件系统及其数据块一致性管理的方法,提出了数据块计数器即CHUNK计数器的概念,针对每个数据块CHUNK都给予一个计数器,表示该数据块修改的次数。每次修改CHUNK都将计数器增加,这样如果主备数据块CHUNK的计数器不一致,则表示有无效数据块CHUNK存在,可相应对异常的数据块进行重构。
本发明方法很好地解决了主备数据块CHUNK的管理工作,其主要的实现内容包括:
在生成数据块CHUNK时,都由文件定位寄存服务器FLR统一生成,第一次创建的数据块其CHUNK计数器值为1。该值同时存放于文件访问服务器FAS上和文件定位寄存服务器FLR上。
在用户发起写CHUNK数据的过程中,如图1所示,FAC同时写两份数据给主、备FAS,如果主、备FAS写数据都是成功的,则不发起CHUNK计数器的修改流程。如果写的过程中,发现某个FAS出现写异常,则向正常的FAS发起计数器修改流程,修改该正常数据块的当前CHUNK计数器,这样对应数据块主、备FAS的CHUNK计数器就出现了不一致的情况,并且正常的数据块CHUNK计数器计数值要高。后期可以通过简单的校验确定出异常的数据块,并在异常FAS上重构该数据块。
在用户发起更改文件内容时,FLR会给FAC返回对应数据块CHUNK所在两个FAS的信息,FAC直接向两个FAS发起修改数据的操作。如果主、备FAS写数据都是成功的,则不发起CHUNK计数器修改流程。如果写的过程中,发现某个FAS出现异常,则向正常的FAS发起CHUNK计数器修改流程,修改FAS上对应的CHUNK计数器值按预定步长进行增加,同时增加FLR上的该CHUNK计数器值,这样主、备FAS的对应数据块的CHUNK计数器就不一致了。通过比较计数器值,后期可以通过简单校验确定异常的数据块,并在异常FAS上重构该数据块。
经过上述处理过程,可以保证如果出现异常时,则主、备FAS上CHUNK计数器值肯定不一致。FLR会在启动时刻和以一定的时间间隔向FAS发起CHUNK校验请求流程。根据主、备FAS上报的CHUNK计数器值,以最大计数器值为准,即可确定哪个FAS上的数据块是正常有效的。这样对异常FAS上的数据块就可以重新构造。
以下举具体实例说明本发明分布式文件系统中数据块一致性管理的方法:
定义数据块CHUNK的标识为:FILEID(四字节无符号整型)+CHUNK编号(2字节无符号整型)+计数器(四字节无符号整型);在FLR侧会有数据库记录每个CHUNK标识,其中包括了该数据块的CHUNK计数器值和其所在FAS位置信息;在FAS侧管理每个数据块,并且记录其CHUNK计数器值。
如图1所示,在用户发起写流程时,首先由FAC向FLR申请分配具有备份关系的所有FAS。分配成功后,FLR会记入本地数据库,对数据块的CHUNK计数器值初始值设为1。
然后由FAC直接向两个FAS发起数据写入请求。在FAC写数据的过程中,会不停的上报各个FAS写的状态。上报的状态信息包括:当前写的CHUNK标识,每个FAS写状态。
FLR收到上报状态后,比较两个FAS的写状态,如果两个FAS写状态都是正常则不处理;如果两个FAS都不正常,则直接增加FLR侧CHUNK计数器值;如果发现某时刻其中一个FAS写异常,而另一个FAS写正常,则FLR会向正常的FAS发起CHUNK计数器修改请求。所述正常FAS收到请求后,增加本地数据块对应的CHUNK计数器值,返回修改成功给FLR。FLR收到修改成功后,将本地数据库中的值修改为同正常FAS的该数据块CHUNK计数器值一致,而异常FAS上出错数据块的CHUNK计数器值将得不到修改。
当用户发起改写时,基本同上述处理过程,所不同的是新写数据时,FLR返回的是新的数据块CHUNK所在的FAS信息,或已经存有CHUNK数据的FAS信息。
FLR会在启动时刻和以一定的时间间隔向FAS发起CHUNK校验请求流程,如图2所示,其校验方法是:FLR将每个主、备FAS作为一组,整个集群数据块会分成若干组,例如N组。对每一组,分别向每个成员发起校验请求,收到请求的FAS,会把本地的所有数据块CHUNK标识上报给FLR,FLR会将第一个收到的CHUNK标识信息组成一个HASH表,后续收到CHUNK标识会先在HASH表中查找,查找成功,表示是一对主、备数据块。
如果查找不到则有可能是主、备不全;同时记录下所有对数据块CHUNK标识信息,一组成员校验成功后,FLR会校验每个CHUNK标识信息,其校验过程如图3所示,包括:
第一步、检查该数据块CHUNK在FLR中是否有记录;如果没有记录则直接删除,如果有记录则通过检查;
第二步、计算FLR数据库和各个FAS的CHUNK计数器值,比较哪个值最大,以CHUNK计数器值大的数据块为有效和正常的。
第三步、校验CHUNK计数器值,其具体过程包括:
如果FLR上的CHUNK计数器值最大,说明当前所有FAS上的该CHUNK数据都是不可靠的,需要在FLR数据库中删除该CHUNK记录。
如果有FAS具有最大的CHUNK计数器值,则对CHUNK计数器值小的数据块所在的所有FAS,FLR会发起数据块重构请求,即告诉计数器值最大的FAS,其上面的某个数据块需要从本地复制到异常的FAS上。拷贝完成后,立即修改各个FAS上对应数据块的CHUNK计数器值同最大值一致。
如果FLR上的CHUNK计数器值比FAS的小,则需要同步修改该FLR数据库中的该CHUNK计数器值。
本发明分布式文件系统的结构如图4所示,其包括通过网络连接如以太网连接的一文件访问服务器401,每一文件访问服务器401还连接一对应的数据库411;至少一文件定位寄存服务器402,用于产生针对文件访问服务器401的写数据操作中的数据块对应计数器值;用户可通过一文件访问客户端403向对应的所述文件访问服务器401及所述文件定位寄存服务器402进行数据访问请求;所述文件访问服务器401至少设置有主、备文件访问服务器,而所述文件访问客户端403用于向所述主、备文件访问服务器的对应数据块写数据,并对写数据正常的文件服务器之数据块计数器值按预定步长增加;所述文件定位寄存服务器402可用于根据主、备文件访问服务器上报的对应数据块计数器值是否一致,判断数据块的异常与否,控制对异常之数据块进行重构。
本发明分布式文件系统及其数据块一致性管理的方法,在海量集群系统中可以简单高效地管理冗余备份的数据块,保持其一致性,并且可以重构异常的备份数据块。其主要表现在:
1、在用户及时存储(追加写或改写)数据的过程中,如果发现主、备FAS其中的一方有异常,可以先增加正常FAS上数据块的CHUNK计数器值,保持异常FAS上数据块CHUNK计数器值没有增加;在后续FLR进行定时校验时,会根据上述CHUNK计数器值的校验,将CHUNK计数器值低的FAS上的数据块删除,同时从正常FAS上的数据块重构该异常FAS上的对应数据块。
2、本发明方法以CHUNK计数器值高的数据块为正常和有效的数据块,如果FLR记录的最高,则说明各个FAS上的数据块都不可靠;如果某个FAS上记录的最高,则需要将该数据块重构到值低的FAS中,同时要修改FLR中的记录。
由此可知,本发明所述分布式文件系统及其数据块一致性管理的方法其实现简单准确,校验计算快捷,可适用于海量的数据块处理。
应当理解的是,上述针对本发明较佳实施例的描述较为具体,并不能因此而理解为对本发明专利保护范围的限制,本发明的专利保护范围应以所附权利要求为准。
Claims (11)
1、一种分布式文件系统中数据块一致性管理的方法,其包括以下步骤:
A、在生成每一数据块时,由文件定位寄存服务器生成其对应的计数器值,同时存放在文件访问服务器和文件定位寄存服务器上;
B、在对该数据块写数据时,文件访问客户端同时向主、备文件访问服务器写数据,如果都写数据成功,则不对计数器值进行修改;否则,对写数据正常的文件访问服务器中的数据块计数器值按预定步长进行增加;
C、所述文件定位寄存服务器根据主、备文件访问服务器上报的对应数据块计数器值,以最大计数器值之数据块为正常和有效,对异常之数据块进行重构。
2、根据权利要求1所述的方法,其特征在于,所述步骤B还包括:
B1、在更改数据块数据时,所述文件定位寄存服务器给所述文件访问客户端返回该数据块所在的主、备文件访问服务器信息,所述文件访问客户端向所述主、备文件访问服务器发起修改数据操作;
B2、如果主、备文件访问服务器更改数据成功,则不发起该数据块计数器值的修改;否则,对正常更改数据的数据块所在文件访问服务器的计数器值进行按预定步长增加,同时按预定步长增加所述文件定位寄存服务器上的对应数据块的计数器值。
3、根据权利要求2所述的方法,其特征在于,所述步骤B2中对数据块计数器值的增加之预定步长为每次加1。
4、根据权利要求3所述的方法,其特征在于,所述步骤C还包括:所述文件定位寄存服务器在启动时刻和以一定的时间间隔向所述文件访问服务器发起数据块校验请求。
5、根据权利要求4所述的方法,其特征在于,所述数据块校验过程还包括:
D1、所述文件访问服务器把本地的所有数据块标识上报给文件定位寄存服务器,所述文件定位寄存服务器将先收到的数据块标识组成HASH表,后续收到的数据块标识在该HASH表中查找,查找成功,表示是一对主、备数据块;
D2、记录下所有对数据块标识,所述文件定位寄存服务器校验每个数据块标识。
6、根据权利要求5所述的方法,其特征在于,所述步骤D1中所述文件定位寄存服务器将每个主、备文件访问服务器作为一组,将整个集群数据块分成若干组。
7、根据权利要求5所述的方法,其特征在于,所述步骤D2还包括:
D21、检查该数据块在所述文件定位寄存服务器中是否有记录;如果没有则直接删除;否则,转入步骤D22;
D22、比较所述文件定位寄存服务器数据库中和各个文件访问服务器的对应数据块之计数器值,以最大值之数据块为有效。
8、根据权利要求7所述的方法,其特征在于,所述步骤D22还包括:
D23、如果所述文件定位寄存服务器上的数据块计数器值最大,则在所述文件定位寄存服务器数据库中删除该数据块的记录。
9、根据权利要求7所述的方法,其特征在于,所述步骤D22还包括:
D241、如果有文件访问服务器上具有最大的数据块之计数器值,则由所述文件定位寄存服务器对计数器值小的数据块所在的其他文件访问服务器发起数据块重构请求,从有效数据块复制到异常的数据块上;
D242、数据拷贝完成后,修改各个文件访问服务器上对应数据块的计数器值同最大值一致。
10、根据权利要求7所述的方法,其特征在于,所述步骤D22还包括:
D25、如果所述文件定位寄存服务器上的数据块之计数器值比所述文件访问服务器上的小,则同步修改该文件定位寄存服务器数据库中的该对应数据块之计数器值。
11、一种如权利要求1所述方法的分布式文件系统,包括通过网络连接的一文件访问服务器、至少一文件定位寄存服务器;所述文件访问服务器对应连接一数据库;用户通过一文件访问客户端向所述文件访问服务器及所述文件定位寄存服务器进行写数据请求;其特征在于,所述文件访问服务器至少设置有主、备文件访问服务器;并且
所述文件访问客户端用于向所述主、备文件访问服务器的对应数据块写数据,并对写数据正常的文件服务器之数据块计数器值按预定步长增加;
所述文件定位寄存服务器用于生成数据块对应的计数器值,并根据主、备文件访问服务器上报的对应数据块计数器值,控制对异常之数据块进行重构。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101422912A CN101334797B (zh) | 2008-08-04 | 2008-08-04 | 一种分布式文件系统及其数据块一致性管理的方法 |
PCT/CN2009/000855 WO2010015143A1 (zh) | 2008-08-04 | 2009-07-30 | 一种分布式文件系统及其数据块一致性管理的方法 |
RU2011107514/08A RU2449358C1 (ru) | 2008-08-04 | 2009-07-30 | Распределенная файловая система и способ управления согласованностью блоков данных в такой системе |
EP09804443A EP2330519A4 (en) | 2008-08-04 | 2009-07-30 | DISTRIBUTED FILE SYSTEM AND METHOD FOR DATA BLOCK CONSISTENCY MANAGEMENT THEREFOR |
US13/057,187 US8285689B2 (en) | 2008-08-04 | 2009-07-30 | Distributed file system and data block consistency managing method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101422912A CN101334797B (zh) | 2008-08-04 | 2008-08-04 | 一种分布式文件系统及其数据块一致性管理的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101334797A true CN101334797A (zh) | 2008-12-31 |
CN101334797B CN101334797B (zh) | 2010-06-02 |
Family
ID=40197395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101422912A Active CN101334797B (zh) | 2008-08-04 | 2008-08-04 | 一种分布式文件系统及其数据块一致性管理的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8285689B2 (zh) |
EP (1) | EP2330519A4 (zh) |
CN (1) | CN101334797B (zh) |
RU (1) | RU2449358C1 (zh) |
WO (1) | WO2010015143A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010015143A1 (zh) * | 2008-08-04 | 2010-02-11 | 中兴通讯股份有限公司 | 一种分布式文件系统及其数据块一致性管理的方法 |
CN102750322A (zh) * | 2012-05-22 | 2012-10-24 | 中国科学院计算技术研究所 | 一种机群文件系统分布式元数据一致性保证方法和系统 |
CN102890716A (zh) * | 2012-09-29 | 2013-01-23 | 南京中兴新软件有限责任公司 | 分布式文件系统和分布式文件系统的数据备份方法 |
WO2013080083A1 (en) * | 2011-12-02 | 2013-06-06 | International Business Machines Corporation | Coordinating write sequences in a data storage system |
CN103729436A (zh) * | 2013-12-27 | 2014-04-16 | 中国科学院信息工程研究所 | 一种分布式元数据管理方法及系统 |
CN104699771A (zh) * | 2015-03-02 | 2015-06-10 | 北京京东尚科信息技术有限公司 | 数据同步方法和集群节点 |
CN105892954A (zh) * | 2016-04-25 | 2016-08-24 | 乐视控股(北京)有限公司 | 基于多副本的数据存储方法和装置 |
CN105960639A (zh) * | 2014-01-31 | 2016-09-21 | 谷歌公司 | 分布式存储系统中的优先化数据重构 |
CN107071031A (zh) * | 2017-04-19 | 2017-08-18 | 电子科技大学 | 基于chunk块版本号的分布式块存储系统数据恢复判定方法 |
CN108241548A (zh) * | 2016-12-23 | 2018-07-03 | 航天星图科技(北京)有限公司 | 一种基于分布式系统的文件读取方法 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008018680A1 (de) * | 2007-12-18 | 2009-07-02 | Siemens Aktiengesellschaft | Verfahren zum Unterstützen eines sicherheitsgerichteten Systems |
CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
US9294558B1 (en) | 2014-03-31 | 2016-03-22 | Amazon Technologies, Inc. | Connection re-balancing in distributed storage systems |
US9274710B1 (en) | 2014-03-31 | 2016-03-01 | Amazon Technologies, Inc. | Offset-based congestion control in storage systems |
US9495478B2 (en) | 2014-03-31 | 2016-11-15 | Amazon Technologies, Inc. | Namespace management in distributed storage systems |
US9449008B1 (en) | 2014-03-31 | 2016-09-20 | Amazon Technologies, Inc. | Consistent object renaming in distributed systems |
US9569459B1 (en) | 2014-03-31 | 2017-02-14 | Amazon Technologies, Inc. | Conditional writes at distributed storage services |
US10372685B2 (en) | 2014-03-31 | 2019-08-06 | Amazon Technologies, Inc. | Scalable file storage service |
US10264071B2 (en) | 2014-03-31 | 2019-04-16 | Amazon Technologies, Inc. | Session management in distributed storage systems |
US9772787B2 (en) | 2014-03-31 | 2017-09-26 | Amazon Technologies, Inc. | File storage using variable stripe sizes |
US9519510B2 (en) | 2014-03-31 | 2016-12-13 | Amazon Technologies, Inc. | Atomic writes for multiple-extent operations |
US9779015B1 (en) | 2014-03-31 | 2017-10-03 | Amazon Technologies, Inc. | Oversubscribed storage extents with on-demand page allocation |
US9602424B1 (en) | 2014-03-31 | 2017-03-21 | Amazon Technologies, Inc. | Connection balancing using attempt counts at distributed storage systems |
US10536523B2 (en) * | 2014-05-11 | 2020-01-14 | Microsoft Technology Licensing, Llc | File service using a shared file access-rest interface |
CN105335250B (zh) * | 2014-07-28 | 2018-09-28 | 浙江大华技术股份有限公司 | 一种基于分布式文件系统的数据恢复方法及装置 |
US10108624B1 (en) | 2015-02-04 | 2018-10-23 | Amazon Technologies, Inc. | Concurrent directory move operations using ranking rules |
US10346367B1 (en) | 2015-04-30 | 2019-07-09 | Amazon Technologies, Inc. | Load shedding techniques for distributed services with persistent client connections to ensure quality of service |
US9860317B1 (en) | 2015-04-30 | 2018-01-02 | Amazon Technologies, Inc. | Throughput throttling for distributed file storage services with varying connection characteristics |
US9390154B1 (en) | 2015-08-28 | 2016-07-12 | Swirlds, Inc. | Methods and apparatus for a distributed database within a network |
US10747753B2 (en) | 2015-08-28 | 2020-08-18 | Swirlds, Inc. | Methods and apparatus for a distributed database within a network |
US9529923B1 (en) | 2015-08-28 | 2016-12-27 | Swirlds, Inc. | Methods and apparatus for a distributed database within a network |
CN105426483B (zh) * | 2015-11-19 | 2019-01-11 | 华为技术有限公司 | 一种基于分布式系统的文件读取方法及装置 |
US10140312B2 (en) | 2016-03-25 | 2018-11-27 | Amazon Technologies, Inc. | Low latency distributed storage service |
US10474636B2 (en) | 2016-03-25 | 2019-11-12 | Amazon Technologies, Inc. | Block allocation for low latency file systems |
US10545927B2 (en) | 2016-03-25 | 2020-01-28 | Amazon Technologies, Inc. | File system mode switching in a distributed storage service |
LT3539026T (lt) | 2016-11-10 | 2022-03-25 | Swirlds, Inc. | Būdai ir aparatas paskirstytajai duomenų bazei, apimančiai anonimines įvestis |
WO2018118930A1 (en) | 2016-12-19 | 2018-06-28 | Swirlds, Inc. | Methods and apparatus for a distributed database that enables deletion of events |
KR102415097B1 (ko) | 2017-07-11 | 2022-06-29 | 스월즈, 인크. | 네트워크 내의 분산 데이터베이스를 효율적으로 구현하기 위한 방법들 및 장치 |
US10296821B2 (en) * | 2017-08-17 | 2019-05-21 | Assa Abloy Ab | RFID devices and methods of making the same |
RU2740865C1 (ru) | 2017-11-01 | 2021-01-21 | Свирлдз, Инк. | Способы и устройство для эффективной реализации базы данных, поддерживающей быстрое копирование |
RU2696212C1 (ru) * | 2018-01-30 | 2019-07-31 | Леонид Евгеньевич Посадсков | Способ обеспечения защищенной передачи данных в облачных хранилищах с использованием частичных образов |
CN111008026B (zh) | 2018-10-08 | 2024-03-26 | 阿里巴巴集团控股有限公司 | 集群管理方法、装置及系统 |
SG11202109729SA (en) | 2019-05-22 | 2021-10-28 | Swirlds Inc | Methods and apparatus for implementing state proofs and ledger identifiers in a distributed database |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544347A (en) * | 1990-09-24 | 1996-08-06 | Emc Corporation | Data storage system controlled remote data mirroring with respectively maintained data indices |
US6256642B1 (en) * | 1992-01-29 | 2001-07-03 | Microsoft Corporation | Method and system for file system management using a flash-erasable, programmable, read-only memory |
US6119151A (en) * | 1994-03-07 | 2000-09-12 | International Business Machines Corp. | System and method for efficient cache management in a distributed file system |
US5634096A (en) * | 1994-10-31 | 1997-05-27 | International Business Machines Corporation | Using virtual disks for disk system checkpointing |
US5933847A (en) * | 1995-09-28 | 1999-08-03 | Canon Kabushiki Kaisha | Selecting erase method based on type of power supply for flash EEPROM |
US6052797A (en) * | 1996-05-28 | 2000-04-18 | Emc Corporation | Remotely mirrored data storage system with a count indicative of data consistency |
US6460054B1 (en) * | 1999-12-16 | 2002-10-01 | Adaptec, Inc. | System and method for data storage archive bit update after snapshot backup |
US7194504B2 (en) * | 2000-02-18 | 2007-03-20 | Avamar Technologies, Inc. | System and method for representing and maintaining redundant data sets utilizing DNA transmission and transcription techniques |
US6643672B1 (en) | 2000-07-31 | 2003-11-04 | Hewlett-Packard Development Company, Lp. | Method and apparatus for asynchronous file writes in a distributed file system |
US7065618B1 (en) * | 2003-02-14 | 2006-06-20 | Google Inc. | Leasing scheme for data-modifying operations |
JP4473513B2 (ja) * | 2003-02-27 | 2010-06-02 | 富士通株式会社 | 原本性検証装置および原本性検証プログラム |
US7624021B2 (en) * | 2004-07-02 | 2009-11-24 | Apple Inc. | Universal container for audio data |
US7584220B2 (en) * | 2004-10-01 | 2009-09-01 | Microsoft Corporation | System and method for determining target failback and target priority for a distributed file system |
US7716180B2 (en) * | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
US7647329B1 (en) * | 2005-12-29 | 2010-01-12 | Amazon Technologies, Inc. | Keymap service architecture for a distributed storage system |
CN100437502C (zh) * | 2005-12-30 | 2008-11-26 | 联想(北京)有限公司 | 基于安全芯片的防病毒方法 |
CN1859204A (zh) * | 2006-03-21 | 2006-11-08 | 华为技术有限公司 | 实现双机热备份中同步数据的方法及装置 |
WO2008070813A2 (en) * | 2006-12-06 | 2008-06-12 | Fusion Multisystems, Inc. (Dba Fusion-Io) | Apparatus, system, and method for a front-end, distributed raid |
CN100445963C (zh) * | 2007-02-15 | 2008-12-24 | 华为技术有限公司 | 一种实现高可靠性空闲链表的方法及装置 |
JP4897524B2 (ja) * | 2007-03-15 | 2012-03-14 | 株式会社日立製作所 | ストレージシステム及びストレージシステムのライト性能低下防止方法 |
US7975109B2 (en) * | 2007-05-30 | 2011-07-05 | Schooner Information Technology, Inc. | System including a fine-grained memory and a less-fine-grained memory |
CN101334797B (zh) | 2008-08-04 | 2010-06-02 | 中兴通讯股份有限公司 | 一种分布式文件系统及其数据块一致性管理的方法 |
-
2008
- 2008-08-04 CN CN2008101422912A patent/CN101334797B/zh active Active
-
2009
- 2009-07-30 EP EP09804443A patent/EP2330519A4/en not_active Withdrawn
- 2009-07-30 US US13/057,187 patent/US8285689B2/en active Active
- 2009-07-30 WO PCT/CN2009/000855 patent/WO2010015143A1/zh active Application Filing
- 2009-07-30 RU RU2011107514/08A patent/RU2449358C1/ru active
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8285689B2 (en) | 2008-08-04 | 2012-10-09 | Zte Corporation | Distributed file system and data block consistency managing method thereof |
WO2010015143A1 (zh) * | 2008-08-04 | 2010-02-11 | 中兴通讯股份有限公司 | 一种分布式文件系统及其数据块一致性管理的方法 |
US8935354B2 (en) | 2011-12-02 | 2015-01-13 | International Business Machines Corporation | Coordinating write sequences in a data storage system |
CN103959262B (zh) * | 2011-12-02 | 2016-08-17 | 国际商业机器公司 | 协调数据存储系统中的写入序列的方法和系统 |
WO2013080083A1 (en) * | 2011-12-02 | 2013-06-06 | International Business Machines Corporation | Coordinating write sequences in a data storage system |
GB2511021B (en) * | 2011-12-02 | 2015-05-06 | Ibm | Coordinating write sequences in a data storage system |
CN103959262A (zh) * | 2011-12-02 | 2014-07-30 | 国际商业机器公司 | 协调数据存储系统中的写入序列 |
GB2511021A (en) * | 2011-12-02 | 2014-08-20 | Ibm | Coordinating write sequences in a data storage system |
US8849939B2 (en) | 2011-12-02 | 2014-09-30 | International Business Machines Corporation | Coordinating write sequences in a data storage system |
CN102750322A (zh) * | 2012-05-22 | 2012-10-24 | 中国科学院计算技术研究所 | 一种机群文件系统分布式元数据一致性保证方法和系统 |
CN102750322B (zh) * | 2012-05-22 | 2014-11-05 | 中国科学院计算技术研究所 | 一种机群文件系统分布式元数据一致性保证方法和系统 |
WO2014048396A1 (zh) * | 2012-09-29 | 2014-04-03 | 中兴通讯股份有限公司 | 分布式文件系统和分布式文件系统的数据备份方法 |
CN102890716A (zh) * | 2012-09-29 | 2013-01-23 | 南京中兴新软件有限责任公司 | 分布式文件系统和分布式文件系统的数据备份方法 |
CN102890716B (zh) * | 2012-09-29 | 2017-08-08 | 南京中兴新软件有限责任公司 | 分布式文件系统和分布式文件系统的数据备份方法 |
CN103729436A (zh) * | 2013-12-27 | 2014-04-16 | 中国科学院信息工程研究所 | 一种分布式元数据管理方法及系统 |
CN105960639A (zh) * | 2014-01-31 | 2016-09-21 | 谷歌公司 | 分布式存储系统中的优先化数据重构 |
CN105960639B (zh) * | 2014-01-31 | 2019-05-28 | 谷歌有限责任公司 | 分布式存储系统中的优先化数据重构 |
CN104699771A (zh) * | 2015-03-02 | 2015-06-10 | 北京京东尚科信息技术有限公司 | 数据同步方法和集群节点 |
CN105892954A (zh) * | 2016-04-25 | 2016-08-24 | 乐视控股(北京)有限公司 | 基于多副本的数据存储方法和装置 |
CN108241548A (zh) * | 2016-12-23 | 2018-07-03 | 航天星图科技(北京)有限公司 | 一种基于分布式系统的文件读取方法 |
CN107071031A (zh) * | 2017-04-19 | 2017-08-18 | 电子科技大学 | 基于chunk块版本号的分布式块存储系统数据恢复判定方法 |
CN107071031B (zh) * | 2017-04-19 | 2019-11-05 | 电子科技大学 | 基于chunk块版本号的分布式块存储系统数据恢复判定方法 |
Also Published As
Publication number | Publication date |
---|---|
RU2449358C1 (ru) | 2012-04-27 |
US20110161302A1 (en) | 2011-06-30 |
WO2010015143A1 (zh) | 2010-02-11 |
EP2330519A4 (en) | 2011-11-23 |
US8285689B2 (en) | 2012-10-09 |
CN101334797B (zh) | 2010-06-02 |
EP2330519A1 (en) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101334797B (zh) | 一种分布式文件系统及其数据块一致性管理的方法 | |
US11755415B2 (en) | Variable data replication for storage implementing data backup | |
US11500821B2 (en) | Synchronizing metadata in a data storage platform comprising multiple computer nodes | |
US7440977B2 (en) | Recovery method using extendible hashing-based cluster logs in shared-nothing spatial database cluster | |
JP5254611B2 (ja) | 固定内容分散データ記憶のためのメタデータ管理 | |
AU2005207573B2 (en) | Geographically distributed clusters | |
CN105359099B (zh) | 索引更新管线 | |
US20130110873A1 (en) | Method and system for data storage and management | |
US20200278984A1 (en) | Method and apparatus to neutralize replication error and retain primary and secondary synchronization during synchronous replication | |
CA2550614C (en) | Cluster database with remote data mirroring | |
US10366106B2 (en) | Quorum-based replication of data records | |
US9652346B2 (en) | Data consistency control method and software for a distributed replicated database system | |
US7761431B2 (en) | Consolidating session information for a cluster of sessions in a coupled session environment | |
JP2016524750A5 (zh) | ||
JP2013544386A (ja) | 分散型データベースにおいてインテグリティを管理するためのシステム及び方法 | |
JP2012511773A (ja) | 効率的なデータ同期化のための方法及びシステム | |
EP2380090B1 (en) | Data integrity in a database environment through background synchronization | |
US20070282878A1 (en) | System and method for online reorganization of a database using flash image copies | |
CN107870954B (zh) | 一种分布式数据库的扩展方法及装置 | |
EP4213038A1 (en) | Data processing method and apparatus based on distributed storage, device, and medium | |
CN113010496A (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
CN116303789A (zh) | 多分片多副本数据库并行同步方法、装置及可读介质 | |
US11372838B2 (en) | Parallel processing of changes in a distributed system | |
AU2011265370B2 (en) | Metadata management for fixed content distributed data storage | |
KR20110070677A (ko) | 비대칭 클러스터링 파일 시스템에서의 오류 복구 처리 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |