CN103530205A

CN103530205A - 多副本中故障副本的处理方法和装置

Info

Publication number: CN103530205A
Application number: CN201310503495.5A
Authority: CN
Inventors: 付根希; 姜国梁; 彭成; 杨浩; 苗艳超
Original assignee: Dawning Information Industry Beijing Co Ltd
Current assignee: Dawning Information Industry Beijing Co Ltd
Priority date: 2013-10-23
Filing date: 2013-10-23
Publication date: 2014-01-22

Abstract

本发明公开了一种多副本中故障副本的处理方法和装置，其中，该处理方法包括：接收多副本中故障副本的故障信息；根据故障信息，通过当前主副本对故障副本进行数据同步。本发明通过当前主副本对故障副本进行数据同步，能够对故障副本进行修复，从而保证系统中多副本的一致性，扩展系统的容错能力，并且提高系统的可靠性。

Description

多副本中故障副本的处理方法和装置

技术领域

本发明涉及计算机领域，并且特别地，涉及一种多副本中故障副本的处理方法和装置。

背景技术

在大规模的分布式存储系统中，一般情况下采用多副本的方式进行数据存储，这样的存储方法可以提高系统的可靠性，多个副本的一致性和副本中数据的修复是保证数据存储正确的重点内容。现有技术中，一般采用固定大小的对象存储，固定大小的存储方案有利于数据的故障处理和修复，例如，GFS（Google Distributed File System，分布式文件系统）采用64M固定大小的对象。

现有技术中，在对象的多副本进行操作的过程中，副本出现故障，出现多副本不一致的情况，会导致系统的容错能力低，进而导致系统的可靠性降低。

针对相关技术中多副本系统在操作过程中容易出现故障导致系统可靠性降低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中多副本系统在操作过程中容易出现故障导致系统可靠性降低的问题，本发明提出一种多副本中故障副本的处理方法和装置，能够对故障副本进行数据同步，从而保证系统中多副本的一致性，扩展系统的容错能力，提高系统的可靠性。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种多副本中故障副本的处理方法。

该处理方法包括：

接收多副本中故障副本的故障信息；

根据故障信息，通过当前主副本对故障副本进行数据同步。

另外，上述处理方法进一步包括：

在故障副本为从副本的情况下，由主副本对故障副本的故障信息进行上报。

此外，上述处理方法进一步包括：

在故障副本为主副本的情况下，选择一从副本作为当前主副本，由该当前主副本将故障副本的故障信息上报至元数据服务器。

其中，选择一从副本作为当前主副本包括：

向元数据服务器发起换主请求；

元数据服务器在接收到换主请求之后，根据当前从副本的状态选择一从副本作为当前主副本。

并且，上述处理方法进一步包括：

对同步完成的故障副本，在元数据服务器中对该故障副本进行状态更新。

根据本发明的一个方面，提供了一种多副本中故障副本的处理装置。

该处理装置包括：

接收模块，用于接收多副本中故障副本的故障信息；

数据同步模块，用于根据故障信息，通过当前主副本对故障副本进行数据同步。

此外，该处理装置进一步包括：

第一上报模块，用于在故障副本为从副本的情况下，由主副本对故障副本的故障信息进行上报。

此外，该处理装置进一步包括：

选择模块，用于在故障副本为主副本的情况下，选择一从副本作为当前主副本；

第二上报模块，用于由该当前主副本将故障副本的故障信息上报至元数据服务器。

并且，上述选择模块用于向元数据服务器发起换主请求；

元数据服务器在接收到换主请求之后，选择模块还用于根据当前从副本的状态选择一从副本作为当前主副本。

此外，该处理装置进一步包括：

更新模块，对同步完成的故障副本，用于在元数据服务器中对该故障副本进行状态更新。

本发明通过当前主副本对故障副本进行数据同步，能够对故障副本进行修复，从而保证系统中多副本的一致性，扩展系统的容错能力，并且提高系统的可靠性。

附图说明

图1是根据本发明实施例的多副本中故障副本的处理方法的流程图；

图2是根据本发明实施例对多副本中从副本失效时的处理方法的示意图；

图3是根据本发明实施例对多副本中主副本宕机时的处理方法的示意图；

图4是根据本发明实施例对多副本中故障对象的处理方法的示意图；

图5是根据本发明实施例的多副本中故障副本的处理装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种多副本中故障副本的处理方法。

如图1所示，根据本发明实施例的处理方法包括：

步骤S101，接收多副本中故障副本的故障信息；

步骤S103，根据故障信息，通过当前主副本对故障副本进行数据同步，数据采用多副本形式能够提高系统的容错能力。

另外，根据本发明实施例的处理方法可以进一步在故障副本为从副本的情况下，由主副本对故障副本的故障信息进行上报；或者在故障副本为主副本的情况下，选择一从副本作为当前主副本，其中，选择一从副本作为当前主副本可以向元数据服务器（Metadata Server，MDS）发起换主请求；元数据服务器在接收到换主请求之后，根据当前从副本的状态选择一从副本作为当前主副本。然后，由该当前主副本将故障副本的故障信息上报至元数据服务器。最后，根据本发明实施例的处理方法可以进一步对同步完成的故障副本，在元数据服务器中对该故障副本进行状态更新。

根据本发明的实施例，提供了一种多副本中对象出现错误时的处理方法。根据本发明的实施，采用固定大小的对象存储文件，例如，64MB；将文件的原数据存储到MDS上；将对象多个副本分别存储到多个OSD（Object-basedStorage Device，基于对象的存储设备）上。

其中，对象分为主从副本，MDS对副本进行修改操作时，只能操作主副本，然后由主副本同步到从副本中；在主副本可用的情况下，对象的错误处理由主副本负责，即，由主副本负责对出现故障的副本进行故障信息上报，然后MDS操作主副本对故障从副本进行同步；在主副本宕机时，由客户端或从副本向MDS发起换主请求，由MDS根据多个从副本的状态（比如使用状态等）从中选择出主副本，对象的修复操作在MDS控制下，由主副本负责具体的数据操作，即由MDS控制新主副本对故障副本进行同步操作。

在外部数据交互过程中，用户通过客户端与系统进行数据读写，客户端提供通用文件系统接口，用户使用时与本地文件系统没有区别。

在内部数据交互过程中，客户端向MDS获取对象的存储信息，如果对象不存在，则MDS负责创建新对象，客户端向OSD发起操作请求；OSD响应客户端的请求，如果是修改操作，则主副本将请求转发给从副本，即，对副本进行同步操作。

根据本发明的实施例，提供了一种多副本中从副本失效时的处理方法。如图2所示，在从副本失效时，1.（client）从MDS获取对象；2.MDS对客户端作出应答；3.客户端向主副本发送修改操作，主副本执行修改操作；4.主副本向从副本转发修改操作，即对从副本进行数据同步；5.从副本失效，向主副本发送操作失败的应答；6.主副本向MDS报告从副本失效；7.MDS应答主副本，然后根据主副本对从副本进行数据同步；8.主副本应答客户端。

根据本发明的实施例，提供了一种多副本中主副本设备失效的处理方法。1.客户端向主副本发送修改操作，主副本设备失效，操作本地时失败；2.主副本向MDS发起换主请求；3.MDS将执行换主处理，选择一个从副本作为新主副本；4.主副本得到MDS的换主结果后，应答客户端；5.客户端在MDS中更新对象位置信息，然后向新主副本重发操作请求，在失效副本上线后，由新主副本对该失效副本进行数据同步。

根据本发明的实施例，提供了一种多副本中主副本宕机时的处理方法。在客户端（client）向主副本发起修改操作时，发现主副本OSD宕机，如图3所示，1.客户端向MDS申请换主，即，发起换主请求；2.MDS确认主副本OSD宕机后，通过换主操作，在从副本中选择出新主副本；3.从副本应用MDS；4.MDS应答客户端关于新主副本的信息；5.客户端得到最新的对象位置信息，向新主发送修改操作；6.新主副本对客户端进行应答。

根据本发明的实施例，提供了一种多副本中故障对象的修复方法。MDS找出故障的对象，为故障的对象选择新的位置，即，空余的OSD。如图4所示，1.MDS向主副本发送修复对象的命令，命令主副本修复发生过故障的对象的从副本；2.主副本对从副本进行修复操作；3.从副本修复完成之后对主副本进行应答；4.主副本收到从副本的应答之后通知MDS，以便MDS更新对象的该从副本的状态。

根据本发明的实施例，提供了一种多副本中故障副本的处理装置。

如图5所示，根据本发明实施例的处理装置包括：

接收模块51，用于接收多副本中故障副本的故障信息；

数据同步模块52，用于根据故障信息，通过当前主副本对故障副本进行数据同步。

此外，根据本发明实施例的处理装置进一步包括：

第一上报模块（未示出），用于在故障副本为从副本的情况下，由主副本对故障副本的故障信息进行上报。

此外，根据本发明实施例的处理装置进一步包括：

选择模块（未示出），用于在故障副本为主副本的情况下，选择一从副本作为当前主副本；

第二上报模块（未示出），用于由该当前主副本将故障副本的故障信息上报至元数据服务器。

并且，上述选择模块用于向元数据服务器发起换主请求；

此外，根据本发明实施例的处理装置进一步包括：

更新模块（未示出），对同步完成的故障副本，用于在元数据服务器中对该故障副本进行状态更新。

综上所述，借助于本发明的上述技术方案，本发明通过对数据进行多副本的存储方式，能够扩展系统的容错能力，并且通过对故障副本进行数据同步，能够对故障副本进行修复，从而保证系统中多副本的一致性，在存在一份数据时，系统也能够正常服务，提高了系统的可靠性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多副本中故障副本的处理方法，其特征在于，包括：

接收所述多副本中故障副本的故障信息；

根据所述故障信息，通过当前主副本对所述故障副本进行数据同步。

2.根据权利要求1所述的处理方法，其特征在于，进一步包括：

在所述故障副本为从副本的情况下，由主副本对所述故障副本的故障信息进行上报。

3.根据权利要求1所述的处理方法，其特征在于，进一步包括：

在所述故障副本为主副本的情况下，选择一从副本作为当前主副本，由该当前主副本将所述故障副本的故障信息上报至元数据服务器。

4.根据权利要求3所述的处理方法，其特征在于，选择一从副本作为当前主副本包括：

向元数据服务器发起换主请求；

所述元数据服务器在接收到换主请求之后，根据当前从副本的状态选择一从副本作为当前主副本。

5.根据权利要求3或4所述的处理方法，其特征在于，进一步包括：

对同步完成的所述故障副本，在所述元数据服务器中对该故障副本进行状态更新。

6.一种多副本中故障副本的处理装置，其特征在于，包括：

接收模块，用于接收所述多副本中故障副本的故障信息；

数据同步模块，用于根据所述故障信息，通过当前主副本对所述故障副本进行数据同步。

7.根据权利要求6所述的处理装置，其特征在于，进一步包括：

第一上报模块，用于在所述故障副本为从副本的情况下，由主副本对所述故障副本的故障信息进行上报。

8.根据权利要求6所述的处理装置，其特征在于，进一步包括：

选择模块，用于在所述故障副本为主副本的情况下，选择一从副本作为当前主副本；

第二上报模块，用于由该当前主副本将所述故障副本的故障信息上报至元数据服务器。

9.根据权利要求8所述的处理装置方法，其特征在于，所述选择模块用于向元数据服务器发起换主请求；

所述元数据服务器在接收到换主请求之后，所述选择模块还用于根据当前从副本的状态选择一从副本作为当前主副本。

10.根据权利要求8或9所述的处理装置，其特征在于，进一步包括：

更新模块，对同步完成的所述故障副本，用于在所述元数据服务器中对该故障副本进行状态更新。