CN103235748A - 元数据的管理方法和系统 - Google Patents

Abstract

本发明公开了一种元数据的管理方法和系统，其中，该方法包括：在原主服务器出现异常的情况下，根据存储数据量选择备份服务器作为当前主服务器并替代原主服务器提供服务；根据当前主服务器相比于其它每个备用服务器的差量数据，对每个备用服务器进行同步，其中，在同步期间，禁止将当前主服务器因提供服务而改变的数据发送给其它备份服务器。本发明通过选择当前主服务器且提供服务，并对当前主服务器与备份服务器进行数据同步，能够使当前主服务器进行正常的业务接管，从而有效地实现主备服务器之间的替换，并且在同步期间禁止发送提供服务而改变数据来防止乱序数据同步，从而保证了系统的稳定性和可靠性，提升了用户的体验感。

Description

元数据的管理方法和系统

技术领域

本发明涉及计算机领域，并且特别地，涉及一种元数据的管理方法和系统。

背景技术

分布式系统通常对元数据和数据采用分别存储的方法，而且对于分布式文件系统中的元数据，通常采用写双份或者写多份的管理方法来进行存储，通过这样的方法，可以产生两方面益处：1.当某个元数据服务器发生异常时，其它的元数据服务器能够及时地接管异常服务器上的业务，使分布式文件系统的终端用户不会感觉有异常情况，提升了用户体验感；2.元数据服务器互为主备，当主服务器上有新增业务时，会对备份元数据服务器进行数据同步，提高了系统的可靠性。但是，随着元数据服务器个数的增加，元数据的管理就变得越来越复杂，多个元数据服务器的一致性处理就会变得更加困难，如何维护多份元数据的可靠性并且实现元数据服务器的无损切换，是当前研究的热点和难点问题。

在存有多份元数据的分布式文件系统中，客户端对一个元数据进行写操作，这些新增加的写操作将会同步到备份元数据服务器上，然后备份元数据服务器会将收到的数据保存到其对应的元数据存储空间中，同时，给数据源发送确认信息。当主元数据服务器发生故障时，由于系统的复杂性和错误的多样性，多份备份元数据服务器上的元数据处于非常复杂的状态，这样，就导致对备份元数据服务器接管异常的元数据服务器的业务的很多处理上存在不确定性，使接管业务的程序变得非常复杂，并且难以处理业务的接管。

此外，当异常的主元数据服务器恢复正常后，存在一个将当前主服务器上的业务切换回恢复的主服务器的操作，当服务器个数越多时，这种切换就变得越复杂。

针对相关技术中接管异常元数据服务器业务的操作复杂，导致系统不稳定的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中接管异常元数据服务器业务的操作复杂，导致系统不稳定的问题，本发明提出一种元数据的管理方法和系统，能够使正常的元数据服务器顺利地接管异常元数据服务器上的业务，从而有效地实现主备服务器之间的替换，保证系统的稳定性和可靠性，提升用户的体验感。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种元数据的管理方法。

根据本发明实施例的管理方法包括：

在原主服务器出现异常的情况下，根据存储数据量选择备份服务器作为当前主服务器并替代原主服务器提供服务；

根据当前主服务器相比于其它每个备用服务器的差量数据，对每个备用服务器进行同步，其中，在同步期间，禁止将当前主服务器因提供服务而改变的数据发送给其它备份服务器。

其中，在同步完成之后，根据本发明实施例的管理方法包括：

当前主服务器将因提供服务而改变的数据发送至其它备份服务器。

并且，在其它备份服务器从当前主服务器接收到因提供服务而改变的数据之后，给当前主服务器发送确认信息。

而且，根据本发明实施例的管理方法还包括：

在原主服务器恢复正常之后，确定当前主服务器与原主服务器之间的差量数据；

根据当前主服务器与原主服务器之间的差量数据对原主服务器进行同步，其中，在同步期间，禁止将当前主服务器因提供服务而改变的数据发送给原主服务器。

进一步地，在对原主服务器完成同步之后，将当前主服务器的业务切换至原主服务器，由原主服务器替代当前主服务器提供服务。

此外，根据本发明实施例的管理方法进一步包括：

在备份服务器出现异常的情况下，禁止提供服务的主服务器向出现异常的备份服务器发送数据；

清除该出现异常的备份服务器在异常期间产生的错误数据。

根据本发明的一个方面，提供了一种元数据的管理系统。

该管理系统包括：

选择模块，用于在原主服务器出现异常的情况下，根据存储数据量选择备份服务器作为当前主服务器并替代原主服务器提供服务；

同步模块，用于，根据当前主服务器相比于其它每个备用服务器的差量数据，对每个备用服务器进行同步，其中，在同步期间，禁止将当前主服务器因提供服务而改变的数据发送给其它备份服务器。

其中，该管理系统还包括：

发送模块，用于将当前主服务器将因提供服务而改变的数据发送至其它备份服务器。

并且，该管理系统还包括：

确认接收模块，用于在其它备份服务器从当前主服务器接收到因提供服务而改变的数据之后，给当前主服务器发送确认信息。

此外，该管理系统进一步包括：

禁止发送模块，用于在备份服务器出现异常的情况下，禁止提供服务的主服务器向出现异常的备份服务器发送数据；

清除模块，用于清除该出现异常的备份服务器在异常期间产生的错误数据。

本发明通过选择当前主服务器且提供服务，并对当前主服务器与备份服务器进行数据同步，能够使当前主服务器进行正常的业务接管，从而有效地实现主备服务器之间的替换，并且在同步期间禁止发送提供服务而改变数据来防止乱序数据同步，从而保证了系统的稳定性和可靠性，提升了用户的体验感。

附图说明

图1是根据本发明实施例的元数据的管理方法的流程图；

图2是根据本发明实施例的元数据的管理方法的各个状态的示意图；

图3是根据本发明实施例的元数据的管理系统的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其它实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种元数据的管理方法。

如图1所示，根据本发明实施例的管理方法包括：

步骤S101，在原主服务器出现异常的情况下，根据存储数据量选择备份服务器作为当前主服务器并替代原主服务器提供服务，该步骤处于文中所描述的NODEDOWN状态；

步骤S103，根据当前主服务器相比于其它每个备用服务器的差量数据，对每个备用服务器进行同步，其中，在同步期间，禁止将当前主服务器因提供服务而改变的数据发送给其它备份服务器，该步骤处于文中所描述的RCVR状态。

其中，当前主服务器可以由于提供修改、增加、删除等操作而改变数据。

其中，在同步完成之后，根据本发明实施例的管理方法可以包括：当前主服务器将因提供服务而改变的数据发送至其它备份服务器。并且，在其它备份服务器从当前主服务器接收到因提供服务而改变的数据之后，给当前主服务器发送确认信息，该步骤处于文中所说的NORMAL状态。

而且，根据本发明实施例的管理方法还可以包括：在原主服务器恢复正常之后，确定当前主服务器与原主服务器之间的差量数据；根据当前主服务器与原主服务器之间的差量数据对原主服务器进行同步，其中，在同步期间，禁止将当前主服务器因提供服务而改变的数据发送给原主服务器，该步骤处于文中所描述的RCVR状态。

进一步地，在对原主服务器完成同步之后，将当前主服务器的业务切换至原主服务器，由原主服务器替代当前主服务器提供服务，该步骤处于文中所描述的SWITCH状态。

此外，根据本发明实施例的管理方法可以进一步包括：在备份服务器出现异常的情况下，禁止提供服务的主服务器向出现异常的备份服务器发送数据；清除该出现异常的备份服务器在异常期间产生的错误数据，该步骤处于文中所描述的NODEDOWN状态。

如图2所示，可将分布式文件系统的元数据组(即多个元数据服务器)的工作状态分为以下六种：1、初始化状态(INIT)；2、在线状态(ONLINE)；3、恢复状态(RCVR)；4、切换状态(SWITCH)；5、正常工作状态(NORMAL)6、节点异常(NODEDOWN)。根据本发明实施例的管理方法可将元数据服务器的状态变化控制在在这几种状态中，通过这几种状态的管理，可以有效地处理多份元数据的管理问题。

当然，以上状态仅仅只是列举了本发明提供的元数据管理方法中的一个实施例，可以根据实际情况来增加、修改或者减少上述工作状态。

根据本发明实施例的管理方法，并且参照图2，管理元数据组状态变化可以包括：

初始化状态(INIT)21：当某元数据服务器上线后，系统处于INIT状态21，此时，系统不对外提供服务，需要等待组内的其它元数据服务器上线。

在线状态(ONLINE)22：当组内其它一些或所有元数据服务器都上线，或者在等待超时的情况下，系统状态为ONLINE状态22，此时，系统需要根据元数据服务器上记录的事务信息来进行选主，也就是选择元数据存储空间存储的信息量最多的节点作为主服务节点，其它节点都作为备份节点。

恢复状态(RCVR)23：选出主从关系后，系统可以对外提供业务了，时，系统的状态变为RCVR状态23，由主服务节点对外提供服务，此时，在主服务器上产生的数据只在本服务器上接收，而不向其它的备份元数据服务器发送；同时，主服务器还会启动向备份服务器进行主服务器与备份服务器之间的差量数据同步的操作，即，先将主服务器与其它备份服务器进行对比，得出对应于每个备份服务器的差量数据，然后把对比得到的各个差量数据发送到需要此数据的对应的各个备份节点。

正常工作状态(NORMAL)24：该同步操作完成之后，系统进入NORMAL状态，即，由主服务器对外提供服务，同时将提供服务而产生的新增数据向其它备份节点进行发送，其它备份服务器接收到数据以后，向主服务器发送确认信息进行应答，即进行正常的数据处理流程。

节点异常状态(NODEDOWN)25：在NORMAL状态时，若系统发生异常，就会进入NODEDOWN状态。在NODEDOWN状态可以分为两种情况：

情况一、若备份服务器发生异常情况，则主服务器会停止向该异常的备份服务器发送新增数据，同时清理对应备份服务器中的各种资源(异常数据，即网络异常时收到的重复数据等各种数据)；

情况二、若主服务器发生异常情况，则系统首先会在备份元数据服务器中选择一个最合适的节点作为主服务器，在一个实施例中，最合适的备份节点可以指的是保存数据量最多的备份节点。同时，选择出的当前主服务器替代原异常主服务接管业务。

恢复状态(RCVR)23，在上述情况二中，在选出主从关系后，当前主服务器对外提供服务，重复上文中RCVR状态23的操作，即，在当前主服务器上产生的数据只在本服务器上接收，而不向其它的备份元数据服务器发送；同时，当前主服务器还会启动向备份服务器进行差量数据同步的操作，即，先将当前主服务器与其它备份服务器进行对比，得出对应于每个备份服务器的差量数据，然后由当前主服务器把对比得到的各个差量数据发送到需要此数据的对应的各个备份节点。

切换状态(SWITCH)26：当异常的原始主节点上线后，当前的主节点会立即向原始主节点发送差量数据，当差量数据发送完成后，进入SWITCH状态26，此时系统需要进行业务切换，即将服务切换到主元数据服务器上，进行状态机循环。

根据本发明的实施例提供了一种元数据的管理系统。

如图3所示，根据本发明实施例的管理系统可以包括：

选择模块31，用于在原主服务器出现异常的情况下，根据存储数据量选择备份服务器作为当前主服务器并替代原主服务器提供服务；

同步模块32，用于根据当前主服务器相比于其它每个备用服务器的差量数据，对每个备用服务器进行同步，其中，在同步期间，禁止将当前主服务器因提供服务而改变的数据发送给其它备份服务器。

其中，根据本发明实施例的管理系统还包括：发送模块(未示出)，用于将当前主服务器将因提供服务而改变的数据发送至其它备份服务器。

并且，根据本发明实施例的管理系统还可以包括：确认接收模块(未示出)，用于在其它备份服务器从当前主服务器接收到因提供服务而改变的数据之后，给当前主服务器发送确认信息。

此外，根据本发明实施例的管理系统可以进一步包括：禁止发送模块(未示出)，用于在备份服务器出现异常的情况下，禁止提供服务的主服务器向出现异常的备份服务器发送数据；清除模块(未示出)，用于清除该出现异常的备份服务器在异常期间产生的错误数据。

综上所述，借助于本发明的上述技术方案，本发明通过选择当前主服务器且提供服务，并对当前主服务器与备份服务器进行数据同步，能够使当前主服务器进行正常的业务接管，从而有效地实现主备服务器之间的替换，并且在同步期间禁止发送提供服务而改变数据来防止乱序数据同步，从而保证了系统的稳定性和可靠性。本发明提出元数据管理方法能够为分布式系统的元数据管理提供可靠并且快捷的方法，可以同时维护N(N＞＝1)个元数据服务器，当元数据组发生异常后，根据状态的变化，系统可以在稳定的状态中运行。当异常的元数据服务器恢复正常后，再进行状态变化，使系统在最快的时间内恢复为最初始的状态，提升了用户的体验感。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种元数据的管理方法，其特征在于，包括：

在原主服务器出现异常的情况下，根据存储数据量选择备份服务器作为当前主服务器并替代所述原主服务器提供服务；

根据所述当前主服务器相比于其它每个备用服务器的差量数据，对所述每个备用服务器进行同步，其中，在同步期间，禁止将所述当前主服务器因提供服务而改变的数据发送给其它备份服务器。

2.根据权利要求1所述的管理方法，其特征在于，在同步完成之后，包括：

所述当前主服务器将因提供服务而改变的所述数据发送至其它备份服务器。

3.根据权利要求2所述的管理方法，其特征在于，在其它备份服务器从所述当前主服务器接收到因提供服务而改变的数据之后，给所述当前主服务器发送确认信息。

4.根据权利要求1所述的管理方法，其特征在于，包括：

在所述原主服务器恢复正常之后，确定所述当前主服务器与所述原主服务器之间的差量数据；

根据所述当前主服务器与所述原主服务器之间的差量数据对所述原主服务器进行同步，其中，在同步期间，禁止将所述当前主服务器因提供服务而改变的数据发送给所述原主服务器。

5.根据权利要求4所述的管理方法，其特征在于，在对所述原主服务器完成同步之后，将所述当前主服务器的业务切换至所述原主服务器，由所述原主服务器替代所述当前主服务器提供服务。

6.根据权利要求1所述的管理方法，其特征在于，进一步包括：

在备份服务器出现异常的情况下，禁止提供服务的主服务器向出现异常的备份服务器发送数据；

清除该出现异常的备份服务器在异常期间产生的错误数据。

7.一种元数据的管理系统，其特征在于，包括：

选择模块，用于在原主服务器出现异常的情况下，根据存储数据量选择备份服务器作为当前主服务器并替代所述原主服务器提供服务；

同步模块，用于根据所述当前主服务器相比于其它每个备用服务器的差量数据，对所述每个备用服务器进行同步，其中，在同步期间，禁止将所述当前主服务器因提供服务而改变的数据发送给其它备份服务器。

8.根据权利要求7所述的管理系统，其特征在于，还包括：

发送模块，用于将所述当前主服务器将因提供服务而改变的所述数据发送至其它备份服务器。

9.根据权利要求8所述的管理系统，其特征在于，还包括：

确认接收模块，用于在其它备份服务器从所述当前主服务器接收到因提供服务而改变的数据之后，给所述当前主服务器发送确认信息。

10.根据权利要求7所述的管理系统，其特征在于，进一步包括：

禁止发送模块，用于在备份服务器出现异常的情况下，禁止提供服务的主服务器向出现异常的备份服务器发送数据；

清除模块，用于清除该出现异常的备份服务器在异常期间产生的错误数据。

Images