CN103544081A - 双元数据服务器的管理方法和装置 - Google Patents

Abstract

本发明公开了一种双元数据服务器的管理方法和装置，其中，每个元数据服务器包括主列表和从列表，该管理方法包括：元数据服务器将接收到的信息存储到自身的主列表中，并将该信息同步到另一个服务器的从列表中；每个元数据服务器根据存储的主列表中的信息对副本进行操作。本发明通过采用主备模式实现了双元数据服务器的系统，并且每个元数据服务器都根据各自的主列表中的信息对副本进行操作，能够在提高系统的服务能力，此外，在元数据服务器中备份另一个元数据服务器的信息，能够增强系统的容错能力，简化主备模式的双元数据服务器系统的管理方式。

Description

双元数据服务器的管理方法和装置

技术领域

本发明涉及计算机领域，并且特别地，涉及一种双元数据服务器的管理方法和装置。

背景技术

对象服务的系统中，一般采用多副本的方式存储对象，同一对象的不同副本存储在不同OSD（Object-based Storage Device，基于对象的存储设备）上，多副本的存储方式有利于增强系统的容错能力。数据的元数据存储在MDS（Metadata Server，元数据服务器）上，MDS作为分布式系统中重要的元数据服务器，在应用中一般通过主备模式来实现容错机制，或者也可采用互为主备的模式，提高系统的服务能力。当主MDS宕机，可以由备MDS进行接管，再次启动宕机的主MDS，控制权从备MDS转移回去主MDS。

现有技术中，采用单个MDS的系统的元数据存储方面容错能力较低，因此为了提高系统的容错能力，会采用主备方式的MDS，但是此方法系统的服务能力不高，而现有技术中采用互为主备的两个MDS具有较高的复杂度，难以实现。

针对相关技术中系统的服务能力和容错能力低不能兼得的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中系统的服务能力和容错能力低不能兼得的问题，本发明提出一种双元数据服务器的管理方法和装置，能够在提高系统的服务能力的同时，增强系统的容错能力。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种双元数据服务器的管理方法，每个元数据服务器包括主列表和从列表。

上述管理方法包括：

元数据服务器将接收到的信息存储到自身的主列表中，并将该信息同步到另一个服务器的从列表中；

每个元数据服务器根据存储的主列表中的信息对副本进行操作。

此外，上述管理方法进一步包括：

在一个元数据服务器出现故障的情况下，另一元数据服务器根据存储的从列表接管出现故障的元数据服务器的任务。

并且，上述管理方法进一步包括：

在出现故障的元数据服务器恢复的情况下，另一元数据服务器对该恢复的元数据服务器进行数据同步。

优选地，每个元数据服务器根据存储的主列表中的信息对副本进行操作包括：

每个元数据服务器根据当前主副本对出现故障的从副本进行数据同步。

可选地，在出现故障的副本为主副本的情况下，选择从副本作为当前主副本；

根据该当前主副本对出现故障的主副本进行数据同步。

并且，进一步包括：

元数据服务器根据上报的故障信息建立故障对象的索引文件；

元数据服务器遍历索引文件，查询根据故障对象所在的文件的当前状态确定是否进行对象修复。

根据本发明的一个方面，提供了一种双元数据服务器的管理装置，每个元数据服务器包括主列表和从列表。

该管理装置包括：

存储模块，位于每个元数据服务器内，用于将接收到的信息存储到元数据服务器的主列表中，存储模块还用于将该信息同步到另一个服务器的从列表中；

操作模块，位于每个元数据服务器内，用于根据存储的主列表中的信息对副本进行操作。

此外，上述管理装置进一步包括：

任务接管模块，位于每个元数据服务器内，在一个元数据服务器出现故障的情况下，另一元数据服务器的任务接管模块用于根据所在元数据服务器中存储的从列表接管出现故障的元数据服务器的任务。

并且，上述管理装置进一步包括：

数据同步模块，位于每个元数据服务器内，在出现故障的元数据服务器恢复的情况下，另一元数据服务器的数据同步模块对该恢复的元数据服务器进行数据同步。

优选地，操作模块进一步用于根据当前主副本对出现故障的从副本进行数据同步。

本发明通过采用主备模式实现了双元数据服务器的系统，并且每个元数据服务器都根据各自的主列表中的信息对副本进行操作，能够在提高系统的服务能力，此外，在元数据服务器中备份另一个元数据服务器的信息，能够增强系统的容错能力，简化主备模式的双元数据服务器系统的管理方式。

附图说明

图1是根据本发明实施例的双元数据服务器的管理方法的流程图；

图2是根据本发明实施例在双元数据服务器系统中修复从副本故障的示意图；

图3是根据本发明实施例的在双元数据服务器系统中进行数据修复的示意图；

图4是根据本发明实施例在主MDS宕机情况下对系统进行管理的示意图；

图5是根据本发明实施例的双元数据服务器的管理装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种双元数据服务器的管理方法，每个元数据服务器包括主列表和从列表。

如图1所示，根据本发明实施例的管理方法包括：

步骤S101，元数据服务器将接收到的信息存储到自身的主列表中，并将该信息同步到另一个服务器的从列表中；

步骤S103，每个元数据服务器根据存储的主列表中的信息对副本进行操作，优选地，每个元数据服务器根据当前主副本对出现故障的从副本进行数据同步。

此外，根据本发明实施例的管理方法可以在一个元数据服务器出现故障的情况下，另一元数据服务器根据存储的从列表接管出现故障的元数据服务器的任务。此外，在出现故障的元数据服务器恢复的情况下，另一元数据服务器对该恢复的元数据服务器进行数据同步。

可选地，在出现故障的副本为主副本的情况下，选择从副本作为当前主副本，其中，可以根据从副本的当前状态，或是从副本所在的OSD的性能等方面进行新主副本的选择；根据该当前主副本对出现故障的主副本进行数据同步。

并且，根据本发明实施例的管理方法可以进一步元数据服务器根据上报的故障信息建立故障对象的索引文件；元数据服务器遍历索引文件，查询根据故障对象所在的文件的当前状态确定是否进行对象修复。

根据本发明的一个实施例，提供了一种双元数据服务器的管理方法。具体包括以下方面：采用固定大小（例如，64MB）的对象存储文件，其中，文件的元数据存放在两个MDS上，两个MDS采用互为备份的方式，两个MDS上可以以不同的方式存储相同的元数据，每个MDS具有主列表和从列表，系统可以将系统中的任务根据本领域公知的任务分配方法分配到两个MDS上，主列表中存储的信息为分配到本机上的任务，而从列表中的信息为另一MDS的主列表中的信息。对象存储在OSD上，对象的多副本采用主从的方式进行存储，即，不同的副本存储在不同的OSD上。

在对象的多个副本出现故障或不一致时，主副本将故障信息上报MDS（可以将该故障信息分配的MDS作为主MDS，将另一MDS称为备份MDS），MDS记录到本地同时记录到备份MDS上；正常情况下，主MDS负责处理对象的修复，当主MDS宕机时，备MDS根据从列表替代主MDS负责对象的修复，通过这样的方式能够在只存在一份元数据和一份数据副本的情况下，能顺利完成正常操作和数据修复。

在外部数据交互过程中，用户通过客户端与系统进行数据读写，客户端提供通用文件系统接口，用户使用时与本地文件系统没有区别。

在内部数据交互过程中，客户端向MDS获取对象的存储信息，如果对象不存在，则MDS负责创建新对象，客户端向OSD发起操作请求；OSD响应客户端的请求，如果是修改操作，则主副本将请求转发给从副本，即，对副本进行同步操作。

在对象修复过程中，MDS定期遍历故障对象索引文件，查询inode（故障对象所在的文件）中对象的最新信息，如果对象存在故障副本，则通知OSD进行对象修复，OSD修复完成后，通知MDS更新对象副本的状态信息，并在故障对象索引文件中删除该对象的记录。

当一个MDS宕机时，另一个MDS除了修复自身的对象外，需要读取自身的从列表中为另一个MDS备份的故障对象的信息，发给主OSD，在主OSD修复完成后，报告备份MDS修复完成，备份MDS记录到inode中，待宕机的MDS重启后，由另一个MDS根据系统的一致性机制对重启的MDS进行元数据同步。

根据本发明的另一个实施例，提供了一种双元数据服务器中从副本故障的的修复方法。如图2所示，1.主副本操作从副本；2.从副本返回操作失败的信息，主副本发现从副本出错，或者，在未示出的实施例中，可以通过主从副本间的心跳机制等方式来判断出错的从副本；3.主副本向主MDS报告从副本的故障信息，主MDS在主列表中记录对象的从副本故障；4.主MDS将从副本的故障信息同步到备MDS的从列表中；5.主MDS应答主OSD；6.主MDS应答对象的主副本，然后，可以通过主副本对出现故障的从副本进行数据同步。

根据本发明的另一个实施例，提供了一种双元数据服务器时的数据修复过程。如图3所示，1.主MDS通知主副本，对从副本进行修复；2.主副本对从副本进行修复；3.在主副本对从副本修复完成后，从副本应答主副本；4.主副本应答主MDS。此外，未在图中示出，主MDS对备MDS的同步操作，仅示出了主MDS对数据进行修复的过程。

根据本发明的另一个实施例，提供了一种在主MDS宕机情况下对象的修复方法。如图4所示，在主MDS宕机的情况下，备MDS根据自身的从列表接管主MDS的业务，其下的过程包括：1.备MDS通知主副本对从副本进行对象修复；2.主副本对从副本进行修复；3.对象修复完成后，应答主副本；4.主副本对备MDS进行应答。图中未示出，当主MDS恢复后，备MDS根据系统的一致性机制对恢复后的主MDS进行数据同步，然后将主MDS的业务转移回去。

根据本发明的一个实施例，提供了一种双元数据服务器的管理装置，每个元数据服务器包括主列表和从列表。

如图5所示，根据本发明实施例的管理装置包括：

存储模块51，位于每个元数据服务器内，用于将接收到的信息存储到元数据服务器的主列表中，存储模块还用于将该信息同步到另一个服务器的从列表中；

操作模块52，位于每个元数据服务器内，用于根据存储的主列表中的信息对副本进行操作。

此外，根据本发明实施例的管理装置进一步包括：

任务接管模块（未示出），位于每个元数据服务器内，在一个元数据服务器出现故障的情况下，另一元数据服务器的任务接管模块用于根据所在元数据服务器中存储的从列表接管出现故障的元数据服务器的任务。

并且，根据本发明实施例的管理装置进一步包括：

数据同步模块（未示出），位于每个元数据服务器内，在出现故障的元数据服务器恢复的情况下，另一元数据服务器的数据同步模块对该恢复的元数据服务器进行数据同步。

优选地，操作模块52进一步用于根据当前主副本对出现故障的从副本进行数据同步。

综上所述，借助于本发明的上述技术方案，本发明通过采用主备模式实现了双元数据服务器的系统，并且每个元数据服务器都根据各自的主列表中的信息对副本进行操作，能够在提高系统的服务能力，此外，在元数据服务器中备份另一个元数据服务器的信息，能够增强系统的容错能力，简化主备模式的双元数据服务器系统的管理方式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种双元数据服务器的管理方法，其特征在于，每个元数据服务器包括主列表和从列表，所述管理方法包括：

元数据服务器将接收到的信息存储到自身的主列表中，并将该信息同步到另一个服务器的从列表中；

每个元数据服务器根据存储的主列表中的信息对副本进行操作。

2.根据权利要求1所述的管理方法，其特征在于，进一步包括：

在一个元数据服务器出现故障的情况下，另一元数据服务器根据存储的从列表接管出现故障的元数据服务器的任务。

3.根据权利要求2所述的管理方法，其特征在于，进一步包括：

在出现故障的元数据服务器恢复的情况下，另一元数据服务器对该恢复的元数据服务器进行数据同步。

4.根据权利要求1所述的管理方法，其特征在于，每个元数据服务器根据存储的主列表中的信息对副本进行操作包括：

每个元数据服务器根据当前主副本对出现故障的从副本进行数据同步。

5.根据权利要求4所述的管理方法，其特征在于，在出现故障的副本为主副本的情况下，选择从副本作为当前主副本；

根据该当前主副本对出现故障的主副本进行数据同步。

6.根据权利要求1所述的管理方法，其特征在于，进一步包括：

元数据服务器根据上报的故障信息建立故障对象的索引文件；

元数据服务器遍历所述索引文件，查询根据所述故障对象所在的文件的当前状态确定是否进行对象修复。

7.一种双元数据服务器的管理装置，其特征在于，每个元数据服务器包括主列表和从列表，所述管理装置包括：

存储模块，位于每个元数据服务器内，用于将接收到的信息存储到元数据服务器的主列表中，所述存储模块还用于将该信息同步到另一个服务器的从列表中；

操作模块，位于每个元数据服务器内，用于根据存储的主列表中的信息对副本进行操作。

8.根据权利要求7所述的管理装置，其特征在于，进一步包括：

任务接管模块，位于每个元数据服务器内，在一个元数据服务器出现故障的情况下，另一元数据服务器的任务接管模块用于根据所在元数据服务器中存储的从列表接管出现故障的元数据服务器的任务。

9.根据权利要求8所述的管理装置，其特征在于，进一步包括：

数据同步模块，位于每个元数据服务器内，在出现故障的元数据服务器恢复的情况下，另一元数据服务器的数据同步模块对该恢复的元数据服务器进行数据同步。

10.根据权利要求7所述的管理装置，其特征在于，所述操作模块进一步用于根据当前主副本对出现故障的从副本进行数据同步。

Images