CN100587692C - 一种提高元数据服务可靠性的方法及其系统 - Google Patents

Abstract

一种提高元数据服务可靠性的方法及其系统，属于计算机存储技术领域，目的是充分利用节点资源，提高元数据服务可靠性。本发明方法包括正常运行、主元数据服务器故障、备用元数据服务器升位、从元数据服务器故障和第二备用元数据服务器升位步骤；本发明系统包括客户节点、存储节点、主元数据服务器和从元数据服务器，各自包括对象元数据服务模块、存储资源管理模块和高可用模块，高可用性模块包括元数据复制模块、故障屏蔽模块、监控模块和选取模块，选取模块从存储节点中选取负载最轻的做为备用元数据服务器；本发明屏蔽故障服务器，切换到下一个元数据服务器，并选取备用元数据服务器，构成主从备链式服务模式，极大提高元数据服务可靠性。

Description

一种提高元数据服务可靠性的方法及其系统

技术领域

本发明属于计算机存储技术领域，具体涉及一种提高元数据服务可靠性的方法及其系统。

背景技术

元数据常称之为“数据的数据”，网络存储系统为降低服务器开销，提高传输速率，多将元数据和数据分离，采用专用元数据服务器负责管理元数据，这样数据传输就不需要经过服务器中转，只需要事先获取足够元数据信息。元数据服务器由此成为联系客户节点和存储节点的枢纽，也容易形成单一失效点，因而需要寻求提高元数据服务可靠性的方法。

传统的网络存储系统多采用主从互备方式提供可靠的元数据服务，如庞丽萍，何飞跃，岳建辉等，“并行文件系统集中式元数据管理高可用系统设计”，计算机工程与科学，2004年第26卷第11期。主元数据服务器和从元数据服务器通过“心跳”检测互连。当监测到主元数据服务器因故障而中断服务后，从元数据服务器承担主元数据服务器功能。引入互备方式后，主元数据服务器和从元数据服务器都出现故障的概率比起单个故障概率要小，元数据服务的可靠性也就相应的提高。

然而，主从互备方式因自身特点限制，未能充分发挥存储系统中其他节点资源的作用，导致不能在可靠性方面做进一步的突破；当主元数据服务器和从元数据服务器都出现故障后，尽管存储系统其他部分仍运转正常，但由于服务器的中心枢纽作用，系统却无法提供存储服务的。为此，本发明提出的一种提高元数据服务可靠性的方法及其系统，充分利用存储系统中的其他节点资源，很大程度上提高元数据服务的可靠性。

发明内容

本发明提供一种提高元数据服务可靠性的方法及其系统，目的是充分利用系统的节点资源，提高元数据服务的可靠性，在元数据服务角度达到系统的“零故障”率。

本发明的一种提高元数据服务可靠性的方法，包括如下步骤：

(1)正常运行步骤，正常状况下，主元数据服务器运行对象元数据服务进程和存储资源管理进程，提供存储系统的元数据服务；通过检测通道连接从元数据服务器，启动监控进程监视对方状态，同时启动选取进程，从存储节点中选取平均相对负载最轻的做为备用元数据服务器；从元数据服务器启动元数据复制进程保证从元数据服务器和主元数据服务器上所有元数据的一致性；

(2)主元数据服务器故障步骤，当监测到主元数据服务器出现故障后，从元数据服务器接管元数据服务请求，运行对象元数据服务进程和存储资源管理进程，启用故障屏蔽进程，屏蔽主元数据服务器故障对系统造成的影响，启动切换子进程，将客户节点的元数据请求切换到从元数据服务器，并启动修复子进程对主元数据服务器进行修复；同时启动选取进程，在存储节点上选取出平均相对负载最轻的做为第二备用元数据服务器；

(3)备用元数据服务器升位步骤，备用元数据服务器承担从元数据服务器的功能，启动监控进程，与从元数据服务器互相监测对方状态，启动元数据复制进程保证它与从元数据服务器上所有元数据的一致性；

(4)从元数据服务器故障步骤，当监测到从元数据服务器出现故障时，已升位的备用元数据服务器接管元数据服务请求，运行对象元数据服务进程和存储资源管理进程，启动故障屏蔽进程，屏蔽从元数据服务器故障对系统的影响，启动修复子进程对从元数据服务器进行修复，并启动加入子进程，判断主元数据服务器是否修复，若修复则将其加入系统提供存储系统的元数据服务，主元数据服务器启动元数据复制进程保证主元数据服务器和备用元数据服务器上所有元数据的一致性，然后运行对象元数据服务进程和存储资源管理进程，启动切换子进程，客户节点的请求切换到主元数据服务器，而备用元数据服务器继续承担从元数据服务器功能，终止对象元数据服务进程和存储资源管理进程，启动元数据复制进程保证它和主元数据服务器上所有元数据的一致性，第二备用元数据服务器做为备用元数据服务器；如果主元数据服务器还在修复阶段，则备用元数据服务器转换为主元数据服务器，由备用元数据服务器提供存储系统的元数据服务，启动切换子进程，客户端请求切换到备用元数据服务器，启动选取进程，在存储节点上选取出平均相对负载最轻的做为第三备用元数据服务器；

(5)第二备用元数据服务器升位步骤，如果主元数据服务器没完成修复，备用元数据服务器转换为主元数据服务器，第二备用元数据服务器承担从元数据服务器功能，启动监控进程，与备用元数据服务器互相监测对方状态，启动元数据复制进程保证它和备用元数据服务器上所有元数据的一致性。

所述的提高元数据服务可靠性的方法，其特征在于：(1)所述对象元数据服务进程提供元数据的查询定位以及更新操作；(2)所述存储资源管理进程管理存储系统中所有的存储节点；(3)所述元数据复制进程保证从元数据服务器和主元数据服务器上所有元数据的一致性；(4)所述监控进程周期性检测对方对象元数据服务进程和存储资源管理进程是否正常运行；(5)所述故障屏蔽进程，包括3个子进程：A切换子进程，当故障发生后，自动将客户端元数据请求切换到另一元数据服务器，提供不间断的元数据服务；B修复子进程，对发生故障的元数据服务器进行必要的修复；C加入子进程，在元数据服务器修复完成后将修复的元数据服务器加入到整个系统中。

所述的提高元数据服务可靠性的方法，其特征在于：所述选取进程，选取平均相对负载最轻的存储节点时，存储节点的负载值为系统队列长度、CPU利用率、内存利用率、磁盘可用空间和网络吞吐量的加权和；存储节点选做备用元数据服务器之后，更新对应的负载值。

本发明的提高元数据服务可靠性的系统，包括客户节点、存储节点和元数据服务器，三者通过网络互连，客户节点发送文件或对象操作请求，包括元数据请求和数据请求；存储节点提供存储服务；元数据服务器包括主元数据服务器和从元数据服务器，它们各自包括对象元数据服务模块、存储资源管理模块和高可用模块，三个模块通过统一的接口对外提供元数据服务，(1)对象元数据服务模块提供元数据的查询定位以及更新操作；(2)存储资源管理模块管理存储系统中所有的存储节点；(3)高可用模块保证元数据服务的可靠性，包括元数据复制模块、故障屏蔽模块和监控模块，(3.1)元数据复制模块保证从元数据服务器和主元数据服务器上所有元数据的一致性；(3.2)故障屏蔽模块屏蔽元数据服务器的故障信息，提供透明持续的元数据请求服务功能，包括3个子模块：A.切换子模块，当前提供元数据服务的元数据服务器发生故障后自动将客户端元数据请求切换到另一元数据服务器，提供不间断的元数据服务；B.修复子模块，对发生故障的元数据服务器进行必要的修复；C.加入子模块，在元数据服务器修复完成后将修复的元数据服务器加入到整个系统中；(3.3)监控模块，周期性检测对方对象元数据服务模块和存储资源管理模块是否正常运行；其特征在于：

(1)所述高可用模块包括选取模块，根据存储节点的历史访问记录和自身负载处理能力，从存储节点中选取平均相对负载较轻的存储节点做为备用元数据服务器；

(2)所述存储节点被选取为备用元数据服务器时，加载主元数据服务器或从元数据服务器的所有功能模块。

依本发明的方法，屏蔽出现故障的服务器，透明切换客户节点请求到下一个主元数据服务器，并选取新的备用元数据服务器，构成了主从备链式元数据服务模式，极大提高元数据服务可靠性，系统在元数据服务角度达到“零故障”率；系统不需增加额外设备保证元数据服务的连续性；充分挖掘存储节点的富余资源，主、从、备三者除了可以提供可靠元数据服务外，在正常情况下通过合理调度还可以均衡负载。

附图说明

图1为本发明提出的主从备链式元数据服务模式示意图；

图2为本发明方法的流程示意图；

图3为本发明的系统结构示意图；

图4为本发明采用主从备链式元数据服务的状态转移图。

具体实施方式

如图1所示，本发明所提出的一种提高元数据服务可靠性的方法是主从备链式元数据服务模式，主元数据服务器11.1和从元数据服务器11.2是提供元数据服务的专用服务器，而后续提供元数据服务的是存储系统中所选取的负载较轻的存储节点(13.i，13.j，13.k，...)。通过这种类似“平移”的链式规则，达到提高元数据服务可靠性的目的。

本发明方法的执行流程如图2所示，正常状况下，主元数据服务器MDS1运行对象元数据服务进程和存储资源管理进程，提供存储系统的元数据服务；通过检测通道连接从元数据服务器MDS2，启动监控进程监视对方状态，同时启动选取进程，选取出备用元数据服务器MDS3；MDS2启动元数据复制进程保证它和主元数据服务器上所有元数据的一致性。

当监测到MDS1出现故障后，MDS2接管元数据服务请求，运行对象元数据服务进程和存储资源管理进程，启用故障屏蔽进程，屏蔽MDS1故障对系统的影响，启动切换子进程，将客户请求切换到MDS2，并启动修复子进程对MDS1进行修复；同时启动选取进程，选取出第二备用元数据服务器MDS4。MDS3承担从元数据服务器的功能，启动监控进程，与MDS2互相监测对方状态，启动元数据复制进程保证同MDS2的元数据一致。

当监测到MDS2出现故障时，MDS3接管元数据服务请求，运行对象元数据服务进程和存储资源管理进程，启动故障屏蔽进程，屏蔽MDS2故障对系统的影响，启动修复子进程对MDS2进行修复，并启动加入子进程，判断主元数据服务器MDS1是否修复，若修复则加入系统提供存储系统的元数据服务，MDS1启动元数据复制进程保证同MDS3上所有元数据一致，然后运行的对象元数据服务进程和存储资源管理进程，启动切换子进程，客户节点的请求切换到MDS1，而MDS3继续承担从元数据服务器功能，终止对象元数据服务进程和存储资源管理进程，启动元数据复制进程保证它和MDS1元数据的同步，MDS4继续做备用元数据服务器；如果MDS1还在修复阶段，则将MDS3提供存储系统的元数据服务，启动切换子进程，客户端请求切换到MDS3，启动选取进程，选取出第三备用元数据服务器MDS5。MDS4承担从元数据服务器功能，启动监控进程，与MDS3互相监测对方状态，启动元数据复制进程保证与MDS3元数据一致。

依本发明的方法，屏蔽出现故障的服务器，从元数据服务器转换为主元数据服务器，响应元数据服务请求，并按照“轻负载”规则不断选取备用元数据服务器，构成了一种主从备链式元数据服务模式。

图3所示为本发明的系统结构示意图，元数据服务器11，客户节点12以及存储节点13是系统的三个重要组成部分，通过网络互连和交互。元数据服务器11主要负责提供元数据服务功能，主要是管理对象的元数据信息；客户节点12负责发送元数据或数据请求；而储节点13提供存储服务。

元数据服务器11包括对象元数据服务模块2、存储资源管理模块4和高可用模块3，对外提供统一的元数据访问接口1。对象元数据服务模块2提供元数据的查询定位以及更新操作；存储资源管理模块4管理存储系统中所有的存储节点；高可用性模块3包括元数据复制模块6、故障屏蔽模块7、选取模块5和监控模块8，保证元数据服务的可靠性。

元数据复制模块6保证从元数据服务器和主元数据服务器上所有元数据的一致性。故障屏蔽模块7屏蔽元数据服务器的故障信息，提供透明持续的元数据请求服务功能，包括3个子模块：切换子模块71，发生故障后自动将客户端元数据请求切换到另一元数据服务器，提供不间断的元数据服务；修复子模块72，对发生故障的元数据服务器进行必要的修复；加入子模块73，在元数据服务器修复完成后加入到整个系统中。选取模块5，根据历史访问记录和自身负载处理能力，从存储节点中选取平均相对负载最轻的存储节点做为备用元数据服务器；存储节点的负载值为系统队列长度、CPU利用率、内存利用率、磁盘可用空间和网络吞吐量的加权和；存储节点选做备用元数据服务器之后，更新对应的负载值。监控模块8，周期性检测对方对象元数据服务模块和存储资源管理模块是否正常运行。

根据上面的算法实施步骤，从元数据服务器角度来看，所述存储系统所处状态转换如图4所示，状态41表示系统在正常状态，两台专用元数据服务器提供元数据服务，在后台选取出备用元数据服务器，状态40表示系统因出现故障过多而停止服务。其中状态42表示启用主从备链式模式，三者共同完成元数据的可靠服务，状态43表示故障较多，系统仅仅只有主元数据服务器和从元数据服务器，没有更多的设备做备用元数据服务器，状态44表示因故障原因系统中只有唯一的元数据服务器来提供元数据服务。

状态转换412发生条件是专用元数据服务器出现故障，而对应的转换421条件是修复好专用元数据服务器，系统回复正常。状态转换422条件是有一个或者两个专用元数据服务器仍在修复，通过主从备链式模式提供元数据服务，并不断的从存储节点中选取备用元数据。发生状态转移423，说明系统中故障较多，只有两台能够提供元数据服务，不存在备用元数据服务器，继续转移434的话，就表示系统中故障更多，只有一台能提供元数据服务，最后系统因元数据服务故障而中断服务。反过来，状态转换443，432表示故障设备得到修复后，系统元数据服务能力逐渐加强。

根据上面所述的算法以及状态转移分析，在采取主从备链式模式后，可以不断的从存储节点中选取兼做元数据服务器，这样的话，当且仅当两专用元数据服务器和n个存储节点都出现故障之后，元数据服务才会中止(状态40)，不过这样的话，存储系统也因存储节点全部故障而中止，已无法提供存储服务了，因而系统在元数据角度达到“零故障”率。

上述分析说明，主从备链式元数据服务充分利用存储节点的富余资源，提供了一种提高元数据服务可靠性的实现方法，虽然理论不能达到100％可靠性(状态40理论上是存在的)，但从需要存储节点能提供存取服务的要求来说，元数据服务达到很高的可靠性，从元数据角度实现了存储系统的“零”故障率。本发明提出的方法可应用于各种包含元数据服务器和存储节点的存储系统中。

Claims (4)

1.一种提高元数据服务可靠性的方法，包括如下步骤：

(1)正常运行步骤，正常状况下，主元数据服务器运行对象元数据服务进程和存储资源管理进程，提供存储系统的元数据服务；通过检测通道连接从元数据服务器，启动监控进程监视对方状态，同时启动选取进程，从存储节点中选取平均相对负载最轻的做为备用元数据服务器；从元数据服务器启动元数据复制进程保证从元数据服务器和主元数据服务器上所有元数据的一致性；

(2)主元数据服务器故障步骤，当监测到主元数据服务器出现故障后，从元数据服务器接管元数据服务请求，运行对象元数据服务进程和存储资源管理进程，启用故障屏蔽进程，屏蔽主元数据服务器故障对系统造成的影响，启动切换子进程，将客户节点的元数据请求切换到从元数据服务器，并启动修复子进程对主元数据服务器进行修复；同时启动选取进程，在存储节点上选取出平均相对负载最轻的做为第二备用元数据服务器；

(3)备用元数据服务器升位步骤，备用元数据服务器承担从元数据服务器的功能，启动监控进程，与从元数据服务器互相监测对方状态，启动元数据复制进程保证它与从元数据服务器上所有元数据的一致性；

(4)从元数据服务器故障步骤，当监测到从元数据服务器出现故障时，已升位的备用元数据服务器接管元数据服务请求，运行对象元数据服务进程和存储资源管理进程，启动故障屏蔽进程，屏蔽从元数据服务器故障对系统的影响，启动修复子进程对从元数据服务器进行修复，并启动加入子进程，判断主元数据服务器是否修复，若修复则将其加入系统提供存储系统的元数据服务，主元数据服务器启动元数据复制进程保证主元数据服务器和备用元数据服务器上所有元数据的一致性，然后运行对象元数据服务进程和存储资源管理进程，启动切换子进程，客户节点的请求切换到主元数据服务器，而备用元数据服务器继续承担从元数据服务器功能，终止对象元数据服务进程和存储资源管理进程，启动元数据复制进程保证它和主元数据服务器上所有元数据的一致性，第二备用元数据服务器做为备用元数据服务器；如果主元数据服务器还在修复阶段，则备用元数据服务器转换为主元数据服务器，由备用元数据服务器提供存储系统的元数据服务，启动切换子进程，客户端请求切换到备用元数据服务器，启动选取进程，在存储节点上选取出平均相对负载最轻的做为第三备用元数据服务器；

(5)第二备用元数据服务器升位步骤，如果主元数据服务器没完成修复，备用元数据服务器转换为主元数据服务器，第二备用元数据服务器承担从元数据服务器功能，启动监控进程，与备用元数据服务器互相监测对方状态，启动元数据复制进程保证它和备用元数据服务器上所有元数据的一致性。

2.如权利要求1所述的提高元数据服务可靠性的方法，其特征在于：

(1)所述对象元数据服务进程提供元数据的查询定位以及更新操作；(2)所述存储资源管理进程管理存储系统中所有的存储节点；(3)所述元数据复制进程保证从元数据服务器和主元数据服务器上所有元数据的一致性；(4)所述监控进程周期性检测对方对象元数据服务进程和存储资源管理进程是否正常运行；(5)所述故障屏蔽进程，包括3个子进程：A.切换子进程，当故障发生后，自动将客户端元数据请求切换到另一元数据服务器，提供不间断的元数据服务；B.修复子进程，对发生故障的元数据服务器进行必要的修复；C.加入子进程，在元数据服务器修复完成后将修复的元数据服务器加入到整个系统中。

3.如权利要求1或2所述的提高元数据服务可靠性的方法，其特征在于：所述选取进程，选取平均相对负载最轻的存储节点时，存储节点的负载值为系统队列长度、CPU利用率、内存利用率、磁盘可用空间和网络吞吐量的加权和；存储节点选做备用元数据服务器之后，更新对应的负载值。

4.一种提高元数据服务可靠性的系统，包括客户节点、存储节点和元数据服务器，三者通过网络互连，客户节点发送文件或对象操作请求，包括元数据请求和数据请求；存储节点提供存储服务；元数据服务器包括主元数据服务器和从元数据服务器，它们各自包括对象元数据服务模块、存储资源管理模块和高可用模块，三个模块通过统一的接口对外提供元数据服务，(1)对象元数据服务模块提供元数据的查询定位以及更新操作；(2)存储资源管理模块管理存储系统中所有的存储节点；(3)高可用模块保证元数据服务的可靠性，包括元数据复制模块、故障屏蔽模块和监控模块，(3.1)元数据复制模块保证从元数据服务器和主元数据服务器上所有元数据的一致性；(3.2)故障屏蔽模块屏蔽元数据服务器的故障信息，提供透明持续的元数据请求服务功能，包括3个子模块：A.切换子模块，当故障发生后，自动将客户端元数据请求切换到另一元数据服务器，提供不间断的元数据服务；B.修复子模块，对发生故障的元数据服务器进行必要的修复；C.加入子模块，在元数据服务器修复完成后将修复的元数据服务器加入到整个系统中；(3.3)监控模块，周期性检测对方对象元数据服务模块和存储资源管理模块是否正常运行；其特征在于：

(1)所述高可用模块包括选取模块，根据存储节点的历史访问记录和自身负载处理能力，从存储节点中选取平均相对负载最轻的做为备用元数据服务器；

(2)所述存储节点被选取为备用元数据服务器时，加载主元数据服务器或从元数据服务器的所有功能模块。

Images