CN102457400A

CN102457400A - 一种防止磁盘镜像资源发生脑裂的方法

Info

Publication number: CN102457400A
Application number: CN2011101506498A
Authority: CN
Inventors: 兰雨晴; 梁昕; 刘涛; 张永军; 夏颖
Original assignee: China Standard Software Co Ltd
Current assignee: China Standard Software Co Ltd
Priority date: 2011-06-09
Filing date: 2011-06-09
Publication date: 2012-05-16
Anticipated expiration: 2031-06-09
Also published as: CN102457400B

Abstract

本发明公开了一种防止磁盘镜像资源发生脑裂的方法，该方法通过修改DRBD的OCF（Open Cluster Framework）脚本，对DRBD资源的连接状态以及网络状态进行监控，在脑裂发生之前将集群的一个节点备用，该备用节点在故障期间不会有数据写入，所有的数据将写入到另一个节点中，从而杜绝了DRBD脑裂的发生，保护了用户数据的完整性。

Description

一种防止磁盘镜像资源发生脑裂的方法

技术领域

本发明涉及一种防止磁盘镜像资源发生脑裂的方法，尤指一种在高可用集群中处理磁盘镜像(DRBD)资源脑裂问题的方法。

背景技术

磁盘镜像(DRBD，Distributed Replicated Block Device) 是一种Linux平台上的分布式储存系统。其中包含了核心模块，数个用户管理工具及脚本，通常用于高可用（HA，high availability）集群。DRBD 类似磁盘阵列的RAID 1（镜像），只不过RAID 1是在同一台电脑内，而DRBD是利用网络让不同电脑内的分区成为镜像。

DRBD将其管理的设备（分区）作为一个资源，每个资源都有两种角色：主（Primary）和从（Secondary）。对于Primary角色的DRBD设备，DRBD允许对其进行读写挂载等操作；Secondary角色的DRBD设备，只是被动地同步接收从主节点传过来的数据，DRBD不允许对其进行访问及操作。

DRBD脑裂是这样一种情况：由于连接DRBD的网络出现故障，发生故障前集群的两个节点主节点和从节点，在故障期间都变成了Primary的角色主节点。发生脑裂故障后，DRBD的上层应用就可能同时将数据写入到这两个主节点中，由于故障期间这两个主节点不是正常的Connected状态，而是StandAlone或WFConnection状态，而因此这两个主节点没有同步数据到对端节点，从而可能对写入的用户的数据造成损害丢失，损害了写入数据的完整性。

针对脑裂问题，DRBD提供了一种自动恢复策略：网络故障发生期间，DRBD的两个节点都会变成主节点，该策略通过比较两个节点变成主节点的先后顺序或者故障期间写入两节点数据的多少，在网络恢复之后会选择一个“牺牲”节点，舍弃该“牺牲”节点在故障期间写入的数据，同时使用另一节点上的数据来同步，从而使DRBD从脑裂故障中自动恢复。

可以看出，此种脑裂自动恢复策略并不能保证用户数据的安全，即不管选择哪个节点作为“牺牲”节点，总有一种可能情况，在网络故障期间会在两个节点都写入数据，这样或多或少，用户的数据总会有损失。

发明内容

为了解决上述问题，本发明采用的方法，是在DRBD网络刚出现故障的时候就将集群发生故障之前的DRBD从节点作为备用节点，该备用节点在故障未恢复期间就不能成为DRBD主节点，即故障期间不会有数据写入该节点。然后，在网络故障恢复之后启用该备用节点，同时使用未备用节点，即故障之前的DRBD主节点上的数据来进行同步。这样就避免了故障期间两个节点都变成主节点而同时写入数据的情况，很好地保护了用户数据的完整性。

为了实现上述目的，一种防止磁盘镜像资源发生脑裂的方法包括以下几个步骤：

1）监控网络状态和DRBD的连接状态；

2）当发现故障时，则选择一个节点作为备用节点，以防止由于DRBD脑裂故障造成的写入用户数据的损失。

其中：

在步骤（1）中是通过修改OCF（Open Cluster Framework）脚本的drbd_monitor函数来监控网络状态和DRBD的连接状态，修改后的monitor函数里，添加了对连接状态和角色值的组合情况的判断。

修改后的monitor函数里，添加了脑裂标识on和off，用来提醒用户是否存在脑裂故障需要处理，即：如果该标识是on则表示此时发生了脑裂，需要用户处理；如果该标识是off则表示此时是从脑裂故障中恢复或者没有发生过脑裂，用户处理完毕或无需处理。

若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是单独/主节点（StandAlone/Primary），则将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将该DRBD主节点备用。

若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是单独/从节点（StandAlone/Secondary），则将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将该DRBD从节点备用。

若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是“等待连接/主节点”（WFConnection/Primary），则将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将DRBD对端节点从节点备用；若检测DRBD的网络状态正常且此时集群的脑裂标识设置为“on”，则将脑裂标识设置为“off”，然后将设置为备用的节点启用。

若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是“等待连接/从节点”（WFConnection/Secondary），则将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将该DRBD从节点备用；若检测DRBD的网络状态正常且此时集群的脑裂标识设置为“on”，则将脑裂标识设置为“off”，然后将设置为备用的节点启用。

若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是“连接/主节点”（Connected/Primary）或“连接/从节点”（Connected/Secondary），则调用is_split_happen函数来查看集群的脑裂标记是否被设置为“on”，如果是，则将集群的脑裂标记设置为“off”。

本发明的技术效果是，通过修改OCF脚本的drbd_monitor函数，来监控网络状态和DRBD的连接状态，若发现故障，则选择一个节点作为备用节点，防止集群中同时出现两个主节点的情况，也就防止了由于DRBD脑裂故障造成的写入用户数据的损失。

附图说明

图1为本发明的总体示意图；

图2为DRBD的OCF脚本的drbd_monitor函数的流程图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1为本发明的总体示意图。如图1所示，两个长方体代表高可用集群的两个节点（节点1和节点2），下面的两个圆柱分别代表两个节点本地的一个磁盘分区。高可用集群用一块网卡作为HA连接来交互集群消息。DRBD资源分别运行在两个节点上，用另一块网卡作为DRBD连接来复制数据；其中，节点1作为DRBD主节点（用户可在此分区上读写信息，如图1两个黑色箭头所示），节点2作为DRBD从节点（被动地接收从主节点过来的数据，如图1虚线箭头所示的数据复制方向）。图中的黑色“X”表示由于连接DRBD的网络出现的故障，节点2中的“备用”字样表示依据本发明提供的方法将节点2备用，从而防止了DRBD脑裂情况的发生。

为实现上述的构思，本发明的一种防止磁盘镜像资源发生脑裂的方法可包括以下几个步骤：

（1）修改OCF脚本的drbd_monitor函数，来监控网络状态和DRBD的连接状态。

本发明主要是利用修改OCF脚本的drbd_monitor函数，来监控网络状态和DRBD的连接状态。并在DRBD的OCF脚本的drbd_monitor函数中，查看DRBD的连接状态和角色这两个变量的组合值。

在未修改前的DRBD的OCF的monitor函数里，由于没有针对网络故障或针对DRBD脑裂故障的检测，只是简单地判断本地DRBD设备的角色值是Primary（主）还是Secondary（从）。故障发生后，只能完全依赖于DRBD的脑裂自动恢复策略来处理DRBD脑裂问题。

因而本发明对其作了修改，修改后的monitor函数里，添加了对DRBD的连接状态和角色值的组合情况的判断，可以在DRBD的OCF脚本的drbd_monitor函数中，查看DRBD的连接状态和角色这两个变量的组合值。另外，在修改后的monitor函数里，还添加了对是否发生脑裂进行判断及增加了脑裂标识，也就是说根据判断使脑裂标识为on还是off，脑裂标识的添加主要是为了在出现网络故障的时候给用户以提醒。

由于DRBD有多种连接状态。正常的状态是Connected，在网络出现故障的时候连接状态可能是StandAlone或WFConnection。StandAlone状态可能是由于用户误操作而删除了DRBD相关的网卡设备，WFConnection状态可能是由于网络出现故障，如：网线被拔出，交换机宕机等。实际情况中出现第二种情况的可能性比较大。

因而DRBD的连接状态和角色这两个变量的组合值的组合将有六种情况，针对不同的网络故障（网线被拔出，网络交换机故障或人为误操作删掉了网卡设备等）即其组合值的六种情况，本发明都有不同的处理方法，覆盖了所有可能由于网络故障导致DRBD脑裂的情况，如图2所示。以下具体论述之。

（1）若该连接状态和角色的组合值是单独/主节点（StandAlone/Primary），说明此时DRBD主节点上可能是由于用户误操作而删除了DRBD相关的网卡设备，则打开脑裂标识将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将该DRBD主节点备用。如果网络故障排除，则该连接状态和角色的组合值转化为连接/主节点（Connected/Primary），并将脑裂标识设置为“off”。

（2）若该连接状态和角色的组合值是单独/从节点（StandAlone/Secondary），说明此时DRBD从节点上可能是由于用户误操作而删除了DRBD相关的网卡设备，则打开脑裂标识将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将该DRBD从节点备用。如果网络故障排除，则该连接状态和角色的组合值转化为连接/从节点（Connected/ Secondary），并将脑裂标识设置为“off”。

（3）若该连接状态和角色的组合值是“等待连接/主节点”（WFConnection/Primary），则检查此时DRBD的网络状态，若确实有网络故障，则将集群的脑裂标识设置为“on”，然后将DRBD对端节点从节点备用；若检测DRBD的网络状态正常且此时集群的脑裂标识设置为“on”，则将脑裂标识设置为“off”，然后将设置为备用的节点启用。然后，将该连接状态和角色的组合值转化为连接/主节点（Connected/Primary）。

（4）若该连接状态和角色的组合值是“等待连接/从节点”（WFConnection/Secondary），则检查此时DRBD的网络状态，若确实有网络故障，则将集群的脑裂标识设置为“on”，与（4）不同的是备用的是本地的DRBD从节点，而不是该DRBD对端节点主节点；若检测DRBD的网络状态正常且此时集群的脑裂标识设置为“on”，则将脑裂标识设置为“off”，然后将设置为备用的节点启用。然后，该连接状态和角色的组合值转化为连接/从节点（Connected/ Secondary）。

本发明的总体构思是，通过修改OCF脚本的drbd_monitor函数，来监控网络状态和DRBD的连接状态，若发现故障，则选择一个节点作为备用节点，防止集群中同时出现两个主节点的情况，也就防止了由于DRBD脑裂故障造成的写入用户数据的损失。

为使本发明的特征及优点得到更清楚的了解，以下结合附图，并按时序，举一个由于网线被拔出导致网络故障的处理流程的例子（主要涉及图2的分支5），并做详细说明如下。

高可用集群具体通过DRBD的OCF脚本来管理DRBD资源（启动、监控或停止DRBD资源）。

正常情况下，DRBD资源启动后，集群周期地调用drbd_monitor函数来监控DRBD资源的状态。如图2所示，drbd_monitor函数查看CSTATE和ROLE这两个变量的组合值，其中CSTATE变量表示DRBD资源的连接状态，ROLE变量表示DRBD资源的角色。DRBD资源正常运行时，以上两个变量的组合值，在DRBD的主节点上是Connected/Primary（图2的分支3），在DRBD的从节点上是Connected/Secondary（图2的分支4）。由于此时的正常情况可能是从之前的故障情况刚刚恢复（例如之前的状态是分支1或分支2），所以DRBD的主从节点均需要调用is_split_happen函数来查看集群的脑裂标识是否被设置为“on”（设置为“on”时，集群会提示用户修复可能的网络故障），如果是，则将集群的脑裂标识设置为“off”（取消对于用户的提示）。

实施例1：假设某一时刻DRBD主节点上连接DRBD的网线被拔出。

1) 若没有使用本发明所述的方法，此时DRBD节点之间由于网线被拔出失去了联系，节点之间不知道彼此的状态如何，DRBD从节点就会认为主节点已宕机而将自己变成DRBD的主节点，这样集群中便会同时出现两个DRBD主节点，用户数据就会同时写入两个点而没有进行同步。当网络恢复正常时，故障期间写入DRBD设备的数据就会有丢失的危险。

2) 本发明所述的方法（即使用修改过的DRBD的OCF脚本），当集群再次调用drbd_monitor函数时，DRBD主节点上的状态是WFConnetion/Primary（图2分支5），然后调用检查网络状态函数check_network_status来确认网络确实发生了故障，此时将集群的脑裂标识设置为“on”，并将DRBD的从节点备用（暂停），这样DRBD的从节点就不会因为失去联系而变为主节点。此时集群只有DRBD的主节点一个点在工作，并且由于设置了脑裂标识，集群会通知用户尽快处理可能的网络故障。

用户插好被拔出的DRBD主节点上的网线之后，由于此时DRBD的从节点仍是备用状态，DRBD的主节点的连接状态仍会是WFConnection，所以集群在调用drbd_monitor函数时，仍会走到图2的分支5上去。此时调用check_network_status函数得知网络状态正常，然后调用is_split_happen函数发现集群的脑裂标识被设置，最后关闭集群的脑裂标识，并启用刚才备用了的DRBD从节点。故障期间写入DRBD主节点的数据，在故障恢复且DRBD从节点启用之后，可以无损失地同步到DRBD从节点上去。

图2的分支6是用来处理DRBD从节点网线被拔出的情况。具体实施步骤同分支5的叙述。

实施例2：若出现连接DRBD的网络的交换机宕掉的情况，即相当于DRBD主从节点的网线同时被拔出，此时DRBD主从节点分别走到图2的5和6分支，调用check_network_status函数均查询到本地的网络出现问题，接下来因为在主节点上是让从节点备用，在从节点上是让自己备用，所以该情况的现象和结果相当于上述两种拔出网线的情况。

图2的分支1和分支2是用来分别处理在DRBD主从节点上由于运行命令“ifdown DRBD对应的网卡设备”导致的网络故障，该情况并不常见，若发生，则将相关节点备用，并通知用户修复故障然后手动启用备用节点。备用节点启用后，会走到图2所示的分支3或分支4上去。

至于其他的故障状态，本领域技术员可根据上述描述及附图明了其原因及处理过程，在此不一一列举赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种防止磁盘镜像(DRBD)资源发生脑裂的方法，其特征在于，其包括步骤：

监控网络状态和DRBD的连接状态；

当发现故障时，则选择一个节点作为备用节点，以防止由于DRBD脑裂故障造成的写入用户数据的损失。

2.如权利要求1所述的方法，其特征在于，在步骤（1）中是通过修改OCF脚本的drbd_monitor函数来监控网络状态和DRBD的连接状态，修改后的drbd_monitor函数里，添加了对连接状态和角色值的组合情况的判断。

3.如权利要求2所述的方法，其特征在于，修改后的monitor函数里，添加了脑裂标识on和off，用来提醒用户是否存在脑裂故障需要处理，即：如果该标识是on则表示此时发生了脑裂，需要用户处理；如果该标识是off则表示此时是从脑裂故障中恢复或者没有发生过脑裂，用户处理完毕或无需处理。

4.如权利要求3所述的方法，其特征在于，若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是单独/主节点，则将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将该DRBD主节点备用；如果网络故障排除，则该连接状态和角色的组合值转化为连接/主节点，并将脑裂标识设置为“off”。

5.如权利要求3所述的方法，其特征在于，若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是单独/从节点，则将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将该DRBD从节点备用；如果网络故障排除，则该连接状态和角色的组合值转化为连接/从节点，并将脑裂标识设置为“off”。

6.如权利要求3所述的方法，其特征在于，若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是“等待连接/主节点”，则将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将DRBD对端节点从节点备用；若检测DRBD的网络状态正常且此时集群的脑裂标识设置为“on”，则将脑裂标识设置为“off”，然后将设置为备用的节点启用；然后，将该连接状态和角色的组合值转化为连接/主节点。

7.如权利要求3所述的方法，其特征在于，若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是“等待连接/从节点”，则将集群的脑裂标识设置为“on”,以通知用户解决网络故障，然后将该DRBD从节点备用；若检测DRBD的网络状态正常且此时集群的脑裂标识设置为“on”，则将脑裂标识设置为“off”，然后将设置为备用的节点启用；然后，该连接状态和角色的组合值转化为连接/从节点。

8.如权利要求3所述的方法，其特征在于，若在OCF脚本的drbd_monitor函数中查看到的连接状态和角色的组合值是“连接/主节点”或“连接/从节点”，则调用is_split_happen函数来查看集群的脑裂标记是否被设置为“on”，如果是，则将集群的脑裂标记设置为“off”。