CN106888116A - 一种双控制器集群共享资源的调度方法 - Google Patents

Abstract

本发明涉及一种双控制器集群共享资源的调度方法，适用于大数据集群存储，属于集群存储技术领域。本发明针对双控制器集群中,共享资源不能依据用户实际业务需求在两个控制器之间灵活的调度，导致双控制器的物理带宽和计算能力等资源无法充分发挥其作用的问题,设计实现一种双控制器集群共享资源的调度方法，可以根据用户的实际业务需求，灵活地配置共享资源及与其相关的链路，通过监控与资源相关的链路状态，比较共享资源在两个控制器上的链路权重和，并根据权重和的大小自动在两个控制器之间进行资源调度，从而实现不间断的对外提供服务，保证集群的高可靠性和高可用性。

Description

一种双控制器集群共享资源的调度方法

技术领域

本发明涉及一种双控制器集群共享资源的调度方法，适用于双控制器集群存储系统，属于集群海量数据存储技术领域。

背景技术

数据，已经成为所有企业、个人最重要的资产。围绕着数据的存储，诞生了各式各样的存储技术。

为了提高存储性能，保障数据安全，增大存储容量，兼顾存储成本，人们设计了多种类型的独立磁盘冗余阵列(Redundant Arrays of Independent Disks，RAID)。

为了提高存储系统的可用性，保障业务的连续性，人们设计了集群存储系统，集群内的各控制器节点通过网络等手段进行通信。目前使用最广泛的是由两个控制器组成的双控制器集群。双控制器集群的后端存储介质是通过光纤或SAS链路共享磁盘阵列的逻辑卷，或是通过SAS链路共享expander上的磁盘，前端业务则是通过以太网或光纤，使用nfs、cifs、scst等协议，提供文件级或块级的存储导出服务。

双控制器集群有两种工作模式，一种是active-standby模式：集群中的两个控制器一个为主控制器，另一个为备控制器。应用程序主要运行在主控制器上，当主控制器出现故障时，通知备控制器接管原先在主控制器上的业务，以使业务不间断；另一种是active-active模式：集群中的两个控制器同时对外提供业务，两个控制器互为主备，一个控制器出现故障后，将其上的业务切换到另一个控制器上。

对于双控制器集群来说，两个控制器共享后端的存储介质，然而存储介质不能同时被两个控制器使用，所以必须为存储介质设定属主。当某个控制器出现某些故障时，将该控制器上的共享资源全部切换到另一控制器上，以保证双机集群系统的高可用性，保证业务的连续性。

但是这种资源的调度方法存在一定的局限性。当某控制器仅某部分出现故障，仅对某些共享资源有影响，而对该控制器上的其它共享资源并无影响，此时将该控制器上的所有共享资源都切换到另一控制器上，会加大另一控制器上的压力，严重影响其性能，同时造成原有控制器上物理带宽和计算能力等资源的闲置和浪费。

下面对本专利用到的一些技术术语进行解释：

链路：包括控制器上向外提供业务所使用的以太网链路、FC链路等，以及控制器连接后端存储介质所使用的SAS链路、FC链路等。

虚拟存储池：使用共享的后端存储介质在某个控制器上创建的存储池，其在同一时间只能属于一个控制器，但可以在两个控制器之间进行切换。为使该虚拟存储池向外提供业务，需使用控制器上的一些链路，包括连接后端存储介质的SAS链路、FC链路，提供NAS业务、ISCSI业务所需的以太网链路，提供FC业务所需的FC链路。

auto-failback：在双控制器集群中控制资源调度的选项。当某一控制器出现故障时，控制器上的共享资源自动切换到备用控制器上。若该选项处于开启状态时，当出现故障的控制器恢复正常时，属于该控制器上的共享资源从备用控制器自动切换回来；若该选项处于关闭状态时，当出现故障的控制器恢复正常时，属于该控制器上的共享资源并不从备用控制器切换回来。

发明内容

本发明的目的是为解决在双控制器集群中以控制器为粒度切换共享资源导致影响性能、资源闲置等的问题，提出一种双控制器集群共享资源的调度方法。

本发明的思想是每个控制器监视对外提供业务所需的所有链路的状态，并根据实际业务需求，对每条链路的权重进行设置；当使用共享资源时，为其分配与其相关的链路，根据所有链路的状态计算共享资源在两个控制器上的权重，然后两个控制器之间使用心跳盘或心跳网口等方式进行心跳信息传递，通过比较两个控制器上共享资源的权重对共享资源进行调度。

本发明的目的是通过以下技术方案实现的：

一种双控制器集群共享资源的调度方法，包括以下内容：

一、链路监视：监视两个控制器上所有的链路状态，链路的权重可以根据实际需求进行设置。包括以下内容：

1)双控制器集群中两个控制器的链路默认是相同的，因此将两个控制器上的链路在逻辑上一对一建立绑定，以保证共享资源在每个控制器上能够使用逻辑上相同的链路；

2)独立的监视连接在控制器上所有的SAS链路，并为每条SAS链路设置独立的权重；

3)独立的监视连接在控制器上所有的FC端口，并为每个端口设置独立的权重；所述FC端口或为initiator模式，以连接磁盘阵列上的逻辑卷；或为target模式，向外提供服务；

4)独立的监视连接在控制器上的所有网口，并为每个网口设置独立的权重；对于由多个网口创建的bond口情形同样视为一个网口；

二、资源管理：使用共享的后端存储介质为某个控制器创建虚拟存储池，即为共享资源分配属主，同时为该虚拟存储池设置与其相关的链路，链路需按照实际的物理连接、提供的业务类型等分成一个个监控组，设置相关链路的方法具体包括以下内容：

1)将与虚拟存储池相关的每条连接expander的SAS链路设置为一个监视组；

2)将与虚拟存储池相关的每条连接磁盘阵列的SAS链路设置为一个监视组；

3)将与虚拟存储池相关的FC initiator模式的端口，根据实际的物理连接情况，设置为N个监视组(N为自然数)，每个监视组中可以包含多条链路，只要组中一条链路状态正常，即视为链路正常，该组链路的权重为组内状态正常的链路的最大权重；

4)将与虚拟存储池相关的FC target模式的端口，根据实际的物理连接情况，设置为N个监视组(N为自然数)，每个监视组中可以包含多条链路，只要组中一条链路状态正常，即视为链路正常，该组链路的权重为组内状态正常的链路的最大权重；

5)将与虚拟存储池相关的每个网络端口(此处网络端口包含bond端口)设置为一个监视组；

三、资源调度：根据虚拟存储池及与其相关的监视组中链路的状态，进行资源调度，包括以下内容：

1)根据虚拟存储池及与其相关的链路状态，在两个控制器使用下列公式分别计算权重：

W＝(ΣLSasDisk+ΣLFcInit+ΣLSasRaid)*(ΣLFcTar+∑LNet)

其中，∑LSasDisk为共享expander上磁盘时状态正常的的SAS链路监视组的所有链路的权重和，ΣLFcInit为所有FC initiator模式端口监视组的权重和，每个FCinitiator模式端口监视组的权重为组内状态正常的链路的最大权重；∑LSasRaid为共享后端磁盘阵列时状态正常的SAS链路监视组的所有链路的权重和，∑LFcTar为所有FCtarget模式端口监视组的权重和，每个FC target模式端口监视组的权重为组内状态正常的链路的最大权重；ΣLNet为状态正常的网口监视组的所有链路的权重和；ΣLSasDisk+ΣLFcInit+∑LSasRaid表示后端连接存储介质相关链路监视组的权重和，∑LFcTar+∑LNet表示向外提供业务相关链路监视组的权重和；如果虚拟存储池与某些链路无关或是链路处于未连接状态，则该链路的权重按0计算，否则按链路监视中设置的权重值计算；

2)当创建虚拟存储池或控制器上的链路状态发生变化时，两个控制器进行通信，获取虚拟存储池在对端控制器上的权重；

作为优选，所述两个控制器进行通信通过心跳盘或是心跳网口方式实现；

3)比较虚拟存储池在本地控制器与对端控制器上的权重，权重小的控制器放弃虚拟存储池，权重大的控制器获取虚拟存储池；在权重相同的情况下，如果auto-failback开启，则虚拟存储池的属主获取虚拟存储池，另一控制器放弃虚拟存储池；如果auto-failback关闭，则虚拟存储池不进行切换。

有益效果

双控制器存储技术的核心之一在于高可用，当一个控制器出现故障后，通过软件进行灵活的管理调度，由另一控制器接管相关的业务，保证业务的连续性。对比现有的调度方法，本发明通过在双控制器集群中监控共享资源所使用的链路状态，根据系统的运行状态以虚拟存储池为粒度动态地调度虚拟存储池,充分利用双控制器集群的物理带宽，充分发挥双控制器集群的计算能力，使得双控制器集群满足用户持续稳定性和可用性的需求。

附图说明

图1为本发明实施例双控制器物理链路连接示意图(其中：C、H为SAS链路接口；D、E、I、J为网络接口；F、G、K、L为FC接口(图中未画出FC接口的物理连接))；

图2为本发明实施例双控制器所有链路的绑定示意图；

图3为本发明实施例虚拟资源池poolA相关链路的示意图；

图4为本发明实施例虚拟资源池poolB相关链路的示意图。

具体实施方式

下面结合具体实施对本发明进行详细说明。

本实施例以由24块磁盘组成的共享磁盘的双控制器集群为例对本发明方法进行详细说明。

两个控制器不妨称为A控和B控。A、B控都通过一条SAS链路共享磁盘，都接一张FC卡(两个端口)，都有两个网口。两个控制器的SAS接口C和SAS接口H共享expander上的所有磁盘；A控的的网口E和B控的网口J直连进行通信；A控的的网口D和B控的网口I连接到网络上，向外提供NAS或ISCSI业务；FC端口F、G、K、L都为target端口；开启auto-failback。具体的物理连接如图1所示。

一：如图2所示，对控制器A和控制器B中的SAS链路、FC端口、网口一对一建立绑定，即A控的网口D和B控的网口I逻辑上相同，A控的网口E和B控的网口J逻辑上相同，A控的FC口F和B控的FC口K逻辑上相同，A控的FC口G和B控的FC口L逻辑上相同，A控的SAS口C和B控的SAS口H逻辑上相同。本实施例设定每条SAS链路的权重为30，两个控制器可以通过SAS链路共享expander上的磁盘，也可以通过SAS链路共享磁盘阵列上的逻辑卷。设定每个FCinitiator模式的端口权重为30，每个FC target模式的端口权重为20。设定每个网口的权重为10。当然，本领域技术人员知道，根据具体的业务需要，也可以将各链路的权重设为其它值。

二：选取12块磁盘为控制器A创建RAID虚拟存储池poolA，即共享磁盘,在池上创建文件系统数据集,文件系统数据集通过CIFS或NFS协议(不限于此二方式)对外提供访问。如图3所示，在创建虚拟存储池时，选取与其相关的SAS接口C(B控对应接口为H)连接后端存储介质，选取网络接口D(B控对应接口为I)对外提供NAS业务。与该虚拟存储池相关的有SAS接口和网络接口两个监视组。

poolA在A控上的权重W_poolA ^A＝(30+0+0)*(0+10)＝300。

poolA在B控上的权重W_poolA ^B＝(30+0+0)*(0+10)＝300。

三：选取另外12块磁盘为控制器B创建RAID虚拟存储池poolB，即共享磁盘，在池上创建裸设备卷，裸设备卷通过FC target端口对外映射(不限于此方式)。如图4所示，在创建虚拟存储池时，选取与其相关的SAS接口H(A控对应接口为C)连接后端存储介质，选取FCtarget接口K、L(A控上对应FC target端口F、G)对外提供FC业务。与该虚拟存储池相关的有SAS接口和FC target模式端口两个监视组，其中FC target模式的监视组中包含两个FC端口。

poolB在A控上的权重W_poolB ^A＝(30+0+0)*(20+0)＝600。

poolB在B控上的权重W_poolB ^B＝(30+0+0)*(20+0)＝600。

四：拔掉A控制器D网口，模拟网口故障。检查虚拟存储池poolA和虚拟资源池poolB在A控和B控上的权重。poolB的权重未发生变化，poolA的权重为W_poolA ^A＝(30+0+0)*(0+0)＝0,W_poolA ^B＝(30+0+0)*(0+10)＝300。对虚拟存储池poolA进行调度，将其切换到B控上继续对外提供服务。由于具体切换过程不再本专利所述范围，在此不再赘述，本领域技术人员可以根据具体情况选用合适的现有技术实现此内容。

五：拔掉B控制器上的FC端口K，模拟FC端口故障。检查虚拟存储池poolA和poolB在A控和B控上的权重。poolA和poolB的权重均未发生变化。

六：拔掉B控制器上的FC端口L，模拟FC端口故障。检查虚拟存储池poolA和poolB在A控和B控上的权重。poolA的权重未发生变化，poolB的权重为W_poolB ^A＝(30+0+0)*(20+0)＝600，W_poolB ^B＝(30+0+0)*(0+0)＝0。对虚拟存储池poolB进行调度，将其切换到A控上继续对外提供服务。

七：恢复A控上的网络端口D，恢复B控上的FC端口K、L。检查虚拟存储池poolA和poolB在A控和B控上的权重。poolA和poolB在A控和B控上均恢复正常并且auto-failback为开启状态，故对poolA和poolB都进行调度，将poolA切换到A控，将poolB切换到B控。

上述实施例表明，以虚拟存储池为粒度，将虚拟存储池所使用的所有链路分为连接后端存储介质和对外提供业务两种类型，并根据链路的状态按既定的公式计算在每个控制器上的权重，能够很容易的判定虚拟存储池是否需要调度。当双控制器中的某个控制器的某部分(包括SAS链路、FC链路、网络链接等)出现故障时，仅将受影响的业务切换到另一控制器上，不受影响的业务仍然运行在原有的控制器上，能够尽最大可能的利用两个控制器的物理带宽和计算能力，发挥出双控制器集群性能优势。这充分体现出该双控制器集群共享资源的调度方法的可行性和优越性。

以上所述仅是本发明的一种很简单实施方式，应当指出，还可以根据用户的不同业务需求、不同的物理介质，做出更为复杂的实施方式。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，或者对其中部分技术特征进行等同替换，这些改进和替换也应视为本发明的保护范围。

Claims (2)

1.一种双控制器集群共享资源的调度方法，其特征在于：包括以下内容：

一、链路监视：监视两个控制器上所有的链路状态，链路的权重根据实际需求进行设置；包括以下内容：

1)双控制器集群中两个控制器的链路默认是相同的，因此将两个控制器上的链路在逻辑上一对一建立绑定，以保证共享资源在每个控制器上能够使用逻辑上相同的链路；

2)独立的监视连接在控制器上所有的SAS链路，并为每条SAS链路设置独立的权重；

3)独立的监视连接在控制器上所有的FC端口，并为每个端口设置独立的权重；所述FC端口或为initiator模式，以连接磁盘阵列上的逻辑卷；或为target模式，向外提供服务；

4)独立的监视连接在控制器上的所有网口，并为每个网口设置独立的权重；对于由多个网口创建的bond口情形同样视为一个网口；

二、资源管理：使用共享的后端存储介质为某个控制器创建虚拟存储池，即为共享资源分配属主，同时为该虚拟存储池设置与其相关的链路，链路需按照实际的物理连接、提供的业务类型等分成一个个监控组，设置相关链路的方法具体包括以下内容：

1)将与虚拟存储池相关的每条连接expander的SAS链路设置为一个监视组；

2)将与虚拟存储池相关的每条连接磁盘阵列的SAS链路设置为一个监视组；

3)将与虚拟存储池相关的FC initiator模式的端口，根据实际的物理连接情况，设置为N个监视组(N为自然数)，每个监视组中可以包含多条链路，只要组中一条链路状态正常，即视为链路正常，该组链路的权重为组内状态正常的链路的最大权重；

4)将与虚拟存储池相关的FC target模式的端口，根据实际的物理连接情况，设置为N个监视组(N为自然数)，每个监视组中可以包含多条链路，只要组中一条链路状态正常，即视为链路正常，该组链路的权重为组内状态正常的链路的最大权重；

5)将与虚拟存储池相关的每个网络端口(此处网络端口包含bond端口)设置为一个监视组；

三、资源调度：根据虚拟存储池及与其相关的监视组中链路的状态，进行资源调度，包括以下内容：

1)据虚拟存储池及与其相关的链路状态，在两个控制器使用下列公式分别计算权重：

W＝(ΣLSasDisk+ΣLFcInit+ΣLSasRaid)*(ΣLFcTar+ΣLNet)

其中，ΣLSasDisk为共享expander上磁盘时状态正常的的SAS链路监视组的所有链路的权重和，∑LFcInit为所有FC initiator模式端口监视组的权重和，每个FC initiator模式端口监视组的权重为组内状态正常的链路的最大权重；∑LSasRaid为共享后端磁盘阵列时状态正常的SAS链路监视组的所有链路的权重和，∑LFcTar为所有FC target模式端口监视组的权重和，每个FC target模式端口监视组的权重为组内状态正常的链路的最大权重；∑LNet为状态正常的网口监视组的所有链路的权重和；∑LSasDisk+∑LFcInit+∑LSasRaid表示后端连接存储介质相关链路监视组的权重和，ΣLFcTar+ΣLNet表示向外提供业务相关链路监视组的权重和；如果虚拟存储池与某些链路无关或是链路处于未连接状态，则该链路的权重按0计算，否则按链路监视中设置的权重值计算；

2)当创建虚拟存储池或控制器上的链路状态发生变化时，两个控制器进行通信，获取虚拟存储池在对端控制器上的权重；

3)比较虚拟存储池在本地控制器与对端控制器上的权重，权重小的控制器放弃虚拟存储池，权重大的控制器获取虚拟存储池；在权重相同的情况下，如果auto-failback开启，则虚拟存储池的属主获取虚拟存储池，另一控制器放弃虚拟存储池；如果auto-failback关闭，则虚拟存储池不进行切换。

2.根据权利要求1所述的一种双控制器集群共享资源的调度方法，其特征在于：所述两个控制器进行通信通过心跳盘或是心跳网口方式实现。