CN101488077B - 冗余磁盘控制服务器系统 - Google Patents

Abstract

本发明提供一种冗余磁盘控制服务器系统，是在传统服务器应用模式的基础上，增加一块HBA卡，即在服务器主板上插两块相同的HBA卡，每块HBA卡都被认为是相对独立的，每一块HBA卡均能与其它所有部件组成一个完整的系统，两块HBA卡构成了两个互为冗余，互为备份的系统，本发明的系统与现有技术相比能够很好适应互联网技术的不断发展和网络带宽不断增加，减少服务器的故障几率，还可以实现两个磁盘控制器的负载均衡，以达到提高数据带宽的目的。

Description

冗余磁盘控制服务器系统

技术领域

本发明涉及计算机数据存取领域，具体涉及一种冗余磁盘控制服务器系统。

技术背景

在应用服务器的过程中，说到数据存取的保护，人们首先想到的是RAID技术，通过HBA卡或主板集成的RAID控制器创建磁盘阵列，在服务器应用不间断的前提下，保证在至少一块硬盘出现故障时，可以对硬盘进行在线的替换，避免数据丢失及应用停止。然而，对于I/O子系统来说，仅仅是磁盘方面没有单点故障还远远不够的，磁盘控制器(HBA卡)部分作为一个系统单点，没有任何冗余措施。当经过长时间、大数据量的读写应用后，出现故障是在所难免的。尤其随着互联网技术的不断发展，网络带宽不断增加，个人空间、视频上传等应用变得越来越普遍的时候，每台服务器负责数据存取的磁盘控制器所要承受的负载也在不断增加，出现故障的几率也就相应的增大了。这时如何实现磁盘控制器(HBA)的冗余就显得很有现实意义了。另一方面，参照以太网络的冗余和聚合，除了实现磁盘控制器的冗余功能，理论上还可以实现两个磁盘控制器的负载均衡，以达到提高数据带宽的目的。

发明内容

本发明的目的是提供一种冗余磁盘控制服务器系统。

本发明的目的是按以下方式实现的，实现步骤如下：

在传统服务器应用模式的基础上，增加一块HBA卡，即在服务器主板上插两块相同的HBA卡，每块HBA卡都被认为是相对独立的，每一块HBA卡均能与其它所有部件组成一个完整的系统，两块HBA卡构成了两个互为冗余，互为备份的系统，具体步骤如下：

系统硬件的设置

1)选用双端口的SAS硬盘或使用SATA硬盘通过接口转换成SAS硬盘，转换用的接口芯片或适配器选用LSI SS1300芯片，通过该芯片将一个SATA接口模拟成SAS接口，同时被两个HBA卡识别到；

2)作为连接HBA卡和硬盘的桥梁，针对HBA卡，背板必须提供两组接口，要支持更多的硬盘，背板上要提供磁盘扩展芯片SAS Expander，当系统内有两个HBA卡时，背板上SAS Expander芯片的数量也必须是两个，无论是否通过Expander进行扩展，两组SAS接口之间必须提供连接链路，以使两个HBA卡通过该链路相互通信，这对于两个HBA卡互不冲突的协调工作是必须的；

系统软件的设置

采用高效稳定的基于2.6内核的Linux作为操作系统，实现冗余功能的大多数功能模块都通过开源实现，并在开源的基础上进行修改和完善，软件系统在各个层面设计加入了高可用组件，在管理层面，高可用组件提供了控制管理同步功能；在应用层面，提供了配置同步模块，实现对控制器配置的协调一致，心跳模块实现控制器的无缝切换；在内核层，提供缓存镜像模块，保证应用数据的一致性、完整性；

1)控制管理同步：用户对任意HBA卡的操作，实现对整个磁盘系统的控制，从管理层面对两控制器进行协调控制；

2)配置同步模块：在该服务器系统中，每一个控制器的配置和状态信息变化都会即时同步到另一个控制器，避免单一控制器失效丢失配置及运行信息，为高可用系统的运行提供保障；

3)配置传输采用CRC校验或者MD5校验方式，确保配置信息的完整性和正确性；

4)心跳模块：支持Active-Take over、Active-Active两种模式，当其中的一块RAID卡失效的时候，系统无缝切换到另一个HBA卡，并实时接管失效HBA卡运行的服务，避免单一HBA卡失效所引起的存储服务故障；其中：

Active-Take over模式：正常情况下，只有一片HBA卡对外提供服务，另一片HBA卡处于热备状态，当Active的RAID卡失效的时候，热备HBA卡自动接管，并提供I/O服务；

Active-Active模式：两块HBA卡同时提供I/O服务，互为热备，提高系统带宽，并具有路径冗余功能；

5)写缓存镜像模块：提供对HBA卡缓存内数据镜像的功能，实时备份写数据到另一片HBA卡的缓存中，保证写数据的完整性，在HBA卡接替前者所做的工作时，会造成由于前者故障导致缓存中没有写入磁盘的数据丢失，缓存镜像就是解决双HBA卡服务器系统的两片HBA卡之间切换时的缓存数据丢失的问题；

系统运行控制

服务器启动进入操作系统后，根据关机前的状态，进入一种工作模式：Active-Active or Active-Take over，在操作系统下，通过一个HBA卡对全部磁盘进行控制管理；与此同时，生成的磁盘配置信息通过SAS链路被同步到另一块磁盘控制器HBA卡中；另一块控制器HBA卡会通过心跳监控处于Active状态的磁盘控制器，并对它是否发生故障进行判别；两片HBA卡还要时刻保持缓存内数据完全一致，以保证在一片HBA卡发生故障时，缓存数据不丢失并被写入磁盘，当某一片ActiveHBA卡发生故障时，另一片HBA卡首先作出判别，然后会接管系统硬盘，并将缓存内的数据刷入磁盘，最后全面接管工作，对外提供服务。

本发明的有益效果是：适应互联网技术的不断发展和网络带宽不断增加，减少服务器的故障几率，还可以实现两个磁盘控制器的负载均衡，以达到提高数据带宽的目的。

附图说明

附图1是冗余磁盘控制服务器系统硬件组成及架构示意图；

附图2是冗余磁盘控制服务器系统的工作原理图。

具体实施方式

参照附图对本发明的冗余磁盘控制服务器系统作以下详细的说明。

一、冗余磁盘控制服务器系统硬件组成及架构

与一般的服务器相比，这种冗余I/O架构的服务器的差别主要就是增加一组I/O子系统，换句话说，传统的服务器系统，一般都通过一块HBA卡(RAID卡)控制所有磁盘，通过该HBA卡可以看到所有磁盘，可以对磁盘配置RAID，还可以对RAID的属性进行修改，最终控制所有磁盘的读写操作。一般情况下，HBA卡与硬盘之间通过背板相连。该发明就是在传统服务器应用模式的基础上，增加一块HBA卡(RAID卡)，这样就是在服务器主板上插两块相同的HBA卡。对于整个系统来说，每块HBA都被认为是相对独立的，也就是说每一块HBA卡与其它所有部件都可以组成一个完整的系统，两块HBA卡构成了两个互为冗余，互为备份的系统。

为了使上述想法成立，还需要具备以下条件：首先必须选用双端口的硬盘。我们知道，SATA硬盘是单端口的，因此SATA硬盘只能够被一个RAID卡识别到，要想使一块硬盘同时被两个RAID卡都识别到，必须选用具有双端口的硬盘，如SAS硬盘。其实SATA硬盘通过接口转换也可以模拟成SAS硬盘，目前业界也有类似的接口芯片或适配器可用，如LSI SS1300芯片，该芯片就可以将一个SATA接口模拟成SAS接口，同时被两个RAID卡识别到。

其次，作为连接RAID卡和硬盘的桥梁，针对RAID卡，背板必须提供两组接口。如果想要支持更多的硬盘，背板上可能还要提供磁盘扩展芯片(SAS Expander)，同样的，当系统内有两个HBA卡时，背板上Expander芯片的数量也必须是两个。无论是否通过Expander进行扩展，两组SAS接口之间还都必须提供连接链路，以使两个HBA卡可以通过该链路相互通信，这对于两个HBA卡可以互不冲突的协调工作是必须的。

二、冗余磁盘控制服务器系统软件实现

上面陈述了这种冗余磁盘控制服务器的硬件架构组成。然而，要想使服务器的磁盘控制系统实现可以做到冗余或者负载均衡，仅仅具备了硬件条件是不够的。必须有软件对硬件进行控制，以达到使两个HBA卡协调工作，不互相冲突的目的。

采用高效稳定的基于2.6内核的Linux作为操作系统，实现冗余功能的大多数功能模块都可以通过开源实现，并在开源的基础上进行修改和完善。

软件系统在各个层面设计加入了高可用组件。在管理层面，高可用组件提供了控制管理同步功能；在应用层面，提供了配置同步模块，实现对控制器配置的协调一致。心跳模块实现控制器的无缝切换；在内核层，提供缓存镜像模块，保证应用数据的一致性、完整性。

控制管理同步：用户对任意RAID卡的操作即可实现对整个磁盘系统的控制，从管理层面对两控制器进行协调控制。

配置同步模块：在该服务器系统中，每一个控制器的配置和状态信息变化都会即时同步到另一个控制器，避免单一控制器失效丢失配置及运行信息，为高可用系统的运行提供保障。

配置传输采用CRC校验或者MD5校验方式，确保配置信息的完整性和正确性。

心跳模块：支持Active-Take over、Active-Active两种模式，当其中的一块RAID卡失效的时候，系统无缝切换到另一个RAID卡，并实时接管失效RAID卡运行的服务，避免单一RAID卡失效所引起的存储服务故障。

■Active-Take over模式：正常情况下，只有一片RAID卡对外提供服务，另一片RAID卡处于热备状态。当Active的RAID卡失效的时候，热备RAID卡自动接管，并提供I/O服务。

■Active-Active模式：两块RAID卡同时提供I/O服务，互为热备。提高系统带宽，并具有路径冗余功能。

写缓存镜像模块：提供对RAID卡缓存内数据镜像的功能，实时备份写数据到另一片RAID卡的缓存中，保证写数据的完整性。在RAID卡接替前者所做的工作时，会造成由于前者故障导致缓存中没有写入磁盘的数据丢失。缓存镜像就是解决双RAID卡服务器系统的两片RAID卡之间切换时的缓存数据丢失的问题。

三、系统运行控制

服务器启动进入操作系统后，根据关机前的状态，进入一种工作模式：

Active-Active or Active-Take over。在操作系统下，通过一个Active控制器(RAID卡)对全部磁盘进行控制管理；与此同时，生成的磁盘配置信息通过SAS链路被同步到另一块磁盘控制器(RAID卡)中；另一块控制器(RAID卡)会通过心跳监控处于Active状态的磁盘控制器，并对它是否发生故障进行判别；两片RAID卡还要时刻保持缓存内数据完全一致，以保证在一片RAID卡发生故障时，缓存数据可以不丢失并被写入磁盘。当某一片Active RAID卡发生故障时，另一片RAID卡首先作出判别，然后会接管系统硬盘，并将缓存内的数据刷入磁盘，最后全面接管工作，对外提供服务。

Claims (1)

1.冗余磁盘控制服务器系统，其特征在于，在传统服务器应用模式的基础上，增加一块主机总线适配器，以下简称HBA卡，即在服务器主板上插两块相同的HBA卡，每块HBA卡都被认为是相对独立的，每一块HBA卡均能与其它所有部件组成一个完整的系统，两块HBA卡构成了两个互为冗余，互为备份的系统，具体步骤如下：

系统硬件的设置

1)选用双端口的SAS硬盘或使用SATA硬盘通过接口转换成SAS硬盘，转换用的接口芯片或适配器选用LSI SSl300芯片，通过该芯片将一个SATA接口模拟成SAS接口，同时被两个HBA卡识别到；

2)作为连接HBA卡和硬盘的桥梁，针对HBA卡，背板必须提供两组接口，要支持更多的硬盘，背板上要提供磁盘扩展芯片SAS Expander，系统内有两个HBA卡时，背板上SAS Expander芯片的数量也必须是两个，无论是否通过SASExpander进行扩展，两组SAS接口之间必须提供连接链路，以使两个HBA卡通过该链路相互通信，这对于两个HBA卡互不冲突的协调工作是必须的；

系统软件的设置

采用高效稳定的基于2.6内核的Linux作为操作系统，实现冗余功能的大多数功能模块通过开源实现，并在开源的基础上进行修改和完善，软件系统在各个层面设计加入了高可用组件，在管理层面，高可用组件提供了控制管理同步功能；在应用层面，提供了配置同步模块，实现对HBA卡配置的协调一致，心跳模块实现HBA卡的无缝切换；在内核层，提供缓存镜像模块，保证应用数据的一致性、完整性；

1)控制管理同步：用户对任意HBA卡的操作，实现对冗余磁盘控制服务器系统的控制，从管理层面对两HBA卡进行协调控制；

2)配置同步模块：在冗余磁盘控制服务器系统中，每一个HBA卡的配置和状态信息变化都会即时同步到另一个HBA卡，避免单一HBA卡失效丢失配置及运行信息，为高可用系统的运行提供保障；

3)配置传输采用CRC校验或者MD5校验方式，确保配置信息的完整性和正 确性；

4)心跳模块：支持Active-Take Over、Active-Active两种模式，当其中的一块HBA卡失效的时候，系统无缝切换到另一个HBA卡，并实时接管失效HBA卡运行的服务，避免单一HBA卡失效所引起的存储服务故障；其中：

Active-Take over模式：正常情况下，只有一片HBA卡对外提供服务，另一片HBA卡处于热备状态，当Active的HBA卡失效的时候，热备HBA卡自动接管，并提供I/O服务；Active-Active模式：两块HBA卡同时提供I/O服务，互为热备，提高系统带宽，并具有路径冗余功能；

5)写缓存镜像模块：提供对HBA卡缓存内数据镜像的功能，实时备份写数据到另一片HBA卡的缓存中，保证写数据的完整性，在一片HBA卡失效时，会造成因失效的HBA卡故障导致缓存中没有写入磁盘的数据丢失，缓存镜像就是解决双HBA卡服务器系统的两片HBA卡之间切换时的缓存数据丢失的问题；

系统运行控制

服务器启动进入操作系统后，根据关机前的状态，进入一种工作模式：

Active-Active或者Active-Take over，在操作系统下，通过一个HBA卡对全部磁盘进行控制管理；与此同时，生成的磁盘配置信息通过SAS链路被同步到另一块HBA卡中；另一块HBA卡会通过心跳监控处于Active状态的HBA卡，并对它是否发生故障进行判别；两片HBA卡还要时刻保持缓存内数据完全一致，以保证在一片HBA卡发生故障时，缓存数据不丢失并被写入磁盘，当某一片处于Active状态的HBA卡发生故障时，另一片HBA卡首先作出判别，然后会接管系统硬盘，并将缓存内的数据刷入磁盘，最后全面接管工作，对外提供服务。 

Images