CN101465769A - 双控制器磁盘阵列的动态故障检测系统 - Google Patents

Abstract

双控制器磁盘阵列的动态故障检测系统，属于计算机存储技术领域，解决现有故障检测系统需要大量的样本信息或者对样本要求满足特定概率分布，存储系统的负载较大，计算过程复杂、不稳定的问题。本发明由并行的主、从控制器构成，主、从控制器之间通过第二千兆以太网接口进行心跳故障检测，通过光纤通道适配器进行数据同步；主、从控制器上分别加载心跳模块、信息监控模块、故障切换模块和服务监控模块。本发明启动双心跳检测机制，以防止单心跳检测失效导致的单点故障问题；采用动态心跳设定机制，减少系统开销；故障切换和故障恢复的过程对于用户完全透明；各功能模块执行于应用层，系统易于实现和使用，具有较好的灵活性和可扩展性。

Description

双控制器磁盘阵列的动态故障检测系统

技术领域

本发明属于计算机存储技术领域，具体涉及一种双控制器磁盘阵列的动态故障检测系统。

背景技术

越来越多的证据表明，网络存储将成为继个人计算机和互联网络后第三次IT浪潮的引导者。个人计算机引领了第一次IT浪潮，互联网络把孤立的主机通过网络互联起来引领了第二次IT浪潮。第一次浪潮和第二次浪潮是以数据计算为中心，而网络存储将引领以数据存储为中心的第三次IT浪潮。为了保证存储系统的高可用性以及应对日渐频繁出现的故障，对存储系统的多个节点或者多个磁盘阵列控制器之间进行高效准确的检测已经成为必然。故障的频繁发生已经成为困扰科学家、工程技术人员和存储用户的主要问题之一，高效的动态故障检测算法和故障恢复机制是存储界的研究难点之一。在故障检测算法方面，针对存储系统高度动态异构、包丢失率及消息传输延迟较大等特点，故障检测在必须满足完整性、准确性等基本要求的基础上，还应该能够满足系统的及时性、可扩展性、灵活性等特殊需求，并据此提出了一些故障检测算法。

故障检测是使计算机系统发生故障后能及时有效恢复的前提。当前故障检测的方式分为静态心跳检测和动态心跳检测两种。一般的静态心跳故障检测的设计思想是：给定两个进程p和q，假定由p监控q，q会按照一个固定的时间间隔周期性的给p发送心跳消息；若在预定的时间段内p没有收到q的心跳消息，则p认为q故障。一般认为这是一种静态的心跳机制，它的心跳消息到达时间上限固定，不能满足网络存储系统的动态性需求。见J H Abawajy等.Fault detection service architecture for gridcomputing systems[G].In：Proc of ICCSA 2004，Lecture Note in ComputerScience 3044.Berlin：Springer，2004.107-115；而动态心跳故障检测根据最近的n次心跳消息到达的时间估计第n+1次的心跳消息到达时间，并据此判断故障的发生，一般采取加权平均方法或者线性回归的方法利用曲线拟和估计第n+1次心跳到达的时间。这些方法需要大量的样本信息或者样本需要满足某种概率分布特征，并不适合于存储系统的需求。见WChen，S Toueg，M K Aguilera.On the quality of service of failure detectors[J].IEEE Trans on Computers，2002，51(2)：13-32.以及Xuanhua Shi，HaiJin，Zongfen Han，et al.ALTER：Adaptive failure detection services for grids[C].In：Proc of the 2005 IEEE Int’l Conf on Services Computing(SCC’05).Los Alamitos，CA：IEEE Computer Society Press，2005.355-358。

在现有的对数据存储的业务需求中，需要一种高效适用的故障检测系统，以提高存储系统的可靠性和可用性。

发明内容

本发明提出一种双控制器磁盘阵列的动态故障检测系统，解决现有动态心跳故障检测系统需要大量的样本信息或者对样本要求满足特定概率分布，存储系统的负载较大，计算过程复杂、不稳定，导致不适合于存储系统需求的问题。

本发明的双控制器磁盘阵列的动态故障检测系统，由并行的主控制器和从控制器构成，主控制器和从控制器分别包括CPU、Cache、IDE硬盘、串控制器、第一千兆网卡和第二千兆网卡，它们通过PCI总线互连，主控制器和从控制器还分别包括光纤通道适配器；主控制器和从控制器之间通过第二千兆网卡进行心跳故障检测，通过光纤通道适配器进行数据同步；其特征在于：

所述主控制器和从控制器上分别加载心跳模块、信息监控模块、故障切换模块和服务监控模块；

所述心跳模块根据本控制器服务监控模块发送过来的值设置心跳发送周期，然后周期性向对方控制器发送心跳消息，心跳消息包括每个控制器自检信息和心跳信息；

所述信息监控模块将对方控制器心跳模块发送过来的心跳消息到达时间放入时间窗中，达到设定的数量以后，利用无偏灰色预测模型，预测下一次心跳消息到达时间，并结合心跳到达时间修正值设定判断故障的时限；在判断故障的时限内没有收到对方控制器发送过来的心跳消息，则认为对方控制器失效，通知故障切换模块；

所述故障切换模块根据信息监控模块的结果进行相应动作，若对方控制器工作不正常，则切换服务的对象，把对方控制器高速缓存中的数据镜像到本控制器，对第一千兆网卡进行重定向；

所述服务监控模块收集本控制器I/O服务的信息，根据系统所提供I/O服务的密集程度设置相应的心跳发送周期并且通知心跳模块。

所述的动态故障检测系统，其特征在于，所述信息监控模块中，利用无偏灰色预测模型，预测下一次心跳消息到达时间，并结合心跳到达时间修正值设定判断故障的时限，根据如下步骤进行：

(1)对原始心跳到达时间序列做一阶累加形成生成数据序列：

$t^{\left(1\right)}\left(K\right)=\underset{m=1}{\overset{k}{\mathrm{\Σ}}}{t}^{\left(0\right)}\left(m\right)$   k＝1，2，…，n；

其中，原始心跳到达时间序列：t⁽⁰⁾(1)，t⁽⁰⁾(2)，…，t⁽⁰⁾(n)，满足t⁽⁰⁾(k)≥0，k＝1，2，…，n；

(2)对一阶累加生成数据序列t⁽¹⁾(K)建立一阶微分方程：

$\frac{{\mathrm{dt}}^{\left(1\right)}\left(k\right)}{\mathrm{dk}}+{\mathrm{at}}^{\left(1\right)}\left(k\right)=u$

其中a为发展系统，u为灰色作用量；

(3)确定数据矩阵A和X_n：

$A=\left(\begin{array}{cc}-\frac{1}{2}[t^{\left(1\right)}\left(1\right)+t^{\left(1\right)}\left(2\right)]& 1\\ -\frac{1}{2}[t^{\left(1\right)}\left(2\right)+t^{\left(1\right)}\left(3\right)]& 1\\ \·& \·\\ \·& \·\\ \·& \·\\ -\frac{1}{2}[t^{\left(1\right)}(n-1)+t^{\left(1\right)}\left(n\right)]& 1\end{array}\right),$

$X_n=\left(\begin{array}{c}{t}^{\left(0\right)}\left(2\right)\\ t^{\left(0\right)}\left(3\right)\\ \·\\ \·\\ \·\\ t^{\left(0\right)}\left(n\right)\end{array}\right),$

(4)求灰色预测模型的参数列：

${\left[\begin{array}{cc}\hat{a}& \hat{u}\end{array}\right]}^T={\left(\begin{array}{cc}{A}^T& A\end{array}\right)}^{-1}{A}^T{X}_n;$

(5)设原始心跳达到时间序列为指数序列：

t⁽⁰⁾(k)＝Be^a(k-1)  k＝1，2，…，N

令无偏灰色预测模型的参数

分别为：

$\hat{a}\′=\ln \frac{2-\hat{a}}{2+\hat{a}},$ $\hat{B}=\frac{2\hat{u}}{2+\hat{a}};$

(6)求得N次心跳到达时间预测值：

${\hat{t}}^{\left(0\right)}\left(1\right)=t^{\left(0\right)}\left(1\right)$

${\hat{t}}^{\left(0\right)}\left(k\right)=\hat{B}{e}^{\hat{a}\′(k-1)}$   k＝2，3，…，N，

(7)由N次心跳到达时间预测值，结合心跳到达时间修正值σ，生成N+1次心跳消息到达时间预测值

作为判断故障的时限：

${\hat{t}}^{\left(0\right)}(N+1)=\hat{B}{e}^{\hat{a}\′\left(N\right)}+\mathrm{\σ},$

心跳到达时间修正值σ：

$\mathrm{\σ}=i\×\frac{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}(t^{\left(0\right)}\left(k\right)-{\hat{t}}^{\left(0\right)}\left(k\right))}{N},$

其中i为权值且0<i<2，t⁽⁰⁾(k)为每次原始心跳到达时间，

为每次预测的心跳到达时间。

所述的动态故障检测系统，其特征在于：

所述主控制器和从控制器还分别具有RS-232串口，在预测的时间内信息监控模块没有收到心跳消息，则启用RS-232串口，若检测对方控制器失效，启动故障切换模块；若检测对方控制器未失效，则通知用户对第二千兆网卡进行检测。

所述的动态故障检测系统，其特征在于：

所述主控制器和从控制器的心跳模块根据服务监控模块获得的I/O服务请求的密集程度动态修改心跳发送周期，当I/O服务请求稀疏时，增大心跳消息发送周期；当I/O服务请求密集时，则缩短心跳消息发送周期。

传统的故障检测通常是被监控对象每隔一个固定的时间周期ξ向监控对象发送心跳信息，报告自己的故障状态，这个过程通常会因为设备或者网络的原因导致一个传输延时t_d；而监控对象会按照一个固定的时限timeout(ξ+t_d)来对心跳信息进行判断，一旦超过了这个时间没有接受到心跳信息，则认为被监控对象出现故障。这种方法缺乏灵活性，故障检测的错误率偏高，并且检测的时间固定不变，容易受到设备或者网络链接故障的影响。本发明采用动态机制来检测故障的发生，对心跳信息的到达时间进行动态设定，能较好的满足用户对存储系统的性能要求。

本发明根据信息监控模块获得的I/O负载特征值λ来动态的设定心跳消息的发送周期ξ，可以较好的适应外部环境的数据请求的变化特征。

本发明为了减少单心跳检测导致的错误故障判断结果，还采用了双心跳机制来提高故障检测的可靠性。在心跳检测硬件方面，这里也采用了冗余措施。一方面，采用第二千兆网卡来进行心跳检测信息的交互，同时另一方面，采用RS-232串口来进行心跳检测上硬件的冗余。这一切都是为了保证存储系统中关键数据不致丢失，减少用户的损失。RS-232是电子工业协会(EIA)制定并发布的，它是PC机与通信工业中应用最广泛的一种串行接口。RS-232被定义为一种在低速率串行通讯中增加通讯距离的单端标准。RS-232采取不平衡传输方式，即所谓单端通讯。

本发明采用的无偏灰色预测模型与传统灰色预测模型相比，不存在传统灰色预测模型固有的偏差，消除了原始序列增长率较大时失效的现象，并且无须进行累减还原，简化了建模步骤，减少了计算时间和降低了系统的负载。

本发明支持对多个磁盘阵列控制器的故障进行检测，通过在存储系统内采用动态心跳故障检测的方式实现多个节点或者多个磁盘阵列控制器之间的故障检测功能，最大限度的减少故障检测的时间和降低故障检测的错误率，达到故障检测的完整性需求，并且节省存储系统的网络有效带宽，提高存储系统发生故障后及时有效故障恢复的能力，增强存储网络的健壮性。本发明虽然是基于双控制器磁盘阵列系统提出的，但可以广泛适用于一般的分布式计算机系统。

本发明的软件模块运行于应用层，易于用户操作，并且能根据用户的需求进行灵活的配置，增加或者删除一些功能模块。

附图说明

图1为本发明的一个实施例结构示意图；

图2为本发明主控制器和从控制器加载的功能模块示意图；

图3为单心跳线检测流程示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明的实施例，由并行的主控制器和从控制器构成，主控制器和从控制器分别包括CPU、Cache、IDE硬盘、串控制器、第一千兆网卡和第二千兆网卡，它们通过PCI总线互连，主控制器和从控制器还分别包括光纤通道适配器；主控制器和从控制器之间通过第二千兆网卡进行心跳故障检测，通过光纤通道适配器进行数据同步；

串控制器使用LSI Logic公司的LSI22320 Ultra320 SCSI适配器，该适配器包括两条320MBps SCSI通道，可以提供640MBps的通道带宽。每条SCSI通道可以连接最多达15个SCSI硬盘，两条通道就可以连接30个硬盘，同时可以通过增加SCSI适配器来增加容量。光纤通道适配器采用了Agilent的Tachyon DE4(HPFC-6700A)，具有双端口，每个端口都支持全双工工作模式，提供高达4Gbps的带宽。PCI插槽上有两个千兆的网卡，作为第一千兆网卡和第二千兆网卡，第一千兆网卡用来连接主机的主机通道接口，用来接受主机来的命令和数据；第二千兆网卡用来进行心跳检测，以便得知控制器之间的存活状态。此外，为了保证心跳检测的冗余性，加入了RS-232串口。本发明硬件配置相对灵活，SCSI适配器、千兆网卡都是直接插到主板的PCI插槽上，光纤通道适配器是直接插到主板的PCI-E插槽上，都可以通过更换或增加更快的主机通道适配器来提高性能，同时也可以通过增加串控制器来提高阵列容量。

如图2所示，主控制器和从控制器上分别加载心跳模块、信息监控模块、故障切换模块和服务监控模块。

当本发明只配备第二千兆以太网接口作为心跳线时，单心跳线主控制器故障检测的步骤如图3所示：

(1)设定心跳消息发送周期；

(2)根据信息监控模块设定的故障判断时间，判断在每次设定的时限内是否收到心跳信息，是则转步骤(4)，否则认为主控制器出现故障，转步骤(3)；

(3)从控制器进行故障处理：

从控制器接替主控制器的工作，进行下列操作实现故障的迁移：

根据状态将Cache中未写入磁盘中的数据写入到磁盘中；

修改IP地址，并且向网关发送ARP请求；

根据配置文件映射设备；

(4)接收通过心跳线传送过来备份的“配置文件”和主控制器“自检信息”，“配置文件”交由备份程序处理，“自检信息”交由互检程序处理；转步骤(1)。

本发明同时配备RS-232串口作为心跳线时，双心跳线的检测过程基本同上。

Claims (5)

1.一种双控制器磁盘阵列的动态故障检测系统，由并行的主控制器和从控制器构成，主控制器和从控制器分别包括CPU、Cache、IDE硬盘、串控制器、第一千兆以太网接口和第二千兆以太网接口，它们通过PCI总线互连，主控制器和从控制器还分别包括光纤通道适配器；主控制器和从控制器之间通过第二千兆以太网接口进行心跳故障检测，通过光纤通道适配器进行数据同步；其特征在于：

所述主控制器和从控制器上分别加载心跳模块、信息监控模块、故障切换模块和服务监控模块；

所述心跳模块根据本控制器服务监控模块发送过来的值设置心跳发送周期，然后周期性向对方控制器发送心跳消息，心跳消息包括每个控制器自检信息和心跳信息；

所述信息监控模块将对方控制器心跳模块发送过来的心跳消息到达时间放入时间窗中，达到设定的数量以后，利用无偏灰色预测模型，预测下一次心跳消息到达时间，并结合心跳到达时间修正值设定判断故障的时限；在判断故障的时限内没有收到对方控制器发送过来的心跳消息，则认为对方控制器失效，通知故障切换模块；

所述故障切换模块根据信息监控模块的结果进行相应动作，若对方控制器工作不正常，则切换服务的对象，把对方控制器高速缓存中的数据镜像到本控制器，对第一千兆网卡进行重定向；

所述服务监控模块收集本控制器I/O服务的信息，根据系统所提供I/O服务的密集程度设置相应的心跳发送周期并且通知心跳模块。

2.如权利要求1所述的动态故障检测系统，其特征在于，所述信息监控模块中，利用无偏灰色预测模型，预测下一次心跳消息到达时间，并结合心跳到达时间修正值设定判断故障的时限，根据如下步骤进行：

(1)对原始心跳到达时间序列做一阶累加形成生成数据序列：

$t^{\left(1\right)}\left(K\right)=\underset{m=1}{\overset{k}{\mathrm{\&Sigma;}}}{t}^{\left(0\right)}\left(m\right)$      k＝1，2，…，n；

其中，原始心跳到达时间序列：t⁽⁰⁾(1)，t⁽⁰⁾(2)，…，t⁽⁰⁾(n)，满足t⁽⁰⁾(k)≥0，k＝1，2，…，n；

(2)对一阶累加生成数据序列t⁽¹⁾(K)建立一阶微分方程：

$\frac{{\mathrm{dt}}^{\left(1\right)}\left(k\right)}{\mathrm{dk}}+{\mathrm{at}}^{\left(1\right)}\left(k\right)=u$

其中a为发展系统，u为灰色作用量；

(3)确定数据矩阵A和X_n：

$A=\left(\begin{array}{cc}-\frac{1}{2}[t^{\left(1\right)}\left(1\right)+t^{\left(1\right)}\left(2\right)]& 1\\ -\frac{1}{2}[t^{\left(1\right)}\left(2\right)+t^{\left(1\right)}\left(3\right)]& 1\\ \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;\\ -\frac{1}{2}[t^{\left(1\right)}(n-1)+t^{\left(1\right)}\left(n\right)]& 1\end{array}\right),$

$X_n=\left(\begin{array}{c}{t}^{\left(0\right)}\left(2\right)\\ t^{\left(0\right)}\left(3\right)\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ t^{\left(0\right)}\left(n\right)\end{array}\right),$

(4)求灰色预测模型的参数列：

${\left[\begin{array}{cc}\hat{a}& \hat{u}\end{array}\right]}^T={\left(A^{T}A\right)}^{-1}{A}^T{X}_n;$

(5)设原始心跳达到时间序列为指数序列：

t⁽⁰⁾(k)＝Bea^(k-1)  k＝1，2，…，N

令无偏灰色预测模型的参数

分别为：

$\hat{a}\&prime;=\ln \frac{2-\hat{a}}{2+\hat{a}},$ $\hat{B}=\frac{2\hat{u}}{2+\hat{a}};$

(6)求得N次心跳到达时间预测值：

${\hat{t}}^{\left(0\right)}\left(1\right)=t^{\left(0\right)}\left(1\right)$

${\hat{t}}^{\left(0\right)}\left(k\right)=\hat{B}{e}^{\hat{a}\&prime;(k-1)}$    k＝2，3，…，N，

(7)由N次心跳到达时间预测值，结合心跳到达时间修正值σ，生成N+1次心跳消息到达时间预测值

作为判断故障的时限：

${\hat{t}}^{\left(0\right)}(N+1)=\hat{B}{e}^{\hat{a}\&prime;\left(N\right)}+\mathrm{\&sigma;},$

心跳到达时间修正值σ：

$\mathrm{\&sigma;}=i\&times;\frac{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}(t^{\left(0\right)}\left(k\right)-{\hat{t}}^{\left(0\right)}\left(k\right))}{N},$

其中i为权值且0<i<2，t⁽⁰⁾(k)为每次原始心跳到达时间，

为每次预测的心跳到达时间。

3.如权利要求1或2所述的动态故障检测系统，其特征在于：

所述主控制器和从控制器还分别具有RS-232串口，在预测的时间内信息监控模块没有收到心跳消息，则启用RS-232串口，若检测对方控制器失效，则启动故障切换模块；若检测对方控制器未失效，则通知用户对第二千兆网卡进行检测。

4.如权利要求1或2所述的动态故障检测系统，其特征在于：

所述主控制器和从控制器的心跳模块根据服务监控模块获得的I/O服务请求的密集程度动态修改心跳发送周期，当I/O服务请求稀疏时，增大心跳消息的发送周期；当I/O服务请求密集时，则缩短心跳消息的发送周期。

5.如权利要求3所述的动态故障检测系统，其特征在于：

所述主控制器和从控制器的心跳模块根据服务监控模块获得的I/O服务请求的密集程度动态修改心跳发送周期，当I/O服务请求稀疏时，增大心跳消息发送周期；当I/O服务请求密集时，则缩短心跳消息发送周期。

Images