CN105573857A - 一种多控磁盘阵列缓存镜像方法及系统 - Google Patents

Abstract

本发明公开了一种多控磁盘阵列缓存镜像方法及系统，涉及计算机存储系统技术领域，该方法包括建立镜像对步骤，初始化控制器，控制器包括本地缓存区与镜像缓存区，源控制器的本地缓存区与镜像控制器的镜像缓存区建立镜像对；写入数据步骤，当执行数据写入操作时，将数据写入到本地缓存区，同时将数据同步到与本地缓存区建立镜像对的镜像缓存区中；读取数据步骤，当执行数据读取操作时，从本地缓存区读取数据。本发明能够提高磁盘阵列的存储效率，且数据更加安全。

Description

一种多控磁盘阵列缓存镜像方法及系统

技术领域

本发明涉及计算机存储系统技术领域，特别涉及一种多控磁盘阵列缓存镜像方法及系统。

背景技术

磁盘阵列(RAID，RedundantArrayofInexpensiveDisk，独立磁盘冗余阵列，简称磁盘阵列)是1987年由美国加州大学伯克利分校提出计算机存储技术，该技术可通过将许多小容量磁盘，采用不同级别的冗余算法以实现更高的可靠性及读写性能。

磁盘阵列可划分为JBOD、双控制器、多控制器三种，如今JBOD已基本不见踪迹，取而代之的是单控制器架构，单控制器架构就是通过将服务器与JBOD相结合，整体作为一个存储系统提供存储服务。

多控磁盘阵列技术是提高磁盘阵列可靠性最为有效的手段之一，为保证各磁盘阵列控制器中缓存数据的一致性，需要将各控制器中的缓存之间建立镜像关系，将控制器上产生的缓存数据同步镜像到互为备份的其它控制器上，在缓存镜像模型中，所有阵列控制器处于同等地位，即其中任何控制器对缓存的更改都会同步更新到其它控制器上。

当前技术在实现多控磁盘阵列方面，由于控制器之间数据的并发访问，很难同时保证高效的IO并发处理和控制器数据高可靠性之间的统一。本发明通过设计的缓存镜像方法及系统，可有效保证各控制器缓存数据一致性，从而提供高效的并发IO访问速度。

发明内容

本发明提出了一种多控磁盘阵列缓存镜像方法及系统，目的在于多控磁盘阵列中解决缓存数据一致性问题，为满足平台一致性的要求，选择在SCST(SmallComputerSysteminterfaceTarget,小型计算机系统接口目标器，简称SCST，用于提供统一的内核与存储后端连接接口子系统)设备驱动中间层加入缓存镜像模块，缓存数据通过IB(InfiniBand,无限带宽，简称IB，是一种新的I/O体系结构，它将I/O系统与复杂的CPU/Mem分开，采用基于通道的高速串行链路和可扩展的光纤交换网络替代共享总线结构，最高理论带宽可达到120Gb/s，提供了高带宽、低延迟、可扩展的I/O互连，可来完成多个控制设备之间的缓冲通信，完成多个控制器之间缓存的高速同步)通道与镜像缓存进行高速同步，传输使用RDMA(RemoteDirectMemoryAccess，全称远程直接数据存取，可实现缓存镜像数据的零拷贝，从而避免实时镜像对镜像端控制器性能造成的不利影响)协议以减少数据拷贝次数，降低对系统性能的影响。

针对现有技术的不足，本发明提出一种多控磁盘阵列缓存镜像方法，包括：

建立镜像对步骤，初始化控制器，控制器包括本地缓存区与镜像缓存区，源控制器的本地缓存区与镜像控制器的镜像缓存区建立镜像对；

写入数据步骤，当执行数据写入操作时，将数据写入到本地缓存区，同时将数据同步到与本地缓存区建立镜像对的镜像缓存区中；

读取数据步骤，当执行数据读取操作时，从本地缓存区读取数据。

所述的多控磁盘阵列缓存镜像方法，所述建立镜像对步骤包括：

为每个控制器生成标识ID，获取所述镜像控制器的标识ID和镜像对状态信息；

检查所述镜像对状态信息，若所述镜像控制器存在空间镜像缓存区，则所述源控制器向所述镜像控制器申请建立镜像对，否则从所有控制器中选择最先响应的控制器，作为镜像控制器，发送建立镜像对请求；

解除最先响应的控制器原有的镜像对，并与所述源控制器建立镜像对。

所述的并行多控磁盘阵列缓存镜像方法，所述写入数据步骤还包括：

更新所述镜像控制器镜像缓存区的镜像缓存差异位图；

若所述镜像控制器的镜像缓存区发生故障，则将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中。

所述的多控磁盘阵列缓存镜像方法，所述读取数据步骤还包括：

若未能从所述源控制器的本地缓存区读取数据，则从所述共享存储设备中读取数据，并更新所述镜像缓存差异位图。

所述的多控磁盘阵列缓存镜像方法，还包括：

故障检测处理步骤，所述源控制器向所述镜像控制器发送状态检测命令；

若所述源控制器在检测超时窗口内获取所述镜像控制器的状态正常响应，则所述镜像控制器状态正常，等待规定周期后，重新发送状态检测命令，否则设置所述镜像控制器的状态为镜像丢失，并暂停缓存IO操作流程，解除与所述源控制器的镜像对，所述源控制器与其他控制器建立镜像对；

恢复IO操作流程，并将源控制器的状态设置为镜像正常；

将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中，并将所述镜像控制器的镜像缓存区设置为空闲状态。

本发明还提出一种多控磁盘阵列缓存镜像系统，包括：

建立镜像对模块，用于初始化控制器，控制器包括本地缓存区与镜像缓存区，源控制器的本地缓存区与镜像控制器的镜像缓存区建立镜像对；

写入数据模块，用于当执行数据写入操作时，将数据写入到本地缓存区，同时将数据同步到与本地缓存区建立镜像对的镜像缓存区中；

读取数据模块，用于当执行数据读取操作时，从本地缓存区读取数据。

所述的多控磁盘阵列缓存镜像系统，所述建立镜像对模块包括：

为每个控制器生成标识ID，获取所述镜像控制器的标识ID和镜像对状态信息；

检查所述镜像对状态信息，若所述镜像控制器存在空间镜像缓存区，则所述源控制器向所述镜像控制器申请建立镜像对，否则从所有控制器中选择最先响应的控制器，作为镜像控制器，发送建立镜像对请求；

解除最先响应的控制器原有的镜像对，并与所述源控制器建立镜像对。

所述的多控磁盘阵列缓存镜像系统，所述写入数据模块还包括：用于更新所述镜像控制器镜像缓存区的镜像缓存差异位图；若所述镜像控制器的镜像缓存区发生故障，则将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中。

所述的多控磁盘阵列缓存镜像系统，所述读取数据模块还包括：用于若未能从所述源控制器的本地缓存区读取数据，则从所述共享存储设备中读取数据，并更新所述镜像缓存差异位图。

所述的多控磁盘阵列缓存镜像系统，还包括：

故障检测处理模块，用于所述源控制器向所述镜像控制器发送状态检测命令；若所述源控制器在检测超时窗口内获取所述镜像控制器的状态正常响应，则所述镜像控制器状态正常，等待规定周期后，重新发送状态检测命令，否则设置所述镜像控制器的状态为镜像丢失，并暂停缓存IO操作流程，解除与所述源控制器的镜像对，所述源控制器与其他控制器建立镜像对；恢复IO操作流程，并将源控制器的状态设置为镜像正常；将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中，并将所述镜像控制器的镜像缓存区设置为空闲状态。

由以上方案可知，本发明的优点在于：

通过在SCST设备驱动中间层加入缓存镜像模块，并在结合使用RDMA的零拷贝功能实现多控磁盘阵列缓存的镜像实时同步，保证多控磁盘阵列数据的高可靠性，同时提高了多控磁盘阵列系统并发IO性能。

附图说明

图1为本发明的流程图；

图2为本发明的缓存镜像技术总体方案图；

图3为本发明的缓存镜像关系图；

图4为本发明的控制器动态加入前图；

图5为本发明的控制器动态加入后图；

图6为本发明的写操作流程图；

图7为本发明的缓存未命中读操作处理流程图；

图8为本发明的故障检测及处理机制图。

其中附图标记为：

步骤100为本发明整体步骤，包括：

步骤101/102/103/104。

具体实施方式

本发明提出了一种并行多控磁盘阵列缓存镜像方法及系统，目的在于多控磁盘阵列中解决缓存数据一致性问题，为满足平台一致性的要求，选择在SCST设备驱动中间层加入缓存镜像模块，缓存数据通过IB通道与镜像缓存进行高速同步，传输使用RDMA(RemoteDirectMemoryAccess，全称远程直接数据存取)协议以减少数据拷贝次数，降低对系统性能的影响。

多控磁盘阵列控制器通过SCST目标器为服务器提供统一的访问接口，服务器端通过SCST始发器发起对某一控制器中SCST目标器端的数据访问请求，SCST目标器接收到请求后，通过SCST设备中间层与Cache(缓存)模块交互，以响应访问请求。访问过程中，若Cache(缓存)数据发生变化，则缓存镜像模块通过IB适配器驱动模块与镜像缓存进行实时同步，以保证缓存数据的高可靠性。

多控磁盘阵列控制器镜像关系各控制器缓存区分为两部分：本地缓存区和镜像缓存区，本地缓存区只供本地缓存数据使用，用于与本地SCST设备中间层模块数据访问请求进行缓存数据交互；镜像缓存区用于与另一台已建立镜像对关系的多控磁盘阵列控制器的本地缓存区数据作镜像使用。当多控磁盘阵列系统启动后，每个控制器的本地缓存区均与另一个控制器的镜像缓存形成了镜像对关系，所有控制器本地缓存均有一个备份的镜像缓存区存在与另一个控制器中，最终形成的镜像对关系如图1所示。

以下为本发明方法的具体步骤，如图2所示步骤100为本发明具体步骤，包括：

步骤101，建立镜像对，最终形成的镜像对如图3所示。初始化控制器，控制器包括本地缓存区与镜像缓存区，源控制器的本地缓存区与镜像控制器的镜像缓存区建立镜像对，以下为具体实施例，如图4和图5所示：

根据配置文件参数初始化本地缓存区和镜像缓存区，并生成该控制器A(源控制器)唯一标识ID；

通过状态检测接口检测获取其它控制器ID及配对关系状态信息(镜像对状态信息)；

检查获取的控制器镜像对状态信息，若存在空闲镜像缓存的控制器，则向最先检测到的空闲镜像缓存控制器B发送请求建立镜像对关系的申请；

若对端控制器B准予镜像对关系建立，则将本控制器A的本地缓存区和对端控制器B的镜像缓存区建立缓存镜像对；

若所有控制器均无空闲的镜像缓存，则从所有探测到的控制器中选择最先响应的控制器(控制器F)，向其发送重建镜像对关系申请；

控制器F收到重建镜像对关系申请后，首先取消之前已存在的本地缓存镜像到其镜像对的镜像缓存之间的镜像关系，然后建立本控制器A本地缓存到发送重建镜像对关系命令控制器镜像缓存的镜像对关系，并同意重建镜像对关系申请；

控制器A收到重建镜像对关系命令成功消息后，建立本地缓存到控制器F(镜像控制器)镜像缓存的镜像对。

镜像对建成后，控制器A主动发送首次缓存同步操作申请，使控制器A中的本地缓存和控制器F中镜像缓存保持一致，成功后初始化控制器F镜像缓存差异位图。

步骤102，写入数据。当执行数据写入操作时，将数据写入到本地缓存区，同时将数据同步到与本地缓存区建立镜像对的镜像缓存区中，以下为步骤102的具体实施例，如图6所示：

缓存镜像镜像对关系建立成功之后，多控磁盘阵列控制器初始化过程完成，可通过SCSTTarget为前端连接的服务器提供数据访问服务，在采用写回模式的情况下，为保证镜像缓存数据的实时一致性，镜像对之间采用IBA卡的RDMA协议进行同步更新，当控制器从SCSTTarget模块接收到写操作请求后，SCSC中间层驱动使用RDMA将缓存差异数据送到镜像缓存中，收到镜像端接收成功确认后，再将IO操作提交各底层块设备进行处理，并向上层提交数据写入成功确认消息，完成写过程，具体流程如下：

源控制器获取SCST目标器层写回操作请求，将写回数据写入本控制器本地缓存区中；

使用改变的写入数据，更新镜像缓存差异位图；

将镜像缓存差异位图中不一致的缓存数据通过RDMA数据同步通道发到镜像控制器镜像缓存区中；

获取镜像控制器远程写操作成功消息；

继续执行本地写回操作处理流程，向SCST目标器层返回写回操作执行成功消息；

在镜像控制器中，实时监控源控制器的状态，若发现源控制器发生故障，则将镜像缓存写回到磁盘中(将镜像控制器镜像缓存区的数据存储到磁盘设备中)，以保证缓存数据不被丢失。

其中在步骤102中，一方面使用IB适配器的高速传输特性提高传输性能，另一方面，结合镜像缓存差异位图减少同步数据量，同步操作过程对源控制器的写操作影响很小，并且由于使用了RDMA写功能，发送到镜像端的数据可以不用进入镜像控制器的系统核心，而是直接发送到镜像缓存区对应的虚拟地址中，因此镜像控制器的CPU可完全不参与此RDMA操作，整个同步过程对镜像控制器的性能影响很小。

步骤103，读取数据，当执行数据读取操作时，从本地缓存区读取数据，以下为步骤103的具体实施例，如图7所示：

源控制器获取SCST目标器层读操作请求，从源控制器本地缓存区中查找，若缓存命中，则直接返回缓存数据，读操作完成；

若缓存未命中，则产生缓存未命中中断处理信号，执行本地缓存读取处理流程；

本地缓存读取模块通过底层块设备从共享存储器中获取需要读取的数据，使用选定的缓存替换算法替换本地缓存区缓存数据；

更新镜像缓存差异位图；

将读操作所需数据返回给SCST目标器模块，执行读操作处理流程，完成读操作请求。

在步骤103中，仅当读操作请缓存未命中时，需要执行额外的更新镜像缓存差异位图操作，并不涉及到镜像对数据同步及其他的IO操作，因此对读操作的性能影响很小。

步骤104，故障检测及处理。所述源控制器向所述镜像控制器发送状态检测命令；若所述源控制器在检测超时窗口内获取所述镜像控制器的状态正常响应，则所述镜像控制器状态正常，等待规定周期后，重新发送状态检测命令，否则设置所述镜像控制器的状态为镜像丢失，并暂停缓存IO操作流程，解除与所述源控制器的镜像对，所述源控制器与其他控制器建立镜像对；恢复IO操作流程，并将源控制器的状态设置为镜像正常；将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中，并将所述镜像控制器的镜像缓存区设置为空闲状态，以下为步骤104的具体实施例，如图8所示：

为确保多控磁盘阵列缓存镜像的镜像关系出现异常时能正确处理，在缓存镜像中增加故障检测及恢复机制，在缓存镜像故障检测过程中，由源控制器周期性的通过状态检测接口发送镜像状态查询命令，源控制器和镜像控制器分别对故障查询命令及其响应情况进行相应的处理，以保证镜像故障能被源控制器或镜像控制器及时获知，从而可及时得到处理，现分别叙述源控制器和镜像控制器的故障检测处理流程。

以下为源控制器故障检测及处理流程，包括：

源控制器通过状态检测接口向对应镜像控制器发送状态检测命令；

若源控制器在检测超时窗口内获取到镜像控制器状态正常响应，则状态正常，等待规定周期后，重新发送状态检测命令；

若源控制器在检测超时窗口内未获取到镜像控制器状态正常响应或获取获取到的镜像控制器镜像状态异常，则设置控制器状态为镜像丢失，并暂停缓存IO操作流程；

解除与源镜像控制器的镜像对关系；

重新执行步骤101，与新的控制器建立镜像对关系；

恢复IO操作流程，并将源控制器状态设置为镜像正常；

经过以上步骤操作后，原发生故障镜像控制器镜像缓存服务将被从整个多控磁盘阵网络中移除。

以下为镜像控制器故障检测及处理流程，包括

镜像控制器接收源控制器状态查询操作命令；

若在超时时间窗口内收到源控制器状态查询操作指令，则镜像关系正常，等待规定周期后，接收源控制器状态查询操作命令；

若未在规定的超时时间窗口内收到源控制器状态查询操作指令，则镜像关系异常，将镜像控制器的镜像缓存写回到磁盘阵列中；

将镜像控制器的镜像缓存区置为空闲状态。

本发明还包括一种并行多控磁盘阵列缓存镜像系统，包括：

建立镜像对模块，用于初始化控制器，控制器包括本地缓存区与镜像缓存区，源控制器的本地缓存区与镜像控制器的镜像缓存区建立镜像对，其中为每个控制器生成标识ID，获取所述镜像控制器的标识ID和镜像对状态信息；检查所述镜像对状态信息，若所述镜像控制器存在空间镜像缓存区，则所述源控制器向所述镜像控制器申请建立镜像对，否则从所有控制器中选择最先响应的控制器，作为镜像控制器，发送建立镜像对请求；解除最先响应的控制器原有的镜像对，并与所述源控制器建立镜像对。；

写入数据模块，用于当执行数据写入操作时，将数据写入到本地缓存区，同时将数据同步到与本地缓存区建立镜像对的镜像缓存区中，用于更新所述镜像控制器镜像缓存区的镜像缓存差异位图；若所述镜像控制器的镜像缓存区发生故障，则将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中；

读取数据模块，用于当执行数据读取操作时，从本地缓存区读取数据，用于若未能从所述源控制器的本地缓存区读取数据，则从所述共享存储设备中读取数据，并更新所述镜像缓存差异位图。

故障检测处理模块，用于所述源控制器向所述镜像控制器发送状态检测命令；若所述源控制器在检测超时窗口内获取所述镜像控制器的状态正常响应，则所述镜像控制器状态正常，等待规定周期后，重新发送状态检测命令，否则设置所述镜像控制器的状态为镜像丢失，并暂停缓存IO操作流程，解除与所述源控制器的镜像对，所述源控制器与其他控制器建立镜像对；恢复IO操作流程，并将源控制器的状态设置为镜像正常；将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中，并将所述镜像控制器的镜像缓存区设置为空闲状态。

Claims (10)

1.一种多控磁盘阵列缓存镜像方法，其特征在于，包括：

建立镜像对步骤，初始化控制器，控制器包括本地缓存区与镜像缓存区，源控制器的本地缓存区与镜像控制器的镜像缓存区建立镜像对；

写入数据步骤，当执行数据写入操作时，将数据写入到本地缓存区，同时将数据同步到与本地缓存区建立镜像对的镜像缓存区中；

读取数据步骤，当执行数据读取操作时，从本地缓存区读取数据。

2.如权利要求1所述的多控磁盘阵列缓存镜像方法，其特征在于，所述建立镜像对步骤包括：

为每个控制器生成标识ID，获取所述镜像控制器的标识ID和镜像对状态信息；

检查所述镜像对状态信息，若所述镜像控制器存在空间镜像缓存区，则所述源控制器向所述镜像控制器申请建立镜像对，否则从所有控制器中选择最先响应的控制器，作为镜像控制器，发送建立镜像对请求；

解除最先响应的控制器原有的镜像对，并与所述源控制器建立镜像对。

3.如权利要求1所述的并行多控磁盘阵列缓存镜像方法，其特征在于，所述写入数据步骤还包括：

更新所述镜像控制器镜像缓存区的镜像缓存差异位图；

若所述镜像控制器的镜像缓存区发生故障，则将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中。

4.如权利要求1或3所述的多控磁盘阵列缓存镜像方法，其特征在于，所述读取数据步骤还包括：

若未能从所述源控制器的本地缓存区读取数据，则从所述共享存储设备中读取数据，并更新所述镜像缓存差异位图。

5.如权利要求1所述的多控磁盘阵列缓存镜像方法，其特征在于，还包括：

故障检测处理步骤，所述源控制器向所述镜像控制器发送状态检测命令；

若所述源控制器在检测超时窗口内获取所述镜像控制器的状态正常响应，则所述镜像控制器状态正常，等待规定周期后，重新发送状态检测命令，否则设置所述镜像控制器的状态为镜像丢失，并暂停缓存IO操作流程，解除与所述源控制器的镜像对，所述源控制器与其他控制器建立镜像对；

恢复IO操作流程，并将源控制器的状态设置为镜像正常；

将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中，并将所述镜像控制器的镜像缓存区设置为空闲状态。

6.一种多控磁盘阵列缓存镜像系统，其特征在于，包括：

建立镜像对模块，用于初始化控制器，控制器包括本地缓存区与镜像缓存区，源控制器的本地缓存区与镜像控制器的镜像缓存区建立镜像对；

写入数据模块，用于当执行数据写入操作时，将数据写入到本地缓存区，同时将数据同步到与本地缓存区建立镜像对的镜像缓存区中；

读取数据模块，用于当执行数据读取操作时，从本地缓存区读取数据。

7.如权利要求6所述的多控磁盘阵列缓存镜像系统，其特征在于，所述建立镜像对模块包括：

为每个控制器生成标识ID，获取所述镜像控制器的标识ID和镜像对状态信息；

检查所述镜像对状态信息，若所述镜像控制器存在空间镜像缓存区，则所述源控制器向所述镜像控制器申请建立镜像对，否则从所有控制器中选择最先响应的控制器，作为镜像控制器，发送建立镜像对请求；

解除最先响应的控制器原有的镜像对，并与所述源控制器建立镜像对。

8.如权利要求7所述的多控磁盘阵列缓存镜像系统，其特征在于，所述写入数据模块还包括：用于更新所述镜像控制器镜像缓存区的镜像缓存差异位图；若所述镜像控制器的镜像缓存区发生故障，则将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中。

9.如权利要求6或8所述的多控磁盘阵列缓存镜像系统，其特征在于，所述读取数据模块还包括：用于若未能从所述源控制器的本地缓存区读取数据，则从所述共享存储设备中读取数据，并更新所述镜像缓存差异位图。

10.如权利要求7所述的多控磁盘阵列缓存镜像系统，其特征在于，还包括：

故障检测处理模块，用于所述源控制器向所述镜像控制器发送状态检测命令；若所述源控制器在检测超时窗口内获取所述镜像控制器的状态正常响应，则所述镜像控制器状态正常，等待规定周期后，重新发送状态检测命令，否则设置所述镜像控制器的状态为镜像丢失，并暂停缓存IO操作流程，解除与所述源控制器的镜像对，所述源控制器与其他控制器建立镜像对；恢复IO操作流程，并将源控制器的状态设置为镜像正常；将所述镜像控制器的镜像缓存区的数据存储到共享存储设备中，并将所述镜像控制器的镜像缓存区设置为空闲状态。