CN112445652B - 远程复制系统 - Google Patents

Abstract

本发明提供一种远程复制系统，能够在主站点发生故障时尽早且可靠地在副站点再现运用环境。本发明的远程复制系统(1)的第一存储系统(200A)具有数据卷(150A)、日志卷(160A)和存储控制器(101A)，存储控制器(101A)从第一服务器系统(201A)接收到操作时，基于该操作，执行将基于操作的更新内容存储于日志卷(160A)的作业和接收到操作时执行该操作的作业中的任一者。

Description

远程复制系统

技术领域

本发明涉及远程复制系统。

背景技术

灾难恢复(Disaster Recovery(DR))的自动化的需求高涨。在DR中，为防备发生地震或火灾等灾害时的数据丢失，已知有在配置于多个站点的多个存储系统之间将数据多重保存的远程复制功能以及使用了该功能的存储系统的运用。

在主站点发生灾害时，进行将服务器系统和存储系统双方的业务向副站点更替的运用。由于远程复制功能在远距离的站点之间至来自服务器系统的写入响应为止耗费时间，所以通常使用在对来自服务器系统的写入命令完成响应之后，存储系统将数据传输到复制目的地的存储系统的异步远程复制。

在专利文献1中公开有使用表示关于源数据的更新的历史的信息即日志进行异步远程复制的技术。

在主站点的复制源存储系统中，当接收到写入命令时，将数据写入数据写入用的卷中，将日志数据写入日志卷中，并向服务器系统返回响应。在远程站点的复制目的地存储系统中，与写入命令异步地从复制源存储系统的日志卷读出日志数据，并存储到自身的日志卷。然后，复制目的地存储系统基于所存储的日志数据恢复已复制到复制目的地的数据写入用卷中的数据。

在复制源存储系统中发生了故障的情况下，能够停止向复制源存储系统的I/O，在与复制源存储系统系统的运用环境下在复制目的地存储系统中完成再现处理后，再开始I/O，继续业务。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2005/0033827号说明书

发明内容

发明所要解决的技术问题

当上述故障发生时，停止I/O会引起性能降低。希望不停止I/O而在复制目的地存储系统中再现与复制源存储系统相同的运用环境。此外，在服务器系统中运行的应用程序(AP)不考虑存储系统的配置，而是在故障后向复制目的地存储系统故障转移(Failover(F.O.))后立即继续业务。在F.O.时，在复制目的地存储系统存在未传输的日志的情况下，AP识别这些日志是在反映之前稍早的时刻的状态，继续在复制目的地存储系统中运用。

另一方面，在复制源存储系统中，通过卷操作，对卷进行是否实施功能(例如重复排除或压缩)、或者LDEV Gurad(将卷设定为只读或不可访问的设定)等QoS的设定。QoS设定也接着到复制目的地存储系统中再现运用环境。

本发明是鉴于上述问题而创建的，提供一种能够在主站点发生了故障时尽早且可靠地在副站点再现运用环境的远程复制系统。

用于解决问题的技术方案

为了解决上述问题，本发明的一个观点的远程复制系统包括由第一服务器系统和与第一服务器系统连接的第一存储系统构成的主站点；和由第二服务器系统和与该第二服务器系统连接的第二存储系统构成的副站点。

第一服务器系统和第二服务器系统被集群，由第一存储系统和第二存储系统构建虚拟存储系统，能够以第一存储系统为复制源并以第二存储系统作为复制目的地进行异步远程复制，第一存储系统和第二存储系统能够检测作为异步远程复制的对方的第二存储系统和第一存储系统的故障。

第一存储系统具有数据卷、日志卷和存储控制器，存储控制器在从第一服务器系统接收到操作时，基于操作来执行将基于操作的更新内容存储于日志卷的作业和接收到操作时执行该操作的作业中的任一者。

发明效果

根据本发明，能够实现在主站点发生故障时尽早且可靠地在副站点再现运用环境的远程复制系统。

附图说明

图1是表示实施例1的远程复制系统的物理配置的图。

图2是表示实施例1的远程复制系统的逻辑配置的图。

图3是表示实施例1的远程复制系统的存储控制器的存储器的配置的一例的图。

图4是表示实施例1的远程复制系统的VOL管理表的一例的图。

图5是表示实施例1的远程复制系统的VOL映射管理表的一例的图。

图6是表示实施例1的远程复制系统的配对VOL管理表的一例的图。

图7是表示实施例1的远程复制系统的日志表的一例的图。

图8是表示实施例1的远程复制系统的操作反映方法表的一例的图。

图9是用于说明实施例1的远程复制系统的设定时的动作的一例的流程图。

图10是用于说明实施例1的远程复制系统的日志处理的一例的流程图。

图11是用于说明实施例1的远程复制系统的故障转移处理的一例的流程图。

图12是表示实施例2的远程复制系统中的反映方法选择处理的一例的流程图。

具体实施方式

以下，参照附图说明本发明的实施方式。此外，以下说明的实施方式不限定要求的权利范围所涉及的发明，另外，实施方式中说明的各个要素及其组合的全部未必是本发明的解决方案所必须的。

在下面的说明中，“接口部”可以是一个以上的接口。该一个以上的接口可以是一个以上的同类的通信接口设备(例如，一个以上的NIC(Network Interface Card：网卡))，也可以是两个以上的不同类的通信接口设备(例如，NIC和HBA(Host Bus Adapter：主机总线适配器))。

另外，在以下的说明中，“存储器部”是一个以上的存储器，典型而言可以是主存储设备。存储器部中的至少一个存储器可以是易失性存储器，也可以是非易失性存储器。

另外，在以下的说明中，“PDEV部”是一个以上的PDEV，典型而言可以是辅助存储设备。“PDEV”表示物理存储设备(Physical storage DEVice)，典型而言是非易失性存储设备，例如HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)。或者也可以是闪存封装体。

闪存封装体是包含非易失性存储介质的存储设备。作为闪存封装体的配置例，具有控制器和作为用于存储来自计算机系统的写数据的存储介质即闪存存储器。控制器包括具有驱动器I/F、处理器、存储器、闪存I/F的逻辑电路，它们经由内部网络相互连接。

另外，在以下的说明中，“存储部”是存储器部和PDEV部中的至少一个(典型而言至少是存储器部)。

另外，在以下的说明中，“处理器部”是一个以上的处理器。至少一个处理器典型而言是CPU(Central Processing Unit：中央处理器)那样的微处理器，但也可以是GPU(Graphics Processing Unit：图形处理器)那样的其它处理器。至少一个处理器可以是单核，也可以是多核。

另外，至少一个处理器也可以是进行部分或全部处理的硬件电路(例如，FPGA(Field－Programmable Gate Array：现场可编程门阵列)或ASIC(Application SpecificIntegrated Circuit：专用集成电路))之类的广义的处理器。

另外，在以下的说明中，通过“xxx表”这样的表达，说明对输入得到输出的信息，但该信息可以是任何结构的数据，也可以是产生相对于输入的输出的神经网络那样的学习模型。因此，可以将“xxx表”称为“xxx信息”。

另外，在以下的说明中，各表的配置是一例，一个表可以分割成两个以上的表，也可以是两个以上的表的全部或一部分为一个表。

另外，在以下的说明中，有时将“程序”作为主语来说明处理，但由于程序由处理器部执行，从而将所确定的处理适当地使用存储部和/或接口部等来进行，因此，处理的主语也可以是处理器部(或具有该处理器部的控制器那样的设备)。

程序可以安装在计算机之类的装置中，例如，也可以是程序发布服务器或计算机可读取(例如非暂时的)记录介质。另外，在以下的说明中，两个以上的程序可以作为一个程序来实现，也可以是一个程序作为两个以上的程序来实现。

另外，在以下的说明中，“计算机系统”是包含一个以上的物理计算机的系统。物理计算机可以是通用计算机，也可以是专用计算机。物理计算机可以作为发出I/O(Input/Output：输入/输出)请求的计算机(例如称为主机计算机或服务器系统)起作用，也可以作为响应I/O请求进行数据I/O的计算机(例如存储装置)起作用。

即，计算机系统可以是发出I/O请求的一个以上的服务器系统和响应于I/O请求而进行数据I/O请求的一个以上的存储装置即存储系统中的至少一个。在至少一个物理计算机中，也可以执行一个以上的虚拟计算器(例如VM(Virtual Machine：虚拟机))。虚拟计算机可以是发出I/O请求的计算机，也可以是响应I/O请求而进行数据I/O的计算机。

另外，计算机系统可以是由一个以上(典型而言为多个)的物理节点装置构成的分散系统。物理节点装置是物理计算机。

另外，也可以通过物理计算机(例如节点装置)执行规定的软件而在该物理计算机或包含该物理计算机的计算机系统中构建SDx(Software－Defined anything：软件定义一切)。作为SDx，例如也可以采用SDS(Software Defined Storage：软件定义存储)或SDDC(Software－defined Datacenter：软件定义数据中心)。

例如，也可以通过在物理通用的计算机上执行具有存储功能的软件来构建作为SDS的存储系统。

另外，至少一个物理计算机(例如存储装置)也可以执行作为服务器系统的一个以上的虚拟计算机、作为存储系统的存储控制器(典型而言，响应于I/O请求对PDEV部输入输出数据的装置)的虚拟计算机。

换言之，这种至少一个物理计算机也可以具有作为服务器系统的至少一部分的功能和作为存储系统的至少一部分的功能两者。

另外，计算机系统(典型而言为存储系统)可以具有冗余配置组。冗余配置可以如Erasure Coding、RAIN(Redundant Array of Independent Nodes：独立节点冗余阵列)以及节点间镜像那样是多个节点装置的配置，也可以如作为PDEV部的至少一部分的一个以上的RAID(Redundant Array of Independent(or Inexpensive)Disks：独立(廉价)磁盘冗余阵列)组那样是单一的计算机(例如节点装置)的配置。

另外，在以下的说明中，作为各种对象的识别信息，使用识别编号，但也可以采用除识别编号以外的种类的识别信息(例如包含了英文和符号的标识符)。

另外，在以下的说明中，在不区别同种要素的情况下使用参照标记(或参照标记中的共用标记)，在区别同种要素进行说明的情况下，有时使用元素的识别编号(或参照标记)。

本实施方式的远程复制系统作为一例具有以下配置。

作为HA配置，构成异步远程复制配置。将在主站点侧接收到的I/O和对主站点侧的卷进行QoS设定的卷操作记录在主站点的日志卷中，将日志传输到副站点，从而在副站点侧能够再现I/O和上述QoS设定。

作为进一步的配置，有以下配置。在日志未传输到副站点就发生了故障的情况下，未传输的日志所表示的内容在副站点不能再现。该日志还记录QoS设定的卷操作。但是，上述QoS设定与I/O不同，也可以不保证顺序性。由此，QoS设定的卷操作也可以在主站点接收到请求后不登记到日志中而对副站点提出请求。由此，QoS设定的卷操作能够比日志化的方法更早地反映到副站点。

这样，为了通过写请求或QoS设定的卷的操作来选择向副站点的反映方法，进行对每次操作预先确定向副站点的反映方法的处理。

如果接收到操作，则判断操作的种类，根据上述确定的方法选择向副站点的反映方法。

【实施例1】

以下，参照附图说明实施例1。

<系统配置>

图1是表示实施例1的远程复制系统1的物理配置的图，图2是表示实施例1的远程复制系统1的逻辑配置的图。

作为应对地震等灾害的对策，DR的重要性正在提高。远程复制是实现存储系统的高可用性(HA(High Availability))的配置之一。

存储系统200具有两个以上的站点，例如初级站点(主站点)100A、次级站点100B(副站点)，以构建远程复制配置。以下，为了便于说明，初级站点100A具有的要素的参照标记是父编号和子标记“A”的组合，次级站点100B具有的要素的参照标记是父编号和子标记“B”的组合。另外，在不需要区分初级站点100A和次级站点100B的情况下，仅将参照符号设为父编号。

在远程复制配置的初级站点和次级站点，大多是在同一机种的存储系统中构建，但此次的目的是提供在故障发生时能够进行故障转移并继续处理的系统，不以构成远程复制配置为目的，作为该方案之一，因为使用了远程复制功能，所以构成远程复制配置的存储系统的机种并不是发明的本质。

以下，将远程复制进行的数据复制的作为复制源的初级站点100A侧的存储系统200A所具有的数据卷222A(参照图2)称为“PVOL(主卷、主卷)”，以下，将存储于PVOL中的作为数据的复制目的地的副侧的存储系统200B所具有的数据卷(在图2中省略图示)称为“SVOL(子卷、副侧(S)卷)”。将复制数据的存储源称为初级站点或主站点或本地站点，将存储复制的目的地称为次站点或副站点或远程站点。

远程复制功能被大致分为两类，一类是与来自服务器系统的写入命令同步，存储系统将数据传输到复制目的地的存储系统的“同步远程复制”，另一类是在从服务器系统向写入命令的完成响应之后，存储系统将数据传输到复制目的的存储系统的“异步远程复制”。

无论使用哪种远程复制功能，在主站点的灾害发生时，均将服务器系统和存储装置两者的业务更替到副站点。由此，即使在站点上发生了灾害的情况下，也能够使数据丢失和业务停止最少。

另外，同步远程复制具有复制源和复制目的的数据总是同步的优点，但由于从服务器系统进行写入的响应需要花费时间，所以在长距离的站点之间一般使用异步远程复制。进而，存储系统也有时搭载闪存介质，为了发挥闪存介质的高性能，也使用异步远程复制。

以下是采用了异步远程复制功能的说明。

作为HA的另一方法，也有以卷单位构成远程复制配置的方法。在此，通过以存储系统200单位确定复制源和复制目的地的方法进行说明。

存储系统200如图1所示具有存储控制器101。存储控制器101是包含处理器211的控制器的一例。存储控制器101具有处理虚拟存储系统功能、异步远程复制功能、故障检测和故障转移的故障管理功能。

存储系统200具有多个(或一个)物理存储设备即PDEV220和与PDEV220连接的存储控制器101。

存储控制器101包括I/F214、I/F215、I/F213、存储器212以及与它们连接的处理器211。I/F214、I/F216和I/F213是接口部的一例。存储器212是存储部的一例。处理器211是处理器部的一例。

I/F214是中继服务器系统201和存储控制器101之间的数据交换的通信接口设备。服务器系统201经由FC(Fibre Channel：光纤信道)网络203连接到I/F214。

服务器系统201向存储控制器101发送指定了I/O目的地(例如LUN(Logical UnitNumber：逻辑单元编号)那样的逻辑卷编号和LBA(Logical Block Address：逻辑区块地址)那样的逻辑地址)的I/O请求(写请求或读请求)。服务器系统201例如具备输入设备、输出设备、CPU(Central Processing Unit：中央处理器)、存储器、磁盘适配器、网络适配器以及存储设备(未图示)。此外，在各服务器系统201中，用户使用的应用程序(AP)202(参照图2)、进行与存储控制器101的接口控制的存储系统控制程序也由服务器系统201所具有的CPU执行。

I/F216是中继用于在存储系统200A和存储系统200B之间建立HA配置的交换的通信接口设备。因为HA配置使用异步远程复制，所以也可以是远程复制用I/F。I/F216经由存储系统间网络206连接到其它存储系统200。存储系统间网络206从灾难恢复的观点来看，大多是公共线路等全球网络，但存储系统彼此在同一房间中、同一栋楼中、邻近大楼中的情况下等也可以是本地网络。但是，本发明不受这样的网络形式限制。

I/F213是用于中继多个PDEV220和存储控制器101之间的数据的交换的通信接口设备。多个PDEV220连接于I/F213。

存储器212存储处理器211执行的程序和处理器211使用的数据。处理器211执行存储于存储器212的程序。例如，存储器212和处理器211的组被双重化。

PDEV220由多个存储设备构成。存储设备例如由硬盘驱动器构成，主要存储用户数据。作为存储设备，也可以是由闪存存储器等半导体存储器构成的驱动器。存储设备基于RAID配置来构成RAID组。

在PDEV220中，基于RAID组创建一个以上的逻辑存储区域(逻辑卷)221、222(参照图2)。逻辑卷与PDEV220所具有的物理存储区域相关联。这些逻辑卷通过用户的指定而用作PVOL150A或SVOL150B等存储数据卷和日志(Journal)的卷的日志卷160。

卷150和160可以是卷容量与实际容量一致的所谓LDEV，也可以是从池分配页面(存储区域的单位)的精简配置卷。另外，也可以基于未图示的其它存储系统所具备的存储介质来配置所有卷。在该情况下，在从服务器系统访问该卷的情况下，被访问的存储系统与具有存储介质的其它存储系统进行通信，并响应于服务器系统。

此外，存储系统200也可以称为存储装置或存储子系统。

Quorum250是存储系统200A、存储系统200B以外的装置，例如置于存储系统200中的存储区域。提供如下功能：在上述HA配置的存储系统200A和存储系统200B之间不可通信的情况下，确定所述HA配置的存储系统200A和存储系统200B中继续运行的系统和停止的系统。

例如，存储系统200A和存储系统200B在Quorum250中写入各存储系统的状态和从各存储系统看到的向另一存储系统的通信状态。彼此的存储系统定期或与I/O的响应同步地参照Quorum250，并基于写入Quorum250的信息确定继续运行的系统和停止的系统。

网络203和网络207也可以是存储网络。经由存储网络在服务器系统201A(服务器系统201B)和存储系统200A(存储系统200B)之间收发数据。存储系统200经由存储网络相互通信。

如图2所示，存储系统200A和存储系统200B向服务器系统201A和服务器系统201B提供虚拟存储系统110。

存储系统200A的卷即卷150A和存储系统200B的卷即卷150B存储相同的数据，对服务器系统201表示相同的标识符(例如ID)，作为虚拟存储系统110的一个虚拟卷111提供。

虚拟存储系统110的标识符(例如制造编号(S/N))是XXX。另一方面，存储系统200A、存储系统200B分别具有制造编号AAA、制造编号BBB。服务器系统201将虚拟存储系统110识别为制造编号XXX的存储系统，该存储系统包含目标端口102A、目标端口102B。

卷150A、150B构成HA卷对，构成一个虚拟卷111。卷150A、150B的ID分别是10：00、30：00。另一方面，虚拟卷111的ID是20：00。

服务器系统201从虚拟存储系统110提供虚拟卷111，VOL ID识别为20：00的卷。存储系统200A是实施通常业务的主站点(正常系统)，存储系统200B是为了在主站点产生故障时继续实施业务而再现主站点的数据状态的副站点(待机系统、待机站点)。服务器系统201也能够经由目标端口102A、102B的任一者访问虚拟卷111。服务器系统201A仅经由目标端口102A访问虚拟卷111，服务器系统201B仅经由目标端口102B访问虚拟卷111。

服务器系统201A和服务器系统201B通过集群软件协作来作为一个系统来使用。由此，即使服务器系统201A发生故障，也能够在服务器系统201B继续业务。

此外，虽然在图1和图2中没有记载，但也可以在远程复制系统1中设置管理装置。管理装置管理存储系统200的存储区域的配置，例如包含输入设备、输出设备、CPU、存储器、网络适配器和存储设备。Quorum250也可以承担管理装置。

图3是表示实施例1的远程复制系统1的存储控制器101的存储器212的配置的一例的图，更详细而言，是表示存储器212的配置和存储器212内的程序以及管理信息的例子。

存储器212包含本地存储器401、缓存存储器402和共享存储器404之类的存储器区域。这些存储器区域中的至少一个可以是独立的存储器。本地存储器401由与包含该本地存储器401的存储器212属于同一组的处理器211使用。

在本地存储器401中存储读写程序411、远程复制控制程序412、日志管理程序413、故障管理程序414、操作反映方法确定程序415以及反映方法选择程序416。关于这些程序在后说明。另外，未图示的程序也被存储于共享存储器404中。

在缓存存储器402中暂时存储对PDEV220写入或读出的数据集。

共享存储器404由与包含共享存储器404的存储器212属于同一组的处理器211和属于不同组的处理器211两者使用。在共享存储器404中存储管理信息。

管理信息包含VOL管理表421、VOL映射管理表422、配对VOL管理表423、日志表424、操作反映方法表425。将卷记为VOL。

<管理信息>

接着，说明作为管理信息的各表的配置例。

图4是表示实施例1的远程复制系统1的VOL管理表421的一例的图。

VOL管理表421保存关于VOL的信息。例如，VOL管理表421对于每个VOL具有条目。各条目存储VOL ID801、VOL容量802以及配对ID803之类的信息。以下，以一个VOL(“对象VOL”)为例进行说明。

VOLID801是对象VOL的编号(识别编号)的信息。VOL容量802是对象VOL的容量的信息，表示所谓的卷大小。配对ID803是与VOLID801形成HA配置的配对信息，表示配对VOL管理表423的配对ID。

VOL管理表421除此之外，虽然未图示，管理卷的属性(进行I/O的卷或是日志卷)、构成卷的物理硬盘编号组、从该物理硬盘构成卷的RAID级别、LU编号、物理端口编号等信息。

图5是表示实施例1的远程复制系统1的VOL映射管理表422的一例的图。

VOL映射管理表422将存储系统200所具有的卷的实际配置信息和虚拟配置信息相关联。具体而言，VOL映射管理表422具有VOLID701、虚拟VOL ID702、虚拟存储系统ID(作为例子为产品编号)703、HA标志704。

各条目表示对应卷的虚拟VOL ID、提供虚拟卷的虚拟存储系统ID、以及该卷是否构成HA卷对。当HA标志的值为ON时，该卷构成其它卷和HA卷对。在此，为了全卷获取HA配置而全部为ON。HA配置为远程复制配置。

图6是表示实施例1的远程复制系统1的配对VOL管理表423的一例的图。

配对VOL管理表423是管理远程复制对的信息。配对VOL管理表423至少存储于存储系统200A侧。在此存储于存储系统200中。

PVOL ID表示作为远程复制源的卷。SVOL表示作为远程复制目的地的卷。

在配对VOL管理表423中，作为识别远程复制对的配对ID901、远程复制数据的复制源即PVOL信息，包含PVOL的存储系统ID902、PVOL ID903和用于存储日志的日志VOL ID904，作为远程复制数据的复制目的地即SVOL信息，包含SVOL的存储系统ID905、SVOL ID906、用于存储日志的日志VOL ID907以及配对状态908。

存储系统ID902和存储系统ID904是存在该卷的各存储系统200的标识符、例如制造编号(S/N)。

PVOL ID903和日志VOL ID904以及SVOL ID905和日志VOL ID907是各存储系统200中的该卷的标识符。通过这些ID唯一地确定该卷。

配对状态906表示的是表示复制状态的、从配对的一卷向另一卷复制数据的状态“COPY”；作为配对的两个卷同步的状态“PAIR”；作为配对的两个卷异步的状态“SUSPEND”中的任一个的状态。

图7是表示实施例1的远程复制系统1的日志表424的一例的图。

日志是表示关于源数据的更新的历史的信息。日志由作为数据的复制的数据部分和数据的管理信息构成。管理信息具有由PVOL150A进行的数据更新的信息，例如可以举出VOL ID1001、开始LBA1002、块数1003、序列号1004、时刻1005、数据1006、操作1007。

VOL ID1001是用于确定PVOL 150A的信息。开始LBA1002是表示写入PVOL150A中的写数据的开头的逻辑块地址。块数1003是表示写数据的数据大小的信息。序列号1004是对日志数据连续设定的识别编号。时刻1005是发出写请求的时刻。数据1006是表示存储数据主体的位置(地址)的指针信息。操作1007在有除写请求以外的请求、例如QoS设定和快照获取的请求(命令等)的情况下进行存储。在写请求的情况下，也可以在操作1007中存储写请求，但是原则上不使用该信息。如果存在对卷的设定等请求，则登记在操作1007中，在写请求以外的情况下，不使用开始LBA1002和块数1003、数据1006。

图8是表示实施例1的远程复制系统1的操作反映方法表425的一例的图。

操作的种类501是对主站点侧接收的卷的处理请求，有写请求、QoS设定、快照等。执行者502是上述操作的请求源，是服务器系统201的AP202或存储管理者。存储管理者经由连接于管理装置或远程复制系统1的终端等设备发出请求。副站点再现方法503选择并登记在副站点再现上述操作时的再现方法。

就副站点再现方法503而言，例如，方法1是接收到请求后也向副站点发送请求的方法，方法2是将请求进行日志化并再现到副站点的方法。

图9是用于说明实施例1的远程复制系统1的设定时的动作的一例的流程图。

服务器系统201A和服务器系统201B通过集群软件进行协作(S1010)。由集群软件协作的多个服务器系统201被用作一个系统。

主站点100A侧的服务器系统201A在正常系统中进行通常业务，副站点100B侧的服务器系统201B在待机系统待机，在正常系统运行的期间，I/O不受理。如果正常系统的服务器系统201A因故障不能运行，则故障转移到服务器系统201B，服务器系统201B成为正常系统，AP202B代替AP202A继续进行处理。因此，需要使主站点100A和副站点100B的存储系统200内存储的数据和对卷的QoS设定等一致。

因此，将主站点100A的存储系统200A和副站点100B的存储系统200B经由存储系统间网络206连接，构成远程复制。

远程复制控制程序412将存储系统200A内的卷设为远程复制的主卷(PVOL)150A，将存储系统200B内的卷设为远程复制的子卷(SVOL)150B，形成远程复制的配对。

例如，从服务器系统201或设置于存储系统200中的维护终端(或管理装置)所具有的GUI(Graphical User Interface：图形用户界面)等向存储系统200发出配对生成命令，成为数据复制源的存储器将系统200A所具有的PVOL150A和存储于PVOL150A中的成为数据的复制目的地的存储系统200B所具有的SVOL150B作为配对进行关联(S1012)。如果生成配对，则登记到配对VOL管理表423中。

在此，不需要设定并构建现有的远程复制结构，而是通过远程复制的日志传输技术来进行存储系统200间的操作和数据的传输。通过创建配对而分配给后述的虚拟卷。可以通过构建虚拟存储系统并将两个存储系统200的卷分配给虚拟卷而作为配对登记。主站点100A和副站点100B的硬件配置、硬件性能和数量可以相同，也可以不同。

此外，使用各站点的日志管理程序413，分配存储与PVOL150A和SVOL150B的配对对应的日志的日志卷，并将其登记在配对VOL管理表423中。由此，能够按照命令等对数据和I/O和卷的操作的顺序在作为副站点的复制目的地存储系统200B中反映主站点侧的复制源存储系统200A的数据。

接着，设定虚拟存储系统110(S1014)。设定的方法如参照图2已经说明。

在虚拟存储系统110的虚拟卷111中映射所述创建的配对的、主站点的存储系统200A的PVOL150A和副站点的存储系统200B的SVOL150B两者，并登记到VOL映射管理表422中(S1016)。

由此，即使服务器系统201A发生故障，也能够转移到服务器系统201B继续业务。

服务器系统201A和服务器系统201B向一个虚拟卷111发送读/写指示，并实际上将上述指示发送到卷150A。

图10是用于说明实施例1的远程复制系统1的日志处理的一例的流程图。

根据图9，在构建使用了远程复制技术和虚拟存储系统技术的HA配置的系统中，通常在运用时接受对主站点100A的存储系统200A的请求。

存储系统200A的读写程序411在从服务器系统201A接收到对远程复制源卷PVOL150A的写请求时(S1110)，按照所述写请求实施指定了接收到的数据的向PVOL150A地址写入的处理。当执行写请求时，日志管理程序413A创建已实施的写请求的日志。从VOL管理表421参照成为写请求的对象的卷的VOL ID，并将写请求所示的写对象位置分别登记到LBA1002和块数1003。在时刻1005中登记接收到写请求的时刻。

写数据在日志用中被复制，并另行存储于日志专用区域的存储区域，且将向上述存储区域的地址登记在数据1006中。如上创建的日志被登记在日志表424中，日志表424存储于日志卷160A中(S1112)。

在此，日志管理程序413参照存储系统200A的共享存储器404上存储的VOL管理表421、配对VOL管理表423和日志表424，确定日志存储地址，并获取日志表424的最新序列号1004的下一编号作为序列号，创建新的日志，并将其追加到日志卷160A内的日志表424中。

在向存储系统200A写入完成的时刻，存储系统200A进行向服务器系统201A的写入完成响应。日志从存储系统200A向存储系统200B的传输与写请求异步地进行。

存储系统200B以每一定周期等规定的时机获取存储系统200A的日志的信息。在存储系统200B中，日志管理程序413B从存储系统200A向存储系统200A发送用于获取关于日志创建状况的信息的请求(S1114)。关于日志创建状况的信息例如是日志卷内的日志容量、日志的最旧的时刻等。

日志管理程序413A根据上述请求将关于日志创建状况的信息传输到存储系统200B(S1115)。日志管理程序413B利用该获取的信息创建日志传输请求。

接着，对从存储系统200A向存储系统200B传输日志的处理进行说明。

在存储系统200B中，若根据经由GUI的来自用户的指示的输入或预先规定的计划来生成日志传输指示，则日志管理程序413B对存储系统200A发出日志传输请求(S1116)。计划例如是在存储系统200A中将一定量的日志存储于日志卷160A中时或每一定期间等。

日志传输请求中含有要复制的日志(也可以是多个)、存储有该日志的日志卷160A、指定具有该日志卷的存储系统200A的信息、以及指定存储复制的日志卷160B的信息。日志管理程序413B根据从共享存储器404上的VOL管理表421或配对VOL管理表423获取的信息，创建日志传输请求。

接收到日志传输请求的日志管理程序413B向存储系统200A发出针对由日志传输请求指定的日志的读取命令(S1118)。

接收到该读取命令的存储系统200A的日志管理程序413A将由读取命令指定的日志发送到存储系统200B(S1120)。接收到日志的存储系统200B的日志管理程序413B将接收到的日志存储于存储在由日志传输请求指定的日志卷160B中(S1121)。

然后，存储系统200B的日志管理程序413B发出日志反映请求(S1122)。接收到日志反映请求的日志管理程序413B按照日志卷160B的日志的序列号，将日志数据写入SVOL150B，从而在SVOL150B中反映PVOL150A的数据(S1124)。

然后，对存储有用于反映的日志的区域进行清理(S1125)。由此，该区域能够用于新的日志的存储。由于现有的日志仅是写请求，所以在获取快照的情况下，停止向存储系统200A和存储系统200B的I/O，存储管理者与存储系统200A和存储系统200B同时发出快照指示。通过在日志中加入快照获取的操作，能够使快照获取自动化。

另外，日志管理程序413B将在SVOL150B中反映了数据的日志的序列号通知给存储系统200A的日志管理程序413A。由此，日志管理程序413A释放存储有反映在SVOL150B中的日志的存储系统200A的日志卷160A的区域(S1126)。该区域能够用于存储新的日志。此外，无需在收到通知后立即进行日志的清理。可以定期进行日志的清理，也可以根据来自用户的指示进行清理。

根据以上的日志处理，能够进行从PVOL150A向SVOL150B的异步远程复制。能够利用远程复制技术实现遵循远程的存储系统彼此的操作的顺序。

上述中，如上述的日志处理，以存储系统200A等待来自存储系统200B的读取命令的方法进行了说明。但也可以通过从存储系统200A向存储系统200B发出写入数据的写命令，来进行日志的传输。

存储系统200B将从存储系统200A传输来的日志的数据更新到与存储于日志的SVOL信息对应的SVOL150B的对应部位。

虽然实施例说明了写请求，但在QoS设置的请求等到达存储系统200A的卷中时，也同样登记到日志中执行。例如，如果存储系统200A创建快照，则在日志表424的操作1007中登记快照创建，存储系统200B读出日志，根据快照创建的检测，创建SVOL150B的快照。

图11是用于说明实施例1的远程复制系统1的故障转移处理的一例的流程图。

在存储系统200和Quorum250之间定期执行生死确认处理。

如上所述，Quorum250是置于主站点的存储系统200A、副站点的存储系统200B以外的存储系统200的存储区域。存储系统200A和存储系统200B在Quorum250中写入从各存储系统的状态以及各存储系统向发现的另一存储系统的通信状态。

作为例子，说明存储系统200B监视存储系统200A的生死状态的处理。存储系统200A的故障管理程序414A定期或与I/O的响应同步地对Quorum250的规定位设定1(S1210)。故障管理程序414B以预定的时间间隔定期地判断对Quorum250内的上述规定位是否设定了1(S1220)。基于规定位确定继续运转的系统和停止的系统。

在确认到Quorum250的规定位的值时，在将规定位设定为1的情况下，能够确认存储系统200A正常动作。进行了确认后，故障管理程序414B将Quorum250的规定位复位为0(零)。如果存储系统200A正常动作，则自身定期地将位设为1。这是为了监视该情况。返回到S1210，定期参照Quorum250的规定位。

与此相对，在确认了Quorum250的规定位的值时，在将规定位设定为0(零)的情况下，能够判断为因为存储系统200A中发生了故障而无法重置规定位。故障管理程序414B探测在存储系统200A中发生了故障。进入S1230的处理。

检测到故障后，发出用于使存储系统200A复位的复位指示。也可以发送给Quorum250。根据故障，存储系统200A也可能无法接收复位指示。在可能的情况下，存储系统200A接收到复位指示时，在对Quorum250响应复位完成后执行复位处理。

存储系统200B探测到存储系统200A为故障，因此，对服务器系统201B的AP202B指示再启动(S1230)。集群软件将AP202B作为正常系统进行动作，开始故障转移处理。随后从AP202B向存储系统200B切换访问。

存储系统200B从AP202B接收对故障存储系统200A负责的逻辑卷的请求(S1240)。由于AP202识别的逻辑卷是虚拟卷111，因此对虚拟卷111的访问不变，而将SVOL150B映射到虚拟卷111中继续进行处理。即，将具有相同标识符(ID)的虚拟卷111同时提供给作为故障转移的配对的存储系统200A和存储系统200B，在正常时访问存储系统200A，在故障时访问存储系统200B。

进行了故障转移后，将日志执行结束的时刻作为恢复时刻，将上述恢复时刻的存储系统200B提供给服务器系统201B。AP202B识别恢复时刻的存储系统200B并继续处理。不能再现从故障的旧的主站点未传输的日志的量。能够以比最新状态稍早的状态继续业务。

根据这样构成的本实施例，能够不使服务器系统201的AP202意识到存储系统200的配置，而将运用环境反映到也包括卷操作在内的复制目的地存储系统200中，进行F.O.。

另外，根据本实施例，能够提供Resurrectable的远程复制系统1，即使在主站点发生故障，存在从主站点向副站点未传输的日志的情况下，也能够故障转移到副站点，包含对卷的QoS设定，再现副站点上的运用环境，能够继续业务。

另外，本实施例的远程复制系统1可表示高可用性。也可以不给AP202施加负荷，能够在主副站点实现与AP202和存储管理者识别的存储的配置信息相同的配置。目前，在存储系统200内发生故障的情况下，调查故障状况并进行故障切换需要具有专业知识的管理者以及技术员的操作，但根据本实施例，能够与集群软件和Quorum250协作地自动实现故障切换。能够使从故障的恢复容易化、迅速化。通过利用日志而以I/O单位进行复制处理，因此，RPO(Recovery Point Objective：恢复点目标)小。无需有专业知识的技术员。

此外，Quorum250自身作为管理装置，管理存储系统200的状况，在探测到任一个存储系统200内的故障发生的情况下，也可以对故障发生源存储系统发出复位指示，对故障转移目的地的存储系统200发出故障转移指示。

在因故障而无法响应的情况下，也可以通过是否开始超时处理来确定。

存储系统200A可以具有通过与形成配对的对方的存储系统200B进行心跳(heartbeat)通信来监视对方存储系统是否正常运行的路径。

【实施例2】

如上所述，当在存储系统200A中有更新时，将上述更新内容登记到日志中，上述日志按照更新时刻顺序对上述更新内容进行管理，从存储系统200A向存储系统200B传输上述日志。存储系统200B按照接收到的日志的更新时刻顺序在存储系统200B中再现。这是因为，如果未按请求时刻顺序执行处理，则写请求有时存在数据不同。

例如，在写请求两次对同一卷的同一地址以数据X和数据Y的顺序请求写入的情况下，最初写的数据X被覆盖，最终存储最后写请求的数据Y，但当切换顺序执行写处理时，数据Y被覆盖，最终存储数据X。

这样，在写处理中，遵循被处理的顺序执行至为重要，如果不遵循顺序，则就不能在副站点侧再现主站点的数据。对于写请求，需要日志化以管理更新顺序。

另一方面，在对卷进行QoS设定的卷操作中，即使与写请求等的其它处理的执行顺序不同，结果也不会改变，因此，不会受到执行顺序的影响。进一步说，不必遵循执行顺序，也可以在主站点进行了卷操作后，立即向副站点发出卷操作指示。因此，也可以不以日志进行管理。

通过在主站点接收到请求后立刻向副站点发出指示，与经由日志在副站点再现时相比，能够以更早的时机在副站点侧再现，在发生了故障时，将卷操作在副站点继续的可能性也高。

图12是表示实施例2的远程复制系统中的反映方法选择处理的一例的流程图。

参照图12，说明本实施例的选择是否通过操作日志化、或者不进行日志化而将操作传输到副站点的方法。

创建用于确定应由日志管理在主站点接收到的操作(包含写请求)中的哪一个的图8的操作反映方法表425(S11)。这可以在远程复制系统1的初始设定时刻创建。

首先，在操作的种类501中登记对主站点侧接收的卷的全部处理请求。操作包含写请求、QoS设置以及快照。将能够对存储系统200指示各操作的请求源登记到执行者502中。执行者有服务器系统201的AP202或存储管理者。在同一操作中存在多个执行者的情况下，分条目进行登记。对于操作和执行者的组合判断是否应保证操作的执行顺序，并登记在副站点进行再现的方法。

创建操作反映方法表425的方法例如也可以由系统管理者或用户手动输入。也可以设置辅助输入的工具。也可以根据过去执行了操作的实际成绩判断来自动创建。也可以是使用AI取出手册等的信息而自动创建的方法。

在从服务器系统201接收到操作时(S12)，参照操作反映方法表425，判断接收到的操作的种类501的副站点再现方法503(S13)。在副站点再现方法503为方法1的情况下，进行日志化(S15)。在副站点再现方法503为方法2的情况下，不进行日志化，而是向副站点发送操作指示(S14)。

根据这样构成的本实施例，从服务器系统201接收到操作后，基于该操作，执行将基于操作的更新内容存储于日志卷160的作业、以及接收到操作后执行该操作的作业中的任一者。

因此，根据本实施例，能够在主站点发生故障时尽早且可靠地在副站点再现运用环境。

另外，上述的实施例为了易懂地说明本发明而详细地说明了配置，不一定限定于具备说明的全部的配置。另外，对于各实施例的结构的一部分，可以在其它配置上追加、删除、替换。

另外，上述各配置、功能、处理部、处理单元等也可以通过例如用集成电路设计这些的一部分或全部等而用硬件实现。另外，本发明也可以通过实现实施例的功能的软件的程序代码来实现。在该情况下，将记录有程序代码的存储介质提供给计算机，该计算机所具有的处理器读出存储介质中存储的程序代码。在该情况下，从存储介质读出的程序代码本身实现上述的实施例的功能，该程序代码本身以及存储该程序代码的存储介质构成本发明。作为用于供给这样的程序代码的存储介质，例如使用软盘、CD－ROM、DVD－ROM、硬盘、SSD(Solid State Drive：固态硬盘)、光盘、光磁盘、CD－R、磁带、非易失性存储卡、ROM等。

另外，实现本实施例中记载的功能的程序代码例如可以通过汇编、C/C++、perl、Shell、PHP、Java(注册商标)等广范围的程序或脚本语言来实现。

在上述的实施例中，控制线以及信息线表示在说明上被认为是必要的结构，产品上不一定限定表示全部的控制线以及信息线。所有的结构也可以相互连接。

符号说明

1…远程复制系统；100A…主站点；100B…副站点；101、101A、101B…存储控制器；110…虚拟存储系统；111…虚拟卷；150、150A、150B…卷；160、160A、160B…日志卷；200存储系统；200A…第一存储系统；200B…第二存储系统；201…服务器系统；201A…第一服务器系统；201B…第二服务器系统。

Claims (4)

1.一种远程复制系统，其特征在于，包括：

由第一服务器系统和与该第一服务器系统连接的第一存储系统构成的主站点；和

由第二服务器系统和与第二服务器系统连接的第二存储系统构成的副站点，

所述第一服务器系统和所述第二服务器系统被集群，

由所述第一存储系统和所述第二存储系统构建虚拟存储系统，

构成为能够以第一存储系统为复制源并以第二存储系统为复制目的地进行异步远程复制，

所述第一存储系统和所述第二存储系统能够检测作为异步远程复制的对方的所述第二存储系统和所述第一存储系统的故障，

所述第一存储系统具有数据卷、日志卷和存储控制器，

所述存储控制器，

从所述第一服务器系统接收到操作时，基于所述操作，来执行将基于所述操作的更新内容存储于所述日志卷的作业和接收到所述操作时执行该操作的作业中的任一者，

在所述主站点发生了故障转移后，将存储于所述日志卷的所述更新内容反映至所述第二服务器系统，

基于所述操作的种类来确定要执行哪一个作业，

基于所述操作的种类来选择将存储于所述日志卷中的所述更新内容反映至所述第二服务器系统的方法。

2.根据权利要求1所述的远程复制系统，其特征在于，

所述存储控制器还基于所述操作的请求源，来选择将存储于所述日志卷的所述更新内容反映至所述第二服务器系统的方法。

3.根据权利要求2所述的远程复制系统，其特征在于，

所述存储控制器具有描述了所述操作的类型、所述操作的所述请求源和所述更新内容的反映方法的对应关系的表，基于该表的内容来选择所述更新内容的所述反映方法。

4.根据权利要求1所述的远程复制系统，其特征在于，

所述存储控制器从所述第一服务器系统接收到所述操作时，一定执行将基于所述操作的更新内容存储于所述日志卷的作业。