CN1285036C - 数据处理系统和远程复制方法 - Google Patents

Abstract

本发明的远程复制系统及其方法的特征在于：第1存储装置系统和第2存储装置系统通过第3存储装置系统相连接。在执行远程复制处理时，第1存储装置系统对应于从计算机接收到的写入要求，把含有写入数据和表示写入数据被写入的存储位置的地址信息的运行记录发送到第3存储装置系统，并要求写入第3存储装置系统。第2存储装置系统接收包含由第1存储装置系统发出的运行记录的存储位置的控制信息，根据控制信息从第3存储装置系统读取运行记录。然后第2存储装置系统根据运行记录中含有的地址信息，把运行记录所含有的写入数据写入第2存储装置系统内的盘中。

Description

数据处理系统和远程复制方法

技术领域

本发明涉及存储由计算机使用的数据的存储装置。特别涉及计算机之间进行数据交换的控制部件、内置有存储数据的盘装置的存储子系统、在与这个存储子系统离开一定距离的地方存在的别的存储子系统的相互连接，不经过计算机而复制存储子系统之间的数据，使数据二重化的远程复制技术。

背景技术

已有从大型计算机系统、服务器、网络上的个人计算机或其他高级计算机系统(以下称作主机)接受数据的存储装置(以下称作存储子系统)向在远方设置的第2存储子系统，在保证数据的顺序性的同时非同步地传送接收的数据，第2存储子系统写入传送来的数据的非同步远程复制的技术。这里所说的非同步传送的意思是存储子系统从主机接收数据，把通知对该接收数据的处理结束的应答返送给主机后，执行向第2存储子系统的数据传送。

另外，还有使主机和与它连接的第1存储子系统之间的数据更新处理同步，在设置在第1存储子系统和第1存储装置系统的附近地区或远离地区的第2存储子系统之间同步传送数据的同步远程复制技术。这里所说的同步传送的意思是，存储子系统从主机接收数据，把接收到的数据传送给第2存储子系统后，向主机返回应答。如果使用同步远程复制技术，宏观上看，两个存储子系统存储的数据一致，也保证了数据的存储顺序。另外如果选择适当的数据传送途径，即使在两个存储子系统的距离超过100公里的情况下，仍可以通过周期传送进行复制。

进而在三个以上的存储子系统之间组合同步远程复制和非同步远程复制，保证数据的更新顺序，实现数据二重化的技术在特开2000-305856号公报和特开2003-122509号公报中被公开。

在现有技术中，组合多个在两个地点的数据存储点(站点)之间的远程复制来在n个站点之间实现远程复制。

这样由于有必要在各站点中保持数据的备份，各站点与不执行远程复制处理的情况相比，最低也需要n倍的存储容量，成本非常高。

另外由于所有的站点都需要安装了远程复制程序的存储子系统，所以需要高性能并且高价格的多台存储子系统。

由于需要对n个站点上运行的多个远程复制对的状态进行监视、控制，所以管理、控制变得复杂以至开发成本上升。

另外，由于一般涉及远程复制的处理的负荷很大，所以位于正站点与副站点的中间，需要执行正站点、副站点的远程复制处理的中间站点的负荷变得特别大。中间站点的存储子系统可以处理的I/O数却被限制。

这样一来就需要更加合适的n个站点之间的远程复制技术。

发明内容

所以，申请人针对适当的n个站点之间的远程复制技术提出以下方案。即通过第3存储装置系统连接第1存储装置系统和第2存储装置系统。在执行远程复制处理时，第1存储装置系统对应于从计算机接收的写要求，把具有从计算机接收的写入数据和表示写入数据的写入的存储位置的地址信息的运行记录传送给第3存储装置系统并写入第3存储装置。第2存储装置系统接收由第1存储装置系统发出的控制信息，基于控制信息从第3的存储装置读取运行记录。然后第2存储装置系统依据运行记录包含的地址信息，把运行记录中包含的写入数据写入第2存储装置系统内的盘中。

即，本发明的数据处理系统包括：与计算机连接的具有第1盘装置和第1控制器的第1存储装置系统；具有第2盘装置和第2控制器的第2存储装置系统；以及与上述第1存储装置系统和上述第2存储装置系统相连接的，具有存储区域和第3控制器的第3存储装置系统，其中上述第1控制器对应于从上述计算机接收的写入要求，把包含从上述计算机接收的写入数据和表示该写入数据被写入的位置的地址信息的运行记录发送到上述第3存储装置系统；把上述写入数据存储在上述第1盘装置中；在发送上述运行记录以后，向上述计算机返回对上述写入要求的应答，上述第2控制器接收由上述第1控制器发出的，被用于上述第2存储装置系统取得上述运行记录时的，包含上述运行记录的存储位置的第1控制信息；根据该第1控制信息，从上述第3存储装置系统取得上述运行记录；根据上述运行记录含有的地址信息，把上述写入数据存储在上述第2盘装置中。

本发明的运程复制方法包括：与计算机连接的具有第1盘装置的第1存储装置系统、具有第2盘装置的第2存储装置系统、与上述第1存储装置系统和上述第2存储装置系统连接的第3存储装置系统的系统中，在上述第1存储装置系统、上述第2存储装置系统以及上述第3存储装置系统之间执行的远程复制方法，其特征在于包括：上述第1存储装置系统从上述计算机接收写入要求和写入数据的写入要求接收步骤；上述第1存储装置系统把具有上述写入数据和上述写入要求中含有的地址信息的运行记录写入上述第3存储装置系统的运行记录写入步骤；上述第1存储装置系统发出上述第2存储装置系统读出上述运行记录所必需的包含上述运行记录的存储位置的第1控制信息的第1控制信息发出步骤；上述第2存储装置系统取得上述第1控制信息的第1控制信息取得步骤；上述第2存储装置系统根据上述第1控制信息，读出上述运行记录的运行记录读出步骤；以及上述第2存储装置系统根据上述运行记录中含有的地址信息，把上述运行记录中含有的写入数据存储在第2盘装置中的写入数据写入步骤。

附图说明

图1是数据处理系统的一个例子的示意图。

图2是存储子系统构成例子的示意图。

图3是具有中间存储子系统的存储区域的一个例子的示意图。

图4是在中间存储子系统中存储的数据结构的一个例子的示意图。

图5是保护数据的一个例子的示意图。

图6是中间存储子系统所具有的信息构成例子的示意图。

图7是要求的数据结构的一个例子的示意图。

图8是初始设定的步骤的一个例子的示意图。

图9是正存储子系统中的更新处理的一个例子的示意图。

图10是控制信息更新处理的一个例子的示意图。

图11是发生故障时在正存储子系统中执行的处理的一个例子的示意图。

图12是副存储子系统中的更新处理的一个例子的示意图。

图13是发生故障时在副存储子系统中执行的处理的一个例子的示意图。

图14是再同步处理的一个例子的示意图。

图15、图16、图17和图18是数据处理系统的其他例子的示意图。

具体实施方式

图1展示了涉及第1实施例的数据处理系统(以下也叫做远程复制系统)的构成例子。另外在以下的说明中，正/副/中间通过符号a、b、c来区别。另外，可以不区别正/副/中间的时候，也有省略符号a、b、c的情况。

数据处理系统具备具有正主机计算机(以下叫做正主机或第1主机)102a和正存储子系统104a(以下也有叫做第1存储子系统的情况)的正站点(以下也有叫做第1站点的情况)101a、具有副主机(以下也有叫做第2主机的情况)102b和副存储子系统(以下也有叫做第2存储子系统的情况)104b的副站点(以下也有叫做第2站点的情况)101b、具有中间存储子系统(以下，也有叫做第3存储子系统的情况)104c的中间站点(以下，也有叫做第3站点的情况)101c。

在本实施例中，说明了作为存储子系统104的盘阵列装置，但存储子系统104并不特别限定在盘阵列装置。另外，有关各站点101内的主机102存储子系统104的数量，只要是一台以上就没有特别的限制。另外各主机102是工作站、微型计算机或者是大型计算机等计算机。

存储子系统104通过具有一个以上接口110的存储区域网络(SAN103)与主机102连接。这里的接口110是SCSI、光纤信道、FICON或ESCON等面向存储装置的接口。有关接口110的种类和SAN103的构成没有特别的限制。以下在本实施例的说明中使用光纤信道为例说明接口110。

不同站点101中存在的存储子系统104之间也同样通过接口110连接(不同站点101中存在的存储子系统104之间的连接所使用的接口在下面也被叫做远程复制连接116)。

正存储子系统104a和中间存储子系统104c可以在同一房间或建筑物中，为了安全性(避免两台装置同时出现同样故障)，也可以保持距离。在正存储子系统104a与中间存储子系统104c之间执行同步远程复制，由于数据的更新是同步进行，所以正存储子系统104a与中间存储子系统104c的距离以短为好。但是，该距离应当由系统的选址条件等环境来决定，没有特别的限制。另外，因为通常通信的传播延迟被认为是每公里5us，所以如果该距离大约有100公里的话，则可以认为对主机102a不会有显著的影响。

副存储子系统104b为了提高安全性，理想的是设置在与正存储子系统104a和中间存储子系统104c离开的远离地点

另外当存储子系统104之间的距离加长，超过了光纤信道的数据传送的可能距离的情况下，可以在光纤信道的基础上通过扩展装置，经由ATM、SONET、DWDM、IP等广域线路把存储子系统104之间连接起来。

管理控制台117是用来监视、管理存储子系统104的软件，被安装在安装了CPU 202和存储器205的主机102上。管理控制台117考虑到灾害时的情况，被设置在第4站点(管理中心)101d上，在第4站点内的主机上工作。

管理控制台117通过管理网络111与各存储子系统104连接，在监视存储子系统104的状态的同时，执行数据处理系统的构成变更，并控制远程复制的处理。一般使用IP协议在网络上构成管理网络111，也可以是使用其他协议的网络。另外，在本实施例中远程复制连接116和管理网络111是不同的网络，作为管理网络使用IP网络等，进而也可以把管理网络111作为远程复制连接116来使用。

在本实施例中，正存储子系统104a和副存储子系统104b构成远程复制的对。一个正存储子系统104a内正卷109和一个以上的副存储子系统104b内的副卷115作为远程复制的对建立相关关系。

通过存储子系统104上的程序105实现对远程复制的控制。由于正存储子系统104a和副存储子系统104b的程序105具有基本相同的功能，同一个存储子系统104内正卷和副卷115可以混在一起。灾害或维护时也可以执行正卷109和副卷115的切换。

为了实现远程复制，正存储子系统104a除了具有通常的存储子系统104的构成要素以外，还具有远程复制程序105a、构成信息106a、远程复制队列114的控制信息107a、远程复制的更新信息108、远程复制的数据。同样在副存储子系统104b中，除了具有通常的存储子系统104的构成要素以外，还具有远程复制程序105b、构成信息106b、远程复制队列114的控制信息107b。

构成信息106包括远程复制系统所具有正存储子系统104a、中间存储子系统104c、副存储子系统104b各自的构成、制品名称、地址信息，还有中间存储子系统104c内存储的更新要求(以下也被叫做运行记录)的存储位置地址以及队列控制信息的存储位置地址。构成信息106的原始信息由管理控制台117保存，经过中间存储子系统104c，再经过管理网络111，从管理控制台117向各存储子系统104传送构成信息116的复制，并在各存储子系统内保存。

正存储子系统104a和副存储子系统104b具有构成信息106的复制，各自的存储子系统104内的远程复制程序105参照自己的存储子系统104内存储的构成信息106，执行远程复制。

正存储子系统104a和副存储子系统104b各自从构成信息106取得中间存储子系统104c上的远程复制队列区域114中存储的更新要求的位置信息、控制信息区域113中存储的针对远程复制队列区域114的控制信息的位置信息。另外，正存储子系统104a和副存储子系统104b各自使用取得的位置信息，发送中间存储子系统104c内的远程复制队列和控制信息区域中的读或写的要求。由此，正存储子系统和副存储子系统一边更新一边参照控制信息107，把远程复制的更新要求和数据、信息一边写入中间存储子系统，一边从中间存储子系统读出，在正存储子系统和副存储子系统之间发送和接收这些信息。

另外为了保持数据的一致性，在中间存储子系统104c内的各个区域(例如控制信息区域113和远程复制队列区域114内的各存储区域)中，决定应该成为所有者的存储子系统104，数据更新由被唯一确定的成为所有者的存储子系统104来执行。

中间存储子系统104c在具有存储区域的排他控制功能的情况下，理想的是使用该功能保证存储在控制信息存储区域113和远程复制队列区域114等处的数据的一致性。作为有代表性的排他功能可以举出SCSI的Reserve命令。如果使用Reserve命令，由于逻辑装置(LU)单位的排他控制成为可能，中间存储子系统104c可以向各个存储子系统104分配各自的LU，来实施排他控制处理。理想的是，此时中间存储子系统104c设定对应各个区域的必要大小的LU的大小。另外在本发明中，对排他控制对象的存储区域的单位、排他控制的方式没有特别的限制。例如可以通过比LU小的单位(例如块单位等)执行排他控制。

远程复制队列的控制信息107中包含了用来控制远程复制队列114的信息。正存储子系统104a和副存储子系统104b各自参照自己装置中具有的远程复制队列的控制信息107对远程复制队列114进行变更，通过更新中间存储子系统104c中具有的控制信息113，把变更后的状态传递给远程复制对的对方的存储子系统104(从正存储子系统到副存储子系统或者从副存储子系统到正存储子系统)。

正存储子系统104a具有的更新信息108是指来自正主机102a的与正存储子系统104a接收的写要求有关的远程复制的信息，包含各写入数据的写入时刻、写入位置、大小。更新信息108是在正存储子系统104a从正主机102a接收到写请求时是正存储子系统104a生成的，也被包含在正存储子系统向中间存储子系统104c传送的更新要求中。另外，在确认了由副存储子系统104b取得了正存储子系统104a发出的远程复制更新要求后，将更新信息108删除。在中间存储子系统104c发生的故障时，使用更新信息108，进行正存储子系统104a和副存储子系统104c的同步。

另外，到此为止说明的程序105使用光盘和光磁盘等可移动存储介质，或者通过管理网络111从其他装置安装到各个存储子系统具有的存储介质中，通过各个存储子系统所具有的CPU来执行。

在图2中展示了存储子系统104的构成例子。

各个存储子系统104具有控制器201、一个以上的盘装置210。控制器201具有用来与主机连接的主机适配器203、存储器205、用来与硬盘装置连接的硬盘适配器207、处理器202、用来与管理系统网络连接的网络控制器204。在本发明中，对存储子系统所具有的各个构成要素的数量没有特别的限制，而从性能和可靠性的观点出发则希望各个构成要素多重化。

主机适配器203进行与光纤信道等接口110有关的协议控制。盘适配器207进行与光纤信道等盘-盘接口209相关的协议处理。

在存储器205上存储了远程复制处理用的数据和程序。即存储器205为了实现远程复制，存储了远程复制的程序105、远程复制的构成信息106、控制信息107、更新信息108、数据211。除了这些信息以外，在存储器上还存储了控制存储子系统104所必要的程序和控制信息、从主机102接收的数据211。为了达到高可靠化，最好是对存储器205实行二重化，对存储器的电源实行二重化。

网络控制器204进行管理系统网络111的协议控制，执行管理控制台117和存储子系统104之间的通信。

盘驱动器210通过盘接口209从控制器201接收读和写等命令，根据命令进行读或写处理。为了高可靠化，最好是对盘接口209进行二重化。一般在存储子系统中，进行多台盘驱动器210组合的冗余构成，在多台盘驱动器中作成理论设备(以下也叫做卷)。以下用作为理论设备的卷来说明实施例。

处理器202进行与存储子系统104有关的处理。处理器202通过内部总线208与控制器201内的主机适配器203、盘适配器207、网络控制器204连接，并对它们进行控制。进而处理器202和存储器205都通过内部总线208连接，在使用存储器205内的构成信息106和控制信息107的同时，执行程序105或更新控制信息107。

在本实施例中说明了具有简单内部构成的存储子系统的例子。如果可以实现与上述说明相同的功能，则对存储子系统104的内部构成没有特别的限制。例如也可以使用在特开平10-333836中公开的代替内部总线208而使用开关的存储子系统。

图3展示了中间存储子系统104c的盘驱动器内配置的存储区域的构成例子。中间存储子系统104c的盘驱动器内有存储构成信息106的构成信息区域112、存储控制信息107的控制信息存储区域113、存储更新要求的远程复制队列区域114三个区域。

构成信息106中包括远程复制系统具有的正存储子系统、中间存储子系统以及副存储子系统各自的构成、制品名、地址信息，还有远程复制队列区域114内的更新要求的存储位置和控制信息区域113内的队列控制信息107的存储目的地址。

控制信息107中包括用来控制、管理远程复制队列114的信息，具有用来存储从正存储子系统104a向副存储子系统104b发送(正→副)的控制信息107的正控制信息区域301、以及用来存储从副存储子系统104b向正存储子系统104a发送的(副→正)控制信息107的副控制信息区域302两种区域，通过正控制信息区域301由正存储子系统104a具有所有权，副控制信息区域302由副存储子系统104b具有所有权，来防止数据不一致的发生。另外，各存储子系统所具有的构成信息106中，除了正控制信息区域301、副控制信息区域302等各区域的地址和大小以外，还包含了表示各区域所有者的信息。远程复制程序105通过参照构成信息来确认所者，为了防止发生数据不一致而进行控制。由此可以构成比SCSI的Reserve命令那样的物理排他情况更加坚固的系统。在这种情况下，中间存储子系统104c向每个理论单元(LU)分配正控制信息区域和副控制信息区域，对每个LU进行排他控制。

远程复制队列114中存储的信息由于大致区分为信息和数据两种信息，为了存储各种信息，在远程复制队列114中有信息区域和数据区域两种区域。以下说明对两种区域没有特别区别的情况下的队列114。在队列114中，与控制信息107一样，存储了从正存储子系统104a向副存储子系统104b发送的(正→副)信息和从副存储子系统104b向正存储子系统104a发送的(副→正)信息的两个方面。这样，在队列114中至少存在存储从正存储子系统104a向副存储子系统104b发送的被发出的信息的正信息区域303和存储数据的正数据区域305、存储从副存储子系统104b向正存储子系统104a发送的被发出的信息的副信息区域304和存储数据的副数据区域306四个区域。另外，在远程复制队列114中存在的存储区域个数依存于远程复制系统的构成，例如如果远程复制系统具有多个副存储子系统的话，则远程复制队列114中存在的存储区域个数也会多于四个。

与控制信息区域一样，在队列区域114中存储从正存储子系统104a向副存储子系统104b发送的信息(信息或数据)的区域由正存储子系统成为所有者，从副存储子系统104b向正存储子系统104a发送的信息由副存储子系统成为所有者。

图4展示了中间存储子系统104c的盘驱动器里存储的数据结构的例子。

中间存储子系统104c的盘驱动器210是通常的盘驱动器。由于中间存储子系统104c也是通常的存储子系统，所以在盘驱动器210上写入的信息可以从其他装置进行重写。这样在盘驱动器210内的存储区域里写入的数据由于所有者的理论的故障(程序的错误)或者由该存储区域的所有者以外的其他装置重写，数据就有可能成为错误(成为不一致)的。如果中间存储子系统104c可以检测出这些错误，就可以对应错误。然而中间存储子系统检测从所有者以外的主机102或存储子系统104对数据的重写、理论错误等也有困难的情况。

所以在本实施例中，通过向在中间存储子系统104c写入的数据上附加保护数据，对在正存储子系统104a和副存储子系统104b之间通过中间存储子系统104c收发的数据进行保障。

图4展示了附加了保护数据的数据的例子。另外在本实施例中，假定中间存储子系统104c是具有SCSI等块设备的存储子系统。通常块具有512比特的大小，中间存储子系统104c所具有的盘设备以块为单位被访问。

图4(a)是把中间存储子系统104c所具有的盘设备的各块401的最后的区域作为保护数据区域402的例子。由于将保护数据402写入在各块的最后，所以现有技术在块的最后区域中进行存储，而发来的数据被存储到下一个块的先头位置(403)。由于以前的块的先头位置(404)在存储区域403的后面，所以使用了这个方法后数据的存储位置依次向后移动。

因此，以前一个块内存储的数据由于设置了保护数据区域，于是被随便存储于多个块中。这样一来，为了在中间存储子系统104c中存储一个块的数据，就产生了更新多个块的必要。由于块设备是以块为单位进行访问，所以在这种情况下，有必要把相关的块从所有的盘设备读入控制器内的存储器205，更新数据，并把这些写入盘设备210。但是，在本发明中中间存储子系统104c里存储的数据只被写入一次，由于不进行同一个数据的读写，所以采用图4(a)所示的方法也很少出问题。

图4(b)是只增加中间存储子系统104c的保护数据部分的块大小，在增加的区域中存储保护数据402的例子。使用这个方法并不变更块地址，可以把追加了保护数据402的数据存储在盘设备上。

图5展示了保护数据402的一个例子。正如图4中所说明的那样，保护数据被附加到中间存储子系统104c中存储的各个块里。保护数据大致区别可以包括两类数据。一类是具有要求的标识符501和要求内的顺序编号(序列编号)502的理论信息。另外的一类是为了检查块数据的错误的错误检测符号503。前者用于检测理论的错误和他人对数据的窜改，后者用于检测块自身的数据故障。在错误检测符号503中有奇偶、检验和、ECC、CRC、加权平均符号等，在本发明中如果能够检测出错误和能够安装的话，使用哪种方式的错误检测符号也没有关系。

保护数据402由生成数据的存储子系统104的主机适配器203附加到数据中，由接收信息一方的存储子系统104的主机适配器203使用保护的数据进行数据的检查。

图6展示了中间存储子系统104c里存储的数据的理论构造的一个例子。图6展示了从某个远程复制组内的正存储子系统104a向副存储子系统104b传送的有关更新要求的信息。

构成信息区域112内存储的构成信息106包含了静态的信息构成，构成信息106在远程复制组的构成被变更时被更新。各个存储子系统104从中间存储子系统104c的构成信息区域112取得构成信息106，在本身的装置中展开，从构成信息中取得与远程复制相关的信息和与远程复制队列区域114相关的构成信息。然后，各个存储装置子系统利用这些信息执行对远程复制以及队列的控制。

在本实施例中，通过中间存储子系统104c向各个存储子系统104发布构成信息106，但构成信息106也可以直接从管理控制台117向各个存储子系统104传送。

图6展示了一个有关远程复制组的构成信息106。

通常所说的远程复制组由一个以上的卷构成，作为保持各卷之间的一致性(一致)的组被定义。对于远程复制组的暂停、再同步等操作，除了卷对的单位以外，也可以用组为单位执行。远程复制组由一个正存储子系统104a和一个以上的副存储子系统104b构成，附加了标识符(组ID)601。这样在构成信息106中就包含了组ID 601、从属于远程复制组的正存储子系统的ID 602和副存储子系统的ID604、副存储子系统104b的个数603。进而在构成信息106中，存储了队列区域114内存在的正信息区域和正数据区域等区域(以下也叫做队列)的个数605和各个队列的个别信息606。

如图3如示，在正存储子系统104a和副存储子系统104b的一对一的基本构成中，由于生成有关信息和数据的双方向的队列，所以相关一个远程复制组存在四个队列。图6展示了与从正存储子系统104a向副存储子系统104b传送的正数据的队列相关的个别信息。有关相反方向的队列，由于只是正、副的切换，所以执行同样的控制。

在队列的各别信息中包括了队列的标识符607、用来识别信息或数据两者之一的相关队列的队列种类608、中间存储子系统104c的队列区域114内的该队列的先头位置609、队列的大小610、与从正存储子系统104a向副存储子系统104b传送的控制信息107相关的正信息611、与从副存储子系统104b向正存储子系统104a传送的控制信息107相关的副信息612。

另外，当构成信息区域112和队列区域114分别在存储子系统104上存在的情况下，作为先头位置609包含了配置了队列区域的存储子系统的标识符、该队列的LU等的理论地址等。在存在多个副存储子系统的情况下，这些信息也需要多个。

在相关控制信息107的信息611和612中，包含了发出控制信息的存储子系统104的标识符613、表示控制信息区域113内的控制信息的存储位置的先头位置614、控制信息的大小615。各个存储子系统104根据与构成信息106内的控制信息有关的信息(例如611和612)，确定存储控制信息107的存储区域来存取控制信息107。

作为对应于一个队列的控制信息107，具有一个正控制信息631和一个以上的副控制信息632。各个控制信息107由事先规定的唯一的存储子系统104更新，可以从多个存储子系统104参照控制信息。

各控制信息107具有远程复制的组标识符616、队列的标识符617、表示该控制信息107的所有者装置的所有者装置标识符618、用来表示远程复制进度状况的表示远程复制中数据的先头位置的先头位置619、远程复制中的数据的大小620、以及同步数据621。

为了检查控制区域的理论正确性，使用组ID 616、队列ID617、所有者装置标识符618。在先头位置619以及大小620中，各自存储了存储远程复制处理中的数据的队列区域内的存储区域的先头位置、该存储区域的大小。进而各个存储子系统104定期向同步数据621写入信息，通知其他装置本装置正在工作中。换句话说，通过确认同步数据是否更新可以从其他的装置判断对应该同步数据的存储子系统是否在工作中。另外，在同步数据区域621中写入的信息最好是伴随计数值和计时器等的时间而变化的值。

由于正存储子系统104a和副存储子系统104b的控制、动作非同步，所以并不要求由存储在中间存储子系统104c的控制信息区域113中的正控制信息631的先头位置619和大小620表示的数据、由副控制信息632的先头位置619和大小620表示的数据、由正存储子系统104a具有的控制信息107a的先头位置626和大小627表示的数据、由副存储子系统104b具有的控制信息107b的先头位置和大小表示的数据一样。

用图6说明正控制信息631、副控制信息632、正存储子系统104a具有的控制信息107a、以及副存储子系统104b具有的控制信息107b的关系。

在队列区域114中存储了数据1～数据6。另外，在图6中，在中间存储子系统104c上的正控制信息631中，先头位置619表示数据1，大小620表示数据1～数据4的大小，其结果表示将从数据1到数据4为止作为处理中的要求(处理中的数据)。在副控制信息632中，先头位置619表示数据3，大小620表示数据3的大小，其结果表示将数据3作为处理中的要求(处理中的数据)。

进而，在正存储子系统104a所具有的控制信息107a中，先头位置626表示数据1，大小表示从数据1到数据6为止的数据的大小。即结果是由控制信息107a表示从数据1到数据6，正存储子系统104a把数据1～数据6识别为远程复制中的数据。在正存储子系统104a把下一个数据写入队列区域114的情况下，从控制信息107a的下一个位置628表示的数据6的下一个位置开始写入数据。

另一方面，副存储子系统104b已经从中间存储子系统104c取得了数据1、数据2，副存储子系统104b所具有的控制信息107b的先头位置629表示数据3，大小630表示数据3的数据量。这样，副存储子系统104b把数据3识别为处理中的要求(处理中的数据)。

另外，副存储子系统104b通过参照中间存储子系统104c上的正控制信息631，判断出正存储子系统把数据1看成是先头624并把到数据4为止识别为处理中的要求(处理中的数据)。所以，副存储子系统104b通过参照存储在中间存储子系统104c中的正控制信息631，不仅能够识别已经处理的数据1和数据2、以及处理中的数据3，而且还能识别应该处理的数据4。

数据5和数据6是中间存储子系统104c上的正控制信息631被更新后，从正存储子系统104a向队列区域114追加的信息。由于向队列区域的数据写入和正控制信息631的更新非同步执行，所以在图6中，有关将数据5和数据6追加到队列区域114的情况尚未被更新到正控制信息631中。最新的控制信息在正存储子系统104a内作为控制信息107a存在，一定时间后，在从正存储子系统104a向中间存储子系统104c进行正控制信息631的访问时，正控制信息631才被更新为最新信息。

接下来，说明正存储子系统104a更新中间存储子系统104c上的正控制信息631和队列区域内的数据(以下，也叫做运行记录或更新要求)或正存储子系统所具有的控制信息107a的处理。

正控制信息631和队列区域内的数据由正存储子系统104a与主机102的写要求同步或者非同步进行更新。

正存储子系统104a具有的控制信息107a的下一个位置628，与正存储子系统104a向队列区域114送出更新要求同步地，在正存储子系统104a内被更新。正存储子系统104a所具有的控制信息107a的先头位置626基于中间存储子系统104c所具有的副控制信息632的先头位置619，通过正存储子系统104a与从主机的写要求非同步地被更新。为了减少通信量，可以进行多次写的更新。对于正存储子系统104a的控制信息107a的大小627，与先头位置626和下一个位置628各自的更新相一致而被更新。

正存储子系统104a定期访问中间存储子系统104c的控制信息区域113中存储的数据。这时正存储子系统104a取得副控制信息632(读)，参照副控制信息632的先头位置619，变更正存储子系统所具有的控制信息107a的先头位置626。例如在上述的例子中，控制信息107a的先头位置626表示现在的数据1，但由于副控制信息632的先头位置619表示数据3，所以正存储子系统在访问中间存储子系统104c的控制信息区域113时，取得副控制信息632，将本装置的控制信息107a的先头位置626更新为数据3。

这时正存储子系统104a中存储的更新信息108也可以一并削除。即正存储子系统通过参照副控制信息632，可以识别出已经通过副存储子系统取得了数据1和数据2，因而可以削除有关数据1和数据2的更新信息108。削除的时机如果是在先头位置626的更新时刻以后，则任何时候均可。

另外，正存储子系统104a也根据正存储子系统104a的控制信息107a所具有的先头位置626和下一个位置628，计算并更新控制信息107a的正大小627。通过相关的处理，控制信息107a的正大小成为表示从数据3到数据6为止的数据量的数据。

通过以上的处理，由于正存储子系统所具有的控制信息107a被更新成最新数据，所以正存储子系统通过把这些写入中间存储子系统的控制信息区域113，来更新正控制信息631。

接下来说明副存储子系统104b访问中间存储子系统104c的控制信息区域113，更新副控制信息632的处理。

副存储子系统104b在一定时间间隔内从中间存储子系统104c取得正控制信息631。在正控制信息631表示的更新要求中从队列区域114取得尚未取得的更新要求。然后，副存储子系统104b更新自身装置所具有的控制信息107b和副控制信息632。

在上述的例子中，最初正控制信息631表示从数据1到数据6作为处理中的数据。副控制信息632的先头位置619表示数据3。这样，副存储子系统104b通过参照正控制信息631，识别出还没有在自身的装置取得数据3和数据4。所以，副控制子系统从队列区域114取得数据3和数据4以后，更新自身装置104b所具有的控制信息107b以及中间存储子系统104c所具有的副控制信息632。即使控制信息107b的先头位置629和副控制信息632的先头位置619共同表示数据4，而控制信息107b的大小630和副控制信息632的大小620共同表示0那样地更新控制信息。

另外，在由于副存储子系统104b的工作负荷高等某种原因，副存储子系统104b从队列区域114没有取得更新要求的情况下，副存储子系统104b只进行控制信息的更新。在这种情况下，使控制信息107b的先头位置629和副控制信息632的先头位置619共同表示数据3。控制信息107b的大小630和副控制信息632的大小620共同表示数据3和数据4的合计数据量那样地更新控制信息。

在图7中展示了从正存储子系统或副存储子系统发出的队列内存储的各个要求721的数据结构例子。

在要求的先头中存储了头信息722，在末尾中存储了末尾信息724。在头信息721中存储了要求的属性701、组ID 702、队列ID703等要求的属性以及要求的个别信息。要求的属性被用于检查理论错误。要求的个别信息中有时间系列信息和位置信息两种信息。作为时间系列信息具有队列内的要求的顺序号(要求ID)704、由正存储子系统104a或主机102附加的时间标记705。在副存储子系统104b内对要求按时间顺序整理，在检查要求的退出时被使用。位置信息具有卷的ID 706、卷内地址707、要求的大小708。基于这些位置信息，将要求中包含的数据存储在副存储子系统104b内。另外，在要求中包含的位置信息是与从主机接收的写入要求中所包含的位置信息一样的信息。大小708表示从主机接收的写入数据的大小，在这个大小708中补足了头信息721和末尾信息724的各个固定大小的大小成为要求的大小。

数据723是从主机接收的写入数据。

在末尾信息724中包含头信息722以及错误检测符号709。错误检测符号709通过头信息722和数据633计算得出，用来进行有关要求全体的错误检测。要求的错误检测符号709通过与图5所示的保护数据402一起使用，来实现高可靠的远程复制处理。

这样，通过把头信息722和末尾信息724等控制信息和写入数据723写入连续区域，在从主机接收写入要求时，与此相对应地向中间存储子系统104c发出的要求成为对连续区域的写入要求，对中间存储子系统104c的写入只进行一次就行了。

另外，像上述那样在各个要求中包含的从主机102接收的位置信息等控制信息和写入数据双方，也被叫做运行记录。

图8是展示本实施例中的初始设定的步骤的一个例子的流程图。最初管理者通过管理控制台117取得构成远程复制的系统装置的信息、各存储子系统内的卷等存储子系统104的信息、在远程复制系统内存在的主机102上工作的应用程序的信息、主机102使用的卷的信息(801)。

接下来管理者根据管理控制台收集的这些信息，确定远程复制的卷对、集合了卷对的内容组等，并做成各个存储子系统104的远程复制的构成信息106，输入到管理控制台117(802)。对于构成信息106，管理控制台117保持原始信息，经过中间存储子系统104c或管理网络111向各个存储子系统104传送复制(803)。

在各存储子系统104中设定构成信息106，确立远程复制的对，并且生成内容组以后，从正存储子系统104a经由中间存储子系统104c执行向副存储子系统104b的数据的初始复制，开始远程复制处理(804)。

图9展示了本实施例中正存储子系统104a从主机102接收到写入要求的情况下执行的更新处理的一个例子。

正存储子系统104a从主机接收写要求(901)。然后正存储子系统104a根据写要求计算出相关的卷、地址，进行以下所示的检查处理。首先正存储子系统针对作为于写入要求的对象的卷，调查远程复制属性是否被指定了，在没有指定远程复制属性的情况下，从主机102接收更新数据(911)(以下也叫做写入数据)，并向主机102报告对写入要求的处理的结束(909)，结束处理。

在指定了远程复制属性的情况下，进入步骤903。正存储子系统104a检查与写入对象卷相对应的远程对的状态，检查是否是正常构成了对的状态(对状态)，还是对被拆开的状态(暂停)(903)。

当处于暂停状态的情况下记录差分信息(910)，从主机接收更新数据(911)，向主机102报告更新处理结束(909)并结束处理。另外以使每个比特都对应于任意大小的位置信息的位图的形式保存差分信息。在用位图存储差分信息的情况下，由于在同一地址上的改写由相同的比特来表示，所以为了存储差分信息，需要确保的区域少，但是，无法存储从主机接收的写入要求的顺序性(接收顺序)。在希望保持顺序性的情况下，有必要保存更新记录等、各写入要求的接收时刻，写入对象存储区域的地址、写入数据的大小和写入数据，比用位图管理差分信息的情况需要更多的存储容量。由于通常处于长时间暂停的情况很多，用位图保存差分信息的情况较多。位图可以存储在存储子系统104的存储器205上，也可以存储在盘210上。

在是对状态的情况下，正存储子系统104a检查中间存储子系统104c上有无存储区域。具体是根据正存储子系统104a保存的构成信息106a和控制信息107a，计算出中间存储子系统104c内存在的队列区域114的剩余存储容量(904)。

通常中间存储子系统104c中，根据主机102的负荷，即使从主机的写入要求以及写入数据不把队列区域114全部填满那样地，准备了充分大的队列区域114。但是也会发生不能预料的负荷的情况。在这种情况下，中间存储子系统104c的队列区域被用尽了。

在图9中，在中间存储子系统104c的队列区域里没有空容量的情况下，正存储子系统104a向主机102返回忙报告，不接受写入要求(912)。代替向主机返送忙的信息，正存储子系统104a也可以在处理(912)中，判断为在中间存储子系统中发生了故障，使远程复制状态处在暂停状态。在这种情况下，正存储子系统104a进行图11中所示的故障处理，把远程复制状态转移到暂停，从主机接收更新数据(写入数据)并更新位图，向主机进行通常的结束报告。

在步骤904中判断出中间存储子系统104c里有空容量的情况下，即在通过判断从步骤902到步骤904的处理中判断出可以进行远程复制处理的情况下，正存储子系统104a执行步骤905以下的处理。首先正存储子系统104a从主机102接受对应于写入要求的写入数据(905)。

接下来正存储子系统104a做成对应于该写入要求的远程复制的更新要求，并且做成与写入数据相一致的如图7中所示那样的更新要求，把这个更新要求写入中间存储子系统104c的队列区域114的下一个位置以后(907)。这时写入的更新要求超过了队列区域114的最末尾的情况下，将超过部分后面的数据从队列区域的先头写入。另外，把在更新要求写入队列区域114时，为了不超过副存储子系统104b所具有的控制信息107b表示的先头位置629，有必要由正存储子系统104a进行控制。

接下来，正存储子系统104a只变更写入队列区域114的更新要求的大小部分的控制信息107a的下一个位置628、大小627(908)，向主机102报告处理结束后(909)结束处理。

图10中展示了在正存储子系统104a与中间存储子系统104c之间执行的控制信息更新处理的一个例子。首先正存储子系统104a从中间存储子系统104c取得作为副存储子系统104b的控制信息的副控制信息632(1001)。

然后，正存储子系统参照副控制信息632内的同步数据，检查副存储子系统104b是否正在工作。具体是正存储子系统104a把过去取得的副存储子系统的同步数据信息内的最新的同步数据信息存储到正存储子系统104a内的存储器205中，从中间存储子系统104c取得新的副控制信息632时，把取得的副控制信息632中的同步数据信息与存储器中存储的同步数据信息进行比较，检查。如果两个同步数据信息是相同的值，则副存储子系统处在没有工作状态。

另外，由于控制信息的更新处理是在正存储子系统104a和副存储子系统104b之间非同步地执行的，所以当同步数据信息只是被判断为未更新时，并不以此判断副存储子系统104b没有工作。在连续几次同步数据信息未更新的情况下和一定时间以上没有更新的情况等广泛范围内，来判断副存储子系统104b的工作状态。例如，在副控制信息632的更新周期为1秒的情况下，当同步数据信息在5秒以上没有被更新的情况下，判断为副存储子系统104b没有工作。

在步骤1002中副存储子系统被判断为没有工作的情况下，正存储子系统104a进行图11所示的故障处理(1006)。

在步骤1002中判断出副存储子系统正在工作的情况下，正存储子系统104a参照中间存储子系统104c的控制信息区域113内存储的副控制信息632，更新自身装置所具有的控制信息107a。即让控制信息107a的正先头位置626与副控制信息632的副先头位置619相一致，控制信息107a的正大小627成为从更新后的正先头位置626到正次位置628的大小。然后使用正存储子系统104a的新控制信息107a，更新中间存储子系统104c的控制信息区域113中存储的正控制信息631(1003)。

接下来正存储子系统废弃更新信息108。副存储子系统104b已经取得在副存储子系统104b中重新更新了的更新要求，即在步骤1003中从变更前的先头位置到变更后的先头位置中存在的更新要求。这样对于这个更新要求所对应的更新信息，由于没有必要由正存储子系统上保存，正存储子系统可以废弃这个更新信息108，可以在任意的时间废弃(1004)。

进而正存储子系统104a由于在一定时间间隔执行从步骤1001到步骤1004的处理，在等待一定时间(例如1秒)后(1005)，重复从步骤1001开始的处理。

图11展示了在远程复制系统发生故障时正存储子系统执行的处理的一个例子。

正存储子系统104a检测出故障(1101)后，确定发生故障的部位(1102)，向管理控制台117报告故障(1103)。管理控制台接到故障报告后，根据从管理者来的指示关闭故障部位(1104)。另外，除了管理控制台117以外，正存储子系统104也进行捡测故障、关闭故障部位。

关闭故障部位后，正存储子系统取得远程复制的通信路径的状态，并检查是否存在替换路径(1105)。在存在替换路径的情况下，由于可以继续远程复制的处理，所正存储子系统104a将远程复制用路径切换为替换路径以后结束故障处理。

在不存在替换路径的情况下，正存储子系统变更远程复制对的状态。另外在步骤904中，正存储子系统104a在判断出中间存储子系统104c的队列区域中没有空区域的情况下，即使被判断为发生了在队列区域中没有空区域的状态的故障的情况下，也作为不存在替换路径的情况来处理。

在不存在替换路径的情况下，如果正存储子系统104检测出故障，则变更自己的对状态(1106)，向差分信息(位图)登记副存储子系统104b中没有存储的写入数据的位置信息(1107)。另外，也可以以别的途径向正存储子系统指示管理控制台117变更对的状态、作成差分信息(位图)的处理。

通过步骤1106，对的状态从检测出故障前的正常状态(对状态)变更到对的断开状态(暂停状态)。另外，在正存储子系统104a上的存储器205和盘驱动器210上做成位图。另外，在存储子系统上也存储了做成位图的开始时间的时刻、各个组的更新要求相关的编号等。

另外，正存储子系统104a将没有反映的远程复制更新要求作为先头，做成位图。例如远程复制系统在图6的状态的时刻成为暂停状态的情况下，正存储子系统104a做成位图并把数据1～6相关的差分信息存储在位图中。以此作为初始状态后，对以后从主机102接收到的写入要求做成位图(910)。

故障发生后，在针对正存储子系统104a，从正主机102a的业务还在继续的情况下，在正存储子系统104a从主机102a接收写入要求和写入数据时，通过步骤1107的处理，向正存储子系统104a上的位图存储差分信息。

另外，上述从步骤1101到步骤1106所示的处理由于处理时间非常短，所以正存储子系统可以照原样继续处理主机102的IO要求。另外同时实施步骤1107中所示的处理和所有远程复制需要时间，但是对于各个远程复制对可以在非常短的时间内进行处理。步骤1107所示的位图更新处理与主机102的IO要求同步执行，这样使得远程复制对之间的分散处理成为可能，所以可以照原样继续进行主机102的IO处理。

图12展示了副存储子系统104b取得控制信息，并将其更新的处理的一个例子。

首先副存储子系统104b根据构成信息106，从中间存储子系统104c的控制信息区域113取得正控制信息631(1201)。接下来与步骤1001一样，检查是否正常进行了控制信息的取得，同步数据信息是否被更新等(1202)。在由步骤1202检测出故障的情况下，副存储子系统执行如图13所示的故障时处理(1209)。

在正常状态的情况下，即没有检测出故障的情况下，副存储子系统首先调查有没有更新要求(1203)。副存储子系统根据取得的正控制信息631的正先头位置619和正大小620所示的远程复制处理中的要求与自身装置具有的控制信息107b的先头位置629和大小630所表示的远程复制处理中的要求的成分，能够掌握上次自身装置更新控制信息107b的时刻以后队列区域114中追加的更新要求。

在步骤1203中没有新的更新要求(即副存储子系统上次更新控制信息107b以后，在队列区域中被追加的新的更新要求)的情况下，副存储子系统结束控制信息更新处理并进行一定期间的等待(1208)。

在有更新要求的情况下，副存储子系统104b从队列区域114取得该更新要求(1204)。在副存储子系统104b能够取得的数据容量充分大的情况下，副存储子系统104b从队列114一次将所有应该取得的更新要求全部取得。

然后，在副存储子系统104b内解析更新要求的内容，根据更新要求将从正存储子系统104a发送的数据反映到副存储子系统104b的卷里(1205)。即向在更新要求中包含的地址707表示的存储区域中，存储更新要求中包含的数据723。

然后，仅更新对应于更新了的数据的更新要求的副存储子系统104b所具有的控制信息107b(具体是更新先头位置629和副大小630)(1206)，并使用更新后的控制信息107b的内容更新中间存储子系统104c的控制信息区域113中存储的副控制信息632(1207)。

另外，在步骤1203中更新要求的大小很大，无法一次取得更新要求的情况下，副存储子系统104b把更新要求分割取得并进行处理。首先副存储子系统104b准备用来取得更新要求的区域并从先头位置取得更新要求。这个区域是副存储子系统104b可以准备的区域，例如10MB等。

另外，关于这个存储区域中存储的最后的更新要求，绝大多数的情况，可以取得的是到最后的更新要求的中途为止。例如在副存储子系统上保留了10MB的区域，这里设想已经取得了9MB部分的更新要求。副存储子系统要把下一个更新要求读入到从9MB的位置开始的自己装置内的区域，但在下一个更新要求的大小是2MB的情况下，可以取得该更新要求中的最初的1MB部分，无法取得剩余部分。

在这种情况下，副存储子系统从中间存储子系统只取得了最初的1MB部分，分析对应于该部分的头信息并且仅把先头部分存储的数据反映到副存储子系统内的卷中。然后，只针对涉及处理后的更新要求的先头部分，变更控制信息107b的副先头位置629、副大小630，更新中间存储子系统104c上的控制信息113。另外，针对更新要求的剩余部分，副存储子系统在下次取得更新要求时再处理。

图13展示了故障发生时副存储子系统104b执行的处理的一个例子。在故障时副存储子系统104b在可能的范围内取得中间存储子系统104c上剩余的更新要求。由于正存储子系统104a和中间存储子系统104c同步，所以当只有正存储子系统104a发生故障的情况下，在可以访问中间存储子系统104c的情况下，副存储子系统104b通过取得中间存储子系统104c中存储的更新要求，可以防止数据的丢失。

副存储子系统104b首先检测正存储子系统上发生的故障，例如根据从中间存储子系统104c取得的正控制信息631的同步数据进行检测(1301)。然后，副存储子系统104b调查中间存储子系统104c的状态(1302)。

由于在不能访问中间存储子系统104c的情况下不可能取得上述更新要求，所以副存储子系统104b把远程复制的对状态变更为暂停(1308)，做成差分位图(1309)。

在这种情况下位图是从故障发生时刻生成的。在图6的例中，由于副存储子系统104b取得到数据2为止的更新要求并且结束远程复制处理，所以涉及数据2以后的信息的差分信息被存储在位图中。即副存储子系统104b做成位图后，将数据2以后的由副存储子系统104b更新了的更新信息的相关差分信息存储在位图中。

在由副存储子系统104b更新数据，做成差分信息的情况下，例如有为了维护等，使正存储子系统104a成为暂停状态，副主机102b利用副存储子系统实施业务的情况，以及象本实施例那样正存储子系统中发生故障后，把业务转移到副主机102b，副主机向副存储子系统发出输入输出要求的情况。这时副存储子系统104b的信息被确定为到数据2为止，从副主机102b发出的写入被作为数据2以后的更新信息而保存差分信息。

如图11的说明所叙述的那样，正存储子系统中在副存储子系统暂停时，也会针对暂停后的更新信息保存差分信息。这样一来暂停后以暂停的时刻为起点，正存储子系统104a、副存储子系统104b双方都保存差分信息，由此在如图14中所示那样的在故障恢复后的同步处理时，可以使用这个差分信息执行再同步处理。

在下一个步骤1302中，说明判断出可以访问中间存储子系统104c的情况。首先副存储子系统104b检查中间存储子系统104c的控制信息区域113，调查是否存在副存储子系统没有取得的要求(1303)。在中间存储子系统中存在要求的情况下，副存储子系统104b从队列区域114取得更新要求，并且根据取得的更新要求，把数据反映到副存储子系统104b的卷(1304)。然后副存储子系统104b仅针对反映的更新要求增加控制信息107b的先头位置(1305)，通过再次参照中间存储子系统104c的控制信息区域113，检查有无下一个要求(1306)。

可以考虑对下一个更新要求的有无采用：(1)副存储子系统仅取得更新要求的头部分并且分析后，取得作为更新要求本身的数据部分和末尾信息的方法、(2)副存储子系统104b从更新要求取得一定大小的数据，在副存储子系统内进行分析的方法。本实施例使用(1)进行说明，但本发明对哪一个均可实现。

副存储子系统首先取得队列要求的头部分，调查远程复制组ID、要求ID以及时间标记。副存储子系统使用组ID、队列ID分析是否有理论上的矛盾，与使用要求ID检查与之前的更新要求是否连续，调查时间标记，检查该时间标记是否比以前的更新要求的时间标记的值大。副存储子系统如果调查结果没有理论上的矛盾就判断为存在更新要求，在发生理论矛盾的情况下判断为不存在更新要求。

在存在更新要求的情况下，副存储子系统如果可能就从中间存储子系统104c取得全体更新要求，进行各个块的检查和末尾信息的检查以后，在检查结果正常的情况下把数据反映到副存储子系统104b的卷中(1307)。在正存储子系统104a向中间存储子系统104c发送更新要求途中发生故障的情况下，有可能是最后被写入的更新要求正在写入的途中。因此，通过对各个块的检查和末尾信息的检查，确保更新要求的一贯性。

然后，副存储子系统再次增加地址(1305)，再次检查中间存储子系统104c中下一个更新要求是否存在(1306)。副存储子系统到中间存储子系统中不存在更新要求为止，反复进行从步骤1305到步骤1307的处理。

用图6说明上述处理。首先副存储子系统104b参照控制信息113，通过步骤1304由中间存储子系统从队列区域114集中取得数据3、数据4。然后从步骤1305到1307分别针对数据5和数据6，对每个更新要求的各自的头、尾信息等进行分析，如果没有发现理论的矛盾就取得数据5和数据6。然后，副存储子系统在打算取得数据6的下一个更新要求时，如果发现头、数据和尾中任意信息有矛盾，则结束更新要求的取得。

图14展示了正存储子系统104a与副存储子系统104b之间的再同步处理的一个例子。

首先管理者通过管理控制台117取得各个装置的状态、各装置之间的连接状态，调查再同步处理是否可能(1401)。由于数据处理系统内的路径的一部分和存储子系统104不能使用等原因，在再同步不可能的状态的情况下(1402)，执行出错处理(1414)。

另外管理者使用管理控制台，检查数据处理系统的理论的一致性。管理者使用管理控制台确认在整个存储子系统104中属于远程复制的组的卷是否可以使用，针对各个组和各个卷比较故障的检测时刻和位图的开始时刻。管理者通过比较在再同步处理中使用的位图的开始时刻，可以确认数据处理系统的理论的一致性(1403)。

副存储子系统104b例如在图13的步骤1302中判断出不能访问中间存储子系统的情况下(1310)，有根据状况会出现没有存储与正存储子系统104a相同的信息的情况。这样如上所述，在正存储子系统104a中针对没有确认通过副存储子系统104b取得并处理的更新要求，有必要做成位图。

例如在图6的例中，正存储子系统104a应该从数据1开始取得位图。在由于某种理论的矛盾而只能从数据6以后的时刻取得位图的情况下，在正存储子系统和副存储子系统之间进行再同步处理时发生数据矛盾。在这种情况下，数据3、数据4、数据5以及数据6产生不能再同步的矛盾。即正存储子系统104a的位图的做成时刻(差分信息取得开始时刻)比副存储子系统104b的位图的做成时刻(差分信息取得开始时刻)新的情况下(1403)，由于数据发生了矛盾，执行出错处理(1414)。

在判断出没有发生数据矛盾的情况下，作为再同步处理首先根据在管理控制台117上取得的系统状态，管理者生成各个远程复制的对的再同步路径等(1404)。这时路径并非一定通过中间存储子系统104c，也可以直接连接正存储子系统104a和副存储子系统104b。

接下来管理者在管理控制台内做成新的构成信息106。管理控制台117把新构成信息106发送给各个存储子系统104(1405)。各个存储子系统104根据被传送的新构成信息106，尝试经由所指示的路径连接被指示的装置。

接下来判断是否需要再同步。在正存储子系统104a或副存储子系统104b的任意一个发生故障并且数据丢失的情况下，不进行再同步，进行初始复制(1413)。

在需要再同步的情况下，判断向哪一个存储子系统104整合数据内容(1407)。在维护等暂时向副存储子系统104b转移业务的情况下，和由于故障而从正存储子系统104a向副存储子系统104b转移业务的情况下，需要从副存储子系统104b向正存储子系统104a进行再同步。另外在由于故障的发生，在副存储子系统上没有反映更新数据，而正存储子系统104a继续业务的情况下，需要从正存储子系统104a向副存储子系统104b进行数据的再同步。即通常在移管业务的系统一方，或者继续进行业务的系统一方整合数据内容。

在进行从正存储子系统104a到副存储子系统104b的再同步的情况下，从副存储子系统104b把副存储子系统所具有的位图传送给正存储子系统104a(1408)，在正存储子系统104a中对正存储子系统104a的位图与副存储子系统104b的位图进行合并，生成再同步用的位图。位图的合并具体是通过计算两方面的位图上表示的各个比特的逻辑和(OR)来得到。

然后根据再同步用的位图，从正存储子系统向副存储子系统发送副存储子系统内还没有反映的更新要求，执行最新同步处理(1409)。另外，再同步处理开始后，通过在再同步中也使用“Copy on write”等技术，存储子系统104可以重新开始从主机102接受IO处理要求的处理(1410)。

另外，从副存储子系统104b向正存储子系统104a的再同步处理只是位图的传送方向(1411)、更新要求的传送方向(1412)相反，其他是通过与从正存储子系统到副存储子系统的再同步处理相同的处理来执行的。

图15展示了数据处理系统的另一个实施例。在图15中在中间存储子系统104c上存在远程复制队列114，构成信息106以及控制信息107没有存储在中间存储子系统104c上。构成信息106从管理控制台117被传送给正存储子系统和副存储子系统。控制信息107不通过中间存储子系统104c，而在与正存储子系统104a和副存储子系统104b之间被直接传送。

与第1实施例相同，从正主机102a向正存储子系统104a进行数据的写入同步，从正存储子系统104a向中间存储子系统104c发送更新要求。另一方面，控制信息107与从主机102发出的写入要求非同步地被从正存储子系统104a向副存储子系统104b直接传送。副存储子系统104b参照接收到的控制信息107b，从中间存储子系统104c取得更新要求，通过将从更新要求取得的写入数据存储到副存储子系统的盘上，实现远程复制。

通过在正存储子系统104a和副存储子系统104b之间直接发送和接收控制信息，可以减少为了通过中间存储子系统104c而成为必要的数据一贯性检查和传送信息的延迟。

图16展示了作为数据处理系统的另一个例子，具有多个中间存储子系统104c的系统的例子。在本实施例中，中间站点101中存在多个中间站点101A、中间站点101B。在图16所示的数据处理系统中存在两种实施方式：(1)向每个远程复制组分配使用的中间存储子系统104c，或者(2)在任意的远程复制组的远程复制处理中使用多个中间存储子系统104c。

在(1)的实施方式的情况下，着眼于各个远程复制组成为与实施例1相同的处理。

在(2)的实施方式的情况下，执行正存储子系统104a把更新要求分配发送给多个中间存储子系统104c的处理。这时各个更新要求的ID是在远程复制组内以及中间存储子系统104c之间传递的唯一的连续编号。副存储子系统104b把从多个中间存储子系统104c取得的更新要求排序后，根据更新要求把数据反映到自身装置所具有的盘装置的卷内。

本实施例的特征还在于故障时的处理。像本实施那样由于具有多个中间存储子系统104c，即使在任意一个存储子系统104发生故障的情况下，如果重新构成数据处理系统的构成信息，就可以控制替换路径。进行替换路径控制处理时有必要重新经过别的正常的中间存储子系统104c，从正存储子系统104a向副存储子系统104b发送发生故障后在中间存储子系统104c保留的更新要求。由于再次发送的更新要求是正存储子系统以前发生故障时写入中间存储子系统中的更新要求，所以被再次发送的更新要求的ID有可能与正存储子系统104a之前发送到中间存储子系统的更新要求的ID不连续。但是，在按照ID排序副存储子系统104b方面从中间存储子系统取得的更新要求后，再执行向卷存储数据的处理就没有问题了。

图17展示了具有替换路径数据处理系统的一个例子。在图17所示的系统中存在结合正存储子系统104a和副存储子系统104b的远程复制连接1701。远程复制连接1701可以作为(1)中间存储子系统104c的故障时的远程复制的替换路径、或者(2)控制信息通信用路径来使用。

(1)在中间存储子系统104c发生故障无法经由中间存储子系统执行远程复制的情况下，代替正存储子系统和副存储子系统而使用远程复制连接1701可以执行远程复制。在将远程复制连接1701作为故障时的替换路径使用的情况下，由于正存储子系统104a和副存储子系统104b之间是长距离，所以使用非同步远程复制。

(2)正常时使用远程复制连接1701通过非同步通信能够发送和接收控制信息107。即可以从正存储子系统104a向副存储子系统104b，使用远程复制连接1701传送控制信息107。另外，涉及更新要求的数据以外的信息也可以在正存储子系统104a和副存储子系统104b之间使用远程复制连接1701非同步地发送和接收。通过在正存储子系统104a和副存储子系统104b之间，不经由中间存储子系统而直接通信，可以削减通过中间存储子系统104c时成为必要的数据一贯性检查和发送延迟。

图18展示了具有多个副存储子系统104b的数据处理系统的一个例子。在存在多个副存储子系统104b的情况下，需要在多个副存储子系统104b各自也附加上构成信息106、控制信息107。

具体是针对从正存储子系统104a通过中间存储子系统向副存储子系统104b发送的更新要求，有必要进行一对多的控制。中间存储子系统中存储的副控制信息632和副信息612需要有和副存储子系统104b的个数相同的个数。

副存储子系统104b进行与实施例1相同的控制。正存储子系统104a方面的图10所示的处理发生了变更。正存储子系统104a取得多个副存储子系统104b的副控制信息632，并通过处理1003比较所有的副存储子系统104b的副控制信息632。将比较的结果的最后更新(旧的)的副存储子系统104b的先头位置作为新先头位置生成新的控制信息107a。另外在故障时正存储子系统也进行同样处理，在处理1107的位图生成中，使取得差分信息的开始时刻与最后更新的副存储子系统104b相一致。这样一来就可以保持正存储子系统104a和副存储子系统104b之间有效的差分信息了。

针对从副存储子系统104b向正存储子系统104a发送的更新要求，由于是一对一对应的，所以执行与实施例1相同的控制。

如上所述，为了削减n个站点之间执行的远程复制处理的成本、处理复杂度，在连接正存储子系统和副存储子系统的中间站点配置了执行I/O处理的通常的中间存储子系统，由正位置和正存储子系统和副站点的副存储子系统进行涉及远程复制的处理。即中间存储子系统在远程复制处理时是对应于从正存储子系统或副存储子系统发出的I/O要求，执行读出或写入处理的通常的存储子系统。

在上述构成中正存储子系统和副存储子系统通过中间存储子系统执行远程复制的处理。正存储子系统和副存储子系统通过针对中间存储子系统内的远程复制队列114读取或写入数据和信息，而在正存储子系统和副存储子系统之间进行该数据和信息的交换。

正存储子系统从主机接受写入要求和写入数据后，把具有包含在写入数据和写入数据的存储位置等写入要求中的控制信息的更新要求传送给中间存储子系统，然后向主机返回应答(同步远程复制)。另外包含表示远程复制队列114的进度的先头位置等的指针和更新要求的大小等的队列控制信息也由正存储子系统发送到中间存储子系统。控制信息的更新与主机的写入要求同步或非同步没有关系，但为了提高性能理想的是每经过一定的时间间隔进行非同步更新。另外，也可以不通过中间存储子系统也在正存储子系统和副存储子系统之间直接连接并交换控制信息。

副站点的副存储子系统读取写入中间存储子系统的正控制信息，根据正控制信息从中间存储子系统上的队列取得包含写入数据的更新要求。另外副存储子系统与从正存储子系统向中间存储子系统发送更新要求非同步地，进行更新要求的取得(非同步远程复制)。所以根据取得的更新要求中所含有的位置信息，把取得的更新要求中所包含的写入数据存储在副存储子系统内的盘中。

在上述处理中更新要求和控制信息的处理通过以下步骤被实现：正存储子系统和副存储子系统向中间存储子系统发出读取或写入等命令，与此相应，中间存储子系统执行读取或写入处理。因此，中间存储子系统不必具有与远程复制相关的功能、程序等，可以低成本地实现n个站点的远程复制。作为中间站点的存储子系统，如果使用比较小型的存储子系统或JBOD(捆绑设备)，则可以实现更低价格化。

另外，中间存储子系统为了存储更新要求和控制信息而需要存储区域，由于中间存储子系统不必继续保持正存储子系统和副存储子系统具有的数据的复制，所以中间存储子系统所必需的存储容量可以比正存储子系统和副存储子系统具有的存储容量少。这样，可以用更少的存储容量来实现n个站点之间的远程复制处理。

另外一般来说由于中间存储子系统有必要在正存储子系统和副存储子系统之间执行远程复制处理，所以处理负荷高，但是在本发明的实施例中，由于中间存储子系统执行的处理被单纯化，中间存储子系统可以只处理从正存储子系统或副存储子系统发来的I/O要求，所以可以减少中间存储子系统的负荷。进而，中间存储子系统由于不需要检查远程复制的进度和状态等处理，所以减轻了远程复制中所需要的监视、管理处理。

通过本发明，可以用低成本实现n个站点之间的远程复制。另外，通过本发明可以减少为了在n个站点之间执行远程复制处理所需要的负荷、容量。

Claims (20)

1.一种数据处理系统，其特征在于包括：

与计算机连接的具有第1盘装置和第1控制器的第1存储装置系统；

具有第2盘装置和第2控制器的第2存储装置系统；以及

与上述第1存储装置系统和上述第2存储装置系统相连接的，具有存储区域和第3控制器的第3存储装置系统，其中

上述第1控制器

对应于从上述计算机接收的写入要求，把包含从上述计算机接收的写入数据和表示该写入数据被写入的位置的地址信息的运行记录发送到上述第3存储装置系统；

把上述写入数据存储在上述第1盘装置中；

在发送上述运行记录以后，向上述计算机返回对上述写入要求的应答，

上述第2控制器

接收由上述第1控制器发出的，被用于上述第2存储装置系统取得上述运行记录时的，包含上述运行记录的存储位置的第1控制信息；

根据该第1控制信息，从上述第3存储装置系统取得上述运行记录；

根据上述运行记录含有的地址信息，把上述写入数据存储在上述第2盘装置中。

2.根据权利要求1所述的数据处理系统，其特征在于：

上述第1存储装置系统存储上述第1控制信息，

上述第2控制器在取得了上述运行记录以后，发出表示该情况的第2控制信息，

上述第1控制器在取得了上述第2控制信息以后，可以废弃存储在上述第1存储装置系统内的上述第1控制信息。

3.根据权利要求2所述的数据处理系统，其特征在于：

上述第1控制器向上述第3存储装置系统发送上述第1控制信息，上述第2控制器从上述第3存储装置系统取得存储在上述存储区域中的上述第1控制信息，

上述第2控制器向上述第3存储装置系统发送上述第2控制信息，上述第1控制器从上述第3存储装置系统取得存储在上述存储区域中的上述第2控制信息。

4.根据权利要求3所述的数据处理系统，其特征在于：

上述第3存储装置系统把上述第1控制信息和上述第2控制信息存储在上述存储区域内的各个不同的逻辑卷中，针对每个逻辑卷，设定是否许可从上述第1存储装置系统或上述第2存储装置系统中的任意一个发来的写入要求。

5.根据权利要求3所述的数据处理系统，其特征在于：

在上述第1存储装置系统发生故障的情况下，上述第2存储装置系统参照存储在上述第3存储装置系统中的第1控制信息，从上述第3存储装置系统取得具有上述第2盘装置上没有存储的写入数据的运行记录，根据取得的运行记录所含有的地址信息，把取得的运行记录中含有的写入数据存储在上述第2盘装置中。

6.根据权利要求5所述的数据处理系统，其特征在于：

上述第2存储装置系统具有在上述第1存储装置系统发生故障后，在从与上述第2存储装置系统连接的计算机接收到写入要求的情况下，表示根据该写入要求被写入的写入数据的存储位置的差分信息，

在上述第1存储装置系统从故障状态恢复了的情况下，上述第2存储装置系统把存储在上述差分信息表示的存储位置中的数据，通过连接上述第1存储装置系统和上述第2存储装置系统的通信路径，发送到上述第1存储装置系统。

7.根据权利要求2所述的数据处理系统，其特征在于：

还具有与上述第1存储装置系统和上述第2存储装置系统连接的通信路径，

上述第1控制器通过上述通信路径，把上述第1控制信息发送到上述第2存储装置系统，

上述第2控制器通过上述通信路径，把上述第2控制信息发送到上述第1存储装置系统。

8.根据权利要求7所述的数据处理系统，其特征在于：

在上述第3存储装置系统发生故障的情况下，上述第1控制器把从计算机接收的写入数据通过上述通信路径发送到上述第2控制器，上述第2控制器通过上述通信路径把接收到的写入数据存储在上述第2盘装置中。

9.根据权利要求3所述的数据处理系统，其特征在于：

还具有与上述第1存储装置系统和上述第2存储装置系统连接的第4存储装置系统，

在上述第3存储装置系统发生故障的情况下，上述第1存储装置系统和上述第2存储装置系统通过上述第4存储装置系统接收和发送运行记录、第1控制信息以及第2控制信息。

10.根据权利要求3所述的数据处理系统，其特征在于：

还具有与上述第1存储装置系统和上述第2存储装置系统连接的第4存储装置系统，

上述第1控制器把具有时刻信息的运行记录发送到上述第3存储装置系统和上述第4存储装置系统中的任意一个，

上述第2控制器从上述第3存储装置系统或上述第4存储装置系统取得上述具有时刻信息的运行记录，把取得的上述具有时刻信息的运行记录中含有的写入数据按照该运行记录中被赋予的时刻信息所表示的时刻顺序写入上述第2盘装置。

11.一种远程复制方法，是在包括与计算机连接的具有第1盘装置的第1存储装置系统、具有第2盘装置的第2存储装置系统、与上述第1存储装置系统和上述第2存储装置系统连接的第3存储装置系统的系统中，在上述第1存储装置系统、上述第2存储装置系统以及上述第3存储装置系统之间执行的远程复制方法，其特征在于包括：

上述第1存储装置系统从上述计算机接收写入要求和写入数据的写入要求接收步骤；

上述第1存储装置系统把具有上述写入数据和上述写入要求中含有的地址信息的运行记录写入上述第3存储装置系统的运行记录写入步骤；

上述第1存储装置系统发出上述第2存储装置系统读出上述运行记录所必需的包含上述运行记录的存储位置的第1控制信息的第1控制信息发出步骤；

上述第2存储装置系统取得上述第1控制信息的第1控制信息取得步骤；

上述第2存储装置系统根据上述第1控制信息，读出上述运行记录的运行记录读出步骤；以及

上述第2存储装置系统根据上述运行记录中含有的地址信息，把上述运行记录中含有的写入数据存储在第2盘装置中的写入数据写入步骤。

12.根据权利要求11所述的远程复制方法，其特征在于：

上述第1存储装置系统存储上述第1控制信息，

该远程复制方法还包括以下步骤：

在上述运行记录读出步骤以后，上述第2存储装置系统发出表示读出了该运行记录的情况的第2控制信息的第2控制信息发出步骤；以及

上述第1存储装置系统接收上述第2控制信息的第2控制信息接收步骤，其中

上述第1存储装置系统在接收到上述第2控制信息后，废弃上述第1控制信息。

13.根据权利要求11所述的远程复制方法，其特征在于：

上述第1控制信息发出步骤具有把上述第1控制信息写入上述第3存储装置系统的步骤，

上述第1控制信息取得步骤具有从上述第3存储装置系统读出上述第1控制信息的步骤。

14.根据权利要求13所述的远程复制方法，其特征在于：

上述第3存储装置系统把上述第1控制信息和上述第2控制信息存储在上述第3存储装置系统内的各个不同的逻辑卷中，针对每个逻辑卷，设定是否许可从上述第1存储装置系统或上述第2存储装置系统中的任意一个发来的写入要求。

15.根据权利要求13所述的远程复制方法，其特征在于还包括：

在上述第1存储装置系统发生故障的情况下，上述第2存储装置系统参照存储在上述第3存储装置系统中的第1控制信息，从上述第3存储装置系统取得具有第2盘装置中没有存储的写入数据的运行记录的步骤；以及

根据取得的运行记录中含有的地址信息，把取得的运行记录中含有的写入数据存储在第2盘装置中的步骤。

16.根据权利要求15所述的远程复制方法，其特征在于还包括：

在上述第1存储装置系统发生故障以后，上述第2存储装置系统从与上述第2存储装置系统连接的计算机接收写入要求的步骤；

上述第2存储装置系统根据上述写入要求，保存表示被写入的写入数据的存储位置的差分信息的步骤；以及

在上述第1存储装置系统从故障状态恢复了的情况下，将上述差分信息所表示的存储位置中存储的数据，通过连接上述第1存储装置系统和上述第2存储装置系统的通信路径，发送到上述第1存储装置系统的步骤。

17.根据权利要求11所述的远程复制方法，其特征在于：

上述第1存储装置系统和上述第2存储装置系统通过通信路径连接，

上述第1控制信息发出步骤具有上述第1存储装置系统通过上述通信路径把上述第1控制信息发送到上述第2存储装置系统的步骤，

上述第1控制信息取得步骤具有上述第2存储装置系统通过上述通信路径从上述第1存储装置系统接收上述第1控制信息的步骤。

18.根据权利要求17所述的远程复制方法，其特征在于：

在上述第3存储装置系统发生故障的情况下，还包括以下步骤：

上述第1存储装置系统把从上述计算机接收的写入数据通过上述通信路径发送到上述第2存储装置系统的步骤；以及

上述第2存储装置系统通过上述通信路径，把接收到的写入数据存储在第2盘装置中的步骤。

19.根据权利要求13所述的远程复制方法，其特征在于：

上述系统进而具有与上述第1存储装置系统和上述第2存储装置系统连接的第4存储装置系统，

在上述第3存储装置系统发生故障的情况下，上述第1存储装置系统和上述第2存储装置系统通过上述第4存储装置系统接收和发送运行记录以及第1控制信息。

20.根据权利要求13所述的远程复制方法，其特征在于：

上述系统进而具有与上述第1存储装置系统和上述第2存储装置系统连接的第4存储装置系统，

运行记录写入步骤具有上述第1存储装置系统把具有时刻信息的运行记录写入上述第3存储装置系统和上述第4存储装置系统中的任意一个的步骤，

上述第2控制器从发送了具有时刻信息的运行记录的上述第3存储装置系统或上述第4存储装置系统取得上述具有时刻信息的运行记录，把取得的上述具有时刻信息的运行记录中含有的写入数据按照该运行记录中被赋予的时刻信息所表示的时刻顺序写入上述第2盘装置。

Images