JP2002049517A - 記憶システム - Google Patents

記憶システム

Info

Publication number
JP2002049517A
JP2002049517A JP2000285237A JP2000285237A JP2002049517A JP 2002049517 A JP2002049517 A JP 2002049517A JP 2000285237 A JP2000285237 A JP 2000285237A JP 2000285237 A JP2000285237 A JP 2000285237A JP 2002049517 A JP2002049517 A JP 2002049517A
Authority
JP
Japan
Prior art keywords
data
storage system
write
command
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000285237A
Other languages
English (en)
Other versions
JP2002049517A5 (ja
JP4546629B2 (ja
Inventor
Kiichiro Urabe
喜一郎 占部
Ikuo Uratani
郁夫 裏谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2000285237A priority Critical patent/JP4546629B2/ja
Publication of JP2002049517A publication Critical patent/JP2002049517A/ja
Publication of JP2002049517A5 publication Critical patent/JP2002049517A5/ja
Application granted granted Critical
Publication of JP4546629B2 publication Critical patent/JP4546629B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

(57)【要約】 【課題】リモート非同期データ転送を提供するディスク
装置に接続されるホスト装置に対し、データベース運用
上必要となる同期確定方法を提供する。ュームにWri
teされたかを確認する方法が必要である。 【解決手段】ホスト装置のアプリケーションは書込みデ
ータのコミット直後に同期確認要のSyncコマンドを
発行し、ディスク制御装置はホスト装置に対して、ロー
カル側のホストから受けた最新データに関する番号とリ
モート側の受信した最新データに関する番号をホスト装
置へ通知し、ホスト装置は2つが一致した時コミット動
作が終了したと判断する。 【効果】ホスト装置アプリケーションソフトは任意なタ
イミングでSyncコマンドを発行でき、データベース
(DB)のトランディクション単位での同期確認が可能
となる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ディスク制御装置
間の非同期リモートコピーにおけるデータ同期制御に関
するものである。
【0002】
【従来の技術】近年のコンピュータシステムは、銀行及
び証券業務の基幹業務を、大型コンピュータによる一括
管理から、クライアント・サーバシステムを中心とする
分散システムへ移行している。このような分散システム
環境では、クライアントからの要求を複数のサーバとデ
ィスクアレイ装置を用いてデータを処理するHA(Hi
gh Availability:高可用性)クラスタ
構成が採られている。このようなHAクラスタ構成で
は、地震などの災害に備えて遠隔地にあるデータセンタ
ー間でデータを二重化する方法が採用されてきている。
二重化は、通常、2台のディスクアレイ装置(記憶シス
テム)を公衆回線や専用回線等を介してリモート接続
し、ホストコンピュータ装置からローカルのディスクア
レイ装置への書込みデータを、リモートのディスクアレ
イ装置へコピーする方法が採られている。
【0003】ディスクアレイ装置間で二重化する方法
は、大別すると同期方式と非同期方式の2種類がある。
【0004】同期方式では、まず、ローカル側のホスト
装置からの書込み要求を、ローカル側のディスクアレイ
装置のキャッシュに書込む。続いて、ローカル側のディ
スクアレイ装置は、キャッシュに書込まれたデータを、
リモートのディスクアレイ装置に転送する。更に、ロー
カル側のディスクアレイ装置は、書込み要求のデータが
リモート側のディスクアレイ装置により受信されたこと
示す応答信号を受信すると、この後、ホストに対して、
前記書込み要求に対する応答を返す。つまり、ローカル
側のディスクアレイ装置は、リモート側のディスクアレ
イ装置にデータが届けられたことを確認して、ホストへ
応答を返す。この応答は、ホスト装置に対しリモート側
にデータが渡されたことを保証する。(同期とは、ホス
トからの書込み要求とリモート側のディスクアレイ装置
へのコピーが同期して行われるという意味で用いられ
る。)この同期方式は、リモート側からの応答信号を待
つ遅延が発生するため、ローカルとリモート間でデータ
伝送の伝播遅延が少ない比較的近距離(100Km以
内)に適しているが、例えば公衆回線網等を使用する遠
距離転送には適さない。なお、ローカル側およびリモー
ト側のディスクアレイ装置に記録されたデータは、それ
ぞれのドライブ制御回路を介してそれぞれの物理ディス
クへ書込まれる。
【0005】一方、非同期方式は、遠距離転送に向いて
おり、ローカル側のホスト装置からの書込み要求に対す
るホスト装置への応答(書込み完了)は、ローカル側の
キャッシュに前記書込み要求のデータが書かれた時点
で、書込み完了をホスト装置へ返される。キャッシュに
書かれたデータは、ホスト装置への応答後に、別のタイ
ミングで(この意味で非同期)、リモート側のディスク
アレイ装置へコピー(転送)される。この非同期方式で
は、リモート側のディスクアレイ装置へデータを転送す
るタイミングとは関係なく、ホスト装置へ上記書込み要
求に対する応答を行うので、応答タイミングが同期方式
と比べて速くなり、ホストは次の処理に早く移ることが
できる。
【0006】なお、リモートコピーに関しては、特表平
8−509565号に記載がある。
【0007】
【発明が解決しようとする課題】上記非同期にリモート
側にデータを転送する方法では、ローカル側のディスク
アレイ装置が、当該ディスクアレイ装置内にデータを格
納した時点で、リモート側にデータがストアされたか否
かに関係なく、ホストに対し、書込み要求完了を報告す
る。このため、ローカル側のホストは、ホスト書込み要
求のリモート側への同期完了確認(ホスト書込み要求に
よるデータがリモート側のディスクアレイ装置へ確実に
転送されたかの確認)が困難であった。このホスト書込
み要求のリモート側での同期完了確認は、特に、データ
ベースの履歴ログファイル等でのデータベースのトラン
ザクション単位のコミット(データが確実にストレージ
に記憶されたという保証)で必要とされる。なお、コミ
ットとは、1つのトランザクションに関する複数のデー
タベースの更新結果を実際の記憶システム上にログファ
イルと共に書込む一連の処理のことである。
【0008】また、災害時のデータリカバリの観点から
正サイト障害によってディスクアレイ装置内に残存して
いた未転送のデータは失われ、副サイトに切替り副サイ
トで運用を開始した時に保証されるデータが分からない
問題があった。
【0009】しかしながら、上記従来技術の非同期転送
方式は、非同期転送の特性上から、ホストIOに対する
同期確定方法を備えていなかった。即ち、データベース
(DB)運用上必要となる、APP(アプリケーションプ
ログラム)からのトランザクションに対するコミットポ
イントでの書込み要求がリモートサイト(副サイト)に
確実に書かれたか否かを確認する方法が提供されていな
かった。
【0010】以下、課題を具体的に説明する。まず、コ
ンピュータが1つの記憶システムと接続される場合を説
明し、その後、記憶システムが非同期データ転送(非同
期リモートコピー)を行っている場合につき、その課題
を明確に説明する。
【0011】初めに、コンピュータに1つの記憶システ
ムが接続されている場合を説明する。コンピュータのア
プリケーションが、書込みコマンド(要求)を実行する
と、通常、コミット(commit)コマンド無しの状態で
は、その書込みコマンドのデータはコンピュータ内のデ
ータバッファ上に書込まれるだけで、データバッファ上
のデータと、記憶システム内のデータは一致しない。そ
の後、アプリケーションがコミットコマンドを発行する
と、データバッファ上のデータが記憶システムへ実際に
書込みコマンドによって書込まれる。その後、記憶シス
テムは、書込みデータをキャッシュメモリに記憶すると
(この時点で記憶システム内のデータとコンピュータ内
のデータは一致する)、書込みコマンドを発行したコン
ピュータに対し、書込み要求完了で応答する。コンピュ
ータは、その書込み要求完了を確認すると、前記コミッ
トコマンドに対するリターンをアプリケーションへ発行
する。アプリケーションは、このリターンにより、記憶
システム内のデータとコンピュータ内ののデータが一致
していることを知る。
【0012】次に、非同期リモートコピーを行っている
場合について説明する。コンピュータのアプリケーショ
ンが、コミットコマンドを発行すると、データバッファ
内のデータが書込みコマンドでローカル側の記憶システ
ムのキャッシュへ書込まれる。ローカル側の記憶システ
ムは、その応答として、書込み完了をコンピュータへ返
す。コンピュータは、書込み完了を受けると、アプリケ
ーションへコミットに対するリターンを返す。しかしな
がら、このリターンは、単にローカル側の記憶システム
のデータがデータバッファ内のデータと一致したことを
示すのみであり、リモート側の記憶システム内のデータ
とデータバッファ内のデータが一致したことを示すもの
ではない。従って、ローカル側の記憶システムが書込み
要求完了を返した後で、かつ、リモート側へのデータコ
ピーが終了する前にローカル側の記憶システム内のデー
タが消失した場合に、アプリケーションがリモート側の
データを用いて処理を継続しようとすると、コミットの
リターンを受け、記憶システム上でデータが確定したと
確認したにもかかわらず、誤ったデータを用いて処理を
継続することになる。即ち、非同期リモートコピー中
に、もし、障害等が発生した場合には、従来からのコミ
ット機能ではアプリケーションは満足な結果を得られな
い場合が発生することになる。
【0013】このように、従来技術の非同期リモートコ
ピーは、非同期転送の特性上から、ホストIOに対する
データ同期確定方法を備えていない。その結果、従来技
術の非同期転送方式では、データベース(DB)運用上必
要となる、APP(アプリケーションプログラム)から
のトランザクションに対するコミットポイントでの書込
み要求がリモートサイト(副サイト)に確実に書かれた
か否かを確認できないとういう課題がある。
【0014】本発明の目的は、ホストIO(書込み要
求)に対するリモートサイトへのデータ同期確定を、ホ
ストアプリケーションのコミット単位または任意な時点
での同期確定を可能にすることにある。
【0015】
【課題を解決するための手段】上記目的は、ローカル側
の上位装置とリモート側の記憶システムに接続されて使
用されるローカル側の記憶システムにおいて、前記上位
装置から書込みコマンドを受信する手段と、前記書込み
コマンド内のデータを前記リモート側の記憶システムへ
送信する手段と、前記リモート側の記憶装置が前記デー
タを受信したか否かを問い合わせる問合せコマンドを前
記上位装置から受信する手段と、及び、前記上位装置
へ、前記問合せコマンドに対する応答を送信する手段を
設けることにより実現できる。
【0016】また、上位装置と通信を行う記憶システム
であって、前記上位装置から書込みコマンドが入力され
る第1のインタフェース回路と、前記書込みコマンド内
のデータと、当該データを識別する情報とを、他の記憶
システムへ出力する第2のインタフェース回路と、前記
上位装置から前記データに関する問合せコマンドが入力
される前記第1のインタフェース回路と、前記第2のイ
ンタフェースから出力される前の、前記データと共に出
力される当該データを識別する情報を前記上位装置へ出
力する前記第1のインタフェース回路と、前記他の記憶
システムによって入力されたデータと共に前記他の記憶
システムへ入力された前記情報を、前記他の記憶システ
ムから入力される前記第2のインタフェースと、及び、
前記第2のインタフェース回路へ入力された前記情報を
前記上位装置へ出力する前記第1のインタフェース回路
と設けることにより実現できる。
【0017】
【発明の実施の形態】(実施例)以下、本発明の一実施
例を図1〜図3により詳細に説明する。
【0018】最初に、図3を用いて本発明を適用するシ
ステム構成例を示す。図3は、一般的なHAクラスタの
全体構成を示したシステムブロック図である。以下、デ
ィスクアレイ装置13aをローカル(又は正サイト)、
ディスクアレイ装置13bをリモート(又は副サイト)
とし説明する。また、参照番号に「a」を添付した方を
ローカル側、参照番号に「b」を添付した方をリモート
側として説明する。
【0019】HAクラスタを構成するホストコンピュー
タ装置1a、1bはデータベース等のAPP(アプリケ
ーション・プログラム)2a、2b、ミドルソフト3
a、3b、APPやミドルソフトを制御するOS(オペ
レーティング・システム)4a、4b、及び、ディスク
アレイ装置との間でコマンド等の入出力を制御する“I
O I/F”(入出力インタフェース)23a、23b
で構成される。
【0020】ミドルソフト3a、3bは、リモート側
(副サイト)では、正サイト障害での副サイト運用時
に、副サイト側のホスト装置に対し、副サイトのディス
クアレイ装置への書込み禁止状態を解除し、一方、正サ
イト側では、正サイトと副サイト間でデータを一致させ
る初期ペア状態の生成、ペア状態のサスペンド(論理的
なペアを切断した状態)等のペア制御指令を大型ディス
クアレイ装置13a、13bに送るコマンド制御ソフト
である。本発明の一実施例では、このミドルソフト3a
により、本願特有のSyncコマンドを提供する(詳細
は後述する)。
【0021】ホストコンピュータ装置1a、1bからの
IO要求は“IO I/F”(23a、23b)を介し
て大型ディスクアレイ装置13a、13bに送られる。
【0022】大型ディスクアレイ装置13a、13b
は、HOST I/F制御回路17a、17bでホスト
からのIO要求を受け、キャッシュ21a、21bに、
書込み要求のデータ(WRITEデータ)を書込む。こ
のキャッシュ21a、21bに書かれたデータはドライ
ブ制御22a、22bによって実際の物理ディスク9
a、9bに書込まれる。ここで、キャッシュに書込まれ
たデータに関しては、大型ディスクアレイ装置は、その
データの記憶を保証するものとする。また、大型ディス
クアレイ装置は、複数の物理ディスク9をRAID(R
edundancyArray of Inexpen
sive Drives)1、RAID5等で保護し物
理ディスクの障害に備える。なお、RAIDに関して
は、“A Casefor Redundant Arrays of Inexpensive Di
sks (RAID)”by David A. Patterson, et al., Dec 198
7, U. C. Berkleyに記載がる。
【0023】大型ディスクアレイ装置間でのデータの二
重化では、まず、ローカル大型ディスクアレイ装置13
aのキャッシュ21aに書かれたデータが、リモートI
/F制御回路18a、18bおよび公衆回線や専用線等
のデータ転送路20a、20bを介してリモート大型デ
ィスクアレイ装置13bに送られる。リモート側の大型
ディスクアレイ装置13bは、キャッシュ21bに、こ
の送られたデータを書き込む。この後、リモート側の大
型ディスクアレイ装置13bは、ローカル側での物理デ
ィスク装置9aへの書込みと同様に、物理ディスク9b
へ受信したデータを書込む。
【0024】この二重化された状態では、リモート側の
HOST I/F制御17bはリモートホスト1bから
の書込みを禁止する。
【0025】ここで、リモート側への未転送データは、
BITMAPメモリ11a、11bによって差分管理さ
れる。このメモリ内の差分情報によって管理される差分
データ(未転送データ)が、ホスト装置1aからのIO
要求に同期しないで非同期にリモート側に転送される。
この差分データを管理する差分BITMAPメモリにつ
いては後述する。
【0026】なお、図3において、本願発明で定義する
Syncコマンド等のディスクアレイ装置内での処理
は、HOST/IF制御回路やリモートI/F制御回路
等に、マイクロプロセッサおよびマイクロプロセッサか
ら参照されるプログラムやデータが保持される一般的な
メモリ(DRAM等)を設け、マイクロプロセッサがプ
ログラムを実行することによって実現される。また、制
御回路内に専用回路を設けることで実現しても良い。一
方、当該装置を制御するマイクロプロセッサ、プログラ
ムを記憶するメモリ等を、HOST/IF制御回路やリ
モートI/F制御回路等以外の場所に設け、これによ
り、HOST/IF制御回路やリモートI/F制御回路
を制御しながら実行しても良い。
【0027】図1は、図3のシステム構成において本願
発明を実現する論理ブロックを示す。
【0028】ローカル側のホスト装置1aの論理ブロッ
クは、アプリケーションソフトであるAPP(アプリケ
ーションプログラム)2a、大型ディスクアレイ装置1
3a、13b内のボリュームの初期ペア状態の生成、ペ
ア状態のサスペンド等のペア制御を実行するミドルソフ
ト3a、及びOS4aで構成される。
【0029】ローカルサイトである大型ディスクアレイ
装置13aと、リモートサイトである大型ディスクアレ
イ装置13bは、図示しない光ファイバ、広域回線網等
のデータ転送路(図3の20a、20b)で接続され
る。大型ディスクアレイ装置13a、13b内のボリュ
ームは、PVOL(正ボリューム)10aとSVOL
(副ボリューム)10bで構成され、ホストからのデー
タはPVOL10aからSVOL10bにコピーされ二
重化される。なお、これらボリュームは物理ディスク図
3の9a、9bの中に保持される。
【0030】BITMAP110(図3のBITMAP
メモリ13aに保持される)、BITMAP120(図
3のBITMAPメモリ13bに保持される)は、それ
ぞれPVOL(10a)とSVOL(10b)間のデー
タ差分管理テーブル(ボリューム単位に管理可能)であ
り、PVOLとSVOLの全データブロックを数10K
B(キロバイト)単位でビットマップ化したものであ
る。BITMAP110は、PVOL(正ボリューム)
に格納されているがリモート側へ未転送であるデータを
表し、BITMAP120はリモート側へ転送されたが
SVOL(副ボリューム)へまだ格納されていないデー
タを表す。通常、ペア(PAIR)状態(二重化状態)
がサスペンド(P SUS)した状態となると、ホストか
らの新たなデータはPVOL10aにのみ書込まれるの
で、このデータ分がPVOL(10a)とSVOL(1
0b)の不一致として、このBITMAP110、12
0によって差分管理されることになる。
【0031】ローカル側のFIFO7、リモート側のF
IFO8は、それぞれ、ローカル側の大型ディスクアレ
イ装置13a、リモート側の大型ディスクアレイ装置1
3b間の非同期転送用のバッファキューであり、ペア
(PAIR)状態の時に使用される。
【0032】ローカル側のホスト1aからのIO(入出
力)の書込みデータは、大型ディスクアレイ装置13a
のPVOL(10a)対応のキャッシュに置かれる。そ
の後、データは、物理ディスク9aに書込まれると同時
に、そのIO単位に、そのIOを識別するための識別子
であるシーケンス番号が付加され、即ち、ホストIOデ
ータは順序化され、ホストコンピュータからの書込み要
求の発行順に、一旦FIFO7にキューされる。なお、
識別子は番号の他、タイムスタンプ等、データをホスト
コンピュータからの書込み要求の発行順に一意に識別で
きる識別子ならその種類は問わない。また、FIFOバ
ッファ7にキャッシュ上のデータをキューイングする際
は、このFIFOバッファに、キャッシュ上のデータの
複製を作り実際にキューイングする方法でも良いが、デ
ータ量の増加を防ぐため、キャッシュ上のデータを管理
するポインタ・アドレス等を管理するキューであること
が望ましい。この場合、実際のデータをリモート側へ転
送する場合は、キャッシュから実際のデータが転送され
ることになる。
【0033】このシーケンス番号を付加したデータは、
ホストへのIO完了応答報告と非同期に、ローカル側の
大型ディスクアレイ装置13aからリモート側の大型デ
ィスクアレイ装置13bへ転送される。リモート側の大
型ディスクアレイ装置13bは、このデータを受信する
と、このデータをシーケンス番号順にFIFO8にキュ
ーイングする。このFIFO8にキューされたデータ
は、シーケンス番号順にSVOL(副ボリューム)10
b対応のキャッシュに置かれ、その後、物理ディスク9
bに書込まれる。なお、受信データを一旦FIFO8に
キューイングした後にシーケンス番号順にキャッシュに
置く理由は、ローカル側の大型ディスクアレイ装置13
aの制御の都合や転送路の通信状態の関係で、リモート
側の大型ディスクアレイ装置13bは、書込み要求のデ
ータを必ずしも、ホストコンピュータからの書込み要求
の発行順序で、受信しないからである。本実施例では、
前述のように、FIFO8に受信データをキューイング
し、その後、受信データに割り付けられているシーケン
ス番号が番号順に揃った段階で、こんどは、FIFOか
らデータをシーケンス番号順に読み出してSVOL対応
のキャッシュへ正式に書込むことで、その順序性を保証
している。当然のことながら、リモート側の大型ディス
クアレイ装置13bがデータを受信した順序がそのま
ま、ホストコンピュータから発行される書込み要求の発
行順序と一致することが保証されるなら、大型ディスク
アレイ装置13bは、受信データをキャッシュへSVO
Lデータとして直接書込める。
【0034】大型ディスクアレイ装置13a、13b間
の伝送路等の転送障害等によって非同期転送が出来ない
場合、大型ディスクアレイ装置13a、13bは、FI
FO7、8にキューされた未転送データをBITMAP
110、120に差分データとして、ボリューム単位
に、管理し、二重化を障害サスペンド(PSUE)状態と
する。
【0035】ホスト1aのミドルソフト3aは、大型デ
ィスクアレイ装置13aの状態をチェックし、状態がP
AIR状態であれば二重化状態であると認識し非同期転
送中であることを知る。更に、PSUS、PSUE状態
であれば二重化がサスペンド状態であると認識する。
【0036】次に、本願発明である、ホスト1aのAP
P2aとミドルソフト3aと大型ディスクアレイ装置1
3aの連携によってAPP2aのCommit時のリモ
ートサイトへの同期確認がどのように実行されるか説明
する。
【0037】これは、ホスト1aのミドルソフト3a
が、APP2aから同期確認の要求を受け、大型ディス
クアレイ装置13a、13bの状態とFIFO7、8キ
ュー等から得られる、PVOLとSVOLに格納される
データに関するシーケンス番号を比較し、コミットコマ
ンド発行直前の“WTITE I/O”(書込み要求)
のデータがリモートサイトに同期したかを確認し、AP
P2aへリターンを返すことで、可能になる。
【0038】以下、ホスト1aのAPP2aとミドルソ
フト3aと大型ディスクアレイ装置13aの連携によっ
てAPP2aのCommitのリモートサイトへの同期
要求がどのように行われるか具体的に説明する。
【0039】ホスト1aのAPP2aからのCommi
tが発行されAPP2aのCommitをリモートサイ
トへ同期要求する場合、まず、APP2aはトランザク
ションとしてデータベースへWRITEし、最後にCo
mmitを発行する。通常はこのCommitで完了で
ある。
【0040】本願発明では、大型ディスクアレイ装置間
でデータが二重化構成の場合、更に、Commitの直
後に、本発明の特徴である“Syncコマンド”を発行
する。Syncコマンドは、ホスト装置上で動作するラ
イブラリ及びホストコマンドあり、ソフトウエア製品と
してCDROM、フロッピー(登録商標)ディスク等の
ソフトウェア記憶媒体を介して提供される。このSyn
cコマンドはミドルソフト3によってアプリケーション
に提供される。また、パラメータとしてgroup(後
で説明する)と最大の同期完了待ち時間を指定するti
meoutによって定義される。
【0041】なお、このSyncコマンドを発行するタ
イミングは、Commit直後に限定されず、アプリケ
ーションソフトが、リモート側とローカル側でデータの
同期が必要と判断した時点に任意に発行可能である。言
い換えれば、同期を取る/取らないの選択が、Sync
コマンドの発行の有/無で任意にできるので、Sync
コマンドを使用するアプリケーションソフトに対する自
由度がある。但し、非同期リモートコピーにおいて、ト
ランザクション単位でコミットを行う場合、リモート側
の大型ディスクアレイ装置内に書込みデータが確実に記
憶されているか否かを確認するという意味では、アプリ
ケーションにおける、コミットコマンドの発行、引き続
いての本発明のSyncコマンドの発行という2つのコ
マンドの流れは必然である。
【0042】このミドルソフト3aは、Syncコマン
ドを受けると、大型ディスクアレイ装置のペア状態をチ
ェックし、PAIR状態であればFIFO7の最新のP
VOLシーケンス番号(最も新しくホストから受領した
データであって、ローカル側のキャッシュ21aに書か
れており、リモートへ未コピーのデータに付与されてい
るシーケンス番号)をローカル側のディスクアレイ装置
13aから取得し、このPVOLの最新シーケンス番号
をCommit直後のシーケンス番号として保持する。
次に、ミドルソフト3aは、ローカル側の大型ディスク
アレイ装置13aを介して、リモート側の大型ディスク
アレイ装置13b内のSVOL書込みシーケンス番号
(最も新しくSVOL(リモート側のキャッシュ21
b)へ書き込まれたデータに付与されているシーケンス
番号)を取得する。更に、PVOLシーケンス番号とS
VOL書込みシーケンス番号を比較し、 (PVOLシーケンス番号)<=(SVOL書込みシー
ケンス番号) が成立するまでSVOL書込みシーケンス番号を繰返し
取得し、テストを繰り返す。条件が成立すると、ミドル
ソフト3aは、同期完了の応答としてこのSyncコマ
ンドの呼び出しもとであるAPP2aにリターンを返
す。APP2aは、このリターンを受けると、つまり、
このSyncコマンドが完了したことで同期完了とみな
す。
【0043】ここで、このPVOLシーケンス番号とS
VOL書込みシーケンス番号の取得およびデータ同期に
ついて、以下、詳細に説明する。PVOLシーケンス番
号は、最も新しくローカル側のキャッシュに書込まれた
データに付与されたシーケンス番号であるから、例え
ば、図1においては、FIFO7から最新のPVOLシ
ーケンス番号「5」が獲得され、これがミドルソフト3
aへ報告される。一方、リモート側のSVOL書込みシ
ーケンス番号に関しては、FIFO8にはデータ「1」
「2」がキューイングされた状態であることから、SV
OLには「0」のシーケンス番号を持つデータまでが書
込まれていることが分かる。つまり、FIFO8を用い
て、番号「0」が、SVOL書込みシーケンス番号であ
ることが分かり、このSVOL書込みシーケンス番号
「0」がミドルソフト3aへ報告される。この状態で
は、(PVOLシーケンス番号「5」)>(SVOL書
込みシーケンス番号「0」)であるから、ミドルソフト
3aは、同期がとれていないと判断する。
【0044】ローカル側からリモート側へのデータの転
送が進むと、FIFO7内にはデータが無くなる。一
方、FIFO8には、データが受信され、例えば、FI
FO8内にシーケンス番号「1」〜「5」を持つデータ
が記憶される。その後、FIFO8からSVOL対応の
キャッシュへ受信データが格納されると、FIFO8内
のデータは減る。この際、SVOLへ新たに書込まれた
データに割り付けられていたシーケンス番号が新たなS
VOL書込みシーケンス番号となる。従って、FIFO
8から実際にSVOL対応のキャッシュへ書込まれたデ
ータに割り当てられているシーケンス番号をローカル側
の大型記憶システム内に設けられるメモリにSVOL書
込みシーケンス番号として記憶しておき、ローカル側か
ら問合せがあった場合に、このメモリ内のシーケンス番
号をSVOL書込みシーケンス番号として報告すれば良
い。そして、リモート側がSVOL書込みシーケンス番
号として「5」を報告すると、ミドルウェア3aは、
(PVOLシーケンス番号「5」)<=(SVOL書込
みシーケンス番号「5」)が成立したことから、データ
同期が確立したと判断する。
【0045】なお、上記において、PVOLシーケンス
番号、SVOL書込みシーケンス番号をFIFOから求
めるのでなく、ローカル側およびリモート側のRAM等
の記憶手段を別途設け、2つの番号を随時これらに記憶
するようにしておき、必要な時は、これを読むようにし
ても良い。
【0046】また、上記説明では、ホスト1a内のAP
P2aはOS4aからは1つのプロセスであるが、複数
のプロセスとしてAPP2aは存在することもできる。
この場合、この複数のプロセスからそれぞれSyncコ
マンドが発行されるが、それぞれのSyncコマンド受
領時点でのPVOL最新シーケンス番号をそれぞれのS
yncコマンド対応に取得し、これをSVOL最新シー
ケンス番号と比較することで、複数のプロセス単位でも
同期確認することが可能である。
【0047】また、ホスト1a内のアプリケーションソ
フト単位にグループ化して、このグループ単位に同期確
認をとることも可能である。この場合、このグループ単
位に非同期転送のシーケンス番号を維持する。大型ディ
スクアレイ装置内に複数のグループを定義しおき、アプ
リケーションソフトが同期確認を行う場合、そのアプリ
ケーションソフトが同期完了要求にグループ名を指定す
ることでグループ単位に独立して同期確認が可能にな
る。
【0048】図2は、図1を用いて説明した事項の全体
制御フローを示す図である。以下制御フローに基づき詳
細に説明する。ここで、図2の説明で用いるSVOLシ
ーケンス番号は、図1の説明のSVOL書込みシーケン
ス番号と同意味で使用する。
【0049】まず、制御フローは、ホスト1aのアプリ
ケーションソフトであるAPP2aと、ペア制御及びS
yncコマンドを実行するミドルソフト3aと、大型デ
ィスクアレイ装置13aホスト1aと物理ディスク9a
間でデータの転送制御を行うDKC130a(図3参
照)の制御を示す。
【0050】APP2aは、コミットポイントになる
と、コミットコマンドを発行し、ホストコンピュータ1
aのデータバッファ内に記憶していたデータを大型ディ
スクアレイ装置13aへ書込む(図2には示していな
い)。
【0051】次に、APP2aは、データベースへのコ
ミット完了直後にSyncコマンドを発行する。ここ
で、Syncコマンドは、Syncコマンドであること
を示すコマンドコード(図示せず)の他、2つの引数を
有する。第1引数であるgroupは、前述したグルー
プ名を指定する。第2引数であるtimeoutは、最
大の同期完了待ち時間を指定する。APP2aは、Sy
ncコマンドを発行した後、同期完了の報告をミドルソ
フト3aから受けるか、若しくは同期失敗の報告を受け
るまで待つ。
【0052】ミドルソフト3aは、Sync(grou
p、timeout)コマンド31を実行する。Syn
c(group、timeout) コマンド31は、こ
のコマンド内でまずローカル側の大型ディスクアレイ装
置13a内のPVOL(正ボリューム)10aのペア状
態を調べるために、PVOL状態取得コマンド201を
大型ディスクアレイ装置13aに発行する(PVOL状
態取得ステップ32)。大型ディスクアレイ装置13a
の制御部分であるディスク制御部(DKC)130a
は、このコマンド応答としてPVOLペア状態202を
返す(PVOL状態応答ステップ39)。なお、gro
upが指定されていた場合は、このgroup単位にP
VOLのシーケンス番号を管理することになる。以下、
groupがある特定グループに限定されていると考
え、groupの違いを省いて説明する。
【0053】ミドルソフト3aは、PVOLペア状態2
02を大型ディスクアレイ装置13aから受けると、P
VOL状態のチェックを行い、状態がPAIR以外(P
SUS,PSUE)であれば二重化はサスペンドであると
して同期失敗をAPP2aへ返す(PVOL状態のチェ
ックステップ33)。なお、大型ディスクアレイ装置は
これらの状態を管理する機能を有するものとする。
【0054】一方、PVOL状態のチェックステップ3
3は、状態がPAIRであれば二重化状態と判断し、F
IFO7にキューされている書き込みデータの最新のP
VOLシーケンス番号を調べるため、PVOLシーケン
ス番号取得コマンド203を、大型ディスクアレイ装置
13aに発行する(PVOLシーケンス番号を取得する
ステップ34)。
【0055】大型ディスクアレイ装置13aは、このコ
マンド応答として、FIFO7上にキューされている最
新のデータに付加されている最新のPVOLシーケンス
番号をPVOL最新シーケンス番号204として、ミド
ルソフト3aへ返す(PVOL最新シーケンス応答ステ
ップ40)。
【0056】本発明でのミドルソフト3aは、この取得
したPVOL(正ボリューム)シーケンス番号を同期確
認の間保持し、後で取得するSVOL(副ボリューム)
シーケンス番号との比較に使用する。
【0057】次に、ミドルソフト3aは、リモートサイ
トのSVOLシーケンス番号を入手するために、SVO
Lシーケンス番号取得コマンド205を大型ディスクア
レイ装置13aに発行する(SVOLシーケンス番号を
取得するステップ35)。大型ディスクアレイ装置13
aは、リモートサイトの大型ディスクアレイ装置13b
からSVOL10bに書き込まれたデータに対応する最
新のシーケンス番号を取得し、このSVOLシーケンス
番号取得コマンドの応答として、最新のSVOL書込み
シーケンス番号206をミドルソフト3aへ返す(SV
OL書込みシーケンス応答ステップ41)。
【0058】なお、リモートサイトの大型ディスクアレ
イ装置13bからSVOL10bに書き込まれたデータ
に対応する最新のシーケンス番号を取得するには、ま
ず、ローカル側の大型ディスクアレイ装置13aが、リ
モート側の大型ディスク装置13bに対して、SVOL
へ書込まれた最新のデータに関する最新のSVOL書込
みシーケンス番号を問い合わせるコマンドを発行する。
本実施例では、このコマンドは、通常のコピーデータを
転送する通信路を用いて、リモートI/F制御部18
a、18bを介して問い合わせられるものとする。これ
を受信したリモートの大型ディスクアレイ装置は、この
問い合わせコマンドを解析し、SVOLへ書込まれた最
新のデータに関する最新のSVOL書込みシーケンス番
号を取得する。
【0059】ここで、最新のSVOL書込みシーケンス
番号は、大型ディスクアレイ装置13bが有する特定の
メモリに記録され、リモート側がコピーデータを確実に
保証できる形で保持した段階で、更新されているものと
する。本実施例では、先に説明したように、リモート側
でのデータ受信順序がホストコンピュータが発行したデ
ータ順序と必ずしも一致していない場合を考慮し、FI
FO8を使用する場合を示している。そのため、リモー
ト側がコピーデータを確実に保証できる形とは、本実施
例では、受信データを、シーケンス番号に抜けが無い状
態で、FIFO8からSVOLに対応するキャッシュメ
モリに管理を移した状態である(なお、本システムは、
キャッシュに記憶されたデータは物理ディスクに書き込
むことを保証するものとする)。そして、この状態のデ
ータに付与されたシーケンス番号がSVOL書込みシー
ケンス番号となる。例えば、FIFO8内にシーケンス
番号「2」、「3」、「5」を有する受信データがある
とすると、シーケンス番号「2」「3」を有する受信デ
ータはSVOLに対応するキャッシュへ書込まれるがシ
ーケンス番号「5」を有する受信データはSVOL対応
のキャッシュへは書込まれない。この段階でのSVOL
書込みシーケンス番号は「3」である。その後、シーケ
ンス番号「4」を有するデータを受信すると、シーケン
ス番号「4」および「5」の受信データが順次SVOL
対応のキャッシュに格納される。ここで初めて、リモー
ト側がコピーデータを確実に保証できる形で保持した段
階の最新のSVOL書込みシーケンス番号は、「5」と
いうことになる。一方、ローカル側の記憶システムや、
ローカル側とリモート側の間の通信路が、リモート側で
の受信データの順序性を保証できるものであれば、リモ
ート側の記憶システムは受信データを受信した時点で、
例えば、リモートI/F制御回路がデータを受信した時
点で、その受信したデータに付与されているシーケンス
番号を、本実施例でいう最新のSVOL書込みシーケン
ス番号として用いることができる。
【0060】リモート側のディスクアレイ装置13b
は、取得した最新のSVOL書込みシーケンス番号を、
前記問い合わせコマンドの応答として、ローカル側の大
型ディスクアレイ装置13aへ転送する。
【0061】また、リモート側の最新のシーケンス番号
を取得する別の方法として、リモート側の大型ディスク
アレイ自体が、定期的に、又は、SVOLへのデータ書
込み更新が有った際に、最新のSVOL書込みシーケン
ス番号をローカル側へ通知し、これをローカル側で記録
するようにし、Syncコマンドが発生した時点で、ロ
ーカル側に記録したこの最新のSVOLシーケンス番号
を読み出して用いるようにしても良い。
【0062】ミドルソフト3aは、次のステップ36
で、保持していたPVOL(最新)シーケンス番号とS
VOL(書込み)シーケンス番号を比較し、PVOLシ
ーケンス番号<=SVOL書込みシーケンス番号であれ
ば当該PVOLシーケンス番号に対応するデータはSV
OL側に書き込み済みであるとして、APP2aに同期
完了を返す(PVOLとSVOLシーケンス比較ステッ
プ36)。
【0063】一方、 PVOLシーケンス番号>SVOLシーケンス番号 であれば同期が完了していない(リモート側へデータが
書き込まれていない)として、次のステップに進みタイ
ムアウトのチェックを行い指定timeout値を超え
ていれば同期完了タイムアウトとして同期失敗をAPP
2aへ返す(タイムアウトのチェックステップ37)。
ここで、指定timeout値を超えていなければ一定
時間待ち(WAITステップ38)、その後、ステップ
35からステップ38を同期が完了するまで繰り返す。
繰り返しの中で、ステップ36で“PVOLシーケンス
番号<=SVOLシーケンス番号”の条件が成立した時
点で、同期完了し、Syncコマンドを発行した呼出し
元であるAPP2に制御が戻る。APP2aは、Syn
cコマンドの制御が戻った時点で、戻り値をチェックし
同期完了を確認する。
【0064】以上説明したように、ホスト1aのAPP
2aは、ミドルソフト3aと連携して、データベース等
のトランザクションのコミットを行った直後に本願で示
したSyncコマンドを実行するので、本Syncコマ
ンド発行前にディスクアレイ装置へ書込まれたデータ
が、リモート側のディスクアレイ装置にデータが確実に
格納されているか否かをAPP2は、知ることが出来
る。見方を変えれば、本実施例を使用するホストコンピ
ュータ内のアプリケーションからは、非同期コピーが、
Syncコマンドを発行することによってアプリケーシ
ョン毎に同期処理(データがコンピュータ内とリモート
の記憶装置内で一致する処理)ができるリモートコピー
として見えることになる。
【0065】(他の実施例)図4および図5は、ホスト
装置1aのミドルソフト制御の負荷を軽減する目的で、
ミドルソフト3aの制御をローカル側の大型ディスクア
レイ装置13a内で実施した本発明の他の実施例を示し
たものである。
【0066】図4は、図1、図2のところで説明したミ
ドルソフト制御を、大型ディスクアレイ装置内で実施し
た場合の、本発明の論理的なブロック図を示す。図4に
おいて、図1のミドルソフト3aで実現していた機能を
図4のSync制御300(後述)で置換えた以外は、
論理的構成はほぼ同じである。Sync制御300の機
能は、“HOST I/F制御回路(17a)”または
“リモートI/F制御回路(18a)”上で本機能を実
現するプログラムを実行することで実現される。
【0067】ホスト1a内のAPP2aは、前記実施例
と同様にトランザクションとしてデータベースへWRI
TEし、最後にCommitを発行し、その後、本発明
の特徴コマンドであるSyncコマンドを発行する。こ
のSyncコマンドは、OSを介してディスクアレイ装
置13aに入力される。なお、ここでは、Commit
動作を確認するという意味でSyncコマンドをCom
mitの発行の後に入れているが、Syncコマンドを
発行するタイミングは、この時点に限定されるものでな
く、アプリケーションプログラムが必要と認識した時点
で発行できる。また、以降説明するディスクアレイ装置
側でのSyncコマンドの処理も、当該Syncコマン
ドの発行時点に左右されるものではない。
【0068】このSyncコマンドは、大型ディスクア
レイ装置によって、これに接続されるホストに対して提
供され、大型ディスクアレイ装置に内蔵されたマイクロ
プログラム等の機能(後述のSync制御300が相当
する)である。例えば、図1のHOST I/F制御回
路内のマイクロプロセッサ等が、リモートI/F制御回
路等と連絡しながら実行する。
【0069】ここで、Sync(appID、 grou
p、timeout)コマンド51は、パラメータとし
て、ローカル側の大型ディスクアレイ装置13aのSy
nc制御300がSync要求プロセスを識別するため
のappIDと、前記のgroup(前述したグループ
名)と、および、最大の同期完了待ち時間を指定するT
imeoutを有する。
【0070】このSyncコマンド51は、OS4aを
介し大型ディスクアレイ装置13aのSync制御30
0に渡される。このSync制御300はSyncコマ
ンドを受けると、前記実施例と同様にボリュームのペア
状態をチェックし、PAIR状態であれば、FIFO7
の“最新のPVOLシーケンス番号”とSyncコマン
ドパラメータとして渡される“appID”をディスク
アレイ装置内のメモリに登録し、このPVOL最新シー
ケンス番号をCommitの直後のシーケンス番号とし
て保持する。
【0071】次にSync制御300は、リモート側の
SVOL書込みシーケンス番号を取得し、 “PVOLシーケンス番号”<=“SVOL書込みシー
ケンス番号” が成立するまでSVOL書込みシーケンス番号を繰返し
テストし、このSync制御300内で待つ。条件が成
立するとこのSync制御300は、同期完了の応答と
して、OS4aを介し“appID”を、呼び出しもと
であるAPP2aに戻す。APP2aは、この“app
ID”を受けると、Syncコマンドが完了したことで
同期完了とみなす。なお、PVOLシーケンス番号およ
びSVOL書込みシーケンス番号の具体的な取得方法
は、先の実施例と同様である。
【0072】上記では、ホスト1a内のAPP2aは、
OS4aからは1つのプロセスとして説明したが、複数
のプロセスとしてAPP2aは存在することもできる。
この場合、複数のプロセスからSyncコマンドが発行
されると、Sync制御300は、appIDで識別
し、プロセス対応のそれぞれのSyncコマンド受領時
点でのappIDとPVOL最新シーケンス番号を登録
して、後で得るSVOLシーケンス番号と比較するので
複数のプロセス単位で同期確認することが可能である。
結果は、登録したappIDを有するアプリケーション
へ報告される。
【0073】また、ホスト1a内のアプリケーションソ
フトを複数合わせてグループ化して、このグループ単位
に同期確認をとることも可能である。この場合、このグ
ループ単位に非同期転送のシーケンス番号を維持する。
大型ディスクアレイ装置内に複数のグループを定義しお
き、アプリケーションソフトが同期確認を行う場合、そ
のアプリケーションソフトが同期完了要求にグループ名
を指定することでグループ単位に独立して同期確認が可
能になる。
【0074】図5は、図4で説明した事項の全体制御フ
ローを示す図である。以下制御フローに基づき詳細に説
明する。ここで、図5の説明で用いるSVOLシーケン
ス番号は、図4の説明のSVOL書込みシーケンス番号
と同意味で使用する。制御フローは、ホスト1aのアプ
リケーションソフトであるAPP2aと、ペア制御及び
Syncコマンドを実行するローカル側の大型ディスク
アレイ装置13a内のSync制御300と、及び、リ
モート側大型ディスクアレイ装置13bのディスク制御
DKC130bの制御を示す。
【0075】APP2aは、データベースへのコミット
完了直後にSync(appID、group、tim
eout)コマンド51を発行する。Syncコマンド
51の第1引数であるappIDは、大型ディスクアレ
イ装置13aのSync制御300が、ホスト1a内の
Sync要求プロセス(アプリケーション)を識別する
ための引数である。これにより、Sync要求を発行す
るプロセス(アプリケーション)毎に同期確定を行うこ
とが可能となる。第2引数であるgroupは、前述し
たグループ名を指定する場合に用いる。第3引数である
timeoutは、最大の同期完了待ち時間を指定す
る。
【0076】大型ディスクアレイ装置13aのSync
制御300は、Sync(appID、group、t
imeout)コマンド51を実行する。まずSync
制御300は、大型ディスクアレイ装置13a内のPV
OL9のペア状態を調べる(PVOL状態のチェックス
テップ533)。
【0077】Sync制御300は、PVOL状態のチ
ェック33によって状態がPAIR以外(PSUS、P
SUE)であれば二重化はサスペンドであるとして同期
失敗をAPP2aに返す。状態がPAIRであれば二重
化状態であり、書き込みデータはFIFO7にキューさ
れているので、最新のPVOLシーケンス番号とapp
IDをディスクアレイ装置内のメモリに登録する(ap
pIDとPVOLシーケンス番号を登録するステップ5
34)。この登録したPVOLシーケンス番号とapp
IDは、同期確認の間保持され、後で、SVOLシーケ
ンス番号との比較に使用される。
【0078】次に、Sync制御300は、PVOLシ
ーケンス番号とリモートサイトのSVOLシーケンス番
号の比較のために、SVOLシーケンス番号取得コマン
ド501をリモート側の大型ディスクアレイ装置13b
のディスク制御部130b(図3のリモート側のディス
クアレイ装置参照)に発行する(SVOLシーケンス番
号を取得するステップ535)。
【0079】リモート側の大型ディスクアレイ装置13
bは、このコマンド501の応答としてSVOL書込み
シーケンス応答として最新のSVOL書込みシーケンス
番号502を、ローカル側のディスクアレイ装置13a
へ返す(SVOL書込みシーケンス応答ステップ54
1)。なお、SVOL書込みシーケンス番号の具体的な
取得方法は先の実施例と同様である。
【0080】ローカル側のディスクアレイ装置13aの
Sync制御300は、次のステップ36で、保持して
いたappIDに対応するPVOLシーケンス番号とS
VOLシーケンス番号を比較し、 “PVOLシーケンス番号”<=“SVOLシーケンス
番号” であれば当該PVOLシーケンス番号はSVOL側に書
き込み済みであるとして、該当appIDと合せて同期
完了を、アプリケーションソフトAPP2aを返す。一
方、 “PVOLシーケンス番号”>“SVOLシーケンス番
号” であれば同期が完了していないので次の待ちステップ5
37に進む(appIDのPVOLとSVOLシーケン
スを比較するステップ536)。
【0081】次のタイムアウトをチェックするステップ
537では、タイムアウトのチェック537を行い、指
定timeout値を超えていれば同期完了タイムアウ
トとして同期失敗をAPP2aへ返す。一方、指定ti
meout値を超えていなければ一定時間WAIT53
8する(WAITステップ538)。
【0082】その後、ステップ535から同期が完了す
るまでステップ536を繰り返し、 “PVOLシーケンス番号”<=“SVOLシーケンス
番号” の条件が成立した時点で、同期が完了したとして、Sy
ncコマンド51の呼び出し元であるAPP2aに、S
ync制御から、制御を返す。APP2aは、Sync
コマンドの制御が戻った時点で、appIDをチェック
すると共に戻り値(同期が完了したか否かを示す値)を
チェックし同期完了を確認する。
【0083】以上説明したようにディスクアレイ装置
が、Syncコマンドを受信すると、ホストからの書込
み要求のデータが確実にリモート側のディスクアレイ装
置にコピーされたか否か確認した上で、ホストに対し報
告することが可能となる。従って、ホストはディスクア
レイ装置が非同期リモートコピーを行っている場合で
も、Syncコマンドを発行することによって、Syn
cコマンドの発行前にディスクアレイ装置へ書込まれて
いるデータがリモート側へ転送されているかを正確に知
ることができ、データベースとうで必要となるComm
it制御を確実なものとすることができる。見方を変え
れば、本実施例を使用するホストコンピュータ内のアプ
リケーションからは、非同期コピーが、Syncコマン
ドを発行することによってアプリケーション毎に同期処
理(データがコンピュータ内とリモートの記憶装置内で
一致する処理)ができるリモートコピーとして見えるこ
とになる。
【0084】上記実施例では、コミットコマンドの発行
に続けてSyncコマンドの発行という形で発明を説明
したが、次のような変形も可能である。
【0085】一つ目は、最初の実施例においてミドルソ
フト3aを機能拡張し、これにより、非同期データ転送
を行っている場合は、アプリケーションから受けた従来
のコミットコマンドを「従来のコミットコマンド+Sy
ncコマンド」と認識して、処理する方法である。具体
的には、機能拡張されたミドルソフト3aは、コミット
コマンドを受けると、まず、コンピュータ内のデータバ
ッファ内にあるデータを記憶システムへ書込む。それと
合わせて、コミットの対象となるデータが記憶されるボ
リュームが非同期コピー中か否かを判断する。対象ボリ
ュームが非同期コピー中の場合は、ミドルソフト3aは
本発明の最初の実施例に対応した問合せコマンドをロー
カル側の記憶システムへ発行する。その後、ミドルソフ
ト3aは、ローカル側の記憶システムから書込み完了を
受けるが、この時点ではアプリケーションに対してコミ
ットコマンドに対するリターンを返さず、先の問合せコ
マンドに対する応答が有るのを待つ。そして、ミドルソ
フト3aは、記憶システムから問合せコマンドに対する
応答を受け、リモート側の記憶システムで書込みデータ
の確定が取れた時点で初めて、前記アプリケーション
へ、コミットコマンドに対するリターンを返すようにす
る。この方法では、アプリケーションはSyncコマン
ドを発行する必要が無いので、非同期コピー中であるこ
とを意識しなくてすむというメリットがある。
【0086】2つ目は、ローカル側の記憶システムが非
同期リモートコピーを行っている際、書込みコマンドを
発行するホストコンピュータに対して、リモート側の記
憶システムが書込みコマンドのデータをどの時点まで記
憶したかを、定期的に、報告する方法である。例えば、
ローカル側の記憶システムは、定期的に、ホストからの
ある書込み要求が発行された時刻を記憶しておき、この
書込み要求以前に発行された全ての書込み要求に対応す
るデータがリモート側の記憶システムへ確実に記憶され
た段階で、先に記録した時刻をホストコンピュータへ返
すようにする。このようにすれば、ホストコンピュータ
は定期的にどの時刻までの書込み要求が確実にリモート
側の記憶システムへ記憶されたかが分かるようになる。
一方、ホスト側のアプリケーションは、従来と同様にコ
ミットコマンドを発行する。このコミットコマンドを受
けた時点でミドルソフトは、ローカル側の記憶システム
へデータバッファ内のデータを書込むため、書込み要求
を発行するが、この際、書込み要求を発行した最終時刻
を記憶するようにする。そして、ミドルソフトは、この
書込み要求に対する全ての書込み完了を受け、かつ、当
該最終時刻に等しいか又は遅い、先に述べたローカル側
の記憶システムが定期的に報告する時刻を受けた場合
に、アプリケーションに対し、先のコミットコマンドに
対するリターンを返すようにする。この2つ目の方法で
は、ホスト側のアプリケーションはSyncコマンドを
発行する必要が無いので、非同期コピー中であることを
意識しなくてすむというメリットがある。また、記憶シ
ステム側は自発的にリモート側の状況をホストコンピュ
ータに通知するだけなので、ホストコンピュータと記憶
システム間のインタフェースが簡単なものとなる。
【0087】なお、この2つ目の方法において、ローカ
ル側の記憶システムが定期的にどの時刻までの書込み要
求をリモート側の記憶システムに確実に書込んだかをホ
ストコンピュータに報告する例をあげている。このよう
な機能を有する記憶システムは、本実施例で説明するよ
うなアプリケーションのためのデータ同期確認にもちろ
ん利用可能であるが、これ以外にも、ホストコンピュー
タ側から記憶システム状態を知る上で重要な情報を提供
しているわけであり、本記憶システムはホスト側から管
理しやすい、又は、制御しやすい、又は、使いやすい記
憶システムということができる。
【0088】
【発明の効果】本発明では、非同期リモートコピーを行
っている際、ホストに対し、書込み要求のデータがリモ
ート側に記憶されたか否かを判断するのに必要なリモー
ト側の記憶システムに関する情報をローカル側の記憶シ
ステム経由でホストに提供するので、アプリケーション
は、ホスト内データとリモート側記憶システム内のデー
タとの一致を確認できる。
【0089】また、本発明では、非同期リモートコピー
を行う記憶システムが、ホストに対し、書込み要求のデ
ータがリモート側に記憶されたか否かを通知するので、
ホスト内のアプリケーションは、ホスト内データとリモ
ート側記憶システム内のデータとの一致を確認できる。
【図面の簡単な説明】
【図1】本発明の論理的なブロック図を示す。
【図2】本発明の全体制御フローを示す。
【図3】本発明を適用する一般的なHAクラスタの全体
構成図である。
【図4】本発明の第2の実施例の論理的なブロック図を
示す。
【図5】本発明の第2の実施例に相当する全体フローを
示す。
【符号の説明】
1a、1b ホスト装置 2a、2b アプリケーションソフト(APP) 3a、3b ミドルソフト 300 Sync制御 4a、4b オペレーティングシステム(OS) 5 PVOL最新シーケンス番号 6 SVOL書込みシーケンス番号 7 FIFO(PVOL対応) 8 FIFO(SVOL対応) 10a P(正)VOL 10b S(副)VOL 110 BITMAP(PVOL対応) 120 BITMAP(SVOL対応) 13a ローカル側大型ディスクアレイ装置 13b リモート側大型ディスクアレイ装置 31 実施例のSyncコマンド 51 他の実施例のSyncコマンド
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 12/08 541 G06F 12/08 541 557 557 12/16 310 12/16 310J Fターム(参考) 5B005 JJ01 LL11 MM11 5B018 GA04 HA04 MA14 QA15 5B065 BA01 EA32 EA33 5B082 DE05 GB06 HA03

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】ローカル側の上位装置とリモート側の記憶
    システムに接続されて使用されるローカル側の記憶シス
    テムであって、 前記上位装置から書込みコマンドを受信する手段と、 前記書込みコマンド内のデータを前記リモート側の記憶
    システムへ送信する手段と、 前記リモート側の記憶装置が前記データを受信したか否
    かを問い合わせる問合せコマンドを前記上位装置から受
    信する手段と、及び、 前記上位装置へ、前記問合せコマンドに対する応答を送
    信する手段とを有することを特徴とするローカル側の記
    憶システム。
  2. 【請求項2】前記リモート側の記憶装置が前記データを
    受信したか否かは、前記データが前記リモート側の記憶
    装置のキャッシュへ記憶されたか否かである請求項1記
    載のローカル側の記憶システム。
  3. 【請求項3】前記リモート側の記憶システムから、前記
    データが受信されたか否かの応答を受信する手段とを有
    することを特徴とする請求項1記載のローカル側の記憶
    システム。
  4. 【請求項4】前記リモート側の記憶システムへ送信する
    手段は、前記書込みコマンドに対する前記上位装置への
    書込み完了報告とは非同期に実行されることを特徴とす
    る請求項1記載のローカル側の記憶システム。
  5. 【請求項5】前記問合せコマンドは、当該問合せコマン
    ドの発行前に前記上位装置から発行された前記書込みコ
    マンドのデータに関する問合せであることを特徴とする
    請求項1記載の記憶システム。
  6. 【請求項6】データを記憶するディスク装置と、外部上
    位装置と前記ディスク装置との間で前記データを転送す
    るディスク制御装置とを有する記憶システムであって、 前記ディスク制御装置は、他の記憶システムへ前記上位
    装置から入力されたデータを送信する回路と、前記上位
    装置から入力されるコマンドを実行する回路とソフトウ
    ェアを有し、 ここで、前記コマンドは、前記他の記憶システムが前記
    データを受信したか否かに関する情報を問合せるもので
    あり、かつ、当該記憶システムに対して、前記外部上位
    装置にその問合せに対する結果を報告することを要求す
    るものであることを特徴とする記憶システム。
  7. 【請求項7】前記前記データを受信したか否かは、前記
    他の記憶システムのキャッシュに前記データが記憶され
    たか否かである請求項6記載の記憶システム。
  8. 【請求項8】上位装置に対する記憶システムの応答方法
    であって、 前記上位装置から書込みコマンドを受けるステップと、 前記書込みコマンドに対する応答を前記上位装置に返す
    ステップと、 前記書込みコマンド内のデータを他記憶システムへ送信
    するステップと、 前記他の記憶装置が前記データを受信したか否かを問う
    問合せコマンドを前記上位装置から受けるステップと、
    及び、 前記上位装置へ、前記問合せコマンドに対する応答を出
    力するステップとを有することを特徴とする記憶システ
    ムの応答方法。
  9. 【請求項9】前記他の記憶システムから前記データが受
    信されたか否かの報告を受けるステップとを有すること
    を特徴とする請求項8記載の記憶システムの応答方法。
  10. 【請求項10】通信対象である上位装置から書込みコマ
    ンドが入力される第1のインタフェース回路と、 前記書込みコマンド内のデータと当該データを識別する
    情報とを、他の記憶システムへ出力する第2インタフェ
    ース回路と、 前記上位装置から前記データに関する問合せコマンドが
    入力される前記第1のインタフェース回路と、 前記第2のインタフェースから送信される前の、前記デ
    ータと共に出力される当該データを識別する情報を前記
    上位装置へ出力する前記第1のインタフェース回路と、 前記他の記憶システムに入力されたデータと共に前記他
    の記憶システムに入力された前記情報を、前記他の記憶
    システムから入力される前記第2のインタフェース回路
    と、及び、 前記第2のインタフェース回路へ入力された前記情報を
    前記上位装置へ出力する前記第1のインタフェース回路
    とを有する記憶システム。
  11. 【請求項11】前記情報は、複数の前記書込みコマンド
    内の複数のデータの順序性を示すものである請求項10
    記載の記憶システム。
  12. 【請求項12】前記第2のインタフェース回路は、前記
    書込みコマンドと非同期に前記データを出力することを
    特徴とする請求項10記載の記憶システム。
  13. 【請求項13】複数の前記書込みコマンドはグループ分
    けされ、前記データを識別する情報は前記書込みコマン
    ドのグループ対応に管理され、および、前記データを識
    別する情報は前記プログラムへグループ対応に出力され
    る請求項10記載の記憶システム。
  14. 【請求項14】コンピュータ上で動作するアプリケーシ
    ョンから複数の書込み要求を受けた際に、前記複数の書
    込み要求内のデータを他記憶システムに非同期にコピー
    する記憶システムと接続される前記コンピュータに、イ
    ンストールされるプログラムを有する媒体であって、 前記プログラムが、前記アプリケーションから問合せコ
    マンドを受ける第1ステップと、前記記憶システムか
    ら、前記記憶システムに記憶された前記アプリケーショ
    ンに関するデータを識別する情報を得る第2ステップ
    と、前記記憶システムから、前記他の記憶システムに記
    憶された前記アプリケーションに関するデータを識別す
    る情報を得る第3ステップと、及び、前記第2ステップ
    で得た情報と前記第3ステップで得た情報を基に、前記
    問合せに応答するステップとを有することを特徴とする
    媒体。
  15. 【請求項15】前記第2ステップで得た情報と前記第3
    ステップで得た情報は、前記アプリケーションが発行す
    る書込みデータの順序性に関する情報であることを特徴
    とする請求項14記載の媒体。
  16. 【請求項16】ローカル側ホストからの書込みデータ
    を、他の記憶システムへリモート非同期データ転送を行
    う記憶システムであって、 前記ローカル側のホストから書込まれた最新データに関
    する番号と、前記他の記憶システムが受信した最新デー
    タに関する番号とをホスト装置へ通知する記憶システ
    ム。
  17. 【請求項17】前記記憶システムは、前記ホストから要
    求があった場合に、前記最新データに関する情報を前記
    ホストへ通知する請求項16記載の記憶システム。
  18. 【請求項18】ローカル側ホストからの書込みデータ
    を、他の記憶システムへリモート非同期データ転送を行
    う記憶システムであって、 前記記憶システムは、前記書込みデータが前記他の記憶
    システムへ記憶されたか否かを前記ローカル側ホストへ
    報告する記憶システム。
  19. 【請求項19】前記報告は、定期的、又は、前記ホスト
    から要求があった際に報告する記憶システム。
  20. 【請求項20】他の記憶システムへデータの非同期リモ
    ートコピーを行う記憶システムに接続されるコンピュー
    タにインストールされるプログラムを記録する媒体であ
    って、 前記プログラムが、 前記コンピュータ内で動作するアプリケーションからコ
    ミットコマンドを受けると前記コンピュータ内のバッフ
    ァに有る前記アプリケーションが発行した書込みデータ
    を実際に前記記憶システムへ書込む書込み要求を発行す
    るステップと、 前記記憶システムから前記書込み要求に対する書込み完
    了を受信するステップと、 前記書込みデータが前記他の記憶システムへコピーされ
    たか否かを問い合わせるコマンドを前記記憶システムへ
    発行するステップと、 前記記憶システムから前記問い合わせコマンドに対する
    応答を受けるステップと、及び、 前記書込み完了を受信し、かつ、前記応答を受けた後
    で、前記コミットコマンドに対しリターンを返すステッ
    プを有するところの媒体。
JP2000285237A 2000-05-25 2000-09-14 記憶システム、記憶システムの応答方法及び記録媒体 Expired - Fee Related JP4546629B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000285237A JP4546629B2 (ja) 2000-05-25 2000-09-14 記憶システム、記憶システムの応答方法及び記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-159547 2000-05-25
JP2000159547 2000-05-25
JP2000285237A JP4546629B2 (ja) 2000-05-25 2000-09-14 記憶システム、記憶システムの応答方法及び記録媒体

Publications (3)

Publication Number Publication Date
JP2002049517A true JP2002049517A (ja) 2002-02-15
JP2002049517A5 JP2002049517A5 (ja) 2007-09-20
JP4546629B2 JP4546629B2 (ja) 2010-09-15

Family

ID=26592864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000285237A Expired - Fee Related JP4546629B2 (ja) 2000-05-25 2000-09-14 記憶システム、記憶システムの応答方法及び記録媒体

Country Status (1)

Country Link
JP (1) JP4546629B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302556A (ja) * 2003-03-28 2004-10-28 Hitachi Ltd 複数の計算機システム間でのデータ共有方法およびディスク制御装置
US7124258B2 (en) 2003-07-03 2006-10-17 Hitachi, Ltd. Storage system and storage device system
US7181479B2 (en) 2003-03-27 2007-02-20 Hitachi, Ltd. Method and database system for duplicating transactions between remote sites
JP2007529833A (ja) * 2004-07-15 2007-10-25 株式会社ソニー・コンピュータエンタテインメント アウト・オブ・オーダーのdmaコマンドキューにおけるコマンド順序の設定に関する技術
JP2008059014A (ja) * 2006-08-29 2008-03-13 Nec Corp ディスクアレイシステムのデータ同期方法及びコンピュータプログラム
WO2008139545A1 (ja) * 2007-05-01 2008-11-20 Fujitsu Limited ストレージシステム、ストレージ装置、リモートコピー方法
US7680793B2 (en) 2005-10-07 2010-03-16 Oracle International Corporation Commit-time ordered message queue supporting arbitrary read and dequeue patterns from multiple subscribers
JPWO2008105098A1 (ja) * 2007-02-28 2010-06-03 富士通株式会社 メモリミラー化制御プログラム、メモリミラー化制御方法およびメモリミラー化制御装置
US7757016B2 (en) 2007-02-01 2010-07-13 Fujitsu Limited Data transfer device, semiconductor integrated circuit, and processing status notification method
JP2010160544A (ja) * 2009-01-06 2010-07-22 Core Micro Systems Inc キャッシュメモリシステム及びキャッシュメモリの制御方法
US7801856B2 (en) 2006-08-09 2010-09-21 Oracle International Corporation Using XML for flexible replication of complex types
JP2011070636A (ja) * 2009-08-27 2011-04-07 Nippon Telegr & Teleph Corp <Ntt> データ同期システム、データ同期方法、情報処理装置、情報処理方法、およびプログラム
JP4861480B2 (ja) * 2006-09-22 2012-01-25 オーセ プリンティング システムズ ゲゼルシャフト ミット ベシュレンクテル ハフツング 印刷データの自動的な伝送、特に印刷ジョブのミラーリングのための方法及びシステム
JP2012524943A (ja) * 2009-04-21 2012-10-18 グーグル インコーポレイテッド ストレージクラスタを指定可能な複製されたコンテンツのための非同期的分散オブジェクトアップロード
US8374966B1 (en) 2002-08-01 2013-02-12 Oracle International Corporation In memory streaming with disk backup and recovery of messages captured from a database redo stream
JP2013073388A (ja) * 2011-09-27 2013-04-22 Fujitsu Ltd ストレージ装置、ストレージ装置の制御方法及びストレージシステム
WO2013064947A1 (en) * 2011-11-02 2013-05-10 International Business Machines Corporation Message reconciliation during disaster recovery
JP2014142913A (ja) * 2013-01-23 2014-08-07 Hitachi Ltd 効率的なリモートコピー方法および装置
JP2021520554A (ja) * 2018-04-10 2021-08-19 華為技術有限公司Huawei Technologies Co.,Ltd. トランスポートプロトコル上でのポイント・ツー・ポイント・データベース同期

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08509565A (ja) * 1993-04-23 1996-10-08 イーエムシー コーポレーション 遠隔データのミラー化

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08509565A (ja) * 1993-04-23 1996-10-08 イーエムシー コーポレーション 遠隔データのミラー化

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374966B1 (en) 2002-08-01 2013-02-12 Oracle International Corporation In memory streaming with disk backup and recovery of messages captured from a database redo stream
US7181479B2 (en) 2003-03-27 2007-02-20 Hitachi, Ltd. Method and database system for duplicating transactions between remote sites
US7593974B2 (en) 2003-03-27 2009-09-22 Hitachi, Ltd Method and database system for duplicating transactions between remote sites
US7219191B2 (en) 2003-03-28 2007-05-15 Hitachi, Ltd. Data sharing method among remote computer systems and disk control device thereof
JP2004302556A (ja) * 2003-03-28 2004-10-28 Hitachi Ltd 複数の計算機システム間でのデータ共有方法およびディスク制御装置
US7124258B2 (en) 2003-07-03 2006-10-17 Hitachi, Ltd. Storage system and storage device system
US7421553B2 (en) 2003-07-03 2008-09-02 Hitachi, Ltd. Remote copy operation between different sort of storage system and storage device system
JP2007529833A (ja) * 2004-07-15 2007-10-25 株式会社ソニー・コンピュータエンタテインメント アウト・オブ・オーダーのdmaコマンドキューにおけるコマンド順序の設定に関する技術
US7680793B2 (en) 2005-10-07 2010-03-16 Oracle International Corporation Commit-time ordered message queue supporting arbitrary read and dequeue patterns from multiple subscribers
US7801856B2 (en) 2006-08-09 2010-09-21 Oracle International Corporation Using XML for flexible replication of complex types
JP2008059014A (ja) * 2006-08-29 2008-03-13 Nec Corp ディスクアレイシステムのデータ同期方法及びコンピュータプログラム
JP4861480B2 (ja) * 2006-09-22 2012-01-25 オーセ プリンティング システムズ ゲゼルシャフト ミット ベシュレンクテル ハフツング 印刷データの自動的な伝送、特に印刷ジョブのミラーリングのための方法及びシステム
US7757016B2 (en) 2007-02-01 2010-07-13 Fujitsu Limited Data transfer device, semiconductor integrated circuit, and processing status notification method
JPWO2008105098A1 (ja) * 2007-02-28 2010-06-03 富士通株式会社 メモリミラー化制御プログラム、メモリミラー化制御方法およびメモリミラー化制御装置
JP4998549B2 (ja) * 2007-02-28 2012-08-15 富士通株式会社 メモリミラー化制御プログラム、メモリミラー化制御方法およびメモリミラー化制御装置
US8281092B2 (en) 2007-02-28 2012-10-02 Fujitsu Limited Memory-mirroring control apparatus and memory-mirroring control method
US9612928B2 (en) 2007-02-28 2017-04-04 Fujitsu Limited Memory-mirroring control apparatus and memory-mirroring control method
US8468314B2 (en) 2007-05-01 2013-06-18 Fujitsu Limited Storage system, storage apparatus, and remote copy method for storage apparatus in middle of plural storage apparatuses
WO2008139545A1 (ja) * 2007-05-01 2008-11-20 Fujitsu Limited ストレージシステム、ストレージ装置、リモートコピー方法
JP2010160544A (ja) * 2009-01-06 2010-07-22 Core Micro Systems Inc キャッシュメモリシステム及びキャッシュメモリの制御方法
JP2012524943A (ja) * 2009-04-21 2012-10-18 グーグル インコーポレイテッド ストレージクラスタを指定可能な複製されたコンテンツのための非同期的分散オブジェクトアップロード
US8683112B2 (en) 2009-04-21 2014-03-25 Google Inc. Asynchronous distributed object uploading for replicated content addressable storage clusters
JP2011070636A (ja) * 2009-08-27 2011-04-07 Nippon Telegr & Teleph Corp <Ntt> データ同期システム、データ同期方法、情報処理装置、情報処理方法、およびプログラム
JP2013073388A (ja) * 2011-09-27 2013-04-22 Fujitsu Ltd ストレージ装置、ストレージ装置の制御方法及びストレージシステム
WO2013064947A1 (en) * 2011-11-02 2013-05-10 International Business Machines Corporation Message reconciliation during disaster recovery
US9442804B2 (en) 2011-11-02 2016-09-13 Globalfoundries Inc. Message reconciliation during disaster recovery
JP2014142913A (ja) * 2013-01-23 2014-08-07 Hitachi Ltd 効率的なリモートコピー方法および装置
JP2021520554A (ja) * 2018-04-10 2021-08-19 華為技術有限公司Huawei Technologies Co.,Ltd. トランスポートプロトコル上でのポイント・ツー・ポイント・データベース同期
JP7128288B2 (ja) 2018-04-10 2022-08-30 華為技術有限公司 トランスポートプロトコル上でのポイント・ツー・ポイント・データベース同期
US11805193B2 (en) 2018-04-10 2023-10-31 Huawei Technologies Co., Ltd. Point-to-point database synchronization over a transport protocol

Also Published As

Publication number Publication date
JP4546629B2 (ja) 2010-09-15

Similar Documents

Publication Publication Date Title
US7203807B2 (en) Storage system making possible data synchronization confirmation at time of asynchronous remote copy
US8209282B2 (en) Method, system, and article of manufacture for mirroring data at storage locations
US6981008B2 (en) Method for duplicating data of storage subsystem and data duplicating system
US7734883B2 (en) Method, system and program for forming a consistency group
JP5264077B2 (ja) 地理的分散型クラスタ
JP4546629B2 (ja) 記憶システム、記憶システムの応答方法及び記録媒体
US7043665B2 (en) Method, system, and program for handling a failover to a remote storage location
US6950915B2 (en) Data storage subsystem
US7904684B2 (en) System and article of manufacture for consistent copying of storage volumes
US7188222B2 (en) Method, system, and program for mirroring data among storage sites
US7657718B1 (en) Storage automated replication processing
US5680580A (en) Remote copy system for setting request interconnect bit in each adapter within storage controller and initiating request connect frame in response to the setting bit
US7278049B2 (en) Method, system, and program for recovery from a failure in an asynchronous data copying system
EP1291779B1 (en) Control method for a data storage system
JP4461147B2 (ja) リモートデータミラーリングを用いたクラスタデータベース
WO1997045790A1 (en) Method and apparatus for independent and simultaneous access to a common data set
JP2008033829A (ja) バックアップシステム及びバックアップ方法
JP2003099306A (ja) 計算機システムおよび計算機システムにおけるバックアップ方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060418

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070806

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070806

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070822

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees