JP2007102579A - 情報処理システム、情報処理システムの制御方法及びストレージ装置 - Google Patents

情報処理システム、情報処理システムの制御方法及びストレージ装置 Download PDF

Info

Publication number
JP2007102579A
JP2007102579A JP2005292842A JP2005292842A JP2007102579A JP 2007102579 A JP2007102579 A JP 2007102579A JP 2005292842 A JP2005292842 A JP 2005292842A JP 2005292842 A JP2005292842 A JP 2005292842A JP 2007102579 A JP2007102579 A JP 2007102579A
Authority
JP
Japan
Prior art keywords
volume
storage device
remote copy
copy
update information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005292842A
Other languages
English (en)
Other versions
JP5036158B2 (ja
Inventor
Akira Deguchi
彰 出口
Takanari Iwamura
卓成 岩村
Yasutomo Yamamoto
康友 山本
Tetsuya Maruyama
哲也 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005292842A priority Critical patent/JP5036158B2/ja
Priority to US11/283,777 priority patent/US7529950B2/en
Priority to EP06251820A priority patent/EP1783595A3/en
Publication of JP2007102579A publication Critical patent/JP2007102579A/ja
Application granted granted Critical
Publication of JP5036158B2 publication Critical patent/JP5036158B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074Asynchronous techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3268Power saving in hard disk drive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0616Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625Power saving in storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0634Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Power Sources (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 リモートコピー機能がデータコピー状況(副ボリュームへのデータコピー停止中、差分コピー中など)にあわせて、リモートコピーペアの副ボリュームを構成するHDDの電源制御を行う。これによって、HDDの長寿命化、ストレージ装置の低電力化を図る。
【解決手段】 情報処理装置と、第一のボリュームを備え、情報処理装置と接続される第一の記憶装置と、第二のボリュームを備え、第一の記憶装置と接続される第二の記憶装置とを有し、前記第二の記憶装置は、第一の記憶装置に対するリモートコピー処理と連携して前記第二のボリュームに関する電源制御を行うことによって、リモートコピーと電源制御を効率よく実施する。
【選択図】 図1

Description

本発明は、ストレージ装置を備えた情報処理システム及びストレージ装置を備えた情報処理システムの制御方法に関わり、特にディスク装置(以後、HDDと呼ぶ)の稼動期間の延長と、ストレージ装置の消費電力低減を実現するための技術に関する。
現在、企業情報システムのデータを長期保存するというニーズが拡大してきている。その背景として、法規制によって、金融、医療、製薬など分野においては、取引データ、医療データなどの長期保存が義務付けられてきているということがある。
従来の長期データ保存メディアとしてテープがある。しかし、テープは、湿気やほこりなどの影響を受けやすいなどのことから、HDDなどに比較して管理が大変である。さらに、テープに格納されるデータをソフトウェアが利用可能な状態にするまでの時間もHDDに比較して長時間を要するというデメリットが知られている。
特に最近では、HDDのビットコストの低下などから、データの長期保存用のストレージ装置にHDDを使用するケースも多く見られる。この場合、大きな課題となるのが、HDDの長寿命化とストレージ装置の低電力化である。
特許文献1に記載されている技術では、ストレージ装置の低電力化を目的として、ホストコンピュータからのアクセスがなくなってから予め設定された時間経過後、HDDの電源の停止、または、節電モードへの移行を行う。
次に、ストレージ装置のある記憶領域(コピー元記憶領域)に格納されているデータを、コピー元記憶領域とは異なる記憶領域(コピー先記憶領域)にコピーする技術がある。これは、コピー元記憶領域に書き込まれるデータを、コピー元記憶領域とコピー先記憶領域に2重書きする技術である(以後、リモートコピーと呼ぶ)。
特許文献2には、コピー元記憶領域に書き込まれるデータを、非同期にコピー先記憶領域に書き込む技術が開示されている。
特開2000−293314号公報 特開平11−85408号公報
データの長期保存用のストレージ装置へのデータコピーには、リモートコピーなどが利用される可能性が高い。しかし、特許文献1と特許文献2に記載の技術では、リモートコピー実施中の電源制御の技術は開示されていない。本発明では、リモートコピー行いつつも効率良く電源制御を実施する方法を提供することを目的とする。
本発明は、情報処理装置と、第一のボリュームを備え、前記情報処理装置と接続される第一の記憶装置と、第二のボリュームを備え、前記第一の記憶装置と接続される第二の記憶装置と、前記第一のボリュームから前記第二のボリュームへのリモートコピーを実施する情報処理システムにおいて、前記第一の記憶装置に対するリモートコピー処理と連携して前記第二のボリュームに関する電力制御を行うことを特徴とする。
本発明では、リモートコピー部が、HDDの電源のON/OFFを制御することにより、リモートコピー部のコピー先記憶領域へのデータコピー状況(コピー先記憶領域へのデータコピー停止中、初期化コピー中など)にあわせてHDDの電源を制御することができる。よって、従来技術に比較して、HDDの長寿命化、ストレージ装置の低電力化を図ることができる。
以下、本発明の実施形態を説明する。以下に説明する実施形態は一例であって、本発明の実施形態はこれに限定されるものではない。
図1は、本発明の実施例1に係る情報処理システムのシステム構成の一例を示した図である。図1において、計算機200と正ストレージ装置1000は、ネットワーク250を介して接続されている。これによって、計算機200は、正ストレージ装置1000にライト/リードの要求を行うことができる。さらに、正ストレージ装置1000と副ストレージ装置2000はネットワーク260を介して接続されている。これによって、正ストレージ装置1000に格納されるデータを副ストレージ装置2000にコピーすることができる。ネットワーク250、および、ネットワーク260は、ネットワーク障害に対応するために複数本であってもよい。
計算機200は、メモリ部220、CPU230、インタフェース210(以後、I/Fと呼ぶ)を有する。CPU230とメモリ部220、I/F210は装置内ネットワーク240によって接続されている。メモリ部220には、OS(Operating System)、ミドルウェア、アプリケーション部221、管理部222等のソフトウェアが記録されており、CPU230がこれを実行する。なお、管理部222は、計算機200から正ストレージ装置1000へ各種設定を行うためのソフトウェアである。
I/F210は、正ストレージ装置1000に対してデータのライトやリードといったI/O処理(以下、単にI/O要求と呼ぶ)を要求するためのインタフェースである。I/F210は、正ストレージ装置1000とネットワーク250を介して接続されている。なお、ネットワーク250としてはファイバーチャネルやATM、イーサーネット等が考えられるが、計算機200と正ストレージ装置1000の間でI/O要求及びその応答を送受信できる媒体であればこれ以外であってもよい。
図4は計算機200から正ストレージ装置1000に発行されるライト要求300の一例を示す図である。計算機200から発行されるライト要求300には、ライトデータ310、ライト対象ボリュームの識別情報であるライト対象ボリュームID330、当該ライト対象ボリューム内におけるライト位置を示すライトアドレス320、ライトデータ310のデータ長340が格納される。
図2には、正ストレージ装置1000の構成の一例を示している。そして、図3には、副ストレージ装置2000の構成の一例を示している。正ストレージ装置1000と副ストレージ装置2000の構成要素/各部の多くは同一であるため、同一の構成要素/各部をまとめてストレージ装置1000、2000の構成要素/各部として説明する。本実施形態では、正ストレージ装置1000から副ストレージ装置2000へのリモートコピーを行う場合を考える。すなわち、正ストレージ装置1000はリモートコピーペアのコピー元ボリュームを有しており、副ストレージ装置2000はコピー先ボリュームを有している。
ストレージ装置1000,2000は、大きく分けてメモリ部1020、CPU1030、キャッシュ1040、1つ以上のHDD(Hard Disk Drive)1060、ディスク制御モジュール1100、I/F1130、電源1150から構成されている。そして、CPU1030とI/F1130、キャッシュ1040、メモリ部1020、ディスク制御モジュール1100は装置内ネットワーク1050で接続されている。さらに、HDD1060とディスク制御モジュール1100も装置内ネットワーク1050で接続されている。
そして、電源1150とメモリ部1020、キャッシュ1040、HDD1060は、電源線1160で接続されている。電源1150は、メモリ部1020、キャッシュ1040、HDD1060へ電源線1160を使用して、電源を供給している。
キャッシュ1040は、HDD1060に格納される使用頻度の高いデータなどを格納することにより、すべてのデータをHDDに格納する場合に比べて、計算機200からのリードやライトなどの処理を高速化するために利用する。I/F1130は、正ストレージ装置1000と副ストレージ装置2000との間でデータの送受信や制御メッセージの送受信のためのインタフェースである。また、ストレージ装置1000、2000は複数個のI/F1130を有していてもよい。
HDD1060には、計算機200によって実行されるソフトウェアが利用するデータを格納している。また、ディスク制御モジュール1100に全てのHDD1060が接続されている。1つ以上のHDD1060を、パリティグループ1120という単位でまとめてRAID(Redundant Arrays of Inexpensive Disks)のような方法で高信頼化してもよい。1つ以上のHDD1060からなるパリティグループ1120を1つ以上の論理的な領域に分けて、それぞれを論理的な記憶デバイスとして扱ってもよい。論理的な記憶デバイスをボリューム1070と呼ぶ。
正ストレージ装置1000特有の構成要素、メモリ部1020内に有する各部および、制御情報に関して述べる。正ストレージ装置1000は、上記のストレージ装置1000、2000共通の構成要素に加えて、I/F1010を有する。I/F1010は、CPU1030とネットワーク1050によって接続されている。I/F1010は、計算機200から正ストレージ装置1000に対して発行される、ライトやリードといったI/O要求を受け付けるためのインタフェースである。また、ストレージ装置1000は、複数個のI/F1010を有していてもよい。
メモリ部1020は、大きく分けて制御部1080と制御情報部1090から構成される。正ストレージ装置1000の制御部1080は計算機200からライト要求300を受信して、これを処理するライトデータ受領部1801と、リモートコピーを実行するためのリモートコピー部1082を有する。なお、制御部1080が有する各部は、メモリ部1020に格納されているプログラムであり、正ストレージ装置1000のCPU1030によって実行される。しかし、これらプログラムの一部または全てをハードウェアによって実行してもよい。
正ストレージ装置1000の制御情報部1090は、ペア情報テーブル1091、ボリューム管理表500、パリティグループ表510、ボリューム構成情報1092、差分管理表1093、更新情報記憶部1094、SEQ#情報1095を有する。更新情報記憶部1094には後述の更新情報1300が記憶される。
なお、制御情報部1094に含まれる各種情報は、後述するボリューム1070に格納してもよい。なお、正ストレージ装置1000と副ストレージ装置2000の更新情報記憶部1094は、キャッシュ1040の一部または全てを用いて実現することが考えられるが、これ以外にもパリティグループ1120やボリューム1070の一部または全ての領域を併用してもよい。
副ストレージ装置2000特有の構成要素、メモリ部1020内に有する各部および、制御情報に関して述べる。副ストレージ装置2000は、上述したストレージ装置1000、2000共通の構成要素に加えて、電源制御モジュール1140を有する。電源制御モジュール1140は、制御部とHDD1060と装置内ネットワーク1050によって接続されている。電源制御モジュール1140は、後述する電源操作部1083からの指示により、HDD1060の電源のON/OFFを切り替えるためのモジュールである。
なお、明細書中では、あるパリティグループ1120に属する全てのHDD1060の電源をONすることを、単に「パリティグループ1120を起動する」と表現する。さらに、パリティグループ1120に属する全てのHDD1060の電源をOFFすることを、単に「パリティグループ1120を停止する」と表現する。さらに、「HDD1060の電源のOFF」とは、HDD1060が消費電力を抑える動作状態に遷移することであり、例えば、HDD1060内部のプラッタの回転を停止したり、HDD1060内部のコントローラーの消費電力を削減したり、実際にHDD1060の電源供給を停止することが考えられる。また、「HDD1060の電源のON」とはHDD1060が消費電力を抑えた状態から通常通りにライト/リード要求を処理できるような動作状態に復帰することである。
メモリ部1020は、大きく分けて制御部1080と制御情報部1090から構成される。副ストレージ装置2000の制御部1080は、ライトデータ受領部1801、リモートコピー部1082を有しており、これらは、正ストレージ装置1000が有する各部と同一である。副ストレージ装置2000の制御部1080は、さらに電源操作部1083とコピー電源連携部1084を有している。
副ストレージ装置2000の制御情報部1090は、ペア情報テーブル1091、ボリューム管理表500、パリティグループ表510、更新情報記憶部1094を有しており、これらは、正ストレージ装置1000のものと同一である。副ストレージ装置2000の制御情報部1090は、さらに目標電力量1097と更新情報量閾値1098を有している。
目標電力量1097について説明する。本発明の実施形態では、リモートコピーペアの差分コピーを行う際に、副ストレージ装置2000で、一度に起動するパリティグループ1120を一定数に制限することで、低電力化を図る。本実施形態では、目標電力量1097の値を超えないように起動するパリティグループ1120の数を制御する。なお、目標電力量1097は、管理者が管理部222などを介して、副ストレージ装置2000に設定しておくものとする。
更新情報量閾値1098について説明する。本発明の実施形態では、更新情報記憶部1094に正ストレージ装置1000から転送される更新情報1300を一定量滞留させておき、更新情報量閾値1098を超えた場合に、更新情報1300中のライトデータを副ストレージ装置2000のコピー先ボリュームへ書き込むように制御する。詳細は、本発明の実施形態の詳細を説明するときに説明する。
なお、副ストレージ装置2000が有する電源制御モジュール1140、電源操作部1083、コピー電源連携部1084、目標電力量1097、および、更新情報量閾値1098は、正ストレージ装置1000も有してよい。さらに、副ストレージ装置2000も、差分管理表1093、SEQ#情報1095を有してもよい。それらを有している場合には、副ストレージ装置2000から、正ストレージ装置1000へのリモートコピーを行うことも可能である。
リモートコピーは、任意のボリューム間で形成することができる。そして、本発明の実施形態はリモートコピーのコピー先ボリュームを構成するHDD1060の電源を制御する。そのため、ここで、ボリュームとHDD1060の関係を説明する。まず、前述したように複数個のHDD1060を、パリティグループ1120という単位でまとめており、この関係を管理するのがパリティグループ表510である。
次に、パリティグループ1120を1つ以上の論理的な領域であるボリューム1070に分けて利用しており、この関係を管理するのがボリューム管理表500である。図6には、パリティグループ表510の一例を示している。
パリティグループ表510は、属性としてパリティグループID、HDD−ID、RAIDレベル、電源状態、使用電力量を持つ。パリティグループIDは、パリティグループ1120に対して割り当てられ、当該パリティグループ1120を一意に識別可能な情報である。HDD−IDは、パリティグループIDによって示されるパリティグループ1120に属するHDD1060の識別子を示している。なお、HDD−IDの値は、ある1つのストレージ装置1000、2000において、HDD1060を一意に識別可能な識別情報である。
図6の例では、パリティグループ「1」にHDD−IDが「0」のHDD1060とHDD−IDが「1」のHDD1060が属していることを示している。RAIDレベルは、パリティグループ1120に属するHDD1060が構成しているRAIDのレベルを示している。電源状態は、パリティグループ1120に属するHDD1060の電源がONであるかOFFであるかを示している。使用電力量は、パリティグループ1120に属する全てのHDD1060の電源をONにした場合に必要となる電力量を示している。
図5には、ボリューム管理表500の一例を示している。ボリューム管理表500は、属性としてボリュームID、容量、パリティグループID、MAIDフラグ、電源停止可能フラグを持つ。ボリュームIDは、ボリューム1070に対して割り当てられ、当該ボリュームを一意に識別可能な識別情報である。容量は、ボリュームIDによって示されるボリューム1070に格納可能なデータ量を示している。
パリティグループIDは、ボリュームIDによって示されるボリューム1070が属するパリティグループ1120のIDである。MAIDフラグは、ボリュームIDによって示されるボリューム1070が属するパリティグループ1120内のHDD1060に対する電源のON/OFFをストレージ装置1000、2000が制御可能であるか否かを示している。MAIDフラグの値が「true」の場合は、ストレージ装置1000、2000はHDD1060の電源のON/OFFを制御可能であることを示している。MIADフラグの値が「false」の場合は、ストレージ装置1000、2000はHDD1060の電源のON/OFFを制御不能であることを示している。
次に、1つのパリティグループ1120には、1つ以上のボリューム1070が属することができる。図5の例では、パリティグループ1にボリューム1とボリューム2が属している。このため、ボリューム1にとっては、パリティグループ1120を停止可能な状態にあり、ボリューム2にとっては、パリティグループ1120内のHDD1060へアクセスしているなどの理由から停止不可能な状態にあるという場合がある。
よって、本実施形態では、ボリューム1070がパリティグループ1120を利用するときには、電源停止可能フラグを「false」にすることで、パリティグループ1120を利用していることを宣言する。そして、電源停止可能フラグを「true」にすることで、パリティグループ1120を利用していないことを宣言する。
そして、本実施形態では、同一パリティグループ1120に属する全てのボリュームの電源停止可能フラグを参照して、全てが「true」の場合にパリティグループ1120内の全てのHDD1060の電源をOFFするように制御する。
さらに、電源停止可能フラグの少なくとも1つ以上が「false」である場合には、パリティグループ1120内の全てのHDD1060の電源をOFFしないように制御する。
なお、MAIDフラグが「false」の場合には、ボリューム1070を構成するHDD1060の電源制御は不可能である。よってその場合の電源停止可能フラグは常に「false」とする。
レコード501は、1つのボリューム1070に関するボリュームID、容量、パリティグループID、MAIDフラグ、電源停止可能フラグから成る情報である。本発明の実施形態では、以上の情報によってHDD1120からボリューム1070を設定し、計算機200へ提供する。
では、リモートコピーの概要を述べる。図7には、リモートコピー部1082の構成の一例を示している。一般的には、リモートコピーには、同期リモートコピー、および、非同期リモートコピーがあるが、本実施例では非同期リモートコピーのみを例として説明する。よって、リモートコピー部1082は、非同期リモートコピー部120から成る。非同期リモートコピー120は、更新情報作成部121、データ転送部122、パージ部123、更新情報受領部124、リストア部125、ペア形成部126、サスペンド部127、リシンク部128、差分コピー部129を有する。なお、非同期リモートコピー部1082が有する各部の説明は後述する。ここでは、非同期リモートコピーの概要を述べる。
リモートコピーは、任意のボリューム間で形成することが可能である。以後の説明では、リモートコピーのコピー元となるボリューム1070を正ボリューム、コピー先となるボリューム1070を副ボリュームと呼ぶことにする。コピー元ボリュームを有するストレージ装置を正ストレージ装置、コピー先ボリュームを有するストレージ装置を副ストレージ装置と呼ぶことにする。さらに、コピー元ボリュームとコピー先ボリュームの組をリモートコピーペアと呼ぶ。
正ストレージ装置1000が、計算機200からライト要求300を受領したときに、ライト対象ボリュームを正ボリュームとするリモートコピーペアが存在する場合に、リモートコピー部1082を起動することでリモートコピーを実行する。ライト対象ボリュームを正ボリュームとするリモートコピーペアが存在するか否かの判定にはペア情報テーブル1091を使用する。
図8には、ペア情報テーブル1091の一例を示している。ペア情報テーブル1091は、属性として正ボリュームID、副ボリュームID、ペア状態、相手ストレージ装置ID、リモートコピータイプを有している。正ボリュームIDは、リモートコピーペアの正ボリュームに割り当てられ、正ストレージ装置1000内で当該ボリュームを一意に識別可能な識別情報である。副ボリュームIDは、リモートコピーの副ボリュームに割り当てられ、副ストレージ装置2000内で当該ボリュームを一意に識別可能な識別情報である。
ペア状態は、正ボリュームと副ボリュームに対して定義されているリモートコピーペアの状態を示している(Initial−Copying、Duplex、Duplex−pending、Suspendの状態があるが、これらは、後述する)。
相手ストレージ装置IDは、正ボリュームを有する正ストレージ装置1000においては、副ストレージ装置のIDであり、副ボリュームを有する副ストレージ装置2000においては、正ストレージ装置のIDである。リモートコピータイプは、正ボリュームIDと副ボリュームIDで示される2つのボリューム間で定義されているリモートコピーのタイプを示しており、同期または非同期のいずれかの値を取り得る。
レコード700は、1つのリモートコピーペアに関する正ボリュームID、副ボリュームID、ペア状態、相手ストレージ装置ID、リモートコピータイプからなる情報である。すなわち、ペア情報テーブル1091は、レコード700の集合である。
では、以降には、リモートコピーの使用方法を述べる。まず、ユーザは計算機200の管理部222などから、リモートコピーペアの形成指示を正ストレージ装置1000へ発行する。リモートコピーペアの形成指示を受領した正ストレージ装置1000は、正ボリュームと副ボリュームに格納されているデータを同一にするために、正ボリュームに格納されている全てのデータを副ストレージ装置へコピーする(初期化コピー)。
さらに、リモートコピーペアの形成指示を受領した正ストレージ装置は、ペア情報テーブル1091へ正ボリュームID、副ボリュームID、ペア状態、相手ストレージ装置ID、リモートコピータイプからなるレコード700を追加する。これにより、以降、正ストレージ装置1000が計算機200から新たに形成したリモートコピーペアの正ボリュームに対するライト要求300を受領した場合には、リモートコピー部1082が起動されるようになる。つまり、ライト要求300のライトデータ310を非同期に副ボリュームへ転送することで、正ボリュームと副ボリュームに格納されるデータを同一に保つことができる。なお、リモートコピーペアの形成指示を受領し、初期化コピーが完了するまでのペア状態のことをInitial−Copying状態と呼ぶ。
初期化コピーが完了すると、リモートコピーペアのペア状態は、Duplex状態となる。正ストレージ装置1000が、計算機200からDuplex状態であるリモートコピーペアの正ボリュームに対するライト要求300を受領したときには、非同期リモートコピー部120が、ライト要求300を受領したタイミングとは非同期に副ストレージ装置2000の副ボリュームにもライトデータ310を書き込む。
Duplex状態とは、正ストレージ装置1000から副ストレージ装置2000へ転送中、および、未転送データを除いて正ボリュームの内容と副ボリュームの内容が同一である状態のことである。ただし、例えば、ボリューム毎に一意な識別子が、ボリュームに格納される場合等では、この様な識別子が保存されているボリューム内の特定の領域について、正ボリュームと副ボリュームのデータの内容が同一でない場合があっても良いものとする。なお、このような同一性のことを以後の説明では、同期状態と呼ぶことにする。
以下に、正ストレージ装置1000から副ストレージ装置2000へ、ライト要求300とは非同期にライトデータ310を書き込む方法を概説する。非同期リモートコピー部120が実行する正ボリュームから副ボリュームへのデータのコピー方法としては、(1)正ストレージ装置1000は、ライト要求300を受領する度に、ライト要求中のライトデータ310、ライトアドレス320などを含む更新情報1300を作成し、計算機200へライト完了を報告する。(2)正ストレージ装置1000は、計算機200へのライト完了の報告とは、独立したタイミングで、更新情報1300を副ストレージ装置2000に転送する。(3)副ストレージ装置2000は、正ストレージ装置1000から受領した更新情報1300に含まれているライトアドレス320に基づいて副ボリュームにライトデータ310を書き込む。この様な方法が考えられる。
さらに、本実施形態では、この発展形として、正ストレージ装置1000がライト要求300を受領した順序情報(後述のSEQ#情報1095のこと)を、更新情報1300に付与する。さらに、副ストレージ装置2000では、当該順序情報を利用して、正ストレージ装置1000がライト要求300を受領した順序に従って、ライトデータ310を副ボリュームへ書き込む。
すなわち、本実施形態における非同期リモートコピーでは、正ストレージ装置1000には、副ストレージ装置2000に未転送の更新情報1300が更新情報記憶部1094に滞留している。さらに、副ストレージ装置2000においても、更新情報1300は、一旦副ストレージ装置2000の更新情報記憶部に1094格納され、その後、更新情報1300内のライトデータが副ボリュームに書き込まれる。
また、非同期リモートコピー部120をより効率化するために、正ボリューム内の同一アドレスに対して、ある期間内にライト要求300が複数回発行された場合には、全てのライト要求300について更新情報1300を副ストレージ装置2000に送信するのではなく、当該期間内に発行された最後のライト要求300に対する更新情報1300のみを副ストレージ装置2000に送信するとしても良い。
また、ストレージ装置1000、2000がキャッシュ1040を有する場合には、ライトデータ310が格納されている正ストレージ装置1000のキャッシュ1040上の記憶領域を示すポインタを、更新情報1300に付与しておき、キャッシュ1040上のライトデータ310が別のライト要求300によって更新されるのを契機に、キャッシュ1040から更新情報記憶部1094へライトデータ310をコピーして更新情報1300にライトデータ310を付与しても良い。即ち、正ストレージ装置1000のキャッシュ1040上でライトデータ310の更新が起こる直前まで、更新情報1300作成のためのデータのコピーを遅延させてもよい。これにより、更新情報1300のライトデータと、キャッシュ上のライトデータを共有することができる。
次に、計算機200からリモートコピーペアのサスペンド指示を正ストレージ装置へ発行することができる。これは、正ボリュームから副ボリュームへのデータ転送を一旦停止するための指示である。このように、正ボリュームから副ボリュームへのデータ転送を一旦停止し、正ボリュームと副ボリュームの同一性が保証されなくなったリモートコピーペアのペア状態のことをSuspend状態と呼ぶ。
正ストレージ装置がSuspend状態であるリモートコピーペアの正ボリュームに対するライト要求300を受領したときには、ライト要求300中のライトアドレス320を差分管理表1093に記録してもよい。すなわち、正ボリュームと副ボリュームで異なるデータが格納されているアドレスを記録する。この差分管理表1093を利用することで、正ボリュームと副ボリュームを再び同期状態にする場合には、正ボリュームと副ボリュームの間で格納されているデータが異なる領域についてのみコピーすることが可能となる(差分コピーと呼ぶ)。
計算機200から、Suspend状態のリモートコピーペアの正ボリュームと副ボリュームを再び同期状態とするためのリシンク指示を発行することができる。これは、先に述べたように差分コピーによって実現することができる。リモートコピーペアのリシンク指示を受領し、差分コピーが完了するまでのペア状態のことをDuplex−Pending状態と呼ぶ。また、差分コピーが完了し、正ボリュームと副ボリューム間に格納されているデータ内容が同期状態となった後に、ペア状態はDuplex状態となる。
なお、以上の説明ではInitial−Copying状態とDuplex−Pending状態は別々な状態としたが、これらをまとめて1つの状態として表示、遷移させても良い。本実施形態中では、Initial−Copying状態とDuplex−Pending状態をまとめて、Duplex−Pending状態として扱う。さらには、本実施形態では、Initial−Copying状態に実行する初期化コピーとDuplex−Pending状態に実行する差分コピーもまとめて、差分コピーとして扱う。すなわち、初期化コピーは正ボリュームの全てのアドレスが差分管理表1093に記録されているものとして扱う。
では、次に、計算機200からSuspend状態であるリモートコピーペアの正ボリューム対するライト要求300を受領したときに、当該ライト要求300のライトアドレス320を記録する差分管理表1093の説明を行う。図9には、差分管理表1093の一例を示している。
まず、ボリュームアドレスは、ボリュームの全領域を一定サイズの小領域に分割して、小領域の先頭から順に付与する番号のことである。差分ビットは、Suspend状態のときなどに、ボリュームアドレスによって示される小領域が計算機200によって更新されたか否かを示している。差分ビットの値が「on」のときは更新されたことを示し、差分ビットの値が「off」のときは更新されていないことを示す。ボリュームアドレスと当該アドレスに対する差分ビットの組をレコード800とする。差分管理表1093は、レコード800の集合から成る。
なお、ある1つの差分管理表1093に関して、差分ビットが「on」であるレコード800が1つ以上ある場合に、差分が記録さていると表現する。さらに、ある1つの差分管理表1093に関して、全てのレコード800の差分ビットが「off」である場合に、差分が記録されていないと表現する。また、差分管理表1093のレコード800の差分ビットを「on」に変更することを、その差分管理表1093に差分を記録すると表現する。
最後に、コピー済みボリュームアドレスは、差分コピーがコピー完了済み領域と未完了領域を区別するために利用する。図9に示すコピー済みボリュームアドレスは、ボリュームアドレス「0」と「1」に関しては差分コピーが完了しており、ボリュームアドレス「2」をコピー中であり、ボリュームアドレス「3」以降は差分コピーが未完了である状態を示している。なお、差分管理表1093を利用して差分コピーを実行する差分コピー部129の詳細は後述する。
本発明の実施形態の概要を述べる。第1の本発明の実施形態(リモートコピーのサスペンド指示と連携した電源制御)の特徴を図10に示している。リモートコピーの概要説明で述べたように、リモートコピーのペア状態がSuspend状態になった場合には、正ボリューム対するライト要求300に含まれるライトデータ310は、副ボリュームに書き込まれない。さらに、副ストレージ装置2000がデータ長期保存用のストレージ装置である場合には、副ストレージ装置2000に計算機が接続されていない構成もあるため、Suspend状態になった直後の副ボリュームを使用するケースは少ないと考えられる。図10に示す発明の特徴はこうした背景を利用して電源制御を効率よく行うものである。
まず、正ストレージ装置1000が計算機200からリモートコピーペアに対するサスペンド要求を受領する。図10の例は、パリティグループ1に属している3つのリモートコピーペアのサスペンドを行う場合を示している。サスペンド要求を受領すると、正ストレージ装置1000のリモートコピー部1082は、正ストレージ装置1000から副ストレージ装置2000への更新情報1300の転送をやめる。この段階で、副ストレージ装置2000に新たな更新情報1300は到着しなくなる。次に、副ストレージ装置2000のリモートコピー部1082は、副ストレージ装置2000に滞留する更新情報1300のライトデータを全て副ボリュームに書き込んだ後、副ボリュームが属しているパリティグループ1内のHDD1060の電源をOFFする。
図10下側には、このときのパリティグループ表510の内容を示しており、サスペンドしたリモートコピーペアの副ボリュームが属しているパリティグループ1の電源状態はOFFとなる。また、パリティグループ2に属している3つのリモートコピーペアは、正ボリュームから副ボリュームへのデータコピーを継続しているため、パリティグループ2の電源状態はONのままである。
このように、リモートコピーペアをサスペンドする操作にあわせてHDD1060の電源を制御することで、以降、I/Oが発生しないことを副ストレージ装置2000が認識した直後に副ボリュームを構成するHDD1060の電源をOFFすることができ、従来技術に比較して、さらなるHDD1060の長寿命化、ストレージ装置2000の低電力化を実現できる。
次に、第2の本発明の実施形態(ストレージ装置間のネットワーク帯域を考慮した電源制御)の特徴を説明する。一般的には、正ストレージ装置1000と副ストレージ装置2000の間のネットワーク260の転送帯域幅は、正ストレージ装置1000または副ストレージ装置2000が有する全てのHDD1060の転送帯域幅の合計よりも小さな値となる。以下に説明する特徴では、こうした傾向を利用して、形成コピーまたは差分コピー中のONするHDD1060の数を削減する。
図11は正ストレージ装置1000と副ストレージ装置2000の間のネットワーク帯域が100Mbps(bit per second)であり、正ストレージ装置1000のパリティグループ1のリード性能、および、副ストレージ装置2000のパリティグループ1へのライト性能が共に100Mbpsである場合のシステム状態を示している。また、パリティグループ1120を構成するHDD1060の転送帯域幅が100Mbps以上であるため、1つのパリティグループ間のデータコピーでネットワーク260を充足することができるものとする。
第2の本発明の実施形態の特徴によれば、副ストレージ装置2000では、まず、パリティグループ1のみ起動して、パリティグループ1に副ボリュームが属しているリモートコピーペアの差分コピーを実施する。差分コピーが完了すると、パリティグループ1を停止し、差分コピーが未完了のリモートコピーペアの副ボリュームが属しているパリティグループ2を起動する。そして、パリティグループ2に副ボリュームが属しているリモートコピーペアの差分コピーを実施する。
図11下側には、パリティグループ1に副ボリュームが属しているリモートコピーの差分コピーを実施しているときの、パリティグループ表510の内容を示している。パリティグループ1の電源状態はONであるが、差分コピーを実施していないパリティグループ2の電源状態はOFFである。
最後に、図12を用いて第3の本発明の実施形態(非同期リモートコピーの処理特性を利用した電源制御)の特徴を説明する。非同期リモートコピーでは、正ストレージ装置1000は、計算機200からライト要求300を受領したときに、計算機200に完了メッセージを返し、その後、副ストレージ装置2000へライトデータ310を転送する。そのため、正ストレージ装置1000や副ストレージ装置2000の更新情報記憶部1094に、計算機200が正ストレージ装置1000へ発行したライトデータ310を含む更新情報1300を蓄積することができる。本特徴ではこうした特性を利用して電源制御を行う。
本特徴を実現するためには、まず、リモートコピーの処理を実行し、正ストレージ装置1000と副ストレージ装置2000の更新情報記憶部1094にライトデータ310を含む更新情報1300を、意図的に蓄積させる。すなわち、副ボリュームに対するライトデータ310の書き込みは、一定時間または、一定量のライトデータ310が蓄積するまで待つ。そして、ライトデータ310の書き込みを停止させている間は副ボリュームが含まれるパリティグループ1120の電源をOFFすることで、消費電力の削減を図る。本特徴は特に、更新情報記憶部1094の一部領域としてパリティグループ1120の全てまたは一部を利用可能である場合、特に有効な消費電力削減方法となる。
まず、以降の説明で利用する、SEQ#情報1095、更新情報1300に関して説明する。図13には、更新情報作成部121、差分コピー部129、サスペンド部127が、更新情報1300を作成するときに割り当てる数値(SEQ#)を管理しているSEQ#情報1095の一例を示している。SEQ#は、正ストレージ装置1000が計算機200から受領するライト要求300の順序と、副ストレージ装置2000で、ライトデータ310を副ボリュームに書き込む順序を同一にするために利用する。
図14には、非同期リモートコピーを行う際に、正ストレージ装置1000から副ストレージ装置2000へ転送する更新情報1300の一例を示す。更新情報1300は、SEQ#、ライトデータ、副ボリュームID、ライトアドレス、データ長、副ストレージ装置ID、サスペンドフラグ、コピー完了フラグを有する。
更新情報1300は、計算機200から正ストレージ装置1000に書き込まれるライトデータ310を副ストレージ装置へ転送するために使用する。
更新情報1300に格納する値を以下に示す。ライトデータ、ライトアドレス、データ長には、正ストレージ装置1000が計算機200から受領するライト要求300に格納されている情報を格納する。副ボリュームID、副ストレージ装置IDは更新情報作成部121がペア情報テーブル1091から取得した値を格納する。
これによって、副ストレージ装置2000にもライトデータを書き込むことができる。また、SEQ#は、上述したSEQ#情報1095から取得した値を格納する。サスペンドフラグ、コピー完了フラグは、サスペンド処理、リシンク処理で利用するためのものであり、後述する。
リモートコピー部1082が実行する処理は、リモートコピーペアのペア状態によって異なるが、どの状態においても計算機からライト要求300を受領することができる。以降には、(1)リモートコピーペアのペア状態がDuplexである場合のライト要求300の処理、(2)リモートコピーペアをサスペンドする処理、および、ペア状態がSuspend状態である場合のライト要求300の処理、(3)リモートコピーペアをリシンクする処理、および、Duplex−Pending状態である場合のライト要求の処理の順で説明していく。
(1)リモートコピーペアのペア状態がDuplex状態である場合のライト要求の処理
ペア状態がDuplex状態であるリモートコピーペアの正ボリュームに対して発行されるライト要求300のライトデータは、ライト要求300を受領するタイミングとは、非同期に副ストレージ装置2000の副ボリュームにも書き込む。これは、正ストレージ装置1000のライトデータ受領部1081、更新情報作成部121、データ転送部122、パージ部123、副ストレージ装置2000の更新情報受領部124、リストア部125の連携によって実現される。
図15には、ライトデータ受領部1081の処理の一例を示している。なお、本処理を行う前に、後ほど説明する差分コピーによって、正ボリュームのデータと副ボリュームのデータは一致しているものとする。ライトデータ受領部1081は計算機200から、ライト要求300を受領する(ステップ801)。このとき、図4に示すようにライト要求300としてライトデータ受領部1081は、ライトデータ310、ライト対象ボリュームID330、ライトアドレス320、データ長340を受け取る。
次に、ライトデータ受領部1081は、ライト対象ボリュームIDが示すボリューム1070を正ボリュームとするリモートコピーペアに関するレコード700を取得する(ステップ802)。具体的には、ライトデータ受領部1081は、ライト対象ボリュームID330をキーとしてペア情報テーブル1091を検索し、正ボリュームIDにライト対象ボリュームIDと同じIDが登録されているレコード700を探す。
続けて、ライトデータ受領部1081は、ライト対象ボリュームID330が示すボリューム1070を正ボリュームとした非同期リモートピーが定義されているかを調べる(ステップ803)。具体的には、ステップ802で得たレコード700のリモートコピータイプが「非同期」であるかどうかを調べる。なお、ステップ802でライト対象ボリュームID330が示すボリューム1070を正ボリュームとしたリモートコピーペアに関するレコード700が存在しなかった場合には、ステップ803の結果は「no」となる。
ステップ803の結果が「no」の場合、ライトデータ受領部1081はステップ804及び805をスキップして、ステップ806を実行する。
ステップ803の結果が「yes」の場合、ライトデータ受領部1081は、ライト要求300の内容とステップ803で調べたレコード700をパラメータとして、更新情報作成部121を呼び出す(ステップ804)。そして、ライトデータ受領部1081は、更新情報作成部121からの応答を待つ(ステップ805)。
ライトデータ受領部1081は、更新情報作成部121から応答を受けると、ライト要求300中のライトデータ310をライト対象ボリュームに書き込む(ステップ806)。なお、ボリューム1070への書き込みはストレージ装置内部のキャッシュ1040への書き込みで代替してもよい。
最後に、ライトデータ受領部1081は、ライトの要求元である計算機200へライト要求完了を報告する(ステップ807)。すなわち、計算機200は、この時点でライトデータ310の書き込みが完了したと認識する。
次に更新情報作成部121の処理について説明する。図16は更新情報作成部121の処理の一例を示す図である。更新情報作成部121は図15に示すライトデータ受領部1081のステップ804において、ライトデータ受領部1081によって起動される。
更新情報作成部121は、計算機200から正ストレージ装置1000が受領したライト要求300中のライトデータ310にSEQ#を割り当て、更新情報1300を作成する部である。
まず、更新情報作成部121は、パラメータとして渡されたレコード700のペア状態を調べる(ステップ1201)。
ここでは、リモートコピーペアは、Duplex状態であるとしたので、更新情報作成部121はステップ1202をスキップしてステップ1203以降の処理を実行する。
更新情報作成部121は、SEQ#情報1095から現在のSEQ#を得て、次の更新情報1300に付与するSEQ#の値を用意しておくために、SEQ#情報1095に記録されているSEQ#に1を加える(ステップ1203)。
次に、更新情報作成部121は、更新情報1300を作成し、更新情報記憶部1094へ格納する(ステップ1204)。
このとき、更新情報1300に格納する値に関して述べる。更新情報1300のSEQ#は、ステップ1203で得たSEQ#を格納する。ライトデータ、ライトアドレス、データ長は、ライト要求300のライトデータ310、ライトアドレス320、データ長340を格納する。そして、副ボリュームIDには、ライトデータ受領部1081から渡されるレコード700中の副ボリュームIDを格納し、副ストレージ装置IDには、ライトデータ受領部1081から渡されるレコード700中の相手ストレージ装置IDを格納する。最後に、サスペンドフラグ、コピー完了フラグは、共に「off」とする。最後に、更新情報作成部121はライトデータ受領部1081へ完了を報告する(ステップ1206)。
ここまでの処理によって、正ストレージ装置1000は、計算機200から受領したライト要求300に対して、受領した順番にシーケンシャルな番号を付与した更新情報1300を作成し、更新情報記憶部1094に格納できる。よって、以後の処理において、ライト要求300を受領したタイミングとは非同期に、更新情報記憶部1094に格納されている更新情報1300を副ストレージ装置2000へ転送し、副ボリュームにライトデータを書き込むことによって、非同期リモートコピーを実現することができる。
図17には、更新情報作成部121が、正ストレージ装置1000の更新情報記憶部1094に格納した更新情報1300を副ストレージ装置2000へ送信するデータ転送部122の処理の一例を示す。データ転送部122は、更新情報作成部121によって更新情報1300が正ストレージ装置1000の更新情報記憶部1094に格納されるまで待つ(ステップ1301)。
なお、データ転送部122は更新情報1300が更新情報記憶部1094に格納される度に以降の処理を実行するのではなく、ある容量以上の更新情報1300が更新情報記憶部1094に格納された時点で以降の処理を実行する等、更新情報1300が更新情報記憶部1094に格納されるタイミングとは異なるタイミングで以降の処理を実行してもよい。
次に、データ転送部122は、正ストレージ装置1000の更新情報記憶部1094から、1つまたは複数個の更新情報1300を読み出し(ステップ1302)、読み出した更新情報1300を副ストレージ装置2000へ送信する(ステップ1303)。そして、データ転送部122はステップ1301に戻り、上述の処理を繰り返す。
図18には、正ストレージ装置1000から更新情報1300を受領する副ストレージ装置2000の更新情報受領部124の処理の一例を示している。更新情報受領部124は、正ストレージ装置1000のデータ転送部122から更新情報1300を受け取る(ステップ1801)。そして、更新情報受領部124は、受け取った1つまたは複数の更新情報1300を、副ストレージ装置2000の更新情報記憶部1094へ格納し、処理を終了する(ステップ1802)。
図19は、副ストレージ装置2000の更新情報記憶部1094に格納されている更新情報1300の内容に基づき、ライトデータ310を副ボリュームへ書き込むリストア部125の処理の一例を示す図である。なお、図中には記載されていないが、リストア部はリストア済みSEQ#と呼ばれる、過去にリストアが完了した更新情報1300の最新のSEQ#を保持している。
リストア部125は、副ストレージ装置2000の更新情報記憶部1094から、1つまたは複数個の更新情報1300を読み出す(ステップ2301)。次に、リストア部125は、読み出した更新情報1300を更新情報1300が含むSEQ#を用いてソートし、さらに、リストア済みSEQ#から連続しているSEQ#のうち、最新の値を求め、それ以下のSEQ#を持つ更新情報1300を決定する(ステップ2302)。そして、ステップ2302で決定した更新情報1300を、ソートした順番に、副ボリュームに書き込み、リストア済みSEQ#をリストアが完了したSEQ#に更新する(ステップ2303)。
このようにして、正ストレージ装置1000が計算機200から受領したライト要求300の順序を保証しながら、ライトデータを副ボリュームに書き込むことが実現される。なお、高速化の一環として、ステップ2303の書き込み処理を並列に行っても良い。ただし、この場合は、ステップ2302で決定したSEQ#までの書き込みが全て終わるまで次の書き込みを禁止することと、必ず決められたSEQ#までは書き込みを終わるようにして、ライトの順序を守る。
リストア部125は、リストア済みSEQ#を正ストレージ装置1000のパージ部123へ通知する(ステップ2304)。最後に、リストア部125は、正ストレージ装置1000のパージ部123へ通知したSEQ#以下のSEQ#を持つ更新情報1300を副ストレージ装置2000の更新情報記憶部1094から削除する(ステップ2305)。そして、ステップ2301へ戻る。なお、更新情報1300の削除は実際にデータを削除しなくてもよく、制御情報の操作で仮想的に削除したものとできればよい。
なお、リストア部125は、ステップ2301からステップ2305の処理を、常に繰り返し実行しているとしたが、更新情報記憶部1094に更新情報1300が格納されていない場合には、処理を終了してもよい。さらに、リストア部125はリモートコピー部1052の他の部から必要に応じて起動されることも可能である。
図20は、副ストレージ装置2000のリストア部125から、SEQ#を受け取り、正ストレージ装置1000の更新情報記憶部1094から、不要となった更新情報1300を削除するパージ部123の処理の一例を示す図である。パージ部123は、副ストレージ装置2000のリストア部125からのメッセージを受ける(ステップ1901)。次に、パージ部123は、副ストレージ装置2000のリストア部125から受領したメッセージが含んでいるSEQ#以下のSEQ#を持つ更新情報1300を正ストレージ装置1000の更新情報記憶部1094から削除する(ステップ1902)。なお、更新情報1300の削除は実際にデータを削除しなくてもよく、制御情報の操作で仮想的に削除したものとできればよい。
以上のように、計算機200が正ストレージ装置1000の正ボリュームに書き込むライトデータ310を、ライト要求300とは非同期に副ストレージ装置2000に転送し、副ボリュームにSEQ#順に書き込むことによって、正ストレージ装置1000と副ストレージ装置2000の間で書き込み順序を保証した非同期リモートコピーを実現することができる。
(2)リモートコピーペアをサスペンドする処理、および、ペア状態がSuspend状態である場合のライト要求の処理
リモートコピーペアをサスペンド指示とは、リモートコピーペアの正ボリュームから、副ボリュームへのデータコピーを一旦停止するための指示であり、Suspend状態とはコピーが停止した状態を示す。このサスペンド指示は、計算機200から正ストレージ装置1000へ、正ボリュームID、副ボリュームID、正ストレージ装置ID、副ストレージ装置IDを指定して発行する。
図21には、計算機200からサスペンド指示を受領し、正ストレージ装置1000においてサスペンド処理を実行するサスペンド部127の処理の一例を示している。正ストレージ装置1000で、行う必要がある処理は以下である。
1)サスペンド対象のリモートコピーペアのペア状態をSuspend状態へと変更する。
2)正ストレージ装置1000の更新情報記憶部1094に蓄積した更新情報1300を全て転送し、転送が完了したことを副ストレージ装置2000へ知らせる。
3)Suspend状態となったリモートコピーペアの正ボリュームに対するライト要求300の処理を変更する。具体的には、ライトアドレス320の記録を開始するように変更する。
以下に、処理ステップを説明する。サスペンド部127は、計算機200からサスペンド指示を受領する(ステップ2001)と、ペア情報テーブル1091へアクセスして、サスペンド対象であるリモートコピーペアのペア状態をSuspend状態へと変更する(ステップ2002)。
この時点で、計算機200からサスペンド対象のリモートコピーペアの正ボリュームに対するライト要求300に対応する更新情報1300は、作成されなくなり、代わりにライト要求300のライトアドレス320が差分管理表1093に記録され始める。ライトアドレス320を差分管理表1093に記録する処理の詳細は後述する。
次に、サスペンド部127は、SEQ#情報1095から現在のSEQ#を得て、次の更新情報1300に付与するSEQ#の値を用意しておくために、SEQ#情報1095に記録されているSEQ#に1を加える(ステップ2003)。
最後に、サスペンド部127は、更新情報1300を作成して、更新情報記憶部1094に格納する(ステップ2004)。
ステップ2304で作成した更新情報1300は、当該更新情報1300が、正ストレージ装置1000に滞留する最後の更新情報1300であることを、副ストレージ装置2000へ知らせるための特殊な更新情報1300である。この更新情報1300を、更新情報(サスペンド)1300と表現する。他の更新情報1300と区別するために、更新情報1300中のサスペンドフラグの値を「on」とする。
更新情報1300に格納する値に関して述べる。SEQ#は、ステップ2003で得たSEQ#を格納し、ライトアドレス、ライトデータ、データ長には何も格納しない。副ボリュームID、および、副ストレージ装置IDは、サスペンド部127が計算機200からパラメータとして受け取る副ボリュームID、および、副ストレージ装置IDを格納する。コピー完了フラグは「off」とし、サスペンドフラグを「on」とする。
次に、サスペンド部127が、ステップ2002でペア状態をSuspend状態としたリモートコピーペアの正ボリュームに対する計算機200からのライト要求300の処理に関して説明する。計算機200が正ボリュームに対して発行した、ライト要求300は、ライトデータ受領部1081によってDuplex状態の場合と同様に処理され、図15のステップ804で更新情報作成部121が呼び出される。
図16に説明を移すと、更新情報作成部121の処理では、ステップ1201でリモートコピーペアのペア状態をチェックした結果、Suspend状態であると判定される。よって、更新情報作成部121は、ライト要求300に含まれるライトアドレス320と同一の値を持つレコード800を差分管理表1093から探し、当該レコード800の差分ビットを「on」へ変更する(ステップ1205)。そして、更新情報作成部121は、ライトデータ受領部1081へ完了メッセージを送り、処理を終了する(ステップ1206)。すなわち、更新情報1300を作成せず、代わりに、ライト要求300のライトアドレス320を差分管理表1093に記録する。
リモートコピーペアの正ボリュームと副ボリュームを、再び同期状態にするときには、差分管理表1093を利用して、正ボリュームと副ボリュームの間で格納されているデータが異なる領域についてのみコピーすることが可能となる(差分コピー)。
次に副ストレージ装置2000でのサスペンド処理を説明する。副ストレージ装置2000で行う必要がある処理は以下である。(1)サスペンド対象のリモートコピーペアのペア状態をSuspend状態へと変更する
図22には、更新情報(サスペンド)1300を検出し、リモートコピーペアのペア状態をSuspend状態へと変更するリストア部125の処理の一例を示している。リストア部125は、Duplex状態と同じく、更新情報記憶部1094から更新情報1300を取り出して副ボリュームに書き込む処理を行っているが、書き込みを行う時にあわせて更新情報(サスペンド)1300を書き込み対象としたかどうかを確認する。
もし、サスペンドフラグの値が「on」である更新情報(サスペンド)1300を見つけると(ステップ1501)、ペア情報テーブル1091へアクセスして、サスペンド対象となっているリモートコピーペアのペア状態をSuspend状態へ変更する(ステップ1502)。そして、正ストレージ装置1000の更新情報記憶部1094から不要となった更新情報1300を削除するために、更新情報(サスペンド)1300のSEQ#を、正ストレージ装置1000のパージ部123へ通知する(ステップ1503)。最後に、副ストレージ装置2000の更新情報記憶部1094からも、更新情報(サスペンド)1300が有するSEQ#以下のSEQ#を有する更新情報1300を削除する(ステップ1504)。
以上のように、正ストレージ装置1000のサスペンド部127と副ストレージ装置2000のリストア部125の連携によってリモートコピーペアのサスペンドは実現される。なお、上記説明では、更新情報(サスペンド)1300をペア状態の遷移のための通知情報と、サスペンド以前の更新情報1300の転送が完了したことを示す情報の両方の意味を持っていた。しかし、ペア状態遷移の通知情報は別な方法で副ストレージ装置2000に通知してもよい。
(3)リモートコピーペアをリシンクする処理、および、ペア状態がDuplx−Pending状態である場合のライト要求の処理
リモートコピーペアのリシンク指示とは、Suspend状態にあるリモートコピーペアの正ボリュームと副ボリュームに格納されているデータを、再び同期状態とするための指示である。このリシンク指示は、計算機200から正ストレージ装置1000へ、正ボリュームID、副ボリュームID、正ストレージ装置ID、副ストレージ装置IDを指定して発行する。
このリシンク指示を受けた後は、正ストレージ装置1000と副ストレージ装置2000は、計算機からのライト順序とは無関係な順序で差分管理表1093に記録されたアドレスに格納されているデータを正ボリュームから副ボリュームへコピーするため、副ボリュームのライト順序は維持されない。そのため、差分コピーが実行中の本状態をDuplex−Pending状態として計算機200に情報提供している。
図23には、計算機200からリシンク指示を受領し、正ストレージ装置1000においてリシンク処理を実行するリシンク部128の処理の一例を示している。正ストレージ装置1000で、行う必要がある処理は以下である。
(1)リシンク指示を受領すると、リシンク対象のリモートコピーペアのペア状態をDuplex−Pendingとし、リシンク動作が正しく開始したことを利用者に示す。
(2)差分管理表1093に記録されている情報を元に、正ボリュームと副ボリュームの間で格納されているデータが異なる領域についてのみデータをコピーする。
(3)Duplex−Pending状態となったリモートコピーペアの正ボリュームに対するライト要求の処理を変更する。具体的には、ライト要求300のライトアドレス320が、差分コピーが完了している領域の場合と、差分コピーが未完了の領域の場合とで異なる処理を実行する。詳細は後述する。
(4)差分コピーが完了すると、副ストレージ装置2000へ、差分コピー完了を通知し、リシンク対象のリモートコピーペアのペア状態をDuplex状態へと変更する。
以下に、処理ステップを説明する。リシンク部128は、計算機200からリシンク指示を受領する(ステップ2101)と、ペア情報テーブル1091へアクセスして、リシンク対象であるリモートコピーペアのペア状態をDuplex−Pending状態へと変更する(ステップ2102)。
次に、リシンク部128は、副ストレージ装置2000のペア状態テーブル1091のペア状態を変更するために、副ストレージ装置2000へリシンク指示を通知する(ステップ2103)。最後に、リシンク部128は、差分コピーを実行する差分コピー部129を呼び出し、処理を終了する。(ステップ2104)
では、次に、正ストレージ装置1000のリシンク部128のステップ2104から呼び出される差分コピー部129の処理を説明する。図26には、差分管理表1093を利用して差分コピーを実施する差分コピー部129の処理の一例を示している。
最初に、差分コピー部129は、差分管理表1093の先頭(ボリュームアドレス「0」を持つレコード800の位置)を示すようにコピー済みボリュームアドレスの値を「0」とする(ステップ1101)。次に、差分コピー部129は、コピー済みボリュームアドレスが示しているレコード800の差分ビットが、「on」であるか「off」であるかを調べる(ステップ1102)。
差分ビットの値が「on」の場合、レコード800のボリュームアドレスが示す領域に関して、正ボリュームと副ボリュームに格納されているデータが異なっている。差分コピー部129は、SEQ#情報1095から現在のSEQ#を取得して、SEQ#情報1095に格納されているSEQ#に1を加える(ステップ1103)。
そして、差分コピー部129は、レコード800のボリュームアドレスが示す領域に格納されているデータと、前ステップ1103で得たSEQ#を有する更新情報1300を作成し、更新情報記憶部に格納する(ステップ1104)。
次に、差分コピー部129は、現在コピー済みボリュームアドレスが示しているレコード800の差分ビットの値を「on」から「off」へ変更する(ステップ1105)。
差分ビットの値が「off」の場合には、レコード800のボリュームアドレスが示す領域に関して、正ボリュームと副ボリュームに格納されているデータは既に同一であるため、ステップ1103、1104、1105をスキップして、ステップ1106以降を実行する。
差分コピー部129は、コピー済みボリュームアドレスの示すアドレスが差分管理表1093の末尾であるかをチェックする(ステップ1106)。末尾でない場合には、差分コピー部129は、コピー済みボリュームアドレスに1を加え、ステップ1102へ戻る(ステップ1107)。ステップ1101から1107の処理によって、差分管理表1093のレコード800を全スキャンし、差分ビットが「on」となっているアドレスに格納されているデータを有する更新情報1300を作成することができる。よって、当該更新情報1300のライトデータを副ボリュームに書き込むことで、正ボリュームと副ボリュームに格納されるデータを同期状態にすることができる。
引き続き、ステップ1108以降の差分コピーの完了を副ストレージ装置2000に通知するための処理と、正ストレージ装置1000のペア情報テーブル1091を更新する処理について説明する。差分コピー部129は、正ストレージ装置1000のペア情報テーブル1091へアクセスし、差分コピーを行っているリモートコピーペアのペア状態を、Duplex状態へ変更する(ステップ1108)。次に、ステップ1103と同じく、差分コピー部129は、SEQ#情報1095から現在のSEQ#を取得して、次の更新情報1300に付与するSEQ#の値を用意しておくために、SEQ#情報1095に記録されているSEQ#に1を加える(ステップ1109)。
そして、差分コピー部129は、更新情報1300を作成し、作成した更新情報1300を正ストレージ装置1000の更新情報記憶部1094へ格納する(ステップ1110)。この更新情報1300は、差分コピーの完了を副ストレージ装置2000へ知らせるための特殊な更新情報1300である。この更新情報1300を、更新情報(コピー完了)1300と表現する。他の更新情報1300と区別するために、更新情報1300中のコピー完了フラグの値を「on」とする。
更新情報1300に格納する値に関して述べる。更新情報1300内のSEQ#は、ステップ1109で得た値を格納し、ライトアドレス、ライトデータ、データ長には何も格納しない。サスペンドフラグは「off」とする。コピー完了フラグは「on」とする。
次に、Duplex−Pending状態中のリモートコピーペアの正ボリュームに対する計算機200のライト要求300の処理に関して述べる。図15で示したとおり、計算機200が正ボリュームに対して発行したライト要求300は、ライトデータ受領部1081によってDuplex状態の場合と同様に処理され、ステップ804で更新情報作成部121が呼び出される。
次に、図16に説明を移すと、更新情報作成部121の処理では、ステップ1201でリモートコピーペアのペア状態をチェックした結果、Duplex−Pending状態であると判定される。
その場合、更新情報作成部121は、ライト要求300のライトアドレス320が示す領域が、差分コピーが既に完了しているか否かを判断する(ステップ1202)。ステップ1202の判定は、更新情報作成部121が、差分管理表1093のコピー済みボリュームアドレスとライト要求300のライトアドレス320を比較することにより実現できる。
ライト要求300のライトアドレス320が示す領域が、差分コピーが未完了の領域である場合には、更新情報作成部121はSuspend状態の場合と同様、ステップ1205及びステップ1206の処理を実行する。差分コピー未完了の領域である場合には、差分管理表1093に差分を記録しておけば、その後、差分コピー部129によって正ボリュームから副ボリュームへコピーされるためである。
一方、ライト要求300のライトアドレス320が示す領域が、差分コピーが既に完了している領域である場合には、更新情報作部121はステップ1203以降の処理を実行する。すなわち、更新情報作成部121が、更新情報1300を作成し、副ストレージ装置2000へライトデータ310を転送する。
次に副ストレージ装置2000での処理を説明する。副ストレージ装置2000で行う必要がある処理は以下である。
(1)正ストレージ装置1000から、リシンク指示の通知を受領して、リシンク対象のリモートコピーペアのペア状態をDuplex−Pendingへと変更する。
(2)正ストレージ装置1000から受領する更新情報1300のライトデータを副ボリュームに書き込む。
(3)差分コピー完了を検出して、リシンク対象のリモートコピーペアのペア状態をDuplexへと変更する。
図24には、正ストレージ装置1000のリシンク部128のステップ2103からリモートコピーペアのリシンク指示の通知を受領する副ストレージ装置2000のリシンク部128の処理の一例を示している。副ストレージ装置2000のリシンク部128は、正ストレージ装置1000からリシンク指示の通知を受領する(ステップ2201)。そして、副ストレージ装置2000のペア情報テーブル1091へアクセスして、リシンク対象であるリモートコピーペアのペア状態をDuplex−Pending状態へと変更する(ステップ2202)。
これにより、副ストレージ装置2000におけるリモートコピーペアのペア状態もDuplex−Pendingとなり、差分コピーが正しく開始されていることをユーザに示すことができる。
図25には、更新情報(コピー完了)1300を検出し、リモートコピーペアのペア状態をDuplex状態へと変更するリストア部125の処理の一例を示している。リストア部125は、コピー完了フラグの値が「on」である更新情報1300を見つけ(ステップ1601)、ペア情報テーブル1091へアクセスして、リシンク対象となっているリモートコピーペアのペア状態をDuplex状態へ変更する(ステップ1602)。以上のようにして、正ストレージ装置1000のリシンク部127、差分コピー部129、副ストレージ装置2000のリシンク部127の連携によってリモートコピーペアのリシンクは実現される。
最後に、電源操作部1083の処理の内容を述べておき、その後、本発明の実施形態の処理内容を述べる。図27には、電源操作部1083の処理の一例を説明する。これは、パラメータとしてボリュームIDと要求内容(電源ON、または、電源OFF)受領し、要求内容に応じてボリューム1070が属するパリティグループ1120を起動、停止する。
電源操作部1083は、電源操作要求を受ける(ステップ1401)。次に、電源操作部1083は、ボリューム管理表500を参照することで、パラメータとして受け取ったボリュームIDが示すボリュームが属しているパリティグループIDを得る(ステップ1402)。そして、電源操作部1083は、パラメータとして渡される要求内容をチェックすることで、電源ONの要求であるか、電源OFFの要求であるかを判定する(ステップ1403)。
電源ONの要求である場合には、電源操作部1083は、ボリューム管理表500へアクセスして、パラメータとして渡されるボリュームIDを持つレコード501を見つける。そして、当該レコード501の電源停止可能フラグを「false」へ変更する(ステップ1404)。これによって、ボリューム1070が、ステップ1402で決定したパリティグループ1120を利用中であることを宣言する。
次に、電源操作部1083は、パリティグループ表510へアクセスし、ステップ1402で決定したパリティグループ1120の電源状態を「ON」へと変更し、電源制御モジュール1140へ当該パリティグループ1120内の全HDD1060の電源をONにするように指示する(ステップ1405)。なお、既に電源状態がONである場合は、ステップ1405はスキップする。最後に、電源操作の要求元へ電源操作完了を報告する(ステップ1410)。
次に、電源OFFの場合を説明する。まず、電源操作部1083は、ボリューム管理表500へアクセスして、パラメータとして渡されるボリュームIDを持つレコード501を見つける。そして、当該レコード501の電源停止可能フラグを「true」へ変更する(ステップ1406)。これによって、ボリューム1070にとっては、当該ボリューム1070が属するパリティグループ1120が停止されてもよいことを宣言する。
次に、電源操作部1083は、再度ボリューム管理表500へアクセスし、ステップ1402で決定したパリティグループ1120に属する全てのボリュームを見つける(ステップ1407)。そして、電源操作部1083は、前ステップ1407で見つけた全てのボリュームの電源停止可能フラグを参照し、全てのボリュームの電源停止可能フラグが「true」であるかどうかをチェックする(ステップ1408)。
全てのボリュームの電源停止可能フラグが「true」の場合には、パリティグループ1120に含まれる全てのボリューム1070は電源を停止してもよいことを意味しているため、電源操作部1083は、パリティグループ表510へアクセスし、ステップ1402で決定したパリティグループ1120の電源状態を「OFF」へと変更し、電源制御モジュール1140へ当該パリティグループ1120内のHDD1060の電源をOFFにするように指示する(ステップ1409)。
次に、電源停止可能フラグに、1つ以上「false」がある場合には、パリティグループ1120内のHDD1060を利用しているボリューム1070が存在することを意味しているため、ステップ1409をスキップして、電源操作部1083は、電源操作の要求元へ電源操作完了を報告する(ステップ1410)。
以後、これまでに説明してきたリモートコピーと電源制御を連携させる処理について説明する。リモートコピーのサスペンド指示と連携した電源制御に関して説明する。本連携制御では、副ストレージ装置2000は、計算機200から発行されるリモートコピーペアのサスペンド指示にあわせてリモートコピーペアの副ボリュームを構成するHDD1060を可能であるならば電源OFFとする。
これは、正ストレージ装置1000のサスペンド部127と副ストレージ装置2000のサスペンド部127の連携によって実現される。まず、図28に正ストレージ装置1000のサスペンド部127の処理の一例を示している。図21で説明した電源制御と連携しないサスペンド部127との相違点は、ステップ2001の直後に、副ストレージ装置2000のサスペンド部127に、サスペンド指示を受領したことを通知するステップ2701を追加している点である。
次に、図29に副ストレージ装置2000のサスペンド部127の処理の一例を示している。以下に、各ステップの詳細を説明する。サスペンド部127は、正ストレージ装置のサスペンド部127から、サスペンド指示の通知を受領する(ステップ1701)。
次に、サスペンド部127は、サスペンド対象となっているリモートコピーペアの副ボリュームを構成するHDD1060の電源操作が可能であるか否かをチェックする(ステップ1702)。これは、当該副ボリュームに関するレコード501をボリューム管理表500から探し、当該レコード501のMAIDフラグを参照することでチェックする。MAIDフラグの値が「true」の場合には、ボリュームを構成するHDD1060の電源制御は可能であると判断する。
ここで、サスペンド対象となっているリモートコピーペアの副ボリュームを構成するHDD1060の電源制御が不可能である場合には、処理を終了して、図19に示しているリストア部125に処理を任せる。
サスペンド対象となっているリモートコピーペアの副ボリュームを構成するHDD1060の電源制御が可能である場合には、サスペンド部127は、正ストレージ装置、および、副ストレージ装置2000の更新情報記憶部1094に滞留する全ての更新情報1300のライトデータが副ボリュームに書き込まれるまで待つ(ステップ1703)。これは、副ストレージ装置2000のリストア部125がサスペンド対象のリモートコピーペアのペア状態をSuspendに変更すると、全ての更新情報1300が副ボリュームに書き込まれたと判断する。
最後に、サスペンド部127は、サスペンド対象となっているリモートコピーペアの副ボリュームが属しているパリティグループ1120の停止を電源操作部1083へ要求する(ステップ1704)。
以上のようにして、計算機200から正ストレージ装置1000がリモートコピーペアのサスペンド指示を受領したときには、サスペンド要求を受領する前に正ストレージ装置1000が計算機200から受領したライト要求300のライトデータ310を全て、副ストレージ装置2000の副ボリュームに書き込んだ直後、可能であるならば副ボリュームが属するパリティグループ1120内のHDD1060の電源をOFFするように制御することができる。よって、HDD1060の長寿命化や低電力化が期待できる。
ストレージ装置間のネットワーク帯域を考慮した電源制御に関して説明する。本連携制御では、計算機からリモートコピーペアのリシンク(または、ペア形成)指示を受領し、差分コピーを実施するとき、副ストレージ装置2000で起動するパリティグループ数を一定数に制御する。これは、正ストレージ装置1000のリシンク部128と副ストレージ装置2000のリシンク部128の連携によって実現される。
正ストレージ装置1000のリシンク部128は、計算機200からリモートコピーペアのリシンク指示を受領すると、以下の処理を実行する。なお、以下に示している項目は、従来技術のリシンク部128が実行する処理と異なる項目のみを示している。
(1)副ストレージ装置2000へリシンク指示を受領したことを通知するときに、差分管理表1093に差分が記録されていないリモートコピーペア、すなわち、実際には正ボリュームと副ボリュームが既に同期状態であるリモートコピーペアを探し、当該リモートコピーペアの情報も副ストレージ装置へ通知する。
(2)副ストレージ装置から、差分コピー開始可能を通知されると、差分管理表1093に記録されている情報を元に、正ボリュームと副ボリュームの間で格納されているデータが異なる領域についてのみデータをコピーする。
図30に正ストレージ装置1000のリシンク部128の処理の一例を示している。以下に、各ステップの詳細を説明する。リシンク部128は、計算機200から1つ以上のリモートコピーペアのリシンク指示を受領する(ステップ2401)。このとき、リシンク対象となっているリモートコピーペアの情報をパラメータとして受領する。リモートコピーペアの情報とは、正ボリュームID、副ボリュームID、正ストレージ装置ID、副ストレージ装置IDである。
次に、リシンク部128は、正ストレージ装置1000のペア情報テーブル1091へアクセスし、リシンク対象となっているリモートコピーペアのペア状態をDuplex−Pending状態へと変更する(ステップ2402)。
そして、リシンク部128は、リシンク対象となっているリモートコピーペアのうち、差分管理表1093に差分が記録されていないリモートコピーペアを見つける。当該リモートコピーペアは、既に正ボリュームと副ボリュームに格納されているデータは同期状態となっているため、ペア情報テーブル1091へアクセスし、ペア状態をDuplex状態へと変更する(ステップ2403)。
続けて、リシンク部128は、リシンク指示を受領したことを、副ストレージ装置2000へ通知する。このとき、パラメータとして、前ステップ2403で見つけた差分が記録されていないリモートコピーペアの情報と、計算機200から受領したリシンク対象のリモートコピーペアの情報を渡す。(ステップ2404)。
リシンク部128の以降の処理は、副ストレージ装置2000から応答を受け(ステップ2405)、応答内容をチェックする(ステップ2406)。副ストレージ装置2000から受け取る応答内容が「差分コピー完了通知」ならば、処理を終了する。副ストレージ装置2000からの応答内容が「差分コピー開始可能通知」ならば、当該通知と共に通知されるリモートコピーペアの差分コピーを差分コピー部129へ要求する(ステップ2407)。そして、ステップ2405へ戻り、「差分コピー完了通知」を受領するまでステップ2405からステップ2407を繰り返す。
では、次に副ストレージ装置2000のリシンク部128に関して述べる。副ストレージ装置2000のリシンク部128は、正ストレージ装置1000のリシンク部128からリモートコピーペアのリシンク指示の通知を受領すると、以下の処理を実行する。なお、以下に示している項目は、従来技術のリシンク部128が実行する処理と異なる項目のみを示している。
(1)正ストレージ装置1000の差分管理表1093に差分が記録されていないリモートコピーペアのペア状態をDuplex状態へと変更する。
(2)リシンク対象のリモートコピーペアのうち、副ボリュームを構成するHDD1060の電源制御が不可能である副ボリュームを探し、差分コピー開始可能を正ストレージ装置1000へ通知する。
(3)目標電力量1097で起動可能な一定数のパリティグループ1120を起動し、当該パリティグループ1120に副ボリュームが属しているリモートコピーペアの差分コピー開始可能を正ストレージ装置1000へ通知する。さらに、差分コピー開始可能を通知したリモートコピーペアの差分コピー完了を待ち。当該リモートコピーペアの副ボリュームが属するパリティグループ1120を停止する。
図31に副ストレージ装置2000のリシンク部128の処理の一例を示している。以下に、各ステップの詳細を説明する。リシンク部128は、正ストレージ装置1000から、リモートコピーペアのリシンク指示の通知を受領する(ステップ2501)。このとき、1つ以上のリモートコピーペアの情報と、1つ以上の差分が記録されていないリモートコピーペアの情報をパラメータとして受領する。
次に、リシンク部128は、副ストレージ装置2000のペア情報テーブル1901へアクセスし、リシンク対象のリモートコピーペアのペア状態をDuplex−Pending状態へ、差分が記録されていないリモートコピーペアのペア状態をDuplex状態へと変更する(ステップ2502)。この段階で、正ストレージ装置1000の差分管理表1093に差分が記録されていないリモートコピーペアのリシンク処理は終了する。
次に、リシンク部128は、パラメータとして受領した、リシンク対象のリモートコピーペアのうち、副ボリュームを構成するHDD1060の電源制御が可能であるか否かをチェックし、副ボリュームを構成するHDD1060の電源制御が不可能であるリモートコピーペアをリストアップする(ステップ2503)。
リモートコピーペアの副ボリュームを構成するHDD1060の電源制御が不可能である場合には、副ボリュームを構成するHDD1060は常に電源ONであるため、リシンク部128は、正ストレージ装置1000のリシンク部128へ、ステップ2503でリストアップしたリモートコピーペアの差分コピー開始可能を通知する(ステップ2504)。上記通知によって、副ボリュームを構成するHDD1060の電源制御が不可能であるリモートコピーペアの差分コピーが正ストレージ装置1000の差分コピー部129によって開始される。
副ストレージ装置2000のリシンク部128は、以降のステップで、差分が記録されており、かつ、副ボリュームを構成するHDD1060の電源制御が可能であるリモートコピーペアに関する処理を実行する。まず、リシンク部128は、パラメータとして受け取ったリモートコピーペアのうちで、差分コピーが未だに開始していないリモートコピーの副ボリュームが属しており、かつ、停止状態であるパリティグループ1120をリストアップする(ステップ2505)。次に、リシンク部128は、目標電力量1097で起動可能なパリティグループ1120を起動する。
具体的には、ステップ2505で得たパリティグループ1120のリストの先頭から順番にパリティグループ1120の使用電力量を合計していく。パリティグループ1120の使用電力量は、パリティグループ表510から取得し、その時点までの使用電力量の合計が目標電力量1097以下であるならば、当該パリティグループ1120の起動を電源操作部1083へ要求する。そして、使用電力量の合計が目標電力量1097を超えると、パリティグループ1120のリストを先頭から順にスキャンしていく処理を終了する(ステップ2506)。なお、使用電力量の計算をするに当って、電源制御が不可能なパリティグループの使用電力量を加算してもよい。
ステップ2506で起動を要求したパリティグループ1120の起動が完了すると、リシンク部128は、正ストレージ装置1000からパラメータとして渡されるリモートコピーペアのうち、差分コピーが未だに開始していないリモートコピーペアの副ボリュームに関するレコード501をボリューム管理表500から取得する。そして、レコード501のパリティグループIDを参照することで、副ボリュームが起動したパリティグループ1120に属するか否かを調べる。副ボリュームが起動したパリティグループ1120に属する場合には、レコード501の電源停止可能フラグを「false」へ変更する(ステップ2507)。これによって、当該副ボリュームが起動したパリティグループ1120を利用していることを宣言する。
そして、リシンク部128は、ステップ2507で見つけたリモートコピーペアの差分コピー開始可能を、正ストレージ装置1000のリシンク部128へ通知する(ステップ2508)。このとき、ステップ2507で見つけたリモートコピーペアの情報をパラメータとして渡す。上記の通知によって、副ボリュームを構成するHDD1060の電源をONにしたリモートコピーペアの差分コピーが正ストレージ装置1000の差分コピー部129によって開始される。
次に、リシンク部128は、差分コピー開始可能を通知したリモートコピーペアの差分コピーが完了するまで待つ。(ステップ2509)。これは、副ストレージ装置2000のリストア部125がリシンク対象のリモートコピーペアのペア状態をDuplexに変更すると、差分コピーが完了したと判断する。リシンク部128は、差分コピーが完了したリモートコピーペアの副ボリュームが属するパリティグループ1120の停止を電源操作部1083へ要求し、応答を待つ(ステップ2510)。
電源操作部1083からの応答を受けると、正ストレージ装置1000のリシンク部128からパラメータとして受けた全てのリモートコピーペアの差分コピーが開始しているか否かをチェックする(ステップ2511)。正ストレージ装置から受け取ったリシンク対象となっているリモートコピーペアで差分コピーが未だに開始していないリモートコピーペアが存在する場合には、ステップ2505へ戻って、以降のステップを繰り返す。この場合、ステップ2510で、差分コピーが完了したリモートコピーペアの副ボリュームが属するパリティグループ1120を停止するため、差分コピー未開始のリモートコピーペアの副ボリュームが属する別のパリティグループ1120を、目標電力量1097を超えずに起動することが可能である。また、ステップ2511で、全ての差分コピーが開始している場合には、正ストレージ装置1000のリシンク部128へ差分コピー完了を通知して処理を終了する(ステップ2512)。
以上のように、副ストレージ装置2000で、一度に起動するパリティグループ1120数を一定数に制御し、起動したパリティグループ1120に副ボリュームが属するリモートコピーペアの差分コピーを行う。よって、長時間を要する差分コピーを行う際に、常に全てのパリティグループ1120を起動しておく必要はなくなる。さらに、リシンク対象のリモートコピーペアのうちで、差分が記録されているリモートコピーペアの副ボリュームが属するパリティグループ1120のみを起動するように制御することができる。
以上のことから、副ボリュームを構成するHDD1060の長寿命化や、低電力化を実現することができる。なお、本処理はリモートコピーペアを新たに形成する場合にも適用することができる。
正ストレージ装置1000が計算機200からリモートコピーペアのペア形成指示を受領した場合には、正ストレージ装置1000は正ボリュームに格納される全てのデータを副ボリュームにコピーする(初期化コピー)。リモートコピーペアの形成処理は、以下の点においてリモートコピーペアのリシンク処理と異なる。
(1)ペア情報テーブル1091には、新たに形成するリモートコピーに関するレコード700を追加する。(2)正ボリュームに格納される全てのデータを副ボリュームにコピーすることで、正ボリュームと副ボリュームを同期状態にする。(ただし、先に断ったように、これも差分コピーと呼ぶ)
第2の発明の実施形態をリモートコピーペアの形成に適用する場合の処理を、リシンク処理の場合との違いを中心に説明する。図32には、正ストレージ装置1000で動作するペア形成部126の処理の一例を示している。
まず、正ストレージ装置1000のペア形成部126が計算機200からリモートコピーペアのペア形成指示を受領する。このとき、正ストレージ装置1000のペア形成部126は、計算機200からパラメータとして、正ボリュームID、正ストレージ装置ID、副ボリュームID、副ストレージ装置ID、リモートコピータイプをパラメータとして受ける(ステップ3001)。
ペア形成部126は、パラメータとして受け取ったリモートコピーペアの情報1つに対して、1つのレコード700を作成し、正ストレージ装置1000のペア情報テーブル1091に追加する(ステップ3002)。正ボリュームID、副ボリュームID、レプリケーションタイプはパラメータとして渡される値である。相手ストレージ装置IDは、副ストレージ装置IDとし、ペア状態は、「Duplex−Pending」とする。
そして、副ストレージ装置2000のペア形成部126へペア形成指示を通知する。このとき、計算機200から受領したパラメータの全てを副ストレージ装置2000のペア形成部126に渡す(ステップ3003)。リモートコピーペアのペア形成の処理では、正ボリュームに格納されている全てのデータを副ボリュームへコピーする。そのため、リモートコピーペアのリシンクで説明した、リモートコピーペアに差分が記録されているか否かをチェックするための処理は不要である。
次に、ペア形成部126は、リシンク部128のステップ2405と同様に、副ストレージ装置2000からの応答を受け(ステップ3004)、応答内容をチェックする(ステップ3005)。応答内容としては、リシンク部128の場合と同様に、「差分コピー完了通知」または、「差分コピー開始可能通知」のいずれかである。差分コピー完了通知を受領した場合には、ペア形成部126は、リシンク部128と同じく処理を終了する。
差分コピー開始可能通知を受領した場合には、ペア形成部126は、副ストレージ装置2000から通知されるリモートコピーペアの差分管理表1093の差分ビットを全て「on」へ変更する(ステップ3006)。そして、ペア形成部は、リシンク部128と同じく、差分コピー部129を呼び出すことで差分コピーを開始する。ステップ3006で、差分管理表1093の差分ビットを全て「on」へ変更することによって、差分コピー部129は、正ボリュームに格納される全てのデータを副ボリュームへコピーすることとなる。
図33に移って、副ストレージ装置2000で動作するペア形成部126の処理の一例を説明する。副ストレージ装置2000のペア形成部126は、正ストレージ装置1000のペア形成部126から、リモートコピーペアのペア形成指示の通知を受領する。このとき、パラメータとして、正ボリュームID、正ストレージ装置ID、副ボリュームID、副ストレージ装置ID、リモートコピータイプをパラメータとして受け取る(ステップ3101)。
ペア形成部126は、パラメータとして受け取ったリモートコピーペアの情報1つに対して、1つのレコード700を作成し、副ストレージ装置2000のペア情報テーブル1091に追加する。正ボリュームID、副ボリュームID、レプリケーションタイプは正ストレージ装置1000から受領した値である。相手ストレージ装置IDは、正ストレージ装置1000から受領した正ストレージ装置IDとし、ペア状態は、「Duplex−Pending」とする(ステップ3102)。
次に、ペア形成部126の以降のステップに関して述べる。ステップ2503、ステップ2504は、副ボリュームの電源制御が不可能であるリモートコピーペアを決定し、正ストレージ装置1000へ差分コピー開始可能を通知するためのステップである。さらに、ステップ2504からステップ2511は、目標電力量1097で起動可能な一定数のパリティグループ1120を起動し、当該パリティグループ1120に副ボリュームが属するリモートコピーペアの差分コピー開始可能を正ストレージ装置へ通知するためのステップである。これらのステップは、副ストレージ装置2000のリシンク部128で説明したステップ2503からステップ2511と同じ処理である。
以上のように、正ストレージ装置1000のペア形成部126と副ストレージ装置2000のペア形成部126、電源操作部1083が連携することで、計算機200からペア形成が要求されたリモートコピーペアの差分コピーを実施し、正ボリュームと副ボリュームの内容を同期状態にすることができる。さらに、副ストレージ装置2000で一度に起動するパリティグループ1120数を一定数に制御する点などに関してはリシンク部128と同じである。よって、副ボリュームを構成するHDD1060の長寿命化や、低電力化を実現することができる。
なお、本発明の実施形態では、起動するパリティグループ1120の数を決定するに当って、目標電力量1097に加えて、正ストレージ装置1000と副ストレージ装置2000間のネットワーク260の転送帯域を比較対象にすることも考えられる。即ち、図31のステップ2506にて起動を決定したパリティグループ1120をさらに以下の方法によって選別する。
(A)ステップ2506で選択したパリティグループ1120のそれぞれの転送帯域幅を求める。この値はパリティグループ1120に含まれるHDD1060の数などで求めても良いし、管理者が手で入力を行っても良い。また、正ストレージ装置1000や副ストレージ装置2000内部で測定を行っても良い。
(B)(A)にて求めた転送帯域幅を参照しながら、ネットワーク260の転送帯域を満たし、かつ最小の電力使用量となるようにパリティグループ1120を選択する。この選択はステップ2505にてリストアップしたパリティグループ1120の転送帯域幅を先頭から加算していき、その加算値がネットワーク260の転送帯域幅を超えた直後まで加算対象としたパリティグループ1120を選択すればよい。
非同期リモートコピーの処理特性を利用した電源制御では、リモートコピー部1082が、更新情報1300を、更新情報記憶部1094に一定時間、または、一定量滞留させている間、すなわち、副ボリュームにアクセスが発生しない間は、副ボリュームを構成するHDD1060は電源をOFFとする。そして、リモートコピー部1082がライトデータを副ボリュームに書き込む直前に、副ボリュームが属するパリティグループ1120を起動し、ライトデータの書き込みが完了した直後にパリティグループ1120を停止することで、HDD1060の長寿命化、低電力化する。
本実施形態では、副ストレージ装置2000のコピー電源連携部1084が、副ストレージ装置2000の更新情報記憶部1094に更新情報1300を滞留させておき、更新情報記憶部1094の使用率が、予め設定された更新情報量閾値1098を越えるのを契機として、ライトデータを副ボリュームへ書き込む場合を例として説明する。
図34には、コピー電源連携部1084の処理の一例を示している。以下に、処理の詳細を述べる。
コピー電源連携部1084は、副ストレージ装置2000の更新情報記憶部1094の使用率と更新情報量閾値1098を比較する。更新情報記憶部1094の使用率が更新情報量閾値1098を超えていれば、以降のステップに進む。更新情報記憶部1094の使用率が更新情報量閾値1098を超えていなければ、以降のステップには進まず、本ステップを繰り返す(ステップ2801)。なお、更新情報記憶部1094の使用率が更新情報量閾値1098を超えていない場合に、一定時間処理を停止したあと、ステップ2801を再度実行するなどの効率化を行ってもよい。
更新情報記憶部1094の使用率が更新情報閾値1098を超えた場合には、コピー電源連携部1084は、副ストレージ装置2000の更新情報記憶部1084に格納されている更新情報1300をSEQ#を用いてソートし、さらに、SEQ#が連続している部分(更新情報集合に含まれる更新情報1300をSEQ#順に並べた際に、SEQ#に抜けが生じない部分)に含まれる更新情報1300を決定する(ステップ2802)。
そして、コピー電源連携部1084は、前ステップ2802で決定した更新情報1300のライトデータを書き込むべき副ボリュームを決定し、当該副ボリュームが属するパリティグループ1120をリストアップする。具体的には、更新情報1300に含まれる副ボリュームIDと同一の値を持つレコード501をボリューム管理表500から探し、そのパリティグループIDをリストアップする(ステップ2803)。
コピー電源連携部1084は、前ステップ2803でリストアップしたパリティグループ1120の起動を電源操作部1083へ要求し、電源操作部1083からの応答を待つ(ステップ2804)。
次に、コピー電源連携部1084は、リストア部125を起動し、リストア部125がステップ2802で決定した全ての更新情報1300のライトデータを、副ボリュームへ書き込むのを待つ(ステップ2805)。これは、リストア部125が処理を終了することを監視することや、更新情報記憶部1094の使用率を監視することで実現できるし、リストア部125に通知させることでも実現することもできる。
次に、コピー電源連携部1084は、ステップ2804で起動したパリティグループ1120の停止を電源操作部1083へ要求し、電源操作部1083からの応答を待つ(ステップ2806)。
以上のようにして、リモートコピー部1082が、副ストレージ装置2000の更新情報記憶部1094に、一定量の更新情報1300を滞留させておき、更新情報記憶部1094の使用率が更新情報量閾値1098を超えたときに副ボリュームに更新情報1300のライトデータを書き込むように制御する場合にも、HDD1060の起動を、実際にライトデータを副ボリュームに書き込むときのみに限定することができる。よって、HDDの長寿命化、および、ストレージ装置の低電力化を実現することができる。
なお、第3の発明の実施形態の説明では、副ストレージ装置2000の更新情報記憶部1094の使用率に基づいて、ライトデータを副ボリュームに書き込むとした。しかし、更新情報記憶部1094の使用率ではなく、時間に基づいて、ライトデータを副ボリュームに書き込むことも考えられる。このように、ライトデータを副ボリュームに書き込むタイミングは、本説明で用いた例に限定されない。
なお、図には示していないが、正ストレージ装置1000は電源制御可能な副ストレージ装置2000に加えて電源制御しない通常のストレージ装置が副ストレージ装置2000となる可能性もあるため、上記に説明した処理を実行する前に、副ストレージ装置2000が電源制御可能であるかどうかを問い合わせ、その結果として電源制御と連携した処理を実行するかどうかを決定してもよい。
また、本発明の実施形態では、正ボリュームと副ボリュームは別々なストレージ装置に含まれているが、同一のストレージ装置に含まれ、リモートコピーの代わりとしてローカルコピーに適用してもよい。さらに、本発明の実施形態は正ストレージ装置1000が電源制御可能な場合も適用可能である。例えば、リシンク操作を受け付けた場合、上記の説明では副ストレージ装置2000の電源制御のみ行っているが、それと合わせて(リモート、または、ローカル)コピーペアの正ボリュームを構成するHDD1060の電源ONを行っても良い。
実施例1では、リモートコピーペアの差分コピーを実行する場合に、副ストレージ装置2000では、リモートコピー部1082が一度に起動するパリティグループ1120数を一定数に制御する方法を述べた。
本実施例2では、障害発生時など緊急の場合に、目標電力量1097を無視して、差分コピーの速度を優先する方法を述べる。
一般に、計算機200や正ストレージ装置1000に障害が発生したとき、副ストレージ装置2000に格納されているデータを利用して業務継続を行う。よって、計算機200や、正ストレージ装置1000の一部に障害が発生している場合に、実施例1のように、一度に一定数のパリティグループのみを起動し、差分コピーを行う方法や、一定時間リストア部125を停止させる方法は時間がかかる。
なお、ここでの正ストレージ装置の一部に障害とは、正ストレージ装置1000が副ストレージ装置2000にデータをコピーすることができる状態とする。
本実施例2では、図35に示すように、障害発生時に業務を引き継ぐための計算機400を配置して、ネットワーク250を使用して副ストレージ装置2000と接続する。計算機400の構成は計算機200と同一である。なお、副ストレージ装置2000には、計算機400からI/Oを受け付けるためのI/F1010を設置するものとする。
そして、差分コピー実施中に、計算機200や、正ストレージ装置の一部に障害が発生している場合に、計算機400が副ストレージ装置2000に、目標電力量1097を無視して差分コピーを実施するように指示する。以後、「高速差分コピー指示」と表現する。
図36に、高速差分コピーの要求を受領した副ストレージ装置2000が実行する処理の一例を示している。
副ストレージ装置2000は、計算機400から高速差分コピー指示を受領する(ステップ2601)。そして、副ストレージ装置2000は、副ストレージ装置2000のペア情報テーブル1091を参照し、ペア状態がDuplex−Pending状態であるリモートコピーペアを探す(ステップ2602)。
次に、副ストレージ装置2000は、ステップ2602で見つけたリモートコピーペアの副ボリュームが属するパリティグループ1120をリストアップする。具体的には、副ボリュームIDと同一の値を持つレコード501をボリューム管理表500から探し、そのパリティグループIDをリストアップする(ステップ2603)。
副ストレージ装置2000は、リストアップしたパリティグループ1120の起動を、電源操作部1083へ要求し(ステップ2604)、電源操作部1083からの応答を待つ(ステップ2605)。
そして、副ストレージ装置2000は、ステップ2602で見つけたリモートコピーペアの副ボリュームに関するレコード501をボリューム管理表500から探し、当該レコード501の電源停止可能フラグを「false」へ変更する。最後に、副ストレージ装置2000は、正ストレージ装置1000へ、ステップ2602で見つけたリモートコピーペアの差分コピー可能を通知する。
なお、差分コピー可能の通知を受領した正ストレージ装置1000の動作は、リシンク部128、および、ペア形成部126で述べた。
以上のようにして、計算機200や正ストレージ装置1000の一部に障害が発生した場合に、差分コピーを急ぐことによって、万一正ストレージ装置1000から副ストレージ装置2000へのデータコピーが不可能となった場合に失われるデータを最小限に抑えることができる。
本発明の実施例1である情報処理システムの構成、および、計算機の構成の一例を示す図である。 正ストレージ装置の構成の一例を示す図である。 副ストレージ装置の構成の一例を示す図である。 ライト要求の一例を示す図である。 ボリューム管理表の一例を示す図である。 パリティグループ表の一例を示す図である。 リモートコピー部の構成の一例を示す図である。 ペア情報テーブルの一例を示す図である。 差分管理表の一例を示す図である。 第1の本発明の実施形態の概要図である。 第2の本発明の実施形態の概要図である。 第3の本発明の実施形態の概要図である。 SEQ#情報の一例を示す図である。 更新情報の一例を示す図である。 ライトデータ受領部による処理の一例を示す図である。 更新情報作成部による処理の一例を示す図である。 データ転送部による処理の一例を示す図である。 更新情報受領部による処理の一例を示す図である。 リストア部による処理の一例を示す図である。 パージ部による処理の一例を示す図である。 正ストレージ装置のサスペンド部による処理の一例を示す図である。 サスペンドを検出した場合のリストア部による処理の一例を示す図である。 正ストレージ装置のリシンク部による処理の一例を示す図である。 副ストレージ装置のリシンク部による処理の一例を示す図である。 差分コピー完了を検出した場合のリストア部による処理の一例を示す図である。 差分コピー部による処理の一例を示す図である。 電源操作部による処理の一例を示す図である。 電源制御を考慮した正ストレージ装置のサスペンド部による処理の一例を示す図である。 電源制御を考慮した副ストレージ装置のサスペンド部による処理の一例を示す図である。 電源制御を考慮した正ストレージ装置のリシンク部による処理の一例を示す図である。 電源制御を考慮した副ストレージ装置のリシンク部による処理の一例を示す図である。 電源制御を考慮した正ストレージ装置のペア形成部による処理の一例を示す図である。 電源制御を考慮した副ストレージ装置のペア形成部による処理の一例を示す図である。 コピー電源制御連携部による処理の一例を示す図である。 本発明の実施例2である情報処理システムの構成、および、計算機の構成の一例を示す図である。 高速差分コピーの要求を受けた副ストレージ装置の処理の一例を示す図である。
符号の説明
200 計算機
300 ライト要求
400 計算機
500 ボリューム管理表
510 パリティグループ表
1000 正ストレージ装置
1060 HDD
1080 制御部
1081 ライトデータ受領部
1082 リモートコピー部
1083 電源操作部
1084 コピー電源連携部
1090 制御情報部
1091 ペア情報テーブル
1093 差分管理表
1094 更新情報記憶部
1095 SEQ#情報
1100 ディスク制御モジュール
1120 パリティグループ
1140 電源制御モジュール
1150 電源
1170 ボリューム
1300 更新情報
2000 副ストレージ装置

Claims (19)

  1. 情報処理装置と、
    第一のボリュームを備え、前記情報処理装置と接続される第一の記憶装置と、
    第二のボリュームを備え、前記第一の記憶装置と接続される第二の記憶装置とを有し、
    前記第一のボリュームから前記第二のボリュームへのリモートコピーを実施する情報処理システムにおいて、
    前記第一の記憶装置から前記第二の記憶装置へのリモートコピー処理と連携して前記第二のボリュームに関する電力制御を行うことを特徴とする情報処理システム。
  2. 請求項1に記載の情報処理システムにおいて、
    前記情報処理装置から前記第一の記憶装置へのリモートコピー処理の指示に応じて、前記第一の記憶装置から前記第二の記憶装置へのリモートコピー処理と連携して前記第二のボリュームに関する電力制御を行うことを特徴とする情報処理システム。
  3. 請求項1に記載の情報処理システムにおいて、
    前記第二の記憶装置に接続された第二の情報処理装置を有し、前記第二の情報処理装置から前記第二の記憶装置へのリモートコピー処理の指示に応じて、前記第一の記憶装置から前記第二の記憶装置へのリモートコピー処理と連携して前記第二のボリュームに関する電力制御を行うことを特徴とする情報処理システム。
  4. 請求項1に記載の情報処理システムにおいて、
    前記第二の記憶装置は、更新情報記憶部を備え、前記第一のボリュームに対する更新情報を第二の記憶装置の前記更新情報記憶部へコピーするリモートコピーを実施し、
    前記連携するリモートコピー処理がリモートコピー停止指示処理であるときに、前記更新情報記憶部にコピーされた更新情報の前記第二のボリュームへのリストア処理が完了した後に前記第二のボリュームに関する電力削減を指示することを特徴とする情報処理システム。
  5. 請求項4に記載の情報処理システムにおいて、
    前記連携するリモートコピー処理がリモートコピー停止指示処理であるときに、
    前記第一の記憶装置は、前記第二の記憶装置にリモートコピー停止指示を通知することを特徴とする情報処理システム。
  6. 請求項1に記載の情報処理システムにおいて、
    前記第一の記憶装置はさらに、第三のボリュームを備え、
    前記第二の記憶装置はさらに、第四のボリュームを備え、
    前記第三のボリュームから前記第四のボリュームへのリモートコピーが実施され、
    前記連携するリモートコピー処理が前記第一のボリュームから前記第二のボリュームに対するリモートコピーと前記第三のボリュームから前記第四のボリュームに対するリモートコピーの形成コピー処理であるときに、前記第二のボリュームの電力削減を解除して第一のコピーを行い、前記第一のコピーが完了した後に前記第二のボリュームの電力削減を指示し、前記第四のボリュームの電力削減を解除して前記第三のボリュームから前記第四のボリュームへの第二のコピーを行うことを特徴とする情報処理システム。
  7. 請求項6に記載の情報処理システムにおいて、
    前記第二のボリュームの電力削減を解除して行う第一のコピーが第一の差分コピーであり、前記第四のボリュームの電力削減を解除して行う第二のコピーが第二の差分コピーであることを特徴とする情報処理システム。
  8. 請求項7に記載の情報処理システムにおいて、前記第三のボリュームと前記第四のボリュームの電力削減の解除の指示は、前記第一の記憶装置と前記第二の記憶装置との間のネットワーク帯域を考慮して行われることを特徴とする情報処理システム。
  9. 請求項1に記載の情報処理システムにおいて、
    前記第二の記憶装置は更新情報記憶部を備え、
    前記第一のボリュームに対する更新情報を第二の記憶装置の前記更新情報記憶部へコピーするリモートコピーを実施し、
    前記連携するリモートコピー処理が前記更新情報記憶部の更新情報を前記第二のボリュームへ反映するリストア処理であるときに、前記リストア処理を一次中止し、その間は前記第二のボリュームに対して電力削減を指示することを特徴とする情報処理システム。
  10. 情報処理装置と接続される第一の記憶装置の第一のボリュームから、前記
    第一の記憶装置と接続される第二の記憶装置の第二のボリュームへのリモートコピーを実施する情報処理システムの制御方法において、
    前記第一の記憶装置から前記第二の記憶装置へのリモートコピー処理と連携して前記第二のボリュームに関する電力制御を行うことを特徴とする情報処理システムにおける制御方法。
  11. 請求項10に記載の情報処理システムにおける制御方法において、
    前記リモートコピーが、前記第一のボリュームに対する更新情報を前記第二の記憶装置の更新情報記憶部へコピーするリモートコピーであり、
    前記連携するリモートコピー処理がリモートコピー停止指示処理であるときに、前記更新情報記憶部にコピーされた更新情報の前記第二のボリュームへのリストア処理が完了した後に前記第二のボリュームに関する電力削減を指示するステップを備えることを特徴とする情報処理システムにおける制御方法。
  12. 請求項10に記載の情報処理システムにおける制御方法において、
    前記第一の記憶装置の第三のボリュームから前記第二の記憶装置の第四のボリュームへのリモートコピーが実施され、
    前記連携するリモートコピー処理が前記第一のボリュームから前記第二のボリュームに対するリモートコピーと前記第三のボリュームから前記第四のボリュームに対するリモートコピーの形成コピー処理であるときに、前記第二のボリュームの電力削減を解除して第一の差分コピーを行うステップと、
    前記第一の差分コピーが完了した後に前記第二のボリュームの電力削減を指示するステップと、
    前記第四のボリュームの電力削減を解除して前記第三のボリュームから前記第四のボリュームへの第二の差分コピーを行うステップと、
    を備えることを特徴とする情報処理システムにおける制御方法。
  13. 情報処理装置に接続され、第一のボリュームを備えた正記憶装置に接続される副記憶装置において、
    前記副記憶装置は、第二のボリュームを備えており、
    前記第一のボリュームから前記第二のボリュームへのリモートコピーが実施される際に、前記正記憶装置から前記副記憶装置へのリモートコピー処理と連携して前記第二のボリュームに関する電力制御を行うことを特徴とする副記憶装置。
  14. 請求項13に記載の副記憶装置において、
    前記副記憶装置は、更新情報記憶部を備え、前記第一のボリュームに対する更新情報を前記副記憶装置の前記更新情報記憶部へコピーするリモートコピーを実施し、前記連携するリモートコピー処理がリモートコピー停止指示処理であるときに、前記更新情報記憶部にコピーされた更新情報の前記第二のボリュームへのリストア処理が完了した後に前記第二のボリュームに関する電力削減を指示することを特徴とする副記憶装置。
  15. 請求項14に記載の副記憶装置において、
    前記連携するリモートコピー処理がリモートコピー停止指示処理であるときに、
    前記正記憶装置から、前記副記憶装置へのリモートコピー停止指示の通知に応じて電力削減の指示を行うことを特徴とする副記憶装置。
  16. 請求項13に記載の副記憶装置において、
    前記正記憶装置は、さらに、第三のボリュームを備え、
    前記副記憶装置は、さらに、第四のボリュームを備え、
    前記第三のボリュームから前記第四のボリュームへのリモートコピーが実施され、前記連携するリモートコピー処理が前記第一のボリュームから前記第二のボリュームに対するリモートコピーと前記第三のボリュームから前記第四のボリュームに対するリモートコピーの形成コピー処理であるときに、
    前記第二のボリュームの電力削減を解除して第一のコピーを行い、前記第一のコピーが完了した後に前記第二のボリュームの電力削減を指示し、前記第四のボリュームの電力削減を解除して前記第三のボリュームから前記第四のボリュームへの第二のコピーを行うことを特徴とする副記憶装置。
  17. 請求項16に記載の副記憶装置において、
    前記第二のボリュームの電力削減を解除して行う前記第一のコピーが第一の差分コピーであり、前記第四のボリュームの電力削減を解除して行う前記第二のコピーが第二の差分コピーであることを特徴とする副記憶装置。
  18. 請求項17に記載の副記憶装置において、前記第三のボリュームと前記第四のボリュームの電力削減の解除の指示は、前記正記憶装置と前記副記憶装置との間のネットワーク帯域を考慮して行われることを特徴とする副記憶装置。
  19. 請求項13に記載の副記憶装置において、
    前記副記憶装置は更新情報記憶部を備え、
    前記第一のボリュームに対する更新情報が前記副記憶装置の前記更新情報記憶部へコピーされるリモートコピーを実施し、
    前記連携するリモートコピー処理が前記更新情報記憶部の更新情報を前記第二のボリュームへ反映するリストア処理であるときに、前記リストア処理を一次中止し、その間は前記第二のボリュームに対して電力削減を指示することを特徴とする副記憶装置。
JP2005292842A 2005-10-05 2005-10-05 情報処理システム及び情報処理システムの制御方法 Expired - Fee Related JP5036158B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005292842A JP5036158B2 (ja) 2005-10-05 2005-10-05 情報処理システム及び情報処理システムの制御方法
US11/283,777 US7529950B2 (en) 2005-10-05 2005-11-22 Information processing system, control method for information processing system, and storage system
EP06251820A EP1783595A3 (en) 2005-10-05 2006-03-31 Information processing system, control method for information processing system, and storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005292842A JP5036158B2 (ja) 2005-10-05 2005-10-05 情報処理システム及び情報処理システムの制御方法

Publications (2)

Publication Number Publication Date
JP2007102579A true JP2007102579A (ja) 2007-04-19
JP5036158B2 JP5036158B2 (ja) 2012-09-26

Family

ID=37533496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005292842A Expired - Fee Related JP5036158B2 (ja) 2005-10-05 2005-10-05 情報処理システム及び情報処理システムの制御方法

Country Status (3)

Country Link
US (1) US7529950B2 (ja)
EP (1) EP1783595A3 (ja)
JP (1) JP5036158B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287459A (ja) * 2007-05-17 2008-11-27 Hitachi Ltd ジャーナルを利用したリモートコピーのコピー先となるストレージシステムの消費電力を節約する方法及びシステム
JP2008299695A (ja) * 2007-06-01 2008-12-11 Hitachi Ltd ストレージシステムの電力消費を制御するデータベース管理システム
JP2009020858A (ja) * 2007-07-10 2009-01-29 Hitachi Ltd データデデュプリケーションを用いる電力効率のよいストレージ
JP2009199189A (ja) * 2008-02-19 2009-09-03 Canon Inc 情報処理装置及びその制御方法
JP2010049438A (ja) * 2008-08-21 2010-03-04 Hitachi Ltd 省電力バックアップ管理方法
JP2011192202A (ja) * 2010-03-16 2011-09-29 Toshiba Corp ディスクアレイ装置及び同ディスクアレイ装置に適用される論理ディスク再構成方法
US8108637B2 (en) 2008-11-28 2012-01-31 Hitachi, Ltd. Information processing system, controlling method in information processing system, and managing apparatus to manage remote copy in consideration of saving power

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195397B2 (en) 2005-04-20 2015-11-24 Axxana (Israel) Ltd. Disaster-proof data recovery
EP2328089B1 (en) * 2005-04-20 2014-07-09 Axxana (Israel) Ltd. Remote data mirroring system
GB0616375D0 (en) * 2006-08-17 2006-09-27 Ibm An apparatus for facilitating disaster recovery
JP4847272B2 (ja) * 2006-10-18 2011-12-28 株式会社日立製作所 論理区画ごとに電源を管理する計算機システム、ストレージ装置及びそれらの制御方法
US8015375B1 (en) 2007-03-30 2011-09-06 Emc Corporation Methods, systems, and computer program products for parallel processing and saving tracking information for multiple write requests in a data replication environment including multiple storage devices
JP4438817B2 (ja) * 2007-04-26 2010-03-24 株式会社日立製作所 ストレージ装置およびストレージ装置の省電力制御方法
US7925796B1 (en) * 2007-05-03 2011-04-12 Emc Corporation Methods, systems, and computer program products for performing an input/output (I/O) operation that includes a virtual drain
EP2201456A4 (en) * 2007-10-08 2012-02-15 Axxana Israel Ltd SYSTEM FOR QUICK DATA RECOVERY
US8140754B2 (en) * 2008-01-03 2012-03-20 Hitachi, Ltd. Methods and apparatus for managing HDD's spin-down and spin-up in tiered storage systems
JP2009245293A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 仮想テープ装置、仮想テープライブラリシステム、電力供給制御方法
EP2286343A4 (en) * 2008-05-19 2012-02-15 Axxana Israel Ltd ROBUST DATA STORAGE IN THE EVENT OF REPLICATION ERRORS AND ROLLING DISASTERS
JP2010097533A (ja) * 2008-10-20 2010-04-30 Hitachi Ltd パーティションで区切られた計算機システムにおけるアプリケーション移動及び消費電力の最適化
WO2010076755A2 (en) * 2009-01-05 2010-07-08 Axxana (Israel) Ltd Disaster-proof storage unit having transmission capabilities
JP5207988B2 (ja) * 2009-01-07 2013-06-12 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラム、及び記憶媒体
US20110196825A1 (en) * 2009-09-29 2011-08-11 Hitachi, Ltd. Storage system and data duplication method in the same
WO2011067702A1 (en) 2009-12-02 2011-06-09 Axxana (Israel) Ltd. Distributed intelligent network
CN102841819A (zh) * 2011-06-20 2012-12-26 富泰华工业(深圳)有限公司 电子装置及其防止数据丢失的方法
JP5778872B2 (ja) * 2012-03-15 2015-09-16 株式会社日立製作所 ストレージシステムおよびデータ管理方法
US8935496B2 (en) 2012-08-31 2015-01-13 Hitachi, Ltd. Management method of virtual storage system and remote copy system
US10769028B2 (en) 2013-10-16 2020-09-08 Axxana (Israel) Ltd. Zero-transaction-loss recovery for database systems
WO2016024994A1 (en) 2014-08-15 2016-02-18 Hitachi, Ltd. Method and apparatus to virtualize remote copy pair in three data center configuration
US9875042B1 (en) * 2015-03-31 2018-01-23 EMC IP Holding Company LLC Asynchronous replication
US10379958B2 (en) 2015-06-03 2019-08-13 Axxana (Israel) Ltd. Fast archiving for database systems
US10592326B2 (en) 2017-03-08 2020-03-17 Axxana (Israel) Ltd. Method and apparatus for data loss assessment
US10740024B1 (en) * 2019-04-04 2020-08-11 EMC IP Holding Company LLC Minimizing runtime feature overhead in a storage system
KR102583244B1 (ko) * 2022-01-28 2023-09-26 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076592A (ja) * 2001-09-04 2003-03-14 Hitachi Ltd データ格納システム
JP2004030254A (ja) * 2002-06-26 2004-01-29 Hitachi Ltd リモートsi制御方式
JP2004326244A (ja) * 2003-04-22 2004-11-18 Nec System Technologies Ltd ディスクアレイシステム
JP2005157710A (ja) * 2003-11-26 2005-06-16 Hitachi Ltd ドライブの稼働時間を抑止するディスクアレイ
JP2005165618A (ja) * 2003-12-02 2005-06-23 Hitachi Ltd ストレージシステムの制御方法、ストレージシステム、及び記憶装置
US20050144486A1 (en) * 2003-12-24 2005-06-30 Komarla Eshwari P. Dynamic power management
JP2005222110A (ja) * 2004-02-03 2005-08-18 Hitachi Ltd ストレージサブシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396635A (en) * 1990-06-01 1995-03-07 Vadem Corporation Power conservation apparatus having multiple power reduction levels dependent upon the activity of the computer system
KR0174711B1 (ko) * 1996-04-24 1999-04-15 김광호 하드디스크 캐시의 제어방법
EP0820059B1 (en) * 1996-07-18 2004-01-14 Hitachi, Ltd. Method and apparatus for controlling a magnetic disk storage device and a disk array system
JPH1083614A (ja) 1996-07-18 1998-03-31 Hitachi Ltd 磁気ディスク装置の制御方法およびディスクアレイ装置の制御方法ならびにディスクアレイ装置
JP3414218B2 (ja) 1997-09-12 2003-06-09 株式会社日立製作所 記憶制御装置
JP4325817B2 (ja) * 1999-04-05 2009-09-02 株式会社日立製作所 ディスクアレイ装置
JP4434407B2 (ja) * 2000-01-28 2010-03-17 株式会社日立製作所 サブシステム及びこれらの統合システム
US7035972B2 (en) * 2002-09-03 2006-04-25 Copan Systems, Inc. Method and apparatus for power-efficient high-capacity scalable storage system
JP4419460B2 (ja) * 2003-08-04 2010-02-24 株式会社日立製作所 リモートコピーシステム
JP4518541B2 (ja) * 2004-01-16 2010-08-04 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の制御方法
JP2005301476A (ja) * 2004-04-08 2005-10-27 Hitachi Ltd 給電制御システム、及び記憶装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076592A (ja) * 2001-09-04 2003-03-14 Hitachi Ltd データ格納システム
JP2004030254A (ja) * 2002-06-26 2004-01-29 Hitachi Ltd リモートsi制御方式
JP2004326244A (ja) * 2003-04-22 2004-11-18 Nec System Technologies Ltd ディスクアレイシステム
JP2005157710A (ja) * 2003-11-26 2005-06-16 Hitachi Ltd ドライブの稼働時間を抑止するディスクアレイ
JP2005165618A (ja) * 2003-12-02 2005-06-23 Hitachi Ltd ストレージシステムの制御方法、ストレージシステム、及び記憶装置
US20050144486A1 (en) * 2003-12-24 2005-06-30 Komarla Eshwari P. Dynamic power management
JP2005222110A (ja) * 2004-02-03 2005-08-18 Hitachi Ltd ストレージサブシステム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287459A (ja) * 2007-05-17 2008-11-27 Hitachi Ltd ジャーナルを利用したリモートコピーのコピー先となるストレージシステムの消費電力を節約する方法及びシステム
US8352766B2 (en) 2007-05-17 2013-01-08 Hitachi, Ltd. Power control of target secondary copy storage based on journal storage usage and accumulation speed rate
JP2008299695A (ja) * 2007-06-01 2008-12-11 Hitachi Ltd ストレージシステムの電力消費を制御するデータベース管理システム
JP2009020858A (ja) * 2007-07-10 2009-01-29 Hitachi Ltd データデデュプリケーションを用いる電力効率のよいストレージ
JP2009199189A (ja) * 2008-02-19 2009-09-03 Canon Inc 情報処理装置及びその制御方法
US8762750B2 (en) 2008-02-19 2014-06-24 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP2010049438A (ja) * 2008-08-21 2010-03-04 Hitachi Ltd 省電力バックアップ管理方法
US8108637B2 (en) 2008-11-28 2012-01-31 Hitachi, Ltd. Information processing system, controlling method in information processing system, and managing apparatus to manage remote copy in consideration of saving power
JP2011192202A (ja) * 2010-03-16 2011-09-29 Toshiba Corp ディスクアレイ装置及び同ディスクアレイ装置に適用される論理ディスク再構成方法

Also Published As

Publication number Publication date
JP5036158B2 (ja) 2012-09-26
EP1783595A3 (en) 2009-06-24
US20070079088A1 (en) 2007-04-05
EP1783595A2 (en) 2007-05-09
US7529950B2 (en) 2009-05-05

Similar Documents

Publication Publication Date Title
JP5036158B2 (ja) 情報処理システム及び情報処理システムの制御方法
JP4728031B2 (ja) リモートコピーペアの移行を行うシステム
JP4412989B2 (ja) 複数の記憶システムを有するデータ処理システム
US8108606B2 (en) Computer system and control method for the computer system
US7827367B2 (en) Backup control method for acquiring plurality of backups in one or more secondary storage systems
JP4703959B2 (ja) 記憶装置システムおよびそのレプリケーション作成方法
JP4800056B2 (ja) ストレージシステム及びその制御方法
US6654769B2 (en) File system for creating switched logical I/O paths for fault recovery
JP4800031B2 (ja) ストレージシステム及びスナップショット管理方法
JP4727437B2 (ja) データベースを有するストレージシステムの記憶制御方法
EP1148416B1 (en) Computer system and snapshot data management method
JP4993913B2 (ja) 記憶制御装置及びそのデータ管理方法
US7461201B2 (en) Storage control method and system for performing backup and/or restoration
US7590809B2 (en) Remote copy system
JP2004334574A (ja) ストレージの運用管理プログラム、運用管理方法及び管理計算機
JP2005301590A (ja) ストレージシステム及びデータ複製方法
JP2006293850A (ja) リモートコピーシステムおよびリモートコピー方法
JP2010079588A (ja) 仮想ボリュームを有する記憶制御装置
JP5409799B2 (ja) リモートコピーシステム及びリモートコピー制御方法
JP5331892B2 (ja) ストレージシステム及びストレージシステムにおけるデータ複製方法
JP2007141047A (ja) 計算機システム及び計算機システムのデータ複製方法
JP2006323559A (ja) データ処理システム
JP2003157151A (ja) ミラー構成ストレージでのファイル共用システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees