JP2007122531A - 負荷分散システム及び方法 - Google Patents

負荷分散システム及び方法 Download PDF

Info

Publication number
JP2007122531A
JP2007122531A JP2005315634A JP2005315634A JP2007122531A JP 2007122531 A JP2007122531 A JP 2007122531A JP 2005315634 A JP2005315634 A JP 2005315634A JP 2005315634 A JP2005315634 A JP 2005315634A JP 2007122531 A JP2007122531 A JP 2007122531A
Authority
JP
Japan
Prior art keywords
ldev
pair
load
logical
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005315634A
Other languages
English (en)
Inventor
Yoko Sugiura
葉子 杉浦
Kiyousuke Achiwa
恭介 阿知和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005315634A priority Critical patent/JP2007122531A/ja
Priority to US11/302,221 priority patent/US7395388B2/en
Publication of JP2007122531A publication Critical patent/JP2007122531A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069—Management of state, configuration or failover
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2206/00—Indexing scheme related to dedicated interfaces for computers
    • G06F2206/10—Indexing scheme related to storage interfaces for computers, indexing schema related to group G06F3/06
    • G06F2206/1012—Load balancing

Abstract

【課題】同一筐体内コピー機能及び外部接続機能の両方を利用している機器の負荷を分散し得る負荷分散システム及び方法を提案する。
【解決手段】自機内に設定された論理デバイスのうち、ペア設定された一方の論理デバイスのデータを他方の論理デバイスにコピーする第１の機能と、外部の論理デバイスを仮想化して上位装置に提供する第２の機能とが搭載された第１の機器の負荷を分散させる負荷分散システム及び方法において、定期的に第１の機器の負荷と、当該第１の機器とは別個に設けられた第１及び第２の機能が搭載された第２の機器の負荷とをそれぞれ検出し、第１の機器の負荷が第２の機器の負荷よりも大きいときに、第１の論理デバイス内に設定された論理デバイスのうちの他の論理デバイスとペア設定されていない論理デバイスを第２の機器に移行させるように、第１及び第２の機器を制御するようにした。
【選択図】図２４

Description

本発明は、負荷分散システム及び方法に関し、例えば記憶システムに適用して好適なものである。
従来、ストレージ装置に搭載されるアプリケーション機能の１つとして、上位装置としてのホスト装置を経由することなく、同一のストレージ装置内で論理デバイス（以下、これをＬＤＥＶ（Logical Device）と呼ぶ）のミラーを作成するコピー機能（以下、これを同一筐体内コピー機能と呼ぶ）がある。
またストレージ装置に搭載される他のアプリケーション機能として、外部ストレージ装置内に設定されたＬＤＥＶ（以下、これを外部ＬＤＥＶと呼ぶ）を仮想化して自ストレージ装置内のＬＤＥＶ（以下、これを内部ＬＤＥＶと呼ぶ）のようにみせかけてホスト装置に提供する機能（以下、これを外部接続機能と呼ぶ）がある。
外部接続機能を利用していないストレージ装置の負荷を分散するには、ホスト装置を介して別のストレージ装置にデータを移行（コピー）する方法をとるのが一般的である。しかしながら、ストレージ装置が外部接続機能を利用している場合には、外部ＬＤＥＶに対するマッピングを他のストレージ装置内のＬＤＥＶに切り替えるだけで済むため、比較的簡単にストレージ装置の負荷を分散することができる。
なお、下記特許文献１には、物理的に離れた場所にある複数のストレージ装置間でホスト装置の介在なしにデータの２重書きを行う、いわゆるリモートコピー機能が搭載されたストレージ装置の負荷を分散させる技術が開示されている。
特開２００４−１４５８５５号公報
ところが、後述のように、同一筐体内コピー機能及び外部接続機能の両方を利用しているストレージ装置の場合、かかる外部ＬＤＥＶに対するマッピングの切替え処理を行なっても、実質的に移行前のコピー状態の移行を行うことができず、結果的に同一筐体内コピー機能及び外部接続機能の両方を利用しているストレージ装置の負荷を分散し得ない問題があった。
本発明は以上の点を考慮してなされたもので、同一筐体内コピー機能及び外部接続機能の両方を利用している機器の負荷を分散し得る負荷分散システム及び方法を提案しようとするものである。
かかる課題を解決するため本発明においては、自機内に設定された論理デバイスのうち、ペア設定された一方の前記論理デバイスのデータを他方の前記論理デバイスにコピーする第１の機能と、外部の論理デバイスを仮想化して上位装置に提供する第２の機能とが搭載された第１の機器の負荷を分散させる負荷分散システムにおいて、前記第１及び第２の機能が搭載された第２の機器と、定期的に前記第１の機器の負荷及び前記第２の機器の負荷をそれぞれ検出し、前記第１の機器の負荷が前記第２の機器の負荷よりも大きいときに、前記第１の機器内に設定された前記論理デバイスのうち、他の前記論理デバイスと前記ペア設定されていない前記論理デバイスを前記第２の機器に移行させるように、前記第１及び第２の機器を制御する管理装置とを設けるようにした。
この結果この負荷分散システムでは、第１の機器の負荷が第２の機器の負荷よりも大きくなったときに、第１の機器内に設定された論理デバイスが第２の機器に移行されるため、第１の機器の負荷を第２の機器に分散させることができる。この場合において、第２の機器に移行される論理デバイスは、他の論理デバイスとペア設定されていない論理デバイスであるため、第１の機器内に設定された各コピーペアの現在の状態に関わりなく、かかる論理デバイスの移行処理を容易に行うことができる。
また本発明においては、前記管理装置は、前記第１の機器の負荷が前記第２の機器の負荷よりも大きいときに、前記第１の機器内に設定された前記論理デバイスのうち、他の前記論理デバイスと前記ペア設定されていない前記論理デバイスを前記第２の機器に移行させた後に、前記第１の機器内に設定された前記論理デバイスのうちの他の前記論理デバイスとペア設定された前記論理デバイスを前記第２の機器に移行させるように、前記第１及び第２の機器を制御するようにした。さらに前記管理装置は、前記第１の機器内においてペア設定された前記一方の論理デバイス及び前記他方の論理デバイスからなるコピーペアを前記第２の機器に移行させる際に、当該コピーペアの現在の状態を検出すると共に、当該検出結果に応じた制御情報を前記第２の機器に通知し、前記第２の機器は、前記管理装置から通知される前記制御情報に基づいて、前記第１の機器から当該第２の機器に移行された前記コピーペアの状態を設定するようにした。
この結果、この負荷分散システムでは、第１の機器内に設定されたコピーペアを構成する各論理デバイスについては、そのときのコピーペアの状態を維持したまま、第２の機器に移行させることができる。
さらに本発明においては、自機内に設定された論理デバイスのうち、ペア設定された一方の前記論理デバイスのデータを他方の前記論理デバイスにコピーする第１の機能と、外部の論理デバイスを仮想化して上位装置に提供する第２の機能とが搭載された第１の機器の負荷を分散させる負荷分散方法において、定期的に前記第１の機器の負荷と、当該第１の機器とは別個に設けられた第１及び第２の機能が搭載された第２の機器の負荷とをそれぞれ検出する第１のステップと、前記第１の機器の負荷が前記第２の機器の負荷よりも大きいときに、前記第１の機器内に設定された前記論理デバイスのうち、他の前記論理デバイスと前記ペア設定されていない前記論理デバイスを前記第２の機器に移行させるように、前記第１及び第２の機器を制御する第２のステップとを設けるようにした。
この結果、この負荷分散方法によれば、第１の機器の負荷が第２の機器の負荷よりも大きくなったときに、第１の機器内に設定された論理デバイスが第２の機器に移行されるため、第１の機器の負荷を第２の機器に分散させることができる。この場合において、第２の機器に移行される論理デバイスは、他の論理デバイスとペア設定されていない論理デバイスであるため、第１の機器内に設定された各コピーペアの現在の状態に関わりなく、かかる論理デバイスの移行処理を容易に行うことができる。
さらに本発明においては、前記第２のステップでは、前記第１の機器の負荷が前記第２の機器の負荷よりも大きいときに、前記第１の機器内に設定された前記論理デバイスのうち、他の前記論理デバイスと前記ペア設定されていない前記論理デバイスを前記第２の機器に移行させた後に、前記第１の機器内に設定された前記論理デバイスのうちの他の前記論理デバイスとペア設定された前記論理デバイスを前記第２の機器に移行させるように、前記第１及び第２の機器を制御するようにした。また前記第２のステップでは、前記第１の機器内においてペア設定された前記一方の論理デバイス及び前記他方の論理デバイスからなるコピーペアを前記第２の機器に移行させる際に、当該コピーペアの現在の状態を検出すると共に、当該検出結果に応じた制御情報を前記第２の機器に通知し、前記第２の機器は、前記管理装置から通知される前記制御情報に基づいて、前記第１の機器から当該第２の機器に移行された前記コピーペアの状態を設定するようにした。
この結果、この負荷分散方法によれば、第１の機器内に設定されたコピーペアを構成する各論理デバイスについては、そのときのコピーペアの状態を維持したまま、第２の機器に移行させることができる。
本発明によれば、自機内に設定された論理デバイスのうち、ペア設定された一方の論理デバイスのデータを他方の論理デバイスにコピーする第１の機能と、外部の論理デバイスを仮想化して上位装置に提供する第２の機能との両方を利用している機器の負荷を、第１の機器内に設定された各コピーペアの現在の状態に関わりなく、容易に分散させることができる。
以下図面について、本発明の一実施の形態を詳述する。
（１）ストレージ装置におけるアプリケーション機能
（１−１）同一筐体内コピー機能
同一筐体内コピー機能が搭載されたストレージ装置２では、当該同一筐体内コピー機能の実行時、図１に示すように、コピーペアとして設定（以下、これをペア設定と呼ぶ）された２つのＬＤＥＶ３，４のうちのコピー元となるＬＤＥＶ（以下、これを正ボリュームと呼ぶ）３内に格納されたデータを、予めコピー先となるＬＤＥＶ（以下、これを副ボリュームと呼ぶ）４にコピーすることにより、正ボリューム３及び副ボリューム４の内容を同一にする。
そして、ストレージ装置２は、その後ホスト装置１から正ボリューム３に対してデータの書込み要求があったときには、当該書込み要求に従ってデータを正ボリューム３の指定されたアドレスに書き込むと共に、これと同期又は非同期に同じデータを副ボリューム４の対応するアドレスにデータを書き込むように動作する。
また、このストレージ装置２では、その後正ボリューム３及び副ボリューム４のミラーが解除されてスナップショットが生成された状態でホスト装置１から正ボリューム３に対するデータの書込み要求が与えられたときには、正ボリューム３に書込み対象のデータを書き込む一方、これと併せてその箇所を記憶する。
そのための手段として、ストレージ装置２は、正ボリューム３におけるデータのアクセス単位であるブロック数と同じビット数のビット列を差分ビット情報６として内部メモリ５内に保持しており、正ボリューム３及び副ボリューム４の内容が同じブロックについては差分ビット情報６の対応するビットの値を「０」、正ボリューム３及び副ボリューム４の内容が異なるブロックについては対応するビットの値を「１」に設定することで、正ボリューム３及び副ボリューム４間の差分を管理する。
ところで、かかる同一筐体内コピー機能において、正ボリューム３及び副ボリューム４の状態（以下、これをペアステータスと呼ぶ）としては、「ペア（pair）」、「コピー（copy）」及び「スプリット（split）」の３つがある。そして、同一筐体内コピー機能が搭載されたストレージ装置２では、ペア設定された各正ボリューム３及び副ボリューム４について、これら正ボリューム３及び副ボリューム４のＬＤＥＶ番号と、これら正ボリューム３及び副ボリューム４の現在のペアステータスとを、内部メモリ５に格納されたペア管理テーブル７を用いて管理している。
この場合、「ペア」のペアステータスは、図２に示すように、正ボリューム３から副ボリューム４へのデータコピーが完了して正ボリューム３及び副ボリューム４がミラーになっている状態を指す。このペアステータス時には、正ボリューム３にデータの書き込みがあったときに、これと同時に副ボリューム４の対応するブロックにも同じデータが書き込まれる。またこのペアステータス時には、正ボリューム３及び副ボリューム４の内容が等しいため、差分ビット情報６のすべてのビットが常に「０」となる。
「コピー」のペアステータスは、図３に示すように、正ボリューム３から副ボリューム４へのデータコピーが途中であり、正ボリューム３及び副ボリューム４が未だミラーとなっていない状態である。このペアステータス時には、正ボリューム３にデータの書き込みがあったときには、これと同時に副ボリューム４の対応する箇所にも同じデータが書き込まれる一方、これと並行して差分ビット情報６の「１」が設定されているブロックのデータコピーが正ボリューム３及び副ボリューム４間で行われる。
また「スプリット」のペアステータスは、図４に示すように、副ボリューム４へのデータ書き込みが行われず、この副ボリューム４によってある時点のスナップショットが作成されている状態である。このペアステータス時には、正ボリューム３にデータの書き込みがあっても副ボリューム４へのデータの書き込みが行われず、差分ビット情報６の対応するビットに「１」が設定される。
図５は、このような「ペア」、「コピー」及び「スプリット」の各ペアステータスと、ペア設定なしのペアステータス（「ペアなし」）との間の状態遷移の様子を示したものである。この図５からも明らかなように、「ペアなし」のペアステータスから２つのＬＤＥＶにペア設定がなされると、そのペアのペアステータスが「コピー」に遷移し、その後正ボリューム３から副ボリューム４へのデータコピーが完了するとペアステータスが「ペア」に遷移する。
そして、「ペア」のペアステータスからストレージ装置２に対してそのペアの分割要求を行うと、正ボリューム３及び副ボリューム４のペアステータスが「スプリット」となり、「スプリット」のペアステータスから再同期要求を行うことによりペアステータスを再度「コピー」に遷移させることができる。なお、「ペア」、「コピー」及び「スプリット」のいずれの場合においても、ペアを消去することによって、ペアステータスを「ペアなし」に遷移させることができる。
図６は、かかる同一筐体内コピー機能の実行時における正ボリューム３へのデータ書込み処理に関するストレージ装置２の処理内容を表すフローチャートである。
ストレージ装置２は、ホスト装置１から正ボリューム３へのデータの書込み要求が与えられた場合、まず、かかる書込み要求と共にホスト装置１から与えられる書込み対象のデータを正ボリューム３の指定されたブロックに書き込む（ＳＰ１）。
またストレージ装置２は、この後ペア管理テーブル７（図１）を参照して、その正ボリューム３及び対応する副ボリューム４からなるコピーペアに付与されたペア番号のペアステータスが「スプリット」である場合には（ＳＰ２：ＹＥＳ）、差分ビット情報７（図１）の対応するビットを「１」に設定する（ＳＰ３）。
これに対して、ストレージ装置２は、かかる正ボリューム３及び副ボリューム４のペアのペアステータスが「スプリット」でない場合には（ＳＰ２：ＮＯ）、差分ビット情報７の対応するビットを「０」に設定し（ＳＰ４）、副ボリューム４の対応するブロックに、正ボリューム３に書き込んだデータと同じデータを書き込む（ＳＰ５）。
一方、図７は、副ボリューム４へのデータ書込み処理（以下、これをデータコピー処理と呼ぶ）に関するストレージ装置２の処理内容を表すフローチャートである。ストレージ装置２は、ペアステータスが「ペア」又は「コピー」である正ボリューム３及び副ボリューム４の各ペアについて、このフローチャートに従って、正ボリューム３へのデータ書込み処理とは非同期に副ボリューム４へのデータのコピー処理を一定時間毎に実行する。
すなわちストレージ装置２は、データコピー処理を開始すると、まずペア管理テーブル５（図１）に登録された１つの正ボリューム３及び副ボリューム４のペアを選択し、そのコピーペアのペアステータスが「スプリット」であるか否かをペア管理テーブル７に基づいて判断する（ＳＰ１０）。
ストレージ装置２は、このペアのペアステータスが「スプリット」である場合には（ＳＰ１０：ＹＥＳ）、このデータコピー処理を終了し、これに対してこのペアのペアステータスが「スプリット」でない場合には（ＳＰ１０：ＮＯ）、対応する差分ビット情報から値が「１」のビットを検索する（ＳＰ１１）。
ストレージ装置２は、この検索により「１」のビットを検出できなかったときには（ＳＰ１２：ＮＯ）、このデータコピー処理を終了し、「１」のビットを検出したときには（ＳＰ１２：ＹＥＳ）、正ボリューム３における当該ビットと対応するブロックのデータを読み出し（ＳＰ１３）、これを副ボリューム４における対応するブロックに書き込む（ＳＰ１４）。
この後ストレージ装置２は、対応する差分ビット情報におけるステップＳＰ１２において「１」であると判定したビットの値を「０」に変更し、さらにこの後このデータコピー処理を終了する（ＳＰ１６）。
（１−２）外部接続機能
一方、外部接続機能が搭載されたストレージ装置２は、当該外部接続機能の実行時、外部接続用ポート２Ａに接続された外部ストレージ装置１０内のＬＤＥＶ１２を、自ストレージ装置内に設定された仮想ＬＤＥＶ１１にマッピングする。そして、ストレージ装置２は、ホスト装置１から仮想ＬＤＥＶ１１に対するアクセスがあると、外部接続用ポート２Ａを介して対応するデータ入出力要求を外部ストレージ装置１０に発行する。この結果、対応するデータが外部ストレージ装置１０内のＬＤＥＶ１２における対応するブロックに入出力される。従って、かかるホスト装置１から仮想ＬＤＥＶ１１へのアクセスは、実際には外部ストレージ装置１０内のＬＤＥＶ１２に対して行われることとなる。
また、このような外部接続機能及び上述の同一筐体内コピー機能の双方を連携させることも可能である。この場合、図９に示すように、ストレージ装置２の外部接続機能を利用して、外部ストレージ装置１０の第１及び第２のＬＤＥＶ１２Ａ，ＬＤＥＶ １２Ｂをそれぞれストレージ装置内の第１及び第２の仮想ＬＤＥＶ１１Ａ，１１Ｂにマッピングし、同一筐体内コピー機能を利用して、これら第１及び第２の仮想ＬＤＥＶ１１Ａ，１１Ｂ間においてデータコピーを行う。
ただし、第１及び第２の仮想ボリューム１２Ａ，１２Ｂは実体がないため、ホスト装置１から第１の仮想ＬＤＥＶ１１Ａへのアクセスは第１の仮想ＬＤＥＶ１１Ａを介して第１のＬＤＥＶ１２Ａに対して行われ、第１の仮想ＬＤＥＶ１１Ａから第２の仮想ＬＤＥＶ１２Ａへのデータコピーは、第１のＬＤＥＶ１２Ａから第２のＬＤＥＶ１２Ｂへのデータコピーとして実行されることとなる。
（１−３）負荷分散処理
ところで、ある第１のストレージ装置に設定されたＬＤＥＶに対するアクセスが頻繁で、これに対する第１のストレージ装置の負荷が大きい場合に、その第１のストレージ装置のそのＬＤＥＶに格納されたデータを他の第２のストレージ装置のＬＤＥＶに移行することにより、第１のストレージ装置の負荷を分散することが考えられる。
この場合において、図１０に示すように、第１のストレージ装置２０が外部接続機能を利用していない場合のデータ移行は、ホスト装置１に搭載されたデータ移行ソフトウェア２０の制御のもとに、第１のストレージ装置１１内の対象とするＬＤＥＶ２２からデータを読み出し、これをホスト装置１を介して第２のストレージ装置２３内の対象とするＬＤＥＶ２４に書き込むことにより行うことができる。しかしながら、この手法によると、実際にデータの移行が伴うため、ホスト装置１並びに第１及び第２のストレージ装置２１，２３のそれぞれに負荷が生じる問題がある。
これに対して、図１１に示すように、第１のストレージ装置３０が外部接続機能を利用している場合、つまり第１のストレージ装置３０の外部接続用ポート３１に接続された第２のストレージ装置３２内に設定されたＬＤＥＶ（以下、このようなＬＤＥＶを外部ＬＤＥＶと呼ぶ）３３を、第１のストレージ装置３０内に設定された第１の仮想ＬＤＥＶ３４にマッピングしている場合のデータ移行は、かかる外部ＬＤＥＶ３３を、外部ＬＤＥＶ３３及び第３のストレージ装置３５に設定された第２の仮想ＬＤＥＶ３６にマッピングし直すだけで、第１のストレージ装置３０の負荷を第３のストレージ装置３５に分散させることができる。この場合、第３のストレージ装置３５の仮想ＬＤＥＶ３６を当該第３のストレージ装置３５内のポート３７からホスト装置１のポート３８に所定のＬＵＮ番号で割り当てることによって、ホスト装置１が第２の仮想ボリューム３６を介して外部ＬＤＥＶ３３にアクセスすることが可能となる。
そして、この手法によれば、実際のデータの移行を伴わないため、当該データ移行に起因する負荷をホスト装置１並びに第１及び第２のストレージ装置、３０，３３に生じさせることなく、第１のストレージ装置３０の負荷を分散させることができるという利点がある。
しかしながら、図９について上述したような外部接続機能及び同一筐体内コピー機能の双方を利用しているストレージ装置２では、ペア管理テーブル７や各コピーペアについての差分ビット情報６が第１のストレージ装置２内に存在している。このため、例えば図１２に示すように、外部ストレージ装置である第２のストレージ装置３２内に設定された第１及び第２の外部ＬＤＥＶ３３Ａ，３３Ｂがそれぞれ第１のストレージ装置３０の第１及び第２の仮想ＬＤＥＶ３４Ａ，３４Ｂにマッピングされている場合において、第１及び第２の外部ＬＤＥＶ３３Ａ，３３Ｂを第３のストレージ装置３５の第３又は第４の仮想ＬＤＥＶ３６Ａ，３６Ｂにそれぞれマッピングするだけでは、これらペア管理テーブル７や各差分ビット情報１１Ｂが第３のストレージ装置３５に引き継ぐことができない。
つまり、図１２のように構成されたシステムでは、第２のストレージ装置３２内の外部ＬＤＥＶ３３Ａ，３３Ｂに対するマッピングを第１のストレージ装置３０内の第１及び第２の仮想ＬＤＥＶ３４Ａ，３４Ｂから第３のストレージ装置３５内の第１及び第２の仮想ＬＤＥＶ３６Ａ，３６Ｂへのマッピングの切り替え処理を行うだけでは、第１のストレージ装置３０から第３のストレージ装置３５へのボリュームの移行を行い得ず、この結果として第１のストレージ装置３０の負荷分散を行い得ない問題があった。
特に、第１のストレージ装置３０内の第１及び第２の仮想ボリューム３４Ａ，３４Ｂが「ペア」のペアステータスである場合に、ミラー状態を保ったまま、第１のストレージ装置３０の負荷を第３のストレージ装置３５に分散させることができない。
以下に説明する第１〜第４の実施の形態による記憶システムは、図１３に示すように、外部接続機能により外部ＬＤＥＶにそれぞれマッピングされた２つの仮想ＬＤＥＶ間において同一筐体内コピー機能により同一筐体内コピーを実行している既存のストレージ装置（以下、これを既設置ストレージ装置と呼ぶ）の負荷を、コピーペアの現在の状態（ペアステータス及び正副ボリューム間のデータ整合性）を維持したまま他のストレージ装置（以下、これを追加ストレージ装置と呼ぶ）に分散し得るようになされた点を特徴の１つとしている。
以下、このような機能（以下、これを負荷分散機能と呼ぶ）が搭載された第１〜第４の実施の形態による記憶システムについて説明する。
（２）第１の実施の形態
（２−１）第１の実施の形態による記憶システムの構成
図１３において、４０は全体として第１の実施の形態による記憶システムを示す。この記憶システム４０は、ホスト装置４１、既設置ストレージ装置４２、追加ストレージ装置４３及び管理サーバ４４が第１のネットワーク４５を介して接続されると共に、既設置ストレージ装置４２及び追加ストレージ装置４３が第２のネットワーク４６を介して外部ストレージ装置４７が接続され、さらにホスト装置４１、既設置ストレージ装置４２、追加ストレージ装置４３、管理サーバ４４及び外部ストレージ装置４７がＬＡＮ（Local Area Network）４８を介して接続されることにより構成されている。
上位装置としてのホスト装置４１は、ＣＰＵ（Central Processing Unit）やメモリ等の情報処理資源を備えたコンピュータ装置であり、例えばパーソナルコンピュータやワークステーション、メインフレームなどから構成される。ホスト装置４１は、キーボード、スイッチやポインティングデバイス、マイクロホン等の情報入力装置（図示せず）と、モニタディスプレイやスピーカ等の情報出力装置（図示せず）とを備えている。また、ホスト装置４１には、第１のネットワーク４５を介して既設置ストレージ装置４２等にアクセスするためのインタフェースとして機能するＨＢＡ（Host Bus Adapter）５０と、ＬＡＮ４８を介して管理サーバ４４等と通信を行うためのＮＩＣ（Network Interface Card）５１とが設けられている。
既設置ストレージ装置４２は、ホスト装置４１に対して外部ストレージ装置４７が提供するＬＤＥＶ（以下、これを外部ＬＤＥＶと呼ぶ）５２を仮想化して仮想ＬＤＥＶ５３として提供する外部接続機能と、自ストレージ装置内に設定されたＬＤＥＶ（仮想ＬＤＥＶ５３及び後述の内部ＬＤＥＶ６２）間でのコピー処理を行う同一筐体内コピー機能とを有するもので、図１４に示すように、複数の物理記憶デバイス６０と、コントロール部６１とを備えて構成される。
このうち物理記憶デバイス６０としては、例えばＳＣＳＩ（Small Computer System Interface）ディスク等の高価なディスク又はＳＡＴＡ（Serial AT Attachment）ディスクや光ディスク等の安価なディスクが適用される。
これら物理記憶ディスク６０はコントロール部６１によりＲＡＩＤ方式で運用される。１又は複数の物理記憶ディスク６０により提供される物理的な記憶領域上に、１又は複数のＬＤＥＶ（以下、これを内部ＬＤＥＶと呼ぶ）６２（図１３）が設定される。そしてデータは、これら内部ＬＤＥＶ６２や仮想ＬＤＥＶ５３内に所定大きさのブロック（以下、これを論理ブロックと呼ぶ）単位で記憶される。
各内部ＬＤＥＶ６２及び各仮想ＬＤＥＶ５３には、それぞれ固有の識別子（以下、これをＬＤＥＶ番号と呼ぶ）が付与される。本実施の形態の場合、データの入出力は、このＬＤＥＶ番号と、各ブロックにそれぞれ付与される固有の番号（ＬＢＡ：Logical Block Address）とを組み合わせたものをアドレスとして、当該アドレスを指定して行われる。
一方、コントロール部６１は、複数のチャネルアダプタ７０、接続部７１、共有メモリ７２、キャッシュメモリ７３、複数のディスクアダプタ７４及び管理端末７５を備えて構成される。
各チャネルアダプタ７０は、それぞれマイクロプロセッサ、メモリ及び通信インタフェース等を備えたマイクロコンピュータシステムとして構成されており、ホスト装置４１（図１３）から第１のネットワーク４５を介して送信される各種コマンドを解釈して対応する処理を実行する。
また各チャネルアダプタ７０には、図１３に示すように、それぞれ第１のネットワーク４５に接続するための通常のポート４２Ａと、イニシエータ機能を有し、ＳＣＳＩコマンドを発行可能な外部接続用ポート４２Ｂとが設けられている。これらポート４２Ａ及び外部接続用ポート４２Ｂには、それぞれを識別するためのＩＰ（Internet Protocol）アドレスやＷＷＮ（World Wide Address）などのポートアドレスが割り当てられており、これにより各チャネルアダプタ７０がそれぞれ個別にＮＡＳ（Network Attached Storage）として振る舞うことができるようになされている。
接続部７１は、各チャネルアダプタ７０、共有メモリ７２、キャッシュメモリ７３及び各ディスクアダプタ７４と接続されている。チャネルアダプタ７０、共有メモリ７２、キャッシュメモリ７３及びディスクアダプタ７４間でのデータやコマンドの授受は、この接続部７１を介して行われる。接続部７１は、例えば高速スイッチングによりデータ伝送を行う超高速クロスデバイススイッチなどのスイッチ又はバス等で構成される。
共有メモリ７２及びキャッシュメモリ７３は、チャネルアダプタ７０及びディスクアダプタ７４により共有されるメモリである。共有メモリ７２は、主にそのストレージ装置全体の構成に関するシステム構成情報や、コマンド等を記憶するために利用される。後述のＬＤＥＶ管理テーブル８５や、ペア管理テーブル７及びコピーペア毎の差分ビット情報６もこの共有メモリ７２に格納される。またキャッシュメモリ７３は、主に物理記憶デバイス６０に入出力するデータを一時的に記憶するために利用される。
各ディスクアダプタ７４は、マイクロプロセッサやメモリなどを備えたマイクロコンピュータシステムとして構成され、物理記憶デバイス６０との通信時におけるプロトコル制御を行うインタフェースとして機能する。これらディスクアダプタ７４は、例えばファイバーチャネルケーブルを介して対応する物理記憶デバイス６０と接続されており、ファイバーチャネルプロトコルに従ってこれら物理記憶デバイス６０との間のデータの授受を行う。
管理端末７５は、そのストレージ装置全体の動作を制御する端末装置であり、例えばノード型のパーソナルコンピュータから構成される。管理端末７５は、図示しないＬＡＮを介して各チャネルアダプタ７０及び各ディスクアダプタ７４と接続されている。管理端末は、そのストレージ装置内の障害の有無を監視し、障害が発生したときにこれを自己のディスプレイに表示したり、オペレータ操作に応じて対応する物理記憶デバイスの閉塞処理を行う。オペレータは管理端末７５を用いてシステム構成情報を定義することができ、またこの定義したシステム構成情報を、チャネルアダプタ７０又はディスクアダプタ７４と接続部７１とを経由して、共有メモリ７２に格納することができる。
同様に、追加ストレージ装置４３は、ホスト装置４１に対して外部ストレージ装置４７が提供するＬＤＥＶ５２を仮想化して仮想ＬＤＥＶ７６（図１３）として提供する外部接続機能と、自ストレージ装置内に設定された仮想ＬＤＥＶ７６や、内部ＬＤＥＶ７７（図１３）間でのコピー処理を行う同一筐体内コピー機能とを有するもので、図１３に示すように、複数の物理記憶デバイス６０と、コントロール部６１とを備えて構成される。
この追加ストレージ装置４３は、図１４について上述した既設置ストレージ装置４２と同様の構成を有しており、ポート４３Ａを介して第１のネットワーク４５と接続されると共に、外部接続用ポート４３Ｂを介して第２のネットワーク４６と接続されている。
管理サーバ４４は、各種演算を実行するＣＰＵ８０、各種制御プログラムが格納された図示しないＲＯＭ（Read Only Memory）と、ＣＰＵ８０のワークメモリとしての図示しないＲＡＭ（Random Access Memory）と、ハードディスク等からなる物理記憶デバイス８１と、ＬＡＮに接続するためのＮＩＣ８２と、第１のネットワーク４５を介してホスト装置４１や、既設置ストレージ装置４２又は追加ストレージ装置４３等にアクセスするためのＨＢＡ８３などを備えて構成される。
物理記憶デバイス８１には、データ入出力処理やデータコピー処理等に関する既設置ストレージ装置４２の負荷を分散させる制御処理の処理内容を規定した負荷分散ソフトウェア８４が格納されており、ＣＰＵ８０は、後述のようにこの負荷分散ソフトウェア８４に従って、既設置ストレージ装置４２や追加ストレージ装置４３の負荷バランスをチェックし、既設置ストレージ装置４２の方が負荷が高いときに既設置ストレージ装置４２、追加ストレージ装置４３及び外部ストレージ装置４７を制御して、既設置ストレージ装置４２の負荷を追加ストレージ装置４３に分散させる。
第１及び第２のネットワーク４５，４６は、例えばＳＡＮ（Storage Area Network）、ＬＡＮ、インターネット、公衆回線又は専用回線などから構成される。これら第１又は第２のネットワーク４５，４６を介した通信は、当該第１又は第２のネットワーク４５，４６がＳＡＮである場合にはファイバーチャネルプロトコルに従って行われ、第１又は第２のネットワーク４５，４６がＬＡＮである場合にはＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に従って行われる。なお、この実施の形態においては、既設置ストレージ装置４２、追加ストレージ装置４３及び外部ストレージ装置４７間の接続関係を分かり易くするために第１及び第２のネットワーク４５，４６を別個のものとして構成しているが、これらを同じ１つのネットワークにより構成するようにしても良い。
また外部ストレージ装置４７は、外部接続機能及び同一筐体内コピー機能を有しない点を除いて図１４について上述した既設置ストレージ装置４２と同様に構成されており、第２のネットワーク４６を介して既設置ストレージ装置４２の外部接続用ポート４２Ｂ及び追加ストレージ装置４３の外部接続用ポート４３Ｂと接続されている。
（２−２）記憶システムにおける負荷分散処理機能
（２−２−１）各種テーブル及び差分ビット情報の構成
次に、本実施の形態による記憶システム４０における負荷分散処理機能の説明をする前に、当該負荷分散処理機能の実行時に用いる各種テーブル及び差分ビット情報の構成について説明する。
図１５に示すように、既設置ストレージ装置４２及び追加ストレージ装置４３の各共有メモリ７２には、それぞれＬＤＥＶ管理テーブル８５、ペア管理テーブル７及び差分ビット情報６が保持されている。そして管理サーバ４４のＣＰＵ８０は、負荷分散処理時、管ＮＩＣ８２及びＬＡＮ４８を介して既設置ストレージ装置４２や追加ストレージ装置４３からＬＤＥＶ管理テーブル８５、ペア管理テーブル７及び差分ビット情報６の各データを取得し得るようになされている。
この場合、ＬＤＥＶ管理テーブル８５は、その既設置ストレージ装置４２又は追加ストレージ装置４３上に存在するすべての内部ＬＤＥＶ６２，７７及び仮想ＬＤＥＶ５３，７６に関する情報を保持するためのテーブルであり、図１６（Ａ）に示すように、内部（仮想）ＬＤＥＶフィールド９０及び外部ＬＤＥＶフィールド９１とから構成される。
このうち内部（仮想）ＬＤＥＶフィールド９０は、ＬＤＥＶ番号欄９２、容量欄９３、ＬＵＮ欄９４及び外部接続用ポートアドレス欄９５から構成される。そして、ＬＤＥＶ番号欄９２には、各内部ＬＤＥＶ６２，７７又は仮想ＬＤＥＶ５３，７６にそれぞれ付与された通し番号が格納され、容量欄９３には、対応する内部ＬＤＥＶ６２，７７又は仮想ＬＤＥＶ５３，７６の容量が格納される。またＬＵＮ欄９４には、当該対応する内部ＬＤＥＶ６２，７７又は仮想ＬＤＥＶ５３，７６のＬＵＮが格納され、外部接続用ポートアドレス欄９５には、その既設置ストレージ装置４２又は追加ストレージ装置４３における外部接続用ポート４２Ａ，４３Ａ（図１３）のポートアドレスが格納される。
また外部ＬＤＥＶフィールド９１は、ポートアドレス欄９６及びＬＵＮ欄９７から構成される。そしてＬＵＮ欄９７には、その既設置ストレージ装置４２又は追加ストレージ装置４３上の対応するＬＤＥＶが仮想ＬＤＥＶ５３，７６である場合に、当該仮想ＬＤＥＶ５３，７６にマッピングされた外部ストレージ装置４７（図１３）内の外部ＬＤＥＶ５２（図１３）のＬＵＮが格納され、ポートアドレス欄９６には、その外部ＬＤＥＶ５２と接続された当該外部ストレージ装置４７内のポート４７Ａ（図１３）の例えばポートアドレスが格納される。
従って、図１６（Ｂ）に示すように、このＬＤＥＶ管理テーブル８５における内部（仮想）ＬＤＥＶフィールド９０のＬＵＮ欄９４及び外部ＬＤＥＶフィールド９１のＬＵＮ欄９７の双方にＬＵＮが格納されているエントリについては、実データが外部ＬＤＥＶ５２（図１３）に存在し、ホスト装置４１（図１３）からのアクセスが可能であり、内部ＬＤＥＶフィールド９０のＬＵＮ欄９４にＬＵＮが格納されているが外部ＬＤＥＶフィールド９１のＬＵＮ欄９７にＬＵＮが格納されていないエントリについては、実データがその既設置ストレージ装置４２又は追加ストレージ装置４３上の内部ＬＤＥＶ６２，７７に存在し、ホスト装置４１からのアクセスが可能であることが分かる。なお、内部ＬＤＥＶフィールド９０のＬＵＮ欄９４及び外部ＬＤＥＶフィールド９１のＬＵＮ欄９７の双方にＬＵＮが格納されていないエントリは、その既設置ストレージ装置４２又は追加ストレージ装置４３上に設定された未使用のＬＤＥＶであり、ホスト装置４１からのアクセスはできない。
一方、ペア管理テーブル７は、同一筐体内コピー機能を利用した同一筐体内でのコピー処理のためにペア設定されたコピーペアの構成情報を保持するためのテーブルであり、図１７に示すように、ペア番号欄１００、正ボリュームＬＤＥＶ番号欄１０１、副ボリュームＬＤＥＶ番号欄１０２及びペアステータス欄１０３から構成される。
この場合、ペア番号欄１００には、対応するコピーペアに付与された固有の番号であるペア番号が格納され、正ボリュームＬＤＥＶ番号欄１０１には、そのコピーペアの正ボリュームを形成するＬＤＥＶのＬＤＥＶ番号が格納される。また副ボリュームＬＤＥＶ番号欄１０２には、そのコピーペアの副ボリュームを形成するＬＤＥＶのＬＤＥＶ番号が格納され、ペアステータス欄１０３には、そのコピーペアの現在のペアステータス（「ペア（pair）」、コピー「copy」）又は「スプリット（sprit）」が格納される。
他方、差分ビット情報６は、図１８に示すように、対応するコピーペアの正ボリュームや副ボリュームを形成するＬＤＥＶのブロック数と同じ数のビットから構成されるビット列であり、正ボリューム及び副ボリュームのデータが異なるブロックに対応するビットに「１」が設定され、正ボリューム及び副ボリュームのデータが同じブロックに対応するビットに「０」が設定される。この差分ビット列６は、ペア管理テーブル７に登録されたコピーペアにそれぞれ対応させて、これらコピーペアと同じ数だけ存在する。
（２−２−２）負荷分散処理に関する各種コマンド
次に、管理サーバ４４のＣＰＵ８０（図１３）が負荷分散処理時に用いるコマンドについて説明する。
上述した記憶システム４０において、管理サーバ４４のＣＰＵ８０は、負荷分散機能の実行時、負荷分散ソフトウェア８４（図１３）に基づいて、図１９及び図２０に示す各種コマンドのうちの対応するコマンドをＬＡＮ４８（図１３）を介して既設置ストレージ装置４２や追加ストレージ装置４３又は外部ストレージ装置４７に送信することにより、これら既設置ストレージ装置４２や追加ストレージ装置４３又は外部ストレージ装置４７に必要な処理を実行させる。
図１９及び図２０は、このように負荷分散機能の実行時に管理サーバ４４から既設置ストレージ装置４２や追加ストレージ装置４３又は外部ストレージ装置４７に送信される各種コマンドの一例を示している。
例えば「createMapping」コマンドは、既設置ストレージ装置４２又は追加ストレージ装置４３に対して、ＬＤＥＶ番号、ＬＤＥＶ容量、マッピングするストレージ装置のポートアドレス及びマッピングする外部ＬＤＥＶ５２のＬＵＮを指定して、当該ＬＤＥＶ番号のＬＤＥＶと同容量の仮想ＬＤＥＶ５３，７６を作成し、作成した仮想ＬＤＥＶ５３，７６に、自己の外部接続用ポート４２Ｂ，４３Ｂに接続されている当該ポートアドレスのポート下に割り当てられた当該ＬＵＮの外部ＬＤＥＶ５２をマッピングすべき旨の指示を与えるときに用いられる。この処理によって、１つの外部ＬＤＥＶ５２と１つの仮想ボリューム５３，７６とが関連付けられることとなる。
具体的に、管理サーバ４４のＣＰＵ８０は、図２１（Ａ）に示すように、既設置ストレージ装置４２に対し、ＬＤＥＶ番号が「Ａ」で容量が「100（〔ＧＢ〕）」の仮想ＬＤＥＶ５３を作成させ、これをその既設置ストレージ装置４２の外部接続用ポート４２Ｂに接続されたポート４７Ａのネットワークアドレスが「12.23.34.45.56.67.78.89」である外部ストレージ装置４７内のＬＵＮが「ｎ」である外部ＬＤＥＶ５２をマッピングさせたいときには、「createmapping A 100 12.23.34.45.56.67.78.89 n」というコマンドを送信する。
この結果、かかるコマンドが与えられた既設置ストレージ装置４２は、このコマンドに従って、図２１（Ｂ）に示すように、指定されたＬＤＥＶ番号及び容量と、外部接続用ポート４２Ｂのネットワークアドレスとを、ＬＤＥＶ管理テーブル８５の内部（仮想）ＬＤＥＶフィールド９０に登録するようにして、指定されたＬＤＥＶ番号及び容量の仮想ＬＤＥＶ５３を作成する。またかかる既設置ストレージ装置４２は、ＬＤＥＶ管理テーブル８５におけるそのエントリの外部ＬＤＥＶフィールド９１に、指定されたネットワークアドレス及び指定されたＬＵＮを格納するようにして、かかる仮想ＬＤＥＶ５３に対して指定された外部ＬＤＥＶ５２をマッピングする。このときその既設置ストレージ装置４２は、かかる処理が成功したときには「True」、失敗したときには「False」のコマンドをＬＡＮ４８を介して管理サーバ４４に送信する。
一方、「deleteMapping」コマンドは、既設置ストレージ装置４２又は追加ストレージ装置４３に対して、外部ＬＤＥＶ５２と仮想ＬＤＥＶ５３，７６との関連付けを解除し、ＬＤＥＶ管理テーブル８５から対応するＬＵＮのエントリを削除すべき指示を与えるときに用いられる。この処理によって、ホスト装置４１から仮想ＬＤＥＶ５３，７６にアクセスできなくなる。
例えば、管理サーバ４４のＣＰＵ８０は、図２２（Ａ）に示すように、既設置ストレージ装置４２上のＬＤＥＶ番号が「Ａ」の仮想ＬＤＥＶ５３を削除したいときには、「deleteMapping A」というコマンドをその既設置ストレージ装置４２に送信する。
この結果、かかるコマンドが与えられた既設置ストレージ装置４２は、このコマンドに従って、外部接続用ポート４２Ｂにマッピングされている外部ストレージ装置４７の当該マッピングを解除し、ＬＤＥＶ番号が「Ａ」の仮想ＬＤＥＶ５３を削除して、図２２（Ｂ）に示すように、ＬＤＥＶ管理テーブル８５からこの仮想ＬＤＥＶ５３のエントリを削除する。このとき、その既設置ストレージ装置４２は、かかる処理が成功したときには「True」、失敗したときには「False」のコマンドをＬＡＮを介して管理サーバ４４に送信する。
他方、「createpair」コマンドは、コピー元のＬＤＥＶ番号、コピー先のＬＤＥＶ番号及び生成するコピーペアのペアステータス（「コピー」、「ペア」又は「スプリット」）を指定して、その既設置ストレージ装置４２や追加ストレージ装置４３にコピーペアを作成させる際に用いられる。この場合、「コピー」、「ペア」又は「スプリット」の各ペアステータスに対応する引数として、それぞれ「-inti」、「-pair」又は「-split」が用いられる。
例えば、管理サーバ４４のＣＰＵ８０は、既設置ストレージ装置４２又は追加ストレージ装置４３上のＬＤＥＶ番号が「Ａ」の仮想ＬＤＥＶ５３，７６又は内部ＬＤＥＶ６２，７７をコピー元（正ボリューム）、ＬＤＥＶ番号が「Ｂ」の仮想ＬＤＥＶ５３，７６又は内部ＬＤＥＶ６２，７７をコピー先（副ボリューム）として、ペアステータスが「ペア」のコピーペアを作成したいときには、「createpair A B -pair」というコマンドをその既設置ストレージ装置４２又は追加ストレージ装置４３に送信する。
図２３は、このような「createpair」コマンドを受信した既設置ストレージ装置４２内又は追加ストレージ装置４３内のチャネルアダプタ７０の処理内容を示すフローチャートである。かかるチャネルアダプタ７０は、このフローチャートに従って、指定されたコピーペアを作成する。
すなわちチャネルアダプタ７０は、「createpair」コマンドを受信すると、まず、この「createpair」コマンドに含まれるペアステータスについての引数が「-init」であるか否かを判断し（ＳＰ２０）、否定結果を得るとステップＳＰ２３に進む。
これに対してチャネルアダプタ７０は、かかるステップＳＰ２０の判断において肯定結果を得ると（ＳＰ２０：ＹＥＳ）、指定されたコピーペアをペア管理テーブル７に新たに登録する。具体的には、そのコピーペアについてのペア番号、正ボリュームとなる仮想ＬＤＥＶ５３，７６又は内部ＬＤＥＶ６２，７７のＬＤＥＶ番号（コマンドにおいて指定されたコピー元ＬＤＥＶのＬＤＥＶ番号）、副ボリュームとなる仮想ＬＤＥＶ５３，７６又は内部ＬＤＥＶ６２，７７のＬＤＥＶ番号（コマンドにおいて指定されたコピー先ＬＤＥＶのＬＤＥＶ番号）及びペアステータス（「コピー」）を、それぞれペア管理テーブル７に追加する（ＳＰ２１）。そしてチャネルアダプタ７０は、この後そのコピーペアと対応付けた差分ビット情報６を生成し、その差分ビット情報６内のすべてのビットを「１」に設定する（ＳＰ２２）。
続いてチャネルアダプタ７０は、かかる「createpair」コマンドに含まれるペアステータスについての引数が「-pair」であるか否かを判断し（ＳＰ２３）、否定結果を得ると（ＳＰ２３：ＮＯ）、ステップＳＰ２６に進む。
これに対してチャネルアダプタ７０は、かかるステップＳＰ２３の判断において肯定結果を得ると（ＳＰ２３：ＹＥＳ）、指定されたコピーペアをペア管理テーブル７に新たに登録する。具体的には、ステップＳＰ２１の場合と同様に、そのコピーペアについてのペア番号、正ボリュームとなる仮想ＬＤＥＶ５３，７６又は内部ＬＤＥＶ６２，７７のＬＤＥＶ番号、副ボリュームとなる仮想ＬＤＥＶ５３，７６又は内部ＬＤＥＶ６２，７７のＬＤＥＶ番号及びペアステータス（「ペア」）を、それぞれペア管理テーブル７に追加する（ＳＰ２４）。そしてチャネルアダプタ７０は、この後そのコピーペアと対応付けた差分ビット情報６を生成し、その差分ビット情報６内のすべてのビットを「０」に設定する（ＳＰ２５）。
次いで、チャネルアダプタ７０は、かかる「createpair」コマンドに含まれるペアステータスについての引数が「-split」であるか否かを判断し（ＳＰ２６）、否定結果を得ると（ＳＰ２６：ＮＯ）この一連の処理を終了する。
これに対してチャネルアダプタ７０は、かかるステップＳＰ２６の判断において肯定結果を得ると（ＳＰ２６：ＹＥＳ）、指定されたコピーペアをペア管理テーブル７に新たに登録する。具体的には、ステップＳＰ２４の場合と同様にそのコピーペアについてのペア番号、正ボリュームとなる仮想ＬＤＥＶ５３，７６又は内部ＬＤＥＶ６２，７７のＬＤＥＶ番号、副ボリュームとなる仮想ＬＤＥＶ５３，７６又は内部ＬＤＥＶ６２，７７のＬＤＥＶ番号及びペアステータス（「スプリット」）を、それぞれペア管理テーブル７に追加する（ＳＰ２７）。そしてチャネルアダプタ７０は、この後そのコピーペアと対応付けた差分ビット情報６を生成し、その差分ビット情報６内のすべてのビットを「１」に設定する（ＳＰ）。そしてチャネルアダプタ７０は、この後この一連の処理を終了する。
（２−２−３）負荷分散処理の流れ
次に、この記憶システム４０において行われる負荷分散処理の一連の流れについて、図２４〜図３５を参照して説明する。
管理サーバ４４のＣＰＵ８０は、負荷分散ソフトウェア８４に基づいて、定期的に図２４に示す第１の負荷分散処理手順ＲＴ４を実行して、ホスト装置４１からのデータ入出力に対する既設置ストレージ装置４２及び追加ストレージ装置４３間の負荷バランスをチェックし、既設置ストレージ装置４２の負荷が大きいときには、既設置ストレージ装置４２及び追加ストレージ装置４３間の負荷バランスが崩れない範囲内において、既設置ストレージ装置４２内のＬＤＥＶを追加ストレージ装置４３に移行させる処理（負荷分散処理）を実行する。
この際、移行させるＬＤＥＶとしては、移行させ易いものを優先する。具体的に、管理サーバ４４のＣＰＵ８０は、既設置ストレージ装置４２内においてコピーペアを形成していない仮想ＬＤＥＶ５３（ＳＰ３０）、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２がマッピングされた仮想ＬＤＥＶ５３で、ペアステータスが「ペア」のコピーペア（ＳＰ３１）、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２がマッピングされた仮想ＬＤＥＶ５３で、ペアステータスが「コピー」のコピーペア（ＳＰ３２）、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２がマッピングされた仮想ＬＤＥＶ５３で、ペアステータスが「スプリット」のコピーペア（ＳＰ３３）、正ボリュームが内部ＬＤＥＶ６２で、副ボリュームが外部ＬＤＥＶ５２がマッピングされた仮想ＬＤＥＶ５３であるコピーペア（ＳＰ３４）の順番でＬＤＥＶの移行を行うように、既設置ストレージ装置４２、追加ストレージ装置４３及び外部ストレージ装置４７を制御する。
以下、このような負荷分散処理の具体的内容について説明する。
（２−２−４）第１の負荷分散処理手順ＲＴ４のステップＳＰ３０における処理
まず、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３０において行われる、既設置ストレージ装置４２内においてコピーペアを形成していない仮想ＬＤＥＶ５３を追加ストレージ装置５３に移行させるデータ移行処理の処理内容について説明する。このデータ移行処理は、負荷分散ソフトウェア８４に基づき、図２５に示す第１のＬＤＥＶ移行処理手順ＲＴ５に従って行われる。
すなわち管理サーバ４４のＣＰＵ８０は、図２４に示す第１の負荷分散処理手順ＲＴ４のステップＳＰ３０に進むと、図２５に示す第１のＬＤＥＶ移行処理手順ＲＴ５を開始し、まずＬＡＮ４８（図１３）を介して既設置ストレージ装置４２及び追加ストレージ装置４３にアクセスし、これら既設置ストレージ装置４２及び追加ストレージ装置４３の各共有メモリ７２（図１４）にそれぞれ格納されているＬＤＥＶ管理テーブル８５（図１５）及びペア管理テーブル７（図１５）を取得する（ＳＰ４０）。
続いて、ＣＰＵ８０は、既設置ストレージ装置４２及び追加ストレージ装置４３間の現在の負荷バランスをチェックする（ＳＰ４１）。この際、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ４２：ＮＯ）、既設置ストレージ装置４２の内部ＬＤＥＶ６２や仮想ＬＤＥＶ５３を追加ストレージ装置４３に移行する必要がない。よって、このときＣＰＵ８０は、この負荷分散処理を終了する（ＳＰ４３）。
これに対して既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ４２：ＹＥＳ）、既設置ストレージ装置４２内のデータを追加ストレージ装置４３に移行する必要がある。そこで、このときＣＰＵ８０は、ステップＳＰ４０において取得した既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５及びペア管理テーブル７に基づいて、既設置ストレージ装置４２内に設定された仮想ＬＤＥＶ５３のうち、他の内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３とペアに設定されておらず、かつ外部ストレージ装置４７内に設定された外部ＬＤＥＶ５２がマッピングされている仮想ＬＤＥＶ５３を検索する（ＳＰ４４）。
そしてＣＰＵ８０は、この検索により、かかる条件を満たす仮想ＬＤＥＶ５３を検出しなかったときには（ＳＰ４５：外部ＬＤＥＶなし）、図２４について上述した第１の負荷分散処理手順ＲＴ４のステップＳＰ３１に進み、かかる条件を満たす仮想ＬＤＥＶ５３を検出したときには（ＳＰ４５：外部ＬＤＥＶあり）、追加ストレージ装置４３を制御して、ステップＳＰ４４において検出した仮想ＬＤＥＶ（以下、これを検出仮想ＬＤＥＶと呼ぶ）５３と同じ容量の仮想ＬＤＥＶ（以下、これを代替仮想ＬＤＥＶと呼ぶ）７６を追加ストレージ装置４３内に作成させる。またＣＰＵ８０は、この後それまでかかる検出仮想ＬＤＥＶ５３にマッピングされていた外部ＬＤＥＶ５２のマッピング先を、代替仮想ＬＤＥＶ７６に切り替える（ＳＰ４７）。
そしてＣＰＵ８０は、この後ステップＳＰ４０のテーブル取得処理からステップＳＰ４７のパス張替え処理までを同様に繰り返し（ＳＰ４０〜ＳＰ４７）、これにより既設置ストレージ装置４２内に設定された仮想ＬＤＥＶ５３のうち、他の内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３とペアに設定されておらず、かつ外部ＬＤＥＶ５２がマッピングされた仮想ＬＤＥＶ５３を、追加ストレージ装置４３の負荷が既設置ストレージ装置４２の負荷を超えない範囲でＬＤＥＶ単位で追加ストレージ装置４３に順次移行させる。
ここで図２６は、このような第１のＬＤＥＶ移行処理手順ＲＴ４０のステップＳＰ４０について上述したテーブル取得処理に関するＣＰＵ８０の具体的な処理内容を示したフローチャートである。ＣＰＵ８０は、この図２６に示すテーブル取得処理手順ＲＴ６に従って、既設置ストレージ装置４２及び追加ストレージ装置４３からＬＤＥＶ管理テーブル８５及びペア管理テーブル７を取得する。
すなわちＣＰＵ８０は、かかる第１のＬＤＥＶ移行処理手順ＲＴ５のステップＳＰ４０に進むと、テーブル取得処理手順ＲＴ６を開始し、まず、ＬＡＮ４８（図１３）を介して既設置ストレージ装置４２に「getLdevTable」コマンド（図１９参照）を送信する。この結果、この「getLdevTable」コマンドに従って既設置ストレージ装置４２からＬＤＥＶ管理テーブル８５のデータが管理サーバ４４に送信される。そしてＣＰＵ８０は、このデータを受信すると、これを図示しない内部メモリに格納する（ＳＰ５１）。
またＣＰＵ８０は、この後ＬＡＮ４８を介して既設置ストレージ装置４２に「getPairTable」コマンド（図２０参照）を送信する。この結果、この「getPairTable」コマンドに従って既設置ストレージ装置４２からペア管理テーブル７のデータが管理サーバ４４に送信される。そしてＣＰＵ８０は、このデータを受信すると、これを上述の内部メモリに格納する（ＳＰ５２）。
これと同様にして、ＣＰＵ８０は、この後ＬＡＮ４８を介して追加ストレージ装置４３に「getLdevTable」コマンド及び「getPairTable」コマンドを順次送信する。この結果、これら「getLdevTable」コマンド及び「getPairTable」コマンドに従って追加ストレージ装置４３からＬＤＥＶ管理テーブル８５のデータ及びペア管理テーブル７のデータが管理サーバ４４に順次送信される。そしてＣＰＵ８０は、これらデータを受信すると、これらを上述の内部メモリに順次格納する（ＳＰ５３，ＳＰ５４）。
また、図２７は、第１のＬＤＥＶ移行処理手順ＲＴ５（図２５）のステップＳＰ４１について上述した負荷バランスチェック処理に関するＣＰＵ８０の具体的な処理内容を示したフローチャートである。ＣＰＵ８０は、この図２７に示す負荷バランスチェック処理手順ＲＴ７に従って、既設置ストレージ装置４２及び追加ストレージ装置４３それぞれの負荷（データ入出力の増加に伴う処理速度低下など）を数値化し、これらの値を比較することにより、いずれの負荷が高いかを判断する。
すなわちＣＰＵ８０は、かかる第１のＬＤＥＶ移行処理手順ＲＴ５（図２５）のステップＳＰ４１に進むと、この負荷バランスチェック処理手順ＲＴ７を開始し、まず、既設置ストレージ装置４２及び追加ストレージ装置４３のうちのいずれか一方（ここでは既設置ストレージ装置４２とする）のペア管理テーブル７に登録されたコピーペア数をカウントすることにより、既設置ストレージ装置４２内に設定されたコピーペア数Ｎ（Ｐ）を検出する（ＳＰ６０）。
またＣＰＵ８０は、この後既設置ストレージ装置４２内に設定された内部ＬＤＥＶ６２及び仮想ＬＤＥＶ５３のうち、コピーペアを形成していないＬＤＥＶ（以下、これをノーマルボリュームと呼ぶ）数Ｎ（Ｌ）を算出する（ＳＰ６１）。具体的には、既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５における内部（仮想）ＬＤＥＶフィールド９０（図１６）のＬＵＮ欄９４にＬＵＮが格納されたエントリ数Ｎ（Ｌ）をカウントし、そのカウント値と、ステップＳＰ６０において検出したコピーペア数Ｎ（Ｐ）の２倍との差分を算出する。
続いてＣＰＵ８０は、既設置ストレージ装置４２内に設定された内部ＬＤＥＶ６２及び仮想ＬＤＥＶ５３を、コピーペアの正ボリュームを形成するＬＤＥＶ、コピーペアの副ボリュームを形成するＬＤＥＶ及びノーマルボリュームの３種類に分けて、各種類のＬＤＥＶ数にその種類に対して予め設定された負荷係数を乗算したものの合計値を求めるようにして、既設置ストレージ装置４２の負荷Ｌ１を数値化する（ＳＰ６２）。
この演算は、コピーペアの正ボリュームに対する負荷係数をＰ、コピーペアの副ボリュームに対する負荷係数をＳ、ノーマルボリュームに対する負荷係数をＴとして、次式
［数１］
Ｌ１=Ｎ（Ｐ）×Ｐ+Ｎ（Ｐ）×Ｓ+Ｎ（Ｌ） ……（１）

により算出することができる。
例えば、コピーペアの正ボリュームに対する負荷係数Ｐを1.0、コピーペアの副ボリュームに対する負荷係数Ｓを0.5、ノーマルボリュームに対する負荷係数Ｔを1.0とする。なお、コピーペアのペアステータスが「スプリット」のときは副ボリュームへの書込み処理がなく、副ボリュームの負荷が軽減されることから、正ボリュームに対する負荷係数Ｐの1.0に対して副ボリュームに対する負荷係数Ｓを0.2程度に設定することも考えられるが、これら正ボリューム及び副ボリュームが再同期することになれば副ボリュームへの書込み処理が発生し、これが高負荷となる可能性があるため、ここでは副ボリュームに対する負荷係数を0.5としている。
そして既設置ストレージ装置４２におけるコピーペア数を400個、ノーマルボリューム数を200個であるものとすると、既設置ストレージ装置４２全体での負荷Ｌ１は、次式
［数２］
Ｌ１=400×1.0+400×0.5+200×1.0=800

のように算出される。
このような既設置ストレージ装置４２の負荷Ｌ１の演算後、ＣＰＵ８０は、データ移行先である追加ストレージ装置の４３ペア管理テーブル７に登録されたコピーペア数をカウントすることにより、当該追加ストレージ装置４３内に設定されたコピーペア数Ｎ（Ｐ）´を検出する（ＳＰ６３）。
続いてＣＰＵ８０は、ステップＳＰ６１において上述した演算手法により、追加ストレージ装置４３内に設定された内部ＬＤＥＶ７７及び仮想ＬＤＥＶ７６のうちのノーマルボリュームの数Ｎ（Ｌ）´を算出し（ＳＰ６４）、この後ステップＳＰ６２において上述した演算手法により、追加ストレージ装置４３の負荷Ｌ３を数値化する（ＳＰ６５）。
次いでＣＰＵ８０は、既設置ストレージ装置４２の数値化された負荷Ｌ１が追加ストレージ装置４３の数値化された負荷Ｌ３よりも大きいか否かを判断し（ＳＰ６６）、否定結果を得たときには（ＳＰ６６：ＮＯ）、「False（間違い）」というチェック結果を得（ＳＰ６７）、肯定結果を得たときには（ＳＰ６６：ＹＥＳ）、「True（正しい）」というチェック結果を得る（ＳＰ６８）。
かくして、ＣＰＵ８０は、「False（間違い）」というチェック結果を得た場合、図２５に示す第１のＬＤＥＶ移行処理手順ＲＴ５のステップＳＰ４２の判定において否定結果を得ることとなり、この後この負荷分散処理を終了する（ＳＰ４３）。これに対して、ＣＰＵ８０は、「True（正しい）」というチェック結果を得た場合、第１のＬＤＥＶ移行処理手順ＲＴ５のステップＳＰ４２の判定において肯定結果を得ることとなり、この後ステップＳＰ４４に進む。
一方、図２８は、第１のＬＤＥＶ移行処理手順ＲＴ５（図２５）のステップＳＰ４４について上述した処理の具体的な処理内容を示したフローチャートである。ＣＰＵ８０は、この図２８に示す第１のＬＤＥＶ検索処理手順ＲＴ８に従って、コピーペアを形成しておらず、かつ外部ＬＤＥＶ５２とマッピングされている仮想ＬＤＥＶ５３を検索する。
すなわちＣＰＵ８０は、第１のＬＤＥＶ移行処理手順ＲＴ５のステップＳＰ４４に進むと、この第１のＬＤＥＶ検索処理手順ＲＴ８を開始し、まず、既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５から、未だ後述のステップＳＰ７１及びステップＳＰ７３の処理の処理対象となっていない内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３を検索する（ＳＰ７０）。
続いてＣＰＵ８０は、既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５を参照して、ステップＳＰ７０において検出した未チェックの内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３のなかから、外部ＬＤＥＶフィールド９１（図１６）のポートアドレス欄９６及びＬＵＮ欄９７にそれぞれポートアドレスやＬＵＮが登録されているエントリ、つまり外部ストレージ装置４７内の外部ＬＤＥＶ５２がマッピングされている仮想ＬＤＥＶ５３のエントリを１つ選択する（ＳＰ７１）。
ＣＰＵ８０は、このとき対応するエントリを選択できなかった場合には（ＳＰ７１：なし）、第１のＬＤＥＶ移行処理手順ＲＴ５に戻り（ＳＰ７２）、この後この第１のＬＤＥＶ移行処理手順ＲＴ５のステップＳＰ４５を介してステップＳＰ４６に進む。
これに対して、ＣＰＵ８０は、このステップＳＰ７１において対応するエントリを選択できた場合には（ＳＰ７１：あり）、そのエントリと対応付けられた内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３のＬＤＥＶ番号が、正ボリュームのＬＤＥＶ番号又は負ボリュームのＬＤＥＶ番号として既設置ストレージ装置４２のペア管理テーブル７に登録されていないかどうか検索する（ＳＰ７３）。
そしてＣＰＵ８０は、この検索により、ステップＳＰ７１において選択したエントリと対応付けられた内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３のＬＤＥＶ番号を、既設置ストレージ装置４２のペア管理テーブル７上において検出できた場合には（ＳＰ７３：あり）、ステップＳＰ７０に戻って同様の処理を繰り返す（ＳＰ７０〜ＳＰ７３−ＳＰ７０）。
これに対してＣＰＵ８０は、かかる検索により、ステップＳＰ７１において選択したエントリと対応付けられた内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３のＬＤＥＶ番号を、既設置ストレージ装置４２のペア管理テーブル７上において検出できなかった場合には（ＳＰ７３：なし）、第１のＬＤＥＶ移行処理手順ＲＴ５に戻り（ＳＰ７４）、この後この第１のＬＤＥＶ移行処理手順ＲＴ５のステップＳＰ４５を介してステップＳＰ４７に進む。
他方、図２９は、第１のデータ移行処理（図２５）のステップＳＰ４７について上述したパス張替え処理に関するＣＰＵ８０の具体的な処理内容を示したフローチャートである。ＣＰＵ８０は、この図２９に示すパス張替え処理手順ＲＴ９に従って、上述のようなパス張替え処理を実行する。
すなわち、ＣＰＵ８０は、第１のＬＤＥＶ移行処理手順ＲＴ５のステップＳＰ４７に進むと、このパス張替え処理手順ＲＴ９を開始し、まず、外部ストレージ装置４７（図１３）に対して「assignLUN」コマンド（図１９参照）を送信する（ＳＰ８０）。この「assignLUN」コマンドは、当該コマンドのあて先に対して、指定したＬＤＥＶ番号のＬＤＥＶを指定したポートを介して指定した割当先に割り当てるべき旨の指示を与えるためのコマンドであり、ＬＤＥＶ番号、割当先に割り当てるそのコマンドのあて先のポートアドレス及び割当先のポートアドレスを引数として含んでなる。
かくして外部ストレージ装置４７は、この「assignLUN」コマンドを受信すると、指定されたＬＤＥＶ番号の外部ＬＤＥＶ５２を、指定されたポート４７Ａ（図１３）を介して追加ストレージ装置４３の指定された外部接続用ポート４３Ｂ（図１３）に割り当てる。これにより追加ストレージ装置４３からその外部ＬＤＥＶ５２へのアクセスが可能となる。また外部ストレージ装置４７は、かかる外部ＬＤＥＶ５２のＬＵＮ番号をＬＡＮ４８を介して管理サーバ４４に通知する。
続いてＣＰＵ８０は、追加ストレージ装置に「createMapping」コマンドを送信する（ＳＰ８１）。この場合において、ＣＰＵ８０は、既設置ストレージ装置４２内のデータ移行対象の内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３のＬＤＥＶ管理テーブル８５に登録されているエントリ情報（ＬＤＥＶ番号、容量、外部ストレージ装置のポートアドレス及びＬＵＮ）を引数として指定する。
追加ストレージ装置４３は、この「createMapping」コマンドを受信すると、指定されたＬＤＥＶ番号及び指定された容量（データ移行対象の内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３（以下、これを移行元ＬＤＥＶと呼ぶ）と同じ容量）の仮想ＬＤＥＶ７６（以下、これを移行先ＬＤＥＶと呼ぶ）を作成し、その移行先ＬＤＥＶのＬＤＥＶ番号及び容量と、外部接続用ポート４２Ｂ（図１３）のポートアドレスと、ステップＳＰにおいて取得した外部ストレージ装置のポートアドレス及び対応する外部ＬＤＥＶ５２のＬＵＮ番号とを、それぞれＬＤＥＶ管理テーブル８５の対応する欄に格納する。これによりこの新規に作成した移行先仮想ＬＤＥＶがＬＤＥＶ管理テーブル８５に登録され、これと同時にこの移行先仮想ＬＤＥＶに外部ＬＤＥＶ５２がマッピングされたこととなる。
その後ＣＰＵ８０は、追加ストレージ装置４３に対して「assignLUN」コマンドを送信する。この結果、追加ストレージ装置４３は、かかる移行先仮想ＬＤＥＶのＬＵＮ番号を、指定されたポート４３Ａを介して指定されたホスト装置４１のポート（ＨＢＡ５０）に割り当てる。また追加ストレージ装置４３は、そのＬＵＮ番号を、かかるＬＤＥＶ管理テーブル８５におけるその移行先仮想ＬＤＥＶと対応するエントリにおける内部（仮想）フィールド９０（図１６）内のＬＵＮ欄９４に格納する（ＳＰ８２）。これにより、ホスト装置４１からその移行先仮想ＬＤＥＶへのアクセスが可能となる。
続いてＣＰＵ８０は、既設置ストレージ装置４２に対して、移行元仮想ボリュームを対象とする「deleteLUN」コマンド（図１９参照）を送信する。既設置ストレージ装置４２は、この「deleteLUN」コマンドを受信すると、ＬＤＥＶ管理テーブル８５に登録されたエントリのうち、その移行元仮想ＬＤＥＶに対応するエントリにおける内部（仮想）ＬＤＥＶフィールド９０のＬＵＮ欄９４に格納されているＬＵＮを削除することにより、かかる外部ＬＤＥＶ５２と移行元仮想ＬＤＥＶとの関連付けを解除する。これにより既設置ストレージ装置４３を介してかかる外部ＬＤＥＶ５２にアクセスできなくなる。
その後ＣＰＵ８０は、既設置ストレージ装置４２に「deleteMapping」コマンドを送信する。そして既設置ストレージ装置４２は、この「deleteMapping」コマンドに基づいて、ＬＤＥＶ管理テーブル８５における移行元仮想ＬＤＥＶと対応するエントリにおける外部ＬＤＥＶフィールド９１（図１６）のポートアドレス欄９６（図１６）及びＬＵＮ欄９７（図１６）に格納されたデータを消去することにより、かかる外部ＬＤＥＶ５２と移行元仮想ＬＤＥＶとの関連付けを解除し、その後ＬＤＥＶ管理テーブル８５における移行元仮想ＬＤＥＶと対応するエントリを消去することにより、移行元仮想ＬＤＥＶを削除する。
なお、この場合において、マッピングを解除した外部ＬＤＥＶ５２のＬＵＮ番号、外部ストレージ装置４７のポート４７Ａ（図１３）のポートアドレス、既設置ストレージ装置４２における対応する外部接続用ポート４２Ｂ（図１３）のポートアドレスは、負荷分散ソフトウェア８４（図１３）が保持し続ける。
続いてＣＰＵ８０は、外部ストレージ装置４７に対し、かかる外部ＬＤＥＶ５２のＬＵＮ番号、外部ストレージ装置４７のポート４７Ａのポートアドレス、外部接続用ポート４２Ｂのポートアドレスを指定した「deleteLUN」コマンドを送信する。そして、外部ストレージ装置４７は、この「deleteLUN」コマンドを受信すると、当該「deleteLUN」コマンドに従って、既設置ストレージ装置４２に対するかかる外部ＬＤＥＶ５２の割り当てを解除する。
（２−２−５）第１の負荷分散処理手順ＲＴ４のステップＳＰ３１における処理
次に、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３１において行われる、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２（図１３）にマッピングされ、ペアステータスが「ペア」のコピーペアを、追加ストレージ装置４３に移行させる処理について説明する。この移行処理は、負荷分散ソフトウェア８４（図１３）に基づき、図３０に示す第２のＬＤＥＶ移行処理手順ＲＴ１０に従って行われる。
すなわち管理サーバ４４のＣＰＵ８０は、図２４について上述した第１の負荷分散処理手順ＲＴ４のステップＳＰ３１に進むと、図３０に示す第２のＬＤＥＶ移行処理手順ＲＴ１０を開始し、まず、図２６について上述したテーブル取得処理手順ＲＴ６に従って、既設置ストレージ装置４２及び追加ストレージ装置４３のＬＤＥＶ管理テーブル８５及びペア管理テーブル７を取得する（ＳＰ９０）。
続いて、ＣＰＵ８０は、図２７について上述した負荷バランスチェック処理手順ＲＴ７に従って、既設置ストレージ装置４２及び追加ストレージ装置４３間の現在の負荷バランスをチェックする（ＳＰ９１）。この結果、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ９２：ＮＯ）、この負荷分散処理を終了する（ＳＰ９３）。
これに対してＣＰＵ８０は、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ９２：ＹＥＳ）、ステップＳＰ９０において取得した既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５及びペア管理テーブル７に基づいて、正ボリューム及び副ボリュームが共に外部ストレージ装置４７内の外部ＬＤＥＶ５２にマッピングされ、かつペアステータスが「ペア」のコピーペアを検索する（ＳＰ９４）。
ＣＰＵ８０は、この検索により、かかる条件を満たすコピーペアを検出しなかったときには（ＳＰ９５：ＮＯ）、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３２に進み（ＳＰ９６）、これに対してかかる条件を満たすコピーペアを検出したときには（ＳＰ９５：ＹＥＳ）、このコピーペアを構成する正ボリュームのＬＤＥＶ番号を既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５から検索する（ＳＰ９７）。
そしてＣＰＵ８０は、この後この検索結果に基づいて、図２９について上述したパス張替え処理手順ＲＴ９に従って、ステップＳＰ９４において検出したコピーペアの正ボリュームを追加ストレージ装置４３に移行させる（ＳＰ９８）。
またＣＰＵ８０は、同様にしてステップＳＰ９４において検出したコピーペアを構成する副ボリュームのＬＤＥＶ番号を既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５から検索し（ＳＰ９９）、この後この検索結果に基づいて、図２９について上述したパス張替え処理手順ＲＴ９に従って、当該副ボリュームを追加ストレージ装置４３に移行させる（ＳＰ１００）。
続いてＣＰＵ８０は、「deletepair」コマンドを既設置ストレージ装置４２に送信することにより、当該既設置ストレージ装置４２内のペア管理テーブル７に登録されている、ステップＳＰ９４において検出したコピーペアに対応するペア番号のエントリを削除することにより、既設置ストレージ装置４２内から当該コピーペアを削除する（ＳＰ１０１）。
さらにＣＰＵ８０は、この後生成すべきコピーペアのペアステータスを「ペア」とする「createpair」コマンド、つまり「createpair -pair」を追加ストレージ装置４３に送信することにより、追加ストレージ装置４３に移行後のコピーペアのペアステータスを「ペア」に設定すると共に、当該コピーペアの差分ビット情報６の各ビットの値をすべて「０」に設定する（ＳＰ１０２）。これにより追加ストレージ装置４３に移行される前既設置ストレージ装置４２内に設定されたコピーペアのペアステータス及び差分ビット情報６と同じペアステータス差分ビット情報が追加ストレージ装置４３に設定されるため、結果的に移行前のコピーペアのコピーステータスがコピーペアの移行と共に追加ストレージ装置４３に引き継がれたこととなる。
そしてＣＰＵ８０は、この後同様の処理を繰り返し（ＳＰ９０〜ＳＰ１０２）、これにより既設置ストレージ装置４２内に設定された、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２にマッピングされ、かつペアステータスが「ペア」のコピーペアを、追加ストレージ装置４３に順次移行させる。
ここで図３１は、このような第２のデータ移行処理手順ＲＴ１０（図３０）のステップＳＰ９４について上述した、正ボリューム及び副ボリュームが共に外部ストレージ装置４７内の外部ＬＤＥＶ５２にマッピングされ、かつペアステータスが「ペア」のコピーペアの検索処理の処理内容を示すフローチャートである。
ＣＰＵ８０は、かかる第２のＬＤＥＶ移行処理手順ＲＴ１０のステップＳＰ９４に進むと、この図３１に示す第１のコピーペア検索処理手順ＲＴ１１を開始し、まず、既設置ストレージ装置４２のペア管理テーブル７のペアステータス欄１０３（図１７）から、指定されたペアステータス（「ペア」）のコピーペアのエントリを検索する（ＳＰ１１０）。
そしてＣＰＵ８０は、かかる検索により、指定されたペアステータスのエントリを検出できなかったときには（ＳＰ１１０：なし）、第２のＬＤＥＶ移行処理手順ＲＴ１０に戻り（ＳＰ１１７）、この後この第２のＬＤＥＶ移行処理手順ＲＴ１０のステップＳＰ９５を介して第１の負荷分散処理手順ＲＴ４のステップＳＰ３２に進む。
これに対してＣＰＵ８０は、かかる検索により、指定されたペアステータスのエントリを検出できたときには（ＳＰ１１０：あり）、検出したそのエントリの正ボリュームのＬＤＥＶ番号を既設置ストレージ装置４２のペア管理テーブル７から取得し（ＳＰ１１１）、この後既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５（図１６）の内部（仮想）ＬＤＥＶフィールド９０（図１６）の各ＬＤＥＶ番号欄９２（図１６）に格納されたＬＤＥＶ番号から、ステップＳＰ１１１において取得したＬＤＥＶ番号が格納されているエントリを検索する（ＳＰ１１２）。
そしてＣＰＵ８０は、このエントリを検出すると、当該エントリの外部ＬＤＥＶフィールド９１（図１６）のポートアドレス欄９６（図１６）及びＬＵＮ欄９７（図１６）に、それぞれ対応するポートアドレスや外部ＬＤＥＶ５２のＬＵＮが格納されているか否か、つまりそのエントリに対応する既設置ストレージ装置４２内の仮想ＬＤＥＶ５３に、外部ＬＤＥＶ５２がマッピングされているか否かを確認する（ＳＰ１１３）。
そしてＣＰＵ８０は、かかるステップＳＰ１１３の確認において否定的な結果を得ると（ＳＰ１１３：ＮＯ）、ステップＳＰ１１０に戻り、これに対して肯定的な結果を得ると（ＳＰ１１３：ＹＥＳ）、ステップＳＰ１１０において検出したエントリの副ボリュームのＬＤＥＶ番号を既設置ストレージ装置４２のペア管理テーブル７から取得する（ＳＰ１１４）。
またＣＰＵ８０は、この後既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５の内部（仮想）ＬＤＥＶフィールド９０（図１６）のＬＤＥＶ番号欄９２（図１６）に、ステップＳＰ１１４において取得したＬＤＥＶ番号が格納されているエントリを検索する（ＳＰ１１５）。
さらにＣＰＵ８０は、ステップＳＰ１１５の検索により、対応するエントリを検出すると、当該エントリの外部ＬＤＥＶフィールド９１（図１６）のポートアドレス欄９６（図１６）及びＬＵＮ欄９７（図１６）に、対応するポートアドレスや外部ＬＤＥＶ５２のＬＵＮが格納されているか否か、つまりそのエントリに対応する既設置ストレージ装置４２内のＬＤＥＶに外部ＬＤＥＶ５２がマッピングされているか否かを確認する（ＳＰ１１６）。
そしてＣＰＵ８０は、このステップＳＰ１１６の確認において否定結果を得ると（ＳＰ１１６：ＮＯ）、ステップＳＰ１１０に戻り、これに対して肯定結果を得ると（ＳＰ１１６：ＹＥＳ）、第２のＬＤＥＶ移行処理手順ＲＴ１０に戻り（ＳＰ１１８）、この後この第２のＬＤＥＶ移行処理手順ＲＴ１０のステップＳＰ９７に進む。
（２−２−６）第１の負荷分散処理手順ＲＴ４のステップＳＰ３２における処理
次に、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３２において行われる、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２にマッピングされ、ペアステータスが「コピー」のコピーペアを追加ストレージ装置４３に移行する処理について説明する。この移行処理は、負荷分散ソフトウェア８４（図１３）に基づき、図３２に示す第３のＬＤＥＶ移行処理手順ＲＴ１２に従って行われる。
すなわち管理サーバ４４のＣＰＵ８０は、図２４について上述した第１の負荷分散処理手順ＲＴ４のステップＳＰ３２に進むと、図３２に示す第３のＬＤＥＶ移行処理手順ＲＴ１２を開始し、まず、図２６について上述したテーブル取得処理手順ＲＴ６に従って、既設置ストレージ装置４２及び追加ストレージ装置４３のＬＤＥＶ管理テーブル８５及びペア管理テーブル７を取得する（ＳＰ１２０）。
続いて、ＣＰＵ８０は、図２７について上述した負荷バランスチェック処理手順ＲＴ７に従って、既設置ストレージ装置４２及び追加ストレージ装置４３間の現在の負荷バランスをチェックする（ＳＰ１２１）。この結果、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ１２２：ＮＯ）、この負荷分散処理を終了する（ＳＰ１２３）。
これに対してＣＰＵ８０は、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ１２２：ＹＥＳ）、ステップＳＰ１２０において取得した既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５及びペア管理テーブル７に基づいて、正ボリューム及び副ボリュームが共に外部ストレージ装置４７内の外部ＬＤＥＶ５２にマッピングされ、かつペアステータスが「コピー」のコピーペアを検索する（ＳＰ１２４）。なお、このステップＳＰ１２４における処理は、図３１について上述した第１のコピーペア検索処理手順ＲＴ１１のステップＳＰ１１０における指定されたペアステータスが「コピー」である場合であるものとして、この第１のコピーペア検索処理手順ＲＴ１１に従って行うことができる。
そしてＣＰＵ８０は、この検索により、かかる条件を満たすコピーペアを検出しなかったときには（ＳＰ１２５：ＮＯ）、第１の負荷分散処理手順ＲＴ４のステップＳＰ３３に進み（ＳＰ１２６）、これに対してかかる条件を満たすコピーペアを検出したときには（ＳＰ１２５：ＹＥＳ）、このコピーペアのコピー処理が終了するまで待機する。具体的に、ＣＰＵ８０は、このコピーペアのペアステータスが「ペア」になるまで、既設置ストレージ装置４２に対して「getLdevTable」コマンドを定期的（例えば１分毎）に発行して、当該コピーペアのペアテータスを確認する処理を繰り返す。
そしてＣＰＵ８０は、やがてそのコピーペアのペアステータスが「ペア」になると、ステップＳＰ１２８〜ＳＰ１３３の処理を、図３０について上述した第２のＬＤＥＶ移行処理手順ＲＴ１０のステップＳＰ９７〜ＳＰ１０２と同様に実行することにより、そのコピーペアを追加ストレージ装置４３に移行させると共に、当該コピーペアの管理情報（ペアステータス及び差分ビット情報６）を追加ストレージ装置４３に移行後のコピーペアに引き継がせる。
そしてＣＰＵ８０は、この後同様の処理を繰り返し（ＳＰ１２０〜ＳＰ１３３）、これにより既設置ストレージ装置４２内に設定された、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２にマッピングされ、かつペアステータスが「コピー」のコピーペアを、追加ストレージ装置４３に順次移行させる。
なお、上述の説明では、かかるコピーペアのコピー処理が終了するまで待機した後に（ＳＰ１２７）、パスを張り替えてペアステータスが「ペア」のコピーペアを形成する（ＳＰ１２８〜ＳＰ１３３）ようにしている場合について述べたが、かかるコピーペアのコピー処理が終了するまで待たずに、実施中のコピー処理を中止させて、正ボリューム及び副ボリュームのパスを張り替えた後（ステップＳＰ１２８〜ＳＰ１３１の処理を実行した後）に、追加ストレージ装置４３のペア管理テーブル８５にエントリを追加し、対応する差分ビット情報６のすべてのビットを「１」に設定してコピーを実施する（ペアステータスを「コピー」とする）ようにしても良い。
（２−２−７）第１の負荷分散処理手順ＲＴ４のステップＳＰ３３における処理
次に、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３３において行われる、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２（図１３）と対応付けられた仮想ＬＤＥＶ５３でペアステータスが「スプリット」のコピーペアを、追加ストレージ装置４３に移行する処理について説明する。この移行処理は、負荷分散ソフトウェア８４（図１３）に基づき、図３３に示す第４のＬＤＥＶ移行処理手順ＲＴ３に従って行われる。
すなわち管理サーバ４４のＣＰＵ８０は、図２４について上述した第１の負荷分散処理手順ＲＴ４のステップＳＰ３３に進むと、図３３に示す第４のＬＤＥＶ移行処理手順ＲＴ１３を開始し、まず、図２６について上述したテーブル取得処理手順ＲＴ６に従って、既設置ストレージ装置４２及び追加ストレージ装置４３のＬＤＥＶ管理テーブル８５及びペア管理テーブル７を取得する（ＳＰ１４０）。
続いて、ＣＰＵ８０は、図２７について上述した負荷バランスチェック処理手順ＲＴ７に従って、既設置ストレージ装置４２及び追加ストレージ装置４３間の現在の負荷バランスをチェックする（ＳＰ１４１）。この結果、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ１４２：ＮＯ）、この負荷分散処理を終了する（ＳＰ１４３）。
これに対してＣＰＵ８０は、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ１４２：ＹＥＳ）、ステップＳＰ１４０において取得した既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５及びペア管理テーブル７に基づいて、正ボリューム及び副ボリュームが共に外部ストレージ装置４７内の外部ＬＤＥＶ５２にマッピングされ、かつペアステータスが「スプリット」のコピーペアを検索する（ＳＰ１４４）。
ＣＰＵ８０は、この検索により、かかる条件を満たすコピーペアを検出しなかったときには（ＳＰ１４５：ＮＯ）、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３４に進み（ＳＰ１４６）、これに対してかかる条件を満たすコピーペアを検出したときには（ＳＰ１４５：ＹＥＳ）、この後ステップＳＰ１４６〜ＳＰ１５０の処理を、図３０について上述した第２のＬＤＥＶ移行処理手順ＲＴ１０のステップＳＰ９７〜ＳＰ１０１と同様に実行することにより、そのコピーペアとその管理情報（ペアステータス等）とを追加ストレージ装置４３に移行させる。
さらにＣＰＵ８０は、この後生成すべきコピーペアのペアステータスを「スプリット」とする「createpair」コマンド、つまり「createpair -split」を追加ストレージ装置４３に送信することにより、追加ストレージ装置４３に移行後のコピーペアのペアステータスを「スプリット」に設定すると共に、当該コピーペアの差分ビット情報６のすべてのビットを「１」に設定する（ＳＰ１５１）。
これにより、このコピーペアが追加ストレージ装置４３に移行される前に既設置ストレージ装置４２内に設定されていたペアステータスと同じペアステータスが追加ストレージ装置４３に設定される。また、このコピーペアが追加ストレージ装置４３に移行される前の正ボリューム及び副ボリューム間の差分箇所が記憶されている差分ビット情報６は既設置ストレージ装置４２内に存在するが、追加ストレージ装置４３の差分ビット情報６の各ビットをすべて「１」に設定しているため、移行前の差分ビット情報６が無くても（差分ビット情報を追加ストレージ装置４３に引き継いではいないが）、コピーペアを追加ストレージ装置４３に移行した後、当該コピーペアの同期をとる（「resync」コマンド相等）場合に、論理デバイス内のデータ欠落等が生じることはない。
そしてＣＰＵ８０は、この後同様の処理を繰り返し（ＳＰ１４０〜ＳＰ１５１）、これにより既設置ストレージ装置４２内に設定された、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２にマッピングされ、ペアステータスが「スプリット」のコピーペアを、追加ストレージ装置４３に順次移行させる。
（２−２−８）第１の負荷分散処理手順ＲＴ４のステップＳＰ３４における処理
次に、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３４において行われる処理について説明する。このステップＳＰ３４では、同一筐体内コピーペアを形成しており、正ボリュームが内部ＬＤＥＶ６２で副ボリュームが外部ＬＤＥＶ５２にマッピングされた仮想ＬＤＥＶ５３であるコピーペアを追加ストレージ装置４３に移行する処理が行われる。そして、この移行処理は、負荷分散ソフトウェア８４（図１３）に基づき、図３５に示す第５のＬＤＥＶ移行処理手順ＲＴ１４に従って行われる。
すなわち管理サーバ４４のＣＰＵ８０は、図２４について上述した第１の負荷分散処理手順ＲＴ４のステップＳＰ３４に進むと、図３４に示す第５のＬＤＥＶ移行処理手順ＲＴ１４を開始し、まず、図２６について上述したテーブル取得処理手順ＲＴ６に従って、既設置ストレージ装置４２及び追加ストレージ装置４３のＬＤＥＶ管理テーブル８５及びペア管理テーブル７を取得する（ＳＰ１６０）。
続いて、ＣＰＵ８０は、図２７について上述した負荷バランスチェック処理手順ＲＴ７に従って、既設置ストレージ装置４２及び追加ストレージ装置４３間の現在の負荷バランスをチェックする（ＳＰ１６１）。この結果、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ１６２：ＮＯ）、この負荷分散処理を終了する（ＳＰ１６５）。
これに対してＣＰＵ８０は、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ１６２：ＹＥＳ）、ステップＳＰ１２０において取得した既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５及びペア管理テーブル７に基づいて、同一筐体内コピーペアを形成しており、正ボリュームが内部ＬＤＥＶ６２で副ボリュームが外部ＬＤＥＶ５２にマッピングされた仮想ＬＤＥＶ５３であるコピーペアを検索する（ＳＰ１６３）。
そしてＣＰＵ８０は、この検索により、かかる条件を満たすコピーペアを検出しなかったときには（ＳＰ１６４：ＮＯ）、この負荷分散処理を終了し（ＳＰ１６５）、これに対してかかる条件を満たすコピーペアを検出したときには（ＳＰ１６４：ＹＥＳ）、既設置ストレージ装置４２のペア管理テーブル７を検索して、このコピーペアの現在のペアステータス（「ペア」、「コピー」又は「スプリット」）を確認する（ＳＰ１６６）。
そしてＣＰＵ８０は、かかるコピーペアのペアステータスが「コピー」でなかったときには、ステップＳＰ１６９に進み（ＳＰ１６７：ＮＯ）、これに対してかかるコピーペアのペアステータスが「コピー」であったときには（ＳＰ１６７：ＹＥＳ）、そのコピーペアにおけるコピー処理が終了するまで待機する（ＳＰ１６８）。具体的に、ＣＰＵ８０は、図３２について上述した第３のＬＤＥＶ移行処理手順ＲＴ１２のステップＳＰ１２７と同様に、このコピーペアのペアステータスが「ペア」になるまで、既設置ストレージ装置４２に対して「getLdevTable」コマンドを定期的（例えば１分毎）に発行して、当該コピーペアのペアテータスを確認する処理を繰り返すこととなる。
やがてＣＰＵ８０は、かかるコピーペアのコピー処理が終了して、当該コピーペアのペアステータスが「ペア」になると、追加ストレージ装置４３に対して「createLdev」コマンドを発行することにより、ステップＳＰ１６３において検出したコピーペアの正ボリュームと同じ容量の内部ＬＤＥＶ７７（図１３）を追加ストレージ装置４３内に作成させる（ＳＰ１７０）。
またＣＰＵ８０は、追加ストレージ装置４３に対して「assignLUN」コマンドを発行することにより、ステップＳＰ１６９において追加ストレージ装置４３内に作成させた内部ＬＤＥＶ７７をホスト装置４１（図１３）に割り当てる。このような処理により、かかる内部ＬＤＥＶ７７に対するホスト装置４１からのアクセスが可能となる。
その後ＣＰＵ８０は、ＳＣＳＩ（Small Computer System Interface）コマンド等を利用して、ブロック単位で既設置ストレージ装置４２内の正ボリュームのデータを、ステップＳＰ１６９において作成した追加ストレージ装置４３内の内部ＬＤＥＶ７７にコピーする（ＳＰ１７１）。
またＣＰＵ８０は、この後図３０の第２のＬＤＥＶ移行処理手順ＲＴ１０のステップＳＰ９９〜ステップＳＰ１０１と同様の処理を実行することにより、副ボリュームを追加ストレージ装置４３に移行させ、かつステップＳＰ１６３において検出したコピーペアを既設置ストレージ装置４２から削除する（ＳＰ１７２〜ＳＰ１７４）。
さらにＣＰＵ８０は、この後追加ストレージ装置４３に対して「createpair -init」を発行することにより、ステップＳＰ１６９〜ステップＳＰ１７２の処理により追加ストレージ装置４３内に移行させた正ボリュームと、ステップＳＰ１７２及びステップＳＰ１７３の処理により追加ストレージ装置４３内に移行させた副ボリュームとからなるコピーペアを追加ストレージ装置４３に生成させる。これにより追加ストレージ装置４３に移行される前のコピーペアのペアステータス及び差分ビット情報６が移行後のコピーペアに引き継がれ（厳密には、移行前と同じペアステータス及び差分ビット情報が設定され）、この後これら正ボリューム及び副ボリューム間でのコピーが開始されることとなる（ＳＰ１７５）。
ここで図３５は、このような第５のＬＤＥＶ移行処理手順ＲＴ１４（図３４）のステップＳＰ１６３について上述した、同一筐体内コピーペアを形成しており、正ボリュームが内部ＬＤＥＶ６２で副ボリュームが仮想ＬＤＥＶ５３にマッピングされた外部ＬＤＥＶ５２であるコピーペアの検索処理の処理内容を示すフローチャートである。
ＣＰＵ８０は、かかる第５のＬＤＥＶ移行処理手順ＲＴ１４のステップＳＰ１６３に進むと、この図３５に示す第２のコピーペア検索処理手順ＲＴ１５を開始し、まず、既設置ストレージ装置４２のペア管理テーブル７の正ボリュームＬＤＥＶ番号欄１０１（図１７）から、１つの正ボリュームを選択する（ＳＰ１８０）。
そしてＣＰＵ８０は、このとき正ボリュームを選択できなかった場合、つまり既設置ストレージ装置４２のペア管理テーブル７にコピーペアが登録されていない場合には（ＳＰ１８０：なし）、図３４について上述した第５のＬＤＥＶ移行処理手順ＲＴ１４に戻り（ＳＰ１８１）、この後この第５のＬＤＥＶ移行処理手順ＲＴ１４のステップＳＰ１６４を介してステップＳＰ１６５に進むことにより、この負荷分散処理を終了する（ＳＰ１６５）。
これに対してＣＰＵ８０は、ステップＳＰ１８０において正ボリュームのＬＤＥＶを選択できた場合には（ＳＰ１８０：あり）、既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５（図１６）内のＬＤＥＶ♯を検索して、選択したその正ボリュームのＬＤＥＶ番号のエントリを検出する（ＳＰ１８２）。
続いてＣＰＵ８０は、既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５におけるステップＳＰ１８２において検出したエントリの外部ＬＤＥＶフィールド９１（図１６）のポートアドレス欄９６（図１６）及びＬＵＮ欄９７（図１６）に、対応するポートアドレスや外部ＬＤＥＶ５２のＬＵＮが格納されているか否か、つまりそのエントリに対応する既設置ストレージ装置４２内の仮想ＬＤＥＶ５３に、外部ＬＤＥＶ５２がマッピングされているか否かを確認する（ＳＰ１８３）。
そしてＣＰＵ８０は、この確認において肯定的な結果を得ると（ＳＰ１８３：ＹＥＳ）、ステップＳＰ１８０に戻り、これに対して否定的な結果を得ると（ＳＰ１８３：ＮＯ）、ステップＳＰ１８１において正ボリュームのＬＤＥＶ番号を選択したコピーペアの副ボリュームのＬＤＥＶ番号を、既設置ストレージ装置４２のペア管理テーブル７（図１５）から取得する（ＳＰ１８４）。
続いてＣＰＵ８０は、既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５（図１６）内のＬＤＥＶ♯を検索して、ステップＳＰ１８４において取得したその副ボリュームのＬＤＥＶ番号のエントリを検出する（ＳＰ１８５）。
またＣＰＵ８０は、この後この既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５におけるステップＳＰ１８５において検出したエントリの外部ＬＤＥＶフィールド９１（図１６）のポートアドレス欄９６（図１６）及びＬＵＮ欄９７（図１６）に、対応するポートアドレスや外部ＬＤＥＶ５２のＬＵＮが格納されているか否か、つまりそのエントリに対応する既設置ストレージ装置４２内の仮想ＬＤＥＶ６２に、外部ＬＤＥＶ５２がマッピングされているか否かを確認する（ＳＰ１８６）。
そしてＣＰＵ８０は、この確認において否定的な結果を得ると（ＳＰ１８６：ＮＯ）、ステップＳＰ１８０に戻り、これに対して肯定的な結果を得ると（ＳＰ１８６：ＹＥＳ）、図３４について上述した第５のＬＤＥＶ移行処理手順ＲＴ１４に戻り（ＳＰ１８７）、この後この第５のＬＤＥＶ移行処理手順ＲＴ１４のステップＳＰ１６４を介してステップＳＰ１６６に進む。
（２−３）本実施の形態の効果
以上の構成において、本実施の形態による記憶システム４０では、管理サーバ４４が定期的に既設置ストレージ装置４２及び追加ストレージ装置４３の負荷をそれぞれ検出し、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも大きいときに、既設置ストレージ装置４２内でコピーペアを形成していない内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３を優先的に追加ストレージ装置４３に移行させる。従って、この段階で既設置ストレージ装置４３の負荷分散処理を終了することができれば、既設置ストレージ装置４２内に設定されたコピーペアの現在の状態に関わりなく、かかる既設置ストレージ装置４２の負荷分散処理を行うことができる。
一方、記憶システム４０では、この段階で既設置ストレージ装置４２の負荷分散処理を終了できないときには、管理サーバ４４の制御のもとに、既設置ストレージ装置４２内に設定されたコピーペアの正ボリューム及び副ボリュームを形成する各仮想ＬＤＥＶ５３のパスを張り替えるようにして、これら仮想ＬＤＥＶ５３を追加ストレージ装置４３に移行させる。またこの後管理サーバ４４が、既設置ストレージ装置４２から読み出したＬＤＥＶ管理テーブル８５及びペア管理テーブル７に基づいて、かかる正ボリューム及び副ボリュームの移行前のペアステータスに応じた引数（「-init」、「-pair」又は「-split」）を付加した「createpair」コマンドを追加ストレージ装置４３に発行し、追加ストレージ装置４３がこの「createpair」コマンドに従って移行後の正ボリューム及び副ボリュームのペアステータス及び差分ビット情報６を、移行前の対応する正ボリューム及び副ボリュームと同じペアステータス及び差分ビット情報６に設定する。
従って、この記憶システム４０では、外部接続機能により外部ストレージ装置４７の外部ＬＤＥＶ５２にそれぞれマッピングされると共に、同一筐体内コピー機能により同一筐体内コピーを実行している正ボリューム及び副ボリュームを追加ストレージ装置４３に移行する場合にも、そのコピーペアのペアステータスと差分ビット情報６とを移行前と同じに設定し、又はそのコピーペアのデータを移行したことによって移行前のデータと差異が生じないようにコピーペアの現在の状態を追加ストレージ装置４３に設定することができ、かくしてかかる場合にも負荷分散が可能となる。
（３）第２の実施の形態
（３−１）第２の実施の形態による負荷分散処理の概要
図２４について上述した第１の負荷分散処理手順ＲＴ４に従った負荷分散処理では、ステップＳＰ３２においてペアステータスが「コピー」のコピーペアを追加ストレージ装置４３に移行する際に、当該コピーペアのコピー処理が終了するまで待機するため（図３２のステップＳＰ１２７）に無駄な時間が発生する。
またこの第１の負荷分散処理手順ＲＴ４に従った負荷分散処理では、ステップＳＰ３３においてペアステータスが「スプリット」のコピーペアを追加ストレージ装置４３に移行する際に、差分ビット情報６（図１８）を移行しないため、追加ストレージ装置４３に移行された後の正ボリューム及び副ボリュームをその後再同期させる際にコピー量が多いという若干のデメリットがある。
そこで、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２にマッピングされ、かつペアステータスが「コピー」又は「スプリット」のコピーペアと、同一筐体内コピーペアを形成しており、正ボリュームが内部ＬＤＥＶ６２で副ボリュームが外部ＬＤＥＶ５２にマッピングされた仮想ＬＤＥＶ５３であるコピーペアとを区別することなく同じ処理タイミングで一括して行うことによって、第１の負荷分散処理手順ＲＴ４に従った負荷分散処理に比べて負荷分散処理を迅速化することができる。
（３−２）本実施の形態による記憶システムの構成
図１３において、１００は全体として第２の実施の形態による記憶システムを示す。この記憶システム１００は、管理サーバ１０１のＣＰＵ８０が、物理記憶デバイス８１に格納された負荷分散ソフトウェア１０２に基づき、図２４について上述した第１の負荷分散処理手順ＲＴ４に代えて、図３６に示す第２の負荷分散処理手順ＲＴ１６に従って既設置ストレージ装置４２の負荷を追加ストレージ装置４３に分散させる負荷分散処理を行うようになされた点を除いて第１の実施の形態による記憶システム４０（図１３）と同様に構成されている。
実際上、管理サーバ１０１のＣＰＵ８０は、この第２の負荷分散処理手順ＲＴ１６を定期的に実行し、まず、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３０と同様にして、既設置ストレージ装置４２内においてコピーペアを形成していない内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３を追加ストレージ装置５３に移行させ（ＳＰ１９０）、この後当該第１の負荷分散処理手順ＲＴ４のステップＳＰ３１と同様にして、正ボリューム及び副ボリュームが共に外部ＬＤＥＶ５２（図１３）にマッピングされ、ペアステータスが「ペア」のコピーペアを、追加ストレージ装置４３に移行させる（ＳＰ１９１）。
そしてＣＰＵ８０は、この後ペアステータスが「ペア」でない既設置ストレージ装置４２内のコピーペアを追加ストレージ装置４３に移行させる（ＳＰ１９２）。
図３７及び図３８は、このようなコピーペアの移行処理の具体的内容を示すフローチャートである。ＣＰＵ８０は、かかる第２の負荷分散処理手順ＲＴ１６のステップＳＰ１９２に進むと、この図３７及び図３８に示す第６のＬＤＥＶ移行処理手順ＲＴ１７を開始し、まず、図２６について上述したテーブル取得処理手順ＲＴ６に従って、既設置ストレージ装置４２及び追加ストレージ装置４３のＬＤＥＶ管理テーブル８５及びペア管理テーブル７を取得する（ＳＰ２００）。
続いて、ＣＰＵ８０は、図２７について上述した負荷バランスチェック処理手順ＲＴ７に従って、既設置ストレージ装置４２及び追加ストレージ装置４３間の現在の負荷バランスをチェックする（ＳＰ２０１）。この結果、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ２０２：ＮＯ）、この負荷分散処理を終了する（ＳＰ２０３）。
これに対してＣＰＵ８０は、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さいときには（ＳＰ２０２：ＹＥＳ）、ステップＳＰ２００において取得した既設置ストレージ装置４２のペア管理テーブル７からペアステータスが「ペア」でないコピーペアのエントリを１つ選択する（ＳＰ２０４）。
そしてＣＰＵ８０は、この後そのコピーペアのペアステータスを、そのペア管理テーブル７に基づき確認し（ＳＰ２０５）、当該確認したペアステータスが「コピー」であった場合には（ＳＰ２０６：ＹＥＳ）、そのコピーペアのコピー処理が終了するまで待機する（ＳＰ２０７）。
一方、ＣＰＵ８０は、かかるコピーペアのペアステータスが「コピー」でなかった場合や（ＳＰ２０６：ＮＯ）、コピーペアのペアステータスが「コピー」であったが、そのコピーペアのコピー処理が終了した場合には、そのコピーペアを形成する正ボリュームのＬＤＥＶのＬＤＥＶ番号を既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５から検索し（ＳＰ２０８）、この後この検索結果に基づいて、かかる正ボリュームが外部ＬＤＥＶ５２にマッピングされている仮想ＬＤＥＶ５３であるか否かを判断する（ＳＰ２０９）。
ＣＰＵ８０は、この判断において肯定結果を得ると（ＳＰ２０９：ＹＥＳ）、図２９について上述したパス張替え処理手順ＲＴ９に従って、その正ボリュームを追加ストレージ装置４３に移行する処理を実行する（ＳＰ２１０）。
これに対して、ＣＰＵ８０は、かかるステップＳＰ２１９の判断において否定結果を得ると（ＳＰ２０９：ＮＯ）、図３４について上述した第５のＬＤＥＶ移行処理手順ＲＴ１４のステップＳＰ１６９〜ステップＳＰ１７１と同様にして、かかる正ボリュームを追加ストレージ装置４３に移行させる（ＳＰ２１１〜ＳＰ２１３）。
この後ＣＰＵ８０は、ステップＳＰ２１４において選択したコピーペアを形成する副ボリュームのＬＤＥＶのＬＤＥＶ番号を既設置ストレージ装置４２のＬＤＥＶ管理テーブル８５から検索し（ＳＰ２１４）、この検索結果に基づいて、かかる副ボリュームが外部ＬＤＥＶ５２にマッピングされている仮想ＬＤＥＶ５３であるか否かを判断する（ＳＰ２１５）。
ＣＰＵ８０は、この判断において肯定結果を得ると（ＳＰ２１５：ＹＥＳ）、図２９について上述したパス張替え処理手順ＲＴ９に従って、その副ボリュームを追加ストレージ装置４３に移行する処理を実行する（ＳＰ２１６）。
これに対して、ＣＰＵ８０は、かかるステップＳＰ２１５の判断において否定結果を得ると（ＳＰ２１５：ＮＯ）、追加ストレージ装置４３に対して「createLdev」コマンドを発行することにより、その副ボリュームと同じ容量の仮想ＬＤＥＶ７６（図１３）を追加ストレージ装置４３内に作成させる（ＳＰ２１７）。
次いでＣＰＵ８０は、「deletepair」コマンドを既設置ストレージ装置４２に送信することにより、当該既設置ストレージ装置４２内のペア管理テーブル７に登録されている、ステップＳＰ２１４において検出したコピーペアに対応するペア番号のエントリを削除する（ＳＰ２１８）。
またＣＰＵ８０は、この後追加ストレージ装置４３に対して「createpair -init」を発行することにより、ステップＳＰ２０９〜ステップＳＰ２１３の処理により追加ストレージ装置４３内に移行させた正ボリュームと、ステップＳＰ２１５〜ステップＳＰ２１７の処理により追加ストレージ装置４３内に移行させた副ボリュームとからなるコピーペアを追加ストレージ装置４３に生成させる。これにより追加ストレージ装置４３に移行される前のコピーペアのペアステータス及び差分ビット情報６が移行後のコピーペアに引き継がれ、この後これら正ボリューム及び副ボリューム間でのコピーが開始されることとなる（ＳＰ２１９）。
さらにＣＰＵ８０は、この後ステップＳＰ２１０に戻り、既設置ストレージ装置４２の負荷が追加ストレージ装置４３の負荷よりも小さくなるまで、同様の処理を繰り返す（ＳＰ２００〜ＳＰ２１９）。
そして、このような第２の負荷分散処理手順ＲＴ１６（図３６）に従った負荷分散処理によれば、第１の負荷分散処理手順ＲＴ４に従った負荷分散処理に比べて負荷分散処理を迅速化することができる。かくするにつき、第１の実施の形態により得られる効果に加えて、さらに負荷分散処理を迅速化させ得る記憶システムを実現できる。
（４）第３の実施の形態
図１３において、１１０は全体として第２の実施の形態による記憶システムを示す。この記憶システム１１０は、管理サーバ１１１のＣＰＵ８０が、物理記憶デバイス８１に格納された負荷分散ソフトウェア１１２に基づき、図２４について上述した第１の負荷分散処理手順ＲＴ４に代えて、図３９に示す第３の負荷分散処理手順ＲＴ１７に従って既設置ストレージ装置４２の負荷を追加ストレージ装置４３に分散させる負荷分散処理を行うようになされた点を除いて第１の実施の形態による記憶システム４０（図１３）と同様に構成されている。
実際上、管理サーバ１０１のＣＰＵ８０は、この第３の負荷分散処理手順ＲＴ１８を定期的に実行し、第１の負荷分散処理手順ＲＴ４（図２４）のステップＳＰ３０と同様にして、既設置ストレージ装置４２内においてコピーペアを形成していない内部ＬＤＥＶ６２又は仮想ＬＤＥＶ５３を追加ストレージ装置５３に移行させ（ＳＰ２２０）、この後この負荷分散処理を終了する。
このような第３の実施の形態による負荷分散処理によれば、第２の実施の形態による記憶システム１１０に比べて、より迅速に既設置ストレージ装置４２の負荷を分散させ得る記憶システムを実現できる。
（５）第４の実施の形態
図１３との対応部分に同一符号を付して示す図４０は、第４の実施の形態による記憶システム１２０を示す。この記憶システム１２０は、第１の実施の形態による記憶システム４０（図１３）の既設置ストレージ装置４２及び追加ストレージ装置４３に代えて、同一筐体内コピー機能及び外部接続機能と同様の仮想化機能が搭載された既設置ファイバーチャネルスイッチ１２１及び追加ファイバーチャネルスイッチ１２２が設けられた点と、既設置ファイバーチャネルスイッチ１２１及び追加ファイバーチャネルスイッチ１２２に直接外部ストレージ装置５７が接続されている点とを除いて第１の実施の形態による記憶システム４０と同様に構成されている。
既設置ファイバーチャネルスイッチ１２１及び追加ファイバーチャネルスイッチ１２２は、図４１に示すように、それぞれルーティングテーブル１２３を保持している複数のポート１２１Ａ，１２２Ａと、この既設置ファイバーチャネルスイッチ１２１又は追加ファイバーチャネルスイッチ１２２全体の動作制御を司るＣＰＵ１２４と、各種制御プログラムが格納されたメモリ１２５と、これら各ポート１２１Ａ，１２２Ａ、ＣＰＵ１２４及びメモリ１２５間を接続するクロスバースイッチ１２６とを備えて構成される。
この既設置ファイバーチャネルスイッチ１２１及び追加ファイバーチャネルスイッチ１２２は、通常時、ホスト装置４１や外部ストレージ装置５７から送信されるファイバーチャネルパケットを、各ポート１２１Ａ，１２２Ａ内にそれぞれ保持しているルーティングテーブル１２３に従ってポート１２１Ａ，１２２Ａから対応するポート１２１Ａ，１２２Ａに渡すようにして振り分ける一方、仮想化機能の実行時には、接続された外部ストレージ装置５７内に設定された外部ＬＤＥＶ５２を仮想化する。
そのための手段として、既設置ファイバーチャネルスイッチ１２１及び追加ファイバーチャネルスイッチ１２２は、仮想ＬＤＥＶ１３０，１３１を作成し、これをホスト装置４１に提供するためのＳＣＳＩターゲットとしての機能と、当該仮想ＬＤＥＶ１３０，１３１に対するデータ入出力要求を配下の外部ストレージ装置５７に対するデータ入出力要求として発行しなおすイニシエータ（Initiator）機能とを備えている。
そして、既設置ファイバーチャネルスイッチ１２１及び追加ファイバーチャネルスイッチ１２２は、仮想化機能の実行時には、ホスト装置４１から送信されるファイバーチャネルパケットをＣＰＵ１２４において解釈し、これが仮想ＬＤＥＶ１３０，１３１へのデータ入出力要求であった場合には、その仮想ＬＤＥＶ１３０，１３１にマッピングされている外部ＬＤＥＶ５２に対するデータ入出力要求を対応する外部ストレージ装置５７に発行する。
また既設置ファイバーチャネルスイッチ１２１及び追加ファイバーチャネルスイッチ１２２は、メモリ１２５内に上述のＬＤＥＶ管理テーブル８５、ペア管理テーブル７及びコピーペア毎の差分ビット情報６を保持しており、これらＬＤＥＶ管理テーブル８５、ペア管理テーブル７及び各差分ビット情報６に基づいて当該既設置ファイバーチャネルスイッチ１２１又は追加ファイバーチャネルスイッチ１２２内に設定した仮想ＬＤＥＶ１３０，１３１や、コピーペアを管理する。
一方、管理サーバ１１１は、第１の実施の形態の場合と同様に、これら既設置ファイバーチャネルスイッチ１２１や追加ファイバーチャネルスイッチ１２２のＬＤＥＶ管理テーブル８５及びペア管理テーブル７に基づき、図２４に示す第１の負荷分散処理手順ＲＴ４に従って、既設置ファイバーチャネルスイッチ１２１の負荷を追加ファイバーチャネルスイッチ１２２に分散するための負荷分散処理を実行する。
ただし、この場合において、既設置ファイバーチャネルスイッチ１２１及び追加ファイバーチャネルスイッチ１２２内に内部ＬＤＥＶが設定されることはないため、第１の負荷分散処理手順ＲＴ４のステップＳＰ３４は省略されることとなる。
以上のように、外部ストレージ装置５７の外部ＬＤＥＶ５２を仮想化する仮想化手段がファイバーチャネルスイッチ（既設置ファイバーチャネルスイッチ１２１、追加ファイバーチャネルスイッチ１２２）の場合においても、当該仮想化手段がストレージ装置（既設置ストレージ装置４２、追加ストレージ装置４３）の場合と同様に、その負荷を分散させることができる。
（６）他の実施の形態
なお上述の第１〜第４の実施の形態においては、外部ストレージ装置５７の外部ＬＤＥＶ５２を仮想化する仮想化手段がストレージ装置又はファイバーチャネルスイッチである記憶システム４０，１００，１１０，１２０に本発明を適用するようにした場合について述べたが、本発明はこれに限らず、要は、かかる仮想化手段として、自機内においてペア設定された正側の論理デバイスのデータを、上位装置を経由することなく副側の論理デバイスにコピーする第１の機能と、外部の論理デバイスを仮想化して前記ホスト装置に提供する第２の機能とが搭載された機器を適用した記憶システムであるのならば、この他種々の記憶システムに広く本発明を適用することができる。
また上述の第４の実施の形態においては、管理サーバ４４が第１の負荷分散処理手順ＲＴ４（図２４）に従って既設置ファイバーチャネルスイッチ１２１の負荷を分散させる処理を実行するようにした場合について述べたが、本発明はこれに限らず、例えば図３６について上述した第２の負荷分散処理手順ＲＴ１６や図３９について上述した第３の負荷分散処理手順ＲＴ１７に従って既設置ファイバーチャネルスイッチ１２１の負荷を分散させる処理を実行するように記憶システム１２０を構築するようにしても良い。
本発明は、自機内に設定された論理デバイスのうち、ペア設定された一方の論理デバイスのデータを他方の論理デバイスにコピーする第１の機能と、外部の論理デバイスを仮想化して上位装置に提供する第２の機能とが搭載された機器を有する種々の記憶システムに広く適用することができる。
ストレージ装置における同一筐体内コピー機能の説明に供する概念図である。 ストレージ装置における同一筐体内コピー機能の説明に供する概念図である。 ストレージ装置における同一筐体内コピー機能の説明に供する概念図である。 ストレージ装置における同一筐体内コピー機能の説明に供する概念図である。 ストレージ装置における同一筐体内コピー機能の説明に供する遷移図である。 ストレージ装置における同一筐体内コピー機能の説明に供するフローチャートである。 ストレージ装置における同一筐体内コピー機能の説明に供するフローチャートである。 ストレージ装置における外部接続機能の説明に供する概念図である。 同一筐体内コピー機能及び外部接続機能の連携の説明に供する概念図である。 ホスト装置を介したＬＤＥＶの移行処理の説明に供する概念図である。 外部接続機能を利用している場合の負荷分散処理の説明に供する概念図である。 同一筐体内コピー機能及び外部接続機能を利用している場合の負荷分散処理の問題点の説明に供する概念図である。 第１〜第３の実施の形態による記憶システムの構成を示すブロック図である。 既設置ストレージ装置、追加ストレージ装置及び外部ストレージ装置の構成を示すブロック図である。 負荷分散ソフトウェアと、ＬＤＥＶ管理テーブル、ペア管理テーブル及び差分ビット情報との接続関係を示す概念図である。 （Ａ）はＬＤＥＶ管理テーブルの説明に供する概念図であり、（Ｂ）はＬＤＥＶ管理テーブルの説明に供する図表である。 ペア管理テーブルの説明に供する概念図である。 差分ビット情報の説明に供する概念図である。 負荷分散処理に関する各種コマンドの説明に供する図表である。 負荷分散処理に関する各種コマンドの説明に供する図表である。 「createMapping」コマンドの説明に供する概念図である。 「deleteMapping」コマンドの説明に供する概念図である。 「createpair」コマンドの説明に供するフローチャートである。 第１の負荷分散処理手順を示すフローチャートである。 第１のＬＤＥＶ移行処理手順を示すフローチャートである。 テーブル取得処理手順を示すフローチャートである。 負荷バランスチェック処理手順を示すフローチャートである。 第１のＬＤＥＶ検索処理手順を示すフローチャートである。 パス張替え処理手順を示すフローチャートである。 第２のＬＤＥＶ移行処理手順を示すフローチャートである。 第１のコピーペア検索処理手順を示すフローチャートである。 第３のＬＤＥＶ移行処理手順を示すフローチャートである。 第４のＬＤＥＶ移行処理手順を示すフローチャートである。 第５のＬＤＥＶ移行処理手順を示すフローチャートである。 第２のコピーペア検索処理手順を示すフローチャートである。 第２の負荷分散処理手順を示すフローチャートである。 第６のＬＤＥＶ移行処理手順を示すフローチャートである。 第６のＬＤＥＶ移行処理手順を示すフローチャートである。 第３の負荷分散処理手順を示すフローチャートである。 第４の実施の形態による記憶システムの構成を示すブロック図である。 既設置ファイバーチャネルスイッチ及び追加ファイバーチャネルスイッチの構成を示すブロック図である。
符号の説明
６……差分ビット情報、７……ＬＤＥＶ管理テーブル、４０，１００，１１０，１２０……記憶システム、４１……ホスト装置、４２……既設置ストレージ装置、４３……追加ストレージ装置、４４，１０１，１１１……管理サーバ、４７……外部ストレージ装置、４８……ＬＡＮ、５２……外部ＬＤＥＶ、５３，７６，１３０，１３１……仮想ＬＤＥＶ、６２，７７……内部ＬＤＥＶ、８０，１２４……ＣＰＵ、８１……負荷分散ソフトウェア、８５……ＬＤＥＶ管理テーブル、ＲＴ４……第１の負荷分散処理手順、ＲＴ１６……第２の負荷分散処理手順、ＲＴ１７……第３の負荷分散処理手順。

Claims (8)

  1. 自機内に設定された論理デバイスのうち、ペア設定された一方の前記論理デバイスのデータを他方の前記論理デバイスにコピーする第１の機能と、外部の論理デバイスを仮想化して上位装置に提供する第２の機能とが搭載された第１の機器の負荷を分散させる負荷分散システムにおいて、
    前記第１及び第２の機能が搭載された第２の機器と、
    定期的に前記第１の機器の負荷及び前記第２の機器の負荷をそれぞれ検出し、前記第１の機器の負荷が前記第２の機器の負荷よりも大きいときに、前記第１の機器内に設定された前記論理デバイスのうち、他の前記論理デバイスと前記ペア設定されていない前記論理デバイスを前記第２の機器に移行させるように、前記第１及び第２の機器を制御する管理装置と
    を備えることを特徴とする負荷分散システム。
  2. 前記管理装置は、
    前記第１の機器の負荷が前記第２の機器の負荷よりも大きいときに、前記第１の機器内に設定された前記論理デバイスのうち、他の前記論理デバイスと前記ペア設定されていない前記論理デバイスを前記第２の機器に移行させた後に、前記第１の機器内に設定された前記論理デバイスのうちの他の前記論理デバイスとペア設定された前記論理デバイスを前記第２の機器に移行させるように、前記第１及び第２の機器を制御する
    ことを特徴とする請求項１に記載の負荷分散システム。
  3. 前記管理装置は、
    前記第１の機器内においてペア設定された前記一方の論理デバイス及び前記他方の論理デバイスからなるコピーペアを前記第２の機器に移行させる際に、当該コピーペアの現在の状態を検出すると共に、当該検出結果に応じた制御情報を前記第２の機器に通知し、
    前記第２の機器は、
    前記管理装置から通知される前記制御情報に基づいて、前記第１の機器から当該第２の機器に移行された前記コピーペアの状態を設定する
    ことを特徴とする請求項２に記載の負荷分散システム。
  4. 前記管理装置は、
    前記第１の機器内においてペア設定された前記一方の論理デバイス及び前記他方の論理デバイスを前記第２の機器に移行させる際に、前記一方の論理デバイスから前記他方の論理デバイスへのデータのコピー処理が行われているときには、当該コピー処理が終了した後に前記一方の論理デバイス及び前記他方の論理デバイスを第２の機器に移行させるように、前記第１及び第２の機器を制御する
    ことを特徴とする請求項２に記載の負荷分散システム。
  5. 自機内に設定された論理デバイスのうち、ペア設定された一方の前記論理デバイスのデータを他方の前記論理デバイスにコピーする第１の機能と、外部の論理デバイスを仮想化して上位装置に提供する第２の機能とが搭載された第１の機器の負荷を分散させる負荷分散方法において、
    定期的に前記第１の機器の負荷と、当該第１の機器とは別個に設けられた第１及び第２の機能が搭載された第２の機器の負荷とをそれぞれ検出する第１のステップと、
    前記第１の機器の負荷が前記第２の機器の負荷よりも大きいときに、前記第１の機器内に設定された前記論理デバイスのうち、他の前記論理デバイスと前記ペア設定されていない前記論理デバイスを前記第２の機器に移行させるように、前記第１及び第２の機器を制御する第２のステップと
    を備えることを特徴とする負荷分散方法。
  6. 前記第２のステップでは、
    前記第１の機器の負荷が前記第２の機器の負荷よりも大きいときに、前記第１の機器内に設定された前記論理デバイスのうち、他の前記論理デバイスと前記ペア設定されていない前記論理デバイスを前記第２の機器に移行させた後に、前記第１の機器内に設定された前記論理デバイスのうちの他の前記論理デバイスとペア設定された前記論理デバイスを前記第２の機器に移行させるように、前記第１及び第２の機器を制御する
    ことを特徴とする請求項５に記載の負荷分散方法。
  7. 前記第２のステップでは、
    前記第１の機器内においてペア設定された前記一方の論理デバイス及び前記他方の論理デバイスからなるコピーペアを前記第２の機器に移行させる際に、当該コピーペアの現在の状態を検出すると共に、当該検出結果に応じた制御情報を前記第２の機器に通知し、
    前記第２の機器は、
    前記管理装置から通知される前記制御情報に基づいて、前記第１の機器から当該第２の機器に移行された前記コピーペアの状態を設定する
    ことを特徴とする請求項６に記載の負荷分散方法。
  8. 前記第２のステップでは、
    前記第１の機器内においてペア設定された前記一方の論理デバイス及び前記他方の論理デバイスを前記第２の機器に移行させる際に、前記一方の論理デバイスから前記他方の論理デバイスへのデータのコピー処理が行われているときには、当該コピー処理が終了した後に前記一方の論理デバイス及び前記他方の論理デバイスを第２の機器に移行させるように、前記第１及び第２の機器を制御する
    ことを特徴とする請求項６に記載の負荷分散方法。

JP2005315634A 2005-10-31 2005-10-31 負荷分散システム及び方法 Pending JP2007122531A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005315634A JP2007122531A (ja) 2005-10-31 2005-10-31 負荷分散システム及び方法
US11/302,221 US7395388B2 (en) 2005-10-31 2005-12-14 Load balancing system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005315634A JP2007122531A (ja) 2005-10-31 2005-10-31 負荷分散システム及び方法

Publications (1)

Publication Number Publication Date
JP2007122531A true JP2007122531A (ja) 2007-05-17

Family

ID=37997968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005315634A Pending JP2007122531A (ja) 2005-10-31 2005-10-31 負荷分散システム及び方法

Country Status (2)

Country Link
US (1) US7395388B2 (ja)
JP (1) JP2007122531A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187468A (ja) * 2008-02-08 2009-08-20 Hitachi Ltd 記憶システム、解除方法及び副側のストレージ装置
JP5718533B1 (ja) * 2014-04-22 2015-05-13 株式会社日立製作所 ストレージシステムのデータ移行方法
JP2019185669A (ja) * 2018-04-17 2019-10-24 富士通株式会社 ストレージ装置及びストレージ制御プログラム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280111A (ja) * 2006-04-07 2007-10-25 Hitachi Ltd ストレージシステム及びその性能チューニング方法
US9383938B2 (en) * 2006-04-18 2016-07-05 International Business Machines Corporation Method, system, and apparatus for re-conveying input/output operations utilizing a sequential-access data storage device secondary communication port
US8140785B2 (en) * 2006-06-29 2012-03-20 International Business Machines Corporation Updating metadata in a logical volume associated with a storage controller for data units indicated in a data structure
US7930496B2 (en) * 2006-06-29 2011-04-19 International Business Machines Corporation Processing a read request to a logical volume while relocating a logical volume from a first storage location to a second storage location using a copy relationship
JP2008059315A (ja) * 2006-08-31 2008-03-13 Hitachi Ltd 負荷分散方法及び計算機システム
JP2008234445A (ja) * 2007-03-22 2008-10-02 Brother Ind Ltd コンテンツ分散保存システム、複製データ取得方法、ノード装置、及びノード処理プログラム
JP4990066B2 (ja) * 2007-08-21 2012-08-01 株式会社日立製作所 論理ボリュームのペアを利用したデータ保存の方式を変更する機能を備えたストレージシステム
JP4966135B2 (ja) * 2007-08-31 2012-07-04 株式会社東芝 サーバ装置、端末装置、通信制御方法および通信制御プログラム
JP5222617B2 (ja) * 2008-04-28 2013-06-26 株式会社日立製作所 情報システム及びｉ／ｏ処理方法
US7984151B1 (en) 2008-10-09 2011-07-19 Google Inc. Determining placement of user data to optimize resource utilization for distributed systems
US8954666B2 (en) * 2009-05-15 2015-02-10 Hitachi, Ltd. Storage subsystem
US8380925B2 (en) * 2009-05-22 2013-02-19 Hitachi, Ltd. Storage system comprising plurality of processor units
US8352953B2 (en) * 2009-12-03 2013-01-08 International Business Machines Corporation Dynamically provisioning virtual machines
US8311032B2 (en) * 2009-12-03 2012-11-13 International Business Machines Corporation Dynamically provisioning virtual machines
US8418185B2 (en) 2010-10-19 2013-04-09 International Business Machines Corporation Memory maximization in a high input/output virtual machine environment
US9032146B2 (en) 2010-11-30 2015-05-12 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Dynamic use of raid levels responsive to workload requirements
US20120278553A1 (en) * 2011-04-28 2012-11-01 Mudhiganti Devender R System and method for migration of data clones
US9021499B2 (en) 2012-01-10 2015-04-28 Hewlett-Packard Development Company, L.P. Moving a logical device between processor modules in response to identifying a varying load pattern
US20150331615A1 (en) * 2012-11-20 2015-11-19 Empire Technology Development Llc Multi-element solid-state storage device management
WO2015072026A1 (ja) * 2013-11-18 2015-05-21 株式会社日立製作所 計算機システム
US9886301B2 (en) * 2015-05-04 2018-02-06 Strato Scale Ltd. Probabilistic deduplication-aware workload migration
WO2018038740A1 (en) * 2016-08-26 2018-03-01 Hitachi, Ltd. Method and apparatus to control data copy based on correlations between number of copied data and application output
CN107168645B (zh) * 2017-03-22 2020-07-28 佛山科学技术学院 一种分布式系统的存储控制方法及系统
CN107153513B (zh) * 2017-03-22 2020-07-24 佛山科学技术学院 一种分布式系统服务器的存储控制方法及服务器
CN107066206B (zh) * 2017-03-22 2020-07-24 佛山科学技术学院 一种分布式物理磁盘的存储控制方法及系统
US10606766B1 (en) * 2017-07-14 2020-03-31 STEALTHbits Technologies, Inc. Systems and methods for shadow copy access prevention
US20220188965A1 (en) * 2019-06-24 2022-06-16 Intel Corporation Apparatus and method for scheduling graphics processing resources
US20230090604A1 (en) * 2021-09-16 2023-03-23 T-Head (Shanghai) Semiconductor Co., Ltd. Parallel processing unit virtualization

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155722B1 (en) * 2001-07-10 2006-12-26 Cisco Technology, Inc. System and method for process load balancing in a multi-processor environment
JP4188602B2 (ja) * 2002-01-10 2008-11-26 株式会社日立製作所 クラスタ型ディスク制御装置及びその制御方法
US7127716B2 (en) * 2002-02-13 2006-10-24 Hewlett-Packard Development Company, L.P. Method of load balancing a distributed workflow management system
JP3950720B2 (ja) * 2002-03-18 2007-08-01 株式会社日立製作所 ディスクアレイサブシステム
US7162579B2 (en) * 2002-08-19 2007-01-09 Aristos Logic Corporation Asymmetrical load balancing for mirrored storage volumes
JP4341897B2 (ja) 2002-08-29 2009-10-14 株式会社日立製作所 記憶装置システム及びデータ複製方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187468A (ja) * 2008-02-08 2009-08-20 Hitachi Ltd 記憶システム、解除方法及び副側のストレージ装置
JP5718533B1 (ja) * 2014-04-22 2015-05-13 株式会社日立製作所 ストレージシステムのデータ移行方法
JP2019185669A (ja) * 2018-04-17 2019-10-24 富士通株式会社 ストレージ装置及びストレージ制御プログラム
JP7043952B2 (ja) 2018-04-17 2022-03-30 富士通株式会社 ストレージ装置及びストレージ制御プログラム

Also Published As

Publication number Publication date
US7395388B2 (en) 2008-07-01
US20070101082A1 (en) 2007-05-03

Similar Documents

Publication Publication Date Title
JP2007122531A (ja) 負荷分散システム及び方法
JP2009211132A (ja) 記憶システム及びデータ移行方法
EP1973030B1 (en) Storage apparatus and storage area arrangement method
US7558916B2 (en) Storage system, data processing method and storage apparatus
CN101799742B (zh) 用于在存储系统之间转移精简配置卷的方法和装置
WO2013046254A1 (en) Management server and data migration method
JP2011165212A (ja) 分散型ｒａｉｄ実装のための方法およびシステム
US20060004876A1 (en) Data migration in storage system
US8762669B2 (en) Computer system and storage migration method utilizing acquired apparatus specific information as virtualization information
US7111004B2 (en) Method, system, and program for mirroring data between sites
JP2009129441A (ja) 記憶システムにおける非重複化のための方法および装置
JP2007316995A (ja) 記憶システム及びデータ管理方法
EP1837765A2 (en) Backup apparatus and backup method
JP5996098B2 (ja) ストレージデバイスの高速アクセス及びデータ保護を実現する計算機、計算機システム、及びｉ／ｏ要求処理方法
JP2009211401A (ja) ストレージ装置及びその制御方法
WO2019016911A1 (ja) 分散ストレージシステム及び分散ストレージ制御方法
WO2013076782A1 (en) Storage apparatus and its control method
JP6561765B2 (ja) ストレージ制御装置およびストレージ制御プログラム
JP2013069096A (ja) 制御装置、制御方法およびストレージ装置
US8583884B2 (en) Computing system and backup method
US8127102B2 (en) Storage system, copy method, and primary storage apparatus
JP4837495B2 (ja) 記憶システム及びデータ管理移行方法
US8732422B2 (en) Storage apparatus and its control method
US11099751B2 (en) Determining tracks to release in a source volume being copied to a target volume
US20160357479A1 (en) Storage control apparatus