JP2003296035A

JP2003296035A - ストレージ装置及びストレージ方法

Info

Publication number: JP2003296035A
Application number: JP2002104965A
Authority: JP
Inventors: Frederico Mashel; マシエル・フレデリコ
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-04-08
Filing date: 2002-04-08
Publication date: 2003-10-17
Anticipated expiration: 2022-04-08
Also published as: US7143256B2; JP4220174B2; US20030191840A1

Abstract

(57)【要約】【課題】複数のサーバで共有されるストレージ装置の
数を削減して小型化及び消費電力の低下を図るととも
に、サービスの低下を抑制しながら記憶内容の更新を行
う。【解決手段】複数のストレージ装置１１〜１３を有
し、これらストレージ装置の一部または全てに同じデー
タを保存する仮想ボリューム２１と、仮想ボリューム２
１からストレージ装置を分離するとともに、分離したス
トレージ装置により仮想ボリューム２２を生成し、さら
に、仮想ボリューム２１からストレージ装置を分離する
とともに、分離したストレージ装置を仮想ボリューム２
２へ移動する仮想化エンジンは、仮想ボリューム２１と
仮想ボリューム２２との保存データの差分を移動したス
トレージ装置へ順次書き込む

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ストレージ機構、
特に共有ストレージに保存されているコンテンツの更新
に関する。

【０００２】

【従来の技術】インターネットに接続しているデータセ
ンタでは、普通複数のレイヤ（層）から構成される。

【０００３】図１５に、フロント・エンド・レイヤと呼
ばれる、インターネットに最も近いレイヤの構成を示
す。負荷分散機５１は、インターネット５０からのアク
セスを複数のサーバ５０１〜５０５に分散する。

【０００４】これらのサーバ５０１〜５０５はＷｅｂや
ＦＴＰ等のサービスを提供する。各サーバ５０１〜５０
５には、一つあるいは複数のハードディスクからなるス
トレージ装置５１１〜５１５がそれぞれ装備される。こ
れらのストレージ装置５１１〜５１５が、そのデータセ
ンタが処理する各Ｗｅｂサイト、ＦＴＰサイト等（以
下、単にサイトという）のコンテンツを保存する。

【０００５】これらサーバ５０１〜５０５を管理する管
理サーバ４０は、一つあるいは複数のハードディスクか
らなるストレージ装置４１を備え、このストレージ装置
４１がサイトのコンテンツのマスタコピーを保存し、マ
スタコピーが更新されたら各サーバ５０１〜５０５のコ
ンテンツを更新する（以降、更新されたコンテンツを
「新しいコンテンツ」、更新される前のコンテンツを
「古いコンテンツ」と呼ぶ）。

【０００６】しかし、サーバ５０１〜５０５がアクセス
される最中にコンテンツが更新される場合に様々なエラ
ーが生じる可能性があるため、管理サーバ４０は次の手
順でコンテンツを更新する。

【０００７】まず、負荷分散機５１の設定を変更し、サ
ーバ５０１をサイトから分離する（その後、インターネ
ット５０からのアクセスがこのサーバ５０１に転送され
なくなる）。

【０００８】そして、新しいコンテンツ（あるいは古い
コンテンツと新しいコンテンツとの差分）をストレージ
装置４１からサーバ５０１のストレージ装置５１１にコ
ピーする。

【０００９】最後に、負荷分散機５１の設定を元に戻
し、サーバ５０１をサイトに再び追加する。管理サーバ
４０が上記の３つのステップをサーバ５０２からサーバ
５０５に繰り返すことにより、サイト全体のコンテンツ
を更新する。そして、サーバ５０１〜５０５を一つずつ
更新するため、更新の最中にでもサイトをアクセスする
ことが可能であり、そしてサイトの性能はサーバ５０１
〜５０５一台分のみ低下する。

【００１０】近年、サーバ５０１〜５０５の密度が向上
してきたが、図１５のように各サーバ５０１〜５０５が
ストレージ装置５１１〜５１５を持つことは密度の向上
を制限する。そして、上記のようなサイトやサーバ群を
複数管理するデータセンタでは、コンピュータシステム
の消費電力の上昇も近年課題になってきており、消費電
力の削減が望まれてきた。

【００１１】ストレージ装置を集約するものとしては、
例えば、「http://www.hitachi.co.jp/Prod/comp/stora
ge/diskarray/what#san/nas.html」（以下、文献１）あ
るいは「ftp://download.intel.com/ebusiness/pdf/pro
d/infiniband/wp012501.pdf」（以下、文献２）で開示
されるように、ローカルのストレージ装置を持たない複
数のサーバが、ネットワーク等を介して一つのストレー
ジ装置を共有するものが知られており、各サーバにスト
レージ装置を設けない分、サーバの消費電力（及びコン
ピュータシステムの冷却に要する電力）を低減すると共
に小型化を推進してデータセンタなどにおけるサーバの
配置密度を向上できる。

【００１２】

【発明が解決しようとする課題】しかしながら、上記後
者の従来例（文献１、２）は、上記図１５の従来例に比
べて有利な点がある一方、ストレージ装置に格納された
コンテンツの更新が課題となる。つまり上記後者の例で
は、共有するストレージ装置の一つのボリュームを複数
のサーバで共有する場合、このボリュームのコンテンツ
を更新するときには、このボリュームをアクセスしてい
る全てのサーバをサイトから分離する必要がある。これ
はサイトの大きな性能低下、あるいはサイトへのアクセ
スの中断となる。

【００１３】これを回避するためには、更新するコンテ
ンツを別のボリュームに格納しておき、サーバのアクセ
スを切り換えていくことになるが、この場合、現用のボ
リュームと更新用のボリュームがそれぞれ必要となって
しまい、更新用のボリュームを物理的なストレージ装置
で確保しなければならないため、必要とするストレージ
装置の容量が増大することになり、サーバからストレー
ジ装置を削減した割にはストレージ装置の容量または数
が増大してしまい、サーバ及びストレージ装置を合わせ
た電力消費の低減及び小型化を推進できない、という問
題があった。

【００１４】そこで本発明は、上記問題点に鑑みてなさ
れたもので、複数のサーバで共有されるストレージ装置
の数を削減して小型化及び消費電力の低下を図るととも
に、サービスの低下を抑制しながら記憶内容の更新を行
うことを目的とする。

【００１５】

【課題を解決するための手段】本発明は、上記のコンテ
ンツ更新の問題を解決するために、新しいコンテンツを
保存するための仮想ボリューム２２（第二ボリューム）
を生成し、この仮想ボリューム２２を図１６に示すスト
レージ装置（機構）１４〜１６（すなわち、仮想ボリュ
ーム２１と異なったストレージ装置）で実現する代わり
に、図２で示すように仮想ボリューム２１（第一ボリュ
ーム）のストレージ装置１１〜１３で実現し、これらの
ストレージ装置１１〜１３を徐々に仮想ボリューム２１
から仮想ボリューム２２に移動するとともに、仮想ボリ
ューム２１と仮想ボリューム２２との保存データの差分
を、仮想ボリューム２２へ移動したストレージ装置へ書
き込む。

【００１６】

【発明の効果】したがって、本発明によれば、仮想ボリ
ューム２１のデータの更新を、新規に生成した仮想ボリ
ューム２２へストレージ機構を移動してデータの差分を
書き込むことにより、より数少ないディスクでデータ
（コンテンツ）の更新を実行しながら、コンテンツの更
新を行うので、システム全体の性能低下を抑制でき、仮
想ボリューム２１、２２からなる共有ストレージ装置を
含むシステムの密度向上及び消費電力削減と、システム
のサービス維持を両立させることができる。

【００１７】

【発明の実施の形態】以下、本発明の一実施形態を添付
図面に基づいて説明する。

【００１８】図１は、本発明をＷｅｂサイト（以下、サ
イトという）に適用した一例を示し、インターネット５
０からのアクセスを複数のサーバ（情報処理装置）５２
１〜５２５に分散する負荷分散機（経路制御手段）５１
と、これらサーバ５２１〜５２５が提供するコンテンツ
を格納したストレージ装置１と、これらのサーバ５２１
〜５２５及びストレージ装置１を管理する管理サーバ４
０とからＷｅｂサイトが構成される。

【００１９】図１においてサーバ５２１〜５２５はスト
レージ装置を持たず、その代わりに共有ストレージ装置
１を複数のサーバ５２１〜５２５で共有し、このストレ
ージ装置１には、Ｗｅｂサイトのコンテンツを保存する
仮想ボリューム２１が設定され、各サーバ５２１〜５２
５は仮想ボリューム２１をアクセスする。なお、各サー
バ５２１〜５２５と共有ストレージ装置１は、内部ネッ
トワーク５２を介して接続されている。

【００２０】この仮想ボリューム２１は複数のサーバ５
２１〜５２５からアクセスされるため、仮想ボリューム
２１には前記従来例の図１５で示したストレージ装置５
１１〜５１５の複数台分の性能が必要である。

【００２１】一方、仮想ボリューム２１は前記従来例の
図１５に示したストレージ装置５１１〜５１５と同じコ
ンテンツを持つため、同じ容量で十分である。このた
め、仮想ボリューム２１の構成としては、ＲＡＩＤ−１
（ミラーリングとも呼ばれる）の構成が考えられる
（“ＢｕｉｌｄｉｎｇＳｔｏｒａｇｅＮｅｔｗｏｒ
ｋｓ”、ＩＳＢＮ０−０７−２１２０５０−９参照、
以下参考文献３と呼ぶ）。

【００２２】ここで、複数のサーバ５２１〜５２５で共
有ストレージ装置１を共有するため、共有ストレージ装
置１には仮想化エンジン（仮想化ソフトウェア）２０が
設けられる。この仮想化エンジン２０が複数のストレー
ジ装置１１〜１３の間でＲＡＩＤ−１の構成で仮想ボリ
ューム２１を実現する。

【００２３】そして、仮想化エンジン２０が仮想ボリュ
ーム２１のコンテンツのキャッシュを行うとともに、ス
トレージ装置１１〜１３間の最適化（仮想ボリューム２
１へのアクセスをストレージ装置１１〜１３の間で分散
すること等）を実現する。このキャッシュと最適化によ
り、入出力の効率を向上し、例えば図１に示すとおり５
台のサーバ５２１〜５２５に必要な性能を、３台のスト
レージ装置１１〜１３で実現できる。そして、このスト
レージ装置１１〜１３に相当するローカルストレージ装
置を各サーバ５２１〜５２５から削減しているため、フ
ロント・エンド・レイヤの密度の向上、そして消費電力
の削減の効果がある。

【００２４】ここで、共有ストレージ装置１の仮想化エ
ンジン２０は、管理サーバ４０の管理ソフトウェア６０
からの指令に応じて、仮想ボリュームの作成、削除、ボ
リューム間でのストレージ装置の移動を行い、また、各
サーバ５２１〜５２５からのアクセスに応じてデータ
（コンテンツ）を読み出す。

【００２５】次に、共有ストレージ装置１の仮想ボリュ
ーム２１に格納されたコンテンツの更新について説明す
る。

【００２６】図２〜図４は、コンテンツの更新の概要を
示し、管理サーバ４０からの指令に基づいて仮想化エン
ジン２０が仮想ボリューム２２を作成し、この新規な仮
想ボリューム２２に対して管理サーバ４０がデータの移
動を行い、データの移動が完了した後には、古いコンテ
ンツを保存していた仮想ボリューム２１を削除するもの
である。

【００２７】まず、図２では、新しいコンテンツを保存
するための仮想ボリューム２２を新規に作成する。この
新規な仮想ボリューム２２に、既存の仮想ボリューム２
１のストレージ装置１１を移動する。すなわち、ストレ
ージ装置１１が所属するボリュームを既存の仮想ボリュ
ーム２１から新規に作成した仮想ボリューム２２に切り
換える。

【００２８】この時点では、仮想ボリューム２２のコン
テンツとしてストレージ装置１１のコンテンツを使用す
るため、仮想ボリューム２１と仮想ボリューム２２は同
じコンテンツを持つ。

【００２９】その後、管理サーバ４０が古いコンテンツ
との差分を仮想ボリューム２２のストレージ装置１１に
コピーする。ここでは、古いコンテンツと新しいコンテ
ンツの差分を仮想ボリューム２２のストレージ装置１１
に書き込むものとする。この時点で、仮想ボリューム２
２が新しいコンテンツを保存する。

【００３０】そして、管理サーバ４０はサーバ５２１〜
５２５が提供するコンテンツを更新するために、負荷分
散機５１に対してサーバ５２１〜５２５を一台ずつサイ
トから分離（接続の解除）するよう順次指令して、サー
バ５２１〜５２５は、サイトから切り離されている期間
に、アクセスするボリュームを古いコンテンツ（仮想ボ
リューム２１）から新しいコンテンツ（仮想ボリューム
２２）に変更する。なお、サーバーのサイトからの切り
離しは、管理サーバ４０が負荷分散機５１に対してルー
ティングを変更するよう指令することで行われる。

【００３１】そして、管理サーバ４０は、アクセスする
仮想ボリュームの切り換えが終了すると、負荷分散機５
１に対して、新しいコンテンツ（仮想ボリューム２２）
をアクセスするサーバ５２１〜５２５をサイトに組み込
むよう指令する。

【００３２】このように、管理サーバ４０は、サーバ５
２１〜５２５が提供するコンテンツを更新する（すなわ
ち、サーバ５２１〜５２５がアクセスするコンテンツを
一台ずつ仮想ボリューム２１から仮想ボリューム２２に
変更する）。

【００３３】そして、新しいコンテンツ（仮想ボリュー
ム２２のデータ）をアクセスするサーバが多くなった
ら、図３に示すとおり、更にストレージ装置１２を仮想
ボリューム２２に移動する。この移動も上記と同様であ
り、ストレージ装置１２が所属するボリュームを既存の
仮想ボリューム２１から新規に作成した仮想ボリューム
２２に切り換える。

【００３４】ストレージ装置１２は、この時点で古いコ
ンテンツ（仮想ボリューム２１のデータ）を保存するた
め、仮想化エンジン２０の処理によりストレージ装置１
１から、古いコンテンツと新しいコンテンツとの差分を
ストレージ装置１２に書き込み、ストレージ装置１２の
コンテンツを新しいコンテンツにする。

【００３５】そして、この操作は、ストレージ装置１１
とストレージ装置１２のコンテンツを同じにするため、
仮想ボリューム２２でのＲＡＩＤ−１動作が可能とな
る。

【００３６】最後に、図４に示すとおり、ストレージ装
置１３を仮想ボリューム２２に移動する。そのときに、
上記と同じく、ストレージ装置１１と１２からコンテン
ツの差分をストレージ装置１３に書き込む。その後、仮
想ボリューム２１にストレージ装置が残らないため、仮
想ボリューム２１を削除する。

【００３７】上記更新の手順の一例としては、次の順番
が考えられる（下記に「サーバを仮想ボリューム２２に
変更する」というステップは、負荷分散機５１との分離
と追加を含む）。（１）仮想ボリューム２２を実現する（図２）（２）サーバ５２１を仮想ボリューム２２に変更する（３）サーバ５２２を仮想ボリューム２２に変更する（４）ストレージ装置１２を仮想ボリューム２２に移動
する（図３）（５）サーバ５２３を仮想ボリューム２２に変更する（６）サーバ５２４を仮想ボリューム２２に変更する（７）サーバ５２５を仮想ボリューム２２に変更する（８）ストレージ装置１３を仮想ボリューム２２に移動
する（図６）上記に述べたとおり、ストレージ装置１２〜１３を仮想
ボリューム２１から新たな仮想ボリューム２２に移動す
るときに、これらストレージ装置１２〜１３に古いコン
テンツと新しいコンテンツとの差分を書き込む。

【００３８】このコピー（書き込み）のために、従来の
ＲＡＩＤ−１方法を拡張する。下記に、従来のＲＡＩＤ
−１方法を説明したあと、本発明の方法を説明する。

【００３９】まず、図１と図５を使用して従来のＲＡＩ
Ｄ−１の動作を説明する（図５が図１の状態に関係す
る）。

【００４０】仮想ボリューム２１へのコンテンツ更新
（データの書き込み）が行なわれたとき、仮想化エンジ
ン２０は各ストレージ装置１１〜１３にその書き込みを
行う。

【００４１】仮想化エンジン２０は、仮想ボリューム２
１への書き込みの状態を管理するために更新表３０〜３
３を持つ。図５において更新表３０〜３３の「レ」印
は、対応するストレージ装置１１〜１３のブロック３０
に書き込みが完了したことを意味する。

【００４２】仮想化エンジン２０は、仮想ボリューム２
１への書き込みが行なわれたとき、書き込み対象のブロ
ックの「レ」印を全て削除してから、各ストレージ装置
への書き込みを行う。各ストレージ装置の反応が異な
り、そして性能向上のために各ストレージ装置１１〜１
３における複数の更新と読み出しの実行順番を選択する
ため、これらの書き込みが同時に行なわれない。このた
め、ある時点で、更新表３０〜３３のあるブロック３０
に、更新されたストレージ装置と更新されていないスト
レージ装置が存在する（図５ではブロック２がその例で
ある）。

【００４３】仮想ボリューム２１からデータを読み出す
ときに（データがキャッシュになければ）読み出し対象
とするブロックの、「レ」印が付いているストレージ装
置１１〜１３からデータを読み出せる。

【００４４】上記の動作は、更新管理の他に、仮想ボリ
ューム２１からストレージ装置１１〜１３の一時的な分
離も可能にする。

【００４５】これは例えば仮想ボリューム２１更新中
の、コンテンツのスナップショットのバックアップを作
ることに役に立つ。例えば、ストレージ装置１１を仮想
ボリューム２１から分離し、ストレージ装置１１のデー
タをテープ等のバックアップ装置にコピーし、その後に
ストレージ装置１１を仮想ボリューム２１に再び追加す
る。

【００４６】ストレージ装置１１が分離している間に欄
３１に関するの更新管理を継続する。その間に仮想ボリ
ューム２１が更新された場合、欄３１の「レ」印が削除
され、ストレージ装置１１を再び追加したときにこれら
のブロックが更新される（参考文献３参照）。

【００４７】以上は、従来のＲＡＩＤ−１の動作であ
る。次に図６を使用して本発明の動作を説明する（図６
は図２の状態に関係する。図６の符号１７、１８、１９
の波線で示した図形は仮想ボリュームやストレージ装置
でなく、共有ストレージ装置１内の空きスロットを示
す）。

【００４８】本発明の仮想化エンジン２０では、仮想ボ
リューム２２を作成するとき、その時点の更新表３０〜
３３を複写し、新しい仮想ボリューム２２のための更新
表３４〜３７を作成する。

【００４９】そして、図４のように、全てのストレージ
装置１１〜１３を仮想ボリューム２２に移動したとき
に、仮想ボリューム２１と一緒に更新表３０〜３３を削
除する。

【００５０】仮想ボリューム２２へ移動するストレージ
装置（図６ではストレージ装置１１）の、仮想ボリュー
ム２１での欄（図６では欄３１）を無効にし（図６では
×マークで示す）、その時点以降その欄の「レ」印の更
新を行なわない。

【００５１】一方、まだ移動されていないストレージ装
置（図６ではストレージ装置１２と１３）の、仮想ボリ
ューム２２での空きスロット（図６では空きスロット１
８と１９）にストレージ装置があることを想定し、更新
表の欄（図６では欄３６と３７）の更新を、従来どおり
に行なう。

【００５２】このため、仮想ボリューム２２への書き込
みが行なわれたら、空きスロット１８、１９の「レ」印
が削除されるが、書き込みができないため「レ」印が付
かない。仮想ボリューム２２にストレージ装置を移動し
たときに、「レ」印が付けられていないブロックが更新
されるので、更新されたブロックのみ（すなわち、デー
タの差分）がこの移動されたストレージ装置に書き込ま
れる。

【００５３】つまり、このデータ以外、仮想ボリューム
２２を作成した時点の、仮想ボリューム２１で書き込ま
れていなかったデータも書き込まれる。そのデータが既
に仮想ボリューム２１で書き込まれていれば、二重書き
込みとなる。しかし、仮想ボリューム２２を作成すると
きに、仮想ボリューム２１に更新されていないブロック
がない、あるいは非常に少ないと考えられるため、二重
書き込みによる性能低下が小さい。

【００５４】そして、本発明のストレージ装置１１〜１
３の移動は、古いコンテンツを保存している仮想ボリュ
ーム２１から、新しいコンテンツを保存する仮想ボリュ
ーム２２へストレージ装置１１〜１３が順次追加され、
追加されたストレージ装置１１〜１３は上記更新表に基
づいて書き込みが行われて、更新されたコンテンツを保
存することになる。

【００５５】次に、管理サーバ４０の管理ソフトウェア
６０で実行されるコンテンツの更新処理について、図７
のフローチャートを参照しながら説明する。なお、図７
のフローチャートは、インターネット５０側からコンテ
ンツの更新要求があったとき、または、管理サーバ４０
でコンテンツの更新を行う際に実行されるもので、ここ
では、管理サーバ４０のストレージ装置４１に更新する
新たなコンテンツが既に保存されているものとする。

【００５６】まず、ステップ６０１では、共有ストレー
ジ装置１の仮想化エンジン２０に対して新規の仮想ボリ
ューム２２（図２参照）を作成する命令を送信する。

【００５７】次に、ステップ６０２では、新しいコンテ
ンツと古いコンテンツとの差分を仮想ボリューム２２に
書き込む。これで仮想ボリューム２２が、新しいコンテ
ンツを保存することになる。

【００５８】そして、ステップ６０３では、共有ストレ
ージ装置１の仮想ボリューム２１（古いコンテンツ）に
アクセスしているサーバ（ホスト）５２１〜５２５を、
新たに作成した仮想ボリューム２２（新しいコンテン
ツ）にアクセスするよう、各サーバ５２１〜５２５及び
負荷分散機５１に指令する。

【００５９】このステップ６０３では、次の３つの処理
を含み、上記（２）、（３）、（５）〜（７）に相当す
る。（Ａ）負荷分散機５１に対して一つのサーバをサイトか
ら切り離すように指令する。（Ｂ）次に、サイトから分離したサーバに対してアクセ
スするボリュームを仮想ボリューム２１から新しいコン
テンツを含む仮想ボリューム２２に切り換えるよう指令
する。（Ｃ）アクセス先を仮想ボリューム２２に変更したサー
バを再びサイトに接続するよう、負荷分散機５１に指令
する。

【００６０】以上（Ａ）〜（Ｃ）の処理を実行すること
で、一つのサーバが一旦サイトから切り離されている間
に、サーバがアクセスするボリュームを更新されたコン
テンツを含む仮想ボリューム２２に切り換える。

【００６１】次に、ステップ６０４では、ストレージ装
置１１〜１３を仮想ボリューム２１から仮想ボリューム
２２へ移動するか否かを判定する。

【００６２】この判定は、仮想ボリューム２１、２２の
負荷とストレージ装置の数などから判定が行われ、その
一例としては、

【００６３】

【数１】を満たすときに、ステップ６０５へ進んでストレージ装
置１１〜１３の移動を行う一方、そうでない場合には、
ステップ６０６に進む。ただし、仮想ボリューム２１、
２２の負荷としてサーバの接続数とし、仮想ボリューム
２１の最後のストレージ装置の場合には、負荷＝サーバ
接続数が０でなければ、そのままステップ６０６に進
む。

【００６４】ここで、仮想ストレージ装置の負荷として
は、接続しているサーバの数としたが、これに限定され
るものではなく、「負荷」としてホスト（サーバ）数、
アクセス負荷（秒当たりのバイト数）等が考えられる。

【００６５】ステップ６０５では、共有ストレージ装置
１の仮想化エンジン２０に対して古いコンテンツを保存
している仮想ボリューム２１のストレージ装置を、新し
い仮想ボリューム２２へ移動するよう指令する。

【００６６】そして、ステップ６０６では、古いコンテ
ンツを保存している仮想ボリューム２１にアクセスして
いるサーバがあるか否かを判定して、仮想ボリューム２
１にアクセスしているサーバがあればステップ６０３の
処理に進んで、アクセスする仮想ボリューム２２の切り
換えを行う。

【００６７】以上により、管理サーバ４０の管理ソフト
ウェア６０は、共有ストレージ装置１に対して仮想ボリ
ュームの作成を指令してから、更新するコンテンツまた
は更新するコンテンツの差分をストレージ装置４１から
共有ストレージ装置１に書き込んだ後、各仮想ボリュー
ムの負荷を見ながら、共有ストレージ装置１のストレー
ジ装置１１〜１３を仮想ボリューム２２へ移動してコン
テンツの更新を行うとともに、負荷分散機５１によって
サイトから切り離したサーバは、アクセスする仮想ボリ
ュームを順次切り換えていく。

【００６８】次に、図８〜図１０を参照しながら共有ス
トレージ装置１の仮想化エンジン２０で行われる処理の
一例について説明する。

【００６９】図８は仮想化エンジン２０のメインルーチ
ンを、図９は新規ボリューム作成のサブルーチンを、図
１０はストレージ装置移動のサブルーチンをそれぞれ示
す。

【００７０】まず、図８において、ステップ６１１、６
１２では、命令（指令）の受信を待って、管理サーバ４
０から命令を受信すると、ステップ６１３で新規ボリュ
ーム作成の命令かを判定し、ステップ６１５ではストレ
ージ装置の移動命令であるかを判定する。

【００７１】そして、新規ボリューム作成の命令を受信
した場合にはステップ６１４に進んで新たな仮想ボリュ
ームを作成し、ストレージ装置の移動命令を受信した場
合にはステップ６１６に進んで仮想ボリューム２１から
２２へストレージ装置１１〜１３を移動する。

【００７２】なお、その他の命令を受信した場合にはス
テップ６１７で命令に応じた処理を行う。その他の命令
として、例えば、上記で説明した従来技術の仮想ボリュ
ームからストレージ装置を分離するための命令、再び追
加するための命令などが挙げられる。

【００７３】上記ステップ６１１〜６１７を繰り返すこ
とで、管理サーバ４０やサーバ５２１〜５２５からの命
令に応じた処理を行う。

【００７４】次に、上記ステップ６１４で行われる新規
ボリュームの作成処理について図９のフローチャートを
参照しながら説明する。

【００７５】図９において、ステップ６３１では、共有
ストレージ装置１内に、更新したコンテンツを保存する
ための仮想ボリューム２２を作成するとともに、上記図
６で説明したように更新表３０〜３３を複写して新たな
更新表３４〜３７を作成する。

【００７６】そして、ステップ６１６では、古いコンテ
ンツを保存している仮想ボリューム２１から、ひとつの
ストレージ装置１１を新たに作成した仮想ボリューム２
２に移動させる。

【００７７】これにより、仮想ボリューム２２を作成し
た時点ではストレージ装置数が０であるが、上記ステッ
プ６１６の処理によって、最初のストレージ装置の移動
を完了させておく。

【００７８】次に、上記ステップ６１６で行われるスト
レージ装置の移動処理の一例を、図１０に示すフローチ
ャートを用い説明する。

【００７９】まず、ステップ６４１では、上記図６で示
した更新表のように、ストレージ装置（例えば、１１）
の更新欄３１の一列を無効にして、このストレージ装置
を古いコンテンツを保存している仮想ボリューム２１か
ら分離する。

【００８０】次に、仮想ボリューム２１から分離された
ストレージ装置を新たなコンテンツを保存する仮想ボリ
ューム２２に接続し、仮想ボリューム２２には新たなス
トレージ装置が追加され、上記更新表３４〜３７に基づ
いて、追加されたストレージ装置には更新したコンテン
ツの差分が書き込まれる。

【００８１】次に、ステップ６４３では、古いコンテン
ツを保存する仮想ボリューム２１に、まだ移動が行われ
ていないストレージ装置の有無を判定し、移動するスト
レージ装置がなくなった場合にはステップ６４４へ進ん
で古いコンテンツを保存していた仮想ボリューム２１及
び更新欄３１を削除してから終了する。

【００８２】なお、移動するストレージ装置が仮想ボリ
ューム２１にある場合では、そのまま処理を終了する。

【００８３】こうして、データの書き込みのとき、仮想
ボリューム２１、２２間でのストレージ装置１１〜１３
の移動を所定数ずつ（ここでは、ひとつずつ）行い、か
つ、サーバ５２１〜５２５のアクセス先の変更も所定数
（ここではサーバをひとつ）ずつ行うため、インターネ
ット５０側からの要求に応答しながら、ひとつの共有ス
トレージ装置１内でコンテンツの更新を円滑に行うこと
ができるのである。

【００８４】そして、共有ストレージ装置１の複数のス
トレージ装置１１〜１３を、順次古いコンテンツを保存
する仮想ボリューム２１から新しいコンテンツを保存す
る仮想ボリューム２２へ移動し、移動した仮想ボリュー
ム２２において新たなコンテンツの更新を行うので、共
有ストレージ装置１は前記従来例で述べたような更新用
の物理的なストレージ装置を必要としないため、サイト
全体、すなわち、ストレージ装置を持たない複数のサー
バ５２１〜５２５と共有ストレージ装置１の小型化と消
費電力の削減とを推進できるのである。

【００８５】そして、サーバ５２１〜５２５及び共有ス
トレージ装置１の小型化により、システム全体の密度を
向上させることが可能となり、また、ストレージ装置１
１〜１３の移動に当たっては、アクセス負荷に応じて移
動する数を決定するので、コンテンツの更新を行う際
に、サイトの性能低下を最小限に留めることができ、前
記従来例のように、サイトへのアクセスの中断やサイト
の大きな性能低下を引き起こすことが無くなり、可用性
の高いサイトを構築することが可能となる。

【００８６】本発明はすでに記載した実施の形態、ある
いはその変形例に限定されるのではなく、以下に例示す
る変形例あるいは他の変形例によっても実現可能である
ことは言うまでもない。また、上記複数の実施の形態あ
るいはその変形例として記載の技術、あるいは以下の変
形例の組み合わせによっても実現できる。

【００８７】（変形例１）本発明は、インターネット５
０に接続するデータセンタ、そしてフロント・エンド・
レイヤに制限されておらず、複数のサーバ等の情報処理
装置がストレージ装置を共有する場合に使用できる。

【００８８】（変形例２）本発明は図１、そして図２〜
図６の、共有ストレージ装置１に限定されるものではな
く、他の構成であってもよい。例えば、図１１で示すよ
うに、仮想化エンジン２０が仮想化装置２３にあり、そ
してストレージ装置１１〜１３が仮想化装置２３と分離
され、ネットワーク５３を介して接続されている構成と
することもでき、仮想化装置２３がネットワーク５３を
介して複数のストレージ装置１１〜１３をアクセスする
ことになる。

【００８９】図１２にさらに別の構成を示す。この構成
では、サーバ５２１〜５２５と管理サーバ４０の中に仮
想化エンジン５３１〜５３６をそれぞれ装備し、各サー
バがネットワーク５２を介して複数のストレージ装置１
１〜１３に接続されるものである。

【００９０】この構成では、仮想化エンジン５３１〜５
３６が分散しているため、動作が以上の実施例と異な
る。

【００９１】すなわち、管理サーバ４０の仮想化エンジ
ンの５３６のみが上記図６で示した更新表３０〜３３、
３４〜３７を持つ。

【００９２】管理サーバ４０が仮想ボリューム２２の作
成やストレージ装置１２、１３の移動をするときに、各
仮想化エンジン５３１〜５３５にその命令を送信する必
要がある。

【００９３】そして、これらの動作を二つのステップで
実現する。仮想ボリューム２２を作成するとき、一つ目
のステップとして各仮想化エンジン５３１〜５３５でス
トレージ装置１１を分離し、そして二つ目のステップと
して仮想ボリューム２２を実現する。

【００９４】ストレージ装置１２、１３の移動のとき、
一つ目のステップとして、各仮想化エンジン５３１〜５
３５で移動するストレージ装置１２、１３を分離し、二
つ目のステップとして差分を更新してからストレージ装
置１２、１３を仮想ボリューム２２に追加する。上記の
各更新では、コンテンツを全てアップデートする（すな
わち、サーバ５２１〜５２５がアクセスしていない間に
更新されるストレージ装置１１〜１３の更新表３０〜３
３、３４〜３７の欄に全て「レ」印をつけるまで待
つ）。これは、各サーバ５２１〜５２５が更新表３０〜
３３、３４〜３７を持たないため、各ストレージ装置１
１〜１３のコンテンツが全て更新されていることを前提
にする。（変形例３）また、本発明は３つのストレージ装置１１
〜１３で共有されるストレージ群（共有ストレージ装置
１）を構成したが、ストレージ装置１１〜１３の数は任
意に設定すればよく、２つ以上のストレージ装置で実現
できる。

【００９５】（変形例４）また、上記実施形態において
は、図１５、図１、図１１、図１２で示したように、ネ
ットワーク５２と５３を介してサーバ５２１〜５２５と
ストレージ装置１１〜１３を接続したが、ネットワーク
の代わりに、直接接続も可能であり、また、負荷分散機
５１とサーバ５２１〜５２５の間の接続をネットワーク
で実現することも考えられる。

【００９６】（変形例５）また、本発明は、上記図５と
図６にて説明したＲＡＩＤ−１に適用した例について述
べたが、これに限定されるものではなく、他のＲＡＩＤ
−１実現方法にも適用できる。

【００９７】（変形例６）上記実施形態において、スト
レージ装置１１〜１３はディスクに制限しておらず、例
えばそれぞれのストレージ装置１１〜１３が更にＲＡＩ
Ｄで構成されていてもい。例えば、日立のＨＯＭＲＣＦ
（Hitachi Open Multiple RAID Coupling Feature）は
複数のボリュームの間でＲＡＩＤ−１と同様なミラーリ
ングを実現するが、各ボリュームをＲＡＩＤとして構成
することが可能である（“ＨＯＭＲＣＦユーザガイド”
参照）。

【００９８】（変形例７）また、上記の図６の動作の説
明は、仮想ボリューム２２を作成したあと、この仮想ボ
リューム２１が更新されないことを前提にしたが、仮想
ボリューム２１が更新されたとき、書き込みの前に、こ
のボリュームのストレージ装置（図６ではストレージ装
置１２と１３）の更新表の欄（図６では欄３２と３３）
の「レ」印だけでなく、仮想ボリューム２２に対応する
欄（図６では３６と３７）も削除する。このため、スト
レージ装置（図６では１２と１３）を仮想ボリューム２
２に移動したときに、これらのブロックが再び仮想ボリ
ューム２２のコンテンツに変更される。

【００９９】（変形例８）また、本発明では、管理サー
バ４０が仮想化エンジン２０、５３１〜５３５に命令を
送り、仮想ボリューム２１、２２の間でストレージ装置
１２、１３を移動すると述べたが、本発明はこの動作に
限定されるものではない。例えば、仮想化エンジン２
０、５３１〜５３５が、各仮想ボリューム２１、２２へ
のアクセス負荷を測定し、及びまたは各仮想ボリューム
２１、２２をアクセスしているサーバ５２１〜５２５の
台数を調べ、この負荷及びまたは台数のある関数で各仮
想ボリューム２１、２２のストレージ装置１１〜１３の
台数を決定することが考えられる。

【０１００】この関数として、まず、各仮想ボリューム
２１、２２のアクセス負荷の比例に応じて、ストレージ
装置１１〜１３を合わせることが考えられる。そして、
負荷の増加を測定して、移動が必要な時点を予想するこ
とも考えられる。

【０１０１】本変形例の構成における管理サーバ４０及
び各サーバ５２１〜５２５で行われる処理を図１３、図
１４のフローチャートに示す。

【０１０２】図１３は、管理サーバ４０での処理を示
し、上記図７のフローチャートからステップ６０４、６
０５を削除したもので、仮想ボリューム２２の作成命令
を各仮想化エンジン２０、５３１〜５３５へ送信した
後、仮想ボリューム２２のコンテンツを更新し、次に、
負荷分散機５１によりルーティングを制御してサーバ５
２１〜５２５をサイトから順次切り離し、その間にアク
セスする仮想ボリュームを変更するものである。

【０１０３】図１４は、各仮想化エンジン２０、５３１
〜５３５で行われる処理を示し、上記図８のフローチャ
ートにおけるステップ６１５を削除する一方、ステップ
６０４（上記図７参照）をステップ６１７の後に設けた
ものである。

【０１０４】この場合、管理サーバ４０からの命令がな
い場合には、ステップ６０４でストレージ装置１２〜１
３の移動条件を判定し、移動条件が成立した場合にはス
テップ６１６でストレージ装置の移動を行い、移動条件
が成立しない場合には、ステップ６１１に戻ってループ
を繰り返すものである。

【０１０５】（変形例９）上記実施形態においては、ス
トレージ装置１１〜１３がブロックストレージの場合を
示したが、本発明はこの形態に限定されるものではな
く、例えばファイルベースのストレージ装置（ＮＡＳ：
Ｎｅｔｗｏｒｋ−ＡｔｔａｃｈｅｄＳｔｏｒａｇｅ）
にも適用できる。ＮＡＳ装置の場合の実現方法の例とし
て、各ファイルに更新表３０〜３３を作成することが考
えられる（ブロックの欄３０はファイルの中のブロック
を示す）。仮想ボリューム２２を作成するとき、全ての
更新表３０〜３３をコピーする。そして、ファイルを削
除したときにその更新表３０〜３３を削除する。

【０１０６】（変形例１０）上記実施形態においては、
ストレージ装置を一つずつ新しい仮想ボリュームへ移動
する例について述べたが、ストレージ装置を移動して新
しい仮想ボリューム２２を作成する動作と、仮想ボリュ
ーム２１、２２の間でストレージ装置を移動する動作
は、移動するストレージ装置の数を複数とすることもで
き、仮想ボリューム２１から複数のストレージ装置を切
り離して、これらのストレージ装置で新しい仮想ボリュ
ーム２２を作成し、その後、仮想ボリューム２１から２
２へのストレージ装置の移動を複数個ずつ行ってもよ
い。

【０１０７】なお、本発明を実施するためのプログラム
は、それ単独であるいは他のプログラムと組み合わせ
て、ディスク記憶装置等のプログラム記憶媒体に記憶さ
れた販売することができる。また、本発明を実施するた
めのプログラムは、すでに使用されている通信を行うプ
ログラムに追加される形式のプログラムでもよく、ある
いはその通信用のプログラムの一部を置換する形式のプ
ログラムでも良い。

【０１０８】また、外部から受信したコマンドまたは設
定情報のうち少なくとも一方に基づいて前記第二ボリュ
ームを生成することを特徴とする請求項１に記載のスト
レージ方法であってもよい。

【０１０９】また、外部から受信したコマンドまたは設
定情報のうち少なくとも一方に基づいて、前記第一ボリ
ュームから分離したストレージ機構を前記第二ボリュー
ムに移動し、保存データの差分を書き込むことを特徴と
する請求項１に記載のストレージ方法であってもよい。

【０１１０】また、送信したコマンドまたは設定情報の
うち少なくとも一方に基づいて前記第二ボリュームを生
成することを特徴とする請求項１に記載のストレージ方
法であってもよい。

【０１１１】また、送信したコマンドまたは設定情報の
うち少なくとも一方に基づいて、前記第一ボリュームか
ら分離したストレージ機構を前記第二ボリュームに移動
し、保存データの差分を書き込むことを特徴とする請求
項１に記載のストレージ方法であってもよい。

【０１１２】今回開示した実施の形態は、全ての点で例
示であって制限的なものではないと考えられるべきであ
る。本発明の範囲は上記した説明ではなくて特許請求の
範囲によって示され、特許請求の範囲と均等の意味及び
内容の範囲での全ての変更が含まれることが意図され
る。

【図面の簡単な説明】

【図１】本発明の実施形態を示し、Ｗｅｂサイトの概略
構成図。

【図２】共有ストレージ装置に仮想ボリュームを生成
し、ひとつのストレージ装置を移動した状態を示す説明
図。

【図３】生成した仮想ボリュームに、さらにストレージ
装置を移動した状態を示す説明図。

【図４】生成した仮想ボリュームに、全てのストレージ
装置を移動し、古いコンテンツを保存していたボリュー
ムを削除した状態を示す説明図。

【図５】従来のＲＡＩＤ−１の動作を示す説明図で、ス
トレージ装置と更新表の関係を示す。

【図６】本発明におけるＲＡＩＤ−１の動作を示す説明
図で、ボリューム及びストレージ装置と更新表の関係を
示す。

【図７】管理サーバで行われる処理の一例を示すフロー
チャート。

【図８】仮想化エンジンで行われる処理の一例を示すフ
ローチャートでメインルーチンを示す。

【図９】同じく、新規ボリュームを作成するサブルーチ
ンである。

【図１０】同じく、ストレージ装置の移動を行うサブル
ーチンである。

【図１１】他の形態のＷｅｂサイトの概略構成図であ
る。

【図１２】さらに他の形態のＷｅｂサイトの概略構成図
である。

【図１３】同じく管理サーバで行われる処理の一例を示
すフローチャート。

【図１４】同じく仮想化エンジンで行われる処理の一例
を示すフローチャート。

【図１５】従来例を示し、ストレージ装置を備える複数
のサーバで構成されたＷｅｂサイトの概略構成図。

【図１６】複数の仮想ボリュームにそれぞれストレージ
装置を収容した場合の概略構成図。

【符号の説明】

１共有ストレージ装置１１〜１３ストレージ装置２０仮想化エンジン２１、２２仮想ボリューム４０管理サーバ５１負荷分散機５２１〜５２５サーバ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 12/00 ５３３Ｇ０６Ｆ 12/00 ５３３Ｆ

Claims

【特許請求の範囲】

【請求項１】複数のストレージ機構を有する第一ボリュ
ームで前記ストレージ機構の一部または全てに同じデー
タを保存する手順と、前記第一ボリュームから前記ストレージ機構を分離する
とともに、分離したストレージ機構により第二ボリュー
ムを生成する手順と、前記第一ボリュームからストレージ機構を分離するとと
もに、分離したストレージ機構を前記第二ボリュームへ
移動する手順と、前記第一ボリュームと第二ボリュームとの保存データの
差分を前記移動したストレージ機構に書き込む手順とを
含むことを特徴とするストレージ方法。
【請求項２】前記第一ボリュームと第二ボリュームのア
クセス負荷またはアクセスする情報処理装置の数のうち
少なくとも一方に基づいて、前記第二ボリュームのスト
レージ機構の数を決定する手順を含み、前記第一ボリュ
ームのストレージ機構を前記第二ボリュームに移動する
ことを特徴とする請求項１に記載のストレージ方法。
【請求項３】コマンドまたは設定情報のうち少なくとも
一方に基づいて前記第二ボリュームを生成することを特
徴とする請求項１に記載のストレージ方法。
【請求項４】コマンドまたは設定情報のうち少なくとも
一方に基づいて、前記第一ボリュームから分離したスト
レージ機構を前記第二ボリュームに移動し、保存データ
の差分を書き込むことを特徴とする請求項１に記載のス
トレージ方法。
【請求項５】前記第一ボリュームをアクセス中の情報処
理装置を、前記第一ボリュームから第二ボリュームに変
更することを特徴とする請求項１に記載のストレージ方
法。
【請求項６】前記第一ボリュームは複数の情報処理装置
にアクセスされ、前記複数の情報処理装置は接続状態を
変更可能な経路制御手段を介して外部のネットワークに
接続され、前記経路制御手段によって少なくともひとつ
の情報処理装置と外部のネットワークとの接続を解除す
る手順と、この接続を解除された情報処理装置について
アクセス先を前記第一ボリュームから第二ボリュームへ
変更する手順とを含むことを特徴とする請求項５に記載
のストレージ方法。
【請求項７】前記第一ボリュームから前記第二ボリュー
ムへのストレージ機構の移動が完了した後に第一ボリュ
ームを削除する手順を含むことを特徴とする請求項１に
記載のストレージ方法。
【請求項８】前記第一ボリューム及び前記第二ボリュー
ムがミラーボリュームであることを特徴とする請求項７
に記載のストレージ方法。
【請求項９】複数のストレージ機構を有し、前記ストレ
ージ機構の一部または全てに同じデータを保存する第一
ボリュームと、前記第一ボリュームから前記ストレージ機構を分離する
とともに、分離したストレージ機構により第二ボリュー
ムを生成する新規ボリューム生成手段と、前記第一ボリュームから前記ストレージ機構を分離する
とともに、分離したストレージ機構を第二ボリュームに
移動する移動手段と、前記第一ボリュームと第二ボリュームとの保存データの
差分を前記移動したストレージ機構に書き込む更新手段
とを備えたことを特徴とするストレージ装置。
【請求項１０】前記移動手段は、前記第一ボリュームと
第二ボリュームのアクセス負荷またはアクセスする情報
処理装置の数のうち少なくとも一方を検出する負荷検出
手段と、負荷検出手段の検出結果に応じて前記第二ボリ
ュームのストレージ機構の数を決定して、前記第一ボリ
ュームのストレージ機構を前記第二ボリュームに移動す
ることを特徴とする請求項９に記載のストレージ装置。
【請求項１１】前記新規ボリューム生成手段は、受信し
たコマンドまたは設定情報のうち少なくとも一方に基づ
いて前記第二ボリュームを生成することを特徴とする請
求項９に記載のストレージ装置。
【請求項１２】前記移動手段は、受信したコマンドまた
は設定情報のうち少なくとも一方に基づいて前記第一ボ
リュームから分離したストレージ機構を前記第二ボリュ
ームに移動することを特徴とする請求項９に記載のスト
レージ装置。
【請求項１３】前記更新手段は、受信したコマンドまた
は設定情報のうち少なくとも一方に基づいて前記第二ボ
リュームに移動したストレージ機構に前記保存データの
差分を書き込むことを特徴とする請求項９に記載のスト
レージ装置。
【請求項１４】前記第一ボリュームは情報処理装置にア
クセスされ、この第一ボリュームをアクセス中の情報処
理装置を、前記第一ボリュームから第二ボリュームに変
更するアクセス変更手段を設けたことを特徴とする請求
項９に記載のストレージ装置。
【請求項１５】前記第一ボリュームは複数の情報処理装
置にアクセスされ、前記複数の情報処理装置は接続状態
を変更可能な経路制御手段を介して外部のネットワーク
に接続され、前記アクセス変更手段は、前記経路制御手
段によって少なくともひとつの情報処理装置と外部のネ
ットワークとの接続を解除した情報処理装置についてア
クセス先を前記第一ボリュームから第二ボリュームへ変
更し、前記情報処理装置を再び外部のネットワークに接
続することを特徴とする請求項１４に記載のストレージ
装置。
【請求項１６】前記第一ボリュームから前記第二ボリュ
ームへのストレージ機構の移動が完了した後に第一ボリ
ュームを削除することを特徴とする請求項１に記載のス
トレージ装置。
【請求項１７】前記第一ボリューム及び前記第二ボリュ
ームがミラーボリュームであることを特徴とする請求項
１６に記載のストレージ装置。