JP5640480B2 - Data management program, storage system, and data management method - Google Patents
Data management program, storage system, and data management method Download PDFInfo
- Publication number
- JP5640480B2 JP5640480B2 JP2010133740A JP2010133740A JP5640480B2 JP 5640480 B2 JP5640480 B2 JP 5640480B2 JP 2010133740 A JP2010133740 A JP 2010133740A JP 2010133740 A JP2010133740 A JP 2010133740A JP 5640480 B2 JP5640480 B2 JP 5640480B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- disk
- metadata
- node
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、ストレージ装置に格納されたデータを管理するデータ管理プログラム、ストレージシステム、およびデータ管理方法に関する。 The present invention relates to a data management program, a storage system, and a data management method for managing data stored in a storage apparatus.
大規模なコンピュータネットワークではデータの信頼性を確保するため、データを複数のストレージ装置に多重化して格納する場合がある。データを多重化させる手法の１つとして、データをネットワーク上の複数のノード（ディスクノード）それぞれに接続されたストレージ装置に、多重化させたデータを分散格納する方法がある。このように、ネットワーク上の複数のディスクノードでデータを分散管理するシステムを、マルチノードストレージシステムと呼ぶ。 In a large-scale computer network, data may be multiplexed and stored in a plurality of storage devices in order to ensure data reliability. As one of the methods for multiplexing data, there is a method for distributing and storing multiplexed data in storage devices connected to each of a plurality of nodes (disk nodes) on the network. A system in which data is distributed and managed by a plurality of disk nodes on the network is called a multi-node storage system.
マルチノードストレージシステムでは、アクセスを行うノード（アクセスノード）内に仮想ディスクを定義し、仮想ディスクを介してデータの入出力を行う。仮想ディスク内の記憶領域は複数のセグメントに分割され、各セグメントがストレージ装置の複数の記憶領域を対応付けられる。アプリケーションが仮想ディスクのセグメントを指定してデータの書き込みを行うと、書き込み対象のセグメントに対応付けられた複数のストレージ装置にデータが書き込まれる。このようにデータを多重化することで、データの信頼性を高めることができる。 In a multi-node storage system, a virtual disk is defined in an access node (access node), and data is input / output via the virtual disk. The storage area in the virtual disk is divided into a plurality of segments, and each segment is associated with a plurality of storage areas of the storage device. When an application designates a segment of a virtual disk and writes data, the data is written to a plurality of storage devices associated with the write target segment. By multiplexing the data in this way, the reliability of the data can be improved.
しかし、従来の技術では、マルチノードストレージシステムの仮想ディスク内のデータを他のシステムに移行する場合、仮想ディスク内のデータのコピー処理が１台のコンピュータで実行され、そのコンピュータに負荷がかかりすぎていた。 However, in the conventional technology, when data in a virtual disk of a multi-node storage system is migrated to another system, the copy process of data in the virtual disk is executed by one computer, and the computer is overloaded. It was.
例えば、既存の仮想ディスクのアクセスを止められない場合、以下の手順でデータが移行される。
［処理１］仮想ディスクのスナップショットを、仮想ディスクにアクセス可能なコンピュータが作成する。
［処理２］仮想ディスクにアクセス可能なコンピュータが、作成したスナップショットを他システムに接続されるストレージ装置にコピーする。
［処理３］仮想ディスクにアクセス可能なコンピュータが、仮想ディスクへのアクセスを停止して、処理２のコピー後に発生した仮想ディスク内のデータ更新内容を他システムのストレージ装置に反映する。
［処理４］他システム内のコンピュータが、移行先のストレージ装置へのアクセスを開始する。
For example, if access to an existing virtual disk cannot be stopped, data is migrated according to the following procedure.
[Process 1] A virtual disk snapshot is created by a computer that can access the virtual disk.
[Process 2] A computer that can access the virtual disk copies the created snapshot to a storage device connected to another system.
[Process 3] A computer that can access the virtual disk stops access to the virtual disk, and reflects the data update content in the virtual disk that has occurred after the copy in
[Process 4] A computer in another system starts access to the migration destination storage apparatus.
このような手順で仮想ディスク内のデータを他のシステムのストレージ装置に移行した場合、処理１から処理３までを１台のコンピュータが行うこととなり、そのコンピュータの処理負荷が過大となる。
When the data in the virtual disk is transferred to the storage system of another system in such a procedure, one computer performs
１つの側面では、データ移行時のコンピュータの処理負荷を軽減したデータ管理プログラム、ストレージシステム、およびデータ管理方法を提供することを目的とする。 An object of one aspect is to provide a data management program, a storage system, and a data management method that reduce the processing load on a computer during data migration.
１つの案としては、データ管理プログラムは、ネットワークを介して接続された複数のノードそれぞれが有する第１のストレージ装置にデータが分散して格納されている仮想ディスクに属するデータを、該複数のノードの１つとして用いられるコンピュータに管理させる。すなわち、データ管理プログラムは、コンピュータに以下の処理を実行させる。 As one proposal, the data management program stores data belonging to a virtual disk in which data is distributed and stored in a first storage device included in each of a plurality of nodes connected via a network. The computer used as one of the above is managed. That is, the data management program causes the computer to execute the following processing.
コンピュータは、第２のストレージ装置内の、仮想ディスクの記憶容量に相当する記憶領域を移行先記憶領域とし、該移行先記憶領域を仮想ディスク内の記憶領域に対応付ける。そして、コンピュータは、コンピュータが管理している仮想ディスクのデータを、該データの仮想ディスク内での位置に対応する移行先記憶領域内の位置へコピーする。 The computer uses a storage area corresponding to the storage capacity of the virtual disk in the second storage device as a migration destination storage area, and associates the migration destination storage area with a storage area in the virtual disk. Then, the computer copies the data of the virtual disk managed by the computer to a position in the migration destination storage area corresponding to the position of the data in the virtual disk.
また、１つの案として、ストレージシステムは、ネットワークを介して接続された複数のノードを有し、複数のノードそれぞれが有する第１のストレージ装置に、仮想ディスク内のデータを分散して格納する。複数のノードのうちの少なくとも１つのノードは、第２のストレージ装置内の、仮想ディスクの記憶容量に相当する記憶領域を移行先記憶領域とし、該移行先記憶領域を仮想ディスク内の記憶領域に対応付ける。そして、複数のノードは、それぞれ自己が管理している仮想ディスクのデータを、該データの仮想ディスク内での位置に対応する移行先記憶領域内の位置へコピーする。 As one proposal, the storage system has a plurality of nodes connected via a network, and stores the data in the virtual disk in a distributed manner in the first storage device of each of the plurality of nodes. At least one of the plurality of nodes has a storage area corresponding to the storage capacity of the virtual disk in the second storage device as a migration destination storage area, and the migration destination storage area is a storage area in the virtual disk. Associate. Each of the plurality of nodes copies the data of the virtual disk managed by each node to a position in the migration destination storage area corresponding to the position of the data in the virtual disk.
また、１つの案として、データ管理方法は、ネットワークを介して接続された複数のノードそれぞれが有する第１のストレージ装置にデータが分散して格納されている仮想ディスクに属するデータを、該複数のノードの１つとして用いられるコンピュータに管理させる。 Further, as one proposal, the data management method is configured to transfer data belonging to a virtual disk in which data is distributed and stored in a first storage device included in each of a plurality of nodes connected via a network. A computer used as one of the nodes is managed.
このデータ管理方法では、コンピュータが、第２のストレージ装置内の、仮想ディスクの記憶容量に相当する記憶領域を移行先記憶領域とし、該移行先記憶領域を仮想ディスク内の記憶領域に対応付ける。さらにコンピュータは、コンピュータが管理している仮想ディスクのデータを、該データの仮想ディスク内での位置に対応する移行先記憶領域内の位置へコピーする。 In this data management method, the computer uses a storage area corresponding to the storage capacity of the virtual disk in the second storage device as a migration destination storage area, and associates the migration destination storage area with a storage area in the virtual disk. Further, the computer copies the data of the virtual disk managed by the computer to a position in the migration destination storage area corresponding to the position of the data in the virtual disk.
データ移行時のコンピュータの処理負荷が軽減される。 The processing load on the computer during data migration is reduced.
以下、本実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態の機能を示すブロック図である。図１に示すストレージシステムは、ネットワークを介して接続された複数のノード５〜７を有する。複数のノード５〜７は、それぞれストレージ装置２〜４を有する。このストレージ装置２〜４に、仮想ディスク１のデータが分散して格納されている。
Hereinafter, the present embodiment will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram illustrating functions of the first embodiment. The storage system shown in FIG. 1 has a plurality of
このようなストレージシステムにおいて、仮想ディスク１のデータを、ストレージ装置８に移行させる場合がある。例えば、ストレージシステムで利用していた仮想ディスク１を、ＳＡＮ（Storage Area Network）などの他のシステムに移行する場合である。なお、ストレージ装置８は、仮想ディスク１のデータを格納するストレージ装置２〜４とは別に設けられている。
In such a storage system, data of the
このように仮想ディスク１のデータをストレージ装置８に移行するために、ノード５は、対応付け手段５ａとコピー手段５ｂとを有する。またノード６は、コピー手段６ａを有する。さらにノード７は、コピー手段７ａを有する。
Thus, in order to migrate the data of the
ノード５の対応付け手段５ａは、ストレージ装置８内の、仮想ディスク１の記憶容量に相当する記憶領域を移行先記憶領域８ａとする。そして対応付け手段５ａは、移行先記憶領域８ａを仮想ディスク１内の記憶領域に対応付ける。例えば対応付け手段５ａは、仮想ディスク１内の連続する記憶領域を、移行先記憶領域８ａ内の連続する記憶領域に対応付ける。
The association means 5a of the
ノード５のコピー手段５ｂは、ノード５が管理している仮想ディスク１のデータをストレージ装置２から取り出し、そのデータの仮想ディスク１内での位置に対応する移行先記憶領域８ａ内の位置へコピーする。
The copy means 5b of the
またノード６のコピー手段６ａは、ノード６が管理している仮想ディスク１のデータをストレージ装置３から取り出し、そのデータの仮想ディスク１内での位置に対応する移行先記憶領域８ａ内の位置へコピーする。さらにノード７のコピー手段７ａは、ノード７が管理している仮想ディスク１のデータをストレージ装置４から取り出し、そのデータの仮想ディスク１内での位置に対応する移行先記憶領域８ａ内の位置へコピーする。
The copy means 6a of the
このように、各ノード５〜７は、仮想ディスク１内のデータのうち自己の管理するデータのみをコピーすればよく、１つのノードに負荷が集中せずにすむ。その結果、データ移行時の各ノードの負荷が軽減される。
In this way, each of the
しかも、データをコピーしている間もコピー元の仮想ディスク１のデータにアクセス可能である。すなわち、データ移行中であっても、仮想ディスク１を用いたデータ管理サービスを継続して提供できる。そのため、データ移行に伴うサービス停止期間を低減できる。
In addition, the data of the copy source
ところで、仮想ディスク１内の記憶領域と移行先記憶領域８ａとの対応関係は、例えば制御ノード９を介して各ノード５〜７のコピー手段５ｂ，６ａ，７ａに通知される。この場合、制御ノード９は、ノード５の対応付け手段５ａから、仮想ディスク１内の記憶領域と移行先記憶領域８ａとの対応関係を示す情報を取得する。そして、制御ノード９は、各ノード５〜７に対して、仮想ディスク１内の記憶領域と移行先記憶領域８ａとの対応関係を通知する。
By the way, the correspondence between the storage area in the
なお制御ノード９は、仮想ディスク１内の記憶領域と移行先記憶領域８ａとの対応関係を通知と共に、コピー指示を行うことができる。その場合、各ノード５〜７のコピー手段５ｂ，６ａ，７ａは、コピー指示に従ってデータのコピーを行う。例えば制御ノード９は、仮想ディスク１内の単位記憶領域を、アドレスの小さい順に１つずつ選択する。そして、制御ノード９は、選択した単位記憶領域のデータを管理しているノードに対して、選択した単位記憶領域に対応する移行先記憶領域８ａ内の位置を通知すると共に、選択した単位記憶領域のデータのコピーを指示する。すると、コピーの指示を受けたノードによって、選択した単位記憶領域のデータが、移行先記憶領域８ａにコピーされる。制御ノード９は、例えば、選択した単位記憶領域のコピーが完了するのを待って、次の単位記憶領域を選択する。これにより、データのコピーが順番に行われる。データのコピーが順番に行われることで、複数のノードにより、ストレージ装置８へのデータコピーが同時に行われることが抑制される。その結果、例えば、データ移行に伴うネットワーク上のデータ通信の輻輳の発生が抑制される。
The
なお各ノード５〜７は、自己の管理している仮想ディスク１のデータのコピーが完了すると、自己の管理している仮想ディスク１のデータが格納されていたストレージ装置２〜４の記憶領域を開放することができる。記憶領域の開放とは、その記憶領域に、現在記憶されているデータとは関連性のないデータを格納可能とすることである。
When the copying of the data of the
また、ストレージ装置８がノード５の直下に接続されている場合がある。このような場合、ノード５は、他のノード６，７が管理している仮想ディスク１の各データをノード６，７から受信すると、受信したデータを、そのデータの仮想ディスク内での位置に対応する移行先記憶領域８ａ内の位置へ書き込む。
In some cases, the storage apparatus 8 is connected directly below the
また、ノード５は、さらに、移行先記憶領域８ａを有するストレージ装置８内に、移行先記憶領域８ａに関する管理情報を格納することができる。管理情報には、例えば、移行先記憶領域８ａ内の単位記憶領域ごとの仮想ディスク内の記憶領域との対応関係、および移行先記憶領域８ａ内の単位記憶領域ごとのデータの有無が含まれる。管理情報をストレージ装置８に格納した場合、各ノード５〜７が仮想ディスク１のデータをコピーする際には、管理情報を参照する。そして各ノード５〜７は、管理情報に基づいてデータの仮想ディスク内での記憶領域に対応する移行先記憶領域８ａ内の単位記憶領域を特定し、特定した単位記憶領域に該データをコピーする。また各ノード５〜７は、仮想ディスク１のデータを移行先記憶領域８ａ内へコピーすると、データがコピーされた移行先記憶領域８ａ内の単位記憶領域にデータが格納されたことを、管理情報に設定する。
Further, the
このように、管理情報を用いて移行先記憶領域８ａ内のデータを管理することで、データ移行の途中で障害などが発生し、仮想ディスク１のデータが失われても、移行先記憶領域８ａ内のデータを用いた復旧が容易となる。すなわち、管理情報を参照すれば、仮想ディスク１内の失われたデータに対応する移行先記憶領域８ａ内の単位記憶領域が判別できる。その単位記憶領域内にデータが格納されていれば、そのデータを用いて仮想ディスク１内のデータを復旧できる。
In this way, by managing the data in the migration
また、仮想ディスク１の記憶領域を複数に分割し、分割された記憶領域を、各ノード５〜７での担当領域とすることができる。この場合、各ノード５〜７は、自己の担当領域について、移行先記憶領域８ａとの対応付けを行う。例えばノード５〜７は、仮想ディスク１内の全記憶領域のうちの自己の担当する担当領域に、移行先記憶領域８ａ内の少なくとも一部の記憶領域を対応付ける。この場合、移行先記憶領域８ａへのコピーは、例えば、コピー先の位置の対応付けを行ったノードを介して行われる。すなわち、各ノード５〜７は、自己の管理している仮想ディスク１のデータのうち、自己の担当領域以外の記憶領域のデータを移行先記憶領域８ａにコピーする場合がある。その場合、コピー対象のデータの仮想ディスク１内での位置の割り当てを担当したノードを介してデータのコピーを行う。具体的には、各ノード５〜７は、コピー対象のデータの仮想ディスク１内での位置の割り当てを担当したノードにデータを送信する。すると、そのデータを受信したノードが、そのデータに対応する移行先記憶領域８ａ内の位置へデータを格納する。
Further, the storage area of the
なお、ストレージシステムでは、仮想ディスク１のデータを２重化して複数のノードに分散格納することができる。その場合、２重化されたデータのうち、優先して参照される一方のデータを第１の属性、他方のデータを第２の属性と定義することができる。このようにデータが２重化された場合、各ノード５〜７のコピー手段５ｂ，６ａ，７ａは、仮想ディスク１のデータをコピーする際に、第２の属性のデータを、第２の属性のデータの仮想ディスク内での位置に対応する移行先記憶領域８ａ内の位置へコピーする。優先して参照される第１の属性のデータではなく、第２の属性のデータをコピーすることで、データ移行時における仮想ディスク１内のデータ参照時間の遅延を抑止できる。
In the storage system, the data of the
〔第２の実施の形態〕
次に、第２の実施の形態の詳細を説明する。第２の実施の形態は、データを２重化して管理するマルチノードストレージシステムにおいて、データ移行を行うものである。
[Second Embodiment]
Next, details of the second embodiment will be described. The second embodiment performs data migration in a multi-node storage system that manages data by duplication.
図２は、第２の実施の形態のマルチノードストレージシステム構成例を示す図である。第２の実施の形態では、スイッチ１０を介して、複数のディスクノード１００，２００，３００、制御ノード５００、アクセスノード３０、および管理ノード４００が接続されている。ディスクノード１００には、ストレージ装置１１０，１２０が接続されている。ディスクノード２００には、ストレージ装置２１０が接続されている。ディスクノード３００には、ストレージ装置３１０が接続されている。
FIG. 2 is a diagram illustrating a configuration example of a multi-node storage system according to the second embodiment. In the second embodiment, a plurality of
なお、ディスクノード１００に接続されているストレージ装置１２０は、マルチノードストレージシステム以外のシステムに移行するデータの記憶用に接続されている。マルチノードストレージシステム以外のシステムとしては、例えばＳＡＮがある。
The
各ディスクノード１００，２００，３００には、ディスクノードＩＤが付与されている。図２の例では、ディスクノード１００のディスクノードＩＤは「ＤＰ１」、ディスクノード２００のディスクノードＩＤは「ＤＰ２」、ディスクノード３００のディスクノードＩＤは「ＤＰ３」である。各ディスクノード１００，２００，３００に接続されたストレージ装置１１０，１２０，２１０，３１０は、ディスクノード１００，２００，３００のディスクノードＩＤによってネットワーク上の位置が識別される。
Each
ストレージ装置１１０には、複数のハードディスク装置（ＨＤＤ）１１１，１１２，１１３，１１４が実装されている。ストレージ装置１２０には、複数のＨＤＤ１２１，１２２，１２３，１２４が実装されている。ストレージ装置２１０には、複数のＨＤＤ２１１，２１２，２１３，２１４が実装されている。ストレージ装置３１０には、複数のＨＤＤ３１１，３１２，３１３，３１４が実装されている。各ストレージ装置１１０，１２０，２１０，３１０は、内蔵するＨＤＤを用いたＲＡＩＤシステムである。
A plurality of hard disk devices (HDDs) 111, 112, 113, and 114 are mounted on the
ディスクノード１００，２００，３００は、例えば、ＩＡ（Intel Architecture）と呼ばれるアーキテクチャのコンピュータである。ディスクノード１００，２００，３００は、接続されたストレージ装置１１０，１２０，２１０，３１０に格納されたデータを管理し、管理しているデータをスイッチ１０経由で端末装置２１，２２，２３に提供する。また、ディスクノード１００，２００，３００は、冗長性を有するデータを管理している。すなわち、同一のデータが、少なくとも２つのディスクノードで管理されている。
The
制御ノード５００は、ディスクノード１００，２００，３００を管理する。例えば、制御ノード５００は、ディスクノード１００，２００，３００から新たなストレージ装置の接続通知を受け取ると、仮想ディスクを介して、接続されたストレージ装置に格納されていたデータにアクセスできるようにする。
The
アクセスノード３０には、ネットワーク２０を介して複数の端末装置２１，２２，２３が接続されている。アクセスノード３０には、仮想ディスクが定義されている。そして、アクセスノード３０は、端末装置２１，２２，２３からの仮想ディスク上でのデータのアクセス要求に応答して、ディスクノード１００，２００，３００内の対応するデータへアクセスする。
A plurality of
管理ノード４００は、管理者がマルチノードストレージシステムの運用を管理するために使用するコンピュータである。例えば、管理ノード４００では、管理者からの操作入力に応答して、仮想ディスクのデータの移行先となるストレージ装置の接続指示をディスクノードに送信する。また、管理ノード４００は、管理者からの操作入力に応答して、仮想ディスクのデータの移行指示を制御ノード５００に送信する。
The
図３は、ディスクノードのハードウェア構成例を示す図である。ディスクノード１００は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０９を介してＲＡＭ（Random Access Memory）１０２と複数の周辺機器が接続されている。
FIG. 3 is a diagram illustrating a hardware configuration example of the disk node. The
ＲＡＭ１０２は、ディスクノード１００の主記憶装置として使用される。ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。
The
バス１０９に接続されている周辺機器としては、ＨＤＤ１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、通信インタフェース１０７、およびストレージ装置インタフェース１０８がある。
Peripheral devices connected to the
ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、制御ノード５００の二次記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
The
グラフィック処理装置１０４には、モニタ１１が接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１１の画面に表示させる。モニタ１１としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。
A monitor 11 is connected to the
入力インタフェース１０５には、キーボード１２とマウス１３とが接続されている。入力インタフェース１０５は、キーボード１２やマウス１３から送られてくる信号をＣＰＵ１０１に送信する。なお、マウス１３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
A keyboard 12 and a mouse 13 are connected to the
光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク１４に記録されたデータの読み取りを行う。光ディスク１４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク１４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。
The
通信インタフェース１０７は、スイッチ１０に接続されている。通信インタフェース１０７は、スイッチ１０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
The
ストレージ装置インタフェース１０８は、外部接続されたストレージ装置１１０，１２０との間でデータ通信を行う。
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。なお、図３には、ディスクノード１００のハードウェア構成を示しているが、他のディスクノード２００，３００、アクセスノード３０、管理ノード４００、および制御ノード５００も同様のハードウェア構成で実現することができる。
The
With the hardware configuration as described above, the processing functions of the present embodiment can be realized. Although FIG. 3 shows the hardware configuration of the
図４は、仮想ディスクのデータ構造を示す図である。本実施の形態では、仮想ディスク６０には仮想ディスク識別子「ＬＶＯＬ１」が付与されている。ネットワーク経由で接続された３台のディスクノード１００，２００，３００には、個々のノードの識別のためにそれぞれ「ＤＰ−１」、「ＤＰ−２」、「ＤＰ−３」というノード識別子が付与されている。そして、各ディスクノード１００，２００，３００は、ノード識別子によってスイッチ１０で一意に識別される。
FIG. 4 shows the data structure of the virtual disk. In the present embodiment, a virtual disk identifier “LVOL1” is assigned to the
各ディスクノード１００，２００，３００が有するストレージ装置１１０，１２０，２１０，３１０それぞれにおいてＲＡＩＤ５のストレージシステムが構成されている。各ストレージ装置１１０，２１０，３１０内の記憶領域は、複数のスライス１１５ａ，１１５ｂ，・・・，１１５ｎ，２１５ａ，２１５ｂ，・・・，２１５ｎ，３１５ａ，３１５ｂ，・・・，３１５ｎに分割して管理されている。
A
仮想ディスク６０は、セグメント６１〜６４という単位で構成される。セグメント６１〜６４の記憶容量は、ストレージ装置１１０，２１０における管理単位であるスライスの記憶容量と同じである。例えば、スライスの記憶容量が１ギガバイトとするとセグメントの記憶容量も１ギガバイトである。仮想ディスク６０の記憶容量はセグメント１つ当たりの記憶容量の整数倍である。セグメント６１〜６４は、それぞれプライマリスライス６１ａ，６２ａ，６３ａ，６４ａとセカンダリスライス６１ｂ，６２ｂ，６３ｂ，６４ｂとの組（スライスペア）で構成される。プライマリスライスは、データ参照やデータ書き込みにおいて、優先的にアクセスされる。すなわち、アクセスノード３０から仮想ディスク６０内のデータへのアクセスは、そのデータが属するセグメントに割り当てられたプライマリスライスに対して行われる。
The
同一セグメントに属する２つのスライスは別々のディスクノードに属する。個々のスライスを管理する領域には仮想ディスク識別子やセグメント情報や同じセグメントを構成するスライス情報の他にフラグがあり、そのフラグにはプライマリあるいはセカンダリなどを表す値が格納される。 Two slices belonging to the same segment belong to different disk nodes. In the area for managing individual slices, there are flags in addition to the virtual disk identifier, segment information, and slice information constituting the same segment, and a value representing primary or secondary is stored in the flag.
図４の例では、仮想ディスク６０内のスライスの識別子を、「Ｐ」または「Ｓ」のアルファベットと数字との組合せで示している。「Ｐ」はプライマリスライスであることを示している。「Ｓ」はセカンダリスライスであることを示している。アルファベットに続く数字は、何番目のセグメントに属するのかを表している。例えば、１番目のセグメント６１のプライマリスライスが「Ｐ１」で示され、セカンダリスライスが「Ｓ１」で示される。
In the example of FIG. 4, the identifier of the slice in the
本実施の形態では、図４に示した仮想ディスク６０内のデータを、ディスクノード１００に接続されたストレージ装置１２０に移行するものとする。
図５は、第２の実施の形態に係るマルチノードストレージシステムの各装置の機能を示すブロック図である。アクセスノード３０は、仮想ディスクアクセス制御部３１を有している。仮想ディスクアクセス制御部３１は、端末装置２１，２２，２３からの仮想ディスク６０内のデータを指定したアクセス要求に応じて、指定されたデータを管理するディスクノードに対してデータアクセスを行う。具体的には、仮想ディスクアクセス制御部３１は、アクセス対象のデータが記憶された仮想ディスク６０内のブロックを特定する。次に、仮想ディスクアクセス制御部３１は、特定したブロックに対応するセグメントを特定する。さらに、仮想ディスクアクセス制御部３１は、予め取得しているメタデータを参照し、セグメントを構成するプライマリスライスに対応するディスクノードおよびそのディスクノード内のスライスを特定する。メタデータは、各セグメントに割り当てられたスライスの管理情報である。メタデータには、セグメントに割り当てられたスライスの所在などが示されている。そして、仮想ディスクアクセス制御部３１は、特定したディスクノードに対して、特定したスライスへのアクセス要求を出力する。
In this embodiment, the data in the
FIG. 5 is a block diagram illustrating functions of each device of the multi-node storage system according to the second embodiment. The
制御ノード５００は、仮想ディスク管理部５１０と仮想ディスクメタデータ記憶部５２０とを有している。
仮想ディスク管理部５１０は、ディスクノード１００，２００，３００が有するストレージ装置１１０，１２０，２１０，３１０内のスライスを管理する。例えば、仮想ディスク管理部５１０は、システム起動時に、ディスクノード１００，２００，３００に対してメタデータ取得要求を送信する。そして、仮想ディスク管理部５１０は、メタデータ取得要求に対して返信されたメタデータから仮想ディスクメタデータを生成し、仮想ディスクメタデータ記憶部５２０に格納する。
The
The virtual
また仮想ディスク管理部５１０は、管理ノード４００から仮想ディスク内のデータの移行指示を受け取ると、指定された仮想ディスク内のデータの指定されたストレージ装置へのコピーを、その仮想ディスクのデータを管理するディスクノードに指示する。仮想ディスク管理部５１０は、移行指示に応じたデータのコピーが完了すると、管理ノード４００に対して移行完了応答を送信する。
When the virtual
仮想ディスクメタデータ記憶部５２０は、ディスクノード１００，２００，３００から収集されたメタデータに基づいて生成された仮想ディスクメタデータを記憶する。例えば、制御ノード５００内のＲＡＭ５０２の記憶領域の一部が仮想ディスクメタデータ記憶部５２０として使用される。
The virtual disk
ディスクノード１００は、データアクセス部１３０、データ管理部１４０、およびメタデータ記憶部１５０を有している。
データアクセス部１３０は、アクセスノード３０からの要求に応答して、ストレージ装置１１０内のデータにアクセスする。具体的には、データアクセス部１３０は、アクセスノード３０からデータのリード要求を受け取った場合、リード要求で指定されたデータをストレージ装置１１０から取得し、リード要求の送信元であるアクセスノードに返信する。また、データアクセス部１３０は、アクセスノード３０からデータのライト要求を受け取った場合、ライト要求に含まれるデータをストレージ装置１１０内に格納する。
The
The
データ管理部１４０は、ディスクノード１００にストレージ装置１２０が物理接続された場合に、ストレージ装置１２０をマルチストレージシステム内の一ストレージ装置として論理的に接続する。すなわちデータ管理部１４０は、ストレージ装置１２０を、制御ノード５００から認識できるようにする。
When the
またデータ管理部１４０は、データアクセス部１３０によってライト要求に基づくデータの書き込みが行われた場合、データが書き込まれたスライス（プライマリスライス）に対応するセカンダリスライス内のデータ更新を行う。セカンダリスライス内のデータ更新処理は、セカンダリスライスを管理するディスクノードのデータ管理部と連携動作によって実現される。すなわち、データ管理部１４０は、更新されたデータを、セカンダリスライスを管理するディスクノードに送信する。そのデータを受け取ったディスクノードのデータ管理部は、セカンダリスライスにそのデータを書き込む。これにより、２重化されたデータの一貫性が保たれる。
When the
さらに、データ管理部１４０は、仮想ディスク管理部５１０からのメタデータ取得要求に応答して、メタデータ記憶部１５０に記憶されたメタデータを仮想ディスク管理部５１０に対して送信する。
Further, the
メタデータ記憶部１５０は、メタデータを記憶する。例えば、ＲＡＭ内の記憶領域の一部がメタデータ記憶部１５０として使用される。なお、メタデータ記憶部１５０に格納されるメタデータは、システム停止時にはストレージ装置１１０内に格納され、システム起動時にメタデータ記憶部１５０に読み込まれる。
The
他のディスクノード２００，３００は、ディスクノード１００と同様の機能を有している。すなわち、ディスクノード２００は、データアクセス部２２０、データ管理部２３０、およびメタデータ記憶部２４０を有している。ディスクノード３００は、データアクセス部３２０、データ管理部３３０、およびメタデータ記憶部３４０を有している。ディスクノード２００，３００内の各要素は、ディスクノード１００内の同名の要素と同じ機能を有している。
The
管理ノード４００は、管理者からの操作入力に応答して、マルチストレージシステムの管理用の指示を、各ノードに送信する。例えば、管理者は、ストレージ装置１２０とディスクノード１００とをケーブルで接続（物理接続）した場合、管理ノード４００に対してストレージ装置１２０の論理的な接続を指示する操作入力を行う。すると管理ノード４００は、管理者からの操作入力に応答してディスクノード１００に対して、新たに物理接続されたストレージ装置１２０の接続指示を送信する。その接続指示に基づいてディスクノード１００がストレージ装置１２０内にメタデータの格納などの処理を行い、ストレージ装置１２０を制御ノード５００において認識可能とする。接続指示に応じた処理が完了すると、ディスクノード１００から管理ノード４００へ接続完了応答が返される。
In response to the operation input from the administrator, the
また、管理ノード４００は、管理者からの操作入力に応答して、仮想ディスクの移行指示を制御ノード５００に送信する。例えば、仮想ディスク６０内のデータのストレージ装置１２０への移行指示が送信される。この移行指示に応じて、制御ノード５００が各ディスクノード１００，２００，３００を制御し、データ移行を実現する。データの移行が完了すると、制御ノード５００から管理ノード４００へ移行完了応答が送信される。
Also, the
図５の例は、仮想ディスク６０のデータをストレージ装置１２０に移行する場合を想定している。この場合、ストレージ装置１２０には、制御ノード５００によって、移行先ディスク１２１とメタデータ用ディスク１２２とが設けられる。なお、移行先ディスク１２１とメタデータ用ディスク１２２とは、それぞれストレージ装置１２０内のＨＤＤで構成されるＲＡＩＤ構成のディスクグループを複数分割することで得られる仮想的なディスクである。移行先ディスク１２１とメタデータ用ディスク１２２として使用される仮想的なディスクは、図４に示したマルチノードストレージシステムにおける仮想ディスク６０とは異なり、１つのストレージ装置１２０内のＨＤＤにより実現されている。移行先ディスク１２１とメタデータ用ディスク１２２とには、論理ユニット番号（ＬＵＮ）が割り振られ、論理ユニット番号によってディスクノード１００で識別される。
In the example of FIG. 5, it is assumed that data of the
作成される移行先ディスク１２１の記憶容量は、移行対象の仮想ディスク６０と同じである。作成されるメタデータ用ディスク１２２の記憶容量は、仮想ディスク６０のメタデータを格納可能な容量である。移行先ディスク１２１は、少なくともディスクノード１００およびアクセスノード３０からアクセス可能である。メタデータ用ディスク１２２は、少なくともディスクノード１００からアクセス可能である。
The storage capacity of the created
次に、ストレージ装置１１０、移行先ディスク１２１、およびメタデータ用ディスク１２２内のデータ構造を詳細に説明する。ストレージ装置１１０には、複数のスライスとスライスごとのメタデータとが格納されている。移行先ディスク１２１とメタデータ用ディスク１２２とは、ストレージ装置１２０をディスクノード１００に接続した直後は、内容がブランクである。ストレージ装置１２０接続後に、データ管理部１４０により、移行先ディスク１２１内の記憶領域がスライス単位に分割される。またストレージ装置１２０接続後に、データ管理部１４０により、メタデータ用ディスク１２２内にメタデータが格納される。
Next, the data structures in the
図６は、ストレージ装置のデータ構造例を示す図である。ストレージ装置１１０には、スライス１１５ａ，１１５ｂ，・・・，１１５ｎとは別に、デバイス情報１１６と複数のメタデータ１１７ａ，１１７ｂ，・・・，１１７ｎとが格納されている。移行先ディスク１２１内には、複数のスライス１２１ａ，１２１ｂ，・・・，１２１ｎが設けられている。メタデータ用ディスク１２２内には、移行先ディスク１２１内のスライス１２１ａ，１２１ｂ，・・・，１２１ｎそれぞれに対応するメタデータ１２２ａ，１２２ｂ，・・・，１２２ｎと、デバイス情報１２２ｘとが格納されている。
FIG. 6 is a diagram illustrating an exemplary data structure of the storage apparatus. In addition to the
デバイス情報１１６，１２２ｘは、ストレージ装置１１０，１２０の管理に使用される情報である。例えば、デバイス情報１１６，１２２ｘには、ストレージ装置１１０，１２０がマルチノードストレージシステムに組み込まれていることを示す情報が含まれる。また、ストレージ装置１２０のデバイス情報１２２ｘには、マルチストレージシステム内の仮想ディスクのデータの移行先となるディスクであることを示す情報を含めることができる。
The
さらに、デバイス情報１１６，１２２ｘには、メタデータ格納形式が含まれる。メタデータ格納形式は、各メタデータが対応するスライスと連続の記憶領域に格納されているのか、あるいはメタデータを一纏めにして、スライスとは個別の記憶領域に格納されているのかを示す情報である。本実施の形態では、各メタデータが対応するスライスと連続の記憶領域に格納されている場合のメタデータ格納形式を「type1」とする。また、メタデータを一纏めにして、スライスとは個別の記憶領域に格納されている場合のメタデータ格納形式を「type2」とする。
Further, the
図６の例では、ストレージ装置１１０は、個々のスライスと連続の記憶領域に、そのスライスに対応するメタデータが格納されている。従って、ストレージ装置１１０のメタデータ格納形式は「type1」である。移行先ディスク１２１に対応するメタデータは一纏めにしてメタデータ用ディスク１２２に格納されるため、メタデータ格納形式は「type2」となる。なお、移行先ディスク１２１に対応するメタデータは、ディスクノード１００から見た場合に移行先ディスク１２１とは別ディスクとなるメタデータ用ディスク１２２に格納される。そこで、スライスとメタデータを別ディスクに一纏めで格納する場合のメタデータ格納形式を「type3」とすることもできる。この場合、ストレージ装置１２０のデバイス情報１２２ｘに示されるデータ格納形式は「type3」となる。
In the example of FIG. 6, the
ストレージ装置１１０に格納されたメタデータ１１７ａ，１１７ｂ，・・・，１１７ｎは、ディスクノード１００の起動時にデータ管理部１４０によって読み出され、メタデータ記憶部１５０に格納される。同様に、メタデータ用ディスク１２２に格納されたメタデータ１２２ａ，１２２ｂ，・・・，１２２ｎも、ディスクノード１００の起動時にデータ管理部１４０によって読み出され、メタデータ記憶部１５０に格納される。
The
次に、ディスクノード１００内のメタデータ記憶部１５０のデータ構造について説明する。
図７は、メタデータ記憶部のデータ構造の一例を示す図である。メタデータ記憶部１５０には、メタデータテーブル１５１が格納されている。メタデータテーブル１５１には、ディスクノードＩＤ、スライスＩＤ、状態、仮想ディスクＩＤ、仮想ディスクアドレス、ペアのディスクノードＩＤ、およびペアのスライスＩＤの欄が設けられている。メタデータテーブル１５１内の横方向に並べられた情報同士が互いに関連付けられ、メタデータを示す１つのレコードとなる。
Next, the data structure of the
FIG. 7 is a diagram illustrating an example of a data structure of the metadata storage unit. A metadata table 151 is stored in the
ディスクノードＩＤの欄には、ストレージ装置１１０，１２０を管理しているディスクノード１００の識別情報（ディスクノードＩＤ）が設定される。
スライスＩＤの欄には、メタデータに対応するスライスのストレージ装置１１０，１２０内での識別情報（スライスＩＤ）が設定される。なお、スライスＩＤ「１」〜「１０００」が、ストレージ装置１１０のスライスに割り当てられたスライスＩＤである。また、スライスＩＤ「１００１」〜「１１００」が、ストレージ装置１２０の移行先ディスク１２１のスライスに割り当てられたスライスＩＤである。ディスクノード１００のデータアクセス部１３０は、スライスＩＤと、そのスライスＩＤに対応するスライスの所在（ストレージ装置１１０なのか移行先ディスク１２１なのか）を認識している。そして、データアクセス部１３０は、スライスＩＤに基づいて、どのストレージ装置にアクセスすべきかを判断できる。
In the disk node ID column, identification information (disk node ID) of the
In the slice ID column, identification information (slice ID) in the
状態の欄には、スライスの状態を示す状態フラグが設定される。
図８は、状態フラグで示される状態の種類を示す図である。各スライスの状態を示す状態フラグには、「Ｆ」、「Ｐ」、「Ｓ」、「Ｒ」、「Ｂ」、および「ＳＰ」の何れかが設定される。
In the status column, a status flag indicating the status of the slice is set.
FIG. 8 is a diagram illustrating the types of states indicated by the state flags. One of “F”, “P”, “S”, “R”, “B”, and “SP” is set in the status flag indicating the status of each slice.
スライスが仮想ディスクのセグメントに割り当てられていない場合、状態フラグ「Ｆ」が設定される。スライスが仮想ディスクのセグメントのプライマリスライスに割り当てられている場合、状態フラグ「Ｐ」が設定される。スライスが仮想ディスクのセグメントのセカンダリスライスに割り当てられている場合、状態フラグ「Ｓ」が設定される。スライスを仮想ディスクのセグメントに割り当てることが決定したが、まだデータのコピーが行われていない場合、予約済を示す状態フラグ「Ｒ」が設定される。移行先ディスク１２１のスライスであるが、まだデータのコピーが行われていない場合、ブランクを示す状態フラグ「Ｂ」が設定される。スライスが仮想ディスクの冗長性が損なわれたセグメントに割り当てられている場合、シングルプライマリを示す状態フラグ「ＳＰ」が設定される。
If the slice is not assigned to a virtual disk segment, the status flag “F” is set. When the slice is assigned to the primary slice of the virtual disk segment, the status flag “P” is set. When the slice is assigned to the secondary slice of the virtual disk segment, the status flag “S” is set. When it is determined that the slice is assigned to the segment of the virtual disk, but the data has not yet been copied, the status flag “R” indicating the reserved state is set. If it is a slice of the
状態フラグのうち、「Ｐ」、「Ｓ」、または「ＳＰ」が設定されている場合、対応するスライスにデータが格納されている。
以下、図７の説明に戻る。
When “P”, “S”, or “SP” is set among the status flags, data is stored in the corresponding slice.
Returning to the description of FIG.
仮想ディスクＩＤの欄には、スライスに対応するセグメントが属する仮想ディスクを識別するための識別情報（仮想ディスクＩＤ）が設定される。
仮想ディスクアドレスの欄には、スライスが割り当てられているセグメントの先頭を示す仮想ディスク内でのアドレスが設定される。
In the virtual disk ID column, identification information (virtual disk ID) for identifying the virtual disk to which the segment corresponding to the slice belongs is set.
In the virtual disk address column, an address in the virtual disk indicating the head of the segment to which the slice is assigned is set.
ペアのディスクノードＩＤの欄には、ペアのスライス（同じセグメントに属する別のスライス）を有するストレージ装置を管理するディスクノードの識別情報（ディスクノードＩＤ）が設定される。 In the paired disk node ID column, identification information (disk node ID) of a disk node that manages a storage device having a pair of slices (another slice belonging to the same segment) is set.
ペアのスライスＩＤの欄には、ペアのスライスを、そのスライスが属するストレージ装置内で識別するための識別情報（スライスＩＤ）が設定される。
図７では、ストレージ装置１２０がディスクノード１００のＯＳで認識され、ストレージ装置１２０用のメタデータがメタデータテーブル１５１に登録された直後の状態が示されている。すなわち、データ移行のためのストレージ装置１２０へのデータのコピーは未実施である。そのため、ストレージ装置１２０（ディスクＩＤ「１００１」〜「１１００」）のスライスの状態フラグは、すべて「Ｂ」となっている。
In the pair slice ID column, identification information (slice ID) for identifying the pair slice within the storage apparatus to which the slice belongs is set.
FIG. 7 shows a state immediately after the
また、移行先ディスク１２１内の各スライスは、仮想ディスクアドレスのセグメントに割り当てられている。なお、移行先ディスク１２１内のスライスのうち、スライスＩＤの値が小さいスライスほど、仮想ディスクアドレスの値が小さいセグメントに割り当てられている。これにより、データ移行後は、仮想ディスク６０におけるデータ配列と同じ配列で、仮想ディスク６０内のデータが移行先ディスク１２１内に格納されることとなる。
Each slice in the
各ディスクノード１００，２００，３００のメタデータ記憶部１５０，２４０，３４０に格納されたメタデータは、制御ノード５００からの要求に応じて制御ノード５００に送信される。制御ノード５００では、ディスクノード１００，２００，３００から収集したメタデータを、仮想ディスクメタデータ記憶部５２０に格納する。
The metadata stored in the
図９は、仮想ディスクメタデータ記憶部のデータ構造の一例を示す図である。図９に示すように、仮想ディスクメタデータ記憶部５２０には、各ディスクノード１００，２００，３００が保持していたメタデータテーブル１５１，２４１，３４１に含まれるメタデータが格納される。
FIG. 9 is a diagram illustrating an example of the data structure of the virtual disk metadata storage unit. As shown in FIG. 9, the virtual disk
なお、制御ノード５００の仮想ディスク管理部５１０は、仮想ディスクが複数ある場合、ディスクノード１００，２００，３００から収集したメタデータを、仮想ディスクＩＤによって分類してもよい。
Note that when there are a plurality of virtual disks, the virtual
次に、仮想ディスク６０からストレージ装置１２０へのデータ移行の実施に利用される各ノードの機能について、詳細に説明する。
図１０は、データ移行に利用される各ノードの機能を示す図である。制御ノード５００の仮想ディスク管理部５１０は、仮想ディスクのデータ移行のために、スライス割り当て制御部５１１およびデータコピー指示部５１２を有する。
Next, the function of each node used for data migration from the
FIG. 10 is a diagram illustrating the function of each node used for data migration. The virtual
スライス割り当て制御部５１１は、システム起動時などに、各ディスクノード１００，２００，３００に対してメタデータ照会要求を送信する。するとディスクノード１００，２００，３００からメタデータが応答される。またスライス割り当て制御部５１１は、データコピー対象のスライスを選択し、該当スライスを管理しているディスクノードに対して、コピーの進行状況に応じてメタデータの更新を指示する。データコピー指示部５１２は、データコピーのコピー元となるスライスを管理するディスクノードに対して、移行先ディスク１２１への該当スライス内のデータの送信を指示する。
The slice
ディスクノード１００のデータ管理部１４０は、移行先ストレージ接続部１４１、メタデータ管理部１４２、およびデータコピー部１４３を有する。
移行先ストレージ接続部１４１は、ディスクノード１００に接続されたストレージ装置１２０の存在を制御ノード５００に認識させる。例えば、移行先ストレージ接続部１４１は、管理ノード４００からの接続指示を受けると、ディスクノード１００に接続されているストレージ装置のうち、未認識のストレージ装置１２０を検出する。移行先ストレージ接続部１４１は、検出したストレージ装置１２０をＯＳに認識させる。さらに移行先ストレージ接続部１４１は、検出したストレージ装置１２０内の１つの仮想的なディスクを移行先ディスク１２１とし、他の１つの仮想的なディスクをメタデータ用ディスク１２２とする。そして移行先ストレージ接続部１４１は、メタデータ用ディスク１２２に、移行先ディスク１２１内の記憶領域を分割して得られるスライスごとのメタデータを格納する。その後、移行先ストレージ接続部１４１は、接続完了応答を管理ノード４００に送信する。
The
The migration destination
メタデータ管理部１４２は、制御ノード５００からのメタデータ照会要求に応答して、メタデータ記憶部１５０内のメタデータを制御ノード５００に送信する。また、メタデータ管理部１４２は、制御ノード５００からの指示に従って、メタデータを更新する。
In response to the metadata inquiry request from the
データコピー部１４３は、制御ノード５００からの指示に従って、仮想ディスク６０のセグメントに割り当てられたスライス内のデータを、移行先ディスク１２１内のスライスにコピーする。また、データコピー部１４３は、他のディスクノード２００，３００から、移行先ディスク１２１内のスライスをコピー先としてデータを受信すると、受信したデータを、コピー先として指定されたスライスに格納する。
The data copy
ディスクノード２００のデータ管理部２３０は、メタデータ管理部２３１とデータコピー部２３２とを有する。メタデータ管理部２３１は、制御ノード５００からの指示に従って、メタデータを更新する。データコピー部２３２は、制御ノード５００からの指示に従って、仮想ディスク６０のセグメントに割り当てられたスライス内のデータを、コピー先のスライスを指定して、ディスクノード１００に送信する。
The
ディスクノード３００のデータ管理部３３０は、メタデータ管理部３３１とデータコピー部３３２とを有する。メタデータ管理部３３１とデータコピー部３３２との機能は、それぞれディスクノード２００のメタデータ管理部２３１とデータコピー部２３２との機能と同じである。
The
次に、データ移行処理の手順について説明する。
図１１は、第２の実施の形態におけるデータ移行処理の手順を示すシーケンス図である。以下、図１１に示す処理を、ステップ番号に沿って説明する。
Next, a procedure for data migration processing will be described.
FIG. 11 is a sequence diagram illustrating a procedure of data migration processing according to the second embodiment. In the following, the process illustrated in FIG. 11 will be described in order of step number.
［ステップＳ１１］管理ノード４００からディスクノード１００に接続指示が出される。例えば、管理者は管理ノード４００に対して、データの移行を指示する。この指示では、例えば仮想ディスク６０の仮想ディスクＩＤ、仮想ディスクのセグメント数（または仮想ディスク６０のデータ容量）、および移行先のストレージ装置を接続したディスクノード１００のディスクノードＩＤが指定される。管理ノード４００は、指定されたディスクノード１００に対して、仮想ディスク６０の仮想ディスクＩＤと仮想ディスク６０のセグメント数とを指定した接続指示を送信する。
[Step S11] A connection instruction is issued from the
ディスクノード１００は、管理ノード４００からの接続指示に応答して、データ移行先となるストレージ装置１２０をマルチノードストレージシステムの配下のストレージ装置として接続する。具体的には、ディスクノード１００の移行先ストレージ接続部１４１は、ストレージ装置１２０内の１つのディスクを移行先ディスク１２１、他の１つのディスクをメタデータ用ディスク１２２として、ディスクノード１００のＯＳに認識させる。この時点では、移行先ディスク１２１とメタデータ用ディスク１２２との内容はブランクである。その後、移行先ストレージ接続部１４１は、メタデータ用ディスク１２２にメタデータを格納する。なお、移行先ディスク１２１については、接続時には書き込みは行われない。
In response to the connection instruction from the
メタデータ用ディスク１２２へ格納するメタデータの内容は、管理ノード４００からの指示に従って行われる。例えば、管理ノード４００からの接続指示において、データの移行を行う仮想ディスク６０の仮想ディスクＩＤとセグメントの数が指定される。すると、移行先ストレージ接続部１４１は、仮想ディスクのセグメントの数分のスライスに対応するメタデータを作成し、そのメタデータの仮想ディスクＩＤの欄には、仮想ディスク６０の仮想ディスクＩＤを設定する。そして、移行先ストレージ接続部１４１は、作成したメタデータと、メタデータの格納形式を示すデバイス情報とを、メタデータ用ディスク１２２に格納する。この際、移行先ストレージ接続部１４１は、メタデータ用ディスク１２２に格納したメタデータを、メタデータ記憶部１５０にも格納する。その後、移行先ストレージ接続部１４１は、管理ノード４００に対して接続完了応答を送信する。
The content of the metadata stored in the
［ステップＳ１２］管理ノード４００から制御ノード５００に移行指示が出される。例えば、移行指示には、データの移行先となるストレージ装置１２０を接続したディスクノード１００のディスクノードＩＤが指定されている。制御ノード５００のスライス割り当て制御部５１１は、移行指示で指定されたディスクノード１００に対して、メタデータ照会要求を送信する。
[Step S12] A migration instruction is issued from the
［ステップＳ１３］メタデータ照会要求を受け取ったディスクノード１００では、メタデータ管理部１４２がメタデータ記憶部１５０からメタデータを取得し、制御ノード５００に送信する。なお、メタデータ管理部１４２は、メタデータ記憶部１５０からストレージ装置１２０内のスライスのメタデータのみを取得し、取得したメタデータを制御ノード５００に送信してもよい。
[Step S13] In the
［ステップＳ１４］メタデータを受信した制御ノード５００のスライス割り当て制御部５１１は、受信したメタデータにより仮想ディスクメタデータ記憶部５２０内のメタデータを更新する。そして、データコピー指示部５１２の制御の下、ディスクノード１００，２００，３００によるスライス内のデータの移行先ディスク１２１へのコピー処理が行われる。
[Step S14] The slice
［ステップＳ１５］データのコピーが完了すると、制御ノード５００のスライス割り当て制御部５１１の制御の下、仮想ディスク６０のセグメントに対するセカンダリスライスの切り離し（割り当て解除）処理が行われる。スライス割り当て制御部５１１は、セカンダリスライスの切り離し処理が完了すると、移行完了応答を管理ノード４００に送信する。
[Step S15] When the data copy is completed, a secondary slice detachment (allocation) process for the segment of the
このような手順で、仮想ディスク６０内のデータが移行先ディスク１２１に移行される。次に、ステップＳ１４に示したスライスコピー処理について詳細に説明する。
図１２は、スライスコピー処理の手順を示すシーケンス図である。図１２には、１つのセグメントに関するスライスコピー処理が示されている。以下、図１２に示す処理をステップ番号に沿って説明する。
With this procedure, the data in the
FIG. 12 is a sequence diagram illustrating a procedure of slice copy processing. FIG. 12 shows slice copy processing for one segment. In the following, the process illustrated in FIG. 12 will be described in order of step number.
［ステップＳ２１］制御ノード５００のスライス割り当て制御部５１１は、移行対象の仮想ディスク６０のセグメントのうち、スライスコピー処理を行っていないセグメントを１つ選択する。スライス割り当て制御部５１１は、選択したセグメントに割り当てられているスライスを管理しているディスクノードに対して、メタデータ変更要求を送信する。
[Step S21] The slice
例えば、アドレス「Ａ１」のセグメントが選択されたものとする。移行対象の仮想ディスク６０内の冗長構成が保たれたセグメントであれば、選択されたセグメントには、状態がプライマリのスライス、状態がセカンダリのスライス、および状態がブランクのスライスが割り当てられている。そこでスライス割り当て制御部５１１は、図９に示したメタデータテーブル１５１，２４１，３４１を参照し、選択されたセグメントに割り当てられたブランクのスライスが、ディスクノード１００で管理されていることを認識する。そして、スライス割り当て制御部５１１は、ディスクノード１００に対して、選択したセグメントに割り当てられたブランクのスライスの状態をリザーブ「Ｒ」に変更することを指示するメタデータ変更要求を送信する。
For example, it is assumed that the segment having the address “A1” is selected. If the redundant configuration in the migration target
［ステップＳ２２］ディスクノード１００では、メタデータ管理部１４２がメタデータ変更要求を受信する。すると、メタデータ管理部１４２は、メタデータ変更要求に従い、メタデータ記憶部１５０内のメタデータ変更要求で指定されたスライスのメタデータを更新する。すなわち、メタデータ管理部１４２は、指定されたスライスのメタデータの状態の欄の状態フラグを「Ｂ」から「Ｒ」に変更する。さらにメタデータ管理部１４２は、メタデータ用ディスク１２２内のメタデータ変更要求で指定されたスライスのメタデータについても同様に更新する。メタデータ管理部１４２は、メタデータの更新が完了すると、変更完了応答を制御ノード５００に送信する。
[Step S22] In the
［ステップＳ２３］制御ノード５００では、スライス割り当て制御部５１１が変更完了応答を受信する。すると、スライス割り当て制御部５１１は、仮想ディスクメタデータ記憶部５２０内のメタデータについても、メタデータ変更要求で指示した内容と同様に更新する。その後、制御ノード５００のデータコピー指示部５１２が、選択したセグメントに割り当てられたセカンダリのスライスを管理するディスクノードに対して、スライスコピー指示を送信する。
[Step S23] In the
例えばアドレス「Ａ１」のセグメントが選択された場合、データコピー指示部５１２は、図９に示したメタデータテーブル１５１，２４１，３４１を参照する。これによりデータコピー指示部５１２は、選択されたセグメントに割り当てられたセカンダリのスライスが、ディスクノード３００で管理されていることを認識する。そしてデータコピー指示部５１２は、ディスクノード３００に対して、選択したセグメントに割り当てられたセカンダリのスライス内のデータを、選択したセグメントに割り当てられたリザーブのスライスにコピーすべき旨のスライスコピー指示を送信する。スライスコピー指示には、例えば、選択したセグメントのセカンダリのスライスとリザーブのスライスとのそれぞれの、ディスクノードＩＤとスライスＩＤとが示される。
For example, when the segment with the address “A1” is selected, the data copy
［ステップＳ２４］ディスクノード３００では、データコピー部３３２がスライスコピー指示を受信する。するとデータコピー部３３２は、スライスコピー指示で指定されたセカンダリのスライス内のデータを、リザーブのスライスを管理するディスクノード１００に送信する。この際、送信したデータの格納先として、例えばスライスコピー指示で指定されたリザーブのスライスのスライスＩＤが指定される。
[Step S24] In the
［ステップＳ２５］ディスクノード１００では、ディスクノード３００から送信されたデータをデータコピー部１４３が受信する。するとデータコピー部１４３は、移行先ディスク１２１内の指定されたスライスに対して、受信したデータを書き込む。データの書き込みが完了すると、データコピー部１４３は、書き込み完了応答をディスクノード３００に送信する。
[Step S25] In the
［ステップＳ２６］ディスクノード３００のデータコピー部３３２は、ディスクノード１００から書き込み完了応答を受信すると、制御ノード５００に対してコピー完了応答を送信する。
[Step S26] Upon receiving a write completion response from the
［ステップＳ２７］制御ノード５００のデータコピー指示部５１２は、選択したセグメントに割り当てられた各スライスを管理するディスクノード１００，２００，３００に対して、メタデータ変更要求を送信する。例えば、プライマリのスライスを管理するディスクノード２００に対しては、選択したセグメントに割り当てられていたスライスのペアの相手を移行先ディスク１２１内のデータのコピー先となったスライスに変更することを示すメタデータ変更要求が送信される。セカンダリのスライスを管理するディスクノード３００に対しては、選択したセグメントに割り当てられていたスライスの状態を、セカンダリ「Ｓ」からフリー「Ｆ」へ変更することを示すメタデータ変更要求が送信される。リザーブのスライスを管理するディスクノード１００に対しては、選択したセグメントに割り当てられていたスライスの状態を、リザーブ「Ｒ」からセカンダリ「Ｓ」へ変更することを示すメタデータ変更要求が送信される。
[Step S27] The data copy
なお、図１２の例では、セカンダリスライスをフリースライスに変更するようにメタデータ変更要求が出されているが、プライマリスライスをフリースライスに変更するようにしてもよい。その場合、セカンダリスライスをプライマリスライスに変更することとなる。 In the example of FIG. 12, a metadata change request is issued so as to change the secondary slice to a free slice, but the primary slice may be changed to a free slice. In that case, the secondary slice is changed to the primary slice.
［ステップＳ２８］ディスクノード２００では、メタデータ変更要求をメタデータ管理部２３１が受信する。メタデータ管理部２３１は、メタデータ変更要求に従って、メタデータ記憶部２４０内のメタデータを更新する。すなわちメタデータ管理部２３１は、選択されたセグメントに割り当てられたプライマリのスライスのメタデータに対し、ペアのディスクノードＩＤとして、移行先ディスク１２１が接続されたディスクノード１００のディスクノードＩＤを設定する。またメタデータ管理部２３１は、選択されたセグメントに割り当てられたプライマリのスライスのメタデータに対し、ペアのスライスとして、移行先ディスク１２１内のデータのコピー先となったスライスのスライスＩＤを設定する。さらにメタデータ管理部２３１は、メタデータ記憶部２４０に対するメタデータ更新処理と同様のメタデータ更新処理を、ストレージ装置２１０内のメタデータに対しても行う。メタデータの更新が完了すると、メタデータ管理部２３１は、変更完了応答を制御ノード５００に送信する。
[Step S28] In the
［ステップＳ２９］ディスクノード３００では、メタデータ変更要求をメタデータ管理部３３１が受信する。メタデータ管理部３３１は、メタデータ変更要求に従って、メタデータ記憶部３４０内のメタデータを更新する。すなわちメタデータ管理部３３１は、選択されたセグメントに割り当てられたセカンダリのスライスのメタデータの状態フラグを、セカンダリ「Ｓ」からフリー「Ｆ」に変更する。また、メタデータ管理部３３１は、状態フラグを変更したメタデータの、仮想ディスクＩＤ、仮想ディスクアドレス、ペアのディスクノードＩＤ、およびペアのスライスＩＤの各欄の設定内容を削除する。状態がフリーとなったスライスは、セグメントへの割り当てが解除され、他のセグメントへの割り当てが可能となる。すなわち、状態がフリーとなったスライスは、そのスライスの記憶領域が開放される。
[Step S29] In the
さらにメタデータ管理部３３１は、メタデータ記憶部３４０に対するメタデータ更新処理と同様のメタデータ更新処理を、ストレージ装置３１０内のメタデータに対しても行う。メタデータの更新が完了すると、メタデータ管理部３３１は、変更完了応答を制御ノード５００に送信する。
Further, the
［ステップＳ３０］ディスクノード１００では、メタデータ変更要求をメタデータ管理部１４２が受信する。メタデータ管理部１４２は、メタデータ変更要求に従って、メタデータ記憶部１５０内のメタデータを更新する。すなわちメタデータ管理部１４２は、選択されたセグメントに割り当てられたリザーブのスライスのメタデータの状態フラグを、リザーブ「Ｒ」からセカンダリ「Ｓ」に変更する。また、メタデータ管理部１４２は、状態フラグを変更したメタデータのペアのディスクノードＩＤの欄に、プライマリスライスを管理するディスクノードのディスクノードＩＤを設定する。さらに、メタデータ管理部１４２は、状態フラグを変更したメタデータのペアのスライスＩＤの欄に、プライマリスライスのスライスＩＤを設定する。その後、メタデータ管理部１４２は、メタデータ記憶部１５０に対するメタデータ更新処理と同様のメタデータ更新処理を、メタデータ用ディスク１２２内のメタデータに対しても行う。メタデータの更新が完了すると、メタデータ管理部１４２は、変更完了応答を制御ノード５００に送信する。
[Step S30] In the
［ステップＳ３１］制御ノード５００では、スライス割り当て制御部５１１が、各ディスクノード１００，２００，３００から送信された変更完了応答を受信する。すると、スライス割り当て制御部５１１は、仮想ディスクメタデータ記憶部５２０内のメタデータについても、ステップＳ２７においてメタデータ変更要求で指示した内容と同様に更新する。
[Step S31] In the
図１２に示したスライスコピー処理が、移行対象の仮想ディスク６０内のセグメントごとに実行される。例えば、制御ノード５００のスライス割り当て制御部５１１は、ステップＳ３１の処理が完了すると、仮想ディスク６０内の未選択のセグメントの有無を判断する。未選択のセグメントがあれば、スライス割り当て制御部５１１は、図１２に示したスライスコピー処理を、ステップＳ２１から開始する。未選択のセグメントがなければ、図１１に示すスライスコピー処理（ステップＳ１４）が完了し、次のセカンダリ切り離し処理（ステップＳ１５）が実行される。
The slice copy process shown in FIG. 12 is executed for each segment in the migration target
次に、スライスコピー処理によるメタデータの内容の推移について説明する。
図１３は、スライスコピー処理によるメタデータの内容の推移の一例を示す図である。なお、図１３には、仮想ディスクアドレス「Ａ１」に対応するセグメントを選択して、スライスコピー処理を実行した場合の、該当セグメントに割り当てられているスライスのメタデータの内容の推移が示されている。
Next, transition of metadata contents by slice copy processing will be described.
FIG. 13 is a diagram illustrating an example of transition of metadata contents by slice copy processing. FIG. 13 shows the transition of the content of the metadata of the slice allocated to the segment when the segment corresponding to the virtual disk address “A1” is selected and the slice copy process is executed. Yes.
第１の状態は、セグメント選択（図１２のステップＳ２１）時点での、処理対象のスライスのメタデータの状態を示している。図１３の例では、仮想ディスクアドレス「Ａ１」のセグメントに対して、プライマリスライスとして、ディスクノード２００（ディスクノードＩＤ「ＤＰ２」）のスライスＩＤ「スライス１００」のスライスが割り当てられている。仮想ディスクアドレス「Ａ１」のセグメントに対して、セカンダリスライスとして、ディスクノード３００（ディスクノードＩＤ「ＤＰ３」）のスライスＩＤ「スライス２００」のスライスが割り当てられている。
The first state shows the state of the metadata of the slice to be processed at the time of segment selection (step S21 in FIG. 12). In the example of FIG. 13, the slice with the slice ID “
また、選択されたセグメントの仮想ディスクアドレスは、仮想ディスク６０内の先頭のアドレスである。すなわち、仮想ディスク６０内の先頭のセグメントが選択されている。そこで、ディスクノード１００（ディスクノードＩＤ「ＤＰ１」）で管理される移行先ディスク１２１の先頭のスライスが、データコピー先のスライスとして選択される。移行先ディスク１２１の先頭のスライスのスライスＩＤは、「スライス１００１」である。移行先ディスク１２１の先頭のスライスの状態は、ブランク「Ｂ」である。
The virtual disk address of the selected segment is the head address in the
第２の状態は、移行先ディスク１２１内のスライスのセグメントへの割り当て処理（図１２のステップＳ２２）後の状態を示している。移行先ディスク１２１のスライスＩＤ「スライス１００１」のスライスの状態は、ブランク「Ｂ」からリザーブ「Ｒ」に変更されている。
The second state shows a state after the process of assigning slices to segments in the migration destination disk 121 (step S22 in FIG. 12). The state of the slice with the slice ID “slice 1001” of the
第３の状態は、コピー完了後に行われるメタデータ変更処理（図１２のステップＳ２７〜Ｓ３１）後の状態を示している。ディスクノード１００（ディスクノードＩＤ「ＤＰ１」）のスライスＩＤ「スライス１００１」のスライスのメタデータは、状態がセカンダリ「Ｓ」に変更されている。また、そのメタデータには、ペアのディスクノードＩＤとしてディスクノード２００のディスクノードＩＤ「ＤＰ２」が設定され、ペアのスライスＩＤとして、選択されたセグメントのプライマリスライスのスライスＩＤ「スライス１００」が設定されている。
The third state shows a state after the metadata change process (steps S27 to S31 in FIG. 12) performed after the copy is completed. The status of the metadata of the slice with the slice ID “slice 1001” of the disk node 100 (disk node ID “DP1”) is changed to the secondary “S”. In the metadata, the disk node ID “DP2” of the
ディスクノード２００（ディスクノードＩＤ「ＤＰ２」）のスライスＩＤ「スライス１００」のスライスのメタデータには、ペアのディスクノードＩＤがディスクノード１００のディスクノードＩＤ「ＤＰ１」に変更されている。さらに、そのメタデータのペアのスライスＩＤが、選択されたセグメントのセカンダリスライスのスライスＩＤ「スライス１００１」に変更されている。
In the metadata of the slice of the slice ID “
ディスクノード３００（ディスクノードＩＤ「ＤＰ３」）のスライスＩＤ「スライス２００」のスライスのメタデータは、状態がフリー「Ｆ」に変更されている。また、そのメタデータの仮想ディスクＩＤ、仮想ディスクアドレス、ペアのディスクノードＩＤ、およびペアのスライスＩＤの内容は、「ＮＵＬＬ」に変更されている。これにより、ディスクノード３００（ディスクノードＩＤ「ＤＰ３」）のスライスＩＤ「スライス２００」のスライスは、仮想ディスクアドレス「Ａ１」のセグメントから切り離されたこととなる。
The status of the metadata of the slice with the slice ID “
次に、図１１のステップＳ１５に示したセカンダリ切り離し処理の詳細について説明する。
図１４は、セカンダリ切り離し処理手順を示すシーケンス図である。以下、図１４に示す処理をステップ番号に沿って説明する。
Next, the details of the secondary disconnection process shown in step S15 of FIG. 11 will be described.
FIG. 14 is a sequence diagram illustrating a secondary disconnection process procedure. In the following, the process illustrated in FIG. 14 will be described in order of step number.
［ステップＳ４１］制御ノード５００のスライス割り当て制御部５１１は、移行対象の仮想ディスク６０のセグメントのうち、スライスコピー処理を行っていないセグメントを１つ選択する。データコピー指示部５１２は、選択したセグメントに割り当てられた各スライスを管理するディスクノード１００，２００に対して、メタデータ変更要求を送信する。
[Step S41] The slice
例えば、プライマリのスライスを管理するディスクノード２００に対しては、選択したセグメントに割り当てられていたスライスの状態を、プライマリ「Ｐ」からフリー「Ｆ」に変更することを示すメタデータ変更要求が送信される。セカンダリのスライスを管理するディスクノード１００に対しては、選択したセグメントに割り当てられていたスライスの状態を、セカンダリ「Ｓ」からプライマリ「Ｐ」へ変更することを示すメタデータ変更要求が送信される。
For example, a metadata change request indicating that the state of the slice assigned to the selected segment is changed from the primary “P” to the free “F” is transmitted to the
［ステップＳ４２］ディスクノード２００では、メタデータ変更要求をメタデータ管理部２３１が受信する。メタデータ管理部２３１は、メタデータ変更要求に従って、メタデータ記憶部２４０内のメタデータを更新する。すなわちメタデータ管理部２３１は、選択されたセグメントに割り当てられたセカンダリのスライスのメタデータの状態フラグを、プライマリ「Ｐ」からフリー「Ｆ」に変更する。また、メタデータ管理部２３１は、状態フラグを変更したメタデータの、仮想ディスクＩＤ、仮想ディスクアドレス、ペアのディスクノードＩＤ、およびペアのスライスＩＤの各欄の設定内容を削除する。さらにメタデータ管理部２３１は、メタデータ記憶部２４０に対するメタデータ更新処理と同様のメタデータ更新処理を、ストレージ装置２１０内のメタデータに対しても行う。メタデータの更新が完了すると、メタデータ管理部２３１は、変更完了応答を制御ノード５００に送信する。
[Step S42] In the
［ステップＳ４３］ディスクノード１００では、メタデータ変更要求をメタデータ管理部１４２が受信する。メタデータ管理部１４２は、メタデータ変更要求に従って、メタデータ記憶部１５０内のメタデータを更新する。すなわちメタデータ管理部１４２は、選択されたセグメントに割り当てられたセカンダリのスライスのメタデータの状態フラグを、セカンダリ「Ｓ」からプライマリ「Ｐ」に変更する。また、メタデータ管理部１４２は、状態フラグを変更したメタデータの、ペアのディスクノードＩＤ、およびペアのスライスＩＤの各欄の設定内容を削除する。さらにメタデータ管理部１４２は、メタデータ記憶部１５０に対するメタデータ更新処理と同様のメタデータ更新処理を、メタデータ用ディスク１２２内のメタデータに対しても行う。メタデータの更新が完了すると、メタデータ管理部１４２は、変更完了応答を制御ノード５００に送信する。
[Step S43] In the
［ステップＳ４４］制御ノード５００では、スライス割り当て制御部５１１が、各ディスクノード１００，２００から送信された変更完了応答を受信する。すると、スライス割り当て制御部５１１は、仮想ディスクメタデータ記憶部５２０内のメタデータについても、ステップＳ４１においてメタデータ変更要求で指示した内容と同様に更新する。
[Step S44] In the
図１４に示したセカンダリ切り離し処理が、移行対象の仮想ディスク６０内のセグメントごとに実行される。例えば、制御ノード５００のスライス割り当て制御部５１１は、ステップＳ４４の処理が完了すると、仮想ディスク６０内の未選択のセグメントの有無を判断する。未選択のセグメントがあれば、スライス割り当て制御部５１１は、図１４に示したセカンダリ切り離し処理を、ステップＳ４１から開始する。未選択のセグメントがなければ、図１１に示すセカンダリ切り離し処理（ステップＳ１５）が完了し、スライス割り当て制御部５１１から管理ノード４００へ移行完了応答が送信される。
The secondary disconnection process shown in FIG. 14 is executed for each segment in the migration target
図１５は、セカンダリ切り離し処理で更新されたメタデータの例を示す図である。図１５には、セカンダリ切り離し処理後の状態が示されているディスクノード１００（ディスクノードＩＤ「ＤＰ１」）のスライスＩＤ「スライス１００１」のスライスのメタデータは、状態がプライマリ「Ｐ」に変更されている。また、そのメタデータには、ペアのディスクノードＩＤとペアのスライスＩＤとは、内容が削除され「ＮＵＬＬ」に変更されている。 FIG. 15 is a diagram illustrating an example of metadata updated in the secondary detachment process. In FIG. 15, the status of the metadata of the slice with the slice ID “slice 1001” of the disk node 100 (disk node ID “DP1”) whose state after the secondary detachment processing is shown is changed to the primary “P”. ing. In the metadata, the contents of the paired disk node ID and the paired slice ID are deleted and changed to “NULL”.
ディスクノード２００（ディスクノードＩＤ「ＤＰ２」）のスライスＩＤ「スライス１００」のスライスのメタデータには、状態がフリー「Ｆ」に変更されている。また、そのメタデータの仮想ディスクＩＤ、仮想ディスクアドレス、ペアのディスクノードＩＤ、およびペアのスライスＩＤの内容は、「ＮＵＬＬ」に変更されている。これにより、ディスクノード２００（ディスクノードＩＤ「ＤＰ２」）のスライスＩＤ「スライス１００」のスライスは、仮想ディスクアドレス「Ａ１」のセグメントから切り離されたこととなる。
The status of the metadata of the slice with the slice ID “
すべてのデータ移行処理が完了すると、移行先ディスク１２１内のスライスはすべてプライマリスライスとなる。
図１６は、データ移行後のメタデータ用ディスク内のメタデータの例を示す図である。図１６に示す用に、メタデータ用ディスク１２２内の各メタデータ１２２ａ，１２２ｂ，・・・，１２２ｎは、状態がすべてプライマリ「Ｐ」となっている。
When all data migration processing is completed, all slices in the
FIG. 16 is a diagram illustrating an example of metadata in the metadata disk after data migration. As shown in FIG. 16, the
以上のようにして、仮想ディスク６０内のデータが、移行先ディスク１２１に移行される。移行後は、仮想ディスク６０における仮想ディスクアドレスの順に、移行先ディスク１２１の上位から順番のスライスにデータが移行される。データ移行後は、アクセスノード３０から仮想ディスク６０を指定したアクセスを停止すれば、移行先ディスク１２１をマルチノードストレージシステムから切り離すことができる。具体的には、移行先ディスク１２１を有するストレージ装置１２０を、ディスクノード１００から切り離すことができる。そして、ストレージ装置１２０をＳＡＮシステムに接続することで、仮想ディスク６０内のデータのシステム間の移行が完了する。
As described above, the data in the
ところで、第２の実施の形態では、仮想ディスク６０内のデータの移行が完了するまで、メタデータ用ディスク１２２に格納されたメタデータを用いて、移行先ディスク１２１内のデータをマルチストレージシステムの管理下に置くことができる。そのため、例えばデータ移行中に何れかのノードに故障が発生した場合、データ移行処理を中止し、データの保守を行うことができる。
By the way, in the second embodiment, until the data migration in the
図１７は、ノード故障時の制御ノードにおける処理手順を示すフローチャートである。以下、図１７に示す処理をステップ番号に沿って説明する。
［ステップＳ５１］制御ノード５００の仮想ディスク管理部５１０は、ディスクノードまたはストレージ装置の故障を検出する。例えば各ディスクノード１００，２００，３００から定期的にハートビートが出力される場合、仮想ディスク管理部５１０は所定期間以上ハートビートが途絶えたディスクノードについて、故障したものと判定する。なお、ハートビートとは、ディスクノード自身が正常に稼動していることを制御ノード５００に知らせるために、所定間隔で出力する信号である。また、ディスクノード１００，２００，３００のデータ管理部１４０，２３０，３３０は、ストレージ装置の故障を検知すると、ストレージ装置が故障した旨の情報（故障通知メッセージ）を制御ノード５００に送信することもできる。この場合、制御ノード５００の仮想ディスク管理部５１０は、故障通知メッセージに基づいて、ストレージ装置の故障を認識する。
FIG. 17 is a flowchart illustrating a processing procedure in the control node when a node failure occurs. In the following, the process illustrated in FIG. 17 will be described in order of step number.
[Step S51] The virtual
［ステップＳ５２］スライス割り当て制御部５１１は、データ移行処理を中止する。例えば、スライスコピー処理（図１１のステップＳ１４）やセカンダリ切り離し処理（図１１のステップＳ１５）の途中であった場合、スライス割り当て制御部５１１は、新たなセグメントの選択を行わずに、データ移行処理を終了する。
[Step S52] The slice
［ステップＳ５３］スライス割り当て制御部５１１は、各ディスクノード１００，２００，３００からスライス情報を取得する。例えばスライス割り当て制御部５１１は、各ディスクノード１００，２００，３００に対して、メタデータ照会要求を送信する。故障せずに動作しているディスクノードのメタデータ管理部は、メタデータ照会要求に応答し、メタデータ記憶部内のメタデータを制御ノード５００に送信する。スライス割り当て制御部５１１は、ディスクノードから送られたメタデータに基づいて、仮想ディスクメタデータ記憶部５２０内のメタデータを更新する。
[Step S53] The slice
このとき、故障しているディスクノードからはメタデータが送られてこない。そのため、仮想ディスクメタデータ記憶部５２０内の更新後のメタデータに基づいて仮想ディスク６０のセグメントへのスライスの割り当てを判断すると、プライマリとセカンダリとの一方しか割り当てられていないセグメントが生じ得る。
At this time, metadata is not sent from the failed disk node. For this reason, when the slice assignment to the segment of the
ストレージ装置の故障の場合、例えばディスクノードのメタデータ管理部において、故障したストレージ装置内のスライスに対応するメタデータを、制御ノード５００に送信しないようにすることができる。また、制御ノード５００のスライス割り当て制御部５１１が、故障したストレージ装置内のスライスに対応するメタデータについては、仮想ディスクメタデータ記憶部５２０に格納しないようにすることもできる。
In the case of a storage device failure, for example, in the metadata management unit of the disk node, metadata corresponding to the slice in the failed storage device can be prevented from being transmitted to the
［ステップＳ５４］スライス割り当て制御部５１１は、シングルプライマリ化の処理を行う。シングルプライマリ化処理とは、冗長性が損なわれたセグメントに割り当てられているスライスを、シングルプライマリの状態（状態フラグが「ＳＰ」）にする処理である。この処理の詳細は後述する（図１８参照）。
[Step S54] The slice
［ステップＳ５５］スライス割り当て制御部５１１は、再２重化処理を行う。再２重化処理では、冗長性が損なわれたセグメントのデータを２重化する処理である。この処理の詳細は後述する（図１９参照）。
[Step S55] The slice
このような手順で、データ移行の途中でディスクノードの故障が発生しても、冗長性が損なわれたセグメントの２重化を回復させることができる。すなわち、ディスクノード１００のメタデータ管理部１４２は、メタデータ照会要求に応答し、移行先ディスク１２１内のスライスに対応するメタデータについても制御ノード５００に送信する。これにより、例えばスライスコピー処理完了後、セカンダリ切り離し処理中にストレージ装置１１０以外のストレージ装置２１０，３１０が故障した場合でも、仮想ディスク６０の２重化の復旧が可能となる。
With such a procedure, even if a disk node failure occurs during data migration, it is possible to recover the duplication of the segment whose redundancy has been lost. That is, the
図１８は、シングルプライマリ化処理の手順を示すフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。
［ステップＳ６１］スライス割り当て制御部５１１は、仮想ディスクメタデータ記憶部５２０内のメタデータを参照し、ステップＳ６２において未選択の異常セグメントの有無を判断する。異常セグメントとは、プライマリスライスとセカンダリスライスとの何れか一方しか割り当てられていないセグメントである。例えばスライス割り当て制御部５１１は、仮想ディスク６０の仮想ディスクアドレスが小さい順にセグメントを抽出する。そして、スライス割り当て制御部５１１は、抽出したセグメントに割り当てられたスライスを仮想ディスクメタデータ記憶部５２０から検索する。検索によりプライマリスライスとセカンダリスライスとの何れか一方しか見つからなければ、スライス割り当て制御部５１１は、抽出したセグメントを異常セグメントと判断する。
FIG. 18 is a flowchart showing the procedure of the single primary processing. In the following, the process illustrated in FIG. 18 will be described in order of step number.
[Step S61] The slice
ステップＳ６１で未選択の異常セグメントがある場合、処理がステップＳ６２に進められる。ステップＳ６１で未選択の異常セグメントがなければ、シングルプライマリ化の処理が終了する。 If there is an unselected abnormal segment in step S61, the process proceeds to step S62. If there is no unselected abnormal segment in step S61, the single primary processing ends.
［ステップＳ６２］スライス割り当て制御部５１１は、ステップＳ６１で検出した異常セグメントを１つ選択する。
［ステップＳ６３］スライス割り当て制御部５１１は、選択した異常セグメントに割り当てられているスライスを管理しているディスクノードへ、該当スライスの状態をシングルプライマリ「ＳＰ」に変更することを指示するメタデータ変更要求を送信する。なお、選択した異常セグメントに割り当てられているスライスの状態は、プライマリスライス（状態「Ｐ」）の場合と、セカンダリスライス（状態「Ｓ」）の場合とがある。
[Step S62] The slice
[Step S63] The slice
メタデータ変更要求を受信したディスクノードでは、異常セグメントに割り当てられているスライスの状態が、シングルプライマリ「ＳＰ」に変更される。スライス割り当て制御部５１１は、メタデータ変更要求を送信したディスクノードから変更完了応答を受信すると、処理をステップＳ６１に進める。
In the disk node that has received the metadata change request, the state of the slice assigned to the abnormal segment is changed to the single primary “SP”. When the slice
このようにして、冗長性が損なわれた異常セグメントに割り当てられているスライスの状態が、すべてシングルプライマリ「ＳＰ」に変更される。
図１９は、再２重化処理の手順を示すフローチャートである。以下、図１９に示す処理をステップ番号に沿って説明する。
In this way, the states of the slices assigned to the abnormal segment whose redundancy is lost are all changed to the single primary “SP”.
FIG. 19 is a flowchart showing the procedure of the re-duplication process. In the following, the process illustrated in FIG. 19 will be described in order of step number.
［ステップＳ７１］スライス割り当て制御部５１１は、仮想ディスクメタデータ記憶部５２０内のメタデータを参照し、ステップＳ７２において未選択の異常セグメントの有無を判断する。再２重化処理を実行時には、異常セグメントは、シングルプライマリスライスが割り当てられているセグメントである。例えばスライス割り当て制御部５１１は、仮想ディスク６０の仮想ディスクアドレスが小さい順にセグメントを抽出する。そして、スライス割り当て制御部５１１は、抽出したセグメントに割り当てられたスライスを仮想ディスクメタデータ記憶部５２０から検索する。検索によりシングルプライマリスライスが見つかれば、スライス割り当て制御部５１１は、抽出したセグメントを異常セグメントと判断する。
[Step S71] The slice
ステップＳ７１で未選択の異常セグメントがある場合、処理がステップＳ７２に進められる。ステップＳ７１で未選択の異常セグメントがなければ、シングルプライマリ化の処理が終了する。 If there is an unselected abnormal segment in step S71, the process proceeds to step S72. If there is no unselected abnormal segment in step S71, the single primary processing ends.
［ステップＳ７２］スライス割り当て制御部５１１は、ステップＳ７１で検出した異常セグメントを１つ選択する。
［ステップＳ７３］スライス割り当て制御部５１１は、仮想ディスクメタデータ記憶部５２０内のメタデータを参照し、プライマリスライスとは別のディスクノードで管理されているフリーのスライスを１つ選択する。
[Step S72] The slice
[Step S73] The slice
［ステップＳ７４］スライス割り当て制御部５１１は、ステップＳ７３で選択したスライスの状態をフリー「Ｆ」からリザーブ「Ｒ」に変更することを指示するメタデータ変更要求を、ステップＳ７３で選択したスライスを管理するディスクノードに送信する。メタデータ変更要求では、ステップＳ７３で選択したスライスを、ステップＳ７２で選択したセグメントに割り当てることも示される。メタデータ変更要求を受信したディスクノードでは、メタデータ変更要求で指定されたスライスが、ステップＳ７２で選択したセグメントに割り当てられ、状態がリザーブ「Ｒ」に変更される。
[Step S74] The slice
またスライス割り当て制御部５１１は、選択したセグメントのシングルプライマリスライスを管理するディスクノードに対して、シングルプライマリスライスからプライマリスライスへの状態の変更を指示するメタデータ変更要求を送信する。プライマリスライスへの変更を指示するメタデータ変更要求を受信したディスクノードでは、メタデータ変更要求に従ってメタデータが変更される。
In addition, the slice
スライス割り当て制御部５１１は、メタデータ変更要求を送信した各ディスクノードから変更完了応答を受信すると、処理をステップＳ７５に進める。
［ステップＳ７５］データコピー指示部５１２は、ステップＳ７２で選択したセグメントのシングルプライマリスライスを管理するディスクノードに対して、シングルプライマリスライス内のデータのコピー要求を送信する。コピー要求では、コピー先として、ステップＳ７４でリザーブに変更したスライスが指定される。コピー要求を受信したディスクノードでは、指定されたシングルプライマリスライスのデータを、リザーブスライスを管理するディスクノードに送信する。リザーブスライスを管理するディスクノードは、シングルプライマリスライスのデータを受信し、リザーブスライスに書き込む。リザーブスライスを管理するディスクノードは、リザーブスライスへのデータの書き込みが完了すると、シングルプライマリスライスを管理するディスクノードへ書き込み完了応答を送信する。シングルプライマリスライスを管理するディスクノードは、書き込み完了応答を受信すると、制御ノード５００に対してコピー完了応答を送信する。スライス割り当て制御部５１１は、コピー完了応答を受信すると、処理をステップＳ７６に進める。
When the slice
[Step S75] The data copy
［ステップＳ７６］スライス割り当て制御部５１１は、ステップＳ７２で選択したセグメントに割り当てられたスライスを管理するディスクノードに対して、メタデータ変更要求を送信する。具体的には、スライス割り当て制御部５１１は、選択したセグメントのリザーブスライスを管理するディスクノードに対して、リザーブスライスからセカンダリスライスへの状態の変更を指示するメタデータ変更要求を送信する。
[Step S76] The slice
メタデータ変更要求を受信した各ディスクノードでは、メタデータ変更要求に従ってメタデータが変更される。スライス割り当て制御部５１１は、メタデータ変更要求を送信したディスクノードから変更完了応答を受信すると、処理をステップＳ７１に進める。
In each disk node that has received the metadata change request, the metadata is changed according to the metadata change request. When the slice
次に、ノード故障時の処理を、具体例を用いて説明する。
まず、ステップＳ６１における異常セグメントか否か判断内容を、具体例を用いて説明する。
Next, processing at the time of a node failure will be described using a specific example.
First, the contents of determination as to whether or not the segment is an abnormal segment in step S61 will be described using a specific example.
図２０は、セグメントに割り当てられたスライスのメタデータの例を示す図である。図２０には、セグメントに割り当てられたスライスのメタデータの例として、６つのパターンが示されている。なお、図２０では、メタデータに含まれるペアのディスクノードＩＤとペアのスライスＩＤとの欄は省略されている。 FIG. 20 is a diagram illustrating an example of metadata of slices allocated to segments. FIG. 20 shows six patterns as examples of metadata of slices assigned to segments. In FIG. 20, the fields of the paired disk node ID and the paired slice ID included in the metadata are omitted.
第１のパターンは、判断対象のセグメントに対して、プライマリスライス、セカンダリスライス、およびブランクスライスが割り当てられている例である。この場合、スライス割り当て制御部５１１は、判断対象のセグメントを正常なセグメントと判定する。
The first pattern is an example in which a primary slice, a secondary slice, and a blank slice are assigned to a segment to be determined. In this case, the slice
第２のパターンは、判断対象のセグメントに対して、プライマリスライスとセカンダリスライスとが割り当てられている例である。この場合、スライス割り当て制御部５１１は、判断対象のセグメントを正常なセグメントと判定する。
The second pattern is an example in which a primary slice and a secondary slice are assigned to a determination target segment. In this case, the slice
第３のパターンは、判断対象のセグメントに対して、ブランクスライスとセカンダリスライスとが割り当てられている例である。この場合、スライス割り当て制御部５１１は、判断対象のセグメントを異常なセグメントと判定する。
The third pattern is an example in which a blank slice and a secondary slice are assigned to a segment to be determined. In this case, the slice
第４のパターンは、判断対象のセグメントに対して、ブランクスライスとプライマリスライスとが割り当てられている例である。この場合、スライス割り当て制御部５１１は、判断対象のセグメントを異常なセグメントと判定する。
The fourth pattern is an example in which a blank slice and a primary slice are assigned to a segment to be determined. In this case, the slice
第５のパターンは、判断対象のセグメントに対して、プライマリスライスのみが割り当てられている例である。この場合、スライス割り当て制御部５１１は、判断対象のセグメントを異常なセグメントと判定する。
The fifth pattern is an example in which only the primary slice is assigned to the determination target segment. In this case, the slice
第６のパターンは、判断対象のセグメントに対して、セカンダリスライスのみが割り当てられている例である。この場合、スライス割り当て制御部５１１は、判断対象のセグメントを異常なセグメントと判定する。
The sixth pattern is an example in which only the secondary slice is assigned to the determination target segment. In this case, the slice
このように図２０に示した例では、第３から第６のパターンに該当するセグメントが異常と判定され、スライスのシングルプライマリへの変更が行われる。
図２１は、シングルプライマリへの変更例を示す図である。図２１に示すように、プライマリスライスとセカンダリスライスとが、シングルプライマリスライスに変更される。ブランクスライスについては、変更されない。
As described above, in the example shown in FIG. 20, the segment corresponding to the third to sixth patterns is determined to be abnormal, and the slice is changed to the single primary.
FIG. 21 is a diagram illustrating an example of changing to a single primary. As shown in FIG. 21, the primary slice and the secondary slice are changed to a single primary slice. Blank slices are not changed.
変更後のメタデータは、所定のタイミングでアクセスノード３０に通知される。例えばアクセスノード３０は、スライスへのアクセスを行いエラーが発生すると、制御ノード５００に対して、該当スライスが割り当てられていたセグメントに関するメタデータ照会要求を送信する。すると、制御ノード５００の仮想ディスク管理部５１０が、指定されたセグメントに割り当てられたスライスのメタデータを仮想ディスクメタデータ記憶部５２０から取得し、アクセスノード３０に送信する。これにより、アクセスノード３０は最新のメタデータを取得することができる。
The changed metadata is notified to the
アクセスノード３０は、セグメント内のデータにアクセスする場合、そのセグメントに割り当てられたプライマリスライスまたはシングルプライマリスライスにアクセスする。そのため、図２１に示すようにシングルプライマリ化を行うことで、アクセスノード３０から異常セグメント内のデータへのアクセスが可能となる。
When accessing data in a segment, the
シングルプライマリ化が完了すると、スライス割り当て制御部５１１は、フリースライスを選択して、異常セグメントのリザーブスライスとする。
図２２は、異常セグメントにリザーブスライス割り当て後のメタデータの例を示す図である。図２２に示すように、リザーブスライスは、シングルプライマリスライスを管理しているディスクノードとは別のディスクノードが管理するスライスから選択される。この際、シングルプライマリスライスは、プライマリスライスに変更される。また、ブランクスライスについては、変更されない。
When the single primary is completed, the slice
FIG. 22 is a diagram illustrating an example of metadata after a reserved slice is assigned to an abnormal segment. As shown in FIG. 22, the reserved slice is selected from slices managed by a disk node different from the disk node that manages the single primary slice. At this time, the single primary slice is changed to the primary slice. Also, blank slices are not changed.
その後、プライマリスライスからリザーブスライスへのデータのコピーが行われ、リザーブスライスがセカンダリスライスに変更される。
図２３は、再２重化完了後のメタデータの例を示す図である。図２３に示すように、再２重化が完了することで、異常セグメントであったセグメントには、プライマリスライスとセカンダリスライスとが割り当てられ、冗長性が確保される。
Thereafter, data is copied from the primary slice to the reserved slice, and the reserved slice is changed to the secondary slice.
FIG. 23 is a diagram illustrating an example of metadata after completion of re-duplication. As shown in FIG. 23, when the re-duplication is completed, the primary slice and the secondary slice are allocated to the segment that is an abnormal segment, and redundancy is ensured.
以上説明したように、マルチノードストレージシステムにおけるストレージ装置に分散配置されているデータを、各データを管理するディスクノードから移行先ディスク１２１にコピーするようにしたため、データ移行処理の負荷が１つのノードに集中せずにすむ。その結果、マルチノードストレージシステムの運用を安定的に継続しながら、仮想ディスク６０内のデータの他のシステムで利用するストレージ装置１２０への移行を実行できる。
As described above, since the data distributed in the storage device in the multi-node storage system is copied from the disk node that manages each data to the
しかも、ＳＡＮなどのマルチノードストレージシステム以外のシステムに接続して使用する予定のストレージ装置１２０にデータを安全に移行することができる。すなわち、データ移行が完了するまではストレージ装置１２０内のデータを制御ノード５００の管理下に置き、マルチノードストレージシステムによる高い信頼性を確保することができる。例えば、移行先ディスク１２１とは別にメタデータ用ディスク１２２を設けたことで、データ移行が完了するまでは、移行先ディスク１２１もマルチストレージシステム管理下の１つのストレージ装置として扱うことができる。そのため、データ移行中に障害などが発生しても、メタデータ用ディスク１２２内のメタデータを利用して、適切な復旧処理が可能となる。
In addition, data can be safely migrated to the
さらに、セカンダリスライスのデータを、移行先ディスク１２１にコピーするようにしたことで、アクセスノード３０からプライマリスライスへのアクセスに影響を与えずに、データコピーを行うことができる。
Furthermore, by copying the data of the secondary slice to the
〔第３の実施の形態〕
次に第３の実施の形態について説明する。第３の実施の形態は、移行先ディスクに対して複数のディスクノードからアクセス可能としたものである。これにより、複数のディスクノードから並行して移行先ディスクにデータをコピーすることができ、データ移行に要する時間を短縮することができる。
[Third Embodiment]
Next, a third embodiment will be described. In the third embodiment, the migration destination disk can be accessed from a plurality of disk nodes. As a result, data can be copied from a plurality of disk nodes to the migration destination disk in parallel, and the time required for data migration can be shortened.
図２４は、第３の実施の形態のマルチノードストレージシステムの構成例を示す図である。図２４において、図２に示した第２の実施の形態の構成における要素と同じ要素には同じ符号を付し、説明を省略する。 FIG. 24 is a diagram illustrating a configuration example of a multi-node storage system according to the third embodiment. In FIG. 24, the same elements as those in the configuration of the second embodiment shown in FIG.
第３の実施の形態では、スイッチ１０を介して、複数のディスクノード１００ａ，２００ａ，３００ａ，制御ノード５００ａ、アクセスノード３０、管理ノード４００ａ、およびストレージ装置６００が接続されている。ストレージ装置６００は、例えばｉＳＣＳＩ（Internet Small Computer System Interface）によってスイッチ１０に接続されている。
In the third embodiment, a plurality of
ディスクノード１００ａには、ストレージ装置１１０が接続されている。ディスクノード２００ａには、ストレージ装置２１０が接続されている。ディスクノード３００ａには、ストレージ装置３１０が接続されている。
A
ストレージ装置６００には、複数のＨＤＤ６０１，６０２，６０３，６０４が実装されている。ストレージ装置６００は、内蔵するＨＤＤを用いたＲＡＩＤシステムである。
ディスクノード１００ａ，２００ａ，３００ａは、接続されたストレージ装置１１０，２１０，３１０に格納されたデータを管理し、管理しているデータをスイッチ１０経由で端末装置２１，２２，２３に提供する。またディスクノード１００ａ，２００ａ，３００ａは、ストレージ装置６００を論理的に接続することができる。論理的に接続するとは、ストレージ装置６００に対して、直接接続されたストレージ装置と同様にアクセス可能とすることである。
A plurality of
The
制御ノード５００ａは、ディスクノード１００ａ，２００ａ，３００ａを管理する。例えば、制御ノード５００ａは、ディスクノード１００ａ，２００ａ，３００ａから新たなストレージ装置の接続通知を受け取ると、仮想ディスク６０を介して、接続されたストレージ装置に格納されていたデータにアクセスできるようにする。
The
なお、ディスクノード１００ａ，２００ａ，３００ａと制御ノード５００ａとは、図３に示したディスクノード１００と同様のハードウェア構成で実現できる。
図２５は、第３の実施の形態に係るマルチノードストレージシステムの各装置の機能を示すブロック図である。
The
FIG. 25 is a block diagram illustrating functions of each device of the multi-node storage system according to the third embodiment.
制御ノード５００ａは、仮想ディスク管理部５１０ａと仮想ディスクメタデータ記憶部５２０ａとを有している。
仮想ディスク管理部５１０ａは、ディスクノード１００ａ，２００ａ，３００ａが有するストレージ装置１１０，２１０，３１０，６００内のスライスを管理する。例えば、仮想ディスク管理部５１０ａは、システム起動時に、ディスクノード１００ａ，２００ａ，３００ａに対してメタデータ取得要求を送信する。そして、仮想ディスク管理部５１０ａは、メタデータ取得要求に対して返信されたメタデータから仮想ディスクメタデータを生成し、仮想ディスクメタデータ記憶部５２０ａに格納する。
The
The virtual
また仮想ディスク管理部５１０ａは、管理ノード４００ａから仮想ディスク内のデータの移行指示を受け取ると、指定された仮想ディスク内のデータの指定されたストレージ装置へのコピーを、その仮想ディスクのデータを管理するディスクノードに指示する。仮想ディスク管理部５１０ａは、移行指示に応じたデータのコピーが完了すると、管理ノード４００ａに対して移行完了応答を送信する。
When the virtual
仮想ディスクメタデータ記憶部５２０ａは、ディスクノード１００ａ，２００ａ，３００ａから収集されたメタデータに基づいて生成された仮想ディスクメタデータを記憶する。例えば、制御ノード５００ａ内のＲＡＭの記憶領域の一部が仮想ディスクメタデータ記憶部５２０ａとして使用される。
The virtual disk
ディスクノード１００ａは、データアクセス部１３０ａ、データ管理部１４０ａ、およびメタデータ記憶部１５０ａを有している。
データアクセス部１３０ａは、アクセスノード３０からの要求に応答して、ストレージ装置１１０内のデータにアクセスする。データ管理部１４０ａは、スイッチ１０にストレージ装置６００が物理接続された場合に、ストレージ装置６００をマルチストレージシステム内の一ストレージ装置として論理的に接続する。すなわちデータ管理部１４０ａは、ストレージ装置６００を、ディスクノード１００ａ経由で制御ノード５００ａから認識できるようにする。
The
The
またデータ管理部１４０ａは、データアクセス部１３０ａによってライト要求に基づくデータの書き込みが行われた場合、データが書き込まれたスライス（プライマリスライス）に対応するセカンダリスライス内のデータを更新する。すなわち、データ管理部１４０ａは、更新されたデータを、セカンダリスライスを管理するディスクノードに送信する。そのデータを受け取ったディスクノードのデータ管理部は、セカンダリスライスにそのデータを書き込む。これにより、２重化されたデータの一貫性が保たれる。
In addition, when data is written based on the write request by the
さらに、データ管理部１４０ａは、仮想ディスク管理部５１０ａからのメタデータ取得要求に応答して、メタデータ記憶部１５０ａに記憶されたメタデータを仮想ディスク管理部５１０ａに対して送信する。
Furthermore, the
メタデータ記憶部１５０ａは、メタデータを記憶する。例えば、ＲＡＭ内の記憶領域の一部がメタデータ記憶部１５０ａとして使用される。なお、メタデータ記憶部１５０ａに格納されるメタデータは、システム停止時にはストレージ装置１１０内に格納され、システム起動時にメタデータ記憶部１５０ａに読み込まれる。
The
他のディスクノード２００ａ，３００ａは、ディスクノード１００ａと同様の機能を有している。すなわち、ディスクノード２００ａは、データアクセス部２２０ａ、データ管理部２３０ａ、およびメタデータ記憶部２４０ａを有している。ディスクノード３００ａは、データアクセス部３２０ａ、データ管理部３３０ａ、およびメタデータ記憶部３４０ａを有している。ディスクノード２００ａ，３００ａ内の各要素は、ディスクノード１００ａ内の同名の要素と同じ機能を有している。
The
管理ノード４００ａは、管理者からの操作入力に応答して、マルチストレージシステムの管理用の指示を、各ノードに送信する。例えば、管理者は、ストレージ装置６００とスイッチ１０とをケーブルで接続（物理接続）した場合、管理ノード４００ａに対してストレージ装置６００の論理的な接続を指示する操作入力を行う。すると管理ノード４００ａは、管理者からの操作入力に応答して各ディスクノード１００ａ，２００ａ，３００ａに対して、新たに物理接続されたストレージ装置６００の接続指示を送信する。その接続指示に基づいてディスクノード１００ａ，２００ａ，３００ａがストレージ装置６００内にメタデータの格納などの処理を行い、ストレージ装置６００を制御ノード５００ａにおいて認識可能とする。接続指示に応じた処理が完了すると、ディスクノード１００ａ，２００ａ，３００ａから管理ノード４００ａへ接続完了応答が返される。
In response to an operation input from the administrator, the
図２５の例は、仮想ディスク６０のデータをストレージ装置６００に移行する場合を想定している。この場合、ストレージ装置６００には、制御ノード５００ａによって、移行先ディスク６１１と複数のメタデータ用ディスク６１２〜６１４とが設けられる。なお、移行先ディスク６１１とメタデータ用ディスク６１２〜６１４とは、それぞれストレージ装置６００内のＨＤＤで構成されるＲＡＩＤ構成のディスクグループを複数分割することで得られる仮想的なディスクである。移行先ディスク６１１とメタデータ用ディスク６１２〜６１４として使用される仮想的なディスクは、図４に示したマルチノードストレージシステムにおける仮想ディスク６０とは異なり、１つのストレージ装置６００内のＨＤＤにより実現されている。移行先ディスク６１１とメタデータ用ディスク６１２〜６１４とには、論理ユニット番号（ＬＵＮ）などの識別子が割り振られ、識別子によってディスクノード１００ａ，２００ａ，３００ａで識別される。図２５の例では、移行先ディスク６１１には、識別子「ＬＵ」のディスクが使用されている。メタデータ用ディスク６１２には、識別子「ＬＵ１」のディスクが使用されている。メタデータ用ディスク６１３には、識別子「ＬＵ２」のディスクが使用されている。メタデータ用ディスク６１４には、識別子「ＬＵ３」のディスクが使用されている。
In the example of FIG. 25, it is assumed that data of the
３つのメタデータ用ディスク６１２〜６１４は、それぞれディスクノード１００ａ，２００ａ，３００ａに対応する。各ディスクノード１００ａ，２００ａ，３００ａは、対応するメタデータ用ディスクに、移行先ディスク６１１内の自己の管理するスライスのメタデータを格納する。
The three
次に、仮想ディスク６０からストレージ装置６００へのデータ移行の実施に利用される各ノードの機能について、詳細に説明する。
図２６は、データ移行に利用される各ノードの機能を示す図である。制御ノード５００ａの仮想ディスク管理部５１０ａは、仮想ディスクのデータ移行のために、スライス割り当て制御部５１１ａおよびデータコピー指示部５１２ａを有する。
Next, the function of each node used for performing data migration from the
FIG. 26 is a diagram illustrating the function of each node used for data migration. The virtual
スライス割り当て制御部５１１ａは、システム起動時などに、各ディスクノード１００ａ，２００ａ，３００ａに対してメタデータ照会要求を送信する。するとディスクノード１００ａ，２００ａ，３００ａからメタデータが応答される。またスライス割り当て制御部５１１ａは、データコピー対象のスライスを選択し、該当スライスを管理しているディスクノードに対して、コピーの進行状況に応じてメタデータの更新を指示する。データコピー指示部５１２ａは、データコピーのコピー元となるスライスを管理するディスクノードに対して、移行先ディスク６１１ａへの該当スライス内のデータの送信を指示する。
The slice
ディスクノード１００ａのデータ管理部１４０ａは、移行先ストレージ接続部１４１ａ、メタデータ管理部１４２ａ、およびデータコピー部１４３ａを有する。
移行先ストレージ接続部１４１ａは、スイッチ１０に接続されたストレージ装置６００の存在を制御ノード５００ａに認識させる。例えば、移行先ストレージ接続部１４１ａは、管理ノード４００ａからの接続指示を受けると、スイッチ１０を介して接続されているストレージ装置の探索を行い、未認識のストレージ装置６００を検出する。移行先ストレージ接続部１４１ａは、検出したストレージ装置６００をＯＳに認識させる。さらに移行先ストレージ接続部１４１ａは、検出したストレージ装置６００内の１つの仮想的なディスクを移行先ディスク６１１とし、他の１つの仮想的なディスクを、自己の管理するメタデータ用ディスク６１２とする。そして移行先ストレージ接続部１４１ａは、メタデータ用ディスク６１２に、移行先ディスク６１１内の記憶領域を分割して得られるスライスのうち、ディスクノード１００ａが管理するスライスのメタデータを格納する。その後、移行先ストレージ接続部１４１ａは、接続完了応答を管理ノード４００ａに送信する。
The
The migration destination
メタデータ管理部１４２ａは、制御ノード５００ａからのメタデータ照会要求に応答して、メタデータ記憶部１５０ａ内のメタデータを制御ノード５００ａに送信する。また、メタデータ管理部１４２ａは、制御ノード５００ａからの指示に従って、メタデータを更新する。
In response to the metadata inquiry request from the
データコピー部１４３ａは、制御ノード５００ａからの指示に従って、仮想ディスク６０のセグメントに割り当てられたスライス内のデータを、移行先ディスク６１１内のスライスにコピーする。また、データコピー部１４３ａは、他のディスクノード２００ａ，３００ａから、移行先ディスク６１１内のスライスをコピー先としてデータを受信すると、受信したデータを、コピー先として指定されたスライスに格納する。
The data copy
ディスクノード２００ａのデータ管理部２３０ａは、移行先ストレージ接続部２３１ａ、メタデータ管理部２３２ａ、およびデータコピー部２３３ａを有する。移行先ストレージ接続部２３１ａ、メタデータ管理部２３２ａ、およびデータコピー部２３３ａの機能は、それぞれディスクノード１００ａの移行先ストレージ接続部１４１ａ、メタデータ管理部１４２ａ、およびデータコピー部１４３ａと同じである。ただし、移行先ストレージ接続部２３１ａは、管理ノード４００ａから接続指示を受けた場合、管理するメタデータ用ディスク６１２とは別の仮想的なディスクを、自己の管理するメタデータ用ディスク６１３とする。
The data management unit 230a of the
ディスクノード３００ａのデータ管理部３３０ａは、移行先ストレージ接続部３３１ａ、メタデータ管理部３３２ａ、およびデータコピー部３３３ａを有する。移行先ストレージ接続部３３１ａ、メタデータ管理部３３２ａ、およびデータコピー部３３３ａの機能は、それぞれディスクノード１００ａの移行先ストレージ接続部１４１ａ、メタデータ管理部１４２ａ、およびデータコピー部１４３ａと同じである。ただし、移行先ストレージ接続部３３１ａは、管理ノード４００ａから接続指示を受けた場合、管理するメタデータ用ディスク６１２，６１３とは別の仮想的なディスクを、自己の管理するメタデータ用ディスク６１４とする。
The
次に、データ移行処理の手順について説明する。
図２７は、第３の実施の形態におけるデータ移行処理の手順を示すシーケンス図である。以下、図２７に示す処理を、ステップ番号に沿って説明する。
Next, a procedure for data migration processing will be described.
FIG. 27 is a sequence diagram illustrating a procedure of data migration processing according to the third embodiment. In the following, the process illustrated in FIG. 27 will be described in order of step number.
［ステップＳ８１］管理ノード４００ａからディスクノード１００ａ，２００ａ，３００ａに接続指示が出される。例えば、管理者は管理ノード４００ａに対して、データの移行を指示する。管理ノード４００ａは、指定されたディスクノード１００ａ，２００ａ，３００ａに対して、仮想ディスク６０の仮想ディスクＩＤ、仮想ディスク６０のセグメント数を指定した接続指示を送信する。第３の実施の形態では、接続指示に、各ディスクノード１００ａ，２００ａ，３００ａが管理を担当する仮想ディスク６０内の領域を示す担当領域情報が含まれる。
[Step S81] A connection instruction is issued from the
また管理ノード４００ａは、例えば、移行先ディスク６１１、仮想ディスク、メタデータ用ディスク６１２〜６１４とするストレージ装置６００内の仮想ディスクの識別番号（例えば、ＲＡＩＤのＬＵＮ）を接続指示に含めることができる。これにより、各ディスクノード１００ａ，２００ａ，３００ａは、移行先ディスク６１１と、自己の管理するメタデータを格納するメタデータ用ディスク６１２〜６１４とを認識できる。
Further, the
ディスクノード１００ａは、管理ノード４００ａからの接続指示に応答して、データ移行先となるストレージ装置６００をマルチノードストレージシステムの配下のストレージ装置として接続する。例えば、ディスクノード１００ａの移行先ストレージ接続部１４１ａは、スイッチ１０を介して接続されている未認識のストレージ装置を検索することで、ストレージ装置６００を認識する。そして移行先ストレージ接続部１４１ａは、ストレージ装置６００内の１つの仮想的なディスクを移行先ディスク６１１、他の１つのディスクをメタデータ用ディスク６１２として、ディスクノード１００ａのＯＳに認識させる。この時点では、移行先ディスク６１１とメタデータ用ディスク６１２との内容はブランクである。その後、移行先ストレージ接続部１４１ａは、メタデータ用ディスク６１２にメタデータを格納する。なお、移行先ディスク６１１については、接続時には書き込みは行われない。
In response to the connection instruction from the
メタデータ用ディスク６１２へ格納するメタデータの内容は、管理ノード４００ａからの指示に従って行われる。例えば、管理ノード４００ａからの接続指示において、データの移行を行う仮想ディスク６０の仮想ディスクＩＤと、仮想ディスク６０内の担当領域が指定される。担当領域は、ディスクノード１００ａが管理を担当するセグメントである。移行先ストレージ接続部１４１ａは、仮想ディスク６０の担当するセグメントに割り当てるスライスに対応するメタデータを作成し、そのメタデータの仮想ディスクＩＤの欄には、仮想ディスク６０の仮想ディスクＩＤを設定する。そして移行先ストレージ接続部１４１ａは、作成したメタデータと、メタデータの格納形式を示すデバイス情報とを、メタデータ用ディスク６１２に格納する。この際、移行先ストレージ接続部１４１ａは、メタデータ用ディスク６１２に格納したメタデータを、メタデータ記憶部１５０ａにも格納する。その後、移行先ストレージ接続部１４１ａは、管理ノード４００ａに対して接続完了応答を送信する。
The content of the metadata stored in the
［ステップＳ８２］ディスクノード２００ａの移行先ストレージ接続部２３１ａは、ディスクノード１００ａと同様に、管理ノード４００ａからの接続指示に従って、移行先ディスク６１１とメタデータ用ディスク６１３を認識する。そして移行先ストレージ接続部２３１ａは、メタデータ用ディスク６１３内に、ディスクノード２００ａが管理を担当するセグメントに割り当てるスライスに対応するメタデータを作成し、メタデータ用ディスク６１３に格納する。その後、移行先ストレージ接続部２３１ａは、管理ノード４００ａに接続完了応答を送信する。
[Step S82] As with the
［ステップＳ８３］ディスクノード３００ａの移行先ストレージ接続部３３１ａは、ディスクノード１００ａと同様に、管理ノード４００ａからの接続指示に従って、移行先ディスク６１１とメタデータ用ディスク６１４を認識する。そして移行先ストレージ接続部３３１ａは、メタデータ用ディスク６１４内に、ディスクノード３００ａが管理を担当するセグメントに割り当てるスライスに対応するメタデータを作成し、メタデータ用ディスク６１４に格納する。その後、移行先ストレージ接続部３３１ａは、管理ノード４００ａに接続完了応答を送信する。
[Step S83] Similarly to the
［ステップＳ８４］管理ノード４００ａから制御ノード５００ａに移行指示が出される。例えば、移行指示には、データの移行先となるストレージ装置６００を接続したディスクノード１００ａ，２００ａ，３００ａのディスクノードＩＤが指定されている。制御ノード５００ａのスライス割り当て制御部５１１ａは、移行指示で指定されたディスクノード１００ａ，２００ａ，３００ａに対して、メタデータ照会要求を送信する。
[Step S84] A transition instruction is issued from the
［ステップＳ８５］メタデータ照会要求を受け取ったディスクノード１００ａでは、メタデータ管理部１４２ａがメタデータ記憶部１５０ａからメタデータを取得し、制御ノード５００ａに送信する。なお、メタデータ管理部１４２ａは、メタデータ記憶部１５０ａからストレージ装置６００内のスライスのメタデータのみを取得し、取得したメタデータを制御ノード５００ａに送信してもよい。
[Step S85] In the
［ステップＳ８６］メタデータ照会要求を受け取ったディスクノード２００ａでは、メタデータ管理部２３２ａがメタデータ記憶部２４０ａからメタデータを取得し、制御ノード５００ａに送信する。なお、メタデータ管理部２３２ａは、メタデータ記憶部２４０ａからストレージ装置６００内のスライスのメタデータのみを取得し、取得したメタデータを制御ノード５００ａに送信してもよい。
[Step S86] In the
［ステップＳ８７］メタデータ照会要求を受け取ったディスクノード３００ａでは、メタデータ管理部３３２ａがメタデータ記憶部３４０ａからメタデータを取得し、制御ノード５００ａに送信する。なお、メタデータ管理部３３２ａは、メタデータ記憶部３４０ａからストレージ装置６００内のスライスのメタデータのみを取得し、取得したメタデータを制御ノード５００ａに送信してもよい。
[Step S87] In the
［ステップＳ８８］メタデータを受信した制御ノード５００ａのスライス割り当て制御部５１１ａは、受信したメタデータにより仮想ディスクメタデータ記憶部５２０ａ内のメタデータを更新する。そして、データコピー指示部５１２ａの制御の下、ディスクノード１００ａ，２００ａ，３００ａによるスライス内のデータの移行先ディスク６１１へのコピー処理が行われる。
[Step S88] The slice
［ステップＳ８９］データのコピーが完了すると、制御ノード５００ａのスライス割り当て制御部５１１ａの制御の下、仮想ディスク６０のセグメントに対するセカンダリスライスの切り離し（割り当て解除）処理が行われる。スライス割り当て制御部５１１ａは、セカンダリスライスの切り離し処理が完了すると、移行完了応答を管理ノード４００ａに送信する。
[Step S89] When the data copy is completed, a secondary slice detachment (allocation) process for the segment of the
このような手順で、仮想ディスク６０内のデータが移行先ディスク６１１に移行される。
第３の実施の形態における第２の実施の形態との相違点として、複数のディスクノード１００ａ，２００ａ，３００ａで分担して移行先ディスク６１１を管理することがある。各ディスクノード１００ａ，２００ａ，３００ａには、接続指示の際に、それぞれが担当する仮想ディスク６０内のセグメントが通知される。各ディスクノード１００ａ，２００ａ，３００ａは、担当するセグメントに対応する移行先ディスク６１１内のスライスを管理する。
With this procedure, data in the
A difference between the third embodiment and the second embodiment is that the plurality of
図２８は、ディスクノードへの担当領域の通知例を示す図である。例えば、管理ノード４００ａは、担当領域情報７１，７２，７３を含む接続指示を、ディスクノード１００ａ，２００ａ，３００ａに送信する。
FIG. 28 is a diagram showing a notification example of the assigned area to the disk node. For example, the
担当領域情報７１，７２，７３には、移行先ディスクＩＤ、メタデータ用ディスクＩＤ、仮想ディスクＩＤ、仮想ディスク開始アドレス、および仮想ディスク終了アドレスのフィールドが設けられている。移行先ディスクＩＤのフィールドには、移行先ディスク６１１として使用するストレージ装置６００内の仮想的なディスクの識別子が設定される。メタデータ用ディスクＩＤのフィールドには、管理を担当するスライスのメタデータの格納に使用するメタデータ用ディスクとして使用するストレージ装置６００内の仮想的なディスクの識別子が設定される。仮想ディスクＩＤのフィールドには、移行対象の仮想ディスク６０の仮想ディスクＩＤが設定される。仮想ディスク開始アドレスのフィールドには、管理を担当する複数のセグメントのうちの先頭のセグメントを示すアドレスが設定される。仮想ディスク終了アドレスのフィールドには、管理を担当する複数のセグメントのうちの最後部のセグメントを示すアドレスが設定される。
The assigned area information 71, 72, 73 includes fields for a migration destination disk ID, a metadata disk ID, a virtual disk ID, a virtual disk start address, and a virtual disk end address. An identifier of a virtual disk in the
例えばディスクノード１００ａには、担当領域情報７１が送信されている。この担当領域情報７１には、移行先ディスクＩＤ「ＬＵ」、メタデータ用ディスクＩＤ「ＬＵ１」、仮想ディスクＩＤ「ＬＶＯＬ１」、仮想ディスク開始アドレス「Ａ１」、仮想ディスク終了アドレス「Ａ１０」が設定されている。
For example, assigned area information 71 is transmitted to the
このような担当領域情報７１，７２，７３に基づいて、各ディスクノード１００ａ，２００ａ，３００ａは、自己の管理するセグメントを認識する。なお、移行先ディスク６１１内のスライスは、アドレスが小さい方から順に、アドレスの小さいセグメントに割り当てられるものとする。この場合、各ディスクノード１００ａ，２００ａ，３００ａは、自己の管理するセグメントを認識することで、そのセグメントのデータを格納するための移行先ディスク６１１内のスライスも一意に特定できる。
Based on such assigned area information 71, 72, 73, each
図２９は、各ディスクノードが管理するスライスとメタデータ用ディスクとを示す図である。ディスクノード１００ａに対して通知される担当領域情報７１（図２８参照）では、移行先ディスクＩＤ「ＬＵ」、仮想ディスク開始アドレス「Ａ１」、および仮想ディスク終了アドレス「Ａ１０」が示されている。そこで、ディスクノード１００ａは、識別子「ＬＵ」の移行先ディスク６１１内の先頭のスライスＩＤ「スライス１００１」のスライスから、スライスＩＤ「スライス１０１０」のスライスまでの１０個のスライスを、自己の管理対象と認識する。またディスクノード１００ａに対して通知される担当領域情報７１（図２８参照）では、メタデータ用ディスクＩＤ「ＬＵ１」が示されている。そこで、ディスクノード１００ａは、識別子「ＬＵ１」のメタデータ用ディスク６１２内に、自己の管理するスライスのメタデータを格納する。
FIG. 29 is a diagram showing slices and metadata disks managed by each disk node. The assigned area information 71 (see FIG. 28) notified to the
ディスクノード２００ａに対して通知される担当領域情報７２（図２８参照）では、移行先ディスクＩＤ「ＬＵ」、仮想ディスク開始アドレス「Ａ１１」、および仮想ディスク終了アドレス「Ａ２０」が示されている。そこで、ディスクノード２００ａは、識別子「ＬＵ」の移行先ディスク６１１内のスライスＩＤ「スライス１０１１」のスライスから、スライスＩＤ「スライス１０２０」のスライスまでの１０個のスライスを、自己の管理対象と認識する。またディスクノード２００ａに対して通知される担当領域情報７２（図２８参照）では、メタデータ用ディスクＩＤ「ＬＵ２」が示されている。そこで、ディスクノード２００ａは、識別子「ＬＵ２」のメタデータ用ディスク６１３内に、自己の管理するスライスのメタデータを格納する。
The assigned area information 72 (see FIG. 28) notified to the
ディスクノード３００ａに対して通知される担当領域情報７３（図２８参照）では、移行先ディスクＩＤ「ＬＵ」、仮想ディスク開始アドレス「Ａ２１」、および仮想ディスク終了アドレス「Ａ３０」が示されている。そこで、ディスクノード３００ａは、識別子「ＬＵ」の移行先ディスク６１１内のスライスＩＤ「スライス１０２１」のスライスから、スライスＩＤ「スライス１０３０」のスライスまでの１０個のスライスを、自己の管理対象と認識する。またディスクノード３００ａに対して通知される担当領域情報７３（図２８参照）では、メタデータ用ディスクＩＤ「ＬＵ３」が示されている。そこで、ディスクノード３００ａは、識別子「ＬＵ３」のメタデータ用ディスク６１４内に、自己の管理するスライスのメタデータを格納する。
The assigned area information 73 (see FIG. 28) notified to the
図３０は、各メタデータ用ディスク内に格納されたメタデータの例を示す図である。図３０の例では、スライスコピー処理（図２７のステップＳ８８）の実行前のメタデータを示している。 FIG. 30 is a diagram illustrating an example of metadata stored in each metadata disk. In the example of FIG. 30, metadata before execution of the slice copy process (step S88 of FIG. 27) is shown.
メタデータ用ディスク６１２には、ディスクノード１００ａが管理するスライスのメタデータが格納されている。そのためディスクノードＩＤの欄には、ディスクノード１００ａのディスクノードＩＤ「ＤＰ１」が設定されている。またメタデータ用ディスク６１２には、スライスＩＤが「スライス１００１」〜「スライス１０１０」の各スライスに対応するメタデータが格納されている。スライスＩＤが「スライス１００１」〜「スライス１０１０」の各スライスは、仮想ディスク６０の仮想ディスクアドレス「Ａ１」〜「Ａ１０」の各セグメントに割り当てられている。
The
メタデータ用ディスク６１３には、ディスクノード２００ａが管理するスライスのメタデータが格納されている。そのためディスクノードＩＤの欄には、ディスクノード２００ａのディスクノードＩＤ「ＤＰ２」が設定されている。またメタデータ用ディスク６１３には、スライスＩＤが「スライス１０１１」〜「スライス１０２０」の各スライスに対応するメタデータが格納されている。スライスＩＤが「スライス１０１１」〜「スライス１０２０」の各スライスは、仮想ディスク６０の仮想ディスクアドレス「Ａ１１」〜「Ａ２０」の各セグメントに割り当てられている。
The
メタデータ用ディスク６１４には、ディスクノード３００ａが管理するスライスのメタデータが格納されている。そのためディスクノードＩＤの欄には、ディスクノード３００ａのディスクノードＩＤ「ＤＰ３」が設定されている。またメタデータ用ディスク６１４には、スライスＩＤが「スライス１０２１」〜「スライス１０３０」の各スライスに対応するメタデータが格納されている。スライスＩＤが「スライス１０２１」〜「スライス１０３０」の各スライスは、仮想ディスク６０の仮想ディスクアドレス「Ａ２１」〜「Ａ３０」の各セグメントに割り当てられている。
The
なお図３０の例では、移行先ディスク６１１の各スライスのスライスＩＤは全ディスクノードで一意になるようにしているが、スライスＩＤは個々のディスクノード内で一意であればよい。すなわち、異なるディスクノードでスライスＩＤが重複しても、各メタデータのディスクノードＩＤとの組み合わせによってスライスを一意に識別可能である。
In the example of FIG. 30, the slice ID of each slice of the
図３０に示すように、各メタデータ用ディスク６１２〜６１４内にメタデータが格納された後、スライスコピー処理（ステップＳ８８）とセカンダリ切り離し処理（ステップＳ８９）とが行われる。スライスコピー処理とセカンダリ切り離し処理の詳細は、移行先ディスク６１１を管理するディスクノードが複数あること以外は、第２の実施の形態と同様である。すなわち、制御ノード５００ａは、移行先ディスク６１０のスライスのメタデータ変更要求を送信する場合、該当スライスを管理しているディスクノードを判断し、該当ディスクノードに対してメタデータ変更要求を送信する。なお、移行先ディスク６１０のスライスをどのディスクノードが管理しているのかは、各ディスクノード１００ａ，２００ａ，３００ａから収集したメタデータのディスクノードＩＤの欄を参照することで判断できる。
As shown in FIG. 30, after metadata is stored in each of the
このように、移行先ディスク６１０のスライスの管理を複数のディスクノードで行うことで、データ移行の処理効率が向上する。また、移行先ディスク６１０のスライスのメタデータの変更などの処理が１つのディスクに集中せずにすみ、データ移行に関する処理でディスクノードの負荷が過大となることを抑制できる。 In this way, by managing the slices of the migration destination disk 610 with a plurality of disk nodes, the data migration processing efficiency is improved. Also, processing such as changing the metadata of the slice of the migration destination disk 610 does not have to be concentrated on one disk, and it is possible to suppress an excessive load on the disk node in the data migration processing.
〔第４の実施の形態〕
次に、第４の実施の形態について説明する。第４の実施の形態は、移行先ディスクが設けられたストレージ装置とは別のストレージ装置に、メタデータ用ディスクを設けるようにしたものである。
[Fourth Embodiment]
Next, a fourth embodiment will be described. In the fourth embodiment, the metadata disk is provided in a storage device different from the storage device provided with the migration destination disk.
図３１は、第４の実施の形態のマルチノードストレージシステムの構成例を示す図である。図３１において、図５に示した第２の実施の形態の構成における要素を同じ要素には同じ符号を付し、説明を省略する。 FIG. 31 is a diagram illustrating a configuration example of a multi-node storage system according to the fourth embodiment. In FIG. 31, the same components as those in the configuration of the second embodiment shown in FIG.
第４の実施の形態では、図２に示した第２の実施の形態におけるストレージ装置１２０に代えて、２台のストレージ装置７１０，７２０がディスクノード１００に接続されている。ストレージ装置７１０には、移行先ディスク７１１が設けられている。またストレージ装置７２０には、メタデータ用ディスク７２１が設けられている。
In the fourth embodiment, two
移行先ディスク７１１に格納される情報は、第２の実施の形態における移行先ディスク１２１に格納される情報と同様である。メタデータ用ディスク７２１に格納される情報は、第２の実施の形態におけるメタデータ用ディスク１２２に格納される情報と同様である。すなわち、第２の実施の形態において１台のストレージ装置１２０内に設けられていた移行先ディスク１２１とメタデータ用ディスク１２２とのそれぞれに対応する情報が、第４の実施の形態では、複数のストレージ装置７１０，７２０に別個に格納されている。ディスクノード１００は、スライスのデータを移行先ディスク７１１に格納し、各スライスのメタデータをメタデータ用ディスク７２１に格納する。
The information stored in the
このように、移行先ディスク７１１とメタデータ用ディスク７２１とをそれぞれ別個のストレージ装置７１０，７２０に設けることで、ストレージ装置７１０をＳＡＮなどの他のシステムに接続する際の処理が容易となる。すなわち、メタデータ用ディスク７２１は、データ移行中の信頼性確保のために設けられている。そのため移行先ディスク７１１を他のシステムに移行後は、メタデータ用ディスク７２１は使用されない。第２の実施の形態のように１つのストレージ装置１２０内に移行先ディスク１２１とメタデータ用ディスク１２２とを設けた場合、移行先ディスク１２１へのデータ移行完了後、メタデータ用ディスク１２２の削除処理が行われる。これは、使用する予定のないメタデータ用ディスク１２２がストレージ装置１２０内に残存していたのでは、資源の使用効率が低下するためである。一方、移行先ディスク７１１が設けられたストレージ装置７１０とは別のストレージ装置７２０にメタデータ用ディスク７２１を設けておけば、メタデータ用ディスク７２１の削除処理を行わずに、ストレージ装置７２０を他のシステムに接続できる。その結果、データ移行の作業効率が向上する。
As described above, by providing the
なお、ストレージ装置７２０に設けられたメタデータ用ディスク７２１は、移行先ディスク７１１へのデータ移行を行った仮想ディスクとは別の仮想ディスクのデータ移行を行うときに利用できる。そのため、メタデータ用ディスク７２１の削除処理は行わなくともよい。
Note that the
なお、図２５に示した第３の実施の形態の例においても、メタデータ用ディスク６１２，６１３，６１４を、ストレージ装置６００とは別のストレージ装置に設けることができる。
In the example of the third embodiment shown in FIG. 25, the
〔その他の応用例〕
第２の実施の形態では、移行先ディスク１２１を有するストレージ装置１２０が、ディスクノード１００に直接接続されているが、ストレージ装置１２０をスイッチ１０経由でディスクノード１００に接続してもよい。
[Other application examples]
In the second embodiment, the
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、管理ノード、制御ノード、ディスクノードなどが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。 The above processing functions can be realized by a computer. In that case, a program describing processing contents of functions that the management node, control node, disk node, and the like should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic storage device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. Examples of the magnetic storage device include a hard disk device (HDD), a flexible disk (FD), and a magnetic tape. Optical discs include DVD, DVD-RAM, CD-ROM / RW, and the like. Magneto-optical recording media include MO (Magneto-Optical disc).
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When distributing the program, for example, a portable recording medium such as a DVD or a CD-ROM in which the program is recorded is sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現することもできる。 In addition, at least a part of the above processing functions can be realized by an electronic circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or a PLD (Programmable Logic Device).
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。 As mentioned above, although embodiment was illustrated, the structure of each part shown by embodiment can be substituted by the other thing which has the same function. Moreover, other arbitrary structures and processes may be added. Further, any two or more configurations (features) of the above-described embodiments may be combined.
以上の実施の形態に開示された技術には、以下の付記に示す技術が含まれる。
（付記１） ネットワークを介して接続された複数のノードそれぞれが有する第１のストレージ装置にデータが分散して格納されている仮想ディスクに属するデータを、該複数のノードの１つとして用いられるコンピュータに管理させるデータ管理プログラムにおいて、
前記コンピュータに、
第２のストレージ装置内の、前記仮想ディスクの記憶容量に相当する記憶領域を移行先記憶領域とし、該移行先記憶領域を前記仮想ディスク内の記憶領域に対応付け、
前記コンピュータが管理している前記仮想ディスクのデータを、該データの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーする、
処理を実行させるためのデータ管理プログラム。
The techniques disclosed in the above embodiments include the techniques shown in the following supplementary notes.
(Supplementary note 1) A computer that uses data belonging to a virtual disk in which data is distributed and stored in a first storage device of each of a plurality of nodes connected via a network as one of the plurality of nodes. In the data management program to be managed by
In the computer,
A storage area corresponding to the storage capacity of the virtual disk in the second storage device is set as a migration destination storage area, and the migration destination storage area is associated with a storage area in the virtual disk,
Copying the data of the virtual disk managed by the computer to a position in the migration destination storage area corresponding to the position of the data in the virtual disk;
Data management program for executing processing.
（付記２） 前記コンピュータに、さらに、
前記コンピュータが管理している前記仮想ディスクのデータのコピーが完了すると、前記コンピュータが管理している前記仮想ディスクのデータが格納されていた前記コンピュータが有する前記第１のストレージ装置の記憶領域を開放する、
処理を実行させることを特徴とする付記１記載のデータ管理プログラム。
(Appendix 2) In addition to the computer,
When copying of the data of the virtual disk managed by the computer is completed, the storage area of the first storage device of the computer storing the data of the virtual disk managed by the computer is released. To
The data management program according to
（付記３） 前記コンピュータに、さらに、
前記コンピュータ以外のノードが管理している前記仮想ディスクの各データを該ノードから受信すると、受信した該データを、該データの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へ書き込む、
処理を実行させることを特徴とする付記１または２のいずれかに記載のデータ管理プログラム。
(Appendix 3) In addition to the computer,
When each data of the virtual disk managed by a node other than the computer is received from the node, the received data is a position in the migration destination storage area corresponding to the position of the data in the virtual disk. Write to
The data management program according to any one of
（付記４） 前記コンピュータに、さらに、
第３のストレージ装置内に、前記移行先記憶領域内の単位記憶領域ごとの前記仮想ディスク内の記憶領域との対応関係、および前記移行先記憶領域内の単位記憶領域ごとのデータの有無を管理する管理情報を格納し、
前記仮想ディスクのデータをコピーする際には、前記管理情報を参照して、該データの前記仮想ディスク内での記憶領域に対応する前記移行先記憶領域内の単位記憶領域を特定し、特定した該単位記憶領域に該データをコピーし、
前記仮想ディスクのデータを前記移行先記憶領域へコピーすると、データがコピーされた前記移行先記憶領域内の単位記憶領域にデータが格納されたことを、前記管理情報に設定する、
処理を実行させることを特徴とする付記１乃至３のいずれかに記載のデータ管理プログラム。
(Appendix 4) In addition to the computer,
In the third storage device, the correspondence between each unit storage area in the migration destination storage area and the storage area in the virtual disk, and the presence / absence of data for each unit storage area in the migration destination storage area are managed. Management information to store,
When copying the virtual disk data, the management information is referenced to identify and identify the unit storage area in the migration destination storage area corresponding to the storage area of the data in the virtual disk Copy the data to the unit storage area,
When the data of the virtual disk is copied to the migration destination storage area, the fact that the data is stored in the unit storage area in the migration destination storage area where the data is copied is set in the management information.
4. The data management program according to any one of
（付記５） 前記コンピュータに、さらに、
前記移行先記憶領域の前記仮想ディスク内の記憶領域との対応付けの際には、前記仮想ディスク内の全記憶領域のうちの前記コンピュータが前記移行先記憶領域との対応付けを担当する担当領域に、前記移行先記憶領域内の少なくとも一部の記憶領域を対応付け、
前記仮想ディスクのデータをコピーする際には、前記コンピュータが管理している前記仮想ディスクのデータのうち、前記担当領域以外の記憶領域のデータを、該データの前記仮想ディスク内での位置の前記移行先記憶領域との対応付けを担当するノードを介して、該データに対応する前記移行先記憶領域へコピーする、
処理を実行させることを特徴とする付記１乃至４のいずれかに記載のデータ管理プログラム。
(Appendix 5) In addition to the computer,
When the migration destination storage area is associated with the storage area in the virtual disk, the computer in charge of the association of the migration destination storage area with the computer among all the storage areas in the virtual disk To at least a part of the storage area in the migration destination storage area,
When copying the data of the virtual disk, the data of the storage area other than the assigned area among the data of the virtual disk managed by the computer is changed to the position of the data in the virtual disk. Copying to the migration destination storage area corresponding to the data via a node in charge of association with the migration destination storage area;
The data management program according to any one of
（付記６） 前記仮想ディスクは、データが２重化して前記複数のノードに分散格納されており、２重化されたデータのうち、優先して参照される一方のデータが第１の属性、他方のデータが第２の属性と定義されており、
前記コンピュータに、さらに、
前記仮想ディスクのデータをコピーする際には、前記第２の属性のデータを、該第２の属性のデータの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーする処理を実行させることを特徴とする付記１乃至５のいずれかに記載のデータ管理プログラム。
(Supplementary Note 6) The virtual disk has data duplicated and distributedly stored in the plurality of nodes, and one of the duplicated data that is preferentially referenced has a first attribute, The other data is defined as the second attribute,
In addition to the computer,
When copying the data of the virtual disk, the data of the second attribute is copied to a position in the migration destination storage area corresponding to the position of the data of the second attribute in the virtual disk. 6. The data management program according to any one of
（付記７） 前記コンピュータに、さらに、
前記仮想ディスクのデータをコピーする際には、前記第２の属性データのコピー後、該第２の属性のデータを、優先して参照される前記第１の属性のデータに変更する処理を実行させることを特徴とする付記６記載のデータ管理プログラム。
(Appendix 7) In addition to the computer,
When copying the data of the virtual disk, after copying the second attribute data, a process of changing the data of the second attribute to the data of the first attribute referenced with priority is executed. The data management program according to
（付記８） ネットワークを介して接続された複数のノードを有し、前記複数のノードそれぞれが有する第１のストレージ装置に、仮想ディスク内のデータを分散して格納するストレージシステムにおいて、
前記複数のノードのうちの少なくとも１つのノードは、第２のストレージ装置内の、前記仮想ディスクの記憶容量に相当する記憶領域を移行先記憶領域とし、該移行先記憶領域を前記仮想ディスク内の記憶領域に対応付け、
前記複数のノードは、それぞれ自己が管理している前記仮想ディスクのデータを、該データの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーする、
ことを特徴とするストレージシステム。
(Supplementary note 8) In a storage system having a plurality of nodes connected via a network and storing data in a virtual disk in a distributed manner in a first storage device of each of the plurality of nodes.
At least one of the plurality of nodes has a storage area corresponding to the storage capacity of the virtual disk in the second storage device as a migration destination storage area, and the migration destination storage area is in the virtual disk. Map to storage area,
Each of the plurality of nodes copies the data of the virtual disk managed by the plurality of nodes to a position in the migration destination storage area corresponding to a position of the data in the virtual disk;
A storage system characterized by that.
（付記９） 前記仮想ディスク内の単位記憶領域を順番に選択し、選択した該単位記憶領域のデータを管理するノードに対して、該データの前記移行先記憶領域へのコピーを指示する制御ノードをさらに有し、
前記ディスクノードは、前記制御ノードからの指示に応じて、自己が管理している前記仮想ディスクのデータを、該データの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーする、
ことを特徴とする付記８記載のストレージシステム。
(Supplementary Note 9) A control node that sequentially selects unit storage areas in the virtual disk and instructs a node that manages data in the selected unit storage area to copy the data to the migration destination storage area Further comprising
In response to an instruction from the control node, the disk node transfers the data of the virtual disk managed by itself to a position in the migration destination storage area corresponding to the position of the data in the virtual disk. make a copy,
The storage system according to appendix 8, wherein
（付記１０） ネットワークを介して接続された複数のノードそれぞれが有する第１のストレージ装置にデータが分散して格納されている仮想ディスクに属するデータを、該複数のノードの１つとして用いられるコンピュータに管理させるデータ管理方法において、
前記コンピュータが、
第２のストレージ装置内の、前記仮想ディスクの記憶容量に相当する記憶領域を移行先記憶領域とし、該移行先記憶領域を前記仮想ディスク内の記憶領域に対応付け、
前記コンピュータが管理している前記仮想ディスクのデータを、該データの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーする、
ことを特徴とするデータ管理方法。
(Appendix 10) A computer that uses data belonging to a virtual disk in which data is distributed and stored in a first storage device of each of a plurality of nodes connected via a network as one of the plurality of nodes. In the data management method to let you manage,
The computer is
A storage area corresponding to the storage capacity of the virtual disk in the second storage device is set as a migration destination storage area, and the migration destination storage area is associated with a storage area in the virtual disk,
Copying the data of the virtual disk managed by the computer to a position in the migration destination storage area corresponding to the position of the data in the virtual disk;
A data management method characterized by the above.
１ 仮想ディスク
２〜４，８ ストレージ装置
５〜７ ノード
５ａ 対応付け手段
５ｂ，６ａ，７ａ コピー手段
８ａ 移行先記憶領域
DESCRIPTION OF
Claims (6)
前記コンピュータに、
前記仮想ディスクの記憶容量に相当する第２のストレージ装置内の記憶領域が、移行先記憶領域とされたとき、前記仮想ディスク内の記憶領域のうちの、前記コンピュータが前記移行先記憶領域との対応付けを担当する担当領域に、前記移行先記憶領域内の一部の記憶領域を対応付け、
前記コンピュータが管理している前記仮想ディスクのデータのうち、前記担当領域のデータを、該データの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーし、前記コンピュータが管理している前記仮想ディスクのデータのうち、前記担当領域以外の記憶領域のデータを、該データの前記仮想ディスク内での位置の前記移行先記憶領域との対応付けを担当するノードを介して、該データに対応する前記移行先記憶領域へコピーする、
処理を実行させるデータ管理プログラム。 Data that causes a computer used as one of the plurality of nodes to manage data belonging to a virtual disk in which data is distributed and stored in the first storage device of each of the plurality of nodes connected via the network In the management program,
In the computer,
Storage area of the second storage in the device that corresponds to the storage capacity before Symbol virtual disk, when the migration destination storage area, and wherein one of the storage areas in the virtual disk, the computer the migration destination storage area A part of the storage area in the migration destination storage area is associated with the area in charge of the association of
Of the data on the virtual disk managed by the computer, the data in the assigned area is copied to a position in the migration destination storage area corresponding to the position in the virtual disk of the data, and the computer Among the data of the virtual disk being managed, the data in the storage area other than the area in charge is passed through the node in charge of associating the position of the data in the virtual disk with the migration destination storage area , Copy to the migration destination storage area corresponding to the data ,
Lud over data management program to execute the process.
前記コンピュータが管理している前記仮想ディスクのデータのコピーが完了すると、前記コンピュータが管理している前記仮想ディスクのデータが格納されていた前記コンピュータが有する前記第１のストレージ装置の記憶領域を開放する、
処理を実行させることを特徴とする請求項１記載のデータ管理プログラム。 In addition to the computer,
When copying of the data of the virtual disk managed by the computer is completed, the storage area of the first storage device of the computer storing the data of the virtual disk managed by the computer is released. To
The data management program according to claim 1, wherein processing is executed.
第３のストレージ装置内に、前記移行先記憶領域内の単位記憶領域ごとの前記仮想ディスク内の記憶領域との対応関係、および前記移行先記憶領域内の単位記憶領域ごとのデータの有無を管理する管理情報を格納し、
前記仮想ディスクのデータをコピーする際には、前記管理情報を参照して、該データの前記仮想ディスク内での記憶領域に対応する前記移行先記憶領域内の単位記憶領域を特定し、特定した該単位記憶領域に該データをコピーし、
前記仮想ディスクのデータを前記移行先記憶領域へコピーすると、データがコピーされた前記移行先記憶領域内の単位記憶領域にデータが格納されたことを、前記管理情報に設定する、
処理を実行させることを特徴とする請求項１または２のいずれかに記載のデータ管理プログラム。 In addition to the computer,
In the third storage device, the correspondence between each unit storage area in the migration destination storage area and the storage area in the virtual disk, and the presence / absence of data for each unit storage area in the migration destination storage area are managed. Management information to store,
When copying the virtual disk data, the management information is referenced to identify and identify the unit storage area in the migration destination storage area corresponding to the storage area of the data in the virtual disk Copy the data to the unit storage area,
When the data of the virtual disk is copied to the migration destination storage area, the fact that the data is stored in the unit storage area in the migration destination storage area where the data is copied is set in the management information.
The data management program according to claim 1, wherein the process is executed.
前記コンピュータに、さらに、
前記仮想ディスクのデータをコピーする際には、前記第２の属性のデータを、該第２の属性のデータの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーする処理を実行させることを特徴とする請求項１乃至３のいずれかに記載のデータ管理プログラム。 In the virtual disk, data is duplicated and distributedly stored in the plurality of nodes. Among the duplicated data, one of the data that is referred to preferentially has a first attribute, and the other data has Defined as the second attribute,
In addition to the computer,
When copying the data of the virtual disk, the data of the second attribute is copied to a position in the migration destination storage area corresponding to the position of the data of the second attribute in the virtual disk. The data management program according to any one of claims 1 to 3, wherein a process is executed.
前記複数のノードそれぞれは、前記仮想ディスクの記憶容量に相当する第２のストレージ装置内の記憶領域が、移行先記憶領域とされたとき、前記仮想ディスク内の記憶領域のうちの、ノード自身が前記移行先記憶領域との対応付けを担当する担当領域に、前記移行先記憶領域内の一部の記憶領域を対応付け、
前記複数のノードそれぞれは、ノード自身が管理している前記仮想ディスクのデータのうち、該ノードの担当領域のデータを、該データの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーし、該ノードが管理している前記仮想ディスクのデータのうち、前記担当領域以外の記憶領域のデータを、該データの前記仮想ディスク内での位置の前記移行先記憶領域との対応付けを担当するノードを介して、該データに対応する前記移行先記憶領域へコピーする、
ことを特徴とするストレージシステム。 In a storage system that has a plurality of nodes connected via a network and stores data in a virtual disk in a distributed manner in a first storage device of each of the plurality of nodes.
Each of the plurality of nodes, the storage area in the second storage device corresponding to the storage capacity of the virtual disk, when the migration destination storage area, among the storage areas in the virtual disk, the node itself A part of the storage area in the migration destination storage area is associated with the area in charge of the association with the migration destination storage area ,
Wherein the plurality of nodes respectively, of the data of the virtual disk that node itself is managing data in the coverage area of the node, the migration destination storage area corresponding to the position in the virtual disk of the data Of the data of the virtual disk managed by the node and the data in the storage area other than the area in charge with the migration destination storage area at the position in the virtual disk of the data. Copy to the migration destination storage area corresponding to the data via the node in charge of the association ,
A storage system characterized by that.
前記コンピュータが、
前記仮想ディスクの記憶容量に相当する第２のストレージ装置内の記憶領域が、移行先記憶領域とされたとき、前記仮想ディスク内の記憶領域のうちの、前記コンピュータが前記移行先記憶領域との対応付けを担当する担当領域に、前記移行先記憶領域内の一部の記憶領域を対応付け、
前記コンピュータが管理している前記仮想ディスクのデータのうち、前記担当領域のデータを、該データの前記仮想ディスク内での位置に対応する前記移行先記憶領域内の位置へコピーし、前記コンピュータが管理している前記仮想ディスクのデータのうち、前記担当領域以外の記憶領域のデータを、該データの前記仮想ディスク内での位置の前記移行先記憶領域との対応付けを担当するノードを介して、該データに対応する前記移行先記憶領域へコピーする、
ことを特徴とするデータ管理方法。
Data that causes a computer used as one of the plurality of nodes to manage data belonging to a virtual disk in which data is distributed and stored in the first storage device of each of the plurality of nodes connected via the network In the management method,
The computer is
Storage area of the second storage in the device that corresponds to the storage capacity before Symbol virtual disk, when the migration destination storage area, and wherein one of the storage areas in the virtual disk, the computer the migration destination storage area A part of the storage area in the migration destination storage area is associated with the area in charge of the association of
Of the data on the virtual disk managed by the computer, the data in the assigned area is copied to a position in the migration destination storage area corresponding to the position in the virtual disk of the data, and the computer Among the data of the virtual disk being managed, the data in the storage area other than the area in charge is passed through the node in charge of associating the position of the data in the virtual disk with the migration destination storage area , Copy to the migration destination storage area corresponding to the data ,
A data management method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010133740A JP5640480B2 (en) | 2010-06-11 | 2010-06-11 | Data management program, storage system, and data management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010133740A JP5640480B2 (en) | 2010-06-11 | 2010-06-11 | Data management program, storage system, and data management method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011258103A JP2011258103A (en) | 2011-12-22 |
| JP5640480B2 true JP5640480B2 (en) | 2014-12-17 |
Family
ID=45474187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010133740A Expired - Fee Related JP5640480B2 (en) | 2010-06-11 | 2010-06-11 | Data management program, storage system, and data management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5640480B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9870232B2 (en) * | 2012-05-29 | 2018-01-16 | Fujitsu Limited | Extensible method and system for storage metadata |
| JP6089527B2 (en) * | 2012-09-18 | 2017-03-08 | 富士通株式会社 | Storage control system, recovery program, and method |
| JP7460594B2 (en) | 2021-12-13 | 2024-04-02 | 株式会社日立製作所 | Management system, data rebalancing management method, and data rebalancing management program - Patents.com |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004102815A (en) * | 2002-09-11 | 2004-04-02 | Toshiba Corp | Method for copying data between logical disks, program for copying data between logical disks, and disk controller |
| US20090204775A1 (en) * | 2008-02-12 | 2009-08-13 | Fujitsu Limited | Data copying method |
| JP5218284B2 (en) * | 2008-08-20 | 2013-06-26 | 富士通株式会社 | Virtual disk management program, storage device management program, multi-node storage system, and virtual disk management method |
-
2010
- 2010-06-11 JP JP2010133740A patent/JP5640480B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011258103A (en) | 2011-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5396836B2 (en) | Data distribution control program, storage management program, control node, and disk node | |
| JP5412882B2 (en) | Logical volume configuration information providing program, logical volume configuration information providing method, and logical volume configuration information providing apparatus | |
| JP2011128917A (en) | Data allocation control program, data allocation control method, and data allocation control apparatus | |
| JP5158074B2 (en) | Storage management program, storage management method, storage management device, and storage system | |
| US8458398B2 (en) | Computer-readable medium storing data management program, computer-readable medium storing storage diagnosis program, and multinode storage system | |
| JP5218284B2 (en) | Virtual disk management program, storage device management program, multi-node storage system, and virtual disk management method | |
| JP4519179B2 (en) | Logical volume management program, logical volume management apparatus, logical volume management method, and distributed storage system | |
| JP4671738B2 (en) | Storage system and storage area allocation method | |
| JP5968554B2 (en) | Disaster recovery virtualization method and apparatus | |
| US20090094483A1 (en) | Method of maintaining task sequence within a task domain across error recovery | |
| JP5699852B2 (en) | Information processing apparatus, storage control method, and program | |
| JP2005018510A (en) | Data center system and its control method | |
| JP2005242403A (en) | Computer system | |
| JP2009140153A (en) | Storage management device, storage system control device, storage management program, and storage system | |
| JP2010039986A (en) | Computer system and method for managing backup of data | |
| JP2008299481A (en) | Storage system and data copy method between several base points | |
| JP2006011874A (en) | System and method for supplying volume | |
| JP2008250458A (en) | Storage system, and method for managing storage system | |
| JP5640480B2 (en) | Data management program, storage system, and data management method | |
| JP6569476B2 (en) | Storage device, storage system, and storage control program | |
| JP5348300B2 (en) | Data management program and multi-node storage system | |
| JP2008276281A (en) | Data synchronization system, method, and program | |
| JP2013161383A (en) | Information processing device, information processing method, program and information processing system | |
| JP2010072974A (en) | Program, device and method for update control | |
| JP5309816B2 (en) | Data management program, data management apparatus, and data management method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140930 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141013 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5640480 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |