JP2022016753A - ストレージシステム、制御方法及びプログラム - Google Patents

Abstract

【課題】記憶デバイスの減設時におけるデータの移動量を低減することが可能なストレージシステムを提供する。
【解決手段】分散型ストレージシステム１００は、分散型ストレージシステム１００は、計算機ノード１０１の減設時に、減設ノードを除いた構成に応じた静的マッピングテーブルと、減設前の静的マッピングテーブルを、カラムノード対応管理テーブルによる計算機ノード１０１と仮想記憶ノードとの対応関係を所定の入替規則に従って変更した入替後の静的マッピングテーブルとに基づいて、各データ要素の格納先となる計算機ノード１０１を変更する。
【選択図】図１

Description

本開示は、計算機システム、制御方法及びプログラムに関する。

特許文献１には、記憶ノードとして計算機ノードを使用した分散型ストレージシステムが開示されている。この分散型ストレージシステムでは、ユーザデータに基づいて、そのユーザデータを復元するための冗長コードが生成され、ユーザデータとそのユーザデータに基づく冗長コードとを含むデータが複数の計算機ノードに分散されて格納される。データの各データ要素と各データ要素を格納する計算機ノードとの対応関係は、静的マッピングテーブルと呼ばれる情報で管理されている。

また、上記の分散型ストレージシステムでは、計算機ノードを増設又は減設することで、計算機ノードの構成を変更することができる。静的マッピングテーブルは、計算機ノードの構成ごとに、各データの冗長性が保たれるように用意される。計算機ノードの構成を変更する場合、各計算機ノードに格納された各データの各データ要素は、変更後の構成に対応した静的マッピングテーブルに従って移動される。特許文献１では、静的マッピングテーブルは、計算機ノードを増設する際に移動するデータ要素のデータ量である移動量が最小となるように定められている。

国際公開第２０１７／１４５２２３号

特許文献１に記載の技術では、計算機ノードを増設する際の移動量が最小となるように定められているが、計算機ノードを減設する場合には、移動量が増加し、構成変更に時間がかかるという問題がある。

本開示の目的は、上記課題を鑑みてなされたものであり、記憶ノードの減設時におけるデータの移動量を低減することが可能なストレージシステム、制御方法及びプログラムを提供することにある。

本開示の一態様に従うストレージシステムは、ユーザデータと前記ユーザデータに基づく冗長コードとを含む複数のデータ要素を有するグループごとに当該グループの各データ要素を分散して格納する複数の記憶ノードを有するストレージシステムであって、前記複数の記憶ノードと複数の仮想記憶ノードとの対応関係を示す第１の管理情報と、前記データ要素と前記データ要素を格納する仮想記憶ノードとの対応関係を示す第２の管理情報とを含むグループ情報に基づいて、各データ要素を前記複数の記憶ノードに格納する制御部を有し、前記制御部は、前記複数の記憶ノードのいずれかが前記ストレージシステムから離脱した場合、当該離脱した記憶ノードである減設ノードを除いた前記グループ情報である減設後のグループ情報と、前記減設ノードが離脱する前の前記グループ情報を、前記第１の管理情報にて示される前記記憶ノードと前記仮想記憶ノードとの対応関係を所定の入替規則に従って変更した入替グループ情報とに基づいて、各データ要素を格納する記憶ノードを変更する。

本発明によれば、記憶ノードの減設時におけるデータの移動量を低減することが可能になる。

本開示の第１の実施形態の分散型ストレージシステムのシステム構成の一例を示す図である。 本開示の第１の実施形態の分散型ストレージシステムのソフトウェア構成の一例を示す図である。 ストレージプログラムと管理情報の構成の一例を示す図である。 静的マッピングテーブルの一例を説明するための図である。 グループマッピングテーブルの一例を示す図である。 カラムノード対応管理テーブルの一例を示す図である。 ノード管理テーブルの一例を示す図である。 減設処理の一例を説明するためのフローチャートである。 移動処理の一例を説明するための図である。 移動処理の一例を説明するためのフローチャートである。 本開示の第２の実施形態の分散型ストレージシステムのシステム構成の一例を示す図である。 カラムドライブ対応管理テーブルの一例を示す図である。 静的マッピングテーブルの他の例を説明するための図である。

以下、本開示の実施形態について図面を参照して説明する。

なお、以下の説明では、「プログラム」を動作主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えば、ＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えば、メモリ）及び／又は通信インターフェースデバイス（例えば、ポート）を用いながら行うため、処理の主語がプロセッサとされてもよい。プログラムを主語として説明された処理は、プロセッサ又はそのプロセッサを有するデバイス（例えば、計算機又はコントローラなど）が行う処理としてもよい。

（第１の実施形態）
図１は、本開示の第１の実施形態の分散型ストレージシステムのシステム構成の一例を示す図である。図１に示す分散型ストレージシステム１００は、複数の計算機ノード１０１を有する計算機システムである。複数の計算機ノード１０１は、複数の計算機ドメイン２０１を構成する。同一の計算機ドメイン２０１に含まれる各計算機ノード１０１は、バックエンドネットワーク３０１を介して相互に接続される。各計算機ドメイン２０１は、外部ネットワーク３０２を介して相互に接続される。

計算機ドメイン２０１は、例えば、地理的な地域に対応して設けられてもよいし、バックエンドネットワーク３０１の仮想的又は物理的なトポロジに対応して設けられてもよい。本実施形態では、各ドメインは、地理的に互いに離れた複数の地域であるサイトのいずれかに対応している。

計算機ノード１０１は、例えば、一般的なサーバ用の計算機で構成される。図１の例では、計算機ノード１０１は、メモリ４０１及びプロセッサ４０２を含むプロセッサパッケージ４０３と、ポート４０４と、複数のドライブ４０５とを有する。また、メモリ４０１、プロセッサ４０２、ポート４０４及びドライブ４０５は、内部ネットワーク４０６を介して相互に接続されている。

メモリ４０１は、プロセッサ４０２にて読み取り可能な記録媒体であり、プロセッサ４０２の動作を規定するプログラムを記録する。メモリ４０１は、ＤＲＡＭ（Dynamic Random Access Memory）のような揮発性のメモリでもよいし、ＳＣＭ（Storage Class Memory）のような不揮発性のメモリでもよい。

プロセッサ４０２は、例えば、ＣＰＵ（Central Processing Unit）などであり、メモリ４０１に記録されたプログラムを読み取り、その読み取ったプログラムを実行することで、種々の機能を実現する。

ポート４０４は、バックエンドネットワーク３０１を介して他の計算機ノード１０１と接続し、他の計算機ノード１０１との間で情報の送受信を行うバックエンドポートである。

ドライブ４０５は、種々のデータを格納する記憶デバイスであり、ディスクドライブとも呼ばれる。ドライブ４０５は、例えば、ＦＣ（Fibre Channel）、ＳＡＳ（Serial Attached ＳCＳI）、ＳＡＴＡ（Serial Advanced Technology Attachment）などのインタフェースを持つハードディスクドライブ及びＳＳＤ（Solid State Drive）などである。

図２は、本開示の一実施形態の分散型ストレージシステムのソフトウェア構成の一例を示す図である。

計算機ノード１０１は、仮想マシン（ＶＭ：Virtual Machine）５００を実現するためのソフトウェアであるハイパーバイザ５０１を実行する。本実施形態では、ハイパーバイザ５０１は、複数の仮想マシン５００を実現する。

ハイパーバイザ５０１は、実現した各仮想マシン５００に対するハードウェア資源の割り当てを管理し、各仮想マシン５００からのハードウェア資源に対するアクセス要求を実際にハードウェア資源に渡す。ハードウェア資源は、例えば、図１で示したメモリ４０１、プロセッサ４０２、ポート４０４、ドライブ４０５及びバックエンドネットワーク３０１などである。

仮想マシン５００は、不図示のＯＳ（Operating Ｓystem）を実行し、そのＯＳ上で種々のプログラムを実行する。本実施形態では、仮想マシン５００は、ストレージプログラム５０２、アプリケーションプログラム（図では、アプリケーションと略す）５０３及び管理プログラム５０４のいずれかを実行する。なお、管理プログラム５０４は、全ての計算機ノード１０１で実行される必要はなく、計算機ノード１０１の少なくとも１つで実行されればよい。ストレージプログラム５０２及びアプリケーションプログラム５０３は、全ての計算機ノード１０１で実行される。

仮想マシン５００は、実行した各プログラムに対する、ハイパーバイザ５０１から提供された仮想的な資源の割り当てを管理し、各プログラムからの仮想的な資源に対するアクセス要求をハイパーバイザ５０１に渡す。

ストレージプログラム５０２は、ドライブ４０５に対するストレージＩ／Ｏを管理するためのプログラムである。ストレージプログラム５０２は、複数のドライブ４０５を束ねて仮想化し、仮想化したドライブ４０５を仮想ボリューム５０５として、ハイパーバイザ５０１を介して他の仮想マシン５００に提供する。

ストレージプログラム５０２は、他の仮想マシン５００からストレージＩ／Ｏのリクエストを受信すると、ドライブ４０５に対してストレージＩ／Ｏを行い、その結果を返却する。また、ストレージプログラム５０２は、他の計算機ノード１０１で実行されているストレージプログラム５０２との間で、バックエンドネットワーク３０１を介して通信し、例えば、データ保護及びデータ移行などのストレージの機能を実現する。

アプリケーションプログラム５０３は、分散型ストレージシステムを利用するユーザのためのプログラムである。アプリケーションプログラム５０３は、ストレージＩ／Ｏを行う際に、ハイパーバイザ５０１を介して、ストレージプログラム５０２が提供する仮想ボリュームに対してストレージＩ／Ｏのリクエストを送信する。

管理プログラム５０４は、仮想マシン５００、ハイパーバイザ５０１及び計算機ノード１０１の構成を管理するためのプログラムである。管理プログラム５０４は、仮想マシン５００及びハイパーバイザ５０１を介して、他の計算機ノード１０１に対するネットワークＩ／Ｏのリクエストを送信する。また、管理プログラム５０４は、仮想マシン５００及びハイパーバイザ５０１を介して、他の仮想マシン５００に対して管理オペレーションのリクエストを送信する。管理オペレーションは、仮想マシン５００、ハイパーバイザ５０１及び計算機ノード１０１の構成に関する操作であり、計算機ノード１０１の増設、減設及び復旧などである。

なお、ストレージプログラム５０２、アプリケーションプログラム５０３及び管理プログラム５０４は、仮想マシン５００上ではなく、ハードウェア上で直接動作しているＯＳ上で実行されてもよい。

以上説明した分散型ストレージシステム１００では、ユーザデータと、ユーザデータに基づいて生成された、ユーザデータを復元するための冗長コードであるパリティデータとを含むデータがチャンクと呼ばれる管理単位で複数のデータ要素に分割されて複数の計算機ノード１０１に格納される。各データ要素は、ユーザデータ又はパリティデータ単体で構成されてもよいし、ユーザデータ及びパリティデータの両方で構成されてもよい。以下では、パリティデータを生成するユーザデータの組をチャンクグループと呼び、パリティデータを生成するユーザデータとそのパリティデータとの組をパリティグループ（冗長グループ）と呼ぶこともある。

各データ要素と各データ要素を格納する記憶ノードである計算機ノード１０１との対応関係は、静的マッピングテーブルと呼ばれるグループ情報にて管理される。

また、分散型ストレージシステム１００では、計算機ノード１０１を増設又は減設することで、計算機ノード１０１の構成を変更することができる。静的マッピングテーブルは、計算機ノード１０１の構成（計算機ノード１０１の数）ごとに、各データ要素の冗長性が保たれるように用意される。このため、計算機ノード１０１の構成を変更する場合、分散型ストレージシステム１００は、変更後の構成に対応した静的マッピングテーブルに基づいて、各計算機ノード１０１に格納されているデータ要素を他の計算機ノードに移動させる。本実施形態では、静的マッピングテーブルは、計算機ノード１０１を増設する場合に、移動するデータ要素のデータ量である移動量が最小となるように設計される。

以下では、計算機ノード１０１を減設する場合に実行される減設処理についてより詳細に説明する。

図３は、減設処理に係るストレージプログラム５０２及び管理プログラム５０４の内部構成と、減設処理で使用される管理情報の内部構成とを示す図である。

図３に示すようにストレージプログラム５０２、管理プログラム５０４及び管理情報５１１は、例えば、メモリ４０１に記録される。ストレージプログラム５０２は、データ移行処理プログラム５２１と、データコピー処理プログラム５２２と、アドレス解決処理プログラム５２３と、構成変更処理プログラム５２４と、冗長化先変更処理プログラム５２５と、データ消去処理プログラム５２６とを含む。管理プログラム５０４は、状態管理処理プログラム５３１と、移動先選定処理プログラム５３２とを含む。管理情報５１１は、キャッシュ情報５４１と、静的マッピングテーブル５４２とを含む。各プログラムが協働して減設処理を行う。

キャッシュ情報５４１は、ストレージプログラム５０２によりメモリ４０１にキャッシュされるデータに関する情報である。

静的マッピングテーブル５４２は、上述したようにデータ要素とデータ要素を格納する計算機ノード１０１との対応関係を示す情報である。静的マッピングテーブル５４２は、グループマッピングテーブル５５１と、カラムノード対応管理テーブル５５２と、ノード管理テーブル５５３とを含む。

図４は、静的マッピングテーブル５４２の概要を説明するための図である。図４では、静的マッピングテーブル５４２に含まれるグループマッピングテーブル５５１及びカラムノード対応管理テーブル５５２が示されている。

グループマッピングテーブル５５１は、データ要素とデータ要素を格納する仮想的な記憶ノードである仮想記憶ノードとの対応関係を示す第２の管理情報である。より具体的には、グループマッピングテーブル５５１は、仮想記憶ノードの識別情報であるカラム（図では、「ｃｏｌ」と表記する）と、仮想記憶ノードに格納されるデータ要素のパリティグループＧｘ（ｘは１以上の整数）を示している。なお、カラムはマップカラム（MAP COLUMN）と呼ばれることもある。

仮想記憶ノードの数であるマップサイズ（MAP SIZE）は、計算機ノード１０１の数であるノード数と同じである。同一のパリティグループＧｘに含まれるデータ要素は別々の仮想記憶ノードに格納される。例えば、パリティグループＧ１に含まれる３つのデータ要素は、カラム１、カラム２及びカラム５のそれぞれの仮想記憶ノードに格納される。パリティグループＧ１に含まれる各データ要素を識別する識別情報をインデックス（INDEX）と呼ぶ。図４の例では、インデックスとして、ｉｄｘ１～ｉｄｘ３が示されている。

カラムノード対応管理テーブル５５２は、計算機ノード１０１と仮想記憶ノードとの対応関係を示す第１の管理情報である。より具体的には、カラムノード対応管理テーブル５５２は、計算機ノード１０１の識別情報であるノードインデックスと、その計算機ノードに対応する仮想記憶ノードを示すカラムとを有するレコードを計算機ノード１０１ごとに有するテーブルである。

分散型ストレージシステム１００は、グループマッピングテーブル５５１とカラムノード対応管理テーブル５５２とに基づいて、計算機ノード１０１ごとにその計算機ノード１０１に格納されるデータ要素を示すデータ配置５６１を特定することができる。

図５は、グループマッピングテーブル５５１のより詳細な例を示す図である。グループマッピングテーブル５５１は、フィールド５５１１～５５１５を含む。

フィールド５５１１は、パリティグループ内のデータ要素の数であるグループサイズを格納する。フィールド５５１２は、仮想記憶ノードの数であるマップサイズを格納する。フィールド５５１３は、パリティグループの識別情報である冗長グループコード（REDUMDANT GROUP CODE）を格納する。フィールド５５１４は、パリティグループ内のデータ要素を識別するインデックスを格納する。フィールド５５１５は、データ要素が格納される仮想記憶ノードを示すマップカラムを格納する。

図６は、カラムノード対応管理テーブル５５２のより詳細な例を示す図である。図６に示すカラムノード対応管理テーブル５５２は、フィールド５５２１及び５５２２を含む。フィールド５５２１は、マップカラムを格納する。フィールド５５２２は、計算機ノード１０１の識別情報であるノードインデックスを格納する。

図７は、ノード管理テーブル５５３の一例を示す図である。図７に示すノード管理テーブル５５３は、フィールド５５３１～５５３３を含む。フィールド５５３１は、ノードインデックスを格納する。フィールド５５３２は、計算機ノード１０１の名前を格納する。フィールド５５３３は、計算機ノード１０１の状態を格納する。計算機ノード１０１の状態としては、例えば、正常、警告、障害、増設中及び減設中などが挙げられる。なお、ノード管理テーブル５５３は、他の情報を格納する他のフィールドが設けられていてもよい。

分散型ストレージシステム１００は、静的マッピングテーブル５４２に基づいて、パリティグループごとに、各パリティグループに含まれる各データ要素を各計算機ノード１０１に格納する。

また、分散型ストレージシステム１００は、計算機ノード１０１のいずれかが分散型ストレージシステム１００から離脱（減設）した場合、その離脱した計算機ノード１０１である減設ノードを除いた構成に応じた静的マッピングテーブル５４２を減設後の静的マッピングテーブル５４２として生成する。分散型ストレージシステム１００は、減設前の静的マッピングテーブル５４２を、カラムノード対応管理テーブル５５２による計算機ノード１０１と仮想記憶ノードとの対応関係を所定の入替規則に従って変更した入替グループ情報である入替後の静的マッピングテーブル５４２を生成する。そして、分散型ストレージシステム１００は、減設後の静的マッピングテーブル５４２と入替後の静的マッピングテーブル５４２とに基づいて、各データ要素の格納先となる計算機ノード１０１を変更する。

入替規則は、減設時に移動するデータ要素のデータ量である移動量が小さくなるように予め定められる。例えば、入替規則は、分散型ストレージシステム１００に新たな計算機ノード１０１を追加（増設）する増設処理における、増設後の静的マッピングテーブル５４２の生成方法に応じて定められる。本実施形態では、増設処理において、分散型ストレージシステム１００は、増設前の静的マッピングテーブル５４２のカラムノード対応管理テーブル５５２の末尾に、増設した計算機ノード１０１である増設ノードのノードインデックスとその増設ノードに対応する仮想記憶ノードのマップカラムとを有するレコードが追加され、かつ、増設時の移動量が最小となるように、増設後の静的マッピングテーブル５４２が生成される。この場合、入替規則は、減設ノードに対応する仮想記憶ノードのマップカラムと、カラムノード対応管理テーブル５５２の末尾のレコードが有する仮想記憶ノードのマップカラムとを入れ替えることとなる。

図８は、減設処理の一例を説明するためのフローチャートである。

複数の計算機ノード１０１のいずれかである状態管理ノードにおける管理プログラム３０３は、計算機ノード１０１の減設を行うと判定した場合、各計算機ノード１０１に対して、計算機ノードを減設する減設処理を要求する減設要求を発行する。減設要求は、減設する計算機ノード１０１のノードインデックスを減設インデックスとして含む。各計算機ノード１０１のストレージプログラム５０２は、減設要求を受信すると、減設処理を実行する。

減設処理では、先ず、ストレージプログラム５０２は、受信した減設要求から減設インデックスを取得し、その減設インデックスにて特定される計算機ノード１０１を減設の計算機ノードである減設ノードとして確定する（ステップＳ８０１）。

ストレージプログラム５０２は、取得した減設インデックスに基づいて、減設後の構成に応じた静的マッピングテーブル５４２を取得する（ステップＳ８０２）。

ストレージプログラム５０２は、減設インデックスが減設前の静的マッピングテーブル５４２内のカラムノード対応管理テーブル５５２の末尾のレコードにあるか否かを判断する（ステップＳ８０３）。

減設インデックスが末尾のレコードにない場合、ストレージプログラム５０２は、減設前の静的マッピングテーブル５４２内のカラムノード対応管理テーブル５５２における減設インデックスに対応するマップカラムを、減設前のカラムノード対応管理テーブル５５２の末尾のレコードに含まれるマップカラムと入れ替えた静的マッピングテーブルを入替後のマッピングテーブルとして生成する（ステップＳ８０４）。減設インデックスが末尾のレコードにある場合、ストレージプログラム５０２は、減設前の静的マッピングテーブル５４２をそのまま入替後のマッピングテーブルとして、ステップＳ８０４の処理をスキップする。

ストレージプログラム５０２は、入替後の静的マッピングテーブルと減設後の静的マッピングテーブルとの差分を抽出する（ステップＳ８０５）。

ストレージプログラム５０２は、抽出した差分に基づいて、計算機ノード１０１に格納されているデータ要素を他の計算機ノードに移動させる移動処理（図９、図１０参照）を実行する（ステップＳ８０６）。

そして、ストレージプログラム５０２は、減設前の静的マッピングテーブル５４２を破棄し、減設後の静的マッピングテーブルを静的マッピングテーブル５４２としてメモリ４０１に記録することで、減設ノードの減設を実行し（ステップＳ８０７）、処理を終了する。

図９は、図８のステップＳ８０６の移動処理の一例を説明するための図である。

図９では、４つの計算機ノード＃０～＃３が２Ｄ＋１Ｐ構成でデータ保護を行っている分散型ストレージシステムにおいて、計算機ノード＃３を減設する例が示されている。また、減設前の静的マッピングテーブル５４２を静的マッピングテーブル５４２Ａ、減設後の静的マッピングテーブル５４２を静的マッピングテーブル５４２Ｂとして示している。また、図９では、静的マッピングテーブル５４２Ａにおいて、計算機ノード＃１の行番号１に格納されているデータに該当するパリティグループに対して、減設される計算機ノード＃３に格納されているデータをノード＃０に変更する処理が示されている。

データの格納位置の変更では、先ず、計算機ノード＃１は、移動メイン処理９０１を実行し、対象のパリティグループに該当するデータｂを読み出し、減設後の静的マッピングテーブル５４２Ｂを参照する。計算機ノード＃１は、静的マッピングテーブル５４２Ｂに基づいて、データｂを計算機ノード＃０に転送する。計算機ノード＃０は、転送されたデータｂからパリティデータｂ＊ｃを生成し、ドライブに格納する。

また、データｂの減設前の古いパリティデータは不要となるため、計算機ノード＃１は、その古いパリティデータが格納されている計算機ノード＃２に対して、古いパリティデータａ＊ｂの消去要求を発行する。計算機ノード＃２は、消去要求を受信すると、移動サブ処理９０２を実行し、消去要求に従って古いパリティデータａ＊ｂの消去を試みる。

各計算機ノードで上記の移動メイン処理９０１とそれに付随する移動サブ処理とが実行されることで、分散型ストレージシステム１００は、パリティデータの格納先を変更し、減設を行うことができる。

上記の移動メイン処理９０１で新たにパリティコードを生成するデータの組み合わせは、減設後の静的マッピングテーブル５４２Ｂに基づいて決定される。図９の例では、計算機ノード＃０は、計算機ノード＃１に格納されていた対象のパリティグループに該当するユーザデータｂと、計算機ノード＃２に格納されていた対象のパリティグループに該当するユーザデータｃとで、パリティデータｂ＊ｃを生成する。なお、パリティデータｂ＊ｃを生成するユーザデータｃは、計算機ノード＃２の移動メイン処理９０１にて計算機ノード＃２から計算機ノード＃０に転送される。

図１０は、図８のステップＳ８０６の移動処理をより詳細に説明するためのフローチャートである。

移動処理は、図９を用いて説明したように、移動メイン処理と移動サブ処理とを含む。先ずは、移動メイン処理から説明する。

移動メイン処理では、ストレージプログラム５０２は、例えば、各ドライブ４０５から変更対象（移動対象）のデータを検索し、その変更対象のデータをドライブ４０５から読み出す（ステップＳ１００１）。

ストレージプログラム５０２は、減設後の静的マッピングテーブルに基づいて、変更対象のデータのパリティグループである対象グループのパリティデータを格納する計算機ノードを特定する（ステップＳ１００２）。

ストレージプログラム５０２は、特定した計算機ノードに、変更対象のデータを転送する（ステップＳ１００３）。なお、変更対象のデータの転送先のする計算機ノードのストレージプログラム５０２は、受信した変更対象のデータに基づいて冗長コードを生成してドライブ４０５に格納する。

ストレージプログラム５０２は、減設後の静的マッピングテーブルに基づいて、対象グループの減設前のパリティデータを格納した計算機ノードを特定する（ステップＳ１００４）。ストレージプログラム５０２は、ステップＳ１００４で特定した旧冗長コードノードに対し、減設前のパリティデータの消去要求を発行する（Ｓ１００５）。

ストレージプログラム５０２は、全てのドライブ４０５内の全ての変更対象のデータについて、上記の処理を行ったか否かを判断する（ステップＳ１００６）。ストレージプログラム５０２は、全ての変更対象データついて処理を行っていない場合、ステップＳ１００１の処理に戻り、全ての変更対象データついて処理を行った場合、移動メイン処理を終了する。

次に移動サブ処理について説明する。

移動サブ処理では、消去要求を受信した計算機ノードのストレージプログラム５０２は、その消去要求にて指定された対象のデータがキャッシュ上に存在するか否か判定する。対象のデータがキャッシュ上に存在する場合、ストレージプログラム５０２は、当該ユーザデータをキャッシュ上から消去する。一方、対象のデータがキャッシュ上に存在しない場合、ストレージプログラム５０２は、対象のユーザデータが、減設後の静的マッピングテーブルによって冗長化済みであることを示す冗長化先変更済みフラグを設定する（ステップＳ１１０１）。

ストレージプログラム５０２は、対象のデータに対応するパリティデータが消去可能であるか否かを判定する（ステップＳ１１０２）。具体的には、ストレージプログラム５０２は、冗長化先変更済みフラグを確認し、同一のチャンクグループに含まれるデータの全てが減設後の静的マッピングテーブルにて冗長化済みか否かを判定する。この場合、データの全てが減設後の静的マッピングテーブルにて冗長化済みの場合、つまり、同一のチャンクグループに含まれるデータの全てに冗長化先変更済みが設定している場合、ストレージプログラム５０２は、パリティデータが消去可能であると判断する。

対象のデータに対応するパリティデータが消去可能でない場合、ストレージプログラム５０２は、移動サブ処理を終了する。一方、対象のデータに対応するパリティデータが消去可能である場合、ストレージプログラム５０２は、そのパリティデータを消去し（ステップＳ１１０３）、移動サブ処理を終了する。

以上の移動処理によれば、分散型ストレージシステム１００は、減設後のパリティデータを生成すると共に、減設後前のパリティデータを消去することができる。これにより、分散型ストレージシステム１００は、減設前のパリティデータの記憶領域を、減設後のパリティデータの記憶領域として利用することができる。また、減設時に移動するデータ要素のデータ量である移動量が小さくなるようにカラムノード対応管理テーブル５５２による計算機ノード１０１と仮想記憶ノードとの対応関係を変更することができるので、移動量を小さくすることができる。

以上説明したように本実施形態によれば、分散型ストレージシステム１００は、計算機ノード１０１の減設時に、減設ノードを除いた構成に応じた静的マッピングテーブル５４２と、減設前の静的マッピングテーブル５４２を、カラムノード対応管理テーブル５５２による計算機ノード１０１と仮想記憶ノードとの対応関係を所定の入替規則に従って変更した入替後の静的マッピングテーブル５４２とに基づいて、各データ要素の格納先となる計算機ノード１０１を変更する。したがって、計算機ノード１０１の減設時に、データ要素の移動量が少なくなるように静的マッピングテーブル５４２を変更することが可能になるため、計算機ノード１０１の減設時におけるデータの移動量を低減することが可能になる。

また、本実施形態では、カラムノード対応管理テーブル５５２は、計算機ノード１０１とその計算機ノード１０１に対応する仮想記憶ノードのマップカラムとを対応付けたレコードを計算機記憶ノード１０１ごとに有するテーブルである。分散型ストレージシステム１００は、計算機ノード１０１が減設された場合、カラムノード対応管理テーブル５５２において、減設ノードに対応する仮想計算機ノードのマップカラムと、所定の仮想計算機ノードのマップカラムとを入れ替えることで、計算機ノード１０１と仮想記憶ノードとの対応関係を変更する。したがって、容易に対応関係を変更することが可能となるため、計算機ノード１０１の減設時におけるデータの移動量を容易に低減することが可能になる。

また、本実施形態では、計算機ノード１０１が増設された場合、分散型ストレージシステム１００は、増設ノードのノードインデックスと、その増設ノードに対応する仮想記憶ノードのマップカラムとを対応付けたレコードを、減設前のカラムノード対応管理テーブル５５２の末尾に追加して増設後の静的マッピングテーブル５４２を生成する。また、計算機ノード１０１が減設された場合、分散型ストレージシステム１００は、減設ノードに対応する仮想記憶ノードのマップカラムと、カラムノード対応管理テーブル５５２の末尾のレコードが有する仮想記憶ノードのマップカラムとを入れ替える。したがって、計算機ノード１０１の増設時にてデータの移動量を最小となるように決定することで、計算機ノード１０１の減設時にもデータの移動量を低減することが可能となる。

また、本実施形態では、分散型ストレージシステム１００は、減設後のグループマッピングテーブル５５１は減設前かつ入替後のグループマッピングテーブル５５１との差分に基づいて、各データ要素を格納する記憶ノードを変更する。この場合、データの移動量を低減することが可能となる。

また、本実施形態では、分散型ストレージシステム１００は、記憶デバイスであるドライブ４０５とプロセッサ４０２とを有する複数の計算機ノードを備えた計算機システムである。減設処理を行う制御部は、各計算機のプロセッサで構成される。

（第２の実施形態）
図１１は、本開示の第２の実施形態の分散型ストレージシステムのシステム構成の一例を示す図である。図１１に示す分散型ストレージシステム７００は、上位装置であるホスト８００からの要求に応じてデータを複数のドライブに分散して格納するストレージ装置である。分散型ストレージシステム７００は、例えば、ＲＡＩＤ（Redundant Array of Independent (or Inexpensive) Disks）システムを用いてデータを分散して格納する。

分散型ストレージシステム７００は、記憶部７０１と、ストレージコントローラ７０２とを有する。

記憶部７０１は、記憶デバイスであるドライブ７１１を複数備える。複数のドライブ７１１は、仮想的な１台のドライブを構成する１つ又は複数の仮想グループ７１２（例えば、ＲＡＩＤグループ）に分かれていてもよい。

ストレージコントローラ７０２は、ドライブ７１１へのデータの読み書きを制御する制御部である。図の例では、ストレージコントローラ７０２は、読み書きされるデータのレプリカを作成して信頼性の向上させるために２重化されているが、２重化されていなくてもよいし、３重化以上に多重化されてもよい。

ストレージコントローラ７０２は、ホストＩ／Ｆ（Interface）７２１と、ストレージＩ／Ｆ７２２と、ローカルメモリ（Local Memory）７２３と、共有メモリ（Shared Memory）７２４と、ＣＰＵ（Central Processing Unit）７２５とを有する。

ホストＩ／Ｆ７２１は、ホスト８００との間で通信を行う。ストレージＩ／Ｆ７２２は、ドライブ７１１との間で通信を行う。ローカルメモリ７２３及び共有メモリ７２４は、ドライブ７１１に対して読み書きするデータの一時的な記憶、ＣＰＵ７２５の動作を規定するプログラム及びＣＰＵ７２５にて使用される管理情報の記憶などに使用される。ＣＰＵ７２５は、ローカルメモリ７２３及び共有メモリ７２４に記録されたプログラムを読み取り、その読み取ったプログラムを実行することで、種々の機能を実現する計算機（コンピュータ）である。

本実施形態の分散型ストレージシステム７００でも、パリティグループの各データ要素と各データ要素を格納する記憶ノードであるドライブ７１１との対応関係は、静的マッピングテーブルにて管理される。静的マッピングテーブルは、例えば、ローカルメモリ７２３又は共有メモリ７２４に記憶される。

本実施形態の静的マッピングテーブルは、第１の実施形態の静的マッピングテーブル５４２と比べて、第１の管理情報として、カラムノード対応管理テーブルの代わりにカラムドライブ対応管理テーブルを有する点で異なる。

図１２は、カラムドライブ対応管理テーブルの一例を示す図である。図１２に示すカラムドライブ対応管理テーブル６０１は、フィールド６０１１及び６０１２を含む。フィールド６０１１は、仮想記憶ノードの識別情報であるカラム（マップカラム）を格納する。フィールド６０１２は、ドライブ７１１の識別情報であるドライブインデックス（DRIVE INDEX）を格納する。

図１３は、本実施形態の静的マッピングテーブルの概要を説明するための図である。図１３では、静的マッピングテーブルに含まれるグループマッピングテーブル５５１及びカラムドライブ対応管理テーブル６０１が示されている。

図１３で示したようにストレージコントローラ７０２（ＣＰＵ７２５）は、グループマッピングテーブル５５１とカラムドライブ対応管理テーブル６０２とに基づいて、ドライブ７１１ごとにそのドライブ７１１に格納されるデータ要素を示すデータ配置６０３を特定することができる。

また、分散型ストレージシステム７００でも、ドライブ７１１を増設又は減設することで、ドライブ７１１の構成を変更することができる。静的マッピングテーブルは、ドライブ７１１の構成ごとに、各データ要素の冗長性が保たれるように用意される。このため、ドライブ７１１の構成を変更する場合、分散型ストレージシステム７００は、変更後の構成に対応した静的マッピングテーブルに基づいて、各ドライブ７１１に格納されているデータ要素を他の計算機ノードに移動させる。本実施形態では、第１の実施形態と同様に、静的マッピングテーブルは、ドライブを増設する場合に、移動するデータ要素のデータ量である移動量が最小となるように設計される。

ストレージコントローラ７０２（ＣＰＵ７２５）は。ドライブ７１１のいずれかが分散型ストレージシステム７００から離脱（減設）した場合、その離脱したドライブ７１１である減設ノードを除いた構成に応じた静的マッピングテーブルを減設後の静的マッピングテーブルとして生成する。ストレージコントローラ７０２は、減設前の静的マッピングテーブルを、カラムドライブ対応管理テーブル６０１による、ドライブ７１１と仮想記憶ノードとの対応関係を所定の入替規則に従って変更した入替グループ情報である入替後の静的マッピングテーブルを生成する。そして、ストレージコントローラ７０２は、減設後の静的マッピングテーブルと入替後の静的マッピングテーブルとに基づいて、各データ要素の格納先となるドライブ７１１を変更する。入替規則は、第１の実施形態と同様に、減設時に移動するデータ要素のデータ量である移動量が小さくなるように予め定められる。

以上説明したように本実施形態でも、ドライブ７１１の減設時に、データ要素の移動量が少なくなるように静的マッピングテーブルを変更することが可能になるため、ドライブ７１１の減設時におけるデータの移動量を低減することが可能になる。

上述した本開示の各実施形態は、本開示の説明のための例示であり、本開示の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本開示の範囲を逸脱することなしに、他の様々な態様で本開示を実施することができる。

１００、２００：分散型ストレージシステム、１０１：計算機ノード、２０２、ストレージコントローラ、２１１：ドライブ、４０１：メモリ、４０２：プロセッサ、４０３：プロセッサパッケージ、４０４：ポート、４０５：ドライブ

Claims (8)

1. ユーザデータと前記ユーザデータに基づく冗長コードとを含む複数のデータ要素を有するグループごとに当該グループの各データ要素を分散して格納する複数の記憶ノードを有するストレージシステムであって、
   前記複数の記憶ノードと複数の仮想記憶ノードとの対応関係を示す第１の管理情報と、前記データ要素と前記データ要素を格納する仮想記憶ノードとの対応関係を示す第２の管理情報とを含むグループ情報に基づいて、各データ要素を前記複数の記憶ノードに格納する制御部を有し、
   前記制御部は、前記複数の記憶ノードのいずれかが前記ストレージシステムから離脱した場合、当該離脱した記憶ノードである減設ノードを除いた前記グループ情報である減設後のグループ情報と、前記減設ノードが離脱する前の前記グループ情報を、前記第１の管理情報にて示される前記記憶ノードと前記仮想記憶ノードとの対応関係を所定の入替規則に従って変更した入替グループ情報とに基づいて、各データ要素の格納先となる記憶ノードを変更する、ストレージシステム。
2. 前記第１の管理情報は、前記記憶ノードの識別情報と当該記憶ノードに対応する前記仮想記憶ノードの識別情報とを対応付けたレコードを前記記憶ノードごとに有するテーブルであり、
   前記制御部は、前記複数の記憶ノードのいずれかが前記ストレージシステムから離脱した場合、前記テーブルにおいて、前記減設ノードに対応する仮想記憶ノードの識別情報と、所定の仮想記憶ノードの識別情報とを入れ替えることで、前記対応関係を変更する、請求項１に記載のストレージシステム。
3. 前記制御部は、前記ストレージシステムに新たに記憶ノードが追加された場合、当該追加された記憶ノードである増設ノードの識別情報と当該増設ノードに対応する仮想記憶ノードの識別情報とを対応付けたレコードを前記テーブルの末尾に追加した前記グループ情報を生成し、前記複数の記憶ノードのいずれかが前記ストレージシステムから離脱した場合、前記減設ノードに対応する仮想記憶ノードの識別情報と、前記テーブルの末尾のレコードが有する仮想記憶ノードの識別情報とを入れ替える、請求項２に記載のストレージシステム。
4. 前記制御部は、前記減設後のグループ情報の第２の管理情報と前記入替グループ情報の第２の管理情報との差分に基づいて、各データ要素を格納する記憶ノードを変更する、請求項１に記載のストレージシステム。
5. 前記ストレージシステムは、前記データ要素を格納する記憶デバイスとプロセッサとを有する複数の計算機ノードを備えた計算機システムであり、
   前記記憶ノードは、前記計算機ノードであり、
   前記制御部は、各計算機のプロセッサで構成される、請求項１に記載のストレージシステム。
6. 前記ストレージシステムは、前記データ要素を格納する複数の記憶デバイスと、各記憶デバイスに対するデータの読み書きを制御するストレージコントローラとを有し、
   前記記憶ノードは、前記記憶デバイスであり、
   前記制御部は、前記ストレージコントローラである、請求項１に記載のストレージシステム。
7. ユーザデータと前記ユーザデータに基づく冗長コードとを含む複数のデータ要素を有するグループごとに当該グループの各データ要素を分散して格納する複数の記憶ノードを有するストレージシステムの制御方法であって、
   前記複数の記憶ノードと複数の仮想記憶ノードとの対応関係を示す第１の管理情報と、前記データ要素と前記データ要素を格納する仮想記憶ノードとの対応関係を示す第２の管理情報とを含むグループ情報に基づいて、各データ要素を前記複数の記憶ノードに格納し、
   前記複数の記憶ノードのいずれかが前記ストレージシステムから離脱した場合、当該離脱した記憶ノードである減設ノードを除いた前記グループ情報である減設後のグループ情報と、前記減設ノードが離脱する前の前記グループ情報を、前記第１の管理情報にて示される前記記憶ノードと前記仮想記憶ノードとの対応関係を所定の入替規則に従って変更した入替グループ情報とに基づいて、各データ要素を格納する記憶ノードを変更する、制御方法。
8. ユーザデータと前記ユーザデータに基づく冗長コードとを含む複数のデータ要素を有するグループごとに当該グループの各データ要素を分散して格納する複数の記憶ノードを有するストレージシステムに、
   前記複数の記憶ノードと複数の仮想記憶ノードとの対応関係を示す第１の管理情報と、前記データ要素と前記データ要素を格納する仮想記憶ノードとの対応関係を示す第２の管理情報とを含むグループ情報に基づいて、各データ要素を前記複数の記憶ノードに格納する手順と、
   前記複数の記憶ノードのいずれかが前記ストレージシステムから離脱した場合、当該離脱した記憶ノードである減設ノードを除いた前記グループ情報である減設後のグループ情報と、前記減設ノードが離脱する前の前記グループ情報を、前記第１の管理情報にて示される前記記憶ノードと前記仮想記憶ノードとの対応関係を所定の入替規則に従って変更した入替グループ情報とに基づいて、各データ要素を格納する記憶ノードを変更する、手順とを実行させるプログラム。
   
   

Images