JP2007257630A

JP2007257630A - Ｒａｉｄストレージ・システムのパリティ値を生成する方法及びアダプタを内蔵するｒａｉｄストレージ・システム（エンクロージャベースのｒａｉｄパリティ支援機構）

Info

Publication number: JP2007257630A
Application number: JP2007061667A
Authority: JP
Inventors: John Charles Elliott; ジョン、チャールズ、エリオット; Gregg Steven Lucus; グレッグ、スティーブン、ルーカス; Akira Kubo Robert; ロバート、アキラ、クボ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2006-03-21
Filing date: 2007-03-12
Publication date: 2007-10-04
Anticipated expiration: 2027-03-12
Also published as: TWI391815B; US7496785B2; US20070245173A1; CN100498680C; CN101042633A; TW200821818A; JP5241117B2

Abstract

【課題】ＲＡＩＤストレージ・システムで、パリティ値を生成する。
【解決手段】ストレージ・システムは、ＲＡＩＤアダプタと、対応する組のＲＡＩＤストレージ・ドライブを管理する複数のディスク・アレイ・プロセッサと、接続ファブリックを含む。ＲＡＩＤアダプタはパリティ生成操作を開始し、管理される各ＲＡＩＤストレージ・ドライブのドライブ上のデータ・ブロックから部分的なパリティ値を各々生成するよう、並列命令がアレイ・プロセッサにディスパッチされ、部分的なパリティ値が各アレイ・プロセッサからＲＡＩＤアダプタで受信され、部分的なパリティ値がＲＡＩＤアダプタで結合されて、完全なパリティ値を生成する。パリティ値はハードディスク・ドライブに格納する実際のパリティ・ブロックでも、または故障ドライブの場合に再構成されたデータ・ブロックでもよい。
【選択図】図３

Description

本発明は、一般的にＲＡＩＤストレージ・システムに関係し、具体的には、このようなシステム内でのパリティ生成の管理に関係する。

ＲＡＩＤストレージ・システムにおけるパリティ値の生成は、プロセッサ集約的かつ帯域幅集約的でもある。例えば、大型のＲＡＩＤシステムは冗長対のＲＡＩＤアダプタまたはコントローラ、複数対の冗長ディスク・アレイ・スイッチ、同じ数のハードディスク・ドライブ（ＨＤＤ）の組、および同じ数のサブプロセッサを含むことがある。これらコンポーネントは「ファブリック」で相互接続される。アダプタは第１対のスイッチと相互接続し、第１対のスイッチは第２対と相互接続する等、以下連鎖状に相互接続する。各サブプロセッサは１対のスイッチに連結され、同様に各ＨＤＤの組は１組のスイッチに連結される。命令をアダプタからスイッチに送信するためには、上流のファブリックおよびスイッチのいずれかを通過しなければならない。同様に、データはいずれかのスイッチから上流にアダプタまで渡さなければならない。
本出願は本発明の譲受人に譲渡された、同時係属出願の「診断操作のためのディスク・アレイからのドライブの分離」と題する米国出願番号第１１／３８５３８８号［ＩＢＭ（ＩＢＭＣｏｒｐｏｒａｔｉｏｎの商標）文書番号ＴＵＣ９２００５０１４１］および「交換ドライブ接続ネットワーク・エンクロージャにおけるＲＡＩＤアダプタから分散サービス・プロセッサへのディスク関連タスクのオフローディング」と題する米国出願番号第１１／３８６０２５号［ＩＢＭ文書番号ＴＵＣ９２００５０１４２］に関連し、ともに本出願日に申請され、本明細書に関連する。

パリティ値を生成する従来のプロセスは、アダプタ・リソースおよびファブリックの帯域幅を実質的に使用する必要がある。ＲＡＩＤアダプタはあるグループのＨＤＤ全体のデータのブロックで排他的ＯＲ（ＸＯＲ）を行って、パリティ・ブロックを生成する。すなわち、Ａｐがパリティ・ブロックで、「＋」がＸＯＲ演算を表す場合、Ａ_ｐ＝Ａ_１＋Ａ_２＋…＋Ａ_ｎである。例えば、代表的なＲＡＩＤレベル５のアレイでは、６つのデータが入ったＨＤＤとパリティＨＤＤからなるグループのデータ・ブロック・パリティを生成する場合、アダプタは６回の読み出し操作を行ってパリティ値を生成し、１回の書き込み操作を行ってパリティを７番目のＨＤＤに格納しなければならない。加えて、書き込みがあるグループのドライブ全体に及ばないデータからなる場合、ドライブ上のデータ・ブロックの読み出しを行わなければならないか、または新しいパリティ・ブロックを生成するために前のデータおよび前のパリティが必要になる。これら操作のすべてがアダプタ・リソースを消費し、ファブリック全体にわたるトラフィックを生じる。故障ドライブを再構築（リビルド）する場合には、リソースの消費がさらに大きくなる。ここでも、アダプタはデータ・ブロックおよびパリティ・ブロックを他のドライブから読み出して、パリティ・ブロックをデータ・ブロックに適用し、失われたデータ・ブロックを再生する。ストレージ・システムを所要レベルの冗長度に戻すには再構築時間が速いことが重要であるが、アダプタが他の機能を行える能力が減じられるため、システム性能が犠牲となり低下する。

そのため、必要なアダプタ・リソースがより少なく、ファブリックの帯域幅がより少ない、効率的なパリティの生成とドライブの再構築の操作の必要性がある。

本発明は、ＲＡＩＤストレージ・システムのパリティ値を生成する方法を提供する。ストレージ・システムはＲＡＩＤアダプタと、対応する組のＲＡＩＤストレージ・ドライブを管理する複数のディスク・アレイ・プロセッサと、接続ファブリックを含む。方法は、ＲＡＩＤアダプタによりパリティ生成操作を開始するステップと、アレイ・プロセッサに並列命令をディスパッチして、管理される各ＲＡＩＤストレージ・ドライブのドライブ上のデータ・ブロックから部分的なパリティ値を各々生成するステップと、各アレイ・プロセッサからＲＡＩＤアダプタの部分的なパリティ値を受信するステップと、ＲＡＩＤアダプタの部分的なパリティ値を結合して、完全なパリティ値を生成するステップとを含む。パリティ値はハードディスク・ドライブに格納する実際のパリティ・ブロックでも、または故障ドライブの場合再構成されたデータ・ブロックでもよい。

本発明はまた、ＲＡＩＤストレージ・アダプタとＲＡＩＤストレージ・アダプタを内蔵するＲＡＩＤストレージ・システムも提供する。アダプタは、各ディスク・アレイ・スイッチがＲＡＩＤディスクの各グループを制御するとともに対応付けられるアレイ・プロセッサに連結される、複数のディスク・アレイ・スイッチに連結されるファブリック・インターフェースと、パリティ生成機能を開始する手段と、各アレイ・プロセッサに各ディスクのグループのディスク上のデータ・ブロックから部分的なパリティ値を生成するように指示する命令をスイッチから対応のアレイ・プロセッサにディスパッチする手段と、生成された部分的なパリティ値をアレイ・プロセッサから受信する手段と、受信した部分的なパリティ値を完全なパリティ値に結合するように構成されるパリティ生成器とを含む。

本発明はさらに、プログラム可能なコンピュータとともに使えるコンピュータ読み取り可能媒体にも記憶可能なコンピュータ・プログラムを含み、コンピュータ・プログラムはＲＡＩＤストレージ・システムでパリティ値を生成するコンピュータ読み取り可能コードを内部に埋め込んでおり、ストレージ・システムはＲＡＩＤアダプタと、対応する組のＲＡＩＤストレージ・ドライブを管理する複数のディスク・アレイ・プロセッサと、接続ファブリックとを有する。コンピュータ読み取り可能コードは、ＲＡＩＤアダプタによりパリティ生成操作を開始する命令と、管理される各ＲＡＩＤストレージ・ドライブのドライブ上のデータ・ブロックから各々部分的なパリティ値を生成する並列命令をアレイ・プロセッサにディスパッチする命令と、ＲＡＩＤアダプタの部分的なパリティ値を各アレイ・プロセッサから受信する命令と、ＲＡＩＤアダプタの部分的なパリティ値を結合して、完全なパリティ値を生成する命令とを含む。

図１は、本発明を実施できるＲＡＩＤストレージ・システム１００のブロック図である。システム１００は、一又は複数のサーバーに連結される冗長対のＲＡＩＤアダプタまたはコントローラ１１０Ａ、１１０Ｂ（集合的に、１１０と呼ぶ）を含む。システム１００はさらに冗長対のディスク・アレイ・スイッチ１２０を含み、図では、その３対の１２２Ａと１２２Ｂ、１２４Ａと１２４Ｂ、１２６Ａと１２６Ｂが示されている。システム１００はハードディスク・ドライブ（ＨＤＤ）１３０Ａ、１３０Ｂ、１３０Ｃの組も含み（集合的に、１３０と呼ぶ）、各組が１対のスイッチに対応付けられる。システム１００はまた、各対のスイッチ１２０に対応付けられるサービス・プロセッサ１４０Ａ、１４０Ｂ、１４０Ｃも含む（集合的に、１４０と呼ぶ）。典型的には、１対のスイッチ１２０、１組のＨＤＤ１３０、およびサービス・プロセッサ１４０をエンクロージャ（図示せず）に収容する。図示するシステム１００では、サービス・プロセッサ１４０は、スイッチ機能とエンクロージャ環境を管理するＳＣＳＩエンクロージャ・サービス（ＳＥＳ）プロセッサである。

ＲＡＩＤアダプタ１１０Ａおよび１１０Ｂは各々、通信ネットワークもしくはファブリック１５０を介して、第１組のスイッチ１２２Ａおよび１２２Ｂの両方の冗長ポートに連結される。第１組のスイッチ１２２Ａおよび１２２Ｂはさらに、ファブリック１５０を介して、第２組のスイッチ１２４Ａおよび１２４Ｂの両方の冗長ポートに順に連結される。さらに、第２組のスイッチ１２４Ａおよび１２４Ｂがさらに、ファブリック１５０を介して、第３組のスイッチ１２６Ａおよび１２６Ｂの両方の冗長ポートに順に連結される。こうして、アダプタ１１０と第３エンクロージャ内のスイッチまたはＨＤＤとのあらゆる通信が、第１および第２組のスイッチを通過する。

図２のフローチャートを参照すると、パリティを生成するとき、ＲＡＩＤアダプタ１１０は、指定されるデータ・ブロックでＸＯＲを実行して、その結果をアダプタ１１０に返すコマンド（ステップ２００）をサービス・プロセッサ１４０にディスパッチする。サービス・プロセッサ１４０は対応のＨＤＤ１３０から指定されるデータ・ブロックを読み取り（ステップ２０２）、さらに各々がＸＯＲ演算を実行して（ステップ２０４）、指定されるデータ・ブロックのパリティ値を生成する（ステップ２０６）。各々がグループ全体の部分的なパリティ値であるパリティ値がアダプタ１１０に戻される（ステップ２０８）。アダプタ１１０はＸＯＲ演算を行うことによって（ステップ２１０）、部分的なパリティ値を結合して、完全なパリティ・ブロックを生成する（ステップ２１２）。さらに完全なパリティ値を指定されるスイッチ１２０に送信して（ステップ２１４）、指定されるＨＤＤ１３０に格納する（ステップ２１６）。こうして、アダプタ１１０で６回の個別の読み出し操作と１回の書き込み操作を行う代わりに、アダプタは２回の読み出し（サービス・プロセッサ１４０から部分的なパリティ値を受信する）と１回の書き込みだけの同等の操作を行えばよく、アダプタ・リソースおよびファブリックの帯域幅の大幅な節約になる。

故障ドライブからデータを再構築するのも同様な手順である。図３のブロック図は、第３エンクロージャ内のＨＤＤＡ１、Ａ２、およびＡ５（第３サービス・プロセッサ１４０Ｃとスイッチ１２６Ａ、１２６Ｂが管理）、第２エンクロージャ内のＨＤＤＡ３およびＡ４（第２サービス・プロセッサ１４０Ｂとスイッチ１２４Ａ、１２４Ｂが管理）、第１エンクロージャ内のＨＤＤＡ６（第１サービス・プロセッサ１４０Ａとスイッチ１２２Ａ、１２２Ｂが管理）、および第２エンクロージャ内のパリティ・ドライブＡｐが１ドライブ・グループを構成すると想定している。ドライブＡ６が故障した場合、そのデータは再構築して復元しなければならない。ＲＡＩＤアダプタ１１０は、各々部分的なパリティ値を生成するよう、第２および第３エンクロージャ内の第２および第３サービス・プロセッサ１４０Ｂ、１４０Ｃにコマンドをディスパッチする。第２サービス・プロセッサ１４０ＢはＨＤＤＡ３、Ａ４、およびＡｐからデータとパリティ・ブロックを読み出して、ＸＯＲ演算、Ａ_３４ｐ＝Ａ_３＋Ａ_４＋Ａ_ｐを行う。同様に、第３サービス・プロセッサ１４０ＣはＨＤＤＡ１、Ａ２、およびＡ５からデータとパリティ・ブロックを読み込んで、ＸＯＲ演算、Ａ_１５２＝Ａ１_１＋Ａ_５＋Ａ_２を行う。それからこの２つの部分的なパリティ値をＲＡＩＤアダプタ１１０に送信し、ＲＡＩＤアダプタ１１０がそれらを結合して、失われたデータ・ブロックＡ６：Ａ_６＝Ａ_３４ｐ＋Ａ_１５２を生成する。次に失われたブロックＡ_６を第１エンクロージャ内のディスク・アレイ・スイッチ１２２に送信してＨＤＤの１つに書き込み、故障ＨＤＤを置き換える。ここでも、アダプタは２回の読み出し（サービス・プロセッサ１４０から部分的なパリティ値を受信する）と１回の書き込みだけの同等の操作を行えばよく、アダプタ・リソースとファブリックの帯域幅の大幅な節約になる。

さらに、アダプタ１１０とスイッチ１２０は非ブロッキングモードで操作するために、部分的なパリティ演算中に大量のデータ移動を１度に１ドライブずつスイッチ・ドメインにローカライズする。このため、サービス・プロセッサ１４０があるドライブで部分的なＸＯＲ演算を行いながら、他のすべてのドライブへのファブリック・ポートと隣接するエンクロージャ間のファブリック・ポートは、依然としてアダプタ１１０およびスイッチ１２０が他のタスクを行うために利用できる状態のままである。

本発明は完全な機能をもつデータ処理システムの状況で説明してきたが、当業者には、本発明のプロセスが命令のコンピュータ読み取り可能媒体、読み取り可能コードの形態および多様な形態に分散できること、並びに本発明が特定な種類の信号搬送媒体を実際に分散を行うために使用するのと関係なく適用できることは理解されることに留意するのが重要である。コンピュータ読み取り可能媒体、プログラムの例には、ディスケット、ハードディスク・ドライブ、ＲＡＭ、ＣＤ−ＲＯＭなどの記録型の媒体、並びにデジタル通信リンクおよびアナログ通信リンクなどの伝送型の媒体、プログラムが含まれる。

本発明の説明は例示と説明のために提示してきたが、すべてを網羅しているもしくは発明を開示した形態に制限するつもりはない。数多くの変更および変型が当業者には明らかであろう。実施例は発明の原理、実用的な用途を最善に説明するため、また当業者が意図される特定の用途に適した様々な変更を加えた様々な実施例について発明を理解できるように選び、記述した。さらに、方法およびシステムに関して以上説明してきたが、技術上のニーズはＲＡＩＤストレージ・システムでパリティ値を生成する命令を含むコンピュータ・プログラムとも一致しているであろう。

本発明を実施できるＲＡＩＤストレージ・システムのブロック図である。本発明の方法のフローチャートである。故障ドライブからデータを再構築するプロセスを表すＲＡＩＤシステムのブロック図である。

Claims

ＲＡＩＤストレージ・システムでパリティ値を生成する方法で、ストレージ・システムがＲＡＩＤアダプタと、対応する組のＲＡＩＤストレージ・ドライブを管理する複数のディスク・アレイ・プロセッサと、接続ファブリックを有し、前記方法が、
ＲＡＩＤアダプタによりパリティ生成操作を開始するステップと、
管理される各ＲＡＩＤストレージ・ドライブのデータ・ブロックから部分的なパリティ値を各々生成するよう、並列命令をアレイ・プロセッサにディスパッチするステップと、
ＲＡＩＤアダプタの部分的なパリティ値を各アレイ・プロセッサから受信するステップと、
ＲＡＩＤアダプタの部分的なパリティ値を結合して、完全なパリティ値を生成するステップとを有する
方法。
さらに、完全なパリティ値をＲＡＩＤアダプタからディスク・アレイ・プロセッサに送信して、ストレージ・ドライブに書き込むステップを有する、請求項１の方法。
さらに、完全なパリティ値からディスク・データを再構築するステップを有する、請求項１の方法。
さらに、アレイ・プロセッサにより非ブロッキングに命令を実行し、それによってストレージ・システムで他の操作が続けられるステップを有する、請求項１の方法。
ディスク・アレイ・プロセッサがＳＣＳＩエンクロージャ・サービス（ＳＥＳ）プロセッサである、請求項１の方法。
各ディスク・アレイ・スイッチが各グループのＲＡＩＤディスクを制御するとともに対応のアレイ・プロセッサに連結される、複数のディスク・アレイ・スイッチに連結されるファブリック・インターフェースと、
パリティ生成機能を開始する手段と、
各アレイ・プロセッサに各グループのディスクのディスク上のデータ・ブロックから部分的なパリティ値を生成するよう指示する命令を、スイッチから対応のアレイ・プロセッサにディスパッチする手段と、
生成した部分的なパリティ値をアレイ・プロセッサから受信する手段と、
受信した部分的なパリティ値を完全なパリティ値に結合するように構成されるパリティ生成器とを有する、
ＲＡＩＤストレージ・アダプタ。
ディスク・アレイ・プロセッサがＳＣＳＩエンクロージャ・サービス（ＳＥＳ）プロセッサである、請求項６のＲＡＩＤアダプタ。
さらに、完全なパリティ値をディスクに格納する命令を選択的なディスク・アレイ・プロセッサにディスパッチする手段を有する、請求項６のＲＡＩＤアダプタ。
さらに、完全なパリティ値からディスク・データを再構築する手段を有する、請求項６のＲＡＩＤアダプタ。
ＲＡＩＤアダプタと、
ＲＡＩＤアダプタに連結される複数のディスク・アレイ・スイッチと、
各々がディスク・アレイ・スイッチの各１つに連結される、複数のストレージ・ディスクのグループと、
各々が１つのディスク・アレイ・スイッチに連結される、複数のサービス・プロセッサと、
ＲＡＩＤアダプタの要求時に、選択的なデータ・ブロックから部分的なパリティ値を生成して、生成したパリティ値をＲＡＩＤコントローラに送信するように構成された、各サービス・プロセッサに対応付けられる部分的なパリティ生成器と、
生成した部分的なパリティ値を結合して、完全なパリティ値を生成するように構成された、ＲＡＩＤアダプタに対応付けられる最終パリティ生成器とを有する、
ＲＡＩＤストレージ・システム。
サービス・プロセッサがＳＣＳＩエンクロージャ・サービス（ＳＥＳ）プロセッサである、請求項１０のＲＡＩＤストレージ・システム。
さらに、完全なパリティ値をディスクに格納する命令を選択的なディスク・アレイ・プロセッサにディスパッチする、ＲＡＩＤアダプタに対応付けられる手段を有する、請求項１０のＲＡＩＤストレージ・システム。
さらに、完全なパリティ値からディスク・データを再構築する手段を有する、請求項１０のＲＡＩＤストレージ・システム。
ＲＡＩＤストレージ・システムでパリティ値を生成するコンピュータ読み取り可能コードをそれに埋め込み、ストレージ・システムがＲＡＩＤアダプタと、対応する組のＲＡＩＤストレージ・ドライブを管理する複数のディスク・アレイ・プロセッサと、接続ファブリックとを有し、前記コンピュータ読み取り可能コードが、
ＲＡＩＤアダプタによりパリティ生成操作を開始する命令と、
管理される各ＲＡＩＤストレージ・ドライブのドライブ上のデータ・ブロックから部分的なパリティ値を各々生成するよう、アレイ・プロセッサに並列命令をディスパッチする命令と、
ＲＡＩＤアダプタの部分的なパリティ値を各アレイ・プロセッサから受信する命令と、
ＲＡＩＤアダプタの部分的なパリティ値を結合して、完全なパリティ値を生成する命令とを有する、
コンピュータ・プログラム。
コンピュータ読み取り可能コードがさらに、完全なパリティ値をＲＡＩＤアダプタからディスク・アレイ・プロセッサに送信して、ストレージ・ドライブに書き込む命令を含む、請求項１４のコンピュータ・プログラム。
コンピュータ読み取り可能コードがさらに、完全なパリティ値からディスク・データを再構築する命令を有する、請求項１４のコンピュータ・プログラム。
コンピュータ読み取り可能コードがさらに、ストレージ・システムで他の操作が継続できるように非ブロッキングに、アレイ・プロセッサで命令を実行する命令を有する、請求項１４のコンピュータ・プログラム。
ディスク・アレイ・プロセッサがＳＣＳＩエンクロージャ・サービス（ＳＥＳ）プロセッサである、請求項１４のコンピュータ・プログラム。