JP2001147785A

JP2001147785A - データを管理する方法

Info

Publication number: JP2001147785A
Application number: JP2000301649A
Authority: JP
Inventors: Beruhadei Mohamed; モハメド・ベルハディ; D Daniels Roger; ロジャー・ディー・ダニエルズ; K Anberger David; ディビッド・ケー・アンバーガー
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 1999-10-29
Filing date: 2000-10-02
Publication date: 2001-05-29
Also published as: US6516425B1

Abstract

(57)【要約】【課題】データ冗長方式を使用する階層型データ記憶シ
ステムにおいて、データ再構築中のデータ損失の可能性
を最小化する方法を提供する。【解決手段】データ管理システムは、記憶装置の故障に
応答して、記憶システムにて同定された最も弱いデータ
冗長方式に基づき、データ再構築の優先順位付けをす
る。データ再構築の優先順位付けは、最も弱いデータ冗
長方式の再構築を、システム中の他のデータ冗長方式の
再構築よりも優先して行うステップを含む。最も弱いデ
ータ冗長方式は、記憶システム内の各データ冗長方式の
再構築によって防ぐことができるデータを損失する確率
を、そのシステム中の１つ以上のディスクが次に故障す
る可能性という観点から比較することによって、決定さ
れる。各データ冗長方式に対するデータ損失の確率は、
記憶システムおよび記憶装置に付随した特性を考慮し
て、決定される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般に、コンピュ
ータ大容量記憶システムに関連し、特に、独立ディスク
冗長アレイ（Redundant Array of Independent Disks：
ＲＡＩＤ）を利用した階層型システムにおけるディスク
故障時の、データ再構築の優先順位付け方法に関する。

【０００２】

【従来の技術】従来のディスクアレイ方式データ記憶シ
ステムは複数のディスク記憶装置を有しており、これら
が、単一の大容量記憶システムを形成するように配置さ
れまた協調して動作する。独立ディスク冗長アレイ（Ｒ
ＡＩＤ）システムとは、多様なレベルのデータ・アベイ
ラビリティおよびシステムの性能を得るために、ハード
ディスクドライブのような大容量データ記憶装置のアレ
イにおいて、データの編成を行うことである。ここで、
データ・アベイラビリティとは、データ記憶装置のアレ
イ中の個々のデータ記憶装置または構成要素のうちの１
つまたはそれ以上が故障している場合でも、データ記憶
装置のアレイ中のデータを読み書きするＲＡＩＤシステ
ムの能力を指している。システムパフォーマンスの測定
は、ＲＡＩＤシステムへのデータの送受信の速度で測ら
れる。

【０００３】データ・アベイラビリティは、データ、ま
たはデータ間の関係を記憶システム中の複数の箇所に記
憶しておく冗長方式を使用して提供されることが多い。
ディスクまたは構成要素が故障したときには、冗長デー
タがシステムの操作可能な部分から引き出されて、故障
により失われたオリジナルデータを再生するために使用
される。冗長データの記憶には、一般的にミラーおよび
パリティという２つの方法がある。ミラー冗長では、デ
ータは複製されて、記憶システムの２つ以上の別個のエ
リアに記憶される。パリティ冗長では、冗長データは記
憶システムの１つまたはそれ以上のエリアに記憶される
が、冗長記憶エリアの容量は、オリジナルデータを記憶
している記憶空間よりも小さくなる。

【０００４】代表的なＲＡＩＤシステムでは、ミラーで
あろうとパリティであろうと冗長データの記憶用に、ア
レイ中の物理的記憶容量の一部を指定する。これら冗長
情報により、アレイの構成メンバであるディスク、構成
要素、あるいは単数または複数のディスクへのアクセス
パスが故障した時に、ユーザデータを再生成することが
可能になる。代表的には、ディスクは「ブロック」と呼
ばれる等しいサイズのアドレスエリアに分割されてい
る。各ディスクに渡り同じユニットアドレスを有するブ
ロックのセットは、「ストライプ」または「ストライプ
セット」と呼ばれる。アレイ中にて、一つのストライプ
またはストライプセットが存在しているディスクのセッ
ト（またはサブセット）は、冗長グループと呼ばれる。
冗長グループ間で冗長方式が異なっていても構わない
が、一般的には、ＲＡＩＤアレイは、１つ以上の冗長グ
ループと、冗長グループ毎に一つの冗長方式とを使用す
る。それに対し、本願明細書中で後述されるように、階
層型ＲＡＩＤアレイは、アレイ中の各冗長グループに対
して、１つまたはそれ以上の冗長方式（すなわちＲＡＩ
Ｄレベル）を使用する。

【０００５】データ管理およびデータの冗長性の観点か
ら、ＲＡＩＤレベルは、普通ＲＡＩＤレベル１〜６と呼
ばれる６つのアーキテクチャまたは冗長方式の１つとし
て特徴付けられる。ＲＡＩＤレベルは他にも存在する
が、レベル１〜６が最も一般的に使用されており、本発
明に関連して本願明細書の中で説明される。しかし、本
発明が、任意のＲＡＩＤレベルまたはデータ冗長方式に
対して適用可能であることに留意されたい。

【０００６】ディスクのミラーリングの使用はＲＡＩＤ
レベル１と呼ばれ、オリジナルデータがディスクの１セ
ットに記憶される一方で、そのデータの複製コピーが別
のディスクに保存される。パリティチェックを使用する
ものは、ＲＡＩＤレベル２、３、４、５、および６と呼
ばれる。概して、ＲＡＩＤ２、３、４、および５に比べ
てＲＡＩＤ１のほうが、データの信頼性が高く、小さい
書き込みＩ／Ｏという優れた性能もあるが、全データが
複製されるために最も多くの記憶空間を使用する。対照
的に、ＲＡＩＤレベル２〜５では、データの信頼性は
（ＲＡＩＤ１に比して）低く、一般には小さい書き込み
という性能も低下している。しかしながら、データを複
製しない代わりにストライプセット中のディスクアレイ
に渡ってインターリーブされてパリティチェックされる
ので、ＲＡＩＤ１技術ほど多くのディスク空間を消費し
ないで済む。パリティストライプセットは、複数のメン
バディスク上のデータおよび冗長（パリティ）データを
インターリーブする。パリティストライプセットは単一
の仮想ディスクを構成するが、そのユーザデータ容量
は、そのメンバの容量の合計にほぼ等しく、ユーザデー
タのパリティ（冗長）データを保持するために使用され
る記憶よりは少ない。ＲＡＩＤレベル３〜５に対して
は、パリティは、普通は、全データディスクからのスト
ライプセット中の対応するデータチャンクを、ビット毎
に排他的ＯＲ関数を使用して計算される。これは、一
式、一未知数の積和計算に対応する。ＲＡＩＤ１アーキ
テクチャにおけるミラーセットは単一の仮想ディスクを
構成するが、そのユーザデータ容量は、そのメンバのう
ち２分の１の容量の合計であり、残りの半分は、ユーザ
データのミラー（冗長）データを保持している。

【０００７】ＲＡＩＤミラーレベル１に加えて、ＲＡＩ
Ｄパリティレベル４、５、および６が、本願で特に注目
される。具体的には、例えば、ＲＡＩＤ４は、１つのス
トライプセットまたは冗長グループと単一の専用パリテ
ィディスクとを使用して、そのストライプセットまたは
冗長グループの他のデータディスクに存在しているデー
タについての冗長情報を記憶する。各仮想ディスクセク
タからのデータのセグメントは、１つ（すなわちパリテ
ィディスク）を除いてすべてのストライプセットメンバ
の対応するセクタに分配され、分配されたセグメントの
パリティは、パリティディスクの対応するセクタに書き
込まれる。

【０００８】ＲＡＩＤ４システムは、全てのパリティブ
ロックをストライプセット内のただ一つのユニットに記
憶しているので、パリティブロックを含むそのユニット
一つだけが、ストライプセットまたは冗長グループ内の
他のデータ記憶装置と比較して不釣合いな頻度でアクセ
スされる。その結果として生じるＲＡＩＤ４システムに
おけるデータフローの集中を回避するために、ＲＡＩＤ
５アーキテクチャでは、パリティブロックを、ストライ
プセットまたは冗長グループ内の全データ記憶装置にわ
たって分配している。通常、ＲＡＩＤ５システムでは、
Ｎ＋１個のデータ記憶装置のセットが、ストライプセッ
トまたは冗長グループを形成している。各ストライプ
が、Ｎ個のデータブロックと１つのパリティデータブロ
ックとを有している。パリティデータブロックは、Ｎ＋
１個のデータ記憶装置のうち１つに記憶される。ストラ
イプセットまたは冗長グループのうち残りのストライプ
に対応するパリティブロックは、そのストライプセット
または冗長グループ内のデータ記憶装置にわたって記憶
される。例えば、所与のストライプセットまたは冗長グ
ループ中に５つのデータ記憶装置を使用するＲＡＩＤ５
システムでは、ブロックの第１ストライプに対するパリ
ティブロックが第５の装置に、ブロックの第２ストライ
プに対するパリティブロックが第４の装置に、ブロック
の第３ストライプに対するパリティブロックが第３の装
置に、などのように書き込まれてもよい。代表的なパタ
ーンでは、連続するブロックに対するパリティブロック
の位置は、そのストライプセットまたは冗長グループ内
の連続する論理装置へと移動するが、他のパターンも使
用可能である。

【０００９】ＲＡＩＤ６アーキテクチャでは、ＲＡＩＤ
４および５と同様にデータがストライプされるが、オリ
ジナルデータに対して、２つの独立しており別個のパリ
ティ値（本願明細書ではＰおよびＱと称する）を使用す
る点で異なっている。Ｐパリティは、普通は、全データ
ディスクからの１つのストライプにおける対応するデー
タチャンクを、ビット毎に排他的ＯＲ関数を使用して計
算される。これは、一式、一未知数の積和計算に対応す
る。一方、Ｑパリティは、Ｐとは独立して線形に計算さ
れるが、この場合にも積和計算に関する異なるアルゴリ
ズムを使用する。結果として、各パリティ値は独立した
アルゴリズムを用いて計算され、各々が、そのストライ
プセットまたは冗長グループにおける別個のディスク上
に記憶される。そのために、ＲＡＩＤ５システムでは、
あるストライプセットまたは冗長グループ内でディスク
故障が１つだけ生じている場合にのみ、データを再構築
することができるのに対して、ＲＡＩＤ６システムで
は、１つのストライプセットまたは冗長グループ内で２
つの別個のディスクが故障している場合であっても、
（再構築のための空間が利用可能であるとすれば）デー
タの再構築が可能である。

【００１０】ＲＡＩＤ５と同様に、ＲＡＩＤ６アーキテ
クチャでは、２つのパリティブロックを、ストライプセ
ットまたは冗長グループ内の全データ記憶装置にわたっ
て分配している。これより、Ｎ＋２個のデータ記憶装置
からなるストライプセットまたは冗長グループでは、各
ストライプはＮ個のデータブロックと独立したパリティ
データの２つのデータブロックとを有している。パリテ
ィデータブロックの１つは、Ｎ＋２個のデータ記憶装置
の１つに記憶されており、他方のパリティデータブロッ
クは、Ｎ＋２個のデータ記憶装置のうちの別の１つに記
憶されている。ストライプセットまたは冗長グループ中
の残りのストライプに対応するパリティブロックは、そ
のストライプセットまたは冗長グループ内のデータ記憶
装置にわたって記憶される。例えば、所与のストライプ
セットまたは冗長グループ中で５つのデータ記憶装置を
使用するＲＡＩＤ６システムでは、ブロックの第１スト
ライプに対するパリティブロックが第４および第５の装
置に、ブロックの第２ストライプに対するパリティブロ
ックが第３および第４の装置に、ブロックの第３ストラ
イプに対するパリティブロックが第２および第３の装置
に、などのように書き込まれてもよい。この場合もま
た、代表的なパターンでは、連続するブロックに対する
パリティブロックの位置は、そのストライプセットまた
は冗長グループ内の連続する論理装置へと移動するが、
他のパターンも使用可能である。

【００１１】ＲＡＩＤシステムのアーキテクチャおよび
性能に関しては１９９３年６月９日に発行された、ＲＡ
ＩＤアドバイサリー・ボードによる「The RAID Book: A
Source Book for RAID Technology」に詳細な情報があ
り、その開示内容は、参照によって本願明細書中で援用
される。加えて、ＲＡＩＤシステムの背景的な議論、お
よび論理的に区分されたＲＡＩＤシステムに対するさま
ざまな方法が、デービッド・Ｃ・スタルモ（David C. S
tallmo）に対する「冗長アレイ記憶システムの論理区分
（Logical Partitioning of a Redundant Array Storag
e System）」という米国特許第５，５１９，８４４号に
説明されており、その内容は参照によって本願明細書中
で援用される。

【００１２】階層型データ記憶システムでは、１つまた
はそれ以上の異なる技術、つまり、異なる冗長方式、Ｒ
ＡＩＤレベル、冗長グループ、またはこれらの組み合わ
せを用いて、データを記憶することを許容している。例
えば、階層型ＲＡＩＤシステムでは、データは、１つま
たはそれ以上の冗長グループに記憶することができる
し、また、冗長グループ毎に、冗長化技術の利点と欠点
とのトレードオフをする目的で１つ以上のＲＡＩＤアー
キテクチャ（レベル）にしたがって記憶することもでき
る。開示の目的で、階層型システムには、（１）システ
ムのチューニングおよびパフォーマンスを最適にするた
めに、冗長方式（すなわち異なるＲＡＩＤレベル）およ
び／または冗長グループ間でデータを自動的または動的
に移動させるもの、および（２）ユーザがシステムアレ
イ内の特定のディスクセットまたはサブセットを有する
所与のＲＡＩＤレベルを指定する必要があるもののよう
な、冗長方式またはグループを構成するためにユーザ入
力を必要とするもの、が含まれる。

【００１３】ジェーコブソンら（Jacobson et al.）の
米国特許第５，３９２，２４４号「データ記憶冗長性管
理を有するメモリシステム（Memory Systems with Data
Storage Redundancy Management）」には、データ記憶
状態および空間が変化を要求すると、あるＲＡＩＤタイ
プから別のＲＡＩＤタイプへデータを移動させることが
できる階層型ＲＡＩＤシステムが開示されているが、そ
の内容は参照によって本願明細書中で援用される。この
特許は、マルチレベルＲＡＩＤアーキテクチャを開示し
ており、そのアーキテクチャでは、物理的記憶空間が、
ミラーエリアおよびパリティＲＡＩＤエリア（例えばＲ
ＡＩＤ１およびＲＡＩＤ５）を有するＲＡＩＤレベルの
仮想記憶空間にマッピングされる。ＲＡＩＤレベル仮想
記憶空間は、その後アプリケーションレベル仮想記憶空
間にマッピングされる。この空間は、ユーザに記憶空間
を提供するが、それは１つの大きく連続的にアドレス可
能な空間である。動作中には、ユーザ記憶がアプリケー
ションレベル仮想記憶空間での変化を要求すると、その
変化を受け入れるために、ＲＡＩＤレベル仮想空間にお
いてミラーＲＡＩＤエリアとパリティＲＡＩＤエリアと
の間でデータを移動させることができる。例えば、一旦
はミラー冗長にしたがって記憶されたデータが、移動し
てパリティ冗長を使用して記憶されてもよく、その逆も
可能である。

【００１４】データ移動により、管理者は、動作条件を
明確にし且つ論理記憶ユニット（すなわちＬＵＮ）を組
むにあたって、絶大なフレキシビリティを得ることがで
きる。一例として、このタイプのＲＡＩＤシステムは、
最初は、最適性能を有するＲＡＩＤ１の構成にしたがっ
てユーザデータを記憶することができる。ユーザデータ
がストライプセットまたは冗長グループのアレイ容量の
５０％に近付き、さらにこれを越えると、システムは、
ＲＡＩＤ１およびＲＡＩＤ５にしたがってデータを記憶
し始め、記憶装置が変更を要求したら、連続的な方法で
ＲＡＩＤ１とＲＡＩＤ５との間で動的にデータを移動さ
せることができる。動作中の任意の時点で、データは、
全ディスク上に、ＲＡＩＤ１またはＲＡＩＤ５、あるい
はその両方として記憶されうる。ＲＡＩＤ１記憶および
ＲＡＩＤ５記憶の割合は、データの入出力および記憶容
量と共に動的に変化する。これにより、システムは、ユ
ーザデータ量の増加に対して、性能および使用可能容量
を動的に最適化することができる。

【００１５】各ＲＡＩＤレベルがコストパフォーマンス
とコストキャパシティとの割合においてそれぞれ特徴を
有しているのは明らかである。しかし、重要なことは、
ＲＡＩＤシステムが冗長データを維持および管理して、
記憶ディスクまたは構成要素の故障時にデータを回復す
ることができるということである。これに関して、各Ｒ
ＡＩＤレベルはまた、使用されているディスクの数の関
数としてデータ損失までの平均時間を決定する特徴的な
アベイラビリティを有している。すなわち、ＲＡＩＤレ
ベルが異なれば、データ保護の度合も異なるということ
である。ディスクまたは構成要素の故障時には、冗長デ
ータは、システムの動作可能部分から引き出されて、そ
の構成要素またはディスクの故障のために失われたオリ
ジナルデータの再生または再構築のために使用される。
具体的には、ＲＡＩＤ冗長グループ内のあるディスクが
故障すると、アレイは、再構築の終了後に、冗長グルー
プがデータの損失無しにもう一度ディスクの故障に耐え
られるように、（空間が利用可能だと仮定して）その冗
長グループ内の無事なディスク上にデータを再構築しよ
うとする。システムの設計により、再構築は自動化され
ているときもあり、ユーザの入力を必要とするときもあ
る。再構築に影響を与える設計ファクタには、例えば、
スペアディスクがアレイ中で特定されているかどうか、
または故障したディスクがユーザによって手作業で取り
換えられなければならないか、等が含まれる。

【００１６】

【発明が解決しようとする課題】再構築設計とは無関係
に、ディスクまたは構成要素の故障検出後のデータ再構
築中において、システムは、再構築が完了する前に同じ
ストライプセットまたは冗長グループ内でのさらなるデ
ィスクまたは構成要素の故障が起こり得る状況に置かれ
たままである。どのＲＡＩＤシステムでも、データの弱
さは、そのデータに対して使用されているＲＡＩＤアー
キテクチャ（冗長方式）に依存するために、このことは
重要である。

【００１７】例えば、ＲＡＩＤ１記憶方式およびＲＡＩ
Ｄ５記憶方式を有する単一冗長グループ内の１０個のデ
ィスクを使用し、各ＲＡＩＤレベルが１つまたはそれ以
上のディスクで別個にまたは一緒に使用される可能性が
ある、階層型ＲＡＩＤアレイを考える。ＲＡＩＤ５記憶
は、各ディスク上の１ブロックサイズのデータストライ
プを含む。９つのディスクの各々は、ストライプの各ブ
ロックに実際のユーザデータを保持する。１０番目のデ
ィスクは、冗長（パリティ）情報を含むストライプにお
けるデータブロックを保持する。１つのディスクが故障
すると、故障したディスク上のデータは、残っている９
つのディスク上のデータから再構築することができる。
その後に、オリジナルデータおよび再構築されたデータ
を、１つの新しいストライプにおける９つの残存してい
るディスクにわたって再書き込みすることができる（こ
れらのディスクの１つは、この新しいストライプにおけ
るパリティディスクに指定される）。しかし、ＲＡＩＤ
５データを全て再構築して再書き込みする前に、９つの
残存ディスクのいずれかが故障したら、データは失われ
てしまうであろう。

【００１８】この例のＲＡＩＤ１記憶に対して、１０個
のディスクのうち第１のものに記憶されたデータは、ア
レイ内の第２のディスク上にのみ、そのミラーが作成さ
れる。第１のディスクが故障すると、第２のミラーディ
スクからの再構築中にデータが失われるのは、第２のミ
ラーディスクが故障したときのみである。他のディスク
が故障すると、アレイは、ＲＡＩＤ１データを失うこと
はないが、ＲＡＩＤ５データは失われる。

【００１９】したがって、この例のＲＡＩＤ１およびＲ
ＡＩＤ５の階層記憶では、ディスク故障時の再構築中
に、ＲＡＩＤ５記憶の方がＲＡＩＤ１記憶より弱い、す
なわちデータが失われる可能性がより大きい。しかし、
従来の階層型ＲＡＩＤシステムでは、使用されるＲＡＩ
Ｄレベルの弱さとは関わりなく、データの再構築を行
う。

【００２０】したがって、階層型ＲＡＩＤシステムにお
ける再構築中のデータ損失の可能性を最小化するため
に、使用されている階層型ＲＡＩＤレベルのデータアベ
イラビリティ特性を考慮に入れたデータの回復および再
構築の管理をする必要がある。

【００２１】

【課題を解決するための手段】この発明の一面による
と、ＲＡＩＤシステムのようなデータ冗長方式を使用す
る階層型データ記憶システムにおいて、記憶システムに
おけるディスク故障に応答してデータを管理する方法
は、記憶システムにて特定された最も弱いデータ冗長方
式に基づいて、データ再構築の優先順位付けをするステ
ップを含んでいる。データ再構築の優先順位付けは、最
も弱いデータ冗長方式の再構築を、システム中の他のい
ずれのデータ冗長方式の再構築よりも先に行うステップ
を含んでいる。最も弱いデータ冗長方式は、データ記憶
システム内の各データ冗長方式についての再構築によっ
て防ぐことができるデータを損失する確率を、そのシス
テム中の１つ以上のディスクが次に故障する可能性とい
う観点から比較することによって、決定される。各デー
タ冗長方式に対するデータ損失の確率は、記憶装置の
数、装置故障の回数、平均故障間隔、再構築のための平
均時間または計算時間、および故障依存性のような、ア
レイ中の記憶システムおよび記憶装置に付随した特性を
考慮することによって、決定される。

【００２２】本発明は、さらに、上記の再構築優先順位
付け方法を具現しているデータ記憶システムおよび装置
を含んでいる。

【００２３】本発明の他の目的、効果、および能力は、
説明が進むにつれて、さらに明らかになるであろう。

【００２４】

【発明の実施の形態】図１は、階層型ＲＡＩＤデータ記
憶システム１０のブロック図であって、このシステム１
０は、システム中のあるデータへのアクセスが不可能に
なるようなディスクの故障、構成要素の故障、または他
のシステム故障の発生時に、データ再構築を優先順位付
けする本発明のシステム３５および方法が使用されてい
る。データ記憶システム１０はディスクアレイ１５を含
んでおり、このディスクアレイ１５は、複数の記憶ディ
スク２０と、ディスクアレイ１５に結合されて記憶ディ
スク２０からおよび記憶ディスク２０へのデータ転送を
調整するディスクアレイコントローラクラスタ２５と、
階層型ＲＡＩＤ管理システム３０とを有している。ＲＡ
ＩＤ管理システム３０は、アレイ１５内のデータ記憶お
よび階層型ＲＡＩＤレベル（冗長方式）を制御し、さま
ざまな階層型冗長方式の間でのデータの転送を制御す
る。重要なのは、ＲＡＩＤ管理システム３０は、本発明
によるデータ再構築優先順位付けシステム３５を含んで
いることである。具体的に言えば、任意の記憶ディスク
２０に対するディスクまたは構成要素の故障時には、デ
ータ再構築優先順位付けシステム３５は、最も弱いＲＡ
ＩＤレベルにしたがった再構築を第一に優先順位付けす
ることによって、潜在的なデータ損失を最小化する。

【００２５】「ディスク」とは、任意の不揮発性のラン
ダムアクセス可能で書き換え可能な大容量記憶装置であ
る。これには、回転する磁気的および光学的ディスクお
よび固体ディスクと、不揮発性電子記憶素子（ＰＲＯ
Ｍ、ＥＰＲＯＭ、およびＥＥＰＲＯＭ等）との両方が含
まれる。「ディスクアレイ」とは、ディスクの集合体で
あって、それらを１つ以上のホストコンピュータに接続
するために必要とされるハードウエアと、物理ディスク
の動作を制御し、それらをホストの動作環境に対して１
つ以上の仮想ディスクとして提供するために使用される
管理ソフトウエアとを指す。「仮想ディスク」は、管理
ソフトウエアによってディスクアレイ内に実現される抽
象的な構成要素である。「記憶装置の故障」または「デ
ィスクの故障」とは、ディスク２０のうち任意の１つ以
上のものへのアクセスができなくなったり、任意の１つ
以上のディスク上のデータへのアクセスができなくなっ
たりするような、システム１０または構成要素の１つま
たは複数の態様、１つまたは複数の事象を含むものと、
定義される。典型的なディスク故障には、物理ディスク
２０自身の実際の故障、単数または複数のディスクへの
読み書きアクセスに影響を与えるシステムまたは構成要
素の故障、単数または複数のディスクをアクセス不能に
する１つの事象またはその組み合わせ、あるいはアレイ
１５からの１つまたは複数のディスクの取り外しも含ま
れる。「アレイ」とは、この文中では、記憶装置のセッ
トまたはサブセットを含むものと定義される。

【００２６】ディスクアレイコントローラクラスタ２５
は、スモールコンピュータシステムインターフェース
（ＳＣＳＩ）のような１つ以上のインターフェースバス
４０を介してディスクアレイ１５に結合されている。Ｒ
ＡＩＤ管理システム３０は、インターフェースプロトコ
ル４５を介して、ディスクアレイコントローラクラスタ
２５に動作可能に結合されている。図示されているシス
テムでは、ディスクアレイコントローラクラスタ２５
は、ディスクアレイコントローラ「Ａ」２５Ａとディス
クアレイコントローラ「Ｂ」２５Ｂとからなるデュアル
コントローラとして実現されている。デュアルコントロ
ーラ２５Ａおよび２５Ｂは、一方のコントローラが動作
不能状態になったときに連続的なバックアップおよび冗
長性を提供することによって、信頼性を向上させてい
る。しかし、本発明は、３つ以上のコントローラ、単一
のコントローラ、または他のアーキテクチャを使用して
実施することも可能である。

【００２７】好適な実施形態では、ＲＡＩＤ管理システ
ム３０およびデータ再構築優先順位付けシステム３５
は、ディスクアレイコントローラクラスタ２５の不揮発
性ランダムアクセスメモリ（ＮＶＲＡＭ）２５Ｃ、２５
Ｄの内部のファームウエアとして構成されている。ＲＡ
ＩＤ管理システム３０およびデータ再構築優先順位付け
システム３５は、ディスク故障後のデータ再構築を含め
てコントローラクラスタ２５およびアレイ１５を管理す
るために必要な、および本願明細書中でさらに十分に論
じられる本発明に従った再構築の順序またはシーケンス
の優先順位付けおよび／または管理を行うために必要な
実行可能な指示、ルーチン、テーブル、および／または
他のデータならびにデータ構造を含んでいる。ＲＡＩＤ
管理システム３０およびデータ再構築優先順位付けシス
テム３５は、単に描写および説明の明瞭化のために、コ
ントローラクラスタ２５から別個に示されている。ある
いは、ＲＡＩＤ管理システム３０およびデータ再構築優
先順位付けシステム３５は、ファームウエアまたはソフ
トウエアのいずれかとして（図示されているように）別
個の構成要素として具現化されてもよく、ホストコンピ
ュータ５０のメモリ内に構成されてもよい。あるいは、
これらのシステムは、（ＡＳＩＣのような）ハードウエ
アに組み込まれた回路中で具現化されてもよい。データ
記憶システム１０は、Ｉ／Ｏインターフェースバス５５
を介してホストコンピュータ５０に結合される。

【００２８】本願明細書の開示内容は、一般的なＲＡＩ
Ｄ管理技術またはディスク故障時の実際のデータ再構築
技術に関しては、詳細には触れていないことに留意すべ
きである。これは、これらの技術が当該技術分野ではす
でに十分に良く知られており、開示されているからであ
る。むしろ、本発明の開示内容は、複数の（階層型）デ
ータ冗長レベルおよび／または冗長グループを使用した
アレイシステムの再構築の順序またはシーケンスを優先
順位付けおよび／または管理する実施形態および方法の
特定に、焦点を絞っている。加えて、ＲＡＩＤシステム
が具体的に示され且つ説明されているが、本発明が任意
のデータ冗長方式、技術、グループ、またはシステムに
適用可能であることが、理解されるであろう。

【００２９】階層型ディスクアレイ１５は、物理的記憶
空間および1つ以上の仮想ＲＡＩＤレベル記憶空間を含
む、複数の異なる記憶空間により特徴付けられる。これ
らの記憶の捉え方は、マッピング技術を通じて関係して
いる。具体的には、ディスクアレイ１５の物理的記憶空
間は、さまざまなＲＡＩＤデータ信頼性レベル（冗長方
式）にしたがって記憶エリアを分割している仮想記憶空
間にマッピングされる。例えば、ディスクアレイ１５中
の記憶ディスク２０は、複数の冗長グループ６０、６
５、７０、７５に配置されているというように概念化す
ることができる。これらの複数の冗長グループ６０、６
５、７０、７５の各々は、定義されたディスク２０のサ
ブセットを有しており、各冗長グループは、ストライプ
６０Ａ、６０Ｂ、６０Ｃ、６５Ａ、６５Ｂ、６５Ｃ、７
０Ａ、７０Ｂ、７０Ｃ、および７５Ａ、７５Ｂ、７５Ｃ
を有するストライプセットに構成される。代表例として
４つの冗長グループ６０、６５、７０、７５が示されて
おり、これらの各々は０から「Ｎ」までのストライプを
有している。しかし、本発明においては、任意の数のグ
ループおよびストライプが使用可能である。

【００３０】任意の所与の時刻にて、各ストライプは特
定のＲＡＩＤレベル冗長方式に割り当てられており、各
冗長グループは、そのストライプセット内の１つ以上の
ＲＡＩＤレベルを含んでいる。好適な実施形態では、Ｒ
ＡＩＤ管理システム３０は、記憶容量、データ信頼性、
および性能上の必要事項に依存して、ストライプおよび
冗長グループ間で冗長方式を移動させる。例えば、任意
の所与の時刻にて、冗長グループ６０のストライプ０
（６０Ａ）をＲＡＩＤレベル１のミラー冗長と指定し、
ストライプ１（６０Ｂ）およびストライプＮ（６０Ｃ）
をＲＡＩＤレベル５のパリティ冗長と指定してもよい。
一方、冗長グループ６５の全体をＲＡＩＤレベル６と指
定し、他の冗長グループ７０および７５を、ＲＡＩＤレ
ベル２、３、４、５、または６を含む単一または複数の
冗長方式の任意の組み合わせと指定してもよい。重要な
ことは、説明したように、これらのＲＡＩＤレベルの各
々が、同じディスク上または別個のディスク上、あるい
はこれらの組み合わせの上に構成されても、その全てが
ディスクアレイ１５内のストライプセットまたは冗長グ
ループの内部に構成されてもよいということである。

【００３１】データ記憶システム１０は、ディスクアレ
イ１５をマッピングするために使用される仮想マッピン
グ情報を永続的に記憶するメモリマップ記憶を含んでい
る。このメモリマップ記憶はディスクアレイの外部に置
かれており、ディスクアレイコントローラクラスタ２５
のメモリ２５Ｃおよび２５Ｄに冗長的に存在しているの
が好ましい。コントローラクラスタ２５またはＲＡＩＤ
管理システム３０は、異なる視点の間のさまざまなマッ
ピング構成の変化につれて、メモリマッピング情報を、
断続的にまたは定期的に更新することができる。

【００３２】図示しているように、ディスクアレイ１５
は複数の記憶ディスク駆動装置２０を有しており、装置
２０上のデータ冗長の管理は、ＲＡＩＤ管理システム３
０によって調整される。ユーザまたはホストアプリケー
ションプログラムから見られたとき、アプリケーション
レベル仮想ビューは、アレイ１５内の記憶ディスク２０
上の利用可能な記憶空間を示す単一の大きな記憶容量に
なり得る。すでに述べたように、好適な実施形態では、
ＲＡＩＤ管理システム３０は、物理的記憶空間にわたっ
てＲＡＩＤエリアの構成を動的に変化させる。結果とし
て、ＲＡＩＤレベル仮想ビュー内のＲＡＩＤエリアのデ
ィスク上へのマッピング、およびフロントエンド仮想ビ
ューのＲＡＩＤビューへのマッピングは、通常変化する
状態に置かれている。メモリ２５Ｃおよび２５Ｄにおけ
るメモリマップ記憶は、ＲＡＩＤ管理システム３０によ
ってＲＡＩＤエリアをディスク上にマッピングするため
に使用された現在のマッピング情報、並びに仮想ビュー
間でのマッピングに使用された情報とを維持する。ＲＡ
ＩＤ管理システムは、ＲＡＩＤレベルマッピングを動的
に変化させるときに、その変化を反映させるためにメモ
リマップ記憶内のマッピング情報の更新も行う。

【００３３】ここで重要なのは、ディスク２０のうちの
いずれか１つ以上に関連するディスク故障時には、本発
明のデータ再構築優先順位付けシステム３５が起動され
て、アレイ１５内の冗長方式（すなわちＲＡＩＤレベ
ル）に優先順位を付けて、潜在的なデータ損失の可能性
を最小化するような方法でのデータ再構築ができるよう
になることである。具体的には、１つまたは複数のディ
スク故障に応答して、本発明は、各冗長グループにおけ
る冗長方式に優先順位を付け、最も弱いＲＡＩＤレベル
の記憶再構築を最初に行い、２番目に弱いＲＡＩＤレベ
ルを次に行うというように、記憶の再構築を行う。最も
弱い冗長方式（すなわちＲＡＩＤレベル）は、アレイ１
５内で再構築によって防ぐことができる潜在的なデータ
損失に対して、（アレイ中の１つ以上の記憶装置が次に
故障する可能性の観点から、その冗長グループ内の他の
任意のＲＡＩＤレベルと比較して、およびアレイ中の他
の任意の冗長グループ内における任意の他のＲＡＩＤレ
ベルと比較して）最も高い確率を有する冗長方式と定義
される。同じ冗長方式（すなわちＲＡＩＤレベル）が２
つ以上の別個の冗長グループで使用されている場合に
は、最も弱い冗長方式は、所与の冗長グループと比較し
て定義されてもよい。

【００３４】優先順位付け技術は、使用されているかま
たは使用される可能性があるＲＡＩＤレベルまたは他の
データ冗長レベルには無関係に、アレイ１５に適用され
る点で効果的である。１つまたは複数のディスク２０が
故障したとすると、データの弱さは、再構築によって防
ぐことができるデータ損失の確率によって測定される。
好適な実施形態においては、データ再構築優先順位付け
システム３５は、故障の影響を受けるデータを実際に再
構築するのではなく、むしろ、再構築の順序を特定して
優先順位を付け、ＲＡＩＤ管理システム３０が再構築を
実行している。

【００３５】階層型アーキテクチャでは同じ１つまたは
複数のディスク２０上に複数のＲＡＩＤレベルが存在し
ているため、あるいは、１つ以上の冗長グループ上に１
つ以上のＲＡＩＤレベルが存在しているために、ディス
ク故障の発生後に、再構築優先順位付けシステム３５に
よってＲＡＩＤレベルの再構築を１つずつ行うようにす
ることで、実際にデータ損失に繋がりうる、連続したデ
ィスクの故障を減らすことができる。この状況では、Ｒ
ＡＩＤレベルが再構築される順序は重要なものになるこ
とがある。なぜなら、データを失う確率が低減され得る
からである。

【００３６】再構築の順序またはシーケンスは、ディス
ク記憶システム１０によってサポートされている実際の
ＲＡＩＤレベルと、ディスク故障が発生するシーケンス
とに、大きく依存している。故障するディスクの組み合
わせの数、および、所与のディスクアレイ１５またはデ
ィスク２０のセットに共存し得るＲＡＩＤレベルの数は
非常に大きくなるので、以下の例では、好適な実施形態
にしたがって、データ再構築優先順位付けシステム３５
により実行される再構築順序（優先順位）の分析法およ
びステップを例示する。

【００３７】まず、単一の冗長グループ（グループ１）
にＮ個のディスク２０のセットがあり、単純化のために
Ｎが偶数であるとする。加えて、Ｎ個のディスクの全て
が、ディスクの一部が他のディスクにミラーコピーされ
ているＲＡＩＤ１、およびＮ−２個のディスクが実際の
データを含み２つのディスクは２つの独立パリティ（２
つの余分な冗長情報）を含むＲＡＩＤ６、で構成されて
いるとする。ここでもまた、これらのＲＡＩＤレベルの
みが本発明によりサポートされるということではなく、
例示目的のために好適な実施形態を上記のＲＡＩＤレベ
ルに限定していることに、留意されたい。

【００３８】次に、冗長グループｙにおけるｚ個のディ
スクが故障していると特定されたとしたときに、再構築
により防ぐことができ得る、冗長グループｙ中のＲＡＩ
Ｄｘ（または冗長方式）を失う確率として、条件付き確
率Ｐ（ｘ、ｙ|ｚ）を次のように定義する。Ｐ（ｘ、ｙ|
ｚ）＝Ｐｒ（冗長グループｙにおいて再構築で防ぐこと
ができるＲＡＩＤｘを失う確率|冗長グループｙにおけ
るｚ個のディスクが故障していると特定されたとき）こ
こで、ｚ＝０のとき（すなわち、冗長グループｙにおけ
るディスクの故障が無いとき）、または冗長グループｙ
のＲＡＩＤｘがすでに失われている（すなわち防ぐこと
ができない）とき、Ｐ（ｘ、ｙ|ｚ）＝０とする。

【００３９】再構築優先順位付けシステム３５による再
構築は、１つまたは複数のディスク故障が発生するまで
は開始されないので、上記の確率は、ディスク故障時に
条件付けされなければならない。これより、一つのの冗
長グループシステム（ｙ＝１）に対しては、次のように
なる。Ｐ（１、１|１）＝「冗長グループ１において１つのデ
ィスクが故障したとするときに、冗長グループ１のみに
おいて、再構築で防ぐことができるＲＡＩＤ１データが
失われる確率」、Ｐ（６、１|１）＝「冗長グループ１において１つのデ
ィスクが故障したとするときに、冗長グループ１のみに
おいて、再構築で防ぐことができるＲＡＩＤ６データが
失われる確率」

【００４０】また、ＭＴＢＦがディスクの平均故障間隔
であり、ＭＴＴＲが平均再構築時間であるとする。ＭＴ
ＢＦおよびＭＴＴＲ特性は、統計サンプルを使用するよ
うな従来の方法によって決定されるか、または、ディス
クメーカーの仕様から得ることができる。ＭＴＴＲを以
下の解説にて使用するが、再構築までの計算時間もまた
使用可能であり、ＭＴＴＲの代わりに用いてもよいこと
に留意されたい。加えて、ＭＴＴＲは、ＲＡＩＤレベル
に依存し、且つシステム構成に依存することがわかる。
しかし、解説を容易にするために、任意のＲＡＩＤレベ
ルに対するＭＴＴＲ（オンラインにスペアが用意されて
いなければディスク交換時間を含み得る）は一定である
とする。また、ディスク故障はランダムに発生する（且
つ指数分布に従う）とする。これより、この文中では、
再構築時間中に所与のディスクが故障する定常確率は、
以下のように計算される。

【００４１】Ｐ（再構築中に所与のディスクが故障）＝
ＭＴＴＲ／ＭＴＢＦ以上の前提の下で、次のシナリオを分析する。ケース１：１つのディスクが故障ケース２：ＲＡＩＤ１で、互いがミラーではない２つの
ディスクが故障ケース３：ＲＡＩＤ１で、互いがミラーである２つのデ
ィスクが故障ケース４：３つ以上のディスクが故障

【００４２】ケース１：ＲＡＩＤ１およびＲＡＩＤ６；
１つのディスクが故障ケース１に対して、１つのディスクが故障しており、そ
の故障ディスクが再構築されている間に、次のディスク
故障がＲＡＩＤ１での故障ディスクのミラーイメージに
て発生したら、ＲＡＩＤ１データの損失が生じる。この
ときには、次のようになる。Ｐ（１、１|１）＝Ｐ（再構築中に、第１の故障ディスクのミラーである第２のディスクが故障）＝ＭＴＴＲ／ＭＴＢＦ一方、次のディスク故障がＲＡＩＤ１での故障ディスク
のミラーでなければ（第１の故障ディスクのミラーでな
い限り、どのディスクでもよく、Ｎ−２通りの可能性が
ある）、ＲＡＩＤ６でのデータ損失は生じない。ＲＡＩ
Ｄ６データ損失が生じるのは、第３のディスク（任意の
残存しているディスクであり、Ｎ−２通りの可能性があ
る）の故障時のみである。これより、次のようになる。Ｐ（６、１|１）＝Ｐ（再構築中に、第１の故障ディスクのミラーではない第２のディスクの故障）×Ｐ（再構築中に、任意の残存ディスクである第３のディスクの故障）＝（Ｎ−２）（ＭＴＴＲ／ＭＴＢＦ）×（Ｎ−２）（ＭＴＴＲ／ＭＴＢＦ）＝（Ｎ−２）^２ＭＴＴＲ^２／ＭＴＢＦ^２

【００４３】続いて、Ｐ（１、１|１）とＰ（６、１|
１）とが比較され、どちらのＲＡＩＤレベルを先に再構
築するように優先順位付けをすべきかが決定される。明
らかに、確率が高いほど、そのＲＡＩＤレベルの最初に
再構築されるべき優先順位は高くなる。したがって、ケ
ース１のシナリオに対してはたいていの場合、ＲＡＩＤ
１が、潜在的なデータ損失に対して最も弱く、これより
最初に再構築されるよう優先順位が付けられる。なお、
Ｎが大きくなれば、ＲＡＩＤ６を先に再構築するという
例外が存在する。例えば、このケーススタディにおいて
は、Ｎ＞２＋（ＭＴＢＦ／ＭＴＴＲ）^１／２であるとき
に、ＲＡＩＤ６が先に再構築される。

【００４４】ケース２：ＲＡＩＤ１およびＲＡＩＤ６；
互いがミラーではない２つのディスクが故障ケース２に対して、故障した２つのディスクがＲＡＩＤ
１におけるお互いのミラーでないときには、再構築中の
次のディスク故障（任意の残存しているディスクであ
り、Ｎ−２通りの可能性がある）により、ＲＡＩＤ６に
おけるデータ損失が生じる。これより、次のようにな
る。Ｐ（６、１|２）＝Ｐ（再構築中に、任意の残存ディスクの故障）＝（Ｎ−２）ＭＴＴＲ／ＭＴＢＦしかし、第３のディスク故障が、他の２つの故障ディス
クのうちの１つのミラーであると、ＲＡＩＤ１データも
また失われる可能性がある。第３のディスクは、ＲＡＩ
Ｄ１における第１の故障ディスクのミラーまたは第２の
故障ディスクのミラー（２つの可能性がある）でなけれ
ばならず、ＲＡＩＤ１データが失われる確率は、次のよ
うになる。Ｐ（１、１|２）＝Ｐ（再構築中に、すでに故障したディスクのミラーディスクのいずれかが故障）＝２ＭＴＴＲ／ＭＴＢＦここでも、Ｐ（１、１|２）とＰ（６、１|２）とが比較
され、どちらのＲＡＩＤレベルを先に再構築するように
優先順位付けをすべきかが決定される。確率が高いほ
ど、そのＲＡＩＤレベルの最初に再構築されるべき優先
順位は高くなる。したがって、どのケース２のシナリオ
でもＮ＞４であれば、ＲＡＩＤ６が、潜在的なデータ損
失に対して最も弱く、そのためこのケーススタディにお
いては、最初に再構築されるように優先順位が付けられ
る。

【００４５】ケース３：ＲＡＩＤ１およびＲＡＩＤ６；
お互いにミラーである２つのディスクが故障ケース３に対して、故障した２つのディスクがＲＡＩＤ
１におけるお互いのミラーであるときには、これら２つ
のディスク上のＲＡＩＤ１データがすでに失われてお
り、このため、ＲＡＩＤ１における失われたデータの再
構築は不可能である。このシナリオでは、残された唯一
の選択肢は、ＲＡＩＤ６データを再構築することであ
る。これより、次のようになる。Ｐ（１、１|２）＝０（ＲＡＩＤ１のデータがすでに失われており、再構築が不可能であるという事実による）Ｐ（６、１|２）＝Ｐ（再構築中に、任意の残存ディスクが故障）＝（Ｎ−２）ＭＴＴＲ／ＭＴＢＦケース３におけるＰ（１、１|２）とＰ（６、１|２）と
を比較したとき、ＲＡＩＤ６データが潜在的なデータ損
失に対して最も弱いのは明らかである。なぜなら、常に
Ｐ（６、１|２）が、より高い確率を有し、従って優先
順位がより高いからである。言い換えると、ＲＡＩＤ６
データを再構築する以外に選択肢はない。そのため、ケ
ース３のシナリオでは、ＲＡＩＤ６が常に先に再構築さ
れる。

【００４６】ケース４：ＲＡＩＤ１およびＲＡＩＤ６；
３つ以上のディスク故障最後にケース４に対して、３つまたはそれ以上のディス
クが故障すると、ＲＡＩＤ６データは明らかに失われ、
再構築され得るデータは（可能であるならば）ＲＡＩＤ
１においてのみである。この場合、ｚ≧３に対して、次
のようになる。Ｐ（６、１|ｚ）＝０（ＲＡＩＤ６のデータがすでに失
われており、再構築が不可能であるという事実による）明らかに、ケース４のシナリオに対して、唯一の選択肢
は、可能であるならばＲＡＩＤ１データを再構築するこ
とである。そのため、ケース４のシナリオでは、可能で
あるならばＲＡＩＤ１が常に先に再構築される。

【００４７】ここで、要約すると、これらのケースの例
は、ケース３に対してはＲＡＩＤ６の再構築以外に選択
肢が無く、ケース４に対しては、可能である限りＲＡＩ
Ｄ１を再構築することが唯一の選択肢であることを示し
ている。一方、ケース１およびケース２に対する判断
は、ＭＴＴＲ、ＭＴＢＦ、およびＮに依存する。これら
の数が変化すると（すなわち、より速い修理時間、より
速い再構築時間、より長い故障間隔、システムの各冗長
グループでサポートされるディスク数の違い）、再構築
の優先順位に対する戦略も、それに応じて変化する。一
例として、例示目的のみのために、一般的な数を使用し
て、ＭＴＢＦが１００万時間（１．０Ｅ＋６時間）、Ｍ
ＴＴＲが２４時間、およびＮが１０と仮定する。このと
き、ケース１に対して次のようになる：Ｐ（１、１|１）＝ＭＴＴＲ／ＭＴＢＦ＝２４／１．０Ｅ＋６＝２．４Ｅ−５Ｐ（６、１|１）＝（Ｎ−２）^２ＭＴＴＲ^２／ＭＴＢＦ^２＝（１０−２）^２２４^２／（１．０Ｅ＋６）^２＝３．７Ｅ−８ケース２に対して：Ｐ（１、１|１）＝２ＭＴＴＲ／ＭＴＢＦ＝２×２４／１．０Ｅ＋６＝４．８Ｅ−５Ｐ（６、１|１）＝（Ｎ−２）ＭＴＴＲ／ＭＴＢＦ＝（１０−２）×２４／（１．０Ｅ＋６）＝１．９Ｅ−４この例も再び、ケース１に対しては、ＲＡＩＤ１が先に
再構築されることを示している。しかし、ケース２に対
しては、再構築戦略は、ＲＡＩＤ６に最初に集中される
べきであろう。

【００４８】最後に、ＲＡＩＤ１およびＲＡＩＤ５記憶
方式（ＲＡＩＤ６ではない）を有する１０個のディスク
を含む１つの冗長グループ（グループ１）を使用する階
層ＲＡＩＤアレイ１５の１つ以上の例に関して、本発明
の再構築優先順位付けシステム３５を考える。このと
き、各ＲＡＩＤレベルは、アレイ内の１つまたはそれ以
上のディスク上で、別個に使用されてもよく、または一
緒に使用されてもよい。ＲＡＩＤ５記憶は、各ディスク
上に、単一のブロックサイズのデータストライプを含ん
でいる。９つのディスクはそれぞれ、ストライプの各ブ
ロック内に実際のユーザデータを保持している。１０番
目のディスクは、冗長（パリティ）情報を含むストライ
プに、データブロックを保持している。あるディスクが
故障すると、故障したディスク上のデータは、残存して
いる９つのディスク上のデータから再構成することがで
きる。オリジナルデータおよび再構成されたデータは、
その後に、新しいストライプにおける９つの残存してい
るディスクにわたって再書き込みされることができる
（これらのディスクの１つは、この新しいストライプに
対するパリティディスクに指定される）。しかし、ＲＡ
ＩＤ５データが全て再構築されて再書き込みされる前に
９つの残存ディスクのいずれかが故障したら、データは
失われてしまうであろう。

【００４９】この例のＲＡＩＤ１記憶に対して、１０個
のディスクのうち第１のものに記憶されたデータは、ア
レイ内の第２のディスク上にのみミラーコピーが作成さ
れる。第１のディスクが故障すると、第２の（ミラー）
ディスクからの再構築中にデータが失われるのは、第２
のディスクが故障したときのみである。他のディスクが
故障すると、アレイは、ＲＡＩＤ１データを失うことは
ないが、ＲＡＩＤ５データは失われる。したがって、こ
の例のＲＡＩＤ１およびＲＡＩＤ５の階層記憶では、デ
ィスク故障時の再構築中に、ＲＡＩＤ５記憶の方がＲＡ
ＩＤ１記憶よりも、データが失われる確率が大きい。こ
れより、再構成優先順位付けシステム３５は、ＲＡＩＤ
５データを先に再構築する。この例の確率は、次のよ
うになる。Ｐ（１、１|１）＝Ｐ（再構築中に、第１の故障ディスクのミラーである第２のディスクの故障）＝ＭＴＴＲ／ＭＴＢＦＰ（５、１|１）＝Ｐ（再構築中に、第１の故障ディスクのミラーではない任意の第２のディスクの故障）＝（Ｎ−２）（ＭＴＴＲ／ＭＴＢＦ）

【００５０】ここで図２および図３を参照すると、これ
らのフローチャートは、本発明の望ましい実現方法を描
いており、図１を参照して説明される。図２は、全体的
で高レベルの視点からの望ましい実現方法を描いてお
り、これは、再構築優先順位付けシステム３５に関連し
た２つの独立して実行されるプロセスを表している。す
なわち、ステップ１０５で階層型ＲＡＩＤデータ記憶シ
ステム１０におけるディスク故障が検出されると、ステ
ップ１１０で割り込み１１５が送られて、再構築優先順
位付け処理が開始される。割り込み１１５の開始によ
り、本発明の再構築優先順位付けシステム３５は、ステ
ップ１２０で、再構築中におけるさらなるディスク故障
（単数または複数）が起こる確率の観点から、潜在的な
データ損失に関して、アレイ１５の中で最も弱いＲＡＩ
Ｄレベルを特定する。続いて、最も弱いＲＡＩＤレベル
を特定すると、再構築優先順位付けシステム３５は、ス
テップ１２５でＲＡＩＤ管理システム３０と通信して、
特定された最も弱いＲＡＩＤレベルを最初に再構築する
ことによって、ＲＡＩＤ管理システム３０による故障し
たディスクのデータの再構築を可能にしたり、再構築さ
せたり、またはそれを制御する。このように、重要なこ
とは、アレイ１５に対するデータ損失の確率を最小限に
することが可能になり得るということである。加えて、
アレイの全体的なアベイラビリティが増加し得る。

【００５１】再構築中に（すなわち、すでに起こってい
るディスク故障の間に）、ステップ１０５にて次のディ
スク故障が検出されると、本発明の再構築優先順位付け
システム３５は、ステップ１１０で再び割り込み１１５
を送って、ステップ１２０で再構築優先順位付けを再計
算し、ステップ１２５で、新しく優先順位が付けられた
再構築を行うか、またはその制御を行うことに留意すべ
きである。これに応答して、ＲＡＩＤ管理システム３０
は、新しく計算された再構築優先順位付けが決定したこ
とを確認し、現在実行中の再構築をホールドし、それか
ら、新たな計算情報に基づく再構築を開始して完了す
る。好適な実施形態では、この再構築優先順位付け処理
は、実行中の優先順位付けの決定またはデータ再構築の
間であっても、任意の時間において、および所与のシス
テム変更または状況の組み合わせにおいて、最も弱いＲ
ＡＩＤレベルを特定するために、ステップ１１０で割り
込み１１５によって駆動される。例えば、再構築優先順
位付けが冗長グループ６０（図１）における第１のディ
スク故障に応答して生じていて、次のディスク故障が実
際に同じ冗長グループまたは別個の冗長グループにて発
生すると、割込み信号１１５が送られて、優先順位付け
ステップ１２０を再び開始し、新しく計算された最も弱
いＲＡＩＤレベルを特定して、その新しく計算された最
も弱いＲＡＩＤレベルに基づいた再構築を行う。

【００５２】図３は、図２のステップ１２０をさらに詳
細に描いている。最も弱いＲＡＩＤレベルを特定する
（１２０）ために、アレイ中の記憶システム１０、１５
および記憶装置２０に関連した特性が考慮される。これ
には、各冗長グループ内の記憶装置の数、装置の故障の
数、平均故障間隔、平均再構築時間、および故障依存性
が含まれる。故障依存性には、冗長グループ（１つまた
は複数）についての故障の位置、どの冗長方式（１つま
たは複数）が冗長グループ（１つまたは複数）内の故障
（１つまたは複数）によって影響を受けるか、および影
響を受ける冗長方式（１つまたは複数）内の故障（１つ
または複数）の相互関係が含まれる。

【００５３】第１のステップ１５０では、アレイ中の任
意の１つまたは複数の冗長グループ６０、６５、７０、
または７５を特定する。次に、ステップ１５５で、各冗
長グループで使用される１つまたは複数のＲＡＩＤレベ
ルが特定される。例えば、ＲＡＩＤ１およびＲＡＩＤ６
を単一の冗長グループで使用したり、ＲＡＩＤ１のみを
１つの冗長グループで使用し、ＲＡＩＤ５のみを別の１
つの冗長グループで使用したり、ＲＡＩＤ１のみを複数
の別個の冗長グループで使用したり、または、ＲＡＩＤ
レベルと冗長グループとの他の組み合わせを使用すると
いったことを特定する。

【００５４】次に、ステップ１６０で、各冗長グループ
およびＲＡＩＤレベルに対して、記憶装置およびシステ
ム変数が特定される。これらの変数には、例えば、スト
ライプセットまたは冗長グループ（１つまたは複数）内
のディスクの数（Ｎ）、平均故障間隔（ＭＴＢＦ）、平
均再構築時間（ＭＴＴＲ）、および影響を受ける冗長方
式（１つまたは複数）内の故障（１つまたは複数）の相
互関係が含まれる。

【００５５】引き続いて、ステップ１６５で、（データ
記憶システムにおいて１つ以上の記憶装置が次に故障す
る可能性の観点から）データの失われる確率が、各冗長
グループ内の各ＲＡＩＤレベルに対して計算される。確
率の計算のより具体的な例については、図１の解説を参
照されたい。その後に、ステップ１７０で、計算された
確率が比較される。最後に、ステップ１７５で、比較結
果に基づいて、確率が最大であるＲＡＩＤレベルを、現
在故障しているディスクの再構築中に１つ以上の記憶装
置が次に故障する可能性という観点から、（所与の冗長
グループ内の他のＲＡＩＤレベル、ならびに他の冗長グ
ループおよびそれのＲＡＩＤレベルに比べて）最も弱い
ＲＡＩＤレベルと決定する。

【００５６】好適な実施形態では、本発明の再構築優先
順位付けシステム３５が、最も弱いＲＡＩＤレベルを特
定するためのハードコード化された指示およびデータを
含んでいることに留意されたい。言い換えると、任意の
所与の最初に製造された記憶システム１０においては、
各冗長グループにおけるディスク２０の最大数が前もっ
て分かっており、それらのＭＴＢＦ値およびＭＴＴＲ値
も既知である。加えて、実行される階層型ＲＡＩＤレベ
ルも既知であり、また前もって制限されている。これよ
り、全ての発生し得るディスク故障シナリオは既知であ
り、このために、発生し得る種々のディスク故障シナリ
オを与えたときの最も弱いＲＡＩＤレベルも、前もって
知られている（条件に基づいて前もって比較または計算
しておくことができる）。したがって、好適な実施形態
においては、再構築優先順位付けシステム３５は、ディ
スク故障後に再構築が必要になったことを検出すると、
ディスクの故障状況に適合する、事前に比較または計算
しておいた確率に基づいて、単純に分岐指示を実行する
だけである。これにより、再構築優先順位付けシステム
３５は、最も弱いＲＡＩＤレベルを迅速に特定して、Ｒ
ＡＩＤ管理システム３０に、その最も弱いＲＡＩＤレベ
ルの再構築を最初に実行させる。

【００５７】一方、再構築優先順位付けシステム３５
は、記憶システム１０を詳細に定義して特定する程度の
データ、テーブル、または構造を含んでいるので、最も
弱いＲＡＩＤレベルを動的に検出することができる。言
い換えると、システム１０内のディスク２０の数は、任
意のアレイ稼動時間中に動的に決定され、ディスクのタ
イプとそれらのＭＴＢＦ値とが、参照アクセスを動的に
可能にするために、（リードオンリーメモリのような）
メモリに記憶される。また、ＭＴＴＲ値および現時点で
使用されているＲＡＩＤレベルは、動的に計算または比
較される。動的に獲得したこれらの要因を用いて、再構
築優先順位付けシステム３５は、最も弱いＲＡＩＤレベ
ルを、優先順位付けされて最初に再構築されるように、
まさに実行中に計算し、また同じ内容をＲＡＩＤ管理シ
ステム３０に報告する。

【００５８】最後に、上記で解説した内容は、階層型Ｒ
ＡＩＤアレイに対する記憶管理およびデータ再構築優先
順位付けシステムに関する好適な実施形態である。本発
明が、当該技術分野に存在するさまざまなハードウエア
プラットフォームおよびソフトウエアツールの任意のも
のを使用して容易に実施されることが、当該技術分野に
おいて通常の技術を持つ者には明らかであろう。本発明
を特定の実施形態に関して説明してきたが、本発明の真
の精神および範囲から逸脱すること無く、実施または改
変のための他の代替的な実施形態および方法が使用され
得ることは明らかである。

【００５９】本発明は例として次の実施態様を含む。（１）階層型データ記憶システム(10)において、複数の
データ冗長方式(30)を使用してデータを管理する方法で
あって、前記データ記憶システムにおける記憶装置(20)
の故障に応答(105)して、前記記憶システムにおける最
も弱いデータ冗長方式に基づいてデータ再構築を制御す
るステップ(120,125)を含む、方法。

【００６０】（２）前記階層型データ記憶システム(10)
が、該データ記憶システム内の１つ以上の冗長グループ
(60,65,70,75)内で使用される１つ以上のデータ冗長方
式を含み、前記最も弱いデータ冗長方式が、前記１つ以
上の冗長方式および１つ以上の冗長グループとの対比に
おいて、単一の冗長グループ内の冗長方式を同定する、
上記１に記載の方法。

【００６１】（３）前記最も弱いデータ冗長方式が、前
記データ記憶システム内で１つ以上の記憶装置が次に故
障する可能性という観点から、再構築によって防ぐこと
のできるデータを損失する確率が最大であるデータ冗長
方式として定義される、上記１または２に記載の方法。

【００６２】（４）前記データ再構築を制御するステッ
プが、前記冗長方式を優先順位付けするステップと、前
記最も弱いデータ冗長方式の再構築を、前記記憶システ
ムにおける他のデータ冗長方式の再構築に先立って行う
ステップと、を含む、上記１、２、または３に記載の方
法。

【００６３】（５）前記データ再構築を制御するステッ
プが、少なくとも前記記憶装置のサブセットを含む、前
記データ記憶システムに関連した特性を考慮することに
よって、前記最も弱いデータ冗長方式を特定するステッ
プを含む、上記１、２、３、または４に記載の方法。

【００６４】（６）複数の大容量記憶装置(20)と複数の
データ冗長方式(30)とを有する階層型データ記憶システ
ム(10)において、データ損失の確率を低減する方法であ
って、（ａ）前記データ記憶システムにおける記憶装置
(20)において、前記大容量記憶装置(20)のうちの少なく
とも１つに関してデータをアクセス不能にするような故
障を検出するステップと、（ｂ）前記データ記憶システ
ム内で１つ以上の記憶装置が次に故障する可能性という
観点から、再構築によって防ぐことができるデータを損
失する確率が最大であるデータ冗長方式を特定するステ
ップ(120)と、（ｃ）前記データを損失する確率が最大
であるデータ冗長方式が最初に再構築されるように、デ
ータ再構築を可能にするステップ(125)と、を含む、方
法。

【００６５】（７）階層型データ記憶システム(10)であ
って、（ａ）複数のデータ冗長方式(30)と、（ｂ）前記
記憶システムにおける１つまたは複数の記憶装置(20)の
故障を検出するように構成された故障検出装置(30)と、
（ｃ）前記記憶システム内で最も弱いデータ冗長方式に
基づいてデータ再構築を行うように構成された再構築優
先順位付け装置(35)と、を備える、データ記憶システ
ム。

【００６６】（８）前記再構築優先順位付け装置が、前
記最も弱いデータ冗長方式(120,125)の再構築を、前記
記憶システムにおける他のデータ冗長方式の再構築に先
立って行うように構成されている、上記７に記載のデー
タ記憶システム。

【００６７】（９）前記最も弱いデータ冗長方式を、前
記データ記憶システム内で１つ以上の記憶装置(20)が次
に故障する可能性という観点から、再構築によって防ぐ
ことができるデータを損失する確率が最大であるデータ
冗長方式として定義する、上記７または８に記載のデー
タ記憶システム。

【００６８】（１０）前記再構築優先順位付け装置(35)
が、最も弱いデータ冗長方式に基づくデータの再構築
を、少なくとも前記記憶装置のサブセットを含む前記デ
ータ記憶システムに関連した特性を考慮することによっ
て行う(160)ように構成されている、上記７、８、また
は９に記載のデータ記憶システム。

【００６９】（１１）複数のデータ冗長方式(30)を有す
る階層型データ記憶システム(10)におけるデータ再構築
を制御するためのコンピュータ実行可能な指示を有し、
前記データ再構築が、前記記憶システムにおける最も弱
いデータ冗長方式に基づいている、コンピュータ読取り
可能な媒体。

【図面の簡単な説明】

【図１】本発明の再構築順位付けシステムおよび方法
を使用する階層データ記憶システムのブロック図であ
る。

【図２】本発明の好適な方法を描いている（好適な実
施形態を示す）フローチャートである。

【図３】図２の方法のうちで特定されたステップをさ
らに詳細に描いているフローチャートである。

【符号の説明】

１０階層型データ記憶システム２０記憶ディスク（装置）３０ＲＡＩＤ管理システム３５再構築優先順位付けシステム（装置）６０冗長グループ６５冗長グループ７０冗長グループ７５冗長グループ１０５ディスク故障検出ステップ１２０最も弱いデータ冗長方式の特定ステップ１２５データ再構築ステップ１６０記憶装置およびシステム変数の特定ステップ

フロントページの続き (72)発明者ロジャー・ディー・ダニエルズアメリカ合衆国83709アイダホ州ボイジー、ウィチタ・ドライブ 8568 (72)発明者ディビッド・ケー・アンバーガーアメリカ合衆国83705アイダホ州ボイジー、ハイデン・ウェイ 2604

Claims

【特許請求の範囲】

【請求項１】階層型データ記憶システムにおいて、複
数のデータ冗長方式を使用してデータを管理する方法で
あって、前記データ記憶システムにおける記憶装置の故障に応答
して、前記記憶システムにおける最も弱いデータ冗長方
式に基づいてデータ再構築を制御するステップを含む、
方法。