JP2000148409A - 冗長記憶装置 - Google Patents

Abstract

(57)【要約】 【課題】 冗長記憶装置における多重障害時の耐故障性
能を向上させる。 【解決手段】 ｎ行×ｍ列のマトリックス状に配置され
た数のデータ用ディスクドライブ１０９（（Ｄ１，１）
〜（Ｄｍ，ｎ））を含むディスクアレイ１０２におい
て、パリティグループを構成する各列に対応した列方向
冗長ディスクドライブ１１０の他に、各行方向のｍ台の
データ用ディスクドライブ１０９の各々のｍ個の単位デ
ータから生成された冗長データが格納される行方向冗長
ディスクドライブ１１１（（Ｐｍ＋１，１）〜（Ｐｍ＋
１，ｎ））を設け、列内のデータ用ディスクドライブ１
０９の多重障害発生時には、行方向冗長ディスクドライ
ブ１１１のデータを用いた行方向でのデータ回復を行う
ことで、多重障害に対する耐故障性能を向上させた。ま
た、列方向冗長ディスクドライブ１１０をｎ／２本の複
数ポートに分散して接続することで冗長ディスクドライ
ブへのアクセス集中を回避する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、冗長記憶技術に関
し、特に、複数の記憶装置の各々に複数の分割データお
よび当該分割データから生成された冗長データを分散し
て格納するディスクアレイ等の冗長記憶技術に適用して
有効な技術に関する。

【０００２】

【従来の技術】たとえば、ディスクドライブとキャッシ
ュを有するディスクアレイにおいて、従来では複数台の
ディスクドライブにより構成される列方向毎に冗長ディ
スクドライブを持たせて、いわゆるパリティグループを
構成することにより、列内のディスクドライブが１台故
障しても、ユーザデータの回復を可能としている。

【０００３】しかし、故障したディスクドライブのデー
タを回復する前に同列内の他のディスクドライブが１台
でも故障すると、最悪の場合、故障のディスクドライブ
を含んだ列内のユーザデータを全て失ってしまう懸念が
ある。

【０００４】たとえば、前記故障ディスクドライブ内の
データを交換ディスクドライブに再構築するためには、
冗長ディスクドライブを含む同列内の全てのディスクド
ライブからデータを読み出す必要があるが、その時に前
記データの一部においてリードエラーを起こしてしまう
と、そのリードエラーを起こしたデータに関しては、も
はや復旧不可能となってしまう。

【０００５】従来、たとえば特開平０９−３０５３２６
号公報の技術では、データ修復中にリードエラーを検出
した場合に、修復処理を一旦中断するとともにエラー発
生箇所のアドレスを記憶し、外部からエラー発生箇所に
パディングデータを補うことで、障害波及範囲を局所化
しようとする技術が知られている。しかしながら、この
従来技術の場合でも、多重エラーが発生した箇所のデー
タが失われることには変わりがない。

【０００６】

【発明が解決しようとする課題】前述の従来の技術で述
べたとおり、これまではディスクアレイのパリティグル
ープ内のディスクドライブが同時に最低２台（同列内）
故障した場合、もしくはパリティグループ内の故障ディ
スクドライブの回復中に同列内の他のディスクドライブ
でリードエラーを起こした場合には、同列内の全て、も
しくは一部のユーザデータを失ってしまう、という技術
的課題があった。

【０００７】本発明の目的は、多重障害に対する耐故障
性能を向上させ、より高い信頼性を実現することが可能
な冗長記憶技術を提供することにある。

【０００８】本発明の他の目的は、同一の冗長度でより
高い耐故障性能を実現することが可能な冗長記憶技術を
提供することにある。

【０００９】本発明の他の目的は、隣り合う行および列
に集中して同時に４台以上のディスクドライブが同時に
故障しない限り、全てのユーザデータを保証することが
可能な、より高い信頼性を持ったディスクアレイを実現
することにある。

【００１０】

【課題を解決するための手段】本発明の冗長記憶装置で
は、上位装置との間で授受されるデータを分割して得ら
れた複数の分割データ、およびこの分割データから生成
された第１の冗長データを、第１のパリティグループを
構成する複数の複数の第１の記憶装置に分散して格納さ
れる構成において、複数の第１のパリティグループを横
断する方向に前記分割データおよび第１の冗長データの
少なくとも一方を含むデータの集まりに対して第２のパ
リティグループを設定し、この第２のパリティグループ
の第２の冗長データが格納される第２の記憶装置を備え
るようにしたものである。

【００１１】より具体的には、一例として複数列×複数
行から構成されるディスクドライブを有するディスクア
レイにおいて、ディスクドライブの列方向には、複数の
ユーザデータ用ディスクドライブに対して、冗長ディス
クドライブを各列毎に持たせる。また、ディスクドライ
ブの行方向には、各列毎の複数のユーザデータ用ディス
クドライブに対して、冗長ディスクドライブを各行毎に
持たせる。

【００１２】前述の列・行の各々の方向に冗長ディスク
を持たせることにより、複数台のディスクドライブが故
障（一部のデータに関してリードエラーを起こしたディ
スクドライブを含む）した場合でもユーザデータを保証
する。つまり、ディスクドライブが故障した場合、その
故障ディスクドライブ列内の他の全てのディスクドライ
ブが正常状態であればそれらのディスクドライブから前
記故障ディスクドライブ内のデータを再構築する。もし
再構築前に同列内の他のディスクドライブが故障した場
合、もしくは故障ディスクドライブの回復中に同列内の
他のディスクドライブでリードエラーを起こした場合で
も、同行内の冗長ディスクドライブを含む全てのデータ
から、故障ディスクドライブのデータの再構築を行なう
ことができる。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。

【００１４】図１は本発明の一実施の形態である冗長記
憶装置を含む情報処理システムの構成の一例を示す概念
図であり、図２および図３は、その作用の一例を示す概
念図である。

【００１５】本実施の形態の情報処理システムは、ホス
ト１０１と、このホスト１０１との間で授受されるデー
タが格納される冗長記憶装置としてのディスクアレイ１
０２を含んでいる。

【００１６】ディスクアレイ１０２は、ＲＡＩＤコント
ローラ１０３と、その配下で稼働するデータ用ディスク
ドライブ１０９および列方向冗長ディスクドライブ１１
０を含んでいる。

【００１７】また、ＲＡＩＤコントローラ１０３は、Ｒ
ＡＩＤコントローラＣＰＵ１０４、ＣＰＵ周辺系制御回
路１０５、データ転送系制御回路１０６、ホスト・プロ
トコル・コントローラ１０７、キャッシュ１０８を備え
ている。

【００１８】複数のデータ用ディスクドライブ１０９
（（Ｄ１，１）〜（Ｄｍ，ｎ））は、ｎ行×ｍ列のマト
リックス状に配置され、各列毎に、１台の列方向冗長デ
ィスクドライブ１１０を含むパリティグループを構成し
ている。また、データ用ディスクドライブ１０９は、各
行１〜ｎの各々毎に共通のポート１〜ｎの各々に接続さ
れることによって、ＲＡＩＤコントローラ１０３（デー
タ転送系制御回路１０６）とデータの授受を行う。

【００１９】そして、ホスト１０１から受領した書き込
みデータは、ｎ個の複数の単位データ（たとえばセクタ
サイズ）に分解され、さらにｎ個の単位データから冗長
データ（第１の冗長データ）が生成され、各単位データ
は、一つのパリティグループ内のｎ台のデータ用ディス
クドライブ１０９に分散して格納され、冗長データは、
当該パリティグループ内の列方向冗長ディスクドライブ
１１０に格納される。

【００２０】本実施の形態の場合には、データ用ディス
クドライブ１０９、列方向冗長ディスクドライブ１１０
の他に、各行方向のｍ台のデータ用ディスクドライブ１
０９の各々のｍ個の単位データから生成された冗長デー
タ（第２の冗長データ）が格納される行方向冗長ディス
クドライブ１１１（（Ｐｍ＋１，１）〜（Ｐｍ＋１，
ｎ））を備えており、各々は対応するポート１〜ｎに個
別に接続されている。

【００２１】さらに、本実施の形態の場合、列方向冗長
ディスクドライブ１１０については、データ転送系制御
回路１０６からのポートを１個のみではなく、複数ポー
ト（＝［ｎ／２］）を設け、その内のいずれか１つのポ
ートを使用する。

【００２２】すなわち、図１に例示された本実施の形態
のデータ用ディスクドライブ１０９および列方向冗長デ
ィスクドライブ１１０の配列構成は、いわゆるＲＡＩＤ
４レベルに相当するが、通常のＲＡＩＤ４レベルのよう
に冗長ディスクドライブのポートが１個に固定される
と、書込み時の冗長ディスクドライブへのアクセス頻度
が、データドライブ・ポート数がｎの場合ｎ／２倍にな
るからである。なぜならば、たとえば１列目のみを考え
ると、まずポート１のドライブの単位データにデータ更
新（ライトコマンド）が発生した場合のディスクドライ
ブへのアクセスフローを以下に示すと、 （１）下記旧データのリード ・旧データ（Ｄ１，１） −＞ ポート１にアクセス ・旧列方向冗長データ（Ｐ１，ｎ＋１） −＞冗長デー
タ用ポートにアクセス ・旧行方向冗長データ（Ｐｍ＋１，１） −＞ポート１
にアクセス （２）下記新冗長データ計算 ・新列方向冗長データ（Ｐ１，ｎ＋１） ＝新データ（Ｄ１，１） ＥＯＲ 旧データ（Ｄ１，
１） ＥＯＲ旧列方向冗長データ（Ｐ１，ｎ＋１） ・新行方向冗長データ（Ｐｍ＋１，１） ＝新データ（Ｄ１，１） ＥＯＲ 旧データ（Ｄ１，
１） ＥＯＲ旧行方向冗長データ（Ｐｍ＋１，１） （３）下記新データのＷｒｉｔｅ ・新データ（Ｄ１，１） −＞ ポート１にアクセス ・新列方向冗長データ（Ｐ１，ｎ＋１） −＞冗長デー
タ用ポートにアクセス ・新行方向冗長データ（Ｐｍ＋１，１） −＞ポート１
にアクセス となる。

【００２３】つまりポート１に４回アクセス（４ Ｉ／
Ｏ）し、冗長データ用ポートに２回アクセス（２ Ｉ／
Ｏ）している。列内のディスクに均等にアクセスすると
したら、それぞれのポートに１回ずつ書込みをした場合
の、ポート毎のアクセス頻度は次の通りとなる。

【００２４】 ・ポート１ ４ Ｉ／Ｏ ・ポート２ ４ Ｉ／Ｏ ・ポート３ ４ Ｉ／Ｏ ・・・ ・ポートｎ ４ Ｉ／Ｏ ・冗長データ用ポート ２×ｎ Ｉ／Ｏ ｎが大きくなると、冗長データ用ポートにアクセス（Ｉ
／Ｏ）が集中してしまい、ディスクアレイ全体としても
その部分がボトルネックとなり性能低下を招いてしま
う。

【００２５】そこで、本実施の形態の場合には、図１に
例示されるように、複数の冗長データ用ポート（ｎ＋１
〜ｎ＋［ｎ／２］）を設け、各列毎の列方向冗長ディス
クドライブ１１０を各冗長データ用ポートに分散して接
続する構成とする。すなわち、冗長データ用ポートも他
のポートと同じようにアクセス頻度が均等になるよう異
なった列では冗長データ用ポートの接続をずらすことと
する。必要な冗長データ用ポートの数ｘは、以下の計算
より求められ、これにより最適な冗長データ用ポートの
数はｎ／２個となる。

【００２６】 ４［Ｉ／Ｏ］×列数 ＝ ２×ｎ［Ｉ／Ｏ］／ｘ ｘ ＝ ｎ／２ 図２は、一例として、データ用ディスクドライブの列数
が４列、行数（ポート数）も４行の構成において、同列
内のディスクドライブで多くとも１台しか故障しない場
合のデータ再構築を示した図である。前述の式により、
この図２の構成例での行方向の最適な冗長ディスクドラ
イブ用ポート数は、ｎ（＝４）／２＝２、となる。

【００２７】図２の構成例では、１〜４列目の故障ディ
スクドライブ２０１〜２０４および列方向冗長ディスク
ドライブ２０５〜２０８（１１０）を含んだデータ用デ
ィスクドライブ、１〜４行目（ポート１〜４）の行方向
冗長ディスクドライブ２０９〜２１２（１１１）から構
成される。

【００２８】まず１列目について、故障ディスクドライ
ブ２０１の交換後、同列の３個のデータ用ディスクドラ
イブ（（Ｄ１，１）、（Ｄ１，３）、（Ｄ１，４））お
よび同列の列方向冗長ディスクドライブ２０５を用いて
データ再構築は行われる。２列目以降（データ再構築
〜）についても同様である。この場合は、前述の列
方向冗長ディスクドライブ１１０のポート数を複数にし
た以外は、従来のＲＡＩＤ４／５方式を採用した場合と
同様で、データ再構築に同列（同じパリティグループ
内）のドライブしか使用しないので、行方向冗長ディス
クドライブ２０９〜２１２（１１１）はの冗長データは
使用されない。

【００２９】次に図３にて、本実施の形態における同一
列（同一パリティグループ）内での多重障害の回復処理
の一例について説明する。この図３の場合、配列構成は
図２と同様である。さらに２〜４列目に関しての故障デ
ィスクドライブ３０３〜３０５、列方向冗長ディスクド
ライブ３０６〜３０９（１１０）、行方向冗長ディスク
ドライブ３１０〜３１３（１１１）についても図２と同
様である。

【００３０】ただし、この場合、１列目は故障ディスク
ドライブが２個（３０１、３０２）ある多重障害の場合
であり、このような多重障害の場合のデータ再構築方法
を示す。

【００３１】この図３の状況の場合、まず１列目のディ
スクドライブが２台故障したので同列のディスクドライ
ブより再構築を行なうことは現在不可能と判断する。次
に故障ディスクドライブ３０１（Ｄ１，２）について、
今度は同行のディスクドライブ（（Ｄ２，２）、（Ｄ
３，２）、（Ｄ４，２））および行方向冗長ディスクド
ライブ３１１よりデータ再構築を試みるが、こちらも同
行内に故障ディスクドライブが２台（（Ｄ１，２）、
（Ｄ４，２））あるので、現時点では回復不可能と判断
する。故障ディスクドライブ３０２についても同様であ
る。

【００３２】よって、２列目以降のデータ再構築を試み
る。２〜４列目については図２の場合と同様に各列（パ
リティグループ）内でのデータ再構築〜を行なう。
これにより、故障ディスクドライブ３０３（Ｄ２，
４）、故障ディスクドライブ３０４（Ｄ３，１）、故障
ディスクドライブ３０５（Ｄ４，２）のデータが回復さ
れる。

【００３３】このようにして、１列目以外のデータ再構
築が終了したら、また再度、故障ディスクドライブ３０
１のデータ再構築を試みる。今度は上述のように、４列
目の故障ディスクドライブ３０５が回復しているため、
同行のディスクドライブおよび行方向冗長ディスクドラ
イブ３１１を用いてのデータ再構築が可能となる。同
様に故障ディスクドライブ３０２のデータ再構築も可
能となる。

【００３４】なお、上述の説明では、簡単のため、任意
列（パリティグループ）内の多重故障に遭遇したとき、
他のすべての列の障害復旧を試行してから、最後に最初
の多重故障の復旧を試みているが、これに限らない。

【００３５】たとえば、図３の例では、多重故障の一つ
の故障ディスクドライブ３０１の復旧を当該故障ディス
クドライブ３０１が属する行内のデータおよび冗長デー
タを使用した復旧を試み、このとき、当該行内に故障デ
ィスクドライブ３０５を発見したら、さらに、当該故障
ディスクドライブ３０５を含む第４列内での復旧を試
み、故障ディスクドライブ３０５の復旧が成功（データ
再構築）したら、順次逆上って、故障ディスクドライ
ブ３０１の復旧（データ再構築）、さらに故障ディス
クドライブ３０２の復旧（データ再構築）を行う、と
いうように列および行方向に連続した再帰的なエラー回
復試行動作を行うようにしてもよい。

【００３６】以上のように、本実施の形態の場合には、
列方向冗長ディスクドライブ１１０の他に、行方向冗長
ディスクドライブ１１１を備えたことにより、従来より
も多重障害の発生に対して高い耐故障性能を実現でき、
格納データの信頼性を高めることができる。

【００３７】すなわち、図６に示されるように、従来の
ＲＡＩＤ４／５の方式では、使用中に、同列（パリティ
グループ）内のディスクドライブが２台同時に故障（故
障ディスクドライブ６０１〜６０２）するだけで当該列
内のユーザデータを全て失ってしまう。

【００３８】これに対して、本実施の形態の場合には、
たとえば図４（図３）の構成例では、連続した複数の列
および行に跨がって集中して同時に４台故障しない限り
（故障ディスクドライブ４０１〜４０４）、ユーザデー
タを失うことはなく、故障ディスクドライブが分散して
いる場合には、４台以上の場合でも、図３に例示された
ように回復可能である。

【００３９】また、当然、図６のような障害発生状況の
場合でも、本実施の形態の技術ではユーザデータを保証
することができ、その方法については上述の図３を用い
て説明した通りである。

【００４０】さらに、本実施の形態の場合、たとえば８
行×８列のデータ用ディスクドライブ１０９の配列構成
では、列方向冗長ディスクドライブ１１０および行方向
冗長ディスクドライブ１１１がそれぞれ８台ずつで、合
計１６台の冗長ドライブが必要となり、冗長度は（６
４：１６＝４：１）となるが、これは、従来の４Ｄ＋１
Ｐ構成のディスクアレイと、同じ冗長度（４：１）であ
る。

【００４１】すなわち、本実施の形態の場合、従来の従
来のＲＡＩＤ４レベルのディスクアレイの場合と同等の
冗長度にて、多重障害に対するより高い耐故障性能を実
現できることがわかる。

【００４２】以上の説明では、一例としてＲＡＩＤ４レ
ベル相当のディスクアレイに適用した場合について説明
したが、図５に例示されるように、パリティデータ（冗
長データ）の格納をパリティグループ内の特定のドライ
ブに固定しないＲＡＩＤ５レベル相当のディスクアレイ
に対しても本発明は適用可能である。

【００４３】この場合には、任意の列内のデータ更新の
発生に際して、更新データに対応した行の行方向冗長デ
ィスクドライブ１１１に対するアクセスと、更新データ
に対応した列内の列方向冗長ディスクドライブ１１０の
データ更新に対応した行の行方向冗長ディスクドライブ
１１１に対するアクセスが発生するので、データ更新時
のＩ／Ｏ回数は８回となり、従来の４回に対して、いわ
ゆるライトペナルティは２倍に増加するが、図１の場合
と同様に、多重障害に対する高い耐故障性能を実現する
ことができる。

【００４４】以上本発明者によってなされた発明を実施
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。

【００４５】たとえば、上述の説明では、ディスクドラ
イブを二次元配列にした場合について説明したが、三次
元以上の場合でも、各次元の軸方向に平行な配列毎に冗
長データを生成して個別に保持することで、高い耐故障
性能を実現することができる。

【００４６】

【発明の効果】本発明の冗長記憶装置によれば、多重障
害に対する耐故障性能を向上させ、より高い信頼性を実
現することができる、という効果が得られる。

【００４７】また、同一の冗長度でより高い耐故障性能
を実現することができる、という効果が得られる。

【００４８】また、隣り合う行および列に集中して同時
に４台以上のディスクドライブが同時に故障しない限り
全てのユーザデータを保証することが可能な、より高い
信頼性を持ったディスクアレイを実現することができ
る、という効果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施の形態である冗長記憶装置を含
む情報処理システムの構成の一例を示す概念図である。

【図２】本発明の一実施の形態である冗長記憶装置の作
用の一例を示す概念図である。

【図３】本発明の一実施の形態である冗長記憶装置の作
用の一例を示す概念図である。

【図４】本発明の一実施の形態である冗長記憶装置にお
いてユーザデータを失ってしまう最悪のケースを示した
概念図である。

【図５】本発明の冗長記憶装置の変形例としてＲＡＩＤ
５に適用した場合の一例を示す概念図である。

【図６】従来のディスクアレイにおけるデータ喪失とな
る多重障害の一例を示す概念図である。

【符号の説明】

１０１…ホスト、１０２…ディスクアレイ、１０３…Ｒ
ＡＩＤコントローラ、１０４…ＲＡＩＤコントローラＣ
ＰＵ、１０５…ＣＰＵ周辺系制御回路、１０６…データ
転送系制御回路、１０７…ホスト・プロトコル・コント
ローラ、１０８…キャッシュ、１０９…データ用ディス
クドライブ（データ記憶装置、第１の記憶装置）、１１
０…列方向冗長ディスクドライブ（パリティ記憶装置、
第１の記憶装置）、１１１…行方向冗長ディスクドライ
ブ（第２の記憶装置）、２０１〜２０４…故障ディスク
ドライブ、２０５…列方向冗長ディスクドライブ、２０
５〜２０８…列方向冗長ディスクドライブ、２０９〜２
１２…行方向冗長ディスクドライブ、３０１〜３０５…
故障ディスクドライブ、３０６〜３０９…列方向冗長デ
ィスクドライブ、３１０〜３１３…行方向冗長ディスク
ドライブ、４０１〜４０４…故障ディスクドライブ、６
０１〜６０２…故障ディスクドライブ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 各々が、上位装置との間で授受されるデ
   ータを分割して得られる複数の分割データおよび複数の
   前記分割データから生成される第１の冗長データが分散
   して格納される複数の第１の記憶装置を含む複数のパリ
   ティグループと、 前記複数のパリティグループを横断する方向に、個々の
   前記パリティグループから選出され、前記分割データお
   よび前記第１の冗長データの少なくとも一方を含むデー
   タの集まりから生成された第２の冗長データが格納され
   る第２の記憶装置と、 からなることを特徴とする冗長記憶装置。
2. 【請求項２】 請求項１記載の冗長記憶装置において、 個々の前記パリティグループを構成する前記第１の記憶
   装置は、前記分割データが分散して格納されるデータ記
   憶装置と、前記第１の冗長データが格納されるパリティ
   記憶装置と、からなり、 前記第２の記憶装置には、複数の前記パリティグループ
   を横断する方向に、個々の前記パリティグループから選
   出された前記分割データの集まりから生成された第２の
   冗長データが格納されることを特徴とする冗長記憶装
   置。
3. 【請求項３】 請求項２の記載の冗長記憶装置におい
   て、 ｍ（ｍは２以上の自然数）個の前記パリティグループの
   各々が、ｎ（ｎは２以上の自然数）個の前記データ記憶
   装置と一つの前記パリティ記憶装置を含み、複数の前記
   パリティグループに属する複数の前記データ記憶装置は
   ｎ行×ｍ列のマトリックス状に配列され、個々の前記デ
   ータ記憶装置は、複数の前記パリティグループを横断す
   る行方向に共通のデータ入出力経路に連ねて接続される
   構成であるとき、 複数の前記パリティグループの各々の前記パリティ記憶
   装置は、ｎ／２本のパリティ入出力経路に分散して接続
   されることを特徴とする冗長記憶装置。