JP2001167001A - 自己回復するメモリ構成 - Google Patents

Abstract

(57)【要約】 【課題】 複雑なデータ修復方法を必要とせず、複数チ
ャネル上の複数エラーに対するエラー検出および訂正を
行うと共に、障害の発生したメモリのホットスワッピン
グもサポートする、メモリシステム構成を提供する。 【解決手段】 本メモリ構成には、メモリコントローラ
に電気的に結合されているＣＰＵバスと、スイッチング
手段に接続されたメモリコントローラと、複数のメモリ
モジュールに電気的に接続されたスイッチとを含む。複
数のメモリモジュールは、少なくとも一つのデータ用の
メモリモジュールと、少なくとも一つのデータ訂正用の
メモリモジュールと、少なくとも一つのホットスペアモ
ジュールとを含む。データ用メモリモジュールと、エラ
ー訂正用メモリモジュールと、ホットスペアメモリモジ
ュールとは並列に接続されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、メモリ障害後に自
己回復することができるサーバ用のメモリシステムに関
する。

【０００２】

【従来の技術】利用可能なサーバメモリシステムのサイ
ズは、時と共に増大し続けており、現サーバメモリシス
テムは、６４ギガバイト以上であることも多い。メモリ
システムのサイズが増大するに従い、メモリビットの障
害、すなわちメモリシステムに障害が発生する可能性も
増加している。メモリシステム障害は、一時的エラーま
たは永続的エラーの両方で起こり得る。一時的エラー
は、一般に、アルファ粒子によって起こる。永続的エラ
ーには、一般に、メモリセルウォール障害、行または列
デコーダ障害、状態機械障害、またはデュアルインライ
ンメモリモジュール（以下、「ＤＩＭＭ」とする）の印
刷回路基板とシステム印刷回路基板間の機械的インタフ
ェースの故障といった他の破局故障などがある。

【０００３】メモリシステムの障害を防止するために、
種々の形態のメモリ検出および訂正プロセスが開発され
ている。一般的に使用されているシステムのうちの１つ
では、エラーを検出するパリティビットを使用する。デ
ータを受信すると、予期される値に対してデータのパリ
ティがチェックされる。データが予期されるパリティ値
（奇数または偶数）と一致しない場合は、エラーが発生
したと判断される。この方法は単一のビットエラーを判
断するには機能するが、複数のビットエラーを判断する
には必ずしも適切に作用するものではない。更に、最も
簡単なパリティシステムは、データエラーを訂正する仕
組みを有していない。

【０００４】Gaskinsらに対する米国特許第5,463,643号
は、複数エラーを検出できるパリティシステムを提供す
る。Gaskinsらの構成は、データエラーを訂正する機構
を含むＲＡＭＢＵＳメモリシステムと共に動作するよう
設計されている。ＲＡＭＢＵＳ仕様には、１６ビットデ
ータパスとパリティビットと種々の制御信号、電源信号
および接地信号とを含むメモリチャネル仕様が含まれ
る。

【０００５】図１は、直列に接続された複数のメモリモ
ジュールを有する一般的なＲＡＭＢＵＳメモリ構成１０
０の高レベル部分ブロック図を示す。図１には、メモリ
チャネル１１２およびＣＰＵバス１１４に電気的に接続
されたメモリＩ／Ｏコントローラ１１０が示されてい
る。メモリチャネル１１２は、ＲＡＭＢＵＳ構成仕様に
従って直列に接続された複数のメモリモジュール１１６
ａ，１１６ｂ，…１１６ｎに電気的に接続されている。

【０００６】Gaskinsらによって述べられているＲＡＭ
ＢＵＳ仕様に起こり得る問題の１つとして、パリティチ
ェックがメモリエラーの検出用にのみ供されており、エ
ラー訂正用には限定的な提供しかされていない、という
ことがある。Gaskinsらの構成はデータエラーの訂正は
できるが、そのエラー訂正能力は限定的である。図２を
参照すると、４つのデータチャネル２１０ａ〜２１０ｄ
および１つのパリティチャネル２１０ｅを有する、Gask
insらのデータチャネルおよびパリティチャネルの高レ
ベル部分ブロック図が示されている。Gaskinsらの構成
は単一チャネル上の単一または複数のエラーを訂正する
ことができるが、出願人は、この構成では複数チャネル
上で２つ以上のエラーを検出することができないと考え
ている。例えば、チャネル２１０ａで完全な（すべての
ビット）障害が発生した場合は、データを再構成するこ
とができる。しかしながら、異なるチャネル上で２つの
ビット障害が発生した（例えば、チャネル２１０ａ上で
１つのビット障害が発生し、チャネル２１０ｂ上で１つ
のビット障害が発生する）場合、エラーの検出はでき
ず、データを再構成できない。

【０００７】Gaskinsらの構成における更なる問題は、
メモリＩ／Ｏコントローラ上のＩ／Ｏピン数に関連す
る。メモリ記憶要件の増加につれ、メモリコントローラ
に接続されたメモリモジュールの数も増加する。直列ア
ーキテクチャ構成では、メモリチャネルの数を１つ増や
すと、メモリコントローラに直接接続されたメモリチャ
ネルの数も１つ増える。各メモリチャネルを追加するご
とに入力ピンを追加する必要があり、システムピン数が
増加するので、これは問題となる。この問題は、特に大
容量のメモリを有するメモリ記憶システムにおいて顕著
となる。

【０００８】通常使用される他のエラー検出プロセス
は、エラー訂正またはエラーチェックおよびエラー訂正
コード（以下、ＥＣＣと呼称する）である。一般に、Ｅ
ＣＣは、ＣＲＣ（巡回冗長検査）アルゴリズムに基づい
ている。ＥＣＣコードは、原則としてＣＲＣコードであ
り、その冗長度は十分に高いので、エラーが破局的でな
ければ、オリジナルデータを復元することができる。Ｃ
ＲＣアルゴリズムは、データを受信したときに完全なデ
ータシーケンス（データフィールドの終端に付加された
ＣＲＣビットを含む）がＣＲＣチェッカによって読み出
されるように動作する。完全なデータシーケンスは、Ｃ
ＲＣ多項式によって余りなく割切れなければならない。
完全なデータシーケンスがＣＲＣ多項式によって割切れ
ない場合、エラーが発生していると判断される。

【０００９】

【発明が解決しようとする課題】パリティに基づく従来
からのエラー訂正プロセスと異なり、ＥＣＣコードに基
づくシステムは、一般に、複数のビットエラーを検出す
るために使用できる。例えば、単一ビット訂正を持つＥ
ＣＣメモリシステムは、一般的に、二重ビットエラーを
検出し単一ビットエラーを訂正することができる。４ま
たは８ビットエラー訂正を持つＥＣＣメモリは、一般的
に、４ビットまたは８ビットエラーを検出し訂正するこ
とができる。従って、×４または×８構成で編成された
ＳＤＲＡＭチップ全体の障害により、システムに障害が
発生することはない。ＥＣＣシステムは容易に複数エラ
ービットの検出を行うが、従来からのＥＣＣシステムの
問題は、一般に、それらが訂正不可能なエラーを報告す
る場合にシステムを停止させてしまうということであ
る。このため、最初の停止をしないで、ＥＣＣメモリシ
ステム中の障害部分を置き換えて、システムの障害耐力
（immunity：イミュニティ）を回復することはできな
い。

【００１０】ＥＣＣおよびパリティプロセスは、一般
に、週７日、２４時間の動作を要求される、半導体メモ
リを用いるコンピュータシステムにおいて使用されてい
る。コンピュータシステムが半導体メモリに要求されて
いる速度を必要としない場合か、または半導体メモリを
用いた、対コスト上有効でさらに大容量の記憶装置を利
用することができない場合は、ディスクドライブメモリ
が使用される。ディスクドライブメモリによってサポー
トされるコンピュータシステムは、一般に、ハードウェ
アによって複数のディスクドライブを互いにリンクさせ
て、廉価ディスク冗長アレイ（redundant array of ine
xpensive disks）すなわちＲＡＩＤとして周知の、ドラ
イブアレイを形成する。アレイ中のドライブは、互いに
協調しており、データはそれらの間に特別な方法で割り
振られる。ディスクドライブおよびディスクドライブを
読み出す機械的インタフェースは、半導体メモリより信
頼性が低いので、ディスクドライブシステムにおける永
続的または一時的なデータ障害のデータ回復プロセス
は、一般に、より多くの冗長性とより複雑なデータ回復
手順を有している。

【００１１】従来のＲＡＩＤシステムにおいては、デー
タはドライブ間でビットまたはバイトレベルで分割され
る。例えば、４ドライブシステムにおいて、各バイトの
２ビットは第１のハードディスクからもたらされ、次の
２ビットは第２のハードディスクからもたらされる、と
いうようにである。従って、４つのドライブは、ドライ
ブを直列にしたときより４倍の速度で単一バイトのデー
タストリームを出力する。すなわち、１つのドライブが
２ビットを転送するために必要な時間と同じ時間しかか
からないで、１バイトで構成された情報のすべてが転送
される。いくつかのドライブ間でデータを分割するこの
技術は、データストライピングと呼ばれ、ドライブ毎の
実際のブロックサイズは１０００バイト程度の大きさに
することができる。ＲＡＩＤメモリにより、各ディスク
を独立して動作させる場合よりも信頼性が向上し、エラ
ーに対してより大きな抵抗力を持たせることができる。
信頼性および障害耐性（fault-tolerance）の向上は、
ミラリングおよびパリティの実施を含む種々の冗長方法
によって達成される。

【００１２】複雑なデータ回復方法論を必要とせず、複
数チャネル上の複数エラーに対する自動的なエラー検出
および訂正機能を備えると共に、障害メモリのホットス
ワッピングもサポートする、メモリシステム構成が必要
とされている。

【００１３】

【課題を解決するための手段】本発明は、メモリ障害の
後に自己回復（self heal）し、システムのシャットダ
ウンまたはオペレータの介入無しで障害耐力を正常レベ
ルに回復できる、サーバ用の自己回復メモリシステムを
提供する。このメモリシステムは、「自己リカバリ」、
つまり、アルファ粒子またはＳＤＲＡＭのビットセルウ
ォール障害によってより頻発する単一ビット障害と同様
に、ＤＩＭＭにおけるＳＤＲＡＭ障害、ＤＩＭＭコネク
タ障害の回復が可能である。

【００１４】本発明の自己回復メモリ構成は、ＳＤＲＡ
Ｍ（ＳＤＲまたはＤＤＲ）のような並列メモリ技術また
はＲＡＭＢＵＳのような直列メモリ技術と共に使用する
ことができる。好ましい実施の形態では、メモリ構成
は、メモリコントローラに電気的に結合されたＣＰＵバ
スと、スイッチング手段に接続されたメモリコントロー
ラと、複数のメモリモジュールに電気的に接続されたス
イッチング手段と、を備えている。ここで、複数のメモ
リモジュールは、複数のデータメモリモジュールと、複
数のＥＣＣメモリモジュールと、ホットスペアメモリモ
ジュールと、を含み、これら複数のデータメモリモジュ
ールとＥＣＣメモリモジュールとホットスペアメモリモ
ジュールとは、並列に接続されている。１または４ビッ
トの訂正可能なハードエラーに対して、エラーが発生し
たデータメモリモジュールに格納されたデータは、ホッ
トスペアメモリモジュールにマップされる。複数のデー
タ、ＥＣＣおよびスペアメモリモジュールの並列構成に
より、ＣＰＵのローディングの低減が容易になり、また
必要な場合には、障害が発生したメモリコンポーネント
のホットスワッピングが容易となる。

【００１５】好ましい実施の形態は、ホットスペアメモ
リモジュールを含む。ＥＣＣ ＤＩＭＭおよびホットス
ペアを使用するＳＤＲＡＭメモリシステムは、ＳＤＲＡ
Ｍの障害またはＤＩＭＭコネクタの障害を原因とする、
障害が発生したＤＩＭＭからのデータの再構築を提供す
る。そして、障害の発生したＤＩＭＭを、オンライン
で、あるいはそのシステムがホットスワップをサポート
していない場合は年一度のダウンタイムのうちの数分間
に、置換することができる。その後、置換されたＤＩＭ
Ｍメモリモジュールは、メモリシステムのホットスペア
となる。

【００１６】本発明の特性および利点は、明細書の残り
の部分および添付図面とに関連して更に理解されよう。

【００１７】

【発明の実施の形態】図３は、本発明による自己回復並
列メモリ構成３００の部分ブロック図を示す。好ましい
実施の形態では、メモリ構成は、メモリコントローラ３
１４に電気的に結合されたＣＰＵバス３１０と、スイッ
チング手段３２０に電気的に結合されたメモリコントロ
ーラ３１４と、を備えており、スイッチング手段３２０
は、複数のメモリモジュール３２４に電気的に接続され
ている。複数のメモリモジュール３２４は、好ましく
は、複数のデータメモリモジュール３３０と、複数のＥ
ＣＣメモリモジュール３３４と、複数のスペアメモリモ
ジュール３３８と、を有している。好ましい実施の形態
では、データメモリモジュール３３０とＥＣＣメモリモ
ジュール３３４とホットスペアメモリモジュール３３８
とは、並列に接続されている。

【００１８】図３に示す実施の形態では、データメモリ
構成は、１４４ビットのデータメモリチャネル３４０
と、３６のメモリモジュールと、を有する自己回復ＤＤ
Ｒシステムであり、好ましくは、データメモリモジュー
ル３３０用に３２のＤＤＲ ＤＩＭＭ、ＥＣＣメモリモ
ジュール３３４用に８つのＤＩＭＭ、および４つのＤＤ
ＲホットスペアＤＩＭＭ３３８を備えている。１４４ビ
ット幅チャネル３４０には、１２８のデータビットと１
６のＥＣＣビットとが含まれる。１４４ビットデータバ
ス３４０は、４つの別々の７２ビットバスセグメントに
分割される。各バスセグメントは、データに使用される
８つのデータメモリモジュール３３０と、ＥＣＣに使用
される２つのＥＣＣメモリモジュール３３４と、１つの
ホットスペアメモリモジュール３３８と、を有している
のが好ましい。ＥＣＣメモリモジュール３３４は、各チ
ャネル３４６ａ〜３４６ｄにおいて１６のデータモジュ
ールと４つのＥＣＣモジュールとに渡ってデータストラ
イピングが可能であるように設けられている。

【００１９】データバス、すなわちデータメモリチャネ
ル３４０は、少なくとも１つのスイッチング手段３２
０、好ましくは１：２ＦＥＴに電気的に結合されてお
り、メモリコントローラ３１４を介してＣＰＵバス３１
０に電気的に結合されている。１：２ＦＥＴスイッチで
あるスイッチング手段３２０は、１４４ビットバスを２
つの１４４ビットバスセグメントに分割する。７２ビッ
ト幅ＤＲＡＭの場合、２つの１４４ビットバスセグメン
トの各々が、２つの別々の７２ビットバスチャネルに分
割される。７２ビットメモリチャネルの各々は、複数の
７２ビットメモリモジュール３３０，３３４，３３８に
並列に接続されている。

【００２０】図３に示す実施の形態において、各メモリ
チャネルは、２ＥＣＣ ＤＩＭＭの幅および３６ＤＩＭ
Ｍの深さであり、各々１８のＤＩＭＭを持つ２つのバス
セグメント（１：２ＦＥＴスイッチによって分離されて
いる）を使用している。各メモリチャネルは、８つのデ
ータＤＩＭＭと、２つのＥＣＣ ＤＩＭＭと、１つのホ
ットスペアＤＩＭＭと、を有している。従って、メモリ
コントローラチャネルデータＩ／Ｏピンにおける最大ロ
ーディングは、９ＤＩＭＭである。これにより、４つの
バスセグメントの各々において、１ＧＢのＤＩＭＭを用
いれば３２ＧＢ、または２ＧＢのＤＩＭＭを用いれば６
４ＧＢの最大容量およびホットスペアＤＩＭＭが可能と
なる。

【００２１】図３に示すメモリ構成は、ストライピング
を使用する場合、容易に拡大縮小することができない。
図３に示すＤＩＭＭの構成および数は、ハイエンドシス
テムでは一般的であるが、データバスに接続されたＤＩ
ＭＭモジュールの数は、データ記憶用のメモリモジュー
ル１つとホットスペアメモリモジュール１つとであって
もよい。データ記憶用メモリモジュールが１つだけ使用
される場合は、ＤＩＭＭは、エラー訂正専用の少なくと
も１つのメモリ装置またはメモリ装置のビットを有して
いなければならない。

【００２２】図４は、好ましい実施の形態の自己回復並
列メモリ構成の部分ブロック図を示す。図４に示す好ま
しい実施の形態は、図３に示す実施の形態を縮小したバ
ージョンである。ここに示すメモリ構成は、データまた
はＥＣＣのいずれかを格納するために使用できる複数の
メモリモジュール３３０と、ホットスペアメモリモジュ
ール３３８ａ，３３８ｂと、を有している。図３に示す
実施の形態とは対照的に、専用のＥＣＣ装置は無く、代
りに、メモリ装置におけるビットがデータまたはＥＣＣ
に対して専用化されている。図４に示す実施の形態で
は、好ましくは、各７２ビットバス３６０ａまたは３６
０ｂに提供される単一のホットスペアメモリモジュール
がある。メモリモジュール３３０の１つに障害が発生し
た場合、データはその対応するホットスペアモジュール
にマップされる。図４に示す実施の形態では、データス
トライピングは使用されず、従って、システムは拡大縮
小可能である。図４に示す実施の形態では、最低２つの
データメモリモジュールと２つのスペアメモリモジュー
ルとが必要である。

【００２３】図４に示す実施の形態では、データメモリ
チャネル３４０は、メモリコントローラ３１４を、少な
くとも１つのスイッチング手段３２０、好ましくはＦＥ
Ｔスイッチに電気的に結合する。ＦＥＴスイッチ３２０
は、メモリバスからの信号を分割して、メモリコントロ
ーラにおけるローディングを低減する。好ましい実施の
形態では、スイッチング手段は、１：２ＦＥＴスイッチ
である。しかしながら、代替的な実施の形態では、スイ
ッチング手段は、クロスバータイプスイッチとすること
ができる。しかしながら、システム要件により、特にメ
モリ構成におけるメモリモジュールの数により、１：２
または１：４ＦＥＴを使用することができる。ＦＥＴの
サイズの比率が増加するということは、バスセグメント
の数が増加することを意味する。

【００２４】図４に示す好ましい実施の形態では、各７
２ビットバス３６０ａまたは３６０ｂに対し、ＦＥＴス
イッチが使用されている。代替的な実施の形態では、メ
モリコントローラとＣＰＵバスとの間にスイッチング手
段が接続されていない。一般に、わずかな数のメモリモ
ジュールしか必要でない小さいメモリシステム（例え
ば、１ＧＢレンジ）では、メモリ構成の一部としてスイ
ッチング手段は含まれない。

【００２５】好ましい実施の形態では、メモリモジュー
ル３２４は、ＪＥＤＥＣ準拠を満たすために、７２ビッ
ト幅のＤＲＡＭ、好ましくはＤＩＭＭである。しかしな
がら、システム要件を満たす限りは、いかなるタイプの
読出し書込み可能メモリコンポーネントを使用してもよ
い。メモリモジュール３２４は、スペアであっても稼動
中であってもよい。従って、バンク選択、ＲＡＳ等の制
御ラインは、可変であり、好ましくは各スロットに対し
てハードワイヤード（hardwired）されていないことが
必要である。

【００２６】好ましい実施の形態では、メモリ構成の各
メモリチャネルは、少なくとも１つのデータ訂正用メモ
リモジュールと、少なくとも１つのホットスペアとして
使用されるメモリモジュールと、を有している。少なく
とも１つのデータ訂正用メモリモジュールおよび少なく
とも１つのホットスペアとして使用されるメモリモジュ
ールは、データバスに並列に電気的に結合されている。
好ましくは、メモリモジュールはＳＤＲＡＭであり、シ
ステムは、ＳＤＲＡＭ障害全体について訂正を行うこと
ができると共に、ホットスペアにおける再構築プロセス
中に発生する可能性のある、追加的なソフトエラーにつ
いても訂正を行うことができる。また、制御またはアド
レスが冗長な接点を有する場合は、ＤＩＭＭソケット障
害についても訂正を行うことができる。

【００２７】メモリ構成は、各メモリチャネルに対し、
２つのＥＣＣメモリモジュール３３４を有している。し
かしながら、ＥＣＣモジュールの好ましい数は、使用さ
れるＣＲＣ多項式のタイプに限定されず、データエラー
の数およびデータエラーが訂正されるチャネルの数を含
む、複数の要素によって決まる。メモリコントローラ３
１４は、メモリエラーに対しデータ訂正を提供するＥＣ
Ｃロジック３４２を含む。ＥＣＣロジック３４２の実現
には従来からの技術を用い、それは、使用されるデータ
訂正要件およびアルゴリズムによって変更可能である。

【００２８】使用されるＣＲＣ多項式とＥＣＣメモリモ
ジュールの数とは、メモリ構成のデータ訂正要件によっ
て変化する。好ましいＥＣＣの実現では、ＳＤＲＡＭ４
つの障害によるエラーを訂正するために１６のＥＣＣビ
ットが必要であり、同時に再構築プロセス中に１つのラ
ンダムエラーが許容される。これにより、ビットエラー
訂正の数は合計５つとなる。

【００２９】図３に示す実施の形態において、各メモリ
チャネル３４６ａ〜３４６ｄは、ホットスペアメモリモ
ジュール３３８を有している。メモリ部分にホットスペ
アが存在することを宣言するために、構成ユーティリテ
ィプログラムが使用される。ＤＲＡＭ障害全体がＤＩＭ
Ｍ（デュアルインラインモジュール）で検出された場
合、それは訂正されるが、その後、メモリコントローラ
３１４がホットスペアＤＩＭＭ上にデータを再構築す
る。データビットに対する冗長ビットの割合は、１：８
であるが、システムにおける冗長ＤＩＭＭ対ＤＩＭＭの
総数の割合により低減される。ホットスペアＤＩＭＭ
は、少なくとも最大のＤＩＭＭと同程度に大きくなけれ
ばならない。一般に、ホットスペアメモリモジュール
は、他のデータメモリモジュールと同じメモリサイズお
よびＤＲＡＭ編成を有している。

【００３０】システム動作中、特定のメモリ位置におい
て十分なエラーが発生した場合、データは、ホットスペ
アモジュールのメモリ位置に移動される。これにより、
不良のデータメモリモジュールか、または異なるデータ
メモリモジュールの不良のデータメモリ位置が使用不可
能となった場合、不良のデータメモリモジュールからの
データは、ホットスペアメモリモジュールに転送され
る。データメモリモジュール全体またはデータメモリモ
ジュールの大部分が不良となった場合、そのデータメモ
リモジュールは、最終的にスワップアウトされ、データ
の完全性が向上しているホットスペアメモリモジュール
と交換される。

【００３１】図５から図７は、本発明の自己回復メモリ
で起こるステップを表す、高レベルブロック図を示す。
訂正可能なハードエラーを有するコンピュータシステム
に対し障害耐力のレベルを復元するために実行されるス
テップは、メモリモジュールにおける訂正可能エラーを
検出することと、訂正可能エラーが検出されたメモリモ
ジュールからのデータをスペアメモリモジュールに移動
して再構築することとを含む。

【００３２】図５は、メモリエラーが第１のメモリモジ
ュールにおいて発生している、図３および図４に示す構
成を表す高レベルブロック図を示す。図５を参照する
と、第１のメモリモジュール３３０ａにおいて陰を付け
た領域で表された４ビットエラーが示されている。４ビ
ットエラーは、メモリモジュールを読み出す際に検出さ
れ複数アドレスで発生する、訂正可能なハードエラーま
たは永続的エラーである。また、図５に示すブロック図
には、スペアモジュール３３８ａが示されている。

【００３３】図６は、図３および図４に示す構成に対し
データをスペアメモリモジュールに移動して再構築する
ステップを表す高レベルブロック図を示す。図６を参照
すると、矢印３８０は、データメモリモジュール３３０
ａからスペアメモリモジュール３３８ａへのデータの移
動を表している。移動および再構築プロセス中、データ
は第１のデータメモリモジュール３３０ａからスペアメ
モリモジュール３３８ａに転送される。移動および再構
築プロセス中は、メモリコントローラによる第１のデー
タメモリモジュール３３０ａへの新規な書込みはすべ
て、データメモリモジュール３３０ａとスペアメモリモ
ジュール３３８ａとの両方に対して行われる。矢印３８
２は、この二重書込みプロセスを表す。移動および再構
築プロセスが完了するまで、読出し動作は第１のデータ
メモリモジュール３３０ａからのみである。示されてい
る移動および再構築プロセス中は、アルファ粒子により
起こるような、一時的な１ビットエラーを訂正すること
ができる。

【００３４】図７は、第１のメモリモジュールからスペ
アメモリモジュールへのデータの移動および再構築のス
テップ後の、図３および図４に示す構成を表す高レベル
ブロック図を示す。図７を参照すると、以前はホットス
ペアモジュールであったモジュール５は、データモジュ
ールになっている。古い第１のモジュールは、今では第
１のモジュールからのオリジナルデータに新たな書込み
を足したデータを有している。システムユーザにとって
有用である場合には、第１のメモリモジュールは、置換
されるべきであり、古い第１のメモリモジュール３３０
ａはスペアメモリモジュールとなる。

【００３５】ホットスペアメモリモジュールにデータを
移動するために、メモリコントローラにより、不良のメ
モリ位置とホットスペアのメモリマッピングが行われ
る。メモリコントローラのデータメモリモジュールへの
マッピングを変更することにより（すなわち、不良のＤ
ＲＡＭを有するＤＩＭＭを検出した後の、アドレスまた
は制御のルーティングにより）、ホットスペアデータメ
モリモジュールまたはＤＩＭＭは、書込みおよびメモリ
更新のためのホットスペアメモリモジュールと対となる
が、読出しは不良のデータメモリモジュールのみから行
われるように、設定される。

【００３６】次に、ＣＰＵ、メモリコントローラまたは
管理コントローラは、不良のデータメモリモジュールの
内容をホットスペアデータモジュールにコピーする。こ
のプロセス中、不良のデータメモリモジュールへのシス
テム書込みもすべて、ホットスペアメモリモジュールに
書き込まれる。従って、コピーが行われると、不良のデ
ータメモリモジュールのイメージに再構築プロセス中に
発生したあらゆる書込みを足したものを、ホットスペア
は有している。なお、ＤＩＭＭからＤＩＭＭへの転送を
行うときは初期化をしないのに対して、すべてのロケー
ションをコピーする場合は、訂正されたデータを有する
ホットスペアデータメモリモジュールを初期化すること
に留意してほしい。

【００３７】エラー訂正方式は、同時に発生する複数の
エラーを訂正することができなければならない。このた
め、例えば、ＤＩＭＭ再構築プロセス中に単一のビット
ソフトエラーが発生した場合、不良のＤＩＭＭに対し、
新たなホットスペアとしてマップアウトする（そしてス
ワップアウトされるまで不良としてマークする）ことが
できなければならない。そして、新たなホットスペアＤ
ＩＭＭがメモリ構成内にマップされることにより、不良
のＤＩＭＭが完全に置換される。スワップされるべきま
たはエラーのロギングのためのＤＩＭＭを識別する際、
実際の物理的なＤＩＭＭ位置を計算するためにＤＩＭＭ
マッパ機能が使用される。

【００３８】例えば、図３において、システムがまだ実
行中である時に、不良のデータメモリモジュールをホッ
トスワップアウトするかまたは取出すようにしてもよ
い。データ転送が行われた後、新たなデータメモリモジ
ュールにより不良のＤＩＭＭを置換することができるよ
うに、電源および不良ＤＩＭＭを接続するバス（または
取除くべきＤＩＭＭ）がオフにされる。ホットスワッピ
ングが好ましいが、サーバによっては、パッケージング
は非常にアクセス密度が高いため、ホットスワッピング
が提供されないかまたは実行不可能である場合がある。
これらの場合、次に予定されたダウンタイム中に、不良
のデータメモリモジュールをメモリ構成からコールドス
ワップすることができる。

【００３９】好ましい実施の形態では、本発明の実現の
ために別々のスペアメモリモジュールが必要とされる。
スペアメモリモジュールは、メモリ構成においてサポー
トされなければならない。一般的に、このスペアメモリ
サポートは、ホットスペアメモリモジュールによって受
信されるコマンドおよびアドレスバスが、データモジュ
ールおよびＥＣＣメモリモジュールに送信される信号と
は異なっていることが必要である。これは、一般に、デ
ータモジュールまたはＥＣＣメモリモジュールにおいて
エラーが発生しない限り、ホットスペアメモリモジュー
ルは選択されないためである。訂正可能なハードエラー
が発生する場合にのみ、ホットスペアメモリモジュール
は起動されることになり、訂正不可能なエラーを有する
メモリモジュールは休止状態になる。さらに、このスペ
アメモリモジュールサポートには、好ましくはメモリコ
ントローラにおいて実現されるか、または代替的ににメ
モリコントローラ外部の論理回路において実現される、
追加ロジックが含まれる。

【００４０】再構築プロセスに対して最も柔軟な方式
は、メモリコントローラが、障害の発生したＤＩＭＭを
読出し、同時にデータのバーストブロックを（メモリコ
ントローラを経由して）ホットスペアＤＩＭＭに転送す
る、というものである。障害の発生したＤＩＭＭとホッ
トスペアＤＩＭＭとは、同じメモリサイズおよび編成で
あるのが好ましいが、障害の発生したＤＩＭＭとホット
スペアＤＩＭＭとは、メモリサイズが異なってもよく、
異なるＳＤＲＡＭ編成を使用してもよい。再構築プロセ
ス中、システム読出しは障害が発生したＤＩＭＭから行
われ、システム書込みは、別々のバーストサイクルで、
障害が発生したＤＩＭＭとホットスペアＤＩＭＭとの両
方に対して行われる。

【００４１】本発明の１つの実施の形態においては、メ
モリモジュールに対してデータを書込むために、ジャグ
ラ（juggler）アルゴリズムが使用される。「ジャグ
ラ」アルゴリズムは、同じ棍棒のセットを交互に空中で
巧みに操る２人の曲芸師（juggler）に例えてそう名づ
けられている。ＤＩＭＭデータは、正常なシステムメモ
リのトランザクションが継続している間に、「オンライ
ンで」不良ＤＩＭＭからホットスペアＤＩＭＭに徐々に
移動されるかまたは交互に行われる（juggle）。好まし
い実施の形態について、図４に示すメモリ書込みパター
ンの各ブロックは、８ビットのデータを表しているが、
ビットの数は実際のメモリ構成によって変えることがで
きる。例えば、本発明の図３に示す構成における８ビッ
トＤＩＭＭを１６ビットＤＩＭＭモジュールで置換する
場合、図４に示す各ブロックは、１６ビットのデータを
表すことになる。

【００４２】ＤＩＭＭにおけるＤＤＲ ＤＲＡＭチップ
の破局故障か、またはＤＩＭＭコネクタ自体（データピ
ン）の障害の後、システムは、サーバをシャットダウン
する必要なく、自身をオンラインで修復し障害耐力の正
常レベルに戻る。ジャグラアルゴリズムを用いること
で、本発明のメモリ構成は、以下のサーバアプリケーシ
ョンに適する。すなわち、１）オペレータの居ない遠隔
サーバロケーション、２）オンラインでホットスワッピ
ングを行うにはアクセス不可能な程、非常に密度高くパ
ッケージされたメモリシステムを有するサーバ、３）何
百または何千のサーバを含むことができる大規模集中型
「サーバファーム」において使用されるよう設計され、
Ｉ／Ｏ、ＣＰＵおよびメモリサブシステムのホットスワ
ッピングに対し最適化されたサーバ、４）障害のあるサ
ーバを修復のためにシャットダウンすることができ、そ
れゆえ個々のサブシステムにホットスワッピングを提供
するという複雑さを要しない、冗長なサーバのペア、で
ある。

【００４３】本発明のメモリ構成において、ＪＥＤＥＣ
ＤＤＲ ＤＩＭＭ仕様に準拠するように、×４および
×８ＳＤＲＡＭに対し１３３ＭＨｚの周波数でエラー訂
正が動作する必要がある。ＤＤＲを１００ＭＨｚで使用
するデュアルチャネルのバースト帯域幅は、３．２ＧＢ
／秒であり、１３３ＭＨｚの場合は４．２ＧＢ／秒であ
る。従って、サーバまたはワークステーションのメモリ
システムが、３．２ＧＢ／秒のバースト帯域幅で３：４
の割合で１００ＭＨｚ４×ＣＰＵバスと共に使用される
場合、非キャッシュコヒーレント４×ＡＧＰメモリアク
セスに対し、ワークステーションで追加の帯域幅を使用
することができる。あるいはまた、ホットスペアＤＩＭ
Ｍ再構築プロセス中に、キャッシュライン転送、Ｉ／Ｏ
バースト転送、またはメモリコントローラのオーバヘッ
ドに要する、全待ち時間を短縮するため、サーバに帯域
幅を追加して使用することができる。ＣＰＵバスが１３
３ＭＨｚで動作する場合、メモリは１６６ＭＨｚで動作
することができる。ＤＤＲバースト毎に転送されるデー
タ（バースト長が４とする）は、６４バイトのキャッシ
ュラインまたはＣＰＵバスバーストに対応する。

【００４４】好ましい実施の形態では、検出されたエラ
ーは訂正され記録（ログ）される。イベントログはすべ
てのエラーを記録し、エラーログは異なるエラークラス
に対しておよび特定のＤＩＭＭロケーションに対して行
われるのが好ましい。なお、ソフトエラーは一時的な障
害であり、ハードエラーは、永続的な障害を表す。この
ため、ニブル境界における４ビットハードエラーの検出
により、ホットスペア上のデータの「再構築」が起動さ
れる。同様に、ＤＩＭＭコネクタ障害が検出された場
合、優良なＤＩＭＭソケットを有するホットスペア上の
データの再構築を起動するためにそれを使用することが
でき、あるいは、データを単に訂正することができる。

【００４５】スパイラルな書込みパターンを書込むため
には、図３の構成に示すデータメモリモジュールはすべ
て存在しなければならない。メモリコントローラが異な
るメモリアドレスを通過するに従い、データがスパイラ
ルな形式または書込みパターンでデータモジュールおよ
びＥＣＣメモリモジュールに書込まれる。ＥＣＣとラベ
ル付けされているが、スパイラル書込みパターンの場
合、ＥＣＣモジュールはデータ用にも使用され、データ
モジュールは書込みサイクルの場所によりＥＣＣデータ
の書込みにも使用される。

【００４６】複雑な方法ではあるが、スパイラル書込み
パターンより単純な再構築アルゴリズムを有する代替的
な自己回復方法は、非ＥＣＣ ＤＩＭＭを使用し、ＥＣ
Ｃ用に付加された２ＤＩＭＭを含む１６バイトブロック
のメモリチャネルに渡ってデータをストライプするとい
うものである。それぞれ２つのホットスペアＤＩＭＭが
含まれる場合、これには最低２０のＤＩＭＭが必要であ
る。従って、データビットに対する冗長データビットの
割合は、ホットスペアを含んで１：４である。ＲＡＩＤ
システムと同様、ＤＩＭＭはすべて同じサイズでなけれ
ばならない。

【００４７】データがアレイの各ＤＩＭＭにストライプ
されると、ブロックサイズが１ニブルかまたは１バイト
幅である場合、障害が発生したＤＩＭＭを、障害が発生
した時に取り除き置換することができ、また、システム
をクラッシュさせることなくＤＩＭＭを取除くことがで
きる。その結果、不良ＤＩＭＭのホットスワップ後、新
たなＤＩＭＭは有効なデータを含まなくなり、メモリア
クセスが行われるときに再構築することができ、結果と
して生じるニブルエラーに対する訂正が行われる。ある
いはまた、全アドレス空間を、ＣＰＵ、管理コントロー
ラまたはメモリコントローラによってシーケンシャルに
読出すことができる。これにより、再構築プロセスが行
われるまで，データと共に書込まれる正しいＥＣＣビッ
トを有する新たなＤＩＭＭの各ロケーションに対し、Ｒ
−Ｍ−Ｗ（Read-Modify-Write）が行われる。

【００４８】図８は、本発明のメモリモジュールに対し
てデータを書込むかまたはストライプする第１の方法を
示す。図９は、本発明に従ってメモリモジュールに対し
てデータを書込むかまたはストライプする第２の方法を
示す。図８に示す書込みパターンは７２ビット幅のメモ
リモジュールに適用され、図３に示す実施の形態では、
メモリチャネル毎に少なくとも９つのＤＩＭＭと１つの
スペアメモリモジュールが必要となる。対照的に、図９
に示す書込みパターンは、６４ビット幅のメモリモジュ
ールに適用される。それは、一般的に、図８に示す方法
と同じ数のＤＩＭＭが必要であるが、データメモリの容
量が少ないため、ストライピングパターンが図８のパタ
ーンとは異なっている。

【００４９】データストライピングという代替方法は、
（１）ホットスワップ再構築アルゴリズムの複雑さを低
減する（不良ＤＩＭＭをいつでもスワップすることがで
きるため）こと、および（２）メモリコントローラとＮ
ＯＳが独立していることが魅力であるが、好ましくない
かまたはシステム構成の柔軟性を低下させる可能性のあ
る制約がいくつか追加される。第１に、メモリアレイ
は、同じサイズのＤＩＭＭ内で完全に占有されなければ
ならない。第２に、必要なＤＩＭＭの数は、４または１
８に分割されるＤＩＭＭデータ幅に等しい。これは、ベ
ースシステムにおけるアレイサイズが非常に大きいが、
メモリアレイサイズを８ビットチップキルを用いること
によって９トータルに縮小することができる、というこ
とを意味する。この代替的な自己回復方式の問題は、デ
ータストライピングプロセスがメモリ制御およびアドレ
ス指定の複雑さを増大させるのと同様に電力の消失を増
大させる可能性がある、ということである。更に、ＯＬ
Ｘによる追加にホットスワップ方式が使用される場合、
システムをパワーダウンしメモリアレイデータ全体を再
構築することなく、アレイに新たなＤＩＭＭを追加する
ことが複雑になる。これら同じ問題は、ＲＡＩＭと呼ぶ
この方式に比較して、ディスクドライブを用いるＲＡＩ
Ｄシステムにも存在する。このため、この代替方法は、
多くのＤＩＭＭソケットを備えた非常に大容量のメモリ
を有するハイエンドサーバにより適している。

【００５０】図１０は、ＲＡＭＢＵＳメモリ構成と共に
使用することができる本発明の第２の代替的な実施の形
態の部分ブロック図を示す。図３に示す実施の形態に比
べて、図１０に示す代替的な実施の形態は好ましくな
い。図１０に示すデイジーチェーン直列アーキテクチャ
の基本的な問題は、システムの実行中には、データメモ
リモジュールをバスから取除くこともパワーダウンする
こともできず、そのため、ホットスワッピングを行うこ
とができない、ということである。更に、ＥＣＣビット
は直列である。従って、１つのコネクタピン障害によ
り、デイジーチェーンにおける１６のバースト的な複数
エラーによりシステムに障害がもたらされることとな
る。

【００５１】図１０を参照すると、メモリコントローラ
４１２に電気的に接続されたＣＰＵバス４１０が示され
ている。メモリコントローラ４１２は、複数のメモリチ
ャネル４１６ａ，４１６ｂ，４１６ｃに電気的に接続さ
れている。メモリチャネル４１６ａは、ホットスペアメ
モリモジュールを含んでいる。メモリチャネル４１６ｂ
は、８つのデータメモリモジュールを含む。好ましく
は、メモリチャネル４１６ｃは、３つのＥＣＣメモリモ
ジュールを含む。

【００５２】図１０に示すメモリ構成は、２バイト幅の
非ＥＣＣメモリチャネルを使用する。従って、ＲＡＭＢ
ＵＳモジュールの１チャネル分を有するＰＣＢを、シス
テムから取り除くことができる。すなわち、８つのメモ
リチャネル、２つのＥＣＣメモリチャネルおよび１つの
ホットスペアチャネルである。ＥＣＣビットの数は、２
バイトのチャネル障害を訂正するために十分大きくなけ
ればならない。データビットに対する冗長ビットの割合
は小さい。従って、図１０に示すメモリ構成は、非常に
ハイエンドなシステムに対してのみ適している。

【００５３】上記説明は、例示のために示されており、
限定することを意図しているのではないことが理解され
る。例えば、データメモリモジュールからのデータのマ
ッピングを行うためにジャグラアルゴリズムおよびデー
タストライピングアルゴリズムが示されているが、デー
タをマッピングするために、ＲＡＩＤメモリ構成におい
て一般的に使用されるアルゴリズム等の、他のアルゴリ
ズムを使用してもよい。従って、発明の範囲は、上記説
明に関して決定されるべきではなく、添付の特許請求の
範囲とかかる請求の範囲が権利を与えている同等物の全
範囲に関して決定されるべきである。

【００５４】本発明は例として次の実施態様を含む。

【００５５】（１） メモリコントローラに電気的に結
合されたＣＰＵバスと、メモリコントローラに電気的に
結合されたデータバスと、少なくとも１つのデータ記憶
用メモリモジュールと、少なくとも１つのスペアメモリ
モジュールと、を具備し、前記少なくとも１つのデータ
記憶用メモリモジュールおよび前記少なくとも一つのス
ペアメモリモジュールは、前記データバスに並列に電気
的に結合されており、前記少なくとも１つのデータ記憶
用メモリモジュールで発生する訂正可能なエラーに応答
して、前記少なくとも１つのデータ記憶用メモリモジュ
ールからのデータが前記スペアメモリモジュールにマッ
プされるメモリ構成。

【００５６】（２） 前記データ記憶用メモリモジュー
ルは、複数のメモリ装置を含み、前記複数のメモリ装置
の少なくとも一部は、エラー訂正に使用される、上記
（１）に記載のメモリ構成。

【００５７】（３） 前記少なくとも１つのデータ記憶
用モジュールからのデータの前記スペアメモリモジュー
ルへの前記マッピングは、ユーザの介入無しに自動的に
発生する、上記（１）に記載のメモリ構成。

【００５８】（４） 少なくとも１つのエラー訂正用メ
モリモジュールを含み、前記少なくとも１つのエラー訂
正用メモリモジュールは、前記少なくとも１つのデータ
記憶用メモリモジュールおよび前記少なくとも１つのス
ペアメモリモジュールに並列に電気的に結合されてい
る、上記（１）に記載のメモリ構成。

【００５９】（５） 前記データバスを少なくとも第１
のバスセグメントと第２のバスセグメントとに分割する
少なくとも１つのスイッチを含む、上記（１）に記載の
メモリ構成。

【００６０】（６） 前記データバスを少なくとも第１
のバスセグメントと第２のバスセグメントとに分割する
前記少なくとも１つのスイッチがＦＥＴスイッチであ
る、上記（１）に記載のメモリ構成。

【００６１】（７） ジャグラアルゴリズムを使用し
て、前記少なくとも１つのデータ記憶用メモリモジュー
ルから前記スペアメモリモジュールにデータがマップさ
れる、上記（１）に記載のメモリ構成。

【００６２】（８） データストライピングアルゴリズ
ムを使用して、データがデータ記憶用メモリモジュール
に書込まれる、上記（１）に記載のメモリ構成。

【図面の簡単な説明】

【図１】 ＤＩＭＭモジュールが直列に接続されている
ＲＡＭＢＵＳメモリ構成の高レベル部分ブロック図。

【図２】 エラー訂正機能を提供するＲＡＭＢＵＳメモ
リ構成のデータおよびパリティチャネルの高レベル部分
ブロック図。

【図３】 本発明による自己回復並列メモリ構成の部分
ブロック図。

【図４】 本発明の好ましい実施の形態による代替的な
実施の形態の自己回復並列メモリ構成の部分ブロック
図。

【図５】 第１のメモリモジュールでメモリエラーが発
生している、図３および図４に示す構成を表す高レベル
ブロック図。

【図６】 図３および図４に示す構成についてスペアメ
モリモジュールにデータを移動し再構築するステップを
表す高レベルブロック図。

【図７】 第１のメモリモジュールからスペアメモリモ
ジュールへデータを移動し再構築するステップの後の、
図３および図４に示す構成を表す高レベルブロック図。

【図８】 本発明による自己回復メモリ構成のメモリモ
ジュールへのデータの書込みまたはストライピングの第
１の方法。

【図９】 本発明による自己回復メモリ構成のメモリモ
ジュールへのデータの書込みまたはストライピングの第
２の方法。

【図１０】 ＲＡＭＢＵＳメモリ構成と共に使用するこ
とができる本発明の代替的な実施の形態の部分ブロック
図。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 メモリコントローラに電気的に結合され
   たＣＰＵバスと、 前記メモリコントローラに電気的に結合されたデータバ
   スと、 少なくとも１つのデータ記憶用メモリモジュールと、 少なくとも１つのスペアメモリモジュールと、を具備
   し、 前記少なくとも１つのデータ記憶用メモリモジュールお
   よび前記少なくとも一つのスペアメモリモジュールは、
   前記データバスに並列に電気的に結合されており、前記
   少なくとも１つのデータ記憶用メモリモジュールで発生
   する訂正可能なエラーに応答して、前記少なくとも１つ
   のデータ記憶用メモリモジュールからのデータが前記ス
   ペアメモリモジュールにマップされるメモリ構成。