JP2001084178A - データ記憶素子および電子計算機 - Google Patents

Abstract

(57)【要約】 【課題】チェックポイント・ロールバック方式の高信頼
性機構によるチェックポイント処理やロールバック処理
のオーバーヘッドを大幅に小さくすることを可能とする
データ記憶素子を提供する。 【解決手段】同一のアドレス空間を構成するプライマリ
セル１０とセカンダリセル２０とを設けて、単一のデー
タ記憶素子（ＤＲＡＭ等）内にプライマリの記憶領域と
セカンダリの記憶領域との２つの記憶領域を確保し、共
有リソースである外部バスを用いることなく、プライマ
リセル１０のデータをセンスアンプ３０を介してセカン
ダリセル２０にコピーすることにより、チェックポイン
ト処理を実行し、また、セカンダリセル２０のデータを
センスアンプ３０を介してプライマリセル１０にコピー
することにより、ロールバック処理を実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、チェックポイン
ト・ロールバック方式の高信頼性機構によるチェックポ
イント処理やロールバック処理のオーバーヘッドを大幅
に小さくするデータ記憶素子およびこのデータ記憶素子
を適用する電子計算機に関する。

【０００２】

【従来の技術】近年、様々な分野で業務処理の電子化が
図られており、コンピュータの信頼性や耐障害性に対す
る要求は日々高まる一方である。そして、この耐障害性
を実現するコンピュータとして、いわゆるフォールトト
レラント型コンピュータが存在する。

【０００３】このフォールトトレラント型コンピュータ
では、ハードウェアを多重化し、演算結果を比較して信
頼性を向上させる多重化方式と、定期的にチェックポイ
ントとよばれる安定した状態を取り、障害が発生したら
チェックポイント状態まで計算機の状態を戻すことによ
って正しい演算結果を得るチェックポイント・ロールバ
ック方式との２つの方式がよく知られている。

【０００４】このうち、多重化方式は、たとえば「ノン
ストップコンピュータのしくみがわかる本」（麹町ＦＴ
Ｃ研究会編、工業調査会：１９９２）に記載のタンデム
社ＮｏｎＳｔｏｐ Ｃｙｃｌｏｎｅシリーズ、ストラタ
ス社 ＸＡシリーズ等に代表されるように、疎結合また
は密結合のマルチプロセッサによる高信頼性コンピュー
タで広く実用化されている。

【０００５】一方、チェックポイント・ロールバック方
式は、たとえば特開平９−６７３１号公報に記載のメモ
リ状態復元装置や特開平５−６３０８号公報に記載のキ
ャッシュコントローラ並びにフォールト・トレラント・
コンピュータおよびそのデータ転送方式で示される高信
頼性コンピュータシステムの構築方式である。

【０００６】

【発明が解決しようとする課題】しかしながら、多重化
方式によるフォールトトレラント型コンピュータは、プ
ロセッサ等のリソースが複数必要であるためにコストが
高くなり、また、チェックポイント・ロールバック方式
によるフォールトトレラント型コンピュータは、チェッ
クポイントを採るためのオーバーヘッドが大きく、多重
化方式に比べると高性能を得にくいといった問題があっ
た。

【０００７】この発明は、このような実情を考慮してな
されたものであり、チェックポイント・ロールバック方
式の高信頼性機構によるチェックポイント処理やロール
バック処理のオーバーヘッドを大幅に小さくするデータ
記憶素子およびこのデータ記憶素子を適用する電子計算
機を提供することを目的とする。

【０００８】

【課題を解決するための手段】前述した目的を達成する
ために、この発明のデータ記憶素子は、同一のアドレス
空間を構成する記憶セル群を複数組設けることにより、
単一のデータ記憶素子内にプライマリの記憶領域とセカ
ンダリの記憶領域との２つの記憶領域をもつことを可能
としたものであり、そのために、同一のアドレス空間を
構成する複数組の記憶セル群と、前記複数組の記憶セル
群が接続されるバッファと、前記バッファにデータを読
み出す記憶セル群を選択する第１の選択手段と、前記バ
ッファのデータを書き込む記憶セル群を選択する第２の
選択手段と、を具備することを特徴とする。

【０００９】この発明のデータ記憶素子によれば、共有
リソースである外部バスを用いることなく、チェックポ
イント処理をプライマリとして用いる記憶セル群のデー
タをセカンダリとして用いる記憶セル群にコピーするこ
とにより実行し、また、ロールバック処理をセカンダリ
として用いる記憶セル群のデータをプライマリとして用
いる記憶セル群にコピーすることにより実行することが
できるため、チェックポイント処理およびロールバック
処理のオーバヘッドを大幅に小さくすることを可能とす
る。

【００１０】また、この発明のデータ記憶素子は、リフ
レッシュ時に、いずれかの記憶セル群のデータを前記バ
ッファを介して同記憶セル群を含む前記複数組の記憶セ
ル群のうちの２つ以上に同時に書き戻す手段を備えたＤ
ＲＡＭであることを特徴とする。

【００１１】この発明のデータ記憶素子によれば、ＤＲ
ＡＭのリフレッシュ動作にチェックポイント処理を隠蔽
することができるため、チェックポイント処理のオーバ
ヘッドをより小さくすることを可能とする。

【００１２】また、この発明のデータ記憶素子は、前記
複数組の記憶セル群の中の少なくとも１組は不揮発性素
子であることを特徴とする。

【００１３】この発明のデータ記憶素子によれば、セカ
ンダリとして用いる記憶セル群を不揮発性素子として電
源遮断に対処することができるため、耐障害性をより向
上させることを可能とする。

【００１４】また、この発明のデータ記憶素子は、前記
記憶セル群に、エラーチェックのための冗長ビットが設
けられ、この冗長ビットを用いてエラー検出またはエラ
ー訂正を行なう手段を具備することを特徴とする。

【００１５】ＥＣＣ等のエラー検出／訂正では、できる
だけ語長を長くする方が全体に対するチェックビットの
比率を少なくすることができる。したがって、この発明
のデータ記憶素子によれば、長い語長で効率のよいエラ
ーチェックを行なえ、かつ、このエラーチェックに共有
リソースである外部バスを用いる必要がない。

【００１６】また、この発明のデータ記憶素子は、各記
憶セルの参照履歴を示す手段を前記複数組の記憶セル群
の中の少なくとも１組以上に対応させて設けたことを特
徴とする。

【００１７】この発明のデータ記憶素子によれば、プラ
イマリとして用いる記憶セル群からセカンダリとして用
いる記憶セル群へのデータのコピーを必要な分のみに限
定することができるため、チェックポイント処理のオー
バヘッドをより小さくすることを可能とする。

【００１８】

【発明の実施の形態】以下、図面を参照してこの発明の
実施形態を説明する。

【００１９】（第１実施形態）まず、この発明の第１実
施形態を説明する。

【００２０】図１は、この発明の第１実施形態に係るチ
ェックポイント・ロールバック方式のフォールト・トレ
ラント・コンピュータの概略構成を示す図である。

【００２１】図１に示すように、この第１実施形態のフ
ォールト・トレラント・コンピュータには、システムバ
スＡが敷設されており、このシステムバスＡには、複数
のＣＰＵ１とメモリコントローラ２とが接続されてい
る。また、このメモリコントローラ２には、システムメ
モリ３が接続されている。

【００２２】ＣＰＵ１は、密結合対系型マルチプロセッ
サ（ＳＭＰ）を構成している。すべてのＣＰＵ１はチェ
ックポイントで同期をとり、内部情報をシステムメモリ
３の予め定められた領域に書き込んでいる。さらに、Ｃ
ＰＵ１のキャッシュメモリのダーティ領域をシステムメ
モリ３に書き込み、システムの安定した状態（チェック
ポイント取得状態）をシステムメモリ３に作る。

【００２３】チェックポイント取得状態が確定すると、
システムメモリ３のプライマリ領域をセカンダリ領域に
コピーするコマンドをメモリコントローラ２に送り、コ
ピーが終了したことを確認すると再び通常動作状態に戻
る。

【００２４】メモリコントローラ２は、システムメモリ
３を駆動制御するものであり、ＣＰＵ１からの指示にし
たがって、システムメモリ３からのデータの読み出しや
システムメモリ３へのデータの書き込みを実行する。ま
た、このメモリコントローラ２は、たとえばＤＲＡＭに
おけるリフレッシュ動作など、システムメモリ３に格納
されたデータの保護も実行制御する。

【００２５】システムメモリ３は、複数のＣＰＵ１から
共有される、このフォールト・トレラント・コンピュー
タの主記憶となるメモリデバイスであり、ＣＰＵ１によ
って実行制御されるプログラムや処理データを格納す
る。なお、このフォールト・トレラント・コンピュータ
では、このシステムメモリ３をＤＲＡＭにより構成して
いる。

【００２６】そして、この発明は、このシステムメモリ
３を構成するデータ記憶素子（ここではＤＲＡＭ）が、
同一のアドレス空間を構成する記憶セル群をデータ記憶
素子内部に複数組備えることで、このデータ記憶素子内
にプライマリメモリ３ａとセカンダリメモリ３ｂの２つ
の記憶領域をもつことを可能とし、その結果、共有リソ
ースであるシステムバスＡを用いることなく、チェック
ポイント処理やロールバック処理を行なえるようにした
ことにより、これらのオーバヘッドを大幅に小さくした
点を特徴としている。

【００２７】そのために、このフォールト・トレラント
・コンピュータでは、システムメモリ３を構成するＤＲ
ＡＭに、リフレッシュ時に読み出しを行なうメモリセル
（プライマリまたはセカンダリ）を指定する機能と、リ
フレッシュによる書き戻しを読み出し元のセルのみに行
なうか、または、両方のセルに対して行なうかを指定す
る機能とを付加する。

【００２８】図２は、このシステムメモリ３を構成する
ＤＲＡＭの２つのメモリセルおよびセンスアンプとその
動作とを模式的に示したものである。なお、この図２に
は示していないが、リフレッシュ時にセンスアンプ３０
に読み込むメモリセルの指定は、ＤＲＡＭの外部ピンで
行なう。この外部ピンは、ＤＲＡＭの行アドレス選択用
ピンと同等の機能をもつ。便宜上、このピンを「センス
アンプ・リード・セレクタ・ピン」と呼ぶことにする。
また、リフレッシュによる書き戻しを読み込んだセル側
だけに行なうか、または、（プライマリとセカンダリ
の）両方のセルに対して行なうかを指定するためのピン
も別に設けるものとする。便宜上、このピンを「センス
アンプ・ライト・セレクタ・ピン」と呼ぶことにする。
そして、ここでは簡単のため、「センスアンプ・ライト
・セレクタ・ピン」は、各メモリセルに対して１ビット
ずつ割り当てられているものとする。

【００２９】このＤＲＡＭでは、１つのセンスアンプ３
０に２つのＤＲＡＭセル（１０，２０）が接続されてお
り、通常はプライマリ側のメモリセル１０に対してデー
タをリード／ライトする。通常のリード時には、「セン
スアンプ・リード・セレクタ・ピン」は、プライマリ・
セル１０側を選択している。また、通常のライト時に
は、「センスアンプ・ライト・セレクタ・ピン」は、プ
ライマリ側だけに書き込むようにセットされている。

【００３０】まず、このＤＲＡＭの通常動作について説
明する。

【００３１】このＤＲＡＭが通常のＤＲＡＭと異なる点
は、リフレッシュ時のデータ更新動作にある。図３にプ
ライマリ側のリフレッシュ動作を示し、図４に、セカン
ダリ側のリフレッシュ動作を示す。

【００３２】リフレッシュ周期がチェックポイントより
も前に来た場合、ＤＲＡＭは、標準的なＤＲＡＭと同様
の方法でリフレッシュを行なう。即ち、プライマリ側１
０のリフレッシュとセカンダリ側２０のリフレッシュと
を独立して行ない、書き戻しは読み出した側のセルに対
してのみ行なう。

【００３３】図３に示したプライマリ側セル１０のリフ
レッシュ時には、「センスアンプ・リード・セレクタ・
ピン」によりセンスアンプ３０にプライマリ・セル１０
側のデータを読み込み、「センスアンプ・ライト・セレ
クタ・ピン」はセンスアンプ３０の内容をプライマリ側
だけに書き込むようにそれぞれセットされている。

【００３４】一方、図４に示したセカンダリ側セル２０
のリフレッシュ時には、「センスアンプ・リード・セレ
クタ・ピン」はセカンダリ・セル２０側を読み込み、
「センスアンプ・ライト・セレクタ・ピン」はセカンダ
リ側セル２０にだけに書き込むようにそれぞれセットさ
れている。

【００３５】行アドレスは、通常のＣＡＳ ｂｅｆｏｒ
ｅ ＲＡＳリフレッシュと同様にＤＲＡＭ内部で生成さ
れ、プライマリ側行アドレス（ＰＲｎ）とセカンダリ側
行アドレス（ＳＲｎ）とに同じ値が供給される。

【００３６】次に、このＤＲＡＭのチェックポイント動
作について説明する。

【００３７】図５にチェックポイント時のＤＲＡＭのリ
フレッシュ動作を示す。このＤＲＡＭでは、チェックポ
イント時にプライマリ側１０のデータをセンスアンプ３
０に読み出し、プライマリ側１０とセカンダリ側２０と
の両方にデータを書き込むリフレッシュ動作を行なう。
これにより、リフレッシュ動作にチェックポイント動作
を隠蔽できるので、チェックポイント処理のオーバーヘ
ッドを低減することができる。

【００３８】図５に示したプライマリ側セル１０の内容
をセカンダリ側セルにコピーするチェックポイント時の
リフレッシュでは、「センスアンプ・リード・セレクタ
・ピン」はプライマリ・セル１０側を、「センスアンプ
・ライト・セレクタ・ピン」はプライマリ側セル１０と
セカンダリ側セル２０との両方に書き込むようにそれぞ
れセットされている。また、行アドレスは、通常のＣＡ
Ｓ ｂｅｆｏｒｅ ＲＡＳリフレッシュと同様にＤＲＡ
Ｍ内部で生成され、プライマリ側行アドレス（ＰＲｎ）
とセカンダリ側行アドレス（ＳＲｎ）とに同じ値が供給
される。

【００３９】次に、このＤＲＡＭのロールバック動作に
ついて説明する。

【００４０】図６にロールバック時のＤＲＡＭのリフレ
ッシュ動作を示す。この場合、セカンダリ側のセル２０
からセンスアンプ３０にデータを読み出し、セカンダリ
側２０とプライマリ側１０との両方にデータを書き戻す
リフレッシュ動作をさせる。この動作により、メモリ
は、前のチェックポイント状態に迅速に戻ることができ
る。

【００４１】図６に示したセカンダリ側セル２０の内容
をプライマリ側セル１０にコピーするロールバック処理
のリフレッシュでは、「センスアンプ・リード・セレク
タ・ピン」はセカンダリ側セル２０側を、「センスアン
プ・ライト・セレクタ・ピン」はプライマリ側セル１０
とセカンダリ側セル２０との両方に書き込むようにそれ
ぞれセットされている。また、行アドレスは、通常のＣ
ＡＳ ｂｅｆｏｒｅＲＡＳリフレッシュと同様にＤＲＡ
Ｍ内部で生成され、プライマリ側行アドレス（ＰＲｎ）
とセカンダリ側行アドレス（ＳＲｎ）とに同じ値が供給
される。

【００４２】以上の各リフレッシュ動作における動作を
図７に示す。図７において、「センスアンプ・ライト・
セレクタ・ピン」は、“（プライマリ側セルの選択、セ
カンダリ側セルの選択）”の形式で記載し、“１”のと
きアクティブ、“０”のときインアクティブとする。

【００４３】また、図８に一般的な計算機のリフレッシ
ュのタイミングを、図９にこの第１実施形態のＤＲＡＭ
を適用したフォールド・トレラント・コンピュータのリ
フレッシュのタイミングを示す。これらの図では、リフ
レッシュタイミングを簡易的に縦線で示している。

【００４４】一般的な計算機では、ＤＲＡＭの規定によ
り各行アドレスが６４ｍｓに１回以上の頻度でアクセス
しなくてはならない。このため、普通はメモリコントロ
ーラが１５ｕｓに１回程度の頻度でリフレッシュ割り込
みを入れ、ＤＲＡＭのリフレッシュを等間隔で実行する
（図８）。

【００４５】一方、チェックポイントロールバック方式
の計算機では、チェックポイントを約１０ｍｓに１回の
割合でとる。すなわち、チェックポイント間隔とリフレ
ッシュ間隔とがほぼ同等であるので、この第１実施形態
のＤＲＡＭでは、リフレッシュは原則として図９（ａ）
に示すようにチェックポイント処理時に行なう。これに
より、通常動作時にはリフレッシュによる割り込みが発
生せず、メモリアクセスを高速に実行できる。

【００４６】ただし、図９（ｂ）に示すようにチェック
ポイント間隔が規定のリフレッシュ間隔より長くなって
しまう場合には、一般の計算機の記憶装置と同様にリフ
レッシュ割り込みを入れてリフレッシュを実行する。こ
のため、たとえば規定のリフレッシュ周期６４ｍｓの３
／４である４８ｍｓを越えると通常のリフレッシュ周期
１５ｕｓの４倍の頻度、すなわち３．７５ｕｓに１回の
割合でリフレッシュ割り込みをいれてリフレッシュ動作
を行ない、ＤＲＡＭのデータを保証する。チェックポイ
ントが４８ｍｓ以上６４ｍｓ未満で採られる場合には、
チェックポイント処理に入る。一方、チェックポイント
が６４ｍｓ以内で採られない場合には、リフレッシュ割
り込み用の４８ｍｓカウンタをリセットして次のチェッ
クポイント割り込みがリフレッシュ割り込みを越えない
かをチェックする。

【００４７】ここで、このＤＲＡＭのリフレッシュ方式
の選択手順を図１０のフローチャートを参照しながら説
明する。

【００４８】まず、ロールバックの実行かどうかを調べ
（ステップＡ１）、ロールバックの実行であれば（ステ
ップＡ１のＹＥＳ）、セカンダリセルの内容をプライマ
リセルにコピーするリフレッシュ方式を選択する（ステ
ップＡ２）。ロールバックの実行でなければ（ステップ
Ａ１のＮＯ）、続いて、チェックポイントの採取かどう
かを調べ（ステップＡ３）、チェックポイントの採取で
あれば（ステップＡ３のＹＥＳ）、プライマリセルの内
容をセカンダリセルにコピーするリフレッシュ方式を選
択する（ステップＡ４）。

【００４９】また、チェックポイントの採取でなければ
（ステップＡ３のＮＯ）、リフレッシュ規定時間内かど
うかを調べ（ステップＡ５）、リフレッシュ規定時間内
でなければ（ステップＡ５のＮＯ）、さらに、リフレッ
シュが完了しているかどうかを調べる（ステップＡ
６）。そして、すでにリフレッシュが完了していれば
（ステップＡ６のＹＥＳ）、リフレッシュタイマを
“０”にリセットし（ステップＡ７）、一方、リフレッ
シュが完了していなければ（ステップＡ６のＮＯ）、通
常のリフレッシュ方式を選択する（ステップＡ８）。

【００５０】このように、このフォールト・トレラント
・コンピュータでは、システムメモリ３を構成するＤＲ
ＡＭが同一のアドレス空間を表すプライマリメモリ３ａ
とセカンダリメモリ３ｂの２つの記憶領域を構成するた
め、共有リソースであるシステムバスＡを用いることな
く、チェックポイント処理やロールバック処理を行なう
ことを可能とし、これらのオーバヘッドを大幅に小さく
する。

【００５１】（第２実施形態）次に、この発明の第２実
施形態を説明する。

【００５２】この第２実施形態のフォールト・トレラン
ト・コンピュータの特徴は、前述の第１実施形態のフォ
ールト・トレラント・コンピュータのＤＲＡＭにエラー
検出／訂正回路（単一誤り訂正二重誤り検出方式ＥＣ
Ｃ）と、エラー検出／訂正イネーブルレジスタと、エラ
ー通知部（エラーフラグ、エラーアドレスレジスタ）と
を付加した点にある。

【００５３】エラー検出／訂正回路は、ここでは、単一
誤り訂正二重誤り検出方式ＥＣＣ（ＳＥＣ−ＤＳＤ Ｅ
ＣＣ）とする。ＤＲＡＭの列アドレス（Ｃｏｌｕｍｎ
Ａｄｄｒｅｓｓ）は、１Ｇビット（＝２０³⁰ビット）程
度のＤＲＡＭで√２０³⁰＝２ ¹⁵ビット程度あるので、６
４（＝２⁶ ）ビット程度のメモリバスより効率よくチェ
ックビットを作ることができる。実際、理論上は２⁶ ビ
ットのデータに対するチェックビットは８ビット必要
で、全データの１２％を占めるのに対し、２¹⁵ビットの
データに対するチェックビットは１７ビットであり、全
データの０．５％にすぎない（「誤り符号化技術の要
点」４章コンピュータへの応用，今井秀樹監修，日本工
業技術センター参照）。

【００５４】エラー検出／訂正イネーブルレジスタは、
たとえば２ビットで構成し、ビット０を“１”にすると
ＥＣＣによるエラー検出を行ない、“０”にするとエラ
ー検出を行なわない。また、ビット１を“１”にすると
ＥＣＣによる単一誤り訂正を行ない、“０”にすると誤
り訂正を行なわない。

【００５５】エラー通知部は、エラー発生の有無、エラ
ーが訂正可能であったか否か、エラー発生の行アドレス
（Ｒｏｗ Ａｄｄｒｅｓｓ）を保持する。

【００５６】この第２実施形態のＤＲＡＭは、データを
センスアンプからメモリセルに書き戻すときにＥＣＣチ
ェックビットを生成してメモリセルに書き込み、データ
をメモリセルからセンスアンプに読み込むときにはＥＣ
Ｃチェックを行なう。このとき、エラー検出／訂正イネ
ーブルレジスタにしたがって、エラー検出や訂正を行な
う。すなわち、エラー検出がイネーブルであれば、エラ
ー発生時にエラーフラグを“１”にセットし、エラーア
ドレスレジスタにエラーアドレスを保存し、エラー検出
がディセーブルであれば、エラー発生時にもエラーフラ
グ、エラーアドレスレジスタを更新しない。なお、通常
の高信頼性計算機のＥＣＣで行なわれているように、２
重ビット誤り検出レジスタがセットされていれば、単一
ビット誤り訂正時にエラーフラグやエラーアドレスレジ
スタを更新しないようにしてもよい。

【００５７】チェックポイント処理またはロールバック
処理のリフレッシュ動作において単一誤りを検出した場
合は、誤りを訂正した後に両方のメモリセルに書き込
む。また、２重誤りを検出した場合は、読み出した側の
セルにのみデータを書き戻し、反対側のセルにはデータ
を書き戻さない。なお、エラー検出／訂正イネーブルレ
ジスタは無くても構わない。

【００５８】図１１にエラーチェックビットを持つ場合
のＤＲＡＭの構成を示す。なお、図１１では省略した
が、行アドレス（ＰＲｎ）のデータ１００とチェックビ
ット１１０とをセンスアンプ３０に読み出すときに、Ｅ
ＣＣチェック回路を通してエラーチェックを行なう。単
一ビット誤りが発生していれば、そのビットを反転させ
てセンスアンプ３０に書き込む。センスアンプからプラ
イマリ１０側の行アドレス（ＰＲｎ）のメモリセルおよ
びセカンダリ２０側の行アドレス（ＳＲｎ）のメモリセ
ルに書き込むときには、センスアンプ３０のデータ部１
００からチェックビット１１０を生成して書き込む。す
なわち、エラー情報を残さなければセンスアンプ３０に
チェックビット１１０は必要ない。データ部１００から
チェックビット１１０を生成するのは、外部からメモリ
への書き込みが発生した場合に新しいデータ１００をも
とにチェックビット１１０を生成しなおす必要があるた
めである。

【００５９】（第３実施形態）次に、この発明の第３実
施形態を説明する。

【００６０】この第３実施形態のフォールト・トレラン
ト・コンピュータの特徴は、前述の第１実施形態のフォ
ールト・トレラント・コンピュータのＤＲＡＭの各行ア
ドレスに更新ビットを設けた点にあり、チェックポイン
ト時に、この更新ビットの立っているＤＲＡＭアドレス
のみをリフレッシュすることでチェックポイント処理を
高速化する。

【００６１】図１２に更新ビットをもつ場合のＤＲＡＭ
の構成を示す。

【００６２】よく知られているように、計算機のメモリ
では、短い時間にアクセスされるメモリアドレスは小さ
な領域に集中する参照の局所性がある。したがって、Ｄ
ＲＡＭのアドレスを行アドレスが連続になるように実ア
ドレスにマッピングすると、短い時間の間に参照される
行アドレスは小さな領域に集中する。よって、更新ビッ
ト（または更新管理テーブル：Ｍｏｄｉｆｉｅｄ Ｂｌ
ｏｃｋ Ｔａｂｌｅ）１２０を設け、必要な部分のみ前
述のリフレッシュ動作による状態更新を行なえば、極め
て短い時間にチェックポイント処理を行なうことが可能
となる。

【００６３】（第４実施形態）次に、この発明の第４実
施形態を説明する。

【００６４】この第４実施形態のフォールト・トレラン
ト・コンピュータの特徴は、前述の第３実施形態のフォ
ールト・トレラント・コンピュータのＤＲＡＭがもつ更
新ビットをＤＲＡＭの外部に設けた点にある。ここでい
うＤＲＡＭの外部とは、メモリコントローラ内部であっ
ても良いし、メモリコントローラとは独立していてもよ
い。また、更新ビットはメモリに対する書き込みが発生
した場合にセットされるので、メモリ素子の外部に置く
こともできる。この場合、管理方法選択の自由度が大き
くなるので、たとえば前述の特開平９−６７３１号公報
に記載のメモリ状態復元装置等に適用すると、小さなオ
ーバーヘッドで信頼性の高い計算機を実現することがで
きる。

【００６５】（第５実施形態）次に、この発明の第５実
施形態を説明する。

【００６６】この第５実施形態のフォールト・トレラン
ト・コンピュータの特徴は、前述の第２の実施形態のフ
ォールト・トレラント・コンピュータのＤＲＡＭの各行
アドレスにリフレッシュ完了フラグを設けた点にある。
図１３にリフレッシュ完了フラグをもつ場合のＤＲＡＭ
の構成を示す。

【００６７】通常のリフレッシュ動作、チェックポイン
ト処理またはロールバック処理によるリフレッシュ、ま
たは、通常のリード／ライトアクセスがあれば、このリ
フレッシュ完了フラグ１３０をセットする。そして、す
べてのリフレッシュ完了フラグがセットされたときに、
リフレッシュ完了フラグ１３０をリセットする。

【００６８】リフレッシュ完了フラグ１３０が立ってい
る行アドレスに関しては、ＣＡＳＢｅｆｏｒｅ ＲＡＳ
リフレッシュをしないようにすることで、リフレッシュ
効率を高くすることができる。

【００６９】（第６実施形態）次に、この発明の第６実
施形態を説明する。

【００７０】この第６実施形態のフォールト・トレラン
ト・コンピュータの特徴は、前述の第３実施形態のフォ
ールト・トレラント・コンピュータのＤＲＡＭのセンス
アンプを２組設けた点にある。

【００７１】図１４にセンスアンプを２組設けた場合の
ＤＲＡＭの構成を示す。

【００７２】１組のセンスアンプ３１ａの入力は、プラ
イマリセル１０に、もう１組のセンスアンプ３１ｂの入
力は、セカンダリセル２０にそれぞれ固定する。よっ
て、第１実施形態で述べた「センスアンプ・リード・セ
レクタ・ピン」は必要ない。その代わりに、後述するよ
うな、メモリセルに書き戻すデータを保持するセンスア
ンプを指定するための手段を設ける。

【００７３】プライマリメモリ１０に対する通常のリー
ド／ライトアクセスでは、プライマリ側のセンスアンプ
３１ａを用い、一方、セカンダリメモリ２０に対する通
常のリード／ライトアクセスでは、セカンダリ側のセン
スアンプ３１ｂを用いる。

【００７４】まず、このＤＲＡＭの通常動作について説
明する。

【００７５】図１４には通常のＤＲＡＭのリフレッシュ
動作が示されている。通常のリフレッシュでは、行アド
レス（ＰＲｎ）にあるプライマリメモリ１０のデータ
は、プライマリセンスアンプ３１ａに読み出され、プラ
イマリメモリ１０に書き戻される。同時に対応する行ア
ドレス（ＳＲｎ）にあるセカンダリメモリ２０のデータ
がセカンダリセンスアンプ３１ｂに読み出され、セカン
ダリメモリ２０に書き戻される。簡単のため、デフォル
トのセンスアンプを使用することを示す「ノーマル・リ
フレッシュ・ピン」を設けることにする。

【００７６】「ノーマル・リフレッシュ・ピン」がアク
ティブのとき、「センスアンプ・ライト・セレクタ・ピ
ン」がアクティブであるメモリセル群にデフォルトのセ
ンスアンプのデータを書き込む。デフォルトのセンスア
ンプとは、プライマリメモリ１０はプライマリ側のセン
スアンプ３１ａ、セカンダリメモリ２０はセカンダリ側
のセンスアンプ３１ｂとする。「ノーマル・リフレッシ
ュ・ピン」がアクティブでないとき、どちら側のセンス
アンプの値をメモリセルに書き戻すかを決める手段が必
要である。今回の場合、プライマリ、セカンダリの２つ
のメモリセル群しかないので、１ビットあれば十分であ
る。これを「ライトバック・センスアンプ・セレクタ・
ピン」と呼ぶことにする。

【００７７】「ノーマル・リフレッシュ・ピン」がアク
ティブでないときに、「ライトバック・センスアンプ・
セレクタ・ピン」が“プライマリ”であれば、プライマ
リ・センスアンプ３１ａの内容を、「センスアンプ・ラ
イト・セレクタ・ピン」がアクティブであるメモリセル
に書き込むものとする。

【００７８】なお、このＤＲＡＭの構成においては、メ
モリセルが２組しかなく、“センスアンプ・ライトセレ
クタ・ピン”の設定は自明なので、“センスアンプ・ラ
イト・セレクタ・ピン”を設けなくとも構わない。

【００７９】次に、このＤＲＡＭのチェックポイント動
作について説明する。

【００８０】図１５にチェックポイント時のＤＲＡＭの
リフレッシュ動作を示す。チェックポイント処理時に
は、キャッシュフラッシュを行ない、プロセッサのレジ
スタ等の情報をプライマリメモリに書き込んで退避した
後で、更新ビット１３０の立っているプライマリメモリ
１０の行アドレス（ＰＲｎ）のデータをプライマリセン
スアンプ３１ａに読み出す。同時に対応する行アドレス
（ＳＲｎ）にあるセカンダリメモリ２０のデータが、セ
カンダリセンスアンプ３１ｂに読み出される。書き込み
時には、プライマリセンスアンプ３１ａの内容をプライ
マリメモリ１０の行アドレス（ＰＲｎ）のセル群だけで
なく、セカンダリメモリ２０の対応する行アドレス（Ｓ
Ｒｎ）のセル群にも書き込む。そして、セカンダリセン
スアンプ３１ｂの内容は捨てられる。このために、「ノ
ーマル・リフレッシュ・ピン」をインアクティブにし、
「ライトバック・センスアンプ・セレクタ・ピン」を
“プライマリ”にする。これにより、プライマリメモリ
１０の更新された行アドレス（ＰＲｎ）のデータは、セ
カンダリメモリ２０の対応する行アドレス（ＳＲｎ）の
メモリセルにコピーされる。

【００８１】次に、このＤＲＡＭのロールバック動作に
ついて説明する。

【００８２】障害発生時には、更新ビット１３０の立っ
ているプライマリメモリ１０の行アドレス（ＰＲｎ）の
データをプライマリセンスアンプ３１ａに読み出す。同
時に対応する行アドレス（ＳＲｎ）にあるセカンダリメ
モリ２０のデータが、セカンダリセンスアンプ３２に読
み込まれる。書き込み時には、セカンダリセンスアンプ
３１ｂの内容をセカンダリメモリ２０の行アドレス（Ｓ
Ｒｎ）のセル群だけでなく、プライマリメモリ１０の対
応する行アドレス（ＰＲｎ）のセル群にも書き込まれ
る。そして、プライマリセンスアンプ３１の内容は捨て
られる。このために、「ノーマル・リフレッシュ・ピ
ン」をインアクティブにし、「ライトバック・センスア
ンプ・セレクタ・ピン」を“セカンダリ”にする。これ
により、セカンダリメモリ１０の更新された行アドレス
（ＳＲｎ）のデータは、プライマリメモリ１０の対応す
る行アドレス（ＰＲｎ）のメモリセルにコピーされる。

【００８３】なお、障害発生時には、更新ビット１３０
を無視してすべての行アドレスに対してリフレッシュ動
作を行なって、セカンダリメモリの内容をプライマリメ
モリにコピーしても良い。

【００８４】以上の各リフレッシュ動作における動作を
図１６に示す。図１６において、「センスアンプ・ライ
ト・セレクタ・ピン」は、“（プライマリ側セルの選
択、セカンダリ側のセルの選択）”の形式で記載し、
“１”のときアクティブ、“０”のときインアクティブ
とする。

【００８５】なお、前述の第１乃至第６実施形態のフォ
ールト・トレラント・コンピュータでは、ＤＲＡＭのリ
フレッシュを用いてチェックポイント処理やロールバッ
ク処理を行なう例を示したが、データ記憶素子はＤＲＡ
Ｍに限られない。たとえばＤＲＡＭの替わりにＳＲＡＭ
を用いても良いし、プライマリ側をＤＲＡＭ、セカンダ
リ側をフラッシュメモリのような不揮発性メモリを用い
てもよい。

【００８６】特に、セカンダリ側に不揮発性素子を使用
すると、高信頼性計算機のみならずに一般の計算機に使
用してレジューム機能を実現する手段として用いても有
効である。また、主記憶でなくディスクキャッシュに用
いて高信頼性を図ることもできるようになる。

【００８７】さらに、システム・オン・チップ技術によ
り、プロセッサとメモリとを同一ＬＳＩチップ上に搭載
する場合には、メモリ制御回路にこの発明を適用するこ
とも可能である。

【００８８】

【発明の効果】以上詳述したように、この発明によれ
ば、同一のアドレス空間を構成する記憶セル群を複数組
設けることにより、単一のデータ記憶素子内にプライマ
リの記憶領域とセカンダリの記憶領域との２つの記憶領
域をもつことを可能としたことから、共有リソースであ
る外部バスを用いることなく、チェックポイント処理を
プライマリとして用いる記憶セル群のデータをセカンダ
リとして用いる記憶セル群にコピーすることにより実行
し、また、ロールバック処理をセカンダリとして用いる
記憶セル群のデータをプライマリとして用いる記憶セル
群にコピーすることにより実行することができるため、
チェックポイント処理およびロールバック処理のオーバ
ヘッドを大幅に小さくすることを可能とする。

【図面の簡単な説明】

【図１】この発明の第１実施形態に係るチェックポイン
ト・ロールバック方式のフォールト・トレラント・コン
ピュータの概略構成を示す図。

【図２】同第１実施形態のシステムメモリ３を構成する
ＤＲＡＭの２つのメモリセルおよびセンスアンプとその
動作とを模式的に示した図。

【図３】同第１実施形態のＤＲＡＭのプライマリ側のリ
フレッシュ動作を示す図。

【図４】同第１実施形態のＤＲＡＭのセカンダリ側のリ
フレッシュ動作を示す図。

【図５】同第１実施形態におけるチェックポイント時の
ＤＲＡＭのリフレッシュ動作を示す図。

【図６】同第１実施形態におけるロールバック時のＤＲ
ＡＭのリフレッシュ動作を示す図。

【図７】同第１実施形態の各リフレッシュ動作における
動作を示す図。

【図８】一般的な計算機のリフレッシュのタイミングを
示す図。

【図９】同第１実施形態のＤＲＡＭを適用したフォール
ド・トレラント・コンピュータのリフレッシュのタイミ
ングを示す図。

【図１０】同第１実施形態におけるＤＲＡＭのリフレッ
シュ方式の選択手順を説明するためのフローチャート。

【図１１】同第２実施形態のエラーチェックビットを持
つ場合のＤＲＡＭの構成を示す図。

【図１２】同第３実施形態の更新ビットをもつ場合のＤ
ＲＡＭの構成を示す図。

【図１３】同第５実施形態のリフレッシュ完了フラグを
もつ場合のＤＲＡＭの構成を示す図。

【図１４】同第６実施形態のセンスアンプを２組設けた
場合のＤＲＡＭの構成および通常のＤＲＡＭのリフレッ
シュ動作を示す図。

【図１５】同第６実施形態におけるチェックポイント時
のＤＲＡＭのリフレッシュ動作を示す図。

【図１６】同第６実施形態の各リフレッシュ動作におけ
る動作を示す図。

【符号の説明】

１…ＣＰＵ ２…メモリコントローラ ３…システムメモリ（ＤＲＡＭ） １０…プライマリセル ２０…セカンダリセル ３０…センスアンプ ３１ａ…プライマリセンスアンプ ３１ｂ…セカンダリセンスアンプ １００…データ本体 １１０…チェックビット １２０…更新ビット １３０…リフレッシュ完了フラグ

Claims (20)

【特許請求の範囲】
1. 【請求項１】 同一のアドレス空間を構成する複数組の
   記憶セル群と、 前記複数組の記憶セル群が接続されるバッファと、 前記バッファにデータを読み出す記憶セル群を選択する
   第１の選択手段と、 前記バッファのデータを書き込む記憶セル群を選択する
   第２の選択手段と、 を具備することを特徴とするデータ記憶素子。
2. 【請求項２】 前記バッファは、データ保護のために前
   記記憶セル群のデータを書き戻すためのセンスアンプで
   あることを特徴とする請求項１記載のデータ記憶素子。
3. 【請求項３】 前記複数組の記憶セル群の中のいずれか
   １つが通常用のプライマリセルであり、その他の記憶セ
   ル群がバックアップ用のセカンダリセルであることを特
   徴とする請求項１記載のデータ記憶素子。
4. 【請求項４】 前記記憶セル群の組数が２であることを
   特徴とする請求項１記載のデータ記憶素子。
5. 【請求項５】 リフレッシュ時に、いずれかの記憶セル
   群のデータを前記バッファを介して同記憶セル群を含む
   前記複数組の記憶セル群のうちの２つ以上に同時に書き
   戻す手段を備えたＤＲＡＭであることを特徴とする請求
   項１記載のデータ記憶素子。
6. 【請求項６】 前記複数組の記憶セル群の中の少なくと
   も１組は不揮発性素子であることを特徴とする請求項１
   記載のデータ記憶素子。
7. 【請求項７】 同一のアドレス空間を構成する第１およ
   び第２の記憶セル群と、 入力に前記第１の記憶セル群が接続され、出力に前記第
   １および第２の記憶セル群が接続される、前記第１の記
   憶セル群から読み出されたデータを格納する第１のバッ
   ファと、 入力に前記第２の記憶セル群が接続され、出力に前記第
   １および第２の記憶セル群が接続される、前記第２の記
   憶セル群から読み出されたデータを格納する第２のバッ
   ファと、 前記第１のバッファのデータを書き込む記憶セル群を前
   記第１および第２の記憶セル群の中から選択する第１の
   選択手段と、 前記第２のバッファのデータを書き込む記憶セル群を前
   記第１および第２の記憶セル群の中から選択する第２の
   選択手段と、 を具備することを特徴とするデータ記憶素子。
8. 【請求項８】 前記第１のバッファは、データ保護のた
   めに前記第１の記憶セル群のデータを書き戻すためのセ
   ンスアンプであり、前記第２のバッファは、データ保護
   のために前記第２の記憶セル群のデータを書き戻すため
   のセンスアンプであることを特徴とする請求項７記載の
   データ記憶素子。
9. 【請求項９】 前記第１の記憶セル群は、通常用のプラ
   イマリセルであり、前記第２の記憶セル群は、バックア
   ップ用のセカンダリセルであることを特徴とする請求項
   ７記載のデータ記憶素子。
10. 【請求項１０】 リフレッシュ時に、前記第１および第
    ２の記憶セル群の中のいずれか一方のデータを前記第１
    または第２のバッファを介して同記憶セル群を含む前記
    第１および第２の記憶セル群双方に同時に書き戻す手段
    を備えたＤＲＡＭであることを特徴とする請求項７記載
    のデータ記憶素子。
11. 【請求項１１】 前記第１および第２の記憶セル群の中
    の少なくとも一方が不揮発性素子であることを特徴とす
    る請求項７記載のデータ記憶素子。
12. 【請求項１２】 前記記憶セル群に、エラーチェックの
    ための冗長ビットが設けられ、この冗長ビットを用いて
    エラー検出またはエラー訂正を行なう手段を具備するこ
    とを特徴とする請求項１または７記載のデータ記憶素
    子。
13. 【請求項１３】 エラー情報を記憶する手段を具備する
    ことを特徴とする請求項１２記載のデータ記憶素子。
14. 【請求項１４】 エラー検出またはエラー訂正をするか
    否かを指定する手段を具備することを特徴とする請求項
    １２記載のデータ記憶素子。
15. 【請求項１５】 各記憶セルの参照履歴を示す手段を前
    記複数組の記憶セル群の中の少なくとも１組以上に対応
    させて設けたことを特徴とする請求項１または７記載の
    データ記憶素子。
16. 【請求項１６】 すべてのセルの参照が完了した旨を外
    部に通知する手段を具備することを特徴とする請求項１
    ５記載のデータ記憶素子。
17. 【請求項１７】 チェックポイント・ロールバック方式
    の高信頼化機構を有する電子計算機において、 請求項１乃至１４に記載のいずれかのデータ記憶素子
    と、 通常動作時、前記複数組の記憶セル群の中のいずれか１
    つの記憶セル群のデータを前記バッファを介して同記憶
    セル群のみに書き戻すデータ保護手段と、 チェックポイント時、通常動作時にデータの書き戻しを
    実行する記憶セル群のデータを前記バッファを介して同
    記憶セル群を含む前記複数組の記憶セル群のうちの２つ
    以上に同時に書き戻すデータ複製手段と、 ロールバック時、通常動作時にデータの書き戻しを実行
    する記憶セル群以外のいずれか１つの記憶セル群のデー
    タを前記バッファを介して同記憶セル群を含む前記複数
    組の記憶セル群のうちの２つ以上に同時に書き戻すデー
    タ復元手段と、 を具備することを特徴とする電子計算機。
18. 【請求項１８】 チェックポイント・ロールバック方式
    の高信頼化機構を有する電子計算機において、 請求項１５および１６に記載のいずれかのデータ記憶素
    子と、 通常動作時、前記複数組の記憶セル群の中のいずれか１
    つの記憶セル群のデータを前記バッファを介して同記憶
    セル群のみに書き戻すデータ保護手段と、 チェックポイント時、通常動作時にデータの書き戻しを
    実行する記憶セル群内の参照履歴のあるデータのみを前
    記バッファを介して同記憶セル群を含む前記複数組の記
    憶セル群のうちの２つ以上に同時に書き戻すデータ複製
    手段と、 ロールバック時、通常動作時にデータの書き戻しを実行
    する記憶セル群以外のいずれか１つの記憶セル群のデー
    タを前記バッファを介して同記憶セル群を含む前記複数
    組の記憶セル群のうちの２つ以上に同時に書き戻すデー
    タ復元手段と、 を具備することを特徴とする電子計算機。
19. 【請求項１９】 チェックポイントが前記データ記憶素
    子のリフレッシュ周期内に採取されるときに、前記デー
    タ記憶素子のリフレッシュをチェックポイント処理で実
    行することを特徴とする請求項１７または１８記載の電
    子計算機。
20. 【請求項２０】 チェックポイントが前記データ記憶素
    子のリフレッシュ周期内に採取されないときに、前記デ
    ータ記憶素子のリフレッシュを独立して実行することを
    特徴とする請求項１７または１８記載の電子計算機。