JP2006178636A

JP2006178636A - フォールトトレラントコンピュータ、およびその制御方法

Info

Publication number: JP2006178636A
Application number: JP2004369545A
Authority: JP
Inventors: Fumitoshi Mizutani; 文俊水谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-12-21
Filing date: 2004-12-21
Publication date: 2006-07-06
Also published as: EP1675002A1; CN1794196A; AU2005246938A1; US20060150006A1; US7500139B2; CA2530018A1

Abstract

【課題】同期外れが検出された場合、再同期化処理を開始する前に同期外れの要因を特定する。
【解決手段】ＣＰＵバスコントローラ１１３₀，１１３₁は、ＣＰＵサブシステム１１₀，１１₁が同期動作している状態において同期外れが検出された場合でも、ＣＰＵ１１１₀，１１１₁を停止せずに継続動作させる。また、ＤＭＡコントローラ１２６₀，１２６₁は、同期外れが検出されてから一定期間が経過するまでは、ＤＭＡ転送を開始せずに待機する。この一定期間は、当該期間内に主記憶装置１１２₀，１１２₁に格納されたデータについてはＤＭＡコントローラ１２６₀，１２６₁によるＤＭＡ転送が可能であることを示す期間である。
【選択図】図１

Description

本発明は、ＣＰＵおよび主記憶装置を備えたＣＰＵサブシステムとＩＯサブシステムとからなるシステムを二重冗長構成（ＤＭＲ：ＤｏｕｂｌｅＭｏｄｕｌａｒＲｅｄｕｎｄａｎｃｙ）としたフォールトトレラントコンピュータ（ＦａｕｌｔＴｏｌｅｒａｎｔＣｏｍｐｕｔｅｒ）およびその制御方法に関する。

近年、コンピュータの多機能化に伴い、様々な分野でコンピュータが利用されるようになってきている。そのため、障害発生時においても、コンピュータを継続して動作させることが要求され、それに対して、システムを二重化したフォールトトレラント技術が採用されている。

このようなフォールトトレラント技術が採用されたフォールトトレラントコンピュータの中には、例えば、ＣＰＵおよび主記憶装置を備えたＣＰＵサブシステムとＩＯサブシステムとからなるシステムが二重化され、２つのＣＰＵサブシステムがクロックを同期させて全く同一の動作を行うロックステップ方式が採られたものがある。

ロックステップ方式のフォールトトレラントコンピュータにおいては、２つのＣＰＵサブシステム間で同一動作性が崩れる同期外れが発生し、２つのＣＰＵサブシステムの主記憶装置の内容が不一致になってしまうことがある。同期外れの要因としては、ＣＰＵ故障の他、放射線の影響で主記憶装置のデータ内容が変わるソフトエラーの発生、ロックステップ方式で保証されていない動作が行われることなどの比較的小規模な故障が挙げられる。

ロックステップ方式のフォールトトレラントコンピュータにおいては、上述のような同期外れが発生した場合、２つのＣＰＵサブシステムを再度同期化させる再同期化処理が行われる。この再同期化処理は、幾つかのフェーズに分かれており、その中のフェーズの１つに、一方のＣＰＵサブシステムの主記憶装置の内容を他方のＣＰＵサブシステムの主記憶装置に複写して、主記憶装置の内容を一致させるものがある。

上述の再同期化処理の高速化を図るためのフォールトトレラントコンピュータは、例えば、特許文献１に開示されている。

特許文献１に開示されたフォールトトレラントコンピュータにおいては、各ＣＰＵサブシステムにおいて、同期動作中に主記憶装置への書き込みイベントが発生すると、この書き込みイベントにより記録内容が更新された主記憶装置の位置（ページ）および時間の情報が記録される。そして、同期外れが検出されると、上記で記録した情報を基に、一方のＣＰＵサブシステムの主記憶装置の更新部分となる一部のデータのみを他方のＣＰＵサブシステムの主記憶装置に複写することが行われる。

このように、特許文献１に開示されたフォールトトレラントコンピュータによれば、主記憶装置の全てのデータを複写するのではなく、更新部分となる一部のデータのみを複写して複写時間を短縮することにより、再同期化処理の時間を短縮することができるという利点がある。
特開平１０−１７７４９８号公報

しかしながら、特許文献１に開示されたフォールトトレラントコンピュータにおいては、同期外れが検出された場合、その同期外れの要因を特定することなく、即座に再同期化処理が開始されて、一方のＣＰＵサブシステムの主記憶装置の一部のデータが他方のＣＰＵサブシステムの主記憶装置に複写することが行われる。

そのため、同期外れが発生した要因が、例えば、複写元のＣＰＵサブシステム側のＣＰＵ故障であった場合には、再同期化処理が全て完了した後もフォールトトレラントコンピュータの動作は保証されないことになる。

このように、フォールトトレラントコンピュータの制御においては、同期外れが検出された場合、同期外れの要因を特定してから再同期化処理を開始することが必要である。

ただし、同期外れの要因を特定する時間が長くなると、その間は同期外れが生じているため、ＣＰＵサブシステム間の主記憶装置の不一致度が大きくなることになり、その後に行われる再同期化処理の短縮化を図ることは困難になる。

よって、再同期化処理を開始する前に同期外れの要因を特定する場合には、ＣＰＵサブシステム間の主記憶装置の不一致度を最小限に抑えることも必要である。

そこで、本発明の目的は、同期外れが検出された場合、再同期化処理を開始する前に同期外れの要因を特定することができるフォールトトレラントコンピュータおよびその制御方法を提供することにある。

また、本発明の他の目的は、再同期化処理を開始する前に同期外れの要因を特定することにより生じる、ＣＰＵサブシステム間の主記憶装置の不一致度を最小限に抑えることができるフォールトトレラントコンピュータおよびその制御方法を提供することにある。

上記目的を達成するために本発明は、
ＣＰＵおよび主記憶装置を備えたＣＰＵサブシステムを含むシステムが二重化に構成され、前記ＣＰＵサブシステムがロックステップ同期で同一の動作を行うフォールトトレラントコンピュータであって、
前記システムの各々は、
前記ＣＰＵサブシステムがロックステップ同期している状態において同期外れを検出した場合、自系のＣＰＵを停止せずに継続動作させるＣＰＵバスコントローラと、
前記ＣＰＵバスコントローラにより同期外れが検出された場合、以降、自系の主記憶装置にデータが書き込まれる度に当該主記憶装置におけるデータの書き込み場所の情報が格納されるトレースメモリと、
前記ＣＰＵバスコントローラにより同期外れが検出された場合、自系または他系の主記憶装置のデータのうち前記トレースメモリに書き込み場所が格納されているデータの他系または自系の主記憶装置へのＤＭＡ転送を、同期外れが検出されてから所定のタイミングとなるまで待機するＤＭＡコントローラとを有することを特徴とする。

この構成によれば、同期外れが検出された場合に、再同期化処理となるＤＭＡ転送を開始する前にソフトウェアやハードウェアにより同期外れの要因を特定するための時間を確保することが可能となる。

また、前記システムの各々は、
入力されるデータを一時的に格納してから出力するバッファと、
自系のＣＰＵおよび他系のＣＰＵからの前記バッファを介したアクセスの内容を比較して両者が不一致であることを検出した場合、および前記バッファの使用容量が所定値を超えたことを検出した場合に、前記ＣＰＵに対して割り込み信号を通知するアクセス比較器とをさらに有し、
前記ＤＭＡコントローラにおける前記所定のタイミングを、前記アクセス比較器から前記ＣＰＵに割り込み信号が通知されたタイミングとしても良い。

また、前記ＤＭＡコントローラは、前記トレースメモリの使用容量が所定値を超えたことを検出した場合に、前記ＣＰＵに対して割り込み信号を通知することとし、
前記ＤＭＡコントローラにおける前記所定のタイミングを、前記ＤＭＡコントローラから前記ＣＰＵに割り込み信号が通知されたタイミングとしても良い。

これらの構成によれば、ＤＭＡコントローラにおける所定のタイミングを、ＤＭＡコントローラまたはＩＯアクセス比較器からＣＰＵに対して割り込み通知がなされるタイミングとしている。この割り込み通知は、割り込み通知を発したタイミング以降に主記憶装置に格納されたデータについてはＤＭＡコントローラによるＤＭＡ転送不可となることを、ＣＰＵに通知する信号として代用されるものである。従って、同期外れの要因を特定するための時間を、ＤＭＡ転送が実行できる程度の最小限に抑えることができるため、同期外れの要因を特定する時間を確保しつつ、それにより生じる主記憶装置の不一致度を最小限に抑えることが可能となり、再同期化処理の短縮化を図ることが可能となる。

また、前記ＣＰＵバスコントローラは、自系のＣＰＵバスの動作状態を監視し、その監視結果を示すＣＰＵバス動作情報を他系のＣＰＵバスコントローラに送信し、自系のＣＰＵバス動作情報と他系のＣＰＵバス動作情報とを比較することにより同期外れを検出することとしても良い。

この構成によれば、ＣＰＵバスコントローラ同士でＣＰＵバスの動作を直接比較することにより、主記憶装置の不一致度が大きくなる前に早期に同期外れを検出することが可能となるため、再同期化処理の短縮化に寄与することが可能となる。

以上説明したように本発明によれば、同期動作している状態において同期外れが検出された場合でも、ＣＰＵを停止せずに継続動作させ、同期外れが検出されてから所定のタイミングとなるまでは、ＤＭＡコントローラによるＤＭＡ転送を開始せずに待機させるため、再同期化処理を開始する前にソフトウェアやハードウェアにより同期外れの要因を特定するための時間を確保することができるという効果を奏する。

以下に、本発明を実施するための最良の形態について図面を参照して説明する。

図１を参照すると、本発明の一実施形態のフォールトトレラントコンピュータは、ＣＰＵサブシステム１１₀およびＩＯサブシステム１２₀からなる０系のシステム１０₀と、ＣＰＵサブシステム１１₁およびＩＯサブシステム１２₁からなる１系のシステム１０₀とを二重化した構成であり、ＣＰＵサブシステム１１₀およびＣＰＵサブシステム１１₁は、ロックステップ同期（以下、単に「同期」と呼ぶ）で全く同一の動作を行っている。

０系のＣＰＵサブシステム１１₀は、ＣＰＵ１１１₀と、主記憶装置１１２₀と、ＣＰＵバスコントローラ１１３₀と、メモリバスコントローラ１１４₀と、ルータ１１５₀とを備えている。また、０系のＩＯサブシステム１２₀は、クロスリンクＩ／Ｆ１２１₀と、ＩＯコントローラ１２２₀と、ＩＯアクセス比較器１２３₀と、バッファ１２４₀と、メモリアクセストレースメモリ１２５₀と、ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）コントローラ１２６₀とを備えている。

同様に、１系のＣＰＵサブシステム１１₁は、ＣＰＵ１１１₁と、主記憶装置１１２₁と、ＣＰＵバスコントローラ１１３₁と、メモリバスコントローラ１１４₁と、ルータ１１５₁とを備えている。また、１系のＩＯサブシステム１２₁は、クロスリンクＩ／Ｆ１２１₁と、ＩＯコントローラ１２２₁と、ＩＯアクセス比較器１２３₁と、バッファ１２４₁と、メモリアクセストレースメモリ１２５₁と、ＤＭＡコントローラ１２６₁とを備えている。

ここで、システム１０₀，１０₁内の構成要素の動作について説明する。以下では、０系のシステム１０₀内の構成要素の動作について説明するが、１系のシステム１０₁内の構成要素も同様の動作を行う。

ＣＰＵバスコントローラ１１３₀は、自系のＣＰＵ１１１₀との間のＣＰＵバスの動作状態を監視し、その監視結果を示すＣＰＵバス動作情報を他系のＣＰＵバスコントローラ１１３₁に送信し、自系のＣＰＵバス動作情報と他系のＣＰＵバス動作情報とを比較し、両者が不一致であること、すなわち同期外れが発生したことを検出する。そして、ＣＰＵバスの不一致を検出すると、ＣＰＵバスコントローラ１１３₀は、ＣＰＵバスの不一致を示す信号をルータ１１５₀経由でＤＭＡコントローラ１２６₀に通知する。なお、ＣＰＵバスコントローラ１１３₀は、ＣＰＵバスが動作していない状態も含め、常にＣＰＵバス動作情報を送信している。また、ＣＰＵバス自体のバンド幅が大きいため、ＣＰＵバス動作情報は、ＣＰＵバスコントローラ１１３₀によりＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋ）コード変換が施されてデータ量が削減された情報となっている。

また、ＣＰＵバスコントローラ１１３₀は、主記憶装置１１２₀のアドレス／ページを指定して主記憶装置１１２₀への書き込み指示をメモリバスコントローラ１１４₀に対して行う。この書き込み指示は、ＤＭＡコントローラ１２６₀にも通知される。また、ＣＰＵバスコントローラ１１３₀は、ＤＭＡコントローラ１２６₀からの指示を受けた場合等において、主記憶装置１１２₀のアドレス／ページを指定して主記憶装置１１２₀への読み出し指示をメモリバスコントローラ１１４₀に対して行う。

メモリバスコントローラ１１４₀は、ＣＰＵバスコントローラ１１３₀からの書き込み指示または読み出し指示を受けて、主記憶装置１１２₀の該当するアドレス／ページへの書き込みまたは主記憶装置１１２₀の該当するアドレス／ページからの読み出しを行う。

ルータ１１５₀は、ＣＰＵサブシステム１１₀とＩＯサブシステム１２₀との境界部分に配置されて、ＣＰＵサブシステム１１₀とＩＯサブシステム１２₀との間でデータを中継する。

クロスリンクＩ／Ｆ１２１₀は、ＩＯサブシステム１２₀とＩＯサブシステム１２₁との間の通信に利用される高速インタフェースであり、システム１０₀内の内部クロックとは非同期に動作するシリアルリンクが一般に使用される。

ＩＯコントローラ１２２₀は、自系のＣＰＵ１１１₀と他系のＣＰＵ１１１₁の双方からアクセスを受ける。この２つのアクセスは、ＣＰＵサブシステム１１₀，１１₁が同期動作中である場合、同一のアクセスとなる。また、ＩＯコントローラ１２２₀は、自系のＣＰＵ１１１₀と他系のＣＰＵ１１１₁の双方へアクセスを行う。

ＩＯアクセス比較器１２３₀は、自系のＣＰＵ１１１₀から自系のＩＯコントローラＣＰＵ１２２₀へのアクセス内容と、他系のＣＰＵ１１１₁から自系のＩＯコントローラ１２２₀へのアクセス内容とを比較し、両者が不一致であることを検出すると、その旨を示す信号をルータ１１５₀経由でＣＰＵ１１１₀に割り込みで通知する。このとき、自系のＣＰＵ１１１₀からのアクセスが内部パスのみを介して行われるのに対して、他系のＣＰＵ１１１₁からのアクセスは外部パスを介して行われるため、他系のＣＰＵ１１１₁からのアクセスは到着時間が遅れる。そのため、ＩＯアクセス比較器１２３₀の入力段にはバッファ１２４₀が設けられており、自系のＣＰＵ１１１₀からのアクセスデータをバッファ１２４₀で一時的に格納してからＩＯアクセス比較器１２３₀に出力する。それによって、アクセスデータの順序の入れ替えを調整することができるとともに両系からのアクセスが到着するまでアクセス不一致を判定せずに待機することができる。

ＩＯアクセス比較器１２３₀は、バッファ１２４₀の使用容量が所定値を超えたことを検出すると、その旨を示す信号をルータ１１５₀経由でＣＰＵ１１１₀に割り込みで通知する。

ＤＭＡコントローラ１２６₀は、ＣＰＵバスコントローラ１１３₀から主記憶装置１１２₀に対して行われた書き込み指示を基にして、データが書き込まれた主記憶装置１１２₀のアドレス／ページ情報を、メモリアクセストレースメモリ１２５₀にＦＩＦＯ（Ｆｉｒｓｔ−ＩｎＦｉｒｓｔ−Ｏｕｔ）形式で格納する動作を行う。この動作は、ＣＰＵバスコントローラ１１３₀からＣＰＵバス不一致を示す信号が通知されてから開始される。なお、ＤＭＡコントローラ１２６₀からＣＰＵバスコントローラ１１３₀に対してなされる指示により主記憶装置１１２₀に対する書き込みが行われる場合もあるが、この場合にはＤＭＡコントローラ１２６₀では主記憶装置１１２₀のトレースを行わない。そのようにするために、ＣＰＵバスコントローラ１１３₀において、主記憶装置１１２₀に対して行う書き込み指示に所定のマークを付ける等の処理を行うことが望ましい。

ＤＭＡコントローラ１２６₀は、メモリアクセストレースメモリ１２５₀の使用容量が所定値を超えたことを検出すると、その旨を示す信号をルータ１１５₀経由で自系のＣＰＵ１１１₀に割り込みで通知するとともに、クロスリンクＩ／Ｆ１２１₀経由で他系のＣＰＵ１１１₁に割り込みで通知する。

ＤＭＡコントローラ１２６₀は、メモリアクセストレースメモリ１２５₀に格納されているアドレス／ページ情報に基づく主記憶装置１１２₀の該当するアドレス／ページのデータを自系の主記憶装置１１２₀および他系の主記憶装置１１２₁の双方にＤＭＡ転送する動作を行う。この動作は、ソフトウェアからの指示を受けて開始される。

以下、図１に示した本実施形態のフォールトトレラントコンピュータの動作について説明する。なお、ここで説明する動作は、その動作の開始時に、ＣＰＵサブシステム１１₀，１１₁が同期動作を行っていることが前提となる。

図２を参照すると、ＣＰＵバスコントローラ１１３₀，１１３₁が、ＣＰＵサブシステム１１₀，１１₁が同期動作している状態において、ＣＰＵバスの不一致により同期外れが発生したことを検出したとする（ステップ２０１）。すると、ＣＰＵバスコントローラ１１３₀は、その旨を示す信号をＤＭＡコントローラ１２６₀に通知し、また、ＣＰＵバスコントローラ１１３₁は、ＣＰＵバスの不一致を示す信号をＤＭＡコントローラ１２６₁に通知する（ステップ２０２）。その様子を図３に示す。

また、ＣＰＵバスコントローラ１１３₀，１１３₁は、ＣＰＵバスの不一致を示す信号を、同期外れの要因がＣＰＵ故障であるか否かを診断するソフトウェアやハードウェア（不図示）にも通知する。

ただし、同期外れが発生しても、ＣＰＵバスコントローラ１１３₀は、ＣＰＵ１１１₀を停止せずに継続して動作させ、また、ＣＰＵバスコントローラ１１３₁は、ＣＰＵ１１１₁を停止せずに継続して動作させる。このように、同期外れが発生した後も、ＣＰＵ１１１₀，１１１₁を継続して動作させることにより、ソフトウェアやハードウェアの診断により同期外れの要因がＣＰＵ故障であるか否かを特定できる可能性が高まる。

ＤＭＡコントローラ１２６₀は、ＣＰＵバスコントローラ１１３₀からのＣＰＵバス不一致を示す信号の通知を受けると、主記憶装置１１２₀のトレースを開始し、また、ＤＭＡコントローラ１２６₁は、ＣＰＵバスコントローラ１１３₁からのＣＰＵバス不一致を示す信号の通知を受けると、主記憶装置１１２₁のトレースを開始する（ステップ２０３）。

具体的には、ＤＭＡコントローラ１２６₀は、ＣＰＵバスコントローラ１１３₀から主記憶装置１１２₀に対して行われた書き込み指示を基にして、データが書き込まれた主記憶装置１１２₀のアドレス／ページ情報をメモリアクセストレースメモリ１２５₀に格納する。また、ＤＭＡコントローラ１２６₁は、ＣＰＵバスコントローラ１１３₁から主記憶装置１１２₁に対して行われた書き込み指示を基にして、データが書き込まれた主記憶装置１１２₁のアドレス／ページ情報をメモリアクセストレースメモリ１２５₁に格納する。その様子を図４に示す。

以降、ＤＭＡコントローラ１２６₀が、メモリアクセストレースメモリ１２５₀の使用容量が所定値を超えたことを検出し、また、ＤＭＡコントローラ１２６₁が、メモリアクセストレースメモリ１２５₁の使用容量が所定値を超えたことを検出したとする（ステップ２０４）。すると、ＤＭＡコントローラ１２６₀は、その旨を示す信号を自系のＣＰＵ１１１₀と他系のＣＰＵ１１１₁に割り込みで通知し、また、ＤＭＡコントローラ１２６₁は、その旨を示す信号を自系のＣＰＵ１１１₁と他系のＣＰＵ１１１₀に割り込みで通知する（ステップ２０６）。その様子を図５に示す。

また、ＩＯアクセス比較器１２３₀が、自系のＣＰＵ１１１₀からのアクセス内容と他系のＣＰＵ１１１₁からのアクセス内容とが不一致であることを検出したか、もしくはバッファ１２４₀の使用容量が所定値を超えたことを検出したとする。また、ＩＯアクセス比較器１２３₁が、自系のＣＰＵ１１１₁からのアクセス内容と、他系のＣＰＵ１１１₀からのアクセス内容とが不一致であることを検出したか、もしくは、バッファ１２４₁の使用容量が所定値を超えたことを検出したとする（ステップ２０５）。すると、ＤＭＡコントローラ１２６₀は、その旨を示す信号を自系のＣＰＵ１１１₀と他系のＣＰＵ１１１₁に割り込みで通知し、また、ＤＭＡコントローラ１２６₁は、その旨を示す信号を自系のＣＰＵ１１１₁と他系のＣＰＵ１１１₀に割り込みで通知する（ステップ２０６）。その様子を図６に示す。

ところで、ステップ２０２以降の時間は、ＣＰＵ１１１₀，１１１₁に継続動作させて、ソフトウェアやハードウェアの診断により同期外れの要因がＣＰＵ故障であるかを特定させるための時間となる。しかし、上述のように、同期外れの要因を特定する時間を長くすると、それだけ主記憶装置１１２₀，１１２₁の不一致度が大きくなることになるため、その後に行われる再同期化処理の短縮化を図ることは困難になる。

そこで、本実施形態においては、ステップ２０２以降、ステップ２０６でＣＰＵ１１１₀，１１１₁への割り込み通知が発生した場合、割り込み通知が発生したタイミング以降に主記憶装置１１２₀，１１２₁に格納されるデータについてはＤＭＡコントローラ１２６₀，１２６₁によるＤＭＡ転送が不可能であると判断する。言い換えれば、ステップ２０６で割り込み通知が発生したタイミングまでの期間に主記憶装置１１２₀，１１２₁に格納されたデータのみがＤＭＡ転送可能であると判断し、その期間に限定して同期外れの要因を特定させ、その後に再同期化処理に移行する。したがって、同期外れの要因を特定するための時間を、ＤＭＡ転送が実行できる程度の最小限の時間に抑えることができるため、同期外れの要因を特定する時間を確保しつつ、それにより生じる主記憶装置１１２₀，１１２₁の不一致度を最小限に抑えることができる。

なお、ステップ２０６においては、ＤＭＡコントローラ１２６₀，１２６₁またはＩＯアクセス比較器１２３₀，１２３₁が、ＣＰＵ１１１₀，１１１₁への割り込み通知を行う例について示したが、ステップ２０６またはそれ以前において、ソフトウェアからＣＰＵ１１１₀，１１１₁に割り込み通知がなされた場合にも、以降の動作は同様である。

ステップ２０６の割り込み通知イベントが発生すると、再同期化処理が開始される。再同期化処理においては、まず、ソフトウェアやハードウェアの診断により同期外れの要因がＣＰＵ１１１₀，１１１₁のいずれかの故障であると特定されたか否かが判定される（ステップ２０７）。

ステップ２０７において、同期外れの要因がＣＰＵ１１１₀，１１１₁のいずれかの故障であると特定されなかった場合は、ソフトウェアでは同期外れの要因がソフトエラーの発生等による小規模な故障であるものと判断される。この場合は、ＤＭＡコントローラ１２６₀，１２６₁は、ソフトウェアからの指示によりＤＭＡ転送を開始する（ステップ２０８）。

具体的には、まず、ＤＭＡコントローラ１２６₀は、メモリアクセストレースメモリ１２５₀からアドレス／ページ情報を読み出し、主記憶装置１１２₀の該当するアドレス／ページからの読み出し指示をＣＰＵバスコントローラ１１３₀経由でメモリバスコントローラ１１４₀に対して行う。同様に、ＤＭＡコントローラ１２６₁は、メモリアクセストレースメモリ１２５₁からアドレス／ページ情報を読み出し、主記憶装置１１２₀の該当するアドレス／ページからの読み出し指示をＣＰＵバスコントローラ１１３₀経由でメモリバスコントローラ１１４₀に対して行う。その様子を図７に示す。続いて、メモリバスコントローラ１１４₀は、主記憶装置１１２₀の該当するアドレス／ページからデータを読み出し、読み出したデータをＤＭＡコントローラ１２６₀，１２６₁に転送する。その様子を図８に示す。続いて、ＤＭＡコントローラ１２６₀は、主記憶装置１１２₀から転送されてきたデータの書き込み指示をＣＰＵバスコントローラ１１３₁経由でメモリバスコントローラ１１４₁に対して行う。同様に、ＤＭＡコントローラ１２６₁は、主記憶装置１１２₀から転送されてきたデータの書き込み指示をＣＰＵバスコントローラ１１３₁経由でメモリバスコントローラ１１４₁に対して行う。その様子を図９に示す。その後、メモリバスコントローラ１１４₁は、主記憶装置１１２₁にデータの書き込みを行い、それにより、主記憶装置１１２₀，１１２₁の内容が一致することになる。

なお、主記憶装置１１２₀の該当する全てのデータを主記憶装置１１２₁に転送しても、ＤＭＡコントローラ１２６₀，１２６₁は、動作を停止せず、以後、主記憶装置１１２₀への書き込みが行われる度に、主記憶装置１１２₀の該当するアドレス／ページのデータの主記憶装置１１２₁への転送を実行することになる。

その後、再同期化処理の中でＤＭＡ転送のフェーズが終了すると（ステップ２０９）、再同期化処理の次のフェーズに移行する（ステップ２１０）。

一方、ステップ２０７において、同期外れの要因がＣＰＵ１１１₀，１１１₁のいずれかの故障であると特定された場合、ソフトウェアからの指示により、故障が発生したＣＰＵ側のシステムが論理的に切り離されて（ステップ２１１）、再同期化処理の次のフェーズに移行する（ステップ２１２）。

上述したように本実施形態においては、同期動作している状態において同期外れが検出された場合でも、ＣＰＵ１１１₀，１１１₁を停止せずに継続動作させ、同期外れが検出されてから一定のタイミングに達するまでは、ＤＭＡコントローラ１２６₀，１２６₁によるＤＭＡ転送を開始させずに待機させる。

それにより、同期外れが検出された場合に、再同期化処理を開始する前にソフトウェアやハードウェアにより同期外れの要因を特定するための時間を確保することができる。

なお、上記のタイミングは、ＤＭＡコントローラ１２６₀，１２６₁またはＩＯアクセス比較器１２３₀，１２３₁からＣＰＵ１１１₀，１１１₁に対して割り込み通知がなされるタイミングである。この割り込み通知は、割り込み通知を発したタイミング以降に主記憶装置１１２₀，１１２₁に格納されたデータについてはＤＭＡコントローラ１２６₀，１２６₁によるＤＭＡ転送不可となることを、ＣＰＵ１１１₀，１１１₁に通知する信号として代用されるものである。

従って、同期外れの要因を特定するための時間を、ＤＭＡ転送が実行できる程度の最小限に抑えることができるため、同期外れの要因を特定する時間を確保しつつ、それにより生じる主記憶装置１１２₀，１１２₁の不一致度を最小限に抑えることができ、再同期化処理の短縮化を図ることができる。

また、本実施形態においては、ＣＰＵバスコントローラ１１３₀，１１３₁同士でＣＰＵバス動作情報を互いに送受信し、ＣＰＵバス動作を直接比較することで同期外れを早期に検出している。

それにより、主記憶装置の不一致度が大きくなる前に早期に同期外れを検出することができるため、再同期化処理の短縮化に寄与することができる。

本発明の一実施形態のフォールトトレラントコンピュータの構成を示す図である。図１に示したフォールトトレラントコンピュータの動作の一例を説明するフローチャートである。図２に示したステップ２０１，２０２の処理を説明する図である。図２に示したステップ２０３の処理を説明する図である。図２に示したステップ２０４，２０６の処理を説明する図である。図２に示したステップ２０５，２０６の処理を説明する図である。図２に示したステップ２０８の処理を説明する図である。図２に示したステップ２０８の処理を説明する図である。図２に示したステップ２０８の処理を説明する図である。

符号の説明

１０₀，１０₁ システム
１１₀，１１₁ ＣＰＵサブシステム
１２₀，１２₁ ＩＯサブシステム
１１１₀，１１１₁ ＣＰＵ
１１２₀，１１２₁ 主記憶装置
１１３₀，１１３₁ ＣＰＵバスコントローラ
１１４₀，１１４₁ メモリバスコントローラ
１１５₀，１１５₁ ルータ
１２１₀，１２１₁ クロスリンクＩ／Ｆ
１２２₀，１２２₁ ＩＯコントローラ
１２３₀，１２３₁ ＩＯアクセス比較器
１２４₀，１２４₁ バッファ
１２５₀，１２５₁ メモリアクセストレースメモリ
１２６₀，１２６₁ ＤＭＡコントローラ

Claims

ＣＰＵおよび主記憶装置を備えたＣＰＵサブシステムを含むシステムが二重化に構成され、前記ＣＰＵサブシステムがロックステップ同期で同一の動作を行うフォールトトレラントコンピュータであって、
前記システムの各々は、
前記ＣＰＵサブシステムがロックステップ同期している状態において同期外れを検出した場合、自系のＣＰＵを停止せずに継続動作させるＣＰＵバスコントローラと、
前記ＣＰＵバスコントローラにより同期外れが検出された場合、以降、自系の主記憶装置にデータが書き込まれる度に当該主記憶装置におけるデータの書き込み場所の情報が格納されるトレースメモリと、
前記ＣＰＵバスコントローラにより同期外れが検出された場合、自系または他系の主記憶装置のデータのうち前記トレースメモリに書き込み場所が格納されているデータの他系または自系の主記憶装置へのＤＭＡ転送を、同期外れが検出されてから所定のタイミングとなるまで待機するＤＭＡコントローラとを有するフォールトトレラントコンピュータ。
前記システムの各々は、
入力されるデータを一時的に格納してから出力するバッファと、
自系のＣＰＵおよび他系のＣＰＵからの前記バッファを介したアクセスの内容とを比較して両者が不一致であることを検出した場合、および前記バッファの使用容量が所定値を超えたことを検出した場合に、前記ＣＰＵに対して割り込み信号を通知するアクセス比較器とをさらに有し、
前記ＤＭＡコントローラにおける前記所定のタイミングを、前記アクセス比較器から前記ＣＰＵに割り込み信号が通知されたタイミングとする、請求項１に記載のフォールトトレラントコンピュータ。
前記ＤＭＡコントローラは、前記トレースメモリの使用容量が所定値を超えたことを検出した場合に、前記ＣＰＵに対して割り込み信号を通知することとし、
前記ＤＭＡコントローラにおける前記所定のタイミングを、前記ＤＭＡコントローラから前記ＣＰＵに割り込み信号が通知されたタイミングとする、請求項１または２に記載のフォールトトレラントコンピュータ。
前記ＣＰＵバスコントローラは、自系のＣＰＵバスの動作状態を監視し、その監視結果を示すＣＰＵバス動作情報を他系のＣＰＵバスコントローラに送信し、自系のＣＰＵバス動作情報と他系のＣＰＵバス動作情報とを比較することにより同期外れを検出する、請求項１から３のいずれか１項に記載のフォールトトレラントコンピュータ。
ＣＰＵおよび主記憶装置を備えたＣＰＵサブシステムを含むシステムが二重化に構成され、前記ＣＰＵサブシステムがロックステップ同期で同一の動作を行うフォールトトレラントコンピュータの制御方法であって、
前記システムの各々にて、前記ＣＰＵサブシステムがロックステップ同期している状態において同期外れを検出した場合、自系のＣＰＵを停止せずに継続動作させる第１のステップと、
前記システムの各々にて、同期外れが検出された場合、以降、自系の主記憶装置にデータが書き込まれる度に当該主記憶装置におけるデータの書き込み場所の情報をトレースメモリに格納する第２のステップと、
前記システムの各々にて、同期外れが検出された場合、自系または他系の主記憶装置のデータのうち前記トレースメモリに書き込み場所が格納されているデータの他系または自系の主記憶装置へのＤＭＡ転送を、同期外れが検出されてから所定のタイミングとなるまで待機する第３のステップとを有するフォールトトレラントコンピュータの制御方法。
前記システムの各々にて、自系のＣＰＵおよび他系のＣＰＵからの前記バッファを介したアクセスの内容とを比較して両者が不一致であることを検出した場合、および前記バッファの使用容量が所定値を超えたことを検出した場合に、前記ＣＰＵに対して割り込み信号を通知するステップをさらに有し、
前記第３のステップにおける前記所定のタイミングを、前記ＣＰＵに割り込み信号が通知されたタイミングとする、請求項５に記載のフォールトトレラントコンピュータの制御方法。
前記システムの各々にて、前記トレースメモリの使用容量が所定値を超えたことを検出した場合に、前記ＣＰＵに対して割り込み信号を通知するステップをさらに有し、
前記第３のステップにおける前記所定のタイミングを、前記ＣＰＵに割り込み信号が通知されたタイミングとする、請求項５または６に記載のフォールトトレラントコンピュータの制御方法。
前記第１のステップでは、前記システムの各々にて、自系のＣＰＵバスの動作状態を監視し、その監視結果を示すＣＰＵバス動作情報を他系のＣＰＵバスコントローラに送信し、自系のＣＰＵバス動作情報と他系のＣＰＵバス動作情報とを比較することにより同期外れを検出する、請求項５から７のいずれか１項に記載のフォールトトレラントコンピュータの制御方法。