JP2003216595A - マルチプロセッサ同期方式及びパケット及び中継装置及びプロセッサ装置及びマルチプロセッサ同期方法 - Google Patents

Abstract

(57)【要約】 【課題】 ＣＰＵに低スキューで同期クロックを供給す
る方式を提供する。 【解決手段】 複数のＣＰＵボード３０ａ〜３０ｄの同
期をとるマルチプロセッサ同期方式において、同期メッ
セージ送信装置１０は、同期メッセージを上記複数のＣ
ＰＵボード３０ａ〜３０ｄそれぞれへ送信し、同期メッ
セージは、スイッチ２０ａ〜２０ｃを介して送信され、
ＣＰＵボード３０ａ〜３０ｄは、時刻を制御するクロッ
ク制御レジスタと、複数のＣＰＵボード３０ａ〜３０ｄ
の同期を制御する同期コマンドを含む同期メッセージを
受信し、受信した同期メッセージに含まれる同期コマン
ドを用いて、クロック制御レジスタを制御する同期制御
機構４０ａ〜４０ｄとを有し、同期メッセージ送信装置
１０と複数のＣＰＵボード３０ａ〜３０ｄそれぞれとの
間に配置されるスイッチ２０ａ〜２０ｃの数は等しくな
るように配置されることによって、同期メッセージを低
スキューで送信することを実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のＣＰＵ（Ｃ
ｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を時
間軸に対して協調させて動作させるマルチプロセッサシ
ステムに関して、システムを構成するＣＰＵ間の同期を
取る方式および方法に関する。

【０００２】

【従来の技術】複数の端末間で同期をとる方式として
は、特開２０００−１５１６４９に示されるような、中
継機器を間にはさまない無線ＬＡＮ（Ｌｏｃａｌ Ａｒ
ｅａ Ｎｅｔｗｏｒｋ）を通信手段としてブロードキャ
スト・パケットを用いる方式がある。しかしながら、無
線を使った同期手段は、電波干渉の影響を排除できない
など、エラーレートが高いために、高信頼で高精度に複
数のＣＰＵを協調させて動作させるようなプラントシス
テムやレーダー装置の信号処理装置には適用できなかっ
た。また、無線の問題点としては、反射の影響がパケッ
トの到着時刻に与える影響が大きく、本発明の技術分野
に要求される１μｓ以下といった高精度な同期は実現で
きない。

【０００３】一方、通信品質の良い有線通信を使った例
では、特開２００１−１８６１８０のＩＰ（Ｉｎｔｅｒ
ｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを使った例が
ある。この方式によれば、マスタモジュールとスレーブ
モジュールが相対的に同期することが可能である。さら
に、この例では、ブロードキャストによりスレーブ間も
相対同期可能であるとしている。しかしながら、一般的
なＩＰネットワークに存在する中継機器の影響が考慮さ
れておらず、各スレーブ間はそれぞのスレーブモジュー
ルとマスタモジュール間の伝送経路に存在する中継機器
が発生する遅延時間差を持って同期することになり、高
精度の同期が要求されるシステムでは、これらの遅延を
補正する手段が別途必要となる。

【０００４】さらに、特開平１０−１６１９８４では、
ＳＣＩ（Ｓｃａｌａｂｌｅ Ｃｏｈｅｒｅｎｔ Ｉｎｔ
ｅｒｆａｃｅ）リングを使った例があるが、大規模なシ
ステムでは、このなかの実施例にもあるように、マスタ
装置から最も近いノードが中継ノード数が０であるのに
対し、最も遠いノードは、最大１９個のノードを経由す
る必要があり、中継にかかる遅延時間差以上の精度を持
って同期を保証できないために、高精度の同期が要求さ
れるシステムには適用できない。

【０００５】

【発明が解決しようとする課題】同期クロックに同調す
ることで、複数のＣＰＵを時間軸に対して協調させて動
作させるマルチプロセッサシステムに関して、上記マル
チプロセッサシステムを構成するＣＰＵに低スキューの
同期クロックを供給する方式、およびシステムとシステ
ムを構成する要素を提供することを目的とする。さら
に、上記に加えて、高信頼な同期クロックを供給する方
式、およびシステムとシステムを構成する要素を提供す
ることを目的とする。

【０００６】

【課題を解決するための手段】この発明に係るマルチプ
ロセッサ同期方式は、複数のプロセッサ装置の同期をと
るマルチプロセッサ同期方式において、プロセッサ装置
のクロックを制御するクロック制御レジスタと、上記複
数のプロセッサ装置間の同期を制御する同期コマンドを
含む同期メッセージを受信し、受信した同期メッセージ
に含まれる同期コマンドを用いて、上記クロック制御レ
ジスタを制御する同期制御機構とを有する複数のプロセ
ッサ装置と、上記同期メッセージを上記複数のプロセッ
サ装置それぞれへ送信する同期メッセージ送信装置と、
上記同期メッセージ送信装置と上記複数のプロセッサ装
置それぞれとの間に配置され、上記同期メッセージ送信
装置から送信された同期メッセージを中継する複数の中
継装置とを備え、上記同期メッセージ送信装置と上記複
数のプロセッサ装置それぞれとの間に配置される中継装
置の数を等しくすることを特徴とする。

【０００７】上記同期メッセージ送信装置は、同期メッ
セージを最高の優先順位で送信し、上記複数の中継装置
それぞれは、処理中のメッセージの次に上記同期メッセ
ージを中継することを特徴とする。

【０００８】上記同期メッセージ送信装置は、複数の種
類の同期メッセージを生成し、複数の種類の同期メッセ
ージを所定の順番で上記複数のプロセッサ装置それぞれ
へ送信し、上記同期制御機構は、上記複数の種類の同期
メッセージを受信し、上記複数の種類の同期メッセージ
を受信した順序が上記所定の順番と一致しない場合に、
同期メッセージの欠損を検出することを特徴とする。

【０００９】上記同期制御機構は、同期メッセージの受
信間隔を計測し、上記受信間隔に基づいて、同期メッセ
ージの欠損を検出し、上記同期コマンドを生成する同期
補正回路を備えることを特徴とする。

【００１０】上記同期補正回路は、クロックをカウント
するクロックカウンタと、上記同期メッセージを受信し
た時刻を複数回分格納する受信時刻格納部と、同期メッ
セージを受信する時刻を予測するタイミング生成部と、
上記タイミング回路が予測した時刻に基づいて、同期メ
ッセージの欠損を検出するエラー検出部とを備え、上記
タイミング生成部は、上記エラー検出部がエラーを検出
した場合に、同期コマンドを生成することを特徴とす
る。

【００１１】上記マルチプロセッサ同期方式は、さら
に、上記同期メッセージ送信装置から、繰り返し送信さ
れる同期メッセージを受信し、上記同期メッセージの送
信の繰り返しが中断したことを検出し、上記同期メッセ
ージの送信の中断を検出した場合に、同期メッセージを
上記複数のプロセッサ装置それぞれへ送信する同期メッ
セージ送信補完装置を備えることを特徴とする。

【００１２】上記同期メッセージ送信装置は、所定の間
隔で同期メッセージを送信し、上記同期メッセージ送信
補完装置は、上記同期メッセージのみを受信し、上記同
期メッセージを受信する間隔が上記所定の間隔を保持し
なくなった場合に、上記所定の間隔で上記同期メッセー
ジを上記複数のプロセッサそれぞれに送信することを特
徴とする。

【００１３】この発明に係るマルチプロセッサ同期方式
は、複数のプロセッサ装置の同期をとるマルチプロセッ
サ同期方式において、プロセッサ装置のクロックを制御
するクロック制御レジスタと、上記複数のプロセッサ装
置間の同期を制御する同期コマンドを含む同期メッセー
ジを受信し、受信した同期メッセージに含まれる同期コ
マンドを用いて、上記クロック制御レジスタを制御する
同期制御機構とを有する複数のプロセッサ装置と、上記
同期メッセージを上記複数のプロセッサ装置それぞれへ
送信する同期メッセージ送信装置と、上記同期メッセー
ジ送信装置と上記複数のプロセッサ装置それぞれとの間
に配置され、上記同期メッセージ送信装置から送信され
た同期メッセージを中継し、上記同期メッセージを中継
する際に発生する遅延時間を上記複数のプロセッサ装置
それぞれへ通知する複数の中継装置とを備えることを特
徴とする。

【００１４】また、マルチプロセッサ同期方式は、上記
同期メッセージ送信装置と上記複数のプロセッサ装置そ
れぞれとの間に配置される中継装置の数を等しくするこ
とを特徴とする。

【００１５】上記同期メッセージは、上記同期コマンド
と、上記遅延時間を保持するディレイフィールドとを有
し、上記複数の中継装置それぞれは、上記同期メッセー
ジを中継する場合に、上記遅延時間をカウントし、カウ
ントした遅延時間を上記ディレイフィールドへ書きこ
み、上記複数のプロセッサ装置の同期制御機構は、上記
ディレイフィールドに書きこまれた遅延時間を用いて、
上記クロック制御レジスタを制御することを特徴とす
る。

【００１６】この発明に係るパケットは、データを、中
継装置を介して送信するパケットにおいて、上記中継装
置において発生する遅延時間を保持するディレイフィー
ルドを有することを特徴とする。

【００１７】この発明に係る中継装置は、パケットを中
継する中継装置において、パケットの中継の際に発生す
る遅延時間を上記パケットへ書き込み、遅延時間を書き
こんだパケットを送信することを特徴とする。

【００１８】この発明に係るプロセッサ装置は、クロッ
クを制御する同期コマンドを含む同期メッセージの受信
し、上記同期メッセージの受信間隔を計測し、上記受信
間隔に基づいて、同期メッセージの欠損を検出し、上記
同期メッセージの欠損を検出した場合に、上記同期コマ
ンドを生成し、生成した同期コマンドによって、クロッ
クを制御する同期制御機構を備えることを特徴とする。

【００１９】この発明に係るマルチプロセッサ同期方法
は、複数のプロセッサ装置間の同期を制御する同期メッ
セージを用いて、複数のプロセッサ装置の同期をとるマ
ルチプロセッサ同期方法において、上記複数のプロセッ
サ装置それぞれは、上記同期メッセージの送信元から、
同じ数の中継装置を介して、上記同期メッセージを受信
することを特徴とする。

【００２０】この発明に係るマルチプロセッサ同期方法
は、複数のプロセッサ装置の同期をとるマルチプロセッ
サ同期方法において、上記複数のプロセッサ装置それぞ
れは、クロックを制御する同期コマンドを含む同期メッ
セージの受信し、上記同期メッセージの受信間隔を計測
し、上記受信間隔に基づいて、同期メッセージの欠損を
検出し、上記同期メッセージの欠損を検出した場合に、
上記同期コマンドを生成し、生成した同期コマンドによ
って、クロックを制御することを特徴とする。

【００２１】

【発明の実施の形態】実施の形態１．図１は、本発明に
よる実施の形態１のマルチプロセッサのシステム構成の
一例を表す図である。マルチプロセッサを構成する各Ｃ
ＰＵボード３０ａ〜３０ｎと同期メッセージ送信装置１
０は、全二重通信が可能な高速なインターコネクト、例
えばＲａｐｉｄＩＯのインタフェースを有し、スイッチ
２０ａ〜２０ｃを介して相互アクセスできるように接続
されている。ここで、同期メッセージ送信装置と各ＣＰ
Ｕボード３０ａ〜３０ｃ間が通信時に経由するスイッチ
（中継装置）の数は、どのＣＰＵボード３０ａ〜３０ｃ
から見ても同じ数となるように接続する。図１の例で
は、スイッチの数は２である。具体的には、ＣＰＵボー
ド３０ａは、スイッチ２０ａとスイッチ２０ｂ、ＣＰＵ
ボード３０ｄは、スイッチ２０ａと２０ｃとに接続す
る。スイッチの数を「スイッチ段」、あるいは、「スイ
ッチ段数」ともいう。

【００２２】なお、図１で表した、スイッチ及びＣＰＵ
の数は、一例であり、図１に表した数に限られるわけで
はない。また、以下において、ＣＰＵボード３０ａ〜３
０ｄの全部あるいはいずれか一部（一つ又は複数）を示
す場合は、ＣＰＵボード３０とし、スイッチ２０ａ〜２
０ｃの全部あるいはいずれか一部（一つ又は複数）を示
す場合はスイッチ２０とする。同期制御機構４０ａ〜４
０ｄ等、その他の構成要素においても、同じ構成要素が
複数ある場合は同様とする。

【００２３】インターコネクト（Ｉｎｔｅｒ−ｃｏｎｎ
ｅｃｔ）は、半導体デバイスと半導体デバイスや装置と
装置を接続する通信経路および手段のことをいう。代表
的なインターコネクトとしては、ＰＣＩ（Ｐｅｒｉｐｈ
ｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅ
ｃｔ）がある。また、本明細書では、インターコネクト
は、“ＲａｐｉｄＩＯ”を、想定している。しかしなが
ら、これに限られるわけではなく、他のインターコネク
トであってもよい。

【００２４】図２はマルチプロセッサシステムの構成要
素であるＣＰＵボードの内部構成である。同期制御機構
４０は、時刻共有カウンタ４１、コマンドレジスタ４
２、メッセージ処理回路４３とを有する。時刻共有カウ
ンタ４１は、マルチプロセッサを構成する複数のＣＰＵ
ボード３０それぞれに搭載される複数のＣＰＵ３１で時
刻を共有するためのカウンタである。時刻共有カウンタ
４１は、同期メッセージ送信装置１０からアクセスが可
能であり、また、ＣＰＵ３１から参照可能である。メッ
セージ処理回路４３は、ＣＰＵボード３０が受信したメ
ッセージを処理し、処理したメッセージに基づいて、コ
マンドレジスタ４２への指示を出力するする。コマンド
レジスタ４２は、メッセージ処理回路４３から出力され
た指示に基づいて実施するコマンドを格納するレジスタ
である。

【００２５】ＣＰＵボード３０のインターコネクト・イ
ンタフェース（高速インターコネクトインタフェース回
路３３）には、同期制御機構が実装されており、同期メ
ッセージ送信装置１０によりアクセスすることが可能な
コマンドレジスタ４２が実装されている。このコマンド
レジスタ４２は、同期メッセージ送信装置１０からの
「同期コマンド」により、ＣＰＵ３１から参照可能な時
刻共有カウンタ４１の更新や割り込み等によりＣＰＵ３
１に同期のタイミングを与えることが可能となってい
る。同期メッセージ送信装置１０は、一定間隔（Ｔｉｔ
ｖ）で同期メッセージパケットをブロードキャストもし
くはマルチキャストにより送信することで、同期すべき
全てのＣＰＵボード３０の同期制御機構４０にアクセス
する。このとき送信する同期メッセージパケットは、同
期制御機構４０のコマンドレジスタのアドレスと、デー
タとして「同期コマンド」とを含む。

【００２６】なお、この明細書内では、ＣＰＵボード３
０は、図２に示す各構成要素が搭載されたものを指す。
また、ＣＰＵボード３０が同期メッセージ送信装置１０
からメッセージを受信する場合とは、ＣＰＵボード３０
に搭載されている高速インターコネクトインタフェース
回路３３を介してＣＰＵ３１がメッセージを受信する動
作を意味する。また、上記のメッセージ受信を「ＣＰＵ
３１がメッセージを受信する」、あるいは、「ＣＰＵボ
ード３０のＣＰＵ３１がメッセージを受信する」と表現
する場合もある。この明細書では、ＣＰＵボード３０が
メッセージを受信することと、ＣＰＵ３１がメッセージ
を受信することとは、特に明記していない限り区別しな
い。また、各構成要素を搭載したＣＰＵボードをプロセ
ッサ装置ともいう。

【００２７】各ＣＰＵボード３０に同期メッセージパケ
ットが到着する時刻は、他のデータパケットが全く無い
状態においては、遅延要素が同じであるために同時刻で
ある。ここで、この時の同期メッセージ送信装置１０が
同期メッセージを送信してからＣＰＵボード３０へ到達
する遅延時間をＴｄとする。実際のシステムでは、同期
のためだけに、インターコネクト・インタフェースを使
用することは不経済であるために、他のデータパケット
と通信路を共有する。この場合は、スイッチを経由する
際に、他のデータパケットとアクセス競合が発生するた
めに、個々のＣＰＵボード３０のＣＰＵ３１に同期メッ
セージパケットが到着するのに時間差が発生してしま
う。この時間差をＴｓｋｅｗとする。

【００２８】このＴｓｋｅｗを一定時間の範囲に収める
ために、同期メッセージパケットは、他の全てのパケッ
トに優先して配信されるように、唯一最高の優先度で送
信する。このことは、同期メッセージパケットがスイッ
チ２０を経由する際に、そのポートが他のデータパケッ
トを処理中であった場合に、処理中のパケットの送信完
了を待つだけで良いことを意味する。これにより、スイ
ッチ２０を経由する際に発生し得る遅延時間の差は、最
大でも１パケットの処理時間に抑えることができる。こ
のことにより、図１の例では、同期メッセージ送信装置
１０と各ＣＰＵボード３０ａ〜３０ｄの間に２段のスイ
ッチが挿入されているために、最大でもスイッチが２パ
ケットを処理する時間を、同期メッセージパケットを受
信する時間差、（すなわちスキュー）として考慮すれば
良いことになる。

【００２９】ＲａｐｉｄＩＯ（データ幅１６ｂｉｔ、伝
送周波数１ＧＨｚ、最大パケットサイズ２５６ｂｙｔ
ｅ）を用いた例では、遅延時間差はスイッチ一段当たり
１２８ｎｓでり、２段のスイッチを経由する図１の例で
は、Ｔｓｋｅｗ＝２５６ｎｓとなる。図３に同期メッセ
ージ送信装置が同期メッセージパケットを送信する時刻
とマルチプロセッサシステムを構成する全てのＣＰＵボ
ード３０のＣＰＵ３１が同期メッセージを受信する時刻
との関係を図示する。図３の上段は、同期メッセージの
送信間隔を表した図であり、図３の下段は、図３の上段
に示したＴｓｋｅｗ（網掛け部分）について、実際のメ
ッセージの受信時間を考慮して、拡大して表した図であ
る。図１のようにスイッチ２段で接続された全てのＣＰ
Ｕボード３０のＣＰＵ３１は、図３に示すように、同期
メッセージ送信装置１０が同期メッセージを送信した
後、ＴｄからＴｄ＋Ｔｓｋｅｗの間に同期メッセージを
受信することが可能となり、マルチプロセッサシステム
を構成する全てのＣＰＵボード３０のＣＰＵ３１は、２
５６ｎｓ以下のスキュー（Ｔｓｋｅｗ）で時刻を共有で
きる。

【００３０】以上のようにこの実施の形態のマルチプロ
セッサ間同期方式は、高信頼、高精度な時刻同期を必要
とするマルチプロセッサシステムにおいて、マルチプロ
セッサを接続するインターコネクト・インタフェースに
クロック制御レジスタを備えたマルチプロセッサシステ
ムを構成するＣＰＵと、上記インターコネクト・インタ
フェースよりクロック制御レジスタを、他のデータパケ
ットに比して唯一最高の優先度でブロードキャストもし
くはマルチキャスト・パケットによりアクセスする同期
メッセージ送信装置により構成され、同期メッセージ送
信装置を、スイッチ接続によりツリー状に構成したイン
ターコネクト・インタフェースの最上位に接続し、マル
チプロセッサを構成する各ＣＰＵを、ツリー状に構成し
たインターコネクト・インタフェースの末端に接続し、
同期メッセージ送信装置からマルチプロセッサを構成す
る各ＣＰＵへアクセスする際にパケットが経由するスイ
ッチの数を等しくした接続形態をもつこと及び、マルチ
プロセッサを構成する各ＣＰＵに同期メッセージパケッ
トが低スキューで到達することによって、マルチプロセ
ッサを構成する各ＣＰＵが、高精度に時刻共有できるこ
とを特長とする。

【００３１】実施の形態２．実施の形態１では、パケッ
トロスした場合にクロックがずれた状態になってしまう
ために、これを補正する手段が必要となる。これを補正
する手段として同期メッセージパケットを複数使用す
る。例えば、実施の形態１の「同期コマンド」の代わり
に同期コマンドＡ、Ｂ、Ｃ、Ｄの４種類のコマンドを用
い、同期メッセージ送信装置１０は、同期コマンドＡ→
同期コマンドＢ→同期コマンドＣ→同期コマンドＤ→同
期コマンドＡ→…の順番に送信する。

【００３２】マルチプロセッサを構成する各ＣＰＵボー
ド３０のクロック制御機構は、同期コマンドＡを受けた
場合にカウンタの値を０に設定、同期コマンドＢを受け
た場合は、カウンタの値を１に、同期コマンドＣを受け
た場合は２、同期コマンドＤを受けた場合は３に設定す
る。

【００３３】このことにより、マルチプロセッサを構成
する１つのＣＰＵボード３０において、例えば同期コマ
ンドＢ含む同期メッセージパケットを何らかのエラーに
よりパケットロスした場合でも、次の同期コマンドＣを
含む同期メッセージパケットを受信できれば、システム
全体の同期の状態としては正常に復帰できる。また、高
信頼システムにおいては、ＣＰＵボード３０のＣＰＵ３
１が故障した場合にオンラインでＣＰＵボード３０のＣ
ＰＵ３１を交換するケースがある。この場合において
も、同期コマンドとカウンタ値が対応していることで、
何もしなくても同期を確立することが可能となる。

【００３４】また、上記パケットロスによりコマンドを
受信し損ねた場合において、例えば同期コマンドＢを含
む同期メッセージパケットを受信し損ねたことが発生し
たとする。この場合、同期コマンドＡを含むパケットの
次に同期コマンドＣを含むパケットを受信したことによ
り、パケットロス（同期コマンドＢのロス）が発生した
ことを検出し、検出結果をエラーとして通知することが
可能である。

【００３５】以上のように、この実施の形態では、実施
の形態１のマルチプロセッサ間同期方式に加え、パケッ
トロスによる同期ズレの補正やオンライン交換により新
たに挿入されたＣＰＵの同期を、同期メッセージを複数
種類もつことで実施することを特長とするマルチプロセ
ッサ間同期方式を説明した。

【００３６】また、この実施の形態では、実施の形態１
のマルチプロセッサ間同期方式に加え、パケットロスに
よる同期ズレによるエラー検出と報告を、上記、同期メ
ッセージを複数種類もつことで実施することを特長とす
るエラー検出方式を備えるマルチプロセッサ間同期方式
を説明した。

【００３７】実施の形態３．図４は、実施の形態３のＣ
ＰＵボードのハードウェア構成の一例を表す図である。
実施の形態２において、マルチプロセッサを構成する各
ＣＰＵボード３０の同期制御機構４０に、図４に示すロ
ーカルクロックを使った同期補正回路４４を追加するこ
とで、さらに高信頼な同期方式を提供することが可能と
なる。同期補正回路４４は、過去１０回の同期メッセー
ジパケットの受信間隔の平均値より、次に同期メッセー
ジパケットを受信する時刻を予測する。以下に同期補正
回路４４の構成を述べる。なお、「過去１０回」は、一
例であり、１０回より多くても少なくてもよい。ローカ
ルクロックは、同期メッセージパケットの送信間隔（Ｔ
ｉｔｖ）に対して１００倍程度以上の周波数でクロック
を発振する水晶発振器５０である。

【００３８】同期補正回路４４は、下記の（１）〜
（４）の構成要素を有する。 （１）上記ローカルクロックをカウントするリング型の
カウンタ（クロックカウンタ）。 （２）同期パケットを検出し、その受信した時の上記カ
ウンタのカウント値を過去１０個の同期メッセージパケ
ットに対して記憶するリング型のレジスタ（受信時刻格
納部）。 （３）上記、過去１０回の同期メッセージパケットの受
信タイミングの平均値より次の同期メッセージパケット
を受信するタイミングを予測し、自律的に同期メッセー
ジパケットの受信タイミングを生成するタイミング生成
回路（タイミング生成部）。 （４）予想した同期メッセージパケットの受信タイミン
グから、同期メッセージパケットを受信し得る期間中を
計算し、この期間内に同期メッセージを受信できなかっ
た場合にエラーを検出するエラー検出回路（エラー検出
部）。

【００３９】タイミング回路は、平均的な同期メッセー
ジの受信間隔を計測して、これをもとに自律的にタイミ
ングを生成する。これによって、一時的なパケットの遅
延や欠落（パケットロス）を補正することを目的とす
る。例えば、過去１０回の受信間隔の平均値が１０ｍｓ
であったとすれば、次のパケットも約１０ｍｓ後に到着
するはずである。タイミング回路は、「同期メッセージ
が到着するはずのタイミング」を生成するものである。
タイミング回路は、「自律的同期メッセージ受信タイミ
ング生成回路」ともいう。また，タイミング回路は、
「同期メッセージが到着するはずのタイミング」をカウ
ントする自律的同期メッセージ受信カウンタを有する。
「もし、１０ｍｓ経っても到着しない場合」は、何らか
の理由で遅延が生じているかロスしていることが考えら
れる。タイミング回路は、この遅延やロスを隠蔽する役
割を果たすことになる。

【００４０】次に、過去１０回の同期メッセージパケッ
トの受信間隔の平均値より、次に同期メッセージパケッ
トを受信する時刻を予測し、自律的に同期タイミングを
生成する方法について述べる。まず、１０個の同期メッ
セージパケットを受信するまでは、カウンタ値を記憶す
るレジスタに同期パケットを受信した時点でのカウンタ
値を順番に記憶する。１１個目の同期パケットを受信し
た時点でのカウンタの値から１個目のパケットのカウン
タ値を引き算し、その値を１０で割ることで、過去１０
個のパケットの受信間隔の平均値を算出する。同時に、
１個目のパケットを受信した時点でのカウンタ値を記憶
していたレジスタに１１個目のパケットを受信した時点
でのカウンタ値記憶する。１２個目のパケットを受信し
たら、１２個目の同期パケットを受信した時点でのカウ
ンタの値から２個目のパケットのカウンタ値を引き算し
その値を１０で割る。このようにして、過去１０回のパ
ケット受信間隔の平均値を求めることが可能となる。

【００４１】次に、自律的に同期メッセージパケットの
受信タイミングを生成するタイミング生成回路は、上記
で算出した平均値をインデックスレジスタに記憶し、１
１個目のパケットを受信した時点で、１１個目の同期メ
ッセージパケットの同期コマンドをコマンドレジスタに
書き込む。同時に、自律的同期メッセージ受信タイミン
グ生成回路の自律的同期メッセージ受信カウンタをスタ
ートさせ、インデックスレジスタとカウンタの値が等し
くなった時に１２個目の同期メッセージパケットに含ま
れる（はずの）同期コマンドをコマンドレジスタに書き
込み、上記自律的同期メッセージ受信カウンタを再スタ
ートさせる。これとは、平行して１２個目のパケットを
受信した時点で、新しい平均値を算出し、１２個目相当
の同期メッセージを送出した後で、インデックスレジス
タの値をこの新しい平均値に更新する。

【００４２】正常動作時は、ここまで述べた動作を繰り
返すものとする。この方式において、１２個目のパケッ
トをロスした場合の具体的な動作の一例を述べる。１２
個目に相当の同期メッセージを自律的に生成した後、自
律的同期メッセージ受信タイミング生成回路のカウンタ
は既にスタートしている。一方、１３個目のパケットを
ロスした場合、パケットを受信したタイミングを記憶す
るリング型のレジスタおよび、自律的に受信タイミング
を生成するためのインデックスレジスタが更新されなく
なり、１１個目のパケットを受信した時点で生成したイ
ンデックスレジスタの値を使って１３個目相当のメッセ
ージを生成する。以後この繰り返しにより、１４個目相
当のメッセージ、１５個目相当のメッセージ‥と２２個
目相当まで自律的に同期メッセージを生成し続ける。

【００４３】エラー検出回路は、自律的に１３個目のパ
ケットを生成した時点、もしくは、実施の形態２に示す
ように、同期コマンドのパケットシーケンスが崩れた時
点でパケットロスのエラーを検出する。これにより、上
位ソフトウェアと受信タイミングを生成するタイミング
生成回路にエラー報告する。受信タイミングを生成する
タイミング生成回路は、過去１０個のパケット受信タイ
ミングを記憶していたリング型のレジスタをクリアし、
１３個目のパケットから２３個目のパケットを使って再
び平均値を算出する。２３個目のパケットを受信した
ら、２３個目のメッセージを生成し、上記１２個目のパ
ケットの処理と同じ正常動作に戻る。このようにするこ
とで、パケットロスがあってもパケットロスの確率が非
常に低い環境下であれば、システム動作に影響を与える
ことなく動作し続けることが可能である。

【００４４】以上のようにこの実施の形態では、実施の
形態１のマルチプロセッサ間同期方式に加え、マルチプ
ロセッサを構成する各ＣＰＵが、同期メッセージの受信
間隔を計測し、能動的に同期メッセージを生成すること
で、パケットロスした場合でもシステムとして同期を継
続できることを特長とする、マルチプロセッサ間同期方
式を説明した。

【００４５】また、このＣＰＵボード（プロセッサ装
置）は、同期メッセージの受信間隔を計測し、能動的に
同期メッセージを生成することで、パケットロスした場
合でもシステムとして同期を継続できることを特長とす
る。

【００４６】実施の形態４．実施の形態３では、パケッ
トロスした場合でも、各ＣＰＵボード３０が自律的に同
期メッセージを生成することでシステムが継続運転可能
になるが、同期メッセージ送信装置１０が故障した場合
は、パケットロスした状態が長期に渡ってしまうため、
スキューの補正ができなくなってしまう。そこで、この
実施の形態では、複数の同期メッセージ送信装置１０を
備える場合を説明する。図５は、この実施の形態４のマ
ルチプロセッサシステムの構成の一例を表す図である。
図５の構成では、同期メッセージ送信装置Ａ１０ａが故
障した場合に対応するために、同期メッセージ送信装置
Ｂ１０ｂを備える。同期メッセージ送信装置Ｂは、同期
メッセージ送信補完装置ともいう。同期メッセージ送信
装置Ｂ１０ｂは、実施の形態３で述べたエラー検出回路
を含む同期補正回路をそなえたバックアップ用の同期メ
ッセージ送信装置である。同期メッセージ送信装置Ｂ１
０ｂは、図５のように、どのＣＰＵボード３０からも同
じスイッチ段数になるように接続する。

【００４７】図５の構成において、同期メッセージ送信
装置Ｂ１０ｂは、同期メッセージパケット以外のパケッ
トを受信しない。これにより、アクセス競合が発生しな
いために、同期メッセージ送信装置Ａ１０ａの送信タイ
ミングに対して常に同じ遅延を持って同期メッセージパ
ケットを受信することになる。また、前記、遅延時間
は、測定やスイッチ２０の仕様から計算することで、既
知の値とすることができる。したがって、同期メッセー
ジ送信装置Ｂ１０ｂは、同期メッセージ送信装置Ａ１０
ａの送信タイミングを知ることが可能となる。このよう
にすることで、同期メッセージ送信装置Ａ１０ａが故障
等の理由により、同期メッセージを送信できなくなった
場合は、同期メッセージ送信装置Ａ１０ａのタイミング
で同期メッセージ送信装置Ｂ１０ｂが代わりに同期メッ
セージを送信することが可能である。

【００４８】以上のようにこの実施の形態では、実施の
形態１のマルチプロセッサ間同期方式に加え、同期メッ
セージの受信間隔を計測することで、同期メッセージの
健全性を監視し、同期メッセージ送信装置が故障等の理
由により同期メッセージが送信されなくなったことを検
出し、同期メッセージ送信装置に代わって同期メッセー
ジパケットを送信できるバックアップ用の同期メッセー
ジ送信装置を備え、上記、バックアップ用の同期メッセ
ージ送信装置を、同期メッセージパケットの受信に際し
て、他のパケットによる遅延の影響ない場所に接続し、
かつ、上記バックアップ用の同期メッセージ送信装置宛
てに、同期メッセージパケットの受信に遅延を与えるよ
うなデータパケットを送信しないことで、同期メッセー
ジ送信装置の送信タイミングを計算し、前記同期メッセ
ージ送信装置が故障した場合に、同期メッセージ送信装
置に代わってと同じタイミングで同期メッセージを送信
する信頼性向上方式を有するマルチプロセッサ間同期方
式を説明した。

【００４９】また、バックアップ用の同期メッセージ送
信装置は、同期メッセージの受信間隔を計測すること
で、同期メッセージの健全性を監視し、同期メッセージ
送信装置が故障等の理由により同期メッセージが送信さ
れなくなったことを検出すし、同期メッセージ送信装置
の送信タイミングを計算し、前記同期メッセージ送信装
置が故障した場合に、同期メッセージ送信装置に代わっ
て、同じタイミングで同期メッセージを送信することが
できる。

【００５０】また、上記のＣＰＵと、バックアップ用の
同期メッセージ送信装置を備えることで、同期メッセー
ジ送信装置の故障しても、マルチプロセッサを構成する
ＣＰＵの同期の精度に影響を与えることなく、システム
の運用を継続することができる。

【００５１】実施の形態５．実施の形態１では、スイッ
チを経由する際にデータパケットとの競合により同期メ
ッセージパケットが遅延することを述べた。スイッチを
経由する際に生じる遅延時間を同期メッセージパケット
に埋め込むことで、同期メッセージパケットを受信する
各ＣＰＵボード３０内で補正する方法について述べる。

【００５２】まず、同期メッセージパケットに、アドレ
スとコマンドの他に遅延時間を示す「ディレイフィール
ド」を追加する。図６に「ディレイフィールド」を追加
したパケット構造の例を示す。図６では、パケットヘッ
ダ部に本フィールドを追加したが、パケットデータの一
部として実現しても良い。このフィールドは、同期メッ
セージ送信装置では、０に設定される。スイッチでは、
同期メッセージパケットをフォワードする際に、他のパ
ケットとの競合が発生し、同期メッセージパケットが遅
延した場合に「ディレイフィールド」に遅延時間を加算
する。ＣＲＣなどの補正情報がある場合は、これを再計
算して付加する。

【００５３】同期メッセージパケットを受信するＣＰＵ
ボード３０では、実施の形態３における、平均値受信間
隔を求める際のパケット受信カウンタの値から、「ディ
レイフィールド」に示される遅延時間分を差し引いた値
を、パケットを受信した時点でのカウンタ値に登録す
る。これにより、データパケットとの競合により同期メ
ッセージパケットが遅延しても、遅延の影響を受けるこ
となく全てのＣＰＵボード３０のＣＰＵ３１を同期させ
ることが可能となる。

【００５４】以上のようにこの実施の形態では、実施の
形態１のマルチプロセッサ間同期方式に加え、同期メッ
セージパケットが、スイッチを経由する際に、データパ
ケットと競合したことによる遅延時間を、マルチプロセ
ッサを構成するＣＰＵに通知することで、同期メッセー
ジ送信装置の同期メッセージパケットの送信時刻を予測
し、この時刻に基づいて、マルチプロセッサを構成する
ＣＰＵが同期を行う、超高精度なマルチプロセッサ同期
方式を説明した。

【００５５】また、このマルチプロセッサ同期方式は、
パケットが、スイッチを経由する際に、他のパケットと
競合したことによる遅延時間を、パケットに「ディレイ
フィールド」を設け、スイッチを経由する際に遅延時間
が発生した場合は、その遅延時間を加算していくこと
で、受信ノードに通知する遅延時間通知方式を有する。

【００５６】また、パケットをフォワードする際に、ア
クセス競合により発生する遅延時間を、パケットの「デ
ィレイフィールド」を設けることで、通知できるパケッ
トを有する。

【００５７】また、パケットをフォワードする際に、ア
クセス競合により発生する遅延時間を、パケットの「デ
イレイフィールド」を用いて通知するスイッチを有す
る。

【００５８】また、ＣＰＵボード（プロセッサ装置）
は、同期メッセージパケットを受信し、その「ディレイ
フィールド」と過去の受信履歴より、遅延が無い場合
の、同期メッセージの受信時刻を計算し、その計算結果
より、能動的に同期メッセージを生成することで、高精
度な同期タイミングを自律的に生成でき、パケットロス
した場合でもシステムとして同期を継続できることを特
長とする。

【００５９】

【発明の効果】複数のＣＰＵボード（プロセッサ装置）
それぞれと同期メッセージ送信装置との間に配置するス
イッチ（中継装置）の数を同じにすることによって、同
期メッセージが複数のＣＰＵボードに到達する時間差を
縮小することができる。

【００６０】また、同期メッセージの処理の優先順位を
最高にすることによって、スイッチ内での待ち時間を最
低限にすることができるとともに、上記のようにスイッ
チの数を同じにすることによって、複数のＣＰＵボード
それぞれに同期メッセージが到達する時間差を縮小する
とともに、同期メッセージが到達する時間を削減するこ
とができる。

【００６１】同期メッセージの種類を複数設け、同期メ
ッセージを受信した順序によって、同期メッセージ欠損
を検出することができる。

【００６２】同期メッセージを定期的に送信することに
よって、ＣＰＵボードでは、受信間隔を確認することに
よって、同期メッセージの欠損を検出することができ
る。

【００６３】さらに、上記受信間隔に基づいて、同期メ
ッセージの受信を予測することが可能となるとともに、
欠損した同期メッセージの機能を、同期コマンドを生成
することによって補填することが可能となる。

【００６４】また、同期メッセージ送信装置を複数設置
することによって、一つの同期メッセージ送信装置が故
障した場合の対応が可能となる。

【００６５】同期メッセージ内に、同期メッセージが中
継する際に発生する遅延時間を保持する領域を設けるこ
とにより、ＣＰＵボードへ遅延時間を通知することがで
きる。

【００６６】さらに、ＣＰＵボードは、通知された遅延
時間を用いて、クロックの制御をより正確に実施するこ
とができる。

【図面の簡単な説明】

【図１】 実施の形態１のマルチプロセッサのシステム
構成の一例を表す図。

【図２】 マルチプロセッサシステムの構成要素である
ＣＰＵボードの内部構成を表す図。

【図３】 同期メッセージの遅延とその表示の一例を表
す図。

【図４】 実施の形態３のＣＰＵボードのハードウェア
構成の一例を表す図。

【図５】 実施の形態４のマルチプロセッサシステムの
構成の一例を表す図。

【図６】 「ディレイフィールド」を追加したパケット
構造の例を示す図。

【符号の説明】

１０，１０ａ〜１０ｂ 同期メッセージ送信装置、２
０，２０ａ〜２０ｃ スイッチ、３０，３０ａ〜３０ｄ
ＣＰＵボード、３１ ＣＰＵ、３２ メモリ、３３
高速インターコネクトインタフェース回路、３４ 送信
回路、３５ データ処理回路、３６ 高速インターコネ
クトＩ／Ｆ、３７ ＣＰＵバスＩ／Ｆ、４０，４０ａ〜
４０ｄ 同期制御機構、４１ 時刻共有カウンタ、４２
コマンドレジスタ、４３ メッセージ処理回路、４４
同期補正回路、５０ ローカルクロック発振器（水晶
発振器）。

Claims (15)

【特許請求の範囲】
1. 【請求項１】 複数のプロセッサ装置の同期をとるマル
   チプロセッサ同期方式において、 プロセッサ装置のクロックを制御するクロック制御レジ
   スタと、 上記複数のプロセッサ装置間の同期を制御する同期コマ
   ンドを含む同期メッセージを受信し、受信した同期メッ
   セージに含まれる同期コマンドを用いて、上記クロック
   制御レジスタを制御する同期制御機構とを有する複数の
   プロセッサ装置と、 上記同期メッセージを上記複数のプロセッサ装置それぞ
   れへ送信する同期メッセージ送信装置と、 上記同期メッセージ送信装置と上記複数のプロセッサ装
   置それぞれとの間に配置され、上記同期メッセージ送信
   装置から送信された同期メッセージを中継する複数の中
   継装置とを備え、 上記同期メッセージ送信装置と上記複数のプロセッサ装
   置それぞれとの間に配置される中継装置の数を等しくす
   ることを特徴とするマルチプロセッサ同期方式。
2. 【請求項２】 上記同期メッセージ送信装置は、同期メ
   ッセージを最高の優先順位で送信し、 上記複数の中継装置それぞれは、処理中のメッセージの
   次に上記同期メッセージを中継することを特徴とする請
   求項１記載のマルチプロセッサ同期方式。
3. 【請求項３】 上記同期メッセージ送信装置は、複数の
   種類の同期メッセージを生成し、複数の種類の同期メッ
   セージを所定の順番で上記複数のプロセッサ装置それぞ
   れへ送信し、 上記同期制御機構は、上記複数の種類の同期メッセージ
   を受信し、上記複数の種類の同期メッセージを受信した
   順序が上記所定の順番と一致しない場合に、同期メッセ
   ージの欠損を検出することを特徴とする請求項１記載の
   マルチプロセッサ同期方式。
4. 【請求項４】 上記同期制御機構は、同期メッセージの
   受信間隔を計測し、上記受信間隔に基づいて、同期メッ
   セージの欠損を検出し、上記同期コマンドを生成する同
   期補正回路を備えることを特徴とする請求項１記載のマ
   ルチプロセッサ同期方式。
5. 【請求項５】 上記同期補正回路は、 クロックをカウントするクロックカウンタと、 上記同期メッセージを受信した時刻を複数回分格納する
   受信時刻格納部と、 同期メッセージを受信する時刻を予測するタイミング生
   成部と、 上記タイミング回路が予測した時刻に基づいて、同期メ
   ッセージの欠損を検出するエラー検出部とを備え、 上記タイミング生成部は、上記エラー検出部がエラーを
   検出した場合に、同期コマンドを生成することを特徴と
   する請求項４記載のマルチプロセッサ同期方式。
6. 【請求項６】 上記マルチプロセッサ同期方式は、さら
   に、上記同期メッセージ送信装置から、繰り返し送信さ
   れる同期メッセージを受信し、上記同期メッセージの送
   信の繰り返しが中断したことを検出し、上記同期メッセ
   ージの送信の中断を検出した場合に、同期メッセージを
   上記複数のプロセッサ装置それぞれへ送信する同期メッ
   セージ送信補完装置を備えることを特徴とする請求項１
   記載のマルチプロセッサ同期方式。
7. 【請求項７】 上記同期メッセージ送信装置は、所定の
   間隔で同期メッセージを送信し、 上記同期メッセージ送信補完装置は、上記同期メッセー
   ジのみを受信し、上記同期メッセージを受信する間隔が
   上記所定の間隔を保持しなくなった場合に、上記所定の
   間隔で上記同期メッセージを上記複数のプロセッサそれ
   ぞれに送信することを特徴とする請求項６記載のマルチ
   プロセッサ同期方式。
8. 【請求項８】 複数のプロセッサ装置の同期をとるマル
   チプロセッサ同期方式において、 プロセッサ装置のクロックを制御するクロック制御レジ
   スタと、 上記複数のプロセッサ装置間の同期を制御する同期コマ
   ンドを含む同期メッセージを受信し、受信した同期メッ
   セージに含まれる同期コマンドを用いて、上記クロック
   制御レジスタを制御する同期制御機構とを有する複数の
   プロセッサ装置と、 上記同期メッセージを上記複数のプロセッサ装置それぞ
   れへ送信する同期メッセージ送信装置と、 上記同期メッセージ送信装置と上記複数のプロセッサ装
   置それぞれとの間に配置され、上記同期メッセージ送信
   装置から送信された同期メッセージを中継し、上記同期
   メッセージを中継する際に発生する遅延時間を上記複数
   のプロセッサ装置それぞれへ通知する複数の中継装置と
   を備えることを特徴とするマルチプロセッサ同期方式。
9. 【請求項９】 マルチプロセッサ同期方式は、上記同期
   メッセージ送信装置と上記複数のプロセッサ装置それぞ
   れとの間に配置される中継装置の数を等しくすることを
   特徴とする請求項８記載のマルチプロセッサ同期方式。
10. 【請求項１０】 上記同期メッセージは、上記同期コマ
    ンドと、上記遅延時間を保持するディレイフィールドと
    を有し、 上記複数の中継装置それぞれは、上記同期メッセージを
    中継する場合に、上記遅延時間をカウントし、カウント
    した遅延時間を上記ディレイフィールドへ書きこみ、 上記複数のプロセッサ装置の同期制御機構は、上記ディ
    レイフィールドに書きこまれた遅延時間を用いて、上記
    クロック制御レジスタを制御することを特徴とする請求
    項８または９記載のマルチプロセッサ同期方式。
11. 【請求項１１】 データを、中継装置を介して送信する
    パケットにおいて、 上記中継装置において発生する遅延時間を保持するディ
    レイフィールドを有することを特徴とするパケット。
12. 【請求項１２】 パケットを中継する中継装置におい
    て、 パケットの中継の際に発生する遅延時間を上記パケット
    へ書き込み、遅延時間を書きこんだパケットを送信する
    ことを特徴とする中継装置。
13. 【請求項１３】 クロックを制御する同期コマンドを含
    む同期メッセージの受信し、上記同期メッセージの受信
    間隔を計測し、上記受信間隔に基づいて、同期メッセー
    ジの欠損を検出し、上記同期メッセージの欠損を検出し
    た場合に、上記同期コマンドを生成し、生成した同期コ
    マンドによって、クロックを制御する同期制御機構を備
    えることを特徴とするプロセッサ装置。
14. 【請求項１４】 複数のプロセッサ装置間の同期を制御
    する同期メッセージを用いて、複数のプロセッサ装置の
    同期をとるマルチプロセッサ同期方法において、 上記複数のプロセッサ装置それぞれは、上記同期メッセ
    ージの送信元から、同じ数の中継装置を介して、上記同
    期メッセージを受信することを特徴とするマルチプロセ
    ッサ同期方法。
15. 【請求項１５】 複数のプロセッサ装置の同期をとるマ
    ルチプロセッサ同期方法において、 上記複数のプロセッサ装置それぞれは、 クロックを制御する同期コマンドを含む同期メッセージ
    の受信し、 上記同期メッセージの受信間隔を計測し、 上記受信間隔に基づいて、同期メッセージの欠損を検出
    し、 上記同期メッセージの欠損を検出した場合に、上記同期
    コマンドを生成し、 生成した同期コマンドによって、クロックを制御するこ
    とを特徴とするマルチプロセッサ同期方法。