JP2006345051A - 非同期クロック利用の分散処理同期システム、マスターシステム及びクロック同期制御方法 - Google Patents

Abstract

【課題】 分散処理システムにおいて、システム全体にクロック専用線によりクロック配信を行うと、クロック配線数が増大する。
【解決手段】 マスターシステムが同期用フレーム送信要求をクライアントシステムに同時に配信し、クライアントシステムは同期用フレーム送信要求に従い、マスターシステムへ送信する同期用フレーム長を可変とすることによりクロックずれが吸収し、システム全体で同期確立を可能とする。また、同期用フレーム送信要求及び、同期用フレームの転送に、データの送受信制御を行う制御線を用いることにより、クロック専用線を配置する必要性を無くす。
【選択図】 図１

Description

本発明は、分散されているシステムを同期させるシステムに係わり、特に専用のクロック線を用いずにシステムのクロックを同期させる分散処理システム、スイッチ装置、マスターシステム、クライアントシステム、クロック同期制御方法及びクロック同期制御用プログラムに関する。

近年、情報処理装置に求められる性能は飛躍的に伸びており、例えば、コンピュータシステムにおいては、そのＣＰＵ性能の急成長と共に、演算量は飛躍的に伸びてきている。また、通信装置においては、インターネット等の急伸に伴い、その通信速度と通信容量が飛躍的に伸びてきている。

この様な、情報処理装置は複数の装置を結合して膨大な処理を行っている。コンピュータシステムの一例としては、１つ或いは複数のＣＰＵを搭載したＣＰＵブレードを複数搭載した筐体をさらに複数連結して大容量／高速計算を行う大規模演算装置（スーパーコンピュータ）等がある。また、ネットワーク装置の一例としては、ルータやＬ２（レイア２）スイッチ等が挙げられる。ルータやＬ２スイッチは、複数の入出力ポートを持ち、外部からの伝送信号の処理を行い所望の出力ポートに出力するラインカードと呼ばれるネットワーク処理を行うカードを複数枚筐体に搭載する。ラインカード間はスイッチカードと呼ばれるスイッチで接続される。

例えば、コンピュータシステムにおいて同期計算する為には、複数の筐体に分散的に配置されているＣＰＵブレード全体が同一のタイムスケジュールで動作する必要がある。

また、ネットワーク装置において、ラインカード間を接続するスイッチカードが各ラインカードからの伝送信号の伝送順番を管理して効率的にスイッチング処理を行う方法がある。この場合、各ラインカードがパケット送信要求を出し、それに対してスイッチカードが送信可否応答を行うが、複数のラインカードに一斉に送信可否応答をするには各ラインカードとスイッチカードが全て同じタイムスケジュールで動作している必要がある。

これらの同期動作を行うには、マスタークロックと呼ばれる、全体の基準時刻を全ての装置に遍く配る必要がある。マスタークロック配信の方法としては、例えば、特許文献１に記載されている様に、専用のクロック線を用いてシステム全体に配信する方法や、特許文献２に記載されている様にＧＰＳ等の基準時刻を配信する装置からの基準時刻を受信して利用する方法等がある。
特開２００３−３７５８５号公報 特開２００１−５２２８０号公報

しかしながら、上記の装置には以下に示すような課題があった。

第１の課題点は、分散システムにおける拡張性がマスタークロック装置からのクロック配線数で制限されることである。その理由は複数の筐体間で同期をとるためには、マスタークロックからシステム全体にクロックを配信する必要があるが、システムを構成する装置が多くなると、マスタークロック配信装置からのクロック線の配線が装置数に比例して増大するためである。

第２の問題点は、分散システムにおいて、外部の基準時間を無線等で受信して複数のシステムで同期を確立するのは、装置全体のコストアップにつながることである。その理由は、ＧＰＳ等の基準時刻を配信する外部の装置からの基準時刻を利用するには、ＧＰＳ受信機等の付加機能を構成装置全体に搭載する必要があるためである。

本発明の目的は、システムを構成する複数の装置間で同期をとり、演算やスイッチング等を行う分散処理システムにおいて、安価に同期システムが構築でき、かつ、容易に装置の拡張が可能な分散処理システムを提供することを目的とする。

本発明の分散処理システムは、分散配置された複数のシステムで同期処理を行う分散処理システムにおいて、
分散配置された前記複数のシステムは、システム全体の時刻基準となるマスタークロックをもつマスターシステムと、一又は二以上のクライアントシステムとを備え、
前記マスターシステムが前記マスタークロックに基づく同期用フレーム送信要求を前記クライアントシステムに配信し、
前記クライアントシステムは前記同期用フレーム送信要求に従い、前記マスターシステムへ送信する同期用フレームのフレーム長を可変することを特徴とするものである。本発明の分散処理システムは、システム間の、クロックずれが吸収し、システム全体で同期をとることを可能とするものである。

また、マスターシステム−クライアントシステム−クライアントシステムの如く、多段構成のクライアントシステム構成において、マスターシステムに接続されたクライアントシステムが、接続されたマスターシステムだけでなく、マスターシステムと接続されていない側の他のクライアントシステムにも同期用フレーム送信することにより、直接マスターシステムに接続されていないクライアントシステムも同期確立が実現できる。

本発明のスイッチ装置は、上記本発明の分散処理システムを用いたスイッチ装置であって、前記スイッチ装置は、入力回線と接続される入力段スイッチと、出力回線と接続される出力段スイッチと、前記入力段スイッチと前記出力段スイッチとを接続する中間段スイッチと、を備え、
前記送信元システムが前記入力段及び出力段スイッチであり、前記送信先システムが前記中間段スイッチであるときに、前記入力段又は／及び出力段スイッチからの送信要求により、前記中間段スイッチがデータ（例えば、経路設定スケジューリング）の送受信制御を行い、
マスターシステムとなる前記中間段スイッチが同期用フレーム送信要求を前記入力段及び出力段スイッチに配信し、クライアントシステムとなる前記入力段及び出力段スイッチは前記同期用フレーム送信要求に従い、前記中間段スイッチへ送信する同期用フレームのフレーム長を可変とすることを特徴とするものである。

本発明において、同期用フレーム送信要求及び、同期用フレームを、システム間のデータの送受信を制御する制御線を用いて送信すれば、クロック専用線を配置する必要を無くすことが可能となる。このため、クロック配線数で制限されることなく拡張性の高い同期システムが構築できると共に、ＧＰＳ等の外部の基準時間を無線等で受信して複数のシステムで同期を確立する方法に比較して安価に同期システムを構築することが出来る。

本発明のマスターシステム、クライアントシステム、分散処理システム，クライアントシステム，マスターシステムのクロック同期制御方法のクロック同期制御方法、及びクライアントシステム，マスターシステムのクロック同期制御用プログラムは上記本発明の分散処理システムに関連する発明である。
本発明では、システムに属する各クライアントシステムのクロックを、同期用フレームを用いて、システム全体の時刻基準となるマスタークロックを有するマスターシステムのマスタークロックに同期させる。

本発明によれば、システム間の、クロックずれが吸収し、システム全体で同期をとることを可能となる。そして、システム間に専用のクロック配信用線を用意する必要がないため、マスタークロックを配信する装置からのクロック線の配線がボトルネックとならず、システムの拡張が容易となる。

次に、本発明の最良の形態について図面を参照して詳細に説明する。

［第１の実施形態］
図１は本発明の第１の実施形態における、非同期クロック利用による分散処理システムを表すネットワーク図である。

本実施形態の分散処理システムは、マスターシステム１１(クロック配信システム)、クライアントシステム１２−１〜クライアントシステム１２−４、マスターシステム１１とクライアントシステム１２−１〜１２−４との間を結合するデータ線１３及び制御線１４で構成される。本実施形態ではマスターシステム１１を頂点とし、クライアントシステム１２−１〜１２−４はマスターシステム１１にスター状に結合されている。図中のデータ線１３は、各システム間のデータを送受信する線路であり、制御線１４はデータ線１３を送受信されるデータの送信を制御する信号を送受信する線路である。

また、本実施形態では、制御線１４とデータ線１３は物理的に別線路のアウトバンド制御信号方式で表示しているが、制御線１４とデータ線１３が物理的に同一の線路であるインバンド制御信号方式でもかまわない。インバンド制御信号方式を実現する技術としては、例えば波長多重方式などがある。

図２はマスターシステムとクライアントシステムの構成を示す図である。説明の簡素化のため、マスターシステム１１とクライアントシステム１２−１，１２−２の構成のみを説明する。

各システムは制御部２１、データ部２２、クロック発生部２３で構成される。クライアントシステムの制御部２１は制御線１４経由でマスターシステムの制御部２１と結合されている。制御部２１の構成の詳細は後述する。また、クライアントシステムのデータ部２２はデータ線１３経由でマスターシステムのデータ部２２と結合されている。図示していないが、データ部２２はデータ処理を行う処理部、データを蓄積するメモリ部等で構成される。また、クロック発生部２３はシステム動作（データ処理、データ送受信等）全体の基準時刻となるクロック信号を発生する要素である。クロック発生に用いられている水晶発振器は非常に精度良くクロックを発生するＬＳＩであるが、加工誤差等により完全に一致したクロックは発生できない。すなわち、分散システムにおいて分散配置された各システム、それぞれシステム内のクロックにより動作するため、システム全体は完全には同期していない。システム全体が同期して処理を行うことが求められる場合には、上記のクロックずれを吸収する必要がある。

次に、制御部２１の構成要素について図面を参照して説明する。図３は制御部２１の構成要素を表す構成図である。簡素化のために、マスターシステム１１、クライアントシステム１２−１，１２−２の３システムの制御部を図示して説明する（クライアントシステム１２−３、クライアントシステム１２−４も同構成である）。

マスターシステム１１、クライアントシステム１２−１，１２−２中の送信要求処理部３１は自システムでデータ送信要求があった場合、送信先に送信要求（以下、Reqという）を発生する機能及び、他のシステムからのReqを処理する機能を有する。送信可否応答処理部３２（図３中、ACK/NACK処理部３２として示す）は自システムのReqに対する送信先からの送信可否応答（以下ACK/NACKとする、ここでACKは送信可能応答、NACKは送信不可能応答である）を処理する機能及び、ACK/NACKをReq送信元へ送信する機能を有する。また、判定部３３はReq、ACK/NACKを処理し、受信可否を判断する機能を持つ。さらにクライアントシステムの場合には判定部３３は、同期確立要求（同期用フレーム送信要求となる）がマスターシステムから送信されているかどうかを判断する機能、及び同期確立要求（後述する無効Req指示）と判断した場合はその到着をクロック同期部３４へ通知する機能を有する。後述するが、本実施形態では、同期確立要求はACK/NACKの特定ビットをセットすることにより実現している。

次にクライアントシステムのクロック同期部３４について図面を参照して説明する。図４はクロック同期部３４の構成要素を表す構成図である。クロック同期部３４は無効Req発生部４１とカウンタ４２から構成される。ここで、無効Reqとは、通常の送信要求を行うReqとは異なり、システム間の同期確立動作を行うために用意された特殊なフレームである。図中、カウンタ４２は自システムのクロック発生部２３からのクロックに従い動作するカウンタであり、あらかじめ決められた無効Reqフレーム長の周期で回っている。例えば、無効Reqフレーム長が10クロック長であれば、0から10へカウントアップ後、0へ戻る。無効Req発生部４１は無効Req長調整部４３から構成され、無効Req指示到着時のカウンタ値を受け、同期をとるための無効Reqのフレーム長を決める機能を有する。

マスターシステムのクロック同期部３４は、カウンタ４２は無効Ｒｅｑを受けず、図４の無効Ｒｅｑ発生部４１は無効Ｒｅｑ指示発生部となり、無効Ｒｅｑ長調整部を有しない構成となっている。マスターシステムのクロック同期部３４はACK/NACK発生に同期してカウントアップするカウンタ４２からのトリガを受け、無効Ｒｅｑ指示をクライアントシステムに送信する。

次に、制御信号（Req、ACK/NACK）のフレームフォーマットについて説明する。図５は本実施形態の制御信号であるReq、ACK/NACKフレームフォーマットを示した図である。

Reqフレームは先頭に同期用のパターンが書かれ、その次にステータスが続く。ステータスは有効/無効等の情報が書かれている。また、ACK/NACKフレームは先頭に同期用のパターンが書かれ、その次にステータスが続く。ステータスは有効/無効、無効Req送信指示か否か等の情報が書かれている。本実施形態では、Req、ACK/NACKは9クロック長としているが、この長さはこれに限定されない。

（動作の説明）
次に本実施形態の動作について図を用いて説明する。まず図２を用いて、通常時のデータ送受信動作について説明する。例えば、クライアントシステム１２−１からマスターシステム１１へデータ転送要求があった場合、クライアントシステム１２−１は、送信要求（有効Req）をマスターシステム１１へ制御線経由１４で送信する。これに対し、マスターシステム１１が受信可能であれば、クライアントシステム１２―１に対して受信可能応答（有効ACK）を制御線１４経由で返送する。また、受信不可能な場合は受信不可能応答（有効NACK）を制御線１４経由で返送する。クライアントシステム１２−１では、有効ACKを受け取った場合、送信可能と判断し、所望のデータをマスターシステム１１に送信する。また、有効NACKを受け取った場合、送信不可能と判断しデータを送信しない。

さらに、制御部２１の動作について図３を用いて詳細に説明する。ここでも、クライアントシステム１２−１からマスターシステム１１へデータ転送要求があった場合を例に説明する。まず、クライアントシステム１２−１は有効ReqをReq処理部３１で生成させる。生成された有効Reqは送信先のマスターシステム１１へ制御線１４経由で送信される。送信された有効Reqはマスターシステム１１のReq処理部３１で解析後、受信可能であればACK/NACK処理部３２で有効ACKを生成し、クライアントシステム１２−１へ制御線１４経由で送信する。また、受信不可能であれば、ACK/NACK処理部３２で有効NACKを生成し、クライアントシステム１２−１へ制御線１４経由で送信する。

次に、分散システム間同期の確立方法について説明する。同期確立は基準（マスター）クロックをもつマスターシステム１１に他のクライアントシステム１２−１〜１２−４を同期させる。また、同期確立では、上記のデータ通信時に用いる有効Req、有効ACK/NACKの他に、無効Req指示、無効Req、無効ACK/NACKを用いる。

ここで、使用する制御フレームの役割について図を用いて整理して説明する。図６は使用する制御フレームの対応関係を表した図である。通常のデータ送受信時、送信元（クライアントシステム、マスターシステムの一方）は送信要求である有効Reqを送信先（クライアントシステム、マスターシステムの他方）に転送し、それに対して送信先は転送可否応答である、有効ACK/NACKを返送する。

これに対し、同期確立時には、マスターシステム１１が無効Req指示（同期確立用の同期用フレーム送信要求）を送信し、それに対して、クライアントシステム１２−１〜１２−４は同期確立用の同期用フレームである無効Reqを送信する。また、無効Reqが到着したマスターシステム１１では、これに対応して無効ACKまたは無効NACKを返送する。

次に同期確立動作について説明する。同期確立は、クライアントシステム１２−１〜１２−４の起動時のカウンタ始動と、クライアントシステム１２−１〜１２−４へ無効Req到着したときの無効Req長調整動作からなる。
まず、クライアントシステム起動時の動作について説明する。図７はシステム起動時の動作を示したフローチャートである。

マスターシステム１１はある任意の間隔で、無効Req指示を制御線１４経由で全てのクライアントシステム１２−１〜１２−４へ送信している。図７では、無効Req指示の間隔を10回に1回としているが、間隔は任意であり、定期/非定期どちらでも良い。無効Req指示の間隔を管理しているカウンタA（図４のカウンタ４２）はデータ通信時に使用する有効ACKまたは有効NACK、および、無効Req指示を示す無効ACKまたは無効NACKの発生に同期してカウントアップし、無効Req指示を発生すると0になる（つまり0〜10を繰り返す）（ステップＳ１６）。マスターシステム１１ではカウンタAを参照し（ステップＳ１２）、カウンタＡ値が10がどうかを判断し（ステップＳ１３）、カウンタＡ値が10以外の場合、無効Req指示は発生しない（ステップＳ１４）。

具体的には、無効Req指示では無いときには無効Req指示ビットを0とする（ステップＳ１４）。この場合、無効Req指示は行われない。カウンタＡ値が10となると、ACKまたはNACKフレーム中の無効Req指示ビットを1とし（ステップＳ１６）、無効Req指示が生成される。無効Req指示ビットを０又は１とした後に、ＡＣＫまたはＮＡＣＫ送信をクライアントシステムに対して行い（ステップＳ１７）、カウンタＡのカウント値を＋１とする（ステップＳ１１）。

ステップＳ１８において、新規にマスターシステム１１に接続されたクライアントシステム１２は、無効Req指示が最初に到着するまで送受信動作を起こさない。つまり、Req、ACKまたはNACK等の制御信号も発生しない。最初に無効Req指示が到着すると（ステップＳ１９でACKまたはNACKを受信し、ステップＳ２０で無効Ｒｅｑ指示ビット１を確認すると）、クライアントシステム１２は自システムのカウンタBをスタートし、無効Req送信する（ステップＳ２１、Ｓ２２）。クライアントシステム１２のカウンタBはマスターシステム１１からのACKまたはNACKの長さと見なされる値を自クロック基準でカウントするカウンタで、自システムのクロックに同期して1クロックに1回カウントアップされ、ACKまたはNACK長さ分をカウントアップすると0になる。つまり、本実施形態では、ACKまたはNACKの長さが9クロック長なので0〜9を繰り返す動作をする（カウンタB（図４のカウンタ４２）はクライアントシステムのクロックで動作しているため、実際のマスターシステムが自クロックで生成したACKまたはNACK長の長さをカウントしているのではない）。

次に、クライアントシステム１２運用時の動作を説明し、運用時の同期確立動作を説明する。図８はクライアントシステム１２運用時の動作を示したフローチャートである。マスターシステム１１の動作は先に説明したクライアントシステム１２起動時と同じなので省略する。つまりステップＳ３１〜Ｓ３７は図７のステップＳ１１〜Ｓ１７に対応する。ACKまたはNACKを受信したクライアントシステム１２は無効Req指示があるかどうか判断する（ステップＳ３８，Ｓ３９）。無効Req指示でない場合、送信したいデータがあれば有効Reqを送信する（ステップＳ４３）。送信したいデータが無ければReqを生成しないか空の有効Reqを生成する。また、無効Req指示を受けた場合、無効Reqを生成してマスターシステムへ送信する（ステップＳ４０〜Ｓ４２）。無効Reqフレーム長は任意の長さに変更することが出来る。ここでは、有効Reqの間隔を9クロックとしているので、無効Reqは1〜9クロックまで可変とするがこの長さは一例でありこれにこだわらない。なお、ステップＳ４０〜Ｓ４２の動作については後述する。

ここで、図９を用いて同期確立動作の説明を行う。図９はマスターシステム１１とクライアントシステム１２のクロックが元々ずれていない場合（図９（ａ））とずれている場合（図９（ｂ））を表す図である。図９（ａ）に示すように、クロックがずれていない場合は、マスターシステム１１で生成するACKまたはNACKパケット９１（例えば、有効Ａ７）の生成間隔９２（例えば有効Ａ７が生成されてから、有効Ａ８が生成されるまでの間隔）とクライアントシステム１２で生成するReqパケット９３（例えば、有効Ｒ７）の生成間隔９４（例えば有効Ｒ７が生成されてから、有効Ｒ８が生成されるまでの間隔）は同一であり、マスターシステム１１に届くReqパケット９３は9クロック毎に到着する。これに対し、図９（ｂ）に示すように、クロックずれがある場合には、マスターシステム１１に届くReqパケット９３は9クロック毎に到着せず、次第にずれが大きくなっていく。図９ではクライアントシステムのクロック周期がマスターシステムのクロック周期より長い様子を示している。

次に、このカウンタのずれを解消する方法について図１１を用いて記載する。図１１では、10回のReq/ACK送信（90クロック）で1クロックのずれが発生する場合を示している。このずれは10回に1回、Reqの長さを8クロックにして吸収することにより解消することが出来る。本実施形態では、10回に1回マスターシステムがずれ解消の無効Reqを生成するようにクライアントシステムに要求している様子が描かれている。

次に、このずれ量を検知する方法について図１０、図１１を用いて説明する。図１０はクライアントシステム１２起動時の制御パケットの流れを表す図である。マスターシステムは常にACKまたはNACKパケット１０ａを送信し、10回に1回の割合でACKまたはNACKパケットに内包して無効Req指示１０ｂを出している（例えば有効Ａ８を10回に1回の割合で出している）。これに対し、クライアントシステム１２がネットワークに接続され、最初に無効Req指示１０ｂを受けると、自システムのカウンタBをスタートさせると共に無効Req１０ｃを生成しマスターシステム１１へ送信する。クロックずれがない場合、クライアントシステム１２起動時に最初に無効Req指示１０ｂを受けたときに0からスタートしたカウンタBは、次に無効Req指示１０ｂを受けたときも0を示している。これに対し、クロックずれがある場合、カウンタB値は0とはならず、ずれる（図８のステップＳ４０でカウンタのカウント値を参照する）。図１１はクロックずれがあり、それを補正してクロック同期が確立されている様子を表した図である。本実施形態では、マスターシステム１１が無効Req指示１０ｂを10回に1回（90クロック間隔）で出しているが、クライアントシステム１２のクロック周期が長いため、クライアントシステム １２では89クロック単位と認識する。つまり、カウンタ値は0に戻らず、8を示すことになる。このカウンタ値×クロック周期を無効Req１０ｃのパケット長（時間）として送信することにより、ずれは解消することになる（図８のステップＳ４１、Ｓ４２）。なお図中の無効ACKまたはNACK１１ａは、先に述べたが、クライアントシステムからの無効Reqに対応してマスターシステム１１が生成する制御信号である。

図１７は上述した、分散処理システムにおいて、ずれを検知し、無効Req１０ｃの長さを変更する動作を説明するフローチャートである。図１７は図７及び図８を用いて説明した動作に対応するものである。図１７に示すように、ステップＳ１でマスターシステムが無効Ｒｅｑ指示をクライアントシステムに送る。クライアントシステムは無効Ｒｅｑ指示を受け、無効Ｒｅqをマスターシステムに返信するとともにカウンタＢのカウントを開始する（ステップＳ２）。マスターシステムは一定期間後に無効Ｒｅｑ指示をクライアントシステムに送る（ステップＳ３）。クライアントシステムは無効Ｒｅｑ指示を受け、このときのカウント値に基づいて無効Ｒｅqをマスターシステムに返信するとともにカウンタＢのカウントを開始する（ステップＳ４）。そして、ステップＳ３とステップＳ４とを繰り返す。マスタークロックに対してクロックずれがあると、カウント値は０とならず、カウンタ値×クロック周期を無効Reqのパケット長（時間）として送信することにより、ずれは解消する。

複数のクライアントシステム１２−１〜１２−４はそれぞれ個別にこのずれ量を検知し、これに対応して、無効Req１０ｃの長さを変更することにより、制御線１４経由の制御パケットのクロックずれを解消し同期確立が可能となる。次に、データ線１３経由のデータパケットの同期について説明する（図示せず）。データ線１３上には、有効Reqに対応する有効データパケット及び、無効Reqに対応する無効データパケット（本実施形態では、１０回に１回が無効データパケットとなる）が同期して送信される。この、無効データパケット長を無効Reqと同じ様にカウンタ値×クロック周期とすることで、データ線１３上のパケットの同期も確立することが可能となり、システム全体の同期が確立される。

また、本実施形態では同期確立に使用する無効Req要求をACKまたはNACKパケットに内包しているが、他に特定フレームを用意してもかまわない。同様に、無効Reqも他に特定のフレームを用意してもかまわない。

また、無効Req１０ｃの長さは1〜9クロック間で調整可能なため、ずれ量が9クロックを越えた場合には1回の同期確立動作ではずれ量全体を吸収できない。この場合には、連続して同期確立動作をすることにより9クロック以上のずれの吸収が可能である。

なお、以下の実施形態では、“ACKまたはNACK”は“ACK/NACK”と略す。

［第２の実施形態］
次に、第２の実施形態について図面を参照して詳細に説明する。図１２は第２の実施形態を示すネットワーク図である。この発明に関わるシステム間同期確立方式はマスターシステム１２ａ(クロック配信システム)、クライアントシステム１２ｂ−１〜１２ｂ−４、マスターシステム１２ａとクライアントシステム１２ｂ−１〜１２ｂ−４との間及びクライアントシステム１２ｂ−１〜１２ｂ−４間を結合するデータ線１２ｃ、制御線１２ｄで構成される。本実施形態ではマスターシステム１２ａとクライアントシステム１２ｂ−１〜１２ｂ−３がそれぞれ結合され、クライアントシステム１２ｂ−４が同様にクライアントシステム１２ｂ−１〜１２ｂ−３と結合されている。図中のデータ線１２ｃは、各システム間のデータを送受信する線路であり、制御線１２ｄはデータ線を送受信されるデータのデータの送信を制御する信号を送受信する線路である。

また、第１の実施形態と同じように、制御線１２ｄとデータ線１２ｃが物理的に同一の線路であるインバンド制御信号方式でもかまわない。

また、各システム内部の構成要素は最良の形態の同一であるためその説明は省略する。

（動作の説明）
次に、実施形態２の動作について図１３を用いて説明する。マスターシステム１２ａと直結されているクライアントシステム１２ｂ−１〜１２ｂ−３の同期確立動作は上記最良の形態と同じ動作で確立される。ここでは、クライアントシステム１２ｂ−４の同期確立動作のみに限定して説明を行う。

図１３はクライアントシステム１２ｂ−４の同期確立動作を示した図である。マスターシステム１２ａからの無効Req指示１３ａに従い、クライアントシステム１２ｂ−１〜１２ｂ−３は無効Req１３ｂの長さを調整して、マスターシステム１２ａ向けに転送することによりマスターシステム１２ａ、クライアントシステム１２ｂ−１〜１２ｂ−３の同期が実現される。さらに、クライアントシステム１２ｂ−１〜１２ｂ−３からの無効Req１３ｂをマスターシステム１２ａ向けと同時にクライアントシステム１２ｂ−４向けにも転送する。ここで、クライアントシステム１２ｂ−４はクライアントシステム１２ｂ−１〜１２ｂ−３を介して、マスターシステム１２ａと対称の位置に配されており、無効Req１３ｂを受けることにより、図１３に示すように、クライアントシステム１２ｂ−４もクライアントシステム１２ｂ−１〜１２ｂ−３と同期確立が出来る。すなわち、マスターシステム１２ａ、クライアントシステム１２ｂ−１〜１２ｂ−４のネットワーク全体で同期確立が可能となる。

［第３の実施形態］
次に、第３の実施形態について図面を参照して詳細に説明する。図１４は実施形態３の分散3段スイッチシステムの構成を示す全体図である。分散3段スイッチシステム（スイッチ装置）は各種機能カードを搭載する筐体１４ａ、ラインカード１４ｂ、ラインカード１４ｂからの伝送信号を出力する外部伝送路１４ｃ、スイッチカード１４ｄ、筐体１４ａ間を接続する筐体間伝送路１４ｅから構成される。

同一筐体内のラインカード１４ｂ、スイッチカード１４ｄは筐体１４ａ内に設置されたバックプレーン（図示せず）を経由して接続される。また、各筐体１４ａのバックプレーンは筐体間伝送路１４ｅを経由して接続される。ラインカード１４ｂはイーサネット（登録商標）等の通信処理を行い、外部伝送路１４ｃを経由して通信を行う通信用のカードであり、スイッチカード１４ｄはラインカード１４ｂに接続され、ラインカード１４ｂの入力ポートを所望の他のラインカード１４ｂの出力ポートへの経路を切り替えるカードである。

次に、図１５を用いてラインカード１４ｂとスイッチカード１４ｄの構成を説明する。ラインカード１４ｂは外部の伝送路と接続するコネクタ１５Ｌ１、コネクタ１５Ｌ１と接続するトランシーバ１５Ｌ２、トランシーバ１５Ｌ２と接続するパケット解析部１５Ｌ３、パケット解析部１５Ｌ３と接続し伝送パケットを一時的に保持するバッファ１５Ｌ４、バッファ１５Ｌ４と接続し、スイッチング動作を行う1又は3段目スイッチ１５Ｌ５、1又は3段目スイッチ１５Ｌ５を制御する制御部１５Ｌ６、1又は3段目スイッチ１５Ｌ５および制御部１５Ｌ６と結合されるバックプレーンコネクタ１５Ｌ７、ラインカード１４ｂ全体にクロックを配信するクロック部１５Ｌ８で構成される。また、スイッチカード１４ｄはラインカードと結合するバックプレーンコネクタ１５Ｓ１、バックプレーンコネクタ１５Ｓ１と結合されスイッチング動作を行う2段目スイッチ１５Ｓ２、2段目スイッチ１５Ｓ２に結合されバックプレーンコネクタ１５Ｓ１を経由してラインカード１４ｂの制御部１５Ｌ６と接続される制御部１５Ｓ３、スイッチカード１４ｄ全体にクロックを配信するクロック部１５Ｓ４で構成される。

ここでは、一のラインカードは入力段スイッチ、他のラインカードは出力段スイッチ、スイッチカードは中間段スイッチとなり、入力段スイッチには第１段目スイッチ、出力段スイッチには第３段目スイッチ、中間段スイッチには第２段目スイッチが配されている。

本実施形態では、ラインカード１４ｂの制御部１５Ｌ６とスイッチカード１４ｄの制御部１５Ｓ３間を結ぶ制御線と、ラインカード１４ｂの１，３段目スイッチ１５Ｌ５とスイッチカード１４ｄの２段目スイッチ１５Ｓ２間を結ぶデータ線は、物理的に別線路のアウトバンド制御信号方式で表示しているが、第１の実施形態と同じように、制御線とデータ線が物理的に同一の線路であるインバンド制御信号方式でもかまわない。

次に、図１６を用いてラインカード１４ｂの制御部１５Ｌ６、スイッチカード１４ｄの制御部１５Ｓ３の構成を説明する。簡素化のために、ラインカード１４ｂ−１、１４ｂ−２、スイッチカード１４ｄ−１、１４ｄ−２の構成で説明する。最初にラインカード１４ｂ−１、１４ｂ−２の制御部１５Ｌ６の構成機能について説明する。Req送信部１６Ｌ１は自ラインカードでデータ送信要求があった場合、送信先に送信要求（以下Reqと記載する）を生成して送信する機能を有する。ACK/NACK受信部１６Ｌ２は自ラインカードのReqに対する送信先からの送信可否信号（以下ACK/NACKと記載する）を受信する機能を有する。ACK/NACK判定部１６Ｌ３はACK/NACKを処理し、送信可否を判断する機能および、同期確立要求がマスターシステムから送信されているかどうかを判断する機能を持つ。さらに、同期確立要求と判断した場合はその到着をクロック同期部１６Ｌ４へ通知する機能を有する。SW設定部１６Ｌ５はACK/NACK判定部１６Ｌ３からのSW設定依頼を受けラインカード１４ｂ内のスイッチを設定する機能を有する。クロック同期部１６Ｌ４は、図４に記載した構成と同じなので説明を省略する。

次にスイッチカード１４ｄ−１，１４ｄ−２の構成機能について説明する。Req受信部１６Ｓ１は、ラインカードからのReqを受信する機能を有する。Req判定部１６Ｓ２はReqの有効/無効の判断、有効Reqに対するデータ信号の転送可否を判断してACK/NACK送信部１６Ｓ３へ通知する機能、受信可能な場合にSW設定部１６Ｓ４へスイッチ設定を依頼する機能を有する。SW設定部１６Ｓ４はReq判定部１６Ｓ２からのスイッチ設定依頼を受けスイッチカード１４ｂ内のスイッチを設定する機能を有する。

（動作の説明）
次に、第３の実施形態について図１４、図１５、図１６を参照して詳細に説明する。外部伝送路１４ｃからラインカード１４ｂ（入力段スイッチ）へ入力されたパケットはコネクタ１５Ｌ１を経由してトランシーバ１５Ｌ２で受信される。受信されたパケットはパケット解析部１５Ｌ３で送信信号のヘッダ情報から出力ラインカード１４ｂ（出力段スイッチ）及び出力ポートを抽出する。解析されたパケットは一時的にバッファ１５Ｌ４へ蓄積される。同時に解析された出力ラインカード１４ｂ及び出力ポート情報は制御部１５Ｌ６へ送信される。ラインカード１４ｂの制御部１５Ｌ６の動作を図１６を用いて詳しく説明する。Req送信部１６Ｌ１は出力ラインカード１４ｂ及び出力ポートを有効Reqに内包してSW制御部１５Ｓ３へ転送し、スイッチカード１４ｄ（中間段スイッチ）のReq受信部１６Ｓ１で受信される。受信された有効ReqはReq判定部１６Ｓ２で1〜3段目までのスイッチ経路の探索を行って転送可否を判断し、転送可能であればSW設定部１６Ｓ４へ転送経路の設定を依頼すると共に、ACK/NACK送信部１６Ｓ３へ有効ACKの転送を依頼する（有効ACKには1、3段目のスイッチ設定情報がかかれている）。SW設定部１６Ｓ４はスイッチを設定して転送経路の設定を行う。ACK/NACK送信部１６Ｓ３は有効ACKを生成し有効Req送信元へ転送する。また、転送不可能であれば、ACK/NACK送信部１６Ｓ３へ有効NACKの転送を依頼する。ACK/NACK送信部１６Ｓ３は有効NACKを生成し有効Req送信元へ転送する。次に、ラインカード１４ｂのACK/NACK受信部１６Ｌ２は有効ACK/NACKを受信し、ACK/NACK判定部１６Ｌ３へ転送する。ACK/NACK判定部１６Ｌ３が有効ACKの場合には当該パケットが送信可能と判断し、有効ACKにかかれているラインカードのスイッチ設定情報をSW設定部１６Ｌ５へ転送する。SW設定部１６Ｌ５では転送されたスイッチ設定情報を元にSW設定部１６Ｌ５を経由してスイッチを設定する。同様に出力ラインカード１４ｂ側のスイッチ設定も行う。また、有効NACKを受信した場合には当該パケットが送信不可能と判断してスイッチ設定を行わない。転送可能な場合、スイッチ設定後、当該パケットはバッファ１５Ｌ４よりスイッチ１５Ｌ５へ転送され、スイッチカード１４ｄに設定されたパスを経由して出力ラインカード１４ｂへ転送される。出力ラインカード１４ｂ側のスイッチ設定も完了しているので、所望の出力ポートに転送され、外部伝送路１４ｃへ出力される。

次に、ラインカード１４ｂとスイッチカード１４ｄの同期方式について説明する。

ここで、基準時刻をもつマスターシステムはスイッチカード１４ｄ−１とし、ラインカード１４ｂ−１、１４ｂ−２、及び、スイッチカード１４ｄ−２をスイッチカード１４ｄ−１に同期させる。スイッチカード１４ｄ−１とラインカード１４ｂ−１、１４ｂ−２間は、上記第１実施形態で説明したマスターシステムをスイッチカード１４ｄ−１、クライアントシステムをラインカード１４ｂ−１、１４ｂ−２と置き換えることにより、同様の方式で同期確立が実現できる。また、スイッチカード１４ｄ−１とスイッチカード１４ｄ−２間は上記第２実施形態のマスターシステム１２ａをスイッチカード１４ｄ−１、クライアントシステム１２ｂ−４をスイッチカード１４ｄ−２と置き換えることにより、同様の方式で同期確立が出来る。

上記２つの同期動作により、スイッチカード１４ｄ、ラインカード１４ｂ全体で同期確立が可能となる。

分散処理システムの例として、スイッチ装置を取り上げて説明したが、本発明の技術的思想によれば、分散型コンピュータ、グリッドコンピュータ、音響システム等の他のシステムにも適用することができる。

以上説明した、図７や図８に示した、分散処理システムのマスターシステム及びクライアントシステムのクロック同期を実行する処理は、図２、図３、図４に示した各部を専用ＩＣにより構成して実行されてもよいが、演算処理部となるＣＰＵと、図７や図８に示したマスターシステムやクライアントシステムの動作をプログラムに記述して、ＲＯＭ等のメモリに記憶し、ＣＰＵの演算処理に必要なデータをＲＡＭ等のメモリに記憶して、プログラムを実行することで図７や図８に示したマスターシステムやクライアントシステムの動作をソフト的に実行してもよい。

本発明の実施形態を示すネットワーク図である。 本発明の実施形態を示すシステム構成図である。 本発明の実施形態を示す制御部構成図である。 本発明の実施形態を示すクロック同期部構成図である。 本発明の実施形態を示す制御パケットのデータフォーマットである。 本発明の実施形態で使用する制御パケットの役割を示した図である。 本発明の実施形態を示すクライアントシステム起動時のフローチャートである。 本発明の実施形態を示す同期確立フローチャートである。 本発明の実施形態において制御パケットの流れを示す図である。 本発明の実施形態においてクライアントシステム起動時の制御パケットの流れを示す図である。 本発明の実施形態において同期確立動作時の制御パケットの流れを示す図である。 本発明の実施形態２を示すネットワーク図である。 本発明の実施形態２の実施形態における同期動作を示す図である。 本発明の実施形態３の実施形態を示すシステム外観図である。 本発明の実施形態３の実施形態を示すシステム構成図である。 本発明の実施形態３の実施形態を示す制御部構成図である。 本発明の実施形態を示す同期確立フローチャートである。

符号の説明

１１ マスターシステム
１２ クライアントシステム
１３ システム間を結合するデータ線
１４ システム間を結合する制御線
２１ マスターシステム及びクライアントシステム搭載の制御部
２２ マスターシステム及びクライアントシステム搭載のデータ部
２３ マスターシステム及びクライアントシステム搭載のクロック発生部
３１ マスターシステム及びクライアントシステムの制御部搭載のReq処理部
３２ マスターシステム及びクライアントシステムの制御部搭載のACK/NACK処理部
３３ マスターシステム及びクライアントシステムの制御部搭載の判定部
３４ マスターシステム及びクライアントシステムの制御部搭載のクロック同期部
４１ マスターシステム及びクライアントシステムのクロック同期部搭載の無効Req発生部
４２ マスターシステム及びクライアントシステムのクロック同期部搭載のカウンタ
４３ マスターシステム及びクライアントシステムの無効Req発生部搭載の無効Req長調整部
９１ マスターシステムが生成するACK/NACKパケット
９２ ACK/NACKパケットの生成間隔
９３ マスターシステムが生成するReqパケット
９４ Reqパケットの生成間隔
１０ａ マスターシステムが生成する有効ACK/NACKパケット
１０ｂ マスターシステムが生成する無効Req指示
１０ｃ クライアントシステムが生成する無効Reqパケット
１１ａ マスターシステムが生成する無効ACK/NACKパケット
１２ａ マスターシステム
１２ｂ クライアントシステム
１２ｃ システム間を結合するデータ線
１２ｄ システム間を結合する制御線
１３ａ マスターシステムが生成する無効Req指示パケット
１３ｂ クライアントシステムが生成する無効Reqパケット
１３ｃ マスターシステムが生成する無効ACK/NACKパケット
１３ｄ マスターシステムが生成する有効ACK/NACKパケット
１４ａ 筐体
１４ｂ 筐体に搭載するラインカード
１４ｃ ラインカードからの外部伝送路
１４ｄ 筐体に搭載するスイッチカード
１４ｅ 筐体間を接続する筐体間伝送路
１５Ｌ１ ラインカード搭載の外部伝送路用コネクタ
１５Ｌ２ ラインカード搭載のトランシーバ
１５Ｌ３ ラインカード搭載のパケット解析部
１５Ｌ４ ラインカード搭載のバッファ
１５Ｌ５ ラインカード搭載の１、3段目スイッチ
１５Ｌ６ ラインカード搭載の制御部
１５Ｌ７ ラインカード搭載のバックプレーンコネクタ
１５Ｌ８ ラインカード搭載のクロック部
１５Ｓ１ スイッチカード搭載のバックプレーンコネクタ
１５Ｓ２ スイッチカード搭載の２段目スイッチ
１５Ｓ３ スイッチカード搭載の制御部
１５Ｓ４ スイッチカード搭載のクロック部
１６Ｌ１ ラインカード制御部搭載のReq送信部
１６Ｌ２ ラインカード制御部搭載のACK/NACK受信部
１６Ｌ３ ラインカード制御部搭載のACK/NACK判定部
１６Ｌ４ ラインカード制御部搭載のクロック同期部
１６Ｌ５ ラインカード制御部搭載のSW設定部
１６Ｓ１ スイッチカード制御部搭載のReq受信部
１６Ｓ２ スイッチカード制御部搭載のReq判定部
１６Ｓ３ スイッチカード制御部搭載のACK/NACK送信部
１６Ｓ４ スイッチカード制御部搭載のSW設定部

Claims (20)

1. 分散配置された複数のシステムで同期処理を行う分散処理システムにおいて、
   分散配置された前記複数のシステムは、システム全体の時刻基準となるマスタークロックをもつマスターシステムと、一又は二以上のクライアントシステムとを備え、
   前記マスターシステムが前記マスタークロックに基づく同期用フレーム送信要求を前記クライアントシステムに配信し、
   前記クライアントシステムは前記同期用フレーム送信要求に従い、前記マスターシステムへ送信する同期用フレームのフレーム長を可変することを特徴とする分散処理システム。
2. 前記クライアントシステムを第１のクライアントシステムとするとき、該第１のクライアントシステムは前記マスターシステムへ送信する同期用フレームを、前記マスターシステムと接続されていない第２のクライアントシステムにも送信することを特徴とする請求項１記載の分散処理システム。
3. 前記マスターシステムと前記クライアントシステムとの間で、送信要求元の、前記マスターシステムとクライアントシステムとの一方から送信要求フレームを送信し、送信先システムの、前記マスターシステムと前記クライアントシステムとの他方から返信される送信可否応答フレームにより、前記マスターシステムと前記クライアントシステムとの間のデータ送受信を制御し、
   前記同期用フレーム送信要求及び前記同期用フレームを、前記マスターシステムと前記クライアントシステムとの間のデータ送受信を制御する制御線を用いて送信することを特徴とする請求項１あるいは２記載の分散処理システム。
4. 前記同期用フレーム送信要求及び前記同期用フレームは、前記マスターシステム及び前記クライアントシステムが、前記同期用フレーム送信要求及び前記同期用フレームと認識する特定のフレームを用いることを特徴とした請求項１から３記載の分散処理システム。
5. 前記同期用フレーム送信要求は、前記マスターシステムからの前記送信可否応答の特定ビットをセットすることにより実現することを特徴とする請求項３記載の分散処理システム。
6. 前記同期用フレームは、前記クライアントシステムから前記マスターシステムへ送信する送信要求フレームを用いることを特徴とする請求項３記載の分散処理システム。
7. 前記同期用フレーム送信要求は、一定の間隔で送信されることを特徴とする請求項１から６のいずれか１項に記載の分散処理システム。
8. 前記同期用フレーム送信要求は、任意のトリガを検知し送信されることを特徴とする請求項１から７のいずれか１項に記載の分散処理システム。
9. １回の同期確立動作で同期未確立の場合、前記マスターシステムが前記同期未確立を検知して複数回同期確立を行うことを特徴とする請求項１から７のいずれか１項に記載の分散処理システム。
10. 請求項３から９のいずれか１項に記載の分散処理システムを用いたスイッチ装置であって、
    前記スイッチ装置は、入力段スイッチと、出力段スイッチと、前記入力段スイッチと前記出力段スイッチとを接続する中間段スイッチと、を備え、
    前記送信元システムが前記入力段及び出力段スイッチであり、前記送信先システムが前記中間段スイッチであるときに、前記入力段又は／及び出力段スイッチからの送信要求により、前記中間段スイッチがデータの送受信制御を行い、
    マスターシステムとなる前記中間段スイッチが同期用フレーム送信要求を前記入力段及び出力段スイッチに配信し、クライアントシステムとなる前記入力段及び出力段スイッチは前記同期用フレーム送信要求に従い、前記中間段スイッチへ送信する同期用フレームのフレーム長を可変とすることを特徴とするスイッチ装置。
11. マスターシステムと、一又は二以上のクライアントシステムとが分散配置され、前記マスターシステムと前記クライアントシステムとが同期処理を行う分散処理システムに用いるマスターシステムにおいて、
    前記マスターシステムはシステム全体の時刻基準となるマスタークロックを発生するクロック発生部と、前記マスタークロックに基づき同期用フレーム送信要求を前記クライアントシステムに配信する配信部とを備えていることを特徴とするマスターシステム。
12. マスターシステムと、一又は二以上のクライアントシステムとが分散配置され、前記マスターシステムと前記クライアントシステムとが同期処理を行う分散処理システムに用いるクライアントシステムにおいて、
    前記マスターシステムから、システム全体の時刻基準となるマスタークロックに基づく同期用フレーム送信要求を受け、前記同期用フレーム送信要求に従い、前記マスターシステムへ送信する同期用フレームのフレーム長を可変することを特徴とするクライアントシステム。
13. 前記クライアントシステムは前記マスターシステムへ送信する同期用フレームを、前記マスターシステムと接続されていない他のクライアントシステムにも送信することを特徴とする請求項１２記載のクライアントシステム。
14. システム全体の時刻基準となるマスタークロックをもつマスターシステムと、一又は二以上のクライアントシステムとを備え、分散配置された、前記マスターシステムと一又は二以上のクライアントシステムとが同期処理を行う分散処理システムのクロック同期制御方法において、
    前記マスターシステムが前記マスタークロックに基づき同期用フレーム送信要求を前記クライアントシステムに配信する第１ステップと、
    前記クライアントシステムが前記同期用フレーム送信要求に従い、前記マスターシステムへ送信する同期用フレームのフレーム長を可変する第２ステップとを備えたことを特徴とする分散処理システムのクロック同期制御方法。
15. マスターシステムと、一又は二以上のクライアントシステムとが分散配置され、前記マスターシステムと前記クライアントシステムとが同期処理を行う分散処理システムに用いるマスターシステムのクロック同期制御方法において、
    前記マスターシステムはシステム全体の時刻基準となるマスタークロックに基づき同期用フレーム送信要求を前記クライアントシステムに配信することを特徴とするマスターシステムのクロック同期制御方法。
16. マスターシステムと、一又は二以上のクライアントシステムとが分散配置され、前記マスターシステムと前記クライアントシステムとが同期処理を行う分散処理システムに用いるクライアントシステムのクロック同期制御方法において、
    前記マスターシステムから、システム全体の時刻基準となるマスタークロックに基づく同期用フレーム送信要求を受け、前記同期用フレーム送信要求に従い、前記マスターシステムへ送信する同期用フレームのフレーム長を可変することを特徴とするクライアントシステムのクロック同期制御方法。
17. マスターシステムと、一又は二以上のクライアントシステムとが分散配置され、前記マスターシステムと前記クライアントシステムとが同期処理を行う分散処理システムに用いるマスターシステムのクロック同期制御用プログラムにおいて、
    前記マスターシステムの記憶部に記憶され、前記マスターシステムの演算処理部に、システム全体の時刻基準となるマスタークロックに基づき、一定の間隔で同期用フレーム送信要求を前記クライアントシステムに配信する処理を実行させるためのマスターシステムのクロック同期制御用プログラム。
18. マスターシステムと、一又は二以上のクライアントシステムとが分散配置され、前記マスターシステムと前記クライアントシステムとが同期処理を行う分散処理システムに用いるクライアントシステムのクロック同期制御用プログラムにおいて、
    前記クライアントシステムの記憶部に記憶され、前記クライアントシステムの演算処理部に、前記マスターシステムから、システム全体の時刻基準となるマスタークロックに基づく同期用フレーム送信要求を受け、前記同期用フレーム送信要求に従い、前記マスターシステムへ送信する同期用フレームのフレーム長を可変する処理を実行させるためのクライアントシステムのクロック同期制御用プログラム。
19. 分散配置された複数のシステムで同期処理を行う分散処理システムに属するクライアントシステムにおいて、
    システム全体の時刻基準となるマスタークロックに基づく同期用フレーム送信要求をマスターシステムから受信し、
    前記同期用フレーム送信要求を受信し、前記マスターシステムに送信する同期用フレームを可変することで同期処理を行うことを特徴とするクライアントシステム。
20. 分散配置された複数のシステムで同期処理を行う分散処理システムに属するマスターシステムにおいて、
    システム全体の時刻基準となるマスタークロックを有し、
    前記マスタークロックに基づく同期用フレーム送信要求を前記クライアントシステムに配信し、
    前記同期用フレーム送信要求を受信した前記クライアントシステムが送信する同期用フレームを可変することで同期処理を行うことを特徴とするマスターシステム。

Images