JP2000506645A

JP2000506645A - マルチプロセッサ中央処理ユニット

Info

Publication number: JP2000506645A
Application number: JP9529699A
Authority: JP
Inventors: リュートケハラルト
Original assignee: シーメンスニクスドルフインフオルマチオーンスジステーメアクチエンゲゼルシヤフト
Priority date: 1996-02-22
Filing date: 1997-02-04
Publication date: 2000-05-30
Also published as: DE59701512D1; DE19606629A1; EP0882267B1; WO1997031318A1; US6092136A; KR19990087119A; EP0882267A1

Abstract

(57)【要約】それぞれ１のプロセッサ、それぞれ１つのメモリ及びそれぞれ１つのカプラの２つ又はそれより多くのグループを有する中央処理ユニットにおいて、プロセッサ及びメモリは厳密に１つのカプラに接続されており、さらにカプラは相互に接続されており、アドレス空間に亘って均等に分散されたメモリ領域は各々のグループにアドレスインターリービングによってバラバラに割り当てられており、各カプラ自体はそのグループに割り当てられるメモリ領域にアクセスを実施し、さらに関連するカプラへのコネクションを介して他のアクセスを実施する。中央処理ユニットは多重システムを構成するためのインターフェースを有する。

Description

【発明の詳細な説明】マルチプロセッサ中央処理ユニット技術分野この方法はモジュラーマルチプロセッサシステムに関する。従来技術高性能コンピュータシステムはしばしばマルチプロセッサシステムとして構成される。ちようどブッキングシステム及びリザベーションシステム（reservatio n system）のようなトランザクションシステムに対して、均一のレスポンスタイム特性を達成するためには多数のプロセッサが利用される。有利にはこの場合共有バックプレーンを介して相互に接続されるモジュールが使用される。以後中央処理ユニットと呼ばれる各モジュールは１つ又は複数のプロセッサを含み、これらのプロセッサはバスシステムを介してバックプレーンに結合されている。これらプロセッサにとってアクセス可能なメモリは一方では独立したメモリモジュールとしてバックプレーンに接続される。しかし、これによってバスシステムの帯域幅がシステム全体の性能を限定してしまう。よって、メモリを中央処理ユニットに分散し、これにより各中央処理ユニットにメモリを配置し、これらのメモリに直接プロセッサから到達でき、さらにこれらのメモリに他のプロセッサからもバスシステムを介して到達できるようにすることが提案された。各メモリはアドレス変換によって全プロセッサの共有アドレス空間にマップされる。ローカルメモリに存在するプログラム又はデータにもとりわけ迅速に効率的にアクセスができる。従って、このメモリは単一の連続ブロックとしてアドレス空間に組み込まれる。それにもかかわらず、バスシステムは多数のプロセッサを有する非常に高性能なコンピュータにおいてボトルネックのままである。ローカルメモリの外部での各アクセスはバスシステムを介して処理される。静的に構成可能なプロセスコントロールシステム又はトランザクションシステム以外では、ローカルメモリへのメモリアクセスの大部分を行うことはめったに実現できない。例えば４つのプロセッサのコンピュータにおいてローカルメモリへのアクセスの半分を行う場合でさえも、バスシステムの帯域幅は１つのプロセッサの帯域幅の２倍である必要がある。従って、バスシステムの帯域幅を大きくしない場合には、８個又は１６個のプロセッサに移行してもこれに比例した性能の向上は全く望めない。さらに、高速なバスシステムは任意に長くはできないので問題が生じる。現在使用されている周波数及び技術では、信号遅延時間及び信号インピーダンスのせいでバスの長さはほぼ３０ｃｍに制限されている。従って、中央処理ユニットの幅は実質的には３ｃｍより小さくはできないので、これによって中央処理ユニットは最大１０個のモジュール、すなわち１０個のプロセッサを有することができる。しかし、高性能トランザクション処理システムにはさらに多数のプロセッサが必要とされる。モジュールの数を制限することは、各中央処理ユニット・モジュールが共有メモリ及び多数のプロセッサを有することに一致する。しかし、各中央処理ユニットはバックプレーンのバスを介して他の中央処理ユニットのメモリに接続されるので、バスが性能を制限する構成要素となってしまうほどにこのバスシステムに対する負荷も増大してしまう。バスシステムによって結合されるマルチコンピュータシステムの代替案はIEEE “Standard for scalable Coherent Interface”(SCI),IEEE STD 1596−1992(IS BN １‐55937‐222‐2)に従って接続されるプロセッサを有するマルチコンピュータシステムである。これは１つのプロセッサから次のプロセッサまでのポイントツーポイントコネクシヨンに関連する。各プロセッサがそれぞれ他のプロセッサのメモリにアクセスできるように、ＳＣＩは伝送プロトコルを定義する。この伝送プロトコルでは、各プロセッサは自分宛と指定されていないパケットを自分の隣のプロセッサに転送する。このため、ＳＣＩ文書の１.３.４章に記載されているように各プロセッサが少なくとも１つのデータパケットをバッファできるリング構造が必要とされる。これによって、なるほど任意の数のプロセッサが使用できるのだが、これらプロセッサの性能を損なうような遅延が発生する。またこの場合、たとえバスシステムと比べて大きい帯域幅が得られるにしても、帯域幅制限が生じる。従って、なかんずく１.３.５章では２次元格子構造を構築することが提案されている。この２次元格子構造では各プロセッサは同一のライン又はカラムにある他のプロセッサにしか到達できない。他のコネクシヨンは１.４.６章で「エージェンツ（agents）」と呼ばれている中継装置を介して処理される。しかし、このＳＣＩプロトコルはかなり高いコストを必要とする。それゆえ、本発明の課題は、上述の不利な点を回避するようなマルチコンピュータシステムのための中央処理ユニットを提供することである。本発明の記述本発明はダイレクトコネクションをバスシステムに組み合わせ、これによりバスシステムの数を増大化し、結果的に相応に増大化された帯域幅の単一バスシステムと同様の効果を得ることができる。有利な解決法は、それぞれ２つのプロセッサ及び２つの別個のメモリを有するモジュールを使用することである。各プロセッサは、２つのうちの１つのメモリが直接接続されているカプラを介してメインメモリにアクセスする。各カプラはモジュール上の他のカプラに直接接続され、さらにバスシステムへのポートも有している。この結果、直接接続されるメモリによっても直接接続されるカプラにつながるメモリによっても実施されないメモリアクセスがバスシステムを介して実施される。従って、この解決法は、２つのバスシステムを使用することによって、簡単なやり方でモジュール相互間のコネクションの帯域幅を２倍化することができる。本発明の改善実施形態では、各カプラは他のカプラへのダイレクトコネクションを有し、このダイレクトコネクションはモジュールの付加的なポートに接続される。これにより、それぞれ２つのモジュールが接続されて１つの中央処理ユニットスライスになり、この中央処理ユニットスライスでは４つのカプラがリング状に接続される。この場合、対角線上に対向配置されるカプラへの間接コネクシヨンも許すカプラ間のダイレクトコネクションが選択される。この結果、バスシステムを必要とするメモリアクセスは、必要とされるメモリに直接接続されるカプラに接続されるバスシステムのみを利用する。他のデータパスは各中央処理ユニット上に存在するコネクションを介して処理される。同時にバスシステムの使用によって、フレキシブルな拡張及び周辺装置の接続が周知のやり方で可能である。この場合、とりわけ有利な解決法がアドレスインターリービングにより可能である。この目的のために、アドレスの下位ビットがメモリアクセスを行うカプラを決定する。従って、中央処理ユニットごとに２つのプロセッサが設けられバッファメモリ（キャッシュ）のブロックサイズが３２バイトである場合には、第６番目（又は第７番目又は第８番目等々）のビットがカプラの選択に使用される。この改善実施形態は、２のべき乗個のカプラを前提とする。バスシステムにおけるアドレス解決（address resolution）は、周知のやり方で、アドレスをバス上に置き、このアドレスに割り当てられているメモリを有するカプラがバスサイクルを完了することによって達成される。よって、この関連するメモリを有する中央処理ユニットをアドレス指定することは必要ない。従って、バスシステムで通常行われるような他の中央処理ユニットを付加する際のバスシステムによるアドレス指定の変更が必要ない。というのも、カプラへの分散は同じままだからである。一見すると、この解決法はあまり有利には見えない。というのも、プロセッサで実行される小さいサイズのプログラムでさえこのプロセッサのカプラに直接接続されたメモリだけでなく他の１つ又は複数のカプラに接続されたメモリも利用するからである。しかし、バッファメモリ（キャッシュ）が存在しかつカプラ間の接続がポイントツーポイントコネクションとしてとりわけ高速に構成されることにより、この不利な点はこの容易な拡張可能性によって相殺される。従って、それぞれ１つのプロセッサ、１つのメモリ及び１つのカプラの２つ又はそれ以上の多数のグループを有する中央処理ユニットがあり、プロセッサ及びメモリが厳密に１つのカプラに接続され、カプラが相互に接続されており、アドレスインターリービングによってアドレス空間に亘って均一に分散されたメモリ領域が各グループにバラバラに割り当てられており、各カプラ自体はそのグループに割り当てられたメモリ領域へのアクセスを実施し、他のアクセスは関連するカプラへのコネクシヨンを介して実施する。中央処理ユニットには多重システムを構築するためのインターフェースが設けられている。図面の簡単な説明図１は、２つのプロセッサ、２つのメモリ及び２つのカプラ、２つのダイレクトコネクション及び２つのバスポートを有する本発明の有利な実施形態の中央処理ユニットを示している。図２は、比較的大きなマルチプロセッサシステムの部分として使用される、４つのバスシステムを有する仮想的な４プロセッサ中央処理ユニットを２つの中央処理ユニットを組み合わせて作ることを示している。図３は、２つのバスシステムによって接続される８重マルチプロセッサシステムを４つのデュアルプロセッサ中央処理ユニットを組み合わせて作ることを示している。図４は、８つのバスシステムによって他の８重プロセッサスライスに接続できる、８重プロセッサスライスを４つのデュアルプロセッサ中央処理ユニットを組み合わせて作ることを示している。本発明の詳細な説明図１には、２つのプロセッサ１１、２１、２つのメモリ１２、２２及び２つのカプラ１３、２３を有する中央処理ユニット１０が概略的に図示されている。上位グループはプロセッサ１１、メモリ１２及びカプラ１３から構成され、下位グループは他のプロセッサ２１、メモリ２２及びカプラ２３から構成される。２つのプロセッサは同一のアドレス空間を使用し、それぞれ他方のプロセッサのメモリを利用することもできる。この目的のために、プロセッサはアクセス要求をこのプロセッサに接続されたカプラに伝達する。このカプラは直接接続されたメモリを使用するか又はコネクション１８を介してアクセス要求を他方のカプラに転送する。この結果、このアクセス要求がこの他方のカプラに接続されたメモリよって実現される。ポイントツーポイントコネクションによりカプラ相互間を接続するために様々な技術が使用され得る。前述のIEEE STD 1596−1992によるＳＣＩ接続は１つの手段である。しかし、通常は単一方向又は双方向で動作されるデータ及びアドレス線路を介したより簡単な接続ならびに一般的に周知のストローブ信号及び確認（acknowledgement）信号で充分である。間接的到達可能性が必要とされる場合には、信号がどのカプラに指定されているかを示す１つ又は２つの付加的なアドレス線路が使用される。この場合、信号は記憶されずに、可能なかぎり次のカプラに通じるコネクションに直接転送される。このような回路の構成は当業者には一般的になじみのあるものであり、以後周知のものとみなして説明を続ける。この場合、アドレス空間のどの領域が第１のカプラ１３及びこの第１のカプラ１３に接続されるメモリ１２に所属するのか、及びアドレス空間のどの領域が第２のカプラ２３及びメモリ２２に所属するのかが指定されなくてはならない。通常はプロセッサのアドレス空間全体の中から連続したメモリ領域がそれぞれメモリ１２及びメモリ２２に割り当てられ、アドレスコンパレータにより決定される。この場合、（図１には図示されていないが）中央処理ユニットが共有バスシステムに対するインターフェースを有し、さらに、ローカルメモリが該当するのか又はバスに、即ち他の中央処理ユニットのメモリ領域にアクセスしなければならないのかを決定するメモリ管理部が付け加えられることによって、デュアルプロセッサ中央処理ユニットを組み合わせてマルチプロセッサシステムを形成することができる。呼び出されるメモリ領域が直接接続されたメモリにも他のカップリングユニットに接続されたメモリにも存在しないならば、メモリアクセスはバスを介して処理される。とりわけ中央処理ユニットの２つのメモリ領域が相互にきっちりとフィットし合っており各中央処理ユニットのメモリが同じサイズである場合には、どのコネクションを介してカプラがアクセスを実施するのかを決定するために簡単なテーブルアクセスが使用される。しかし、本発明の有利な実施形態では、メモリの別の分割法が使用される。この場合、アドレス領域がインターリーブされ、物理メモリが小さい単位に分けられてアドレス空間に亘って分散される。１つ又は複数のプロセッサが、等しいアクセス権限で、すなわち全てのプロセッサが等しい有効性によってアクセスすることができるメモリモジュールにアクセスする場合、このアドレス指定はインターリービングとして周知である。勿論このようなメモリモジュールはアクセスの後でリカバリタイムを必要とする。これは例えば’’Diｇiｔａl Sｙsteｍs:Har dwarｅOrganizａtion and Deｓign’’,Ｆ.J.HilｌandＧ.R.Peterson,New York 1973という本の第14.3章にキーワード「インターリービング」の下に記述されている。例えば偶数番号アドレスを１つのメモリバンクに、奇数番号アドレスを第２のメモリバンクに配置することによって、２つの連続するメモリアクセスがある場合には第１のメモリのリカバリタイムの間に既に第２のメモリへのアクセスが行われる。よって、インターリービングはこれまで２つ又はそれ以上の多数のメモリバンクのリカバリタイムを補償するために利用されれきた。インターリービングに類似する本発明で使用される技術は、以下においてアドレスインターリービングと呼ばれる。この場合、アドレス空間は多数の同じ大きさのブロックに分割される。以下の説明ではこのブロックをラインと呼ぶことにする。各ラインはプロセッサ乃至はメモリ及びカプラの間で伝送されるデータ量と少なくとも同じ大きさでなくてはならない。とりわけバッファメモリ（キャッシュ）を使用する場合には、この情報単位を「キャッシュ‐ライン」と呼ぶ。大抵の場合、１つのラインは使用されるプロセッサのワード幅の数倍である。しかし、多分実際に常にバッファメモリを使用する場合にはプロセッサの命令のワード幅は重要ではない。従って、より理解しやすくするために、以下ではプロセッサ乃至はメモリ及びカプラの間で分割されずに伝送されるデータ量をメモリワードと呼ぶことにする。よって、アドレスインターリービングは１メモリワード又はこの１メモリワードの数倍に基づいて行われる。いずれにせよ、２重インターリービングの場合には、メモリバンクを決定するためにはバイナリアドレスの１ビットがあれば充分である。通常は２のべき乗個のメモリバンクが使用され、この結果メモリバンクは１ビットフィールドの抽出によって決定される。測定によって最終アドレスビットによるインターリービングの方が有利なのか、又はより大きい単位でのインターリビングの方が有利なのかが求められる。例えば１メモリワードの１６倍でのインターリビングはアドレス線路をリワイヤ（rewire）することによって問題なく達成される。よって、以下では簡単明瞭にするために、最下位ビット又は最下位ビッツ（bits）でのアドレスインターリービングから出発しよう。勿論本発明はこれに限定されるわけではない。反対に、インターリービングは常にできるだけ大きい分散を利用する。すなわち常に最下位アドレスビッツを利用する。しかし、本発明ではアドレスインターリービングはメモリのリカバリタイムをブリッジするために［］ではない。むしろアドレスインターリービングは、各メモリユニットにプロセッサが所属することに結びついて、簡単なやり方でかつ僅少な性能の損失でマルチプロセッサシステムを構築することができる中央処理ユニットを提供するために使用される。この場合、中央処理ユニット上にある２つのメモリを相互に隣接させるのではなくインターリーブすることは一見不利であるように見える。２つのメモリを相互に隣接させれば、実質的にはプロセッサにとってローカルなメモリの領域に限定されるプロセスがとりわけ効率的に実行される。しかし、メモリがインターリーブされる場合には、実際に各プロセスは非ローカルなメモリを２つのカプラのコネクションを介して間接的に利用できるのである。今日重要なオペレーティングシステムに関する詳細な研究が示しているように、実際にはどんなプロセスも所定のメモリ領域にほとんど限定できなくなっているので、互いにきっちりと隣接したメモリ領域の上記の利点は全く実現できないのである。よって、メモリのインターリービングは実際には不利を意味しない。むしろ、オペレーティングソフトウェアが共通メモリ領域をとりわけオペレーティングシステムのために利用する限り、メモリのインターリービングは有利であると見なされる。従来の装置では、これらの領域をローカルメモリ内に持たないプロセッサは不利だとされた。すなわち、一方のプロセッサでのプロセスの実行時間は他方のプロセッサでのプロセスの実行時間よりも遅かった。このことが本発明によってシステムの性能全体を損なうことなしに回避される。これまで説明してきたデユアルプロセッサ中央処理ユニットは、簡単であると同時に効率的な様々なやり方によって結合されマルチコンピュータシステムを形成する。この目的のためにはカプラのポイントツーポイントコネクションのためのダイレクトインターフェース１４、２４及びバスインターフェース１５、２５を使用するのが適当である。図１からわかるように、カプラ毎に１つのダイレクトコネクションインターフェース１４乃至は２４が設けられている。これによって、図２に示されているように、２つの中央処理ユニットを結合して４つのプロセッサ及び４重インターリービングを有する１つの中央処理ユニットが形成できる。第２の同型の中央処理ユニットはカプラＸ３及びＸ４、プロセッサＣＰＵ３及びＣＰＵ４、そしてメモリＭＥＭ３及びＭＥＭ４を有する。カプラＸ１，Ｘ２，Ｘ３及びＸ４は相互にリング状に接続されている。メモリは今や４重にインターリーブされる。これは、簡単なやり方で、例えばこの中央処理ユニットのジャンパ（jumper）を用いるインストレーションの間にさらに別のアドレスビットを付加することによって行われる。この結果、単一の形式の中央処理ユニットをデュアルプロセッサとしても４重プロセッサとしても利用できる。２つのアドレスビットから各カプラは、直接接続されたメモリへのアクセスを行うべきか、隣接するカプラのメモリへのアクセスを行うべきか又は対向配置されたカプラのメモリへのアクセスを行うべきかを求める。このためにコンパレータは必要ない。というのも、カプラの番号を示すこれら２つのビットに関するアドレスのうちの２ビットのみを相応のデータパスを制御するための４ビットに変換しさえすればよいからである。これは、ゲート、マルチプレクサ及びデコーダのような中程度の密度のインテグレーションによって簡単に達成できる。とりわけ、もし必要とあれば、メモリが直接的には利用できない場合に同一の中央処理ユニットのカプラをアドレス指定しなければならないのか、又はインターフェース１４、２４を介して別の中央処理ユニットのカプラをアドレス指定しなければならないのかを決定するために、アドレスの１ビットを排他的論理和によって反転させて使用する。図４に図示されているように、この原理は、４つのデュアルプロセッサ中央処理ユニットをそれぞれ２つのダイレクトインターフェースにリング状に結合することによって、８重スライスを形成するためにも使用される。このリング構造に起因する相対的な性能損失は、ダイレクトコネクションによってバスシステムよりも高速度が可能であり、このため８重スライスはバスシステムによって接続される８つの中央処理ユニットよりも相対的に良好な性能を示すことによって相殺される。このために必要とされるポイントツーポイントコネクションは当業者には周知である。これに必要とされる接続線路は当該アドレスの関連する部分及びデータを伝達する。オープンコレクタを有する両端部で終端された線路を利用してもよい。バスシステムに存在するような中間地点接合（mid-point junctions）も調停（arbitration）も必要ないので、このようなポイントツーポイントコネクションは簡単な構造でありながらも高い動作速度を達成する。３つより多くのカプラがリング状に接続されている場合には、１つのカプラが隣接するカプラを介して他のカプラに到達する手段が存在しなくてはならない。このためには、同様にポイントツーポイントコネクションとして構成されるグループアドレス線路及び確認線路を設ける。カプラが、グループアドレス線路はこのカプラのグループ番号を示していないような要求を受信する場合には、グループアドレスも他の全ての線路も別のポイントツーポイントコネクションに接続される。確認信号も周知のやり方で伝送される。というのも、アドレス指定されたカプラがポイントツーポイントコネクションを介して到着する要求をすぐには処理できないからである。これはこのカプラ自身のプロセッサがまだ処理の済んでいないメモリ要求を行っているからである。バスインターフェース１５、２５を使用することにより、可変個の中央処理ユニットから組み立てられるマルチプロセッサシステムが形成される。図３には４つのデュアルプロセッサ中央処理ユニットを有するこのような装置が図示されている。この装置では有利には、プロセッサのメモリアクセスが２つのカプラのコネクションを介して処理されるのか、又はカプラがこのアクセスをローカルに実施するのか乃至はこのカプラに接続されたバス１５、２５を介してこのアクセスを実施するのかを決定するために、プロセッサ又はキャッシュワード幅又はこのキャッシュワード幅の数倍を基礎にして２重インターリービングが使用される。図３に示されているように、それぞれ中央処理ユニットを相互に接続する２つのバスシステムが利用されている。このようにバスによって接続されるカプラはそれぞれインターリービングに関して同一のメモリクラスへのアクセスを惹起する。インターリービングに基づいて直接的に（又はリング状に間接的に）接続されたカプラを介してアクセスが行われていないことが確定した後で、カプラは、アドレスがローカルメモリに導くのか、又はアドレスがバスシステムを介して要求するべきなのかを決定するための別の手段としてメモリマネージャを利用する。このために、メモリアドレスのための、又はさらに別の調整可能なアドレスインターリービングのためのコンパレータが使用される。このために必要とされるこれらアドレスマネージャはバスシステムを有するマルチプロセッサコンピュータの製造から周知である。いずれにせよ、中央処理ユニット相互間のメモリ要求を処理するための多重バスシステムが存在する。この結果、バスシステムの制御のための大幅な付加的コストを必要とすることなしに、これまでのマルチコンピュータシステムの重要なボトルネックを除去することができる。上の記述及び図２乃至は図４に示されているように、有利な形式の２つ又は４つの中央処理ユニットを組み合わせて４重スライス又は８重スライスを形成すると、マルチプロセッサシステムの中央処理ユニット間のデータトラフィックを処理するために４つの乃至は８つのバスシステムが存在する。従って、例えばバスシステムが中央処理ユニットに対して１０個までのプラグイン位置を許す場合には、同一個数のデュアルプロセッサ中央処理ユニットモジュールによって８０の２倍の個数のプロセッサからなるコンピュータシステムが構成される。この場合、計算能力はプロセッサの数とともにほぼ線形に上昇し、単一バスシステムがボトルネックとなることもない。図２及び４に図示された有利な実施形態のデュアルプロセッサ中央処理ユニットによって、暗黙のうちに既に前提としていることだが、個々のバスシステムが最小限の長さを有し相互に交差しないように中央処理ユニットを配置する手段が得られる。このためには、２０、４０及び８０個のプロセッサの最大コンフィギュレーションレベル毎に異なる中央処理ユニットモジュール用レセプタクル（re ceptacle）が必要とされるが、中央処理ユニットは同一のままである。さらに図３の装置では、隣接する中央処理ユニットのダイレクトコネクションがそれぞれ対となって接続されることによって、直線状の配置により接続用バックプレーンを相応に構成するだけで８つまでの４重スライスの組み合わせが実現される。この場合、一方では図３に図示されているように２つのバスシステムによって動作され、４重スライスのそれぞれ２つのカプラが同一のバスを利用する。この接続タイプでは、プロセッサの数は４、８、１２又は１６個に制限されるだけである。この場合、バックプレーンは最初からこのタイプのプラグ及びコネクションを有する。中央処理ユニットのファームウェアコンフィギュレーションは、他のモジュールにダイレクトコネクションが使用されるかどうかを決定する。よって、顧客は最初は個々の中央処理ユニットによって、すなわちプロセッサに関しては２段階ずつ自分のシステムを拡張することができる。偶数個のプロセッサが存在する場合には、これらはそれぞれ２つのプロセッサの４重スライスに再構成される。図５に概略的に図示されているように、中央処理ユニットの各バスポートを次の次の中央処理ユニットに接続するバックプレーンの改善によって、４つのバスシステムが構成される。これによって、４重スライスによる最高性能が達成される。バスシステムは一方の端部でターミネーション５１、５２によって終端される。クランパ（clamper）５３、５４は閉状態で４つのバスセグメントを接続して２つのバスシステムを形成する。開状態では、バスシステムは（ここには図示されていない）他のターミネーションに接続され、４つのバスシステムが形成される。従って、顧客側で簡単なやり方でバスシステムの数を増加することができ、これによりシステムの性能はインストールされる中央処理ユニットの個数にほぼ比例して上昇する。このバックプレーンによって中央処理ユニットの簡単な変形実施形態が可能である。この変形実施形態はこれまで記述してきたデュアルプロセッサ中央処理ユニットを２つのモジュールに分割することによって得られる。これらのシングルプロセッサ中央処理ユニットの各々は１つのプロセッサ、１つのメモリ、１つのカプラ、そして１つのバスポート及び１つのダイレクトポートを有する。しかし、接続バックプレーンとして使用されるのは図５の上側部分に示されている装置であり、ジャンパの代わりに固定ターミネーションが設けられており、この結果物理的に２つの別個のバスシステムとして使用される単一の列（single row）が存在する。ダイレクトインターフェースは相互に対になって接続される。今や２つのプロセッサそれぞれがダイレクトインターフェースによって接続されており、２つのバスシステムが存在するので、周知のバスシステムの転送能力の２倍より大きな転送能力が達成される。カプラがダイレクトインターフェースを使用せず特別なバックプレーンによってコンピュータを形成するようにカプラを構成することによって、同一のシングルプロセッサ中央処理ユニットが単一バスシステムを有する従来のバックプレーンに対して使用される。この特別なバックプレーンによって形成されるコンピュータは、それぞれ２つのシングルプロセッサ中央処理ユニットによって拡張でき、それにもかかわらずバスシステムの最大帯域幅によってこれまでよりもはるかに限定されない大きな帯域幅を達成する。高性能コンピュータには通常は中央処理ユニットの良好な処理能力を得るためにバッファメモリ（キャッシュ）を設けなければならない。これらキャッシュメモリも主にローカルデータアクセスのために使用されるので、アドレスインターリービングはいよいよ有利である。とりわけ、これによって１キャッシュライン当たりの粒度（granularity）が向上する。キャッシュメモリは各プロセッサに所属し、（図示されていないが）概念的にはプロセッサ自体とカプラとの間に接続されている。キャッシュ制御部はしばしばプロセッサチップ上に一緒に設けられるので、プロセッサはキャッシュメモリへのダイレクトコネクションを有し、カプラに接続されるキャッシュもプロセッサによって使用される。共有アドレス空間において全てのプロセッサが全てのメモリ内容を仮想的に同時的に使用できるために、すなわち全てのプロセッサに対して均一メモリ（unif orm memory）を実現するために利用される２つの方法があり、これら２つの方法はキャッシュシステムに対して有利である。これらに関しては例えば論文“A Cl ass of Compatible Cache Consistency Protocols and their Support by the I EEE Futurebus”by P.Sweazey and A.J.Smith，Proc.13th Int.Symp.on Compute r Archtecture,IEEE 1986.を参照のこと。これらの方法のうちの１つは「スヌーピング（snooping）」と呼ばれる。この方法では、少なくともキャッシュのステータスを変化させる全てのバスシステム上でのオペレーションのアドレスを同時に全てのキャッシュユニットに転送し、この結果これらのキャッシュユニットが新たなステータスを記録することができる。この方法は本発明の中央処理ユニットでも可能である。というのも、各カプラはアドレスに基づいてアドレスがダイレクトコネクションを介して他のカプラに送信されるのか、又はバスシステムに供給されるのかを決定することができるからである。この場合、本発明の変形実施形態も可能である。この変形実施形態では２つのバスシステム１５及び２５が別個のアドレス線路を有するが、共有データ線路を利用する。バスサイクルの大部分はキャッシュラインアップ（cacheline-up）のためのただのアドレスサイクルであるので、２つのバスはデータ線路を共有することができる。さらにアドレスバスは主に３２ビット幅であるが、データバスは少なくとも６４ビット幅、大抵は１２８又は２５６ビット幅であるので、性能の著しい劣化をきたすことなしに極めて多数のポートを節約できる。あるいは、アドレスインターリービングを有する本発明のデュアル中央処理ユニットは、バックプレーンへの３２個の追加ポートだけでキャッシュラインアップの速度を２倍化することができる。しかし、本発明で使用されるキャッシュラインアップのための有利な方法は「タグド(tagged)」又は「ディレクトリベースド（directory based）」と呼ばれる。この方法では、各メモリ自体が付加的なインジケータを有する。プロセッサがメモリワードを変更するためにこのメモリワードを要求し受信すると、要求する側のキャッシュを参照することによってこのインジケータがセットされる。第２のプロセッサが同一のメモリワード（キャッシュライン）にアクセスすると、このアクセスは第１のプロセッサのキャッシュメモリへ転送されるか又は第１のキャッシュメモリのキャッシュエントリが無効にされてメインメモリにバックトランスポートされるまで延期される。この延期はアクセスの試みの打ち切り及び繰り返しによって実施される。また「ディレクトリベースド」キャッシュコンシステンシ法でも大量のデータ伝送が処理できる。本発明では簡単なやり方で複数のバスシステムに亘って均一にこのデータ伝送を分散することができる。「ディレクトリベースド」キャッシュコンシステンシ法の使用に対する参考文献としては、例えば論文“Torus with slotted rings archite cture for a cache-coherent multiprocessor”，Proc．1994 Int.Conf.on Para llel and Distributed Systems,pp76-81,IEEE Comp.Soc．Press 1994.を参照のこと。２つのプロセッサ、２つのメモリ、２つのカプラ、２つのカプラインターフェース及び２つのバスインターフェースを有するとりわけ有利な変形実施形態によれば、特に長いバスシステムを必要とすることなしに、又はプロセッサの性能が単一バスシステムによって制限されることなしに、シングルタイプの中央処理ユニットを使用して２〜８０個のプロセッサを有するシステムを構築することができる。これまで記述してきた本発明の有利な実施形態は、２のべき乗による分割、すなわちプロセッサスライス毎に２、４又は８個のプロセッサを使用する。しかし、３つ（又はそれ以上）のプロセッサを使用することもできる。この場合２つの変形実施形態が可能である。第１の変形実施形態は２つのカプラを有する実施形態に相応し、ダイレクトインターフェース及びバスインターエースを有する第３のカプラが設けられている。もう１つの変形実施形態は、中央カプラに対してダイレクトインターフェース及びバスインターフェースを断念する。全ての非ローカルメモリアクセスが隣接するカプラのうちの１つに転送される。メモリバンクの総数が２のべき乗でない場合には、メモリバンクのサイズはインターリービングに対して相対的に大きく選択され、この結果比較的少ない個数のブロックが作られる。この選択はプログラマブルリードオンリーメモリ（ＰＲＯＭ）によって行われる。このプログラマブルリードオンリーメモリ（ＰＲＯＭ）のアドレス線路には上位アドレスビット（most significant adress bits）が供給され、このプログラマブルリードオンリーメモリ（ＰＲＯＭ）のデータバイトはインターリーブされるメモリバンクの番号を示す。３グループ及び５アドレスビットの場合、プログラマブルリードオンリーメモリの内容は３２個の値０、１、２、０、１、２等々から成る。すなわち、モジュロ３によるアドレスから成る。１６アドレス線路を有するプログラマブルリードオンリーメモリは必要とされる速度で使用可能であり、この結果３重アドレスインターリビングによって各グループは６５５３６個のラインに分割される。このような中央処理ユニットのうちの２つが相互に接続される場合、最下位ビットが中央処理ユニットの選択に使用され、従って６グループによるアドレスインターリービングが簡単なやり方で実現される。

【手続補正書】特許法第１８４条の８第１項【提出日】１９９７年９月４日（１９９７．９．４）【補正内容】請求の範囲 1. それぞれ１つのプロセッサ（１１、２１）、１つのカプラ（１３、２３）、１つのメモリ（１２、２２）及び１つのバスインターフェース（１５、２５）の少なくとも２つのグループを有する中央処理ユニット（１０）において、前記プロセッサ（１１、２１）の命令は共有アドレス空間を使用し、該共有アドレス空間に前記メモリ（１２、２２）は含まれており、各カプラ（１３、２３）は、そのグループの前記プロセッサ（１１、２１）、前記メモリ（１２、２２）及び前記バスインターフェース（１５、２５）ならびに他のグループの少なくとも１つのカプラに直接接続され、さらに各々他のカプラに少なくとも間接的に接続されており、前記カプラは、直接接続されたプロセッサのメモリアクセスを、前記プロセッサから伝送されるアドレスに基づくアドレス割り当てを用いて、＊直接接続された前記メモリ（１２、２２）によって実施し、＊そこでアクセス可能なメモリ（１２、２２）にアクセスするためにこのメモリアクセスを他のカプラ（１３、２３）に転送し、＊又はこのメモリアクセスを前記バスインターフェース（１５、２５）を介して実行する、中央処理ユニット（１０）。 2. 少なくとも１つのカプラは直接的に他の２つのカプラに接続され、これら複数のカプラはライン又はリングを形成し、１つのカプラは直接的には接続されてはいないカプラを直接接続されたカプラを用いてアドレス指定し、さらに前記１つのカプラは前記直接接続されたカプラと同様に前記直接的には接続されてはいないカプラがメモリアクセスを実施できるようにさせる、３つ又はそれより多くのグループを有する請求項１記載の中央処理ユニット。 3. 中央処理ユニットは付加的に２つのダイレクトインターフェースを有し、該２つのダイレクトインターフェースはそれぞれ１つのカプラに接続されており、さらに、２つの同一の中央処理ユニットのダイレクトインターフェースが対になって接続されているならば、少なくとも４つのグループ、リング状に接続されるカプラ及び４つのバスインターフェースを有する仮想中央処理ユニットが成立するように前記カプラが構成される、請求項１又は２記載の中央処理ユニット。 4. １つのプロセッサ（１１）、１つのカプラ（１３）、１つのメモリ（１２）、１つのバスインターフェース（１５）及び１つのダイレクトインターフェース（１４）を有する中央処理ユニット（１０）において、前記プロセッサ（１１）の命令はアドレス空間を使用し、該アドレス空間にメモリ（１２、２２）は含まれており、前記カプラ（１３）は前記プロセッサ（１１）、前記メモリ（１２）、前記バスインターフェース（１４）及び前記ダイレクトインターフェース（１４）に接続されており、該ダイレクトインターフェース（１４）は第２の同型の中央処理ユニットの厳密に１つのダイレクトインターフェースに接続可能であり、前記カプラは、前記プロセッサによって伝送されるアドレスに基づくアドレス割り当てによって、前記プロセッサのメモリアクセスを、＊メモリ（１２、２２）によって実施し、＊そこでアクセス可能なメモリにアクセスするためにこのメモリアクセスをダイレクトインターフェース（１４、２４）を介して同型の中央処理ユニットのカプラに転送し、＊又はこのメモリアクセスをバスインターフェース（１５、２５）を介して実行する、中央処理ユニット（１０）。 5. アドレス割り当ては各メモリを連続するブロックとして共有アドレス空間にマップする、請求項１〜４までのうちの１項記載の中央処理ユニット。

Claims

【特許請求の範囲】 1. それぞれ１つのプロセッサ（１１、２１）、１つのカプラ（１３、２３）、１つのメモリ（１２、２２）及び１つのバスインターフェース（１５、２５）の少なくとも２つのグループを有する中央処理ユニット（１０）において、各カプラ（１３、２３）は、そのグループの前記プロセッサ（１１、２１）、前記メモリ（１２、２２）及び前記バスインターフェース（１５、２５）ならびに他のグループの少なくとも１つのカプラに直接接続され、さらに各々他のカプラに少なくとも間接的に接続されており、前記プロセッサ（１１、２１）は共有アドレス空間を有し、前記カプラは、直接接続されたプロセッサのメモリアクセスを、前記プロセッサから伝送されるアドレスに基づくアドレス割り当てを用いて、＊直接接続された前記メモリ（１２、２２）によって実施し、＊そこでアクセス可能なメモリ（１２、２２）にアクセスするためにこのメモリアクセスを他のカプラ（１３、２３）に転送し、＊又はこのメモリアクセスを前記バスインターフェース（１５、２５）を介して実行する、中央処理ユニット（１０）。 2. 少なくとも１つのカプラは直接的に他の２つのカプラに接続され、これら複数のカプラはライン又はリングを形成し、１つのカプラは直接的には接続されてはいないカプラを直接接続されたカプラを用いてアドレス指定し、さらに前記１つのカプラは前記直接接続されたカプラと同様に前記直接的には接続されてはいないカプラがメモリアクセスを実施できるようにさせる、３つ又はそれより多くのグループを有する請求項１記載の中央処理ユニット。 3. 中央処理ユニットは付加的に２つのダイレクトインターフェースを有し、該２つのダイレクトインターフェースはそれぞれ１つのカプラに接続されており、さらに、２つの同一の中央処理ユニットのダイレクトインターフェースが対になって接続されているならば、少なくとも４つのグループ、リング状に接続されるカプラ及び４つのバスインターフェースを有する仮想中央処理ユニットが成立するように前記カプラが構成される、請求項１又は２記載の中央処理ユニット。 4. １つのプロセッサ（１１）、１つのカプラ（１３）、１つのメモリ（１２）、１つのバスインターフェース（１５）及び１つのダイレクトインターフェース（１４）を有する中央処理ユニット（１０）において、前記カプラ（１３）は前記プロセッサ（１１）、前記メモリ（１２）、前記バスインターフェース（１４）及び前記ダイレクトインターフェース（１４）に接続されており、該ダイレクトインターフェース（１４）は第２の同型の中央処理ユニットの厳密に１つのダイレクトインターフェースに接続可能であり、前記カプラは、前記プロセッサによって伝送されるアドレスに基づくアドレス割り当てによって、前記プロセッサのメモリアクセスを、＊メモリ（１２、２２）によって実施し、＊そこでアクセス可能なメモリにアクセスするためにこのメモリアクセスをダイレクトインターフェース（１４、２４）を介して同型の中央処理ユニットのカプラに転送し、＊又はこのメモリアクセスをバスインターフェース（１５、２５）を介して実行する、中央処理ユニット（１０）。 5. アドレス割り当ては各メモリを連続するブロックとして共有アドレス空間にマップする、請求項１〜４までのうちの１項記載の中央処理ユニット。 6. 各メモリがアドレス空間の相互に隣接しない少なくとも２つの部分に分散されることによって、アドレス割り当てはアドレスインターリービングによって行われる、請求項１〜４までのうちの１項記載の中央処理ユニット。 7. カプラに対するアドレス割り当てはアドレスインターリービングによって行われ、こうしてアドレス指定されたカプラは、アドレスが直接接続されたメモリに所属するのかどうかを決定し、さもなければバスシステムによって予め設定されるアドレス解決を介してメモリアクセスを行う、請求項１〜５までのうちの１項記載の中央処理ユニット。 8. アドレスインターリービングは２進数で表示されるアドレスのビットフィールドを抽出することによって行われる、請求項６又は７記載の中央処理ユニット。 9. 割り当ては、該割り当てを有するメモリをアドレス指定する最上位アドレスビット（most significant sddress bits）を介してアドレスインターリービングによって行われる、請求項８記載の中央処理ユニット。 10．それぞれ２つのバスシステムは別個のアドレス及び制御線路を使用するが同時に共有データ線路を使用し、該共有データ線路は必要な場合にジャンパ及びアクセス制御部を介して各バスによって利用される、請求項１〜９までのうちの１項記載の中央処理ユニット。 11．ダイレクトインターフェース（１４）は動作可能ではないが、このために設けられた箇所に構成要素を付け加えることによって動作可能に成り得る、請求項１〜１０までのうちの１項記載の中央処理ユニット。 12．異なる中央処理ユニットのダイレクトインターフェースは対になって相互に接続される、請求項３〜１１までのうちの１項記載の少なくとも２つの同一の中央処理ユニットの装置。 13．少なくとも２つの別個のバスシステムは中央処理ユニットのバスインターフェースを接続する、請求項１〜１２までのうちの１項記載の同一の中央処理ユニットの装置。 14．中央処理ユニットは列状に配置されており、中央処理ユニットのバスインターフェースはそれぞれ次の次の中央処理ユニットのバスインターフェースに接続される、請求項１３記載の同一の中央処理ユニットの装置。 15．ジャンパが設けられており、該ジャンパによって２つのバスシステムが単一のバスシステムに結合される、請求項１４記載の装置。 16．ジャンパはターミネーションの代わりにバスシステムの隣接する端部を接続する、請求項１５記載の装置。 17．中央処理ユニットの各インターフェースが１つのバスシステムに接続され、どのバスシステムも同一の中央処理ユニットの２つのバスインターフェースを接続しないほどの多数のバスシステムが使用される、請求項１３〜１６までのうちの１項記載の装置。 18．請求項１２〜１７記載の装置において複数の中央処理ユニットを接続するためのバックプレーン。 19．中央処理ユニットはバッファメモリ（キャッシュ）を有し、該バッファメモリ（キャッシュ）のコンシステンシはスヌーピングによって達成され、この際、各カプラは直接接続されたメモリに対して前記カプラによって実施されるメモリアクセスを前記カプラに直接接続されたバスに報告し、さらに前記カプラの側では前記バス上に現れるアドレスをアドレス割り当てに従って直接接続されたプロセッサに転送するか、又はダイレクトコネクションを介して他のカプラに転送する、請求項１〜１１までのうちの１項記載の中央処理ユニットのための動作方法。 20．中央処理ユニットはバッファメモリ（キャッシュ）を有し、該バッファメモリ（キャッシュ）のコンシステンシはデイレクトリによって達成される、請求項１〜１１記載の中央処理ユニットのための動作方法。