JP2001117892A

JP2001117892A - 内部バスを介して通信するマルチプロセッサ・コンピュータシステムとその通信方法

Info

Publication number: JP2001117892A
Application number: JP2000030406A
Authority: JP
Inventors: 均 ▲高▼木; Hitoshi Takagi
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-10-14
Filing date: 2000-02-08
Publication date: 2001-04-27
Also published as: US6487619B1

Abstract

(57)【要約】【課題】プロセッサがネットワーク・プロトコルを使
用し、相互接続装置を介して互いに通信する環境を提案
する。【解決手段】マルチプロセッサ・コンピュータシステ
ムであって、プロセッサ、メモリ、及びインターフェー
ス・ユニットを備える複数のコンピューティング・セル
と、インターフェース・ユニットを使用して複数の前記
コンピューティング・セルを相互接続する相互接続装置
とを備え、コンピューティング・セルは、相互接続装置
用のネットワーク・ドライバを備え、ネットワーク・プ
ロトコルを使用することにより相互接続装置を介して互
いに通信する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、マルチプロセッサ
・コンピュータシステムの分野に関し、特に、ネットワ
ーク・プロトコルを使用し、内部バスその他の相互接続
装置を介してプロセッサが互いに通信するマルチプロセ
ッサ・コンピュータシステムに関する。

【０００２】

【従来の技術】ネットワーク・コンピューティング環境
においては、ユーザー・アプリケーション・プログラム
はネットワークのアプリケーション層プロトコルを使用
して通信する。例えば、デスクトップ・システム（クラ
イアント・マシン）上の電子メール・プログラムは、Ｐ
ＯＰ（ＰｏｓｔＯｆｆｉｃｅＰｒｏｔｏｃｏｌ）や
ＳＭＴＰ（ＳｉｍｐｌｅＭａｉｌＴｒａｎｓｆｅｒ
Ｐｒｏｔｏｃｏｌ：メール転送プロトコル）などのメ
ール転送プロトコルを使用してサーバ・コンピュータ上
のメール・サーバ・プログラムと通信する。ネットワー
ク接続されたアプリケーション・システムの他の例で
は、ウェブ・ブラウザーはＨＴＴＰ（ＨｙｐｅｒＴｅ
ｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）を利用し
てウェブ・サーバと通信する。

【０００３】アプリケーション・プログラムは、ＴＣＰ
／ＩＰシステムに取り付けたＳｏｃｋｅｔｓＡＰＩ、
ＮｅｔＢＩＯＳ、ＴＬＩ（ＴｒａｎｓｐｏｒｔＬａｙ
ｅｒＩｎｔｅｒｆａｃｅ）ＡＰＩなど、何らかのＡＰＩ
（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍＩｎｔｅｒ
ｆａｃｅ：アプリケーション・プログラム・インターフ
ェース）を介してネットワークと通信する。ＡＰＩの下
には、プログラム間でデータをやり取りする際に、デー
タの喪失その他のエラーが発生することなく正常に転送
されるようにする各種プロトコル・スタックの層があ
る。こうしたプロトコル・スタックの例としては、ＴＣ
Ｐ／ＩＰ、ＳＰＸ／ＩＰＸ、ＮｅｔＢＥＵＩなどが挙げ
られる。これらのプロトコルはそれぞれ、ネットワーク
・ドライバと呼ばれるプログラムによって実装される。

【０００４】ネットワーク・ドライバの下には、ネット
ワーク接続された２点間でデータ転送を行うために適切
なハードウェアを実際に制御するハードウェア・ドライ
バがある。これらのハードウェア・ドライバとそれに対
応するハードウェアは、イーサネット（ＩＥＥＥ８０
２．３）、ＡＴＭ（ＡｓｙｎｃｈｒｏｎｏｕｓＴｒａ
ｎｓｆｅｒＭｏｄｅ：非同期転送モード）、トークン
・リング（ＩＥＥＥ８０２．５）などの標準仕様や、Ｉ
ＳＤＮ（ＩｎｔｅｇｒａｔｅｄＳｕｂｓｃｒｉｂｅｒ
ＤｉｇｉｔａｌＮｅｔｗｏｒｋ：統合ディジタル通
信サービス網）、Ｘ．２５、フレーム・リレー、ＤＳＬ
（ＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎ
ｅ）、ＡＤＳＬ（ＡｓｙｎｃｈｒｏｎｏｕｓＤｉｇｉ
ｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅｓ）などのそ
の他のＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋｉｎ
ｇ：広域ネットワーク）標準を使用して実装される。最
後に、コンピュータは、一般にこれらの標準の少なくと
も１つに準拠するケーブルによって物理的に接続され
る。

【０００５】一般に、ネットワーク・インターフェース
・ハードウェアは、コンピュータの内部に設けられる。
その例としては、イーサネット・カードなどのイーサネ
ット・ハードウェア・コンポーネントをコンピュータの
Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ：入出力）バスに接
続した構成が考えられる。このようなイーサネット・カ
ードは、ＩｎｔｅｌＣｏｒｐｏｒａｔｉｏｎなどのベ
ンダーによって製造されている。あるいは、２枚のイー
サネット・カードをＩ／Ｏバスに取り付ける場合であれ
ば、一方のカードをＩｎｔｅｌ製にし、もう一方のカー
ドをＣｏｍｐａｑＣｏｒｐｏｒａｔｉｏｎなどの他の
ベンダーが製造したものとすることもできる。後者の場
合、ネットワーク・ドライバの最下層が、コンピュータ
の構成とアプリケーション・プログラムから発行された
要求を参照して、使用できるハードウェア・カードを特
定する。

【０００６】図１０及び図１１は、分散アプリケーショ
ン・システム内のネットワーキング層の例である。図１
０は、Ｓｏｃｋｅｔｓ、ＴＬＩ、ＣＰＩ／Ｃ、Ｎａｍｅ
ｄＰｉｐｅｓＡＰＩなどのトランスポート非依存ＡＰ
Ｉ１１のサービスを起動するアプリケーション・プログ
ラム１０を示す。これらのＡＰＩは、ＴＣＰ／ＩＰ、Ｓ
ＮＡ、ＩＰＸ／ＳＰＸ、ＮｅｔＢＩＯＳを始めとする各
種ネットワーキング転送プロトコル１２の実装へのアク
セスを提供する。転送プロトコル１２の実装の下には、
ＮＤＩＳやＯＤＩインターフェースなどの標準インター
フェースによってアクセス可能な論理ネットワーク・ド
ライバ１３の層がある。これらの論理ネットワーク・ド
ライバは、トークン・リング、イーサネット、ＩＳＤＮ
仕様などの標準仕様を使って実装されたハードウェア１
４と協働して動作する。

【０００７】図１１は、最も一般的に使用されるネット
ワーキング・ソフトウェアの層が、最上層にアプリケー
ション・プログラムのインターフェースを提供するアプ
リケーション層１５を備えるＯＳＩ参照モデルの７つの
論理層にどのようにマッピングされるかを示したもので
ある。最下層の物理層２１は、ネットワーキング・ハー
ドウェアと媒体に関する仕様を定義する。ＯＳＩモデル
の中間層には、プレゼンテーション層１６、セッション
層１７、トランスポート層１８、ネットワーク層１９及
び論理リンク層２０が含まれる。

【０００８】インターネット・ウェブ・ブラウザー（Ｉ
ｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒやＮｅｔｓｃａｐｅ
Ｎａｖｉｇａｔｏｒなど）とインターネット・ウェブ
・サーバとの通信の基礎をなす層について論じるため、
その一例を図示する。図１２に示すように、インターネ
ット・ウェブ・ブラウザー２２は、ＨＴＴＰアプリケー
ション層プロトコルを使ってインターネット・ウェブ・
サーバと通信する。ブラウザーがＨＴＴＰによって通信
するためには、ＴＣＰ／ＩＰプロトコルなどの下位レベ
ルのプロトコルを使用して、すべてのデータがエラーや
データの喪失が発生することなく正常に送信されるよう
にする必要がある。

【０００９】ＴＣＰ／ＩＰ実装は、ＴＣＰ／ＩＰソフト
ウェアのサービスを起動するためのＳｏｃｋｅｔｓＡ
ＰＩと呼ばれるＡＰＩ２３を提供する。したがって、
このＡＰＩは、アプリケーション・プログラムがネット
ワーク・ドライバ２４のサービスを起動するための一手
段となる。ネットワーク・ドライバ・ソフトウェア２４
は、ＴＣＰ／ＩＰプロトコルを実装するために必要であ
る。ネットワーク・ドライバ２４は、ネットワークから
の情報を転送、受信、または制御するためのｒｅａｄ、
ｗｒｉｔｅ、及びｉｏｃｔｌと呼ばれるライブラリー・
ルーチンを呼び出すことによってハードウェア・ドライ
バ２５を起動する。ネットワーク・ドライバ２４には、
オペレーティング・システムによって、コンピュータ内
にイーサネット・アダプターまたはＡＴＭアダプターが
備えられているかどうかといったネットワーキング・ハ
ードウェア２６の構成情報が供給される。

【００１０】そのため、マシン間のデータ転送における
主要なオペレーションには、基本「送信」オペレーショ
ンが含まれる。したがって、この機能を起動するための
ハードウェア・ドライバの基本オペレーションは、ネッ
トワーキング・ハードウェアにネットワークを介して供
給されたデータを送信させるためにハードウェア・ドラ
イバから供給されるＳＥＮＤコマンド（または、関数呼
び出し）である。同様に、ＲＥＡＤの基本オペレーショ
ンでは、ハードウェア・ドライバがネットワークから送
信されたデータを読み取る。

【００１１】「ＣｏｍｐｕｔｅｒＡｒｃｈｉｔｅｃｔ
ｕｒｅ：ＡＱｕａｎｔｉｔａｔｉｖｅａｐｐｒｏ
ａｃｈ（コンピュータ・アーキテクチャー：定量的ア
プローチ）」、ＪｏｈｎＨｅｎｎｅｓｓｙａｎｄ
ＤａｖｉｄＰａｔｔｅｒｓｏｎ、第２版、Ｍｏｒｇａ
ｎＫａｕｆｍａｎ、１９９６という題名のテキストに
は、従来のマルチプロセッサ・コンピュータシステムの
例が示されている。このテキストに示される最初の例
は、並行処理コンピュータシステムのノード群３１を接
続する汎用相互接続ネットワーク３０を示す図１３を参
照して説明されている。例えば、ＭＰＰ（Ｍａｓｓｉｖ
ｅｌｙＰａｒａｌｌｅｌＰｒｏｃｅｓｓｏｒ）は、
最大距離が非常に短い（２５メートル未満のことも多
い）何千ものノード群３１を相互接続できる。

【００１２】このテキストの２番目の例について説明す
る図１４を参照すると、分散メモリ装置が示されてい
る。この分散メモリ装置は、個別にプロセッサ、何らか
のメモリ３４、典型的には何らかのＩ／Ｏ３５、及び
相互接続装置３２へのインターフェースを備えるノード
群３３で構成される。

【００１３】これとは対照的に、数台のコンピュータシ
ステムを相互に接続する従来のコンピュータ・ネットワ
ークでは、コンピュータシステムはネットワーク・プロ
トコルを使用して、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅ
ｒｆａｃｅＣａｒｄ）などのネットワーク・ハードウ
ェアとネットワーク・ドライバを備えるネットワーク・
ソフトウェアを介してネットワークと通信する。典型的
には、コンピュータ・ネットワークのノード間の通信を
調整するために、ネットワーク・オペレーティング・シ
ステム（ＮＯＳ）が備えられる。

【００１４】

【発明が解決しようとする課題】しかし、これまで開示
された従来技術のシステムでは、内部またはＣＰＵバ
ス、または類似の相互接続装置を別個のネットワーキン
グ装置として扱うことにより、マルチプロセッサ・コン
ピュータシステム内の異なるプロセッサがネットワーク
・プロトコルを使用して互いに通信できるようにするも
のは存在しない。すなわち、上記の従来技術ではいずれ
も、複数のプロセッサが共用バスなどの適切な相互接続
装置によって互いに接続されたマルチプロセッサ・コン
ピュータシステム内のプロセッサ間でネットワーク・プ
ロトコルを使用する技術は開示されていない。したがっ
て、上記の従来技術ではいずれも、マルチプロセッサ・
コンピュータシステム内のプロセッサが標準ネットワー
ク・プロトコルを使用し、相互接続装置を介して互いに
通信できるようにするために、相互接続装置用ネットワ
ーク・ドライバが提案されていない。

【００１５】本発明の１つの目的は、プロセッサがネッ
トワーク・プロトコルを使用し、相互接続装置を介して
互いに通信するマルチプロセッサ・コンピュータシステ
ムを提供することにある。

【００１６】本発明の他の目的は、プロセッサがネット
ワーク・プロトコルを使用し、共用バスを介して互いに
通信するマルチプロセッサ・コンピュータシステムを提
供することにある。

【００１７】本発明の他の目的は、プロセッサがＴＣＰ
／ＩＰプロトコルを使用し、共用ＰＣＩバスを介して互
いに通信するマルチプロセッサ・コンピュータシステム
を提供することにある。

【００１８】本発明の他の目的は、プロセッサがネット
ワーク・プロトコルを使用し、交換相互接続装置を介し
て互いに通信するマルチプロセッサ・コンピュータシス
テムを提供することにある。

【００１９】本発明の他の目的は、プロセッサがＴＣＰ
／ＩＰプロトコルを使用し、交換相互接続装置を介して
互いに通信するマルチプロセッサ・コンピュータシステ
ムを提供することにある。

【００２０】本発明の他の目的は、プロセッサがネット
ワーク・プロトコルを使用し、相互接続装置を介して通
信するマルチプロセッサ・システムのプロセッサ間で通
信する通信方法を提供することにある。

【００２１】本発明のさらなる目的は、プロセッサがネ
ットワーク・プロトコルを使用し、共用バスを介して通
信するマルチプロセッサ・システムのプロセッサ間で通
信する通信方法を提供することにある。

【００２２】本発明の他の目的は、プロセッサがネット
ワーク・プロトコルを使用し、交換相互接続装置を介し
て通信するマルチプロセッサ・システムのプロセッサ間
で通信する通信方法を提供することにある。

【００２３】本発明のさらなる目的は、プロセッサがＴ
ＣＰ／ＩＰネットワーク・プロトコルを使用し、相互接
続装置を介して通信するマルチプロセッサ・システムの
プロセッサ間で通信する通信方法を提供することにあ
る。

【００２４】

【課題を解決するための手段】上記目的を達成するた
め、本発明によれば、マルチプロセッサ・コンピュータ
システムであって、プロセッサ、メモリ、及びインター
フェース・ユニットを備える複数のコンピューティング
・セルと、インターフェース・ユニットを使用して複数
の前記コンピューティング・セルを相互接続する相互接
続装置とを備え、前記コンピューティング・セルは、前
記相互接続装置用のネットワーク・ドライバを備え、ネ
ットワーク・プロトコルを使用することにより前記相互
接続装置を介して互いに通信する。

【００２５】請求項２の本発明によれば、前記相互接続
装置が、業界標準の共用入出力バスであることを特徴と
する。

【００２６】請求項３の本発明によれば、前記共用入出
力バスが、ＰＣＩバスであることを特徴とする。

【００２７】請求項４の本発明によれば、前記相互接続
装置が、交換相互接続装置であることを特徴とする。

【００２８】請求項５の本発明によれば、前記ネットワ
ーク・プロトコルが、ＴＣＰ／ＩＰプロトコルであるこ
とを特徴とする。

【００２９】請求項６の本発明によれば、マルチプロセ
ッサ・コンピュータシステムのプロセッサ間で通信する
通信方法であって、マルチプロセッサ・コンピュータシ
ステムのプロセッサ、メモリ、及びインターフェース・
ユニットを備える複数のコンピューティング・セルを提
供し、相互接続装置を使用して前記コンピューティング
・セルを接続すし、前記コンピューティング・セルに、
相互接続装置用ネットワーク・ドライバを提供し、前記
相互接続装置用ネットワーク・ドライバにより、前記コ
ンピューティング・セルがネットワーク・プロトコルを
使用することにより前記相互接続装置を介して互いに通
信する。

【００３０】請求項１１の本発明によれば、マルチプロ
セッサ・コンピュータシステムのプロセッサ間で通信す
る通信方法であって、少なくともマルチプロセッサ・コ
ンピュータシステムのプロセッサ、メモリ、及びインタ
ーフェース・ユニットを備える複数のコンピューティン
グ・セルを提供し、相互接続装置を使用して前記コンピ
ューティング・セルを接続し、前記コンピューティング
・セルのプロセッサ間で前記相互接続装置を介してデー
タを送信するためにネットワーク・プロトコルを使用す
る。

【００３１】

【発明の実施の形態】本発明は、一般的な態様では、複
数のコンピューティング・セルを備え、各セルがプロセ
ッサ、メモリ、及びネットワーク・インターフェース・
ユニットからなるマルチプロセッサ・コンピュータシス
テムを提供する。相互接続装置はコンピューティング・
セルを接続する。コンピューティング・セルには、ＴＣ
Ｐ／ＩＰネットワーク・プロトコルなどのネットワーク
・プロトコルを使用し、相互接続装置を介して互いに通
信できるようにするための相互接続装置用ネットワーク
・ドライバが設けられる。

【００３２】他の一般的な態様では、本発明は、複数個
のコンピューティング・セルを提供し、各コンピューテ
ィング・セルがプロセッサ、メモリ、及びネットワーク
・インターフェース・ユニットを備えるマルチプロセッ
サ・システムのプロセッサ間で通信するための方法を提
供する。接続ステップは、相互接続装置を提供すること
によってコンピューティング・セルを互いに接続する。
さらなる提供ステップは、各コンピューティング・セル
に、ＴＣＰ／ＩＰネットワーク・プロトコルなどのネッ
トワーク・プロトコルを使用し、相互接続装置を介して
互いに通信できるようにするための相互接続装置用ネッ
トワーク・ドライバを提供する。

【００３３】したがって本発明は、内部バスが、メッセ
ージがプロセッサ間で移動できるネットワーク・ハード
ウェアとして構成され定義される構成を提供する。ネッ
トワーク・ドライバの最下層は、イーサネット・ハード
ウェア・カードなどのネットワーク・ハードウェアと類
似した方法で、内部バスまたは類似のネットワーク装置
としての相互接続装置を認識し通信できるようにプログ
ラムされる。

【００３４】ネットワーク・ドライバを内部バスまたは
類似の相互接続装置と通信できるようにプログラムする
ことは、当該技術に精通した当業者が通常有する能力で
ある。例えば、リナックス環境でネットワーク・ドライ
バをプログラムする方法の詳細は、インターネット上の
ＵＲＬ“ｈｔｔｐ：／／ｗｗｗ．ｌｉｎｕｘｄｏｃ．ｏ
ｒｇ／ＨＯＷＴＯ／Ｅｔｈｅｒｎｅｔ−ＨＯＷＴＯ−
８．ｈｔｍｌ＃ｓｓ８．２”で提供されている。

【００３５】例えば、ＴＣＰ／ＩＰ実装におけるこのよ
うなネットワーク・ドライバの実装は、ＩＰパケットが
形成されてから、ネットワーク・インターフェース・ハ
ードウェアを介してネットワークに送信されるまでの間
にそれを傍受するようにプログラムされたソフトウェア
とすることができる。この特別プログラム式ソフトウェ
アは、ＩＰアドレスがマルチプロセッサ・システムの他
のプロセッサの１つを指定しているかどうか判断し、指
定している場合は、該当するプロセッサを宛先とし内部
バスまたはその他の相互接続装置を介してパケットをル
ーティングする。ＩＰアドレスが他のプロセッサの１つ
に属さないと判断した場合、特別プログラム式ソフトウ
ェアは、さらなる転送のため通常の方法で、ネットワー
クを宛先とし、ネットワーク・インターフェース・ハー
ドウェアを介してＩＰパケットをルーティングする。以
下に、当該ソフトウェアがＩＰパケットをプロセッサ間
でルーティングするための手法の例を取り上げて詳細に
説明する。ここでは、マルチプロセッサＷｉｎｄｏｗｓ
ＮＴ環境の例として、タスク間メッセージングを使用
して異なるプロセッサ間のデータ転送を行う場合を使用
することができる。

【００３６】図１は、本発明の好適な実施の形態による
システム構成を示す図である。このシステムには数個の
コンピューティング・セル５０が備えられ、各セルはＣ
ＰＵやメモリなどの従来のコンピュータ・コンポーネン
トで構成されている。各セルは業界標準Ｉ／Ｏバスであ
るＰＣＩバス５１に取り付けられている。各セルは、ネ
ットワーク・プロトコルを使用し、共用バス５１を介し
て互いに通信する。バス上で通信するためのネットワー
ク・プロトコルとしては、例えば、ＴＣＰ／ＩＰプロト
コルを使用することができる。

【００３７】図１に示すように、このマルチプロセッサ
・システムは、ＰＣＩバス５１に取り付けられた２以上
のコンピューティング・セル５０を備える。各セル５０
は、ＣＰＵ５０ａ、メモリ装置（ＭＥＭ）５０ｂ、及
びＢＩＵ（ＢｕｓＩｎｔｅｒｆａｃｅＵｎｉｔ）５
０ｃを備える。セルの１つであるセル（０）は、マスタ
ー・セル５０（マスター）と呼ばれ、その他のセルはス
レーブ・セル５０（スレーブ）と呼ばれる。各ＢＩＵ５
０ｃは、ＰＣＩバス５１へのインターフェースを備え
る。マスター・セルのＢＩＵ５０ｃ（ＢＩＵ０）は、通
常のＰＣＩバス・インターフェースＬＳＩである。この
ようなＬＳＩの例としては、ＩｎｔｅｌＣｏｒｐｏｒａ
ｔｉｏｎの４３０ＴＸＬＳＩがある。このＬＳＩの詳
細は、Ｉｎｔｅｌ社のいくつかの刊行物に示されている
ほか、“ｈｔｔｐ：／／ｄｅｖｅｌｏｐｅｒ．ｉｎｔｅ
ｌ．ｃｏｍ／ｄｅｓｉｇｎ／ｃｈｉｐｓｅｔｓ／ｍａｔ
ｕｒｅ／４３０ｔｘ／ｉｎｄｅｘ．ｈｔｍ”のアドレス
（ＵＲＬ）のウェブ・サイトでも入手できる。

【００３８】各セル５０は、さらにＣＰＵバス（ＰＣＩ
バスなど）５１をネットワーク・デバイスとして認識
し、それと通信するプログラム式ネットワーク・ドライ
バ５２も備えているので、ＴＣＰ／ＩＰネットワーク・
プロトコルなどの標準ネットワーク・プロトコルを実装
するネットワーキング・ソフトウェアは当該ＣＰＵバス
５１を通信媒体として使用できる。

【００３９】スレーブ・セルのＢＩＵ５０ｃ（ＢＵＩ１
など）も従来のＰＣＩバスインターフェースＬＳＩに類
似しているが、以下のメモリ・エイリアス機能とＤＭＡ
（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ：直接メ
モリ・アクセス）機能が追加されている点が異なる。Ｃ
ＰＵは、少なくとも３２ビット・データ・パス及び３２
ビット・アドレス指定能力を有するのが望ましい。

【００４０】ＰＣＩバス５１には、さらに追加のハード
ウェアを取り付けることもできる。この追加のハードウ
ェアとしては、例えば、マスター・セルがディスク・ド
ライブにアクセスするためのディスク制御装置５４や、
マスター・セルが他のシステムもしくはネットワークと
通信するためのイーサネット制御装置などのネットワー
ク制御装置５３が挙げられる。

【００４１】本実施の形態においては、自セルのメモリ
は「ローカル・メモリ」として参照される。他セル内の
メモリは、マスター・セル内のメモリを含み、「リモー
ト・メモリ」として参照される。

【００４２】図２は、サブセル１５０がＣＰＵ１５０ａ
とキャッシュ１５５を備える代替の実施の形態を示す。
各サブセル１５０はＣＰＵバス１５６に接続されてお
り、ＣＰＵバス１５６は共用メモリ装置１５７にも接続
されている。共用メモリ装置１５７は、共用メモリ１５
７ｂとメモリ制御装置１５７ａを備えている。ＣＰＵバ
ス１５６は、ＰＣＩ制御装置１５１ａを介してＰＣＩバ
ス１５１と相互接続されている。サブセル１５０と共用
メモリ１５７のこの構成（図２内の点線部分）は、図１
に示す実施の形態のセル５０に対応する。したがって、
サブセル１５０のこれらのグループは、図１のセル５０
がＰＣＩバス５１を使用して互いに接続されているのと
同様に、ＰＣＩバス１５１を使用して互いに接続でき
る。同様に、ＰＣＩバス１５１は、例えばネットワーク
制御装置１５３及びディスク制御装置１５４などを介し
て外部装置と接続できる。この構成では、プログラム式
ネットワーク・ドライバ・ソフトウェア１５２は、プロ
セッサ１５０ａがネットワーク・プロトコルを使用しＣ
ＰＵバス１５６を介して同じグループのサブセル内にあ
る他のプロセッサと通信できるようにプログラムするこ
とが可能である。さらに、プロセッサ１５０ａは、サブ
セル１５０の他のグループに属するプロセッサ１５０ａ
と通信することもできる。

【００４３】上述したように、この特別プログラム式ネ
ットワーク・ドライバは、当業者であれば通常有する能
力の範囲内で数通りにプログラムできる。こうした実施
例では、このプログラム式ドライバ・ソフトウェアをＴ
ＣＰ／ＩＰ実装内でＩＰパケットを傍受するように実施
して、他のプロセッサの１つを宛先としてアドレス指定
されたＩＰパケットが、ネットワーク・インターフェー
ス・ハードウェアを介してネットワークに送出されるの
ではなく、共用ＣＰＵバス１５６及び／またはＰＣＩバ
ス１５１上を送信されるようにすることが可能である。

【００４４】図３〜図８は、共用バスか類似の相互接続
装置によって接続された、図１で開示されるセル間のデ
ータ転送の例を示す概略図である。この概略図のうち、
図３はマスターＢＩＵによって実行される機能を示すフ
ローチャートである。マスターＢＩＵは、自セルＣＰＵ
とＰＣＩバスの両方から送られてくる要求を管理する。

【００４５】ステップ６０５では、マスターＢＩＵは、
受信した要求がＣＰＵ要求かどうか判断し、ＣＰＵ要求
の場合は、ステップ６１０に進む。ステップ６１０で
は、マスターＢＩＵはそのＣＰＵ要求のアドレスが最大
設置メモリ５０ｂより小さいかどうか判断し、小さい場
合は、ステップ６１５でその要求の行き先はマスター・
セルのメモリとされる。一方、ＣＰＵ要求のアドレスが
ステップ６１０の最大設置メモリより大きい場合は、ス
テップ６２０でその要求の行き先はＰＣＩバスとなる。

【００４６】ステップ６０５で要求がＣＰＵ要求でない
と判断した場合、ＢＩＵはステップ６２５に進み、その
要求がＰＣＩ要求かどうか判断する。ＰＣＩ要求と判断
した場合、ＢＩＵはステップ６３０に進み、ＰＣＩ要求
のアドレスが最大設置メモリより小さいかどうか判断す
る。小さい場合は、ステップ６４０でその要求の行き先
はマスター・セルのメモリ５０ｂとなる。そうでない場
合、すなわちＣＰＵ要求のアドレスが最大設置メモリよ
り大きい場合、ステップ６３５でその要求の行き先はマ
スター・セルの内部レジスタとなる。

【００４７】図４は、スレーブＢＩＵによって実行され
る機能を示すフローチャートである。スレーブＢＩＵ
は，スレーブＣＰＵ、ＢＩＵ内のＤＭＡモジュール、及
びＰＣＩバスから送られてくる要求を管理する。ステッ
プ７０５で、ＢＩＵは要求がＣＰＵ要求かどうか判断す
る。ＣＰＵ要求と判断した場合、ＢＩＵはステップ７１
０で、要求されたアドレスがスレーブ・セル内の最大設
置メモリより小さいかどうか判断する。要求のアドレス
が最大設置メモリより小さい場合は、ステップ７１５で
その要求がスレーブ・セル内のローカル・メモリに向け
られ、そうでない場合、ステップ７２０でその要求の行
き先はＰＣＩバスとなる。

【００４８】ステップ７０５で要求がＣＰＵ要求でない
と判断した場合、ＢＩＵはステップ７２５に進み、その
要求がＰＣＩ要求かどうか判断する。ＰＣＩ要求の場
合、ＢＩＵはステップ７３０に進み、ＰＣＩ要求のアド
レスが最大設置メモリより小さいかどうか判断する。小
さい場合は、ステップ７３５でその要求の行き先はロー
カル・メモリとなる。そうでない場合、すなわちＰＣＩ
要求のアドレスが最大設置メモリより大きい場合、ステ
ップ７４０でその要求の行き先はスレーブ・セルの内部
レジスタとなる。

【００４９】図５は、本発明のマルチプロセッサ・シス
テム内で実行されるメモリ・エイリアス機能のステップ
を示すフローチャートである。前述したように、ＣＰＵ
要求の行き先はローカル・メモリかＰＣＩバスのいずれ
かとなる。要求のアドレスが設置メモリの最高位アドレ
スより低い場合、その要求の行き先はローカル・メモリ
にされる。要求のアドレスが設置メモリの最高位アドレ
スより高い場合、その要求の行き先はＰＣＩバスとな
る。ＰＣＩバスのアドレス・スペースの最下部は、マス
ター・セル（図１ではマスターセル５０（セル０））の
メモリ・スペースに割り当てられる。

【００５０】システム内の他のスレーブ・セルに備えら
れるメモリにアクセスできるようにするため、「エイリ
アス」手法も採用されている。「エイリアス」は、ＰＣ
Ｉバスのアドレス・スペースにアクセスすることによっ
て各セルが他のセルのメモリにアクセスできるようにす
る機能である。ＰＣＩバス内の事前定義されたアドレス
が、セル内のメモリにマッピングされる。各セルは、Ｐ
ＣＩバスのアドレス・スペース内に異なる基底アドレス
を有する。例えば、図１を参照すると、ＰＣＩアドレス
・スペース内のアドレス「０ｘａ０００００００」（０
ｘは１６進数を示す）は、セル０のメモリのアドレス
「０ｘ００００００００」にマッピングされ、ＰＣＩバ
スのアドレス・スペース内のアドレス「０ｘａ１０００
０００」は、セル１のメモリのアドレス「０ｘ００００
００００」にマッピングされ、ＰＣＩバスのアドレス・
スペース内のアドレス「０ｘａ２００００００」は、セ
ル２のメモリのアドレス「０ｘ００００００００」にマ
ッピングされる。

【００５１】各ＢＩＵは、最高位アドレスと最低位アド
レスを指定する２個のレジスタを備える。これらのアド
レスは、ＰＣＩバスからＢＩＵの対応するセルのメモリ
に引き渡すことができる。これらのレジスタは、例え
ば、ＨＩＧＨ及びＬＯＷレジスタのように命名される。
各ＢＩＵは、ＰＣＩバス上で行われるバス・トランザク
ションを監視する。ここで図５を参照する。ステップ８
０５及び８１０に示されるように、ＢＩＵはＨＩＧＨ及
びＬＯＷレジスタによって指定される範囲内のアドレス
に対するアクセス要求を検出すると、そのトランザクシ
ョンに対して肯定応答を発行し、ステップ８１５で自セ
ルのローカル・メモリにトランザクションを転送する。
各セルのＢＩＵ内のＨＩＧＨ及びＬＯＷレジスタによっ
て指定されるアドレス範囲は重複してはならない。ＨＩ
ＧＨ及びＬＯＷレジスタ内に格納される値は、ブートア
ップ時にシステムによって初期化される。

【００５２】本発明は、さらに、各スレーブ・セル内に
ＤＭＡモジュールを提供する。このＤＭＡモジュール
は、マスター・セルのメモリ（リモート・メモリ）とス
レーブ・セルのメモリ（ローカル・メモリ）間でやり取
りされるデータ転送要求を管理する。この転送を制御す
るための状態（すなわち、レジスタ）には数種類があ
る。これらのレジスタは、メモリ・マッピングによって
アクセスされる。例えば以下のようなレジスタを備える
ことができる。

【００５３】ＳＴＡＴＵＳレジスタ：この３２ビット
・レジスタは、ＤＭＡが処理している転送の状況及びエ
ラー情報を提供する。

【００５４】ＳＲＣレジスタ：この３２ビット・レジ
スタは、マスター・メモリ・ブロックとの間で送受信さ
れるローカル・アドレス・ブロックの開始アドレスを保
持する。

【００５５】ＤＳＴレジスタ：この３２ビット・レジ
スタは、転送中のローカル・メモリ・ブロックで上書き
されるリモート・アドレス・ブロックの開始アドレスを
保持する。

【００５６】ＬＥＮレジスタ：この３２ビット・レジ
スタは、読み取り動作と書き込み動作によって振る舞い
が異なる。このレジスタに対する書き込み動作では、Ｓ
ＲＣ及びＤＳＴを使用した転送が開始され、その後、書
き込まれたデータが転送長を指定する。このレジスタか
らの読み取り動作では、現在実行中のデータ転送の残余
長が捕捉される。

【００５７】これらのレジスタは、事前決定されたＰＣ
Ｉバスのアドレス・スペースにメモリ・マッピングされ
る。すなわち、各セルはＰＣＩバス上の該当するアドレ
スから読み取ったり、それに書き込んだりすることによ
ってこれらのレジスタにアクセスできる。

【００５８】次に、本発明のシステムにおけるデータ転
送動作について説明する。先に述べたように、ネットワ
ーク通信におけるセル間の最も基本的な動作は送信動作
である。この送信動作は、データ転送における発信セル
と受信セルの組み合わせによって、（ｉ）マスターから
スレーブの転送、（ｉｉ）スレーブからマスターの転
送、及び（ｉｉｉ）スレーブ間の転送、の３種類に分類
される。次に、これら３種類の送信動作について個別に
説明する。

【００５９】マスターからスレーブへの転送図６のフローチャートに示すように、マスター・メモリ
内のデータ・ブロックが転送先スレーブＢＵＩ内のＤＭ
Ａモジュールによって転送されると、以下のステップが
続いて実行される。すなわち、ステップ９０５で、マス
ターＣＰＵが、未完了のトランザクションがあるかどう
か判断するためにターゲット・スレーブ・セル内のＳＴ
ＡＴＵＳレジスタを読み取る。ステップ９１０で未完了
のトランザクションがあると判断された場合、ステップ
９１５で現在のトランザクションが事前に決定された時
間にわたってスリープ状態に入り、これが経過するとス
テップ９０５及び９１０が繰り返される。一方、ステッ
プ９１０で得られたＳＴＡＴＵＳレジスタからの応答デ
ータが、ターゲット・セル内のＤＭＡが新たな転送を開
始できる状態にあることを示している場合は、ステップ
９２０でマスターＣＰＵが該当するアドレスを有するタ
ーゲット・セル内のＳＲＣレジスタに書き込む。その
後、ステップ９２５でマスターＣＰＵはＳＲＣレジスタ
への書き込みが成功したかどうか確認する。成功した場
合、マスターＣＰＵはステップ９３０に進み、ターゲッ
ト・セル内のＬＥＮレジスタに書き込みを行って転送を
開始させる。

【００６０】ＤＳＴレジスタは初期化時にスレーブＣＰ
Ｕによって設定されるため、この時点ではＤＳＴレジス
タへの書き込みは行われない。ＳＴＡＴＵＳレジスタに
よってＤＭＡモジュールが新たな転送を開始できる状態
にあることが示されている場合に、メモリ内の転送先デ
ータ・バッファが準備完了状態にあるかどうかを確認す
ることはスレーブの責任となる。

【００６１】転送実行中、ステップ９３５で、ＤＭＡモ
ジュールは転送の進行にともなってＬＥＮレジスタの値
を一定間隔で減少させる。ＬＥＮレジスタが０となった
ら、ＤＭＡはステップ９４０でスレーブＣＰＵへの割り
込みを生成する。この割り込みによって、転送が終了
し、新たなデータ転送に備えてＤＭＡモジュールが再初
期化される。

【００６２】スレーブからマスターへの転送図７のフローチャートに示すように、スレーブ・メモリ
内のデータ・ブロックがマスターのＣＰＵ（ＣＰＵ０）
に転送されるデータ転送では、以下のステップが実行さ
れる。この転送は、ステップ１００５でスレーブＣＰＵ
がマスターＣＰＵに対する割り込みを生成することによ
って開始される。割り込みを受信すると、マスターＣＰ
Ｕはステップ１０１０でＰＣＩバス内のメモリ・エイリ
アス領域にアクセスすることによって、スレーブのメモ
リ・ブロックからデータを読み取る。その後、マスター
ＣＰＵはステップ１０１５でデータを自セルのメモリに
書き込み、スレーブ・セルからマスター・セルへのデー
タ転送を完了させる。

【００６３】スレーブ間の転送図８のフローチャートに示すように、転送元スレーブの
メモリ内のデータ・ブロックが転送先スレーブのＣＰＵ
に転送される場合には以下のステップが実行される。ス
テップ１１０５で、転送元スレーブのＣＰＵは転送先ス
レーブのＣＰＵに対する割り込みを生成する。ステップ
１１１０で、転送先スレーブのＣＰＵは、ＰＣＩバス内
のメモリ・エイリアス領域にアクセスすることによっ
て、転送元スレーブのメモリ・ブロックからデータを読
み取る。その後、転送先スレーブのＣＰＵはステップ１
１１５でデータを自セルのローカル・メモリに書き込
み、スレーブ間データ転送を完了させる。

【００６４】本発明の第２の実施の形態では、共用バス
ではなく、２点間接続を使用するセル間接続方式が使用
される。したがって、セル１５０は、例えば図９に示す
ような交換ファブリック１６１によって接続することが
できる。この交換ファブリック１６１の例としては、ク
ロスバー・ネットワーク、多段交換ネットワーク、時分
割共用バスなどが挙げられる。

【００６５】この接続方式のデータ転送トランザクショ
ンは、例えば、転送元アドレス（セル：メモリ）、転
送先アドレス（セル：メモリ）、転送タイプ、及び実
際のデータ、というデータ・アイテムによって定義でき
る。

【００６６】例えば、セル０〜セル３のメッセージを送
信する場合であれば、交換ファブリックを介して移動す
るトランザクションは以下のデータ値によって実行でき
る。

【００６７】転送元アドレス：；セル０：０ｘ００ａ０００００転送先アドレス：；セル３：０ｘ０００４００００タイプ：；書き込みデータ：

【００６８】場合によっては、このデータ転送は共用バ
ス通信方式を使用する実施の形態よりも簡単に実行でき
ることがある。

【００６９】以上好ましい実施の形態及び実施例をあげ
て本発明を説明したが、本発明は必ずしも上記実施の形
態及び実施例に限定されるものではなく、その技術的思
想の範囲内において様々に変形して実施することができ
る。

【００７０】明細書に組み込まれその一部を構成する添
付図面は、本発明の現在好適な実施の形態を図示し、上
記の概略説明及び好適な実施の形態の詳細説明ととも
に、本発明の原理を説明するものである。

【００７１】

【発明の効果】以上説明したように本発明によれば、プ
ロセッサがネットワーク・プロトコルを使用し、相互接
続装置を介して互いに通信する環境が実現される。

【００７２】また、プロセッサがネットワーク・プロト
コルを使用し、共用バスを介して互いに通信することが
できる環境が実現される。

【００７３】例えば、プロセッサがＴＣＰ／ＩＰプロト
コルを使用し、共用ＰＣＩバスを介して互いに通信する
ことが可能となる。

【００７４】さらに、プロセッサがネットワーク・プロ
トコルを使用し、交換相互接続装置を介して互いに通信
することができる環境が実現される。

【図面の簡単な説明】

【図１】本発明の好適な実施の形態によるシステム構
成を示すブロック図である。

【図２】本発明の代替の実施の形態によるシステム構
成を示すブロック図である。

【図３】マスター・セルのＢＩＵ（ＢｕｓＩｎｔｅ
ｒｆａｃｅＵｎｉｔ）によって実行される機能論理を
示すフローチャートである。

【図４】スレーブ・セルのＢＩＵによって実行される
機能論理を示すフローチャートである。

【図５】メモリ・エイリアス機能のステップを示すフ
ローチャートである。

【図６】マスター・セルからスレーブ・セルへのデー
タ転送におけるステップを示すフローチャートである。

【図７】スレーブ・セルからマスター・セルへのデー
タ転送におけるステップを示すフローチャートである。

【図８】スレーブ・セル間のデータ転送におけるステ
ップを示すフローチャートである。

【図９】本発明の他の好適な実施の形態によるシステ
ム構成を示すブロック図である。

【図１０】ネットワーク・プロトコル・スタックへの
インターフェースを示す図である。

【図１１】ネットワーク・プロトコルの機能層を説明
するＯＳＩ参照モデルを示す図である。

【図１２】典型的なインターネット・ブラウザー・ア
プリケーションのネットワーク・インターフェースを示
す図である。

【図１３】汎用相互接続装置ネットワークを示す図で
ある。

【図１４】分散メモリ・マルチプロセッサ・システム
のアーキテクチャーを示す図である。

【符号の説明】

５０セル５０ａＣＰＵ５１ＰＣＩバス５２ネットワーク・ドライバ５３ネットワーク制御装置５４ディスク制御装置１５１ａＰＣＩ制御装置１５１ＰＣＩバス１５３ネットワーク制御装置１５４ディスク制御装置１５５キャッシュ１５６ＣＰＵバス１５７ａメモリ制御装置１６１交換ファブリック

Claims

【特許請求の範囲】

【請求項１】マルチプロセッサ・コンピュータシステ
ムであって、下記要件を備える。プロセッサ、メモリ、
及びインターフェース・ユニットを備える複数のコンピ
ューティング・セルと、インターフェース・ユニットを使用して複数の前記コン
ピューティング・セルを相互接続する相互接続装置とを
備え、前記コンピューティング・セルは、前記相互接続装置用
のネットワーク・ドライバを備え、ネットワーク・プロ
トコルを使用することにより前記相互接続装置を介して
互いに通信する。
【請求項２】前記相互接続装置が、業界標準の共用入
出力バスであることを特徴とする請求項１に記載のマル
チプロセッサ・コンピュータシステム。
【請求項３】前記共用入出力バスが、ＰＣＩバスであ
ることを特徴とする請求項２に記載のマルチプロセッサ
・コンピュータシステム。
【請求項４】前記相互接続装置が、交換相互接続装置
であることを特徴とする請求項１に記載のマルチプロセ
ッサ・コンピュータシステム。
【請求項５】前記ネットワーク・プロトコルが、ＴＣ
Ｐ／ＩＰプロトコルであることを特徴とする請求項１に
記載のマルチプロセッサ・コンピュータシステム。
【請求項６】マルチプロセッサ・コンピュータシステ
ムのプロセッサ間で通信する通信方法であって、下記ス
テップを備える。マルチプロセッサ・コンピュータシス
テムのプロセッサ、メモリ、及びインターフェース・ユ
ニットを備える複数のコンピューティング・セルを提供
し、相互接続装置を使用して前記コンピューティング・セル
を接続し、前記コンピューティング・セルに、相互接続装置用ネッ
トワーク・ドライバを提供し、前記相互接続装置用ネットワーク・ドライバにより、前
記コンピューティング・セルがネットワーク・プロトコ
ルを使用することにより前記相互接続装置を介して互い
に通信する。
【請求項７】前記相互接続装置として、業界標準共用
入出力バスを提供することを特徴とする請求項６に記載
の通信方法。
【請求項８】前記共用入出力バスが、ＰＣＩバスであ
ることを特徴とする請求項７に記載の通信方法。
【請求項９】前記相互接続装置が、交換相互接続装置
であることを特徴とする請求項６に記載の通信方法。
【請求項１０】前記ネットワーク・プロトコルが、Ｔ
ＣＰ／ＩＰプロトコルであることを特徴とする請求項６
に記載の通信方法。
【請求項１１】マルチプロセッサ・コンピュータシス
テムのプロセッサ間で通信する通信方法であって、下記
ステップを備える。少なくともマルチプロセッサ・コン
ピュータシステムのプロセッサ、メモリ、及びインター
フェース・ユニットを備える複数のコンピューティング
・セルを提供し、相互接続装置を使用して前記コンピューティング・セル
を接続し、前記コンピューティング・セルのプロセッサ間で前記相
互接続装置を介してデータを送信するためにネットワー
ク・プロトコルを使用する。
【請求項１２】前記相互接続装置として共用入出力バ
スを提供するステップをさらに備えることを特徴とする
請求項１１に記載の通信方法。
【請求項１３】前記共用Ｉ／ＯとしてＰＣＩバスを提
供するステップをさらに備えることを特徴とする請求項
１２に記載の通信方法。
【請求項１４】前記相互接続装置として、交換相互接
続装置を提供するステップをさらに備えることを特徴と
する請求項１１に記載の通信方法。
【請求項１５】前記ネットワーク・プロトコルとして
ＴＣＰ／ＩＰプロトコルを使用するステップをさらに備
えることを特徴とする請求項１１に記載の通信方法。