JP2002091824A - 共有データ要求を操作するシステム及び方法 - Google Patents
共有データ要求を操作するシステム及び方法Info
- Publication number
- JP2002091824A JP2002091824A JP2001215834A JP2001215834A JP2002091824A JP 2002091824 A JP2002091824 A JP 2002091824A JP 2001215834 A JP2001215834 A JP 2001215834A JP 2001215834 A JP2001215834 A JP 2001215834A JP 2002091824 A JP2002091824 A JP 2002091824A
- Authority
- JP
- Japan
- Prior art keywords
- group
- node
- data
- cache
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0815—Cache consistency protocols
- G06F12/0817—Cache consistency protocols using directory methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/25—Using a specific main memory architecture
- G06F2212/254—Distributed memory
- G06F2212/2542—Non-uniform memory access [NUMA] architecture
Abstract
(57)【要約】
【課題】 各グループは複数のノードを有し、各ノード
は複数のプロセッサを有し、共有データ要求を操作する
コンピュータネットワークシステムである。 【解決手段】 上記システムは、データ要求を記録する
ための要求未了バッファ（ＲＯＢ）と、要求ノードに対
し先行するメモリ要求の結果をキャッシュするための遠
隔アクセスキャッシュ（ＲＡＣ）と、システム内のキャ
ッシュラインの全域的ステートを記録するためのディレ
クトリ（２０）とを含んでなる。ＲＡＣは「共有」及び
「無効」という２つのステートのみをサポートし、クリ
ーンな遠隔データのみをキャッシュする。ディレクトリ
ステートが「修正／排他」である場合、ラインはＲＡＣ
内にないものとして表示される。データは、ＲＡＣのラ
インがキャッシュされているとき、ＲＡＣから要求ノー
ドへ供給され、キャッシュされていないときは、データ
は、遠隔ホームノードから供給され、ＲＡＣ内にインス
トールされる。
は複数のプロセッサを有し、共有データ要求を操作する
コンピュータネットワークシステムである。 【解決手段】 上記システムは、データ要求を記録する
ための要求未了バッファ（ＲＯＢ）と、要求ノードに対
し先行するメモリ要求の結果をキャッシュするための遠
隔アクセスキャッシュ（ＲＡＣ）と、システム内のキャ
ッシュラインの全域的ステートを記録するためのディレ
クトリ（２０）とを含んでなる。ＲＡＣは「共有」及び
「無効」という２つのステートのみをサポートし、クリ
ーンな遠隔データのみをキャッシュする。ディレクトリ
ステートが「修正／排他」である場合、ラインはＲＡＣ
内にないものとして表示される。データは、ＲＡＣのラ
インがキャッシュされているとき、ＲＡＣから要求ノー
ドへ供給され、キャッシュされていないときは、データ
は、遠隔ホームノードから供給され、ＲＡＣ内にインス
トールされる。
Description
【０００１】
【発明の属する技術分野】本発明は、一般的にはメモリ
アクセスに関し、より特定的にはマルチノードコンピュ
ータネットワークシステム内で共有データ要求を操作す
るシステム及び方法に関する。
アクセスに関し、より特定的にはマルチノードコンピュ
ータネットワークシステム内で共有データ要求を操作す
るシステム及び方法に関する。
【０００２】
【従来技術】従来型のキャッシュコヒーレント不均一メ
モリアクセス（「ＣＣＮＵＭＡ」：Cache Coherent non
-uniform memory access）が知られている。不均一メモ
リアクセスを用いたマルチノードシステムにおいては、
中央処理ユニット（「ＣＰＵ」）が自身のノードすなわ
ちローカルノードでメモリにアクセスした場合、データ
アクセス時間は高速である。これとは対照的に、中央処
理ユニット自身のノード以外のノードすなわち遠隔ノー
ドでの不均一メモリアクセスにおいては、データアクセ
ス時間は低速である。
モリアクセス（「ＣＣＮＵＭＡ」：Cache Coherent non
-uniform memory access）が知られている。不均一メモ
リアクセスを用いたマルチノードシステムにおいては、
中央処理ユニット（「ＣＰＵ」）が自身のノードすなわ
ちローカルノードでメモリにアクセスした場合、データ
アクセス時間は高速である。これとは対照的に、中央処
理ユニット自身のノード以外のノードすなわち遠隔ノー
ドでの不均一メモリアクセスにおいては、データアクセ
ス時間は低速である。
【０００３】「修正／排他、共有、無効」（「ＭＥＳ
Ｉ」：Modified/Exclusive, Shared,Invalid）と呼ばれ
る従来のプロトコルは、データアクセス速度を高めるの
に役立つように進歩してきた。このプロトコルでは、マ
ルチノードシステム内のデータについての情報をメモリ
制御装置が格納し、追跡する。この制御装置は、マルチ
ノードシステム内のどのノード上に現在データが常駐し
ているかを決定する。
Ｉ」：Modified/Exclusive, Shared,Invalid）と呼ばれ
る従来のプロトコルは、データアクセス速度を高めるの
に役立つように進歩してきた。このプロトコルでは、マ
ルチノードシステム内のデータについての情報をメモリ
制御装置が格納し、追跡する。この制御装置は、マルチ
ノードシステム内のどのノード上に現在データが常駐し
ているかを決定する。
【０００４】遠隔アクセスキャッシュ（ＲＡＣ：Remote
Access Cache）は、同じグループ内のノードからの後
続するメモリ要求による遠隔データへのアクセス速度を
速くするため、遠隔要求のためのデータをキャッシュす
る。
Access Cache）は、同じグループ内のノードからの後
続するメモリ要求による遠隔データへのアクセス速度を
速くするため、遠隔要求のためのデータをキャッシュす
る。
【０００５】従来のキャッシュコヒーレント不均一メモ
リアクセス（「ＣＣＮＵＭＡ」）においては、第１のプ
ロセッサが遠隔メモリに対し「read-to-share」又は「r
ead-to-own」要求を発行する場合、そのプロセッサはま
ず第１に遠隔アクセスキャッシュ（ＲＡＣ）にアクセス
し、次に遠隔メモリエージェントのためのディレクトリ
にアクセスする必要がある。このアプローチに伴う問題
点は、それがＲＡＣアクセスと遠隔ディレクトリアクセ
スとを直列化するということにある。既存のアプローチ
は、これら２つの動作の重複を許容しないため、遠隔メ
モリ待ち時間を増大させる。
リアクセス（「ＣＣＮＵＭＡ」）においては、第１のプ
ロセッサが遠隔メモリに対し「read-to-share」又は「r
ead-to-own」要求を発行する場合、そのプロセッサはま
ず第１に遠隔アクセスキャッシュ（ＲＡＣ）にアクセス
し、次に遠隔メモリエージェントのためのディレクトリ
にアクセスする必要がある。このアプローチに伴う問題
点は、それがＲＡＣアクセスと遠隔ディレクトリアクセ
スとを直列化するということにある。既存のアプローチ
は、これら２つの動作の重複を許容しないため、遠隔メ
モリ待ち時間を増大させる。
【０００６】さらに、ＲＡＣ内のデータは、修正（Ｍ：
Modified）又は排他（Ｅ：Exclusive）ステートで存在
し得る。ＲＡＣがＥステートでラインを有するならば、
ＲＡＣはそのラインをコピーする「read-write」許可を
有する。しかしまだそのラインへ書込みを行っていな
い。ＲＡＣがＭステートにあるならば、それは、そのラ
インをキャッシュしてコピーするための「read-write」
許可を有する。かつそれは既にそのラインを修正してい
る。最新のデータがＲＡＣ内にあるときは、キャッシュ
ラインステートはＭであり、ＲＡＣは「read-to-shar
e」又は「read-to-own」要求に応答してそのキャッシュ
ラインを供給する。ＲＡＣ内でＭステートのラインをヒ
ットする遠隔「read-to-share」要求は、ラインをメモ
リに書き戻しかつ要求者に対し共有コピーを戻すことに
より、ラインステートをＭからＳへグレードダウンしな
ければならない。遠隔「read-to-own」要求は、そのラ
インの新しい所有者が誰であるかを指示するため、ディ
レクトリに対し所有権移転通知を送信しなくてはならな
い。ディレクトリはどのキャッシュがディレクトリにお
いてＭＥステートにあるキャッシュラインの排他的所有
者であるかを常に追跡しなければならないので、所有権
移転通知が必要とされる。しかしながら、所有権移転は
プロトコルを複雑にする。
Modified）又は排他（Ｅ：Exclusive）ステートで存在
し得る。ＲＡＣがＥステートでラインを有するならば、
ＲＡＣはそのラインをコピーする「read-write」許可を
有する。しかしまだそのラインへ書込みを行っていな
い。ＲＡＣがＭステートにあるならば、それは、そのラ
インをキャッシュしてコピーするための「read-write」
許可を有する。かつそれは既にそのラインを修正してい
る。最新のデータがＲＡＣ内にあるときは、キャッシュ
ラインステートはＭであり、ＲＡＣは「read-to-shar
e」又は「read-to-own」要求に応答してそのキャッシュ
ラインを供給する。ＲＡＣ内でＭステートのラインをヒ
ットする遠隔「read-to-share」要求は、ラインをメモ
リに書き戻しかつ要求者に対し共有コピーを戻すことに
より、ラインステートをＭからＳへグレードダウンしな
ければならない。遠隔「read-to-own」要求は、そのラ
インの新しい所有者が誰であるかを指示するため、ディ
レクトリに対し所有権移転通知を送信しなくてはならな
い。ディレクトリはどのキャッシュがディレクトリにお
いてＭＥステートにあるキャッシュラインの排他的所有
者であるかを常に追跡しなければならないので、所有権
移転通知が必要とされる。しかしながら、所有権移転は
プロトコルを複雑にする。
【０００７】もしＲＡＣ内で遠隔「read-to-share」ア
クセスに失敗したならば、ＲＡＣ内に新しいラインをイ
ンストールするためのスペースを作るべく、修正ライン
をまず第１にＲＡＣから立ち退かせる必要があるかもし
れない。キャッシュライン立ち退きの可能性があるか
ら、「read-to-share」又は「read-to-own」アクセスご
とにＲＡＣが読み取られなければならない。
クセスに失敗したならば、ＲＡＣ内に新しいラインをイ
ンストールするためのスペースを作るべく、修正ライン
をまず第１にＲＡＣから立ち退かせる必要があるかもし
れない。キャッシュライン立ち退きの可能性があるか
ら、「read-to-share」又は「read-to-own」アクセスご
とにＲＡＣが読み取られなければならない。
【０００８】さらに、キャッシュラインは、排他（Ｅ）
および修正（Ｍ）ステートにある、システムのたった１
つのＲＡＣ内にしか存在することできないことから、性
能は多数のＲＡＣの間で充分に釣合いがとれていない。
システム内のＲＡＣの数が一旦増大すると、遠隔アクセ
スキャッシュ内において排他（Ｅ）又は修正（Ｍ）デー
タをヒットする見込みは減少する。
および修正（Ｍ）ステートにある、システムのたった１
つのＲＡＣ内にしか存在することできないことから、性
能は多数のＲＡＣの間で充分に釣合いがとれていない。
システム内のＲＡＣの数が一旦増大すると、遠隔アクセ
スキャッシュ内において排他（Ｅ）又は修正（Ｍ）デー
タをヒットする見込みは減少する。
【０００９】
【発明が解決しようとする課題】従って、遠隔メモリア
クセスの待ち時間を短縮する、メモリアクセスシステム
及び方法が要求される。このような新しいシステムで
は、ＲＡＣがビジーであるときはこのＲＡＣをバイパス
することにより、輻輳を緩和すべきである。さらに、か
かる新システムは、遠隔アクセスキャッシュ（ＲＡＣ）
からの修正データの立ち退きを排除することによりプロ
トコルを単純化し、書き戻し又は修正又は排他データへ
のヒットが発生する度にするディレクトリの所有権移転
通知を排除すべきである。最も重要なことに、かかるシ
ステムは、遠隔アクセスキャッシュ（ＲＡＣ）アクセス
及びメモリアクセスの直列化を回避し、かくしてメモリ
待ち時間を短縮させるべきである。
クセスの待ち時間を短縮する、メモリアクセスシステム
及び方法が要求される。このような新しいシステムで
は、ＲＡＣがビジーであるときはこのＲＡＣをバイパス
することにより、輻輳を緩和すべきである。さらに、か
かる新システムは、遠隔アクセスキャッシュ（ＲＡＣ）
からの修正データの立ち退きを排除することによりプロ
トコルを単純化し、書き戻し又は修正又は排他データへ
のヒットが発生する度にするディレクトリの所有権移転
通知を排除すべきである。最も重要なことに、かかるシ
ステムは、遠隔アクセスキャッシュ（ＲＡＣ）アクセス
及びメモリアクセスの直列化を回避し、かくしてメモリ
待ち時間を短縮させるべきである。
【００１０】
【課題を解決するための手段】本発明の好ましい実施形
態は、複数のグループを含む、データにアクセスするた
めのコンピュータネットワークシステムにおいて、各グ
ループが相互接続システムを通して結合する複数のノー
ドを含み、各ノードが、各々プロセッサキャッシュを有
する１またはそれ以上の中央処理ユニット（又はプロセ
ッサ）を含むシステムを備える。各ノードはさらに、メ
モリエージェント、主メモリ、及びプロセッサ及びプロ
セッサキャッシュに結合されたディレクトリを含む。
態は、複数のグループを含む、データにアクセスするた
めのコンピュータネットワークシステムにおいて、各グ
ループが相互接続システムを通して結合する複数のノー
ドを含み、各ノードが、各々プロセッサキャッシュを有
する１またはそれ以上の中央処理ユニット（又はプロセ
ッサ）を含むシステムを備える。各ノードはさらに、メ
モリエージェント、主メモリ、及びプロセッサ及びプロ
セッサキャッシュに結合されたディレクトリを含む。
【００１１】システムはまた、内部でのメモリトランザ
クションの進捗を記録するための要求未了バッファ（Ｒ
ＯＢ）に結合されたディレクトリをも含む。キャッシュ
ラインは、キャッシュ内に格納されディレクトリによっ
て追跡され得る最小のデータ単位である。データはキャ
ッシュラインを通して供給される。ディレクトリ内に格
納された情報は、どのノードが特定のキャッシュライン
を有するかならびにこれらのキャッシュライン内のデー
タステータスに関する。ディレクトリにおけるキャッシ
ュライン内のデータステータスは、例えば、修正／排他
（「ＭＥ」），共有（「Ｓ」）又は無効（「Ｉ」）であ
りうる。修正／排他ステートは、そのラインが読取り−
書き込みアクセスのためキャッシングメモリエージェン
トによって読取られたことを表す。共有ステートは、ラ
インが読取り専用アクセスのためにキャッシングメモリ
エージェントによって既に読取られたことを表してい
る。無効ステートは、ラインがシステム内のいずれのキ
ャッシュ内にもキャッシュされていないことを表してい
る。ディレクトリのステートが修正／排他（ＭＥ）であ
る場合、所有するノードもまたディレクトリエントリ内
に記録される。ディレクトリのステートが共有（Ｓ）で
ある場合、共有するノードのリストがディレクトリエン
トリ内に記録される。
クションの進捗を記録するための要求未了バッファ（Ｒ
ＯＢ）に結合されたディレクトリをも含む。キャッシュ
ラインは、キャッシュ内に格納されディレクトリによっ
て追跡され得る最小のデータ単位である。データはキャ
ッシュラインを通して供給される。ディレクトリ内に格
納された情報は、どのノードが特定のキャッシュライン
を有するかならびにこれらのキャッシュライン内のデー
タステータスに関する。ディレクトリにおけるキャッシ
ュライン内のデータステータスは、例えば、修正／排他
（「ＭＥ」），共有（「Ｓ」）又は無効（「Ｉ」）であ
りうる。修正／排他ステートは、そのラインが読取り−
書き込みアクセスのためキャッシングメモリエージェン
トによって読取られたことを表す。共有ステートは、ラ
インが読取り専用アクセスのためにキャッシングメモリ
エージェントによって既に読取られたことを表してい
る。無効ステートは、ラインがシステム内のいずれのキ
ャッシュ内にもキャッシュされていないことを表してい
る。ディレクトリのステートが修正／排他（ＭＥ）であ
る場合、所有するノードもまたディレクトリエントリ内
に記録される。ディレクトリのステートが共有（Ｓ）で
ある場合、共有するノードのリストがディレクトリエン
トリ内に記録される。
【００１２】システムはさらに、データ要求の進捗を記
録するためメモリエージェントに結合されたＲＯＢを含
んでいる。ＲＯＢは全域的（global）相互接続システム
を介して遠隔ノードに接続され得る。ＲＯＢ内のエント
リは、以下のフィールド、ＲＥＱＵＥＳＴ、ＳＴＡＴＥ
及びＴＲＡＮＳＡＣＴＩＯＮ ＩＤ、を含む。
録するためメモリエージェントに結合されたＲＯＢを含
んでいる。ＲＯＢは全域的（global）相互接続システム
を介して遠隔ノードに接続され得る。ＲＯＢ内のエント
リは、以下のフィールド、ＲＥＱＵＥＳＴ、ＳＴＡＴＥ
及びＴＲＡＮＳＡＣＴＩＯＮ ＩＤ、を含む。
【００１３】システムはさらに、遠隔メモリ基準をキャ
ッシュするための遠隔アクセスキャッシュ（ＲＡＣ）を
含む。ＲＡＣは、Ｓステートにあるクリーンな遠隔デー
タのみをキャッシュし、ＭＥステートにある遠隔データ
はキャッシュしない。遠隔アクセスキャッシュ内のエン
トリには、以下のフィールド、すなわちＡＤＤＲＥＳＳ
ＴＡＧ、ＳＴＡＴＥ及びＤＡＴＡが含まれる。
ッシュするための遠隔アクセスキャッシュ（ＲＡＣ）を
含む。ＲＡＣは、Ｓステートにあるクリーンな遠隔デー
タのみをキャッシュし、ＭＥステートにある遠隔データ
はキャッシュしない。遠隔アクセスキャッシュ内のエン
トリには、以下のフィールド、すなわちＡＤＤＲＥＳＳ
ＴＡＧ、ＳＴＡＴＥ及びＤＡＴＡが含まれる。
【００１４】データにアクセスするための好ましい方法
は、遠隔ノード内のメモリラインから「read-to-shar
e」データを要求する段階と、遠隔メモリノードのディ
レクトリに対するものとＲＡＣに対するものの２つの要
求を同時に発行する段階と、ＲＡＣ内にキャッシュライ
ンがキャッシュされていない場合、ＲＯＢに対してＭＩ
ＳＳを返す段階と、遠隔メモリノードからグループＡ内
の要求プロセッサに対してデータを返し、ＲＡＣ内にキ
ャッシュラインをインストールする段階と、を含んでい
る。あるいは、もしＲＡＣ内のキャッシュラインがキャ
ッシュされているならば、ＲＡＣ ＨＩＴがＲＯＢに返
される。キャッシュ内に「ＨＩＴ」が存在するという事
実は、ディレクトリ内のラインのステートが「共有」で
あって、「修正／排他」でも「無効」でもないことを表
している。このとき、ＲＡＣ内にそのキャッシュライン
がキャッシュされているか否かを示すため、ＲＯＢ内の
ＳＴＡＴＥフィールドが修正される。最終的に、データ
は要求ノードまで返される。遠隔ノードからＲＯＢによ
って受信されたデータは、ひとたび当初の要求がＲＡＣ
内にキャッシュされたメモリラインで満たされると、廃
棄される。
は、遠隔ノード内のメモリラインから「read-to-shar
e」データを要求する段階と、遠隔メモリノードのディ
レクトリに対するものとＲＡＣに対するものの２つの要
求を同時に発行する段階と、ＲＡＣ内にキャッシュライ
ンがキャッシュされていない場合、ＲＯＢに対してＭＩ
ＳＳを返す段階と、遠隔メモリノードからグループＡ内
の要求プロセッサに対してデータを返し、ＲＡＣ内にキ
ャッシュラインをインストールする段階と、を含んでい
る。あるいは、もしＲＡＣ内のキャッシュラインがキャ
ッシュされているならば、ＲＡＣ ＨＩＴがＲＯＢに返
される。キャッシュ内に「ＨＩＴ」が存在するという事
実は、ディレクトリ内のラインのステートが「共有」で
あって、「修正／排他」でも「無効」でもないことを表
している。このとき、ＲＡＣ内にそのキャッシュライン
がキャッシュされているか否かを示すため、ＲＯＢ内の
ＳＴＡＴＥフィールドが修正される。最終的に、データ
は要求ノードまで返される。遠隔ノードからＲＯＢによ
って受信されたデータは、ひとたび当初の要求がＲＡＣ
内にキャッシュされたメモリラインで満たされると、廃
棄される。
【００１５】本発明においては、第１のプロセッサから
の「read-to-share」要求は、遠隔アクセスキャッシュ
へ発行され、又同時に遠隔ホームノードへも発行され
る。これら２つの動作を重複させることにより、ＲＡＣ
アクセス及びメモリアクセスの直列化を避けることがで
きる。こうして有益なことには、ＲＡＣアクセスがＭＩ
ＳＳであるケースにおいてメモリ待ち時間が短縮され
る。かくして、プロセッサノードからの「read-to-shar
e」アクセスがキャッシュ内でヒットした場合には、遠
隔ホームノードにおけるディレクトリ制御装置からの応
答を待つことなく、プロセッサにより直ちにデータを返
しこれを使用することが可能となる。ＲＡＣ内にＨＩＴ
があるという事実は、ディレクトリ内のラインのステー
トが「共有」であって、「修正／排他」でも「無効」で
もないことを表している。ＲＡＣ内のデータは、唯一
「共有」であることから、ディレクトリ・ルックアップ
の結果を待つ必要はなくなる。
の「read-to-share」要求は、遠隔アクセスキャッシュ
へ発行され、又同時に遠隔ホームノードへも発行され
る。これら２つの動作を重複させることにより、ＲＡＣ
アクセス及びメモリアクセスの直列化を避けることがで
きる。こうして有益なことには、ＲＡＣアクセスがＭＩ
ＳＳであるケースにおいてメモリ待ち時間が短縮され
る。かくして、プロセッサノードからの「read-to-shar
e」アクセスがキャッシュ内でヒットした場合には、遠
隔ホームノードにおけるディレクトリ制御装置からの応
答を待つことなく、プロセッサにより直ちにデータを返
しこれを使用することが可能となる。ＲＡＣ内にＨＩＴ
があるという事実は、ディレクトリ内のラインのステー
トが「共有」であって、「修正／排他」でも「無効」で
もないことを表している。ＲＡＣ内のデータは、唯一
「共有」であることから、ディレクトリ・ルックアップ
の結果を待つ必要はなくなる。
【００１６】本発明はまた、新しいキャッシュラインを
インストールする前に遠隔アクセスキャッシュ内でなさ
れるデータの立ち退きを排除することにより、プロトコ
ルを単純化することができる。さらに、本発明は、ＲＡ
Ｃがビジーであるときには常にこれをバイパスできるこ
とから、輻輳の緩和をも可能にする。このような状況下
で、「読取り」要求は、ＲＡＣをバイパスして直接遠隔
ホームノードまで到達する。このときデータは直接要求
者へ返され、ＲＡＣ内にインストールされない。これ
は、キャッシュラインがＲＡＣ内に存在する場合にはそ
れが共有ステートにあることにより、可能になる。ＲＡ
Ｃ内のデータは常に、メモリ内のデータのコピーであ
る。従って、ＲＡＣがバイパスされたときには、メモリ
からデータを返すことが可能となる。
インストールする前に遠隔アクセスキャッシュ内でなさ
れるデータの立ち退きを排除することにより、プロトコ
ルを単純化することができる。さらに、本発明は、ＲＡ
Ｃがビジーであるときには常にこれをバイパスできるこ
とから、輻輳の緩和をも可能にする。このような状況下
で、「読取り」要求は、ＲＡＣをバイパスして直接遠隔
ホームノードまで到達する。このときデータは直接要求
者へ返され、ＲＡＣ内にインストールされない。これ
は、キャッシュラインがＲＡＣ内に存在する場合にはそ
れが共有ステートにあることにより、可能になる。ＲＡ
Ｃ内のデータは常に、メモリ内のデータのコピーであ
る。従って、ＲＡＣがバイパスされたときには、メモリ
からデータを返すことが可能となる。
【００１７】本発明の遠隔アクセスキャッシュ機構は、
ＲＡＣアクセスエラーを単にＲＡＣＭＩＳＳとして処理
できることから、いかなる実行オーバーヘッドをも生じ
させることなく、より高度の耐故障性を保証する。メモ
リからのデータがインストールされたときに、付加的な
オーバーヘッドが全くないステートで、エラーが修正さ
れる。
ＲＡＣアクセスエラーを単にＲＡＣＭＩＳＳとして処理
できることから、いかなる実行オーバーヘッドをも生じ
させることなく、より高度の耐故障性を保証する。メモ
リからのデータがインストールされたときに、付加的な
オーバーヘッドが全くないステートで、エラーが修正さ
れる。
【００１８】最後に、ＲＡＣの存在によってメモリアク
セスの待ち時間を増大させることはない。すなわち、Ｒ
ＡＣ ＭＩＳＳがある遠隔メモリの待ち時間は、ＲＡＣ
を有しない遠隔メモリの待ち時間と同じである。従っ
て、ＲＡＣのミス率が高い場合でも、ＲＡＣは性能上の
利益のみを提供することができる。
セスの待ち時間を増大させることはない。すなわち、Ｒ
ＡＣ ＭＩＳＳがある遠隔メモリの待ち時間は、ＲＡＣ
を有しない遠隔メモリの待ち時間と同じである。従っ
て、ＲＡＣのミス率が高い場合でも、ＲＡＣは性能上の
利益のみを提供することができる。
【００１９】
【発明の実施の形態】本発明は、遠隔アクセスキャッシ
ュ（ＲＡＣ）又は遠隔ノードからの共有データ要求を操
作するシステム及び方法である。図１は、本発明による
マルチノードネットワークシステムの全体的アーキテク
チャの一実施形態のブロック図である。マルチノードネ
ットワークシステムは、第１のノード１２及び第２のノ
ード１４を持つグループＡ（１０）及び第１のノード４
２と第２のノード４４を持つグループＢ（４０）のため
の２つの局所的（local）相互接続システムを含む。２
つの局所的相互接続システムは全域的相互接続５０を介
して接続されている。
ュ（ＲＡＣ）又は遠隔ノードからの共有データ要求を操
作するシステム及び方法である。図１は、本発明による
マルチノードネットワークシステムの全体的アーキテク
チャの一実施形態のブロック図である。マルチノードネ
ットワークシステムは、第１のノード１２及び第２のノ
ード１４を持つグループＡ（１０）及び第１のノード４
２と第２のノード４４を持つグループＢ（４０）のため
の２つの局所的（local）相互接続システムを含む。２
つの局所的相互接続システムは全域的相互接続５０を介
して接続されている。
【００２０】グループＡ（１０）において、第１のノー
ド１２及び第２のノード１４は、相互接続システム８を
介して互いに結合されている。第１のノード１２は、メ
モリエージェント２２、主メモリ１８、ディレクトリ２
０、１又はそれ以上のプロセッサ１６Ｋ〜１６（Ｋ＋
ｍ）（全体として１６）、要求未了バッファ（ＲＯＢ：
Request Outstanding Buffer）２６及び遠隔アクセスキ
ャッシュ（ＲＡＣ）２８を含んでいる。各プロセッサ１
６は、プロセッサキャッシュ２４Ｋ〜２４（Ｋ＋ｍ）
（全体として２４）を含む。第１のノード内のプロセッ
サのキャッシュ２４はメモリエージェント２２と結合さ
れている。第１のノード１２内の主メモリ１８は、メモ
リエージェント２２と結合されている。ディレクトリ２
０及びＲＡＣ２８はＲＯＢ２６と結合され、このＲＯＢ
はメモリエージェント２２に結合されている。
ド１２及び第２のノード１４は、相互接続システム８を
介して互いに結合されている。第１のノード１２は、メ
モリエージェント２２、主メモリ１８、ディレクトリ２
０、１又はそれ以上のプロセッサ１６Ｋ〜１６（Ｋ＋
ｍ）（全体として１６）、要求未了バッファ（ＲＯＢ：
Request Outstanding Buffer）２６及び遠隔アクセスキ
ャッシュ（ＲＡＣ）２８を含んでいる。各プロセッサ１
６は、プロセッサキャッシュ２４Ｋ〜２４（Ｋ＋ｍ）
（全体として２４）を含む。第１のノード内のプロセッ
サのキャッシュ２４はメモリエージェント２２と結合さ
れている。第１のノード１２内の主メモリ１８は、メモ
リエージェント２２と結合されている。ディレクトリ２
０及びＲＡＣ２８はＲＯＢ２６と結合され、このＲＯＢ
はメモリエージェント２２に結合されている。
【００２１】第２のノード１４は、メモリエージェント
３２、主メモリ３８、ディレクトリ２０、１又はそれ以
上のプロセッサ３６Ｌ〜３６（Ｌ＋ｎ）（全体として３
６）、要求未了バッファ（ＲＯＢ）２６及び遠隔アクセ
スキャッシュ（ＲＡＣ）２８を含んでいる。各プロセッ
サ３６は、プロセッサキャッシュ３４Ｌ〜３４（Ｌ＋
ｎ）（全体として３４）を含む。第２のノード１４内の
プロセッサのキャッシュ３４は、メモリエージェント３
２と結合されている。第２のノード１４内の主メモリ３
８は、メモリエージェント３２と結合されている。ディ
レクトリ２０及びＲＡＣ２８はＲＯＢ２６と結合され、
このＲＯＢはメモリエージェント３２に結合されてい
る。
３２、主メモリ３８、ディレクトリ２０、１又はそれ以
上のプロセッサ３６Ｌ〜３６（Ｌ＋ｎ）（全体として３
６）、要求未了バッファ（ＲＯＢ）２６及び遠隔アクセ
スキャッシュ（ＲＡＣ）２８を含んでいる。各プロセッ
サ３６は、プロセッサキャッシュ３４Ｌ〜３４（Ｌ＋
ｎ）（全体として３４）を含む。第２のノード１４内の
プロセッサのキャッシュ３４は、メモリエージェント３
２と結合されている。第２のノード１４内の主メモリ３
８は、メモリエージェント３２と結合されている。ディ
レクトリ２０及びＲＡＣ２８はＲＯＢ２６と結合され、
このＲＯＢはメモリエージェント３２に結合されてい
る。
【００２２】グループＢ（４０）において、第１のノー
ド４２及び第２のノード４４は、相互接続システム９を
通して互いに結合されている。グループＢ（４０）内の
第１のノード４２は、メモリエージェント５２、主メモ
リ４８、ディレクトリ６０、１またはそれ以上のプロセ
ッサ４６Ｍ〜４６（Ｍ＋ｍ）（全体として４６）、要求
未了バッファ（ＲＯＢ）５６及び遠隔アクセスキャッシ
ュ（ＲＡＣ）５８を含んでいる。各プロセッサ４６は、
プロセッサキャッシュ５４Ｍ〜５４（Ｍ＋ｍ）（全体と
して５４）を含む。第１のノード４２内のプロセッサの
キャッシュ５４はメモリエージェント５２と結合されて
いる。主メモリ４８は、メモリエージェント５２と結合
されている。ディレクトリ６０及びＲＡＣ５８はＲＯＢ
５６と結合されている。このＲＯＢ５６はメモリエージ
ェント５２に結合されている。
ド４２及び第２のノード４４は、相互接続システム９を
通して互いに結合されている。グループＢ（４０）内の
第１のノード４２は、メモリエージェント５２、主メモ
リ４８、ディレクトリ６０、１またはそれ以上のプロセ
ッサ４６Ｍ〜４６（Ｍ＋ｍ）（全体として４６）、要求
未了バッファ（ＲＯＢ）５６及び遠隔アクセスキャッシ
ュ（ＲＡＣ）５８を含んでいる。各プロセッサ４６は、
プロセッサキャッシュ５４Ｍ〜５４（Ｍ＋ｍ）（全体と
して５４）を含む。第１のノード４２内のプロセッサの
キャッシュ５４はメモリエージェント５２と結合されて
いる。主メモリ４８は、メモリエージェント５２と結合
されている。ディレクトリ６０及びＲＡＣ５８はＲＯＢ
５６と結合されている。このＲＯＢ５６はメモリエージ
ェント５２に結合されている。
【００２３】グループＢ（４０）内の第２のノード４４
は、メモリエージェント６２、主メモリ６８、ディレク
トリ６０、１又はそれ以上のプロセッサ６６Ｎ〜６６
（Ｎ＋ｎ）（全体として６６）、要求未了バッファ（Ｒ
ＯＢ）５６及び遠隔アクセスキャッシュ（ＲＡＣ）５８
を含んでいる。各プロセッサ６６は、プロセッサキャッ
シュ６４Ｎ〜６４（Ｎ＋ｎ）（全体として６４）を含
む。第２のノード４４内のプロセッサのキャッシュ６４
は、メモリエージェント６２と結合されている。主メモ
リ６８は、メモリエージェント６２と結合されている。
ディレクトリ６０及びＲＡＣ５８はＲＯＢ５６と結合さ
れている。このＲＯＢ５６はメモリエージェント６２に
結合されている。
は、メモリエージェント６２、主メモリ６８、ディレク
トリ６０、１又はそれ以上のプロセッサ６６Ｎ〜６６
（Ｎ＋ｎ）（全体として６６）、要求未了バッファ（Ｒ
ＯＢ）５６及び遠隔アクセスキャッシュ（ＲＡＣ）５８
を含んでいる。各プロセッサ６６は、プロセッサキャッ
シュ６４Ｎ〜６４（Ｎ＋ｎ）（全体として６４）を含
む。第２のノード４４内のプロセッサのキャッシュ６４
は、メモリエージェント６２と結合されている。主メモ
リ６８は、メモリエージェント６２と結合されている。
ディレクトリ６０及びＲＡＣ５８はＲＯＢ５６と結合さ
れている。このＲＯＢ５６はメモリエージェント６２に
結合されている。
【００２４】各ノード１２，１４，４２，４４におい
て、プロセッサは、例えばIntel Pentium（登録商標）
−タイプのプロセッサ、Ｓun ＳＰＡＲＣ（登録商標）
−タイプのプロセッサ、Motorola Power プロセッサ
（登録商標）−タイプのプロセッサなどといったような
従来のプロセッサであり得るということに留意された
い。プロセッサキャッシュ２４，３４，５４，６４は、
従来のプロセッサキャッシュで良い。主メモリ１８，３
８，４８，６８は、例えばダイナミックランダムアクセ
スメモリ（ＤＲＡＭ）といった従来のメモリで良い。
て、プロセッサは、例えばIntel Pentium（登録商標）
−タイプのプロセッサ、Ｓun ＳＰＡＲＣ（登録商標）
−タイプのプロセッサ、Motorola Power プロセッサ
（登録商標）−タイプのプロセッサなどといったような
従来のプロセッサであり得るということに留意された
い。プロセッサキャッシュ２４，３４，５４，６４は、
従来のプロセッサキャッシュで良い。主メモリ１８，３
８，４８，６８は、例えばダイナミックランダムアクセ
スメモリ（ＤＲＡＭ）といった従来のメモリで良い。
【００２５】メモリエージェント２２，３２，５２，６
２は、プロセッサを主メモリ１８，３８，４８，６８と
インタフェースする。メモリエージェントは、ＤＲＡＭ
の読取り及び書込みを行うメモリ制御装置である。ＤＲ
ＡＭは、従来のＤＤＲ−ＳＤＲＡＭ又はＲＤＲＡＭのい
ずれであってもよい。
２は、プロセッサを主メモリ１８，３８，４８，６８と
インタフェースする。メモリエージェントは、ＤＲＡＭ
の読取り及び書込みを行うメモリ制御装置である。ＤＲ
ＡＭは、従来のＤＤＲ−ＳＤＲＡＭ又はＲＤＲＡＭのい
ずれであってもよい。
【００２６】ＲＯＢ２６，５６は、新しいデータ要求を
追跡するための従来のバッファであってよい。ディレク
トリ２０，６０は、システム内のキャッシュラインの全
域的なステートを記録するための従来のディレクトリで
あってよい。ディレクトリ２０，６０内の情報は、図３
によって図解的に示されているようなテーブル又はチャ
ートフォーマットの形式で構成されていてよい。ディレ
クトリ２０，６０はソフトウェア、ファームウェア、ハ
ードウェア、又はソフトウェア、ファームウェア及び／
又はハードウェアの組合せであってもよい。ディレクト
リ２０，６０は、キャッシュラインのステータスに関す
る情報を格納するように構成されている。キャッシュラ
インは、キャッシュ内に格納され、ディレクトリによっ
て追跡されうる最小のデータ単位である。データは、キ
ャッシュラインを通して供給される。ディレクトリ内に
格納された情報は、どのノードが特定のキャッシュライ
ンを有するか、ならびに、これらのキャッシュライン中
のデータのステータスに関するものである。
追跡するための従来のバッファであってよい。ディレク
トリ２０，６０は、システム内のキャッシュラインの全
域的なステートを記録するための従来のディレクトリで
あってよい。ディレクトリ２０，６０内の情報は、図３
によって図解的に示されているようなテーブル又はチャ
ートフォーマットの形式で構成されていてよい。ディレ
クトリ２０，６０はソフトウェア、ファームウェア、ハ
ードウェア、又はソフトウェア、ファームウェア及び／
又はハードウェアの組合せであってもよい。ディレクト
リ２０，６０は、キャッシュラインのステータスに関す
る情報を格納するように構成されている。キャッシュラ
インは、キャッシュ内に格納され、ディレクトリによっ
て追跡されうる最小のデータ単位である。データは、キ
ャッシュラインを通して供給される。ディレクトリ内に
格納された情報は、どのノードが特定のキャッシュライ
ンを有するか、ならびに、これらのキャッシュライン中
のデータのステータスに関するものである。
【００２７】遠隔アクセスキャッシュ２８，５８は、２
つのステート（状態）すなわち「共有」及び「無効」を
サポートするように修正された従来のプロセッサキャッ
シュである。これは、クリーンな遠隔データのみをキャ
ッシュする。ここで図２を参照すると、ＡＤＤＲＥＳ
Ｓ，ＴＡＧ，ＳＴＡＴＥ及びＤＡＴＡといったフィール
ドからなるＲＡＣエントリが示されている。
つのステート（状態）すなわち「共有」及び「無効」を
サポートするように修正された従来のプロセッサキャッ
シュである。これは、クリーンな遠隔データのみをキャ
ッシュする。ここで図２を参照すると、ＡＤＤＲＥＳ
Ｓ，ＴＡＧ，ＳＴＡＴＥ及びＤＡＴＡといったフィール
ドからなるＲＡＣエントリが示されている。
【００２８】ＡＤＤＲＥＳＳ ＴＡＧフィールドは、Ｒ
ＡＣアクセスがＨＩＴであるかＭＩＳＳであるかを判定
するため「read-to-share」要求のアドレスとの一致が
とられる。
ＡＣアクセスがＨＩＴであるかＭＩＳＳであるかを判定
するため「read-to-share」要求のアドレスとの一致が
とられる。
【００２９】ＳＴＡＴＥフィールドは、キャッシュライ
ンのステートを記録する。ＲＡＣは２つのステートすな
わち「共有」（Shared）及び「無効」（Invalid）をサ
ポートし、クリーンな遠隔データのみをキャッシュす
る。もしディレクトリステートがキャッシュラインにつ
いて修正・排他・共有／無効（「ＭＥＳＩ」）であるな
らば、そのキャッシュラインはＲＡＣ（遠隔アクセスキ
ャッシュ）内に存在し得ない。ＲＡＣ内のＨＩＴは、デ
ィレクトリ内のキャッシュラインのステートが「共有」
であって、「修正」、「排他」又は「無効」のいずれで
もないことを表す。これと対照的に、ＲＡＣ内のＭＩＳ
Ｓは、ディレクトリ内のキャッシュラインのステートが
共有でないことを表している。ＤＡＴＡフィールドは、
クリーンな遠隔データをキャッシュするために存在す
る。
ンのステートを記録する。ＲＡＣは２つのステートすな
わち「共有」（Shared）及び「無効」（Invalid）をサ
ポートし、クリーンな遠隔データのみをキャッシュす
る。もしディレクトリステートがキャッシュラインにつ
いて修正・排他・共有／無効（「ＭＥＳＩ」）であるな
らば、そのキャッシュラインはＲＡＣ（遠隔アクセスキ
ャッシュ）内に存在し得ない。ＲＡＣ内のＨＩＴは、デ
ィレクトリ内のキャッシュラインのステートが「共有」
であって、「修正」、「排他」又は「無効」のいずれで
もないことを表す。これと対照的に、ＲＡＣ内のＭＩＳ
Ｓは、ディレクトリ内のキャッシュラインのステートが
共有でないことを表している。ＤＡＴＡフィールドは、
クリーンな遠隔データをキャッシュするために存在す
る。
【００３０】ここで図３を参照すると、テーブルフォー
マットでシステム内のキャッシュラインの全域的ステー
トを記録するディレクトリエントリフォーマットを図解
的に示している。ディレクトリ内のキャッシュラインの
ステートを、「共有」（「Ｓ」）（ラインはシステム内
の多数のキャッシュ内に存在することができ、データは
メモリエージェント又は複数のキャッシュのうちの１つ
によって供給されうる）、修正（「Ｍ」）（ラインは、
そのデータを供給する１つのキャッシュ内に存在する）
又は無効（「Ｉ」）（データは供給も共有もされていな
い）、又は排他（「Ｅ」）（ラインはシステム内の１つ
のキャッシュ内に存在し、データがメモリエージェント
又はそのキャッシュによって供給され得、ラインのステ
ートはＥからＳへとグレードダウンされる）としてそれ
ぞれ表すことによって、テーブルはラインのステートを
含めることができる。さらに、ディレクトリは「共有リ
スト」（Sharing List）を保持する。もしキャッシュラ
インのステートが「共有」であるならば、ディレクトリ
は、その要求ノード共有者（Sharer）としてをマーク
し、そのノードを「共有リスト」に追加する。さらに、
ディレクトリエントリは、メッセージを特定の未了トラ
ンザクション（TRANSACTION）と結びつけるのに使用さ
れるTRANSACTION IDフィールドを含む。全てのメッセー
ジには、トランザクションＩＤが付いている。
マットでシステム内のキャッシュラインの全域的ステー
トを記録するディレクトリエントリフォーマットを図解
的に示している。ディレクトリ内のキャッシュラインの
ステートを、「共有」（「Ｓ」）（ラインはシステム内
の多数のキャッシュ内に存在することができ、データは
メモリエージェント又は複数のキャッシュのうちの１つ
によって供給されうる）、修正（「Ｍ」）（ラインは、
そのデータを供給する１つのキャッシュ内に存在する）
又は無効（「Ｉ」）（データは供給も共有もされていな
い）、又は排他（「Ｅ」）（ラインはシステム内の１つ
のキャッシュ内に存在し、データがメモリエージェント
又はそのキャッシュによって供給され得、ラインのステ
ートはＥからＳへとグレードダウンされる）としてそれ
ぞれ表すことによって、テーブルはラインのステートを
含めることができる。さらに、ディレクトリは「共有リ
スト」（Sharing List）を保持する。もしキャッシュラ
インのステートが「共有」であるならば、ディレクトリ
は、その要求ノード共有者（Sharer）としてをマーク
し、そのノードを「共有リスト」に追加する。さらに、
ディレクトリエントリは、メッセージを特定の未了トラ
ンザクション（TRANSACTION）と結びつけるのに使用さ
れるTRANSACTION IDフィールドを含む。全てのメッセー
ジには、トランザクションＩＤが付いている。
【００３１】図４は、ＲＯＢ内の１つのトランザクショ
ン（TRANSACTION）の進捗を記録するためのエントリを
示す。ＲＯＢ内のエントリは、REQUEST（要求）、STATE
（ステート）、及びTRANSACTION ID（トランザクション
ＩＤ）というフィールドを含んでいる。
ン（TRANSACTION）の進捗を記録するためのエントリを
示す。ＲＯＢ内のエントリは、REQUEST（要求）、STATE
（ステート）、及びTRANSACTION ID（トランザクション
ＩＤ）というフィールドを含んでいる。
【００３２】「REQUEST」フィールドは、ＲＯＢ内に入
る及びＲＯＢから出る要求を記録するために設けられて
いる。特にこのフィールドは、要求ノード内のプロセッ
サによって遠隔ホームノード内のメモリラインに対して
発行される「read-to-share」要求を記録する。また、
要求未了バッファ（ＲＯＢ）が「look-up」要求を発行
するとき、これが「REQUEST」フィールド内に記録され
る。
る及びＲＯＢから出る要求を記録するために設けられて
いる。特にこのフィールドは、要求ノード内のプロセッ
サによって遠隔ホームノード内のメモリラインに対して
発行される「read-to-share」要求を記録する。また、
要求未了バッファ（ＲＯＢ）が「look-up」要求を発行
するとき、これが「REQUEST」フィールド内に記録され
る。
【００３３】ＲＯＢは、有限ステートマシンを実現す
る。ＲＯＢ内のＳＴＡＴＥフィールドは、ＲＯＢ有限ス
テートマシンの現在のステートを示す。要求未了バッフ
ァ（ＲＯＢ）のためのステート遷移図が図７に示されて
いる。ＦＲＥＥステートでは、read-to-share 要求は、
自由ＲＯＢエントリの割当て及びステートＳ１への遷移
を引き起こす。ＲＡＣルックアップ・メッセージがＲＡ
Ｃに対し発行され、ディレクトリ・ルックアップ・メッ
セージが同時にホームノード用のディレクトリに対し発
行される。Ｓ１ステートでは、ＲＡＣ ＭＩＳＳ（ＲＡ
Ｃミス）がＭ１ステートへの遷移を引き起こす。Ｓ１ス
テートでは、メモリデータ（Memory Data）がＳ２ステ
ートへの遷移を引き起こし、読取り応答（Read Respons
e）が要求中のプロセッサへ返される。Ｓ１ステートで
は、ＲＡＣヒット（ＲＡＣ ＨＩＴ）がＨ１ステートへ
の遷移を引き起こす。読取り応答（Read Response）
は、要求中のプロセッサに返される。Ｓ２ステートで
は、ＲＡＣミス（ＲＡＣ ＭＩＳＳ）がＦＲＥＥステー
トへの遷移を引き起こし、ＲＯＢエントリの割当ては解
除される。Ｓ２ステートにおいては、ＲＡＣヒット（Ｒ
ＡＣ ＨＩＴ）がＦＲＥＥステートへの遷移を引き起こ
し、データは廃棄されて、ＲＯＢエントリの割当ては解
除される。
る。ＲＯＢ内のＳＴＡＴＥフィールドは、ＲＯＢ有限ス
テートマシンの現在のステートを示す。要求未了バッフ
ァ（ＲＯＢ）のためのステート遷移図が図７に示されて
いる。ＦＲＥＥステートでは、read-to-share 要求は、
自由ＲＯＢエントリの割当て及びステートＳ１への遷移
を引き起こす。ＲＡＣルックアップ・メッセージがＲＡ
Ｃに対し発行され、ディレクトリ・ルックアップ・メッ
セージが同時にホームノード用のディレクトリに対し発
行される。Ｓ１ステートでは、ＲＡＣ ＭＩＳＳ（ＲＡ
Ｃミス）がＭ１ステートへの遷移を引き起こす。Ｓ１ス
テートでは、メモリデータ（Memory Data）がＳ２ステ
ートへの遷移を引き起こし、読取り応答（Read Respons
e）が要求中のプロセッサへ返される。Ｓ１ステートで
は、ＲＡＣヒット（ＲＡＣ ＨＩＴ）がＨ１ステートへ
の遷移を引き起こす。読取り応答（Read Response）
は、要求中のプロセッサに返される。Ｓ２ステートで
は、ＲＡＣミス（ＲＡＣ ＭＩＳＳ）がＦＲＥＥステー
トへの遷移を引き起こし、ＲＯＢエントリの割当ては解
除される。Ｓ２ステートにおいては、ＲＡＣヒット（Ｒ
ＡＣ ＨＩＴ）がＦＲＥＥステートへの遷移を引き起こ
し、データは廃棄されて、ＲＯＢエントリの割当ては解
除される。
【００３４】上記のTRANSITION ID フィールドは、各ト
ランザクションを一意的（unique）に識別し、無関係な
トランザクションの流れに属するメッセージとを区別す
るために使用される。各メッセージには、特定のトラン
ザクションとそのメッセージを結びつけるのに使用され
るTRANSACTION IDフィールドが付いている。
ランザクションを一意的（unique）に識別し、無関係な
トランザクションの流れに属するメッセージとを区別す
るために使用される。各メッセージには、特定のトラン
ザクションとそのメッセージを結びつけるのに使用され
るTRANSACTION IDフィールドが付いている。
【００３５】ここで図５を参照すると、本発明による、
ＲＡＣ内にキャッシュラインがキャッシュされない場合
に共有データ要求を操作するプロセスの一実施形態の流
れ図が示されている。ひとたびプロセスが開始（STAR
T）すると（０）、グループＡ（１０）内の第１のノー
ド１２内の第１のプロセッサ１６がＲＯＢ２６に対しデ
ータの「read-to-share」要求１を発行する。「read-to
-share」要求には、ＲＯＢ２６内のエントリ１が割当て
られる。ＲＯＢのＳＴＡＴＥフィールドは、Ｓ１ステー
トへ遷移する。
ＲＡＣ内にキャッシュラインがキャッシュされない場合
に共有データ要求を操作するプロセスの一実施形態の流
れ図が示されている。ひとたびプロセスが開始（STAR
T）すると（０）、グループＡ（１０）内の第１のノー
ド１２内の第１のプロセッサ１６がＲＯＢ２６に対しデ
ータの「read-to-share」要求１を発行する。「read-to
-share」要求には、ＲＯＢ２６内のエントリ１が割当て
られる。ＲＯＢのＳＴＡＴＥフィールドは、Ｓ１ステー
トへ遷移する。
【００３６】ひとたびその要求が受信されると、ＲＯＢ
２６は同時に第１の要求２をＲＡＣ２８に発行する。こ
のＲＡＣ２８は、該ＲＡＣ２８にアクセスするノードか
らのキャッシュラインへの続く「read-to-share」要求
を満たす責務を負い、かつ、遠隔ホームノード４２のグ
ループＢ（４０）についてのディレクトリ６０に対して
第２の要求２ａを発行する。アドレスには宛先ノードが
含まれる。もしＲＡＣ２８内のキャッシュラインがキャ
ッシュされていないならば、ＲＡＣ２８は、ＲＡＣミス
（ＲＡＣ ＭＩＳＳ）をＲＯＢ２６に返す（３）。すな
わち、ＲＡＣ２８は、自身が要求されたキャッシュライ
ンを持たないことを報告する。これに応答して、ＲＯＢ
２６は、ＳＴＡＴＥフィールドをＭ１ステートまで遷移
させ、ＲＡＣミス（ＲＡＣ ＭＩＳＳ）が発生したこと
及びＲＡＣ２８が要求を満たさなかったことを表示す
る。
２６は同時に第１の要求２をＲＡＣ２８に発行する。こ
のＲＡＣ２８は、該ＲＡＣ２８にアクセスするノードか
らのキャッシュラインへの続く「read-to-share」要求
を満たす責務を負い、かつ、遠隔ホームノード４２のグ
ループＢ（４０）についてのディレクトリ６０に対して
第２の要求２ａを発行する。アドレスには宛先ノードが
含まれる。もしＲＡＣ２８内のキャッシュラインがキャ
ッシュされていないならば、ＲＡＣ２８は、ＲＡＣミス
（ＲＡＣ ＭＩＳＳ）をＲＯＢ２６に返す（３）。すな
わち、ＲＡＣ２８は、自身が要求されたキャッシュライ
ンを持たないことを報告する。これに応答して、ＲＯＢ
２６は、ＳＴＡＴＥフィールドをＭ１ステートまで遷移
させ、ＲＡＣミス（ＲＡＣ ＭＩＳＳ）が発生したこと
及びＲＡＣ２８が要求を満たさなかったことを表示す
る。
【００３７】ひとたびディレクトリ６０がルックアップ
要求２ａを受信したならば、該ディレクトリ６０は、キ
ャッシュラインのステートをルックアップする、このス
テートは「無効」である。ディレクトリ６０は、「メモ
リ読取り」要求３ａを第１の遠隔ノード４２に発行し、
要求されたキャッシュラインのディレクトリエントリの
ステートを「無効」ステートから「共有」ステートへ遷
移させる。さらに、ディレクトリ６０は、グループＡ
（１０）内の第１のノード１２を、このキャッシュライ
ン３ｂの共有者のリストに追加する。
要求２ａを受信したならば、該ディレクトリ６０は、キ
ャッシュラインのステートをルックアップする、このス
テートは「無効」である。ディレクトリ６０は、「メモ
リ読取り」要求３ａを第１の遠隔ノード４２に発行し、
要求されたキャッシュラインのディレクトリエントリの
ステートを「無効」ステートから「共有」ステートへ遷
移させる。さらに、ディレクトリ６０は、グループＡ
（１０）内の第１のノード１２を、このキャッシュライ
ン３ｂの共有者のリストに追加する。
【００３８】次に、第１の遠隔ノード４２は、全域的相
互接続システム５０を介して要求ノード内のＲＯＢ２６
に対しデータ４ａを返す。一方ＲＯＢ２６は、データ５
ａをグループＡ（１０）内のプロセッサ１６に返す。ま
たＲＯＢ２６は、その後ＲＡＣ２８が次の「read-to-sh
are」要求を受信したとき、このＲＡＣ２８にアクセス
する同一グループ内のノードがそのデータを利用できる
状態になるように、ＲＡＣ２８内にデータ５ａをインス
トールする。この時点で、プロセッサ「read-to-shar
e」要求は満たされる。本発明によると、既存のエント
リに新しいエントリを単に重ね書きすることによってＲ
ＡＣ２８内に新しいキャッシュラインがインストールさ
れることから、新しいキャッシュラインをインストール
する前にまずＲＡＣ２８からエントリを立ち退かせると
いったことは必要がない。さらに、ＲＯＢ２６内のエン
トリは、割当てが解除され、そのＳＴＡＴＥはＦＲＥＥ
ステートへ遷移する。このときプロセスは終了する
（６）。
互接続システム５０を介して要求ノード内のＲＯＢ２６
に対しデータ４ａを返す。一方ＲＯＢ２６は、データ５
ａをグループＡ（１０）内のプロセッサ１６に返す。ま
たＲＯＢ２６は、その後ＲＡＣ２８が次の「read-to-sh
are」要求を受信したとき、このＲＡＣ２８にアクセス
する同一グループ内のノードがそのデータを利用できる
状態になるように、ＲＡＣ２８内にデータ５ａをインス
トールする。この時点で、プロセッサ「read-to-shar
e」要求は満たされる。本発明によると、既存のエント
リに新しいエントリを単に重ね書きすることによってＲ
ＡＣ２８内に新しいキャッシュラインがインストールさ
れることから、新しいキャッシュラインをインストール
する前にまずＲＡＣ２８からエントリを立ち退かせると
いったことは必要がない。さらに、ＲＯＢ２６内のエン
トリは、割当てが解除され、そのＳＴＡＴＥはＦＲＥＥ
ステートへ遷移する。このときプロセスは終了する
（６）。
【００３９】もしＲＡＣがビジーであるならば、ＲＡＣ
は単純にバイパスでき、「read」（読取り）要求は直接
遠隔ノードまで到達することに留意すべきである。この
特徴により、システムは、ＲＡＣにおける輻輳レベルに
対しダイナミックに対応することができる。このとき、
データは直接要求者に返され、ＲＡＣ内にはインストー
ルされない。これは、キャッシュラインがもしＲＡＣ内
に存在しているならば、それは「共有」ステートにある
ことから、可能になる。ＲＡＣ内のデータは常に、メモ
リ内のデータのコピーである。従って、ＲＡＣがバイパ
スされた場合にデータをメモリから返すことができる。
は単純にバイパスでき、「read」（読取り）要求は直接
遠隔ノードまで到達することに留意すべきである。この
特徴により、システムは、ＲＡＣにおける輻輳レベルに
対しダイナミックに対応することができる。このとき、
データは直接要求者に返され、ＲＡＣ内にはインストー
ルされない。これは、キャッシュラインがもしＲＡＣ内
に存在しているならば、それは「共有」ステートにある
ことから、可能になる。ＲＡＣ内のデータは常に、メモ
リ内のデータのコピーである。従って、ＲＡＣがバイパ
スされた場合にデータをメモリから返すことができる。
【００４０】図６は、本発明による、ＲＡＣ内のキャッ
シュラインがキャッシュされている場合のデータ要求プ
ロセスの一実施形態の流れ図を示す。このプロセスは０
にて、例えば、グループＡ内の第２のノード１４の第１
のプロセッサ３６が、遠隔ノード内のメモリラインに対
してデータの「read-to-share」要求１を送信するとき
に、開始する。アドレスには宛て先ノードが含まれる。
「read-to-share」要求には、ＲＯＢ内でエントリ１が
割当てられる。ＲＯＢエントリのＳＴＡＴＥフィールド
はＳ１ステートへ遷移する。ひとたびその要求が受信さ
れると、ＲＯＢは同時に第１の要求２をＲＡＣ２８に発
行し、このＲＡＣ２８は、該ＲＡＣ２８にアクセスする
ノードからのキャッシュラインへの続く「read-to-shar
e」要求を満たす責務を負い、かつ、遠隔ホームノード
のディレクトリ６０に対して第２の要求２ａを発行す
る。
シュラインがキャッシュされている場合のデータ要求プ
ロセスの一実施形態の流れ図を示す。このプロセスは０
にて、例えば、グループＡ内の第２のノード１４の第１
のプロセッサ３６が、遠隔ノード内のメモリラインに対
してデータの「read-to-share」要求１を送信するとき
に、開始する。アドレスには宛て先ノードが含まれる。
「read-to-share」要求には、ＲＯＢ内でエントリ１が
割当てられる。ＲＯＢエントリのＳＴＡＴＥフィールド
はＳ１ステートへ遷移する。ひとたびその要求が受信さ
れると、ＲＯＢは同時に第１の要求２をＲＡＣ２８に発
行し、このＲＡＣ２８は、該ＲＡＣ２８にアクセスする
ノードからのキャッシュラインへの続く「read-to-shar
e」要求を満たす責務を負い、かつ、遠隔ホームノード
のディレクトリ６０に対して第２の要求２ａを発行す
る。
【００４１】もしＲＡＣ内のキャッシュラインがキャッ
シュされているならば、該ＲＡＣは、ＲＡＣヒット（Ｒ
ＡＣ ＨＩＴ）をＲＯＢ２６に返す（３）。キャッシュ
内に「ＨＩＴ」があるという事実は、ディレクトリ内の
キャッシュラインのステートが「共有」であり、「修
正」、「排他」又は「無効」ではないことを表してい
る。このとき、ＲＯＢ２６はＳＴＡＴＥフィールドをＨ
１ステートへ遷移させて、ＲＡＣ ＨＩＴが発生したこ
とを表示する。すなわちＲＡＣ２８は要求を満たしたこ
とになる。そして、データは「read-to-share」要求を
発行したノード１４へ返される（４）。この時点で、プ
ロセッサ「read-to-share」要求は満たされたことにな
る。
シュされているならば、該ＲＡＣは、ＲＡＣヒット（Ｒ
ＡＣ ＨＩＴ）をＲＯＢ２６に返す（３）。キャッシュ
内に「ＨＩＴ」があるという事実は、ディレクトリ内の
キャッシュラインのステートが「共有」であり、「修
正」、「排他」又は「無効」ではないことを表してい
る。このとき、ＲＯＢ２６はＳＴＡＴＥフィールドをＨ
１ステートへ遷移させて、ＲＡＣ ＨＩＴが発生したこ
とを表示する。すなわちＲＡＣ２８は要求を満たしたこ
とになる。そして、データは「read-to-share」要求を
発行したノード１４へ返される（４）。この時点で、プ
ロセッサ「read-to-share」要求は満たされたことにな
る。
【００４２】ディレクトリ６０がひとたびルックアップ
要求２ａを受信したならば、該ディレクトリ６０は、ラ
インのステートをルックアップする、このステートは
「共有」である。該ディレクトリ６０は遠隔ホームノー
ド４２のメモリエージェント５２に対し「メモリ読取
り」要求３ａを送信する。さらに、ディレクトリは、グ
ループＡ内の第２のノード１４を、このキャッシュライ
ン３ｂについての共有者のリストに追加する。次に遠隔
ホームノード４２はデータ４ａを、全域的相互接続シス
テム５０を介して要求ノード内のＲＯＢ２６に返す。一
方、ＲＡＣ２８内にキャッシュされたメモリラインで元
の要求が満たされたことから、ＲＯＢ２６は、受信した
データ４ｂを廃棄する。さらに、ＲＯＢ内のエントリ
は、そのＳＴＡＴＥフィールドをＦＲＥＥステートへ遷
移させることによって、割当てを解除する。このとき、
プロセスは終了する（５）。ここで、プロセッサノード
からの読取りアクセスがキャッシュ内で「ヒット」する
場合には、遠隔ノードでディレクトリからの応答を待つ
ことなく、プロセッサはデータを返すので直ちにそれを
使用することができる、ということに留意されたい。
要求２ａを受信したならば、該ディレクトリ６０は、ラ
インのステートをルックアップする、このステートは
「共有」である。該ディレクトリ６０は遠隔ホームノー
ド４２のメモリエージェント５２に対し「メモリ読取
り」要求３ａを送信する。さらに、ディレクトリは、グ
ループＡ内の第２のノード１４を、このキャッシュライ
ン３ｂについての共有者のリストに追加する。次に遠隔
ホームノード４２はデータ４ａを、全域的相互接続シス
テム５０を介して要求ノード内のＲＯＢ２６に返す。一
方、ＲＡＣ２８内にキャッシュされたメモリラインで元
の要求が満たされたことから、ＲＯＢ２６は、受信した
データ４ｂを廃棄する。さらに、ＲＯＢ内のエントリ
は、そのＳＴＡＴＥフィールドをＦＲＥＥステートへ遷
移させることによって、割当てを解除する。このとき、
プロセスは終了する（５）。ここで、プロセッサノード
からの読取りアクセスがキャッシュ内で「ヒット」する
場合には、遠隔ノードでディレクトリからの応答を待つ
ことなく、プロセッサはデータを返すので直ちにそれを
使用することができる、ということに留意されたい。
【００４３】本発明による好ましい実施形態は以下の通
りである。 （付記１）各々が複数のプロセッサを有する複数のノー
ドをそれぞれが有する複数のグループを有するコンピュ
ータネットワーク内にて、共有データ要求を操作するた
めのシステムにおいて、データを格納するため、グルー
プＡ内の第１のノードの第１のプロセッサに結合された
主メモリと、データを格納するため、グループＢ内の第
１のノードの第１のプロセッサに結合された主メモリ
と、データを格納するため、グループＡ内の第２のノー
ドの第１のプロセッサに結合された主メモリと、を含ん
でなり、グループＡ内の第１のノードの第１のプロセッ
サが、グループＡ内の第１のノードに第１のプロセッサ
キャッシュを有し、第１のプロセッサが、グループＢ内
の第１のノードの主メモリからデータを要求し、グルー
プＡ内の第２のノードの第１のプロッサが、グループＡ
内の第２のノードに第１のプロセッサキャッシュを有
し、第２のノードの第１のプロセッサが、グループＢの
第１のノードの主メモリからデータを要求し、データ要
求を記録すべく、グループＡ内の主メモリに結合されて
マルチエントリを有するグループＡ内の各ノードに結び
つけられた要求未了バッファと、データ要求を記録すべ
く、グループＢ内の主メモリに結合されてマルチエント
リを有するグループＢ内の各ノードに結びつけられた要
求未了バッファと、遠隔メモリ要求をキャッシュすべ
く、グループＡの要求未了バッファに結合されてグルー
プＡ内の各ノードと結びつけられた遠隔アクセスキャッ
シュと、遠隔メモリ要求をキャッシュすべく、グループ
Ｂの要求未了バッファに結合されてグループＢ内の各ノ
ードと結びつけられた遠隔アクセスキャッシュと、シス
テム内のキャッシュラインのステートを記録するため、
グループＡの要求未了バッファに結合されたグループＡ
内のディレクトリと、システム内のキャッシュラインの
ステートを記録するため、グループＢの要求未了バッフ
ァに結合されたグループＢ内のディレクトリと、を含ん
でなることを特徴とするシステム。 （付記２）要求未了バッファ中の各エントリが、REQUES
Tフィールド、STATEフィールド及びTRANSACTION IDフィ
ールドを含む付記１に記載のシステム。 （付記３）各ディレクトリが、Ｉステート、Ｓステート
及びＭＥステートというグループからのキャッシュライ
ンステートを含み、ここでＩステートは、そのデータを
供給も共有もしないプロセッサを意味し、Ｓステート
は、そのデータを共有するがそのデータを供給しないプ
ロセッサを意味し、ＭＥステートはプロセッサがライン
を所有し、かつ、修正された場合にデータを供給するこ
とを意味する付記１に記載のシステム。 （付記４）各ディレクトリが、データを共有するノード
についての共有リストを含む付記１に記載のシステム。 （付記５）各々が複数のプロセッサ及び要求未了バッフ
ァを有する複数のノードを、グループＡ及びグループＢ
内に有するコンピュータネットワーク内にて、キャッシ
ュラインが遠隔アクセスキャッシュ内にキャッシュされ
ていないときに共有データ要求を操作するための方法に
おいて、データを要求する段階と、グループＡ内の遠隔
アクセスキャッシュに対する要求とグループＢに対する
ディレクトリ・ルックアップ要求とを同時に発行する段
階と、遠隔アクセスキャッシュがキャッシュされたライ
ンを有していないことを通知する段階と、ディレクトリ
のステートを「無効」ステートから「共有」ステートに
変更する段階と、共有者リストに対して要求ノードを追
加する段階と、グループＢ内のノードからデータを供給
する段階と、遠隔アクセスキャッシュ内にデータをイン
ストールする段階と、データを返す段階と、を含んでな
ることを特徴とする方法。 （付記６）要求未了バッファ内にエントリを割当てる段
階をさらに含んでなる付記５に記載の方法。 （付記７）キャッシュラインが遠隔アクセスキャッシュ
内にキャッシュされていないことに応答して、要求未了
バッファ内でＳＴＡＴＥフィールドを修正する段階と、
グループＡのディレクトリ内の共有リストに対して、グ
ループＡ内の第１のノードを追加する段階と、をさらに
含んでなる付記５に記載の方法。 （付記８）遠隔アクセスキャッシュ内のキャッシュライ
ンのステートを、「無効」ステートから「共有」ステー
トに変更する段階をさらに含んでなる付記５に記載の方
法。 （付記９）各々が複数のプロセッサを有する複数のノー
ドをそれぞれが有する複数のグループを有するコンピュ
ータネットワーク内にて、キャッシュラインが遠隔アク
セスキャッシュ内にキャッシュされているときに共有デ
ータ要求を操作するための方法において、データを要求
する段階と、グループＡ内の遠隔アクセスキャッシュに
対する要求とグループＢに対するディレクトリ・ルック
アップ要求とを同時に発行する段階と、遠隔アクセスキ
ャッシュがキャッシュされたラインを有することを通知
する段階と、遠隔アクセスキャッシュからデータを供給
する段階と、要求未了バッファにデータを返す段階と、
グループＢからの要求プロセッサに対しデータを返す段
階と、要求未了バッファ内にてデータを廃棄する段階
と、を含んでなることを特徴とする方法。 （付記１０）要求未了バッファ内でエントリを割当てる
段階をさらに含んでなる付記９に記載の方法。 （付記１１）キャッシュラインが遠隔アクセスキャッシ
ュ内にキャッシュされていることに応答して、要求未了
バッファ内でＳＴＡＴＥフィールドを修正する段階と、
ディレクトリＡ内の共有リストに対してグループＡ内の
第２のノードを追加する段階と、をさらに含んでなる付
記９に記載の方法。 （付記１２）遠隔アクセスキャッシュ内の各エントリ
が、ADDRESS TAGフィールド，STATEフィールド及びDATA
フィールドを含む付記１に記載のシステム。
りである。 （付記１）各々が複数のプロセッサを有する複数のノー
ドをそれぞれが有する複数のグループを有するコンピュ
ータネットワーク内にて、共有データ要求を操作するた
めのシステムにおいて、データを格納するため、グルー
プＡ内の第１のノードの第１のプロセッサに結合された
主メモリと、データを格納するため、グループＢ内の第
１のノードの第１のプロセッサに結合された主メモリ
と、データを格納するため、グループＡ内の第２のノー
ドの第１のプロセッサに結合された主メモリと、を含ん
でなり、グループＡ内の第１のノードの第１のプロセッ
サが、グループＡ内の第１のノードに第１のプロセッサ
キャッシュを有し、第１のプロセッサが、グループＢ内
の第１のノードの主メモリからデータを要求し、グルー
プＡ内の第２のノードの第１のプロッサが、グループＡ
内の第２のノードに第１のプロセッサキャッシュを有
し、第２のノードの第１のプロセッサが、グループＢの
第１のノードの主メモリからデータを要求し、データ要
求を記録すべく、グループＡ内の主メモリに結合されて
マルチエントリを有するグループＡ内の各ノードに結び
つけられた要求未了バッファと、データ要求を記録すべ
く、グループＢ内の主メモリに結合されてマルチエント
リを有するグループＢ内の各ノードに結びつけられた要
求未了バッファと、遠隔メモリ要求をキャッシュすべ
く、グループＡの要求未了バッファに結合されてグルー
プＡ内の各ノードと結びつけられた遠隔アクセスキャッ
シュと、遠隔メモリ要求をキャッシュすべく、グループ
Ｂの要求未了バッファに結合されてグループＢ内の各ノ
ードと結びつけられた遠隔アクセスキャッシュと、シス
テム内のキャッシュラインのステートを記録するため、
グループＡの要求未了バッファに結合されたグループＡ
内のディレクトリと、システム内のキャッシュラインの
ステートを記録するため、グループＢの要求未了バッフ
ァに結合されたグループＢ内のディレクトリと、を含ん
でなることを特徴とするシステム。 （付記２）要求未了バッファ中の各エントリが、REQUES
Tフィールド、STATEフィールド及びTRANSACTION IDフィ
ールドを含む付記１に記載のシステム。 （付記３）各ディレクトリが、Ｉステート、Ｓステート
及びＭＥステートというグループからのキャッシュライ
ンステートを含み、ここでＩステートは、そのデータを
供給も共有もしないプロセッサを意味し、Ｓステート
は、そのデータを共有するがそのデータを供給しないプ
ロセッサを意味し、ＭＥステートはプロセッサがライン
を所有し、かつ、修正された場合にデータを供給するこ
とを意味する付記１に記載のシステム。 （付記４）各ディレクトリが、データを共有するノード
についての共有リストを含む付記１に記載のシステム。 （付記５）各々が複数のプロセッサ及び要求未了バッフ
ァを有する複数のノードを、グループＡ及びグループＢ
内に有するコンピュータネットワーク内にて、キャッシ
ュラインが遠隔アクセスキャッシュ内にキャッシュされ
ていないときに共有データ要求を操作するための方法に
おいて、データを要求する段階と、グループＡ内の遠隔
アクセスキャッシュに対する要求とグループＢに対する
ディレクトリ・ルックアップ要求とを同時に発行する段
階と、遠隔アクセスキャッシュがキャッシュされたライ
ンを有していないことを通知する段階と、ディレクトリ
のステートを「無効」ステートから「共有」ステートに
変更する段階と、共有者リストに対して要求ノードを追
加する段階と、グループＢ内のノードからデータを供給
する段階と、遠隔アクセスキャッシュ内にデータをイン
ストールする段階と、データを返す段階と、を含んでな
ることを特徴とする方法。 （付記６）要求未了バッファ内にエントリを割当てる段
階をさらに含んでなる付記５に記載の方法。 （付記７）キャッシュラインが遠隔アクセスキャッシュ
内にキャッシュされていないことに応答して、要求未了
バッファ内でＳＴＡＴＥフィールドを修正する段階と、
グループＡのディレクトリ内の共有リストに対して、グ
ループＡ内の第１のノードを追加する段階と、をさらに
含んでなる付記５に記載の方法。 （付記８）遠隔アクセスキャッシュ内のキャッシュライ
ンのステートを、「無効」ステートから「共有」ステー
トに変更する段階をさらに含んでなる付記５に記載の方
法。 （付記９）各々が複数のプロセッサを有する複数のノー
ドをそれぞれが有する複数のグループを有するコンピュ
ータネットワーク内にて、キャッシュラインが遠隔アク
セスキャッシュ内にキャッシュされているときに共有デ
ータ要求を操作するための方法において、データを要求
する段階と、グループＡ内の遠隔アクセスキャッシュに
対する要求とグループＢに対するディレクトリ・ルック
アップ要求とを同時に発行する段階と、遠隔アクセスキ
ャッシュがキャッシュされたラインを有することを通知
する段階と、遠隔アクセスキャッシュからデータを供給
する段階と、要求未了バッファにデータを返す段階と、
グループＢからの要求プロセッサに対しデータを返す段
階と、要求未了バッファ内にてデータを廃棄する段階
と、を含んでなることを特徴とする方法。 （付記１０）要求未了バッファ内でエントリを割当てる
段階をさらに含んでなる付記９に記載の方法。 （付記１１）キャッシュラインが遠隔アクセスキャッシ
ュ内にキャッシュされていることに応答して、要求未了
バッファ内でＳＴＡＴＥフィールドを修正する段階と、
ディレクトリＡ内の共有リストに対してグループＡ内の
第２のノードを追加する段階と、をさらに含んでなる付
記９に記載の方法。 （付記１２）遠隔アクセスキャッシュ内の各エントリ
が、ADDRESS TAGフィールド，STATEフィールド及びDATA
フィールドを含む付記１に記載のシステム。
【図１】本発明によるマルチノードネットワークシステ
ムの全体的アーキテクチャの一実施形態のブロック図で
ある。
ムの全体的アーキテクチャの一実施形態のブロック図で
ある。
【図２】本発明による遠隔アクセスキャッシュ（ＲＡ
Ｃ）を図解的に示す図である。
Ｃ）を図解的に示す図である。
【図３】本発明によるシステムにおけるキャッシュライ
ンの全域的なステートを記録するディレクトリエントリ
フォーマットを図解的に示す図である。
ンの全域的なステートを記録するディレクトリエントリ
フォーマットを図解的に示す図である。
【図４】本発明による要求未了バッファ（ＲＯＢ）を図
解的に示す図である。
解的に示す図である。
【図５】本発明による遠隔アクセスキャッシュ（ＲＡ
Ｃ）内にキャッシュラインがキャッシュされていない場
合の、共有データ要求を操作するためのプロセスの一実
施形態の流れ図である。
Ｃ）内にキャッシュラインがキャッシュされていない場
合の、共有データ要求を操作するためのプロセスの一実
施形態の流れ図である。
【図６】本発明による遠隔アクセスキャッシュ（ＲＡ
Ｃ）内にキャッシュラインがキャッシュされている場合
の、共有データ要求を操作するためのプロセスの一実施
形態の流れ図である。
Ｃ）内にキャッシュラインがキャッシュされている場合
の、共有データ要求を操作するためのプロセスの一実施
形態の流れ図である。
【図７】本発明による要求未了バッファ（ＲＯＢ）につ
いてのステート遷移図である。
いてのステート遷移図である。
１０…グループＡ １２…第１のノード １４…第２のノード １６，３６，４６，６６…プロセッサ １８，３８，４８，６８…主メモリ ２０，６０…ディレクトリ ２２，３２，５２，６２…メモリエージェント ２４，３４，５４，６４…プロセッサキャッシュ ２６，５６…要求未了バッファ（ＲＯＢ） ２８，５８…遠隔アクセスキャッシュ（ＲＡＣ） ４０…グループＢ ４２…第１のノード ４４…第２のノード
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/177 ６８２ Ｇ０６Ｆ 15/177 ６８２Ｊ (72)発明者 ユン ルン チャン アメリカ合衆国，カリフォルニア，カパー ティノ，ミネター ドライブ 10765 Ｆターム(参考） 5B005 JJ12 KK02 KK13 MM01 NN43 NN45 NN53 NN54 PP11 5B045 DD01 EE03
Claims (3)
- 【請求項１】 各々が複数のプロセッサを有する複数の
ノードをそれぞれが有する複数のグループを有するコン
ピュータネットワーク内にて、共有データ要求を操作す
るためのシステムにおいて、 データを格納するため、グループＡ内の第１のノードの
第１のプロセッサに結合された主メモリと、 データを格納するため、グループＢ内の第１のノードの
第１のプロセッサに結合された主メモリと、 データを格納するため、グループＡ内の第２のノードの
第１のプロセッサに結合された主メモリと、を含んでな
り、 グループＡ内の第１のノードの第１のプロセッサが、グ
ループＡ内の第１のノードに第１のプロセッサキャッシ
ュを有し、第１のプロセッサが、グループＢ内の第１の
ノードの主メモリからデータを要求し、 グループＡ内の第２のノードの第１のプロッサが、グル
ープＡ内の第２のノードに第１のプロセッサキャッシュ
を有し、第２のノードの第１のプロセッサが、グループ
Ｂの第１のノードの主メモリからデータを要求し、 データ要求を記録すべく、グループＡ内の主メモリに結
合されてマルチエントリを有するグループＡ内の各ノー
ドに結びつけられた要求未了バッファと、 データ要求を記録すべく、グループＢ内の主メモリに結
合されてマルチエントリを有するグループＢ内の各ノー
ドに結びつけられた要求未了バッファと、 遠隔メモリ要求をキャッシュすべく、グループＡの要求
未了バッファに結合されてグループＡ内の各ノードと結
びつけられた遠隔アクセスキャッシュと、 遠隔メモリ要求をキャッシュすべく、グループＢの要求
未了バッファに結合されてグループＢ内の各ノードと結
びつけられた遠隔アクセスキャッシュと、 システム内のキャッシュラインのステートを記録するた
め、グループＡの要求未了バッファに結合されたグルー
プＡ内のディレクトリと、 システム内のキャッシュラインのステートを記録するた
め、グループＢの要求未了バッファに結合されたグルー
プＢ内のディレクトリと、 を含んでなることを特徴とするシステム。 - 【請求項２】 各々が複数のプロセッサ及び要求未了バ
ッファを有する複数のノードを、グループＡ及びグルー
プＢ内に有するコンピュータネットワーク内にて、キャ
ッシュラインが遠隔アクセスキャッシュ内にキャッシュ
されていないときに共有データ要求を操作するための方
法において、 データを要求する段階と、 グループＡ内の遠隔アクセスキャッシュに対する要求と
グループＢに対するディレクトリ・ルックアップ要求と
を同時に発行する段階と、 遠隔アクセスキャッシュがキャッシュされたラインを有
していないことを通知する段階と、 ディレクトリのステートを「無効」ステートから「共
有」ステートに変更する段階と、 共有者リストに対して要求ノードを追加する段階と、 グループＢ内のノードからデータを供給する段階と、 遠隔アクセスキャッシュ内にデータをインストールする
段階と、 データを返す段階と、 を含んでなることを特徴とする方法。 - 【請求項３】 各々が複数のプロセッサを有する複数の
ノードをそれぞれが有する複数のグループを有するコン
ピュータネットワーク内にて、キャッシュラインが遠隔
アクセスキャッシュ内にキャッシュされているときに共
有データ要求を操作するための方法において、 データを要求する段階と、 グループＡ内の遠隔アクセスキャッシュに対する要求と
グループＢに対するディレクトリ・ルックアップ要求と
を同時に発行する段階と、 遠隔アクセスキャッシュがキャッシュされたラインを有
することを通知する段階と、 遠隔アクセスキャッシュからデータを供給する段階と、 要求未了バッファにデータを返す段階と、 グループＢからの要求プロセッサに対しデータを返す段
階と、 要求未了バッファ内にてデータを廃棄する段階と、 を含んでなることを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/616,583 US6766360B1 (en) | 2000-07-14 | 2000-07-14 | Caching mechanism for remote read-only data in a cache coherent non-uniform memory access (CCNUMA) architecture |
| US09/616583 | 2000-07-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002091824A true JP2002091824A (ja) | 2002-03-29 |
Family
ID=24470117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001215834A Withdrawn JP2002091824A (ja) | 2000-07-14 | 2001-07-16 | 共有データ要求を操作するシステム及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6766360B1 (ja) |
| JP (1) | JP2002091824A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007193784A (ja) * | 2006-01-17 | 2007-08-02 | Internatl Business Mach Corp <Ibm> | 同報通信範囲を示す無効な整合状態を正確に形成するためのデータ処理システム、キャッシュ・システム、および方法 |
| JP2011527060A (ja) * | 2008-07-07 | 2011-10-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | リージョン・キャッシュの援助によってデータ要求を効率的に処理する方法 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003631B2 (en) * | 2002-05-15 | 2006-02-21 | Broadcom Corporation | System having address-based intranode coherency and data-based internode coherency |
| US6965973B2 (en) * | 2002-05-15 | 2005-11-15 | Broadcom Corporation | Remote line directory which covers subset of shareable CC-NUMA memory space |
| EP1376370B1 (en) * | 2002-06-28 | 2017-06-14 | Oracle America, Inc. | Mechanism for starvation avoidance while maintaining cache consistency in computer systems |
| US7210006B2 (en) * | 2002-06-28 | 2007-04-24 | Sun Microsystems, Inc. | Computer system supporting read-to-write-back transactions for I/O devices |
| US6808122B2 (en) * | 2002-08-19 | 2004-10-26 | Illinois Tool Works, Inc. | Spray gun with improved pre-atomization fluid mixing and breakup |
| US9456243B1 (en) | 2003-06-06 | 2016-09-27 | Arris Enterprises, Inc. | Methods and apparatus for processing time-based content |
| US9286214B2 (en) * | 2003-06-06 | 2016-03-15 | Arris Enterprises, Inc. | Content distribution and switching amongst data streams |
| US7240143B1 (en) * | 2003-06-06 | 2007-07-03 | Broadbus Technologies, Inc. | Data access and address translation for retrieval of data amongst multiple interconnected access nodes |
| US7962696B2 (en) * | 2004-01-15 | 2011-06-14 | Hewlett-Packard Development Company, L.P. | System and method for updating owner predictors |
| US7240165B2 (en) * | 2004-01-15 | 2007-07-03 | Hewlett-Packard Development Company, L.P. | System and method for providing parallel data requests |
| US7883026B2 (en) * | 2004-06-30 | 2011-02-08 | Illinois Tool Works Inc. | Fluid atomizing system and method |
| EP1782244A4 (en) * | 2004-07-07 | 2010-01-20 | Emc Corp | SYSTEMS AND METHODS FOR IMPLEMENTING DISTRIBUTED CACHED MEMORY COHERENCE |
| US7865570B2 (en) * | 2005-08-30 | 2011-01-04 | Illinois Institute Of Technology | Memory server |
| US8966103B2 (en) * | 2007-12-21 | 2015-02-24 | General Instrument Corporation | Methods and system for processing time-based content |
| US9619303B2 (en) | 2012-04-11 | 2017-04-11 | Hewlett Packard Enterprise Development Lp | Prioritized conflict handling in a system |
| US10042762B2 (en) * | 2016-09-14 | 2018-08-07 | Advanced Micro Devices, Inc. | Light-weight cache coherence for data processors with limited data sharing |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4663706A (en) * | 1982-10-28 | 1987-05-05 | Tandem Computers Incorporated | Multiprocessor multisystem communications network |
| US5175839A (en) * | 1987-12-24 | 1992-12-29 | Fujitsu Limited | Storage control system in a computer system for double-writing |
| US5303362A (en) * | 1991-03-20 | 1994-04-12 | Digital Equipment Corporation | Coupled memory multiprocessor computer system including cache coherency management protocols |
| US5280612A (en) * | 1991-11-26 | 1994-01-18 | International Business Machines Corporation | Multiple version database concurrency control system |
| JP2809962B2 (ja) * | 1993-03-02 | 1998-10-15 | 株式会社東芝 | 資源管理方式 |
| US5465338A (en) | 1993-08-24 | 1995-11-07 | Conner Peripherals, Inc. | Disk drive system interface architecture employing state machines |
| US5561780A (en) | 1993-12-30 | 1996-10-01 | Intel Corporation | Method and apparatus for combining uncacheable write data into cache-line-sized write buffers |
| JPH08185359A (ja) * | 1994-10-31 | 1996-07-16 | Toshiba Corp | メモリサブシステム |
| EP0769171A1 (en) * | 1995-05-05 | 1997-04-23 | Silicon Graphics, Inc. | Page migration in a non-uniform memory access (numa) system |
| US5859985A (en) | 1996-01-14 | 1999-01-12 | At&T Wireless Services, Inc. | Arbitration controller for providing arbitration on a multipoint high speed serial bus using drivers having output enable pins |
| US6006255A (en) * | 1996-04-05 | 1999-12-21 | International Business Machines Corporation | Networked computer system and method of communicating using multiple request packet classes to prevent deadlock |
| US5761460A (en) | 1996-07-19 | 1998-06-02 | Compaq Computer Corporation | Reconfigurable dual master IDE interface |
| US6026472A (en) * | 1997-06-24 | 2000-02-15 | Intel Corporation | Method and apparatus for determining memory page access information in a non-uniform memory access computer system |
| US5887134A (en) | 1997-06-30 | 1999-03-23 | Sun Microsystems | System and method for preserving message order while employing both programmed I/O and DMA operations |
| US6044438A (en) * | 1997-07-10 | 2000-03-28 | International Business Machiness Corporation | Memory controller for controlling memory accesses across networks in distributed shared memory processing systems |
| US6055605A (en) * | 1997-10-24 | 2000-04-25 | Compaq Computer Corporation | Technique for reducing latency of inter-reference ordering using commit signals in a multiprocessor system having shared caches |
| US6014690A (en) * | 1997-10-24 | 2000-01-11 | Digital Equipment Corporation | Employing multiple channels for deadlock avoidance in a cache coherency protocol |
| US6085293A (en) * | 1998-08-17 | 2000-07-04 | International Business Machines Corporation | Non-uniform memory access (NUMA) data processing system that decreases latency by expediting rerun requests |
| US6961761B2 (en) | 2001-05-17 | 2005-11-01 | Fujitsu Limited | System and method for partitioning a computer system into domains |
| US7380001B2 (en) | 2001-05-17 | 2008-05-27 | Fujitsu Limited | Fault containment and error handling in a partitioned system with shared resources |
| US7194517B2 (en) | 2001-06-28 | 2007-03-20 | Fujitsu Limited | System and method for low overhead message passing between domains in a partitioned server |
| US7159017B2 (en) | 2001-06-28 | 2007-01-02 | Fujitsu Limited | Routing mechanism for static load balancing in a partitioned computer system with a fully connected network |
| US6742101B2 (en) | 2001-06-29 | 2004-05-25 | Fujitsu Limited | Scalable and flexible method for address space decoding in a multiple node computer system |
| US6862634B2 (en) | 2001-06-29 | 2005-03-01 | Fujitsu Limited | Mechanism to improve performance in a multi-node computer system |
-
2000
- 2000-07-14 US US09/616,583 patent/US6766360B1/en not_active Expired - Fee Related
-
2001
- 2001-07-16 JP JP2001215834A patent/JP2002091824A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007193784A (ja) * | 2006-01-17 | 2007-08-02 | Internatl Business Mach Corp <Ibm> | 同報通信範囲を示す無効な整合状態を正確に形成するためのデータ処理システム、キャッシュ・システム、および方法 |
| JP2011527060A (ja) * | 2008-07-07 | 2011-10-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | リージョン・キャッシュの援助によってデータ要求を効率的に処理する方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6766360B1 (en) | 2004-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10078592B2 (en) | Resolving multi-core shared cache access conflicts | |
| US7814286B2 (en) | Method and apparatus for filtering memory write snoop activity in a distributed shared memory computer | |
| US7698508B2 (en) | System and method for reducing unnecessary cache operations | |
| KR100970229B1 (ko) | 원격 캐시 존재 정보를 저장하는 프로세서 캐시를 구비한 컴퓨터 시스템 | |
| US5680576A (en) | Directory-based coherence protocol allowing efficient dropping of clean-exclusive data | |
| JP4966205B2 (ja) | 共有メモリコンピュータシステムにおける、所有されている複数のキャッシュブロックのライトバックの早期予測 | |
| US6868485B1 (en) | Computer system with integrated directory and processor cache | |
| US6633959B2 (en) | Non-uniform memory access (NUMA) data processing system that provides notification of remote deallocation of shared data | |
| US8185695B2 (en) | Snoop filtering mechanism | |
| JP2002091824A (ja) | 共有データ要求を操作するシステム及び方法 | |
| US6886079B2 (en) | Dynamic history based mechanism for the granting of exclusive data ownership in a non-uniform memory access (NUMA) computer system | |
| US20030009643A1 (en) | Two-stage request protocol for accessing remote memory data in a NUMA data processing system | |
| JP2000250812A (ja) | メモリ・キャッシュ・システムおよびその管理方法 | |
| JP2003030169A (ja) | マルチノード・コンピュータ・システムにおける非集中グローバル・コヒーレンス管理 | |
| JP2001282764A (ja) | マルチプロセッサシステム | |
| US20140297966A1 (en) | Operation processing apparatus, information processing apparatus and method of controlling information processing apparatus | |
| US7797495B1 (en) | Distributed directory cache | |
| KR20090053837A (ko) | 자기 조화형 데이터를 이용하여 멀티프로세서 시스템의 캐시 코히어런스 오버헤드를 저감시키는 메카니즘 및 방법 | |
| US6356982B1 (en) | Dynamic mechanism to upgrade o state memory-consistent cache lines | |
| US10776266B2 (en) | Apparatus and method of modification of stored data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081007 |