JP2001101148A - 分散共有メモリ型並列計算機 - Google Patents

Abstract

(57)【要約】 【課題】 プロセッサと、共有メモリの一部と、メモリ
コントローラと、キャッシュとを有するノードを複数有
し、各ノードは、各ノードに対応する相互結合網ルータ
により結合された分散共有メモリ型並列計算機におい
て、共有メモリとキャッシュのデータの一貫性を保ちつ
つ高速化を実現する。 【解決手段】相互結合網ルータに、ディレクトリ記憶
部、及び一貫性処理部を持たせ、ノード間のメモリアク
セス要求は、相互結合網ルータの一貫性処理部がディレ
クトリ記憶部を参照し、この内容に従ってメモリアクセ
ス要求転送処理、相互結合網ルータ間同期処理を行い、
共有メモリとキャッシュのデータの一貫性を保つことを
特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プロセッサと、共
有メモリの一部と、キャッシュとを有するノードを複数
有し、各ノードは、各ノードに対応する相互結合網ルー
タにより結合される、分散共有メモリ型並列計算機に関
する。

【０００２】

【従来の技術】図９は、分散共有メモリ型並列計算機の
全体構成例を示し、図10及び図11は、各々その構成要素
である、相互結合網ルータの構成例、及びノードの内部
構成例を示す。

【０００３】相互結合網ルータは、自ノードおよび他の
相互結合網ルータと、共有メモリのデータ及びメモリア
クセス要求のやり取りをするためのインタフェースであ
る、パケットバッファと、クロスバと、メモリアクセス
要求に記載されたノードIDに従って次に送るべき相互結
合網ルータを決定するルーティングコントローラとを有
する。

【０００４】ノードは、プロセッサと、共有メモリの一
部と、メモリコントローラと、キャッシュとを有し、キ
ャッシュは、共有メモリのブロック毎のデータのコピー
と、アドレスとを有する。

【０００５】図12は、図11の二つのノードのプロセッサ
が、互いにメモリを共有する分散共有メモリ型並列計算
機におけるデータの一貫性管理の必要性を説明する。こ
の例では、メモリアクセス要求を送るべきノードは他方
のノードであり、一意に決まるため、相互結合網ルータ
は省略されている。

【０００６】プロセッサＢが、プロセッサＡのノードの
共有メモリのブロックのデータをキャッシュにコピーし
ている状況において、共有メモリを有するノードのプロ
セッサＡ、すなわちホームノードのプロセッサが当該デ
ータを更新しようとした場合、プロセッサＢのノードの
キャッシュにある、当該ブロックのデータを同時に無更
新しなければ、プロセッサＢが間違ったデータを読み出
してしまうということが起こる。

【０００７】これを避ける手段として、図12の分散共有
メモリ型並列計算機にディレクトリ方式を適用した例を
図13に示す。この例では、共有メモリのブロック毎に、
ブロックのデータのコピーを保持するキャッシュの属す
るノードIDを示すノード情報と、ＭＳＩプロトコル(
Ｍ: Modified、Ｓ: Shared、Ｉ: Invalid ) の３状態を
示す状態情報と、を有するディレクトリを設け、メモリ
コントローラに一貫性管理機能を持たせ、メモリコント
ローラとする。

【０００８】状態情報がＭ状態であれば、あるノードが
オーナーノードとしてキャッシュの当該ブロックのデー
タを更新した状態、すなわち、共有メモリのデータと、
オーナーノードのキャッシュのデータとが一致していな
いことを表し、Ｓ状態であれば、１つ以上のノードが共
有ノードとして当該ブロックのデータを保持し、各々の
キャッシュのデータと、共有メモリのデータが一致して
いることを表し、Ｉ状態であれば、他に、共有メモリの
当該ブロックのデータを保持するノードはないことを表
す。

【０００９】ノードとして、オーナーノードは１個であ
り、ノードIDとしてコードで表現されるが、共有ノード
は最大、全ノードがあり得るため、共有ノードはビット
マップで表しても良い。

【００１０】また、共有メモリのあるブロックのデータ
が、更新された状態と共有された状態は、同時には発生
しないため、オーナーノードの情報は、共有ノードの情
報と同じフィールドに登録されても良い。以下オーナー
ノードの情報と、共有ノードの情報はノード情報として
説明する。

【００１１】メモリコントローラは、以下の機能により
共有メモリ及び各キャッシュのデータの一貫性を保つ。

【００１２】１．メモリコントローラが受け取ったメモ
リアクセス要求が自ノードの共有メモリに対する読み出
し要求の場合、当該ブロックのディレクトリに保持され
た状態情報とノード情報を参照し、状態情報がＳ状態の
場合は、データを読み出し、要求元ノードにデータを送
ると共に、ノード情報に、要求元ノードIDを追加し、状
態情報がＭ状態の場合は、読み出し要求をオーナーノー
ドに転送し、状態情報をＳ状態とし、ノード情報とし
て、元のオーナーノードIDと、要求元ノードIDを登録す
る。

【００１３】２．メモリコントローラが受け取ったメモ
リアクセス要求が、自ノードの共有メモリに対する無効
化／更新要求の場合、当該ブロックのディレクトリに保
持された状態情報とノード情報を参照し、共有ノードが
ある場合には、共有ノードに無効化要求を送り、状態情
報をＭ状態とし、ノード情報として要求元ノードIDを登
録する。共有ノードがない場合には、状態情報をＭ状態
とし、ノード情報として要求元ノードIDを登録する。

【００１４】３．メモリコントローラが受け取ったメモ
リアクセス要求が、他ノードの共有メモリに対するメモ
リアクセス要求である場合、その共有メモリを有するノ
ードにメモリアクセス要求を転送する。

【００１５】このように、ディレクトリ方式を用いる分
散共有メモリ型並列計算機では、各ノードは、メモリコ
ントローラの機能により、共有メモリと各キャッシュの
データの一貫性を保つ。

【００１６】図14は、図13の、ディレクトリ方式による
データの一貫性管理の動作について説明する。図14(1)
において、プロセッサＡで、ノードＡの共有メモリのア
ドレスadr に対するデータの読み出し要求が発生する
と、メモリコントローラはアドレスadr のディレクトリ
を参照する。この場合、ディレクトリの状態情報は無効
状態(Invalid：Ｉ) であるため、データを読み出し、プ
ロセッサＡに送る。

【００１７】これで、共有メモリのアドレスadr のデー
タをノードＡのキャッシュがコピーした状態となり、図
14(2) に示す如く、ディレクトリの状態情報に共有(Sha
red:Ｓ）状態が書き込まれ、ノード情報としてＡが登録
される。このＳ状態は、データと同時にプロセッサＡの
キャッシュに送られ、キャッシュの状態情報としても使
われる。

【００１８】次に図14(3) において、プロセッサＢで同
じアドレスadr のデータの読み出し要求が発生すると、
メモリコントローラはアドレスadr のディレクトリを参
照する。このとき、ディレクトリの状態情報はＳ状態で
あり、図14(4) に示す如く、メモリのデータと状態情
報、Ｓ状態がノードＢのキャッシュに送られ、ノード情
報としてＢが追加される( この時、ディレクトリの状態
情報はＳ状態のまま変わらない) 。

【００１９】次に図14(5) において、プロセッサＡでア
ドレスadr に対して更新要求が発生すると、メモリコン
トローラは、キャッシュのアドレスadr の状態情報がＳ
状態であることを確認し、共有メモリのアドレスadr の
ディレクトリを参照し、ディレクトリの状態情報がＳ状
態で、ノード情報としてＡ以外にＢが保持されているこ
とを確認し、ノードＢに無効化要求を送る。

【００２０】しかる後に、図14(6) に示す如く、ディレ
クトリの状態情報を更新(Modified:Ｍ) 状態に変更し、
ノード情報としてＡを登録する。これらの処理が完了す
ると、プロセッサＡは自分のキャッシュを書き換え、プ
ロセッサＢは、キャッシュのアドレスadr のデータを消
去する。

【００２１】以下、図９の従来のディレクトリ方式の分
散共有メモリ型並列計算機における具体的な各動作モー
ドの全体の流れを説明する。

【００２２】図15は従来のＭ状態のデータに対する読み
出し動作例を示し、図中の数字は、以下の各説明項目に
おける動作に対応する。初期状態では、ディレクトリの
状態情報はすべて無効状態（Ｉ状態）になっている。

【００２３】１．ノードＡからの、自ノードの共有メモ
リのアドレスadr に対するデータ読み出し要求により、
メモリコントローラは、アドレスadr のディレクトリを
参照しディレクトリの状態情報がＩ状態であることを確
認し、データを読み出し、ディレクトリの状態情報をＳ
状態に変更しノード情報としてＡを登録し、ノードＡの
キャッシュにデータと、状態情報Ｓ状態を送る。ノード
Ａのキャッシュでは、アドレスadr のデータをＳ状態と
して登録する。

【００２４】２．次にノードＢから、アドレスadr に対
して無効化／更新要求が発生した場合、この無効化／更
新要求はノードＢの相互結合網ルータを経由し、ホーム
ノードであるノードＡの相互結合網ルータを経由し、ノ
ードＡに送られる。ノードＡでは共有メモリのディレク
トリを参照し、ディレクトリの状態情報がＳ状態、ノー
ド情報がＡであることを確認し、ディレクトリの状態情
報をＭ状態に変更し、ノード情報としてＢを登録し、キ
ャッシュのアドレスadr のデータを消去する。その後に
ノードＢへ更新許諾を返す。ノードＢでは、キャッシュ
のアドレスadr をＭ状態とし、更新したデータを登録す
る。

【００２５】３．さらにノードＣからアドレスadr に対
する読み出し要求が発生した場合、読み出し要求はホー
ムノードである、ノードＡの相互結合網ルータを経由
し、ノードＡに送られる。ノードＡでは、ディレクトリ
の状態情報がＭ状態であり、ノード情報がＢであること
を確認し、読み出し要求をノードＢへ転送する。ノード
Ｂでは、キャッシュのアドレスadr をＳ状態とし、デー
タを読み出し、データと状態情報ＳをノードＡとノード
Ｃに送る。ノードＣでは、キャッシュにアドレスadr の
データを、状態情報をＳ状態として登録し、ノードＡで
は、共有メモリのアドレスadr のデータを登録し、ディ
レクトリとして、ノード情報Ｂ、Ｃ、状態情報Ｓを登録
する。

【００２６】図16は、従来のＳ状態のデータに対する無
効化／更新動作例を示す。１は、Ｍ状態のデータに対す
る読み出しの例と同様である。

【００２７】２．次にノードＢから、アドレスadr に対
して読み出し要求が発生した場合、この読み出し要求は
ホームノードであるノードＡの相互結合網ルータを経由
し、ノードＡに送られる。ノードＡでは、ディレクトリ
の状態情報がＳ状態であることを確認し、ノード情報と
してＢを追加し、アドレスadr のデータを読み出し、デ
ータと状態情報ＳをノードＢに送る。ノードＢでは、キ
ャッシュにアドレスadr のデータをＳ状態として登録す
る。

【００２８】３．さらにノードＣからアドレスadr に対
して無効化／更新要求が発生した場合、この無効化／更
新要求は、ホームノードであるノードＡの相互結合網ル
ータを経由し、ノードＡに送られる。

【００２９】ノードＡでは、ディレクトリの状態情報が
Ｓ状態で、ノード情報が、Ａ及びＢであることをを確認
し、ディレクトリの状態情報をＭ状態に更新し、ノード
情報としてＣを登録する。その後に、キャッシュのアド
レスadr のデータを消去し、無効化要求をノードＢに送
り、更新許諾をノードＣに返す。ノードＢでは、キャッ
シュのアドレスadr のデータを消去する。ノードＣで
は、キャッシュにアドレスadr のデータをＭ状態として
登録する。

【００３０】図17は、従来のＳ状態のデータに対する読
み出し動作例を示す。１〜２は、Ｓ状態のデータに対す
る無効化／更新の例と同様である。

【００３１】３．さらにノードＣからアドレスadr に対
する読み出し要求が発生した場合、読み出し要求はホー
ムノードであるノードＡの相互結合網ルータを経由し、
ノードＡに送られる。ノードＡでは、ディレクトリの状
態情報がＳ状態であることを確認し、ノード情報として
Ｃを追加する。その後に、アドレスadr のデータを読み
出し、データと状態情報ＳをノードＣに送る。ノードＣ
では、キャッシュにアドレスadr のデータをＳ状態とし
て登録する。

【００３２】

【発明が解決しようとする課題】しかし、従来のディレ
クトリ方式では、 １．自ノードのキャッシュに持っていないデータに対す
る読み出し要求は、図17に示すごとく、自ノードの近傍
のノードにデータがキャッシュされている場合でも、必
ずホームノードの共有メモリに送られるため、キャッシ
ュされているデータが有効活用できず、処理が遅い。

【００３３】２．従って、特定のデータに関する処理を
複数のノードで分散して処理する場合、処理を分散した
にもかかわらずこのデータのホームノードにメモリアク
セス要求が集中し、ホームノードでの処理がボトルネッ
クになって全体の速度を低下させる、という問題があ
る。

【００３４】分散共有メモリ型並列計算機においては、
共有メモリとキャッシュのデータの一貫性を保ちつつ、
高速のメモリの無効化／更新要求、読み出し処理を実現
することが要求されている。

【００３５】本発明は、処理を高速化し、且つ全体の速
度をあげることを目的としている。

【００３６】

【課題を解決するための手段】本発明では、相互結合網
ルータに、ディレクトリ記憶部、及び一貫性処理部を持
たせ、ノード間のメモリアクセス要求は、相互結合網ル
ータの一貫性処理部がディレクトリ記憶部を参照し、こ
の内容に従ってメモリアクセス要求転送処理、相互結合
網ルータ間同期処理を行い、共有メモリとキャッシュの
データの一貫性を保つことを特徴とする。

【００３７】1.ディレクトリ記憶部 ディレクトリ記憶部の保持内容 キャッシュが共有メモリのコピーを持っている、 1.1 ブロックアドレス（adr) 1.2 ブロックの状態情報（更新Ｍ、あるいは共有Ｓ) 1.3 ノード情報（ノードID) 2.一貫性処理部 2.1 メモリアクセス要求転送手段:あるプロセッサから
のメモリアクセス要求に対応して、ディレクトリ記憶部
を参照し、メモリブロックのアドレスが保持されている
場合は、当該アドレスに付随するノードに、保持されて
いない場合はホームノードに、メモリアクセス要求を転
送するメモリアクセス要求転送する。

【００３８】ホームノード以外に読み出し要求を転送し
た場合、ホームノードには要求元ノードIDをノード情報
としてホームノードに転送し、ホームノードでは、要求
元ノードIDをノード情報として追加登録する。

【００３９】例えばＳ状態のデータに対する読み出し要
求は、従来では、要求元ノード→相互結合網ルータ→・
・・ホームノードの相互結合網ルータ→ホームノード→
相互結合網ルータ→・・・相互結合網ルータ→共有ノー
ドという経路で送られていた。

【００４０】しかし、本発明によれば、Ｓ状態のデータ
に対する読み出し要求は、要求元ノード→相互結合網ル
ータ→共有ノードID参照→保持されている最寄りの共有
ノードの相互結合網ルータ→共有ノードという経路にな
る。すなわち、相互結合網ルータにノード情報が保持さ
れている場合は、保持されている最寄りの共有ノードか
らデータを読み出し、ホームノードを経由しないため、
速度が向上する。

【００４１】2.2 相互結合網ルータ間同期手段:一貫性
処理を複数箇所、即ちメモリコントローラと、同じブロ
ックのディレクトリ情報を有する相互結合網ルータの一
貫性処理部と、で実行しても、以下の同期処理を行うこ
とで、一つのブロックのデータに対する更新が複数の場
所で同時に実行されることを防止し、データの一貫性を
保つ。

【００４２】同期処理：複数のノードで、あるブロック
に対する無効化／更新要求が発生した場合、各ノードの
相互結合網ルータは、ホームノードの相互結合網ルータ
に無効化／更新要求を送る。ホームノードの相互結合網
ルータでは、最初に無効化／更新要求を受け取ったノー
ドに対し更新許諾の応答を返し、ホームノードには無効
化要求と無効化要求元のノードIDを、他の共有ノードに
は無効化要求を送る。

【００４３】ホームノードでは、当該ブロックのディレ
クトリを状態情報をＭ状態、ノード情報を要求元ノード
IDとして登録し、キャッシュのアドレスadr のデータを
消去し、他の共有ノードではキャッシュのアドレスadr
のデータを消去する。

【００４４】無効化／更新要求を送ったにもかかわら
ず、更新許諾ではなく、無効化要求を受け取ったノード
では、改めてアドレスadr のデータを読み出し、この値
に基づいた処理を行う。

【００４５】他の構成／機能として、ディレクトリ記憶
部に第二のノード情報の記憶部として、読み出し要求元
のノードIDを登録する、転送ノード情報記憶を追加し、
一貫性処理部に読み出しデータ転送処理手段を追加し、
以下の読み出しデータ転送処理を行うことにより、共有
メモリとキャッシュのデータの一貫性を保ちつつ、相互
結合網ルータ間の同期処理を一部省略し、さらに速度が
向上する。

【００４６】3.読み出しデータ転送処理 読み出しデータ転送手段は、ディレクトリ記憶部に保持
されたアドレスadr に対する読み出し要求を受け、ホー
ムノード以外の共有ノードに読み出し要求を転送した場
合、読み出し要求元ノードIDを転送ノード情報に登録す
る。

【００４７】読み出し要求を転送されたノードは、アド
レスadr のデータを読み出し、要求元ノードに、データ
と状態情報Ｓを送る。この場合、ホームノードへのノー
ド情報の転送は省略され、処理が高速化される。

【００４８】なお、この時点では、転送ノード情報に保
持されたノードは共有メモリのディレクトリに保持され
ていないが、あるノードで当該アドレスadr に対する無
効化／更新要求が発生した時点で、一貫性処理が以下の
如く行われる。

【００４９】発生した無効化／更新要求は、ホームノー
ドの相互結合網ルータに送られ、ホームノードの相互結
合網ルータは、ディレクトリ記憶部のアドレスadr に保
持されている全共有ノードに無効化要求を送る。

【００５０】アドレスadr の転送ノード情報を持つ相互
結合網ルータが、ホームノードからアドレスadr に対す
る無効化要求を受け取ると、保持された転送ノード情報
に従って、無効化要求を全転送ノードに転送し、全ての
共有ノードに対する無効化が完了する。

【００５１】保持しているデータには、無効化／更新処
理する必要のないデータも含まれるため、一部の無駄な
処理を省き、さらに速度が向上する。

【００５２】

【発明の実施の形態】図１は、本発明による相互結合網
ルータの構成例を示す。本発明による相互結合網ルータ
は、通常のルーティング機能部分としての、パケットバ
ッファと、クロスバと、ルーティングコントローラと、
本発明の特徴である、ディレクトリ記憶部と、一貫性処
理部とを有する。

【００５３】本実施例では簡単のため、 １．相互結合網の構成として、図９、図13に示す、ひと
つのノードにひとつのプロセッサ・キャッシュの組を接
続した構成。 ２．各ノードの相互結合網ルータのディレクトリ記憶部
に登録するディレクトリは、自ノードからメモリアクセ
ス要求を出したアドレスのディレクトリ、とするが、 １．相互結合網の構成として、ひとつのノードに複数の
プロセッサ・キャッシュの組が接続された構成。 ２．各ノードの相互結合網ルータのディレクトリ記憶部
に登録するディレクトリは、メモリアクセス要求が経由
する、全相互結合網ルータ、あるいは、ホームノードの
相互結合網ルータ、あるいは、現在、データを保持して
いるノードの相互結合網ルータ、及び現在、データを更
新しているノードの相互結合網ルータ、あるいは、過去
にディレクトリを登録した履歴を持つ相互結合網ルー
タ、及び前記各相互結合網ルータの組み合わせ、であっ
てもよい。

【００５４】以下、図15、図16、図17の従来例と対比
し、図９の分散共有メモリ型並列計算機に本発明を適用
した実施例について説明する。

【００５５】図２は、図１の相互結合網ルータを用い、
図15の従来例に対応した、Ｍ状態のデータに対する読み
出し動作例を示し、図３は、この場合の相互結合網ルー
タの動作のフローを示す。初期状態では、ディレクトリ
の状態情報はすべて無効状態になっている。

【００５６】1 ．ノードＡから、自ノードの共有メモリ
のアドレスadr に対するデータ読み出し要求により、メ
モリコントローラはアドレスadr のディレクトリを参照
し、状態情報がＩ状態であることを確認し、データを読
み出し、ノードＡのキャッシュに送ると共に、ディレク
トリの状態情報をＳ状態に変更し、ノード情報としてＡ
を登録する。

【００５７】ノードＡのキャッシュでは、アドレスadr
のデータをＳ状態として登録し、ノードＡの相互結合網
ルータでは、ディレクトリ記憶部に、アドレスadr の状
態をＳ状態として登録する。

【００５８】2 ．次にノードＢから、アドレスadr に対
して、無効化／更新要求が発生した場合、この無効化／
更新要求は、途中経由する各相互結合網ルータのディレ
クトリ記憶部を参照しつつ、ノードＢの相互結合網ルー
タから、ノードＡの相互結合網ルータに送られる。

【００５９】ノードＡの相互結合網ルータでは、ディレ
クトリ記憶部を参照し、アドレスadr の状態情報がＳ状
態、ノード情報Ａを確認し、状態情報をＭ状態に変更
し、ノード情報としてＢを登録し、ノードＢの相互結合
網ルータを経由し、ノードＢに更新許諾の応答を返し、
ノードＡにアドレスadr の無効化要求を送る。

【００６０】ノードＢの相互結合網ルータでは、ディレ
クトリ記憶部にアドレスadr を状態情報をＭ状態、ノー
ド情報としてＢを登録し、ノードＢに応答を返す。ノー
ドＢでは、キャッシュにadr をＭ状態で登録し、データ
を更新する。

【００６１】ノードＡでは、キャッシュのアドレスadr
を消去し、共有メモリの、アドレスadr のディレクトリ
の状態情報をＭ状態に変更し、ノード情報としてＢを登
録する。

【００６２】3 ．さらにノードＣからアドレスadr に対
する読み出し要求が発生した場合、読み出し要求は、途
中経由する各相互結合網ルータのディレクトリ記憶部を
参照しつつ、ノードＣの相互結合網ルータから、ノード
Ａの相互結合網ルータに送られる。

【００６３】ノードＡの相互結合網ルータは、ディレク
トリ記憶部を参照し、アドレスadrの状態情報がＭ状
態、ノード情報Ｂを確認し、状態情報をＳ状態に更新
し、ノード情報として、Ｂ，Ｃを登録する。その後に、
読み出し要求をノードＢの相互結合網ルータへ転送し、
ノードＡに対し、読み出し要求が転送された旨を伝え
る。

【００６４】ノードＢの相互結合網ルータは、読み出し
要求を受け取ると、ディレクトリ記憶部を参照し、アド
レスadr の状態情報がＭ状態、ノード情報Ｂを確認し、
ノードＢに読み出し要求を送る。

【００６５】ノードＢでは、キャッシュのアドレスadr
の状態情報をＳ状態とし、データを読み出し、データを
ノードＢの相互結合網ルータを経由しノードＣに送る。

【００６６】ノードＢの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr の状態情報をＳ状態、ノー
ド情報としてＢ，Ｃを登録し、データをノードＣの相互
結合網ルータを経由し、ノードＣに送る。

【００６７】ノードＣの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr の状態情報をＳ状態、ノー
ド情報としてＢ，Ｃを登録し、データをノードＣに送
る。ノードＣでは、キャッシュにアドレスadr のデータ
をＳ状態として登録する。

【００６８】ノードＡでは、共有メモリの、アドレスad
r のディレクトリ状態情報をＳ状態に変更しノード情報
としてＢ，Ｃを登録する。

【００６９】この動作により、読み出し要求がノードＡ
を経由せず、ノードＡの相互結合網ルータからノードＢ
に送られるため、処理速度が向上する。

【００７０】なお、ノードＣからの読み出し要求が、ノ
ードＢの相互結合網ルータを経由する場合、読み出し要
求はノードＡの相互結合網ルータも経由せず、ノードＢ
の相互結合網ルータから、直接ノードＢに送られるた
め、さらに速度が向上する。

【００７１】図４は、図１の相互結合網ルータを用い、
図16の従来例に対応した、Ｓ状態のデータに対する無効
化／更新動作例を示し、図５は、相互結合網ルータの動
作のフローを示す。１は、Ｍ状態のデータに対する読み
出しの例と同様である。

【００７２】２．次にノードＢから、アドレスadr に対
して読み出し要求が発生した場合、この読み出し要求
は、途中経由する各相互結合網ルータのディレクトリ記
憶部を参照しつつ、ノードＢの相互結合網ルータから、
ノードＡの相互結合網ルータに送られる。

【００７３】ノードＡの相互結合網ルータでは、ディレ
クトリ記憶部を参照し、アドレスadr の状態情報がＳ状
態、ノード情報Ａを確認し、ノードＡに読み出し要求を
送る。

【００７４】ノードＡでは、共有メモリのアドレスadr
のディレクトリ状態がＳ状態であることを確認し、ノー
ド情報としてＢを追加するとともに、キャッシュのアド
レスadr からデータを読み出し、ノードＡの相互結合網
ルータを経由し、ノードＢに送る。

【００７５】ノードＡの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr のノード情報としてＢを追
加し、データをノードＢの相互結合網ルータを経由し、
ノードＢに送る。

【００７６】ノードＢの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr の状態情報をＳ状態、ノー
ド情報としてＡ，Ｂを登録し、データをノードＢに送
る。ノードＢでは、キャッシュにアドレスadr のデータ
をＳ状態として登録する。

【００７７】３．さらにノードＣからアドレスadr に対
する無効化／更新要求が発生した場合、この無効化／更
新要求は、途中経由する各相互結合網ルータのディレク
トリ記憶部を参照しつつ、ノードＣの相互結合網ルータ
から、ノードＡの相互結合網ルータに送られる。

【００７８】ノードＡの相互結合網ルータでは、ディレ
クトリ記憶部を参照し、アドレスadr の状態情報がＳ状
態、ノード情報Ａ，Ｂを確認し、状態情報をＭ状態に変
更し、ノード情報としてＣを登録し、ノードＣに更新許
諾の応答を返し、ノードＡ，Ｂに無効化要求を送る。

【００７９】ノードＣの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr をＭ状態、ノード情報とし
てＣを登録し、ノードＣに更新許諾の応答を返す。ノー
ドＣでは、キャッシュのアドレスadr の状態をＭとしデ
ータを更新する。

【００８０】ノードＡでは、キャッシュのアドレスadr
を消去し、共有メモリのアドレスadr のディレクトリの
状態情報をＭ状態に変更し、ノード情報としてＣを登録
する。

【００８１】ノードＢの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr をＭ状態に更新し、ノード
情報としてＣを登録する。その後に、ノードＢにアドレ
スadr の無効化要求を送る。ノードＢではキャッシュの
adr のデータを消去する。

【００８２】この動作により、更新許諾がノードＡを経
由せず、ノードＡの相互結合網ルータからノードＣに返
されるため、処理の高速化が実現できる。

【００８３】図６は、ディレクトリ記憶部に、転送ノー
ド情報記憶を追加した相互結合網ルータの他の構成例を
示す。図６の相互結合網ルータは、受け取った読み出し
要求が、ディレクトリ記憶部に保持されているブロック
に対する読み出し要求であった場合は、保持されている
共有ノードのうちの、最寄りの共有ノードに読み出し要
求を転送し、最寄りのノードがホームノード以外の場合
は、読み出し要求元ノードのIDを転送ノード情報に登録
する。

【００８４】図７は、ノードＡとノードＣの中間にノー
ドＢがある構成例によるＳ状態のデータに対する読み出
し動作例を示し、図8 は、相互結合網ルータの動作のフ
ローを示す。１〜2 は、Ｓ状態のデータに対する無効化
／更新の例と同様である。

【００８５】3.さらにノードＣからアドレスadr に対す
る読み出し要求が発生した場合、この読み出し要求は、
途中経由する各相互結合網ルータのディレクトリ記憶部
を参照しつつ、ノードＣの相互結合網ルータからノード
Ｂの相互結合網ルータに送られる。

【００８６】ノードＢの相互結合網ルータでは、ディレ
クトリ記憶部を参照し、状態情報がＳ状態、ノード情報
Ａ，Ｂを確認し、最寄りの共有ノードＢに読み出し要求
を転送するが、ノードＢがホームノードでない為、転送
ノード情報として要求元ノードＣを登録する。

【００８７】ノードＢは、キャッシュからデータを読み
出し、ノードＢの相互結合網ルータを経由しノードＣの
相互結合網ルータにデータを送る。

【００８８】ノードＣの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr を、状態情報をＳ状態、ノ
ード情報としてＡ，Ｂ，Ｃを登録し、データをノードＣ
に送る。ノードＣではキャッシュにアドレスadr のデー
タをＳ状態として登録する。以上で、読み出し動作は完
了する。

【００８９】この動作により、読み出し要求がノードＡ
の相互結合網ルータを経由せず、データがノードＢの相
互結合網ルータから直接ノードＣに送られるため、処理
の高速化が実現できる。

【００９０】この場合、ホームノード（ノードＡ）の相
互結合網ルータのディレクトリ記憶部、及び共有メモリ
のディレクトリでは、アドレスadr のノード情報は、
Ａ，Ｂとして保持されたままであり、一貫性処理動作は
完了していない。

【００９１】アドレスadr の一貫性処理の動作は、ノー
ドＡの相互結合網ルータが、次にアドレスadr に対する
無効化／更新要求を受け取った時点での後処理として、
以下の如く実行される。

【００９２】ノードＡの相互結合網ルータは、アドレス
adr に対する無効化／更新要求を、例えば、ノードＤか
ら受け取ると、ディレクトリを参照し、状態情報がＳ状
態、ノード情報Ａ，Ｂを確認し、状態情報をＭ状態に変
更し、ノード情報としてＤを登録し、ノードＡ，Ｂに無
効化要求を送る。

【００９３】ノードＢの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr を参照し、Ｓ状態、転送ノ
ード情報Ｃを確認し、状態情報をＭ状態、ノード情報と
してＤを登録し、キャッシュのアドレスadr を消去する
とともに、無効化要求をノードＢ及びノードＣの相互結
合網ルータに送る。

【００９４】ノードＣの相互結合網ルータでは、ディレ
クトリ記憶部のアドレスadr を参照し、状態情報がＳ状
態を確認し、状態情報をＭ状態として登録し、ノード情
報としてＤを登録する。

【００９５】

【発明の効果】以上説明したように、本発明によれば、
ディレクトリ方式の、共有メモリとキャッシュのデータ
の一貫性処理方法を用いながら、データを保持するキャ
ッシュがある場合には、メモリアクセス要求がホームノ
ードを経由する必要がなく、相互結合網ルータ間で転送
することで、高速処理が可能になる。また、ホームノー
ドを経由しないことにより、ホームノードにアクセスが
集中してシステム全体の速度を低下させることがなくな
るという効果がある。

【図面の簡単な説明】

【図１】 本発明による相互結合網ルータの構成例

【図２】 本発明によるＭ状態のデータに対する読み出
し動作例

【図３】 Ｍ状態のデータに対する読み出し動作フロー

【図４】 本発明によるＳ状態のデータに対する無効化
／更新動作例

【図５】 Ｓ状態のデータに対する無効化／更新動作フ
ロー

【図６】 本発明による転送ノード情報記憶を備えた相
互結合網ルータ

【図７】 本発明によるＳ状態のデータに対する読み出
し動作例

【図８】 Ｓ状態のデータに対する読み出し動作フロー

【図９】 分散共有メモリ型並列計算機の全体構成例

【図１０】 相互結合網ルータの構成例

【図１１】 ノード内部の構成

【図１２】 ディレクトリ方式によるデータの一貫性管
理

【図１３】 ディレクトリ方式を用いる分散共有メモリ
型並列計算機

【図１４】 分散共有メモリ型並列計算機におけるデー
タの一貫性管理

【図１５】 従来のＭ状態のデータに対する読み出し動
作例

【図１６】 従来のＳ状態のデータに対する無効化／更
新動作例

【図１７】 従来のＳ状態のデータに対する読み出し動
作例

【符号の説明】

１ ディレクトリ記憶部 ２ 一貫性処理部 ３ ルーティングコントローラ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B005 JJ11 KK02 KK13 MM01 NN11 NN31 PP21 5B045 BB17 DD01 DD13

Claims (2)

【特許請求の範囲】
1. 【請求項１】 プロセッサと、共有メモリの一部と、メ
   モリコントローラと、キャッシュとを有するノードを複
   数有し、 各ノードは、各ノードに対応する相互結合網ルータによ
   り結合された分散共有メモリ型並列計算機であって、 共有メモリは、ブロック毎に、メモリのデータのコピー
   を保持するキャッシュの属するノードIDを示すノード情
   報と、保持状態を示す状態情報とからなるディレクトリ
   を有し、 メモリコントローラは、相互結合網ルータから転送され
   るメモリアクセス要求に従って、共有メモリのディレク
   トリの参照／更新と、キャッシュへの無効化通知とを行
   う一貫性管理手段を有し、 キャッシュは、共有メモリのブロック毎のデータのコピ
   ーとアドレスと保持状態を示す状態情報とを有し、 相互結合網ルータは、共有メモリのブロックのデータの
   コピーを保持するキャッシュの属するノードIDを示すノ
   ード情報と、保持状態を示す状態情報と、メモリブロッ
   クのアドレスとを保持するディレクトリ記憶部と、プロ
   セッサからのメモリアクセス要求に対応してディレクト
   リ記憶部を参照し、メモリブロックのアドレスが保持さ
   れている場合は、当該アドレスに付随するノードに、保
   持されていない場合は共有メモリの属するノードにメモ
   リアクセス要求を転送するメモリアクセス要求転送手段
   と、自ノードの共有メモリに対する無効化／更新要求に
   対応してディレクトリ記憶部を参照し、最初に無効化／
   更新要求を受け取った要求元ノードに対し更新許諾の応
   答を返し、自ノードには無効化要求と無効化要求元ノー
   ドIDを送り、ノード情報に保持された他のノードには無
   効化要求を送る相互結合網ルータ間同期手段と、よりな
   る一貫性処理部を有することを特徴とする、分散共有メ
   モリ型並列計算機。
2. 【請求項２】 請求項１に記載の分散共有メモリ型並列
   計算機であって、 ディレクトリ記憶部は、転送ノード情報を有し、 一貫性処理部は、プロセッサからの読み出し要求に対応
   して、ディレクトリ記憶部を参照し、ノード情報に保持
   されたノードのうちの、最寄りのノードに読み出し要求
   を転送し、最寄りのノードが共有メモリの属するノード
   以外の場合、読み出し要求元のノードIDを転送ノード情
   報として登録し、共有メモリの属するノードからの無効
   化要求に対応し転送ノード情報を参照し、全転送ノード
   に無効化要求を転送する、読み出しデータ転送処理手段
   を有することを特徴とする分散共有メモリ型並列計算
   機。