JP2000132531A

JP2000132531A - マルチプロセッサ

Info

Publication number: JP2000132531A
Application number: JP10301948A
Authority: JP
Inventors: Atsushi Hikono; 厚志彦野; Kenji Takebe; 建治武部; Masami Sato; 正美佐藤
Original assignee: PFU Ltd
Current assignee: PFU Ltd
Priority date: 1998-10-23
Filing date: 1998-10-23
Publication date: 2000-05-12

Abstract

(57)【要約】【課題】キャッシュを持つ複数のプロセッサを有する
マルチプロセッサにおいて、キャッシュのコヒーレンシ
ーを維持するための処理を効率良く行うこと。【解決手段】システム・コントローラが配下のプロセ
ッサからメモリ・アクセス要求を受け取ると、当該メモ
リ・アクセス要求をシステム・バス上にブロードキャス
トすると共に、アクセス対象のメモリ空間ｘに対応する
タグ情報が持つキャッシュ状態をシステム・バス上に出
力する。ブロードキャストされたメモリ・アクセス要求
を受け取った他のノードのシステム・コントローラは、
メモリ空間ｘに対応するタグ情報が持つキャッシュ状態
をシステム・バス上に出力し、次いでシステム・バス上
のキャッシュの状態を参照して配下のプロセッサ又はメ
モリに対して必要な処理を要求し、要求した処理が終了
した後にマスタのシステム・コントローラに対して応答
を返す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のプロセッサ
のキャッシュのコヒーレンシーの制御を複数のシステム
・コントローラがシステム・バスを介して行うマルチプ
ロセッサに関するものである。

【０００２】

【従来の技術】従来、複数のプロセッサを制御するシス
テム・コントローラを複数個持つマルチプロセッサにお
いては、プロセッサ又はバス・ブリッジからメモリ・ア
クセス要求を受けたシステム・コントローラ（マスタの
システム・コントローラ）が他のプロセッサを制御して
いるシステム・コントローラ（スレーブのシステム・コ
ントローラ）から各プロセッサのキャッシュの状態を読
み出し、必要に応じて他のシステム・コントローラが制
御するプロセッサが持つキャッシュに対するコピーバッ
ク要求やインバリデート要求を当該システム・コントロ
ーラに対してシステム・バスを経由して送っていた。

【０００３】

【発明が解決しようとする課題】従来のシステムでは、
キャッシュのコヒーレンシー（ｃｏｈｅｒｅｎｃｙ）を
保つために、或る一つのメモリ・アクセス要求に対して
複数のバス・トランザクションの遣り取りがシステム・
バス上で必要であった。例えば、或るメモリ・アクセス
に対して複数のプロセッサのキャッシュのインバリデー
ト（ｉｎｖａｌｉｄａｔｅ）作業が必要な場合は、その
数だけメモリ・アクセス要求を受けたマスタのシステム
・コントローラがシステム・バスを介してインバリデー
ト作業が必要なプロセッサを配下に持つシステム・コン
トローラに対してインバリデート要求を送らなければな
らなかった。

【０００４】そのため、幾つものバス・トランザクショ
ンがシステム・バスに出てしまい、システム・バスを占
有してしまっていた。そのため、プロセッサのキャッシ
ュに対するインバリデート要求やコピーバック要求が遅
れてしまうと共に、他のアクセスと競合する確率が高く
なり、システム全体の性能の低下を招いていた。本発明
は、この点に鑑みて創作されたものであって、複数のプ
ロセッサの各々がキャッシュを有するマルチプロセッサ
において、キャッシュのコヒーレンシーを維持するため
の処理を効率よく行い得るようにすることを目的として
いる。

【０００５】

【課題を解決するための手段】図１は本発明の原理説明
図である。本発明では、キャッシュの状態を複数のシス
テム・コントローラで共有する。或るメモリ・アクセス
要求が発生したら、当該メモリ・アクセス要求を受けた
マスタのシステム・コントローラは、システム・バスに
当該アクセス要求をブロードキャストする。システム・
バスに接続されている各システム・コントローラは、当
該ブロードキャストを受信すると、自分が制御するプロ
セッサのキャッシュの状態をシステム・バス上に出力す
る。各システム・コントローラは、システム・バス上の
キャッシュの状態を見ることで、配下のプロセッサに対
して、コピーバック作業やインバリデート作業が必要か
否かを独自に判断することが出来る。

【０００６】システム・コントローラは、メモリ・アク
セス要求を受け取ると、マスタのシステム・コントロー
ラから要求されることなく、必要に応じてコピーバック
作業やインバリデート作業を即座に開始する。

【０００７】また、プロードキャストされたメモリ・ア
クセス要求がリードの場合には、リソース・メモリを持
つシステム・コントローラは、そのメモリへのリード・
アクセスを開始し、次いで各システム・コントローラか
ら出力されたキャッシュの状態が最新データがキャッシ
ュに存在することを示しているか否かを調べ、最新デー
タがキャッシュに存在する場合には当該メモリ・アクセ
スをキャンセルする。なお、リソース・メモリとは、ブ
ロードキャストされたメモリ・アクセス要求の対象とな
るメモリ空間を持つメモリを意味している。

【０００８】処理が必要と判断したシステム・コントロ
ーラは、自分が制御するプロセッサやメモリへの処理が
全て終了した段階で、マスタのシステム・コントローラ
に応答を返す。マスタのシステム・コントローラは、応
答が必要なシステム・コントローラからの応答を待つと
共に、自分が制御するプロセッサへの処理が必要な場合
はその処理を行った後、メモリ・アクセスを終結させ
る。

【０００９】本発明によれば、システム・コントローラ
の各々が独自にキャッシュのコヒーレンシーを維持する
ための作業を行うために、システム・バスの使用を最低
限にすることができ、性能の低下を防げる。また、各々
のシステム・コントローラが独自に判断するために、い
ちはやくプロセッサに対するコピーバック作業やインバ
リデート作業，メモリ・アクセス，メモリ・アクセスの
キャンセルの開始が可能である。

【００１０】

【発明の実施の形態】図２は本発明のマルチプロセッサ
の構成例を示す図である。同図において、１００はノー
ド、１１１と１１２はプロセッサ、１２１と１２２はタ
グ部、１３０はシステム・コントローラ、１４０はクロ
スバ・スイッチ、１５１と１５２はメモリ、１６０はバ
ス・ブリッジ、２００はノード、２１１と２１２はプロ
セッサ、２２１と２２２はタグ部、２３０はシステム・
コントローラ、２４０はクロスバ・スイッチ、２５１と
２５２はメモリ、２６０はバス・ブリッジ、３００はノ
ード、４００もノードをそれぞれ示している。

【００１１】ノード１００，２００，３００，４００は
同じ構成を持っているので、主としてノード１００につ
いて説明する。バス・ブリッジ１６０の先には入出力装
置が接続されている。プロセッサ１１１は内部にキャッ
シュ（図示せず）を有しており、キャッシュはデータ部
とタグ部とから構成されている。プロセッサ１１２も内
部にキャッシュを有している。タグ部１２１の内容はプ
ロセッサ１１１のキャッシュのタグ部の内容と実質的に
同じであり、タグ部１２２の内容はプロセッサ１１２の
キャッシュのタグ部の内容と実質的に同じである。

【００１２】システム・コントローラ１３０は、アドレ
スを一括制御するものである。クロスバ・スイッチ１４
０は、システム・コントローラ１３０の指示に従って、
データの流れを制御するものである。例えば、バス・ブ
リッジ１６０のデータ・バスをシステム・バスに含まれ
るデータ・バスに接続したり、プロセッサ１１１のデー
タ・バスをメモリ１５１のデータ・バスに接続したりす
る。メモリ１５１は主記憶の一部を構成するものであ
る。メモリ１５２も同様である。例えば、メモリ１５１
には主記憶アドレスのビット６〜８が０００であるデー
タが格納され、メモリ１５２には主記憶アドレスのビッ
ト６〜８が００１のデータが格納される。また、ノード
２００のメモリ２５１には主記憶アドレスのビット６〜
８が０１０のデータが格納され、ノード２００のメモリ
２５２には主記憶アドレスのビット６〜８が０１１のデ
ータが格納される。

【００１３】タグ部１２１はＮ個（Ｎは２，３，…）の
タグ情報を記憶することが出来る。タグ情報は、アドレ
スとキャッシュの状態を持つ。キャッシュの状態種別と
しては、Ｍ，Ｏ，Ｓ，Ｉがある。ＭはＥｘｃｌｕｓｉｖ
ｅ＆ＰｏｔｅｎｔｉａｌｙＭｏｄｉｆｙを示し、ＯはＳ
ｈａｒｅｄ−Ｍｏｄｉｆｙを示し、ＳはＳｈａｒｅ−Ｃ
ｌｅａｎを示し、ＩはＩｎｖａｌｉｄａｔｅを示す。

【００１４】タグ部１２１の中に存在する或るタグ情報
のキャッシュの状態がＭであると言うことは、当該タグ
情報に対応する主記憶上のメモリ空間がプロセッサ１１
１によって占有され、且つ当該タグ情報に対応するプロ
セッサ１１１のキャッシュのデータ・ブロックが書き換
えられている可能性があることを示す。タグ部１２１の
中に存在する或るタグ情報のキャッシュの状態がＯであ
ると言うことは、当該タグ情報に対応する主記憶上のメ
モリ空間がプロセッサ１１１を含む複数のプロセッサに
よって共有され、且つ当該タグ情報に対応するプロセッ
サ１１１のキャッシュのデータ・ブロックが書き換えら
れている可能性があることを示す。

【００１５】タグ部１２１の中に存在する或るタグ情報
のキャッシュの状態がＳであると言うことは、当該タグ
情報に対応する主記憶上のメモリ空間がプロセッサ１１
１を含む複数のプロセッサによって共有され、且つ当該
タグ情報に対応するプロセッサ１１１のキャッシュのデ
ータ・ブロックが書き換えたものを共有している場合も
あることを示す。タグ部１２１の中に存在する或るタグ
情報のキャッシュの状態がＩであると言うことは、当該
タグ情報に対応するプロセッサ１１１のキャッシュのデ
ータ・ブロックが無効であることを示す。

【００１６】ノード１００，２００，３００，４００
は、システム・バスによって接続されている。システム
・バスは、アドレス・バス，データ・バス，リプライ・
バス，スヌープ（ｓｎｏｏｐ）バスから構成されてい
る。各ノードのシステム・コントローラはアドレス・バ
ス，リプライ・バス，スヌープ・バスに接続され、クロ
スバ・スイッチはデータ・バスに接続されている。

【００１７】アドレス・バスには、以下に示すような複
数の情報が入る。 ○アドレス ○タイプ（アクセスの種類を示す。ＲＤＳ，ＲＤＳＡ，
…など） ○マスタＩＤ（アクセス発生元。例えばＣＰＵのＩＤな
ど） ○クラス（処理の優先順位）

【００１８】スヌープ・バスはシステム・コントローラ
から４本出ている。１個のプロセッサあたり２本で、４
つのキャッシュの状態を示す。図示のように、４個のシ
ステム・コントローラが存在し、各システム・コントロ
ーラの配下に２個のプロセッサが存在する場合には、ス
ヌープ・バスは１６本の信号線で構成される。

【００１９】リプライ・バスは複数本の信号線で構成さ
れる。以下に構成要素を示す。 ○マスタＩＤ（どのマスタＩＤのアクセスに介するリプ
ライかを示す。） ○クラス（どのクラスに対するリプライかを示す。） ○タイプ（リプライの種類を示す。ＲＢＳ，ＳＷＢ，Ｐ
ＳＡＣＫなど）ＲＢＳとは、ＲｅａｄＢｌｏｃｋＳｈａｒｅｄの略
であり、メモリ・リードに対するリプライである。ＳＷ
Ｂとは、ＳｌａｖｅＷｒｉｔｅＢｌｏｃｋの略であ
り、メモリ・ライトでデータをスレーブに送るリプライ
である。ＰＳＡＣＫとは、インバリデート終了をマスタ
のシステム・コントローラに送るリプライである。

【００２０】プロセッサが出すメモリ・アクセス要求に
は、以下に示すような４種類のリード要求と，２種類の
ライト要求とが存在する。ＲＤＳＲｅａｄＴｏＳｈａｒｅＲＤＳＡＲｅａｄＴｏＳｈａｒｅＡｌｗａｙｓＲＤＤＲｅａｄＴｏＤｉｓｃａｒｄＲＤＯＲｅａｄＴｏＯｗｎＷＲＢＷｒｉｔｅＢａｃｋＷＲＩＷｒｉｔｅＩｎｖａｌｉｄａｔｅ

【００２１】図３はシステム・コントローラの構成例を
示す図である。同図において、１３１はプロセッサ・バ
ス制御部、１３２はアドレス・バス制御部、１３３はス
ヌープ・バス制御部、１３４はクロスバ制御部、１３５
はメモリ制御部をそれぞれ示している。

【００２２】プロセッサ・バスとは、プロセッサに接続
されているアドレス・バスのことである。システム・コ
ントローラ１３０は、プロセッサ・バス制御部１３１や
アドレス・バス制御部１３２，スヌープ・バス制御部１
３３，クロスバ制御部１３４，メモリ制御部１３５を有
している。他のシステム・コントローラも同様な構成を
有している。

【００２３】プロセッサ・バス制御部１３１は、プロセ
ッサ・バスからデータを取り込んだり、プロセッサ・バ
スにデータを出力したりする。アドレス・バス制御部１
３２は、システム・バスに含まれるアドレス・バスにデ
ータを出力したり、これからデータを取り込んだりす
る。プロセッサ・バス制御部１３１とアドレス・バス制
御部１３２の間には、データを遣り取りするための信号
線が設けられている。

【００２４】スヌープ・バス制御部１３３は、スヌープ
・バスにデータを出力したり、スヌープ・バスからデー
タを取り込んだりすると共に、タグ部１２１の制御を行
う。なお、図にはタグ部１２１しか示されていないが、
タグ部１２２（図２を参照）もスヌープ・バス制御部１
３３によって制御される。クロスバ制御部１３４は、ク
ロスバ・スイッチやリプライ・バス，データ・バスの制
御を行う。プロセッサ・バス制御部１３１とクロスバ制
御部１３４の間にはデータを遣り取りするための信号線
が設けられ、アドレス・バス制御部１３２とクロスバ制
御部１３４の間にもデータを遣り取りするための信号線
が設けられている。

【００２５】メモリ制御部１３５は、メモリの制御を行
う。クロスバ制御部１３４とメモリ制御部１３５の間の
信号線はデータの転送に使用される。また、スヌープ・
バス制御部１３３からメモリ制御部１３５には制御信号
が送られる。

【００２６】図４は本発明の動作を説明する図である。
同図において、３１１と３１２はプロセッサ、３２１と
３２２はタグ部、３３０はシステム・コントローラ、３
４０はクロスバ・スイッチ、３６０はバス・ブリッジを
それぞれ示す。〜は処理の順序を示す。なお、図２
と同一符号は同一物を示す。また、ノード２００，３０
０の中にはメモリ１５１，１５２に相当するものが存在
するが、図示されていない。

【００２７】図４に示すように、プロセッサ１１１が或
るメモリ空間ｘに所有権つきのリード（キャッシュを書
き換え可能な状態にするリード）をシステム・コントロ
ーラ１３０に対して要求したと仮定する。なお、所有権
付きリードとは、前述のＲＤＯのことである。システム
・コントローラ１３０は、当該メモリ・リード要求をア
ドレス・バスを介してブロード・キャストする。なお、
ブロード・キャストとは、計算機システムが複数のシス
テム・コントローラを持つ場合、一つのプロセッサが出
してきたメモリ・アクセス要求を他のシステム・コント
ローラの全てに見せることを意味している。

【００２８】システム・コントローラ１３０は、メモリ
・リード要求をブロードキャストした後に、タグ部１２
１，１２２を参照して当該メモリ・リードの対象となる
メモリ空間ｘに対応するキャッシュの状態を求め、求め
たキャッシュの状態をスヌープ・バス上に出力する。な
お、該当するタグ情報がタグ部に存在しない場合は、イ
ンバリッドがスヌープ・バス上に出力される。

【００２９】システム・コントローラ２３０は、ブロー
ド・キャストされたメモリ・アクセス要求を受信する
と、タグ部２２１，２２２を参照してメモリ空間ｘに対
応するキャッシュの状態を求め、求めたキャッシュの状
態をスヌープ・バス上に出力する。同様に、システム・
コントローラ３３０は、ブロード・キャストされたメモ
リ・アクセス要求を受信すると、タグ部３２１，３２２
を参照してメモリ空間ｘに対応するキャッシュの状態を
求め、求めたキャッシュの状態をスヌープ・バス上に出
力する。

【００３０】各システム・コントローラはスヌープ・バ
ス上に出力されたキャッシュの状態を認識し、即座に必
要な処理を開始する。例えば、スヌープ・バス上に出力
されたプロセッサ２１１のキャッシュの状態がＳｈａｒ
ｅｄ−Ｍｏｄｉｆｙ（キャッシュに最新のデータが存在
する状態）、スヌープ・バス上に出力されたプロセッサ
３１１のキャッシュの状態がＳｈａｒｅ−Ｃｌｅａｎ
（メモリ又は他のキャッシュの写しを共有している状
態）、スヌープ・バス上に出力された他のキャッシュの
状態がＩｎｖａｌｉｄ（無効）であったと仮定する。

【００３１】システム・コントローラ２３０は、システ
ム・コントローラ１３０によって所有権付きメモリ・リ
ードが要求され且つ当該メモリ・リードの対象となるメ
モリ空間ｘに対応するタグ情報のキャッシュの状態がＳ
ｈａｒｅｄ−Ｍｏｄｉｆｙであるので、プロセッサ２１
１に対してコピーバック・インバリデート要求を発行す
る。

【００３２】このコピーバック・インバリデート要求を
受け取ると、プロセッサ２１１は、キャッシュのデータ
部から該当するデータ・ブロックを読み出してシステム
・コントローラ２３０に渡すと共に、キャッシュのタグ
部に存在するメモリ空間ｘに対応するタグ情報のキャッ
シュの状態をＩｎｖｌｉｄにし、処理終了の応答をシス
テム・コントローラ２３０に返す。プロセッサ２１１か
らの処理終了の応答を受け取ると、システム・コントロ
ーラ２３０は、タグ部２２１の該当するタグ情報のキャ
ッシュの状態をＩｎｖａｌｉｄにし、渡されたデータ・
ブロックをシステム・バスに含まれるデータ・バスに出
力し、マスタのシステム・コントローラ１３０にリプラ
イ・バスを経由して応答を返す。

【００３３】システム・コントローラ３３０は、マスタ
のシステム・コントローラが所有権付きメモリ・リード
を要求し且つプロセッサの３１１の該当するキャッシュ
の状態がＳｈａｒｅ−Ｃｌｅａｎであるので、プロセッ
サ３１１に対してインバリッド要求を発行する。このイ
ンバリッド要求を受け取ると、プロセッサ３１１は、キ
ャッシュのタグ部の中に存在するメモリ空間ｘに対応す
るタグ情報のキャッシュの状態をＩｎｖａｌｉｄにし、
処理終了の応答をシステム・コントローラ３３０に返
す。この応答を受け取ると、システム・コントローラ３
３０は、タグ部３２１の中に存在する該当するタグ情報
のキャッシュの状態をＩｎｖａｌｉｄにし、マスタのシ
ステム・コントローラ１３０にリプライ・バスを経由し
て処理終了の応答を返す。

【００３４】一方、システム・コントローラ１３０は、
各システム・コントローラ２３０，３３０がキャッシュ
の状態をスヌープ・バス上に出力した所でスヌープ・バ
ス上のキャッシュの状態を参照し、最新データがプロセ
ッサ２１１のキャッシュにあると認識して、メモリ・リ
ードを止めて、システム・コントローラ２３０からの応
答およびシステム・コントローラ３３０からの応答を待
ち、その後、プロセッサ１１１に対してリード・データ
を渡す。このリード・データを受け取ると、プロセッサ
１１１は、リード・データをキャッシュのデータ部に格
納すると共に、アドレスとＥｘｃｌｕｓｉｖｅ＆Ｐｏｔ
ｅｎｔｉａｌｙＭｏｄｉｆｙと言うキャッシュの状態
とを持つタグ情報をキャッシュのタグ部に書き込む。

【００３５】また、上記の例に加えて、例えばプロセッ
サ２１２のキャッシュのタグ部の中に存在するメモリ空
間ｘに対応するタグ情報のキャッシュの状態がＩｎｖａ
ｌｉｄ（無効）ではなくてＳｈａｒｅ−Ｃｌｅａｎの状
態であると仮定すると、システム・コントローラ２３０
はプロセッサ２１１に対してはコピーバック・インバリ
デートを発行し、プロセッサ２１２に対してはインバリ
デートを発行する。このような場合には、システム・コ
ントローラ２３０はプロセッサ２１１，２１２からの応
答を待ち合わせ、両方からの応答があった段階でシステ
ム・コントローラ１３０に処理終了を告げる応答を返
す。このようにすることにより、マスタのシステム・コ
ントローラに対する応答が一度で済む。

【００３６】上述の説明はプロセッサ１１１から所有権
つきのリードが発行された場合の動作を説明するもので
あるが、プロセッサ１１１から通常のリード要求（ＲＤ
Ｓ／ＲＤＳＡ）が発行された場合の動作を以下に説明す
る。プロセッサ１１１が通常のリード要求を発行する
と、システム・コントローラ１３０はシステム・バス上
に当該リード要求をブロード・キャストし、システム・
コントローラ１３０，２３０，３３０はタグ部の内容を
確認して、スヌープ・バスにタグのステート（キャッシ
ュの状態を示す）を出力する。

【００３７】スヌープ・バス上のタグのステートが全て
Ｉであるとすると、データはメモリから読み出される。
何れのメモリからリードするかは、リード要求のアドレ
スによって決まる。

【００３８】スヌープ・バス上に出力されたプロセッサ
１１２のタグのステートがＳであり、他のタグのステー
トがＩであったとすると共に、リード要求で指定される
アドレスがメモリ２５１の空間であったと仮定する。こ
の場合、リード要求で指定された最新データは、メモリ
２５１およびプロセッサ１１２のキャッシュに存在す
る。他のノード２００のメモリ２５１からノード１００
にデータを転送するよりも自ノード１００内で終結する
方が処理を早く終わらせることができ、システム・バス
を使用しなくても済む。従って、プロセッサ１１２のキ
ャッシュからデータを取ってくることを選択する。シス
テム・コントローラ１３０は、プロセッサ１１２に対し
てコピーバックを発行し、この結果得られるデータをプ
ロセッサ１１１にデータを転送する。リード要求で指定
されるアドレスがメモリ１５１の空間であったと仮定す
る。この場合は、コピーバックよりメモリ・リードの方
が速いので、システム・コントローラ１３０はメモリ１
５１から該当するデータをリードし、リード・データを
プロセッサ１１１に渡す。

【００３９】スヌープ・バス上のプロセッサ２１２のタ
グのステートがＭであり、他のプロセッサのタグのステ
ートがＩであったと仮定する。この場合は、最新データ
はプロセッサ２１２しか持っていないので、システム・
コントローラ２３０がプロセッサ２１２にコピーバック
を要求し、コピーバックの結果得られたデータをプロセ
ッサ２１２からプロセッサ１１１に転送する。

【００４０】次に、プロセッサがライト・インバリデー
ト（ＷＲＩ）を発行した場合の動作について説明する。
プロセッサ１１１からシステム・コントローラ１３０に
ライト・インバリデート要求が出されると、システム・
コントローラ１３０は当該要求をシステム・バス上にブ
ロード・キャストし、各システム・コントローラ１３
０，２３０，３３０はタグ部の内容を確認し、タグのス
テートをスヌープ・バス上に出す。このとき、各システ
ム・コントローラは、スヌープ・バス上のタグのステー
トがＩ以外のＳ又はＯ又はＭになっているプロセッサに
対してインバリデート要求を出し、インバリデートが終
了した段階でシステム・コントローラ１３０に応答を返
す。システム・コントローラ１３０は全てのインバリデ
ートが終了した段階で、メモリ・ライトを行い、処理を
終結させる。

【００４１】図５はプロセッサ・バスからリード要求を
受け取ったマスタのシステム・コントローラの動作を示
す図である。同図において、ＰＢはプロセッサ・バス、
ＴＷはシステム・バスをそれぞれ示す。

【００４２】システム・コントローラは、プロセッサ・
バスからコヒーレント・リード（ＲＤＳ，ＲＤＳＡ，Ｒ
ＤＤまたはＲＤＯ）を受け取ると、処理中のメモリ・ア
クセス要求のアドレスと今回のリード要求のアドレスが
一致しているか否かを調べる。両者が一致している場合
は、今回のリード要求をブロッキング・バッファに格納
する。両者が一致していない場合は、今回のリード要求
をシステム・バスに出力すると共に、今回のリード要求
で指定されたメモリ空間が自己のノードの中に存在する
か否かを調べる。自己のノードの中に存在する場合に
は、メモリからデータをリードしてリード・データをク
ロスバ・スイッチのバッファに入れるための処理を開始
する。

【００４３】リード要求をシステム・バスに出力した
後、システム・コントローラはリード要求のアドレスに
よって定まるキャッシュの状態をスヌープ・バスに出力
し、次いでスヌープ・バス上のキャッシュの状態を読み
込む。そして、システム・コントローラは、読み込んだ
キャッシュの状態を参照して種々の動作を行う。

【００４４】或る場合には、「ＰＢＳＲＥＱＣＰＢ
／ＩＩＮＶ」を発行する。即ち、プロセッサ・バスを
経由してプロセッサにコピーバックやコピーバック・イ
バリデート，インバリデート要求を送る。そして、プロ
セッサ・バスを経由してリプライやＳＡＣＫか送られて
来るのを待つ。「ＳＡＣＫ」とは、インバリデート終了
のリプライである。

【００４５】或る場合には、「ＴＷＲｅｐｌｙＳＡ
ＣＫ」を待つ。即ち、システム・バスを経由してリプラ
イやＳＡＣＫが送られてくるのを待つ。ある場合には、
「ＴＷＲｅｐｌｙＲＢＵ／Ｓ」を待つ。即ち、シス
テム・バスを経由してＲＢＳ（リード・ブロック・シェ
ア）又はＲＢＵ（リード・ブロック・アンシェア）のリ
プライが送られて来るのを待つ。ＲＢＵやＲＢＳは、メ
モリ・リードに対するリプライである。或る場合にはメ
モリ対するリード処理をキャンセルし、或る場合にはメ
モリ・リードが終了するのを待つ。

【００４６】待ち合わせ処理が終了した後、システム・
コントローラは、ＲＢＵ又はＲＢＳ又はＯＡＫ（オーナ
シップ・アック）のリプライをマスタに送る。この場合
のマスタとは、リード要求発行元のプロセッサである。
また、必要に応じて「ＣＲＡＢ」をスレーブのプロセッ
サに送る。「ＣＲＡＢ」とは、コヒーレンシ・リード・
アック・ブロックを意味している。

【００４７】プロセッサ側にデータを送った後、システ
ム・コントローラは「ＴＷＣＥＮＤ」を発行する。
「ＴＷＣＥＮＤ」は、システム・バス側の処理が終了
したことを意味している。「ＴＷＣＥＮＤ」が発行さ
れると、ＣＥＮＤ待ちになっているブロッキング・バッ
ファの要求の待ち状態が解除され、次いでタグの更新が
行われる。

【００４８】図６はシステム・バスからリード要求を受
け取ったスレーブのシステム・コントローラの動作を示
す図である。システム・コントローラは、システム・バ
スからコヒーレント・リード（ＲＤＳ，ＲＤＳＡ，ＲＤ
ＤまたはＲＤＯ）を受信すると、受信したリード要求で
指定されたメモリ空間が自己のノードの中に存在するか
否かを調べる。自己のノードの中に存在する場合には、
メモリからデータをリードしてリード・データをクロス
バ・スイッチのバッファに入れるための処理を開始す
る。

【００４９】リード要求を受信した後、システム・コン
トローラはリード要求のアドレスによって定まるキャッ
シュの状態をスヌープ・バスに出力し、次いでスヌープ
・バス上のキャッシュの状態を読み込む。そして、シス
テム・コントローラは、読み込んだキャッシュの状態を
参照して種々の動作を行う。

【００５０】或る場合には、「ＰＢＣＰＢ／ＣＰＩ＋
α（ＩＮＶ）」を発行する。即ち、或るプロセッサに対
してはコピーバック，コピーバック・インバリデート又
はインバリデートを発行し、必要に応じて他のプロセッ
サに対してもコピーバック，コピーバック・インバリデ
ート又はインバリデートを発行する。次いで、プロセッ
サ・バスを経由してリプライやＳＡＣＫか送られて来る
のを待つ。次いで、必要に応じて「ＣＲＡＢ」をスレー
ブのプロセッサに送り、システム・バスを経由してＲＢ
ＵやＲＢＳのリプライをマスタのシステム・コントロー
ラに送る。

【００５１】或る場合には、プロセッサ・バスにインバ
リデートを発行し、プロセッサ・バス経由でＳＡＣＫか
送られて来るのを待ち、システム・バス経由でＰＳＡＣ
Ｋのリプライをマスタのシステム・コントローラに送
る。

【００５２】或る場合には、システム・コントローラ
は、メモリに対するリード処理をキャンセルする。メモ
リ・リードをキャンセルしない場合には、システム・コ
ントローラは、メモリ・リードが終了したこと，インバ
リデートを発行した場合はＳＡＣＫのリプライがあった
ことの両方の条件が満足した時に、システム・バスを経
由してＲＢＵ／Ｓのリプライをマスタのシステム・コン
トローラに送る。

【００５３】マスタのシステム・コントローラにリプラ
イを送った後、システム・コントローラは、ＣＥＮＤ待
ちになっているブロッキング・バッファの要求の待ち状
態を解除し、タグの更新を行う。

【００５４】図７はプロセッサ・バスからＷＲＢ要求
（ライトバック要求）を受け取ったマスタのシステム・
コントローラの動作を示す図である。システム・コント
ローラは、プロセッサ・バスからＷＲＢ要求を受け取る
と、処理中のメモリ・アクセス要求のアドレスと今回の
ＷＲＢ要求のアドレスが一致しているか否かを調べる。
両者が一致している場合は、今回のＷＲＢ要求をブロッ
キング・バッファに格納する。両者が一致していない場
合は、今回のＷＲＢ要求をシステム・バスに出力する。

【００５５】ＷＲＢ要求をシステム・バスに出力した
後、システム・コントローラはＷＲＢ要求のアドレスに
よって定まるキャッシュの状態をスヌープ・バスに出力
し、次いでスヌープ・バス上のキャッシュの状態を読み
込む。そして、システム・コントローラは、読み込んだ
キャッシュの状態を参照して種々の動作を行う。

【００５６】或る場合には、「ＰＢＳｒｅｐｌｙＷ
ＢＣＡＮ」を発行する。即ち、プロセッサ・バスを経
由して「ライト・バックをキャンセルせよ」と言うリプ
ライをＷＲＢ発行元のプロセッサに送る。

【００５７】或る場合には、「ＰＢＳｒｅｐｌｙＷ
ＡＢ」を発行する。即ち、プロセッサ・バスを経由し
て「ライトバックせよ」と言うリプライをＷＲＢ発行元
のプロセッサに送る。次いで、ＷＲＢの対象となってい
るメモリ空間が自己のノードの中に存在するか，他のノ
ードの中に存在するかを調べる。自己のノードの中に存
在する場合は、自己のメモリにＷＲＢに付加されている
データを書き込む。他のノードの中に存在する場合に
は、「ＴＷＲｅｐｌｙＳＷＢ」を発行する。即
ち、システム・バスを経由して「ライト・ブロックをメ
モリに書き込め」と言うリプライをスレーブのシステム
・コントローラに送る。

【００５８】メモリ・ライトなどの必要な処理を行った
後、システム・コントローラは「ＴＷＣＥＮＤ」を発
行する。「ＴＷＣＥＮＤ」が発行されると、ＣＥＮＤ
待ちになっているブロッキング・バッファの要求の待ち
状態が解除され、次いでタグの更新が行われる。

【００５９】図８はシステム・バスからＷＲＢ要求を受
け取ったスレーブのシステム・コントローラの動作を示
す図である。システム・コントローラは、システム・バ
スからＷＲＢ要求を受信すると、ＷＲＢ要求のアドレス
によって定まるキャッシュの状態をスヌープ・バスに出
力し、次いでスヌープ・バス上のキャッシュの状態を読
み込む。

【００６０】次いで、システム・コントローラは、受信
したＷＲＢ要求で指定されたメモリ空間が他ノードの中
に存在するか，自ノードの中に存在するかを調べる。自
ノードの中に存在する場合には、マスタのシステム・コ
ントローラから「ＴＷＲｅｐｌｙＳＷＢ」が送られ
て来るのを待ち、送られて来たならばメモリ・ライトを
行い、「ＴＷＣＥＮＤ」を発行する。「ＴＷＣＥＮ
Ｄ」が発行されると、ＣＥＮＤ待ちになっているブロッ
キング・バッファの要求の待ち状態は解除され、タグの
更新が行われる。

【００６１】図９はプロセッサ・バスからＷＲＩ要求
（ライト・インバリデート要求）を受け取ったマスタの
システム・コントローラの動作を示す図である。システ
ム・コントローラは、プロセッサ・バスからＷＲＩ要求
を受け取ると、処理中のメモリ・アクセス要求のアドレ
スと今回のＷＲＩ要求のアドレスが一致しているか否か
を調べる。両者が一致している場合は、今回のＷＲＩ要
求をブロッキング・バッファに格納する。両者が一致し
ていない場合は、今回のＷＲＩ要求をシステム・バスに
出力する。

【００６２】ＷＲＩ要求をシステム・バスに出力した
後、システム・コントローラはＷＲＩ要求のアドレスに
よって定まるキャッシュの状態をスヌープ・バスに出力
し、次いでスヌープ・バス上のキャッシュの状態を読み
込む。そして、システム・コントローラは、読み込んだ
キャッシュの状態を参照して種々の動作を行う。

【００６３】或る場合には、「ＰＢＳＲＥＱＩＮ
Ｖ」を発行する。即ち、プロセッサ・バスを経由して
「インバリデートせよ」と言う要求をキャッシュの状態
がＳ，Ｏ又はＭのプロセッサに送る。次いで、プロセッ
サ・バス経由でＳＡＣＫが送られて来るのを待つ。或る
場合には、システム・バス経由でＳＡＣＫが送られて来
るのを待つ。

【００６４】或る場合には、「ＰＢＳｒｅｐｌｙＷ
ＡＢ」を発行する。次いで、ＷＲＩの対象となってい
るメモリ空間が自己のノードの中に存在するか，他のノ
ードの中に存在するかを調べる。自己のノードの中に存
在する場合は、自己のメモリにＷＲＩに付加されている
データを書き込む。他のノードの中に存在する場合に
は、「ＴＷＲｅｐｌｙＳＷＢ」を発行する。すな
わち、システム・バスを経由して「ライト・ブロックを
メモリに書き込め」と言うリプライをスレーブのシステ
ム・コントローラに送る。この処理は、待ち合わせが終
了した後で行われる。

【００６５】待ち合わせやメモリ・ライトが終了した
後、システム・コントローラは「ＴＷＣＥＮＤ」を発行
する。「ＴＷＣＥＮＤ」が発行されると、ＣＥＮＤ待
ちになっているブロッキング・バッファの要求の待ち状
態が解除され、タグの更新が行われる。

【００６６】図１０はシステム・バスからＷＲＩ要求を
受け取ったスレーブのシステム・コントローラの動作を
示す図である。システム・コントローラは、システム・
バスからＷＲＩ要求を受信すると、ＷＲＩ要求のアドレ
スによって定まるキャッシュの状態をスヌープ・バスに
出力し、次いでスヌープ・バス上のキャッシュの状態を
読み込む。そして、システム・コントローラは、読み込
んだキャッシュの状態を参照して種々の動作を行う。

【００６７】或る場合には、プロセッサ・バスにインバ
リデートを発行し、プロセッサ・バス経由でＳＡＣＫが
送られて来るのを待ち、送られて来たならばシステム・
バス経由でＳＡＣＫをマスタのシステム・コントローラ
に送る。或る場合には、ＷＲＩ要求で指定されるメモリ
空間が自己のノードに存在するか否かを調べ、自己のノ
ードに存在する場合にはシステム・バス経由でＳＷＢが
送られて来るのを待ち、送られて来たならばメモリ・ラ
イトを行い、「ＴＷＣＥＮＤ」を発行する。「ＴＷ
ＣＥＮＤ」が発行されると、ＣＥＮＤ待ちになっている
ブロッキング・バッファの要求の待ち状態は解除され、
タグの更新が行われる。

【００６８】

【発明の効果】以上の説明から明らかなように、本発明
によれば、キャッシュのコヒーレンシーを保つための，
システム・コントローラ間のバス・トランザクションを
少なく出来る。また、プロセッサのキャッシュに対する
処理の開始も早くなるため、システム全体の性能の向上
が期待できる。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明のマルチプロセッサの構成例を示す図で
ある。

【図３】本発明のシステム・コントローラの構成例を示
す図である。

【図４】本発明の動作を説明する図である。

【図５】プロセッサ・バスからリード要求を受け取った
マスタのシステム・コントローラの動作を示す図であ
る。

【図６】システム・バスからリード要求を受け取ったス
レーブのシステム・コントローラの動作を示す図であ
る。

【図７】プロセッサ・バスからＷＲＢ要求を受け取った
マスタのシステム・コントローラの動作を示す図であ
る。

【図８】システム・バスからＷＲＢ要求を受け取ったス
レーブのシステム・コントローラの動作を示す図であ
る。

【図９】プロセッサ・バスからＷＲＩ要求を受け取った
マスタのシステム・コントローラの動作を示す図であ
る。

【図１０】システム・バスからＷＲＩ要求を受け取った
スレーブのシステム・コントローラの動作を示す図であ
る。

【符号の説明】

１００ノード１１１プロセッサ１１２プロセッサ１２１タグ部１２２タグ部１３０システム・コントローラ１４０クロスバ・スイッチ１５１メモリ１５２メモリ１６０バス・ブリッジ２００ノード２１１プロセッサ２１２プロセッサ２２１タグ部２２２タグ部２３０システム・コントローラ２４０クロスバ・スイッチ２５１メモリ２５２メモリ２６０バス・ブリッジ３００ノード３１１プロセッサ３１２プロセッサ３２１タグ部３２２タグ部３３０システム・コントローラ３４０クロスバ・スイッチ３６０バス・ブリッジ

───────────────────────────────────────────────────── フロントページの続き (72)発明者佐藤正美石川県河北郡宇ノ気町字宇野気ヌ98番地の２株式会社ピーエフユー内Ｆターム(参考） 5B045 BB12 DD12 DD13

Claims

【特許請求の範囲】

【請求項１】キャッシュを持つプロセッサ，システム
・コントローラおよび主メモリの一部を構成するメモリ
を有する複数個のノード、並びに複数個のノードを接続
するシステム・バスを具備するマルチプロセッサにおい
て、各システム・コントローラは、配下のプロセッサからメ
モリ・アクセス要求を受けた時に、当該メモリ・アクセ
ス要求をシステム・バスを介して他の全てのシステム・
コントローラにブロードキャストし、配下のプロセッサ又は他のシステム・コントローラから
のメモリ・アクセス要求を受けた時に、自己のキャッシ
ュのタグ部の中に当該メモリ・アクセスの対象となるメ
モリ空間に対応するタグ情報が存在するか否かを調べ、
存在する場合には該当するタグ情報が持つキャッシュ状
態をシステム・バスに出力し、存在しない場合には無効
を示すキャッシュ状態をシステム・バスに出力し、システム・バス上のキャッシュ状態を参照し、配下のプ
ロセッサ又はメモリを制御する必要がある場合には配下
のプロセッサ又はメモリを制御することを特徴とするマ
ルチプロセッサ。
【請求項２】ブロードキャストされたメモリ・アクセ
ス要求を受け取ったシステム・コントローラは、システ
ム・バス上のキャッシュ状態を参照して独自に配下のプ
ロセッサに対する処理が必要か否かを判断し、必要と判
断した場合には配下のプロセッサに必要とされる処理を
要求することを特徴とする請求項１のマルチプロセッ
サ。
【請求項３】自己の配下に存在する複数個のプロセッ
サに対してインバリデート，コピーバック又はコピーバ
ック・インバリデートの処理要求を発行したシステム・
コントローラは、上記複数個の処理要求に対する処理終
了の応答を全て受け取った段階で、メモリ・アクセス要
求をブロードキャストしたシステム・コントローラに対
して纏めて処理終了の応答を返すことを特徴とする請求
項２のマルチプロセッサ。
【請求項４】メモリ・アクセスの対象となるメモリ空
間を持つノードのシステム・コントローラは、メモリ・
アクセス要求を受け取った時に自己のメモリに対するア
クセスを開始し、次いでシステム・バス上のキャッシュ
状態を参照してメモリ・アクセスが必要か否かを調べ、
必要ないと判断した場合には当該メモリ・アクセスをキ
ャンセルすることを特徴とする請求項１のマルチプロセ
ッサ。
【請求項５】メモリ・アクセス要求をシステム・バス
にブロードキャストしたシステム・コントローラは、シ
ステム・バス上のキャッシュ状態を参照して、プロセッ
サへの処理が必要なシステム・コントローラ又はリソー
ス・メモリを制御するシステム・コントローラからのみ
応答を待ち、関係のないシステム・コントローラからは
応答を待たないことを特徴とする請求項１，請求項２，
請求項３または請求項４マルチプロセッサ。