JP2000067009A

JP2000067009A - 主記憶共有型マルチプロセッサ

Info

Publication number: JP2000067009A
Application number: JP10233832A
Authority: JP
Inventors: Toshio Okochi; 俊夫大河内; Toru Shonai; 亨庄内; Naoki Hamanaka; 直樹濱中; Naohiko Irie; 直彦入江; Hideya Akashi; 英也明石
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-08-20
Filing date: 1998-08-20
Publication date: 2000-03-03
Also published as: US20040024839A1; US7206818B2

Abstract

(57)【要約】【課題】ページテーブル書き換え時のＴＬＢ一貫性制
御のオーバーヘッドを削減する。【解決手段】ノード内主記憶の物理ページと仮想ペー
ジの対応を記録する物理ページマップテーブルを設け、
メモリアクセストランザクションには物理アドレスと仮
想ページ番号をもたせ、メモリアクセストランザクショ
ンを受け取ったノードが該トランザクションの仮想ペー
ジ番号と物理ページマップテーブルに記録されているペ
ージ番号を照合し、一致していれば正当なメモリアクセ
スとしてトランザクションを処理し、不一致の場合はエ
ラーをトランザクション発行元ノードに伝える。【効果】ページテーブル書き換え時のＴＬＢ一貫性制
御を不要にする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置であ
るパーソナルコンピュータ（ＰＣ）、ワークステーショ
ン（ＷＳ），サーバ機等に用いられる、主記憶共有型マ
ルチプロセッサシステムに関係し、特に、主記憶共有型
マルチプロセッサシステムにおけるメモリコヒーレンシ
保持のための方法およびシステムに関係する。

【０００２】

【従来の技術】近年ＰＣ，ＷＳの上位機種及びサーバ機
などでは、主記憶共有型のマルチプロセッサ（ＳＭＰ）
構成が広まっており、性能を向上させるために、20〜30
台以上の多数台のプロセッサの間で主記憶を共有するこ
とが重要な課題になってきている。主記憶共有型のマル
チプロセッサの構成方法として広く使われている方式と
して共有バスがあるが、バスではバスのスループットが
ネックになるため、接続可能なプロセッサの数は高々８
台程度である。

【０００３】バスのスループットの限界を越えて多数台
のプロセッサを接続したＳＭＰを実現する方法として、
クロスバスイッチによって高いスループットのプロセッ
サ間結合を実現する方法、およびディレクトリを用いて
プロセッサ間のトラフィックを削減する方法が知られて
いる。

【０００４】クロスバスイッチによる方法は、たとえば
「進化したシステム・アーキテクチャ」（ＳｕｎＷｏｒ
ｌｄ誌１９９６年１月号第２９頁〜第３２頁）に開示さ
れている。この方式では、プロセッサと主記憶を持つ各
ボードを、高速なクロスバスイッチで接続し、プロセッ
サ間のキャッシュ一貫性を保持する。この方式では、キ
ャッシュ一貫性の保持が高速にできるという利点が有
る。しかし、キャッシュの一貫性を保持するためのトラ
ンザクションを全プロセッサにブロードキャストするた
め、クロスバスイッチにかかるトラフィックが高く、高
速なスイッチが必要となる。

【０００５】ディレクトリを用いる方法については、た
とえば「ＴｈｅＳｔａｎｆｏｒｄＦＬＡＳＨＭｕｌ
ｔｉｐｒｏｃｅｓｓｏｒ」（第２１回ＩＳＣＡＰｒｏ
ｃｅｅｄｉｎｇｓ）に開示されている。この方式では、
主記憶のデータライン毎に、そのデータラインがどこの
プロセッサのキャッシュに接続されているかを示すビッ
トマップであるディレクトリを設けることにより、必要
なプロセッサにのみキャッシュ一貫性を保持するための
トランザクションを送る。それにより、スイッチにかか
るトラフィックを大幅に削減することができ、スイッチ
のハードウェアコストを削減することができる。スイッ
チ型結合やディレクトリ方式を用いることで、20〜30台
を越えるの多数台のプロセッサの間で主記憶を共有する
ことが可能になっている。

【０００６】このようなシステムでは通常、複数のタス
クまたはプロセスを同時に実行するマルチタスキングま
たはマルチプロセッシングと呼ばれる機能を有するオペ
レーティングシステムが用いられる。マルチタスキング
システムにおける各々のタスクは、その実行のために用
いる各々独立した仮想アドレス空間を有し、仮想アドレ
スは、システムの主記憶の物理アドレスに写像される。
この写像はページテーブルと呼ばれる仮想ページから物
理ページへのマップを定義する変換表を用いてオペレー
ティングシステムが管理する。仮想アドレス空間を用い
るたシステムにおいては、プロセッサからのメモリアク
セス（ロード／ストア、命令フェッチ）の度に仮想アド
レスを物理アドレスに変換する必要があり、このアドレ
ス変換を高速に実行しなければならない。仮想アドレス
から物理アドレスへの変換を高速に行うための手法とし
て、ＴＬＢ（Translation Lookaside Buffer）の利用が
知られている。ＴＬＢは仮想アドレスと、変換アルゴリ
ズムによって生成された物理アドレスの対応を保持する
バッファである。

【０００７】ＴＬＢを用いることでアドレス変換を高速
に行うことが可能であるが、主記憶共有型マルチプロセ
ッサでＴＬＢを用いる場合には、マルチプロセッサのシ
ステム全体でＴＬＢの一貫性を保たなければならない。
このＴＬＢの一貫性保持を高速、低オーバーヘッドで実
現する方法が、たとえばCharles R. Moore, John S.Muh
ich 米国特許5437017(1995年7月25日)「Method and Sys
tem for MaintainingTranslation Lookaside Buffer Co
herency in a Multiprocessor Data Processing Syste
m」に開示されている。この方法では、ページテーブル
の書き換え時にオペレーティングシステムがＴＬＢ無効
化トランザクションをブロードキャストし、書換えられ
たページテーブルエントリに対応する他のプロセッサの
ＴＬＢのラインをすべて無効にすることで、ＴＬＢの一
貫性を保証している。

【０００８】

【発明が解決しようとする課題】上記従来技術で述べた
方式によって、主記憶共有型マルチプロセッサ上でＴＬ
Ｂの一貫性を保証することが可能であるが、この方法に
は以下の課題がある。（１）ＴＬＢ無効化トランザクションをブロードキャス
トするためネットワークへの負荷が大きい。（２）トランザクションがプロセッサ内部にまで入って
いくため、プロセッサバスのトラフィックが増大し、プ
ロセッサの実効性能が低下する。（３）ＴＬＢパージトランザクションを受け取ったプロ
セッサは、メモリアクセスの一貫性を保証するために各
プロセッサは実行途中のメモリアクセストランザクショ
ンをすべて終了させてからＴＬＢラインの無効化を行わ
なければならない。このためプロセッサの命令パイプラ
インが一旦止まることになり、プロセッサ性能の低下を
招く。

【０００９】これらのオーバーヘッドは、マルチプロセ
ッサの多重度（プロセッサ数）に比例して増大するた
め、プロセッサ数を増大させた場合、そのオーバーヘッ
ドのシステム全体の性能への影響は相対的に大きくな
り、プロセッサ数の増加による性能向上効果が得られな
くなってしまう。

【００１０】本発明の目的は、ＴＬＢ無効化トランザク
ションのブロードキャストをまったく行わないか、ある
いは従来方法よりも遥かに少ない回数行うだけで、主記
憶共有型マルチプロセッサシステムにおけるＴＬＢの一
貫性保持を、実現することが可能な方法およびシステム
を提供するものである。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、（１つ以上の）ＣＰＵと（部分）主記憶を持つボー
ド（以下ではノードと呼ぶ）において、各ノードが持つ
主記憶の物理ページ毎に、どの仮想ページがその物理ペ
ージにマップされているかを記憶するテーブル（物理ペ
ージマップテーブルと呼ぶ。ＰＰＴと略記することもあ
る。）を設ける。オペレーティングシステムが仮想ペー
ジと物理ページの対応づけを変更する（すなわちページ
テーブルを書換える）毎に、オペレーティングシステム
はこの物理ページマップテーブルも書き換える。メモリ
をアクセスするバストランザクションおよびネットワー
クトランザクション（メモリアクセストランザクション
と総称する）には、物理アドレスと仮想ページ番号を持
たせ、各ノードは受け取ったメモリアクセストランザク
ションに付加された仮想ページ番号と物理テーブルに記
憶されている該物理アドレスに対応する仮想ページ番号
とを比較し、仮想ページ番号が一致すれば正当なメモリ
アクセスとして該トランザクションに対する応答処理を
実行し、一致しない場合はトランザクション発行元にエ
ラーを通知する。このような、メモリアクセストランザ
クションの仮想ページ番号と物理ページマップテーブル
に記録された仮想ページ番号の不一致は、トランザクシ
ョン発行元がＴＬＢラインを更新した時点のページテー
ブルをトランザクション到着時までにオペレーティング
システムによって書換え、物理ページマップテーブルも
それに伴って書換えた場合に発生する。

【００１２】エラー通知を受け取ったプロセッサは、該
メモリアクセストランザクションによってアクセスした
仮想ページに対応するページテーブルを改めて参照し、
ＴＬＢラインを書き換える。

【００１３】このように、ページテーブル書き換えによ
って発生するページテーブルとＴＬＢの不一致を実際に
メモリアクセスが起こった時点で、メモリアクセストラ
ンザクションを受け取った側で検出することで、ＴＬＢ
パージトランザクションのブロードキャストを省略する
ことが可能になる。

【００１４】

【発明の実施の形態】以下、本発明に係る主記憶共有型
マルチプロセッサを、図面を参照してさらに詳細に説明
する。

【００１５】＜実施例＞（１）装置の概要図１は、本発明に係る主記憶共有型マルチプロセッサの
ブロック図である。本システムは６４ノードのシステム
であり、複数のノード、例えば１００、２００（これら
はノード０、ノード６３と呼ぶことがある）が、ネット
ワーク９００により接続される。各ノードは同じ構造を
有する。各ノードは、ＣＰＵ１１０〜１１２、（部分）
主記憶１６０、主記憶へのアクセスを制御する主記憶ア
クセス回路１６１、ネットワークからのトランザクショ
ンを受信する回路であるネットワークトランザクション
受信回路１５１、ネットワークへトランザクションを送
信するネットワークトランザクション送信回路１５７を
持つ。ネットワークトランザクション受信回路１５１、
ネットワークトランザクション送信回路１５７、ネット
ワーク９００については、公知の技術であるので内部の
説明は省略する。

【００１６】主記憶１６０は、このシステムに共通の主
記憶の一部を構成し、各ノードのＣＰＵで実行されるプ
ログラムおよびデータの一部を保持する。各ノードの主
記憶は、全てのノードのＣＰＵから使用され、図１のシ
ステムはいわゆる分散共有メモリ型の並列計算機システ
ムを構成する。図ではノード内のＣＰＵはバスにより接
続されているが、バス以外の結合方式、例えば一対一結
合、スイッチによる結合でもよい。これらノード内の接
続方法については公知の技術であり、内部構造の詳細な
説明は行わない。

【００１７】主記憶アクセス回路１６１は、ＣＰＵから
主記憶アクセス命令が発行されたときに、他のノードへ
のキャッシュ一貫性チェック(以下ではＣＣＣ：Cache C
oherent Check と略記する）のためのネットワークトラ
ンザクションの発行、他ノードへの主記憶アクセストラ
ンザクションの発行、自ノード内の主記憶のアクセス、
および、他のノードから送られてきたＣＣＣトランザク
ション、主記憶アクセストランザクションを実行するた
めの回路である。

【００１８】先ず、送信側の回路を説明する。バスコマ
ンド受信／バスコマンド分類回路（バストランザクショ
ン受信／分類回路とも呼ぶことにする）１３１は、ＣＰ
Ｕから送られてきたバストランザクションの受信／バス
トランザクションの分類を行うための回路である。ロー
カル／リモート判定回路１３２は、ＣＰＵからアクセス
されたメモリアドレスが内部（ノード内の主記憶のアド
レス）かリモート（他のノードが持つ主記憶のアドレ
ス）かを判断するための回路である。ローカル／リモー
ト判定回路１３２は、メモリアクセストランザクション
の物理アドレスによって内部／リモートを判断する。ロ
ーカル／リモート判定回路は公知の技術で実現でき、内
部の説明は省略する。物理ページマップテーブル１４１
は、自ノード内の主記憶の各ページに現在マップされて
いる仮想ページ番号を記憶するための物理ページマップ
テーブル（ＰＰＴ）である。仮想ページＩＤチェック回
路１４２（図２）は、自ノード内主記憶へのアクセスト
ランザクションが有する物理アドレスと仮想ページ番号
を物理ページマップテーブル（図３）の内容と照合し、
該主記憶アクセスが有効か否かを判定する回路である。
物理ページマップテーブル書き換え回路１４３は、物理
ページマップテーブル１４１の内容をオペレーティング
システム等のソフトウェアが書換えるためにＣＰＵから
アクセスするための回路である。物理ページマップテー
ブル１４１、仮想ページＩＤチェック回路１４２、及
び、物理ページマップテーブル書き換え回路１４３は本
実施の形態に特有の回路である。ネットワークコマンド
生成回路１５６は、ＣＣＣトランザクション、他ノード
主記憶アクセストランザクション、他ノードへの返答ト
ランザクション等のネットワークトランザクションを生
成するための回路である。宛先生成回路１５５は、アク
セスアドレス、アクセストランザクションより、ネット
ワークトランザクションをどのノードに出すかを判断す
る回路である。この宛先生成回路１５５は、本実施の形
態に特有の動作を行う。

【００１９】図２は仮想ページＩＤチェック回路１４２
のブロック図である。アドレス分解回路a１４２１はメ
モリをアクセスするバスコマンドから仮想ページ番号を
取り出し、またバスコマンドのアクセス先物理ページア
ドレスから該アドレスの属する物理ページ番号を計算す
る。アドレス分解回路b１４２２は、メモリをアクセス
するネットワークコマンドについてアドレス分解回路a
１４２１と同様の処理を行なう。物理ページマップテー
ブル読み出し回路１４２３は、物理ページマップテーブ
ル１４１をアクセスして物理ページ番号に対応する仮想
ページ番号及び状態ビットを読み出す。

【００２０】図３は物理ページマップテーブル１４１の
構成を示す。物理ページマップテーブル１４１は物理ペ
ージ番号に、該物理ページにマップされている仮想ペー
ジ番号とそのページが有効であるか否かを示す状態ビッ
トの組を対応づける表である。この表は特に限定されな
いがたとえば物理ページ番号をエントリとする連想メモ
リを用いて実装される。

【００２１】次に受信側の回路を説明する。ネットワー
クコマンド分類回路１５３は、他のノードから送られて
きたネットワークトランザクションの分類を行う回路で
あり、メモリアクセスが正常に行われたことを示す応答
であるとか、アクセス先ノードでＰＰＴミスが発生した
ことを示す応答であるとか、分類する。ローカル／リモ
ート判定回路１５２は、他のノードから送られてきたト
ランザクションのアクセスアドレスが内部か（当該ノー
ド内であるか）リモートか（ノード外か）を判断する回
路である。バスコマンド生成回路（バストランザクショ
ン生成回路とも呼ぶことにする）１３３は、他のノード
から送られてきたＣＣＣトランザクションなどを、ノー
ド内のバスに出力するための回路である。主記憶アクセ
ス回路１６１は、他のノードからのネットワークを経由
したメモリアクセス要求および時ノード内の各ＣＰＵか
らのメモリアクセス要求に応じて自ノード内の主記憶１
６０をアクセスするための回路である。アクセス元ノー
ド番号保持回路１５４は、他のノードからのアクセスト
ランザクションが来た際に、アクセス元のノード番号を
一時的に記憶するためのラッチである。返答先のノード
番号を知るために用いられる。

【００２２】（２）バストランザクション、ネットワー
クトランザクションの説明図４、図５は、メモリアクセスに係わるノード内バス、
およびネットワーク上のトランザクションのフォーマッ
トを示す。それぞれのトランザクションは、宛先２００
１、３００１、コマンド種別と送り元ノード番号２００
２、２００３、物理アドレス２００３、３００３、仮想
ページ番号２００４、データ３００５〜３００６からな
る。メモリアクセスに係わるトランザクションには、デ
ータのライン転送要求、他のキャッシュ上のデータの無
効化の要求等のアドレスのみでデータを伴わないトラン
ザクション（図４）と、キャッシュラインの書き戻し要
求、ライン転送要求に応答してデータを送るトランザク
ション等のデータ（３００５〜３００６）を伴うトラン
ザクション（図５）とがある。これらのトランザクショ
ンの組み合わせによってバスおよびネットワークで結合
されたプロセッサ、キャッシュメモリ、主記憶等の間で
データの一貫性制御を行う方法については公知の技術で
あるので、ここでは説明しない。

【００２３】（３）メモリアクセス要求元ノードの動作次に、メモリアクセス要求元ノードの動作を説明する。
自ノードのＣＰＵからのメモリアクセス要求は、先ずＴ
ＬＢを参照してアクセス先物理アドレスを取得し、バス
１２０上に発行される。バストランザクション受信／分
類回路（バスコマンド受信／バスコマンド分類回路）１
３１は、トランザクションの種類を判定し、メモリアク
セストランザクションであると判定すると、ライン１３
２ａを介してローカル／リモート判定回路１３２に物理
アドレスを送り、アクセス対象が自ノード内主記憶か他
ノードの主記憶かを判定する。バストランザクション受
信／分類回路１３１は、メモリアクセス要求が自ノード
内主記憶へのアクセスであると判定すると、該トランザ
クションを、ライン１３１ｂを介して主記憶アクセス回
路１６１へ、またライン１３１ｃを介して仮想ページ番
号（ＩＤ）チェック回路１４２へ送る。仮想ページ番号
（ＩＤ）チェック回路１４２は、該トランザクションの
アクセス先物理アドレスを用いて、物理ページマップテ
ーブル１４１（図３）から該物理アドレスに現在マップ
されている仮想ページ番号と、物理ページマップテーブ
ル（ＰＰＴ）の状態ビットをライン１４１ａを介して読
み出す。読み出した仮想ページ番号がトランザクション
に付加されていた仮想ページ番号と一致し、かつ状態ビ
ットが「有効」な場合には、仮想ページ番号チェック回
路１４２は、主記憶アクセス回路１６１に対し該メモリ
アクセストランザクションの有効性を伝える（ＰＰＴヒ
ット）。主記憶アクセス回路１６１は、トランザクショ
ンが有効であることを伝えられると、該トランザクショ
ンに対応する処理を実行する。この処理は、主記憶１６
０へのライン１６１ｃを介してのリード／ライトアクセ
スの他に、アクセスするメモリラインの状態やトランザ
クションの種類に応じて、他ノードへのキャッシュ一貫
性制御のためのネットワークトランザクションを送出す
る処理等を含む。

【００２４】物理ページマップテーブルから読み出した
仮想ページ番号が、トランザクションに付加されていた
仮想ページ番号と一致しなかった場合、または状態ビッ
トが「無効」な場合(ＰＰＴミス)は、仮想ページ番号
（ＩＤ）チェック回路１４２は、バストランザクション
生成回路（バスコマンド生成回路）１３３に対しライン
１４２ａを介してエラーを伝え、バストランザクション
生成回路はバス１２０にエラーを伝えるトランザクショ
ンを送ってトランザクションの発行元（アクセス要求の
発行元）であるＣＰＵにエラーの発生を伝える。

【００２５】ローカル／リモート判定回路１３２が、ア
クセス対象が他ノード内主記憶であると判定した場合に
は、バスコマンド受信／バスコマンド分類回路１３１
は、該メモリアクセス要求をライン１３１ａを介してネ
ットワークトランザクション生成回路（ネットワークコ
マンド生成回路）１５６に送る。ネットワークトランザ
クション生成回路１５６は、該メモリアクセス要求に対
応するネットワークトランザクションを生成しライン１
５６ａを介してネットワークコマンド送信回路１５７へ
渡す。ネットワークコマンド送信回路１５７は、該ネッ
トワークトランザクションをネットワーク９００にライ
ン１５７ａを介して送り出す。

【００２６】ネットワークトランザクション受信回路
（ネットワークコマンド受信回路）１５１は、ネットワ
ーク９００を介して送られてくる前記メモリアクセス要
求に対する応答をライン１５１ｂを介して待つ。ネット
ワークコマンド受信回路１５１は、メモリアクセスが正
常に行われたことを示す応答があった場合は、前述のネ
ットワークコマンド分類回路１５３およびバスコマンド
生成回路１３３を介して、該応答をバス１２０のトラン
ザクションとして送出する。

【００２７】またアクセス先ノードでＰＰＴミスが発生
したことを示す応答があった場合には、バス１２０に割
り込み要求トランザクションを発行することで、メモリ
アクセス要求元ＣＰＵにアクセス先ノードからの応答を
伝える。

【００２８】他ノードの主記憶へのアクセスでＰＰＴミ
スが検出された場合には、ＰＰＴミスはネットワーク９
００上のトランザクションを介して発行元ノードに伝え
られる。この場合には、ネットワークトランザクション
受信回路（ネットワークコマンド受信回路）１５１が該
トランザクションを受信し、ネットワークトランザクシ
ョン分類回路が、メモリアクセス要求に対するＰＰＴミ
ス応答トランザクションであることを判定し、バストラ
ンザクション生成回路（バスコマンド生成回路）１３３
伝える。バストランザクション生成回路１３３はメモリ
アクセス要求発行元ＣＰＵに対して該エラーに対応する
割り込みを発生させるバストランザクションをバス１２
０に発行する。

【００２９】図６は上記のメモリアクセス要求発行元ノ
ードの動作のフローチャートを示す。メモリアクセス要
求発行元ノードはプロセッサが発行したトランザクショ
ンがメモリアクセストランザクションであるか否かを判
定し(5001)、メモリアクセストランザクションの場合に
はＴＬＢを参照して(5002)、ＴＬＢヒットの場合は仮想
アドレスを物理アドレスに変換し(5003)、次に該アクセ
ス先物理アドレスが自ノードに属するか否かを判定する
(5004)。自ノードへのアクセスの場合には、ＰＰＴヒッ
ト/ミスの判定を行い(5005)、ＰＰＴヒットの場合は主
記憶アクセスを行い(5006)、バスに応答トランザクショ
ンを発行する(5007)。アクセス先物理アドレスが自ノー
ドに属するか否かを判定(5004)した結果、自ノードに属
さないと判定された場合には、ネットワークトランザク
ションを発行して(5101)他ノードにアクセスし、応答ト
ランザクションを待つ(5102)。アクセス成功の応答があ
った場合にはバスに応答トランザクションを発行する(5
103)。ＰＰＴミス応答があった場合にはバスに割込みト
ランザクションを発行して(5104)、ＰＰＴミス処理ルー
チンを起動させる。

【００３０】（４）他ノードからのアクセスに対する動
作次に他ノードからのメモリアクセス要求に対する動作を
説明する。ネットワーク９００上のトランザクションは
ネットワークトランザクション受信回路（ネットワーク
コマンド受信回路）１５１が受信し、自ノードで処理す
べきトランザクションはネットワークトランザクション
分類回路１５３に渡す。ネットワークトランザクション
分類回路１５３は、メモリアクセストランザクションの
場合にはアクセス先物理メモリをローカル／リモート判
定回路１５２にライン１５３ａを介して送り、アクセス
先が自ノード内主記憶か否かを判定する。自ノード内主
記憶へのアクセスであると判定すると、ネットワークト
ランザクション分類回路１５３は、該トランザクション
をライン１５３ｂを介して主記憶アクセス回路１６１
へ、ライン１５３ｃを介して仮想ページ番号チェック回
路１４２へ送る。以降の主記憶アクセス回路１６１およ
び仮想ページ番号チェック回路１４２の処理は上記の時
ノードＣＰＵからのアクセスに対する動作の場合と同様
である。

【００３１】トランザクションが主記憶１６０からの読
み出し要求の場合には、主記憶アクセス回路１６１は主
記憶から読み出したラインデータをネットワークトラン
ザクション生成回路（ネットワークコマンド生成回路）
１５６に送り、ネットワークトランザクション生成回路
１５６は該ラインデータと、アクセス元ノード番号保持
回路１５４の内容から宛先生成回路１５５が生成するデ
ータを送るべきノード番号とから、主記憶から読み出し
たデータを要求元に送るネットワークトランザクション
を生成し、ネットワークコマンド送信回路１５７へライ
ン１５６ａを介して渡す。ネットワークトランザクショ
ン送信回路（ネットワークコマンド送信回路）１５７
は、渡されたネットワークトランザクションをネットワ
ーク９００へ送信する。

【００３２】物理ページマップテーブル（図３）から受
信したトランザクションの物理アドレスを用いて読み出
した仮想ページ番号が、該受信したトランザクションに
付加されていた仮想ページ番号と一致しなかった場合、
または物理ページマップテーブルの状態ビットが「無
効」な場合は、主記憶アクセス回路１６１は、ネットワ
ークトランザクション（コマンド）生成回路１５６に対
しＰＰＴミスを伝える。ネットワークトランザクション
生成回路１５６は、ネットワーク９００にＰＰＴミスを
伝えるトランザクションを送出しトランザクション発行
元ノードにＰＰＴミスの発生を伝える。

【００３３】図７には他ノードからのネットワークを介
したメモリアクセス要求を受信するノードの動作のフロ
ーチャートを示す。ネットワークからのトランザクショ
ンを受信すると(6001)、まずトランザクションがメモリ
アクセストランザクションであるか否かを判定し(600
2)、メモリアクセストランザクションの場合にはアクセ
ス先物理アドレスが自ノードに属するか否かを判定する
(5003)。自ノードへのアクセスの場合には、ＰＰＴヒッ
ト/ミスの判定を行い(6004)、ＰＰＴヒットの場合は主
記憶アクセスを行い(6005)、ネットワークに応答トラン
ザクションを発行する(6006)。ＰＰＴヒット/ミスの判
定(6004)の結果ＰＰＴミスであった場合には、ＰＰＴミ
スが発生したことをアクセス要求元に通知するネットワ
ークトランザクションを発行する(6101) 。

【００３４】（５）ページテーブル書き換え時の動作図８には、オペレーティングシステムがページテーブル
を書換える際の処理の例をフローチャートで示す。オペ
レーティングシステムは、ページテーブルの書き換えに
先立って、書換えようとするページテーブルエントリの
物理ページに対応する物理ページマップテーブルのライ
ンを無効化する(ステップ８００１)。次に、ページテー
ブルを書換えて新たな仮想ページを該物理ページにマッ
プする(ステップ８００２)。その次に、物理ページマッ
プテーブルに新たにマップされた仮想ページ番号を書き
込むと同時にそのラインを有効にする(ステップ８００
３)。なお、プロセスの終了等で物理ページを解放して
フリーリストに入れる場合には物理ページマップテーブ
ルのラインを無効化したままの状態にしておく。

【００３５】（６）ＰＰＴミスが検出された場合のトラ
ンザクション発行元の処理自ノード内主記憶または他ノード内主記憶へのアクセス
においてＰＰＴミスが発生した場合の、アクセス要求元
ＣＰＵの処理の例を説明する。アクセス要求元ＣＰＵ
はバス上のトランザクションによるソフトウェア割り込
みを受け、割り込み処理ルーチンに移行する。割り込み
処理ルーチンでは従来のシステムでＴＬＢミスが起こっ
た場合と同様の処理を行う。すなわち、最新のページテ
ーブルを参照してＴＬＢの内容を更新し、再度メモリア
クセスを行う。またページテーブル参照の結果該仮想ペ
ージが物理メモリ上に存在しなかった場合には、通常の
ページフォルトの場合と同様の処理をおこなう。

【００３６】以上述べた手順によりネットワークにより
接続されたノード間で、仮想アドレスによるメモリアク
セスの整合性を実現することができる。本実施例によれ
ばページテーブル書き換え時にＴＬＢパージトランザク
ションをブロードキャストする従来の方式と比較して、
ネットワークおよびプロセッサバスのトラフィックを削
減することができる。

【００３７】＜変形例＞本発明は以上の実施の形態に限
定されるのではなくいろいろの変形例にも適用可能であ
る。例えば、（１）以上においては、物理ページマップテーブル（図
３）は、ノード内主記憶のすべての物理ページに対する
仮想ページ番号を記憶するように構成されているが、一
部の物理ページについてのみ仮想ページ番号を記憶し、
物理ページマップテーブルに仮想ページ番号を記憶しな
いページについてはページテーブル書き換え時に従来と
同様にＴＬＢパージトランザクションをブロードキャス
トしてＴＬＢの一貫性を保証する方法も可能である。こ
の場合、物理ページマップテーブルのエントリは静的に
固定されたエントリをもつ方式、動的に記憶するエント
リをソフトウェアで決定する方式のどちらも可能であ
る。

【００３８】（２）上記実施の形態においては、ネット
ワークで複数のノードが結合されたNUMA（Non Uniform
Memory Access）型マルチプロセッサシステム上に構成
されているが、これに限定されず、ディレクトリを用い
てキャッシュコヒーレンシ制御を行うcc-NUMA型のマル
チプロセッサシステムであってもよい。

【００３９】（３）上記実施の形態においては、ノード
内のプロセッサについてもページテーブル書き換え時に
はＴＬＢ一貫性制御を行わず、メモリアクセストランザ
クションが発行された時に物理ページマップテーブルを
参照してアドレス変換の正当性をチェックするように構
成されている。しかし、ＴＬＢパージトランザクション
をノード内とノード外に選択的に発行する機能を有し、
ノード内については従来と同様にページテーブル書き換
え時にオペレーティングシステムがＴＬＢパージトラン
ザクションを発行して書換えられたページテーブルエン
トリに対応するＴＬＢラインを無効かし、ノード内から
の主記憶アクセスについては物理ページマップテーブル
によるアドレス変換の正当性をチェックをおこなわない
ように構成することもできる。

【００４０】（４）上記実施の形態においては、物理ペ
ージマップテーブルは一つの物理ページについて必ずひ
とつのマップ元仮想ページ番号を保持するようなハード
ウェア構成となっていたが、これに限定されず、一つの
物理ページについて固定された個数の複数個のマップ元
仮想ページ番号を保持する構成も可能である。このため
の物理ページマップテーブルのハードウェア構成として
は、たとえば上記実施例と同様の構造のテーブルを複数
個設けることで実現できる。

【００４１】また、一つの物理ページについて可変個数
のマップ元仮想ページ番号を保持する構成も可能であ
る。

【００４２】（５）また、以上においては、物理ページ
マップテーブルはマップされた仮想ページ番号を記憶
し、バストランザクションはアクセスするアドレスの仮
想ページ番号を含み、これを照合することでアクセスの
正当性をチェックしている。しかし、照合のために用い
る情報は仮想ページ番号に限らない。たとえばページテ
ーブルで管理される仮想ページと物理ページの対応付け
の世代を表わす番号（マップＩＤ）を付け、このマップ
ＩＤを照合に用いる方法もある。この場合、物理ページ
に対するページテーブルエントリが変更されるたび毎
に、マップＩＤをインクリメントし、物理ページマップ
テーブルにはマップＩＤを記憶する。メモリアクセスト
ランザクションには物理アドレスとマップＩＤの対をも
たせ、メモリアクセストランザクションによって指定さ
れた物理アドレスを有するノードは仮想ページ番号の代
わりにこのマップＩＤを照合する。図９にこの変形例に
おける物理ページマップテーブルの概念図を示す。この
マップＩＤを用いる方法では、ある仮想ページが一旦ペ
ージアウトされ、再び元と同じ物理ページ上にマップさ
れたような場合、メモリアクセス要求元における仮想ペ
ージと物理ページの対応付けと実際の対応付けが一致し
ているにも拘らずＰＰＴミスとなってしまう。本変形例
では図９に示すように複数の有効なマップＩＤを記憶可
能とすることでこのようなＰＰＴミスの発生する頻度を
減らすことができる。

【００４３】（６）また、一つの物理ページ番号と仮想
ページ番号の組について有効／無効を示す状態ビットを
管理するように構成することも可能である。可能なすべ
ての物理ページ番号と仮想ページ番号の組について、有
効／無効を示す状態ビットをもつように構成すると、ハ
ードウェアサイズ（ライン数）が膨大になる可能性があ
るが、この場合、たとえば物理ページマップテーブルを
連想メモリを用いて構成することによって、ハードウェ
アサイズを押さえることが可能である。

【００４４】

【発明の効果】本発明によれば、主記憶共有型のマルチ
プロセッサにおいて、物理アドレスマップテーブルを設
けることにより少ないハードウェア量の追加により、ペ
ージテーブル書き換え時にＴＬＢの一貫性制御のために
ＴＬＢパージトランザクションをブロードキャストする
必要を無くし、あるいは大幅に削減し、ネットワークお
よびノード内のバスのトラフィックおよびＴＬＢパージ
処理に伴うプロセッサのパイプラインストールを無く
す、あるいは大幅に削減ことができる。

【図面の簡単な説明】

【図１】本発明の仮想記憶管理機構を持つ主記憶共有型
マルチプロセッサの論理ブロック図である。

【図２】各ノードの仮想ページＩＤチェック回路の論理
ブロック図である。

【図３】各ノードの物理ページマップテーブルの概念図
である。

【図４】バス及びネットワーク上のトランザクションの
データ形式の概念図（その１）である。

【図５】バス及びネットワーク上のトランザクションの
データ形式の概念図（その２）である。

【図６】図１に示した主記憶共有型マルチプロセッサに
おける、メモリアクセス要求発行元ノードの動作のフロ
ーチャートである。

【図７】図１に示した主記憶共有型マルチプロセッサに
おける、メモリアクセス要求を受信するノードの動作の
フローチャートである。

【図８】プロセッサの処理手順例のフローチャートであ
る。

【図９】各ノードの物理ページマップテーブルの概念図
（変形例）である。

【符号の説明】

１００、２００……ノード、９００………………ノード間ネットワーク。

───────────────────────────────────────────────────── フロントページの続き (72)発明者濱中直樹東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者入江直彦東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者明石英也東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内Ｆターム(参考） 5B005 JJ01 JJ11 KK02 KK13 MM51 RR01 RR04 SS14 VV11

Claims

【特許請求の範囲】

【請求項１】ＣＰＵと主記憶を有する複数のノードを有
し、該各ノードは、該ノード上の主記憶の各物理ページ
と、該物理ページと仮想ページ番号との対応づけを記録
する記憶手段と、該主記憶をアクセスするトランザクシ
ョンに、アクセスする物理アドレスと仮想ページ番号を
付与する手段と、他ノードから受信した該トランザクシ
ョン中の仮想ページ番号と、該記憶手段に記憶されてい
る該他ノードから受信した該トランザクション中の物理
アドレスに対応する仮想ページ番号とを比較する手段
と、及び、仮想ページ番号が一致した場合に該トランザ
クションに対する処理を行う回路を有することを特徴と
する主記憶共有型マルチプロセッサ。
【請求項２】該物理ページマップテーブルが、一つの物
理ページに複数の仮想ページ番号を記録することを特徴
とする請求項１記載の主記憶共有型マルチプロセッサ。
【請求項３】該物理ページマップテーブルが、記録され
た物理ページと仮想ページの対応付けが現在有効である
か否かを示す情報を有することを特徴とする請求項１記
載の主記憶共有型マルチプロセッサ。
【請求項４】該物理ページマップテーブルはマルチプロ
セッサシステムのメモリ空間の一部にマップされてな
り、該プロセッサが該物理マップテーブルを書き換える
ことを特徴とする請求項１記載の主記憶共有型マルチプ
ロセッサ。
【請求項５】該物理ページマップテーブルに仮想ページ
との対応を記録する物理ページを、該ノード内主記憶の
物理ページの中からソフトウェアによって選択すること
を特徴とする請求項１記載の主記憶共有型マルチプロセ
ッサ。
【請求項６】それぞれがＣＰＵと該ＣＰＵに付設された
ＴＬＢとおよび主記憶とを有する複数のノードと、該ノ
ード間を結ぶネットワークとからなり、該各ノードが、
該ノード上の該主記憶の各物理ページと、該物理ページ
と仮想ページとの対応付けの世代を表わす番号を記録す
る物理ページマップテーブルと、メモリをアクセスする
ネットワークトランザクションに、物理アドレスと、Ｔ
ＬＢを用いて仮想アドレスから物理アドレスへの変換を
行った際に用いた物理アドレスと仮想ページとの対応付
けの世代を表わす番号を付与する手段と、受け取ったネ
ットワークトランザクションの物理アドレスと仮想ペー
ジとの対応付けの世代を表わす番号と、物理ページマッ
プテーブルに記憶されている該物理アドレスに対応する
仮想ページとの対応付けの世代を表わす番号とを比較す
る手段と、及び、番号が一致した場合にメモリアクセス
トランザクションに対する応答処理を実行し、一致しな
い場合にトランザクション発行元にエラーを通知する手
段を有することを特徴とする主記憶共有型マルチプロセ
ッサ。
【請求項７】該物理ページマップテーブルは、一つの物
理ページについて複数の仮想ページとの対応付けの世代
を表わす番号を記録することを特徴とするとする請求項
６記載の主記憶共有型マルチプロセッサ。
【請求項８】該物理ページマップテーブルが記録された
物理ページと仮想ページの対応付けが現在有効であるか
否かを示す情報を有することを特徴とする請求項６ある
いは７記載の主記憶共有型マルチプロセッサ。
【請求項９】該物理ページマップテーブルはマルチプロ
セッサシステムのメモリ空間の一部にマップされてな
り、プロセッサが該物理ページマップテーブルを書き換
えることを特徴とする請求項６あるいは７記載の主記憶
共有型マルチプロセッサ。
【請求項１０】該物理ページマップテーブルに仮想ペー
ジとの対応付けの世代を表わす番号を記録する物理ペー
ジを、該ノード内主記憶の物理ページの中からソフトウ
ェアによって選択することを特徴とする請求項６あるい
は７記載の主記憶共有型マルチプロセッサ。
【請求項１１】それぞれがＣＰＵと該ＣＰＵに付設され
たＴＬＢと及び主記憶とを有する複数のノードと、該ノ
ード間を結ぶネットワークとからなり、該各ノードが、
該ノード上の該主記憶の各物理ページと、物理テーブル
と仮想ページ番号との組の有効性を記録する物理ページ
マップテーブルと、メモリをアクセスするネットワーク
トランザクションに、アクセスする物理アドレスと仮想
ページ番号を付与する手段と、受け取ったネットワーク
トランザクションの物理アドレスと仮想ページ番号の組
について、物理ページマップテーブルを参照してその有
効性を検査する手段と、及び該有効性が有効な場合にメ
モリアクセストランザクションに対する応答処理を実行
し、有効でない場合はトランザクション発行元にエラー
を通知する手段を有することを特徴とする主記憶共有型
マルチプロセッサ。
【請求項１２】該物理ページマップテーブルは連想記憶
によって構成されてなることを特徴とする請求項１１記
載の主記憶共有型マルチプロセッサ。
【請求項１３】該物理ページマップテーブルはマルチプ
ロセッサシステムのメモリ空間の一部にマップされ、プ
ロセッサが該該物理ページマップテーブルを書き換える
ことを特徴とする請求項１１記載の主記憶共有型マルチ
プロセッサ。
【請求項１４】それぞれがＣＰＵと主記憶を有する複数
のノードとを有し、該各ノードが、該主記憶の各物理ペ
ージと、該物理ページと仮想ページ番号との対応を記録
する記憶手段と、該主記憶をアクセスする際にアクセス
先の物理アドレスと仮想ページ番号を指定する手段と、
該主記憶がアクセスされる際にアクセス先の仮想ページ
番号と該記憶手段に記憶されている該アクセス先の物理
アドレスに対応する仮想ページ番号とを比較する手段
と、及び、仮想ページ番号が一致した場合に該アクセス
処理を行う回路を有することを特徴とするマルチプロセ
ッサ。
【請求項１５】それぞれがＣＰＵと該ＣＰＵに付設され
たＴＬＢと及び主記憶とを有する複数のノードとを有
し、該各ノードは、該ノード上の該主記憶の各物理ペー
ジと、該物理ページと仮想ページとの対応付けの世代を
表わす番号を記録する物理ページマップテーブルと、該
主記憶をアクセスする際に該アクセス先の物理アドレス
と該ＴＬＢを用いて仮想アドレスから物理アドレスへの
変換時に用いた物理アドレスと仮想ページとの対応付け
の世代を表わす番号を指定する手段と、該主記憶がアク
セスされる際に該指定された世代を表わす番号と該物理
ページマップテーブルに記憶されている該アクセス先の
該物理アドレスに対応する仮想ページとの対応付けの世
代を表わす番号とを比較する手段と、及び、番号が一致
した場合に該アクセス処理を実行し、一致しない場合に
アクセス元にエラーを通知する手段を有することを特徴
とする主記憶共有型マルチプロセッサ。