JP2000181891A - 共有メモリアクセス順序保証方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】共有メモリを有するマルチプロセッサシステム
において、ストアの順序保証のために後続の命令実行を
待たせる必要のない共有メモリアクセス順序保証方式を
提供する。 【解決手段】ストア順序を保証する側のプロセッサ１０
１において、ストア順序保証リクエスト１３３以降に開
始したストアアクセス１２７が共有メモリ１２０に反映
されると順序保証フラグ１３６がセットされ、該リクエ
スト１３３以前のストアアクセス１２５が共有メモリ１
２０および他プロセッサ１０２のキャッシュ１２４に反
映されるとリセットされる。一方ロード順序を保証する
側のプロセッサ１０２では、先行するロードアクセス１
２８の読み出しが完了した後ロード順序保証リクエスト
１３４を発行し、前記順序保証フラグ１３６がリセット
されることによりロード順序保証リクエストは完了（１
３５）となり、後続のロードアクセス１３０を開始す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のプロセッサ
と、１つあるいは複数のメモリバンクからなる共有メモ
リを有するマルチプロセッサシステムにおいて、あるプ
ロセッサからの共有メモリへのアクセス順序を他のプロ
セッサからみて保証する、共有メモリアクセス順序保証
方式に関する。

【０００２】

【従来の技術】共有メモリを有するマルチプロセッサシ
ステムにおいて、特にスループットを重視するものは、
プロセッサと共有メモリとの間の結合網として、中間に
バッファを有する（多段）スイッチ型の主記憶制御装置
が用いられることがある。しかし、このようなスイッチ
型の主記憶制御装置において、スループットを維持した
まま、あるプロセッサからの全ての共有メモリアクセス
順序を他のプロセッサから見て保証するように制御する
ことは困難である。それには、順序保証が必要な共有メ
モリアクセスのみについて順序保証制御を行うようなｗ
ｅａｋｌｙ ｃｏｎｓｉｓｔｅｎｃｙ ｍｏｄｅｌと呼ば
れる記憶制御方式が有効である。

【０００３】このようなスイッチ型の主記憶制御装置に
おいてメモリアクセスの順序を保証する場合、先行する
アクセスが完了するまで後続のアクセスを待たせるのが
一般的である。ここで、アクセスが完了するとは、スト
アアクセスの場合、どのプロセッサからも該ストアアク
セスの結果をロードアクセスによって読み出すことがで
きる状態になることを意味し、ロードアクセスの場合、
どのプロセッサからのストアアクセスによってもそのロ
ードアクセスによって読み出される値に影響しない状態
になることを意味する。しかし、先行するストアアクセ
スが全て完了することを保証するためには、かなりの時
間を要してしまう。

【０００４】プロセッサ間で共有メモリを介して共有デ
ータの受け渡しをする場合を例にとってみると、共有デ
ータを渡す側のプロセッサは、共有データのストアの後
に、他プロセッサに共有データを参照することを許可す
るためのフラグのストアを行うが、共有データのストア
とフラグのストアの間でアクセス順序を保証する必要が
ある。このとき、共有データのストアが完了するまでフ
ラグのストアを待たせていると、以降の命令実行も待た
されることにより性能に影響を与えてしまう。

【０００５】そこで、この待ち時間をなるべく短くする
ために、例えば特開平６―２３１０３２号公報に記載さ
れた技術は、共有データを参照することを許可するフラ
グを専用の共有レジスタに設定し、フラグ以前のストア
リクエストが全て主記憶制御装置内の順序保証可能なス
テージまで降りるまで、主記憶制御装置内においてフラ
グのストアのみを待たせことにより、プロセッサは先行
するストアの完了を待たずにフラグのストアを行うこと
ができるようにしている。

【０００６】また、上記技術では、マルチプロセッサで
はなく、単一の演算プロセッサから見たＩ／Ｏプロセッ
サのメモリアクセス順序に関してではあるが、主記憶制
御装置内に存在するＩ／Ｏがアクセス中のアドレスと、
プロセッサがアクセスしようとしているアドレスをコン
ペアすることにより、Ｉ／Ｏがアクセス中のアドレスに
対してはプロセッサのアクセスを待たせるという方法も
考えられている。こうすることにより、Ｉ／Ｏプロセッ
サからのアクセスにおいて、フラグのストアは完了した
が共有データのストアは完了していないという状態で
も、プロセッサからの共有データのロードは主記憶制御
装置内のコンペア回路により待たされるので、誤って古
いデータを読んでしまうことはない。

【０００７】

【発明が解決しようとする課題】先行するストアアクセ
スが完了する前に後続のストアアクセスを行うことによ
り、順序保証に要するオーバヘッドを軽減することがで
きる。

【０００８】しかし、上記した技術のように共有レジス
タを用いて順序保証を行う方法では、共有データの受け
渡しにおけるフラグ領域が共有レジスタに限られている
ため、プログラムに制限が出来てしまう。一方、フラグ
領域を共有メモリに設定することができれば、プログラ
ムの自由度が広がる。

【０００９】また、アドレスをコンペアする方法では、
Ｉ／Ｏプロセッサなど１台のプロセッサに限定し、さら
に主記憶制御装置内のバッファ数が少ないときは実現可
能であるが、複数のプロセッサへの対応や、プロセッサ
からメモリまでの間のバッファ数が多い主記憶制御装置
については、アドレスのコンペア数が多くなりハードウ
ェアへのインプリメントが困難となる。

【００１０】さらに、これら２つの方法には、プロセッ
サがキャッシュを有する場合のコヒーレンス制御に関す
る考慮がないため、ハードウェアによってキャッシュの
コヒーレンスを保証するためには別の手段を考える必要
がある。

【００１１】本発明は、順序保証のために要するオーバ
ヘッドを軽減することができる共有メモリアクセス順序
保証方式を提供するものである。

【００１２】さらに、本発明は、プロセッサ間で共有デ
ータを受け渡しする際のフラグ領域として特別な同期レ
ジスタを必要とせず、任意のメモリ領域を指定すること
ができる共有メモリアクセス順序保証方式を提供するも
のである。

【００１３】さらに、本発明は、多数のプロセッサによ
って構成されるシステムにおいても、ハードウェアにお
いてインプリメント可能な共有メモリアクセス順序保証
方式を提供するものである。

【００１４】

【課題を解決するための手段】本発明では、ストアの順
序保証時にはストア順序保証命令、ロードの順序保証時
にはロード順序保証命令というように、二種類の順序保
証命令をプロセッサにて用意する。プロセッサがストア
順序保証命令を実行すると、先行のストア命令による全
てのストアリクエストを主記憶制御装置に掃き出した
後、ストア順序保証リクエストを主記憶制御装置に対し
て送出する。プロセッサから見るとストア順序保証命令
は主記憶制御装置がリクエストを受け付けた時点で完了
となるので、後続の命令はほとんど待たされることなく
実行することができる。主記憶制御装置には、ストア順
序保証リクエスト以前のストアリクエストがまだ完了し
ていないクリティカルな状態であることを表す順序保証
フラグがプロセッサ対応に用意されており、あるプロセ
ッサからストア順序保証リクエストが発行されたとき、
該プロセッサに対応する順序保証フラグが１にセットさ
れる。そしてストア順序保証リクエスト以前の全てのス
トアリクエストが共有メモリに達し、さらに他プロセッ
サのキャッシュへの反映が完了すると、該順序保証フラ
グを０にリセットする。このとき順序保証フラグを１に
セットするタイミングは、順序保証が可能な範囲ででき
るだけ遅い方が望ましい。

【００１５】一方ロード順序保証命令は、先行するロー
ド命令の全てのリプライデータが戻ってきてから実行さ
れ、このとき後続の命令実行は一旦抑止される。主記憶
制御装置では、ロード順序保証リクエストを受け取った
時点でロード順序保証リクエストを発行したプロセッサ
以外の各プロセッサに対応する順序保証フラグを参照
し、順序保証フラグが全てリセットされていればその時
点でロード順序保証リクエストの完了とし、一つでもセ
ットされている順序保証フラグがあれば、それらの順序
保証フラグがリセットされた時点でロード順序保証リク
エストの完了として、プロセッサに完了報告を上げる。
ロード順序保証リクエストを発行したプロセッサは、主
記憶制御装置から完了報告を受け取ると、後続の命令実
行を再開する。

【００１６】このように、ストア順序保証命令とロード
順序保証命令を組み合わせて用いれば、仮にストア順序
保証命令以前のストアリクエストが完了していなくて
も、順序保証フラグがセットされているためにロード順
序保証命令により後続のロード命令が抑止され、正しい
順序でロードが行われることになる。

【００１７】尚、順序保証フラグをセット・リセットす
る代わりに、２つのカウンタをインクリメントすること
により、同時にセットできる複数の順序保証フラグがあ
るように見せて、ハードウェアの物量を軽減することが
できる。

【００１８】

【発明の実施の形態】以下、本発明の一実施形態を図面
を用いて詳細に説明する。

【００１９】図１は、ｎ個のプロセッサ２０−０〜２０
−ｎと、ｍ個のバンク２７−０〜２７−ｍにインタリー
ブされた主記憶２８と、それらの間でデータの制御を行
う主記憶制御装置２１からなるマルチプロセッサシステ
ムの構成例を示す。

【００２０】ここで、プロセッサ２０−０〜２０−ｎに
は、命令を解読して演算を行う演算プロセッサだけでな
く、Ｉ／Ｏの制御を司るＩ／Ｏプロセッサも含まれる。
主記憶制御装置２１内には、プロセッサ対応にｎ個のプ
ロセッサ制御部２２−０〜２２−ｎと、メモリバンク対
応にｍ個のメモリ制御部２６−０〜２６−ｍがあり、プ
ロセッサ制御部２２−０〜２２−ｎとメモリ制御部２６
−０〜２６−ｍは相互結合網で接続されている。

【００２１】プロセッサ制御部２２−０〜２２−ｎは、
プロセッサ２０−０〜２０−ｎから発行されたストアや
ロードのリクエストを受け取り、リクエストに付随した
アドレスに従ってバンクに対応したメモリ制御部２６−
０〜２６−ｍへ送出し、ロードリクエストによって主記
憶２８から読み出されたデータをメモリ制御部２６−０
〜２６−ｍから受け取り、プロセッサ２０−０〜２０−
ｎに対して返送する。また、プロセッサ２０−０〜２０
−ｎ内のキャッシュを無効化するキャッシュパージリク
エストをメモリ制御部２６−０〜２６−ｍから受け取っ
た際は、キャッシュ制御部２５−０〜２５−ｎにおい
て、対応するプロセッサ２０−０〜２０−ｎに対して該
キャッシュパージリクエストを伝達する。プロセッサ制
御部２２−０〜２２−ｎには、この他に順序保証のため
の専用の論理として、ストア順序制御部２３−０〜２３
−ｎ、ロード順序制御部２４−０〜２４−ｎがある。

【００２２】メモリ制御部２６−０〜２６−ｍは、各プ
ロセッサ２０−０〜２０−ｎからプロセッサ制御部２２
−０〜２２−ｎを介して発行されたストアリクエストに
付随するデータを主記憶２８中の対応するメモリバンク
２７−０〜２７−ｍに書込み、あるいはロードリクエス
トにより主記憶２８からデータをフェッチして発行元の
プロセッサ制御部にリプライデータを返す。メモリ制御
部２６−０〜２６−ｍはさらに各プロセッサ２０−０〜
２０−ｎのキャッシュディレクトリのコピーを保持して
おり、ストアリクエストによってキャッシュの中のライ
ンをパージ（無効化）する必要のあるプロセッサに対し
てキャッシュパージリクエストを生成し、該プロセッサ
に対応するプロセッサ制御部２２−０〜２２−ｎに該パ
ージリクエストを送出する。

【００２３】プロセッサ２０−０〜２０−ｎには順序保
証を行うための命令として、ストア順序保証命令とロー
ド順序保証命令の２種類が用意されている。以降、これ
らを便宜的にそれぞれＳＯＥ命令、ＬＯＥ命令と呼ぶこ
とにする。

【００２４】まず、プロセッサがＳＯＥ命令を実行した
ときの動作を説明する。

【００２５】図６は、プロセッサ２０がＳＯＥ命令を実
行したときにおける、プロセッサ２０が実行中の命令お
よびプロセッサ２０と主記憶制御装置２１との間のイン
タフェースを表したタイムチャートの例である。

【００２６】プロセッサ２０はＳＯＥ命令２０２を実行
すると、それ以前に実行したストア命令２０１によるス
トアリクエスト２０４が全て主記憶制御装置２１に対し
て発行されたことを保証した後、さらにＳＯＥリクエス
ト２０５を主記憶制御装置２１に対して発行する。これ
は、例えばプロセッサ２０内のキャッシュやストアバッ
ファに先行するストアリクエストが留まっている場合、
それらを主記憶制御装置２１に対して掃き出すことを意
味する。そして、主記憶制御装置２１からＳＯＥリクエ
スト２０５を受け付けた旨の報告２０６を受け取るまで
は、該ＳＯＥ命令２０２の後続命令２０３の実行は抑止
する。

【００２７】次に、プロセッサ２０−０がＳＯＥ命令を
実行したときを例にとり、主記憶制御装置でのＳＯＥリ
クエストの処理を説明する。

【００２８】図２は、図１におけるマルチプロセッサシ
ステムにおいて、プロセッサ２０−０がＳＯＥリクエス
トを発行したときの信号の流れを示している。

【００２９】プロセッサ２０−０が発行したＳＯＥリク
エストは、主記憶制御装置２１内の対応するプロセッサ
制御部２２−０が受け取り、ストア順序制御部２３−０
に対してＳＯＥ開始信号３０が送られる。

【００３０】図３はストア順序制御部２３−０のブロッ
ク図を示している。ストア順序制御部２３−０はＳＯＥ
開始信号３０を受け取ると、プロセッサ２０−０からの
ＳＯＥリクエストが現在いくつ実行中であるかを示すカ
ウンタ３３の値を参照し、ｋ未満であればカウンタ３３
を＋１だけインクリメントし、プロセッサ２０−０に対
してＳＯＥリクエスト受け付け報告（ＳＯＥ完了信号）
３２を上げ、プロセッサ２０−０以外に対応するロード
順序制御部２４−１〜２４−ｎにＳＯＥ開始信号３８を
放送し、さらにメモリ制御部２６−０〜２６−ｍにＳＯ
Ｅリクエスト３６を分配する。ただし、このＳＯＥリク
エスト３６の分配時、プロセッサ２０−０からＳＯＥリ
クエスト以前に発行されたストアリクエストは追い越さ
ないように制御される。また、ロード順序制御部２４−
１〜２４−ｎへのＳＯＥ開始信号３８の放送は、ディレ
イヤ３７によって一定時間遅延された後実行される。一
方、ＳＯＥリクエストカウンタ３３の値がｋの場合は、
後述のＳＯＥ完了信号３４−１〜３４−ｎによりカウン
タ３３の値がｋ未満になることを待ってから、プロセッ
サへのＳＯＥ受け付け報告（ＳＯＥ完了信号）３２、ロ
ード順序制御部２４へのＳＯＥ開始信号３８の放送、お
よびＳＯＥリクエストのメモリ制御部２６−０〜２６−
ｍへの分配を行う。このカウンタ３３により、主記憶制
御装置２１内でのプロセッサ２０−０発のＳＯＥリクエ
ストの数がｋ個に限定される。

【００３１】ＳＯＥリクエスト発行元のプロセッサ２０
−０に対応するストア順序制御部２３−０が、各プロセ
ッサ２０−１〜２０−ｎからのＳＯＥ完了報告信号３４
−１〜３４−ｎを受け取ると、それぞれのプロセッサに
対応した完了カウンタ３５−１〜３５−ｎの値をインク
リメントする。そして、全てのカウンタ３５−１〜３５
−ｎの値が１以上になる、すなわち全てのＳＯＥ完了報
告３４−１〜３４−ｎが揃うことにより、各完了カウン
タ３５−１〜３５−ｎおよびＳＯＥリクエストカウンタ
３３の値がディクリメントされる。主記憶制御装置２１
内で、プロセッサ２０−０が発行した実行中のＳＯＥリ
クエストがいなければ、このカウンタ３３の値は０とな
る。

【００３２】メモリ制御部２６−０〜２６−ｍでは、ス
トア順序制御部２３−０からＳＯＥリクエスト３６を受
け取ると、該ＳＯＥリクエスト３６の発行元であるプロ
セッサ２０−０から以前に受け取ったストアリクエスト
によるパージリクエストを追い越すことなく、プロセッ
サ２０−０以外に対応するキャッシュ制御部２５−１〜
２５−ｎに対してＳＯＥリクエストを分配する。

【００３３】図５はキャッシュ制御部２５のブロック図
を示したものである。

【００３４】メモリ制御部２６−０〜２６−ｍから送出
されたＳＯＥリクエスト５０−０〜５０−ｍは、リクエ
ストデコーダ５１−０〜５１−ｍによって発行元プロセ
ッサ番号がデコードされ、それぞれのプロセッサ番号に
対応するＳＯＥ待ち合せ論理５４−０〜５４−ｎに送ら
れる。ここで、自分が担当するプロセッサから発行され
たＳＯＥリクエストは自分自身にはメモリ制御部２６−
０〜２６−ｍから分配されて来ないため、担当プロセッ
サ対応のＳＯＥ待ち合せ論理は存在しない。ｎ−１個あ
るＳＯＥ待ち合せ論理のうち、プロセッサ２０−０に対
応する待ち合せ論理５４−０では、プロセッサ２０−０
が発行元のＳＯＥリクエスト５０−０〜５０−ｍによ
り、メモリバンク対応に用意された待ち合せカウンタ５
５−０〜５５−ｍの値がインクリメントされる。例え
ば、メモリバンク＃１対応のメモリ制御部２６−１から
来たＳＯＥリクエスト５０−１は、カウンタ５５−１を
インクリメントする。そして、全てのバンクに対応する
メモリ制御部２６−０〜２６−ｍからＳＯＥリクエスト
が到達する、すなわち各バンクに対応する待ち合せカウ
ンタ５５−０〜５５−ｍの値が全て１以上になったら、
待ち合せが完了したことになり、一旦バッファ５６にＳ
ＯＥリクエストを格納して、対応するプロセッサに対し
てＳＯＥリクエストを送出できたら各待ち合せカウンタ
５５−０〜５５−ｍの値をそれぞれディクリメントさせ
る。

【００３５】キャッシュパージリクエストも同様にリク
エストデコーダ５１−０〜５１−ｍによってデコードさ
れるが、待ち合せ論理には行かず、パス５３およびセレ
クタ５７を通ってプロセッサに発行される。プロセッサ
に対するＳＯＥリクエストとキャッシュパージリクエス
トは、セレクタ５７によってプライオリティが取られ、
１リクエストずつプロセッサに対して発行される。この
とき、ＳＯＥリクエストはメモリ制御部から先行して送
出されたパージリクエストを追い越さないように制御さ
れる。

【００３６】プロセッサ２０−０が発行元のＳＯＥリク
エストを主記憶制御装置２１から受け取った各プロセッ
サ２０−１〜２０−ｎは、それ以前に主記憶制御装置２
１から受け取ったキャッシュパージリクエストが全て自
プロセッサのキャッシュに反映されたことを保証した
後、主記憶制御装置２１に対してＳＯＥ完了報告を上げ
る。主記憶制御装置２１においてＳＯＥ完了報告は、該
プロセッサに対応するロード順序制御部２４へのＳＯＥ
完了信号４３−０および、プロセッサ２０−０に対応す
るストア順序制御部２３−０へのＳＯＥ完了信号３４−
１〜３４−ｎとなって送出される。

【００３７】図４はロード順序制御部２４のブロック図
を示したものである。ロード順序制御部２４は、ＳＯＥ
リクエスト発行元のプロセッサ対応に、２個のカウンタ
４４、４５を持っている。ストア順序制御部２３−０が
ＳＯＥリクエストを受け付けたときに放送される前記Ｓ
ＯＥ開始信号３８−０は、プロセッサ２０−０対応の開
始カウンタ４４の値をインクリメントさせる。また、対
応プロセッサから前記ＳＯＥ完了信号４３−０を受け取
った時には完了カウンタ４５の値がインクリメントされ
る。これらのカウンタは（ｋ＋１）進となっており、０
からｋまでカウントアップした後は再び０に戻る。ＳＯ
Ｅリクエストが完了した時点でプロセッサ２０−０から
更なるＳＯＥリクエストが実行されていなければ、この
両者のカウンタ４４、４５は同じ値を示すことになる。
ストア順序制御部２３−０においてプロセッサ２０−０
発のＳＯＥリクエストの数はｋ個に制限されており、ま
た両カウンタはｋ＋１進となっているため、たとえＳＯ
Ｅリクエストの完了が遅れて完了カウンタ４５のインク
リメントが止まっていたとしても、開始カウンタ４４だ
けがインクリメントされることによって完了カウンタ４
５と同じ値になってしまうことはない。

【００３８】次に、プロセッサがＬＯＥ命令を実行した
ときの動作を述べる。

【００３９】図７はプロセッサ２０がＬＯＥ命令を実行
したときにおける、プロセッサが実行中の命令およびプ
ロセッサと主記憶制御装置間２１のインタフェースを表
したタイムチャートの例である。

【００４０】プロセッサ２０においてＬＯＥ命令２１１
は、それ以前に実行したロード命令２１０に対するリプ
ライデータ２１６が全て戻った後に実行され、主記憶制
御装置２１に対してＬＯＥリクエスト２１４を発行し、
後続の命令２１２の実行を抑止する。主記憶制御装置２
１からＬＯＥ完了信号２１７を受け取ると、後続の命令
２１２の実行を再開する。

【００４１】次に、プロセッサ２０−１がＬＯＥ命令を
実行したときを例にとり、主記憶制御装置２１でのＬＯ
Ｅリクエストの処理を説明する。

【００４２】再び図４を用いて説明すると、主記憶制御
装置２１がＬＯＥリクエスト２１４を受け取ると、対応
するロード順序制御部２４−１に対してＬＯＥ開始信号
４０が送られる。該ＬＯＥ開始信号４０により、ＬＯＥ
実行フラグ４１のセットと各プロセッサ対応のＬＯＥ完
了フラグ４８のリセットが行われ、さらに各プロセッサ
対応のＳＯＥ開始カウンタ４４の値がラッチ４６によっ
て一時的に記憶される。そしてＳＯＥ完了カウンタ４５
の値がラッチ４４の値と等しくなったとき、ＬＯＥ完了
フラグ４８をセットする。全プロセッサ対応のＬＯＥ完
了フラグ４８がセットされたとき、すなわちＬＯＥリク
エストを受け取った時点で実行中であったＳＯＥリクエ
ストが全て完了したとき、ＬＯＥ完了信号４２をプロセ
ッサに送出して、ＬＯＥ実行フラグ４１をリセットす
る。

【００４３】図８はロード順序制御部において、各信号
を受信した際のカウンタやフラグなどの値の推移を表し
たタイムチャートの例を示したものである。この例で
は、同時に実行できる１プロセッサあたりのＳＯＥリク
エストの数は３個としている（ｋ＝３）。

【００４４】まず、ＳＯＥ開始信号２２０、２２１、２
２２、２２３により開始カウンタの値が、ＳＯＥ完了信
号２２４、２２５、２２６、２２７により完了カウンタ
の値がそれぞれインクリメントされる。また、ＬＯＥ開
始信号２２８により、該信号を受け取った時点の開始カ
ウンタの値“２”がラッチに保持され、完了カウンタの
値が同じく“２”になったタイミングでＬＯＥ完了フラ
グがセットされる。したがって、ＬＯＥ開始信号２２８
を受け取る前に発行されたＳＯＥ開始信号２２０、２２
１に対するＳＯＥ完了信号２２４、２２５を受け取った
タイミングで、ＬＯＥ完了フラグがセットされることに
なる。

【００４５】ところで、ストア順序制御部２３から送ら
れるＳＯＥ開始信号３８はディレイヤ３７を通って一定
時間遅延されるが、この遅延時間が長すぎると、ロード
順序制御部２４においてＬＯＥ開始信号４０を受信した
ときにＳＯＥ開始カウンタ４４のインクリメントが間に
合わず、本来待たせなければならないＬＯＥ命令が不当
に早く完了してしまう恐れがある。また、ＳＯＥ開始カ
ウンタ４４のインクリメントが完了カウンタ４５のイン
クリメントより後になってしまうと、ＬＯＥ開始信号４
０受信時にラッチしたＳＯＥ開始カウンタ値４６と完了
カウンタ４５の値が等しくならず、いつまでたってもＬ
ＯＥ完了フラグ４８がセットできなくなる可能性もあ
る。逆に遅延時間が短すぎると、無関係なＳＯＥリクエ
ストによってＬＯＥ命令が待たされる機会が多くなって
しまう。したがって、矛盾が発生しない範囲でできるだ
け長くなるように遅延時間を調節する必要がある。

【００４６】次に、プロセッサ間における共有データの
受け渡しを例にとり、本実施例によって共有メモリへの
アクセス順序が保証可能となることを説明する。

【００４７】図９は、プロセッサ１０１によって共有メ
モリに書込まれた共有データをプロセッサ１０２が読み
出すときの処理を記述したフローチャートである。

【００４８】プロセッサ１０１は共有データのストア
（ステップ１０３）を行った後ストア順序保証命令（Ｓ
ＯＥ）を実行し（ステップ１０４）、共有データの読み
出し許可フラグのストア（ステップ１０５）を行う。一
方、プロセッサ１０２は共有データ読み出し許可フラグ
のロード（ステップ１０６）をフラグがセットされるま
で繰り返し（ステップ１０７）、ロード順序保証命令
（ＬＯＥ）を実行（ステップ１０８）した後で共有デー
タのロード（ステップ１０９）を行う。

【００４９】図１０、図１１は順序保証命令を全く使用
しなかった場合における、図９のプロセッサ間の共有デ
ータの受け渡しを表したタイムチャートを示している。
ここで、リクエスト１２５はプロセッサ１０１からの共
有データのストア、リクエスト１２７は同プロセッサ１
０１からのフラグのストアであり、リクエスト１２８は
プロセッサ１０２からのフラグのロード、リクエスト１
３０は同プロセッサ１０２からの共有データのロードを
表している。

【００５０】ストアリクエスト１２５は共有メモリ１２
０にデータを書込んだ後、プロセッサ１０２内のキャッ
シュ１２４を無効化するためのキャッシュパージリクエ
スト１２６となってプロセッサ１０２に伝達される。こ
の例では、フラグのロードリクエスト１２８は、最も早
くフラグのストア結果を読み出すことのできるタイミン
グとなっており、フラグの読み出しデータ１２９が戻っ
た後に共有データのロード１３０が実行される。このと
き、図１０はリクエスト１２５とリクエスト１２７の間
で順序が保証できたときのケースであり、図１１は後続
のリクエスト１２７が先行するリクエスト１２５を追い
越してしまったケースである。図１０では、プロセッサ
１０１がストアした共有データの結果をプロセッサ１０
２は正しく読むことができるが、図１１ではフラグのス
トア１２７が先に処理されてしまったために、プロセッ
サ１０２は共有データのロード１３０によってキャッシ
ュ１２４上の古いデータを読んでしまっている。

【００５１】図１２は図１１のケースにおいて、従来の
順序保証機構によってデータとフラグのストアの間に順
序保証リクエストを挿入したときのタイムチャートを示
している。

【００５２】このように一般的な順序保証機構を用いた
場合、共有データのストアリクエスト１２５の後に順序
保証リクエスト１３２を発行し、先行する共有データの
ストアリクエスト１２５がプロセッサ１０２のキャッシ
ュ１２４に反映されるまで、後続のフラグストアリクエ
スト１２７の実行が待たされるようにしている。このよ
うにして、図１１のように順序保証命令なしでは失敗す
るケースでも正しく共有データの受け渡しを行うことが
できるが、フラグのストア１２７を待たせる分だけロー
ド側のタイミングも遅れてしまう。

【００５３】図１３は図１１のケースにおいて、本実施
例の順序保証命令を用いたときのタイムチャートを示し
ている。

【００５４】プロセッサ１０１は、共有データのストア
１２５の後ＳＯＥリクエスト１３３を発行し、ストア１
２５の完了を待たずにフラグのストア１２７を行うこと
ができる。したがって、プロセッサ１０２は従来の方法
よりも早くフラグのロードを行うことができる。また、
順序保証フラグ１３６はＳＯＥリクエスト１３３以降の
ストアリクエストが共有メモリに到達したときにセット
され、ＳＯＥリクエスト以前のストアリクエストがプロ
セッサ１０２のキャッシュまで反映されたことをもって
リセットされる。このとき、プロセッサ１０２からのＬ
ＯＥリクエスト１３４は順序保証フラグ１３６がリセッ
トされたことをもって完了となり、さらに共有データの
ロード１３０はＬＯＥリクエスト１３４の完了報告１３
５まで待たされるため、誤ってキャッシュ１２４上の古
いデータを読んでしまうこともない。

【００５５】以上の例では、プロセッサはＳＯＥ命令と
ＬＯＥ命令で動作が異なっていたが、ＳＯＥ命令とＬＯ
Ｅ命令の処理内容を全く同一とし、主記憶制御装置への
リクエスト発行時に、ＳＯＥリクエストとＬＯＥリクエ
ストでオーダを分けるようにしてもよい。すなわち、Ｓ
ＯＥ命令あるいはＬＯＥ命令が実行されると、先行のロ
ード命令のリプライデータが戻ることを待ち、先行のス
トア命令によるストアリクエストが全て主記憶制御装置
に対して発行されたことを保証した後、ＳＯＥリクエス
トまたはＬＯＥリクエストを主記憶制御装置に発行す
る。ＳＯＥ受け付け報告とＬＯＥ完了報告も同一のイン
タフェースとなり、この報告を受けるまでは後続の命令
実行を抑止する。このようにして両者の動作を統一する
ことにより、本実施例のプロセッサにおけるインプリメ
ントを軽減することができる。

【００５６】尚、一実施形態に基づき以上に説明した本
発明は、更に以下のように説明することもできる。

【００５７】（１）複数のプロセッサと該プロセッサで
共有されるメモリと該共有メモリを制御する主記憶制御
装置からなるマルチプロセッサシステムにおいて、プロ
セッサにおいて実行されるストア順序保証命令と、前記
ストア順序保証命令を実行したプロセッサにおける、該
ストア順序保証命令以後のいずれかのストア命令の結果
が共有メモリに反映されるとセットされ、該ストア順序
保証命令以前の全てのストア命令の結果が共有メモリお
よび他プロセッサのキャッシュに反映されるとリセット
される、プロセッサ対応に用意された順序保証フラグ
と、プロセッサにおいて実行されると、該プロセッサの
先行するロード命令に対応するリプライデータが全て戻
ることを待った後、他プロセッサに対応する前記順序保
証フラグを参照し、その時点でセットされていた順序保
証フラグが全てリセットされるまで後続の命令実行を抑
止するロード順序保証命令とを有することを特徴とする
共有メモリアクセス順序保証機構。

【００５８】（２）前記順序保証フラグをセットするタ
イミングを、前記ストア順序保証命令以後のいずれかの
ストア命令の結果が共有メモリに反映するタイミングに
代わって、該ストア順序保証命令前後のストア命令によ
るストアリクエスト間でアクセス順序の保証が不可能と
なるポイントに、該ストア順序保証命令以後のいずれか
のストア命令によるストアリクエストが到達してから一
定時間内とすることを特徴とする（１）記載の共有メモ
リアクセス順序保証機構。

【００５９】（３）前記順序保証フラグを、それぞれ対
応プロセッサ以外の全てのプロセッサを担当するように
分散させ、セットする際は分散された各順序保証フラグ
を一斉にセットし、リセットするタイミングは対応プロ
セッサにおいて実行されたストア順序保証命令以前の全
てのストア命令の結果が共有メモリおよび担当プロセッ
サのキャッシュに反映されたときとし、ロード順序保証
命令は自プロセッサを担当する該順序保証フラグが全て
リセットされるまで後続の命令実行を抑止することを特
徴とする（１）あるいは（２）記載の共有メモリアクセ
ス順序保証機構。

【００６０】（４）前記順序保証フラグを、対応プロセ
ッサについて複数個用意して、ストア順序保証命令毎に
異なる順序保証フラグをセットするものとし、リセット
される以前に連続してセットされることのないようにス
トア順序保証命令の実行が制御され、ロード順序保証命
令は、実行されたときにセットされていた全ての順序保
証フラグがリセットされるまで後続の命令実行を抑止す
ることを特徴とする（１）乃至（３）記載の共有メモリ
アクセス順序保証機構。

【００６１】（５）前記複数個の順序保証フラグに代わ
り、プロセッサ対応に開始カウンタと完了カウンタを用
意し、順序保証フラグのセットを開始カウンタのインク
リメント、順序保証フラグのリセットを完了カウンタの
インクリメントに対応させ、ロード順序保証命令は、他
プロセッサ対応の完了カウンタの値が、ロード順序保証
命令が実行されたときのそれぞれの開始カウンタの値と
等しくなるまで、後続の命令実行を抑止することを特徴
とする（４）記載の共有メモリアクセス順序保証機構。

【００６２】（６）プロセッサでのロード順序保証命令
とストア順序保証命令の振る舞いを統一し、ロード順序
保証命令あるいはストア順序保証命令が実行されると、
先行するロード命令に対応するリプライデータが全て戻
ることを待った後、先行するストア命令によるストアリ
クエストの後にロード順序保証リクエストあるいはスト
ア順序保証リクエストを主記憶制御装置に対して発行
し、主記憶制御装置において、ストア順序保証リクエス
トにより順序保証フラグのセットおよびリセット処理、
ロード順序保証リクエストにより順序保証フラグのリセ
ット待ち処理を行うことを特徴とする（１）記載の共有
メモリアクセス順序保証機構。

【００６３】（７）複数のプロセッサと該プロセッサで
共有されるメモリと共有メモリを制御する主記憶制御装
置からなるマルチプロセッサシステムにおいて、あるプ
ロセッサにおいて（１）記載のストア順序保証命令を実
行し、別のプロセッサにおいて（１）記載のロード順序
保証命令を実行したとき、前記ストア順序保証命令前後
のストア命令による共有メモリへのストア順序は前記ロ
ード順序保証命令前後のロード命令によって見る限り保
証されることを利用した共有メモリアクセス順序保証方
法。

【００６４】

【発明の効果】以上述べたように、本発明によれば、ス
トアの順序を保証する方のプロセッサでも、ストア順序
保証命令を実行した後に続けて後続の命令を実行するこ
とが可能となる。また、主記憶制御装置でのリクエスト
抑止は行わず、ロードの順序を保証したいプロセッサの
みがロード順序保証リクエストによって後続の命令実行
を抑止するため、順序保証に無関係な他のプロセッサか
ら見ても、リクエストが待たされるといった影響がな
い。さらに、共有データを受け渡しする際のフラグ領域
として、特別なレジスタでなくメモリ領域を割り当てる
ことが可能であり、ハードウェアの物量も軽減すること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施例におけるマルチプロセッサシ
ステムの構成図である。

【図２】本発明の一実施例におけるストア順序保証リク
エストの流れを表す説明図である。

【図３】本発明の一実施例におけるストア順序制御部の
ブロック図である。

【図４】本発明の一実施例におけるロード順序制御部の
ブロック図である。

【図５】本発明の一実施例におけるキャッシュ制御部の
ブロック図である。

【図６】ストア順序保証命令を実行するプロセッサにお
ける動作のタイミングを示すタイムチャートである。

【図７】ロード順序保証命令を実行するプロセッサにお
ける動作のタイミングを示すタイムチャートである。

【図８】ロード順序制御部における動作のタイミングを
示すタイムチャートである。

【図９】プロセッサ間で共有データの受け渡しを行う手
順を示すフローチャートである。

【図１０】共有メモリアクセス順序保証制御を行わない
が、アクセス順序が保証できる例を表すタイムチャート
である。

【図１１】共有メモリアクセス順序保証制御を行わない
ことにより、アクセス順序が保証できない例を表すタイ
ムチャートである。

【図１２】従来の共有メモリアクセス順序保証制御によ
り、図１１の例でアクセス順序が保証される様子を表す
タイムチャートである。

【図１３】本発明の一実施例による共有メモリアクセス
順序保証制御により、図１１の例でアクセス順序が保証
される様子を表すタイムチャートである。

【符号の説明】

２０ プロセッサ ２１ 記憶制御装置 ２２ プロセッサ制御部 ２３ ストア順序制御部 ２４ ロード順序制御部 ２５ キャッシュ制御部 ２６ メモリ制御部 ２７ メモリバンク ２８ 主記憶 ３３ カウンタ ３５ 完了カウンタ ３７ ディレイヤ ４１ ＬＯＥ実行フラグ ４４ 開始カウンタ ４５ 完了カウンタ ４８ ＬＯＥ完了フラグ ５１ リクエストデコーダ ５４ 待ち合せ論理 ５７ セレクタ １０１ プロセッサ １０２ プロセッサ １２０ 共有メモリ １２４ キャッシュ １２５ ストアリクエスト １２７ ストアリクエスト １２８ ロードリクエスト １３０ ロードリクエスト １３３ ストア順序保証リクエスト １３４ ロード順序保証リクエスト １３５ ロード順序保証完了報告 １３６ 順序保証フラグ

Claims (3)

【特許請求の範囲】
1. 【請求項１】各々キャッシュを備える複数のプロセッサ
   と、前記複数のプロセッサで共有される共有メモリと、
   前記共有メモリを制御する主記憶制御装置とを有するマ
   ルチプロセッサシステムの共有メモリアクセス順序保証
   方式において、 各プロセッサにおいて実行されるべく用意されたストア
   順序保証命令とロード順序保証命令と、任意のプロセッ
   サが前記ストア順序保証命令を実行した場合、前記スト
   ア順序保証命令を実行したプロセッサから発行されるス
   トア順序保証リクエストに応じてセットされ、前記スト
   ア順序保証命令以前に前記プロセッサから発行された全
   てのストア命令の結果が前記共有メモリおよび他プロセ
   ッサのキャッシュに反映されるとリセットされる、前記
   主記憶制御装置にプロセッサ対応に用意された複数の順
   序保証フラグを有し、任意のプロセッサが前記ロード順
   序保証命令を実行した場合、前記ロード順序保証命令を
   実行したプロセッサの先行するロード命令に対応するリ
   プライデータが全て戻ることを待った後、他プロセッサ
   に対応する前記順序保証フラグを参照し、その時点でセ
   ットされていた順序保証フラグが全てリセットされるま
   で後続の命令実行を抑止することを特徴とする共有メモ
   リアクセス順序保証方式。
2. 【請求項２】各々キャッシュを備える複数のプロセッサ
   と、前記複数のプロセッサで共有される共有メモリと、
   前記共有メモリを制御する主記憶制御装置とを有するマ
   ルチプロセッサシステムの共有メモリアクセス順序保証
   方式において、 各プロセッサにおいて実行されるべく用意されたストア
   順序保証命令とロード順序保証命令と、任意のプロセッ
   サが前記ストア順序保証命令を実行した場合、前記スト
   ア順序保証命令を実行したプロセッサから発行されるス
   トア順序保証リクエストに応じてインクリメントされ
   る、前記主記憶制御装置にプロセッサ対応に用意された
   開始カウンタと、前記ストア順序保証命令以前に前記プ
   ロセッサから発行された全てのストア命令の結果が前記
   共有メモリおよび他プロセッサのキャッシュに反映され
   るとインクリメントされる、前記主記憶制御装置にプロ
   セッサ対応に用意された完了カウンタとを有し、任意の
   プロセッサが前記ロード順序保証命令を実行した場合、
   前記ロード順序保証命令を実行したプロセッサの先行す
   るロード命令に対応するリプライデータが全て戻ること
   を待った後、他プロセッサに対応する各完了カウンタの
   値が、前記ロード順序保証命令が実行されたときの各々
   対応するまで後続の命令実行を抑止することを特徴とす
   る共有メモリアクセス順序保証方式。
3. 【請求項３】各々キャッシュを備える複数のプロセッサ
   と、前記複数のプロセッサで共有される共有メモリと、
   前記共有メモリを制御する主記憶制御装置とを有するマ
   ルチプロセッサシステムの共有メモリアクセス順序保証
   方法において、 ストア順序保証命令とロード順序保証命令とを用意し、
   任意のプロセッサが前記ストア順序保証命令を実行した
   場合、前記ストア順序保証命令を実行したプロセッサか
   ら発行されるストア順序保証リクエストに応じて前記主
   記憶制御装置にプロセッサ対応に用意された順序保証フ
   ラグをセットし、前記ストア順序保証命令以前に前記プ
   ロセッサから発行された全てのストア命令の結果が前記
   共有メモリおよび他プロセッサのキャッシュに反映され
   ると前記順序保証フラグをリセットし、任意のプロセッ
   サが前記ロード順序保証命令を実行した場合、前記ロー
   ド順序保証命令を実行したプロセッサの先行するロード
   命令に対応するリプライデータが全て戻ることを待った
   後、他プロセッサに対応する前記順序保証フラグを参照
   し、その時点でセットされていた順序保証フラグが全て
   リセットされるまで後続の命令実行を抑止することを特
   徴とする共有メモリアクセス順序保証方法。