JP2008046890A - マルチプロセッサシステム - Google Patents

Abstract

【課題】本発明は、ＳＭＰ構成のマルチプロセッサシステムにおいて、ローカルノードにおけるメモリリードのレイテンシの短縮を実現する新たな技術の提供を目的とする。
【解決手段】グローバルアドレスクロスバーに投入するリード命令が自システムボード上のメモリへのリード命令であるのか否かを判断する手段と、自システムボード上のメモリへのリード命令であることを判断する場合に、グローバルアドレスクロスバーから通知されるアドレスに基づくグローバルアクセスの前にリード命令を投機実行する手段と、メモリからリードしたデータをメモリ側に設けられるデータキューにキューイングせずにＣＰＵ側に設けられるデータキューにキューイングすることを設定する手段と、グローバルアドレスクロスバーからの通知に基づいて、ＣＰＵ側に設けられるデータキューに対して、データの破棄又はＣＰＵへのデータの送信を指示する手段とを備えるように構成する。
【選択図】図３

Description

本発明は、ＣＰＵとメモリとを実装する複数のシステムボードがグローバルアドレスクロスバーを介して接続されることで構成されて、そのグローバルアドレスクロスバーにアドレスを投入することで全てのＣＰＵに対して対称的に処理を割り付けるという構成を採るマルチプロセッサシステムに関し、特に、メモリからのリードのレイテンシの短縮を実現するマルチプロセッサシステムに関する。

対称型マルチプロセッサ（ＳＭＰ：Symmetric Multiple Processor）とは、図９に示すように、ＣＰＵ及びメモリを実装する複数のシステムボード（ＳＢ）と複数のＩＯユニット（ＩＯＵ）とがグローバルアドレスクロスバー及びグローバルデータクロスバーを介して接続されることで構成されるものであり、全てのＣＰＵに対して対称的、均一に処理が割り付けられるという特徴を持つ並列処理方式である。

この対称型マルチプロセッサでは、ＣＰＵがデータを要求する場合に、グローバルアドレスクロスバーを使って、そのデータがどのメモリにあるのかとか、そのデータがどのＣＰＵのキャッシュにあるのかとか、ＣＰＵのキャッシュ上にあるそのデータがＣＰＵにより書き換えられているのかとか、そのデータを要求元のＣＰＵに送信する上で必要となる資源（キューなど）が枯渇しているのかとか、そのデータが先行する命令により書き換えられることになるのかとか、そのデータのアクセスが競合することになるのかとかいった情報を収集（後述するローカルキャストの対象となる情報）して、それに基づいて、各システムボードに対してどのような処理を行うのかを指示することにより、データ要求元のＣＰＵが要求データを取得できるようにするという処理を行うことになる。

このようにして、ＳＭＰで構成されるマルチプロセッサシステムでは、各ＣＰＵの要求するデータのアドレスをグローバルアドレスクロスバーに投入して、グローバルアドレスクロスバーを使ってそれらのアドレスを調停することで、それらのアドレスのデータを処理するシステムボードを決定して、その決定結果を各システムボードに通知することで、全てのＣＰＵに対して対称的、均一に処理が割り付けられることになることを実現している。

次に、図１０に従って、ＳＭＰを構成する各システムボードで実行されるメモリリード処理について説明する。

ＣＰＵ１がメモリ２にあるデータのアドレスを指定してリード要求を発行すると、そのアドレスはマスタアドレスキュー４を介してグローバルアドレスクロスバー８に投入され、グローバルアドレスクロスバー８からスヌープアドレスとして各システムボードの備えるパイプライン３に通知されることになる。したがって、リード要求元のＣＰＵ１を搭載するシステムボードの備えるパイプライン３には、そのＣＰＵ１の発行したアドレスが戻されることになる。

この通知を受けて、リード要求元のＣＰＵ１を搭載するシステムボードの備えるパイプライン３は、グローバルアドレスクロスバー８から通知されたスヌープアドレスをメモリリードアドレスとして指定して、リード命令を投機実行する。

このリード命令の投機実行を受けて、メモリリードアドレスはスレーブメモリリードアドレスキュー５にキューイングされ、これに応じてメモリ２からデータがリードされて、そのデータはスレーブメモリリードデータキュー６にキューイングされて、そこで、パイプライン３からの指示を待つことになる。

一方、リード要求元のＣＰＵ１を搭載するシステムボードの備えるパイプライン３は、リード命令の投機実行に続けて、ローカルキャストの対象となる上記のような情報を収集してグローバルアドレスクロスバー８にローカルキャストする。

このローカルキャストを受けて、グローバルアドレスクロスバー８は、各システムボードから上記のような情報を収集すると、システム全体としてのＣＰＵキャッシュ検査やアドレスビジー検査や資源枯渇検査などの検査を行うことで、データ要求元のＣＰＵ１を搭載するシステムボードの備えるパイプライン３の行ったリード命令の投機実行の採用・不採用及びリード命令のリトライの必要性の有無を決定して、その決定結果を全てのシステムボードの備えるパイプライン３にグローバルキャストする。

このグローバルキャストを受けて、データ要求元のＣＰＵ１を搭載するシステムボードの備えるパイプライン３は、グローバルアドレスクロスバー８からの通知に基づいて、スレーブメモリリードデータキュー６に対して、キューイングしているデータをＣＰＵ１へ送信することを指示することでそのデータをマスタリードデータキュー７にキューイングさせたり、キューイングしているデータの破棄を指示し、さらに、このデータ破棄を指示する場合には、マスタアドレスキュー４に対してリトライを指示する。

このようにして、ＳＭＰで構成されるマルチプロセッサシステムでは、各ＣＰＵの要求するデータのアドレスをグローバルアドレスクロスバーに投入して、グローバルアドレスクロスバーを使ってそれらのアドレスを調停することで、それらのアドレスのデータを処理するシステムボードを決定して、その決定結果を各システムボードに通知することで、全てのＣＰＵに対して対称的、均一に処理が割り付けられることになることを実現しているのである。

本発明では、以下に説明するように、ＳＭＰで構成されるマルチプロセッサシステムにおいて、メモリからのリードのレイテンシの短縮を実現することでシステムの処理性能の向上を実現しており、この本発明に関連する従来技術として、下記に記載する引用文献１に記載された発明などがある。
特開２００１−１８４３２１号公報

大規模なキャッシュを有するＣＰＵを持つシステムでは、メモリからのリードのレイテンシはシステムの処理性能に大きな影響を及ぼし、レイテンシが短いとシステムの処理性能は向上する。

ＳＭＰで構成されるマルチプロセッサシステムでは、各ノードから均等なレイテンシでメモリよりデータをリードできるという特徴があるものの、物理的に近傍にあるメモリからのリード時のレイテンシについては、小規模な非ＳＭＰ構成のマルチプロセッサシステムよりも悪くなる。

プログラムの最適化により、各ノードのＣＰＵは自ノードのメモリを優先して使用することが可能であるが、大規模なＳＭＰ構成のマルチプロセッサシステムではこのメリットが得られない。

そのため、ＳＭＰで構成されるマルチプロセッサシステムでは、自ノードのメモリからのリードのレイテンシを短縮することのみでも、システムの処理性能を向上することが期待できる。

メモリからのリードのレイテンシの短縮を実現するためには、個々のモジュール自体のレイテンシを短縮することが重要であるが、その他に、処理の待ち合わせ時間を短縮することでも実現可能である。処理の待ち合わせがあると、レイテンシの長い方でシステム全体のレイテンシが決定されることになるからである。

次に、図１０に従って、ＳＭＰを構成する各システムボードで実行されるメモリリード処理で発生する待ち時間について説明する。

このメモリリード処理では、図１０に示すように、スレーブメモリリードデータキュー６で、メモリ２からのデータの読み出しと、パイプライン３からのリード命令の投機実行の採用・不採用通知（データ送信かデータ破棄を指示する通知）とを待ち合わせる処理を行う。

この場合、グローバルアドレスクロスバー８の処理に基づくグローバルアドレスのレイテンシによる遅延が大きいと、メモリデータの方が早くスレーブメモリリードデータキュー６に到着し、これに遅れて、リード命令の投機実行の採用・不採用通知がスレーブメモリリードデータキュー６に到着することになる。逆に、メモリ２のデータリードレイテンシによる遅延が大きいと、リード命令の投機実行の採用・不採用通知の方が早くスレーブメモリリードデータキュー６に到着し、これに遅れて、メモリデータがスレーブメモリリードデータキュー６に到着することになる。

このことから分かるように、従来技術では、ＳＭＰを構成する各システムボードで実行されるメモリリード処理において、スレーブメモリリードデータキュー６で待ち合わせの時間が発生することが避けられず、これから、システムの処理性能の向上が図れないという問題があった。

本発明はかかる事情に鑑みてなされたものであって、ＳＭＰを構成する各システムボードで実行されるメモリリード処理で発生するデータとアドレスとの待ち合わせ時間を短縮することで、ローカルノードにおけるメモリリードのレイテンシの短縮を実現する新たなマルチプロセッサシステムの提供を目的とする。

この目的を達成するために、本発明のマルチプロセッサシステムは、ＣＰＵとメモリとを実装する複数のシステムボードがグローバルアドレスクロスバーを介して接続されることで構成されて、グローバルアドレスクロスバーにアドレスを投入することで全てのＣＰＵに対して対称的に処理を割り付けるという構成を採るときにあって、（１）グローバルアドレスクロスバーに投入するＣＰＵから発行されたリード命令が自システムボード上のメモリへのリード命令であるのか否かを判断する判断手段と、（２）判断手段が自システムボード上のメモリへのリード命令であることを判断する場合に、グローバルアドレスクロスバーから通知されるアドレスに基づくグローバルアクセスの前に、そのリード命令を投機実行する実行手段と、（３）メモリからリードしたデータをメモリ側に設けられるデータキューにキューイングせずにＣＰＵ側に設けられるデータキューにキューイングすることを設定する設定手段と、（４）グローバルアドレスクロスバーからの通知に基づいて、ＣＰＵ側に設けられるデータキューに対して、データの破棄又はＣＰＵへのデータの送信を指示する指示手段とを備えるように構成する。

この構成を採るときに、さらに、（５）メモリ側に設けられるデータキューとＣＰＵ側に設けられるデータキューとの間を接続するバスがビジー状態となる場合に、実行手段が実行するリード命令の投機実行を一時的に停止させる第１の一時停止手段と、（６）メモリ側に設けられるデータキューとＣＰＵ側に設けられるデータキューとの間を接続するバスがビジー状態となる場合に、メモリからリードしたデータをメモリ側に設けられるデータキューにキューイングすることを設定すべく、設定手段による設定を一時的に解除する解除手段と、（７）リード命令の投機実行に対してのリトライが多発状態となる場合に、その投機実行を一時的に停止させる第２の一時停止手段と、（８）リード命令の投機実行に対してのリトライが規定回数を超えるリード命令について、そのリード命令の投機実行を停止させる停止手段とを備えることがある。

このように構成される本発明のマルチプロセッサシステムでは、ＣＰＵがリード命令を発行すると、判断手段は、そのリード命令が自システムボード上のメモリへのリード命令であるのか否かを判断して、自システムボード上のメモリへのリード命令であることを判断するときには、実行手段は、グローバルアドレスクロスバーから通知されるアドレスに基づくグローバルアクセスの前に、そのリード命令を投機実行する。

ここで、判断手段は、メモリのデータがＣＰＵにより書き換えられているような場合には投機実行が失敗に終わることを考慮して、投機実行の成功の確率を高めるために、メモリに要求のデータが存在する確率の高いリード命令（例えば、ＣＰＵにより書き換えられることのない命令のリード命令）といったように、特定のリード命令を判断対象として、ＣＰＵから発行されたリード命令が自システムボード上のメモリへのリード命令であるのか否かを判断することがある。

このようにして、本発明のマルチプロセッサシステムでは、ＣＰＵの発行したリード命令が自システムボード上のメモリへのリード命令である場合には、図１に示すように、グローバルアドレスクロスバーから通知されるアドレスに基づくグローバルアクセスの前に、そのリード命令を投機実行するのである。

この構成を採るときに、他のシステムボードはグローバルアドレスクロスバーから通知されるアドレスに基づいてリード命令の投機実行を行うことになるので、本発明のマルチプロセッサシステムではＳＭＰの基本的な構成を崩すようなことはない。

さらに、本発明のマルチプロセッサシステムでは、設定手段は、例えば、実行手段が本発明に特徴的なリード命令の投機実行を行う場合には、メモリからリードしたデータをメモリ側に設けられるデータキューにキューイングせずにＣＰＵ側に設けられるデータキューにキューイングすることを設定するので、この設定に基づいて、指示手段は、グローバルアドレスクロスバーからの通知に基づいて、ＣＰＵ側に設けられるデータキューに対して、データの破棄又はＣＰＵへのデータの送信を指示する。

このようにして、本発明のマルチプロセッサシステムでは、図２に示すように、グローバルアドレスクロスバーからの通知に基づいて、ＣＰＵ側に設けられるデータキュー（図２に示すマスタリードデータキュー７）に対して、データの破棄又はＣＰＵへのデータの送信を指示するのである。

本発明のマルチプロセッサシステムでは、図１に示すように、ＣＰＵの発行したリード命令が自システムボード上のメモリへのリード命令である場合には、グローバルアドレスクロスバーから通知されるアドレスに基づくグローバルアクセスの前に、そのリード命令を投機実行するので、メモリからデータを高速にリードすることができるようになる。

しかしながら、このとき、グローバルアドレスクロスバーからの指示（データ破棄の指示やＣＰＵへのデータ送信の指示）が遅れると、メモリからリードしたデータの待ち合わせ時間が長くなってしまう。

そこで、本発明のマルチプロセッサシステムでは、そのようなリード命令の投機実行を行う場合には、図２に示すように、メモリからリードしたデータをメモリ側に設けられるデータキュー（図２に示すスレーブメモリリードデータキュー６）で待たせるのではなくて、ＣＰＵ側に設けられるデータキュー（図２に示すマスタリードデータキュー７）で待たせるようにして、そのＣＰＵ側に設けられるデータキューに対して、データの破棄又はＣＰＵへのデータの送信を指示するようにするのである。

この構成に従って、本発明のマルチプロセッサシステムでは、メモリからデータを高速にリードして、それを直ちにＣＰＵに送信することができるようになる。

一方、図２では示していないが、スレーブメモリリードデータキュー６とマスタリードデータキュー７との間を接続するバスには、他のシステムボードからデータが転送されてくることになる。

これから、メモリからリードしたデータをメモリ側に設けられるデータキューで待たせるのではなくて、ＣＰＵ側に設けられるデータキューで待たせるようにすると、メモリ側に設けられるデータキューとＣＰＵ側に設けられるデータキューとの間を接続するバスがビジー状態となることが起こる。

そこで、本発明のマルチプロセッサシステムでは、第１の一時停止手段を備えるようにして、メモリからリードしたデータをＣＰＵ側に設けられるデータキューで待たせるようにするという構成を採る場合には、メモリ側に設けられるデータキューとＣＰＵ側に設けられるデータキューとの間を接続するバスがビジー状態となるのか否かを監視して、そのビジー状態を検出すると、第１の一時停止手段を使って、実行手段が実行するリード命令の投機実行を一時的に停止させるようにする。

また、本発明のマルチプロセッサシステムでは、解除手段を備えるようにして、メモリからリードしたデータをＣＰＵ側に設けられるデータキューで待たせるようにするという構成を採る場合には、メモリ側に設けられるデータキューとＣＰＵ側に設けられるデータキューとの間を接続するバスがビジー状態となるのか否かを監視して、そのビジー状態を検出すると、メモリからリードしたデータをメモリ側に設けられるデータキューにキューイングすることを設定すべく、解除手段を使って、設定手段による設定を一時的に解除するようにする。

そして、実行手段が実行するリード命令の投機実行に対してのリトライが多発状態となる場合には、ＣＰＵによりデータが頻繁に書き換えられているなど、そのような状態が発生する理由がある。

そこで、本発明のマルチプロセッサシステムでは、第２の一時停止手段を備えるようにして、実行手段が実行するリード命令の投機実行に対してのリトライが多発状態となる場合には、第２の一時停止手段を使って、実行手段が実行するリード命令の投機実行を一時的に停止させるようにする。

そして、実行手段が実行するリード命令の投機実行に対してのリトライが規定回数を超えるリード命令については、ＣＰＵによりデータが頻繁に書き換えられているなど、そのような状態が発生する理由がある。

そこで、本発明のマルチプロセッサシステムでは、停止手段を備えるようにして、実行手段が実行するリード命令の投機実行に対してのリトライが規定回数を超えるリード命令については、停止手段を使って、そのリード命令の投機実行を停止させるようにする。

本発明によれば、ＳＭＰの基本的な処理を崩すことなく、ＳＭＰを構成する各システムボードで実行されるメモリリード処理で発生するデータとアドレスとの待ち合わせ時間を短縮することができるようになる。

これから、本発明によれば、ＳＭＰで構成されるマルチプロセッサシステムにおいて、ＳＭＰの基本的な処理を崩すことなく、ローカルノードにおけるメモリリードのレイテンシの短縮を実現することができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図３に、ＳＭＰで構成される本発明のマルチプロセッサシステムの一実施形態を図示する。

この図に示すように、本実施形態のマルチプロセッサシステムは、ＣＰＵ１０及びメモリ１１を搭載する複数のシステムボード１００がグローバルアドレスクロスバー２００及びグローバルデータクロスバー３００を介して接続されることで構成される。

本実施形態のマルチプロセッサシステムには、システム管理者と対話する端末５００に接続されて、パーティションの構成の設定や動作モードの設定といったシステム全体の管理を行うシステムコントロール装置４００が接続されている。

本実施形態のマルチプロセッサシステムを構成する各システムボード１００は、自ボードに搭載されるＣＰＵ１０の発行するアドレスに応答して、ローカルリクエストアドレスパケット（以下、ＬＲＡパケットと称する）を生成してグローバルアドレスクロスバー２００に投入し、このＬＲＡパケットの投入を受けて、グローバルアドレスクロスバー２００は、グローバルアドレスプライオリティ制御回路２１０により調停を行うことで、それらのＬＲＡパケットの中からグローバルセレクトアドレスパケット（以下、ＧＳＡパケットと称する）を選択して、それを全てのシステムボード１００（同一のパーティション内のシステムボード１００のこともある）にブロードキャストする。

そして、グローバルアドレスクロスバー２００は、このＧＳＡパケットのブロードキャストに応答して、各システムボード１００から、リトライが必要であるということやデータがどこにあるのかといったことなどについて記述するローカルキャスト信号（以下、ＬＣＳＴ信号と称する）が送信されてくると、ＧＣＳＴ生成回路２２０を使って、リトライ指示や投機実行されたリード命令に対する採用・不採用などについて記述するグローバルキャスト信号（以下、ＧＣＳＴ信号と称する）を生成して、それを全てのシステムボード１００（同一のパーティション内のシステムボード１００のこともある）にブロードキャストする。

このＳＭＰ構成に従って、本実施形態のマルチプロセッサシステムは、全てのＣＰＵ１０に対して対称的、均一に処理が割り付けることを実現している。

本実施形態のマルチプロセッサシステムを構成する各システムボード１００は、ＣＰＵ１０及びメモリ１１を備えることに加えて、ＣＰＵ１０とメモリ１１とを相互に接続してデータの橋渡しを行うノースブリッジ１２と、メモリ１１の制御を行うメモリコントローラ１３とを備える。

このノースブリッジ１２は、図３に示すように、マスタアドレスキュー２０と、セレクタ２１と、セレクタ制御回路２２と、メモリアクセス制御回路２３と、検査回路２４と、ＬＣＳＴ生成回路２５と、スレーブリクエスト制御回路２６と、マスタリードデータキュー２７と、バスビジー監視回路２８と、リトライ数監視回路２９と、命令デコーダ３０とを備える。

一方、メモリコントローラ１３は、図３に示すように、スレーブメモリリードアドレスキュー４０と、スレーブメモリリードデータキュー４１と、外部リードデータキュー４２と、データ転送回路４３とを備える。

メモリコントローラ１３の備えるスレーブメモリリードアドレスキュー４０は、ノースブリッジ１２から送られてくる投機実行したリード命令のアドレスをキューイングするとともに、ノースブリッジ１２から送られてくる投機実行したリード命令の採用・不採用通知を受け取る。また、メモリコントローラ１３の備えるスレーブメモリリードデータキュー４１は、スレーブメモリリードアドレスキュー４０にキューイングされるアドレスに応答してメモリ１１からリードされたデータをキューイングする。

また、メモリコントローラ１３の備える外部リードデータキュー４２は、他のシステムボード１００から送られてくるデータをキューイングする。また、メモリコントローラ１３の備えるデータ転送回路４３は、スレーブメモリリードデータキュー４１及び外部リードデータキュー４２にキューイングされるデータを読み出して、ノースブリッジ１２のマスタリードデータキュー２７に転送する。

次に、ノースブリッジ１２の備える各回路の機能について説明する。

（１）マスタアドレスキュー２０の機能
マスタアドレスキュー２０は、ＣＰＵ１０からの命令をチップセットのＬＲＡパケットに変換して保持し、それをグローバルアドレスクロスバー２００に投入する。

マスタアドレスキュー２０に保持されるＬＲＡパケットは、リード命令の場合には、データがＣＰＵ１０に到着後に解放され、データがＣＰＵ１０に到着しない間は保持されて、途中でリトライが発生した場合には再投入される。

このＬＲＡパケットは、オペコード、アドレス、ＩＤ、ボード番号、リトライ回数情報、パーティション情報などの情報で構成される。

（２）セレクタ２１の機能
セレクタ２１は、セレクタ制御回路２２の選択指示に従って、グローバルアドレスクロスバー２００に投入されるＬＲＡパケットか、グローバルアドレスクロスバー２００からブロードキャストされるＧＳＡパケットのいずれか一方を選択して、出力する。

（３）セレクタ制御回路２２の機能
セレクタ制御回路２２は、グローバルアドレスクロスバー２００からＧＳＡパケットがブロードキャストされてくる場合と、ＧＳＡパケットを強制的に選択するという動作モードに設定されている場合には、セレクタ２１に対して、ＧＳＡパケットを選択することを指示し、それ以外の場合には、セレクタ２１に対して、ＬＲＡパケットを選択することを指示する。

ＧＳＡパケットを強制的に選択するという動作モードは、システムコントロール装置４００により設定されて命令デコーダ３０を介して通知される場合と、メモリアクセス制御回路２３によりリトライ多発状態の発生が検出されるときに設定されて通知される場合と、バスビジー監視回路２８によりマスタリードデータキュー２７とデータ転送回路４３との間のバスのビジー状態の発生が検出されるときに設定されて通知される場合と、リトライ数監視回路２９によりリトライ回数の多いＬＲＡパケットの発生が検出されるときに設定されて通知される場合とがある。

（４）メモリアクセス制御回路２３の機能
メモリアクセス制御回路２３は、自システムボード１００に搭載されるメモリ１１のアクセスを制御するものであり、セレクタ２１がＬＲＡパケットを選択し、それが自システムボード１００に搭載されるメモリ１１に対してのリードアクセスの場合には、そのＬＲＡパケットに対応したＧＳＡパケットが到着するまで、そのＬＲＡパケットの持つアドレス情報及びＩＤ情報を保持するとともに、その保持情報が有効であることを示すバリッド情報を保持する。ここで、ＩＤ情報については、ＧＳＡパケットの到着時にＬＲＡパケットを解放するために保持することになる。

また、メモリアクセス制御回路２３は、ＧＳＡパケットがライトパケットで、保持しているＬＲＡパケットとアドレスが一致する場合には、ライトアドレスの追い抜きを判断して、リトライする必要があることを示すリトライフラグをセットする。

このリトライフラグがセットされている場合には、ＧＳＡパケットに対しての応答として、ＬＣＳＴ信号にてグローバルアドレスクロスバー２００に対してリトライを返し、グローバルアドレスクロスバー２００からブロードキャストされてくるＧＣＳＴ信号の指示に従って、スレーブリクエスト制御回路２６に対してデータ破棄の行動をとらせることになる。

また、メモリアクセス制御回路２３は、セレクタ２１がＬＲＡパケットを選択する場合にあって、検査回路２４の検査処理に従って、そのＬＲＡパケットが自システムボード１００に搭載されるメモリ１１に対してのリード命令であることを検出する場合には、スレーブリクエスト制御回路２６に対して、そのリード命令の投機実行を指示して、リード命令発行済フラグをセットする。

このとき発行するリード命令は、通常のＧＳＡパケットに基づくリード命令とは判別できるようにするために異なる命令で行う。そして、ＧＳＡパケットの到着時に、このリード命令発行済フラグがセットされている場合には、リード命令を発行済なので、スレーブリクエスト制御回路２６に対して、リード命令を再度発行しないように指示を行う。

さらに、メモリアクセス制御回路２３は、上述したリトライフラグのセット率を監視して、ライトアドレスの追い抜きやグローバルアドレスクロスバー２００からのリトライ指示の多発によりリトライ多発状態の発生を検出すると、セレクタ２１が一定期間強制的にＧＳＡパケットを選択するという動作モードに設定して、その動作モードに設定したことをセレクタ制御回路２２に通知する機能を持つ。

例えば、リトライがセットされると、セット累積値を１つインクリメントし、リトライがセットされない場合にはセット累積値を１つディクリメントして、セット累積値が規定の閾値を超える場合には、セレクタ２１が一定期間強制的にＧＳＡパケットを選択するという動作モードに設定することで、セレクタ２１が一定期間強制的にＧＳＡパケットを選択するようにするという機能を持つのである。

（５）検査回路２４の機能
検査回路２４は、アドレスマップ検査やＤＴＡＧ検査や資源枯渇検査やアドレスビジー検査を行うことで、自システムボード１００に搭載されるメモリ１１にデータがあるのかということや、自システムボード１００に搭載されるＣＰＵ１０のキャッシュにデータがあるのかということや、アクセス処理に必要となる資源が枯渇していたり、他のパケットがアドレスを使用中のためにリード命令のリトライを指示する必要があるのかということなどを検査する。

すなわち、アドレスマップ検査を行うことで、ＬＲＡパケットの指すデータが自システムボード１００に搭載されるメモリ１１にあるのかということを検査する。

そして、ＣＰＵ１０のキャッシュに記録されるステータス情報をコピーして管理するＤＴＡＧを参照して検査を行うことで、自システムボード１００に搭載されるＣＰＵ１０のキャッシュがデータを持っているのかとか、そのＣＰＵ１０のキャッシュがメモリ１１に格納されるデータと一致する形でデータを持っているのかとか、そのＣＰＵ１０のキャッシュがメモリ１１に格納されるデータを書き換える形でデータを持っているのかということなどを検査することにより、どこからデータをリードしなければならないのかということを検査する。

そして、リードアクセスに必要となる資源が枯渇しているのかを検査する資源枯渇検査を行うことで、投機実行したリード命令をキャンセルさせる必要があるのかということを検査する。

そして、同一アドレスに対するアクセス競合が発生しているのかを検査するアドレスビジー検査を行うことで、投機実行したリード命令をキャンセルさせる必要があるのかということを検査する。

ここで、セレクタ２１がＬＲＡパケットを選択した場合には、検査回路２４は、アドレスマップ検査のみを行い、自システムボード１００に搭載されるメモリ１１にデータが存在するのか否かだけを検査して、その検査結果をメモリアクセス制御回路２３に通知することで、リード命令の投機実行を行うのか否かを制御することになる。

（６）ＬＣＳＴ生成回路２５の機能
ＬＣＳＴ生成回路２５は、検査回路２４の検査結果に基づいて、リトライが必要であるということやデータがどこにあるのかといったことなどについて記述するＬＣＳＴ信号を生成して、それをグローバルアドレスクロスバー２００に投入する。

（７）スレーブリクエスト制御回路２６の機能
スレーブリクエスト制御回路２６は、自システムボード１００に搭載されるメモリ１１へのリクエストを制御するものである。

スレーブリクエスト制御回路２６は、通常の場合には、グローバルアドレスクロスバー２００からブロードキャストされるＧＳＡパケットを受けて、そのＧＳＡパケットに対しての検査回路２４の検査結果に基づいて、自システムボード１００に搭載されるメモリ１１に対してリード命令を投機実行することで、スレーブメモリリードアドレスキュー４０にリード命令をキューイングする。そして、グローバルアドレスクロスバー２００からブロードキャストされるＧＣＳＴ信号を受けて、スレーブメモリリードアドレスキュー４０を経由してスレーブメモリリードデータキュー４１に対して、投機実行したリード命令の採用・不採用を通知する。そして、投機実行したリード命令を不採用とする場合には、マスタアドレスキュー２０に対してリトライを通知する。

これに対して、本実施形態では、（ａ）リードしたデータをスレーブメモリリードデータキュー４１で待たせて、スレーブメモリリードデータキュー４１に対して、投機実行したリード命令の採用・不採用を通知するという動作モードと、（ｂ）リードしたデータをスレーブメモリリードデータキュー４１で待たせずにマスタリードデータキュー２７に転送することで、マスタリードデータキュー２７で待たせるようにして、マスタリードデータキュー２７に対して、投機実行したリード命令の採用・不採用を通知するという動作モードと、（ｃ）ＬＲＡパケットに基づくリード命令については後者の方法を用い、ＧＳＡパケットに基づくリード命令については前者の方法を用いるという動作モード、という３つの動作モードを用意して、システムコントロール装置４００にてどの動作モードを用いるのかを設定するようにしている。

（８）マスタリードデータキュー２７の機能
マスタリードデータキュー２７は、データ転送回路４３から転送されてくるデータ（データパケットの形態となっている）をキューイングする。データ転送回路４３から転送されてくるデータには、スレーブメモリリードデータキュー４１から読み出されたデータと、外部リードデータキュー４２から読み出されたデータとがあるので、これらのデータをキューイングするのである。

（９）バスビジー監視回路２８の機能
バスビジー監視回路２８は、データ転送回路４３とマスタリードデータキュー２７との間を接続するバスを監視対象として、一定期間に、そのバスに転送されたデータパケットの数を数えて規定の閾値と比較することで、そのバスがビジー状態となったのか否かを判断して、バスビジー状態の発生を検出すると、セレクタ２１が一定期間強制的にＧＳＡパケットを選択するという動作モードに設定して、その動作モードに設定したことをセレクタ制御回路２２に通知する。

（１０）リトライ数監視回路２９の機能
リトライ数監視回路２９は、通常の場合には、各ＬＲＡパケットのリトライ数を監視して、規定以上のリトライを繰り返すＬＲＡパケットを検出すると、他のＬＲＡパケットの投入を抑止して、リトライを成功させるようにする。

これに対して、本実施形態の場合、リトライ多発の要因が本実施形態の動作に起因する可能性があることを考慮して、リトライ数監視回路２９は、規定以上のリトライを繰り返すＬＲＡパケットについては、セレクタ２１が強制的にＧＳＡパケットを選択するという動作モードに設定して、その動作モードに設定したことをセレクタ制御回路２２に通知するという処理を行う。

（１１）命令デコーダ３０の機能
命令デコーダ３０は、システムコントロール装置４００の命令をデコードすることで、各システムボード１００のボード番号や所属パーティションを設定するとともに、各種の動作モードの設定を行う。

バスビジー監視回路２８が動作する際に必要となるバスビジー状態の発生の判断に用いるデータパケット数の閾値や、セレクタ２１が強制的にＧＳＡパケットを選択する期間の長さなどについても、命令デコーダ３０がシステムコントロール装置４００の命令をデコードすることで設定することになる。

次に、このように構成される本実施形態のマルチプロセッサシステムの動作について説明する。

本実施形態のマルチプロセッサシステムでは、ＣＰＵ１０がリード命令を発行すると、マスタアドレスキュー２０は、ＣＰＵ１０からのリード命令をチップセットのＬＲＡパケットに変換して保持し、それをグローバルアドレスクロスバー２００に投入する。

このとき、セレクタ２１は、グローバルアドレスクロスバー２００に投入されるＬＲＡパケットを選択して出力し、これを受けて、検査回路２４は、アドレスマップ検査を行って、リード要求のデータが自システムボード１００に搭載されるメモリ１１に存在するのかを検査して、その検査結果をメモリアクセス制御回路２３に通知する。

この通知を受けて、メモリアクセス制御回路２３は、グローバルアドレスクロスバー２００に投入されるＬＲＡパケットが自システムボード１００に搭載されるメモリ１１に対してのリード命令であることの検査結果を受け取る場合には、スレーブリクエスト制御回路２６を介して、メモリコントローラ１３に対してリード命令を投機実行する。

このようにして、本実施形態のマルチプロセッサシステムでは、グローバルアドレスクロスバー２００に投入されるＬＲＡパケットが自システムボード１００に搭載されるメモリ１１に対してのリード命令であることを検出する場合には、図１に示すようなタイミングで、リード命令を投機実行するように処理するのである。

本実施形態のマルチプロセッサシステムでは、通常のＳＭＰで構成されるマルチプロセッサシステムと同様に、グローバルアドレスクロスバー２００に対してＬＲＡパケットを投入し、これに応答してグローバルアドレスクロスバー２００からＧＳＡパケットがブロードキャストされてくると、それを受け取って、アドレスマップ検査やＤＴＡＧ検査や資源枯渇検査やアドレスビジー検査を行う。

このとき、他システムボード１００に搭載されるＣＰＵ１０の要求するリード要求データが自システムボード１００に搭載されるメモリ１１に存在する場合には、ＧＳＡパケットに基づくリード命令の投機実行を行う。そして、その検査結果に基づいてＬＣＳＴ信号を生成してグローバルアドレスクロスバー２００に投入し、これに応答して、グローバルアドレスクロスバー２００からＧＣＳＴ信号がブロードキャストされてくると、それを受け取って、それに基づいて投機実行したリード命令の採用・不採用を判断するようにしている。

一方、本実施形態のマルチプロセッサシステムでは、ＬＲＡパケットに基づいてリード命令を投機実行する場合には、リードしたデータをスレーブメモリリードデータキュー４１で待たせずにマスタリードデータキュー２７に転送して、マスタリードデータキュー２７で待たせるようにして、マスタリードデータキュー２７に対して、投機実行したリード命令の採用・不採用を通知するようにしている。

この構成に従って、本実施形態のマルチプロセッサシステムでは、投機実行のリード命令に従ってメモリ１１からリードされたデータはマスタリードデータキュー２７に転送されて、そこで待たされている。

これから、本実施形態のマルチプロセッサシステムでは、グローバルアドレスクロスバー２００からブロードキャストされてきたＧＣＳＴ信号に基づいて、投機実行したリード命令の採用を判断すると、マスタリードデータキュー２７に対して、その投機実行したリード命令によりリードされたデータをＣＰＵ１０に送信することを指示する。一方、投機実行したリード命令の不採用を判断すると、マスタリードデータキュー２７に対して、その投機実行したリード命令によりリードされたデータの破棄を指示するとともに、マスタアドレスキュー２０に対して、投機実行に失敗したＬＲＡパケットのリトライを指示する。

このようにして、本実施形態のマルチプロセッサシステムでは、グローバルアドレスクロスバー２００に投入されるＬＲＡパケットが自システムボード１００に搭載されるメモリ１１に対してのリード命令であることを検出する場合には、図２に示すような形態でメモリ１１からリードしたデータを待たせて、データの採用・不採用を通知するように処理するのである。

この構成に従って、本実施形態のマルチプロセッサシステムでは、メモリ１１からデータを高速にリードして、それを直ちにＣＰＵ１０に送信することができるようになる。

すなわち、従来のＳＭＰで構成されるマルチプロセッサシステムでは、図４に示すように、グローバルアドレスクロスバー２００からブロードキャストされるＧＳＡパケットに基づいてリード命令を投機実行するとともに、スレーブメモリリードデータキュー４１でデータを待たせるという構成を採るのに対して、本実施形態のマルチプロセッサシステムでは、図５に示すように、グローバルアドレスクロスバー２００に投入するＬＲＡパケットに基づいてリード命令を投機実行するとともに、マスタリードデータキュー２７でデータを待たせるという構成を採るので、メモリ１１からデータを高速にリードして、それを直ちにＣＰＵ１０に送信することができるようになるのである。

図６に、自システムボード１００に搭載されるメモリ１１をリードするときの信号の流れを示す。

この図に示すように、本実施形態では、自システムボード１００に搭載されるメモリ１１をリードするときには、図中のα（破線）で示すように、従来よりも早い段階でリード命令を投機実行して、メモリ１１からリードしたデータをマスタリードデータキュー２７にキューイングし、図中のβ（一点鎖線）で示すように、ＳＭＰとしての動作に基づいて、その投機実行したリード命令に対しての採用・不採用を決定して、マスタリードデータキュー２７でその決定結果を反映するように処理する。

図７に、他のシステムボード１００に搭載されるメモリ１１をリードするときの信号の流れを示す。

この場合には、自システムボード１００に搭載されるメモリ１１をリードするのではないので、図中のα（破線）で示すように、本実施形態に特徴的な早い段階でのリード命令の投機実行は行わずに、図中のβ（一点鎖線）で示すように、ＳＭＰとしての動作に基づいて、他のシステムボード１００からデータが転送されてくるので、それを受信するように処理する。

図８に、他のシステムボード１００に搭載されるＣＰＵ１０が自システムボード１００に搭載されるメモリ１１をリードするときの信号の流れを示す。

この場合には、自システムボード１００に搭載されるＣＰＵ１０がリード命令を発行するのではないので、図中のα，β（α：破線，β：一点鎖線）で示すように、ＳＭＰとしての動作に基づいて、ＧＳＡパケットによりリード命令の投機実行を行って、図中のαに示すように、ＳＭＰとしての動作に基づいて、その投機実行したリード命令に対しての採用・不採用を決定して、採用を決定する場合には、メモリ１１からリードしたデータをリード命令発行元のシステムボード１００に搭載されるＣＰＵ１０にデータ転送するように処理する。

以上に説明したように、本実施形態のマルチプロセッサシステムでは、従来よりも早い段階でリード命令を投機実行しており、これから、リード命令のリトライ回数が増加することも考えられる。

そこで、本実施形態のマルチプロセッサシステムでは、メモリアクセス制御回路２３がリトライの発生頻度を検出するようにして、グローバルアドレスクロスバー２００からのリトライ指示の多発によりリトライ多発状態の発生を検出すると、セレクタ２１が一定期間強制的にＧＳＡパケットを選択するように制御することで、本実施形態に特徴的な処理であるＬＲＡパケットに基づくリード命令の投機実行を抑制するようにしている。

また、本実施形態のマルチプロセッサシステムでは、メモリ１１からリードしたデータをスレーブメモリリードデータキュー４１で待たせるのではなくて、マスタリードデータキュー２７に転送して、そこで待たせるようにするという構成を採っている。

この構成を採ると、スレーブメモリリードデータキュー４１とマスタリードデータキュー２７との間を接続するバスがビジー状態となることが起こる。

そこで、本実施形態のマルチプロセッサシステムでは、バスビジー監視回路２８を備えるようにして、一定期間に、そのバスに転送されたデータパケットの数を数えることで、そのバスがビジー状態となったのか否かを判断して、バスビジー状態の発生を検出すると、セレクタ２１が一定期間強制的にＧＳＡパケットを選択するように制御することで、本実施形態に特徴的な処理であるＬＲＡパケットに基づくリード命令の投機実行を抑制するようにしている。

また、本実施形態のマルチプロセッサシステムでは、従来よりも早い段階でリード命令を投機実行しており、これから、特定のリード命令についてのリトライ回数が増加することも考えられる。

そこで、本実施形態のマルチプロセッサシステムでは、リトライ数監視回路２９を備えるようにして、規定以上のリトライを繰り返すＬＲＡパケットについては、セレクタ２１が一定期間強制的にＧＳＡパケットを選択するように制御することで、本実施形態に特徴的な処理であるＬＲＡパケットに基づくリード命令の投機実行を抑制するようにしている。

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。

例えば、実施形態例では、リード命令の種類を考慮することなく、ＬＲＡパケットに基づくリード命令の投機実行を行うという構成を開示したが、メモリ１１にリード要求のデータが存在する確率の高いリード命令を処理対象として、ＬＲＡパケットに基づくリード命令の投機実行を行うようにするという構成を採ってもよい。

メモリ１１にあるデータはＣＰＵ１０のキャッシュに持ち込まれて書き換えられている場合があり、このようなデータをリード要求データとするリード命令の投機実行は結局のところ失敗に終わることになる。

そこで、排他権の獲得を要求するようなリード命令については、データが書き換えられている可能性が高いので、そのようなリード命令（オペコードで分かる）については本発明の処理対象としないようにするという構成を採ってもよいのである。

また、実施形態例では、バスビジー監視回路２８がスレーブメモリリードデータキュー４１とマスタリードデータキュー２７との間を接続するバスのビジー状態の発生を検出すると、セレクタ２１が一定期間強制的にＧＳＡパケットを選択するように制御するという構成を採ったが、このバスビジー状態の発生を検出すると、投機実行の採用・不採用の通知先をマスタリードデータキュー２７からスレーブメモリリードデータキュー４１に変更することで、メモリ１１からリードしたデータをマスタリードデータキュー２７でデータを待たせるのではなくて、スレーブメモリリードデータキュー４１でデータを待たせるようにするという構成を採ってもよい。

本発明の一実施形態により実行されるメモリリード処理の説明図である。 本発明の一実施形態により実行されるメモリリード処理の説明図である。 本発明のマルチプロセッサシステムの一実施形態である。 従来技術で実行されるメモリリード処理のシーケンス図である。 本発明の一実施形態により実行されるメモリリード処理のシーケンス図である。 本発明の一実施形態により実行されるメモリリード処理の信号の流れの説明図である。 本発明の一実施形態により実行されるメモリリード処理の信号の流れの説明図である。 本発明の一実施形態により実行されるメモリリード処理の信号の流れの説明図である。 対称型マルチプロセッサの説明図である。 対称型マルチプロセッサで実行されるメモリリード処理の説明図である。

符号の説明

１０ ＣＰＵ
１１ メモリ
１２ ノースブリッジ
１３ メモリコントローラ
２０ マスタアドレスキュー
２１ セレクタ
２２ セレクタ制御回路
２３ メモリアクセス制御回路
２４ 検査回路
２５ ＬＣＳＴ生成回路
２６ スレーブリクエスト制御回路
２７ マスタリードデータキュー
２８ バスビジー監視回路
２９ リトライ数監視回路
３０ 命令デコーダ
４０ スレーブメモリリードアドレスキュー
４１ スレーブメモリリードデータキュー
４２ 外部リードデータキュー
４３ データ転送回路
１００ システムボード
２００ グローバルアドレスクロスバー
２１０ グローバルアドレスプライオリティ制御回路
２２０ ＧＣＳＴ生成回路
３００ グローバルデータクロスバー
４００ システムコントロール装置
５００ 端末

Claims (10)

1. ＣＰＵとメモリとを実装する複数のシステムボードがグローバルアドレスクロスバーを介して接続されることで構成されて、該グローバルアドレスクロスバーにアドレスを投入することで全てのＣＰＵに対して対称的に処理を割り付けるという構成を採るマルチプロセッサシステムにおいて、
   前記グローバルアドレスクロスバーに投入するＣＰＵから発行されたリード命令が自システムボード上のメモリへのリード命令であるのか否かを判断する判断手段と、
   前記判断手段が自システムボード上のメモリへのリード命令であることを判断する場合に、前記グローバルアドレスクロスバーから通知されるアドレスに基づくグローバルアクセスの前に、該リード命令を投機実行する実行手段とを備えることを、
   特徴とするマルチプロセッサシステム。
2. ＣＰＵとメモリとを実装する複数のシステムボードがグローバルアドレスクロスバーを介して接続されることで構成されて、該グローバルアドレスクロスバーにアドレスを投入することで全てのＣＰＵに対して対称的に処理を割り付けるという構成を採るマルチプロセッサシステムにおいて、
   メモリからリードしたデータをメモリ側に設けられるデータキューにキューイングせずにＣＰＵ側に設けられるデータキューにキューイングすることを設定する設定手段と、
   前記グローバルアドレスクロスバーからの通知に基づいて、前記ＣＰＵ側に設けられるデータキューに対して、データの破棄又はＣＰＵへのデータの送信を指示する指示手段とを備えることを、
   特徴とするマルチプロセッサシステム。
3. ＣＰＵとメモリとを実装する複数のシステムボードがグローバルアドレスクロスバーを介して接続されることで構成されて、該グローバルアドレスクロスバーにアドレスを投入することで全てのＣＰＵに対して対称的に処理を割り付けるという構成を採るマルチプロセッサシステムにおいて、
   前記グローバルアドレスクロスバーに投入するＣＰＵから発行されたリード命令が自システムボード上のメモリへのリード命令であるのか否かを判断する判断手段と、
   前記判断手段が自システムボード上のメモリへのリード命令であることを判断する場合に、前記グローバルアドレスクロスバーから通知されるアドレスに基づくグローバルアクセスの前に、該リード命令を投機実行する実行手段と、
   メモリからリードしたデータをメモリ側に設けられるデータキューにキューイングせずにＣＰＵ側に設けられるデータキューにキューイングすることを設定する設定手段と、
   前記グローバルアドレスクロスバーからの通知に基づいて、前記ＣＰＵ側に設けられるデータキューに対して、データの破棄又はＣＰＵへのデータの送信を指示する指示手段とを備えることを、
   特徴とするマルチプロセッサシステム。
4. 請求項３に記載のマルチプロセッサシステムにおいて、
   前記設定手段は、前記実行手段が前記リード命令の投機実行を行う場合には、メモリからリードしたデータをＣＰＵ側に設けられるデータキューにキューイングすることを設定することを、
   特徴とするマルチプロセッサシステム。
5. 請求項３又は４に記載のマルチプロセッサシステムにおいて、
   前記メモリ側に設けられるデータキューと前記ＣＰＵ側に設けられるデータキューとの間を接続するバスがビジー状態となる場合に、前記実行手段が実行するリード命令の投機実行を一時的に停止させる一時停止手段を備えることを、
   特徴とするマルチプロセッサシステム。
6. 請求項３又は４に記載のマルチプロセッサシステムにおいて、
   前記メモリ側に設けられるデータキューと前記ＣＰＵ側に設けられるデータキューとの間を接続するバスがビジー状態となる場合に、メモリからリードしたデータをメモリ側に設けられるデータキューにキューイングすることを設定すべく、前記設定手段による設定を一時的に解除する解除手段を備えることを、
   特徴とするマルチプロセッサシステム。
7. 請求項１、３又は４に記載のマルチプロセッサシステムにおいて、
   前記リード命令の投機実行に対してのリトライが多発状態となる場合に、該投機実行を一時的に停止させる一時停止手段を備えることを、
   特徴とするマルチプロセッサシステム。
8. 請求項１、３又は４に記載のマルチプロセッサシステムにおいて、
   前記リード命令の投機実行に対してのリトライが規定回数を超えるリード命令について、該リード命令の投機実行を停止させる停止手段を備えることを、
   特徴とするマルチプロセッサシステム。
9. 請求項１、３又は４に記載のマルチプロセッサシステムにおいて、
   前記判断手段は、特定のリード命令を判断対象として、ＣＰＵから発行されたリード命令が自システムボード上のメモリへのリード命令であるのか否かを判断することを、
   特徴とするマルチプロセッサシステム。
10. 請求項９に記載のマルチプロセッサシステムにおいて、
    前記判断手段は、前記特定のリード命令として、メモリに要求のデータが存在する確率の高いリード命令を用いることを、
    特徴とするマルチプロセッサシステム。

Images