JP2000235558A - 主記憶共有型マルチプロセッサシステム及びその共有領域設定方法 - Google Patents
主記憶共有型マルチプロセッサシステム及びその共有領域設定方法Info
- Publication number
- JP2000235558A JP2000235558A JP11036811A JP3681199A JP2000235558A JP 2000235558 A JP2000235558 A JP 2000235558A JP 11036811 A JP11036811 A JP 11036811A JP 3681199 A JP3681199 A JP 3681199A JP 2000235558 A JP2000235558 A JP 2000235558A
- Authority
- JP
- Japan
- Prior art keywords
- partition
- shared
- nodes
- address
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/0284—Multiple user address space allocation, e.g. using different base addresses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0815—Cache consistency protocols
- G06F12/0831—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
- G06F12/1072—Decentralised address translation, e.g. in distributed shared memory systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/65—Details of virtual memory and virtual address translation
- G06F2212/656—Address space sharing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Multi Processors (AREA)
Abstract
(57)【要約】
【課題】階層バス型ＳＭＰにおいてパーティション間共
有メモリを実現する 【解決手段】各ノードからノード間接続スイッチへの出
入り口において、パーティション間で共有される領域へ
のアクセスコマンドに対して、該コマンドのアドレス
を、パーティション内で使用されるリアルアドレスと、
パーティション間で共通に使用される共有領域アドレス
との間で相互に変換する手段を設ける。これにより、各
パーティションのローカル領域のアドレスを自由に設定
するとともに、階層型ＳＭＰのスヌープコマンドを使用
して、共有領域のキャッシュ一致制御を高速に行うこと
ができる。さらに、各ノードの出入り口で、他のパーテ
ィションからのアクセスコマンドのアドレスと、共有領
域の構成との整合性をチェックし、パーティション間で
の障害封じ込めを実現する。さらに、パーティション間
の共有領域の構成情報を、システムソフトウェアが動的
に変更する手段を設け、共有領域の柔軟な管理を実現す
る。
有メモリを実現する 【解決手段】各ノードからノード間接続スイッチへの出
入り口において、パーティション間で共有される領域へ
のアクセスコマンドに対して、該コマンドのアドレス
を、パーティション内で使用されるリアルアドレスと、
パーティション間で共通に使用される共有領域アドレス
との間で相互に変換する手段を設ける。これにより、各
パーティションのローカル領域のアドレスを自由に設定
するとともに、階層型ＳＭＰのスヌープコマンドを使用
して、共有領域のキャッシュ一致制御を高速に行うこと
ができる。さらに、各ノードの出入り口で、他のパーテ
ィションからのアクセスコマンドのアドレスと、共有領
域の構成との整合性をチェックし、パーティション間で
の障害封じ込めを実現する。さらに、パーティション間
の共有領域の構成情報を、システムソフトウェアが動的
に変更する手段を設け、共有領域の柔軟な管理を実現す
る。
Description
【０００１】
【発明の属する技術分野】本発明は情報処理装置、特
に、パーソナルコンピュータ（ＰＣ）、ワークステーシ
ョン（ＷＳ），サーバ機等に用いられる、主記憶共有型
の並列計算機システムについての発明であり、特に、パ
ーティション間共有メモリの制御方式に関する。
に、パーソナルコンピュータ（ＰＣ）、ワークステーシ
ョン（ＷＳ），サーバ機等に用いられる、主記憶共有型
の並列計算機システムについての発明であり、特に、パ
ーティション間共有メモリの制御方式に関する。
【０００２】
【従来の技術】近年の高多重並列サーバは、主記憶共有
型のマルチプロセッサ（ＳＭＰ：Ｓｙｍｍｅｔｒｉｃａ
ｌ Ｍｕｌｔｉ Ｐｒｏｃｅｓｓｏｒ）構成が広まって
おり、性能を向上させるために、数十〜百台規模のプロ
セッサの間で主記憶を共有するアーキテクチャが用いら
れる。主記憶共有型のマルチプロセッサの構成方法とし
ては、ＰＣ等に用いられる共有バス型のＳＭＰが圧倒的
に主流である。したがって、高多重並列サーバも、標準
品のＣＰＵを利用したバス型のＳＭＰをコンポーネント
として用いることが、最先端のＣＰＵへの追従性、コス
トの低減等のためには圧倒的に有利である。しかし、バ
ス型のＳＭＰではバスのスループットがネックになるた
め、接続可能なプロセッサの数は４台程度が原因であ
り、多数台のプロセッサを接続する方式としては適さな
い。
型のマルチプロセッサ（ＳＭＰ：Ｓｙｍｍｅｔｒｉｃａ
ｌ Ｍｕｌｔｉ Ｐｒｏｃｅｓｓｏｒ）構成が広まって
おり、性能を向上させるために、数十〜百台規模のプロ
セッサの間で主記憶を共有するアーキテクチャが用いら
れる。主記憶共有型のマルチプロセッサの構成方法とし
ては、ＰＣ等に用いられる共有バス型のＳＭＰが圧倒的
に主流である。したがって、高多重並列サーバも、標準
品のＣＰＵを利用したバス型のＳＭＰをコンポーネント
として用いることが、最先端のＣＰＵへの追従性、コス
トの低減等のためには圧倒的に有利である。しかし、バ
ス型のＳＭＰではバスのスループットがネックになるた
め、接続可能なプロセッサの数は４台程度が原因であ
り、多数台のプロセッサを接続する方式としては適さな
い。
【０００３】上記の課題を解決するために、クロスバス
イッチ等により、バス型のＳＭＰを階層的に接続する方
法が提案されている。階層型ＳＭＰの代表的な例は「Ｇ
ｉｇａｐｌａｎｅ−ＸＢ：Ｅｘｔｅｎｄｉｎｇ ｔｈｅ
Ｕｌｔｒａ Ｅｎｔｅｒｐｒｉｓｅ Ｆａｍｉｌｙ」
（ＨＯＴ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ Ｖ、ｐ９７〜
１１２、１９９７ ８月）に見られる。ノード間のクロ
スバスイッチ等は論理的にはバスとして動作し、プロセ
ッサと主記憶を持つバス型ＳＭＰのノード間のＣＰＵキ
ャッシュの一貫性を、バススヌーププロトコルを用い
て、高速に管理することができる。
イッチ等により、バス型のＳＭＰを階層的に接続する方
法が提案されている。階層型ＳＭＰの代表的な例は「Ｇ
ｉｇａｐｌａｎｅ−ＸＢ：Ｅｘｔｅｎｄｉｎｇ ｔｈｅ
Ｕｌｔｒａ Ｅｎｔｅｒｐｒｉｓｅ Ｆａｍｉｌｙ」
（ＨＯＴ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ Ｖ、ｐ９７〜
１１２、１９９７ ８月）に見られる。ノード間のクロ
スバスイッチ等は論理的にはバスとして動作し、プロセ
ッサと主記憶を持つバス型ＳＭＰのノード間のＣＰＵキ
ャッシュの一貫性を、バススヌーププロトコルを用い
て、高速に管理することができる。
【０００４】上記のような大規模な、主記憶共有型マル
チプロセッサの問題点の一つとして、信頼性がある。従
来の主記憶共有型マルチプロセッサは、システム全体で
一つのＯＳを持つ。この方式は、システムの全てのプロ
セッサを一つのＯＳで管理できるため、柔軟なシステム
運用（負荷分散等）をできるという利点を持つ。しか
し、多数台のプロセッサを主記憶共有のマルチプロセッ
サ構成で接続した場合、システムの信頼性が低下すると
いう欠点を持つ。複数のプロセッサをネットワークで接
続したクラスタ構成のサーバでは、ノード毎にＯＳは別
なので、ＯＳなどのバグ等の致命的エラーが起こって
も、システムダウンするのは当該のノードのみである。
それに対して主記憶共有型のマルチプロセッサで、シス
テム全体を１つのＯＳで制御する場合、あるプロセッサ
がシステムバグ等のためにダウンすると、ＯＳがダウン
してしまうため、全てのプロセッサが影響を受けてしま
う。
チプロセッサの問題点の一つとして、信頼性がある。従
来の主記憶共有型マルチプロセッサは、システム全体で
一つのＯＳを持つ。この方式は、システムの全てのプロ
セッサを一つのＯＳで管理できるため、柔軟なシステム
運用（負荷分散等）をできるという利点を持つ。しか
し、多数台のプロセッサを主記憶共有のマルチプロセッ
サ構成で接続した場合、システムの信頼性が低下すると
いう欠点を持つ。複数のプロセッサをネットワークで接
続したクラスタ構成のサーバでは、ノード毎にＯＳは別
なので、ＯＳなどのバグ等の致命的エラーが起こって
も、システムダウンするのは当該のノードのみである。
それに対して主記憶共有型のマルチプロセッサで、シス
テム全体を１つのＯＳで制御する場合、あるプロセッサ
がシステムバグ等のためにダウンすると、ＯＳがダウン
してしまうため、全てのプロセッサが影響を受けてしま
う。
【０００５】この課題を解決するために、主記憶共有型
のマルチプロセッサの内部を複数のパーティションに分
け、複数のＯＳを独立に走らせる方式が提案されてい
る。各パーティションは独立した主記憶を持ち、あるパ
ーティションのプロセッサは、基本的に自パーティショ
ンの主記憶のみをアクセスする。これにより、パーティ
ション間の障害封じ込めを実現し、システムの性能を向
上させることが可能になる。
のマルチプロセッサの内部を複数のパーティションに分
け、複数のＯＳを独立に走らせる方式が提案されてい
る。各パーティションは独立した主記憶を持ち、あるパ
ーティションのプロセッサは、基本的に自パーティショ
ンの主記憶のみをアクセスする。これにより、パーティ
ション間の障害封じ込めを実現し、システムの性能を向
上させることが可能になる。
【０００６】さらに、サーバコンソリデーションによる
運用性向上、管理コスト削減のためにも、従来複数のサ
ーバで行っていた仕事を、１つの高多重サーバに統合す
ることが求められており、上記のパーティション技術は
必須である。
運用性向上、管理コスト削減のためにも、従来複数のサ
ーバで行っていた仕事を、１つの高多重サーバに統合す
ることが求められており、上記のパーティション技術は
必須である。
【０００７】主記憶共有型のマルチプロセッサをパーテ
ィションに分けた場合、パーティション間でどのように
通信を行うかが課題になる。パーティションを切る前の
システムに備えられている共有メモリ機構を活用して、
パーティション間通信を行う方式が、性能的に優位であ
る。したがって、パーティション間での共有記憶の実現
が必要になる。
ィションに分けた場合、パーティション間でどのように
通信を行うかが課題になる。パーティションを切る前の
システムに備えられている共有メモリ機構を活用して、
パーティション間通信を行う方式が、性能的に優位であ
る。したがって、パーティション間での共有記憶の実現
が必要になる。
【０００８】一つのシステムの中に複数のＯＳを走らせ
るパーティション技術は、従来よりメインフレームで使
われており、米国特許４８４３５４１において開示され
ている。この方式では、システム全体を管理するホスト
ＯＳの管理の元で、複数のゲストＯＳを動作させること
が可能である。各ゲストＯＳは別々のアドレス空間を持
つ独立したシステムである。各パーティションにおける
主記憶のアクセスは下記の手順で行われる。
るパーティション技術は、従来よりメインフレームで使
われており、米国特許４８４３５４１において開示され
ている。この方式では、システム全体を管理するホスト
ＯＳの管理の元で、複数のゲストＯＳを動作させること
が可能である。各ゲストＯＳは別々のアドレス空間を持
つ独立したシステムである。各パーティションにおける
主記憶のアクセスは下記の手順で行われる。
【０００９】（１）ゲストの仮想アドレスからリアルア
ドレスに変換する。 （２）上記のゲストリアルアドレスを、ホスト上の主記
憶アドレスに変換する。
ドレスに変換する。 （２）上記のゲストリアルアドレスを、ホスト上の主記
憶アドレスに変換する。
【００１０】（３）（２）で求めたホスト上の主記憶ア
ドレスを用いて主記憶をアクセスする。上記の２段階の
アドレス変換はＣＰＵと主記憶の間で行われなければな
らない。
ドレスを用いて主記憶をアクセスする。上記の２段階の
アドレス変換はＣＰＵと主記憶の間で行われなければな
らない。
【００１１】メインフレームのパーティションにおいて
は、上記の２段階のアドレス変換を行うことにより、各
々のゲストパーティションが別個のアドレス空間を持つ
ことを可能にするとともに、障害封じ込めを実現する。
（３）のアドレス変換において、各ゲストのアドレスを
オーバラップさせることにより、共有記憶を実現でき
る。
は、上記の２段階のアドレス変換を行うことにより、各
々のゲストパーティションが別個のアドレス空間を持つ
ことを可能にするとともに、障害封じ込めを実現する。
（３）のアドレス変換において、各ゲストのアドレスを
オーバラップさせることにより、共有記憶を実現でき
る。
【００１２】
【発明が解決しようとする課題】上記従来技術を用い
て、階層バス型のＳＭＰのパーティション機構、パーテ
ィション間共有メモリを実現するには、以下に示す問題
がある。
て、階層バス型のＳＭＰのパーティション機構、パーテ
ィション間共有メモリを実現するには、以下に示す問題
がある。
【００１３】従来の、パーティション間共有メモリ機構
は、各ＣＰＵと主記憶の間に２段階のアドレス変換機構
を持った、集中型の主記憶アーキテクチャを前提として
いる。従って、階層バス型のＳＭＰとは、前提とするア
ーキテクチャが大きく異なるため、従来技術を階層バス
型のＳＭＰにそのまま適用することはできない。特に、
各ＣＰＵは標準部品を使うため、従来技術で行われてい
る２段階のアドレス変換をＣＰＵで行うことができず、
各パーティション（ゲスト）のアドレスのリロケーショ
ンを行うことができない。
は、各ＣＰＵと主記憶の間に２段階のアドレス変換機構
を持った、集中型の主記憶アーキテクチャを前提として
いる。従って、階層バス型のＳＭＰとは、前提とするア
ーキテクチャが大きく異なるため、従来技術を階層バス
型のＳＭＰにそのまま適用することはできない。特に、
各ＣＰＵは標準部品を使うため、従来技術で行われてい
る２段階のアドレス変換をＣＰＵで行うことができず、
各パーティション（ゲスト）のアドレスのリロケーショ
ンを行うことができない。
【００１４】さらに、階層型ＳＭＰにおいてはバススヌ
ーププロトコルを用いてＣＰＵのキャッシュの一貫性を
高速に保持する。従って、パーティション間の共有メモ
リ機構は、バススヌーププロトコルをサポートできなけ
ればならない。
ーププロトコルを用いてＣＰＵのキャッシュの一貫性を
高速に保持する。従って、パーティション間の共有メモ
リ機構は、バススヌーププロトコルをサポートできなけ
ればならない。
【００１５】従って、本発明の目的は、階層型ＳＭＰの
アーキテクチャに適した、パーティション機構、パーテ
ィション間共有メモリ機構を実現する事である。
アーキテクチャに適した、パーティション機構、パーテ
ィション間共有メモリ機構を実現する事である。
【００１６】さらに、将来の並列システムは、汎用のＯ
Ｓをサポートしなければならない。そのため、パーティ
ションシステムは、特定のＯＳによらない汎用的なアー
キテクチャを採る必要があるり、各パーティションが自
由なアドレス空間を持つことを可能にしなければならな
い。さらに、多数のアプリケーションに対応したり、パ
ーティションの動的再構成により、システムの信頼性を
向上させるため、パーティションの動的生成消去を実現
する必要がある。
Ｓをサポートしなければならない。そのため、パーティ
ションシステムは、特定のＯＳによらない汎用的なアー
キテクチャを採る必要があるり、各パーティションが自
由なアドレス空間を持つことを可能にしなければならな
い。さらに、多数のアプリケーションに対応したり、パ
ーティションの動的再構成により、システムの信頼性を
向上させるため、パーティションの動的生成消去を実現
する必要がある。
【００１７】本発明のさらなる目的は、パーティション
間共有メモリの構成を柔軟に管理することである。
間共有メモリの構成を柔軟に管理することである。
【００１８】さらに、パーティションシステムは、低い
コストで高い信頼性を実現する必要があり、各パーティ
ションが相互にバックアップすることが必須である。従
って、本発明の第３の目的は、あるパーティションのＯ
Ｓがシステムダウンした場合に、他のパーティションか
ら、エラーの回復が容易にすることである。
コストで高い信頼性を実現する必要があり、各パーティ
ションが相互にバックアップすることが必須である。従
って、本発明の第３の目的は、あるパーティションのＯ
Ｓがシステムダウンした場合に、他のパーティションか
ら、エラーの回復が容易にすることである。
【００１９】
【課題を解決するための手段】上記第１、第２の目的を
達成するために、バスにより結合されたＣＰＵと主記憶
を持つノードを、スイッチにより接続し、スイッチを通
じてキャッシュ一致制御を行う階層型ＳＭＰにおいて、
システム内を異なるＯＳが動作するパーティションに分
けた際に、各ノードからスイッチへの出入り口におい
て、パーティション間で共有される領域へのアクセスコ
マンドのアドレスを、パーティション内で使用されるリ
アルアドレスと、パーティション間で共通に使用される
アドレスとの間で相互に変換する手段を設ける。これに
より、各パーティションのローカル領域のアドレスを自
由に設定するとともに、階層型ＳＭＰのスヌープコマン
ドを使用して、共有領域のキャッシュ一致制御を高速に
行うことができる。
達成するために、バスにより結合されたＣＰＵと主記憶
を持つノードを、スイッチにより接続し、スイッチを通
じてキャッシュ一致制御を行う階層型ＳＭＰにおいて、
システム内を異なるＯＳが動作するパーティションに分
けた際に、各ノードからスイッチへの出入り口におい
て、パーティション間で共有される領域へのアクセスコ
マンドのアドレスを、パーティション内で使用されるリ
アルアドレスと、パーティション間で共通に使用される
アドレスとの間で相互に変換する手段を設ける。これに
より、各パーティションのローカル領域のアドレスを自
由に設定するとともに、階層型ＳＭＰのスヌープコマン
ドを使用して、共有領域のキャッシュ一致制御を高速に
行うことができる。
【００２０】さらに、本発明による他の望ましい態様で
は、各ノードの出入り口で、他のパーティションからの
アクセスコマンドのアドレスと、共有領域の構成との整
合性をチェックする。これにより、パーティション間
で、障害封じ込めを実現することができる。
は、各ノードの出入り口で、他のパーティションからの
アクセスコマンドのアドレスと、共有領域の構成との整
合性をチェックする。これにより、パーティション間
で、障害封じ込めを実現することができる。
【００２１】さらに、本発明による他の望ましい態様で
は、パーティション間の共有領域の構成情報を、システ
ムソフトウェアが動的に変更する手段を設ける。これに
より、共有領域の柔軟な管理が可能になる。
は、パーティション間の共有領域の構成情報を、システ
ムソフトウェアが動的に変更する手段を設ける。これに
より、共有領域の柔軟な管理が可能になる。
【００２２】さらに、上記第３の目的を達成するため
に、各パーティションが他のパーティションのＣＰＵに
リセットをかける機能を持たせる。これにより、あるパ
ーティションがシステムダウンした場合に、他の正常に
動作しているパーティションから、システムダウンした
パーティションをリセットし、再立上げすることができ
る。
に、各パーティションが他のパーティションのＣＰＵに
リセットをかける機能を持たせる。これにより、あるパ
ーティションがシステムダウンした場合に、他の正常に
動作しているパーティションから、システムダウンした
パーティションをリセットし、再立上げすることができ
る。
【００２３】
【発明の実施の形態】以下、本発明に係る主記憶共有型
マルチプロセッサを、図面に示した実施の形態を参照し
てさらに詳細に説明する。
マルチプロセッサを、図面に示した実施の形態を参照し
てさらに詳細に説明する。
【００２４】＜発明の実施の形態＞図１は本発明に係る
主記憶共有型マルチプロセッサのブロック図である。本
システムは８ノードのシステムであり、複数のノード１
００〜８００（これらはノード０〜ノード７と呼ぶこと
がある）が、バス型のスイッチ９００により接続され
る。なおノード１００、８００以外の６つのノードは図
では複雑さを避けるために省略しているが、各ノードは
同じ構造を有する。ノード０で代表して説明すると、Ｃ
ＰＵ１１０〜１１３、ＣＰＵバス１９０、主記憶１８
０、ノード制御回路１２０より構成される。ノード制御
回路１２０は、主記憶アクセス回路１３０、アドレス変
換回路１４０、パーティション構成情報１６０、パーテ
ィション内主記憶構成情報１６５より構成される。ここ
で、１１０〜１１３、１８０、１３０については、公知
の技術であるので内部の説明は省略する。
主記憶共有型マルチプロセッサのブロック図である。本
システムは８ノードのシステムであり、複数のノード１
００〜８００（これらはノード０〜ノード７と呼ぶこと
がある）が、バス型のスイッチ９００により接続され
る。なおノード１００、８００以外の６つのノードは図
では複雑さを避けるために省略しているが、各ノードは
同じ構造を有する。ノード０で代表して説明すると、Ｃ
ＰＵ１１０〜１１３、ＣＰＵバス１９０、主記憶１８
０、ノード制御回路１２０より構成される。ノード制御
回路１２０は、主記憶アクセス回路１３０、アドレス変
換回路１４０、パーティション構成情報１６０、パーテ
ィション内主記憶構成情報１６５より構成される。ここ
で、１１０〜１１３、１８０、１３０については、公知
の技術であるので内部の説明は省略する。
【００２５】主記憶１８０は、このシステムに共通の主
記憶の一部を構成し、各ノードで実行されるプログラム
およびデータの一部を保持するもので、このシステムは
いわゆる分散共有メモリ型の並列計算機システムであ
る。
記憶の一部を構成し、各ノードで実行されるプログラム
およびデータの一部を保持するもので、このシステムは
いわゆる分散共有メモリ型の並列計算機システムであ
る。
【００２６】ノード内の各ＣＰＵの間のキャッシュ一貫
性はバススヌーププロトコルにより管理される。バスス
ヌープ技術は公知であるので、詳細な説明は行わない。
図１ではノード内のＣＰＵはバスにより接続されている
が、ハードウェア的にはバス以外の結合方式、例えば一
対一結合、スイッチによる結合でもよい。これらノード
内の接続方法については公知の技術が種々適用可能であ
る。
性はバススヌーププロトコルにより管理される。バスス
ヌープ技術は公知であるので、詳細な説明は行わない。
図１ではノード内のＣＰＵはバスにより接続されている
が、ハードウェア的にはバス以外の結合方式、例えば一
対一結合、スイッチによる結合でもよい。これらノード
内の接続方法については公知の技術が種々適用可能であ
る。
【００２７】ノード間のＣＰＵの間のキャッシュ一貫性
も、バススヌーププロトコルを用いて管理されている。
スイッチ９００は、論理的にはバスと同じ働きをする。
階層型ＳＭＰのキャッシュ一貫性保持については、公知
の技術であるので、詳細な説明は行わない。
も、バススヌーププロトコルを用いて管理されている。
スイッチ９００は、論理的にはバスと同じ働きをする。
階層型ＳＭＰのキャッシュ一貫性保持については、公知
の技術であるので、詳細な説明は行わない。
【００２８】アドレス変換回路１４０は、ノード内のア
ドレス（ノード内のＣＰＵ１１０〜１１３、ＣＰＵバス
１９０、主記憶１８０が使用するアドレス）と、ノード
間接続スイッチ９００が使用するアドレス（ノード外の
アドレス）を変換するためのハードウェアである。
ドレス（ノード内のＣＰＵ１１０〜１１３、ＣＰＵバス
１９０、主記憶１８０が使用するアドレス）と、ノード
間接続スイッチ９００が使用するアドレス（ノード外の
アドレス）を変換するためのハードウェアである。
【００２９】アドレス変換回路１４０の内部では、ノー
ド内からのコマンドを出力する側では、アクセスされた
領域が共有領域かどうか判定するための共有領域判定回
路１４１、共有領域のアドレスを変換するための、出力
側変換回路１４４、コマンドを正しい宛先に送り出すた
めの宛先指定・グローバルビット付加回路１４２から構
成される。ノードの外からのコマンドを入力する側で
は、他のノードからのコマンドが共有領域へのコマンド
かどうか判定し、アドレスのチェックを行う共有領域判
定・アドレスチェック回路１４３、共有領域のアドレス
を変換するための入力側変換回路１４５、自ノードが共
有しない共有領域へのアクセス要求に対して返答を出す
ＤＮＤ返答回路１４６、他のノードからのスヌープコマ
ンドの返答を待ち合わせる返答待合せ回路１４７から構
成される。これらの回路は、本発明特有の動作を行う。
ド内からのコマンドを出力する側では、アクセスされた
領域が共有領域かどうか判定するための共有領域判定回
路１４１、共有領域のアドレスを変換するための、出力
側変換回路１４４、コマンドを正しい宛先に送り出すた
めの宛先指定・グローバルビット付加回路１４２から構
成される。ノードの外からのコマンドを入力する側で
は、他のノードからのコマンドが共有領域へのコマンド
かどうか判定し、アドレスのチェックを行う共有領域判
定・アドレスチェック回路１４３、共有領域のアドレス
を変換するための入力側変換回路１４５、自ノードが共
有しない共有領域へのアクセス要求に対して返答を出す
ＤＮＤ返答回路１４６、他のノードからのスヌープコマ
ンドの返答を待ち合わせる返答待合せ回路１４７から構
成される。これらの回路は、本発明特有の動作を行う。
【００３０】各ノードはシステムの立上げ、構成制御、
デバッグなどに使用されるＯＳ間通信機能１７０を持
ち、共有メモリを使わずに、各ノードのシステムソフト
ウェアが通信することができる。ＯＳ間通信パス９１０
は、物理的にはノード間接続スイッチと同じハードウェ
アを共有することもできる。もしくは、ＬＡＮ等の一般
的なネットワークを使うこともできる。
デバッグなどに使用されるＯＳ間通信機能１７０を持
ち、共有メモリを使わずに、各ノードのシステムソフト
ウェアが通信することができる。ＯＳ間通信パス９１０
は、物理的にはノード間接続スイッチと同じハードウェ
アを共有することもできる。もしくは、ＬＡＮ等の一般
的なネットワークを使うこともできる。
【００３１】図２に本発明の階層型ＳＭＰにおけるパー
ティションの構成例を示す。パーティションはＳＭＰノ
ードを単位に分けられ、任意のノードの組み合わせをと
ることができる。図２の例ではシステム内は３つのパー
ティションに分けられている。第１パーティション１０
００はノード０〜３（１００、２００、３００、４０
０）で、第２パーティション１００１はノード４、５
（５００、６００）で、だ第３パーティションはノード
６、７（７００、８００）で構成される。各パーティシ
ョンは別のＯＳが動作すると言う点で独立したシステム
であり、以下に述べるように独立したアドレス空間を持
つ。さらに、各パーティションの間で、主記憶の一部を
共有するパーティション間の共有メモリを持つ。
ティションの構成例を示す。パーティションはＳＭＰノ
ードを単位に分けられ、任意のノードの組み合わせをと
ることができる。図２の例ではシステム内は３つのパー
ティションに分けられている。第１パーティション１０
００はノード０〜３（１００、２００、３００、４０
０）で、第２パーティション１００１はノード４、５
（５００、６００）で、だ第３パーティションはノード
６、７（７００、８００）で構成される。各パーティシ
ョンは別のＯＳが動作すると言う点で独立したシステム
であり、以下に述べるように独立したアドレス空間を持
つ。さらに、各パーティションの間で、主記憶の一部を
共有するパーティション間の共有メモリを持つ。
【００３２】パーティション間の共有メモリが無い場合
は、パーティション間のデータのやり取りは、メッセー
ジ通信機構や、一般的なネットワーク（ＬＡＮ）を使っ
て行わなければならい。メッセージ通信のレーテンシは
少なくとも１０μｓ程度はかかるため、高速な通信を実
現することが困難である。それに対し、階層バス型の共
有メモリ機構を活用すれば、ノード間の通信は数百ｎｓ
以下で実現することができる。従って、パーティション
間の通信の高速化、パーティション間でのリソースのロ
ック処理の高速化、パーティション同士の高速フェイル
オーバ等の実現のためには、パーティション間の共有メ
モリは必須である。
は、パーティション間のデータのやり取りは、メッセー
ジ通信機構や、一般的なネットワーク（ＬＡＮ）を使っ
て行わなければならい。メッセージ通信のレーテンシは
少なくとも１０μｓ程度はかかるため、高速な通信を実
現することが困難である。それに対し、階層バス型の共
有メモリ機構を活用すれば、ノード間の通信は数百ｎｓ
以下で実現することができる。従って、パーティション
間の通信の高速化、パーティション間でのリソースのロ
ック処理の高速化、パーティション同士の高速フェイル
オーバ等の実現のためには、パーティション間の共有メ
モリは必須である。
【００３３】図３に本発明のパーティション間共有メモ
リ機構を使用した場合の各パーティションのアドレスマ
ップの例を示す。この例は図２で例示したパーティショ
ン分割に対応している。
リ機構を使用した場合の各パーティションのアドレスマ
ップの例を示す。この例は図２で例示したパーティショ
ン分割に対応している。
【００３４】各パーティション（パーティション０〜パ
ーティション２）はパーティション毎に独立したリアル
アドレス空間を持つ（図３の左側）。パーティション内
の各ノードは同一のリアルアドレス空間を持つ。上記の
パーティションのリアルアドレスは、パーティションに
含まれるノード内のＣＰＵバス１９０の上で使われるア
ドレスであり、ノード内ＣＰＵ１１０〜１１３， 主記
憶１８０、主記憶アクセス回路１３０が使用するリアル
アドレスである。システムは、上記の各パーティション
のリアルアドレス空間の他に、システム全体で共通の共
有メモリ空間（図３の右側）を持つ。パーティション間
で共有される領域は、各パーティションの内部では、そ
れぞれ異なるアドレスを持つが、共有メモリ空間上で共
通なアドレスを持つ。
ーティション２）はパーティション毎に独立したリアル
アドレス空間を持つ（図３の左側）。パーティション内
の各ノードは同一のリアルアドレス空間を持つ。上記の
パーティションのリアルアドレスは、パーティションに
含まれるノード内のＣＰＵバス１９０の上で使われるア
ドレスであり、ノード内ＣＰＵ１１０〜１１３， 主記
憶１８０、主記憶アクセス回路１３０が使用するリアル
アドレスである。システムは、上記の各パーティション
のリアルアドレス空間の他に、システム全体で共通の共
有メモリ空間（図３の右側）を持つ。パーティション間
で共有される領域は、各パーティションの内部では、そ
れぞれ異なるアドレスを持つが、共有メモリ空間上で共
通なアドレスを持つ。
【００３５】各パーティションから共有領域へのアクセ
スは、共有メモリ空間アドレスを介して、他のパーティ
ションに伝えられる。つまり、各ノードから出される共
有領域に対するキャッシュコヒーレントチェック（ＣＣ
Ｃ）コマンド等のアクセスコマンドは、アクセス元のノ
ードを出る際に、自パーティションのリアルアドレスか
ら共有メモリ空間アドレスへ変換され、アクセス先のノ
ードに入る際に、共有メモリ空間アドレスからアクセス
先のパーティションのリアルアドレスに変換される。こ
れらのアドレス変換は各ノードの出入り口にあるアドレ
ス変換回路１４０で行われる。このアドレス変換機能に
より、各パーティションにおいて、自パーティション内
のノードの主記憶の実体の範囲を越えたリアルアドレス
空間を自由に決めることができる。
スは、共有メモリ空間アドレスを介して、他のパーティ
ションに伝えられる。つまり、各ノードから出される共
有領域に対するキャッシュコヒーレントチェック（ＣＣ
Ｃ）コマンド等のアクセスコマンドは、アクセス元のノ
ードを出る際に、自パーティションのリアルアドレスか
ら共有メモリ空間アドレスへ変換され、アクセス先のノ
ードに入る際に、共有メモリ空間アドレスからアクセス
先のパーティションのリアルアドレスに変換される。こ
れらのアドレス変換は各ノードの出入り口にあるアドレ
ス変換回路１４０で行われる。このアドレス変換機能に
より、各パーティションにおいて、自パーティション内
のノードの主記憶の実体の範囲を越えたリアルアドレス
空間を自由に決めることができる。
【００３６】ここで注意しなければならないのは、バス
スヌーププロトコルを用いる場合、ＣＣＣコマンドはあ
るキャッシュラインを共有している任意のＣＰＵから出
される可能性があり、該当するラインを共有する可能性
のあるＣＰＵ全てにブロードキャストされる場合がある
ことである。したがって、各ノードにおいて行われる、
パーティションのローカルなリアルアドレスと共有空間
アドレスとの間のアドレス変換は、双方向に変換可能で
なければならない。さらに、同じパーティションの中に
主記憶の実体が存在する共有領域をアクセスする際にも
（例えばノード０〜３が共有領域Ａをアクセスする
際）、ＣＣＣコマンドをパーティション外のノードにも
正しく伝えるために、ＣＣＣコマンド中のアドレスは、
一旦共有メモリ空間のアドレスに変換しなければならな
い。また、非共有領域（パーティション内のノードから
のみアクセスされる領域）へのアクセスに対しては、ア
ドレス変換は全く行われない（ＣＣＣコマンドはパーテ
ィション内のノードにのみ送られる）。その際に、スイ
ッチから入ってきたコマンドが非共有空間のアクセス
か、パーティション間で共有されている空間へのアクセ
スかを、アドレスだけで判断することは不可能である。
そこで、スイッチ上のコマンドには、コマンドが共有空
間へのアクセスかどうかを判断するための、グローバル
ビットを持つ。
スヌーププロトコルを用いる場合、ＣＣＣコマンドはあ
るキャッシュラインを共有している任意のＣＰＵから出
される可能性があり、該当するラインを共有する可能性
のあるＣＰＵ全てにブロードキャストされる場合がある
ことである。したがって、各ノードにおいて行われる、
パーティションのローカルなリアルアドレスと共有空間
アドレスとの間のアドレス変換は、双方向に変換可能で
なければならない。さらに、同じパーティションの中に
主記憶の実体が存在する共有領域をアクセスする際にも
（例えばノード０〜３が共有領域Ａをアクセスする
際）、ＣＣＣコマンドをパーティション外のノードにも
正しく伝えるために、ＣＣＣコマンド中のアドレスは、
一旦共有メモリ空間のアドレスに変換しなければならな
い。また、非共有領域（パーティション内のノードから
のみアクセスされる領域）へのアクセスに対しては、ア
ドレス変換は全く行われない（ＣＣＣコマンドはパーテ
ィション内のノードにのみ送られる）。その際に、スイ
ッチから入ってきたコマンドが非共有空間のアクセス
か、パーティション間で共有されている空間へのアクセ
スかを、アドレスだけで判断することは不可能である。
そこで、スイッチ上のコマンドには、コマンドが共有空
間へのアクセスかどうかを判断するための、グローバル
ビットを持つ。
【００３７】本発明の特長は、各ノードのスイッチへの
出入り口に、アドレス変換回路１４０を持ち、共有領域
の各ノード内のアドレスと共有メモリ空間アドレスの間
を相互に変換することである。
出入り口に、アドレス変換回路１４０を持ち、共有領域
の各ノード内のアドレスと共有メモリ空間アドレスの間
を相互に変換することである。
【００３８】以下では図３の例を元に、パーティション
間のアドレスの管理方式を詳細に説明する。図３におい
て、第１パーティション１０００のアドレス空間は、ノ
ード０〜３のローカル主記憶１０、２０、３０、４０
を、第２パーティション１００１のアドレス空間はノー
ド４、５のローカル主記憶５０、６０および共有領域１
ａを、第３パーティション１００２のアドレス空間は、
ノード６、７のローカル主記憶７０、８０および共有領
域１ｂ、２ａを持つ。各パーティションの内ノードは全
て同じアドレス空間を持つ。例えば、ノード４、５はい
ずれも領域５０、６０、１ａをアクセスできる。
間のアドレスの管理方式を詳細に説明する。図３におい
て、第１パーティション１０００のアドレス空間は、ノ
ード０〜３のローカル主記憶１０、２０、３０、４０
を、第２パーティション１００１のアドレス空間はノー
ド４、５のローカル主記憶５０、６０および共有領域１
ａを、第３パーティション１００２のアドレス空間は、
ノード６、７のローカル主記憶７０、８０および共有領
域１ｂ、２ａを持つ。各パーティションの内ノードは全
て同じアドレス空間を持つ。例えば、ノード４、５はい
ずれも領域５０、６０、１ａをアクセスできる。
【００３９】共有領域はＡ、Ｂの２つあり、共有領域Ａ
はノード０のローカル主記憶上に、共有領域Ｂはノード
４のローカル主記憶上にアロケートされている。それぞ
れ共有領域Ａ（実体）１、共有領域Ｂ（実体）２で表わ
されている。これら共有領域に対応する主記憶を持つパ
ーティションを、以下では輸出側のパーティションと呼
ぶ。それに対して、共有メモリ空間においては、共有領
域Ａ、共有領域Ｂは、それぞれ１ｚ、２ｚにおかれてい
る。したがって、パーティション０は共有領域Ａをパー
ティション内のリアルアドレス空間１から共有メモリ空
間１ｚに、パーティション１は共有領域Ｂをパーティシ
ョン内のリアルアドレス空間２から共有メモリ空間２ｚ
にマッピング（輸出）している。
はノード０のローカル主記憶上に、共有領域Ｂはノード
４のローカル主記憶上にアロケートされている。それぞ
れ共有領域Ａ（実体）１、共有領域Ｂ（実体）２で表わ
されている。これら共有領域に対応する主記憶を持つパ
ーティションを、以下では輸出側のパーティションと呼
ぶ。それに対して、共有メモリ空間においては、共有領
域Ａ、共有領域Ｂは、それぞれ１ｚ、２ｚにおかれてい
る。したがって、パーティション０は共有領域Ａをパー
ティション内のリアルアドレス空間１から共有メモリ空
間１ｚに、パーティション１は共有領域Ｂをパーティシ
ョン内のリアルアドレス空間２から共有メモリ空間２ｚ
にマッピング（輸出）している。
【００４０】また、共有領域Ａはパーティション１、パ
ーティション２、パーティション３と共有されており、
共有領域Ｂはパーティション３と共有されている。パー
ティション２、３の共有領域Ａ、パーティション３の共
有領域Ｂのように、パーティション内に該当する領域の
主記憶を持たない（他のパーティションにある共有領域
の実体をアクセスする側の）パーティションを、輸入側
のパーティションと呼ぶ。輸入側のパーティションで
は、自パーティションのリアルアドレスの主記憶が実装
されていない部分に、他のパーティションが持つ主記憶
領域をアクセスするための領域（窓）を作る。したがっ
て、パーティション１は共有領域Ａを共有メモリ空間１
ｚからパーティション内のリアルアドレス空間の１ａ
に、パーティション２は共有領域Ａを共有メモリ空間１
ｚからパーティション内のリアルアドレス空間の１ｂ
に、共有領域Ｂを共有メモリ空間２ｚからパーティショ
ン内のリアルアドレス空間の２ａにマッピング（輸入）
する。
ーティション２、パーティション３と共有されており、
共有領域Ｂはパーティション３と共有されている。パー
ティション２、３の共有領域Ａ、パーティション３の共
有領域Ｂのように、パーティション内に該当する領域の
主記憶を持たない（他のパーティションにある共有領域
の実体をアクセスする側の）パーティションを、輸入側
のパーティションと呼ぶ。輸入側のパーティションで
は、自パーティションのリアルアドレスの主記憶が実装
されていない部分に、他のパーティションが持つ主記憶
領域をアクセスするための領域（窓）を作る。したがっ
て、パーティション１は共有領域Ａを共有メモリ空間１
ｚからパーティション内のリアルアドレス空間の１ａ
に、パーティション２は共有領域Ａを共有メモリ空間１
ｚからパーティション内のリアルアドレス空間の１ｂ
に、共有領域Ｂを共有メモリ空間２ｚからパーティショ
ン内のリアルアドレス空間の２ａにマッピング（輸入）
する。
【００４１】以上の結果をまとめると、図３の例におい
ては、各ノードの出入り口で以下に示すアドレス変換
（双方向）が必要になる。
ては、各ノードの出入り口で以下に示すアドレス変換
（双方向）が必要になる。
【００４２】・ノード０〜３（第１パーティション１０
００） 共有領域Ａをノード0上の主記憶１より、共有メモリ空
間１ｚに輸出する・ノード４、５（第２パーティション
１００１） 共有領域Ｂをノード４上の主記憶２より、共有メモリ空
間２ｚに輸出する。
００） 共有領域Ａをノード0上の主記憶１より、共有メモリ空
間１ｚに輸出する・ノード４、５（第２パーティション
１００１） 共有領域Ｂをノード４上の主記憶２より、共有メモリ空
間２ｚに輸出する。
【００４３】共有領域Ａを共有メモリ空間１ｚより、自
パーティション内の領域１ａに輸入する。
パーティション内の領域１ａに輸入する。
【００４４】・ノード６、７（パーティション２） 共有領域Ａを共有メモリ空間１ｚより、自パーティショ
ン内の領域１ｂに輸入する。
ン内の領域１ｂに輸入する。
【００４５】共有領域Ｂを共有メモリ空間２ｚより、自
パーティション内の領域２ａに輸入する。
パーティション内の領域２ａに輸入する。
【００４６】上記に示されない非共有領域のアドレスは
ＣＣＣコマンドがノードの外に出る際にも変換されな
い。
ＣＣＣコマンドがノードの外に出る際にも変換されな
い。
【００４７】図４に本発明の各ノードの出入り口におい
てどのようなアドレス変換が必要であるかをまとめて示
す。リアルアドレスは、非共有アドレス（パーティショ
ン内からのみアクセス可能な領域）、共有アドレス（パ
ーティション間で共有しているアドレス）の２種に分け
られ、さらに、共有アドレスは、自パーティション内に
主記憶が有る場合、無い場合の２種に分けられる。
てどのようなアドレス変換が必要であるかをまとめて示
す。リアルアドレスは、非共有アドレス（パーティショ
ン内からのみアクセス可能な領域）、共有アドレス（パ
ーティション間で共有しているアドレス）の２種に分け
られ、さらに、共有アドレスは、自パーティション内に
主記憶が有る場合、無い場合の２種に分けられる。
【００４８】（１）非共有領域 パーティション内からのみアクセスされる非共有領域に
ついては、スイッチ上でもパーティション内のアドレス
が使われるため、ノードの出入り口でのアドレス変換は
行われない。スヌープコマンドはパーティション内のノ
ードにのみにマルチキャストされる。
ついては、スイッチ上でもパーティション内のアドレス
が使われるため、ノードの出入り口でのアドレス変換は
行われない。スヌープコマンドはパーティション内のノ
ードにのみにマルチキャストされる。
【００４９】（２）共有領域（輸出側） パーティション内に主記憶の実体がある共有領域につい
ては、自パーティション内の主記憶のアドレスと、スイ
ッチ上の共有メモリ空間のアドレスとの変換が必要であ
る。スヌープコマンドは、全ノードに送られる。なお、
スヌープコマンドを共有しているパーティションのノー
ドのみに送る最適化も可能である。
ては、自パーティション内の主記憶のアドレスと、スイ
ッチ上の共有メモリ空間のアドレスとの変換が必要であ
る。スヌープコマンドは、全ノードに送られる。なお、
スヌープコマンドを共有しているパーティションのノー
ドのみに送る最適化も可能である。
【００５０】（３）共有領域（輸入側） パーティション内に主記憶の実体が無い共有領域につい
ては、自パーティション内の共有領域をアクセスするた
めの窓のアドレスと、スイッチ上の共有メモリ空間のア
ドレスとの変換が必要である。スヌープコマンドは、全
ノードに送られる。ここでも、共有しているパーティシ
ョンのノードのみに送る最適化も可能である。
ては、自パーティション内の共有領域をアクセスするた
めの窓のアドレスと、スイッチ上の共有メモリ空間のア
ドレスとの変換が必要である。スヌープコマンドは、全
ノードに送られる。ここでも、共有しているパーティシ
ョンのノードのみに送る最適化も可能である。
【００５１】さらに、パーティション間の障害封じ込め
を実現するために、各ノードの出入り口のアドレス変換
において、パーティション間の不正なアクセスをチェッ
クする。通常の高多重ＳＭＰにおいては、アクセス権チ
ェックは、ＣＰＵが仮想アドレスからリアルアドレスに
変換するアドレス変換時に行われる。しかし、他のパー
ティションのＯＳ等のシステムソフトウェアが暴走した
時の事を考えると、アクセスを発行するＣＰＵ側でのア
クセス権チェックだけでは不十分であり、アクセスされ
る側のパーティションにおいてアクセス権チェックを行
う必要がある。さらに、ＣＰＵの間では、バスースヌー
ププロトコルによるキャッシュ一貫性管理が行われてい
るため、主記憶上のデータのみでなく、キャッシュ上に
キャッシングされているデータについても、不正なアク
セスから保護しなければならない。上記のチェックを実
現するために、各ノードの入口で、他のノードから到来
したＣＣＣコマンドに対して以下に示すチェックを行
う。
を実現するために、各ノードの出入り口のアドレス変換
において、パーティション間の不正なアクセスをチェッ
クする。通常の高多重ＳＭＰにおいては、アクセス権チ
ェックは、ＣＰＵが仮想アドレスからリアルアドレスに
変換するアドレス変換時に行われる。しかし、他のパー
ティションのＯＳ等のシステムソフトウェアが暴走した
時の事を考えると、アクセスを発行するＣＰＵ側でのア
クセス権チェックだけでは不十分であり、アクセスされ
る側のパーティションにおいてアクセス権チェックを行
う必要がある。さらに、ＣＰＵの間では、バスースヌー
ププロトコルによるキャッシュ一貫性管理が行われてい
るため、主記憶上のデータのみでなく、キャッシュ上に
キャッシングされているデータについても、不正なアク
セスから保護しなければならない。上記のチェックを実
現するために、各ノードの入口で、他のノードから到来
したＣＣＣコマンドに対して以下に示すチェックを行
う。
【００５２】（１）非共有領域 パーティション外のノードからのコマンドは許さない。
【００５３】（２）共有領域（輸出側、輸入側共） アドレス変換ハードウェアにおいて、各共有領域毎に共
有を許可する（該領域を共有している）ノードをビット
マップ形式で覚えておく手段を設け、共有を許可してい
ないノードからのコマンドを受けつけない。
有を許可する（該領域を共有している）ノードをビット
マップ形式で覚えておく手段を設け、共有を許可してい
ないノードからのコマンドを受けつけない。
【００５４】以上述べたアドレス変換は、共有メモリを
アローケートした際に、ＯＳ、ミドル等のシステムソフ
トウェアが動的に設定する。設定の方式については後に
述べる。
アローケートした際に、ＯＳ、ミドル等のシステムソフ
トウェアが動的に設定する。設定の方式については後に
述べる。
【００５５】以下では、以上で述べたパーティション間
共有メモリ機構、パーティション間アドレス変換を実現
する、本発明の主記憶共有マルチプロセッサの構成を詳
細に説明する。
共有メモリ機構、パーティション間アドレス変換を実現
する、本発明の主記憶共有マルチプロセッサの構成を詳
細に説明する。
【００５６】図１は本発明の主記憶構成マルチプロセッ
サの構成図である。各ノードの出入り口、具体的には主
記憶アクセス回路１３０とノード間接続スイッチ９００
の間に、アドレス変換回路１４０が置かれる。アドレス
変換回路１４０は、アドレス変換テーブル１５０、パー
ティション構成情報１６０、パーティション内主記憶構
成情報１６５に書かれた情報をもとに、ノード内外のア
ドレスの変換、ノード外へのＣＣＣコマンドの当て先指
定、ノード外からのＣＣＣコマンドに対するエラーチェ
ックを行う回路である。
サの構成図である。各ノードの出入り口、具体的には主
記憶アクセス回路１３０とノード間接続スイッチ９００
の間に、アドレス変換回路１４０が置かれる。アドレス
変換回路１４０は、アドレス変換テーブル１５０、パー
ティション構成情報１６０、パーティション内主記憶構
成情報１６５に書かれた情報をもとに、ノード内外のア
ドレスの変換、ノード外へのＣＣＣコマンドの当て先指
定、ノード外からのＣＣＣコマンドに対するエラーチェ
ックを行う回路である。
【００５７】アドレス変換テーブル１５０、パーティシ
ョン構成情報１６０、パーティション内主記憶構成情報
１６５はメモリマップされており、パーティション内の
プロセッサがアクセスすることができる。
ョン構成情報１６０、パーティション内主記憶構成情報
１６５はメモリマップされており、パーティション内の
プロセッサがアクセスすることができる。
【００５８】図５にアドレス変換テーブル１５０のエン
トリのフォーマットを示す。アドレス変換テーブルは、
共有領域に対するアドレス変換を行うために、共有領域
１つ毎に図５に示すエントリを１つ持つ。アドレス変換
回路は、フルアソシアティブ、双方向のアドレス変換を
行う。従って、あるノードが輸出・輸入する共有領域の
数は、アドレス変換テーブルのエントリ数で制限される
ため、アドレス変換テーブルのエントリ数は十分多く持
たなくてはならない。各エントリは以下の情報を持つ。
トリのフォーマットを示す。アドレス変換テーブルは、
共有領域に対するアドレス変換を行うために、共有領域
１つ毎に図５に示すエントリを１つ持つ。アドレス変換
回路は、フルアソシアティブ、双方向のアドレス変換を
行う。従って、あるノードが輸出・輸入する共有領域の
数は、アドレス変換テーブルのエントリ数で制限される
ため、アドレス変換テーブルのエントリ数は十分多く持
たなくてはならない。各エントリは以下の情報を持つ。
【００５９】・イネーブルビット（Ｅ）１５１ 当該エントリを有効にする ・パーティション内アドレス１５２ ・共有メモリ空間アドレス１５３ 以上２つは各々における開始アドレス ・サイズ１５４ 共有空間の大きさ ・ｈｏｍｅノード番号１５５ 当該共有領域を、主記憶上に持つノードの番号 ・共有を許すノード１５６ 当該領域を共有する事ができるノード番号のリスト（ビ
ットマップ形式で記憶される）（共有の可否はパーティ
ション単位で決められるが、本テーブルでは処理の効率
を考慮して、ノード番号単位に記憶される） ここで、共有メモリは、ある一定の単位（例えば１ＭＢ
とする）毎に取り扱われる。その場合、フィールド１５
２〜１５４は１ＭＢの倍数になる。したがって、１５２
〜１５４の下位２０ビットは０固定である（テーブルの
ビットは実装されない）。
ットマップ形式で記憶される）（共有の可否はパーティ
ション単位で決められるが、本テーブルでは処理の効率
を考慮して、ノード番号単位に記憶される） ここで、共有メモリは、ある一定の単位（例えば１ＭＢ
とする）毎に取り扱われる。その場合、フィールド１５
２〜１５４は１ＭＢの倍数になる。したがって、１５２
〜１５４の下位２０ビットは０固定である（テーブルの
ビットは実装されない）。
【００６０】図７にパーティション構成情報１６０の詳
細を示す。パーティション構成情報は、システムのパー
ティションがどのように切り分けられているかを示す。
どのノードがどのパーティションに入っているかをビッ
トマップ１６１および、自ノードがどのパーティション
にはいっているかを示すフラグ１６２から構成される。
テーブルのエントリ数はシステムのノード総数である
（１ノード１／パーティションの場合までサポート可能
である）。図７は図２におけるノード０〜３におけるパ
ーティション構成情報１６０の値を示している（パーテ
ィション０が自パーティションであり、パーティション
３〜７は使用されていない）。他のノードにおいても、
自パーティションフラグ１６２以外は同じ情報が記憶さ
れている。
細を示す。パーティション構成情報は、システムのパー
ティションがどのように切り分けられているかを示す。
どのノードがどのパーティションに入っているかをビッ
トマップ１６１および、自ノードがどのパーティション
にはいっているかを示すフラグ１６２から構成される。
テーブルのエントリ数はシステムのノード総数である
（１ノード１／パーティションの場合までサポート可能
である）。図７は図２におけるノード０〜３におけるパ
ーティション構成情報１６０の値を示している（パーテ
ィション０が自パーティションであり、パーティション
３〜７は使用されていない）。他のノードにおいても、
自パーティションフラグ１６２以外は同じ情報が記憶さ
れている。
【００６１】図８にはパーティション内主記憶構成情報
１６５の詳細を示す。パーティション内主記憶構成情報
は、自パーティションに含まれる各ノードの（ローカ
ル）主記憶が担当するアドレス範囲を示す（他パーティ
ションの情報は持たない）。エントリ数はシステムのノ
ード総数である（システム全体が１パーティションの場
合までサポート可能である）。各ノードが担当する主記
憶の開始アドレス１６６、終了アドレス１６７、エント
リが有効なことを示すＶビット１６８により構成され
る。
１６５の詳細を示す。パーティション内主記憶構成情報
は、自パーティションに含まれる各ノードの（ローカ
ル）主記憶が担当するアドレス範囲を示す（他パーティ
ションの情報は持たない）。エントリ数はシステムのノ
ード総数である（システム全体が１パーティションの場
合までサポート可能である）。各ノードが担当する主記
憶の開始アドレス１６６、終了アドレス１６７、エント
リが有効なことを示すＶビット１６８により構成され
る。
【００６２】次にノード間接続スイッチ９００でやりと
りされるコマンドについて説明する。階層型ＳＭＰにお
いては、各ＣＰＵのデータの読み書き（キャッシュの一
貫性の保持）は、バススヌーププロトコルにより管理さ
れる。ノード間のＣＣＣについてであるが、ここでは例
として、ノード間のＦｅｔｃｈコマンドによるバススヌ
ープの手順の概略を述べる。ただし、説明のためパーテ
ィションは切られておらず、システム全体が１パーティ
ションとする。
りされるコマンドについて説明する。階層型ＳＭＰにお
いては、各ＣＰＵのデータの読み書き（キャッシュの一
貫性の保持）は、バススヌーププロトコルにより管理さ
れる。ノード間のＣＣＣについてであるが、ここでは例
として、ノード間のＦｅｔｃｈコマンドによるバススヌ
ープの手順の概略を述べる。ただし、説明のためパーテ
ィションは切られておらず、システム全体が１パーティ
ションとする。
【００６３】（１）あるＣＰＵがデータを読む場合は、
他の全てのノード（全ＣＰＵおよびｈｏｍｅノードの主
記憶）にＦｅｔｃｈコマンドが出される。
他の全てのノード（全ＣＰＵおよびｈｏｍｅノードの主
記憶）にＦｅｔｃｈコマンドが出される。
【００６４】（２）Ｆｅｔｃｈコマンドを受け取ったノ
ードでは、もし自ノード上のキャッシュ上に変更された
（最新の）データがある場合には、データを返送し、そ
うでないならば、データが無いことを回答する。ｈｏｍ
ｅノードにおいて、キャッシュ上に変更されたデータが
無い場合には、主記憶上のデータを返送する。
ードでは、もし自ノード上のキャッシュ上に変更された
（最新の）データがある場合には、データを返送し、そ
うでないならば、データが無いことを回答する。ｈｏｍ
ｅノードにおいて、キャッシュ上に変更されたデータが
無い場合には、主記憶上のデータを返送する。
【００６５】（３）アクセス元ノードで他のノードから
の返答を集計する。他ノードからキャッシュ上にあった
変更された（最新の）データが送られてきていれば、該
データをアクセス元のＣＰＵに返す。全てのノードが変
更されたデータを持っていなかった場合には、主記憶か
ら返送されたデータ（自ノードがｈｏｍｅである場合に
は、自ノード上の主記憶のデータ）をアクセス元のＣＰ
Ｕに返す。（ここで、主記憶から返送されたデータを使
うかどうかを決めるためには、全てのノードからの「デ
ータが無い」と言う回答を待ち合わせる必要がある。）
以下に階層型ＳＭＰのノード内のバスで使われるＣＣＣ
コマンドを示す。括弧内はこの実施例で使われる略号で
ある。
の返答を集計する。他ノードからキャッシュ上にあった
変更された（最新の）データが送られてきていれば、該
データをアクセス元のＣＰＵに返す。全てのノードが変
更されたデータを持っていなかった場合には、主記憶か
ら返送されたデータ（自ノードがｈｏｍｅである場合に
は、自ノード上の主記憶のデータ）をアクセス元のＣＰ
Ｕに返す。（ここで、主記憶から返送されたデータを使
うかどうかを決めるためには、全てのノードからの「デ
ータが無い」と言う回答を待ち合わせる必要がある。）
以下に階層型ＳＭＰのノード内のバスで使われるＣＣＣ
コマンドを示す。括弧内はこの実施例で使われる略号で
ある。
【００６６】・Ｆｅｔｃｈ（Ｆ） データのライン転送を要求する。ＣＰＵの読み出しコマ
ンドがミスした場合に出される。 ・Ｆｅｔｃｈ＆Ｉｎｖａｌｉｄａｔｅ（ＦＩ） データのライン転送と同時に、他のキャッシュ上のデー
タの無効化を要求する。ＣＰＵの書き込みコマンドがミ
スした場合に出される。 ・Ｉｎｖａｌｉｄａｔｅ（Ｉ） 他のキャッシュ上のデータの無効化を要求する。ＣＰＵ
が、他のキャッシュと共有されているキャッシュライン
に対して書き込み要求を出した場合に出される。 ・ＷｒｉｔｅＢａｃｋ（ＷＢ） キャッシュラインの書き戻しを要求する。リプレースに
より、データが追い出されたときに生じる。 ・Ｄａｔａ（Ｄ） Ｆ，ＦＩコマンドに対し、キャッシュ上に変更された
（最新の）データが存在する場合に、データを返送する
ためのコマンドである。 ・ＤａｔａＭｅｍ（ＤＭ） Ｆ，ＦＩコマンドに対し、ｈｏｍｅノードの主記憶上の
データを返送するためのコマンドである。ｈｏｍｅノー
ドにおいて、ノード内のキャッシュ上に変更された（最
新の）データが無い場合に返送される。他のいずれかの
ノードのよりＤコマンドが来た場合は、ＤＭコマンドで
返送されたデータは無視される。（キャッシュ上のデー
タが優先される。） ＵｎｃａｃｈｅｄＲｅａｄの回答にも使われる。 ・ＮｏＤａｔａ（ＮＤ） Ｆ，ＦＩコマンドに対し、該当するノードのキャッシュ
上には変更された（最新の）データが無い場合に返送さ
れる（ｈｏｍｅノードは除く）。 ・ＤｕｍｍｙＮｏＤａｔａ（ＤＮＤ） Ｆ，ＦＩコマンドに対するパーティション外のノードか
らの返答。（ＤＮＤは一般的なＣＣＣコマンドではな
く、本実施例特有のインプリメンテーションにおいて必
要なコマンドである。意味はＮＤと同一である。）・Ｕ
ｎｃａｃｈｅｄＲｅａｄ（ＵＲ） ・ＵｎｃａｃｈｅｄＲｅａｄ（ＵＷ） キャッシュオフで直接主記憶をアクセスするためのコマ
ンド ノード間接続スイッチ上のコマンドは、コマンド、アド
レス、データ等の、ＣＣＣに必要なフィールドの他に、
本発明特有の下記のフィールドを持つ。
ンドがミスした場合に出される。 ・Ｆｅｔｃｈ＆Ｉｎｖａｌｉｄａｔｅ（ＦＩ） データのライン転送と同時に、他のキャッシュ上のデー
タの無効化を要求する。ＣＰＵの書き込みコマンドがミ
スした場合に出される。 ・Ｉｎｖａｌｉｄａｔｅ（Ｉ） 他のキャッシュ上のデータの無効化を要求する。ＣＰＵ
が、他のキャッシュと共有されているキャッシュライン
に対して書き込み要求を出した場合に出される。 ・ＷｒｉｔｅＢａｃｋ（ＷＢ） キャッシュラインの書き戻しを要求する。リプレースに
より、データが追い出されたときに生じる。 ・Ｄａｔａ（Ｄ） Ｆ，ＦＩコマンドに対し、キャッシュ上に変更された
（最新の）データが存在する場合に、データを返送する
ためのコマンドである。 ・ＤａｔａＭｅｍ（ＤＭ） Ｆ，ＦＩコマンドに対し、ｈｏｍｅノードの主記憶上の
データを返送するためのコマンドである。ｈｏｍｅノー
ドにおいて、ノード内のキャッシュ上に変更された（最
新の）データが無い場合に返送される。他のいずれかの
ノードのよりＤコマンドが来た場合は、ＤＭコマンドで
返送されたデータは無視される。（キャッシュ上のデー
タが優先される。） ＵｎｃａｃｈｅｄＲｅａｄの回答にも使われる。 ・ＮｏＤａｔａ（ＮＤ） Ｆ，ＦＩコマンドに対し、該当するノードのキャッシュ
上には変更された（最新の）データが無い場合に返送さ
れる（ｈｏｍｅノードは除く）。 ・ＤｕｍｍｙＮｏＤａｔａ（ＤＮＤ） Ｆ，ＦＩコマンドに対するパーティション外のノードか
らの返答。（ＤＮＤは一般的なＣＣＣコマンドではな
く、本実施例特有のインプリメンテーションにおいて必
要なコマンドである。意味はＮＤと同一である。）・Ｕ
ｎｃａｃｈｅｄＲｅａｄ（ＵＲ） ・ＵｎｃａｃｈｅｄＲｅａｄ（ＵＷ） キャッシュオフで直接主記憶をアクセスするためのコマ
ンド ノード間接続スイッチ上のコマンドは、コマンド、アド
レス、データ等の、ＣＣＣに必要なフィールドの他に、
本発明特有の下記のフィールドを持つ。
【００６７】（１）宛先ノード番号 宛先ノード番号はビットマップで表される。宛先をビッ
トマップで表現することにより、複数のビットを立て
て、特定の複数のノード（例えばパーティション内のノ
ード）に向けたマルチキャスト、さらには、全ビットを
立てて、システムの全プロセッサに向けたブロードキャ
ストを容易に実現することができる。
トマップで表現することにより、複数のビットを立て
て、特定の複数のノード（例えばパーティション内のノ
ード）に向けたマルチキャスト、さらには、全ビットを
立てて、システムの全プロセッサに向けたブロードキャ
ストを容易に実現することができる。
【００６８】（２）グローバルビット 該アクセスコマンドが、共有領域に対するコマンド（従
ってアドレスは共有メモリ空間のアドレスである）であ
るか、非共有領域に対するコマンド（従ってアドレスは
パーティション内のローカルアドレスである）を区別す
るためのビット。
ってアドレスは共有メモリ空間のアドレスである）であ
るか、非共有領域に対するコマンド（従ってアドレスは
パーティション内のローカルアドレスである）を区別す
るためのビット。
【００６９】以下では、他のノードに向けてコマンドが
出される場合、及び他のノードからコマンドを受け取っ
た場合の、アドレス変換回路の動作を場合に分けて順に
説明する。
出される場合、及び他のノードからコマンドを受け取っ
た場合の、アドレス変換回路の動作を場合に分けて順に
説明する。
【００７０】（Ａ）ノードからコマンドが出される場合
の処理 主記憶アクセス回路１３０からアドレス変換回路１４０
にＣＣＣコマンドが渡されると、先ず共有領域判定回路
１４１に入力される。
の処理 主記憶アクセス回路１３０からアドレス変換回路１４０
にＣＣＣコマンドが渡されると、先ず共有領域判定回路
１４１に入力される。
【００７１】図９に共有領域判定回路１４１の詳細を示
す。入力されたコマンド１４１ｃからアクセスアドレス
１４１０ｂの部分が取り出される。アクセスアドレス１
４１０ｂは、回路１４１０回路１４１１に入力される。
す。入力されたコマンド１４１ｃからアクセスアドレス
１４１０ｂの部分が取り出される。アクセスアドレス１
４１０ｂは、回路１４１０回路１４１１に入力される。
【００７２】回路１４１０では、パーティション内主記
憶構成情報（１６５ａ）を用いて、アクセスアドレス１
４１０ｂがパーティション内主記憶の何れかに含まれて
いるかが判断される。つまり、図８でＶａｌｉｄビット
１６８が１であるエントリ全てに対して、アクセスアド
レス１４１０ｂが開始アドレス１６６と終了アドレス１
６７の間にあるかがチェックされる。何れかに含まれて
いれば、出力１４１０ａに１が出力され、アクセスアド
レス１４１０ｂは、パーティション内に主記憶を持つア
ドレスであると判断される（内部の回路は後に述べる図
６と同等であるため、詳細な説明は行わない）。
憶構成情報（１６５ａ）を用いて、アクセスアドレス１
４１０ｂがパーティション内主記憶の何れかに含まれて
いるかが判断される。つまり、図８でＶａｌｉｄビット
１６８が１であるエントリ全てに対して、アクセスアド
レス１４１０ｂが開始アドレス１６６と終了アドレス１
６７の間にあるかがチェックされる。何れかに含まれて
いれば、出力１４１０ａに１が出力され、アクセスアド
レス１４１０ｂは、パーティション内に主記憶を持つア
ドレスであると判断される（内部の回路は後に述べる図
６と同等であるため、詳細な説明は行わない）。
【００７３】回路１４１１では、アドレス変換テーブル
の情報（１５０ａ）を用いて、アクセスアドレス１４１
０ｂが、アドレス変換テーブルに定義されているパーテ
ィション内共有領域の何れかに含まれるかが判定され
る。つまり、図５のＥビットが１であるエントリ全てに
対して、アクセスアドレス１４１０ｂがパーティション
内アドレス１５２からサイズ１５４までの間に含まれて
いるかがチェックされる。何れかに含まれていれば、出
力１４１１ａに１が出力され、アクセスアドレス１４１
０ｂは、パーティション内から輸出もしくはパーティシ
ョン内に輸入されている共有領域の一つであると判断さ
れる（内部の回路は後に述べる図６と同等であるため、
詳細な説明は行わない）。
の情報（１５０ａ）を用いて、アクセスアドレス１４１
０ｂが、アドレス変換テーブルに定義されているパーテ
ィション内共有領域の何れかに含まれるかが判定され
る。つまり、図５のＥビットが１であるエントリ全てに
対して、アクセスアドレス１４１０ｂがパーティション
内アドレス１５２からサイズ１５４までの間に含まれて
いるかがチェックされる。何れかに含まれていれば、出
力１４１１ａに１が出力され、アクセスアドレス１４１
０ｂは、パーティション内から輸出もしくはパーティシ
ョン内に輸入されている共有領域の一つであると判断さ
れる（内部の回路は後に述べる図６と同等であるため、
詳細な説明は行わない）。
【００７４】ゲート１４１２の出力が１であるとき、つ
まり、アクセスアドレス１４１０ｂはパーティション内
に主記憶を持つが、輸出入されている共有領域で無い場
合には、ゲート１４１３により、非共有側１４１ｂにア
クセスコマンドが振り分けられる。そうでない時（ゲー
ト１４１２の出力が０であるとき）、つまり、アクセス
アドレス１４１０ｂが、パーティション内に主記憶を持
たない場合、もしくは輸出入されている共有領域の場合
には、共有側１４１ａにアクセスコマンドが振り分けら
れる。
まり、アクセスアドレス１４１０ｂはパーティション内
に主記憶を持つが、輸出入されている共有領域で無い場
合には、ゲート１４１３により、非共有側１４１ｂにア
クセスコマンドが振り分けられる。そうでない時（ゲー
ト１４１２の出力が０であるとき）、つまり、アクセス
アドレス１４１０ｂが、パーティション内に主記憶を持
たない場合、もしくは輸出入されている共有領域の場合
には、共有側１４１ａにアクセスコマンドが振り分けら
れる。
【００７５】非共有側１４１ｂでは、アクセスコマンド
はアドレス変換を行わずに、宛先指定・ｇｌｏｂａｌ
ｂｉｔ付加回路１４２に送られる。これにより、非共有
領域へのアクセスコマンドに対しては、アドレス変換は
行われない。
はアドレス変換を行わずに、宛先指定・ｇｌｏｂａｌ
ｂｉｔ付加回路１４２に送られる。これにより、非共有
領域へのアクセスコマンドに対しては、アドレス変換は
行われない。
【００７６】それに対して、共有側１４１ａでは、アク
セスコマンドは出力側変換回路１４４に入力される。図
６に出力側変換回路１４４の詳細を示す。入力されたコ
マンド１４１ａからアクセスアドレス１４４２ａが分離
される。アクセスアドレス１４４２ａは、アドレス変換
テーブルの有効なエントリのパーティション内アドレス
１５２からサイズ１５４までの間に入っているかどうか
を範囲判定回路１４４０で判断される。範囲判定回路は
アドレス変換テーブルのエントリ毎に設けられる（１４
４０〜１４４０’）。アクセスアドレス１４４２ａがア
ドレス変換テーブルのパーティション内アドレスの範囲
に含まれている場合、信号１４４０ａが出力される。信
号１４４０ａが１の場合、セレクタ１４４１により、該
当するアドレス変換テーブルのパーティション内アドレ
ス１５２が出力Ａ １４４１ａに、共有メモリ空間アド
レス１５３が出力Ｂ １４４１ｂに出力される。アドレ
ス変換回路１４４２では、信号Ａより出力された旧ベー
スアドレス１４４１ａ（アドレス変換テーブルのパーテ
ィション内アドレスに対応）、信号Ｂより出力された新
ベースアドレス１４４１ｂ（アドレス変換テーブルの共
有メモリ領域アドレスに対応）、入力アドレス１４４２
ａを用いて、以下の式により新アドレス１４４２ｂが計
算される。
セスコマンドは出力側変換回路１４４に入力される。図
６に出力側変換回路１４４の詳細を示す。入力されたコ
マンド１４１ａからアクセスアドレス１４４２ａが分離
される。アクセスアドレス１４４２ａは、アドレス変換
テーブルの有効なエントリのパーティション内アドレス
１５２からサイズ１５４までの間に入っているかどうか
を範囲判定回路１４４０で判断される。範囲判定回路は
アドレス変換テーブルのエントリ毎に設けられる（１４
４０〜１４４０’）。アクセスアドレス１４４２ａがア
ドレス変換テーブルのパーティション内アドレスの範囲
に含まれている場合、信号１４４０ａが出力される。信
号１４４０ａが１の場合、セレクタ１４４１により、該
当するアドレス変換テーブルのパーティション内アドレ
ス１５２が出力Ａ １４４１ａに、共有メモリ空間アド
レス１５３が出力Ｂ １４４１ｂに出力される。アドレ
ス変換回路１４４２では、信号Ａより出力された旧ベー
スアドレス１４４１ａ（アドレス変換テーブルのパーテ
ィション内アドレスに対応）、信号Ｂより出力された新
ベースアドレス１４４１ｂ（アドレス変換テーブルの共
有メモリ領域アドレスに対応）、入力アドレス１４４２
ａを用いて、以下の式により新アドレス１４４２ｂが計
算される。
【００７７】新アドレス＝入力アドレス−旧ベースアド
レス＋新ベースアドレス 以上の計算により、パーティション内から出された入力
アドレス（パーティションのローカルなリアルアドレ
ス）を、共有メモリ空間のアドレスにリロケーションす
ることができる。アドレス変換テーブルの他のエントリ
に含まれていた場合にも、範囲判定回路１４４０’を介
して同様な処理が進められる。出力アドレス１４４２ｂ
はコマンドのアドレス以外の部分と共に、ゲート１４４
５（各選択信号のＯＲ１４４３ａによりイネーブルされ
る）を通じて、宛先指定・ｇｌｏｂａｌ ｂｉｔ付加回
路１４２に送られる。入力アドレス１４４２ａが、アド
レス変換テーブルの何れのエントリともマッチしなかっ
た場合は、エラーが検出される。
レス＋新ベースアドレス 以上の計算により、パーティション内から出された入力
アドレス（パーティションのローカルなリアルアドレ
ス）を、共有メモリ空間のアドレスにリロケーションす
ることができる。アドレス変換テーブルの他のエントリ
に含まれていた場合にも、範囲判定回路１４４０’を介
して同様な処理が進められる。出力アドレス１４４２ｂ
はコマンドのアドレス以外の部分と共に、ゲート１４４
５（各選択信号のＯＲ１４４３ａによりイネーブルされ
る）を通じて、宛先指定・ｇｌｏｂａｌ ｂｉｔ付加回
路１４２に送られる。入力アドレス１４４２ａが、アド
レス変換テーブルの何れのエントリともマッチしなかっ
た場合は、エラーが検出される。
【００７８】宛先指定・ｇｌｏｂａｌ ｂｉｔ付加回路
１４２は、ノード内から出されるコマンドをどのノード
に出すかを決めるとともに、コマンド中のｇｌｏｂａｌ
ｂｉｔの値を決める。図１０に宛先指定・ｇｌｏｂａ
ｌ ｂｉｔ付加回路１４２ａの動作を示す。回路はコマ
ンドの種類、および、コマンドが非共有領域へのコマン
ドか（コマンドが信号１４１ｂ側から入力された場
合）、共有領域へのコマンドか（コマンドが信号１４４
a側から入力された場合）に応じて、決められた動作を
行う。
１４２は、ノード内から出されるコマンドをどのノード
に出すかを決めるとともに、コマンド中のｇｌｏｂａｌ
ｂｉｔの値を決める。図１０に宛先指定・ｇｌｏｂａ
ｌ ｂｉｔ付加回路１４２ａの動作を示す。回路はコマ
ンドの種類、および、コマンドが非共有領域へのコマン
ドか（コマンドが信号１４１ｂ側から入力された場
合）、共有領域へのコマンドか（コマンドが信号１４４
a側から入力された場合）に応じて、決められた動作を
行う。
【００７９】（１）非共有アドレスへのスヌープ要求
（Ｆ、ＦＩ、Ｉ）コマンド パーティション構成情報１６０よりパーティション内ノ
ード構成を得た後、コマンドをパーティション内のノー
ドにマルチキャストされる。
（Ｆ、ＦＩ、Ｉ）コマンド パーティション構成情報１６０よりパーティション内ノ
ード構成を得た後、コマンドをパーティション内のノー
ドにマルチキャストされる。
【００８０】ｇｌｏｂａｌ ｂｉｔは０にセットする。
【００８１】（２）共有アドレスへのスヌープ要求
（Ｆ、ＦＩ、Ｉ）コマンド コマンドはシステムの全ノードにブロードキャストされ
る。
（Ｆ、ＦＩ、Ｉ）コマンド コマンドはシステムの全ノードにブロードキャストされ
る。
【００８２】ｇｌｏｂａｌ ｂｉｔは１にセットする。
【００８３】（３）非共有アドレスへの主記憶アクセス
（ＷＢ、ＵＷ、ＵＲ）コマンド パーティション内主記憶構成情報１６５より、アクセス
アドレスがどのノードの担当アドレス範囲に属するかを
比較し、アクセスアドレスのＨｏｍｅノード（自パーテ
ィション内）を求めた後、Ｈｏｍｅノードにコマンドを
送る。ｇｌｏｂａｌ ｂｉｔは０にセットする。
（ＷＢ、ＵＷ、ＵＲ）コマンド パーティション内主記憶構成情報１６５より、アクセス
アドレスがどのノードの担当アドレス範囲に属するかを
比較し、アクセスアドレスのＨｏｍｅノード（自パーテ
ィション内）を求めた後、Ｈｏｍｅノードにコマンドを
送る。ｇｌｏｂａｌ ｂｉｔは０にセットする。
【００８４】（４）共有アドレスへの主記憶アクセス
（ＷＢ、ＵＷ、ＵＲ）コマンド アドレス変換テーブルより、アクセスアドレスのＨｏｍ
ｅノード１５５を求め、Ｈｏｍｅノードにコマンドを送
る。
（ＷＢ、ＵＷ、ＵＲ）コマンド アドレス変換テーブルより、アクセスアドレスのＨｏｍ
ｅノード１５５を求め、Ｈｏｍｅノードにコマンドを送
る。
【００８５】ｇｌｏｂａｌ ｂｉｔは１にセットする。
【００８６】（５）非共有アドレスへの返答（Ｄ、Ｄ
Ｍ、ＮＤ）コマンド 要求元ノードにコマンドを返送する。（非共有領域への
ＤＮＤは生じない。）ｇｌｏｂａｌ ｂｉｔは０にセッ
トする。
Ｍ、ＮＤ）コマンド 要求元ノードにコマンドを返送する。（非共有領域への
ＤＮＤは生じない。）ｇｌｏｂａｌ ｂｉｔは０にセッ
トする。
【００８７】（６）共有アドレスへの返答（Ｄ、ＤＭ、
ＮＤ、ＤＮＤ）コマンド 要求元ノードにコマンドを返送する。
ＮＤ、ＤＮＤ）コマンド 要求元ノードにコマンドを返送する。
【００８８】ｇｌｏｂａｌ ｂｉｔは１にセットする。
【００８９】以上の処理により、ノードから出されたコ
マンドをノード間接続スイッチ９００を介して、適当な
送り先に送信することができる。
マンドをノード間接続スイッチ９００を介して、適当な
送り先に送信することができる。
【００９０】（Ｂ）ノードがコマンドを受け取った場合
の処理 ノード間接続スイッチ９００より入力されたコマンド
が、アドレス変換回路１４０に入力されると、先ず、共
有領域判定・アドレスチェック回路１４３に入力され
る。共有領域判定・アドレスチェック回路１４３では、
入力されたコマンドの分類、エラーチェックが行われ
る。図１１に共有領域判定・アドレスチェック回路１４
３の詳細を示す。他ノードからのコマンド１４３ｄは先
ず回路１４３０に入力され、ｇｌｏｂａｌ ｂｉｔの値
が調べられる。
の処理 ノード間接続スイッチ９００より入力されたコマンド
が、アドレス変換回路１４０に入力されると、先ず、共
有領域判定・アドレスチェック回路１４３に入力され
る。共有領域判定・アドレスチェック回路１４３では、
入力されたコマンドの分類、エラーチェックが行われ
る。図１１に共有領域判定・アドレスチェック回路１４
３の詳細を示す。他ノードからのコマンド１４３ｄは先
ず回路１４３０に入力され、ｇｌｏｂａｌ ｂｉｔの値
が調べられる。
【００９１】ｇｌｏｂａｌ ｂｉｔが０の場合、つま
り、非共有領域のアクセスの場合は、コマンドは信号１
４３０ａに出力される。その後、回路１４３２におい
て、送り元ノードがパーティション内であるかどうかが
パーティション構成情報１６０に基づきチェックされ、
その後、回路１４３３において、アクセスアドレスが、
パーティション内の何れかのノードの主記憶に含まれて
いるかどうかが、パーティション内主記憶構成情報１６
５に基づきチェックされる。１４３２、１４３３のチェ
ックの両方が問題なかったコマンドは、信号１４３ｂを
通じて返信待ち合わせ回路１４７に送られる（この場合
アドレス変換は行われない）。１４３２、１４３３のチ
ェックのどちらかに問題があったコマンド、つまり、パ
ーティション外からのアクセス、パーティション内の主
記憶の範囲外へのアクセスは、エラーとして検出され
る。以上により、パーティション内の非共有領域に対す
る不正なアクセスを防止することができる。
り、非共有領域のアクセスの場合は、コマンドは信号１
４３０ａに出力される。その後、回路１４３２におい
て、送り元ノードがパーティション内であるかどうかが
パーティション構成情報１６０に基づきチェックされ、
その後、回路１４３３において、アクセスアドレスが、
パーティション内の何れかのノードの主記憶に含まれて
いるかどうかが、パーティション内主記憶構成情報１６
５に基づきチェックされる。１４３２、１４３３のチェ
ックの両方が問題なかったコマンドは、信号１４３ｂを
通じて返信待ち合わせ回路１４７に送られる（この場合
アドレス変換は行われない）。１４３２、１４３３のチ
ェックのどちらかに問題があったコマンド、つまり、パ
ーティション外からのアクセス、パーティション内の主
記憶の範囲外へのアクセスは、エラーとして検出され
る。以上により、パーティション内の非共有領域に対す
る不正なアクセスを防止することができる。
【００９２】次にｇｌｏｂａｌ ｂｉｔが１の場合（共
有領域へのアクセスの場合）の処理を述べる。アクセス
コマンドは、信号１４３０ｂを通じて回路１４３１に送
られる。回路１４３１では、アドレス変換テーブル１５
０の何れかのエントリの共有メモリ空間アドレス１５３
からサイズ１５４までの範囲に、アクセスアドレスが含
まれているかどうか（アクセスアドレスが、このノード
が属しているパーティションが輸出入している共有領域
の何れかに含まれているかどうか）がチェックされる。
有領域へのアクセスの場合）の処理を述べる。アクセス
コマンドは、信号１４３０ｂを通じて回路１４３１に送
られる。回路１４３１では、アドレス変換テーブル１５
０の何れかのエントリの共有メモリ空間アドレス１５３
からサイズ１５４までの範囲に、アクセスアドレスが含
まれているかどうか（アクセスアドレスが、このノード
が属しているパーティションが輸出入している共有領域
の何れかに含まれているかどうか）がチェックされる。
【００９３】アドレス変換テーブルに該当するエントリ
が有る場合、つまり、アクセスアドレスがこのノードが
属するパーティションが共有するアドレスの場合は、コ
マンドは信号１４３１ａを通じて回路１４３４に伝えら
れる。回路１４３４では、ＤＮＤ以外のコマンドの場合
（ＤＮＤは共有していないノードから返送される）、ア
ドレス変換テーブルの該当するエントリの共有を許すノ
ードを表わすビットマップ１５６に、アクセスコマンド
の送り元のノードが入っているかどうかがチェックされ
る。チェックの結果問題がなかった場合、コマンドは信
号１４３ａを通じて入力側変換回路１４５に送られる
（共有領域アドレスから、パーティション内のリアルア
ドレスへの変換が行われる）。回路１４３４でのチェッ
クの結果問題がある場合、つまり、該当する共有領域を
共有することを許可されているパーティション以外のノ
ードからのアクセスが行われた場合（ただし、ＤＮＤは
除く）、エラーとして検出される。以上により、パーテ
ィション内の共有領域に対する不正なアクセスを防止す
ることができる。
が有る場合、つまり、アクセスアドレスがこのノードが
属するパーティションが共有するアドレスの場合は、コ
マンドは信号１４３１ａを通じて回路１４３４に伝えら
れる。回路１４３４では、ＤＮＤ以外のコマンドの場合
（ＤＮＤは共有していないノードから返送される）、ア
ドレス変換テーブルの該当するエントリの共有を許すノ
ードを表わすビットマップ１５６に、アクセスコマンド
の送り元のノードが入っているかどうかがチェックされ
る。チェックの結果問題がなかった場合、コマンドは信
号１４３ａを通じて入力側変換回路１４５に送られる
（共有領域アドレスから、パーティション内のリアルア
ドレスへの変換が行われる）。回路１４３４でのチェッ
クの結果問題がある場合、つまり、該当する共有領域を
共有することを許可されているパーティション以外のノ
ードからのアクセスが行われた場合（ただし、ＤＮＤは
除く）、エラーとして検出される。以上により、パーテ
ィション内の共有領域に対する不正なアクセスを防止す
ることができる。
【００９４】アドレス変換テーブルに該当するエントリ
が無い場合は、アクセスアドレスはこのノードが属する
パーティションが共有する共有主記憶に含まれていな
い。この場合が起るのは、コマンドを送信した宛先指定
・ｇｌｏｂａｌ ｂｉｔ付加回路１４２において、共有
領域へのスヌープ要求コマンド（Ｆ、ＦＩ、Ｉ）を一律
に全てのノードにブロードキャストしているためであ
る。従って、共有相手に入っていないノードにも、コマ
ンドが送られてしまう。この場合は、スヌープ要求への
返答の待ち合わせを正しく行うために、ノード内には該
当するデータが無いことを示すＤＮＤコマンドを、アク
セスノードに返答する必要がある（アクセスノードは、
コマンドをブロードキャストした全ノードから返答があ
ることを期待している）。そこで、アクセスコマンド
は、回路１４３５でスヌープ要求であることをチェック
された後（スヌープ要求でない場合エラーが報告され
る）、信号１４３ｃを介してＤＮＤ返送回路１４６に伝
えられる。ＤＮＤ返送回路１４６では、アクセス元のノ
ードに対してＤＮＤコマンドを発行し、宛先指定・ｇｌ
ｏｂａｌ ｂｉｔ付加回路１４２を通じてアクセス元の
ノードに返送される。
が無い場合は、アクセスアドレスはこのノードが属する
パーティションが共有する共有主記憶に含まれていな
い。この場合が起るのは、コマンドを送信した宛先指定
・ｇｌｏｂａｌ ｂｉｔ付加回路１４２において、共有
領域へのスヌープ要求コマンド（Ｆ、ＦＩ、Ｉ）を一律
に全てのノードにブロードキャストしているためであ
る。従って、共有相手に入っていないノードにも、コマ
ンドが送られてしまう。この場合は、スヌープ要求への
返答の待ち合わせを正しく行うために、ノード内には該
当するデータが無いことを示すＤＮＤコマンドを、アク
セスノードに返答する必要がある（アクセスノードは、
コマンドをブロードキャストした全ノードから返答があ
ることを期待している）。そこで、アクセスコマンド
は、回路１４３５でスヌープ要求であることをチェック
された後（スヌープ要求でない場合エラーが報告され
る）、信号１４３ｃを介してＤＮＤ返送回路１４６に伝
えられる。ＤＮＤ返送回路１４６では、アクセス元のノ
ードに対してＤＮＤコマンドを発行し、宛先指定・ｇｌ
ｏｂａｌ ｂｉｔ付加回路１４２を通じてアクセス元の
ノードに返送される。
【００９５】次に、入力側変換回路１４５の動作につい
て述べる。入力側変換回路では、アドレス変換テーブル
１５０の情報に基づき、コマンド上の共有メモリ空間ア
ドレスをパーティション内のリアルアドレスに変換す
る。内部の構成は、出力側変換回路と同等であるので
（変換の方向が違うだけである）、詳細な説明は省略す
る。
て述べる。入力側変換回路では、アドレス変換テーブル
１５０の情報に基づき、コマンド上の共有メモリ空間ア
ドレスをパーティション内のリアルアドレスに変換す
る。内部の構成は、出力側変換回路と同等であるので
（変換の方向が違うだけである）、詳細な説明は省略す
る。
【００９６】最後に、返答待ち合わせ回路１４７の動作
を述べる。返答待ち合わせ回路１４７は、他のノードか
らデータを読み出す事を要求する、Ｆ、ＦＩコマンドに
対する返答（Ｄ，ＤＭ，ＮＤ，ＤＮＤ）を集計するため
の回路であり、その外のコマンドには影響を与えない。
返答待ち合わせ回路１４７は、Ｆ，ＦＩコマンドを出し
た全てのノード、つまり、共有領域の場合はシステムの
全ノード、非共有領域の場合はパーティション内の全ノ
ード（パーティション構成情報１６０より判断する）、
から返答（Ｄ，ＤＭ，ＮＤ，ＤＮＤの何れか）が来るま
で待ち合わせ、以下の判断を行う。
を述べる。返答待ち合わせ回路１４７は、他のノードか
らデータを読み出す事を要求する、Ｆ、ＦＩコマンドに
対する返答（Ｄ，ＤＭ，ＮＤ，ＤＮＤ）を集計するため
の回路であり、その外のコマンドには影響を与えない。
返答待ち合わせ回路１４７は、Ｆ，ＦＩコマンドを出し
た全てのノード、つまり、共有領域の場合はシステムの
全ノード、非共有領域の場合はパーティション内の全ノ
ード（パーティション構成情報１６０より判断する）、
から返答（Ｄ，ＤＭ，ＮＤ，ＤＮＤの何れか）が来るま
で待ち合わせ、以下の判断を行う。
【００９７】（１）Ｄコマンドが返送された場合 Ｄコマンドが１つのノードから返送され、他のノードか
らはＮＤもしくはＤＮＤ、ＤＭが返送された場合、Ｄコ
マンドで読み出された最新のデータ（他のノードのキャ
ッシュ上で変更されていたデータ）を返送する。
らはＮＤもしくはＤＮＤ、ＤＭが返送された場合、Ｄコ
マンドで読み出された最新のデータ（他のノードのキャ
ッシュ上で変更されていたデータ）を返送する。
【００９８】（２）ＤＭコマンドが返送された場合 ＤＭコマンドが１つのノードから返送され、他のノード
からはＮＤもしくはＤＮＤが返送された場合、ＤＭコマ
ンドで読み出された主記憶上のデータを返送する。
からはＮＤもしくはＤＮＤが返送された場合、ＤＭコマ
ンドで読み出された主記憶上のデータを返送する。
【００９９】（３）ＮＤコマンドが返送された場合 他のノードからはＮＤもしくはＤＮＤのみが返送された
場合、自ノードがｈｏｍｅノードである。データが無い
旨返答する（その後主記憶アクセス回路１３０は主記憶
１８０上のデータを読み出して返送する）。
場合、自ノードがｈｏｍｅノードである。データが無い
旨返答する（その後主記憶アクセス回路１３０は主記憶
１８０上のデータを読み出して返送する）。
【０１００】以上述べた、返答待ち合わせ回路１４７の
動作は、従来の階層型ＳＭＰのキャッシュ一貫性保持回
路と同一であるので、内部の詳細は省略する。
動作は、従来の階層型ＳＭＰのキャッシュ一貫性保持回
路と同一であるので、内部の詳細は省略する。
【０１０１】以上述べた本発明の主記憶共有型マルチプ
ロセッサにおいて、他のノードへのアクセスがどのよう
に行われるかを、Ｆコマンドを例に、以下に示す。
ロセッサにおいて、他のノードへのアクセスがどのよう
に行われるかを、Ｆコマンドを例に、以下に示す。
【０１０２】（１）非共有領域へのＦコマンド Ｆコマンドを発行したノードでは、ノード内より出され
るＦコマンドは、共有領域判定回路１４１より、信号１
４１ｂを通じて、宛先指定・ｇｌｏｂａｌ ｂｉｔ付加
回路１４２に送られ（アドレス変換は行われない）、パ
ーティション内のノードにマルチキャストされる（ｇｌ
ｏｂａｌ ｂｉｔ＝０）。
るＦコマンドは、共有領域判定回路１４１より、信号１
４１ｂを通じて、宛先指定・ｇｌｏｂａｌ ｂｉｔ付加
回路１４２に送られ（アドレス変換は行われない）、パ
ーティション内のノードにマルチキャストされる（ｇｌ
ｏｂａｌ ｂｉｔ＝０）。
【０１０３】Ｆコマンドを受け取ったノードでは、共有
領域判定・アドレスチェック回路１４３においてエラー
チェックされた後に、信号１４３ｂ、返答待ち合わせ回
路１４７を通じてノード内にＦコマンドが伝えられる
（アドレス変換は行われない）。
領域判定・アドレスチェック回路１４３においてエラー
チェックされた後に、信号１４３ｂ、返答待ち合わせ回
路１４７を通じてノード内にＦコマンドが伝えられる
（アドレス変換は行われない）。
【０１０４】Ｆコマンドに対する返答（Ｄ、ＤＭ、Ｎ
Ｄ）は、共有領域判定回路１４１より、信号１４１ｂを
通じて、宛先指定・ｇｌｏｂａｌ ｂｉｔ付加回路１４
２に送られ（アドレス変換は行われない）、アクセス元
のノードに返送される（ｇｌｏｂａｌ ｂｉｔ＝０）。
Ｄ）は、共有領域判定回路１４１より、信号１４１ｂを
通じて、宛先指定・ｇｌｏｂａｌ ｂｉｔ付加回路１４
２に送られ（アドレス変換は行われない）、アクセス元
のノードに返送される（ｇｌｏｂａｌ ｂｉｔ＝０）。
【０１０５】Ｆコマンドに対する返答を受け取ったアク
セス元ノードでは、共有領域判定・アドレスチェック回
路１４３においてエラーチェックされた後に、信号１４
３ｂを通じて、返答待ち合わせ回路１４７に返答が伝え
られる（アドレス変換は行われない）。返答待ち合わせ
回路１４７では、パーティション内の全ノードからの回
答を待ち合わせ、アクセス元のＣＰＵに回答を返す。
セス元ノードでは、共有領域判定・アドレスチェック回
路１４３においてエラーチェックされた後に、信号１４
３ｂを通じて、返答待ち合わせ回路１４７に返答が伝え
られる（アドレス変換は行われない）。返答待ち合わせ
回路１４７では、パーティション内の全ノードからの回
答を待ち合わせ、アクセス元のＣＰＵに回答を返す。
【０１０６】（２）共有領域へのＦコマンド Ｆコマンドを発行したノードでは、ノード内より出され
るＦコマンドは、共有領域判定回路１４１より、出力側
変換回路１４４を通じて、宛先指定・ｇｌｏｂａｌ ｂ
ｉｔ付加回路１４２に送られる。この過程でアクセスア
ドレスは、アクセス元パーティションのリアルアドレス
から、共有メモリ空間のアドレスに変換される。Ｆコマ
ンドは、システムの全ノードにブロードキャストされる
（ｇｌｏｂａｌ ｂｉｔ＝１）。
るＦコマンドは、共有領域判定回路１４１より、出力側
変換回路１４４を通じて、宛先指定・ｇｌｏｂａｌ ｂ
ｉｔ付加回路１４２に送られる。この過程でアクセスア
ドレスは、アクセス元パーティションのリアルアドレス
から、共有メモリ空間のアドレスに変換される。Ｆコマ
ンドは、システムの全ノードにブロードキャストされる
（ｇｌｏｂａｌ ｂｉｔ＝１）。
【０１０７】Ｆコマンドを受け取ったノードが、アクセ
スされた共有領域を共有しているパーティションに入っ
ている場合には、Ｆコマンドは、共有領域判定・アドレ
スチェック回路１４３においてエラーチェックされた後
に、入力側変換回路を通じて返答待ち合わせ回路１４７
にＦコマンドが伝えられる。この過程でアクセスアドレ
スは、共有メモリ空間のアドレスから、アクセス先のパ
ーティションのリアルアドレスに変換される。その後、
Ｆコマンドはノード内に伝えられる。ノード内でのスヌ
ープは、アクセス先パーティションのローカルリアルア
ドレスで行われる。
スされた共有領域を共有しているパーティションに入っ
ている場合には、Ｆコマンドは、共有領域判定・アドレ
スチェック回路１４３においてエラーチェックされた後
に、入力側変換回路を通じて返答待ち合わせ回路１４７
にＦコマンドが伝えられる。この過程でアクセスアドレ
スは、共有メモリ空間のアドレスから、アクセス先のパ
ーティションのリアルアドレスに変換される。その後、
Ｆコマンドはノード内に伝えられる。ノード内でのスヌ
ープは、アクセス先パーティションのローカルリアルア
ドレスで行われる。
【０１０８】上記の結果生成された、Ｆコマンドに対す
る返答（Ｄ、ＤＭ、ＮＤ）は、共有領域判定回路１４１
より、出力側変換回路１４４を通じて、宛先指定・ｇｌ
ｏｂａｌ ｂｉｔ付加回路１４２に送られる。この過程
でアクセスアドレスは、アクセス先パーティションのリ
アルアドレスから、共有メモリ空間のアドレスに再度変
換される。コマンドは、アクセス元のノードに返送され
る（ｇｌｏｂａｌ ｂｉｔ＝１）。
る返答（Ｄ、ＤＭ、ＮＤ）は、共有領域判定回路１４１
より、出力側変換回路１４４を通じて、宛先指定・ｇｌ
ｏｂａｌ ｂｉｔ付加回路１４２に送られる。この過程
でアクセスアドレスは、アクセス先パーティションのリ
アルアドレスから、共有メモリ空間のアドレスに再度変
換される。コマンドは、アクセス元のノードに返送され
る（ｇｌｏｂａｌ ｂｉｔ＝１）。
【０１０９】Ｆコマンドを受け取ったノードが、アクセ
スされた共有領域を共有しているパーティションに入っ
ていない場合には、Ｆコマンドは、ＤＭＤ返答回路１４
６に伝えられ、ＤＭＤコマンドがアクセス元のノードに
返送される（ｇｌｏｂａｌｂｉｔ＝１）。
スされた共有領域を共有しているパーティションに入っ
ていない場合には、Ｆコマンドは、ＤＭＤ返答回路１４
６に伝えられ、ＤＭＤコマンドがアクセス元のノードに
返送される（ｇｌｏｂａｌｂｉｔ＝１）。
【０１１０】Ｆコマンドに対する返答（Ｄ、ＤＭ、Ｎ
Ｄ、ＤＮＤ）を受け取ったアクセス元ノードでは、共有
領域判定・アドレスチェック回路１４３においてエラー
チェックされた後に、入力側変換回路１４５を通じて、
返答待ち合わせ回路１４７に返答が伝えられる。この過
程でアクセスアドレスは、共有メモリ空間のアドレスか
ら、アクセス元のパーティションのリアルアドレスに戻
される。返答待ち合わせ回路１４７では、システムの全
ノードからの回答を待ち合わせ、アクセス元のＣＰＵに
回答を返す。回答は、アクセス元パーティションのロー
カルリアルアドレスで行われる。
Ｄ、ＤＮＤ）を受け取ったアクセス元ノードでは、共有
領域判定・アドレスチェック回路１４３においてエラー
チェックされた後に、入力側変換回路１４５を通じて、
返答待ち合わせ回路１４７に返答が伝えられる。この過
程でアクセスアドレスは、共有メモリ空間のアドレスか
ら、アクセス元のパーティションのリアルアドレスに戻
される。返答待ち合わせ回路１４７では、システムの全
ノードからの回答を待ち合わせ、アクセス元のＣＰＵに
回答を返す。回答は、アクセス元パーティションのロー
カルリアルアドレスで行われる。
【０１１１】以上述べたように、本発明のアドレス変換
機構により、アクセス元ノード、アクセス先ノードとも
に、パーティション内のローカルなリアルアドレスを用
いて、データをアクセスすることができる。
機構により、アクセス元ノード、アクセス先ノードとも
に、パーティション内のローカルなリアルアドレスを用
いて、データをアクセスすることができる。
【０１１２】次に、本発明の、主記憶共有型マルチプロ
セッサのパーティション間の共有メモリを、ＯＳ等のシ
ステムソフトウェアがどのように管理するかを述べる。
パーティション間共有メモリはＯＳそのものが管理する
か、ＯＳとは別のパーティション間共有メモリを管理す
るためのシステムソフトウェア（ミドルウェア等）が管
理してもよい。
セッサのパーティション間の共有メモリを、ＯＳ等のシ
ステムソフトウェアがどのように管理するかを述べる。
パーティション間共有メモリはＯＳそのものが管理する
か、ＯＳとは別のパーティション間共有メモリを管理す
るためのシステムソフトウェア（ミドルウェア等）が管
理してもよい。
【０１１３】本システムでは、システムが立ち上がった
際には、パーティション間は共有メモリを全く持たな
い。パーティション間の通信は、共有メモリとは別のＯ
Ｓ間通信手段１７０、９１０を用いて行う。以下で述べ
る共有メモリ管理のためのパーティション間通信は、全
てこのＯＳ間通信手段を用いて行われる。
際には、パーティション間は共有メモリを全く持たな
い。パーティション間の通信は、共有メモリとは別のＯ
Ｓ間通信手段１７０、９１０を用いて行う。以下で述べ
る共有メモリ管理のためのパーティション間通信は、全
てこのＯＳ間通信手段を用いて行われる。
【０１１４】以下では、共有メモリの主記憶の実体を持
つノード（共有領域を輸出しているノード）をｈｏｍｅ
ノードと呼ぶ。ｈｏｍｅノードが属するパーティション
をｈｏｍｅパーティションと呼ぶ。以下では図１２〜１
６を用いて、共有領域の主記憶のアロケーション、共有
パーティションの追加、共有領域の削除、の３つに分け
て、システムソフトウェアが動作する手順を詳細に述べ
る。
つノード（共有領域を輸出しているノード）をｈｏｍｅ
ノードと呼ぶ。ｈｏｍｅノードが属するパーティション
をｈｏｍｅパーティションと呼ぶ。以下では図１２〜１
６を用いて、共有領域の主記憶のアロケーション、共有
パーティションの追加、共有領域の削除、の３つに分け
て、システムソフトウェアが動作する手順を詳細に述べ
る。
【０１１５】以下では、共有領域の管理は、基本的にｈ
ｏｍｅパーティションが集中管理すると仮定している。
ｈｏｍｅパーティション以外が管理する場合も同様の手
法で実現できる。
ｏｍｅパーティションが集中管理すると仮定している。
ｈｏｍｅパーティション以外が管理する場合も同様の手
法で実現できる。
【０１１６】（Ａ）共有領域の主記憶のアロケーション 共有領域の主記憶のアロケーションは、ｈｏｍｅパーテ
ィションで行われる（図１２）。要求されたサイズの共
有領域に使用するための主記憶を確保し、アドレス変換
テーブルに必要な情報を書込む。共有領域は動的にアロ
ケートすることができる。
ィションで行われる（図１２）。要求されたサイズの共
有領域に使用するための主記憶を確保し、アドレス変換
テーブルに必要な情報を書込む。共有領域は動的にアロ
ケートすることができる。
【０１１７】先ず、パーティション内の各ノードのアド
レス変換テーブルの未使用エントリ（Ｅ＝０のエント
リ）を確保し（ステップ２００１）、要求されたサイズ
の実メモリをローカル主記憶上に確保する（ステップ２
００２）。その後、システムソフトウェアは、他のパー
ティションのシステムソフトウェアと相談し、共有メモ
リ空間上に要求されたサイズの領域を確保する（ステッ
プ２００３）。共有メモリ空間は全てのパーティション
で同一のアドレスマップを持たなければならない。
レス変換テーブルの未使用エントリ（Ｅ＝０のエント
リ）を確保し（ステップ２００１）、要求されたサイズ
の実メモリをローカル主記憶上に確保する（ステップ２
００２）。その後、システムソフトウェアは、他のパー
ティションのシステムソフトウェアと相談し、共有メモ
リ空間上に要求されたサイズの領域を確保する（ステッ
プ２００３）。共有メモリ空間は全てのパーティション
で同一のアドレスマップを持たなければならない。
【０１１８】次に、パーティション内の各ノードのアド
レス変換テーブルに、共有領域に関する以下の情報を書
込む（ステップ２００４）。
レス変換テーブルに、共有領域に関する以下の情報を書
込む（ステップ２００４）。
【０１１９】・パーティション内のリアルアドレス１５
２（開始アドレス） ・共有メモリ空間のアドレス１５３（開始アドレス） ・共有領域の大きさ１５４ ・ｈｏｍｅノード番号１５５（主記憶を確保したノード
の番号） ・共有を許すノードのビットマップ１５６（０に初期化
する） この時点ではどのパーティションにも共有領域へのアク
セス件は与えられていない。） その後、パーティション内の各ノードのアドレス変換テ
ーブルのＥビットに１を書込み、エントリを有効にする
（ステップ２００５）。
２（開始アドレス） ・共有メモリ空間のアドレス１５３（開始アドレス） ・共有領域の大きさ１５４ ・ｈｏｍｅノード番号１５５（主記憶を確保したノード
の番号） ・共有を許すノードのビットマップ１５６（０に初期化
する） この時点ではどのパーティションにも共有領域へのアク
セス件は与えられていない。） その後、パーティション内の各ノードのアドレス変換テ
ーブルのＥビットに１を書込み、エントリを有効にする
（ステップ２００５）。
【０１２０】以上の処理により、自パーティションの主
記憶上の領域を共有領域として輸出することができる。
ステップ２００３で確保された共有メモリ空間上のアド
レスから、ステップ２００２で確保された共有領域をア
クセスできるようになる。
記憶上の領域を共有領域として輸出することができる。
ステップ２００３で確保された共有メモリ空間上のアド
レスから、ステップ２００２で確保された共有領域をア
クセスできるようになる。
【０１２１】ここで、注意しなければならないことは、
パーティション内の全てのノードのアドレス変換テーブ
ルに同一の内容を書込まなければならないことである。
パーティション内の全てのノードのアドレス変換テーブ
ルに同一の内容を書込まなければならないことである。
【０１２２】（Ｂ）共有パーティションの追加 （Ａ）で確保した共有領域を、他のパーティションがア
クセスできるようにする（共有領域を輸入する）ために
は以下に示す手順が必要である。共有領域の輸入処理
は、ｈｏｍｅパーティションで共有領域が確保された後
の任意のタイミングで、動的に行うことができる。
クセスできるようにする（共有領域を輸入する）ために
は以下に示す手順が必要である。共有領域の輸入処理
は、ｈｏｍｅパーティションで共有領域が確保された後
の任意のタイミングで、動的に行うことができる。
【０１２３】（Ｂ１）共有領域を新しく輸入するパーテ
ィション ある共有領域を新しく共有しようとする輸入側のパーテ
ィションでは以下の処理が必要である（図１３）。
ィション ある共有領域を新しく共有しようとする輸入側のパーテ
ィションでは以下の処理が必要である（図１３）。
【０１２４】先ず、パーティション内の各ノードのアド
レス変換テーブルの未使用エントリ（Ｅ＝０のエント
リ）を確保し（ステップ２１０１）、主記憶が実装され
ていないリアル空間を、要求されたサイズだけ確保する
（ステップ２１０２）。このリアル空間は、他のパーテ
ィションに主記憶の実体がある共有領域をアクセスする
ための窓として用いられる。その後、ｈｏｍｅパーティ
ションのシステムソフトウェアに、該当する共有領域の
アクセス許可を要求する（ステップ２１０３）。ここ
で、共有領域を新しく輸入するパーティションは、ｈｏ
ｍｅノードがステップ２２０１〜２２０６の処理（後
述）を行い、アクセス許可の回答を返送するのを待つ。
レス変換テーブルの未使用エントリ（Ｅ＝０のエント
リ）を確保し（ステップ２１０１）、主記憶が実装され
ていないリアル空間を、要求されたサイズだけ確保する
（ステップ２１０２）。このリアル空間は、他のパーテ
ィションに主記憶の実体がある共有領域をアクセスする
ための窓として用いられる。その後、ｈｏｍｅパーティ
ションのシステムソフトウェアに、該当する共有領域の
アクセス許可を要求する（ステップ２１０３）。ここ
で、共有領域を新しく輸入するパーティションは、ｈｏ
ｍｅノードがステップ２２０１〜２２０６の処理（後
述）を行い、アクセス許可の回答を返送するのを待つ。
【０１２５】その後、ｈｏｍｅパーティションからアク
セス許可が来ると、アクセス許可と共に送られる、アド
レス変換テーブルの該共有領域に関するエントリを受け
取る（ステップ２１０４）。ステップ２１０４で受け取
ったアドレス変換テーブルのエントリの内容（Ｅビッ
ト、パーティション内アドレス以外）を、パーティショ
ン内の各ノードのアドレス変換テーブルに書込み、ステ
ップ２１０２で確保したリアルアドレスを、パーティシ
ョン内の各ノードのアドレス変換テーブルのパーティシ
ョン内アドレスフィールド１５２に書込む（ステップ２
１０５）。最後に、パーティション内の各ノードのアド
レス変換テーブルのＥビットに１を書込む。
セス許可が来ると、アクセス許可と共に送られる、アド
レス変換テーブルの該共有領域に関するエントリを受け
取る（ステップ２１０４）。ステップ２１０４で受け取
ったアドレス変換テーブルのエントリの内容（Ｅビッ
ト、パーティション内アドレス以外）を、パーティショ
ン内の各ノードのアドレス変換テーブルに書込み、ステ
ップ２１０２で確保したリアルアドレスを、パーティシ
ョン内の各ノードのアドレス変換テーブルのパーティシ
ョン内アドレスフィールド１５２に書込む（ステップ２
１０５）。最後に、パーティション内の各ノードのアド
レス変換テーブルのＥビットに１を書込む。
【０１２６】以上の処理により、共有領域の輸入は完了
し、ステップ２１０２で確保されたリアルアドレスか
ら、ｈｏｍｅノード上の共有領域をアクセスすることが
できる。
し、ステップ２１０２で確保されたリアルアドレスか
ら、ｈｏｍｅノード上の共有領域をアクセスすることが
できる。
【０１２７】（Ｂ２）ｈｏｍｅパーティション ステップ２１０３において、共有領域のアクセス許可を
要求されたパーティションのシステムソフトウェアで
は、以下の処理が必要になる（図１４）。
要求されたパーティションのシステムソフトウェアで
は、以下の処理が必要になる（図１４）。
【０１２８】先ず、アクセス要求をチェックし、要求元
のパーティションに、該当する共有領域のアクセスを許
可するかどうか判断する（ステップ２２０１）。以下で
は、アクセスが許可されると仮定する。
のパーティションに、該当する共有領域のアクセスを許
可するかどうか判断する（ステップ２２０１）。以下で
は、アクセスが許可されると仮定する。
【０１２９】次に、アドレス変換テーブルの該共有領域
に対応するエントリの共有を許すノードフィールド１５
６の、（以前の）値をワーク変数（ここではＷとする）
に記憶し（ステップ２２０２）、パーティション内の各
ノードが持つアドレス変換テーブルの、該共有領域に対
応するエントリの共有を許すノードフィールド１５６に
おいて、要求元パーティションに属する全ノードに該当
するビットをセットする（ステップ２２０３）。これに
より、要求元パーティションが、該当する共有領域を共
有することが許可される。
に対応するエントリの共有を許すノードフィールド１５
６の、（以前の）値をワーク変数（ここではＷとする）
に記憶し（ステップ２２０２）、パーティション内の各
ノードが持つアドレス変換テーブルの、該共有領域に対
応するエントリの共有を許すノードフィールド１５６に
おいて、要求元パーティションに属する全ノードに該当
するビットをセットする（ステップ２２０３）。これに
より、要求元パーティションが、該当する共有領域を共
有することが許可される。
【０１３０】さらに、Ｗにおいて１が立っているノード
が属するパーティション各々に（ただし、自パーティシ
ョンは除く）、共有を許すノードフィールド１５６の新
しい値を送り、該フィールドを更新することを要求する
（ステップ２２０４）。ここで、注意しなければならな
いのは、パーティションごとに共有領域を管理するシス
テムソフトウェアは１つであり、各パーティションには
１回要求を出せば良い事である。ステップ２２０４で、
要求を出した全てのパーティションから、共有を許すノ
ードフィールド１５６の変更が完了した旨のＡＣＫが来
るのを待ち合わせる（ステップ２２０５）。
が属するパーティション各々に（ただし、自パーティシ
ョンは除く）、共有を許すノードフィールド１５６の新
しい値を送り、該フィールドを更新することを要求する
（ステップ２２０４）。ここで、注意しなければならな
いのは、パーティションごとに共有領域を管理するシス
テムソフトウェアは１つであり、各パーティションには
１回要求を出せば良い事である。ステップ２２０４で、
要求を出した全てのパーティションから、共有を許すノ
ードフィールド１５６の変更が完了した旨のＡＣＫが来
るのを待ち合わせる（ステップ２２０５）。
【０１３１】最後に要求元のパーティションに、該共有
領域のアクセス許可とともに、アドレス変換テーブルの
該共有領域のエントリを送る（ステップ２２０６）。
領域のアクセス許可とともに、アドレス変換テーブルの
該共有領域のエントリを送る（ステップ２２０６）。
【０１３２】以上の処理により、該当する共有領域を共
有している全ノードのアドレス変換テーブル上の、共有
を許すノードフィールド１５６を更新し、要求元パーテ
ィションが該領域を共有できるようにすることができ
る。
有している全ノードのアドレス変換テーブル上の、共有
を許すノードフィールド１５６を更新し、要求元パーテ
ィションが該領域を共有できるようにすることができ
る。
【０１３３】（Ｂ３）該当する領域を、今まで共有して
いたパーティション（ｈｏｍｅを除く） 該当する領域を、今まで共有していたパーティション
（ｈｏｍｅを除く）では、ｈｏｍｅパーティションがス
テップ２２０４で出した要求を受け取り、パーティショ
ン内の各ノードが持つアドレス変換テーブルの、該共有
領域に対応するエントリの共有を許すノードフィールド
１５６を更新する。更新が完了すると、ｈｏｍｅパーテ
ィションにＡＣＫを返す。
いたパーティション（ｈｏｍｅを除く） 該当する領域を、今まで共有していたパーティション
（ｈｏｍｅを除く）では、ｈｏｍｅパーティションがス
テップ２２０４で出した要求を受け取り、パーティショ
ン内の各ノードが持つアドレス変換テーブルの、該共有
領域に対応するエントリの共有を許すノードフィールド
１５６を更新する。更新が完了すると、ｈｏｍｅパーテ
ィションにＡＣＫを返す。
【０１３４】（Ｃ）共有領域の削除 共有領域の削除は、ｈｏｍｅパーティションにより開始
され、該共有領域を共有していた全てのパーティション
が協調して、以下の手順を実行する。共有領域の削除も
動的に行うことができる。一旦共有領域が削除させた後
は、今まで使われていたリソース（アドレス変換テーブ
ル、主記憶、共有アドレス空間等）は再利用することが
できる。
され、該共有領域を共有していた全てのパーティション
が協調して、以下の手順を実行する。共有領域の削除も
動的に行うことができる。一旦共有領域が削除させた後
は、今まで使われていたリソース（アドレス変換テーブ
ル、主記憶、共有アドレス空間等）は再利用することが
できる。
【０１３５】以下の処理では、アプリケーションプログ
ラムは、該当する共有領域の使用を終了していると仮定
する。従って、開放しようとしている共有領域へのアク
セスは起らない。
ラムは、該当する共有領域の使用を終了していると仮定
する。従って、開放しようとしている共有領域へのアク
セスは起らない。
【０１３６】（Ｃ１）ｈｏｍｅパーティションにおける
処理 ｈｏｍｅパーティションでは、該当している領域を共有
している他の全てのパーティションに共有領域を削除さ
せた後、自パーティションの共有領域を削除する。
処理 ｈｏｍｅパーティションでは、該当している領域を共有
している他の全てのパーティションに共有領域を削除さ
せた後、自パーティションの共有領域を削除する。
【０１３７】先ず、アドレス変換テーブルの共有を許す
ノードフィールド１５６に１が立っているノードが属す
るパーティション各々に（ただし、自パーティションは
除く）、共有領域を消去することを依頼し（ステップ２
３０１）、要求を出した全てのパーティションからＡＣ
Ｋが返るのを待つ（ステップ２３０２）。これにより、
共有領域を輸入しているパーティションにおいて、共有
領域が削除されたことが保証される。
ノードフィールド１５６に１が立っているノードが属す
るパーティション各々に（ただし、自パーティションは
除く）、共有領域を消去することを依頼し（ステップ２
３０１）、要求を出した全てのパーティションからＡＣ
Ｋが返るのを待つ（ステップ２３０２）。これにより、
共有領域を輸入しているパーティションにおいて、共有
領域が削除されたことが保証される。
【０１３８】次に、自パーティション内の全てのプロセ
ッサで、削除する共有領域のキャッシュ上のデータを全
てパージし（ステップ２３０３）、キャッシュ上の古い
データを追い出す。その後、パーティション内の全ノー
ドの、アドレス変換テーブルの削除する共有領域に該当
するエントリを無効化し（Ｅビットに０を書込む）（ス
テップ２３０４）、共有メモリ空間上の領域、共有領域
の実メモリを開放し（ステップ２３０５）、最後に、パ
ーティション内の全てのプロセッサのＴＬＢをパージす
る（２３０６）。以上の処理により、共有領域をアクセ
スするために使われていたリソースを完全に開放するこ
とができる。
ッサで、削除する共有領域のキャッシュ上のデータを全
てパージし（ステップ２３０３）、キャッシュ上の古い
データを追い出す。その後、パーティション内の全ノー
ドの、アドレス変換テーブルの削除する共有領域に該当
するエントリを無効化し（Ｅビットに０を書込む）（ス
テップ２３０４）、共有メモリ空間上の領域、共有領域
の実メモリを開放し（ステップ２３０５）、最後に、パ
ーティション内の全てのプロセッサのＴＬＢをパージす
る（２３０６）。以上の処理により、共有領域をアクセ
スするために使われていたリソースを完全に開放するこ
とができる。
【０１３９】（Ｃ２）共有領域を輸入しているパーティ
ションにおける処理 ステップ２３０１で、ホームパーティションから共有領
域を消去することを依頼された各パーティションでは、
以下の処理が必要になる。
ションにおける処理 ステップ２３０１で、ホームパーティションから共有領
域を消去することを依頼された各パーティションでは、
以下の処理が必要になる。
【０１４０】先ず、自パーティション内の全てのプロセ
ッサで、削除する共有領域のキャッシュ上のデータをパ
ージする（ステップ２４０１）。その後、パーティショ
ン内の全てのノードのアドレス変換テーブルの該当する
エントリを無効化し（ステップ２４０２）、共有メモリ
空間、パーティション内のリアルアドレス空間に共有メ
モリをアクセスするために確保した領域（窓の領域）を
開放し（ステップ２４０３）、パーティション内の全て
のプロセッサのＴＬＢをパージする（２４０４）。これ
により、該当するパーティションで、共有領域をアクセ
スするために使われていたリソースを完全に開放するこ
とができる。最後にｈｏｍｅパーティションにＡＣＫを
返し（２４０５）、自パーティションで共有領域を完全
に開放した事を通知する。
ッサで、削除する共有領域のキャッシュ上のデータをパ
ージする（ステップ２４０１）。その後、パーティショ
ン内の全てのノードのアドレス変換テーブルの該当する
エントリを無効化し（ステップ２４０２）、共有メモリ
空間、パーティション内のリアルアドレス空間に共有メ
モリをアクセスするために確保した領域（窓の領域）を
開放し（ステップ２４０３）、パーティション内の全て
のプロセッサのＴＬＢをパージする（２４０４）。これ
により、該当するパーティションで、共有領域をアクセ
スするために使われていたリソースを完全に開放するこ
とができる。最後にｈｏｍｅパーティションにＡＣＫを
返し（２４０５）、自パーティションで共有領域を完全
に開放した事を通知する。
【０１４１】以上述べた手順により、本発明の主記憶共
有型マルチプロセッサにおいて、パーティション間の共
有メモリを動的に管理することができる。
有型マルチプロセッサにおいて、パーティション間の共
有メモリを動的に管理することができる。
【０１４２】以上述べた構成により、階層バス型ＳＭＰ
において、パーティション間共有メモリを実現すること
ができる。
において、パーティション間共有メモリを実現すること
ができる。
【０１４３】次に、パーティション間でリセットをかけ
る機能について、詳細に説明する。図１７に本発明のリ
セット回路を示す。図ではノード０のみ詳細に示す。他
のノードも全く同じ構成である。以下ではノード０の構
成を詳細に説明する。各ノード内のＣＰＵ、主記憶アク
セス回路、アドレス変換回路は、パーティションのリセ
ット信号９２１によりドライブされる。各ノードは独立
したリセット信号９２１〜９２８を持つ。各リセット信
号はリセット伝達回路９２０によりドライブされる。さ
らに、各ノードはＣＰＵからアクセス可能なリセットレ
ジスタ１７５を持ち、他のノードのリセットを要求でき
るようにする。
る機能について、詳細に説明する。図１７に本発明のリ
セット回路を示す。図ではノード０のみ詳細に示す。他
のノードも全く同じ構成である。以下ではノード０の構
成を詳細に説明する。各ノード内のＣＰＵ、主記憶アク
セス回路、アドレス変換回路は、パーティションのリセ
ット信号９２１によりドライブされる。各ノードは独立
したリセット信号９２１〜９２８を持つ。各リセット信
号はリセット伝達回路９２０によりドライブされる。さ
らに、各ノードはＣＰＵからアクセス可能なリセットレ
ジスタ１７５を持ち、他のノードのリセットを要求でき
るようにする。
【０１４４】先ず、外部リセット信号（パワーオン時の
リセット、通常のリセットボタンからの信号）９２９が
ドライブされると、全てのノードのリセット信号（９２
１〜９２８）がアクティブにされ、従来通り全ノードが
リセットされる。
リセット、通常のリセットボタンからの信号）９２９が
ドライブされると、全てのノードのリセット信号（９２
１〜９２８）がアクティブにされ、従来通り全ノードが
リセットされる。
【０１４５】各ノードのリセットレジスタは、リセット
するノードを指示するノードのビットマップ１７５１と
リセットを指示するＥｎａｂｌｅビット１７５０より、
構成される。Ｅｎａｂｌｅビット１７５０が１にされる
と、ビットマップ１７５１が１であるノードに対してリ
セット信号が回路９２０を通じて送られる。
するノードを指示するノードのビットマップ１７５１と
リセットを指示するＥｎａｂｌｅビット１７５０より、
構成される。Ｅｎａｂｌｅビット１７５０が１にされる
と、ビットマップ１７５１が１であるノードに対してリ
セット信号が回路９２０を通じて送られる。
【０１４６】以上の回路により、各ノードのソフトウェ
アが、任意のノードをリセットすることが可能になる。
アが、任意のノードをリセットすることが可能になる。
【０１４７】あるパーティション（以下ではパーティシ
ョンＡと呼ぶ）がシステムダウンした場合には、システ
ムダウンしなかったパーティションの一つ（以下ではパ
ーティションＢと呼ぶ）のソフトウェアにより、下記の
動作が行われる。
ョンＡと呼ぶ）がシステムダウンした場合には、システ
ムダウンしなかったパーティションの一つ（以下ではパ
ーティションＢと呼ぶ）のソフトウェアにより、下記の
動作が行われる。
【０１４８】（１）パーティションＢは、パーティショ
ンＡがシステムダウンしたことを検知する（共有メモリ
を介したハートビート機能等により知る事ができる）。
ンＡがシステムダウンしたことを検知する（共有メモリ
を介したハートビート機能等により知る事ができる）。
【０１４９】（２）パーティションＢは、パーティショ
ン間共有メモリを介して、エラー原因の調査、エラー原
因の除去を行い。さらに、パーティションＡが仕事を再
開できるように情報を整備する。（本発明の共有メモリ
機能は、システム領域を含めた任意のアドレスを共有す
ることが可能であるため、ＯＳ迄含めたエラーの解析等
が可能である。） （３）パーティションＢは、ビットマップ１７５１のパ
ーティションＡのノードに該当するビットを１にセット
する（他のビットは０にする）。
ン間共有メモリを介して、エラー原因の調査、エラー原
因の除去を行い。さらに、パーティションＡが仕事を再
開できるように情報を整備する。（本発明の共有メモリ
機能は、システム領域を含めた任意のアドレスを共有す
ることが可能であるため、ＯＳ迄含めたエラーの解析等
が可能である。） （３）パーティションＢは、ビットマップ１７５１のパ
ーティションＡのノードに該当するビットを１にセット
する（他のビットは０にする）。
【０１５０】（４）パーティションＢは、Ｅｎａｂｌｅ
ビット（１７５０）を１にした後０に戻す。（これによ
り、リセット伝達回路９２０を通じて、パーティション
Ａの各ノードにリセット信号が伝えられる。） （５）以上の処理により、パーティションＡは実行を再
開することができる。（（２）の情報を用いて、アプリ
ケーションを再開する。） 以上述べたリセット機能により、各パーティションが相
互にバックアップすることを可能にし、高い信頼性を実
現することが可能になる。
ビット（１７５０）を１にした後０に戻す。（これによ
り、リセット伝達回路９２０を通じて、パーティション
Ａの各ノードにリセット信号が伝えられる。） （５）以上の処理により、パーティションＡは実行を再
開することができる。（（２）の情報を用いて、アプリ
ケーションを再開する。） 以上述べたリセット機能により、各パーティションが相
互にバックアップすることを可能にし、高い信頼性を実
現することが可能になる。
【０１５１】本発明は以上の実施の形態に限定されるの
ではなく、いろいろの変形例にも適用可能である。種々
の変形例を以下に列挙する。
ではなく、いろいろの変形例にも適用可能である。種々
の変形例を以下に列挙する。
【０１５２】（１）以上においては、共有領域に対する
スヌープコマンドをシステム内の全ノードにブロードキ
ャストしていた。
スヌープコマンドをシステム内の全ノードにブロードキ
ャストしていた。
【０１５３】それに対し、スイッチへのトラフィックを
削減するために、アクセスされた共有領域を共有をして
いるパーティション内のノードにのみブロードキャスト
する方式も可能である。
削減するために、アクセスされた共有領域を共有をして
いるパーティション内のノードにのみブロードキャスト
する方式も可能である。
【０１５４】以下の点が変更になる。
【０１５５】・宛先指定・ｇｌｏｂａｌ ｂｉｔ付加回
路１４２においてノード内から出たコマンドの送り先を
決定する際に（図５参照）、共有領域に対するスヌープ
（Ｆ，ＦＩ，Ｉ） コマンドは、共有領域に対応するアドレス変換テーブル
の、共有を許すパーティションフィールド１５６が１の
ノードのみにのマルチキャストされる。（これにより、
共有していないパーティションにはスヌープ処理を送ら
ない。） ・ＤＮＤコマンド、ＤＮＤ返答回路１４６は使用されな
い。
路１４２においてノード内から出たコマンドの送り先を
決定する際に（図５参照）、共有領域に対するスヌープ
（Ｆ，ＦＩ，Ｉ） コマンドは、共有領域に対応するアドレス変換テーブル
の、共有を許すパーティションフィールド１５６が１の
ノードのみにのマルチキャストされる。（これにより、
共有していないパーティションにはスヌープ処理を送ら
ない。） ・ＤＮＤコマンド、ＤＮＤ返答回路１４６は使用されな
い。
【０１５６】・返答待合せ回路１４７において、共有領
域へのコマンドの返答を待ち合わせる際には、共有領域
に対応するアドレス変換テーブルの、共有を許すパーテ
ィションフィールド１５６が１であるノードの数の返答
を待つ。（これにより、共有しているパーティション内
のコマンドからの返答を待ち合わせる。） （２）以上においては、アドレス変換テーブルにおい
て、共有を許可するノードをノード毎のビットマップ１
５６で覚えているが、パーティション毎のビットマップ
で覚える事も可能である。
域へのコマンドの返答を待ち合わせる際には、共有領域
に対応するアドレス変換テーブルの、共有を許すパーテ
ィションフィールド１５６が１であるノードの数の返答
を待つ。（これにより、共有しているパーティション内
のコマンドからの返答を待ち合わせる。） （２）以上においては、アドレス変換テーブルにおい
て、共有を許可するノードをノード毎のビットマップ１
５６で覚えているが、パーティション毎のビットマップ
で覚える事も可能である。
【０１５７】（３）以上においては、ノード内の主記憶
アクセス回路１３０及び主記憶１８０は、アドレス変換
回路１４０とＣＰＵバス１９０の間に入っているが、ア
ドレス変換回路１４０がＣＰＵバス１９０に直結する
（主記憶アクセス回路１３０とは直結しない）方式も可
能である。主記憶アクセス回路１３０は、アドレス変換
回路１４０とは別に、ＣＰＵバス１９０に接続される。
この場合、他のノードから主記憶１８０へのアクセス
は、ＣＰＵバス１９０を経由することになる。この場合
も、ノードの入口にアドレス変換手段１４０を持つ、本
発明をそのまま活用することができる。
アクセス回路１３０及び主記憶１８０は、アドレス変換
回路１４０とＣＰＵバス１９０の間に入っているが、ア
ドレス変換回路１４０がＣＰＵバス１９０に直結する
（主記憶アクセス回路１３０とは直結しない）方式も可
能である。主記憶アクセス回路１３０は、アドレス変換
回路１４０とは別に、ＣＰＵバス１９０に接続される。
この場合、他のノードから主記憶１８０へのアクセス
は、ＣＰＵバス１９０を経由することになる。この場合
も、ノードの入口にアドレス変換手段１４０を持つ、本
発明をそのまま活用することができる。
【０１５８】（４）以上においては、アドレス変換回路
１４０の中の各要素１４１〜１４５、１４７は別の回路
で書いているが、出力側（１４１、１４２、１４４）、
入力側（１４３、１４５、１４７）の回路をそれぞれ共
通化することにより、アドレス変換テーブルの検索等の
重複する回路を削減することができる。
１４０の中の各要素１４１〜１４５、１４７は別の回路
で書いているが、出力側（１４１、１４２、１４４）、
入力側（１４３、１４５、１４７）の回路をそれぞれ共
通化することにより、アドレス変換テーブルの検索等の
重複する回路を削減することができる。
【０１５９】（５）以上においては、共有メモリ空間の
アドレスは任意の位置にとる事ができる。アドレス変換
は任意の変換を実現するためにフルアソシアティブの表
で実現する。
アドレスは任意の位置にとる事ができる。アドレス変換
は任意の変換を実現するためにフルアソシアティブの表
で実現する。
【０１６０】それに対して、共有メモリ空間のアドレス
を、上位ビットがノード番号、下位ビットがパーティシ
ョン内のリアルアドレスとすることにより、ｈｏｍｅパ
ーティションにおける、輸出側のアドレス変換を大幅に
削減することができる。この場合、パーティション内リ
アルアドレスから、共有メモリ空間のアドレスに変換す
るためには、上位ビットにノード番号をつけ、共有メモ
リ空間のアドレスからパーティション内リアルアドレス
に変換するためには、上位ビットのノード番号を削除す
るだけで良い。
を、上位ビットがノード番号、下位ビットがパーティシ
ョン内のリアルアドレスとすることにより、ｈｏｍｅパ
ーティションにおける、輸出側のアドレス変換を大幅に
削減することができる。この場合、パーティション内リ
アルアドレスから、共有メモリ空間のアドレスに変換す
るためには、上位ビットにノード番号をつけ、共有メモ
リ空間のアドレスからパーティション内リアルアドレス
に変換するためには、上位ビットのノード番号を削除す
るだけで良い。
【０１６１】この場合、各ノードに、パーティション内
の全主記憶空間についての共有領域の管理情報を覚えて
おくために、共有領域の管理単位（例えば１ＭＢ）毎
に、共有の可否を表わすビット（その１ＭＢの空間が共
有領域か、非共有領域かを覚えるビット）、共有を許す
ノードのビットマップ（アドレス変換テーブルのフィー
ルド１５６と同じ情報）を、記憶するテーブルが必要で
ある。
の全主記憶空間についての共有領域の管理情報を覚えて
おくために、共有領域の管理単位（例えば１ＭＢ）毎
に、共有の可否を表わすビット（その１ＭＢの空間が共
有領域か、非共有領域かを覚えるビット）、共有を許す
ノードのビットマップ（アドレス変換テーブルのフィー
ルド１５６と同じ情報）を、記憶するテーブルが必要で
ある。
【０１６２】これにより、輸出側（ｈｏｍｅパーティシ
ョン）におけるアドレス変換、アクセスチェックを大幅
に簡略化するとともひ、ハードウェアを削減することが
できる。
ョン）におけるアドレス変換、アクセスチェックを大幅
に簡略化するとともひ、ハードウェアを削減することが
できる。
【０１６３】（６）以上においては、輸出側と輸入側の
アドレス変換テーブルは共通であるが、輸出側と輸入側
で異なるテーブルを使用することができる。この場合、
輸出側におけるｈｏｍｅノード番号１５５（冗長な情報
である）を削除することができる。
アドレス変換テーブルは共通であるが、輸出側と輸入側
で異なるテーブルを使用することができる。この場合、
輸出側におけるｈｏｍｅノード番号１５５（冗長な情報
である）を削除することができる。
【０１６４】（７）以上において、共有領域は読み書き
自由であるが、共有領域をパーティション外からは読み
出し専用にすることにより、ハードウェアを簡略化する
ことができる。この場合、共有領域判定・アドレスチェ
ック回路１４３における、アドレス、ノード番号のチェ
ック（回路１４３２〜１４３４におけるチェック）は不
要であり、また、共有を許すノードフィールド１５６は
ｈｏｍｅノードのみで記憶すればよい。共有領域判定・
アドレスチェック回路１４３では、パーティション外か
らＦＩ，Ｉ，ＷＢ，ＵＷの書込み系のコマンドが到来し
た場合にはエラーを報告する。
自由であるが、共有領域をパーティション外からは読み
出し専用にすることにより、ハードウェアを簡略化する
ことができる。この場合、共有領域判定・アドレスチェ
ック回路１４３における、アドレス、ノード番号のチェ
ック（回路１４３２〜１４３４におけるチェック）は不
要であり、また、共有を許すノードフィールド１５６は
ｈｏｍｅノードのみで記憶すればよい。共有領域判定・
アドレスチェック回路１４３では、パーティション外か
らＦＩ，Ｉ，ＷＢ，ＵＷの書込み系のコマンドが到来し
た場合にはエラーを報告する。
【０１６５】さらに、（５）〜（７）を組み合わせるこ
とにより、ハード量を大幅に削減できる。
とにより、ハード量を大幅に削減できる。
【０１６６】（８）アドレス変換テーブルに読み出し専
用ビットを付加することにより、特定の共有領域のみを
パーティション外から読み出し専用に設定することもで
きる。その場合、共有領域判定・アドレスチェック回路
１４３は、読み出し専用ビットが立っている共有領域
に、パーティション外からＦＩ，Ｉ，ＷＢ，ＵＷの書込
み系のコマンドが到来した場合にはエラーを報告する。
用ビットを付加することにより、特定の共有領域のみを
パーティション外から読み出し専用に設定することもで
きる。その場合、共有領域判定・アドレスチェック回路
１４３は、読み出し専用ビットが立っている共有領域
に、パーティション外からＦＩ，Ｉ，ＷＢ，ＵＷの書込
み系のコマンドが到来した場合にはエラーを報告する。
【０１６７】（９）以上においては、各ノードの出口の
宛先指定・ｇｌｏｂａｌ ｂｉｔ付加回路１４２におい
て、ノードからのスヌープ（Ｆ，ＦＩ，Ｉ）コマンドの
宛先を指定していた。それに対して、ノード間接続スイ
ッチ９００内にパーティション構成情報１６０に相当す
る情報を持ち、ノード間接続スイッチ９００上で宛先を
指定する方式をとることができる。その場合、コマンド
中のｇｌｏｂａｌ ｂｉｔに対応して、該ビットが１の
場合（共有領域へのアクセスの場合）、システム内の全
ノードにブロードキャストし、該ビットが０の場合（非
共有領域へのアクセスの場合）、送り先のノードと同じ
パーティション内のノードにのみマルチキャストする （１０）以上においては、ノード内のＣＰＵはバス１９
０により接続されているが、その他の接続形態（スイッ
チによる接続、主記憶アクセス回路１３０への一対一接
続）も可能である。
宛先指定・ｇｌｏｂａｌ ｂｉｔ付加回路１４２におい
て、ノードからのスヌープ（Ｆ，ＦＩ，Ｉ）コマンドの
宛先を指定していた。それに対して、ノード間接続スイ
ッチ９００内にパーティション構成情報１６０に相当す
る情報を持ち、ノード間接続スイッチ９００上で宛先を
指定する方式をとることができる。その場合、コマンド
中のｇｌｏｂａｌ ｂｉｔに対応して、該ビットが１の
場合（共有領域へのアクセスの場合）、システム内の全
ノードにブロードキャストし、該ビットが０の場合（非
共有領域へのアクセスの場合）、送り先のノードと同じ
パーティション内のノードにのみマルチキャストする （１０）以上においては、ノード内のＣＰＵはバス１９
０により接続されているが、その他の接続形態（スイッ
チによる接続、主記憶アクセス回路１３０への一対一接
続）も可能である。
【０１６８】（１１）上記実施の形態において、パーテ
ィション内主記憶構成情報１６５では、各ノードの担当
する主記憶の範囲を開始アドレス１６６、終了アドレス
１６７の組で別個に覚えていたが、ノードｎの終了アド
レスとノードｎ＋１の開始アドレスを共通化する等の手
法により、ハードウェアを削減する事ができる。また、
各ノードが担当する領域の開始アドレス１６６、終了ア
ドレス１６７の組を複数置くことにより、各ノードが複
数のリアルアドレス領域を担当できるようにすることも
できる。
ィション内主記憶構成情報１６５では、各ノードの担当
する主記憶の範囲を開始アドレス１６６、終了アドレス
１６７の組で別個に覚えていたが、ノードｎの終了アド
レスとノードｎ＋１の開始アドレスを共通化する等の手
法により、ハードウェアを削減する事ができる。また、
各ノードが担当する領域の開始アドレス１６６、終了ア
ドレス１６７の組を複数置くことにより、各ノードが複
数のリアルアドレス領域を担当できるようにすることも
できる。
【０１６９】（１２）以上においては、ノード内の各Ｃ
ＰＵ（１１０〜１１３）は独立したキャッシュを持って
いるが、複数のＣＰＵに共有される外付けの３次キャッ
シュを持たせることも可能である。各ノードの主記憶ア
クセス回路１３０に、ＣＰＵのキャッシュＴＡＧのコピ
ーを持ち、他のノードから到来するキャッシュコヒーレ
ントトランザクションをフィルタリングする事も可能で
ある。
ＰＵ（１１０〜１１３）は独立したキャッシュを持って
いるが、複数のＣＰＵに共有される外付けの３次キャッ
シュを持たせることも可能である。各ノードの主記憶ア
クセス回路１３０に、ＣＰＵのキャッシュＴＡＧのコピ
ーを持ち、他のノードから到来するキャッシュコヒーレ
ントトランザクションをフィルタリングする事も可能で
ある。
【０１７０】（１３）以上においては、ノード間接続ス
イッチ９００はクロスバネットワークにより接続されて
いるが、他の形式のネットワーク（完全結合、多段網
等）により接続することも可能である。
イッチ９００はクロスバネットワークにより接続されて
いるが、他の形式のネットワーク（完全結合、多段網
等）により接続することも可能である。
【０１７１】（１４）上記実施の形態においては、他の
ノードへのネットワークコマンドを出す際に、宛先のノ
ードをビットマップにより指定することにより、ブロー
ドキャスト、マルチキャストを指示しているが、宛先指
定・ｇｌｏｂａｌ ｂｉｔ付加回路１４２が、宛先のノ
ード毎に複数のコマンドを出すことにより、ブロードキ
ャスト、マルチキャストを実現することも可能である。
ノードへのネットワークコマンドを出す際に、宛先のノ
ードをビットマップにより指定することにより、ブロー
ドキャスト、マルチキャストを指示しているが、宛先指
定・ｇｌｏｂａｌ ｂｉｔ付加回路１４２が、宛先のノ
ード毎に複数のコマンドを出すことにより、ブロードキ
ャスト、マルチキャストを実現することも可能である。
【０１７２】
【発明の効果】本発明によれば、階層型バス型ＳＭＰの
内部を複数のパーティションパーティションに分け、パ
ーティション間で共有メモリを実現する際に、各ノード
の出入り口において、共有領域のアドレスを、パーティ
ション内のアドレスと、パーティション間で共通な共有
メモリ空間アドレスとの間で、双方向に変換する手段を
設けることにより、各パーティションが自由なアドレス
空間を持つとともに、共有領域上のデータをスヌーププ
ロトコルにより高速に管理することが可能であり、か
つ、パーティション間での障害封じ込めを可能にする、
パーティション間共有メモリ機構を実現することができ
る。さらに、上記アドレス変換情報を動的に生成、削除
する手段を設けることにより、パーティション間の共有
メモリを柔軟に管理することができる。
内部を複数のパーティションパーティションに分け、パ
ーティション間で共有メモリを実現する際に、各ノード
の出入り口において、共有領域のアドレスを、パーティ
ション内のアドレスと、パーティション間で共通な共有
メモリ空間アドレスとの間で、双方向に変換する手段を
設けることにより、各パーティションが自由なアドレス
空間を持つとともに、共有領域上のデータをスヌーププ
ロトコルにより高速に管理することが可能であり、か
つ、パーティション間での障害封じ込めを可能にする、
パーティション間共有メモリ機構を実現することができ
る。さらに、上記アドレス変換情報を動的に生成、削除
する手段を設けることにより、パーティション間の共有
メモリを柔軟に管理することができる。
【図１】本発明のパーティション機構を持つ主記憶共有
型マルチプロセッサである。
型マルチプロセッサである。
【図２】本発明の主記憶共有型マルチプロセッサにおけ
るパーティション分割の例である。
るパーティション分割の例である。
【図３】本発明の主記憶共有型マルチプロセッサにおけ
る各パーティションのアドレス空間の例である。
る各パーティションのアドレス空間の例である。
【図４】アクセスアドレスと、各ノードのアドレス変換
回路の動作との関係ををまとめた表である。
回路の動作との関係ををまとめた表である。
【図５】各ノードのアドレス変換テーブルの構成であ
る。
る。
【図６】各ノードの出力側変換回路の詳細図である。
【図７】各ノードのパーティション構成情報の構成であ
る。
る。
【図８】各ノードのパーティション内主記憶構成情報の
構成である。
構成である。
【図９】各ノードの共有領域判定回路の詳細図である。
【図１０】アクセスコマンドと、各ノードの宛先指定・
ｇｌｏｂａｌ ｂｉｔ付加回路の動作の関係を記述した
表である。
ｇｌｏｂａｌ ｂｉｔ付加回路の動作の関係を記述した
表である。
【図１１】各ノードの共有領域判定・アドレスチェック
回路の詳細図である。
回路の詳細図である。
【図１２】本発明のマルチプロセッサシステムにおい
て、ｈｏｍｅパーティションが共有主記憶を確保する際
のフロー図である。
て、ｈｏｍｅパーティションが共有主記憶を確保する際
のフロー図である。
【図１３】本発明のマルチプロセッサシステムにおい
て、共有パーティションを追加する際の、追加されるパ
ーティション側でのフロー図である。
て、共有パーティションを追加する際の、追加されるパ
ーティション側でのフロー図である。
【図１４】本発明のマルチプロセッサシステムにおい
て、共有パーティションを追加する際の、ｈｏｍｅパー
ティション側でのフロー図である。
て、共有パーティションを追加する際の、ｈｏｍｅパー
ティション側でのフロー図である。
【図１５】本発明のマルチプロセッサシステムにおい
て、共有領域を削除する際の、ｈｏｍｅパーティション
側でのフロー図である。
て、共有領域を削除する際の、ｈｏｍｅパーティション
側でのフロー図である。
【図１６】本発明のマルチプロセッサシステムにおい
て、共有領域を削除する際の、共有領域を輸入している
パーティション側でのフロー図である。
て、共有領域を削除する際の、共有領域を輸入している
パーティション側でのフロー図である。
【図１７】本発明のマルチプロセッサシステムにおけ
る、リセット信号の詳細である。
る、リセット信号の詳細である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/167 Ｇ０６Ｆ 15/167 Ｂ (72)発明者 川本 真一 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 Ｆターム(参考） 5B005 JJ01 JJ11 KK05 KK13 MM01 MM32 NN31 PP26 RR02 UU41 WW12 5B045 BB12 BB28 BB29 BB48 DD05 DD07 DD13 EE03 EE25
Claims (18)
- 【請求項１】それぞれが１つ以上のＣＰＵ、キャッシュ
及び主記憶を持つ複数のノードと、ノード間を結ぶネッ
トワークとを有し、主記憶を共有するノード間では前記
ネットワークを介してキャッシュコヒーレント制御を行
い、かつ前記複数のノードを、１つ以上のノードで構成
され、それぞれが主記憶をローカルに共有する複数のパ
ーティションに分割可能な主記憶共有型マルチプロセッ
サシステムであって、 前記システムのメモリアドレスとして前記複数のパーテ
ィションの各々にローカルなローカルリアルアドレス
と、前記複数のパーティション間で共通に使用されるメ
モリ空間で共通に使用される共通メモリ空間のアドレス
を有し、 各ノードの主記憶はノードの属するパーティションのロ
ーカルなリアルアドレスによりアクセスされ、 各ＣＰＵから他のノードの主記憶のアクセスは、 自パーティション内のノードの主記憶のデータに対して
は、自パーティションのローカルリアルアドレスを一貫
して使用した前記ネットワークを介するアクセスが行わ
れ、 他パーティションにあるノードの主記憶のデータに対し
ては、前記ネットワークにアクセスコマンドが出される
時、アクセスアドレスが前記共有メモリ空間のアドレス
に変換され、前記他パーティションにあるノードに該ア
クセスコマンドが入る時に、前記共有メモリ空間のアド
レスが該他パーティションのローカルリアルアドレスに
変換されてアクセスが成されることを特徴とする主記憶
共有型マルチプロセッサシステム。 - 【請求項２】それぞれが１つ以上のＣＰＵ、キャッシュ
及び主記憶を持つ複数のノードと、ノード間を結ぶネッ
トワークとを有し、主記憶を共有するノード間では前記
ネットワークを介してキャッシュコヒーレント制御を行
い、かつ前記複数のノードを、それぞれが主記憶をロー
カルに共有する１つ以上のノードで構成された複数のパ
ーティションに分割した時、該複数のパーティションで
はそれぞれメモリアドレスとして当該パーティションに
ローカルなローカルリアルアドレスを用いるようにされ
た主記憶共有型マルチプロセッサシステムにおいて、 前記複数のノードの前記ネットワークへの出入り口に
は、前記主記憶のいずれかに前記パーティションの２つ
以上で共有する共有領域が設定されたとき用いられ、該
共有領域をアクセスするためのコマンドの指定するアド
レスを、パーティション内で使用される前記ローカルリ
アルアドレスと前記ネットワーク上で使用される共有メ
モリ空間のアドレスとの間で相互に変換するアドレス変
換手段をそれぞれ備え、 各ノードの主記憶は前記共有領域であるか否かに関わら
ず前記ローカルリアルアドレスでアクセスされることを
特徴とする主記憶共有型マルチプロセッサシステム。 - 【請求項３】前記パーティション間で共有されていない
領域をアクセスするためのコマンドについては、各ノー
ドとノード間接続ネットワークとの間でアドレス変換を
行わずに該コマンドをやり取りすることを特徴とする請
求項２に記載の主記憶共有型マルチプロセッサ。 - 【請求項４】前記複数のパーティションのうち、自パー
ティションに含む主記憶に前記共有領域が設定されたパ
ーティションに含まれるノードの全てに、共有メモリ空
間上のアドレスと前記共有領域の自パーティションのロ
ーカルリアルアドレスとの間を相互にマッピングする手
段を有することを特徴とする請求項２に記載の主記憶共
有型マルチプロセッサ。 - 【請求項５】前記マッピングする手段は共有領域ごとに
マッピング情報が設定されるテーブルにしたがってマッ
ピングを行い、もって全体で複数の共有領域が設定可能
なことを特徴とする請求項４に記載の主記憶共有型マル
チプロセッサ。 - 【請求項６】前記複数のパーティションのうち、他パー
ティションの主記憶に設定された共有領域を共有するパ
ーティションのローカルリアルアドレス空間上には、前
記他パーティションにの主記憶に設定された共有領域を
アクセスするための、自パーティション内に主記憶が存
在しない窓領域を持ち、該窓領域の自パーティションの
ローカルリアルアドレスと、前記共有領域の前記共有メ
モリ空間アドレスとの間を相互にマッピングする手段を
前記窓領域を持つパーティション内の全てのノードが持
つことを特徴とする請求項２に記載の主記憶共有型マル
チプロセッサ。 - 【請求項７】複数のパーティションにそれぞれ設定され
た窓領域と一つの共有領域の共有メモリ空間アドレスと
のマッピングを許容することにより、２つ以上のパーテ
ィションで一つの共有領域を共有可能にした請求項６に
記載のの主記憶共有型マルチプロセッサ。 - 【請求項８】前記複数のノードの各々からノード間接続
ネットワークにスヌープコマンドを送出する際に、パー
ティション間で共有されていない領域をアクセスするた
めのコマンドに対しては、該コマンドを、パーティショ
ン内のノードにのみマルチキャストし、パーティション
間で共有されている領域をアクセスするためのコマンド
に対しては、該コマンドを、少なくとも当該領域を共有
しているパーティションに属するノードの全てに対して
ブロードキャストすることを特徴とする請求項２に記載
の主記憶共有型マルチプロセッサシステム。 - 【請求項９】それぞれが１つ以上のＣＰＵ、キャッシュ
及び主記憶を持つ複数のノードと、ノード間を結ぶネッ
トワークとを有し、主記憶を共有するノード間では前記
ネットワークを介してキャッシュコヒーレント制御を行
う主記憶共有型マルチプロセッサシステムにおいて、 前記複数のノードの各々には、前記複数のノードがそれ
ぞれが主記憶をローカルに共有する１つ以上のノードで
構成される複数のパーティションに分割され、かつ前記
主記憶のいずれかに前記パーティションの２つ以上で共
有する共有領域が設けられたとき用いられ、該ノードか
ら前記ネットワークに送出するコマンドに対し、該コマ
ンドが前記共有領域をアクセスするコマンドか前記パー
ティション内のローカルな領域をアクセスするコマンド
かを区別する情報を付加する手段を備えたことを特徴と
する主記憶共有型マルチプロセッサシステム。 - 【請求項１０】それぞれが１つ以上のＣＰＵ、キャッシ
ュ及び主記憶を持つ複数のノードと、ノード間を結ぶネ
ットワークとを有し、主記憶を共有するノード間では前
記ネットワークを介してキャッシュコヒーレント制御を
行う主記憶共有型マルチプロセッサシステムにおいて、 前記複数のノードの各々には、 前記複数のノードがそれぞれが主記憶をローカルに共有
する１つ以上のノードで構成される複数のパーティショ
ンに分割され、かつ前記主記憶のいずれかに前記パーテ
ィションの２つ以上で共有する共有領域が設けられたと
き用いられ、該ノードから前記ネットワークに送出する
コマンドに対し、該コマンドが前記共有領域をアクセス
するコマンドか前記パーティション内のローカルな領域
をアクセスするコマンドかを区別する情報を付加し、か
つ前記共有領域をアクセスするコマンドであるとき該コ
マンドの指定するアドレスを自ノードが含まれるパーテ
ィションにローカルなリアルアドレスから共有メモリ空
間のアドレスに変換して前記ネットワーク上に送出する
手段と、 前記ネットワークから受け取ったコマンドの付加情報が
前記共有領域をアクセスするコマンドであることを示す
とき、該コマンドが指定する共有メモリ空間のアドレス
を自ノードが含まれるパーティションにローカルなリア
ルアドレスに変換する手段を備え、 各ノードの主記憶は前記共有領域であるか否かに関われ
ず前記リアルアドレスでアクセスされることを特徴とす
る主記憶共有型マルチプロセッサシステム。 - 【請求項１１】それぞれが１つ以上のＣＰＵ、キャッシ
ュ及び主記憶を持つ複数のノードと、ノード間を結ぶネ
ットワークとを有し、主記憶を共有するノード間では前
記ネットワークを介してキャッシュコヒーレント制御を
行う主記憶共有型マルチプロセッサシステムにおいて、 前記複数のノードの各々には、 前記複数のノードがそれぞれが主記憶をローカルに共有
する１つ以上のノードで構成される複数のパーティショ
ンに分割され、かつ前記主記憶のいずれかに前記パーテ
ィションの２つ以上で共有する共有領域が設けられたと
き使用され、自ノードから前記ネットワークに送出する
コマンドに対し、該コマンドが前記共有領域をアクセス
するコマンドか前記パーティション内のローカルな領域
をアクセスするコマンドかを区別する情報を付加する手
段と、 自ノードの属するパーティションに含まれるノードが設
定される記憶手段と、 前記ネットワークから受け取ったコマンドが前記ローカ
ルな領域をアクセスするコマンドである時、該コマンド
のアクセス元ノードが自ノードの属するパーティション
に含まれるノードか否かチェックし、否であれば該コマ
ンドのアクセスを抑止する手段とを備えたことを特徴と
する主記憶共有型マルチプロセッサシステム。 - 【請求項１２】それぞれが１つ以上のＣＰＵ、キャッシ
ュ及び主記憶を持つ複数のノードと、ノード間を結ぶネ
ットワークとを有し、主記憶を共有するノード間では前
記ネットワークを介してキャッシュコヒーレント制御を
行い、前記複数のノードがそれぞれが主記憶をローカル
に共有する１つ以上のノードで構成される複数のパーテ
ィションに分割されたとき、該パーティションの各々の
内部の主記憶をローカルにアクセスするコマンドと、複
数のパーティションで主記憶を共有する共有領域をアク
セスするコマンドとが用いられる主記憶共有型マルチプ
ロセッサシステムにおいて、 前記複数のノードの各々には、 前記共有領域を共有するパーティションが定まったと
き、該パーティションに含まれるノードが設定される記
憶手段と、 前記ネットワークから受け取ったコマンドが共有領域を
アクセスするコマンドであるとき、該コマンドのアクセ
ス元ノードが前記記憶手段に設定されたノードに含まれ
るか否かをチェックし、否のときは該コマンドのアクセ
スを抑止する手段を備えたことを特徴とする主記憶共有
型マルチプロセッサシステム。 - 【請求項１３】前記共有領域は複数独立に設定され、前
記記憶手段には該複数独立の共有領域についてそれぞれ
の共有を許されるパーティションの組のノードが独立に
設定されることを特徴とする請求項１２の主記憶共有型
マルチプロセッサシステム。 - 【請求項１４】それぞれが１つ以上のＣＰＵ、キャッシ
ュ及び主記憶を持つ複数のノードと、ノード間を結ぶネ
ットワークとを有し、主記憶を共有するノード間では前
記ネットワークを介してキャッシュコヒーレント制御を
行い、かつ前記複数のノードを、それぞれが主記憶をロ
ーカルに共有する１つ以上のノードで構成された複数の
パーティションに分割した時、該複数のパーティション
はそれぞれメモリアドレスとして当該パーティションに
ローカルなローカルリアルアドレスを用いるようにされ
た主記憶共有型マルチプロセッサシステムにおいて、 前記パーティションのいずれかに２つ以上のパーティシ
ョンで共有する共有領域を生成する際に、該共有領域を
共有しようとするパーティションのうちの一つのパーテ
ィションで自パーティション内のノードの主記憶に、共
有領域に使用される領域をアロケートし、 該アロケートした領域と共有メモリ空間へのアドレスの
マッピングを定義することを特徴とする主記憶共有型マ
ルチプロセッサの共有領域生成方法。 - 【請求項１５】前記共有領域に使用される領域のアロケ
ーションと前記マッピングの定義は前記一つのパーティ
ション内に準備したシステムソフトウエアにより実施す
ることを特徴とする請求項１４に記載の共有領域生成方
法。 - 【請求項１６】それぞれが１つ以上のＣＰＵ、キャッシ
ュ及び主記憶を持つ複数のノードと、ノード間を結ぶネ
ットワークとを有し、主記憶を共有するノード間では前
記ネットワークを介してキャッシュコヒーレント制御を
行い、かつ前記複数のノードを、それぞれが主記憶をロ
ーカルに共有する１つ以上のノードで構成された複数の
パーティションに分割した時、該複数のパーティション
はそれぞれメモリアドレスとして当該パーティションに
ローカルなローカルリアルアドレスを用いるようにされ
た主記憶共有型マルチプロセッサシステムにおいて、 前記パーティションのいずれかに２つ以上のパーティシ
ョンで共有する共有領域を生成する際に、該共有領域を
共有しようとするパーティションのうち、共有領域に使
用される該領域を主記憶上にアロケートした以外のパー
ティションは、自パーティション内のローカルリアルア
ドレス空間においてパーティション内に主記憶が存在し
ない窓領域をアロケートし、該アロケートした窓領域と
共有メモリ空間のアドレスのマッピングを定義すること
を特徴とする主記憶共有型マルチプロセッサの共有領域
生成方法。 - 【請求項１７】前記主記憶が存在しない空間のアロケー
ションと前記マッピングの定義は共有領域に使用される
該領域を主記憶上にアロケートした以外のパーティショ
ンのぞれぞれに準備されたシステムソフトウエアにより
それぞれ実施することを特徴とする請求項１６記載の共
有領域生成方法。 - 【請求項１８】それぞれが１つ以上のＣＰＵ、キャッシ
ュ及び主記憶を持つ複数のノードと、ノード間を結ぶネ
ットワークとを有し、主記憶を共有するノード間では前
記ネットワークを介してキャッシュコヒーレント制御を
行い、かつ前記複数のノードを、それぞれが主記憶をロ
ーカルに共有する１つ以上のノードで構成された複数の
パーティションに分割可能な、主記憶共有型マルチプロ
セッサシステムにおいて、各パーティションから、他の
パーティション内のノードをリセットする手段を持つこ
とを特徴とする主記憶共有型マルチプロセッサシステ
ム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03681199A JP4123621B2 (ja) | 1999-02-16 | 1999-02-16 | 主記憶共有型マルチプロセッサシステム及びその共有領域設定方法 |
| US09/501,978 US6510496B1 (en) | 1999-02-16 | 2000-02-11 | Shared memory multiprocessor system and method with address translation between partitions and resetting of nodes included in other partitions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03681199A JP4123621B2 (ja) | 1999-02-16 | 1999-02-16 | 主記憶共有型マルチプロセッサシステム及びその共有領域設定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000235558A true JP2000235558A (ja) | 2000-08-29 |
| JP4123621B2 JP4123621B2 (ja) | 2008-07-23 |
Family
ID=12480171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03681199A Expired - Fee Related JP4123621B2 (ja) | 1999-02-16 | 1999-02-16 | 主記憶共有型マルチプロセッサシステム及びその共有領域設定方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6510496B1 (ja) |
| JP (1) | JP4123621B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003131900A (ja) * | 2001-10-24 | 2003-05-09 | Hitachi Ltd | サーバシステム運用管理方式 |
| JP2005250830A (ja) * | 2004-03-04 | 2005-09-15 | Hitachi Ltd | プロセッサおよび主記憶共有マルチプロセッサ |
| JP2006285778A (ja) * | 2005-04-01 | 2006-10-19 | Hitachi Ltd | ストレージシステム及び記憶制御方法 |
| WO2008111576A1 (ja) * | 2007-03-13 | 2008-09-18 | Toyota Jidosha Kabushiki Kaisha | 情報処理システム及びその情報処理システムを構成するコア識別コントローラ |
| JP2009032264A (ja) * | 2007-07-26 | 2009-02-12 | Hewlett-Packard Development Co Lp | スヌープ要求に使用可能なマスク |
| JP2009129447A (ja) * | 2007-11-27 | 2009-06-11 | Internatl Business Mach Corp <Ibm> | デザイン構造、ネットワーク・オン・チップ（‘ｎｏｃ’）でのデータ処理方法、ネットワーク・オン・チップ、およびネットワーク・オン・チップでのデータ処理のためのコンピュータ・プログラム（パーティションを有するネットワーク・オン・チップのためのデザイン構造） |
| US8108736B2 (en) | 2008-12-05 | 2012-01-31 | Nec Computertechno Ltd. | Multi-partition computer system, failure handling method and program therefor |
| EP2608044A1 (en) | 2011-12-20 | 2013-06-26 | Fujitsu Limited | Information processing apparatus and memory access method |
| EP2610755A2 (en) | 2011-12-28 | 2013-07-03 | Fujitsu Limited | Information processing apparatus and unauthorized access prevention method |
| WO2015128933A1 (ja) * | 2014-02-25 | 2015-09-03 | 株式会社日立製作所 | データ処理装置及びセキュア通信方法 |
| JP2017517807A (ja) * | 2014-05-09 | 2017-06-29 | マイクロン テクノロジー， インク． | ハイブリッドメモリキューブリンクを用いる相互接続システムおよび方法 |
| CN109952566A (zh) * | 2016-12-12 | 2019-06-28 | 英特尔公司 | 用于处理器架构的装置和方法 |
| CN112540938A (zh) * | 2019-09-20 | 2021-03-23 | 阿里巴巴集团控股有限公司 | 处理器核、处理器、装置和方法 |
Families Citing this family (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7996843B2 (en) | 1999-08-25 | 2011-08-09 | Qnx Software Systems Gmbh & Co. Kg | Symmetric multi-processor system |
| US7349348B1 (en) * | 2000-01-24 | 2008-03-25 | Cisco Technologies, Inc. | Method and apparatus for determining a network topology in the presence of network address translation |
| US6807620B1 (en) * | 2000-02-11 | 2004-10-19 | Sony Computer Entertainment Inc. | Game system with graphics processor |
| US6877158B1 (en) * | 2000-06-08 | 2005-04-05 | International Business Machines Corporation | Logical partitioning via hypervisor mediated address translation |
| US6874040B2 (en) * | 2000-12-19 | 2005-03-29 | International Business Machines Corporation | Employing a data mover to communicate between dynamically selected zones of a central processing complex |
| US7072981B1 (en) | 2000-12-21 | 2006-07-04 | Cisco Technology, Inc. | Preallocation of client network address translation addresses for client-server networks |
| JP4317320B2 (ja) * | 2000-12-28 | 2009-08-19 | 庸美 徳原 | 結合型コンピュータ及びコンピュータ結合方法 |
| US20030131201A1 (en) * | 2000-12-29 | 2003-07-10 | Manoj Khare | Mechanism for efficiently supporting the full MESI (modified, exclusive, shared, invalid) protocol in a cache coherent multi-node shared memory system |
| US20020087765A1 (en) * | 2000-12-29 | 2002-07-04 | Akhilesh Kumar | Method and system for completing purge requests or the like in a multi-node multiprocessor system |
| US7089328B1 (en) * | 2000-12-29 | 2006-08-08 | Cisco Technology, Inc. | Method allocation scheme for maintaining server load balancers services in a high throughput environment |
| US20020129172A1 (en) * | 2001-03-08 | 2002-09-12 | International Business Machines Corporation | Inter-partition message passing method, system and program product for a shared I/O driver |
| US7089558B2 (en) * | 2001-03-08 | 2006-08-08 | International Business Machines Corporation | Inter-partition message passing method, system and program product for throughput measurement in a partitioned processing environment |
| US6985951B2 (en) * | 2001-03-08 | 2006-01-10 | International Business Machines Corporation | Inter-partition message passing method, system and program product for managing workload in a partitioned processing environment |
| US6883070B2 (en) * | 2001-03-14 | 2005-04-19 | Wisconsin Alumni Research Foundation | Bandwidth-adaptive, hybrid, cache-coherence protocol |
| US7093104B2 (en) * | 2001-03-22 | 2006-08-15 | Sony Computer Entertainment Inc. | Processing modules for computer architecture for broadband networks |
| US7516334B2 (en) * | 2001-03-22 | 2009-04-07 | Sony Computer Entertainment Inc. | Power management for processing modules |
| US6526491B2 (en) * | 2001-03-22 | 2003-02-25 | Sony Corporation Entertainment Inc. | Memory protection system and method for computer architecture for broadband networks |
| US7231500B2 (en) * | 2001-03-22 | 2007-06-12 | Sony Computer Entertainment Inc. | External data interface in a computer architecture for broadband networks |
| US7233998B2 (en) * | 2001-03-22 | 2007-06-19 | Sony Computer Entertainment Inc. | Computer architecture and software cells for broadband networks |
| ES2185496B1 (es) * | 2001-07-17 | 2005-06-01 | Universidad Politecnica De Valencia | Equipo y metodo en linea para la deteccion, determinacion de la evolucion y cuantificacion de biomasa microbiana y otras sustancias que absorben a lo largo del espectro de luz durante el desarrollo de procesos biotecnologicos. |
| US6795902B2 (en) * | 2002-01-09 | 2004-09-21 | Sun Microsystems, Inc. | Inter-domain data transfer |
| US6895491B2 (en) * | 2002-09-26 | 2005-05-17 | Hewlett-Packard Development Company, L.P. | Memory addressing for a virtual machine implementation on a computer processor supporting virtual hash-page-table searching |
| US7000046B1 (en) * | 2003-01-17 | 2006-02-14 | Unisys Corporation | Standard channel I/O processor (SCIOP) |
| US7512717B2 (en) * | 2003-01-21 | 2009-03-31 | Nextio Inc. | Fibre channel controller shareable by a plurality of operating system domains within a load-store architecture |
| US8032659B2 (en) | 2003-01-21 | 2011-10-04 | Nextio Inc. | Method and apparatus for a shared I/O network interface controller |
| US7219183B2 (en) * | 2003-01-21 | 2007-05-15 | Nextio, Inc. | Switching apparatus and method for providing shared I/O within a load-store fabric |
| US7664909B2 (en) * | 2003-04-18 | 2010-02-16 | Nextio, Inc. | Method and apparatus for a shared I/O serial ATA controller |
| US7174413B2 (en) * | 2003-01-21 | 2007-02-06 | Nextio Inc. | Switching apparatus and method for providing shared I/O within a load-store fabric |
| US7917658B2 (en) * | 2003-01-21 | 2011-03-29 | Emulex Design And Manufacturing Corporation | Switching apparatus and method for link initialization in a shared I/O environment |
| US7188209B2 (en) * | 2003-04-18 | 2007-03-06 | Nextio, Inc. | Apparatus and method for sharing I/O endpoints within a load store fabric by encapsulation of domain information in transaction layer packets |
| US8102843B2 (en) * | 2003-01-21 | 2012-01-24 | Emulex Design And Manufacturing Corporation | Switching apparatus and method for providing shared I/O within a load-store fabric |
| US7836211B2 (en) * | 2003-01-21 | 2010-11-16 | Emulex Design And Manufacturing Corporation | Shared input/output load-store architecture |
| US7457906B2 (en) * | 2003-01-21 | 2008-11-25 | Nextio, Inc. | Method and apparatus for shared I/O in a load/store fabric |
| US7493416B2 (en) * | 2003-01-21 | 2009-02-17 | Nextio Inc. | Fibre channel controller shareable by a plurality of operating system domains within a load-store architecture |
| US7103064B2 (en) * | 2003-01-21 | 2006-09-05 | Nextio Inc. | Method and apparatus for shared I/O in a load/store fabric |
| US7698483B2 (en) * | 2003-01-21 | 2010-04-13 | Nextio, Inc. | Switching apparatus and method for link initialization in a shared I/O environment |
| US7617333B2 (en) * | 2003-01-21 | 2009-11-10 | Nextio Inc. | Fibre channel controller shareable by a plurality of operating system domains within a load-store architecture |
| US7046668B2 (en) | 2003-01-21 | 2006-05-16 | Pettey Christopher J | Method and apparatus for shared I/O in a load/store fabric |
| US7953074B2 (en) * | 2003-01-21 | 2011-05-31 | Emulex Design And Manufacturing Corporation | Apparatus and method for port polarity initialization in a shared I/O device |
| US7502370B2 (en) * | 2003-01-21 | 2009-03-10 | Nextio Inc. | Network controller for obtaining a plurality of network port identifiers in response to load-store transactions from a corresponding plurality of operating system domains within a load-store architecture |
| US8346884B2 (en) * | 2003-01-21 | 2013-01-01 | Nextio Inc. | Method and apparatus for a shared I/O network interface controller |
| US8903385B2 (en) * | 2003-05-29 | 2014-12-02 | Kyocera Corporation | Wireless transmission system |
| US20050076179A1 (en) * | 2003-10-02 | 2005-04-07 | International Business Machines Corporation | Cache optimized logical partitioning a symmetric multi-processor data processing system |
| US7757033B1 (en) | 2004-02-13 | 2010-07-13 | Habanero Holdings, Inc. | Data exchanges among SMP physical partitions and I/O interfaces enterprise servers |
| US20050182796A1 (en) * | 2004-02-12 | 2005-08-18 | International Business Machines Corporation | Method and system for protecting data associated with a replaced image file during a re-provisioning event |
| US7873693B1 (en) | 2004-02-13 | 2011-01-18 | Habanero Holdings, Inc. | Multi-chassis fabric-backplane enterprise servers |
| US7685281B1 (en) | 2004-02-13 | 2010-03-23 | Habanero Holdings, Inc. | Programmatic instantiation, provisioning and management of fabric-backplane enterprise servers |
| US8868790B2 (en) | 2004-02-13 | 2014-10-21 | Oracle International Corporation | Processor-memory module performance acceleration in fabric-backplane enterprise servers |
| US7633955B1 (en) | 2004-02-13 | 2009-12-15 | Habanero Holdings, Inc. | SCSI transport for fabric-backplane enterprise servers |
| US7843906B1 (en) | 2004-02-13 | 2010-11-30 | Habanero Holdings, Inc. | Storage gateway initiator for fabric-backplane enterprise servers |
| US8224639B2 (en) | 2004-03-29 | 2012-07-17 | Sony Computer Entertainment Inc. | Methods and apparatus for achieving thermal management using processing task scheduling |
| US8713295B2 (en) | 2004-07-12 | 2014-04-29 | Oracle International Corporation | Fabric-backplane enterprise servers with pluggable I/O sub-system |
| US8898246B2 (en) * | 2004-07-29 | 2014-11-25 | Hewlett-Packard Development Company, L.P. | Communication among partitioned devices |
| US7386688B2 (en) * | 2004-07-29 | 2008-06-10 | Hewlett-Packard Development Company, L.P. | Communication among partitioned devices |
| JP4982971B2 (ja) * | 2004-09-29 | 2012-07-25 | ソニー株式会社 | 情報処理装置、プロセス制御方法、並びにコンピュータ・プログラム |
| US20060080514A1 (en) * | 2004-10-08 | 2006-04-13 | International Business Machines Corporation | Managing shared memory |
| JP2006133989A (ja) * | 2004-11-04 | 2006-05-25 | Hitachi Ltd | ストレージシステムの管理方法、及び装置 |
| JP4462024B2 (ja) * | 2004-12-09 | 2010-05-12 | 株式会社日立製作所 | ディスク引き継ぎによるフェイルオーバ方法 |
| JP4362454B2 (ja) * | 2005-04-07 | 2009-11-11 | 富士通株式会社 | キャッシュコヒーレンス管理装置およびキャッシュコヒーレンス管理方法 |
| US7843961B2 (en) * | 2005-07-25 | 2010-11-30 | International Business Machines Corporation | Hardware device emulation |
| JP4813843B2 (ja) * | 2005-08-04 | 2011-11-09 | 株式会社日立製作所 | ストレージ装置、ディスクキャッシュ制御方法及びディスクキャッシュの容量割当方法 |
| KR100748191B1 (ko) * | 2006-04-06 | 2007-08-09 | 엠텍비젼 주식회사 | 공유 메모리를 구비한 장치 및 공유 메모리 억세스 상태정보 제공 방법 |
| JP2008026944A (ja) * | 2006-07-18 | 2008-02-07 | Renesas Technology Corp | バス結合型マルチプロセッサ |
| US20080098178A1 (en) * | 2006-10-23 | 2008-04-24 | Veazey Judson E | Data storage on a switching system coupling multiple processors of a computer system |
| US8140822B2 (en) * | 2007-04-16 | 2012-03-20 | International Business Machines Corporation | System and method for maintaining page tables used during a logical partition migration |
| US8019962B2 (en) * | 2007-04-16 | 2011-09-13 | International Business Machines Corporation | System and method for tracking the memory state of a migrating logical partition |
| US7849347B2 (en) * | 2007-04-16 | 2010-12-07 | International Business Machines Corporation | System and method for updating a time-related state of a migrating logical partition |
| US20080256530A1 (en) * | 2007-04-16 | 2008-10-16 | William Joseph Armstrong | System and Method for Determining Firmware Compatibility for Migrating Logical Partitions |
| US20090019232A1 (en) * | 2007-07-11 | 2009-01-15 | Freescale Semiconductor, Inc. | Specification of coherence domain during address translation |
| US7725663B2 (en) * | 2007-10-31 | 2010-05-25 | Agere Systems Inc. | Memory protection system and method |
| US8285915B2 (en) * | 2010-01-13 | 2012-10-09 | International Business Machines Corporation | Relocating page tables and data amongst memory modules in a virtualized environment |
| US9703723B2 (en) * | 2011-08-29 | 2017-07-11 | International Business Machines Corporation | Method and apparatus for performing mapping within a data processing system having virtual machines |
| US9727464B2 (en) * | 2014-11-20 | 2017-08-08 | International Business Machines Corporation | Nested cache coherency protocol in a tiered multi-node computer system |
| US9886382B2 (en) | 2014-11-20 | 2018-02-06 | International Business Machines Corporation | Configuration based cache coherency protocol selection |
| US9678872B2 (en) * | 2015-01-16 | 2017-06-13 | Oracle International Corporation | Memory paging for processors using physical addresses |
| WO2017044070A1 (en) * | 2015-09-08 | 2017-03-16 | Hewlett Packard Enterprise Development Lp | Multicasting in shared non-volatile memory |
| JP6651836B2 (ja) * | 2015-12-18 | 2020-02-19 | 富士通株式会社 | 情報処理装置、共有メモリ管理方法及び共有メモリ管理プログラム |
| US10540286B2 (en) | 2018-04-30 | 2020-01-21 | Hewlett Packard Enterprise Development Lp | Systems and methods for dynamically modifying coherence domains |
| US11734192B2 (en) | 2018-12-10 | 2023-08-22 | International Business Machines Corporation | Identifying location of data granules in global virtual address space |
| US11016908B2 (en) * | 2018-12-11 | 2021-05-25 | International Business Machines Corporation | Distributed directory of named data elements in coordination namespace |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4843541A (en) * | 1987-07-29 | 1989-06-27 | International Business Machines Corporation | Logical resource partitioning of a data processing system |
| JP3687990B2 (ja) * | 1994-01-25 | 2005-08-24 | 株式会社日立製作所 | メモリアクセス機構 |
| US5940870A (en) * | 1996-05-21 | 1999-08-17 | Industrial Technology Research Institute | Address translation for shared-memory multiprocessor clustering |
| US5862357A (en) * | 1996-07-02 | 1999-01-19 | Sun Microsystems, Inc. | Hierarchical SMP computer system |
| US5923847A (en) * | 1996-07-02 | 1999-07-13 | Sun Microsystems, Inc. | Split-SMP computer system configured to operate in a protected mode having repeater which inhibits transaction to local address partiton |
| JP3849951B2 (ja) * | 1997-02-27 | 2006-11-22 | 株式会社日立製作所 | 主記憶共有型マルチプロセッサ |
| US6295584B1 (en) * | 1997-08-29 | 2001-09-25 | International Business Machines Corporation | Multiprocessor computer system with memory map translation |
| US6334177B1 (en) * | 1998-12-18 | 2001-12-25 | International Business Machines Corporation | Method and system for supporting software partitions and dynamic reconfiguration within a non-uniform memory access system |
-
1999
- 1999-02-16 JP JP03681199A patent/JP4123621B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-11 US US09/501,978 patent/US6510496B1/en not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003131900A (ja) * | 2001-10-24 | 2003-05-09 | Hitachi Ltd | サーバシステム運用管理方式 |
| JP2005250830A (ja) * | 2004-03-04 | 2005-09-15 | Hitachi Ltd | プロセッサおよび主記憶共有マルチプロセッサ |
| JP2006285778A (ja) * | 2005-04-01 | 2006-10-19 | Hitachi Ltd | ストレージシステム及び記憶制御方法 |
| WO2008111576A1 (ja) * | 2007-03-13 | 2008-09-18 | Toyota Jidosha Kabushiki Kaisha | 情報処理システム及びその情報処理システムを構成するコア識別コントローラ |
| JP2009032264A (ja) * | 2007-07-26 | 2009-02-12 | Hewlett-Packard Development Co Lp | スヌープ要求に使用可能なマスク |
| JP2009129447A (ja) * | 2007-11-27 | 2009-06-11 | Internatl Business Mach Corp <Ibm> | デザイン構造、ネットワーク・オン・チップ（‘ｎｏｃ’）でのデータ処理方法、ネットワーク・オン・チップ、およびネットワーク・オン・チップでのデータ処理のためのコンピュータ・プログラム（パーティションを有するネットワーク・オン・チップのためのデザイン構造） |
| US8108736B2 (en) | 2008-12-05 | 2012-01-31 | Nec Computertechno Ltd. | Multi-partition computer system, failure handling method and program therefor |
| EP2608044A1 (en) | 2011-12-20 | 2013-06-26 | Fujitsu Limited | Information processing apparatus and memory access method |
| EP2610755A2 (en) | 2011-12-28 | 2013-07-03 | Fujitsu Limited | Information processing apparatus and unauthorized access prevention method |
| KR101403233B1 (ko) * | 2011-12-28 | 2014-06-02 | 후지쯔 가부시끼가이샤 | 정보 처리 장치 및 부정 액세스 방지 방법 |
| WO2015128933A1 (ja) * | 2014-02-25 | 2015-09-03 | 株式会社日立製作所 | データ処理装置及びセキュア通信方法 |
| JP2017517807A (ja) * | 2014-05-09 | 2017-06-29 | マイクロン テクノロジー， インク． | ハイブリッドメモリキューブリンクを用いる相互接続システムおよび方法 |
| US10126947B2 (en) | 2014-05-09 | 2018-11-13 | Micron Technology, Inc. | Interconnect systems and methods using hybrid memory cube links to send packetized data over different endpoints of a data handling device |
| US11132127B2 (en) | 2014-05-09 | 2021-09-28 | Micron Technology, Inc. | Interconnect systems and methods using memory links to send packetized data between different data handling devices of different memory domains |
| US11947798B2 (en) | 2014-05-09 | 2024-04-02 | Micron Technology, Inc. | Packet routing between memory devices and related apparatuses, methods, and memory systems |
| CN109952566A (zh) * | 2016-12-12 | 2019-06-28 | 英特尔公司 | 用于处理器架构的装置和方法 |
| CN112540938A (zh) * | 2019-09-20 | 2021-03-23 | 阿里巴巴集团控股有限公司 | 处理器核、处理器、装置和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4123621B2 (ja) | 2008-07-23 |
| US6510496B1 (en) | 2003-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4123621B2 (ja) | 主記憶共有型マルチプロセッサシステム及びその共有領域設定方法 | |
| JP3102495B2 (ja) | 仮想記憶管理方法 | |
| JP3849951B2 (ja) | 主記憶共有型マルチプロセッサ | |
| US5897664A (en) | Multiprocessor system having mapping table in each node to map global physical addresses to local physical addresses of page copies | |
| US6049853A (en) | Data replication across nodes of a multiprocessor computer system | |
| RU2220444C2 (ru) | Компьютерная система и способ передачи данных в компьютерной системе | |
| US6295584B1 (en) | Multiprocessor computer system with memory map translation | |
| JP2819982B2 (ja) | 範囲指定可能なキャッシュ一致保証機能を有するマルチプロセッサシステム | |
| US6446185B2 (en) | Selective address translation in coherent memory replication | |
| US5394555A (en) | Multi-node cluster computer system incorporating an external coherency unit at each node to insure integrity of information stored in a shared, distributed memory | |
| US8078862B2 (en) | Method for assigning physical data address range in multiprocessor system | |
| US20130013889A1 (en) | Memory management unit using stream identifiers | |
| JP2001147903A (ja) | 効率的なバス機構及びコヒーレンス制御を有する繰り返しチップ構造を有するスケーラブル共用メモリ・マルチプロセッサ・コンピュータ・システム | |
| JP2001051959A (ja) | 少なくとも１つのｎｕｍａ（ｎｏｎ−ｕｎｉｆｏｒｍｍｅｍｏｒｙａｃｃｅｓｓ）データ処理システムとして構成可能な相互接続された処理ノード | |
| US6996693B2 (en) | High speed memory cloning facility via a source/destination switching mechanism | |
| US7069394B2 (en) | Dynamic data routing mechanism for a high speed memory cloner | |
| US6892283B2 (en) | High speed memory cloner with extended cache coherency protocols and responses | |
| CN114416387A (zh) | 基于同构多核的多操作系统及通信方法、芯片 | |
| US9632934B2 (en) | Maintaining coherence when removing nodes from a directory-based shared memory system | |
| US7159079B2 (en) | Multiprocessor system | |
| US6898677B2 (en) | Dynamic software accessibility to a microprocessor system with a high speed memory cloner | |
| US6986013B2 (en) | Imprecise cache line protection mechanism during a memory clone operation | |
| US8627016B2 (en) | Maintaining data coherence by using data domains | |
| US7502917B2 (en) | High speed memory cloning facility via a lockless multiprocessor mechanism | |
| US6986011B2 (en) | High speed memory cloner within a data processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051031 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051031 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060417 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080428 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |