JP2000172655A - データ処理装置およびデータ処理方法 - Google Patents
データ処理装置およびデータ処理方法Info
- Publication number
- JP2000172655A JP2000172655A JP10350456A JP35045698A JP2000172655A JP 2000172655 A JP2000172655 A JP 2000172655A JP 10350456 A JP10350456 A JP 10350456A JP 35045698 A JP35045698 A JP 35045698A JP 2000172655 A JP2000172655 A JP 2000172655A
- Authority
- JP
- Japan
- Prior art keywords
- access
- group
- data processing
- cluster
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/17—Interprocessor communication using an input/output type connection, e.g. channel, I/O port
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
- Memory System (AREA)
- Storage Device Security (AREA)
Abstract
(57)【要約】
【課題】 システム内で自在にクラスタを構成すること
ができ、クラスタ間の通信を高速で行うことができるデ
ータ処理装置を提供する。 【解決手段】 一以上のＣＰＵと主記憶装置から構成さ
れる複数個のノードでひとつのシステムを構成するデー
タ処理装置において、主記憶装置のメモリ空間に各クラ
スタに共通する共有メモリ領域を設けるとともに、複数
個のノードを任意の数のグループに分けて前記システム
内でクラスタを構成し、クラスタ間の通信を前記共有メ
モリ領域内で行うようにした。なお、ノードのグループ
分けは、各ノードに設けたレジスタの設定によって行う
ようにした。
ができ、クラスタ間の通信を高速で行うことができるデ
ータ処理装置を提供する。 【解決手段】 一以上のＣＰＵと主記憶装置から構成さ
れる複数個のノードでひとつのシステムを構成するデー
タ処理装置において、主記憶装置のメモリ空間に各クラ
スタに共通する共有メモリ領域を設けるとともに、複数
個のノードを任意の数のグループに分けて前記システム
内でクラスタを構成し、クラスタ間の通信を前記共有メ
モリ領域内で行うようにした。なお、ノードのグループ
分けは、各ノードに設けたレジスタの設定によって行う
ようにした。
Description
【０００１】
【発明の属する技術分野】本発明はデータ処理装置およ
びデータ処理方法に関するものであり、特に、一以上の
ＣＰＵと主記憶装置から構成される複数個のノードで構
成するシステム内にクラスタ構成を実現し、クラスタご
とに独立したオペレーティングシステムを動作させるよ
うにしたデータ処理装置および方法に関する。
びデータ処理方法に関するものであり、特に、一以上の
ＣＰＵと主記憶装置から構成される複数個のノードで構
成するシステム内にクラスタ構成を実現し、クラスタご
とに独立したオペレーティングシステムを動作させるよ
うにしたデータ処理装置および方法に関する。
【０００２】
【従来の技術】従来より、データ処理装置を構成する場
合に、一以上のＣＰＵと主記憶装置を有するクラスタを
複数個設けて、これをネットワークで接続し、データ処
理を複数のクラスタで並列処理することが行われてい
る。このようなデータ処理装置の一例として、例えば特
開平６−２３１０３３号公報に記載されたデータ処理装
置がある。
合に、一以上のＣＰＵと主記憶装置を有するクラスタを
複数個設けて、これをネットワークで接続し、データ処
理を複数のクラスタで並列処理することが行われてい
る。このようなデータ処理装置の一例として、例えば特
開平６−２３１０３３号公報に記載されたデータ処理装
置がある。
【０００３】
【発明が解決しようとする課題】しかしながら、従来の
データ処理装置では、システムを構成する各クラスタを
接続ネットワークを用いて接続するようにしており、ク
ラスタ間の通信は拡張メモリを用いて行っているため、
装置が大型化すると共に、クラスタ間の通信速度が遅く
なるという問題がある。また、一旦設定したクラスタ構
成を簡単には変更することができず、システムの運用の
目的に応じてクラスタ構成を変更したい場合などに、ユ
ーザのバリエーションが制限されてしまうという問題も
ある。
データ処理装置では、システムを構成する各クラスタを
接続ネットワークを用いて接続するようにしており、ク
ラスタ間の通信は拡張メモリを用いて行っているため、
装置が大型化すると共に、クラスタ間の通信速度が遅く
なるという問題がある。また、一旦設定したクラスタ構
成を簡単には変更することができず、システムの運用の
目的に応じてクラスタ構成を変更したい場合などに、ユ
ーザのバリエーションが制限されてしまうという問題も
ある。
【０００４】本発明は、データ処理装置を大型化させる
ことなくシステム内にクラスタを構成し、このクラスタ
間の通信を高速で行えるようにしたデータ処理装置を提
供することを目的とする。また、システムの運用の目的
に応じて、システム内でユーザが任意にクラスタを構成
することができるデータ処理装置を提供することを目的
とする。
ことなくシステム内にクラスタを構成し、このクラスタ
間の通信を高速で行えるようにしたデータ処理装置を提
供することを目的とする。また、システムの運用の目的
に応じて、システム内でユーザが任意にクラスタを構成
することができるデータ処理装置を提供することを目的
とする。
【０００５】
【課題を解決するための手段】上記課題を解決するため
に、本発明のデータ処理装置は、一以上のＣＰＵと主記
憶装置から構成される複数個のノードでひとつのシステ
ムを構成するデータ処理装置において、前記主記憶装置
のメモリ空間に前記クラスタに共通する共有メモリ領域
を設けるとともに、前記複数個のノードを任意の数のグ
ループに分けて前記システム内でクラスタを構成し、前
記グループ間の通信を前記共有メモリ領域内で行うよう
にしたことを特徴とする。
に、本発明のデータ処理装置は、一以上のＣＰＵと主記
憶装置から構成される複数個のノードでひとつのシステ
ムを構成するデータ処理装置において、前記主記憶装置
のメモリ空間に前記クラスタに共通する共有メモリ領域
を設けるとともに、前記複数個のノードを任意の数のグ
ループに分けて前記システム内でクラスタを構成し、前
記グループ間の通信を前記共有メモリ領域内で行うよう
にしたことを特徴とする。
【０００６】このように本発明のデータ処理装置によれ
ば、各ノードの主記憶装置に共有メモリ領域を設けて、
この領域用いてクラスタ間の通信を行うようにしている
ため、装置を大型化することなくクラスタ間の通信を行
うことができる。また、、拡張メモリを用いて通信を行
う場合に比べて、より高速で通信することができる。
ば、各ノードの主記憶装置に共有メモリ領域を設けて、
この領域用いてクラスタ間の通信を行うようにしている
ため、装置を大型化することなくクラスタ間の通信を行
うことができる。また、、拡張メモリを用いて通信を行
う場合に比べて、より高速で通信することができる。
【０００７】また、本発明のデータ処理装置は、前記ク
ラスタを、グループごとに独立したオペレーティングシ
ステムで動作させるようにし、このオペレーティングシ
ステム間の通信を前記共有メモリ領域内で行うようにし
たことを特徴とする。このように構成することによっ
て、一つのシステム内の異なるアドレス空間に複数のオ
ペレーティングシステムを同時にアクセスさせることが
可能となる。
ラスタを、グループごとに独立したオペレーティングシ
ステムで動作させるようにし、このオペレーティングシ
ステム間の通信を前記共有メモリ領域内で行うようにし
たことを特徴とする。このように構成することによっ
て、一つのシステム内の異なるアドレス空間に複数のオ
ペレーティングシステムを同時にアクセスさせることが
可能となる。
【０００８】更に、本発明のデータ処理装置は、クラス
タ構成制御手段を具え、当該クラスタ構成制御手段の設
定により、前記クラスタを自在に構成できるようにした
ことを特徴とする。なお、このクラスタ構成制御手段
は、前記ノードの各々に設けたクラスタ構成制御部で構
成されており、このクラスタ構成制御部が複数のレジス
タを具え、このレジスタの設定を変更することによっ
て、前記ノードを自在にグループ分けできるようにする
ことが好ましい。
タ構成制御手段を具え、当該クラスタ構成制御手段の設
定により、前記クラスタを自在に構成できるようにした
ことを特徴とする。なお、このクラスタ構成制御手段
は、前記ノードの各々に設けたクラスタ構成制御部で構
成されており、このクラスタ構成制御部が複数のレジス
タを具え、このレジスタの設定を変更することによっ
て、前記ノードを自在にグループ分けできるようにする
ことが好ましい。
【０００９】このように構成することによって、システ
ム内でユーザが任意にクラスタを構成をすることが可能
となり、装置の運用の目的に応じて適切な構成を選択す
ることができる。また、クラスタ構成手段を各ノードに
設けた複数のレジスタで構成することによって、ユーザ
は、このレジスタの設定を変更することで容易にクラス
タの構成を変更することができるようになり、ユーザの
バリエーションを広げることができる。
ム内でユーザが任意にクラスタを構成をすることが可能
となり、装置の運用の目的に応じて適切な構成を選択す
ることができる。また、クラスタ構成手段を各ノードに
設けた複数のレジスタで構成することによって、ユーザ
は、このレジスタの設定を変更することで容易にクラス
タの構成を変更することができるようになり、ユーザの
バリエーションを広げることができる。
【００１０】本発明のデータ処理装置は、前記各ＣＰＵ
は、当該ＣＰＵが属するグループの固有メモリと、当該
ＣＰＵが属するグループがオーナの共有メモリと、当該
ＣＰＵが属していない他のグループがオーナの共有メモ
リに対してのみアクセス可能である。また、前記ＣＰＵ
は当該ＣＰＵが属していない他のグループがオーナの共
有メモリに対してアクセスする場合、当該共有メモリを
参照することはできるが、変更することはできない。さ
らに、これらアクセス可能なメモリ領域以外の領域にア
クセスしようとした場合は、当該アクセスを不正アクセ
スとして検出するようにすることが好ましい。
は、当該ＣＰＵが属するグループの固有メモリと、当該
ＣＰＵが属するグループがオーナの共有メモリと、当該
ＣＰＵが属していない他のグループがオーナの共有メモ
リに対してのみアクセス可能である。また、前記ＣＰＵ
は当該ＣＰＵが属していない他のグループがオーナの共
有メモリに対してアクセスする場合、当該共有メモリを
参照することはできるが、変更することはできない。さ
らに、これらアクセス可能なメモリ領域以外の領域にア
クセスしようとした場合は、当該アクセスを不正アクセ
スとして検出するようにすることが好ましい。
【００１１】このように構成することによって、一つの
グループを動作させるオペレーションシステムが、他の
グループに与える影響を最低限に抑えることができる。
グループを動作させるオペレーションシステムが、他の
グループに与える影響を最低限に抑えることができる。
【００１２】
【発明の実施の形態】図１は、本発明のデータ処理装置
の第１の実施形態の構成を示すブロック図である。デー
タ処理装置は、複数のノードを具え、これらのノードは
システムバス１０５によって互いに接続されている。本
例では、４個のノード１０１〜１０４が設けられてい
る。各ノードは、ノード１０１に代表して示すように、
それぞれ４個のプロセッサ１１１〜１１４と、システム
制御装置１１６と、主記憶装置１１７とを有している。
各プロセッサはプロセッサバスによってシステム制御装
置１１６に接続されており、システム制御装置１１６
は、システムバス１０５および主記憶装置１１７に接続
している。
の第１の実施形態の構成を示すブロック図である。デー
タ処理装置は、複数のノードを具え、これらのノードは
システムバス１０５によって互いに接続されている。本
例では、４個のノード１０１〜１０４が設けられてい
る。各ノードは、ノード１０１に代表して示すように、
それぞれ４個のプロセッサ１１１〜１１４と、システム
制御装置１１６と、主記憶装置１１７とを有している。
各プロセッサはプロセッサバスによってシステム制御装
置１１６に接続されており、システム制御装置１１６
は、システムバス１０５および主記憶装置１１７に接続
している。
【００１３】他のノード１０２〜１０４にも同様に、シ
ステム制御装置と、４個のプロセッサと一の主記憶装置
とが設けられており、従ってシステム全体では４個のシ
ステム制御装置と、１６個のプロセッサと、４個の主記
憶装置とが存在する。また、各ノードの主記憶装置１１
７のメモリ空間は、後述するとおり、クラスタ制御部１
２１の各レジスタの設定により、そのノードが属するグ
ループの固有メモリと、そのノードが属するグループが
オーナの共有メモリに分けて設定されている。なお、本
例では、各ノードをシステムバスで、各プロセッサをプ
ロセッサバスで接続するようにしているが、これらはス
ター接続としても良い。
ステム制御装置と、４個のプロセッサと一の主記憶装置
とが設けられており、従ってシステム全体では４個のシ
ステム制御装置と、１６個のプロセッサと、４個の主記
憶装置とが存在する。また、各ノードの主記憶装置１１
７のメモリ空間は、後述するとおり、クラスタ制御部１
２１の各レジスタの設定により、そのノードが属するグ
ループの固有メモリと、そのノードが属するグループが
オーナの共有メモリに分けて設定されている。なお、本
例では、各ノードをシステムバスで、各プロセッサをプ
ロセッサバスで接続するようにしているが、これらはス
ター接続としても良い。
【００１４】図２は、各ノード１０１〜１０４に設けら
れているシステム制御装置１１６の構成を示すブロック
図である。システム制御装置１１６は、プロセッサバス
制御部２１１と、主記憶装置インタフェース部２１２
と、システムバス制御部２１３と、クラスタ構成制御部
１２１とを具えている。プロセッサバス制御部２１１は
プロセッサバス１１５へ、主記憶装置インターフェース
部２１２は主記憶装置１１７へ、システムバス制御部２
１３はシステムバス１０５へ接続されている。また、プ
ロセッサバス制御部２１１とシステムバス制御部２１３
同士が接続されており、プロセッサバス制御部２１３は
更に主記憶装置インターフェース部２１２へ接続されて
いる。クラスタ構成制御部１２１は、プロセッサバス制
御部２１１とシステムバス制御部２１３とに接続されて
いる。
れているシステム制御装置１１６の構成を示すブロック
図である。システム制御装置１１６は、プロセッサバス
制御部２１１と、主記憶装置インタフェース部２１２
と、システムバス制御部２１３と、クラスタ構成制御部
１２１とを具えている。プロセッサバス制御部２１１は
プロセッサバス１１５へ、主記憶装置インターフェース
部２１２は主記憶装置１１７へ、システムバス制御部２
１３はシステムバス１０５へ接続されている。また、プ
ロセッサバス制御部２１１とシステムバス制御部２１３
同士が接続されており、プロセッサバス制御部２１３は
更に主記憶装置インターフェース部２１２へ接続されて
いる。クラスタ構成制御部１２１は、プロセッサバス制
御部２１１とシステムバス制御部２１３とに接続されて
いる。
【００１５】各プロセッサ１１１〜１１４（及びノード
１０２〜１０４に設けられた図示しないプロセッサ）
は、当該プロセッサが属しているグループ（以下「自グ
ループ」という）の固有メモリと、自グループがオーナ
の共有メモリと、当該プロセッサが属していないグルー
プ（以下「他グループ」という）がオーナの共有メモリ
に対してアクセスすることができ、他グループの固有メ
モリにはアクセスできない。また、各プロセッサは、他
グループがオーナの共有メモリを参照することはできる
が、これを変更することはできない。
１０２〜１０４に設けられた図示しないプロセッサ）
は、当該プロセッサが属しているグループ（以下「自グ
ループ」という）の固有メモリと、自グループがオーナ
の共有メモリと、当該プロセッサが属していないグルー
プ（以下「他グループ」という）がオーナの共有メモリ
に対してアクセスすることができ、他グループの固有メ
モリにはアクセスできない。また、各プロセッサは、他
グループがオーナの共有メモリを参照することはできる
が、これを変更することはできない。
【００１６】図３は、クラスタ構成制御部１２１の構成
の一例を示す図である。本実施形態では、装置１が４個
のノードで構成されているので、クラスタを構成するグ
ループの数は最大で４個となり、グループを４個とした
場合は、各グループが一のノードで構成されることにな
る。
の一例を示す図である。本実施形態では、装置１が４個
のノードで構成されているので、クラスタを構成するグ
ループの数は最大で４個となり、グループを４個とした
場合は、各グループが一のノードで構成されることにな
る。
【００１７】クラスタ構成制御部１２１は、クラスタ演
算部３１７と、６個のレジスタ３１１〜３１６とで構成
されている。各レジスタは、クラスタ構成の有効／非有
効を示す第１レジスタ３１１、自ノードのノード番号を
示す第２レジスタ３１２と、各ノードについてそのノー
ドが属しているグループのグループ番号を示す第３レジ
スタ３１３と、各グループについてそのグループがオー
ナの共有メモリを持つノード番号を示す第４レジスタ３
１４と、共有メモリのサイズを示す第５レジスタ３１５
と、共有メモリのベースアドレスを示す第６レジスタ３
１６とで構成されている。これらのレジスタの値は、シ
ステムの初期化時に、ノード１０１のプロセッサ１１１
〜１１４（及びノード１０２〜１０４に設けた図示しな
いプロセッサ）によって、あるいは、サービスプロセッ
サ（図示せず）によって設定される。
算部３１７と、６個のレジスタ３１１〜３１６とで構成
されている。各レジスタは、クラスタ構成の有効／非有
効を示す第１レジスタ３１１、自ノードのノード番号を
示す第２レジスタ３１２と、各ノードについてそのノー
ドが属しているグループのグループ番号を示す第３レジ
スタ３１３と、各グループについてそのグループがオー
ナの共有メモリを持つノード番号を示す第４レジスタ３
１４と、共有メモリのサイズを示す第５レジスタ３１５
と、共有メモリのベースアドレスを示す第６レジスタ３
１６とで構成されている。これらのレジスタの値は、シ
ステムの初期化時に、ノード１０１のプロセッサ１１１
〜１１４（及びノード１０２〜１０４に設けた図示しな
いプロセッサ）によって、あるいは、サービスプロセッ
サ（図示せず）によって設定される。
【００１８】これらのレジスタの設定によって、システ
ム内でクラスタ構成を実現することができ、以下に詳述
するとおり、各レジスタはクラスタ構成が有効か否かの
判別、プロセッサからのアクセスが自グループの固有メ
モリに対するアクセスであるか、他グループの固有メモ
リに対するアクセスであるか、自グループがオーナの共
有メモリに対するアクセスであるか、他グループがオー
ナの共有メモリに対するアクセスであるかの判別、およ
び、不正アクセスの検出に用いられる。
ム内でクラスタ構成を実現することができ、以下に詳述
するとおり、各レジスタはクラスタ構成が有効か否かの
判別、プロセッサからのアクセスが自グループの固有メ
モリに対するアクセスであるか、他グループの固有メモ
リに対するアクセスであるか、自グループがオーナの共
有メモリに対するアクセスであるか、他グループがオー
ナの共有メモリに対するアクセスであるかの判別、およ
び、不正アクセスの検出に用いられる。
【００１９】第１レジスタ３１１は、装置内でクラスタ
構成が有効か否かを示す１ビットのレジスタである。す
なわち、レジスタ３１１を１に設定した場合、クラスタ
構成が有効となりレジスタ３１３〜３１６の設定値が意
味を持つことになる。
構成が有効か否かを示す１ビットのレジスタである。す
なわち、レジスタ３１１を１に設定した場合、クラスタ
構成が有効となりレジスタ３１３〜３１６の設定値が意
味を持つことになる。
【００２０】第２レジスタ３１２は、自ノードのノード
番号を示す２ビットのレジスタである。
番号を示す２ビットのレジスタである。
【００２１】第３レジスタ３１３は、クラスタを構成す
る各ノードに対応する数（本例においては４個）のエン
トリを持ち、各ノードが属するグループのグループ番号
を示す。各エントリは２ビットである。装置内で、クラ
スタ構成を実現する場合、一つ以上のノードの集まりを
グループとして設定し、このグループに属するノードを
独立したオペレーティングシステムによって動作させ
る。従って、複数のノードを一つのグループとして設定
する場合は、第３レジスタ３１３のエントリを同じグル
ープに属するノードについて同じグループ番号に設定す
る。
る各ノードに対応する数（本例においては４個）のエン
トリを持ち、各ノードが属するグループのグループ番号
を示す。各エントリは２ビットである。装置内で、クラ
スタ構成を実現する場合、一つ以上のノードの集まりを
グループとして設定し、このグループに属するノードを
独立したオペレーティングシステムによって動作させ
る。従って、複数のノードを一つのグループとして設定
する場合は、第３レジスタ３１３のエントリを同じグル
ープに属するノードについて同じグループ番号に設定す
る。
【００２２】第４レジスタ３１４は、各ノードに対応す
るのエントリを持ち（本例においては４個）、各ノード
が属するグループがオーナの共有メモリを持つノードの
ノード番号を示す。各エントリは２ビットのレジスタで
ある。
るのエントリを持ち（本例においては４個）、各ノード
が属するグループがオーナの共有メモリを持つノードの
ノード番号を示す。各エントリは２ビットのレジスタで
ある。
【００２３】第５レジスタ３１５は、自ノードが属する
グループがオーナの共有メモリの容量を示す。
グループがオーナの共有メモリの容量を示す。
【００２４】第６レジスタ３１６は、自ノードが属する
グループがオーナの共有メモリの、メモリ空間アドレス
におけるベースアドレスを示す。
グループがオーナの共有メモリの、メモリ空間アドレス
におけるベースアドレスを示す。
【００２５】クラスタ演算部３１７は、プロセッサバス
制御部２１１から共有メモリに対するアクセスをリクエ
ストしたアドレス信号３０６を受け取ると、このアドレ
スが自グループの共有メモリに対するアクセスか、他グ
ループの共有メモリに対するアクセスかを判別し、プロ
セッサバス制御部２１１へこの判断を信号３０７で通知
する。また、クラスタ演算部３１７は第２レジスタ３１
２と第３レジスタ３１３とから自ノードのグループ番号
を演算して、これをプロセッサバス制御部２１１へ信号
３０８で通知する。
制御部２１１から共有メモリに対するアクセスをリクエ
ストしたアドレス信号３０６を受け取ると、このアドレ
スが自グループの共有メモリに対するアクセスか、他グ
ループの共有メモリに対するアクセスかを判別し、プロ
セッサバス制御部２１１へこの判断を信号３０７で通知
する。また、クラスタ演算部３１７は第２レジスタ３１
２と第３レジスタ３１３とから自ノードのグループ番号
を演算して、これをプロセッサバス制御部２１１へ信号
３０８で通知する。
【００２６】更に、クラスタ演算部３１７は、システム
バス制御部２１３からそれぞれのグループの固有メモリ
に対するアクセスをリクエストしたアドレス信号３０４
を受け取ると、レジスタ３１３〜３１６およびレジスタ
３１１を参照して、このアドレスが自グループの固有メ
モリに対するアクセスか、他グループの固有メモリに対
するアクセスかを判別し、この判断を信号３０５でシス
テムバス制御部２１３へ通知する。
バス制御部２１３からそれぞれのグループの固有メモリ
に対するアクセスをリクエストしたアドレス信号３０４
を受け取ると、レジスタ３１３〜３１６およびレジスタ
３１１を参照して、このアドレスが自グループの固有メ
モリに対するアクセスか、他グループの固有メモリに対
するアクセスかを判別し、この判断を信号３０５でシス
テムバス制御部２１３へ通知する。
【００２７】次に、上述した実施形態の動作を説明す
る。なお、第１レジスタ３１１が０の場合はシステムは
従来通りひとつのオペレーティングシステムによって動
作するので、ここではレジスタ３１１が１の場合、すな
わち装置内でクラスタ構成を有効とする場合についての
み説明する。
る。なお、第１レジスタ３１１が０の場合はシステムは
従来通りひとつのオペレーティングシステムによって動
作するので、ここではレジスタ３１１が１の場合、すな
わち装置内でクラスタ構成を有効とする場合についての
み説明する。
【００２８】まず、プロセッサから自グループの固有メ
モリへアクセスするリクエストが出された場合について
説明する。いずれかのプロセッサから、リクエストが発
行されると、このリクエストはプロセッサバス１１５を
介して、プロセッサバス制御部２１１へ送られる。プロ
セッサバス制御部２１１では、このリクエストのアドレ
スのビット６３が０であることから、このリクエストが
固有メモリへのアクセスであることを認識し、リクエス
トのアドレスのビット６１〜６２に自ノードの属するグ
ループのグループ番号をセットして、当該リクエストを
システムバス制御部２１３に送る。このグループ番号
は、クラスタ構成制御部１２１からの出力信号３０８を
参照してセットする。
モリへアクセスするリクエストが出された場合について
説明する。いずれかのプロセッサから、リクエストが発
行されると、このリクエストはプロセッサバス１１５を
介して、プロセッサバス制御部２１１へ送られる。プロ
セッサバス制御部２１１では、このリクエストのアドレ
スのビット６３が０であることから、このリクエストが
固有メモリへのアクセスであることを認識し、リクエス
トのアドレスのビット６１〜６２に自ノードの属するグ
ループのグループ番号をセットして、当該リクエストを
システムバス制御部２１３に送る。このグループ番号
は、クラスタ構成制御部１２１からの出力信号３０８を
参照してセットする。
【００２９】システムバス制御部２１３は、プロセッサ
バス制御部２１１から送られてきたリクエストをシステ
ムバス１０５へ発行する。システムバス１０５を介し
て、すべてのノード１０１〜１０４のシステムバス制御
部２１３がこのリクエストを受け取って、それぞれのク
ラスタ構成制御部１２１へアドレスを送信する。各クラ
スタ構成制御部１２１は、このリクエストのアドレスの
ビット６３が０であるのでこのリクエストが固有メモリ
へのアクセスであることを認識する。
バス制御部２１１から送られてきたリクエストをシステ
ムバス１０５へ発行する。システムバス１０５を介し
て、すべてのノード１０１〜１０４のシステムバス制御
部２１３がこのリクエストを受け取って、それぞれのク
ラスタ構成制御部１２１へアドレスを送信する。各クラ
スタ構成制御部１２１は、このリクエストのアドレスの
ビット６３が０であるのでこのリクエストが固有メモリ
へのアクセスであることを認識する。
【００３０】次いで、クラスタ構成制御部１２１は、ア
ドレスのビット６１〜６２の値と、レジスタ３１２およ
びレジスタ３１３とを参照して、このリクエストが自ノ
ードが属するグループに対するアクセスであるかどうか
を判断し、その結果をシステムバス制御部２１３へ報告
する。
ドレスのビット６１〜６２の値と、レジスタ３１２およ
びレジスタ３１３とを参照して、このリクエストが自ノ
ードが属するグループに対するアクセスであるかどうか
を判断し、その結果をシステムバス制御部２１３へ報告
する。
【００３１】この報告が、自グループの固有メモリに対
するアクセスであるとの報告である場合、システムバス
制御部２１３はアドレスのビット６１〜６２を００にセ
ットして、主記憶装置インターフェース２１２へリクエ
ストを送信する。
するアクセスであるとの報告である場合、システムバス
制御部２１３はアドレスのビット６１〜６２を００にセ
ットして、主記憶装置インターフェース２１２へリクエ
ストを送信する。
【００３２】主記憶装置インターフェース２１２はシス
テムバス制御部２１３からのリクエストを受け取ると、
このリクエストを主記憶装置１１７へ発行し、所定の手
順に従ってリクエストが実行される。
テムバス制御部２１３からのリクエストを受け取ると、
このリクエストを主記憶装置１１７へ発行し、所定の手
順に従ってリクエストが実行される。
【００３３】一方、クラスタ構成制御部１２１からシス
テムバス制御部２１３への報告が、他グループの固有メ
モリに対するアクセスである場合は、システムバス制御
部２１３はそのリクエストを破棄する。
テムバス制御部２１３への報告が、他グループの固有メ
モリに対するアクセスである場合は、システムバス制御
部２１３はそのリクエストを破棄する。
【００３４】次に、プロセッサが共有メモリへアクセス
するリクエストを出した場合について説明する。いずれ
かのプロセッサから、リクエストが発行されると、この
リクエストはプロセッサバス１１５を介して、プロセッ
サバス制御部２１１へ送られる。プロセッサバス制御部
２１１では、このリクエストのアドレスのビット６３が
１であることから、このリクエストが共有メモリへのア
クセスであることを認識し、リクエストのアドレス信号
３０６をクラスタ構成制御部１２１へ送信する。クラス
タ構成制御部１２１では、アドレスのビット６３が１で
あるので、このリクエストが共有メモリへのアクセスで
あることを認識して、リクエストのアドレスのビット６
１〜６２の値と、レジスタ３１３〜３１６、及びレジス
タ３１２を参照して、このリクエストが自ノードの属す
るグループへのアクセスかどうかを判断して、その結果
をプロセッサバス制御部２１１へ報告する。
するリクエストを出した場合について説明する。いずれ
かのプロセッサから、リクエストが発行されると、この
リクエストはプロセッサバス１１５を介して、プロセッ
サバス制御部２１１へ送られる。プロセッサバス制御部
２１１では、このリクエストのアドレスのビット６３が
１であることから、このリクエストが共有メモリへのア
クセスであることを認識し、リクエストのアドレス信号
３０６をクラスタ構成制御部１２１へ送信する。クラス
タ構成制御部１２１では、アドレスのビット６３が１で
あるので、このリクエストが共有メモリへのアクセスで
あることを認識して、リクエストのアドレスのビット６
１〜６２の値と、レジスタ３１３〜３１６、及びレジス
タ３１２を参照して、このリクエストが自ノードの属す
るグループへのアクセスかどうかを判断して、その結果
をプロセッサバス制御部２１１へ報告する。
【００３５】ここで、クラスタ構成制御部１２１は、リ
クエストのアドレスが、レジスタ３１５〜３１６で示さ
れるアドレスレンジの範囲を超えたアクセスであるかど
うかを判断して、範囲外であった場合、当該アクセスを
不正アクセスとしてプロセッサバス制御部２１１へ報告
する。
クエストのアドレスが、レジスタ３１５〜３１６で示さ
れるアドレスレンジの範囲を超えたアクセスであるかど
うかを判断して、範囲外であった場合、当該アクセスを
不正アクセスとしてプロセッサバス制御部２１１へ報告
する。
【００３６】プロセッサバス制御部２１１は、リクエス
トのアドレスがアドレスレンジの範囲内である適正なア
ドレスであるとの報告を受けた場合でも、当該リクエス
トが更新（ライト）であり、かつ他グループがオーナの
共有メモリへのアクセスであった場合は、これを不正ア
クセスとして検出する。不正アクセスが検出されると、
障害処理が起動される。障害処理については周知の技術
であるため、ここでは説明を省略する。
トのアドレスがアドレスレンジの範囲内である適正なア
ドレスであるとの報告を受けた場合でも、当該リクエス
トが更新（ライト）であり、かつ他グループがオーナの
共有メモリへのアクセスであった場合は、これを不正ア
クセスとして検出する。不正アクセスが検出されると、
障害処理が起動される。障害処理については周知の技術
であるため、ここでは説明を省略する。
【００３７】不正アクセスが検出されない場合、プロセ
ッサバス制御部２１１は、そのリクエストをシステムバ
ス制御部２１３へ発行し、システムバス制御部２１３は
当該リクエストをシステムバス１０５へ送る。
ッサバス制御部２１１は、そのリクエストをシステムバ
ス制御部２１３へ発行し、システムバス制御部２１３は
当該リクエストをシステムバス１０５へ送る。
【００３８】システムバス１０５を介して、ノード１０
１〜１０４の各システムバス制御部２１３はこのリクエ
ストを受け取り、それぞれのクラスタ構成制御部１２１
へアドレスを送信する。各クラスタ構成制御部１２１は
このリクエストのアドレスのビット６３が１であること
から、このリクエストが共有メモリへのアクセスである
ことを認識する。
１〜１０４の各システムバス制御部２１３はこのリクエ
ストを受け取り、それぞれのクラスタ構成制御部１２１
へアドレスを送信する。各クラスタ構成制御部１２１は
このリクエストのアドレスのビット６３が１であること
から、このリクエストが共有メモリへのアクセスである
ことを認識する。
【００３９】システムバス制御部２１３はアドレスのビ
ット６１〜６３を０００にセットして、自ノードの主記
憶装置インターフェース２１２へリクエストを送信す
る。主記憶装置インターフェース２１２がシステムバス
制御部２１３からのリクエストを受け取ると、このリク
エストを主記憶装置１１７へ発行し、所定の手順に従っ
てリクエストが実行される。
ット６１〜６３を０００にセットして、自ノードの主記
憶装置インターフェース２１２へリクエストを送信す
る。主記憶装置インターフェース２１２がシステムバス
制御部２１３からのリクエストを受け取ると、このリク
エストを主記憶装置１１７へ発行し、所定の手順に従っ
てリクエストが実行される。
【００４０】図４は、クラスタ構成制御部１２１の他の
例を示すブロック図である。なお、第２実施形態におい
て、クラスタ構成制御部１２１の構成以外は、第１の実
施形態と同様であるので、その説明はここでは省略す
る。なお、第２実施形態においても、装置１は４個のノ
ードで構成されており、従って、クラスタを構成するグ
ループの数は最大で４個となり、グループを４個とした
場合は、各グループが一のノードで構成されることにな
る。
例を示すブロック図である。なお、第２実施形態におい
て、クラスタ構成制御部１２１の構成以外は、第１の実
施形態と同様であるので、その説明はここでは省略す
る。なお、第２実施形態においても、装置１は４個のノ
ードで構成されており、従って、クラスタを構成するグ
ループの数は最大で４個となり、グループを４個とした
場合は、各グループが一のノードで構成されることにな
る。
【００４１】クラスタ構成制御部１２１は、クラスタ演
算部５１８と、７個のレジスタ５１１〜５１７とを具え
ている。各レジスタは、クラスタ構成の有効／非有効を
示す第１レジスタ５１１、自ノードのノード番号を示す
第２レジスタ５１２、各ノードの持つメモリ空間の最下
位アドレスを示す第３レジスタ５１３、各ノードの持つ
メモリ空間の最上位アドレスを示す第４レジスタ５１
４、各ノードについてそのノードが属しているグループ
のグループ番号を示す第５レジスタ５１５、各グループ
の共有メモリのサイズを示す第６レジスタ５１６、およ
び各グループの共有メモリのベースアドレスを示す第７
レジスタ５１７で構成されている。
算部５１８と、７個のレジスタ５１１〜５１７とを具え
ている。各レジスタは、クラスタ構成の有効／非有効を
示す第１レジスタ５１１、自ノードのノード番号を示す
第２レジスタ５１２、各ノードの持つメモリ空間の最下
位アドレスを示す第３レジスタ５１３、各ノードの持つ
メモリ空間の最上位アドレスを示す第４レジスタ５１
４、各ノードについてそのノードが属しているグループ
のグループ番号を示す第５レジスタ５１５、各グループ
の共有メモリのサイズを示す第６レジスタ５１６、およ
び各グループの共有メモリのベースアドレスを示す第７
レジスタ５１７で構成されている。
【００４２】これらのレジスタ５１１〜５１７の値は、
第１実施形態と同様にシステムの初期化時に、ノード１
０１のプロセッサ１１１〜１１４（およびノード１０２
〜１０３に設けた図示しないプロセッサ）によって、あ
るいはサービスプロセッサ（図示せず）によって、設定
される。
第１実施形態と同様にシステムの初期化時に、ノード１
０１のプロセッサ１１１〜１１４（およびノード１０２
〜１０３に設けた図示しないプロセッサ）によって、あ
るいはサービスプロセッサ（図示せず）によって、設定
される。
【００４３】第１レジスタ５１１は、データ処理装置内
でクラスタ構成が有効か否かを示す１ビットのレジスタ
である。すなわち、レジスタ５１１を１に設定した場
合、クラスタ構成が有効となり、レジスタ５１２〜５１
７の設定値が意味を持つことになる。
でクラスタ構成が有効か否かを示す１ビットのレジスタ
である。すなわち、レジスタ５１１を１に設定した場
合、クラスタ構成が有効となり、レジスタ５１２〜５１
７の設定値が意味を持つことになる。
【００４４】第２レジスタ５１２は、自ノードのノード
番号を示す２ビットのレジスタである。
番号を示す２ビットのレジスタである。
【００４５】第３レジスタ５１３は、各ノードに対応す
る数（本例では４個）のエントリを持ち、各ノードの主
記憶装置が持つアドレス空間の最下位アドレスを示す、
例えば６１ビットのレジスタである。
る数（本例では４個）のエントリを持ち、各ノードの主
記憶装置が持つアドレス空間の最下位アドレスを示す、
例えば６１ビットのレジスタである。
【００４６】第４レジスタ５１４は、各ノードに対応す
る数（本例では４個）のエントリを持ち、各ノードの主
記憶装置が持つアドレス空間の最上位アドレスを示す、
例えば６１ビットのレジスタである。
る数（本例では４個）のエントリを持ち、各ノードの主
記憶装置が持つアドレス空間の最上位アドレスを示す、
例えば６１ビットのレジスタである。
【００４７】第５レジスタ５１５は各ノードに対応する
数（本例では４個）のエントリを持ち、各ノードのが属
するグループのグループ番号を示す。各エントリは２ビ
ットである。装置内でクラスタ構成を実現する場合、一
つ以上のノードの集まりをグループとして設定し、この
グループに属するノードを独立したオペレーティングシ
ステムによって動作させる。従って、複数のノードを一
つのグループとして設定する場合は、レジスタ５１５の
エントリを同じグループに属するノードについて同じグ
ループ番号に設定する。
数（本例では４個）のエントリを持ち、各ノードのが属
するグループのグループ番号を示す。各エントリは２ビ
ットである。装置内でクラスタ構成を実現する場合、一
つ以上のノードの集まりをグループとして設定し、この
グループに属するノードを独立したオペレーティングシ
ステムによって動作させる。従って、複数のノードを一
つのグループとして設定する場合は、レジスタ５１５の
エントリを同じグループに属するノードについて同じグ
ループ番号に設定する。
【００４８】第６レジスタ５１６は、各グループに対応
するエントリを持ち、（本例では最大で４個）各グルー
プがオーナの共有メモリの容量を示す。
するエントリを持ち、（本例では最大で４個）各グルー
プがオーナの共有メモリの容量を示す。
【００４９】第７レジスタ５１７は、各グループに対応
するエントリを持ち、（本例では最大で４個）各グルー
プがオーナの共有メモリの、メモリ空間アドレスにおけ
るベースアドレスを示す。
するエントリを持ち、（本例では最大で４個）各グルー
プがオーナの共有メモリの、メモリ空間アドレスにおけ
るベースアドレスを示す。
【００５０】クラスタ演算部５１８は、プロセッサバス
制御部２１１から共有メモリに対するアクセスをリクエ
ストしたアドレス信号３０６を受け取ると、このアドレ
スが自グループの共有メモリに対するアクセスか、他グ
ループの共有メモリに対するアクセスかを判別し、プロ
セッサバス制御部２１１へこの判断を信号３０７で通知
する。また、クラスタ演算部５１８はレジスタ５１２
と、レジスタ５１５とから自ノードのグループ番号を演
算して、プロセッサバス制御部２１１へ信号３０８で通
知する。
制御部２１１から共有メモリに対するアクセスをリクエ
ストしたアドレス信号３０６を受け取ると、このアドレ
スが自グループの共有メモリに対するアクセスか、他グ
ループの共有メモリに対するアクセスかを判別し、プロ
セッサバス制御部２１１へこの判断を信号３０７で通知
する。また、クラスタ演算部５１８はレジスタ５１２
と、レジスタ５１５とから自ノードのグループ番号を演
算して、プロセッサバス制御部２１１へ信号３０８で通
知する。
【００５１】更に、クラスタ演算部５１８は、システム
バス制御部２１３からそれぞれのグループの固有メモリ
に対するアクセスをリクエストしたアドレス信号３０５
を受け取ると、レジスタ５１２およびレジスタ５１５を
参照して、このアドレスが自グループの固有メモリに対
するアクセスか、他グループの固有メモリに対するアク
セスかを判別し、この判断を信号３０５でシステムバス
制御部２１３へ通知する。
バス制御部２１３からそれぞれのグループの固有メモリ
に対するアクセスをリクエストしたアドレス信号３０５
を受け取ると、レジスタ５１２およびレジスタ５１５を
参照して、このアドレスが自グループの固有メモリに対
するアクセスか、他グループの固有メモリに対するアク
セスかを判別し、この判断を信号３０５でシステムバス
制御部２１３へ通知する。
【００５２】次に、上述した第２実施形態の動作を説明
する。なお、第１レジスタ５１１が０の場合は、システ
ムは従来通り一つのオペレーティングシステムによって
動作するので、この動作に関する説明は省略するものと
し、個々では、レジスタ５１１が１に設定されている場
合、すなわち、装置内でクラスタ構成が有効である場合
の動作についてのみ説明する。
する。なお、第１レジスタ５１１が０の場合は、システ
ムは従来通り一つのオペレーティングシステムによって
動作するので、この動作に関する説明は省略するものと
し、個々では、レジスタ５１１が１に設定されている場
合、すなわち、装置内でクラスタ構成が有効である場合
の動作についてのみ説明する。
【００５３】まず、自グループの固有メモリへアクセス
するリクエストが出された場合について説明する。
するリクエストが出された場合について説明する。
【００５４】いずれかのプロセッサから、メモリへアク
セスするリクエストが発行されると、このリクエストは
プロセッサバス１１５を介してプロセッサバス制御部２
１１へ送られる。プロセッサバス制御部２１１では、こ
のリクエストのアドレスビット６３が０であることか
ら、このリクエストが固有メモリへのアクセスであるこ
とを認識し、リクエストのアドレスのビット６１〜６２
に自ノードの属するグループのグループ番号をセットし
て、当該リクエストをシステムバス制御部２１３に送
る。このグループ番号は、クラスタ構成制御部１２１か
らの出力信号３０８を参照してセットする。
セスするリクエストが発行されると、このリクエストは
プロセッサバス１１５を介してプロセッサバス制御部２
１１へ送られる。プロセッサバス制御部２１１では、こ
のリクエストのアドレスビット６３が０であることか
ら、このリクエストが固有メモリへのアクセスであるこ
とを認識し、リクエストのアドレスのビット６１〜６２
に自ノードの属するグループのグループ番号をセットし
て、当該リクエストをシステムバス制御部２１３に送
る。このグループ番号は、クラスタ構成制御部１２１か
らの出力信号３０８を参照してセットする。
【００５５】システムバス制御部２１３は、プロセッサ
バス制御部２１１から送られてきたリクエストをシステ
ムバス１０５へ発行する。システムバス１０５を介し
て、すべてのノード１０１〜１０４のシステムバス制御
部２１３がこのリクエストを受け取って、それぞれのク
ラスタ構成制御部１２１へアドレスを送信する。各クラ
スタ構成制御部１２１は、このリクエストのアドレスの
ビット６３が０であるのでこのリクエストが固有メモリ
へのアクセスであることを認識する。
バス制御部２１１から送られてきたリクエストをシステ
ムバス１０５へ発行する。システムバス１０５を介し
て、すべてのノード１０１〜１０４のシステムバス制御
部２１３がこのリクエストを受け取って、それぞれのク
ラスタ構成制御部１２１へアドレスを送信する。各クラ
スタ構成制御部１２１は、このリクエストのアドレスの
ビット６３が０であるのでこのリクエストが固有メモリ
へのアクセスであることを認識する。
【００５６】次いで、クラスタ構成制御部１２１は、ア
ドレスのビット６１〜６２の値と、レジスタ５１２及び
５１５とを参照して、このリクエストが自ノードが属す
るグループに対するアクセスであるかどうかを判断し、
自ノードが属するグループに対するアクセスの場合に
は、レジスタ５１３及びレジスタ５１４を参照して、こ
のリクエストが自ノードに対するアクセスであるかどう
かを判断し、その結果をシステムバス制御２１３へ報告
する。
ドレスのビット６１〜６２の値と、レジスタ５１２及び
５１５とを参照して、このリクエストが自ノードが属す
るグループに対するアクセスであるかどうかを判断し、
自ノードが属するグループに対するアクセスの場合に
は、レジスタ５１３及びレジスタ５１４を参照して、こ
のリクエストが自ノードに対するアクセスであるかどう
かを判断し、その結果をシステムバス制御２１３へ報告
する。
【００５７】この報告が、自ノードの固有メモリに対す
るアクセスであるとの報告である場合、システムバス制
御部２１３は、アドレスのビット６１〜６２を００にセ
ットして、主記憶装置インターフェース２１２へリクエ
ストを送信する。
るアクセスであるとの報告である場合、システムバス制
御部２１３は、アドレスのビット６１〜６２を００にセ
ットして、主記憶装置インターフェース２１２へリクエ
ストを送信する。
【００５８】主記憶装置インターフェース２１２は、シ
ステムバス制御部２１３からのリクエストを受け取る
と、このリクエストを主記憶装置１１７へ発行し、所定
の手順に従ってリクエストが実行される。
ステムバス制御部２１３からのリクエストを受け取る
と、このリクエストを主記憶装置１１７へ発行し、所定
の手順に従ってリクエストが実行される。
【００５９】一方、クラスタ構成制御部１２１からシス
テムバス制御部２１３からの報告が、自ノードのメモリ
に対するアクセスではない場合、システムバス制御部２
１１３はそのリクエストを破棄する。
テムバス制御部２１３からの報告が、自ノードのメモリ
に対するアクセスではない場合、システムバス制御部２
１１３はそのリクエストを破棄する。
【００６０】次に、プロセッサが共有メモリへアクセス
するリクエストを出した場合について説明する。
するリクエストを出した場合について説明する。
【００６１】いずれかのプロセッサから、メモリへアク
セスするリクエストが発行されると、このリクエストは
プロセッサバス１１５を介して、プロセッサバス制御部
２１１へ送られる。プロセッサバス制御部２１１では、
このリクエストのアドレスのビット６３が１であること
から、このリクエストが共有メモリへのアクセスである
ことを認識し、リクエストのアドレス信号３０６をクラ
スタ構成制御部１２１へ送信する。クラスタ構成制御部
１２１では、アドレスのビット６３が１であるので、こ
のリクエストが共有メモリへのアクセスであることを認
識して、リクエストのアドレスのビット６１〜６２の値
と、レジスタ５１２およびレジスタ５１５を参照してこ
のリクエストが自ノードの属するグループへのアクセス
かどうかを判断して、その結果をプロセッサバス制御部
２１１へ報告する。
セスするリクエストが発行されると、このリクエストは
プロセッサバス１１５を介して、プロセッサバス制御部
２１１へ送られる。プロセッサバス制御部２１１では、
このリクエストのアドレスのビット６３が１であること
から、このリクエストが共有メモリへのアクセスである
ことを認識し、リクエストのアドレス信号３０６をクラ
スタ構成制御部１２１へ送信する。クラスタ構成制御部
１２１では、アドレスのビット６３が１であるので、こ
のリクエストが共有メモリへのアクセスであることを認
識して、リクエストのアドレスのビット６１〜６２の値
と、レジスタ５１２およびレジスタ５１５を参照してこ
のリクエストが自ノードの属するグループへのアクセス
かどうかを判断して、その結果をプロセッサバス制御部
２１１へ報告する。
【００６２】ここで、クラスタ構成制御部１２１は、リ
クエストのアドレスがレジスタ５１３〜５１４およびレ
ジスタ５１６〜５１７で示されるアドレスレンジの範囲
を超えたアクセスであるかどうかを判断して、範囲外で
あった場合、当該アクセスを不正アクセスとしてプロセ
ッサバス制御部２１１へ報告する。
クエストのアドレスがレジスタ５１３〜５１４およびレ
ジスタ５１６〜５１７で示されるアドレスレンジの範囲
を超えたアクセスであるかどうかを判断して、範囲外で
あった場合、当該アクセスを不正アクセスとしてプロセ
ッサバス制御部２１１へ報告する。
【００６３】プロセッサバス制御部２１１は、リクエス
トのアドレスがアドレスレンジの範囲内である適正なア
ドレスであるとの報告を受けた場合でも、当該リクエス
トが更新（ライト）であり、かつ他グループがオーナの
共有メモリへのアクセスであった場合は、これを不正ア
クセスとして検出する。不正アクセスが検出されると、
障害処理が起動される。障害処理については周知の技術
であるため、ここでは説明を省略する。
トのアドレスがアドレスレンジの範囲内である適正なア
ドレスであるとの報告を受けた場合でも、当該リクエス
トが更新（ライト）であり、かつ他グループがオーナの
共有メモリへのアクセスであった場合は、これを不正ア
クセスとして検出する。不正アクセスが検出されると、
障害処理が起動される。障害処理については周知の技術
であるため、ここでは説明を省略する。
【００６４】不正アクセスが検出されない場合、プロセ
ッサバス制御部２１１は、そのリクエストをシステムバ
ス制御部２１３へ発行し、システムバス制御部２１３は
当該リクエストをシステムバス１０５へ送る。
ッサバス制御部２１１は、そのリクエストをシステムバ
ス制御部２１３へ発行し、システムバス制御部２１３は
当該リクエストをシステムバス１０５へ送る。
【００６５】システムバス１０５を介して、ノード１０
１〜１０４の各システムバス制御部２１３はこのリクエ
ストを受け取り、それぞれのクラスタ構成制御部１２１
へアドレスを送信する。各クラスタ構成制御部１２１
は、このリクエストのアドレスのビット６３が１である
ので、このリクエストが共有メモリへのアクセスである
ことを認識する。
１〜１０４の各システムバス制御部２１３はこのリクエ
ストを受け取り、それぞれのクラスタ構成制御部１２１
へアドレスを送信する。各クラスタ構成制御部１２１
は、このリクエストのアドレスのビット６３が１である
ので、このリクエストが共有メモリへのアクセスである
ことを認識する。
【００６６】次いで、クラスタ構成制御部１２１は、ア
ドレスのビット６１〜６２の値と、レジスタ５１２およ
びレジスタ５１５とを参照して、このリクエストが自ノ
ードが属するグループに対するアクセスであるかどうか
を判断し、自ノードが属するグループに対するアクセス
である場合には、レジスタ５１３およびレジスタ５１４
を参照して、このリクエストが自ノードに対するアクセ
スであるかどうかを判断し、その結果をシステムバス制
御部２１３へ報告する。
ドレスのビット６１〜６２の値と、レジスタ５１２およ
びレジスタ５１５とを参照して、このリクエストが自ノ
ードが属するグループに対するアクセスであるかどうか
を判断し、自ノードが属するグループに対するアクセス
である場合には、レジスタ５１３およびレジスタ５１４
を参照して、このリクエストが自ノードに対するアクセ
スであるかどうかを判断し、その結果をシステムバス制
御部２１３へ報告する。
【００６７】この報告が、自ノードの共有メモリに対す
るアクセスであるとの報告である場合、システムバス制
御部２１３は、アドレスのビット６１〜６３を０００に
セットして、主記憶装置インターフェース２１２へリク
エストを送信する。
るアクセスであるとの報告である場合、システムバス制
御部２１３は、アドレスのビット６１〜６３を０００に
セットして、主記憶装置インターフェース２１２へリク
エストを送信する。
【００６８】主記憶装置インターフェース２１２はシス
テムバス制御部２１３からのリクエストを受け取ると、
このリクエストを主記憶装置１１７へ発行し、所定の手
順に従ってリクエストが実行される。
テムバス制御部２１３からのリクエストを受け取ると、
このリクエストを主記憶装置１１７へ発行し、所定の手
順に従ってリクエストが実行される。
【００６９】一方、クラスタ構成制御部１２１からシス
テムバス制御部２１３への報告が、自ノードに対するア
クセスではない場合は、システムバス制御部２１３はそ
のリクエストを破棄する。
テムバス制御部２１３への報告が、自ノードに対するア
クセスではない場合は、システムバス制御部２１３はそ
のリクエストを破棄する。
【００７０】図５は、本発明のデータ処理装置で好適に
使用されるアドレスのフォーマットの一例を示す図であ
る。この図は、プロセッサが自グループの固有メモリ、
自グループまたは他グループの共有メモリへアクセスす
る場合のフォーマットである。本例では６４ビット中、
実アドレス空間としてビット０〜６０が使用されてお
り、ビット６１〜６３は共有メモリにアクセスする際に
使用される。即ち、プロセッサは共有メモリにアクセス
する場合、ビット６３を１にセットすると共に、ビット
６１〜６２にグループ番号をセットして、共有メモリ空
間のアドレスをビット０〜６０で指定するようにする。
一方、プロセッサが自グループの固有メモリをアクセス
する場合は、ビット６１〜６３を０００にセットして、
ビット０〜６０でアドレスを指定するようにする。
使用されるアドレスのフォーマットの一例を示す図であ
る。この図は、プロセッサが自グループの固有メモリ、
自グループまたは他グループの共有メモリへアクセスす
る場合のフォーマットである。本例では６４ビット中、
実アドレス空間としてビット０〜６０が使用されてお
り、ビット６１〜６３は共有メモリにアクセスする際に
使用される。即ち、プロセッサは共有メモリにアクセス
する場合、ビット６３を１にセットすると共に、ビット
６１〜６２にグループ番号をセットして、共有メモリ空
間のアドレスをビット０〜６０で指定するようにする。
一方、プロセッサが自グループの固有メモリをアクセス
する場合は、ビット６１〜６３を０００にセットして、
ビット０〜６０でアドレスを指定するようにする。
【００７１】このように構成することによって、一以上
のＣＰＵと、ひとつの主記憶装置で構成されるノードを
複数個設けて一つのシステムを構成するデータ処理装置
において、各ノードを独立したオペレーティングシステ
ムで動作する複数のグループとして運用することが可能
となると共に、これらのグループ間で、共有メモリを介
して高速で通信することができる。
のＣＰＵと、ひとつの主記憶装置で構成されるノードを
複数個設けて一つのシステムを構成するデータ処理装置
において、各ノードを独立したオペレーティングシステ
ムで動作する複数のグループとして運用することが可能
となると共に、これらのグループ間で、共有メモリを介
して高速で通信することができる。
【００７２】なお、上述したレジスタの構成、アドレス
フォーマットの構成は、本発明を実施するための一例で
ある。本発明はこれらの例に限定されるものではなく、
様々な変形例が考えられる。
フォーマットの構成は、本発明を実施するための一例で
ある。本発明はこれらの例に限定されるものではなく、
様々な変形例が考えられる。
【００７３】
【発明の効果】上述したとおり、本発明のデータ処理装
置によれば、装置内で選択的にクラスタ構成を実現する
ことが可能である。この場合、クラスタを構成するグル
ープがそれぞれ独立のオペレーティングシステムで動作
し、オペレーティングシステム間の通信は共有メモリを
使用して同期をとることができる。一方、クラスタ構成
にしない場合には、従来どおり一のオペレーティングシ
ステムによってシステムが動作する。このように、一つ
のシステム内で、クラスタ構成にしたシステム、あるい
は、クラスタ構成をとらないシステムを選択することが
できる。また、レジスタの設定によってクラスタを構成
するグループ分けを任意に行うことができるので、シス
テムの運用の目的に応じて適切な構成を選ぶことができ
る。更に、不正アクセスを検出する機構が設けられてい
るため、クラスタを構成する一つのグループの動作は他
のグループに最低限の影響しか与えることはない。
置によれば、装置内で選択的にクラスタ構成を実現する
ことが可能である。この場合、クラスタを構成するグル
ープがそれぞれ独立のオペレーティングシステムで動作
し、オペレーティングシステム間の通信は共有メモリを
使用して同期をとることができる。一方、クラスタ構成
にしない場合には、従来どおり一のオペレーティングシ
ステムによってシステムが動作する。このように、一つ
のシステム内で、クラスタ構成にしたシステム、あるい
は、クラスタ構成をとらないシステムを選択することが
できる。また、レジスタの設定によってクラスタを構成
するグループ分けを任意に行うことができるので、シス
テムの運用の目的に応じて適切な構成を選ぶことができ
る。更に、不正アクセスを検出する機構が設けられてい
るため、クラスタを構成する一つのグループの動作は他
のグループに最低限の影響しか与えることはない。
【図１】図１は、本発明のデータ処理装置の構成を示す
ブロック図である。
ブロック図である。
【図２】図２は、本発明のデータ処理装置のシステム制
御装置の構成を示すブロック図である。
御装置の構成を示すブロック図である。
【図３】図３は、本発明のデータ処理装置のクラスタ構
成制御部の構成例を示すブロック図である。
成制御部の構成例を示すブロック図である。
【図４】図４は、本発明のデータ処理装置のクラスタ構
成制御部の他の構成他を示すブロック図である。
成制御部の他の構成他を示すブロック図である。
【図５】図５は、本発明のデータ処理装置で使用される
アドレスのフォーマットの一例を示す図である。
アドレスのフォーマットの一例を示す図である。
１０１〜１０４ ノード １０５ システムバス １１１〜１１４ プロセッサ １１５ プロセッサバス １１６ システム制御装置 １１７ 主記憶装置 １２１ クラスタ構成制御部 ２１１ プロセッサバス制御部 ２１２ 主記憶装置インターフェース部 ２１３ システムバス制御部 ３１１〜３１６、５１１〜５１７ レジスタ ３１７、３１８ クラスタ演算部
Claims (10)
- 【請求項１】 一以上のＣＰＵと主記憶装置から構成さ
れる複数個のノードでひとつのシステムを構成するデー
タ処理装置において、前記主記憶装置のメモリ空間に前
記クラスタに共通する共有メモリ領域を設けるととも
に、前記複数個のノードを任意の数のグループに分けて
前記システム内でクラスタを構成し、前記グループ間の
通信を前記共有メモリ領域内で行うようにしたことを特
徴とするデータ処理装置。 - 【請求項２】 前記クラスタを、グループごとに独立し
たオペレーティングシステムで動作させるようにし、こ
のオペレーティングシステム間の通信を前記共有メモリ
領域内で行うようにしたことを特徴とする請求項１に記
載のデータ処理装置。 - 【請求項３】 前記データ処理装置が、クラスタ構成制
御手段を具え、当該クラスタ構成制御手段の設定によ
り、前記クラスタを自在に構成できるようにしたことを
特徴とする請求項１または２に記載のデータ処理装置。 - 【請求項４】 前記クラスタ構成制御手段が、前記ノー
ドの各々に設けたクラスタ構成制御部で構成されてお
り、このクラスタ構成制御部が複数のレジスタを具え、
このレジスタの設定を変更することによって、前記ノー
ドを自在にグループ分けできるようにしたことを特徴と
する請求項３に記載のデータ処理装置。 - 【請求項５】 請求項４に記載のデータ処理装置におい
て、前記各ＣＰＵは、当該ＣＰＵが属するグループの固
有メモリと、当該ＣＰＵが属するグループがオーナの共
有メモリと、当該ＣＰＵが属していない他のグループが
オーナの共有メモリに対してのみアクセス可能であるこ
とを特徴とするデータ処理装置。 - 【請求項６】 請求項５に記載のデータ処理装置におい
て、前記ＣＰＵは当該ＣＰＵが属していない他のグルー
プがオーナの共有メモリに対してアクセスする場合、当
該共有メモリを参照することはできるが、変更すること
はできないことを特徴とするデータ処理装置。 - 【請求項７】 請求項５に記載のデータ処理装置におい
て、前記ＣＰＵからのアクセスが、当該ＣＰＵが属する
グループの固有メモリに対するアクセスであるか、他グ
ループの固有メモリに対するアクセスであるか、他グル
ープがオーナの共有メモリに対するアクセスであるかを
判別し、これらのアクセス以外のアクセスである場合
に、前記ＣＰＵからのアクセスを不正アクセスとして検
出することを特徴とするデータ処理装置。 - 【請求項８】 請求項４に記載のデータ処理装置におい
て、前記ＣＰＵからのアクセスが当該ＣＰＵが属してい
ない他のグループがオーナの共有メモリに対するアクセ
スであり、当該共有メモリを変更する旨のアクセスであ
る場合に、前記ＣＰＵからのアクセスを不正アクセスと
して検出することを特徴とするデータ処理装置。 - 【請求項９】 一以上のＣＰＵと主記憶装置から構成さ
れる複数個のノードで構成するシステム内のデータ処理
方法において、前記システムを構成するノードをグルー
プ分けして前記システム内でクラスタを構成し、各クラ
スタを独立したオペレーティングシステムによって動作
させるとともに、前記主記憶装置のメモリ空間に前記複
数個のノードに共通する共有メモリ領域を設けてこの共
有メモリ領域を使用して前記独立して動作するオペレー
ティングシステム間の通信を行うようにしたことを特徴
とするデータ処理方法。 - 【請求項１０】 請求項９に記載のデータ処理方法にお
いて、前記複数個のノードを自在にグループ分けしてク
ラスタを構成することを特徴とするデータ処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35045698A JP3976432B2 (ja) | 1998-12-09 | 1998-12-09 | データ処理装置およびデータ処理方法 |
| US09/440,157 US6938078B1 (en) | 1998-12-09 | 1999-11-15 | Data processing apparatus and data processing method |
| FR9915468A FR2788868B1 (fr) | 1998-12-09 | 1999-12-08 | Appareil de traitement de donnees et procede de traitement de donnees |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35045698A JP3976432B2 (ja) | 1998-12-09 | 1998-12-09 | データ処理装置およびデータ処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000172655A true JP2000172655A (ja) | 2000-06-23 |
| JP3976432B2 JP3976432B2 (ja) | 2007-09-19 |
Family
ID=18410627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35045698A Expired - Fee Related JP3976432B2 (ja) | 1998-12-09 | 1998-12-09 | データ処理装置およびデータ処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6938078B1 (ja) |
| JP (1) | JP3976432B2 (ja) |
| FR (1) | FR2788868B1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007507042A (ja) * | 2003-09-25 | 2007-03-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 複数のメモリを有する半導体デバイス |
| JP2010009567A (ja) * | 2008-06-27 | 2010-01-14 | Internatl Business Mach Corp <Ibm> | 動的にマージされた物理パーティションを含む情報処理システムおよびこれを動作させる方法 |
| WO2021111585A1 (ja) * | 2019-12-05 | 2021-06-10 | 日本電信電話株式会社 | 分散処理システム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009556B2 (en) * | 2003-10-17 | 2011-08-30 | Ip Infusion, Inc. | System and method for providing redundant routing capabilities for a network node |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5036041A (ja) | 1973-07-11 | 1975-04-04 | ||
| JPS53139939A (en) | 1977-05-13 | 1978-12-06 | Toshiba Corp | Memory addressing method |
| JPS5833766A (ja) | 1981-08-22 | 1983-02-28 | Nippon Signal Co Ltd:The | マルチマイクロコンピユ−タ |
| JPS58103053A (ja) | 1981-12-14 | 1983-06-18 | Mitsubishi Electric Corp | 共有記憶システム |
| JPS58144273A (ja) | 1982-02-19 | 1983-08-27 | Nec Corp | プロセツサ間通信方式 |
| JPS6412364A (en) | 1987-07-06 | 1989-01-17 | Nippon Telegraph & Telephone | System constitution control system |
| JPH01106150A (ja) | 1987-10-17 | 1989-04-24 | Fanuc Ltd | ローカルメモリ保護方式 |
| JP2594979B2 (ja) * | 1987-10-23 | 1997-03-26 | 株式会社日立製作所 | マルチプロセツサシステム |
| JPH01134656A (ja) | 1987-11-20 | 1989-05-26 | Nippon Telegr & Teleph Corp <Ntt> | 主記憶分散構成をもつ情報処理装置 |
| JP2953584B2 (ja) | 1988-01-12 | 1999-09-27 | 三菱電機株式会社 | マルチプロセッサシステムにおける各メモリボードの記憶保護方式 |
| JP3004278B2 (ja) | 1988-11-24 | 2000-01-31 | 富士通株式会社 | マルチプロセッサシステム |
| JPH03271861A (ja) | 1990-03-20 | 1991-12-03 | Fujitsu Ltd | 共有メモリアクセス制御方式 |
| JPH04278662A (ja) | 1991-03-06 | 1992-10-05 | Nec Corp | マルチプロセッサシステム |
| JP2770603B2 (ja) * | 1991-03-14 | 1998-07-02 | 三菱電機株式会社 | 並列計算機 |
| US6282583B1 (en) * | 1991-06-04 | 2001-08-28 | Silicon Graphics, Inc. | Method and apparatus for memory access in a matrix processor computer |
| US5428803A (en) * | 1992-07-10 | 1995-06-27 | Cray Research, Inc. | Method and apparatus for a unified parallel processing architecture |
| JPH06231033A (ja) | 1993-02-05 | 1994-08-19 | Fujitsu Ltd | 分散共有メモリシステムを有するデータ処理装置 |
| US5617537A (en) * | 1993-10-05 | 1997-04-01 | Nippon Telegraph And Telephone Corporation | Message passing system for distributed shared memory multiprocessor system and message passing method using the same |
| US6295585B1 (en) * | 1995-06-07 | 2001-09-25 | Compaq Computer Corporation | High-performance communication method and apparatus for write-only networks |
| US5590301A (en) * | 1995-10-06 | 1996-12-31 | Bull Hn Information Systems Inc. | Address transformation in a cluster computer system |
| JP3573546B2 (ja) * | 1995-10-27 | 2004-10-06 | 富士通株式会社 | 並列計算機における並列プロセススケジューリング方法および並列計算機用処理装置 |
| US5793962A (en) | 1996-04-30 | 1998-08-11 | International Business Machines Corporation | System for managing membership of a group of processors in a distributed computing environment |
| US5787249A (en) | 1996-04-30 | 1998-07-28 | International Business Machines Coporation | Method for managing membership of a group of processors in a distributed computing environment |
| US6148377A (en) * | 1996-11-22 | 2000-11-14 | Mangosoft Corporation | Shared memory computer networks |
| US5931938A (en) * | 1996-12-12 | 1999-08-03 | Sun Microsystems, Inc. | Multiprocessor computer having configurable hardware system domains |
| JP3849951B2 (ja) | 1997-02-27 | 2006-11-22 | 株式会社日立製作所 | 主記憶共有型マルチプロセッサ |
| US6442670B2 (en) * | 1997-03-25 | 2002-08-27 | Sun Microsystems, Inc. | Data processing system including a shared memory resource circuit |
| US6094532A (en) * | 1997-03-25 | 2000-07-25 | Sun Microsystems, Inc. | Multiprocessor distributed memory system and board and methods therefor |
| US6085303A (en) * | 1997-11-17 | 2000-07-04 | Cray Research, Inc. | Seralized race-free virtual barrier network |
| US6148349A (en) * | 1998-02-06 | 2000-11-14 | Ncr Corporation | Dynamic and consistent naming of fabric attached storage by a file system on a compute node storing information mapping API system I/O calls for data objects with a globally unique identification |
| US6611911B1 (en) * | 1999-12-30 | 2003-08-26 | Intel Corporation | Bootstrap processor election mechanism on multiple cluster bus system |
-
1998
- 1998-12-09 JP JP35045698A patent/JP3976432B2/ja not_active Expired - Fee Related
-
1999
- 1999-11-15 US US09/440,157 patent/US6938078B1/en not_active Expired - Fee Related
- 1999-12-08 FR FR9915468A patent/FR2788868B1/fr not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007507042A (ja) * | 2003-09-25 | 2007-03-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 複数のメモリを有する半導体デバイス |
| JP4709761B2 (ja) * | 2003-09-25 | 2011-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 半導体素子 |
| JP2010009567A (ja) * | 2008-06-27 | 2010-01-14 | Internatl Business Mach Corp <Ibm> | 動的にマージされた物理パーティションを含む情報処理システムおよびこれを動作させる方法 |
| US7743375B2 (en) | 2008-06-27 | 2010-06-22 | International Business Machines Corporation | Information handling system including dynamically merged physical partitions |
| JP4550136B2 (ja) * | 2008-06-27 | 2010-09-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 動的にマージされた物理パーティションを含む情報処理システムおよびこれを動作させる方法 |
| WO2021111585A1 (ja) * | 2019-12-05 | 2021-06-10 | 日本電信電話株式会社 | 分散処理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2788868B1 (fr) | 2005-05-20 |
| FR2788868A1 (fr) | 2000-07-28 |
| JP3976432B2 (ja) | 2007-09-19 |
| US6938078B1 (en) | 2005-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6665742B2 (en) | System for reconfiguring a first device and/or a second device to use a maximum compatible communication parameters based on transmitting a communication to the first and second devices of a point-to-point link | |
| JP2558393B2 (ja) | 多重クラスタ信号プロセッサ | |
| US7818509B2 (en) | Combined response cancellation for load command | |
| EP0721164A2 (en) | Crossbar switch apparatus and protocol | |
| US6725307B1 (en) | Method and system for controlling data transfers with physical separation of data functionality from address and control functionality in a distributed multi-bus multiprocessor system | |
| JP2003114879A (ja) | メッセージトラフィックとマルチシャーシコンピュータシステムのバランスをとる方法 | |
| JPS6218949B2 (ja) | ||
| JP3206126B2 (ja) | 分散クロスバー・スイッチ・アーキテクチャにおけるスイッチング・アレイ | |
| WO2014206078A1 (zh) | 内存访问方法、装置及系统 | |
| US6339812B1 (en) | Method and apparatus for handling invalidation requests to processors not present in a computer system | |
| JPH0635874A (ja) | 並列プロセッサ | |
| JP2000172655A (ja) | データ処理装置およびデータ処理方法 | |
| US7480832B2 (en) | Centralized error signaling and logging | |
| CN109032967B (zh) | 一种基于三维众核处理器的Cache地址映射方法 | |
| JPH04359335A (ja) | メモリアクセス方式 | |
| JPH06274463A (ja) | データ通信システム | |
| JPH1027131A (ja) | メモリ装置 | |
| JPH08286974A (ja) | キャッシュメモリ装置 | |
| CN115964982A (zh) | 加速器的拓扑结构 | |
| JP2913702B2 (ja) | マルチプロセッサシステムのアクセス受付制御方式 | |
| WO2023107004A2 (en) | Neurosynaptic core and method of operating the same | |
| JPS61118847A (ja) | メモリの同時アクセス制御方式 | |
| JP3307083B2 (ja) | 通信制御装置 | |
| JPH10232825A (ja) | キャッシュメモリ制御方式 | |
| JPH01214951A (ja) | 通信用ｌｓｉの通信制御装置への実装方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20031127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20031127 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040312 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040820 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061110 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070619 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |