JP2002183105A - スケーラブルパラレル処理のためのユニット同期化を処理する方法 - Google Patents
スケーラブルパラレル処理のためのユニット同期化を処理する方法Info
- Publication number
- JP2002183105A JP2002183105A JP2001321305A JP2001321305A JP2002183105A JP 2002183105 A JP2002183105 A JP 2002183105A JP 2001321305 A JP2001321305 A JP 2001321305A JP 2001321305 A JP2001321305 A JP 2001321305A JP 2002183105 A JP2002183105 A JP 2002183105A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- cells
- partition
- rendezvous
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/177—Initialisation or configuration control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1417—Boot up procedures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4405—Initialisation of multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1482—Generic software techniques for error detection or fault masking by means of middleware or OS functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Hardware Redundancy (AREA)
- Multi Processors (AREA)
Abstract
(57)【要約】
【課題】複数の独立して実行するセル（システムリソー
スを構成する別個のハードウェアエンティティ）からの
パーティションの形成を柔軟に管理するシステムおよび
方法を提供する。 【解決手段】パーティションを形成するようにセルの構
成済みセットのうちのセルの一部を同期させる方法であ
って、（ａ）第１のランデブ状態に達するステップ（２
０８ｅ）と、（ｂ）前記一部の他のセルが該初期ランデ
ブ状態に達することができるように遅延するステップ
（２０８ｆ）と、（ｃ）第２のランデブ状態に遷移する
ステップ（２１０）と、を含み、前記一部のセルは、前
記ステップ（ａ）〜（ｃ）を独立して並列に実行する。
スを構成する別個のハードウェアエンティティ）からの
パーティションの形成を柔軟に管理するシステムおよび
方法を提供する。 【解決手段】パーティションを形成するようにセルの構
成済みセットのうちのセルの一部を同期させる方法であ
って、（ａ）第１のランデブ状態に達するステップ（２
０８ｅ）と、（ｂ）前記一部の他のセルが該初期ランデ
ブ状態に達することができるように遅延するステップ
（２０８ｆ）と、（ｃ）第２のランデブ状態に遷移する
ステップ（２１０）と、を含み、前記一部のセルは、前
記ステップ（ａ）〜（ｃ）を独立して並列に実行する。
Description
【０００１】
【発明の属する技術分野】本発明は、マルチパーティシ
ョンコンピュータシステムの独立して実行しているセル
を、単一障害点を生成することなく１つのパーティショ
ンに編成するシステムおよび方法に関し、特に、それぞ
れのセルで並列に実行される命令によってセルをパーテ
ィションに編成することに関する。
ョンコンピュータシステムの独立して実行しているセル
を、単一障害点を生成することなく１つのパーティショ
ンに編成するシステムおよび方法に関し、特に、それぞ
れのセルで並列に実行される命令によってセルをパーテ
ィションに編成することに関する。
【０００２】（関連出願）この出願は、その開示内容が
すべて引用をもって本明細書内に包含されたものとす
る、「RECONFIGURATION SUPPORT FOR MULTI PARTITION
COMPUTER SYSTEM」と題された、同時係属の本願と同一の
譲受人に譲渡された米国特許出願第09/562、590号と、「A
SERVICE PROCESSOR WITH ALGORITHMS FOR SUPPORTING
A MULTI PARTITION COMPUTER」と題された、同時係属の
本願と同一の譲受人に譲渡された米国特許出願第０９／
５６１、８１２号と、に関連する。
すべて引用をもって本明細書内に包含されたものとす
る、「RECONFIGURATION SUPPORT FOR MULTI PARTITION
COMPUTER SYSTEM」と題された、同時係属の本願と同一の
譲受人に譲渡された米国特許出願第09/562、590号と、「A
SERVICE PROCESSOR WITH ALGORITHMS FOR SUPPORTING
A MULTI PARTITION COMPUTER」と題された、同時係属の
本願と同一の譲受人に譲渡された米国特許出願第０９／
５６１、８１２号と、に関連する。
【０００３】
【従来の技術】従来のコンピュータプラットフォーム
は、複数のＣＰＵがオペレーティングシステム（ＯＳ）
の単一のコピーを実行している、対称型マルチプロセッ
サ（symmetric multi processor（ＳＭＰ））構成であ
った。ＯＳは、複数のアプリケーションの実行を可能に
するためにタイムシェアリングサービスを提供する。し
かしながら、この構成により、アプリケーションは互い
に干渉することを許すことになる。例えば、システムが
アカウンティングアプリケーションを実行している場
合、そのアカウンティングアプリケーションは、ＯＳが
割付けることができるプロセッサと共に、システムのメ
モリを不均衡に割付ける可能性がある。そして、他のア
プリケーション、例えば製造アプリケーションは、プロ
セッサまたはメモリを必要とする時、その必要のために
十分なメモリまたはプロセッサを割付けることができ
ず、従って、許容できない性能を示す。このため、製造
アプリケーションは、非常に低速になるか、またはアカ
ウンティングアプリケーションにより別の形で悪影響を
受ける。また、この構成では、システムが障害に対し脆
弱である。１つのアプリケーションの問題により、他の
すべてのアプリケーションに障害がもたらされる可能性
がある。
は、複数のＣＰＵがオペレーティングシステム（ＯＳ）
の単一のコピーを実行している、対称型マルチプロセッ
サ（symmetric multi processor（ＳＭＰ））構成であ
った。ＯＳは、複数のアプリケーションの実行を可能に
するためにタイムシェアリングサービスを提供する。し
かしながら、この構成により、アプリケーションは互い
に干渉することを許すことになる。例えば、システムが
アカウンティングアプリケーションを実行している場
合、そのアカウンティングアプリケーションは、ＯＳが
割付けることができるプロセッサと共に、システムのメ
モリを不均衡に割付ける可能性がある。そして、他のア
プリケーション、例えば製造アプリケーションは、プロ
セッサまたはメモリを必要とする時、その必要のために
十分なメモリまたはプロセッサを割付けることができ
ず、従って、許容できない性能を示す。このため、製造
アプリケーションは、非常に低速になるか、またはアカ
ウンティングアプリケーションにより別の形で悪影響を
受ける。また、この構成では、システムが障害に対し脆
弱である。１つのアプリケーションの問題により、他の
すべてのアプリケーションに障害がもたらされる可能性
がある。
【０００４】
【発明が解決しようとする課題】この問題に対する既知
の解決法は、コンピュータシステムをパーティションま
たは保護ドメインに分離する、というものである。これ
らパーティションは、リソースを別個の機能ブロックに
するハードウェアセパレーションである。１つのブロッ
クのリソースは、他のブロックのリソースに直接アクセ
スすることはできない。これにより、１つのアプリケー
ションが全システムリソースを使用することが防止され
ると共に、障害および誤りが阻止される。この解決法
は、それ自体の問題を呈する。パーティションは、いっ
たん画定されると、事実上静止し、容易に変更すること
はできない。かかるシステムは、障害に対して耐性がな
い。第１に、これらシステムでは、ブートアップ時にパ
ーティション形成プロセスを管理するために構成プロセ
ッサが存在する必要がある。このため、これら解決法
は、単一障害点を含む。第２に、構造上の障害（fabric
failure）または他の問題によりパーティション形成プ
ロセス中に特定のリソースが存在しない場合、影響を受
けるパーティションまたはシステム全体までもが機能す
ることができない場合がある。
の解決法は、コンピュータシステムをパーティションま
たは保護ドメインに分離する、というものである。これ
らパーティションは、リソースを別個の機能ブロックに
するハードウェアセパレーションである。１つのブロッ
クのリソースは、他のブロックのリソースに直接アクセ
スすることはできない。これにより、１つのアプリケー
ションが全システムリソースを使用することが防止され
ると共に、障害および誤りが阻止される。この解決法
は、それ自体の問題を呈する。パーティションは、いっ
たん画定されると、事実上静止し、容易に変更すること
はできない。かかるシステムは、障害に対して耐性がな
い。第１に、これらシステムでは、ブートアップ時にパ
ーティション形成プロセスを管理するために構成プロセ
ッサが存在する必要がある。このため、これら解決法
は、単一障害点を含む。第２に、構造上の障害（fabric
failure）または他の問題によりパーティション形成プ
ロセス中に特定のリソースが存在しない場合、影響を受
けるパーティションまたはシステム全体までもが機能す
ることができない場合がある。
【０００５】
【課題を解決するための手段】本発明は、パーティショ
ンに対するオペレーティングシステムインスタンスのイ
ンスタンス化に向けて、複数の独立して実行するセル
（システムリソースを構成する別個のハードウェアエン
ティティ）からのパーティションの形成を柔軟に管理す
るシステムおよび方法に関する。特に、本発明は、好ま
しくは、個々のセルを独立に動作させること、およびセ
ルをランデブ（rendezvous、集合）させることから、セ
ルを、パーティションとして動作を継続するように相互
依存させることに、遷移するように行なわれる、構成ア
クティビティを管理する。本発明は、好ましくは、単一
障害点がプロセスを中断させることがないように、パー
ティショニング形成プロセスを管理する。代りに、本発
明は、好ましくは、個々のセルがコンプレックスプロフ
ァイル（コンプレックス構成の「マップ」）のそれぞれ
のコピーに基づいて命令を個々に実行する分散アプリケ
ーションとして実現される。また、本発明は、好ましく
は、形成またはランデブプロセスに参加する用意ができ
ているいくつかのセルに関連するある程度の遅延に適応
する。本発明は、好ましくは、欠落した、使用不可能
な、または他の形で誤動作するセルに対処することがで
きる。本発明は、好ましくは、セル間の破壊されたファ
ブリック接続と欠落したＩ／Ｏ能力とに適応する。更
に、本発明は、好ましくは、現セルを分析することによ
り、それらの互換性を決定し、互換性のないセルを拒否
する。
ンに対するオペレーティングシステムインスタンスのイ
ンスタンス化に向けて、複数の独立して実行するセル
（システムリソースを構成する別個のハードウェアエン
ティティ）からのパーティションの形成を柔軟に管理す
るシステムおよび方法に関する。特に、本発明は、好ま
しくは、個々のセルを独立に動作させること、およびセ
ルをランデブ（rendezvous、集合）させることから、セ
ルを、パーティションとして動作を継続するように相互
依存させることに、遷移するように行なわれる、構成ア
クティビティを管理する。本発明は、好ましくは、単一
障害点がプロセスを中断させることがないように、パー
ティショニング形成プロセスを管理する。代りに、本発
明は、好ましくは、個々のセルがコンプレックスプロフ
ァイル（コンプレックス構成の「マップ」）のそれぞれ
のコピーに基づいて命令を個々に実行する分散アプリケ
ーションとして実現される。また、本発明は、好ましく
は、形成またはランデブプロセスに参加する用意ができ
ているいくつかのセルに関連するある程度の遅延に適応
する。本発明は、好ましくは、欠落した、使用不可能
な、または他の形で誤動作するセルに対処することがで
きる。本発明は、好ましくは、セル間の破壊されたファ
ブリック接続と欠落したＩ／Ｏ能力とに適応する。更
に、本発明は、好ましくは、現セルを分析することによ
り、それらの互換性を決定し、互換性のないセルを拒否
する。
【０００６】上述したことは、下記の本発明の詳細な説
明がよりよく理解され得るように、本発明の特徴および
技術的利点をむしろ広く概説した。本発明の特許請求の
範囲の主題を形成する本発明の更なる特徴および利点
を、以下に述べる。当業者により、開示された概念およ
び特定の実施の形態は、変更するかまたは本発明の同じ
目的を実現する他の構造を設計するための基礎として容
易に利用され得る、ということが認められるはずであ
る。また、当業者により、かかる等価な構成が、併記の
特許請求の範囲において示されるような本発明の趣旨お
よび範囲から逸脱しない、ということも認められるはず
である。
明がよりよく理解され得るように、本発明の特徴および
技術的利点をむしろ広く概説した。本発明の特許請求の
範囲の主題を形成する本発明の更なる特徴および利点
を、以下に述べる。当業者により、開示された概念およ
び特定の実施の形態は、変更するかまたは本発明の同じ
目的を実現する他の構造を設計するための基礎として容
易に利用され得る、ということが認められるはずであ
る。また、当業者により、かかる等価な構成が、併記の
特許請求の範囲において示されるような本発明の趣旨お
よび範囲から逸脱しない、ということも認められるはず
である。
【０００７】本発明をより完全に理解するために、ここ
で、添付図面と共に以下の説明を参照する。
で、添付図面と共に以下の説明を参照する。
【０００８】
【発明の実施の形態】図１は、本発明を検討するための
概念的フレームワークを提供するために利用される例示
的なアーキテクチャを示す。図１に示す特定の構成は、
単に例示の目的のためにだけに提供される。
概念的フレームワークを提供するために利用される例示
的なアーキテクチャを示す。図１に示す特定の構成は、
単に例示の目的のためにだけに提供される。
【０００９】ユーティリティサブシステム１０は、１つ
または複数のサービスプロセッサ１０１とコアＩ／Ｏモ
ジュールを含む関連するインフラストラクチャと、セル
マイクロコントローラ（ＣＭ）３０４と、を備える。コ
アＩ／Ｏモジュールは、パーティションとユーティリテ
ィサブシステム１０との間の通信を容易にする（コンソ
ールデータを通信する等）、パーティションおよびユー
ティリティサブシステム１０に関連するリソースであ
る。コアＩ／Ｏは、パーティションがブートするために
必要とする最小Ｉ／Ｏ機能を含む。ユーティリティサブ
システムの機能は、いずれのシステムソフトウェアも実
行していない時にパーティションを管理すること等、コ
ンプレックス１００を管理することである。サービスプ
ロセッサ１０１は、異なるセルの各々、すなわちセル
０、セル１およびセル２のＣＭ３０４と、各パーティシ
ョンのコアＩ／Ｏモジュールとに論理的に接続される。
好ましい実現は、ユーティリティサブシステムのコンポ
ーネント間の論理接続のためにユニバーサルシリアルバ
ス（Universal Serial Bus（ＵＳＢ））を使用する。し
かしながら、コンポーネント間でメッセージを伝達する
ことができるいかなるバスまたは方法も使用することが
できる。
または複数のサービスプロセッサ１０１とコアＩ／Ｏモ
ジュールを含む関連するインフラストラクチャと、セル
マイクロコントローラ（ＣＭ）３０４と、を備える。コ
アＩ／Ｏモジュールは、パーティションとユーティリテ
ィサブシステム１０との間の通信を容易にする（コンソ
ールデータを通信する等）、パーティションおよびユー
ティリティサブシステム１０に関連するリソースであ
る。コアＩ／Ｏは、パーティションがブートするために
必要とする最小Ｉ／Ｏ機能を含む。ユーティリティサブ
システムの機能は、いずれのシステムソフトウェアも実
行していない時にパーティションを管理すること等、コ
ンプレックス１００を管理することである。サービスプ
ロセッサ１０１は、異なるセルの各々、すなわちセル
０、セル１およびセル２のＣＭ３０４と、各パーティシ
ョンのコアＩ／Ｏモジュールとに論理的に接続される。
好ましい実現は、ユーティリティサブシステムのコンポ
ーネント間の論理接続のためにユニバーサルシリアルバ
ス（Universal Serial Bus（ＵＳＢ））を使用する。し
かしながら、コンポーネント間でメッセージを伝達する
ことができるいかなるバスまたは方法も使用することが
できる。
【００１０】セルは、１つまたは複数のシステムプロセ
ッサと、メモリと、Ｉ／Ｏ接続モジュールと、プロセッ
サ依存ハードウェア（processor dependent hardware
（ＰＤＨ））モジュールと、ＣＭモジュールと、を含む
回路基板である。ＰＤＨモジュールは、好ましくは、そ
れぞれのセルのプロセッサをブートストラップするため
に利用されるファームウェアを実現する。特に、ＰＤＨ
モジュールは、好ましくは、後により詳細に説明するよ
うにパーティション形成プロセスに関連するＣＰＵ３０
２で実行される命令を実現する。
ッサと、メモリと、Ｉ／Ｏ接続モジュールと、プロセッ
サ依存ハードウェア（processor dependent hardware
（ＰＤＨ））モジュールと、ＣＭモジュールと、を含む
回路基板である。ＰＤＨモジュールは、好ましくは、そ
れぞれのセルのプロセッサをブートストラップするため
に利用されるファームウェアを実現する。特に、ＰＤＨ
モジュールは、好ましくは、後により詳細に説明するよ
うにパーティション形成プロセスに関連するＣＰＵ３０
２で実行される命令を実現する。
【００１１】セルは、パーティションに割当てることが
できる最小単位である。パーティションは、オペレーテ
ィングシステムの単一コピーを実行するセルまたはセル
のグループである。コンプレックスは、多数のパーティ
ションの集約である。コンプレックスは、複数のパーテ
ィションを備えてよく、オペレーティングシステムの複
数のコピーを同時に実行することができる。また、複数
の異なるオぺレーティングシステムを同時に実行しても
よい。パーティションは保護領域を形成し、そこでは、
異なるパーティションが、他のパーティションの動作に
悪影響を及ぼさないよう、ハードウェアによって制約さ
れる。
できる最小単位である。パーティションは、オペレーテ
ィングシステムの単一コピーを実行するセルまたはセル
のグループである。コンプレックスは、多数のパーティ
ションの集約である。コンプレックスは、複数のパーテ
ィションを備えてよく、オペレーティングシステムの複
数のコピーを同時に実行することができる。また、複数
の異なるオぺレーティングシステムを同時に実行しても
よい。パーティションは保護領域を形成し、そこでは、
異なるパーティションが、他のパーティションの動作に
悪影響を及ぼさないよう、ハードウェアによって制約さ
れる。
【００１２】セルは、ファブリックによって接続される
ように示されている。ファブリックは、インストール時
にセルが接続される、コンプレックス１００の各キャビ
ネットのバックプレーン上のＡＳＩＣおよび物理接続の
セットである。ファブリックは、好ましくは、発信して
いるセルとメモリとの間のプロセッサバス動作（例え
ば、読出し、書込み）か、メモリを含むセル上のＩ／Ｏ
か、またはバス動作によってアドレス指定されるＩ／Ｏ
の経路指定を行う。
ように示されている。ファブリックは、インストール時
にセルが接続される、コンプレックス１００の各キャビ
ネットのバックプレーン上のＡＳＩＣおよび物理接続の
セットである。ファブリックは、好ましくは、発信して
いるセルとメモリとの間のプロセッサバス動作（例え
ば、読出し、書込み）か、メモリを含むセル上のＩ／Ｏ
か、またはバス動作によってアドレス指定されるＩ／Ｏ
の経路指定を行う。
【００１３】また、図１は、セル２からなるパーティシ
ョン１も示す。パーティション１は、システムファーム
ウェアと、セル２のプロセッサで実行するＯＳおよびア
プリケーションソフトウェアと、を有する。パーティシ
ョン１とその実行中のソフトウェアとは、パーティショ
ン０から分離され隔離され、すなわち、何も共有せず、
プロセッサエージェント（ＰＡ）３０１のハードウェア
機能により互いに隔離されている。ＰＡ３０１は、好ま
しくは、パーティションゲーティングを実現する。パー
ティションゲーティングは、パーティション方式を生成
しまたは実施するために利用される。特に、パーティシ
ョンゲーティングは、所定のパーティションの一部でな
いセルが、そのパーティションの一部であるセルに対し
不都合なトランザクション（例えば、書込みトランザク
ション）を行うことを防止する。パーティションゲーテ
ィングはパーティショニングに望ましい隔離を提供す
る。例えば、別のパーティションが破損した場合、その
セルは、一時的にファブリックに大量のトラフィックを
発行する場合がある。他のパーティションからのセル
は、そのトラフィックを検出する。しかしながら、破損
していないパーティションに関連するセルは、誤ったト
ラフィックに応答することは決してない。パーティショ
ンゲーティング機能が、それぞれのパーティションに属
さないセルからの不都合なトランザクションを無視する
ようにプログラムされているためである。ＰＡ３０１
は、好ましくは、許可されたセルを可変に構成するよう
プログラム可能である。特に、ＰＡ３０１は、各リセッ
ト、リブートまたは再構成手続き時に、異なるセルのセ
ットにトランザクションを制限するようプログラムされ
てよい。
ョン１も示す。パーティション１は、システムファーム
ウェアと、セル２のプロセッサで実行するＯＳおよびア
プリケーションソフトウェアと、を有する。パーティシ
ョン１とその実行中のソフトウェアとは、パーティショ
ン０から分離され隔離され、すなわち、何も共有せず、
プロセッサエージェント（ＰＡ）３０１のハードウェア
機能により互いに隔離されている。ＰＡ３０１は、好ま
しくは、パーティションゲーティングを実現する。パー
ティションゲーティングは、パーティション方式を生成
しまたは実施するために利用される。特に、パーティシ
ョンゲーティングは、所定のパーティションの一部でな
いセルが、そのパーティションの一部であるセルに対し
不都合なトランザクション（例えば、書込みトランザク
ション）を行うことを防止する。パーティションゲーテ
ィングはパーティショニングに望ましい隔離を提供す
る。例えば、別のパーティションが破損した場合、その
セルは、一時的にファブリックに大量のトラフィックを
発行する場合がある。他のパーティションからのセル
は、そのトラフィックを検出する。しかしながら、破損
していないパーティションに関連するセルは、誤ったト
ラフィックに応答することは決してない。パーティショ
ンゲーティング機能が、それぞれのパーティションに属
さないセルからの不都合なトランザクションを無視する
ようにプログラムされているためである。ＰＡ３０１
は、好ましくは、許可されたセルを可変に構成するよう
プログラム可能である。特に、ＰＡ３０１は、各リセッ
ト、リブートまたは再構成手続き時に、異なるセルのセ
ットにトランザクションを制限するようプログラムされ
てよい。
【００１４】上記説明は比較的高レベルである、という
ことが認められよう。特に、マルチパーティションシス
テムの実際の実現は、一般に、非常に多数のパーティシ
ョンとそれぞれのセルとを含む。更に、それぞれのセル
は、図１に示されていない追加の電子コンポーネントを
含んでよい。図１は、単に、本発明を説明するための概
念的フレームワークを提供するために必要なレベルの詳
細を示す。マルチパーティションシステムのアーキテク
チャ、実現および動作に関する更なる詳細は、開示内容
のすべてが引用をもって本明細書内に包含されたものと
する、同時係属中の本願と同一の譲受人に譲渡された、
「RECONFIGURATION SUPPORT FOR MULTIPARTITION COMPU
TER SYSTEM」と題された米国特許出願第０９／５６２、
５９０号と、「A SERVICE PROCESSOR WITH ALGORITHMS
FOR SUPPORTING A MULTI PARTITION COMPUTER」と題さ
れた米国特許出願第０９／５６１、８１２号と、に述べ
られている。
ことが認められよう。特に、マルチパーティションシス
テムの実際の実現は、一般に、非常に多数のパーティシ
ョンとそれぞれのセルとを含む。更に、それぞれのセル
は、図１に示されていない追加の電子コンポーネントを
含んでよい。図１は、単に、本発明を説明するための概
念的フレームワークを提供するために必要なレベルの詳
細を示す。マルチパーティションシステムのアーキテク
チャ、実現および動作に関する更なる詳細は、開示内容
のすべてが引用をもって本明細書内に包含されたものと
する、同時係属中の本願と同一の譲受人に譲渡された、
「RECONFIGURATION SUPPORT FOR MULTIPARTITION COMPU
TER SYSTEM」と題された米国特許出願第０９／５６２、
５９０号と、「A SERVICE PROCESSOR WITH ALGORITHMS
FOR SUPPORTING A MULTI PARTITION COMPUTER」と題さ
れた米国特許出願第０９／５６１、８１２号と、に述べ
られている。
【００１５】相当に詳細に本発明を検討する前に、従来
の実現がいかにパーティション形成プロセスを管理する
かを検討することが適当である。特に、パーティション
形成プロセスは、ブーティングプロセスをもたらす種々
のシステムコンポーネントのパワーオンに関連して発生
する場合がある。かかる手続き中、個々のセルは、独立
してブートプロセスを開始する。例えば、セルはメモリ
を初期化すること、Ｉ／Ｏ能力を初期化すること等を行
う。個々のセルのブーティングプロセスは、本技術分野
において周知であり、従って、それほど明白には説明し
ない。また、個々のセルに関するブーティングプロセス
は、パーティションに関し特別に何も行わない。従っ
て、初期ブーティングプロセスが、独立して実行するセ
ルの初期化を伴う、ということを留意するだけで十分で
ある。
の実現がいかにパーティション形成プロセスを管理する
かを検討することが適当である。特に、パーティション
形成プロセスは、ブーティングプロセスをもたらす種々
のシステムコンポーネントのパワーオンに関連して発生
する場合がある。かかる手続き中、個々のセルは、独立
してブートプロセスを開始する。例えば、セルはメモリ
を初期化すること、Ｉ／Ｏ能力を初期化すること等を行
う。個々のセルのブーティングプロセスは、本技術分野
において周知であり、従って、それほど明白には説明し
ない。また、個々のセルに関するブーティングプロセス
は、パーティションに関し特別に何も行わない。従っ
て、初期ブーティングプロセスが、独立して実行するセ
ルの初期化を伴う、ということを留意するだけで十分で
ある。
【００１６】セルは、ブートされた後、種々のパーティ
ションを形成するために制御の中心点と通信する。制御
の中心点は、一般に、パーティション管理アクティビテ
ィ専用の内部サービスプロセッサとして実現されるが、
外部プロセッサまたはシステムが利用されてもよい。サ
ービスプロセッサは、パーティション方式が適当に機能
するために必要な隔離を生成するために、種々のセルを
指示し種々のコンポーネントを構成する。周知の実現に
は、サービスプロセッサが種々のパーティションを固定
的に構成するようにすることが含まれる。従って、再構
成およびスケーラビリティは、極めて制約される。更
に、制御の中心点を使用することにより、サービスプロ
セッサの誤動作時にシステム全体に障害をもたらす単一
障害点が生成される。更に、周知のアプリケーションは
セル障害に耐性がない。特に、セルが適当な時刻に存在
しない場合、周知のサービスプロセッサは、パーティシ
ョン方式に適応することができない。このため、セルが
パーティション形成プロセス中に報告しない場合、パー
ティションまたはシステム全体までもが、動作不可能に
なる場合がある。
ションを形成するために制御の中心点と通信する。制御
の中心点は、一般に、パーティション管理アクティビテ
ィ専用の内部サービスプロセッサとして実現されるが、
外部プロセッサまたはシステムが利用されてもよい。サ
ービスプロセッサは、パーティション方式が適当に機能
するために必要な隔離を生成するために、種々のセルを
指示し種々のコンポーネントを構成する。周知の実現に
は、サービスプロセッサが種々のパーティションを固定
的に構成するようにすることが含まれる。従って、再構
成およびスケーラビリティは、極めて制約される。更
に、制御の中心点を使用することにより、サービスプロ
セッサの誤動作時にシステム全体に障害をもたらす単一
障害点が生成される。更に、周知のアプリケーションは
セル障害に耐性がない。特に、セルが適当な時刻に存在
しない場合、周知のサービスプロセッサは、パーティシ
ョン方式に適応することができない。このため、セルが
パーティション形成プロセス中に報告しない場合、パー
ティションまたはシステム全体までもが、動作不可能に
なる場合がある。
【００１７】本システムおよび方法は、制御の中心点に
まったく頼らないという点で周知の解決法とは異なって
いる。本システムおよび方法は、分散方法を利用するこ
とにより、構造上の障害、セル障害、パーティション形
成プロセスへの参加におけるセル遅延、パーティション
に参加しようと試みる非互換性セル、および／または欠
落したコアＩ／Ｏ能力等に対しはるかに耐性がある。本
システムおよび方法は、後述するような種々のメカニズ
ムを利用することにより柔軟性を達成する。
まったく頼らないという点で周知の解決法とは異なって
いる。本システムおよび方法は、分散方法を利用するこ
とにより、構造上の障害、セル障害、パーティション形
成プロセスへの参加におけるセル遅延、パーティション
に参加しようと試みる非互換性セル、および／または欠
落したコアＩ／Ｏ能力等に対しはるかに耐性がある。本
システムおよび方法は、後述するような種々のメカニズ
ムを利用することにより柔軟性を達成する。
【００１８】線形方式でパーティション形成プロセスを
検討する前に、本発明の理解を容易にするためにある程
度の背景情報が適当である。まず、本システムおよび方
法は、好ましくは各セルにＣＭ３０４を確立する。ＣＭ
３０４は、好ましくは、ブート禁止ビット（Boot-Inhib
it-Bit（ＢＩＢ））を制御する。ＢＩＢにより、特定の
ポイントまでブートアップが継続する。特に、ＢＩＢが
セットされている間、パーティション形成に関連するア
クティビティを除くすべてのブーティングアクティビテ
ィが実行される（メモリ初期化、Ｉ／Ｏ初期化等）。従
って、これにより、サービスプロセッサモジュール１０
１が更新されたコンプレックスプロファイルを各ＣＭ３
０４に通信する機会を有するまで、パーティション形成
プロセスを遅延させることができる。通常の環境下で
は、サービスプロセッサモジュール１０１が、ＣＭ３０
４にＢＩＢをリリースさせる。しかしながら、ＣＭ３０
４は、サービスプロセッサ１０１が何らかの理由で利用
不可能であると判断した場合、ＢＩＢリリースを自動的
に実行する。
検討する前に、本発明の理解を容易にするためにある程
度の背景情報が適当である。まず、本システムおよび方
法は、好ましくは各セルにＣＭ３０４を確立する。ＣＭ
３０４は、好ましくは、ブート禁止ビット（Boot-Inhib
it-Bit（ＢＩＢ））を制御する。ＢＩＢにより、特定の
ポイントまでブートアップが継続する。特に、ＢＩＢが
セットされている間、パーティション形成に関連するア
クティビティを除くすべてのブーティングアクティビテ
ィが実行される（メモリ初期化、Ｉ／Ｏ初期化等）。従
って、これにより、サービスプロセッサモジュール１０
１が更新されたコンプレックスプロファイルを各ＣＭ３
０４に通信する機会を有するまで、パーティション形成
プロセスを遅延させることができる。通常の環境下で
は、サービスプロセッサモジュール１０１が、ＣＭ３０
４にＢＩＢをリリースさせる。しかしながら、ＣＭ３０
４は、サービスプロセッサ１０１が何らかの理由で利用
不可能であると判断した場合、ＢＩＢリリースを自動的
に実行する。
【００１９】また、各ＣＭ３０４は、サービスプロセッ
サモジュール１０１に接続されるかまたはそれと通信す
ることができる。サービスプロセッサモジュール１０１
は、それぞれのセルがいずれのパーティションに属する
かを詳述する、コンプレックスプロファイルと呼ばれる
データ構造を介して、情報を通信してよい。サービスプ
ロセッサモジュール１０１は、好ましくは、コンプレッ
クスプロファイルを、それぞれのＣＭ３０４との通信を
介してそれぞれのセルに分配することにより、この情報
を通信する。コンプレックスプロファイルは、本質的
に、コンプレックス１００のパーティション方式を定義
するマップまたは命令のセットを提供する。好ましい実
施の形態では、コンプレックスプロファイルは構成済み
セット（configured set）からなる。コンプレックスプ
ロファイルは、ファームウェアが特にコンプレックスに
おいてどのように動作し得るかを詳述するはるかに多く
の情報を含むことができる、ということが認められよ
う。構成済みセットは、いずれのセルが所定のパーティ
ション内に含まれるように構成されるかを定義する。例
えば、コンプレックスプロファイルは、セル０をパーテ
ィション０に関連付けるデータフィールドと、セル１を
パーティション０に関連付けるデータフィールドと、セ
ル２をパーティション１に関連付けるデータフィールド
と、を含んでよい。構成済みセットは、必ずしも存在し
ないセルを参照してもよい、ということが認められよ
う。構成済みセットは、物理的にセル基板を収容するセ
ルスロットを参照してもよい。コンプレックス１００が
まだ各セルスロットのセルを含むように拡張されていな
い場合、セルスロットのうちのいくつかは空であってよ
い。後により詳細に述べるように、パーティション形成
プロセスは、欠落したセルに適応する。
サモジュール１０１に接続されるかまたはそれと通信す
ることができる。サービスプロセッサモジュール１０１
は、それぞれのセルがいずれのパーティションに属する
かを詳述する、コンプレックスプロファイルと呼ばれる
データ構造を介して、情報を通信してよい。サービスプ
ロセッサモジュール１０１は、好ましくは、コンプレッ
クスプロファイルを、それぞれのＣＭ３０４との通信を
介してそれぞれのセルに分配することにより、この情報
を通信する。コンプレックスプロファイルは、本質的
に、コンプレックス１００のパーティション方式を定義
するマップまたは命令のセットを提供する。好ましい実
施の形態では、コンプレックスプロファイルは構成済み
セット（configured set）からなる。コンプレックスプ
ロファイルは、ファームウェアが特にコンプレックスに
おいてどのように動作し得るかを詳述するはるかに多く
の情報を含むことができる、ということが認められよ
う。構成済みセットは、いずれのセルが所定のパーティ
ション内に含まれるように構成されるかを定義する。例
えば、コンプレックスプロファイルは、セル０をパーテ
ィション０に関連付けるデータフィールドと、セル１を
パーティション０に関連付けるデータフィールドと、セ
ル２をパーティション１に関連付けるデータフィールド
と、を含んでよい。構成済みセットは、必ずしも存在し
ないセルを参照してもよい、ということが認められよ
う。構成済みセットは、物理的にセル基板を収容するセ
ルスロットを参照してもよい。コンプレックス１００が
まだ各セルスロットのセルを含むように拡張されていな
い場合、セルスロットのうちのいくつかは空であってよ
い。後により詳細に述べるように、パーティション形成
プロセスは、欠落したセルに適応する。
【００２０】サービスプロセッサモジュール１０１は、
好ましくは、コンプレックスプロファイルの分配および
変更を厳密に制御する。ここで、サービスプロセッサモ
ジュール１０１は、ＢＩＢをリリースする前に、各ＣＭ
３０４を介して各セルにコンプレックスプロファイルを
配置する。また、各ＣＭ３０４は、好ましくは、コンプ
レックスプロファイルの以前のリビションかまたはコン
プレックスプロファイルの離散的な数のリビションをキ
ャッシュする。従って、本システムおよび方法は、好ま
しくは、コンプレックスプロファイルの種々のバージョ
ンにリビション識別子を単調に割当てる。このため、サ
ービスプロセッサモジュールが各ＣＭ３０４でコンプレ
ックスプロファイルを更新する度に、新たなより高い値
が付された識別子が最新バージョンに割当てられる。
好ましくは、コンプレックスプロファイルの分配および
変更を厳密に制御する。ここで、サービスプロセッサモ
ジュール１０１は、ＢＩＢをリリースする前に、各ＣＭ
３０４を介して各セルにコンプレックスプロファイルを
配置する。また、各ＣＭ３０４は、好ましくは、コンプ
レックスプロファイルの以前のリビションかまたはコン
プレックスプロファイルの離散的な数のリビションをキ
ャッシュする。従って、本システムおよび方法は、好ま
しくは、コンプレックスプロファイルの種々のバージョ
ンにリビション識別子を単調に割当てる。このため、サ
ービスプロセッサモジュールが各ＣＭ３０４でコンプレ
ックスプロファイルを更新する度に、新たなより高い値
が付された識別子が最新バージョンに割当てられる。
【００２１】パーティション形成プロセスの線形の検討
に移ると、図２は、独立して実行するセルのグループか
らパーティションを形成するように実行される例示的な
イベントのフローチャートを示す。まず、好ましくは、
モナーク（monarch）プロセッサに対して実行可能命令
を定義するＰＤＨモジュールによるファームウェアを利
用して、以下の多数のメカニズムが実行される、という
ことが認められよう。一般に各セルが多数のプロセッサ
を含むため、「モナークプロセッサ」という語を使用す
る。このように、ＣＰＵ３０２のうちの１つのプロセッ
サが、そのそれぞれのセルに関連するブーティングおよ
びパーティション形成アクティビティを管理するために
任意に選択される。ＣＰＵ３０２のうちの他のＣＰＵ
は、他のアクティビティに必要とされるまでスピンルー
プに入る。更に、後続する多数のメカニズムが、分散さ
れて実行される、すなわち、種々のメカニズムが独立し
て別々のセルのモナークプロセッサで並列に発生してい
る、ということが認められよう。また、各セルにおい
て、同じメカニズムまたはイベントは、必ずしも同時に
は実行されない。むしろ、異なるセルに関連する同様の
イベント間にかなりの時間差が存在する場合がある。
に移ると、図２は、独立して実行するセルのグループか
らパーティションを形成するように実行される例示的な
イベントのフローチャートを示す。まず、好ましくは、
モナーク（monarch）プロセッサに対して実行可能命令
を定義するＰＤＨモジュールによるファームウェアを利
用して、以下の多数のメカニズムが実行される、という
ことが認められよう。一般に各セルが多数のプロセッサ
を含むため、「モナークプロセッサ」という語を使用す
る。このように、ＣＰＵ３０２のうちの１つのプロセッ
サが、そのそれぞれのセルに関連するブーティングおよ
びパーティション形成アクティビティを管理するために
任意に選択される。ＣＰＵ３０２のうちの他のＣＰＵ
は、他のアクティビティに必要とされるまでスピンルー
プに入る。更に、後続する多数のメカニズムが、分散さ
れて実行される、すなわち、種々のメカニズムが独立し
て別々のセルのモナークプロセッサで並列に発生してい
る、ということが認められよう。また、各セルにおい
て、同じメカニズムまたはイベントは、必ずしも同時に
は実行されない。むしろ、異なるセルに関連する同様の
イベント間にかなりの時間差が存在する場合がある。
【００２２】ステップ２０１において、通常のセルブー
ティングプロセスが発生する（すなわち、メモリ初期
化、Ｉ／Ｏ初期化等）。更に、セルのブートアップ状態
を反映するために、好ましくはハードウェアレジスタが
各セルに関連付けられる。レジスタにより、いかなる数
の状態が表されてもよい。また、セルがファブリックに
接続される前に、状態レジスタがヌル（null）にセット
されるかまたはクリアされることが望ましい。更に、他
のセルが他の状態レジスタの各々を読出すことができる
ようにすることが望ましい。そうすることにより、多数
のメカニズムが容易にされ得る。まず、特定のセルの状
態レジスタがゼロかまたはヌル状態のままである場合、
その特定のセルがまったく進行しておらず、パーティシ
ョン形成プロセスから排除されるべきである、と結論付
けられてよい。同様に、セルがコアＩ／Ｏ（ブーティン
グを継続するために必要な最小Ｉ／Ｏ）を所有している
ことを通知するために、汎用レジスタまたは他の予め定
義されたメカニズムを利用することが好ましい。これら
レジスタは、後により詳細に述べるように、パーティシ
ョン形成プロセス中に参照される。
ティングプロセスが発生する（すなわち、メモリ初期
化、Ｉ／Ｏ初期化等）。更に、セルのブートアップ状態
を反映するために、好ましくはハードウェアレジスタが
各セルに関連付けられる。レジスタにより、いかなる数
の状態が表されてもよい。また、セルがファブリックに
接続される前に、状態レジスタがヌル（null）にセット
されるかまたはクリアされることが望ましい。更に、他
のセルが他の状態レジスタの各々を読出すことができる
ようにすることが望ましい。そうすることにより、多数
のメカニズムが容易にされ得る。まず、特定のセルの状
態レジスタがゼロかまたはヌル状態のままである場合、
その特定のセルがまったく進行しておらず、パーティシ
ョン形成プロセスから排除されるべきである、と結論付
けられてよい。同様に、セルがコアＩ／Ｏ（ブーティン
グを継続するために必要な最小Ｉ／Ｏ）を所有している
ことを通知するために、汎用レジスタまたは他の予め定
義されたメカニズムを利用することが好ましい。これら
レジスタは、後により詳細に述べるように、パーティシ
ョン形成プロセス中に参照される。
【００２３】通常のセルブーティングの発生後、ＢＩＢ
がリリースするまでスピンループが実行される（ステッ
プ２０２）。通常の環境下では、サービスプロセッサモ
ジュール１０１が、種々のセルがＣＭ３０４を介してコ
ンプレックスプロファイルの最新のリビションを所有し
ていることを保証した後、ＢＩＢリリースが発生する。
しかしながら、サービスプロセッサモジュール１０１
は、誤動作するかまたは他の理由で利用不可能である可
能性がある。従って、ＣＭ３０４は、サービスプロセッ
サモジュール１０１が利用不可能であると判断した場
合、ＢＩＢリリースをもたらしてよい。この環境下で
は、パーティションプロセスは、各セルに事前に格納さ
れたキャッシュされたコンプレックスプロファイルに従
って発生する。このため、本発明は、単一故障点が避け
られるという意味で、周知のマルチパーティションシス
テムと比較して重要な利点を提供する。
がリリースするまでスピンループが実行される（ステッ
プ２０２）。通常の環境下では、サービスプロセッサモ
ジュール１０１が、種々のセルがＣＭ３０４を介してコ
ンプレックスプロファイルの最新のリビションを所有し
ていることを保証した後、ＢＩＢリリースが発生する。
しかしながら、サービスプロセッサモジュール１０１
は、誤動作するかまたは他の理由で利用不可能である可
能性がある。従って、ＣＭ３０４は、サービスプロセッ
サモジュール１０１が利用不可能であると判断した場
合、ＢＩＢリリースをもたらしてよい。この環境下で
は、パーティションプロセスは、各セルに事前に格納さ
れたキャッシュされたコンプレックスプロファイルに従
って発生する。このため、本発明は、単一故障点が避け
られるという意味で、周知のマルチパーティションシス
テムと比較して重要な利点を提供する。
【００２４】ＢＩＢリリース後、セルは、最新のコンプ
レックスプロファイルの破損していないバージョンを所
有しているか判断する（ステップ２０３）。コンプレッ
クスプロファイルは、好ましくは、チェックサムを利用
し、単調なリビション識別子を利用して検査される。特
に、コンプレックスプロファイルに関連するデータは破
損する場合がある。特に、コンプレックスプロファイル
は、一般に大型のデータ構造であり、アトミックに（at
omically）更新することはできない。むしろ、コンプレ
ックスプロファイル全体を通信するために、概して複数
の書込みトランザクションが必要である。サービスプロ
セッサモジュール１０１が、所定の更新に関連する書込
みトランザクションのすべてを完了する前に機能を停止
した場合、データ破損が発生する可能性がある。コンプ
レックスプロファイルが何らかの理由で無効である場
合、好ましくは再構成のためのリセットが発生する（ス
テップ２０４）。再構成のためのリセットは、ＢＩＢが
セットされた特別なタイプのリセットである。これによ
り、次のブート中にＢＩＢにおいてセルが停止し、その
セルが単一セルとして可能な限りブートすることが可能
になる一方で、サービスプロセッサモジュール１０１が
新たなコンプレックスプロファイル（再構成データを含
んでよい）を通信することが可能になる。
レックスプロファイルの破損していないバージョンを所
有しているか判断する（ステップ２０３）。コンプレッ
クスプロファイルは、好ましくは、チェックサムを利用
し、単調なリビション識別子を利用して検査される。特
に、コンプレックスプロファイルに関連するデータは破
損する場合がある。特に、コンプレックスプロファイル
は、一般に大型のデータ構造であり、アトミックに（at
omically）更新することはできない。むしろ、コンプレ
ックスプロファイル全体を通信するために、概して複数
の書込みトランザクションが必要である。サービスプロ
セッサモジュール１０１が、所定の更新に関連する書込
みトランザクションのすべてを完了する前に機能を停止
した場合、データ破損が発生する可能性がある。コンプ
レックスプロファイルが何らかの理由で無効である場
合、好ましくは再構成のためのリセットが発生する（ス
テップ２０４）。再構成のためのリセットは、ＢＩＢが
セットされた特別なタイプのリセットである。これによ
り、次のブート中にＢＩＢにおいてセルが停止し、その
セルが単一セルとして可能な限りブートすることが可能
になる一方で、サービスプロセッサモジュール１０１が
新たなコンプレックスプロファイル（再構成データを含
んでよい）を通信することが可能になる。
【００２５】ステップ２０５において、キャッシュデー
タが、コンプレックスプロファイルの現バージョンのデ
ータと比較される。特に、コンプレックスプロファイル
に関連する所定のデータは、ブーティングプロセスの初
期に利用される。しかしながら、サービスプロセッサモ
ジュール１０１は、ＢＩＢリリース前のいつでもコンプ
レックスプロファイルを更新する可能性がある。そのた
め、ブーティングプロセスの初期に利用されるデータ
は、コンプレックスプロファイル更新により無効である
可能性のあるキャッシュされた値（cached values）に
頼る。従って、キャッシュされた値が現コンプレックス
プロファイルと一致するか判断することが適当である。
値が一致しない場合、セルは新たなコンプレックスプロ
ファイルの新たな値を有効にするようリセットする（ス
テップ２０６）。このリセットは、セルを遅延させる
が、セルをＢＩＢで停止させない。追加の遅延は、同期
セルステップ２０８に関して後述するように、必ずしも
セルがパーティションに参加しないようにはしない。更
に、まさに最初のブートアップ時にはそれより前のコン
プレックスプロファイルが存在し得ないため、キャッシ
ュされた値は、好ましくは、そのまさに最初のブート手
続きに対して許容可能な定義された値にセットされる。
タが、コンプレックスプロファイルの現バージョンのデ
ータと比較される。特に、コンプレックスプロファイル
に関連する所定のデータは、ブーティングプロセスの初
期に利用される。しかしながら、サービスプロセッサモ
ジュール１０１は、ＢＩＢリリース前のいつでもコンプ
レックスプロファイルを更新する可能性がある。そのた
め、ブーティングプロセスの初期に利用されるデータ
は、コンプレックスプロファイル更新により無効である
可能性のあるキャッシュされた値（cached values）に
頼る。従って、キャッシュされた値が現コンプレックス
プロファイルと一致するか判断することが適当である。
値が一致しない場合、セルは新たなコンプレックスプロ
ファイルの新たな値を有効にするようリセットする（ス
テップ２０６）。このリセットは、セルを遅延させる
が、セルをＢＩＢで停止させない。追加の遅延は、同期
セルステップ２０８に関して後述するように、必ずしも
セルがパーティションに参加しないようにはしない。更
に、まさに最初のブートアップ時にはそれより前のコン
プレックスプロファイルが存在し得ないため、キャッシ
ュされた値は、好ましくは、そのまさに最初のブート手
続きに対して許容可能な定義された値にセットされる。
【００２６】ステップ２０７において、ファブリック初
期化が発生する。ファブリック初期化により、セルは他
のセルと通信を開始する。
期化が発生する。ファブリック初期化により、セルは他
のセルと通信を開始する。
【００２７】ファブリック初期化後、同期セル（ステッ
プ２０８）メカニズムが発生する。同期セルステップ２
０８中、コンプレックスプロファイルのそれぞれのコピ
ーを利用する分散方法で、セルは同じ構成済みセット内
の他のセルと接触または通信しようと試みる。図３は、
同期セルステップ２０８に関連するサブステップを示
す。特に、各セルは、構成済みセット内の他のいずれか
のセルがＲＥＮＤＥＺ状態に達したか判断しようと試み
る（ステップ２０８ａ）。同期セルステップ２０８ａ
中、特定の構成済みセット（コンプレックスプロファイ
ルのそれらのローカルコピーによって定義されるよう
な）の現セルの各々は、それぞれのレジスタ値を介して
構成済みセットの他のセルの状態を判断しようと試み
る。構成済みセット内の他のセルがＲＥＮＤＥＺ状態に
達した場合、セルは、パーティション形成プロセスに参
加するには遅過ぎると認める（ステップ２０８ｂ）。そ
して、遅れたセルはリセットする（ステップ２０８
ｃ）。他のセルがいずれもＲＥＮＤＥＺ状態に達してい
ない場合、セルは、それがランデブするよう試みている
ことを反映するように状態レジスタ内のビットをセット
する（ＡＴＴ＿ＲＥＮＤＥＺ）ことにより処理を続ける
（ステップ２０８ｄ）。
プ２０８）メカニズムが発生する。同期セルステップ２
０８中、コンプレックスプロファイルのそれぞれのコピ
ーを利用する分散方法で、セルは同じ構成済みセット内
の他のセルと接触または通信しようと試みる。図３は、
同期セルステップ２０８に関連するサブステップを示
す。特に、各セルは、構成済みセット内の他のいずれか
のセルがＲＥＮＤＥＺ状態に達したか判断しようと試み
る（ステップ２０８ａ）。同期セルステップ２０８ａ
中、特定の構成済みセット（コンプレックスプロファイ
ルのそれらのローカルコピーによって定義されるよう
な）の現セルの各々は、それぞれのレジスタ値を介して
構成済みセットの他のセルの状態を判断しようと試み
る。構成済みセット内の他のセルがＲＥＮＤＥＺ状態に
達した場合、セルは、パーティション形成プロセスに参
加するには遅過ぎると認める（ステップ２０８ｂ）。そ
して、遅れたセルはリセットする（ステップ２０８
ｃ）。他のセルがいずれもＲＥＮＤＥＺ状態に達してい
ない場合、セルは、それがランデブするよう試みている
ことを反映するように状態レジスタ内のビットをセット
する（ＡＴＴ＿ＲＥＮＤＥＺ）ことにより処理を続ける
（ステップ２０８ｄ）。
【００２８】ここで、構成済みセットの種々のセルが種
々の状態に達するためにかなりの変動する時間を必要と
する可能性がある、ということが認められよう。例え
ば、所定のセルがかなり大きいメモリを備える場合があ
る。このため、そのメモリ初期化にはより多くの時間が
必要となり、そのためランデブとなるよう試みることか
らセルが遅延する。代替的に、いくつかのセルは、異な
るパワーモジュールに関連する場合がある。セルによっ
ては、所定の長さの時間でパワーオンされない場合があ
り、それによりセルのブートアッププロセスが遅延す
る。
々の状態に達するためにかなりの変動する時間を必要と
する可能性がある、ということが認められよう。例え
ば、所定のセルがかなり大きいメモリを備える場合があ
る。このため、そのメモリ初期化にはより多くの時間が
必要となり、そのためランデブとなるよう試みることか
らセルが遅延する。代替的に、いくつかのセルは、異な
るパワーモジュールに関連する場合がある。セルによっ
ては、所定の長さの時間でパワーオンされない場合があ
り、それによりセルのブートアッププロセスが遅延す
る。
【００２９】同期セルステップ２０８ｅは、好ましく
は、タイムアウトメカニズムを利用してこの問題に適応
する。構成済みセット内の各セルは、自動的にＲＥＮＤ
ＥＺ状態に遷移する前に、任意の所定の長さの時間（例
えば１０分間）待機する。しかしながら、待機期間は、
好ましくは、構成されたグループの第１のセルがＡＴＴ
＿ＲＥＮＤＥＺ状態に達する時から開始される。従っ
て、すでにＡＴＴ＿ＲＥＮＤＥＺ状態に達したセルは、
構成済みセット内の他のセルがＲＥＮＤＥＺ状態に遷移
したことを検出した場合、ＲＥＮＤＥＺ状態に遷移す
る。そして、構成済みセットのＡＴＴ＿ＲＥＮＤＥＺ状
態に達したすべてのセルが、タイムアウトメカニズムに
よりＲＥＮＤＥＺ状態に達している最初のセルに応じて
カスケードする。これにより、構成済みセットのＡＴＴ
＿ＲＥＮＤＥＺ状態に達しているセル間のかなりのタイ
ムスキューに適応するために利用される遅延に対し、定
義された上限が与えられる。タイムアウトメカニズムを
利用することにより、同期セルステップ２０８は、セル
到着におけるかなりのスキューに適応するが、セルが誤
動作、構造上の障害等のために利用可能とならない場合
に、障害を起こさない。当然ながら、構成済みセットの
すべてのセルがタイムアウト終了前に到着することが検
出された場合、ＲＥＮＤＥＺ状態に遷移することによ
り、他のセルをＲＥＮＤＥＺ状態にカスケードすること
が適当である。
は、タイムアウトメカニズムを利用してこの問題に適応
する。構成済みセット内の各セルは、自動的にＲＥＮＤ
ＥＺ状態に遷移する前に、任意の所定の長さの時間（例
えば１０分間）待機する。しかしながら、待機期間は、
好ましくは、構成されたグループの第１のセルがＡＴＴ
＿ＲＥＮＤＥＺ状態に達する時から開始される。従っ
て、すでにＡＴＴ＿ＲＥＮＤＥＺ状態に達したセルは、
構成済みセット内の他のセルがＲＥＮＤＥＺ状態に遷移
したことを検出した場合、ＲＥＮＤＥＺ状態に遷移す
る。そして、構成済みセットのＡＴＴ＿ＲＥＮＤＥＺ状
態に達したすべてのセルが、タイムアウトメカニズムに
よりＲＥＮＤＥＺ状態に達している最初のセルに応じて
カスケードする。これにより、構成済みセットのＡＴＴ
＿ＲＥＮＤＥＺ状態に達しているセル間のかなりのタイ
ムスキューに適応するために利用される遅延に対し、定
義された上限が与えられる。タイムアウトメカニズムを
利用することにより、同期セルステップ２０８は、セル
到着におけるかなりのスキューに適応するが、セルが誤
動作、構造上の障害等のために利用可能とならない場合
に、障害を起こさない。当然ながら、構成済みセットの
すべてのセルがタイムアウト終了前に到着することが検
出された場合、ＲＥＮＤＥＺ状態に遷移することによ
り、他のセルをＲＥＮＤＥＺ状態にカスケードすること
が適当である。
【００３０】上記メカニズムは、セル間のタイムスキュ
ーを大幅に低減するということが認められよう。例え
ば、ステップ２０８ｅの前に数分間のタイムスキューが
存在する可能性がある。ステップ２０８ｅにおいて実行
される状態同期化により、タイムスキューはマイクロ秒
以下に低減され得る。更に、ステップ２０８ｅおよび他
の場所で詳述されるようなロックステップ状態の進行に
より、非常に頑強なパーティション形成プロセスが提供
されるということが認められよう。特に、セルは所定の
状態に遷移する。そして、セルは、他のセルがその同じ
状態に変化するのを待つ。そうすることにより、いくつ
かの利点が達成され得る。例えば、初期の時点で、ブー
ト手続き中にいずれのセルが進行していないかを判断す
ることができる。更に、ロックステップの進行により、
セルが一致して種々のタスクを完了することができ、そ
れにより誤ったランデブの確率が最小化される。
ーを大幅に低減するということが認められよう。例え
ば、ステップ２０８ｅの前に数分間のタイムスキューが
存在する可能性がある。ステップ２０８ｅにおいて実行
される状態同期化により、タイムスキューはマイクロ秒
以下に低減され得る。更に、ステップ２０８ｅおよび他
の場所で詳述されるようなロックステップ状態の進行に
より、非常に頑強なパーティション形成プロセスが提供
されるということが認められよう。特に、セルは所定の
状態に遷移する。そして、セルは、他のセルがその同じ
状態に変化するのを待つ。そうすることにより、いくつ
かの利点が達成され得る。例えば、初期の時点で、ブー
ト手続き中にいずれのセルが進行していないかを判断す
ることができる。更に、ロックステップの進行により、
セルが一致して種々のタスクを完了することができ、そ
れにより誤ったランデブの確率が最小化される。
【００３１】セル到着スキューの大部分を取除いた後、
ステップ２０８ｆにおいて、セルは、好ましくは追加の
より短い遅延期間（マイクロ秒以下）待機する。ステッ
プ２０８ｆの当該短い遅延期間により、セルがそれらの
ローカルランデブセットを確立し始める前にすべてのセ
ルがＲＡＮＤＥＺ状態に遷移する機会が与えられる（ス
テップ２０８ｇ参照）。好ましくは、予め定義される時
間の長さは、コンプレックス内の許容されるセルの数に
２を掛け、最長トランザクション時間を掛け、および選
択された安全係数を掛けたものに等しい。
ステップ２０８ｆにおいて、セルは、好ましくは追加の
より短い遅延期間（マイクロ秒以下）待機する。ステッ
プ２０８ｆの当該短い遅延期間により、セルがそれらの
ローカルランデブセットを確立し始める前にすべてのセ
ルがＲＡＮＤＥＺ状態に遷移する機会が与えられる（ス
テップ２０８ｇ参照）。好ましくは、予め定義される時
間の長さは、コンプレックス内の許容されるセルの数に
２を掛け、最長トランザクション時間を掛け、および選
択された安全係数を掛けたものに等しい。
【００３２】遅延動作を出た後、ステップ２０８ｇにお
いて、構成済みセットの現セルは、ローカルランデブセ
ットを決定するよう試みる。各セルは、構成済みセット
の他のセルのいずれがＲＥＮＤＥＺ状態に達したかを判
断しようと試みる。例えば、コンプレックスプロファイ
ルは、構成済みセットＮをセルＡ、Ｂ、Ｃ、Ｄを備える
ように定義してよい。述べたように、各セルは、構成済
みセットの他のセルの各々の状態を判断しようと試み
る。Ｄが長すぎる期間遅延され、または他の状態で利用
不可能であった（すなわち、より短い遅延期間の終了ま
でにＲＥＮＤＥＺ状態に達しなかった）場合、セルＡ、
Ｂ、Ｃは、それらそれぞれのローカルランデブセットか
らＤを排除する。また、セルＡは、セルＢおよびＣのレ
ジスタを検査することにより、セルＢおよびＣがＲＥＮ
ＤＥＺ状態に達したか判断することができてよい。セル
Ａのローカルランデブセットは、（Ａ、Ｂ、Ｃ）から構
成される。同様に、セルＢは、セルＡおよびＣがＲＥＮ
ＤＥＺ状態に達したか判断してよく、それにより、その
ローカルランデブ状態が（Ａ、Ｂ、Ｃ）から構成され
る。しかしながら、セルＣは、構造上の障害によりセル
Ａの状態を決定することができない場合がある。そのた
め、セルＣのローカルランデブセットは（Ｂ、Ｃ）から
構成される。ローカルランデブセットは、好ましくはそ
れぞれのビットマスクとして表される。ステップ２０８
ｈにおいて、各個々のセルは、そのローカルランデブセ
ットを、それぞれのローカルランデブセットが他のセル
から見ることができるグローバルに可視的な場所に書込
む。
いて、構成済みセットの現セルは、ローカルランデブセ
ットを決定するよう試みる。各セルは、構成済みセット
の他のセルのいずれがＲＥＮＤＥＺ状態に達したかを判
断しようと試みる。例えば、コンプレックスプロファイ
ルは、構成済みセットＮをセルＡ、Ｂ、Ｃ、Ｄを備える
ように定義してよい。述べたように、各セルは、構成済
みセットの他のセルの各々の状態を判断しようと試み
る。Ｄが長すぎる期間遅延され、または他の状態で利用
不可能であった（すなわち、より短い遅延期間の終了ま
でにＲＥＮＤＥＺ状態に達しなかった）場合、セルＡ、
Ｂ、Ｃは、それらそれぞれのローカルランデブセットか
らＤを排除する。また、セルＡは、セルＢおよびＣのレ
ジスタを検査することにより、セルＢおよびＣがＲＥＮ
ＤＥＺ状態に達したか判断することができてよい。セル
Ａのローカルランデブセットは、（Ａ、Ｂ、Ｃ）から構
成される。同様に、セルＢは、セルＡおよびＣがＲＥＮ
ＤＥＺ状態に達したか判断してよく、それにより、その
ローカルランデブ状態が（Ａ、Ｂ、Ｃ）から構成され
る。しかしながら、セルＣは、構造上の障害によりセル
Ａの状態を決定することができない場合がある。そのた
め、セルＣのローカルランデブセットは（Ｂ、Ｃ）から
構成される。ローカルランデブセットは、好ましくはそ
れぞれのビットマスクとして表される。ステップ２０８
ｈにおいて、各個々のセルは、そのローカルランデブセ
ットを、それぞれのローカルランデブセットが他のセル
から見ることができるグローバルに可視的な場所に書込
む。
【００３３】ステップ２０８ｉにおいて、好ましくは他
の同期化遅延が実行されることにより、他のセルがロー
カルランデブセットを読み出そうと試みる前に、それぞ
れのセルがそれらのローカルランデブセットを書込む機
会が与えられる。この場合も、好ましくは、同期化遅延
は、コンプレックス内の許可されたセルの数に２が掛け
られ、最長トランザクション時間が掛けられ、および選
択された安全係数が掛けられた数に等しい。
の同期化遅延が実行されることにより、他のセルがロー
カルランデブセットを読み出そうと試みる前に、それぞ
れのセルがそれらのローカルランデブセットを書込む機
会が与えられる。この場合も、好ましくは、同期化遅延
は、コンプレックス内の許可されたセルの数に２が掛け
られ、最長トランザクション時間が掛けられ、および選
択された安全係数が掛けられた数に等しい。
【００３４】ローカルランデブセットにより、非対称通
信能力が決定されることが可能になる。上述したよう
に、ＡはＣに到達することができた。しかしながら、Ｃ
はＡに到達することができなかった。このため、セルＡ
とＣとの間の相互通信は発生することができない。この
状況で、セルＡまたはセルＣは、排除されまたは拒絶さ
れることになる。ステップ２０８ｊにおいて、グローバ
ルランデブセットは、相互通信を実行することができな
いセルを排除することにより、ローカルランデブセット
から確立される。この状況で、グローバルランデブセッ
トは、セルＢおよびＣから構成される。このように、セ
ルＢとＣとの両方に関して相互通信が発生し得るため、
パーティションプロセスは、セルＢおよびＣのみを利用
して継続する。グローバルランデブセットは、各ローカ
ルランデブセットに関して論理ＡＮＤ演算を実行するこ
とによって決定されてよく、それによりローカルランデ
ブセットの論理的共通部分で構成される。セルは、グロ
ーバルランデブセットのメンバでないと判断した場合、
ステップ２０８ｋにおいて再構成のためにリセットす
る。セルは、再構成中に異なるパーティションに追加さ
れてよく、あるいは代替的に、セルはオンライン追加に
より同じパーティションに追加されてよい。
信能力が決定されることが可能になる。上述したよう
に、ＡはＣに到達することができた。しかしながら、Ｃ
はＡに到達することができなかった。このため、セルＡ
とＣとの間の相互通信は発生することができない。この
状況で、セルＡまたはセルＣは、排除されまたは拒絶さ
れることになる。ステップ２０８ｊにおいて、グローバ
ルランデブセットは、相互通信を実行することができな
いセルを排除することにより、ローカルランデブセット
から確立される。この状況で、グローバルランデブセッ
トは、セルＢおよびＣから構成される。このように、セ
ルＢとＣとの両方に関して相互通信が発生し得るため、
パーティションプロセスは、セルＢおよびＣのみを利用
して継続する。グローバルランデブセットは、各ローカ
ルランデブセットに関して論理ＡＮＤ演算を実行するこ
とによって決定されてよく、それによりローカルランデ
ブセットの論理的共通部分で構成される。セルは、グロ
ーバルランデブセットのメンバでないと判断した場合、
ステップ２０８ｋにおいて再構成のためにリセットす
る。セルは、再構成中に異なるパーティションに追加さ
れてよく、あるいは代替的に、セルはオンライン追加に
より同じパーティションに追加されてよい。
【００３５】同期セルステップ２０８の終了後、パーテ
ィション形成プロセスを継続してよいセルのセットが識
別される。このセットは、所定の時間内に到着し、この
セットの他のすべてのセルと相互に通信する能力をデモ
ンストレートした、所定の構成済みセット内に属するよ
うに定義されたすべてのセルを含む。到着が遅過ぎる
か、利用不可能であるか、または相互に通信できないセ
ルは、無視され、パーティション形成プロセスは、それ
らのセルなしに継続する。更に検討するために、このセ
ルのセットを、グローバルランデブセットと呼ぶことに
する。
ィション形成プロセスを継続してよいセルのセットが識
別される。このセットは、所定の時間内に到着し、この
セットの他のすべてのセルと相互に通信する能力をデモ
ンストレートした、所定の構成済みセット内に属するよ
うに定義されたすべてのセルを含む。到着が遅過ぎる
か、利用不可能であるか、または相互に通信できないセ
ルは、無視され、パーティション形成プロセスは、それ
らのセルなしに継続する。更に検討するために、このセ
ルのセットを、グローバルランデブセットと呼ぶことに
する。
【００３６】この時点で、制御の中心点がないという事
実を再強調することが適当である。代りに、本システム
および方法は、分散方法を利用する。特に、各セルは、
他のステップに関連する機能またはルーチンに加えて、
それ自体の同期セル機能またはルーチンを独立して並列
に実行している。各セルは、そのコンプレックスプロフ
ァイルのそれ自体の値と、同じ構成済みセット内の確認
された相互通信能力と、に基づき、それ自体の同期セル
機能またはルーチンを実行する。この方法を利用するこ
とにより、本システムおよび方法は、周知の解決法より
ずっと高い可用度を提供する。実際には、サービスプロ
セッサモジュール１０１は、まったく不動作となる可能
性があり、コンプレックスプロファイルの初期分配であ
った場合（すなわち、サービスプロセッサモジュール１
０１が１回しか作動しなかった場合）、コンプレックス
はそれぞれのパーティションになるように構成する。同
様に、本システムおよび方法は、セル遅延、セル誤動
作、構造上の障害等に適応する。更に、同じプロセスが
他の構成済みセットに関して発生するということが認め
られよう。すなわち、他の構成済みセットに関連するセ
ルは、それぞれのローカルランデブセットおよびグロー
バルランデブセットを生成するよう試みて、それぞれの
構成済みセット内の他のセルに接触するよう試みる。
実を再強調することが適当である。代りに、本システム
および方法は、分散方法を利用する。特に、各セルは、
他のステップに関連する機能またはルーチンに加えて、
それ自体の同期セル機能またはルーチンを独立して並列
に実行している。各セルは、そのコンプレックスプロフ
ァイルのそれ自体の値と、同じ構成済みセット内の確認
された相互通信能力と、に基づき、それ自体の同期セル
機能またはルーチンを実行する。この方法を利用するこ
とにより、本システムおよび方法は、周知の解決法より
ずっと高い可用度を提供する。実際には、サービスプロ
セッサモジュール１０１は、まったく不動作となる可能
性があり、コンプレックスプロファイルの初期分配であ
った場合（すなわち、サービスプロセッサモジュール１
０１が１回しか作動しなかった場合）、コンプレックス
はそれぞれのパーティションになるように構成する。同
様に、本システムおよび方法は、セル遅延、セル誤動
作、構造上の障害等に適応する。更に、同じプロセスが
他の構成済みセットに関して発生するということが認め
られよう。すなわち、他の構成済みセットに関連するセ
ルは、それぞれのローカルランデブセットおよびグロー
バルランデブセットを生成するよう試みて、それぞれの
構成済みセット内の他のセルに接触するよう試みる。
【００３７】ステップ２０９において、グローバルラン
デブセットを基礎として、およびコンプレックスプロフ
ァイルに含まれる情報を基礎として、コアセルが選択さ
れる。コアセルは、グローバルランデブセット内のどの
セルが必須のコアＩ／Ｏ能力を含むか判断することによ
り、選択されてよい。コアセル選択プロセスのポイント
は、パーティション形成プロセスを継続する単一セルを
利用することに合意することと、パーティション形成段
階、すなわち動作システム、ブートハンドラ、ユーザイ
ンタフェース等の初期化を越えてブーティングプロセス
を継続することと、である。コアセル選択ステップ２０
９は、好ましくは、所定のグローバルランデブセットの
各セルにおいて同じアルゴリズムを利用し、コンプレッ
クスプロファイルおよび確認されたコアＩ／Ｏ能力をア
ルゴリズムへの入力として利用することにより、実行さ
れる。この方法を利用して、グローバルランデブセット
の各セルは、それが選択されたコアセルであるか否かを
判断してよい。そうでない場合、セルは、後に呼起され
るスピンループに入る。セルがコアセルである場合、そ
のコアセルはパーティション形成プロセスを継続する。
コアセルの識別は、好ましくは、サービスプロセッサモ
ジュール１０１に通信される。コアセル選択を実行する
ことにより、本システムおよび方法は、欠落したＩ／Ｏ
能力、誤動作するＩ／Ｏ能力等に適応することによっ
て、パーティション形成プロセスの頑強性を更に向上さ
せる。
デブセットを基礎として、およびコンプレックスプロフ
ァイルに含まれる情報を基礎として、コアセルが選択さ
れる。コアセルは、グローバルランデブセット内のどの
セルが必須のコアＩ／Ｏ能力を含むか判断することによ
り、選択されてよい。コアセル選択プロセスのポイント
は、パーティション形成プロセスを継続する単一セルを
利用することに合意することと、パーティション形成段
階、すなわち動作システム、ブートハンドラ、ユーザイ
ンタフェース等の初期化を越えてブーティングプロセス
を継続することと、である。コアセル選択ステップ２０
９は、好ましくは、所定のグローバルランデブセットの
各セルにおいて同じアルゴリズムを利用し、コンプレッ
クスプロファイルおよび確認されたコアＩ／Ｏ能力をア
ルゴリズムへの入力として利用することにより、実行さ
れる。この方法を利用して、グローバルランデブセット
の各セルは、それが選択されたコアセルであるか否かを
判断してよい。そうでない場合、セルは、後に呼起され
るスピンループに入る。セルがコアセルである場合、そ
のコアセルはパーティション形成プロセスを継続する。
コアセルの識別は、好ましくは、サービスプロセッサモ
ジュール１０１に通信される。コアセル選択を実行する
ことにより、本システムおよび方法は、欠落したＩ／Ｏ
能力、誤動作するＩ／Ｏ能力等に適応することによっ
て、パーティション形成プロセスの頑強性を更に向上さ
せる。
【００３８】ステップ２１０において、コアセルは、ア
ライブ（alive）セットを確立する。アライブセット
は、互換性のあるグローバルランデブセットからセルの
サブセットを指定するために利用される記述的用語であ
る。例えば、ファームウェアのいくつかのリビションま
たは世代が、異なるセルにおいて利用される場合があ
る、ということが予期される。コアセルは、グローバル
ランデブセットの各セルを分析することにより、それら
ファームウェアがコアセルのファームウェアと互換性が
あるか判断する。他の互換性分析が実行されてもよい。
例えば、セル間のＣＰＵまたはキャビネット互換性が分
析されてよい。何らかの理由のために互換性がないと判
断されるセルはすべて排除される。このように、アライ
ブセットは、同じコンプレックスプロファイルを使用し
ている、現在の、相互通信可能な、互換性のあるセルを
表すように構成される。コアセルは、好ましくはアライ
ブセットをアライブセットの各セルに通信することによ
り、パーティションゲーティングを実現する。非互換性
セルは、再構成のためにリセットする（ステップ２１
１）。
ライブ（alive）セットを確立する。アライブセット
は、互換性のあるグローバルランデブセットからセルの
サブセットを指定するために利用される記述的用語であ
る。例えば、ファームウェアのいくつかのリビションま
たは世代が、異なるセルにおいて利用される場合があ
る、ということが予期される。コアセルは、グローバル
ランデブセットの各セルを分析することにより、それら
ファームウェアがコアセルのファームウェアと互換性が
あるか判断する。他の互換性分析が実行されてもよい。
例えば、セル間のＣＰＵまたはキャビネット互換性が分
析されてよい。何らかの理由のために互換性がないと判
断されるセルはすべて排除される。このように、アライ
ブセットは、同じコンプレックスプロファイルを使用し
ている、現在の、相互通信可能な、互換性のあるセルを
表すように構成される。コアセルは、好ましくはアライ
ブセットをアライブセットの各セルに通信することによ
り、パーティションゲーティングを実現する。非互換性
セルは、再構成のためにリセットする（ステップ２１
１）。
【００３９】ステップ２１２において、アライブセット
の各ＰＡ３０１に対し、パーティションゲーティング機
能がプログラムされる。パーティションゲーティング
は、パーティション方式を生成しまたは実施するために
利用される。特に、各ＰＡ３０１は、他のパーティショ
ンからの動作が、そのパーティションの動作に悪影響を
及ぼすことを防止する。例えば、アライブセットに含ま
れるセルのみが、特定のパーティション内の書込みトラ
ンザクションを発行してよい。
の各ＰＡ３０１に対し、パーティションゲーティング機
能がプログラムされる。パーティションゲーティング
は、パーティション方式を生成しまたは実施するために
利用される。特に、各ＰＡ３０１は、他のパーティショ
ンからの動作が、そのパーティションの動作に悪影響を
及ぼすことを防止する。例えば、アライブセットに含ま
れるセルのみが、特定のパーティション内の書込みトラ
ンザクションを発行してよい。
【００４０】ステップ２１３において、コアセルは、好
ましくは、グローバルランデブセル内のセルが同じコン
プレックスプロファイルを利用していることを確認す
る。特に、コアセルは、単調なリビション識別子とコン
プレックスプロファイルに関連するチェックサムとを利
用して、確認ステップを実行する。いずれかのセルがコ
ンプレックスプロファイルの異なるリビションを利用し
ていると判断された場合、セルのすべてが再構成のため
にリセットされる（ステップ２１４）。コンプレックス
プロファイル確認を実行することにより、本システムお
よび方法の頑強性が増大される。
ましくは、グローバルランデブセル内のセルが同じコン
プレックスプロファイルを利用していることを確認す
る。特に、コアセルは、単調なリビション識別子とコン
プレックスプロファイルに関連するチェックサムとを利
用して、確認ステップを実行する。いずれかのセルがコ
ンプレックスプロファイルの異なるリビションを利用し
ていると判断された場合、セルのすべてが再構成のため
にリセットされる（ステップ２１４）。コンプレックス
プロファイル確認を実行することにより、本システムお
よび方法の頑強性が増大される。
【００４１】ステップ２１５において、コアセルはパー
ティションのブーティングを継続する。概して、これ
は、メモリインタリーブ、ブート装置の配置、オペレー
ティングシステムのロードおよび実行等を含んでよい。
パーティション形成後のブーティングプロセスの継続
は、本発明の範囲を越えるため、それほど詳細には説明
しない。
ティションのブーティングを継続する。概して、これ
は、メモリインタリーブ、ブート装置の配置、オペレー
ティングシステムのロードおよび実行等を含んでよい。
パーティション形成後のブーティングプロセスの継続
は、本発明の範囲を越えるため、それほど詳細には説明
しない。
【００４２】本発明およびその利点を詳細に説明した
が、本明細書において、特許請求の範囲によって定義さ
れるような本発明の趣旨および範囲を逸脱することな
く、種々の変更、置換および改変を行うことができる、
ということは理解されなければならない。更に、本出願
の範囲は、本明細書において述べたプロセス、機械、製
品、合成物、手段、方法およびステップの特定の実施の
形態に限定されることが意図されていない。当業者が本
発明の開示から容易に認識するであろうように、本明細
書で述べた対応する実施の形態と同じ機能を実質的に実
行するかまたは同じ結果に実質的に達成する、現存する
かまたは後に開発されるプロセス、機械、製品、合成
物、手段、方法またはステップが、本発明に従って利用
されてよい。したがって、特許請求の範囲は、かかるプ
ロセス、機械、製品、合成物、手段、方法またはステッ
プ等をそれらの適用範囲内に含むことが意図されてい
る。
が、本明細書において、特許請求の範囲によって定義さ
れるような本発明の趣旨および範囲を逸脱することな
く、種々の変更、置換および改変を行うことができる、
ということは理解されなければならない。更に、本出願
の範囲は、本明細書において述べたプロセス、機械、製
品、合成物、手段、方法およびステップの特定の実施の
形態に限定されることが意図されていない。当業者が本
発明の開示から容易に認識するであろうように、本明細
書で述べた対応する実施の形態と同じ機能を実質的に実
行するかまたは同じ結果に実質的に達成する、現存する
かまたは後に開発されるプロセス、機械、製品、合成
物、手段、方法またはステップが、本発明に従って利用
されてよい。したがって、特許請求の範囲は、かかるプ
ロセス、機械、製品、合成物、手段、方法またはステッ
プ等をそれらの適用範囲内に含むことが意図されてい
る。
【００４３】本発明の態様を以下に例示する。
【００４４】１．パーティションを形成するようにセル
の構成済みセットのうちのセルの一部を同期させる方法
であって、（ａ）第１のランデブ状態に達するステップ
（２０８ｅ）と、（ｂ）前記一部の他のセルが該初期ラ
ンデブ状態に達することができるように遅延するステッ
プ（２０８ｆ）と、（ｃ）第２のランデブ状態に遷移す
るステップ（２１０）と、を含み、前記一部のセルは、
前記ステップ（ａ）〜（ｃ）を独立して並列に実行する
方法。
の構成済みセットのうちのセルの一部を同期させる方法
であって、（ａ）第１のランデブ状態に達するステップ
（２０８ｅ）と、（ｂ）前記一部の他のセルが該初期ラ
ンデブ状態に達することができるように遅延するステッ
プ（２０８ｆ）と、（ｃ）第２のランデブ状態に遷移す
るステップ（２１０）と、を含み、前記一部のセルは、
前記ステップ（ａ）〜（ｃ）を独立して並列に実行する
方法。
【００４５】２．前記ステップ（ｂ）は、（ｉ）所定時
間、（ｉｉ）前記一部の他のセルが前記第２のランデブ
状態に達する時、および（ｉｉｉ）セルの前記構成済み
セットのすべてのセルが前記第１のランデブ状態に達す
る時、のうちの早い方の時まで遅延する上記１記載の方
法。
間、（ｉｉ）前記一部の他のセルが前記第２のランデブ
状態に達する時、および（ｉｉｉ）セルの前記構成済み
セットのすべてのセルが前記第１のランデブ状態に達す
る時、のうちの早い方の時まで遅延する上記１記載の方
法。
【００４６】３．（ｄ）前記第２のランデブ状態に達し
た前記一部の検出されたセルを含むローカルランデブセ
ットを構成するステップ（２０８ｇ）と、（ｅ）前記ロ
ーカルランデブセットを可視の場所に書込むステップ
（２０８ｈ）と、を更に含み、前記第２のランデブ状態
に達した前記一部のセルは、前記ステップ（ｄ）〜
（ｅ）を独立して並列に実行する上記１記載の方法。
た前記一部の検出されたセルを含むローカルランデブセ
ットを構成するステップ（２０８ｇ）と、（ｅ）前記ロ
ーカルランデブセットを可視の場所に書込むステップ
（２０８ｈ）と、を更に含み、前記第２のランデブ状態
に達した前記一部のセルは、前記ステップ（ｄ）〜
（ｅ）を独立して並列に実行する上記１記載の方法。
【００４７】４．構成されたローカルランデブセットか
ら、該構成されたローカルランデブセットの論理的共通
部分を表すグローバルランデブセットを構成するステッ
プ（２０８ｊ）を更に含む上記２記載の方法。
ら、該構成されたローカルランデブセットの論理的共通
部分を表すグローバルランデブセットを構成するステッ
プ（２０８ｊ）を更に含む上記２記載の方法。
【００４８】５．前記グローバルランデブセットからコ
アセルを決定するステップ（２０９）を更に含む上記４
記載の方法。
アセルを決定するステップ（２０９）を更に含む上記４
記載の方法。
【００４９】６．前記グローバルランデブセットの互換
性のあるセルをアライブセットとして決定するステップ
（２１０）を更に含み、互換性のあるセルを決定する該
ステップを前記コアセルによって実行する上記５記載の
方法。
性のあるセルをアライブセットとして決定するステップ
（２１０）を更に含み、互換性のあるセルを決定する該
ステップを前記コアセルによって実行する上記５記載の
方法。
【００５０】７．前記アライブセットに対しパーティシ
ョンに関連する不都合なトランザクションを制限するよ
うパーティションゲーティングコントローラをプログラ
ムするステップ（２１２）を更に含む上記６記載の方
法。
ョンに関連する不都合なトランザクションを制限するよ
うパーティションゲーティングコントローラをプログラ
ムするステップ（２１２）を更に含む上記６記載の方
法。
【００５１】８．前記パーティションにオペレーティン
グシステムを確立するステップを更に含む上記７記載の
方法。
グシステムを確立するステップを更に含む上記７記載の
方法。
【００５２】９．前記構成済みセットの他のセルを識別
するためにコンプレックス情報を利用する上記１記載の
方法。
するためにコンプレックス情報を利用する上記１記載の
方法。
【００５３】１０．マルチパーティションコンピュータ
システムで使用されるセルであって、パーティションに
参加するために利用されるパーティション命令を含み、
該パーティション命令を実行するプロセッサと、前記パ
ーティション命令を格納するファームウェア装置と、第
１のランデブ状態を反映するレジスタをセットするコー
ドと、該レジスタを前記第１のランデブ状態を反映する
ようにセットした後にパーティション形成動作を遅延さ
せるコードと、パーティション形成動作を遅延させた後
に第２のランデブ状態に遷移するコードと、を具備する
セル。
システムで使用されるセルであって、パーティションに
参加するために利用されるパーティション命令を含み、
該パーティション命令を実行するプロセッサと、前記パ
ーティション命令を格納するファームウェア装置と、第
１のランデブ状態を反映するレジスタをセットするコー
ドと、該レジスタを前記第１のランデブ状態を反映する
ようにセットした後にパーティション形成動作を遅延さ
せるコードと、パーティション形成動作を遅延させた後
に第２のランデブ状態に遷移するコードと、を具備する
セル。
【００５４】
【発明の効果】パーティションに対するオペレーティン
グシステムインスタンスのインスタンス化に向けて、複
数の独立して実行するセル（システムリソースを構成す
る別個のハードウェアエンティティ）からのパーティシ
ョンの形成を柔軟に管理するシステムおよび方法が提供
される。
グシステムインスタンスのインスタンス化に向けて、複
数の独立して実行するセル（システムリソースを構成す
る別個のハードウェアエンティティ）からのパーティシ
ョンの形成を柔軟に管理するシステムおよび方法が提供
される。
【図１】本発明を説明するために利用される例示的なマ
ルチパーティションアーキテクチャを示す。
ルチパーティションアーキテクチャを示す。
【図２】パラレルパーティション形成に関連するイベン
トの例示的なフローチャートを示す。
トの例示的なフローチャートを示す。
【図３】同期セル手続きに関連するイベントの例示的な
フローチャートを示す。
フローチャートを示す。
２０８ｅ…ランデブ状態に遷移するステップ ２０８ｆ…同期化遅延のステップ ２０８ｇ…ローカルランデブセットを構成するステップ ２０８ｈ…ローカルランデブセットとグローバルに可視
的な場所に書込むステップ ２０８ｊ…同期化遅延のステップ ２０９…コアセルを選択するステップ ２１０…アライブセットを確立するステップ ２１２…パーティションゲーティング機能をプログラム
するステップ
的な場所に書込むステップ ２０８ｊ…同期化遅延のステップ ２０９…コアセルを選択するステップ ２１０…アライブセットを確立するステップ ２１２…パーティションゲーティング機能をプログラム
するステップ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ガイ・クンツ アメリカ合衆国95973カリフォルニア州チ コ、キーファー・ロード 3411 Ｆターム(参考） 5B045 CC03 GG11
Claims (1)
- 【請求項１】 パーティションを形成するようにセルの
構成済みセットのうちのセルの一部を同期させる方法で
あって、（ａ）第１のランデブ状態に達するステップ
と、（ｂ）前記一部の他のセルが該初期ランデブ状態に
達することができるように遅延するステップと、（ｃ）
第２のランデブ状態に遷移するステップと、を含み、前
記一部のセルは、前記ステップ（ａ）〜（ｃ）を独立し
て並列に実行する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/730221 | 2000-12-05 | ||
| US09/730,221 US7103639B2 (en) | 2000-12-05 | 2000-12-05 | Method and apparatus for processing unit synchronization for scalable parallel processing |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002183105A true JP2002183105A (ja) | 2002-06-28 |
| JP2002183105A5 JP2002183105A5 (ja) | 2005-03-17 |
| JP3947381B2 JP3947381B2 (ja) | 2007-07-18 |
Family
ID=24934451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001321305A Expired - Lifetime JP3947381B2 (ja) | 2000-12-05 | 2001-10-19 | スケーラブルパラレル処理のためのユニット同期化を処理する方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7103639B2 (ja) |
| JP (1) | JP3947381B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7320035B2 (en) * | 2002-03-01 | 2008-01-15 | Sun Microsystems, Inc. | Object mutation determination for incremental state saves |
| US7673125B2 (en) * | 2003-06-26 | 2010-03-02 | Hewlett-Packard Development Company, L.P. | Resetting multiple cells within a partition of a multiple partition computer system |
| US7356678B2 (en) * | 2004-01-12 | 2008-04-08 | Hewlett-Packard Development Company, L.P. | Security measures in a partitionable computing system |
| US7987464B2 (en) * | 2006-07-25 | 2011-07-26 | International Business Machines Corporation | Logical partitioning and virtualization in a heterogeneous architecture |
| US9207990B2 (en) * | 2007-09-28 | 2015-12-08 | Hewlett-Packard Development Company, L.P. | Method and system for migrating critical resources within computer systems |
| EP2510439B1 (en) | 2009-12-08 | 2022-05-04 | Hewlett Packard Enterprise Development LP | Managing errors in a data processing system |
| US8713350B2 (en) * | 2009-12-08 | 2014-04-29 | Hewlett-Packard Development Company, L.P. | Handling errors in a data processing system |
| US8239539B2 (en) * | 2009-12-16 | 2012-08-07 | Hewlett-Packard Development Company, L.P. | Management processors cooperating to control partition resources |
| US8407447B2 (en) * | 2009-12-16 | 2013-03-26 | Hewlett-Packard Development Company, L.P. | Dynamically reallocating computing components between partitions |
| US8745629B2 (en) * | 2010-01-11 | 2014-06-03 | Qualcomm Incorporated | System and method of controlling power in an electronic device |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6269390B1 (en) * | 1996-12-17 | 2001-07-31 | Ncr Corporation | Affinity scheduling of data within multi-processor computer systems |
| US6226734B1 (en) * | 1998-06-10 | 2001-05-01 | Compaq Computer Corporation | Method and apparatus for processor migration from different processor states in a multi-processor computer system |
| US20020016891A1 (en) * | 1998-06-10 | 2002-02-07 | Karen L. Noel | Method and apparatus for reconfiguring memory in a multiprcessor system with shared memory |
| US6542926B2 (en) * | 1998-06-10 | 2003-04-01 | Compaq Information Technologies Group, L.P. | Software partitioned multi-processor system with flexible resource sharing levels |
| US6260068B1 (en) * | 1998-06-10 | 2001-07-10 | Compaq Computer Corporation | Method and apparatus for migrating resources in a multi-processor computer system |
| US6633916B2 (en) * | 1998-06-10 | 2003-10-14 | Hewlett-Packard Development Company, L.P. | Method and apparatus for virtual resource handling in a multi-processor computer system |
| US6247109B1 (en) * | 1998-06-10 | 2001-06-12 | Compaq Computer Corp. | Dynamically assigning CPUs to different partitions each having an operation system instance in a shared memory space |
| US6594756B1 (en) * | 1999-09-08 | 2003-07-15 | Intel Corporation | Multi-processor system for selecting a processor which has successfully written it's ID into write-once register after system reset as the boot-strap processor |
| US6675324B2 (en) * | 1999-09-27 | 2004-01-06 | Intel Corporation | Rendezvous of processors with OS coordination |
| US6625749B1 (en) * | 1999-12-21 | 2003-09-23 | Intel Corporation | Firmware mechanism for correcting soft errors |
| US6622260B1 (en) * | 1999-12-30 | 2003-09-16 | Suresh Marisetty | System abstraction layer, processor abstraction layer, and operating system error handling |
| US6701360B1 (en) * | 2000-04-13 | 2004-03-02 | Hewlett-Packard Development Company, L.P. | Method and system for independent console access with tracking in a server system |
-
2000
- 2000-12-05 US US09/730,221 patent/US7103639B2/en not_active Expired - Lifetime
-
2001
- 2001-10-19 JP JP2001321305A patent/JP3947381B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP3947381B2 (ja) | 2007-07-18 |
| US20020069270A1 (en) | 2002-06-06 |
| US7103639B2 (en) | 2006-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11533311B2 (en) | Automatically deployed information technology (IT) system and method | |
| US11194635B2 (en) | Orchestration service for a distributed computing system | |
| US9026848B2 (en) | Achieving ultra-high availability using a single CPU | |
| US9507566B2 (en) | Entropy generation for a distributed computing system | |
| US6199179B1 (en) | Method and apparatus for failure recovery in a multi-processor computer system | |
| US6681282B1 (en) | Online control of a multiprocessor computer system | |
| US6973517B1 (en) | Partition formation using microprocessors in a multiprocessor computer system | |
| US20030120913A1 (en) | System and method for updating BIOS for a multiple-node computer system | |
| US20120079090A1 (en) | Stateful subnet manager failover in a middleware machine environment | |
| US20090144720A1 (en) | Cluster software upgrades | |
| US20110289417A1 (en) | User interface for configuring and managing the cluster | |
| US20070043972A1 (en) | Systems and methods for split mode operation of fault-tolerant computer systems | |
| JP2005500622A (ja) | データ転送ルーティングメカニズムを用いるコンピュータシステムパーティショニング | |
| JP2000222373A (ja) | マルチクラスタ化コンピュ―タ・システムを構成及び管理する方法及び装置 | |
| US20060036832A1 (en) | Virtual computer system and firmware updating method in virtual computer system | |
| WO2015042925A1 (zh) | 服务器的控制方法和服务器的控制设备 | |
| JP3947381B2 (ja) | スケーラブルパラレル処理のためのユニット同期化を処理する方法 | |
| JP6219514B2 (ja) | 仮想マルチパス状態アクセスを提供するコンピューティングデバイス、仮想マルチパス用のリモートコンピューティングデバイス、仮想マルチパス状態アクセスを提供する方法、仮想マルチパス用の方法、コンピューティングデバイス、コンピューティングデバイスに複数の方法を実行させるプログラム、及び、機械可読記録媒体 | |
| JP5131336B2 (ja) | ブート構成変更方法 | |
| RU2788309C1 (ru) | Способ централизованного реагирования на отказ сети или отказ сервера в кластере высокой доступности и восстановления виртуальной машины в кластере высокой доступности и система, реализующая данный способ | |
| TWI840849B (zh) | 計算系統、電腦實施方法及電腦程式產品 | |
| CN114296875A (zh) | 基于容错系统的数据同步方法、系统及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040413 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060808 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060811 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070413 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3947381 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |