JP2003030167A - クラスタ化コンピュータ・システムでの入出力ブリッジ・デバイスのアトミック所有権変更動作 - Google Patents

クラスタ化コンピュータ・システムでの入出力ブリッジ・デバイスのアトミック所有権変更動作

Info

Publication number
JP2003030167A
JP2003030167A JP2002124159A JP2002124159A JP2003030167A JP 2003030167 A JP2003030167 A JP 2003030167A JP 2002124159 A JP2002124159 A JP 2002124159A JP 2002124159 A JP2002124159 A JP 2002124159A JP 2003030167 A JP2003030167 A JP 2003030167A
Authority
JP
Japan
Prior art keywords
node
bridge device
register
bridge
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002124159A
Other languages
English (en)
Other versions
JP3790717B2 (ja
Inventor
Bruce Leroy Beukema
ブルース・レロイ・ビューケマ
Richard Charles Booth
リチャード・チャールズ・ブース
David Robert Engebretsen
デビッド・ロバート・エンゲブレトセン
Thomas Rembert Sand
レンバート・サンド トーマス
Kenneth Michael Valk
ケネス・マイケル・ボルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2003030167A publication Critical patent/JP2003030167A/ja
Application granted granted Critical
Publication of JP3790717B2 publication Critical patent/JP3790717B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/52Program synchronisation; Mutual exclusion, e.g. by means of semaphores

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 入出力ブリッジ・デバイスのアトミック所有
権変更動作のサポートを含むクラスタ化コンピュータ・
システム、ブリッジ・デバイス、および方法を提供す
る。 【解決手段】 ロック・インジケータを、ブリッジ・デ
バイスに関連付け、ブリッジ・デバイスの「ロック」状
況または「アンロック」状況を示すのに使用する。ブリ
ッジ・デバイスがアンロック状態であることがロック・
インジケータによって示される時に、ロック・インジケ
ータ・レジスタへの読取要求などのアトミック動作が、
ブリッジ・デバイスのロック状況を示すためにインジケ
ータをセットすることと、アトミック動作を開始したソ
ース・ノードにブリッジ・デバイスを関連付けることの
両方に使用される。1つまたは複数の構成パラメータ・
レジスタへの書込アクセスが、ブリッジ・デバイスに関
連するノードだけがそのような構成パラメータ・レジス
タの更新を許可されるように制御される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、全般的にはクラス
タ化コンピュータ・システムを対象とし、具体的には、
その中の入出力ブリッジ・デバイスの所有権の管理に関
する。
【0002】
【従来の技術】「クラスタ化」は、一般に、複数のコン
ピュータまたはノードが一緒にネットワーク化されて、
協力してコンピュータ・タスクを実行するコンピュータ
・システム編成を指す。コンピュータ・クラスタの重要
な態様は、クラスタ内のノードのすべてが単一のシステ
ム・イメージを表わす、なわち、ユーザの観点からクラ
スタ内のノードが単一のコンピュータまたはエンティテ
ィとしてまとまって見えることである。
【0003】クラスタ化は、高性能および高信頼性が重
要となる比較的大規模なマルチユーザ・コンピュータ・
システムでしばしば使用される。たとえば、クラスタ化
は、冗長性またはフォールト・トレランスを提供し、そ
の結果、クラスタ内のノードに障害が発生した場合に、
そのノードによって前に実行されていた動作をクラスタ
内の他のノードが処理するようにするのに使用すること
ができる。クラスタ化は、総合性能を高めるのにも使用
される。というのは、複数のノードが、しばしば、単一
のコンピュータが処理できるはずのタスクより多数のタ
スクを並列に処理できるからである。しばしば、ロード
・バランシングも、個々のノードが過負荷にならないよ
うにノード間でタスクを公平に分配し、したがって総合
システム性能が最大になるようにするのに使用すること
ができる。クラスタ化の1特定の応用例が、たとえば、
データベースまたは記憶装置などの共用リソースへのマ
ルチユーザ・アクセスの提供である。というのは、複数
のノードが、比較的多数のユーザ・アクセス要求を処理
でき、共用リソースが、クラスタ内の所与のノードの障
害時であっても通常はユーザが使用可能になるからであ
る。
【0004】クラスタ化コンピュータ・システムは、多
数の他のタイプのコンピュータ・システムと同様に、本
明細書で「入出力」リソースと称する、ワークステーシ
ョン、ネットワーク・アダプタ、記憶装置コントローラ
などのさまざまなリソースとの外部通信を必要とするこ
とがしばしばである。多数のそのようなシステムで、入
出力リソースが、1つまたは複数の入出力ブリッジ・デ
バイスを使用して、クラスタ化コンピュータ・システム
に結合され、これらの入出力ブリッジ・デバイスは、2
つのネットワーク・ファブリック、たとえば、入出力拡
張バスと、PCI(Peripheral Component Interconnec
t)バスなどの周辺バスの間の「ブリッジング」の機能
を実行する。入出力ブリッジ・デバイスは、クラスタ化
コンピュータ・システム内のノードと同一の物理筐体内
に取り付けるか、全く別のハウジングに配置することが
できる。
【0005】多くのクラスタ化コンピュータ・システム
では、ブリッジ・デバイスが、構成可能であり、ノード
の1つによって管理されることを必要とする。しばし
ば、各ブリッジ・デバイスが、所与の時点で正確に1つ
のノードによって管理されることが要件である。したが
って、クラスタ化コンピュータ・システム内の1ノード
の障害が、そのノードによって所有されるブリッジ・デ
バイスとの通信の消失をもたらす場合がある。
【0006】クラスタ化コンピュータ・システムでの可
用性を最大にすることが望ましいので、ノード障害の場
合であっても、すべてのブリッジ・デバイスおよびその
下のリソースの可用性を維持することが望ましいことが
しばしばである。したがって、障害を発生したノードか
らまだ機能している別のノードへのブリッジ・デバイス
の所有権の変更を容易にすることが、非常に望ましい。
機能しているノードは、ブリッジ・デバイスの管理を引
き受け、そのブリッジ・デバイスの下のリソースへのア
クセスを可能にする。
【0007】しかし、ブリッジ・デバイスの所有権の切
替は、複数の独立のノードがクラスタ化動作に能動的に
参加している時には、単純な処理ではない。ブリッジ・
デバイスは、通常は、たとえばブリッジ・ネットワーク
・アドレス、ブリッジ・デバイス内のレジスタ空間のア
ドレス・マッピング、ブリッジ・デバイスの下のリソー
スのアドレス・マッピング、およびブリッジ・デバイス
の電源管理などのブリッジ・デバイス内の機能を、所有
するノードと共に機能するように特に構成しなければな
らないという事実に起因して、どの時点でも1つのノー
ドだけによって管理されなければならない。しかし、ブ
リッジ・デバイスの正しい動作は、元の所有者が所有権
変更中にブリッジ・デバイスへのアクセスを試みる場合
に、所有権があるノードから別のノードに転送されつつ
ある時に危険にさらされる可能性がある。クラスタ化コ
ンピュータ・システムでは、これは、通常は非常に重要
である。というのは、独立のノードが、別のノードが完
全に障害状態であるのか応答が遅いだけなのかを知るこ
とが、不可能でないとしても困難だからである。さら
に、障害を発生したノードが回復する場合に、回復した
ノードが、障害の前に所有していたが、障害の時に新し
い所有者に切り替えられたブリッジ・デバイスの管理を
試みる可能性があるという危険性が存在する。それが行
われると、ブリッジ・デバイスが崩壊し、部分的または
完全なシステム障害が生じる可能性がある。したがっ
て、当技術分野には、クラスタ化コンピュータ・システ
ムでブリッジ・デバイスの所有権を変更する方法、具体
的には、システム可用性での中断を最小限にする、信頼
性があり効率的な所有権転換を可能にする方法の必要が
存在する。
【0008】
【発明が解決しようとする課題】本発明は、入出力ブリ
ッジ・デバイスの整然とした信頼性のある所有権管理を
保証するアトミック所有権変更動作のサポートを含む、
クラスタ化コンピュータ・システム、ブリッジ・デバイ
ス、および方法を提供することによって、従来技術に関
連する上記および他の問題に対処する。
【0009】
【課題を解決するための手段】具体的には、ロック・イ
ンジケータが、ブリッジ・デバイスに関連し、1時に1
つノードだけがブリッジ・デバイスの所有権を主張でき
るようにするのに使用される。さらに、ブリッジ・デバ
イスの1つまたは複数の構成パラメータをセットする能
力を、ブリッジ・デバイスの所有権を有する1つのノー
ドだけに制限し、その結果、所有権の整然とした変更を
実行できるようにする。
【0010】示される実施形態では、ロック・インジケ
ータを使用して、ブリッジ・デバイスの「ロック」状況
または「アンロック」状況を示す。ロック・インジケー
タ・レジスタが、ブリッジ・デバイスがアンロックされ
ていることを示す時には、必ず、ロック・インジケータ
・レジスタへのアクセス要求などのアトミック動作を、
ブリッジ・デバイスに関するロック状況を示すようにイ
ンジケータをセットすることと、アトミック動作を開始
したソース・ノードにブリッジ・デバイスを関連付ける
ことの両方に使用することができる。さらに、ロック・
インジケータに関連して、1つまたは複数の構成パラメ
ータ・レジスタへの書き込みアクセスを制御し、ブリッ
ジ・デバイスに関連するノードだけが、そのような構成
パラメータ・レジスタの更新を許可されるようにするこ
とができる。
【0011】
【発明の実施の形態】以下で説明する実施形態では、一
般に、アトミック・テスト/セット動作を使用して、ク
ラスタ化コンピュータ・システム内のブリッジ・デバイ
スの所有権の信頼性があり効率的な変更を行う。本発明
との一貫性を有する形で、ロック・インジケータを使用
して、1回に1つのノードだけがブリッジ・デバイスの
所有権を主張できるようにする。アクセス要求(たとえ
ば読取要求)が、ノードによってロック・インジケータ
に向けられる時に、必ず、そのアクセス要求が、テスト
/セット動作として処理されて、第1に、ロック・イン
ジケータの状況をテストし、インジケータがブリッジ・
デバイスの「アンロック」状況を示す場合に、第2に、
ブリッジ・デバイスをそのノードに関連付け、ロック・
インジケータをセットして、ブリッジ・デバイスのロッ
ク状況を示す。これらの機能をアトミック・プリミティ
ブで実施することによって、障害を発生したノードが後
に再始動し、そのノードが前に管理していたブリッジ・
デバイスの管理を試みる場合であっても、所有権の変更
を、他のノードと衝突せずに行うことができる。
【0012】アトミック動作には、アトミック動作内の
ステップが、ブリッジ・デバイスの観点から後続動作の
すべての前に完了する限り、並列または直列に実行され
るアクティビティを含めることができる。言い換える
と、アトミック動作のどのステップの間であっても、通
常は、その間に入る動作は許可されない。
【0013】本発明の文脈では、ブリッジ・デバイス
は、クラスタ化コンピュータ・システムの1つまたは複
数のノードを入出力リソースの組にインターフェースす
るのに使用されるネットワーキング・ハードウェアを表
すことができる。ノードは、通常は、特にブリッジ・デ
バイスの所有権が1時に単一のノードに制限されるクラ
スタ化コンピュータ・システムにおいて、ノードがブリ
ッジ・デバイスの動作の管理を許可される時に、ブリッ
ジ・デバイスを「所有する」とみなされる。示される実
施形態のブリッジ・デバイスの管理には、通常は、少な
くとも、ブリッジ・デバイスに関連する1つまたは複数
の構成パラメータを更新する能力が含まれる。したがっ
て、ブリッジ・デバイス上の1つまたは複数の構成パラ
メータ・レジスタへの書込アクセスは、通常は、所有す
るノードによって開始されるアクセスに制限される。
【0014】ブリッジ・デバイスは、通常は、所有する
ノードに関する識別情報をブリッジ・デバイス内に保管
することによって、1つのノードに関連付けられる。示
される実施形態では、所有権情報が、通常は、ブリッジ
・デバイスに関する1つまたは複数の構成パラメータへ
の書込アクセスのゲーティングに使用される。たとえば
所有者ノード・ネットワーク・アドレス情報、ポート情
報、シリアル番号、タイプ、モデルなど、さまざまな所
有権識別情報を使用することができる。たとえば、示さ
れる実施形態では、所有するノードに関連するIPアド
レスと、それに結合された、ノードがそれを介してブリ
ッジ・デバイスに結合されるポート番号の組合せが、所
有者ノードの識別に使用される。代替案では、所有する
ノードを一意に識別できる他の情報を使用することがで
きる。
【0015】下でより明白になるように、任意の数のネ
ットワーク・トポロジおよびファブリックを使用して、
クラスタ・ノードとブリッジ・デバイスを相互接続する
ことができ、これによって、複数のノードに相互接続さ
れ、その複数のノードによって「所有される」ことがで
きるブリッジ・デバイスを、そのようなブリッジ・デバ
イスが管理するノードに関してローカルとリモートのど
ちらであるかにかかわりなく、そのようなノードのいず
れかによって効率的に管理することができる。
【0016】上で説明したロック・インジケータは、ブ
リッジ・デバイスのために保管された所有権情報に対す
る更新のゲーティングに使用される。上で述べたよう
に、その所有権情報は、ブリッジ・デバイスがどのよう
に動作するか、具体的には、ブリッジ・デバイスが入出
力リソースからの通信をクラスタ化コンピュータ・シス
テムにどのようにルーティングするか、を制御する、ブ
リッジ・デバイスの構成パラメータに対する更新のゲー
ティングに使用される。示される実施形態では、構成パ
ラメータに対する読取アクセスが、ゲーティングされな
いが、他の実施形態では、読取アクセスを、所望される
場合に同様に所有権情報によってゲーティングすること
ができる。
【0017】通常、ロック・インジケータを、書込要求
などの別のアクセス要求を使用してリセットすることが
でき、その結果、ブリッジ・デバイスがアンロック状況
になり、後続のアクセス要求を、所有権変更動作をもた
らすために発行できるようになる。さらに、通常は、ア
クセス要求に応答して結果が返され、その結果、ノード
が、所有権を得た時を検出できるようになり、このノー
ドが、その後、現在所有するブリッジ・デバイスを、所
有するノードと正しく相互作用するように再構成するこ
とができるようになる。
【0018】他の修正形態および代替形態は、下記から
明白になる。
【0019】図面に移ると、図では、同一の符号が複数
の図面を通じて同一の部分を表すが、図1に、相互接続
のネットワーク14を介して互いに相互接続される複数
のノード12を含むことができるクラスタ化コンピュー
タ・システム10が示されている。各ノード12は、包
括的に、たとえば任意の数の、ネットワーク・サーバ、
ミッドレンジ・コンピュータ、メインフレーム・コンピ
ュータなどのマルチユーザ・コンピュータを表す。しか
し、本発明を、たとえばワークステーション、デスクト
ップ・コンピュータ、ポータブル・コンピュータおよび
類似物などの独立型コンピュータおよび単一ユーザ・コ
ンピュータなどの他のコンピュータまたはデータ処理シ
ステム内もしくは他のプログラマブル電子デバイス(た
とえば組込みコントローラまたは類似物を組み込まれ
た)内で実施できることを諒解されたい。さらに、複数
のノードが、単一の物理コンピュータ内、たとえば論理
分割されたシステム内に存在することができる。
【0020】各ノード12には、一般に、プロセッサ・
バス22上で、主記憶またはメモリ18および入出力ハ
ブ20に結合される1つまたは複数のシステム・プロセ
ッサ16が含まれる。メモリ18が、主記憶として図示
されているが、通常はマルチレベル・メモリ・アーキテ
クチャが使用され、これによって、1つまたは複数のレ
ベルのキャッシュ・メモリが、プロセッサまたは外部キ
ャッシュ(図1には図示せず)に組み込まれることを諒
解されたい。
【0021】さまざまな入出力リソースのサポートを提
供するために、1つまたは複数のブリッジ・デバイス2
4も、ネットワーク14を介してノード12に相互接続
される。各ブリッジ・デバイスは、ネットワーク14上
のノードを、ネットワーク26を介してブリッジ・デバ
イスに結合された1つまたは複数の入出力リソース、た
とえば複数の入出力アダプタ(IOA)28にインター
フェースする。IOA28は、クラスタ化コンピュータ
・システムを、記憶装置およびコントローラ、ワークス
テーションおよびワークステーション・コントローラ、
ネットワーク・インターフェースなどのさまざまな装置
とインターフェースするのに適するインターフェース回
路を表すことができる。
【0022】クラスタ化コンピュータ・システムで一般
に使用されているネットワーク・トポロジを、任意の個
数だけ使用して、本発明との一貫性を有するネットワー
ク14および26のそれぞれを実施することができる。
示される実施形態では、たとえば、各ノード12が、In
ternational Business Machines Corporation社が販売
するAS/400またはeSeries iServerミッドレンジ
・コンピュータ・システムであり、ネットワーク14
が、各ノード12およびブリッジ・デバイス24が結合
される入出力拡張バスを表す。さらに、各ブリッジ・デ
バイスは、たとえば、Peripheral Component Interconn
ect(PCI)ブリッジを表すことができ、これによっ
て、ネットワーク26が、その使用および構成が当技術
分野で周知のPCIバスになる。他の相互接続ファブリ
ックを使用して、ノード12およびブリッジ・デバイス
24を、本発明との一貫性を有する形で互いに結合する
ことができる。
【0023】さらに、当技術分野で周知のように、個々
のノード12を、物理的に他のノードに非常に近接して
配置することができ、また、たとえば広域ネットワーク
(WAN)を介して、他のノードから地理的に離すこと
ができる。示される実施形態では、たとえば、ネットワ
ーク14を、ノード間でpoint-to-point相互接続が使用
される対等ネットワークとすることができる。さらに、
ブリッジ・デバイス24を、ノード12と同一の物理的
筐体内に収納することができ、また、他のノードに関し
てローカルにまたはリモートに配置することができる。
したがって、本発明が、本明細書で開示される特定のハ
ードウェアおよび相互接続技術に制限されないことを諒
解されたい。
【0024】本明細書に記載の所有権変更機能を実施す
るために、クラスタ内の各ノードに、通常は、ノードで
のクラスタ化関連動作を管理するためのクラスタ化イン
フラストラクチャが含まれる。たとえば、ノード12
は、メモリ18内にクラスタ化リソース・サービス30
と称するクラスタ・インフラストラクチャが常駐するも
のとして図示されている。通常は、クラスタ化リソース
・サービスを介するか、上位のジョブまたはアプリケー
ションからの機能呼出しによる開始を介して、所有権変
更動作がノードによって開始される。また、通常は、所
有権変更動作の開始は、障害を発生したノード以外のノ
ードによって、たとえば別のノードによって検出された
エラーに応答して、または、別のノードを介して管理者
による手動要求によって、行われる。
【0025】各ブリッジ・デバイス24には、通常は、
ノード要求に応答して所有権変更動作を処理するハード
ウェア回路も含まれる。示される実施形態では、アクセ
ス制御回路40が、ブリッジ・デバイスに向けられたア
クセス要求(通常は読取要求および書込要求)を処理す
るのに使用される。さらに、示される実施形態では、ブ
リッジ・デバイスが、メモリ・マップ入出力インターフ
ェース(たとえばPCIバス)とインターフェースし、
これによって、アドレス可能メモリ空間の一部が、ブリ
ッジ・デバイス内で定義されるさまざまな構成レジスタ
32に割り振られる。
【0026】ブリッジ・デバイスとインターフェースす
るのに使用される他の構成レジスタの中に、ロック・イ
ンジケータ・レジスタ34を設けて、ブリッジ・デバイ
スの「ロック」状況または「アンロック」状況を示すロ
ック・インジケータを保管する。さらに、所有者識別レ
ジスタ36を設けて、どのノードが現在そのブリッジ・
デバイスを「所有する」かを示す所有者識別子を保管す
る。追加の構成パラメータ・レジスタ38も、ブリッジ
・デバイスが動作する方法、たとえば、ブリッジ・デバ
イスがネットワーク26との間でデータをルーティング
する方法、具体的には、ブリッジ・デバイスが、そのブ
リッジ・デバイスの所有者として現在登録されているノ
ード12へ要求されたデータをルーティングする方法を
制御する、1つまたは複数の構成パラメータを保管する
ために設けられる。構成パラメータは、たとえば、ホス
ト(所有者)システム・ネットワーク・アドレッシング
情報、ブリッジ・ネットワーク・アドレッシング情報、
ブリッジ・レジスタ・アドレス・マッピング情報、リソ
ース・アドレス・マッピング情報、電源管理情報などに
ついて、定義することができる。他の構成レジスタも、
各ブリッジ・デバイス24に組み込むことができ、さら
に、一部のレジスタを、本明細書に記載のように、他の
レジスタと同一の形でノードによって構成可能ではなく
することができる。
【0027】本明細書に記載の機能性を、ノード12お
よびブリッジ・デバイス24のそれぞれのハードウェア
またはソフトウェアもしくはその両方のさまざまな代替
の組合せで実施できることと、機能性を、クラスタ化コ
ンピュータ・システム10内の他のプログラム、コンピ
ュータ、または構成要素の間で割り振ることができるこ
とを諒解されたい。さらに、示される実施形態では、通
常は、アクセス制御回路およびそれによって実施される
アクセス処理機能性が、ハードウェア回路で(たとえば
ハードウェア状態機械を用いて)実施されるが、代替案
では、プログラマブル・コントローラを使用することが
できる。それでも、ハードウェアベースの実施形態にも
かかわらず、用語「ルーチン」が、アクセス制御回路内
で実施されるハードウェアベースの機能性を記述するの
に使用される。したがって、本発明は、本明細書に記載
の特定のハードウェアおよびソフトウェアの実施形態に
制限されない。
【0028】以下の議論では、上で説明した所有権変更
機能を実施するのに使用される特定のルーチンおよび回
路に焦点を合わせる。本発明の実施形態を実施するため
に実行されるルーチンは、オペレーティング・システム
の一部、もしくは特定のアプリケーション、コンポーネ
ント、プログラム、オブジェクト、モジュール、または
命令のシーケンスのいずれとして実施される場合でも、
本明細書では「コンピュータ・プログラム」または単に
「プログラム」と称する。コンピュータ・プログラムに
は、通常、コンピュータのさまざまなメモリおよび記憶
装置にさまざまな時に常駐し、コンピュータ内の1つま
たは複数のプロセッサによって読み取られ、実行される
時に、本発明のさまざまな態様を実施するステップまた
は要素を実行するのに必要なステップをコンピュータに
実行させる、1つまたは複数の命令が含まれる。さら
に、本明細書に記載の機能性の一部またはすべてを、ハ
ードウェア回路で直接に実施できることを諒解された
い。
【0029】さらに、本発明を、完全に機能するコンピ
ュータおよびコンピュータ・システムに関して説明する
が、当業者は、本発明のさまざまな実施形態を、さまざ
まな形態のプログラム製品として配布できることと、本
発明が、配布の実際の実行に使用される信号担持媒体の
特定のタイプに無関係に同等に適用されることを諒解す
るであろう。信号担持媒体の例には、とりわけ、揮発性
メモリ・デバイス、不揮発性メモリ・デバイス、フロッ
ピ(R)および他の取外し可能ディスク、ハード・ディ
スク、光ディスク(たとえばCD−ROM、DVDな
ど)などの記録可能型媒体と、ディジタル通信リンクお
よびアナログ通信リンクなどの伝送型媒体が含まれる
が、これに制限されない。
【0030】以下で説明するさまざまなプログラムを、
それらが本発明の特定の実施形態で実施される目的の応
用例に基づいて識別できることを諒解されたい。しか
し、以下の特定のプログラム用語が、単に便宜のために
使用され、したがって、本発明が、そのような用語によ
って識別または暗示される特定の応用例だけでの使用に
制限されてはならないことを諒解されたい。
【0031】上で説明した所有権変更機能性をサポート
するために、アクセス制御回路40は、クラスタ化コン
ピュータ・システム内のさまざまなノードによってブリ
ッジ・デバイスに向けられる読取アクセスおよび書込ア
クセスを受け入れるように構成される。この実施形態に
関して、ネットワーク・ファブリックが、ノードとブリ
ッジ・デバイスの間で読取要求および書込要求を転送
し、各要求に、少なくとも要求のソースのネットワーク
・アドレス、要求のターゲットのアドレス、およびアク
セスされるメモリ・アドレスが含まれると仮定する。し
かし、代替案では、他のネットワーク・プロトコルを使
用できることを諒解されたい。
【0032】示される実施形態では、アクセス制御回路
が、デバイス上に存在するさまざまな構成レジスタ32
に向けられた読取要求および書込要求を処理するように
構成される。各構成レジスタに、ブリッジ・デバイスの
アドレス可能メモリ空間内のアドレスが割り振られる。
したがって、特定の構成レジスタのアドレスに向けられ
た読取要求または書込要求が、ブリッジ・デバイスのア
クセス制御回路によって、そのレジスタに対する読取要
求または書込要求として処理される。
【0033】上で説明した所有権変更機能性を実施する
ために、図2および図3に示された形でロック・インジ
ケータ・レジスタに対する読取アクセス要求および書込
アクセス要求を処理するようにアクセス制御回路を構成
する。ロック・インジケータ・レジスタには、通常は、
ブリッジ・デバイスの「ロック」状況または「アンロッ
ク」状況が保管され、したがって、1ビットだけを使用
してデバイス状況を表すことができる。
【0034】図2からわかるように、たとえば、ロック
・インジケータ・レジスタに向けられた読取アクセス要
求は、ロック読取ルーチン60によって処理され、ロッ
ク読取ルーチン60は、ブロック62で、ロック・イン
ジケータ・レジスタの現在の状態をテストすることによ
って開始される。ロック・インジケータに「1」がセッ
トされ、ブリッジ・デバイスが現在ロックされているこ
とが示される場合には、制御をブロック64に渡し、ブ
リッジ・デバイスが現在ロックされていることを示す
「1」の結果を返す。
【0035】ブロック62に戻って、ロック・インジケ
ータ・レジスタから、ブリッジ・デバイスがアンロック
状態である(図示の実施形態では値「0」)が示される
場合には、制御がブロック66に渡されて、(1)ロッ
ク・インジケータ・レジスタに「1」の値をセットする
ことによってブリッジ・デバイスをロックし、(2)読
取要求を発行したソース・ノードの識別情報を所有者識
別レジスタに保管する。上で述べたように、示される実
施形態では、ソース・ノードのネットワーク・アドレス
ならびに、読取要求を受け取ったブリッジ上のポート
が、通常はブリッジ・デバイスの新しい所有者を識別す
るために保管される。所有者識別レジスタにソース・ノ
ード情報を保管することによって、ブリッジ・デバイス
が、ソース・ノードに関連付けられ、所有される。ネッ
トワーク・アドレスとポートの両方を所有者識別子とし
て使用することによって、ネットワーク上の複数のノー
ドが同一のネットワーク・アドレスを有する場合であっ
ても、ブリッジ・デバイスへの書込アクセスを防止する
ことが可能になることに留意されたい。そのような状況
は、システム障害の後に、パワー・アップ時にネットワ
ーク上で一意でない可能性があるデフォルト・ネットワ
ーク・アドレスが割り当てられる場合に発生する可能性
がある。
【0036】ブロック66の完了時に、制御がブロック
68に渡されて、ブリッジ・デバイスが読取アクセス要
求の時にアンロックされていたことを示す「0」の値を
返す。したがって、「0」の結果は、所有権がソース・
ノードに許可されたことをソース・ノードに示す。
【0037】ロック・インジケータ・レジスタに向けら
れた書込アクセス要求は、図3のルーチン70によって
示されるように処理される。書込要求に応答して、ブロ
ック72で、レジスタに書き込まれる値が「0」か
「1」かを判定する。「0」でない場合には、処置が実
行されないので、ブロック74に制御を渡す。しかし、
「0」を書き込む処置が試みられる場合には、ブロック
72からブロック76に制御を移して、ロック・インジ
ケータを「0」の値にリセットする。その後、制御をブ
ロック74に渡して、要求の処理を完了する。他の実施
形態では、すべての書込要求(たとえば、任意の値の書
込)を処理して、ロック・インジケータをリセットする
ことができる。そのような代替実施形態では、書込要求
で供給される値に関する検査が、不要になる。
【0038】信頼性のある所有権変更を保証するため
に、2つの同時読取が発生する場合であっても、正確に
1つのロック・ビットの読取側がロック・ビットをリセ
ットすることを保証するようにアクセス制御回路を構成
する。任意の数の既知のアービトレーション方式を使用
して、複数の保留中の要求の1つを処理し、その結果、
ブリッジ・デバイスがアンロック状況である時に、1つ
のノードだけがブリッジ・デバイスの所有権を得るよう
にすることができる。別のノードが、その後に、ブリッ
ジ・デバイスの所有権を取り戻すことを望む場合に、そ
のノードは、上で説明したように、書き込みアクセス要
求を使用してロック・インジケータをリセットする必要
がある。
【0039】ブリッジ・デバイスが、ロックされ、特定
のノードに関連付けられた後に、ロック・インジケータ
・レジスタおよび所有者識別子レジスタが、ブリッジ・
デバイスへの読取アクセスまたは書込アクセスもしくは
その両方のゲーティングに使用される。示される実施形
態では、すべてのブリッジ・レジスタに対する読取が、
ロック・インジケータの状況に無関係にいつでも許可さ
れる。しかし、ロック・インジケータ・レジスタを除く
すべてのレジスタへの書込が、所有者識別子レジスタで
識別されるノードに制限される。図4からわかるよう
に、たとえば、ルーチン80をアクセス制御回路内で実
施して、すべてのブリッジ構成レジスタへの書き込みア
クセス要求を処理することができる。ルーチン80は、
ブロック82で、要求に関連するソース識別情報が、所
有者識別子レジスタに保管されているかどうかを判定す
ることによって開始される。そうでない場合には、制御
をブロック84に渡し、書込要求を無視する(または、
「拒否」の結果を返す)。そうではなく、情報が一致す
る場合には、ブロック82からブロック86に制御を渡
して、要求に従って書込動作を実行する。その後、制御
をブロック84に移して、動作を完了する。
【0040】示される実施形態では、ロック・インジケ
ータ・レジスタへの書込アクセスを、ロック・インジケ
ータ・レジスタの状況に無関係に、いつでも許可するこ
とができることも諒解されたい。したがって、どのノー
ドでも、望むならばブリッジ・デバイスのロックを中断
することを許可される。それを行うことによって、所有
するノードがそれ自体で所有権を解放しないか解放でき
ない場合であっても、別のノードが所有権を得ることが
許可され、したがって、所有するノードの障害が、通常
は、別のノードがブリッジ・デバイスの所有権を得るこ
とを妨げなくなる。
【0041】本発明との一貫性を有する所有権変更の開
始は、複数の形で処理することができる。たとえば、ノ
ードのクラスタ化リソース・サービスが、特定のノード
での障害の検出に応答して自動的に所有権変更を開始で
きるようにし、その結果、障害を発生したノードを所有
権の義務から解放することができ、別のノードが、第1
のノードの障害が完了する前にこれらの所有権の義務を
引き受けるようにすることができることが望ましい。代
替案では、所有権変更動作を、管理者が、たとえば、よ
り上位のジョブを介してクラスタ化リソース・サービス
と対話するシステム管理者によってノードのクラスタ化
リソース・サービスに対して行われる要求を介して、開
始することができる。さらに、所有権変更は、主修正処
置とすることができ、また、たとえばクラスタがより上
位でのリソース管理にシフトできない場合の、バックア
ップ修正処置とすることができる。さらに、クラスタ化
リソース・サービスを介するのではなく、オペレーティ
ング・システム内の低水準ルーチンを使用して、所有権
変更動作を開始することができる。
【0042】図5に、ノードの観点からの、所有権獲得
ルーチン100によって表される、例示的な所有権変更
動作の進行を示す。ノードが、検出された障害または手
動で活動化されたイベントのいずれかに起因して、ブリ
ッジ・デバイスの所有権を得ることを望む場合に、所有
権獲得ルーチン100が呼び出され、ブロック102
で、ブリッジのロック・インジケータ・レジスタへの
「0書込」要求を送出することによって開始される。そ
れを行うことによって、図3に関して上で説明したよう
に、ロック・インジケータのリセットがもたらされる。
次に、ブロック104で、ブリッジ・ロック・インジケ
ータ・レジスタへの読取要求を送出し、したがって、ブ
リッジ・デバイスの所有権を得ることを試みる。その要
求に応答して、ブリッジ・デバイスが、上で図2に関し
て説明したように要求を処理し、結果を返し、その結果
が、ブロック106で調べられる。結果が「1」の値で
あり、ブリッジが、読取要求の時にロックされていた
(たとえば、ここで論じているノードの前に読取要求を
発行した別のノードに起因して)ことが示される場合
に、制御をブロック108に渡して、「失敗」表示を呼
出し元ルーチンに返し、所有権変更動作が完了しなかっ
たことを示す。しかし、読取要求の結果が「0」であ
り、ブリッジ・デバイスが、読取要求を受け取った時に
ロックされていなかったことが示される場合には、ブロ
ック106からブロック110に制御を渡して、1つま
たは複数の書込要求をブリッジ構成レジスタに送って、
1つまたは複数の構成パラメータを構成し、これによっ
て、そのノードによって管理されるようにブリッジ・デ
バイスを初期化する。
【0043】ブロック110の完了時に、ブリッジ構成
レジスタが書込要求に応答して実際に更新されたことを
確認するために、ブロック112を、任意選択として実
行して、ブリッジ構成レジスタに1つまたは複数の読取
要求を送ることができる。そのような確認によって、ソ
ース・ノードによる所有が完了したことが確認される。
したがって、ブロック114で、所有が確認されたかど
うかを判定し、そうである場合には、ブロック116に
制御を渡して、「成功」の結果と共にルーチンを終了す
る。そうでない場合には、ブロック114からブロック
108に制御を渡して、「失敗」の結果を返し、所有権
獲得ルーチン100を終了する。代替案では、ブリッジ
・ロック・レジスタへの成功裡の読取要求の後に行われ
るすべての書込要求によって、ローカル・ノードへの所
有権の転送が完了するという前提の下で、ブロック11
2および114を省略することができる。
【0044】本発明の趣旨および範囲から逸脱せずに、
示される実施形態に対するさまざまな修正を行うことが
できる。たとえば、他の形態のアクセス要求を使用し
て、本明細書で開示されたアトミック動作を実行するこ
とができる。さらに、さまざまなレジスタの組合せを使
用して、構成情報、具体的にはロック・インジケータ、
所有者識別子、および構成パラメータを保管することが
できる。たとえば、構成パラメータ、所有者識別子、お
よびロック・インジケータに関連するデータを、同一の
レジスタ内の異なるビットに保管するか、複数のレジス
タにまたがって分配することができる。レジスタ構造内
のそのようなデータの配置を広範囲に変更できるので、
あるタイプの情報を得るためのあるレジスタへのアクセ
スの実行および別のタイプの情報を得るためのレジスタ
への別のアクセスの実行に対する本明細書での言及が、
異なるレジスタまたは同一のレジスタ内の異なるフィー
ルドへのアクセスを構成することができることを諒解さ
れたい。
【0045】また、所有権識別に基づく追加のゲーティ
ングを行うことができることを諒解されたい。たとえ
ば、ブリッジ・デバイスを、所有者ノードからのみの、
ブリッジに結合されたリソースに向けられたアクセス要
求の受取に制限することができ、これによって、所有者
識別子レジスタを、そのようなアクセス要求に関連して
使用することができる。
【0046】ルーチン100の後に、制御するノード
が、さらに、たとえばデバイス上のリソースとのクラス
タ通信を確立するために、ブリッジ・デバイスの追加の
構成を要求できることも諒解されたい。
【0047】他の修正形態は、当業者に明白であろう。
したがって、本発明は、請求項に見出される。
【0048】まとめとして、本発明の構成に関して以下
の事項を開示する。
【0049】(1)クラスタ化コンピュータ・システム
内の入出力ブリッジ・デバイスでアクセス要求を処理す
る方法であって、(a)前記クラスタ化コンピュータ・
システム内の第1ノードから、前記入出力ブリッジ・デ
バイスに関連するロック・インジケータに向けられたア
クセス要求を受け取るステップと、(b)前記ロック・
インジケータがセットされていない場合に、前記ロック
・インジケータをセットし、前記入出力ブリッジ・デバ
イスを前記第1ノードに関連付けることによって、前記
アクセス要求に応答して前記入出力ブリッジ・デバイス
をロックするステップと、(c)前記クラスタ化コンピ
ュータ・システム内のもう1つのノードから受け取られ
た書込要求に応答して、前記もう1つのノードが前記入
出力ブリッジ・デバイスに関連付けられていない場合
に、前記入出力ブリッジ・デバイスに関連する少なくと
も1つの構成パラメータへの前記もう1つのノードによ
る書込アクセスを制限するステップとを含む方法。 (2)前記アクセス要求が読取要求を含み、前記方法が
さらに、前記読取要求に応答して、前記ロック・インジ
ケータがセットされていない場合に前記第1ノードにア
ンロック状況を返し、前記ロック・インジケータがセッ
トされている場合に前記第1ノードにロック状況を返す
ステップを含む、(1)に記載の方法。 (3)前記入出力ブリッジ・デバイスを前記第1ノード
に関連付けるステップが、前記第1ノードに関連する所
有者識別子を前記入出力ブリッジ・デバイスに関連する
所有者識別子レジスタに保管するステップを含む、
(1)に記載の方法。 (4)前記所有者識別子が、前記アクセス要求を前記入
出力ブリッジ・デバイスに送った前記ノードのネットワ
ーク・アドレスと、前記アクセス要求がそれを介して受
け取られた、前記入出力ブリッジ・デバイス上のポート
に関連するポート識別子とを含む、(3)に記載の方
法。 (5)前記クラスタ化コンピュータ・システム内のノー
ドによって前記ロック・インジケータに向けられた書込
要求に応答して前記ロック・インジケータをリセットす
るステップをさらに含む、(1)に記載の方法。 (6)前記入出力ブリッジ・デバイスが前記第1ノード
に関連付けられている時に、前記第1ノードから受け取
られた書込要求に応答して前記構成パラメータを更新す
るステップをさらに含む、(1)に記載の方法。 (7)前記クラスタ化システム内のいずれかのノードか
ら受け取られた読取要求に応答して、そのノードが前記
入出力ブリッジ・デバイスに関連付けられているかどう
かに無関係に、前記構成パラメータに関連する状況情報
を返すステップをさらに含む、(1)に記載の方法。 (8)前記構成パラメータが、所有者識別情報、ブリッ
ジ・アドレス情報、ブリッジ・レジスタ・アドレス・マ
ッピング情報、リソース・アドレス・マッピング情報、
電源管理情報、およびその組合せからなる群から選択さ
れる、(1)に記載の方法。 (9)前記ロック・インジケータをセットし、前記入出
力ブリッジ・デバイスを前記第1ノードに関連付けるス
テップが、アトミック動作として一団として実行され
る、(1)に記載の方法。 (10)クラスタ化コンピュータ・システム内の入出力
ブリッジ・デバイスの所有権を得る方法であって、
(a)前記クラスタ化コンピュータ・システム内の第1
ノードで、前記入出力ブリッジ・デバイスを前記第1ノ
ードに関連付け、前記クラスタ化コンピュータ・システ
ム内のもう1つのノードが前記入出力ブリッジ・デバイ
ス内の少なくとも1つの構成パラメータ・レジスタを更
新することを制限するアトミック動作を開始するステッ
プと、(b)その後、前記第1ノード内で、前記入出力
ブリッジ・デバイス内の前記構成パラメータ・レジスタ
に対する更新を開始することによって、前記第1ノード
と共に動作するように前記入出力ブリッジ・デバイスを
構成するステップとを含む方法。 (11)前記アトミック動作が、前記入出力ブリッジ・
デバイスに関連するロック・インジケータ・レジスタに
向けられた読取動作を含む、(10)に記載の方法。 (12)前記第1ノードと共に動作するように前記入出
力ブリッジ・デバイスを構成するステップが、前記読取
動作に応答してアンロック状況を受け取ることに応答し
て実行される、(11)に記載の方法。 (13)前記ロック・インジケータ・レジスタに対する
書込動作を開始することによって、前記アトミック動作
を開始する前に前記ロック・インジケータ・レジスタを
リセットするステップをさらに含む、(11)に記載の
方法。 (14)前記入出力ブリッジ・デバイス内の前記構成パ
ラメータ・レジスタを更新するステップが、所有者識別
情報、ブリッジ・アドレス情報、ブリッジ・レジスタ・
アドレス・マッピング情報、リソース・アドレス・マッ
ピング情報、電源管理情報、およびその組合せからなる
群から選択される構成パラメータを更新するステップを
含む、(10)に記載の方法。 (15)クラスタ化コンピュータ・システム内で使用さ
れる入出力ブリッジ・デバイスであって、(a)前記入
出力ブリッジ・デバイスがロックされているかどうかを
示すロック・インジケータ・レジスタと、(b)前記入
出力ブリッジ・デバイスを所有する前記クラスタ化コン
ピュータ・システムからのノードを識別する所有者識別
レジスタと、(c)前記入出力ブリッジ・デバイスと前
記クラスタ化コンピュータ・システムとの間の通信を構
成する構成パラメータ・レジスタと、(d)前記ロック
・インジケータ・レジスタおよび前記構成パラメータ・
レジスタに向けられたアクセス要求を受け取るように構
成されたアクセス制御回路であって、前記ロック・イン
ジケータ・レジスタが前記アクセス要求の処理の時にリ
セットされている場合に、前記アクセス要求に関連する
ソース・ノードを識別するために、前記ロック・インジ
ケータ・レジスタをセットし、前記所有者識別レジスタ
を更新することによって、前記ロック・インジケータ・
レジスタに向けられたアクセス要求を処理し、前記所有
者識別子レジスタが前記構成パラメータ・レジスタに向
けられた書込要求に関連するソース・ノードを識別する
場合に、前記構成パラメータ・レジスタを更新すること
によって、前記構成パラメータ・レジスタに向けられた
前記書込要求を処理するように構成される、アクセス制
御回路とを含む入出力ブリッジ・デバイス。 (16)前記アクセス制御回路が、さらに、前記ロック
・インジケータ・レジスタをリセットすることによっ
て、前記ロック・インジケータ・レジスタに向けられた
第2書込要求を処理するように構成される、(15)に
記載の入出力ブリッジ・デバイス。 (17)前記アクセス制御回路が、さらに、前記所有者
識別レジスタが前記第2書込要求に関連するソース・ノ
ードを識別するかどうかに無関係に、前記第2書込要求
に応答して、前記ロック・インジケータ・レジスタをリ
セットするように構成される、(16)に記載の入出力
ブリッジ・デバイス。 (18)前記アクセス要求が、読取要求を含み、前記ア
クセス制御回路が、さらに、前記ロック・インジケータ
・レジスタの状況に基づいてロック状況またはアンロッ
ク状況を返すことによって前記読取要求を処理するよう
に構成される、(15)に記載の入出力ブリッジ・デバ
イス。 (19)前記アクセス制御回路が、前記ソース・ノード
のネットワーク・アドレスと前記アクセス要求がそれを
介して受け取られた前記入出力ブリッジ・デバイス上の
ポートに関連するポート識別子とを識別するために前記
所有者識別子レジスタを更新するように構成される、
(15)に記載の入出力ブリッジ・デバイス。 (20)前記アクセス制御回路がさらに、前記クラスタ
化コンピュータ・システム内のいずれかのノードからの
読取要求に応答して、前記所有者識別子レジスタが前記
読取要求に関連するソース・ノードを識別するかどうか
に無関係に、前記構成パラメータ・レジスタに関連する
状況情報を返すように構成される、(15)に記載の入
出力ブリッジ・レジスタ。 (21)前記構成パラメータ・レジスタが、所有者識別
情報、ブリッジ・アドレス情報、ブリッジ・レジスタ・
アドレス・マッピング情報、リソース・アドレス・マッ
ピング情報、電源管理情報、およびその組合せからなる
群から選択される構成パラメータを保管する、(15)
に記載の入出力ブリッジ・デバイス。 (22)クラスタ化コンピュータ・システムであって、
(a)複数のノードと、(b)前記複数のノードからの
少なくとも1つのノードに結合され、少なくとも1つの
構成パラメータ・レジスタを含み、前記複数のノードの
中の第1ノードからの第1要求に応答して、前記入出力
ブリッジ・デバイスを前記第1ノードに関連付け、かつ
前記複数のノードの中のもう1つのノードが前記構成パ
ラメータ・レジスタを更新することを制限するアトミッ
ク動作を実行するように構成され、その後、前記第1ノ
ードからの第2要求に応答して、前記第1ノードと通信
するように前記入出力ブリッジ・デバイスを構成するた
めに前記構成パラメータ・レジスタを更新するようにさ
らに構成される入出力ブリッジ・デバイスとを含む、ク
ラスタ化コンピュータ・システム。 (23)前記入出力ブリッジ・デバイスが、PCI(Pe
ripheral Component Interconnect)バス・ブリッジ・
デバイスへの入出力拡張バスを含む、(22)に記載の
クラスタ化コンピュータ・システム。 (24)前記アトミック動作が、前記入出力ブリッジ・
デバイスに関連するロック・インジケータ・レジスタに
向けられた読取動作を含む、(22)に記載のクラスタ
化コンピュータ・システム。 (25)前記第1ノードが、前記読取動作に応答するア
ンロック状況の受取に応答して、前記第2要求を開始す
るように構成される、(24)に記載のクラスタ化コン
ピュータ・システム。 (26)前記第1ノードが、前記ロック・インジケータ
・レジスタへの書込動作を開始することによって、前記
第1要求を開始する前に、前記ロック・インジケータ・
レジスタをリセットするように構成される、(24)に
記載のクラスタ化コンピュータ・システム。 (27)前記入出力ブリッジ・デバイスが、前記入出力
ブリッジ・デバイスが前記ロック・インジケータ・レジ
スタに対する書込動作のソースに関連するかどうかに無
関係に、前記書込動作を処理するように構成される、
(26)に記載のクラスタ化コンピュータ・システム。 (28)前記入出力ブリッジ・デバイス内の前記構成パ
ラメータ・レジスタが、所有者識別情報、ブリッジ・ア
ドレス情報、ブリッジ・レジスタ・アドレス・マッピン
グ情報、リソース・アドレス・マッピング情報、電源管
理情報、およびその組合せからなる群から選択される構
成パラメータを保管する、(22)に記載のクラスタ化
コンピュータ・システム。 (29)前記入出力ブリッジ・デバイスが、前記第2要
求が前記第1ノードから前記入出力ブリッジ・デバイス
によって受け取られた時に前記入出力ブリッジ・デバイ
スが前記第1ノードに関連付けられている場合に限っ
て、前記第1ノードと通信するように前記入出力ブリッ
ジ・デバイスを構成するように前記構成パラメータ・レ
ジスタを更新するように構成される、(22)に記載の
クラスタ化コンピュータ・システム。 (30)(a)クラスタ化コンピュータ・システムの第
1ノードに常駐するように構成されたプログラムであっ
て、入出力ブリッジ・デバイスのロック・インジケータ
をリセットすること、前記入出力ブリッジ・デバイスを
前記第1ノードに関連付け、前記クラスタ化コンピュー
タ・システム内のもう1つのノードが前記入出力ブリッ
ジ・デバイス内の構成パラメータ・レジスタを更新する
ことを制限するアトミック動作を開始すること、および
前記第1ノードと通信するように前記入出力ブリッジ・
デバイスを構成するための前記構成パラメータ・レジス
タの更新を開始することによって、前記第1ノードに結
合された前記入出力ブリッジ・デバイスの所有権を得る
ように構成されたプログラムと、(b)前記プログラム
を担持する信号担持媒体とを含むプログラム製品。 (31)前記信号担持媒体が、記録可能媒体および伝送
媒体の少なくとも1つを含む、(30)に記載のプログ
ラム製品。
【図面の簡単な説明】
【図1】入出力リソースを有するクラスタ・ノードとイ
ンターフェースするために入出力ブリッジ・デバイスを
組み込まれた、本発明との一貫性を有するクラスタ化コ
ンピュータ・システムのブロック図である。
【図2】図1のクラスタ化コンピュータ・システムから
のブリッジ・デバイスついてアクセス制御回路によって
実行されるロック読取ルーチンのプログラムの流れを示
す流れ図である。
【図3】図1のクラスタ化コンピュータ・システムから
のブリッジ・デバイスについてアクセス制御回路によっ
て実行されるロック書込ルーチンのプログラムの流れを
示す流れ図である。
【図4】図1のクラスタ化コンピュータ・システムから
のブリッジ・デバイスについてアクセス制御回路によっ
て実行されるブリッジ構成レジスタ書込ルーチンのプロ
グラムの流れを示す流れ図である。
【図5】図1のクラスタ化コンピュータ・システムのノ
ードによって開始される所有権獲得ルーチンのプログラ
ムの流れを示す流れ図である。
【符号の説明】
10 クラスタ化コンピュータ・システム 12 ノード 14 ネットワーク 16 システム・プロセッサ 18 メモリ 20 入出力ハブ 22 プロセッサ・バス 24 ブリッジ・デバイス 26 ネットワーク 28 入出力アダプタ(IOA) 30 クラスタ化リソース・サービス 32 構成レジスタ 34 ロック・インジケータ・レジスタ 36 所有者識別レジスタ 38 追加の構成パラメータ・レジスタ 40 アクセス制御回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ブルース・レロイ・ビューケマ アメリカ合衆国55940 ミネソタ州ヘイフ ィールド ツー・ハンドレッド・テンス・ アベニュー 71050 (72)発明者 リチャード・チャールズ・ブース アメリカ合衆国95120 カリフォルニア州 サンノゼ カッパー・ピーク・レーン 1285 (72)発明者 デビッド・ロバート・エンゲブレトセン アメリカ合衆国55009 ミネソタ州キャノ ン・フォールズ カウンティー・トゥエン ティ・スリー・ブルバード 32956 (72)発明者 トーマス レンバート・サンド アメリカ合衆国55901 ミネソタ州ロチェ スター ヒルズボロー・レーン ノース・ ウエスト 6004 (72)発明者 ケネス・マイケル・ボルク アメリカ合衆国55902−4120 ミネソタ州 ロチェスター セカンド・ストリート サ ウス・ウエスト 2804 ナンバー 231 Fターム(参考) 5B045 EE08 EE18 EE36

Claims (31)

    【特許請求の範囲】
  1. 【請求項1】クラスタ化コンピュータ・システム内の入
    出力ブリッジ・デバイスでアクセス要求を処理する方法
    であって、 (a)前記クラスタ化コンピュータ・システム内の第1
    ノードから、前記入出力ブリッジ・デバイスに関連する
    ロック・インジケータに向けられたアクセス要求を受け
    取るステップと、 (b)前記ロック・インジケータがセットされていない
    場合に、前記ロック・インジケータをセットし、前記入
    出力ブリッジ・デバイスを前記第1ノードに関連付ける
    ことによって、前記アクセス要求に応答して前記入出力
    ブリッジ・デバイスをロックするステップと、 (c)前記クラスタ化コンピュータ・システム内のもう
    1つのノードから受け取られた書込要求に応答して、前
    記もう1つのノードが前記入出力ブリッジ・デバイスに
    関連付けられていない場合に、前記入出力ブリッジ・デ
    バイスに関連する少なくとも1つの構成パラメータへの
    前記もう1つのノードによる書込アクセスを制限するス
    テップとを含む方法。
  2. 【請求項2】前記アクセス要求が読取要求を含み、前記
    方法がさらに、前記読取要求に応答して、前記ロック・
    インジケータがセットされていない場合に前記第1ノー
    ドにアンロック状況を返し、前記ロック・インジケータ
    がセットされている場合に前記第1ノードにロック状況
    を返すステップを含む、請求項1に記載の方法。
  3. 【請求項3】前記入出力ブリッジ・デバイスを前記第1
    ノードに関連付けるステップが、前記第1ノードに関連
    する所有者識別子を前記入出力ブリッジ・デバイスに関
    連する所有者識別子レジスタに保管するステップを含
    む、請求項1に記載の方法。
  4. 【請求項4】前記所有者識別子が、前記アクセス要求を
    前記入出力ブリッジ・デバイスに送った前記ノードのネ
    ットワーク・アドレスと、前記アクセス要求がそれを介
    して受け取られた、前記入出力ブリッジ・デバイス上の
    ポートに関連するポート識別子とを含む、請求項3に記
    載の方法。
  5. 【請求項5】前記クラスタ化コンピュータ・システム内
    のノードによって前記ロック・インジケータに向けられ
    た書込要求に応答して前記ロック・インジケータをリセ
    ットするステップをさらに含む、請求項1に記載の方
    法。
  6. 【請求項6】前記入出力ブリッジ・デバイスが前記第1
    ノードに関連付けられている時に、前記第1ノードから
    受け取られた書込要求に応答して前記構成パラメータを
    更新するステップをさらに含む、請求項1に記載の方
    法。
  7. 【請求項7】前記クラスタ化システム内のいずれかのノ
    ードから受け取られた読取要求に応答して、そのノード
    が前記入出力ブリッジ・デバイスに関連付けられている
    かどうかに無関係に、前記構成パラメータに関連する状
    況情報を返すステップをさらに含む、請求項1に記載の
    方法。
  8. 【請求項8】前記構成パラメータが、所有者識別情報、
    ブリッジ・アドレス情報、ブリッジ・レジスタ・アドレ
    ス・マッピング情報、リソース・アドレス・マッピング
    情報、電源管理情報、およびその組合せからなる群から
    選択される、請求項1に記載の方法。
  9. 【請求項9】前記ロック・インジケータをセットし、前
    記入出力ブリッジ・デバイスを前記第1ノードに関連付
    けるステップが、アトミック動作として一団として実行
    される、請求項1に記載の方法。
  10. 【請求項10】クラスタ化コンピュータ・システム内の
    入出力ブリッジ・デバイスの所有権を得る方法であっ
    て、 (a)前記クラスタ化コンピュータ・システム内の第1
    ノードで、前記入出力ブリッジ・デバイスを前記第1ノ
    ードに関連付け、前記クラスタ化コンピュータ・システ
    ム内のもう1つのノードが前記入出力ブリッジ・デバイ
    ス内の少なくとも1つの構成パラメータ・レジスタを更
    新することを制限するアトミック動作を開始するステッ
    プと、 (b)その後、前記第1ノード内で、前記入出力ブリッ
    ジ・デバイス内の前記構成パラメータ・レジスタに対す
    る更新を開始することによって、前記第1ノードと共に
    動作するように前記入出力ブリッジ・デバイスを構成す
    るステップとを含む方法。
  11. 【請求項11】前記アトミック動作が、前記入出力ブリ
    ッジ・デバイスに関連するロック・インジケータ・レジ
    スタに向けられた読取動作を含む、請求項10に記載の
    方法。
  12. 【請求項12】前記第1ノードと共に動作するように前
    記入出力ブリッジ・デバイスを構成するステップが、前
    記読取動作に応答してアンロック状況を受け取ることに
    応答して実行される、請求項11に記載の方法。
  13. 【請求項13】前記ロック・インジケータ・レジスタに
    対する書込動作を開始することによって、前記アトミッ
    ク動作を開始する前に前記ロック・インジケータ・レジ
    スタをリセットするステップをさらに含む、請求項11
    に記載の方法。
  14. 【請求項14】前記入出力ブリッジ・デバイス内の前記
    構成パラメータ・レジスタを更新するステップが、所有
    者識別情報、ブリッジ・アドレス情報、ブリッジ・レジ
    スタ・アドレス・マッピング情報、リソース・アドレス
    ・マッピング情報、電源管理情報、およびその組合せか
    らなる群から選択される構成パラメータを更新するステ
    ップを含む、請求項10に記載の方法。
  15. 【請求項15】クラスタ化コンピュータ・システム内で
    使用される入出力ブリッジ・デバイスであって、 (a)前記入出力ブリッジ・デバイスがロックされてい
    るかどうかを示すロック・インジケータ・レジスタと、 (b)前記入出力ブリッジ・デバイスを所有する前記ク
    ラスタ化コンピュータ・システムからのノードを識別す
    る所有者識別レジスタと、 (c)前記入出力ブリッジ・デバイスと前記クラスタ化
    コンピュータ・システムとの間の通信を構成する構成パ
    ラメータ・レジスタと、 (d)前記ロック・インジケータ・レジスタおよび前記
    構成パラメータ・レジスタに向けられたアクセス要求を
    受け取るように構成されたアクセス制御回路であって、
    前記ロック・インジケータ・レジスタが前記アクセス要
    求の処理の時にリセットされている場合に、前記アクセ
    ス要求に関連するソース・ノードを識別するために、前
    記ロック・インジケータ・レジスタをセットし、前記所
    有者識別レジスタを更新することによって、前記ロック
    ・インジケータ・レジスタに向けられたアクセス要求を
    処理し、前記所有者識別子レジスタが前記構成パラメー
    タ・レジスタに向けられた書込要求に関連するソース・
    ノードを識別する場合に、前記構成パラメータ・レジス
    タを更新することによって、前記構成パラメータ・レジ
    スタに向けられた前記書込要求を処理するように構成さ
    れる、アクセス制御回路とを含む入出力ブリッジ・デバ
    イス。
  16. 【請求項16】前記アクセス制御回路が、さらに、前記
    ロック・インジケータ・レジスタをリセットすることに
    よって、前記ロック・インジケータ・レジスタに向けら
    れた第2書込要求を処理するように構成される、請求項
    15に記載の入出力ブリッジ・デバイス。
  17. 【請求項17】前記アクセス制御回路が、さらに、前記
    所有者識別レジスタが前記第2書込要求に関連するソー
    ス・ノードを識別するかどうかに無関係に、前記第2書
    込要求に応答して、前記ロック・インジケータ・レジス
    タをリセットするように構成される、請求項16に記載
    の入出力ブリッジ・デバイス。
  18. 【請求項18】前記アクセス要求が、読取要求を含み、
    前記アクセス制御回路が、さらに、前記ロック・インジ
    ケータ・レジスタの状況に基づいてロック状況またはア
    ンロック状況を返すことによって前記読取要求を処理す
    るように構成される、請求項15に記載の入出力ブリッ
    ジ・デバイス。
  19. 【請求項19】前記アクセス制御回路が、前記ソース・
    ノードのネットワーク・アドレスと前記アクセス要求が
    それを介して受け取られた前記入出力ブリッジ・デバイ
    ス上のポートに関連するポート識別子とを識別するため
    に前記所有者識別子レジスタを更新するように構成され
    る、請求項15に記載の入出力ブリッジ・デバイス。
  20. 【請求項20】前記アクセス制御回路がさらに、前記ク
    ラスタ化コンピュータ・システム内のいずれかのノード
    からの読取要求に応答して、前記所有者識別子レジスタ
    が前記読取要求に関連するソース・ノードを識別するか
    どうかに無関係に、前記構成パラメータ・レジスタに関
    連する状況情報を返すように構成される、請求項15に
    記載の入出力ブリッジ・レジスタ。
  21. 【請求項21】前記構成パラメータ・レジスタが、所有
    者識別情報、ブリッジ・アドレス情報、ブリッジ・レジ
    スタ・アドレス・マッピング情報、リソース・アドレス
    ・マッピング情報、電源管理情報、およびその組合せか
    らなる群から選択される構成パラメータを保管する、請
    求項15に記載の入出力ブリッジ・デバイス。
  22. 【請求項22】クラスタ化コンピュータ・システムであ
    って、 (a)複数のノードと、 (b)前記複数のノードからの少なくとも1つのノード
    に結合され、少なくとも1つの構成パラメータ・レジス
    タを含み、前記複数のノードの中の第1ノードからの第
    1要求に応答して、前記入出力ブリッジ・デバイスを前
    記第1ノードに関連付け、かつ前記複数のノードの中の
    もう1つのノードが前記構成パラメータ・レジスタを更
    新することを制限するアトミック動作を実行するように
    構成され、その後、前記第1ノードからの第2要求に応
    答して、前記第1ノードと通信するように前記入出力ブ
    リッジ・デバイスを構成するために前記構成パラメータ
    ・レジスタを更新するようにさらに構成される入出力ブ
    リッジ・デバイスとを含む、クラスタ化コンピュータ・
    システム。
  23. 【請求項23】前記入出力ブリッジ・デバイスが、PC
    I(Peripheral Component Interconnect)バス・ブリ
    ッジ・デバイスへの入出力拡張バスを含む、請求項22
    に記載のクラスタ化コンピュータ・システム。
  24. 【請求項24】前記アトミック動作が、前記入出力ブリ
    ッジ・デバイスに関連するロック・インジケータ・レジ
    スタに向けられた読取動作を含む、請求項22に記載の
    クラスタ化コンピュータ・システム。
  25. 【請求項25】前記第1ノードが、前記読取動作に応答
    するアンロック状況の受取に応答して、前記第2要求を
    開始するように構成される、請求項24に記載のクラス
    タ化コンピュータ・システム。
  26. 【請求項26】前記第1ノードが、前記ロック・インジ
    ケータ・レジスタへの書込動作を開始することによっ
    て、前記第1要求を開始する前に、前記ロック・インジ
    ケータ・レジスタをリセットするように構成される、請
    求項24に記載のクラスタ化コンピュータ・システム。
  27. 【請求項27】前記入出力ブリッジ・デバイスが、前記
    入出力ブリッジ・デバイスが前記ロック・インジケータ
    ・レジスタに対する書込動作のソースに関連するかどう
    かに無関係に、前記書込動作を処理するように構成され
    る、請求項26に記載のクラスタ化コンピュータ・シス
    テム。
  28. 【請求項28】前記入出力ブリッジ・デバイス内の前記
    構成パラメータ・レジスタが、所有者識別情報、ブリッ
    ジ・アドレス情報、ブリッジ・レジスタ・アドレス・マ
    ッピング情報、リソース・アドレス・マッピング情報、
    電源管理情報、およびその組合せからなる群から選択さ
    れる構成パラメータを保管する、請求項22に記載のク
    ラスタ化コンピュータ・システム。
  29. 【請求項29】前記入出力ブリッジ・デバイスが、前記
    第2要求が前記第1ノードから前記入出力ブリッジ・デ
    バイスによって受け取られた時に前記入出力ブリッジ・
    デバイスが前記第1ノードに関連付けられている場合に
    限って、前記第1ノードと通信するように前記入出力ブ
    リッジ・デバイスを構成するように前記構成パラメータ
    ・レジスタを更新するように構成される、請求項22に
    記載のクラスタ化コンピュータ・システム。
  30. 【請求項30】(a)クラスタ化コンピュータ・システ
    ムの第1ノードに常駐するように構成されたプログラム
    であって、入出力ブリッジ・デバイスのロック・インジ
    ケータをリセットすること、前記入出力ブリッジ・デバ
    イスを前記第1ノードに関連付け、前記クラスタ化コン
    ピュータ・システム内のもう1つのノードが前記入出力
    ブリッジ・デバイス内の構成パラメータ・レジスタを更
    新することを制限するアトミック動作を開始すること、
    および前記第1ノードと通信するように前記入出力ブリ
    ッジ・デバイスを構成するための前記構成パラメータ・
    レジスタの更新を開始することによって、前記第1ノー
    ドに結合された前記入出力ブリッジ・デバイスの所有権
    を得るように構成されたプログラムと、 (b)前記プログラムを担持する信号担持媒体とを含む
    プログラム製品。
  31. 【請求項31】前記信号担持媒体が、記録可能媒体およ
    び伝送媒体の少なくとも1つを含む、請求項30に記載
    のプログラム製品。
JP2002124159A 2001-04-27 2002-04-25 クラスタ化コンピュータ・システムでの入出力ブリッジ・デバイスのアトミック所有権変更動作 Expired - Fee Related JP3790717B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/844584 2001-04-27
US09/844,584 US6754753B2 (en) 2001-04-27 2001-04-27 Atomic ownership change operation for input/output (I/O) bridge device in clustered computer system

Publications (2)

Publication Number Publication Date
JP2003030167A true JP2003030167A (ja) 2003-01-31
JP3790717B2 JP3790717B2 (ja) 2006-06-28

Family

ID=25293132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002124159A Expired - Fee Related JP3790717B2 (ja) 2001-04-27 2002-04-25 クラスタ化コンピュータ・システムでの入出力ブリッジ・デバイスのアトミック所有権変更動作

Country Status (2)

Country Link
US (1) US6754753B2 (ja)
JP (1) JP3790717B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6986003B1 (en) * 2001-08-09 2006-01-10 Unisys Corporation Method for processing communal locks
US7406519B2 (en) * 2001-11-13 2008-07-29 Microsoft Corporation Method and system for locking resources in a distributed environment
US7028300B2 (en) * 2001-11-13 2006-04-11 Microsoft Corporation Method and system for managing resources in a distributed environment that has an associated object
US7656884B1 (en) * 2002-05-24 2010-02-02 Cisco Technology, Inc. Apparatus and method for a generic service locking mechanism for a fibre channel switching fabric of a storage area network
US7043580B1 (en) * 2003-01-17 2006-05-09 Unisys Corporation Cluster lock server: ability to support multiple standard and proprietary locking protocols
US20060136606A1 (en) * 2004-11-19 2006-06-22 Guzy D J Logic device comprising reconfigurable core logic for use in conjunction with microprocessor-based computer systems
US7492716B1 (en) * 2005-10-26 2009-02-17 Sanmina-Sci Method for efficiently retrieving topology-specific data for point-to-point networks
US20080162866A1 (en) * 2006-12-28 2008-07-03 Siddiqi Faraz A Apparatus and method for fast and secure memory context switching
US7853571B2 (en) * 2007-09-28 2010-12-14 Symantec Corporation Techniques for file system recovery
US9032100B2 (en) * 2008-04-03 2015-05-12 International Business Machines Corporation I/O hub-supported atomic I/O operations
US8356054B2 (en) * 2009-11-10 2013-01-15 International Business Machines Corporation Management of resources in a host system
US10084603B2 (en) * 2013-06-12 2018-09-25 Lookout, Inc. Method and system for rendering a stolen mobile communications device inoperative
CN109948360B (zh) * 2019-02-26 2023-04-07 维正知识产权科技有限公司 一种用于复杂场景的多控制域安全内核构建方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0348544B2 (ja) * 1981-01-26 1991-07-24 Fujitsu Ltd
JPH0430245A (ja) * 1990-05-25 1992-02-03 Oki Electric Ind Co Ltd マルチプロセッサ制御方式
JP2000242434A (ja) * 1998-12-22 2000-09-08 Hitachi Ltd 記憶装置システム
JP2003509773A (ja) * 1999-09-13 2003-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 複数ホスト・コンピューティング環境での共用ストレージ・ボリュームに関するホスト・ボリューム・マッピングのためのシステムおよび方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0535822B1 (en) * 1991-09-27 1997-11-26 Sun Microsystems, Inc. Methods and apparatus for locking arbitration on a remote bus
US5548780A (en) * 1994-07-21 1996-08-20 Apple Computer, Inc. Method for semaphore communication between incompatible bus locking architectures
US6115756A (en) * 1997-06-27 2000-09-05 Sun Microsystems, Inc. Electro-optically connected multiprocessor and multiring configuration for dynamically allocating time
US6446149B1 (en) * 1998-03-03 2002-09-03 Compaq Information Technologies Group, L.P. Self-modifying synchronization memory address space and protocol for communication between multiple busmasters of a computer system
US6529932B1 (en) * 1998-04-01 2003-03-04 Microsoft Corporation Method and system for distributed transaction processing with asynchronous message delivery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0348544B2 (ja) * 1981-01-26 1991-07-24 Fujitsu Ltd
JPH0430245A (ja) * 1990-05-25 1992-02-03 Oki Electric Ind Co Ltd マルチプロセッサ制御方式
JP2000242434A (ja) * 1998-12-22 2000-09-08 Hitachi Ltd 記憶装置システム
JP2003509773A (ja) * 1999-09-13 2003-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 複数ホスト・コンピューティング環境での共用ストレージ・ボリュームに関するホスト・ボリューム・マッピングのためのシステムおよび方法

Also Published As

Publication number Publication date
US20020161955A1 (en) 2002-10-31
JP3790717B2 (ja) 2006-06-28
US6754753B2 (en) 2004-06-22

Similar Documents

Publication Publication Date Title
US7631050B2 (en) Method for confirming identity of a master node selected to control I/O fabric configuration in a multi-host environment
KR100637775B1 (ko) 클러스터형 컴퓨터 시스템의 자원 대상 작용 수행 방법 및 장치, 클러스터형 컴퓨터 시스템 및 그의 수행을 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매체
CN101384985B (zh) Sas区域组权限表版本标识符
JP5370897B2 (ja) リモート・ダイレクト・ストレージ・アクセス
EP1370945B1 (en) Failover processing in a storage system
US7890792B2 (en) Server switching method and server system equipped therewith
US7197536B2 (en) Primitive communication mechanism for adjacent nodes in a clustered computer system
US7657786B2 (en) Storage switch system, storage switch method, management server, management method, and management program
US20050268137A1 (en) Method and apparatus for a shared I/O network interface controller
US20040254984A1 (en) System and method for coordinating cluster serviceability updates over distributed consensus within a distributed data system cluster
EP2645252A1 (en) Information processing system and virtual address setting method
JP2003030167A (ja) クラスタ化コンピュータ・システムでの入出力ブリッジ・デバイスのアトミック所有権変更動作
US9122816B2 (en) High performance system that includes reconfigurable protocol tables within an ASIC wherein a first protocol block implements an inter-ASIC communications protocol and a second block implements an intra-ASIC function
US20080209136A1 (en) System and method of storage system assisted i/o fencing for shared storage configuration
US7539129B2 (en) Server, method for controlling data communication of server, computer product
US8819200B2 (en) Automated cluster node configuration
JP4734259B2 (ja) 運用管理プログラム、運用管理方法および運用管理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20051212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060403

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090407

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130407

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130407

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140407

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees