JP2004516575A - コンピュータ・クラスタリング・システムにおいて「スプリット・ブレイン」を防止する方法 - Google Patents
コンピュータ・クラスタリング・システムにおいて「スプリット・ブレイン」を防止する方法 Download PDFInfo
- Publication number
- JP2004516575A JP2004516575A JP2002551706A JP2002551706A JP2004516575A JP 2004516575 A JP2004516575 A JP 2004516575A JP 2002551706 A JP2002551706 A JP 2002551706A JP 2002551706 A JP2002551706 A JP 2002551706A JP 2004516575 A JP2004516575 A JP 2004516575A
- Authority
- JP
- Japan
- Prior art keywords
- server
- communication link
- communication
- computer
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title description 11
- 238000004891 communication Methods 0.000 claims abstract description 175
- 238000000034 method Methods 0.000 claims abstract description 40
- 206010000210 abortion Diseases 0.000 claims abstract description 6
- 230000007257 malfunction Effects 0.000 claims abstract description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 7
- 230000005540 biological transmission Effects 0.000 claims 2
- 238000012544 monitoring process Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005266 casting Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2035—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2094—Redundant storage or storage space
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/953—Organization of data
- Y10S707/959—Network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99938—Concurrency, e.g. lock management in shared database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hardware Redundancy (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
- Telephonic Communication Services (AREA)
Abstract
第２のサーバ（２２０）が障害を起こしたときにコンピュータ・クラスタに含まれる第１のサーバ（２１０）の可用性を向上させる方法。コンピュータ・クラスタにある各サーバ（２１０、２２０）は、関連付けられた大容量記憶装置２１４、２２４を有し、コンピュータ・クラスタの任意のネットワーク装置（２３０、２４０、２５０）からの要求を処理することができる。データは、サーバ（２１０、２２０）の大容量記憶装置（２１４、２２４）の間でミラーされ、したがって各サーバの大容量記憶装置は、すべてのコンピュータ・クラスタ・データの完全なコピーを有する。データのミラーリングは、専用リンク（２０２）を介して行われ、これによって残りのコンピュータ・クラスタでの混雑が低減される。第１のサーバ（２１０）が第２のサーバ（２２０）からの通信の抜け落ちを検出したとき、第１のサーバ（２１０）は、通信の抜け落ちが専用リンク（２０２）の誤作動の結果であるかどうかを決定する。専用リンク（２０２）が障害を起こした場合、第１のサーバ（２１０）は、通信の抜け落ちによりミラーできないデータをそれに関連付けられた大容量記憶装置（２１４）に書き込むことを避けるために動作を打ち切る。専用リンク（２０２）が動作可能である場合、第１のサーバ（２１０）は引き続き動作する。いずれかの場合、各サーバ（２１０、２２０）は、任意のネットワーク装置（２３０、２４０、２５０）からの要求を処理することができ、各サーバは、すべてのネットワーク・データの完全なコピーを有し、サーバがシャットダウンした後でさえ、コンピュータ・クラスタは引き続き使用可能である。
Description
【０００１】
（発明の背景）
発明の分野
本発明は、コンピュータ・クラスタリング・システムに関し、より詳細には、コンピュータ・クラスタリング・システム・サーバ間の通信の抜け落ちの事象発生時におけるコンピュータ・クラスタリング・システム・リソースおよびデータの可用性および信頼性を向上させる方法に関する。
【０００２】
関連技術の説明
一般のコンピュータ・クラスタは、コンピュータ・ネットワークを介して互いに通信する２つ以上のサーバ、および１つまたは複数のネットワーク装置を含む。コンピュータ・クラスタの通常のオペレーション中に、サーバは、コンピュータ・リソースおよびデータを格納し取り出す場所をネットワーク装置に提供する。現在のコンピュータ・クラスタ構成では、コンピュータ・クラスタ・データは、ネットワーク・サーバのいずれかからアクセスされる共有コンピュータ・ディスクに格納される。
【０００３】
図１に一般のコンピュータ・クラスタを示している。図１には、コンピュータ・ネットワーク１０１を介してネットワーク装置１３０、１４０、１５０と通信する２つのネットワーク・サーバ１１０および１２０を示している。ネットワーク・サーバ１１０およびネットワーク・サーバ１２０は、それぞれ通信回線１０５および１０６を介して共有ディスク１０４と通信する。
【０００４】
コンピュータ・クラスタを使用するとき、特に、コンピュータ・クラスタがいくつかのユーザ・ワークステーション、パーソナル・コンピュータ、または他のネットワーク・クライアント装置をサポートしている場合は、コンピュータ・クラスタ・リソースの連続的な可用性を提供することがしばしば望まれる。また、コンピュータ・クラスタリング・システムに接続されている異なるファイル・サーバの間で統一されたデータを維持すること、およびクライアント装置からのこのデータの連続的な可用性を維持することもしばしば望まれる。コンピュータ・クラスタ・リソースおよびデータの信頼性の高い可用性を達成するには、コンピュータ・クラスタがソフトウェアおよびハードウェアの問題および障害に対する耐性をもっている必要がある。一般に冗長コンピュータおよび大容量記憶装置を持つことによって、障害発生時にはバックアップ・コンピュータまたはディスク・ドライブがすぐに引き継ぐことができるというような、上述した必要事項を実行する。
【０００５】
図１に示す共有ディスク構成を使用してコンピュータ・クラスタ・リソースおよびデータの信頼性の高い可用性を実装するために現在使用されている手法は、クォーラム（ｑｕｏｒｕｍ）の概念を伴う。クォーラム（ｑｕｏｒｕｍ）の概念は、他の任意のネットワーク・サーバからのサービスが途絶（ｄｉｓｒｕｐｔｉｏｎ）した場合に、ひとつのネットワーク・サーバがコンピュータ・リソースおよびデータの可用性を制御する権利を有するような、そのネットワーク・サーバが指定された最小数のネットワーク装置を制御する状態に関係する。特定のネットワーク・サーバがクォーラムを獲得する方法は、各サーバおよび他のネットワーク装置が「票（ｖｏｔｅｓ）」を投じる観点からうまく説明することができる。例えば、図１の２つのサーバ・コンピュータ・クラスタ構成では、ネットワーク・サーバ１１０およびネットワーク・サーバ１２０がそれぞれ１票を投じてどのネットワーク・サーバがクォーラムを有するかを決定する。ネットワーク・サーバのいずれもが票の過半数を獲得していない場合、共有ディスク１０４は、２つのネットワーク・サーバ１１０および１２０の一方が過半数を獲得するように投票し、その結果、相互に理解し受け入れることができるようなやり方でネットワーク・サーバの一方がクォーラムを獲得する。常に１つのネットワーク・サーバのみがクォーラムを有し、これによって、ネットワーク・サーバ１１０と１２０の間の通信が途絶し場合に、必ず一方のネットワーク・サーバのみがネットワーク全体の制御を引き受けるようにする。
【０００６】
次に、通信途絶時にクォーラムを使用してネットワーク・サーバを使用可能にしようと試みることについて説明する。サーバ１１０がサーバ１２０との通信の抜け落ち（ｌｏｓｓ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を検出することができる理由は主に２つある。第１は、例えば破損（ｃｒａｓｈ）などの、サーバ１２０でのイベントであり、この場合サーバ１２０は、もはやクライアントにネットワーク・リソースを提供することができない。第２は、２つのサーバ間のネットワーク１０１の通信インフラストラクチャでの通信途絶であり、この場合サーバ１２０は、ネットワーク内で引き続きのオペレーション動作をすることができる。サーバ１１０がもはやサーバ１２０と通信できない場合、その最初の動作は、それがクォーラムを有しているかどうかを決定することである。サーバ１１０は、クォーラムを有していないと決定した場合、共有ディスク１０４に投票するよう要求するコマンドを、その１０４に送信することによってクォーラムを獲得しようと試みる。共有ディスク１０４がサーバ１１０に投票しない場合、サーバ１２０から独立してオペレーション動作をすることを回避するために、このサーバ自体をシャットダウンする。この場合、サーバ１１０は、ネットワーク・サーバ１２０がクォーラムを有してオペレーション動作をしており、サーバ１２０がコンピュータ・クラスタを引き続き制御するとみなす。しかし、共有ディスク１０４がネットワーク・サーバ１１０に投票した場合、このサーバは、クォーラムおよびコンピュータ・クラスタの制御を獲得し、ネットワーク・サーバ１２０が正しく動作しないものとみなして、オペレーションを継続する。
【０００７】
ネットワークの通信途絶時に複数のネットワーク・サーバのうちの１つがネットワーク・リソースを引き続き提供できるようにするクォーラムの使用は、多くの場合、十分であるが、共有ディスクの使用によって、ネットワーク全体およびディスクに保存されているデータが失われる危険にさらされる。例えば、共有ディスク１０４が、あるいはネットワーク・サーバ１１０および１２０の一方ではなく複数のサーバのどちらもが、オペレーション動作をすることができない場合に、データが永久に失われることがある。さらに、共有ディスク構成では、コンピュータ・クラスタ・サーバは一般に、互いに近接して配置される。このことで、自然災害、または停電によってコンピュータ・クラスタ全体が停止する可能性が生じる。
【０００８】
（発明の概要）
本発明は、コンピュータ・クラスタリング・システムにおいてコンピュータ・クラスタ・リソースおよびデータの可用性および信頼性を向上させる方法に関する。それぞれが関連付けられたディスクを有する２つのサーバは、コンピュータ・ネットワークを介して通信する。各サーバは、コンピュータ・ネットワークに接続されたすべてのネットワーク装置のために、コンピュータ・クラスタ・リソースを提供し、コンピュータ・クラスタ・データへのアクセスを提供することができる。通信が抜け落ちた場合、各サーバは、通信の抜け落ちの理由を決定し、オペレーションを継続するべきかどうかを決定する能力を有する。
【０００９】
あるネットワーク・サーバが、別のネットワーク・サーバとの通信が抜け落ちたことを検出したとき、その通信の抜け落ちは、通信回線の障害、またはもう一方のネットワーク・サーバの障害のいずれかによるものとすることができる。各ネットワーク・サーバは、ネットワーク・データのミラーされたコピーを有するため、通信の抜け落ちに続いて、ネットワーク・サーバが互いに独立してオペレーション動作を開始しないようにするために、オペレーション動作を維持しているネットワーク・サーバで一連の動作が実行される。これらの動作がなければ、互いに独立してオペレーション動作している複数のネットワーク・サーバは、望ましくない「スプリット・ブレイン（ｓｐｌｉｔ ｂｒａｉｎ）」モードで存在することになる。このモードでは、ネットワーク・サーバ間でデータのミラーリングが実行されず、その結果、データが破損する可能性がある。
【００１０】
コンピュータ・クラスタのオペレーションが開始されたときに、１つのサーバに、コンピュータ・クラスタ・リソースおよびデータの制御が割り当てられ、通信回線に障害が起こった結果としてネットワーク・サーバ間の通信が失われた場合に「生き残る権利（ｒｉｇｈｔ ｏｆ ｓｕｒｖｉｖｅ）」が与えられる。便宜上、通常のオペレーション中に「生き残る権利」を有する１つのネットワーク・サーバを、本明細書では「１次」サーバと呼び、通常のオペレーション中に生き残る権利を有していない任意のサーバを「２次」サーバと呼ぶ。「１次」および「２次」という用語は、サーバの相対的な重要性を意味するのではなく、また、どのサーバが主にネットワーク装置にネットワーク・リソースを提供する責任を負うのかを指すものでもないことに注意されたい。通常のオペレーション中、１次サーバおよび２次サーバは、ネットワーク・リソースを提供するという見地から交換可能である。生き残る権利は、ネットワーク・サーバ間の通信が失われた場合にスプリット・ブレイン問題が確実に起きないようにするために、デフォルトのプロトコルで使用される。
【００１１】
１次ネットワーク・サーバが通信の抜け落ちを検出したとき、１次ネットワーク・サーバは、もう一方の２次ネットワーク・サーバに障害が起こった、あるいは２次ネットワーク・サーバがオペレーション動作を継続しないとみなすことができるため、オペレーションを継続することができる。通信の抜け落ちを検出した後すぐに２次ネットワーク・サーバによって実行される一連の動作は、やや複雑である。２次ネットワーク・サーバは、単にオペレーションを停止するのではなく、通信の抜け落ちが１次ネットワーク・サーバの障害によるものであるか、通信回線の障害によるものであるかを推測または決定する。通信回線がオペレーション動作可能な場合、２次ネットワーク・サーバは、１次ネットワーク・サーバに障害がありオペレーション動作をしていないと結論づける。この場合、２次ネットワーク・サーバは、実質的にスプリット・ブレイン問題を引き起こす危険性なしに、引き続き動作する。しかし、２次ネットワーク・サーバは、通信回線に障害があると決定した場合、１次ネットワーク・サーバがオペレーション動作可能であるとみなす。この仮定に応答して、２次ネットワーク・サーバは、スプリット・ブレイン・モードでのオペレーション動作を回避するためにオペレーションを中止する。
【００１２】
本発明による重要な利点は、最初に生き残る権利を有していない２次サーバが、１次サーバとの通信の抜け落ちが通信回線の障害によるものではないと決定した場合、オペレーション動作を継続することができることである。通信回線のどんな分析もなしに、２次サーバは、１次サーバとの通信の抜け落ちに応答して自動的にシャットダウンして、スプリット・ブレイン問題を回避することが必要とされる。サーバ間の通信の抜け落ちに応答する本発明の上記の方法では、１次サーバが障害を起こしたときに、スプリット・ブレイン・モードでオペレーション動作をする可能性によって２次サーバを強制的にオフラインにしないため、各ネットワーク・サーバが専用のミラーディスクまたは大容量記憶装置を有するコンピュータ・クラスタの信頼性および可用性が強化されることに注意されたい。
【００１３】
従来の「クォーラム」規則を、各ネットワーク・サーバが専用のミラーディスクを有するコンピュータ・クラスタに適用することは、一般には最適ではない。例えば、クォーラムを有するネットワーク・サーバが障害を起こした場合、投票してクォーラムをもう一方のネットワーク・サーバに割り当て直す共有ディスクがない。その結果、従来のクォーラム規則をこの種のコンピュータ・クラスタに直接適用することは、クォーラムを有するネットワーク・サーバが障害を起こした場合に、非クォーラムのネットワーク・サーバが不必要にシャットダウンすることになる。
【００１４】
個別のミラーディスクにデータを格納することによって、ネットワーク・データを失う可能性が大幅に減る。ネットワーク・データを失う可能性は、ネットワーク・サーバ間で単一のディスクを共有しているコンピュータ・クラスタでしばしば遭遇する問題であった。さらに、本発明によればサーバは単一のディスクを共有してはいないので、サーバの場所は、ディスク・ドライブ装置に関連付けられたケーブル長によって限定されない。したがって、ネットワーク・サーバおよびその関連付けられたミラーディスクは、他から離れた場所に配置することができる。これによって、自然災害または停電によってコンピュータ・クラスタ全体が使用不可になる可能性が減る。
【００１５】
本発明の他の特徴および利点が、以下の説明に記載されており、一部は説明から明らかになり、あるいは本発明を実施することによって学びとることができよう。本発明の特徴および利点は、頭記の特許請求の範囲で特に指摘した手法（ｉｎｓｔｒｕｍｅｎｔ）および組合せによって実現し取得することができる。本発明のこれらおよび他の特徴は、以下の説明および頭記の特許請求の範囲からさらに十分に明らかになり、あるいは以下に記載したように本発明を実施することによって学びとることができよう。
【００１６】
上記および他の本発明の利点および特徴を取得できるやり方を説明するために、添付の図面に示した本発明の特定の実施形態を参照することによって、上記で簡単に説明した本発明のより詳細な説明を行う。これらの図面は、本発明の一般的な実施形態を示しているにすぎず、したがってその範囲を限定するものとみなされるものではないことを理解した上で、添付の図面を使用して、本発明を他の明細（ｓｐｅｃｉｆｉｃｉｔｙ）および詳細について記載し説明する。
【００１７】
（発明の詳細な説明）
本発明は、コンピュータ・クラスタリング・システムにおいてコンピュータ・クラスタ・リソースおよびデータの可用性および信頼性を向上させる方法に関する。コンピュータ。クラスタは、少なくとも２つのサーバを含み、それぞれが専用の大容量記憶装置を有する。サーバは、コンピュータ・ネットワークを介して互いに、また他のネットワーク装置と通信する。データは、各サーバのディスク間でミラーされ、したがってネットワーク装置は、一方のサーバが障害を起こした場合に信頼性の高いデータにアクセスすることができる。通信モジュールは、各サーバ上で動作して、サーバ間の通信が抜け落ちた場合にサーバ自体がシャットダウンするべきかどうかを決定する。
【００１８】
「生き残る権利」という用語は、サーバ間の通信回線のエラーのためにサーバ間の通信の抜け落ちが検出された場合に、サーバがオペレーションを継続する権利を有しているかどうかに関連する。例えば、２つのサーバ間の通信の抜け落ちが検出され、こうした抜け落ちが通信回線における物理的破損による場合、生き残る権利を有するサーバは引き続き動作し、一方生き残る権利を有していないサーバはそれ自体でシャットダウンする。上述したように、「１次」サーバは、通信が抜け落ちる前に生き残る権利を有しているサーバであり、「２次」サーバは、サーバ間の通信が抜け落ちる前に生き残る権利を有していないサーバである。
【００１９】
「スプリット・ブレイン」という用語は、ネットワーク・サーバごとに専用の大容量記憶装置を有するコンピュータ・クラスタのネットワーク・サーバが互いに独立してミラーリングなしに動作する望ましくない状態、に関連する。本発明がなければ、ネットワーク・サーバ間の通信が失われ、その際に両方のネットワーク・サーバがその後も依然として動作し続けて、もう一方が障害を起こしていると各ノードがみなしているときに、スプリット・ブレインが起こり得る。スプリット・ブレインが起こると、各サーバ上のミラー・データはもはや一致せず、破損することになる。通信回線に物理的な破損があるためにサーバが通信を失った上記の例に関連して、サーバが、その抜け落ちは物理的な破損によるものであると決定することができない場合、それぞれはオペレーション動作を継続し、それ自体のデータをその関連付けられた大容量記憶装置に書き込むことになる。しかし、通信回線が破損しているため、データはミラーされず、その結果大容量記憶装置には矛盾したデータがもたらされることになる。本発明は、通信の抜け落ちの原因が１次サーバの障害による場合に２次サーバがオペレーション動作を継続できるようにしながら、コンピュータ・クラスタがスプリット・ブレイン・モードでオペレーション動作するのを防ぐ。
【００２０】
また、本発明の範囲内の実施形態は、コンピュータ実行可能命令またはデータ構造を、含むまたは格納するコンピュータ可読媒体も含む。こうしたコンピュータ可読媒体は、汎用または専用コンピュータからアクセスでき、それらに使用可能な任意の媒体とすることができる。それだけには限定されないが、一例として、こうしたコンピュータ可読媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、または他の光学ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、またはコンピュータ実行可能命令またはデータ構造の形で所望のプログラム・コード手段を含み、または格納するために使用でき、汎用または専用コンピュータからアクセスできる他の任意の媒体、を含むことができる。情報を、ネットワークまたは他の通信接続（有線、無線、または有線および無線の組合せ）を介してコンピュータに転送または提供するとき、コンピュータは、その接続をコンピュータ可読媒体として適切にみなす。したがって、こうした接続は、適切にコンピュータ可読媒体と呼ばれる。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。コンピュータ実行可能命令には、例えば、汎用コンピュータ、専用コンピュータ、または専用処理装置にある機能または機能群を実行させる命令およびデータが含まれる。
【００２１】
図２および以下の説明は、本発明を実装できる適切なコンピューティング環境の簡単で一般的な説明を提供するものである。必ずしも必要ではないが、本発明は、プログラム・モジュールなど、ネットワーク環境でコンピュータによって実行されるコンピュータ実行可能命令の一般的な文脈で説明する。一般にプログラム・モジュールは、特定のタスクを実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。コンピュータ実行可能命令、関連付けられたデータ構造、およびプログラム／モジュールは、本明細書に開示した方法のステップを実行するプログラム・コード手段の例を表す。こうした実行可能命令または関連付けられたデータ構造の特定のシーケンスは、こうしたステップに記載されている機能を実装するための対応する動作の例を表す。
【００２２】
本発明は、パーソナル・コンピュータ、ハンドヘルド装置、マルチ・プロセッサ・システム、マイクロ・プロセッサ・ベースまたはプログラム可能家庭用電化製品、ネットワークＰＣ、ミニ・コンピュータ、メインフレーム・コンピュータなどを含む多くのタイプのコンピュータ・システム構成とともにネットワーク・コンピューティング環境で実施できることを、当分野の技術者であれば理解されよう。本発明はまた、通信ネットワークを介して（有線リンク、無線リンク、または有線リンクおよび無線リンクの組合せで）リンクされたローカル処理装置およびリモート処理装置でタスクを実行する分散コンピューティング環境でも実施できる。分散コンピューティング環境では、プログラム・モジュールを、ローカルおよびリモートのメモリ記憶装置に配置することができる。
【００２３】
図２は、本発明の方法を実施できる代表的なコンピュータ・クラスタ構成を示す。コンピュータ・クラスタは、サーバＡ２１０およびサーバＢ２２０と呼ぶ２つのサーバを含む。図２にはサーバを２つのみ示しているが、本明細書に開示した一般的な原理を、２つを超えるネットワーク・サーバを有するコンピュータ・クラスタに容易に適合させることができる。サーバＡ２１０およびサーバＢ２２０は、ファイル・オペレーティング・システム（ｆｉｌｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行する。ファイル・オペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）ＮＴでもよいが、様々なオペレーティング・システムのうちのどれでも本発明で使用することができる。サーバＡ２１０は、ネットワーク・インターフェース２１１を介してネットワーク２０１に接続されたコンピュータ２１２、および大容量記憶装置コントローラ２１３を介して接続された大容量記憶装置２１４を含む。同様に、サーバＢ２２０は、ネットワーク・インターフェース２２０を介してネットワーク２０１に接続されたコンピュータ２２２、および大容量記憶装置コントローラ２２３を介して接続された大容量記憶装置２２４を含む。ネットワーク２０１は、Ｅｔｈｅｒｎｅｔ（登録商標）、トークンリング、Ａｒｃｎｅｔ、またはサーバＡ２１０およびサーバＢ２２０がそれによってネットワーク装置２３０、２４０、２５０と通信できる他の任意のネットワークとすることができる。
【００２４】
サーバＡ２１０が必ずしもサーバＢ２２０と同じ構成要素を有している必要はないが、多くの場合、実際にそうである。別の例では、サーバＡ２１０とサーバＢ２２０で、プロセッサタイプ、プロセッサ速度、大容量記憶装置のサイズが異なっていてもよく、またはその他のハードウェアの違いがいくつあってもよい。サーバＡ２１０およびサーバＢ２２０に必要なことは、ファイル・オペレーティング・システムを実行することができ、サーバの一方にあるドライブがもう一方のサーバにミラーできないほど大きくないことだけである。
【００２５】
図２に示した実施形態では、サーバＡ２１０とサーバＢ２２０の間の通信は、専用リンク２０２を使用して確立される。コンピュータ２１２は、コンピュータ接続機構２１５を介して専用リンク２０２に接続され、コンピュータ２２２は、コンピュータ接続機構２２５を介して専用リンク２０２に接続される。専用リンク２０２は、当分野の技術者によく知られている様々な手法を使用して実装することができる。一実施形態では、専用リンク２１２は、Ｅｔｈｅｒｎｅｔ（登録商標）プロトコルを使用するリンクである。代替は、高速で実行するようにプログラムされたコンピュータ２１２および２２２のシリアル通信ポート、またはコンピュータ２１２および２２２のパラレル・インターフェースの使用を含む。もう１つの代替によれば、専用リンク２０２および通信接続機構２１５および２２５はなく、サーバＡ２１０およびサーバＢ２２０の間の通信は、ネットワーク２０１を介して搬送される仮想回路または仮想チャネルで確立される。専用リンク２０２の実装に使用するハードウェアの特定のタイプは重要ではなく、データ転送速度が、大容量記憶装置２１４および２２４でのデータ転送速度と同等であり、システムのパフォーマンスが限定されなければよい。
【００２６】
ネットワーク装置２３０、２４０、２５０は、それぞれネットワーク・インターフェース２３１、２４１、２５１を介してネットワーク２０１に接続する。これらは、コンピュータ・システム２１０および２２０のリソースを使用して、大容量記憶装置２１４および２２４に格納されているデータにアクセスするクライアント装置である。ネットワーク装置２３０、２４０、および２５０は、ネットワーク２０１を介して通信できるものであればどんな装置でもよい。
【００２７】
コンピュータ・クラスタのオペレーション中、サーバＡ２１０およびサーバＢ２２０は、ネットワーク装置２３０、２４０、または２５０のいずれかにリソースを提供することができる。さらに、サーバＡ２１０およびサーバＢ２２０は、専用リンク２０２の保全性（ｉｎｔｅｇｒｉｔｙ）のエラーを感知することができる。サーバＡ２１０と通信するネットワーク装置が、大容量記憶装置２１４にデータを追加する、そこのデータを変更する、あるいはそこからデータを削除するとき、この更新は、専用リンク２０２を介して大容量記憶装置２２４にミラーされる。同様に、サーバＢ２２０と通信するネットワーク装置が、大容量記憶装置２２４にデータを追加する、そこのデータを変更する、あるいはそこからデータを削除するとき、この更新は、専用リンク２０２を介して大容量記憶装置２１４にミラーされる。図２の実施形態では、データが専用リンク２０２を介してミラーされるので、ネットワーク２０１が混雑しない。
【００２８】
ミラーリングの結果、大容量記憶装置２１４および２２４は、すべてのコンピュータ・クラスタ・データの同じコピーを含んでいる。したがってコンピュータ・クラスタは、大容量記憶装置のいずれかが誤作動した場合も引き続き確実にオペレーション動作をすることができる。ネットワーク装置２３０、２４０、２５０は、大容量記憶装置２１４の誤作動の結果大容量記憶装置２１４のデータにアクセスできない場合、大容量記憶装置２２４のデータにアクセスすることができ、またその逆も可能である。サーバＡ２１０およびサーバＢ２２０が大容量記憶装置を共有していないため、シングル・ポイント障害（ｓｉｎｇｌｅ ｐｏｉｎｔ ｏｆ ｆａｉｌｕｒｅ）がなく、互いに離して配置することができる。サーバＡ２１０およびサーバＢ２２０をリモートに配置することによって、両方の大容量記憶装置に同時にアクセスすることを妨げる停電または自然災害の可能性が低減する。
【００２９】
サーバＡ２１０およびサーバＢ２２０を初期構成するとき、オペレータによって、サーバの一方に生き残る権利が割り当てられる。この場合、生き残る権利は、ソフトウェア・フラグとして表され、「オン」または「オフ」のいずれかに設定される。一般に、コンピュータ・クラスタの通常のオペレーション中、生き残る権利のフラグは、ただ１つのサーバのみで「オン」に設定される。初期構成後、生き残る権利のフラグが「オフ」のサーバは、以下により詳しく開示するように、あるネットワーク条件に基づいて生き残る権利のフラグを「オン」にすることができる。
【００３０】
サーバ間の通信が失われた場合、どのサーバがクラスタ・オペレーションを続行するためのもので、どのサーバがクラスタ・オペレーションを中止するためのものかを決定するのに「生き残る権利」を使用する。サーバＡ２１０とサーバＢ２２０の間の通信の抜け落ちが起こるのは主に２つの場合がある。第１の場合は、例えば、サーバの一方がソフトウェア・エラーまたはサーバの停電に遭遇した結果、そのサーバが専用リンク２０２を介した通信を中止するときに起こる。第２の場合は、専用リンク２０２の保全性に障害があるときに起こる。
【００３１】
上述したように、サーバＡ２１０およびサーバＢ２２０は、通信障害のタイプを区別することができる。以下の考察では、サーバＢ２２０が、コンピュータ・クラスタの通常のオペレーションの初期期間中に生き残る権利を有していることを意味する１次サーバであり、一方サーバＡ２１０は、生き残り権利を初期において有していない２次サーバであると仮定する。１次サーバＢ２２０がサーバＡ２１０からの通信の抜け落ちを検出した場合、サーバＢ２２０は、通信の抜け落ちが通信リンク２０２の障害に起因するかあるいはサーバＡ２１０の障害に起因するかに関係なく、生き残る権利の点から見て、オペレーション動作を継続する。
【００３２】
２次サーバＡ２１０は、サーバＢ２２０からの通信の抜け落ちを検出したとき、サーバＡ２１０は、それが生き残る権利を引き受けるのに安全であると決定しない場合は、オペレーションを打ち切る。サーバＡ２１０が、通信の抜け落ちは通信リンク２０２の障害によるものであると決定した場合、サーバＡ２１０は、１次サーバＢ２２０はオペレーション動作可能であるとみなす。したがってサーバＡ２１０は、生き残る権利を有していないため、スプリット・ブレイン・モードでのオペレーション動作を避けるためにアクティビティを中止する。しかし、２次サーバＡ２１０は、通信リンク２０２が障害を起こしていないと決定した場合、通信の抜け落ちは、障害を起こしている、またはそうでない場合でももはやネットワークにサービスを提供していない１次サーバ２２０Ｂに関連付けられているとみなす。この場合、２次サーバＡ２１０は、それ自体に生き残る権利を割り当て、コンピュータ・クラスタにおいてスプリット・ブレインを引き起こす危険性なしにオペレーションを継続する。後者の場合、サーバＡ２１０は、そうでない場合は障害があるサーバＢ２２０に向けられることになるネットワーク装置２３０、２４０、２５０からのリソースの要求に応えることができる。上記状況のいずれにおいても、１つのサーバのみが、サーバ間で通信の抜け落ちに遭遇した後に、引き続き機能し、これによってスプリット・ブレインの問題が起こるのを防ぐ。
【００３３】
図３は、本発明の一実施形態による代表的なコンピュータ・ソフトウェア上で実行する様々なソフトウェア・モジュールの相互関係を示す。図３のシステムおよび構造は、サーバＡ２１０が、他のサーバとの通信の抜け落ちを検出した後、引き続き機能すべきかどうかをどのようにして決定し、生き残る権利をどのようにして引き受けるかの一例を表している。コンピュータ・クラスタのオペレーションが起動されたときに、生き残る権利のフラグ３０６は、自動的に、あるいはシステム管理者によって初期設定される。上述したように、生き残る権利のフラグ３０６が「オン」に設定されているサーバは、その原因が専用リンク２０２の保全性のエラーによるか、もう一方のサーバの障害によるかに関係なく、もう一方のサーバとの通信が抜け落ちた場合に引き続き機能する。本明細書で大まかに開示している本発明は、「オン」位置に初期設定された生き残る権利のフラグ３０６を有し、通信の抜け落ちに遭遇した後にオペレーションを継続する１次サーバにも適用されるが、図３は、生き残る権利のフラグ３０６が「オフ」位置に設定されている間に通信を失う２次サーバの文脈で以下に詳しく説明する。
【００３４】
サーバＡ２１０は、コンピュータ・クラスタでオペレーション動作するので、サーバは、図３に示したように、コンピュータ・クラスタの構成要素間でデータを送受信する。データ３０８は、専用リンク２０２を介してサーバＡ２１０に通信するサーバＢ２２０のハートビート信号を表す。本明細書で使用するときは、「ハートビート信号（ｈｅａｒｔｂｅａｔ ｓｉｇｎａｌ）」という用語は、一方のサーバが、もう一方のサーバはオペレーション動作可能であるかどうか、を決定するために使用することができる任意の形式の任意の信号またはデータに適用される。通信接続ドライバ３０１は、通信接続機構２１５を制御し、データ３０８を受信するソフトウェア・モジュールである。同様に、データ３０９は、ネットワーク２０１を介して送信されるデータを表す。ネットワーク・インターフェース・ドライバ３０２は、ネットワーク・インターフェース２１１を制御し、データ３０９を受信する。
【００３５】
サーバＡ２１０は、データ３０８、およびデータ３０８および専用リンク２１０を処理し分析するモジュールを使用して、生き残る権利のフラグ３０６が「オフ」位置に設定されているときに、サーバＢ２２０との通信がその時に失われたとの決定に応答してオペレーションを続行するか打ち切るかを決定することができる。サーバＡ２１０は、サーバＢ２２０との通信を監視して、データ３０８が予想通りに受信されているかどうかを決定するサーバ通信検出器を含む。リンク状態検出器３０４は、サーバＢ２２０との通信が失われたときに専用リンク２０２が障害を起こしたかどうかを決定することができる任意のハードウェア構成要素、ソフトウェア構成要素、またはそれらの任意の組合せである。サーバ通信検出器３０３およびリンク状態検出器３０４は、これら２つの構成要素の機能を組み合わせて、単一の構造にすることができるけれども、多くの場合、個別モジュールとされる。
【００３６】
この例では、通信検出器３０３およびリンク状態検出器３０４は、データ３０８、および専用リンク２０２の保全性を監視する。しかし、サーバＢ２２０との通信が、専用リンク２０２ではなく、ネットワーク２０１およびネットワーク・インターフェース・ドライバ３０２を使用して送信される代替実施形態では、サーバ通信検出器３０３およびリンク状態検出器３０４は、データ３０９、およびネットワーク２０１の保全性を監視する。
【００３７】
いずれの場合においても、サーバ通信検出器３０３は、サーバＢ２２０のハートビート信号が検出されるかどうかを決定する。サーバＢ２２０のハートビート信号が抜け落ちた場合、リンク状態検出器は、ハートビート信号を搬送している通信リンク（例えば、専用リンク２０２またはネットワーク２０１）の保全性を分析する。サーバＢ２２０との通信の抜け落ちに遭遇したとき、サーバ通信検出器３０３およびリンク状態検出器３０４は、この事実、およびハートビート信号を搬送している通信リンクが障害を起こしたように思われるかどうかを通信の抜け落ちのマネージャ（ｌｏｓｓ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍａｎａｇｅｒ）３０５に通知する。次いで通信の抜け落ちのマネージャ３０５によって、生き残る権利のフラグ３０６、サーバ通信検出器３０３およびリンク状態検出器３０４から受信した情報に基づいて、サーバＡ２１０をシャットダウンするか、あるいはサーバＡがオペレーション動作を継続するのを許すかを決定する。
【００３８】
通信の抜け落ちのマネージャ３０５によって適用される規則を要約すると、サーバＡ２１０は生き残る権利を有していることを生き残る権利のフラグ３０６が示している場合、サーバＡ２１０は、オペレーション動作を継続することが許される。しかし、サーバＢ２２０との通信が失われたときに、生き残る権利のフラグ３０６に従って、サーバＡ２１０は生き残る権利を有していない２次サーバであると仮定すると、通信の抜け落ちの原因は通信リンクの障害によるものと決定された場合、通信の抜け落ちのネージャ３０５によって、サーバＡ２１０のオペレーションが打ち切られる。通信の抜け落ちが通信リンクの障害によるものである場合、サーバＢ２２０がオペレーション動作可能であるとみなされ、この場合、サーバＡ２１０はオペレーションを打ち切り、それによってスプリット・ブレイン・モードでコンピュータ・クラスタをオペレーション動作させる可能性が回避される。
【００３９】
一方、サーバＡ２１０がサーバＢ２２０からの通信の抜け落ちを検出し、通信リンクは障害を起こしていないと、通信の抜け落ちのマネージャ３０５が決定した場合、通信の抜け落ちのマネージャ３０５は、サーバＢ２２０が正しく動作していないと推測する。サーバＡ２１０が２次サーバであると仮定すると、次いで、生き残る権利のフラグ３０６は、サーバＡ２１０が生き残る権利を引き受けることを示す、「オン」位置に設定される。この場合、サーバＡ２１０は、サーバＢ２２０に以前なされた要求への対応を開始することによって、コンピュータ・クラスタを「再構成（ｒｅｆｏｒｍ）」する。サーバＡ２１０は、ネットワーク・インターフェース・ドライバ３０２に、ネットワーク装置がネットワーク２０１を介してサーバＢ２２０に送信した要求に応えさせるようにするコマンドをネットワーク・インターフェース・ドライバ３０２に送信することによって、それを行うことができる。
【００４０】
図４は、１次サーバ（すなわち生き残る権利を初期状態で有しているサーバ）の障害時にネットワーク・リソースの可用性を向上させるために、本発明の一実施形態に従ってコンピュータ・クラスタの２次サーバ（すなわちまだ生き残る権利を有していないサーバ）で実行するステップを示す流れ図である。図５を参照して以下でより詳しく説明するように、１次サーバは一般に、それが所有する生き残る権利によって、通信の抜け落ちの理由に関係なく引き続きオペレーション動作することができるので、２次サーバとの通信が失われた後、図４に示したステップを実行する必要はないことに注意されたい。
【００４１】
まず図４を参照すると、決定ブロック４０１で、２次サーバＡは、サーバＢとの信頼性の高い通信を検出しようと試みる。サーバＡが、サーバＢとの信頼性の高い通信を検出することができた場合、この方法はステップ４０２に進み、サーバＡは、ある時間間隔の間待ち、次いで決定ブロック４０１を繰り返す。
【００４２】
決定ブロック４０１で、サーバＡがサーバＢとの信頼性の高い通信を検出しなかった場合、決定ブロック４０３で、サーバＡは、通信リンクの信頼性をチェックする。決定ブロック４０２で、サーバＡが信頼性の高い通信リンクを検出しなかった場合、サーバＡは、ステップ４０５で、スプリット・ブレイン・モードで動作するのを避けるためにクラスタ・アクティビティを中止する。
【００４３】
しかし、決定ブロック・ステップ４０３で、サーバＡが信頼性の高い通信リンクを検出した場合、この方法は決定ブロック４０７に進み、サーバＢが障害を起こしたとみなすことになる前にサーバＡが要求された時間間隔数の間待ったかどうかが決定される。決定ブロック４０７に従って、サーバＡが要求された時間間隔数の間待たなかった場合、この方法は、ステップ４０８に進み、サーバＡは、１つの時間間隔の間待つ。ステップ４０８の時間間隔の間待った後、決定ブロック４０９で、サーバＡは、サーバＢとの信頼性の高い通信を再度検出しようと試みる。ステップ４０９で、サーバＡが、サーバＢとの信頼性の高い通信を検出した場合、この方法はステップ４０２に戻る。クラスタの再構成前にステップ４０７、４０８、４０９によって定義されたループに従って再確立された通信があるかどうかを繰り返しチェックすることによって、サーバＢにおける短時間の非致命的ソフトウェア・エラーで、サーバＢの代わりにサーバＡがオペレーション動作を開始することを防ぐ。
【００４４】
要求された試行数の後、サーバＡがサーバＢから信頼性の高い通信を検出しなかった場合、サーバＡは、ステップ４１１で、それ自体に生き残る権利を割り当て、次いでステップ４１２でクラスタを再構成する。ステップ４１２で、サーバＡがクラスタを再構成した後、決定ブロック４１３で、サーバＢから信頼性の高い通信があるかどうかのチェックを再度開始する。サーバＢが非終了（ｎｏｎ−ｔｅｒｍｉｎａｔｉｎｇ）ソフトウェア・エラーから回復した場合、クラスタが再構成された後、ハートビート信号の送信を再開したり、あるいはサーバＡとの通信を再開したりするかもしれない。サーバＢからの通信が検出されない限り、サーバＡは、オペレーション動作を続け、決定ブロック４１３およびステップ４１４に示すループで、サーバＢからの通信があるかどうかを定期的に監視する。決定ブロック４１３での検出時にサーバＢからの通信が再確立された場合、処理はステップ４１５に進み、任意のディスク・アクセスが許可される前に、ステップ４１５でサーバＢがシャットダウンし、それによってスプリット・ブレイン・モードでのオペレーション、およびサーバＡおよびサーバＢの大容量記憶装置での関連付けられたデータの不一致が回避される。
【００４５】
生き残る権利を有する１次サーバは、図５の方法のステップを実行して、本発明の一実施形態に従ってもう一方のサーバからの通信の抜け落ちに応答する。決定ブロック５０１で、１次サーバＢは、サーバＡとの信頼性の高い通信の検出を試みる。サーバＢが、サーバＡとの信頼性の高い通信を検出することができる場合、この方法はステップ５０２に進み、サーバＢは、ある時間間隔の間待ち、次いで決定ブロック５０１を繰り返す。
【００４６】
決定ブロック・ステップ５０１で、サーバＢがサーバＡとの信頼性の高い通信を検出しなかった場合、この方法は決定ブロック５０７に進み、サーバＡが障害を起こしたとみなすことになる前にサーバＢが要求された時間間隔数の間待ったかどうかが決定される。決定ブロック５０７に従って、サーバＢが要求された時間間隔数の間待たなかった場合、この方法は、ステップ５０８に進み、サーバＢは、１つの時間間隔の間待つ。ステップ５０８の時間間隔の間待った後、決定ブロック５０９で、サーバＢは、サーバＡからの信頼性の高い通信を再度検出しようと試みる。ステップ５０９で、サーバＢが、サーバＡとの信頼性の高い通信を検出した場合、この方法はステップ５０２に戻る。クラスタの再構成前にステップ５０７、５０８、５０９によって定義されたループを使用して再確立された通信があるかどうかを繰り返しチェックすることによって、サーバＡにおける短時間の非致命的ソフトウェア・エラーで、サーバＡの代わりにサーバＢがオペレーション動作を開始することを防ぐ。
【００４７】
要求された試行数の後、サーバＢがサーバＡから信頼性の高い通信を検出しなかった場合、ステップ５１２で、サーバＢは、クラスタを再構成する。ステップ５１２で、サーバＢがクラスタを再構成した後、決定ブロック５１３で、サーバＡから信頼性の高い通信があるかどうかのチェックを再度開始する。サーバＡは、非終了ソフトウェア・エラーから回復した場合、クラスタが再構成された後、ハートビート信号の送信を再開したり、あるいはサーバＢとの通信を再開したりするかもしれない。サーバＡからの通信が検出されない限り、サーバＢは、決定ブロック５１３およびステップ５１４に示すループで、サーバＡからの通信があるかどうかを定期的に監視し続ける。決定ブロック５１３での検出時にサーバＡからの通信が再確立された場合、処理はステップ５１６に進み、サーバＢがクラスタを再構成して、サーバＡの再開されたオペレーション動作に対応する。
【００４８】
本発明は、本発明の意図または本質的特性から逸脱することなく他の特定の形態で具現化することができる。記載した実施形態は、あらゆる点で例示的なものにすぎず、制限的なものとみなされないものとする。したがって本発明の範囲は、上記の説明ではなく頭記の特許請求の範囲によって示される。特許請求の範囲の意図および均等物の範囲内のすべての変更は、その範囲内に含まれるものとする。
【図面の簡単な説明】
【図１】
１つのディスクを共有する複数のサーバを有する従来のコンピュータ・クラスタを示すブロック図である。
【図２】
本発明の適切なオペレーティング動作環境を提供するコンピュータ・クラスタの一例を示す図である。
【図３】
サーバが生き残る権利を引き受けるかどうかを決定できるようにする、サーバ内の異なるソフトウェア・モジュール間の通信を示す図である。
【図４】
サーバがそれによってもう一方のサーバとの通信の抜け落ちを検出した後で、生き残る権利を引き受けるかどうかを決定する方法を示す流れ図である。
【図５】
生き残る権利を有するサーバがそれによってコンピュータ・クラスタ内のもう一方のサーバの障害に応答する方法を示す流れ図である。
（発明の背景）
発明の分野
本発明は、コンピュータ・クラスタリング・システムに関し、より詳細には、コンピュータ・クラスタリング・システム・サーバ間の通信の抜け落ちの事象発生時におけるコンピュータ・クラスタリング・システム・リソースおよびデータの可用性および信頼性を向上させる方法に関する。
【０００２】
関連技術の説明
一般のコンピュータ・クラスタは、コンピュータ・ネットワークを介して互いに通信する２つ以上のサーバ、および１つまたは複数のネットワーク装置を含む。コンピュータ・クラスタの通常のオペレーション中に、サーバは、コンピュータ・リソースおよびデータを格納し取り出す場所をネットワーク装置に提供する。現在のコンピュータ・クラスタ構成では、コンピュータ・クラスタ・データは、ネットワーク・サーバのいずれかからアクセスされる共有コンピュータ・ディスクに格納される。
【０００３】
図１に一般のコンピュータ・クラスタを示している。図１には、コンピュータ・ネットワーク１０１を介してネットワーク装置１３０、１４０、１５０と通信する２つのネットワーク・サーバ１１０および１２０を示している。ネットワーク・サーバ１１０およびネットワーク・サーバ１２０は、それぞれ通信回線１０５および１０６を介して共有ディスク１０４と通信する。
【０００４】
コンピュータ・クラスタを使用するとき、特に、コンピュータ・クラスタがいくつかのユーザ・ワークステーション、パーソナル・コンピュータ、または他のネットワーク・クライアント装置をサポートしている場合は、コンピュータ・クラスタ・リソースの連続的な可用性を提供することがしばしば望まれる。また、コンピュータ・クラスタリング・システムに接続されている異なるファイル・サーバの間で統一されたデータを維持すること、およびクライアント装置からのこのデータの連続的な可用性を維持することもしばしば望まれる。コンピュータ・クラスタ・リソースおよびデータの信頼性の高い可用性を達成するには、コンピュータ・クラスタがソフトウェアおよびハードウェアの問題および障害に対する耐性をもっている必要がある。一般に冗長コンピュータおよび大容量記憶装置を持つことによって、障害発生時にはバックアップ・コンピュータまたはディスク・ドライブがすぐに引き継ぐことができるというような、上述した必要事項を実行する。
【０００５】
図１に示す共有ディスク構成を使用してコンピュータ・クラスタ・リソースおよびデータの信頼性の高い可用性を実装するために現在使用されている手法は、クォーラム（ｑｕｏｒｕｍ）の概念を伴う。クォーラム（ｑｕｏｒｕｍ）の概念は、他の任意のネットワーク・サーバからのサービスが途絶（ｄｉｓｒｕｐｔｉｏｎ）した場合に、ひとつのネットワーク・サーバがコンピュータ・リソースおよびデータの可用性を制御する権利を有するような、そのネットワーク・サーバが指定された最小数のネットワーク装置を制御する状態に関係する。特定のネットワーク・サーバがクォーラムを獲得する方法は、各サーバおよび他のネットワーク装置が「票（ｖｏｔｅｓ）」を投じる観点からうまく説明することができる。例えば、図１の２つのサーバ・コンピュータ・クラスタ構成では、ネットワーク・サーバ１１０およびネットワーク・サーバ１２０がそれぞれ１票を投じてどのネットワーク・サーバがクォーラムを有するかを決定する。ネットワーク・サーバのいずれもが票の過半数を獲得していない場合、共有ディスク１０４は、２つのネットワーク・サーバ１１０および１２０の一方が過半数を獲得するように投票し、その結果、相互に理解し受け入れることができるようなやり方でネットワーク・サーバの一方がクォーラムを獲得する。常に１つのネットワーク・サーバのみがクォーラムを有し、これによって、ネットワーク・サーバ１１０と１２０の間の通信が途絶し場合に、必ず一方のネットワーク・サーバのみがネットワーク全体の制御を引き受けるようにする。
【０００６】
次に、通信途絶時にクォーラムを使用してネットワーク・サーバを使用可能にしようと試みることについて説明する。サーバ１１０がサーバ１２０との通信の抜け落ち（ｌｏｓｓ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を検出することができる理由は主に２つある。第１は、例えば破損（ｃｒａｓｈ）などの、サーバ１２０でのイベントであり、この場合サーバ１２０は、もはやクライアントにネットワーク・リソースを提供することができない。第２は、２つのサーバ間のネットワーク１０１の通信インフラストラクチャでの通信途絶であり、この場合サーバ１２０は、ネットワーク内で引き続きのオペレーション動作をすることができる。サーバ１１０がもはやサーバ１２０と通信できない場合、その最初の動作は、それがクォーラムを有しているかどうかを決定することである。サーバ１１０は、クォーラムを有していないと決定した場合、共有ディスク１０４に投票するよう要求するコマンドを、その１０４に送信することによってクォーラムを獲得しようと試みる。共有ディスク１０４がサーバ１１０に投票しない場合、サーバ１２０から独立してオペレーション動作をすることを回避するために、このサーバ自体をシャットダウンする。この場合、サーバ１１０は、ネットワーク・サーバ１２０がクォーラムを有してオペレーション動作をしており、サーバ１２０がコンピュータ・クラスタを引き続き制御するとみなす。しかし、共有ディスク１０４がネットワーク・サーバ１１０に投票した場合、このサーバは、クォーラムおよびコンピュータ・クラスタの制御を獲得し、ネットワーク・サーバ１２０が正しく動作しないものとみなして、オペレーションを継続する。
【０００７】
ネットワークの通信途絶時に複数のネットワーク・サーバのうちの１つがネットワーク・リソースを引き続き提供できるようにするクォーラムの使用は、多くの場合、十分であるが、共有ディスクの使用によって、ネットワーク全体およびディスクに保存されているデータが失われる危険にさらされる。例えば、共有ディスク１０４が、あるいはネットワーク・サーバ１１０および１２０の一方ではなく複数のサーバのどちらもが、オペレーション動作をすることができない場合に、データが永久に失われることがある。さらに、共有ディスク構成では、コンピュータ・クラスタ・サーバは一般に、互いに近接して配置される。このことで、自然災害、または停電によってコンピュータ・クラスタ全体が停止する可能性が生じる。
【０００８】
（発明の概要）
本発明は、コンピュータ・クラスタリング・システムにおいてコンピュータ・クラスタ・リソースおよびデータの可用性および信頼性を向上させる方法に関する。それぞれが関連付けられたディスクを有する２つのサーバは、コンピュータ・ネットワークを介して通信する。各サーバは、コンピュータ・ネットワークに接続されたすべてのネットワーク装置のために、コンピュータ・クラスタ・リソースを提供し、コンピュータ・クラスタ・データへのアクセスを提供することができる。通信が抜け落ちた場合、各サーバは、通信の抜け落ちの理由を決定し、オペレーションを継続するべきかどうかを決定する能力を有する。
【０００９】
あるネットワーク・サーバが、別のネットワーク・サーバとの通信が抜け落ちたことを検出したとき、その通信の抜け落ちは、通信回線の障害、またはもう一方のネットワーク・サーバの障害のいずれかによるものとすることができる。各ネットワーク・サーバは、ネットワーク・データのミラーされたコピーを有するため、通信の抜け落ちに続いて、ネットワーク・サーバが互いに独立してオペレーション動作を開始しないようにするために、オペレーション動作を維持しているネットワーク・サーバで一連の動作が実行される。これらの動作がなければ、互いに独立してオペレーション動作している複数のネットワーク・サーバは、望ましくない「スプリット・ブレイン（ｓｐｌｉｔ ｂｒａｉｎ）」モードで存在することになる。このモードでは、ネットワーク・サーバ間でデータのミラーリングが実行されず、その結果、データが破損する可能性がある。
【００１０】
コンピュータ・クラスタのオペレーションが開始されたときに、１つのサーバに、コンピュータ・クラスタ・リソースおよびデータの制御が割り当てられ、通信回線に障害が起こった結果としてネットワーク・サーバ間の通信が失われた場合に「生き残る権利（ｒｉｇｈｔ ｏｆ ｓｕｒｖｉｖｅ）」が与えられる。便宜上、通常のオペレーション中に「生き残る権利」を有する１つのネットワーク・サーバを、本明細書では「１次」サーバと呼び、通常のオペレーション中に生き残る権利を有していない任意のサーバを「２次」サーバと呼ぶ。「１次」および「２次」という用語は、サーバの相対的な重要性を意味するのではなく、また、どのサーバが主にネットワーク装置にネットワーク・リソースを提供する責任を負うのかを指すものでもないことに注意されたい。通常のオペレーション中、１次サーバおよび２次サーバは、ネットワーク・リソースを提供するという見地から交換可能である。生き残る権利は、ネットワーク・サーバ間の通信が失われた場合にスプリット・ブレイン問題が確実に起きないようにするために、デフォルトのプロトコルで使用される。
【００１１】
１次ネットワーク・サーバが通信の抜け落ちを検出したとき、１次ネットワーク・サーバは、もう一方の２次ネットワーク・サーバに障害が起こった、あるいは２次ネットワーク・サーバがオペレーション動作を継続しないとみなすことができるため、オペレーションを継続することができる。通信の抜け落ちを検出した後すぐに２次ネットワーク・サーバによって実行される一連の動作は、やや複雑である。２次ネットワーク・サーバは、単にオペレーションを停止するのではなく、通信の抜け落ちが１次ネットワーク・サーバの障害によるものであるか、通信回線の障害によるものであるかを推測または決定する。通信回線がオペレーション動作可能な場合、２次ネットワーク・サーバは、１次ネットワーク・サーバに障害がありオペレーション動作をしていないと結論づける。この場合、２次ネットワーク・サーバは、実質的にスプリット・ブレイン問題を引き起こす危険性なしに、引き続き動作する。しかし、２次ネットワーク・サーバは、通信回線に障害があると決定した場合、１次ネットワーク・サーバがオペレーション動作可能であるとみなす。この仮定に応答して、２次ネットワーク・サーバは、スプリット・ブレイン・モードでのオペレーション動作を回避するためにオペレーションを中止する。
【００１２】
本発明による重要な利点は、最初に生き残る権利を有していない２次サーバが、１次サーバとの通信の抜け落ちが通信回線の障害によるものではないと決定した場合、オペレーション動作を継続することができることである。通信回線のどんな分析もなしに、２次サーバは、１次サーバとの通信の抜け落ちに応答して自動的にシャットダウンして、スプリット・ブレイン問題を回避することが必要とされる。サーバ間の通信の抜け落ちに応答する本発明の上記の方法では、１次サーバが障害を起こしたときに、スプリット・ブレイン・モードでオペレーション動作をする可能性によって２次サーバを強制的にオフラインにしないため、各ネットワーク・サーバが専用のミラーディスクまたは大容量記憶装置を有するコンピュータ・クラスタの信頼性および可用性が強化されることに注意されたい。
【００１３】
従来の「クォーラム」規則を、各ネットワーク・サーバが専用のミラーディスクを有するコンピュータ・クラスタに適用することは、一般には最適ではない。例えば、クォーラムを有するネットワーク・サーバが障害を起こした場合、投票してクォーラムをもう一方のネットワーク・サーバに割り当て直す共有ディスクがない。その結果、従来のクォーラム規則をこの種のコンピュータ・クラスタに直接適用することは、クォーラムを有するネットワーク・サーバが障害を起こした場合に、非クォーラムのネットワーク・サーバが不必要にシャットダウンすることになる。
【００１４】
個別のミラーディスクにデータを格納することによって、ネットワーク・データを失う可能性が大幅に減る。ネットワーク・データを失う可能性は、ネットワーク・サーバ間で単一のディスクを共有しているコンピュータ・クラスタでしばしば遭遇する問題であった。さらに、本発明によればサーバは単一のディスクを共有してはいないので、サーバの場所は、ディスク・ドライブ装置に関連付けられたケーブル長によって限定されない。したがって、ネットワーク・サーバおよびその関連付けられたミラーディスクは、他から離れた場所に配置することができる。これによって、自然災害または停電によってコンピュータ・クラスタ全体が使用不可になる可能性が減る。
【００１５】
本発明の他の特徴および利点が、以下の説明に記載されており、一部は説明から明らかになり、あるいは本発明を実施することによって学びとることができよう。本発明の特徴および利点は、頭記の特許請求の範囲で特に指摘した手法（ｉｎｓｔｒｕｍｅｎｔ）および組合せによって実現し取得することができる。本発明のこれらおよび他の特徴は、以下の説明および頭記の特許請求の範囲からさらに十分に明らかになり、あるいは以下に記載したように本発明を実施することによって学びとることができよう。
【００１６】
上記および他の本発明の利点および特徴を取得できるやり方を説明するために、添付の図面に示した本発明の特定の実施形態を参照することによって、上記で簡単に説明した本発明のより詳細な説明を行う。これらの図面は、本発明の一般的な実施形態を示しているにすぎず、したがってその範囲を限定するものとみなされるものではないことを理解した上で、添付の図面を使用して、本発明を他の明細（ｓｐｅｃｉｆｉｃｉｔｙ）および詳細について記載し説明する。
【００１７】
（発明の詳細な説明）
本発明は、コンピュータ・クラスタリング・システムにおいてコンピュータ・クラスタ・リソースおよびデータの可用性および信頼性を向上させる方法に関する。コンピュータ。クラスタは、少なくとも２つのサーバを含み、それぞれが専用の大容量記憶装置を有する。サーバは、コンピュータ・ネットワークを介して互いに、また他のネットワーク装置と通信する。データは、各サーバのディスク間でミラーされ、したがってネットワーク装置は、一方のサーバが障害を起こした場合に信頼性の高いデータにアクセスすることができる。通信モジュールは、各サーバ上で動作して、サーバ間の通信が抜け落ちた場合にサーバ自体がシャットダウンするべきかどうかを決定する。
【００１８】
「生き残る権利」という用語は、サーバ間の通信回線のエラーのためにサーバ間の通信の抜け落ちが検出された場合に、サーバがオペレーションを継続する権利を有しているかどうかに関連する。例えば、２つのサーバ間の通信の抜け落ちが検出され、こうした抜け落ちが通信回線における物理的破損による場合、生き残る権利を有するサーバは引き続き動作し、一方生き残る権利を有していないサーバはそれ自体でシャットダウンする。上述したように、「１次」サーバは、通信が抜け落ちる前に生き残る権利を有しているサーバであり、「２次」サーバは、サーバ間の通信が抜け落ちる前に生き残る権利を有していないサーバである。
【００１９】
「スプリット・ブレイン」という用語は、ネットワーク・サーバごとに専用の大容量記憶装置を有するコンピュータ・クラスタのネットワーク・サーバが互いに独立してミラーリングなしに動作する望ましくない状態、に関連する。本発明がなければ、ネットワーク・サーバ間の通信が失われ、その際に両方のネットワーク・サーバがその後も依然として動作し続けて、もう一方が障害を起こしていると各ノードがみなしているときに、スプリット・ブレインが起こり得る。スプリット・ブレインが起こると、各サーバ上のミラー・データはもはや一致せず、破損することになる。通信回線に物理的な破損があるためにサーバが通信を失った上記の例に関連して、サーバが、その抜け落ちは物理的な破損によるものであると決定することができない場合、それぞれはオペレーション動作を継続し、それ自体のデータをその関連付けられた大容量記憶装置に書き込むことになる。しかし、通信回線が破損しているため、データはミラーされず、その結果大容量記憶装置には矛盾したデータがもたらされることになる。本発明は、通信の抜け落ちの原因が１次サーバの障害による場合に２次サーバがオペレーション動作を継続できるようにしながら、コンピュータ・クラスタがスプリット・ブレイン・モードでオペレーション動作するのを防ぐ。
【００２０】
また、本発明の範囲内の実施形態は、コンピュータ実行可能命令またはデータ構造を、含むまたは格納するコンピュータ可読媒体も含む。こうしたコンピュータ可読媒体は、汎用または専用コンピュータからアクセスでき、それらに使用可能な任意の媒体とすることができる。それだけには限定されないが、一例として、こうしたコンピュータ可読媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、または他の光学ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、またはコンピュータ実行可能命令またはデータ構造の形で所望のプログラム・コード手段を含み、または格納するために使用でき、汎用または専用コンピュータからアクセスできる他の任意の媒体、を含むことができる。情報を、ネットワークまたは他の通信接続（有線、無線、または有線および無線の組合せ）を介してコンピュータに転送または提供するとき、コンピュータは、その接続をコンピュータ可読媒体として適切にみなす。したがって、こうした接続は、適切にコンピュータ可読媒体と呼ばれる。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。コンピュータ実行可能命令には、例えば、汎用コンピュータ、専用コンピュータ、または専用処理装置にある機能または機能群を実行させる命令およびデータが含まれる。
【００２１】
図２および以下の説明は、本発明を実装できる適切なコンピューティング環境の簡単で一般的な説明を提供するものである。必ずしも必要ではないが、本発明は、プログラム・モジュールなど、ネットワーク環境でコンピュータによって実行されるコンピュータ実行可能命令の一般的な文脈で説明する。一般にプログラム・モジュールは、特定のタスクを実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。コンピュータ実行可能命令、関連付けられたデータ構造、およびプログラム／モジュールは、本明細書に開示した方法のステップを実行するプログラム・コード手段の例を表す。こうした実行可能命令または関連付けられたデータ構造の特定のシーケンスは、こうしたステップに記載されている機能を実装するための対応する動作の例を表す。
【００２２】
本発明は、パーソナル・コンピュータ、ハンドヘルド装置、マルチ・プロセッサ・システム、マイクロ・プロセッサ・ベースまたはプログラム可能家庭用電化製品、ネットワークＰＣ、ミニ・コンピュータ、メインフレーム・コンピュータなどを含む多くのタイプのコンピュータ・システム構成とともにネットワーク・コンピューティング環境で実施できることを、当分野の技術者であれば理解されよう。本発明はまた、通信ネットワークを介して（有線リンク、無線リンク、または有線リンクおよび無線リンクの組合せで）リンクされたローカル処理装置およびリモート処理装置でタスクを実行する分散コンピューティング環境でも実施できる。分散コンピューティング環境では、プログラム・モジュールを、ローカルおよびリモートのメモリ記憶装置に配置することができる。
【００２３】
図２は、本発明の方法を実施できる代表的なコンピュータ・クラスタ構成を示す。コンピュータ・クラスタは、サーバＡ２１０およびサーバＢ２２０と呼ぶ２つのサーバを含む。図２にはサーバを２つのみ示しているが、本明細書に開示した一般的な原理を、２つを超えるネットワーク・サーバを有するコンピュータ・クラスタに容易に適合させることができる。サーバＡ２１０およびサーバＢ２２０は、ファイル・オペレーティング・システム（ｆｉｌｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行する。ファイル・オペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）ＮＴでもよいが、様々なオペレーティング・システムのうちのどれでも本発明で使用することができる。サーバＡ２１０は、ネットワーク・インターフェース２１１を介してネットワーク２０１に接続されたコンピュータ２１２、および大容量記憶装置コントローラ２１３を介して接続された大容量記憶装置２１４を含む。同様に、サーバＢ２２０は、ネットワーク・インターフェース２２０を介してネットワーク２０１に接続されたコンピュータ２２２、および大容量記憶装置コントローラ２２３を介して接続された大容量記憶装置２２４を含む。ネットワーク２０１は、Ｅｔｈｅｒｎｅｔ（登録商標）、トークンリング、Ａｒｃｎｅｔ、またはサーバＡ２１０およびサーバＢ２２０がそれによってネットワーク装置２３０、２４０、２５０と通信できる他の任意のネットワークとすることができる。
【００２４】
サーバＡ２１０が必ずしもサーバＢ２２０と同じ構成要素を有している必要はないが、多くの場合、実際にそうである。別の例では、サーバＡ２１０とサーバＢ２２０で、プロセッサタイプ、プロセッサ速度、大容量記憶装置のサイズが異なっていてもよく、またはその他のハードウェアの違いがいくつあってもよい。サーバＡ２１０およびサーバＢ２２０に必要なことは、ファイル・オペレーティング・システムを実行することができ、サーバの一方にあるドライブがもう一方のサーバにミラーできないほど大きくないことだけである。
【００２５】
図２に示した実施形態では、サーバＡ２１０とサーバＢ２２０の間の通信は、専用リンク２０２を使用して確立される。コンピュータ２１２は、コンピュータ接続機構２１５を介して専用リンク２０２に接続され、コンピュータ２２２は、コンピュータ接続機構２２５を介して専用リンク２０２に接続される。専用リンク２０２は、当分野の技術者によく知られている様々な手法を使用して実装することができる。一実施形態では、専用リンク２１２は、Ｅｔｈｅｒｎｅｔ（登録商標）プロトコルを使用するリンクである。代替は、高速で実行するようにプログラムされたコンピュータ２１２および２２２のシリアル通信ポート、またはコンピュータ２１２および２２２のパラレル・インターフェースの使用を含む。もう１つの代替によれば、専用リンク２０２および通信接続機構２１５および２２５はなく、サーバＡ２１０およびサーバＢ２２０の間の通信は、ネットワーク２０１を介して搬送される仮想回路または仮想チャネルで確立される。専用リンク２０２の実装に使用するハードウェアの特定のタイプは重要ではなく、データ転送速度が、大容量記憶装置２１４および２２４でのデータ転送速度と同等であり、システムのパフォーマンスが限定されなければよい。
【００２６】
ネットワーク装置２３０、２４０、２５０は、それぞれネットワーク・インターフェース２３１、２４１、２５１を介してネットワーク２０１に接続する。これらは、コンピュータ・システム２１０および２２０のリソースを使用して、大容量記憶装置２１４および２２４に格納されているデータにアクセスするクライアント装置である。ネットワーク装置２３０、２４０、および２５０は、ネットワーク２０１を介して通信できるものであればどんな装置でもよい。
【００２７】
コンピュータ・クラスタのオペレーション中、サーバＡ２１０およびサーバＢ２２０は、ネットワーク装置２３０、２４０、または２５０のいずれかにリソースを提供することができる。さらに、サーバＡ２１０およびサーバＢ２２０は、専用リンク２０２の保全性（ｉｎｔｅｇｒｉｔｙ）のエラーを感知することができる。サーバＡ２１０と通信するネットワーク装置が、大容量記憶装置２１４にデータを追加する、そこのデータを変更する、あるいはそこからデータを削除するとき、この更新は、専用リンク２０２を介して大容量記憶装置２２４にミラーされる。同様に、サーバＢ２２０と通信するネットワーク装置が、大容量記憶装置２２４にデータを追加する、そこのデータを変更する、あるいはそこからデータを削除するとき、この更新は、専用リンク２０２を介して大容量記憶装置２１４にミラーされる。図２の実施形態では、データが専用リンク２０２を介してミラーされるので、ネットワーク２０１が混雑しない。
【００２８】
ミラーリングの結果、大容量記憶装置２１４および２２４は、すべてのコンピュータ・クラスタ・データの同じコピーを含んでいる。したがってコンピュータ・クラスタは、大容量記憶装置のいずれかが誤作動した場合も引き続き確実にオペレーション動作をすることができる。ネットワーク装置２３０、２４０、２５０は、大容量記憶装置２１４の誤作動の結果大容量記憶装置２１４のデータにアクセスできない場合、大容量記憶装置２２４のデータにアクセスすることができ、またその逆も可能である。サーバＡ２１０およびサーバＢ２２０が大容量記憶装置を共有していないため、シングル・ポイント障害（ｓｉｎｇｌｅ ｐｏｉｎｔ ｏｆ ｆａｉｌｕｒｅ）がなく、互いに離して配置することができる。サーバＡ２１０およびサーバＢ２２０をリモートに配置することによって、両方の大容量記憶装置に同時にアクセスすることを妨げる停電または自然災害の可能性が低減する。
【００２９】
サーバＡ２１０およびサーバＢ２２０を初期構成するとき、オペレータによって、サーバの一方に生き残る権利が割り当てられる。この場合、生き残る権利は、ソフトウェア・フラグとして表され、「オン」または「オフ」のいずれかに設定される。一般に、コンピュータ・クラスタの通常のオペレーション中、生き残る権利のフラグは、ただ１つのサーバのみで「オン」に設定される。初期構成後、生き残る権利のフラグが「オフ」のサーバは、以下により詳しく開示するように、あるネットワーク条件に基づいて生き残る権利のフラグを「オン」にすることができる。
【００３０】
サーバ間の通信が失われた場合、どのサーバがクラスタ・オペレーションを続行するためのもので、どのサーバがクラスタ・オペレーションを中止するためのものかを決定するのに「生き残る権利」を使用する。サーバＡ２１０とサーバＢ２２０の間の通信の抜け落ちが起こるのは主に２つの場合がある。第１の場合は、例えば、サーバの一方がソフトウェア・エラーまたはサーバの停電に遭遇した結果、そのサーバが専用リンク２０２を介した通信を中止するときに起こる。第２の場合は、専用リンク２０２の保全性に障害があるときに起こる。
【００３１】
上述したように、サーバＡ２１０およびサーバＢ２２０は、通信障害のタイプを区別することができる。以下の考察では、サーバＢ２２０が、コンピュータ・クラスタの通常のオペレーションの初期期間中に生き残る権利を有していることを意味する１次サーバであり、一方サーバＡ２１０は、生き残り権利を初期において有していない２次サーバであると仮定する。１次サーバＢ２２０がサーバＡ２１０からの通信の抜け落ちを検出した場合、サーバＢ２２０は、通信の抜け落ちが通信リンク２０２の障害に起因するかあるいはサーバＡ２１０の障害に起因するかに関係なく、生き残る権利の点から見て、オペレーション動作を継続する。
【００３２】
２次サーバＡ２１０は、サーバＢ２２０からの通信の抜け落ちを検出したとき、サーバＡ２１０は、それが生き残る権利を引き受けるのに安全であると決定しない場合は、オペレーションを打ち切る。サーバＡ２１０が、通信の抜け落ちは通信リンク２０２の障害によるものであると決定した場合、サーバＡ２１０は、１次サーバＢ２２０はオペレーション動作可能であるとみなす。したがってサーバＡ２１０は、生き残る権利を有していないため、スプリット・ブレイン・モードでのオペレーション動作を避けるためにアクティビティを中止する。しかし、２次サーバＡ２１０は、通信リンク２０２が障害を起こしていないと決定した場合、通信の抜け落ちは、障害を起こしている、またはそうでない場合でももはやネットワークにサービスを提供していない１次サーバ２２０Ｂに関連付けられているとみなす。この場合、２次サーバＡ２１０は、それ自体に生き残る権利を割り当て、コンピュータ・クラスタにおいてスプリット・ブレインを引き起こす危険性なしにオペレーションを継続する。後者の場合、サーバＡ２１０は、そうでない場合は障害があるサーバＢ２２０に向けられることになるネットワーク装置２３０、２４０、２５０からのリソースの要求に応えることができる。上記状況のいずれにおいても、１つのサーバのみが、サーバ間で通信の抜け落ちに遭遇した後に、引き続き機能し、これによってスプリット・ブレインの問題が起こるのを防ぐ。
【００３３】
図３は、本発明の一実施形態による代表的なコンピュータ・ソフトウェア上で実行する様々なソフトウェア・モジュールの相互関係を示す。図３のシステムおよび構造は、サーバＡ２１０が、他のサーバとの通信の抜け落ちを検出した後、引き続き機能すべきかどうかをどのようにして決定し、生き残る権利をどのようにして引き受けるかの一例を表している。コンピュータ・クラスタのオペレーションが起動されたときに、生き残る権利のフラグ３０６は、自動的に、あるいはシステム管理者によって初期設定される。上述したように、生き残る権利のフラグ３０６が「オン」に設定されているサーバは、その原因が専用リンク２０２の保全性のエラーによるか、もう一方のサーバの障害によるかに関係なく、もう一方のサーバとの通信が抜け落ちた場合に引き続き機能する。本明細書で大まかに開示している本発明は、「オン」位置に初期設定された生き残る権利のフラグ３０６を有し、通信の抜け落ちに遭遇した後にオペレーションを継続する１次サーバにも適用されるが、図３は、生き残る権利のフラグ３０６が「オフ」位置に設定されている間に通信を失う２次サーバの文脈で以下に詳しく説明する。
【００３４】
サーバＡ２１０は、コンピュータ・クラスタでオペレーション動作するので、サーバは、図３に示したように、コンピュータ・クラスタの構成要素間でデータを送受信する。データ３０８は、専用リンク２０２を介してサーバＡ２１０に通信するサーバＢ２２０のハートビート信号を表す。本明細書で使用するときは、「ハートビート信号（ｈｅａｒｔｂｅａｔ ｓｉｇｎａｌ）」という用語は、一方のサーバが、もう一方のサーバはオペレーション動作可能であるかどうか、を決定するために使用することができる任意の形式の任意の信号またはデータに適用される。通信接続ドライバ３０１は、通信接続機構２１５を制御し、データ３０８を受信するソフトウェア・モジュールである。同様に、データ３０９は、ネットワーク２０１を介して送信されるデータを表す。ネットワーク・インターフェース・ドライバ３０２は、ネットワーク・インターフェース２１１を制御し、データ３０９を受信する。
【００３５】
サーバＡ２１０は、データ３０８、およびデータ３０８および専用リンク２１０を処理し分析するモジュールを使用して、生き残る権利のフラグ３０６が「オフ」位置に設定されているときに、サーバＢ２２０との通信がその時に失われたとの決定に応答してオペレーションを続行するか打ち切るかを決定することができる。サーバＡ２１０は、サーバＢ２２０との通信を監視して、データ３０８が予想通りに受信されているかどうかを決定するサーバ通信検出器を含む。リンク状態検出器３０４は、サーバＢ２２０との通信が失われたときに専用リンク２０２が障害を起こしたかどうかを決定することができる任意のハードウェア構成要素、ソフトウェア構成要素、またはそれらの任意の組合せである。サーバ通信検出器３０３およびリンク状態検出器３０４は、これら２つの構成要素の機能を組み合わせて、単一の構造にすることができるけれども、多くの場合、個別モジュールとされる。
【００３６】
この例では、通信検出器３０３およびリンク状態検出器３０４は、データ３０８、および専用リンク２０２の保全性を監視する。しかし、サーバＢ２２０との通信が、専用リンク２０２ではなく、ネットワーク２０１およびネットワーク・インターフェース・ドライバ３０２を使用して送信される代替実施形態では、サーバ通信検出器３０３およびリンク状態検出器３０４は、データ３０９、およびネットワーク２０１の保全性を監視する。
【００３７】
いずれの場合においても、サーバ通信検出器３０３は、サーバＢ２２０のハートビート信号が検出されるかどうかを決定する。サーバＢ２２０のハートビート信号が抜け落ちた場合、リンク状態検出器は、ハートビート信号を搬送している通信リンク（例えば、専用リンク２０２またはネットワーク２０１）の保全性を分析する。サーバＢ２２０との通信の抜け落ちに遭遇したとき、サーバ通信検出器３０３およびリンク状態検出器３０４は、この事実、およびハートビート信号を搬送している通信リンクが障害を起こしたように思われるかどうかを通信の抜け落ちのマネージャ（ｌｏｓｓ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍａｎａｇｅｒ）３０５に通知する。次いで通信の抜け落ちのマネージャ３０５によって、生き残る権利のフラグ３０６、サーバ通信検出器３０３およびリンク状態検出器３０４から受信した情報に基づいて、サーバＡ２１０をシャットダウンするか、あるいはサーバＡがオペレーション動作を継続するのを許すかを決定する。
【００３８】
通信の抜け落ちのマネージャ３０５によって適用される規則を要約すると、サーバＡ２１０は生き残る権利を有していることを生き残る権利のフラグ３０６が示している場合、サーバＡ２１０は、オペレーション動作を継続することが許される。しかし、サーバＢ２２０との通信が失われたときに、生き残る権利のフラグ３０６に従って、サーバＡ２１０は生き残る権利を有していない２次サーバであると仮定すると、通信の抜け落ちの原因は通信リンクの障害によるものと決定された場合、通信の抜け落ちのネージャ３０５によって、サーバＡ２１０のオペレーションが打ち切られる。通信の抜け落ちが通信リンクの障害によるものである場合、サーバＢ２２０がオペレーション動作可能であるとみなされ、この場合、サーバＡ２１０はオペレーションを打ち切り、それによってスプリット・ブレイン・モードでコンピュータ・クラスタをオペレーション動作させる可能性が回避される。
【００３９】
一方、サーバＡ２１０がサーバＢ２２０からの通信の抜け落ちを検出し、通信リンクは障害を起こしていないと、通信の抜け落ちのマネージャ３０５が決定した場合、通信の抜け落ちのマネージャ３０５は、サーバＢ２２０が正しく動作していないと推測する。サーバＡ２１０が２次サーバであると仮定すると、次いで、生き残る権利のフラグ３０６は、サーバＡ２１０が生き残る権利を引き受けることを示す、「オン」位置に設定される。この場合、サーバＡ２１０は、サーバＢ２２０に以前なされた要求への対応を開始することによって、コンピュータ・クラスタを「再構成（ｒｅｆｏｒｍ）」する。サーバＡ２１０は、ネットワーク・インターフェース・ドライバ３０２に、ネットワーク装置がネットワーク２０１を介してサーバＢ２２０に送信した要求に応えさせるようにするコマンドをネットワーク・インターフェース・ドライバ３０２に送信することによって、それを行うことができる。
【００４０】
図４は、１次サーバ（すなわち生き残る権利を初期状態で有しているサーバ）の障害時にネットワーク・リソースの可用性を向上させるために、本発明の一実施形態に従ってコンピュータ・クラスタの２次サーバ（すなわちまだ生き残る権利を有していないサーバ）で実行するステップを示す流れ図である。図５を参照して以下でより詳しく説明するように、１次サーバは一般に、それが所有する生き残る権利によって、通信の抜け落ちの理由に関係なく引き続きオペレーション動作することができるので、２次サーバとの通信が失われた後、図４に示したステップを実行する必要はないことに注意されたい。
【００４１】
まず図４を参照すると、決定ブロック４０１で、２次サーバＡは、サーバＢとの信頼性の高い通信を検出しようと試みる。サーバＡが、サーバＢとの信頼性の高い通信を検出することができた場合、この方法はステップ４０２に進み、サーバＡは、ある時間間隔の間待ち、次いで決定ブロック４０１を繰り返す。
【００４２】
決定ブロック４０１で、サーバＡがサーバＢとの信頼性の高い通信を検出しなかった場合、決定ブロック４０３で、サーバＡは、通信リンクの信頼性をチェックする。決定ブロック４０２で、サーバＡが信頼性の高い通信リンクを検出しなかった場合、サーバＡは、ステップ４０５で、スプリット・ブレイン・モードで動作するのを避けるためにクラスタ・アクティビティを中止する。
【００４３】
しかし、決定ブロック・ステップ４０３で、サーバＡが信頼性の高い通信リンクを検出した場合、この方法は決定ブロック４０７に進み、サーバＢが障害を起こしたとみなすことになる前にサーバＡが要求された時間間隔数の間待ったかどうかが決定される。決定ブロック４０７に従って、サーバＡが要求された時間間隔数の間待たなかった場合、この方法は、ステップ４０８に進み、サーバＡは、１つの時間間隔の間待つ。ステップ４０８の時間間隔の間待った後、決定ブロック４０９で、サーバＡは、サーバＢとの信頼性の高い通信を再度検出しようと試みる。ステップ４０９で、サーバＡが、サーバＢとの信頼性の高い通信を検出した場合、この方法はステップ４０２に戻る。クラスタの再構成前にステップ４０７、４０８、４０９によって定義されたループに従って再確立された通信があるかどうかを繰り返しチェックすることによって、サーバＢにおける短時間の非致命的ソフトウェア・エラーで、サーバＢの代わりにサーバＡがオペレーション動作を開始することを防ぐ。
【００４４】
要求された試行数の後、サーバＡがサーバＢから信頼性の高い通信を検出しなかった場合、サーバＡは、ステップ４１１で、それ自体に生き残る権利を割り当て、次いでステップ４１２でクラスタを再構成する。ステップ４１２で、サーバＡがクラスタを再構成した後、決定ブロック４１３で、サーバＢから信頼性の高い通信があるかどうかのチェックを再度開始する。サーバＢが非終了（ｎｏｎ−ｔｅｒｍｉｎａｔｉｎｇ）ソフトウェア・エラーから回復した場合、クラスタが再構成された後、ハートビート信号の送信を再開したり、あるいはサーバＡとの通信を再開したりするかもしれない。サーバＢからの通信が検出されない限り、サーバＡは、オペレーション動作を続け、決定ブロック４１３およびステップ４１４に示すループで、サーバＢからの通信があるかどうかを定期的に監視する。決定ブロック４１３での検出時にサーバＢからの通信が再確立された場合、処理はステップ４１５に進み、任意のディスク・アクセスが許可される前に、ステップ４１５でサーバＢがシャットダウンし、それによってスプリット・ブレイン・モードでのオペレーション、およびサーバＡおよびサーバＢの大容量記憶装置での関連付けられたデータの不一致が回避される。
【００４５】
生き残る権利を有する１次サーバは、図５の方法のステップを実行して、本発明の一実施形態に従ってもう一方のサーバからの通信の抜け落ちに応答する。決定ブロック５０１で、１次サーバＢは、サーバＡとの信頼性の高い通信の検出を試みる。サーバＢが、サーバＡとの信頼性の高い通信を検出することができる場合、この方法はステップ５０２に進み、サーバＢは、ある時間間隔の間待ち、次いで決定ブロック５０１を繰り返す。
【００４６】
決定ブロック・ステップ５０１で、サーバＢがサーバＡとの信頼性の高い通信を検出しなかった場合、この方法は決定ブロック５０７に進み、サーバＡが障害を起こしたとみなすことになる前にサーバＢが要求された時間間隔数の間待ったかどうかが決定される。決定ブロック５０７に従って、サーバＢが要求された時間間隔数の間待たなかった場合、この方法は、ステップ５０８に進み、サーバＢは、１つの時間間隔の間待つ。ステップ５０８の時間間隔の間待った後、決定ブロック５０９で、サーバＢは、サーバＡからの信頼性の高い通信を再度検出しようと試みる。ステップ５０９で、サーバＢが、サーバＡとの信頼性の高い通信を検出した場合、この方法はステップ５０２に戻る。クラスタの再構成前にステップ５０７、５０８、５０９によって定義されたループを使用して再確立された通信があるかどうかを繰り返しチェックすることによって、サーバＡにおける短時間の非致命的ソフトウェア・エラーで、サーバＡの代わりにサーバＢがオペレーション動作を開始することを防ぐ。
【００４７】
要求された試行数の後、サーバＢがサーバＡから信頼性の高い通信を検出しなかった場合、ステップ５１２で、サーバＢは、クラスタを再構成する。ステップ５１２で、サーバＢがクラスタを再構成した後、決定ブロック５１３で、サーバＡから信頼性の高い通信があるかどうかのチェックを再度開始する。サーバＡは、非終了ソフトウェア・エラーから回復した場合、クラスタが再構成された後、ハートビート信号の送信を再開したり、あるいはサーバＢとの通信を再開したりするかもしれない。サーバＡからの通信が検出されない限り、サーバＢは、決定ブロック５１３およびステップ５１４に示すループで、サーバＡからの通信があるかどうかを定期的に監視し続ける。決定ブロック５１３での検出時にサーバＡからの通信が再確立された場合、処理はステップ５１６に進み、サーバＢがクラスタを再構成して、サーバＡの再開されたオペレーション動作に対応する。
【００４８】
本発明は、本発明の意図または本質的特性から逸脱することなく他の特定の形態で具現化することができる。記載した実施形態は、あらゆる点で例示的なものにすぎず、制限的なものとみなされないものとする。したがって本発明の範囲は、上記の説明ではなく頭記の特許請求の範囲によって示される。特許請求の範囲の意図および均等物の範囲内のすべての変更は、その範囲内に含まれるものとする。
【図面の簡単な説明】
【図１】
１つのディスクを共有する複数のサーバを有する従来のコンピュータ・クラスタを示すブロック図である。
【図２】
本発明の適切なオペレーティング動作環境を提供するコンピュータ・クラスタの一例を示す図である。
【図３】
サーバが生き残る権利を引き受けるかどうかを決定できるようにする、サーバ内の異なるソフトウェア・モジュール間の通信を示す図である。
【図４】
サーバがそれによってもう一方のサーバとの通信の抜け落ちを検出した後で、生き残る権利を引き受けるかどうかを決定する方法を示す流れ図である。
【図５】
生き残る権利を有するサーバがそれによってコンピュータ・クラスタ内のもう一方のサーバの障害に応答する方法を示す流れ図である。
Claims (23)
- 通信リンクによって接続されている第１のサーバおよび第２のサーバを含むコンピュータ・クラスタリング・システムであって、当該コンピュータ・クラスタリング・システムにおける通信途絶時に、前記第２のサーバに生き残る権利が割り当てられているコンピュータ・クラスタリング・システムの可用性および信頼性を向上させる方法であって
前記第２のサーバから前記第１のサーバへの通信の抜け落ちを前記第１のサーバが検出する動作と、
前記第１のサーバが、前記通信リンクを分析して、前記通信リンクが適切に機能しているかどうかを決定する動作と、
前記通信リンクが適切に機能していると決定された場合、前記第１のサーバがオペレーションを継続し、前記生き残る権利を引き受ける動作と、
前記通信リンクが適切に機能していないと決定された場合、前記第１のサーバがオペレーションを打ち切る動作と
を備えることを特徴とする方法。 - 通信の抜け落ちを検出する前記動作は、前記第２のサーバによって生成されたハートビート信号を、前記通信リンクを介して検出できないと前記第１のサーバが決定する動作を備えることを特徴とする請求項１に記載の方法。
- 前記通信リンクは前記第１のサーバおよび前記第２のサーバを接続する専用リンクを備えることを特徴とする請求項２に記載の方法。
- 前記通信リンクは、互いに相互接続され、且つ前記第１のサーバおよび前記第２のサーバに相互接続される１つまたは複数のネットワーク装置を備えるコンピュータ・ネットワークに確立された仮想チャネルを含むことを特徴とする請求項１に記載の方法。
- 前記第１のサーバおよび前記第２のサーバのそれぞれは、ファイル・オペレーティング・システムおよび少なくとも１つの接続された大容量記憶装置をさらに備え、
前記第１のサーバおよび前記第２のサーバのそれぞれは、前記ファイル・オペレーティング・システムを実行して、他のネットワーク装置からの、前記第１のサーバおよび前記第２のサーバのリソースを使用する要求を備えるネットワーク要求に応える
ことを特徴とする請求項１に記載の方法。 - 前記第１のサーバの前記少なくとも１つの接続された記憶装置から、前記第２のサーバの前記少なくとも１つの接続された記憶装置に、データをミラーする動作と、
前記第２のサーバの前記少なくとも１つの接続された記憶装置から、前記第１のサーバの前記少なくとも１つの接続された記憶装置に、データをミラーする動作と
をさらに備えることを特徴とする請求項５に記載の方法。 - 前記通信リンクは前記第１のサーバおよび前記第２のサーバのみを相互接続する専用通信リンクであり、通信の抜け落ちを検出する前記動作は、
前記第１のサーバが前記通信リンクを介して前記第２のサーバとの通信を試行する動作と、
前記第１のサーバが、前記通信リンクを介して前記試行した通信の結果を分析して、前記第１のサーバが前記第２のサーバと通信できないと決定する動作と
を備えることを特徴とする請求項６に記載の方法。 - 前記通信リンクを分析して、前記通信リンクが適切に機能しているかどうかを決定する前記動作は、前記第１のサーバが前記通信リンクの伝送特性をチェックして、その伝送特性が指定するパラメータ内にあるかどうかを決定する動作をさらに備えることを特徴とする請求項１に記載の方法。
- 前記通信リンクが適切に機能していると前記第１のサーバが決定した場合、前記第１のサーバはネットワーク装置によって前記第２のサーバになされたネットワーク要求に応える動作をさらに含むことを特徴とする請求項１に記載の方法。
- 前記第２のサーバからの通信が回復されていると前記第１のサーバが決定する動作と、
前記第２のサーバがオペレーションを打ち切る動作と
をさらに備えることを特徴とする請求項９に記載の方法。 - 前記通信リンクは適切に機能していないと前記第１のサーバが決定した場合、前記第１のサーバがオペレーションを打ち切った後、前記第２のサーバが、オペレーションを継続し、前記第１のサーバに対してなされたネットワーク要求に応える動作をさらに備えることを特徴とする請求項１に記載の方法。
- 通信リンクによって相互接続されている第１のサーバおよび第２のサーバを含むコンピュータ・クラスタリング・システムであって、前記第１のサーバおよび前記第２のサーバのそれぞれは、ファイル・サーバ・オペレーティング・システム、および少なくとも１つの関連付けられた大容量記憶装置を含み、当該関連付けられた少なくとも１つの大容量記憶装置にデータが書き込まれ、またはそこからデータが読み出されることに帰着する要求を受信することができ、前記コンピュータ・クラスタリング・システムの通信途絶時に、前記第２のサーバに生き残る権利が割り当てられているコンピュータ・クラスタリング・システムの可用性および信頼性を向上させる方法であって、
前記第２のサーバに関連付けられたハートビート信号がもはや前記通信リンクを介して検出されないと前記第１のサーバが決定する動作と、
前記第１のサーバが、前記通信リンクを分析して、前記通信リンクの保全性のエラーがあるかどうかを決定する動作と、
前記通信リンクについて保全性のエラーがあると前記第１のサーバが決定した場合、前記第１のサーバはオペレーションを打ち切り、そうでない場合に前記第１のサーバに向けられることになる要求に前記第２のサーバが応えられるように、前記第２のサーバは、前記コンピュータ・クラスタリング・システムを再構成する動作と、
前記通信リンクの保全性にエラーがないと前記第１のサーバが決定した場合、前記第１のサーバはそれ自体に前記生き残る権利を割り当て、前記第１のサーバは、そうでない場合前記第２のサーバに向けられることになる要求に前記第１のサーバが応えられるように、前記第１のサーバが前記コンピュータ・クラスタリング・システムを再構成する動作と
を備えることを特徴とする方法。 - 前記第２のサーバに関連付けられた前記ハートビート信号はもはや検出されていないと決定する前記動作の前に、前記第１のサーバおよび前記第２のサーバは、前記第１のサーバに属する前記少なくとも１つの大容量記憶装置、および前記第２のサーバに属する前記少なくとも１つの大容量記憶装置に格納されているデータをミラーする動作をさらに備えることを特徴とする請求項１２に記載の方法。
- データをミラーする前記動作は、前記第１のサーバと前記第２のサーバの間に前記通信リンクを介してデータを送信する動作を備えることを特徴とする請求項１３に記載の方法。
- 前記第１のサーバが、前記第２のサーバに関連付けられた前記ハートビート信号はもはや検出されていないと決定する前記動作は、
前記ハートビート信号があるかどうかを前記第１のサーバが前記通信リンクを繰り返し監視する動作と、
指定された期間の間中、前記通信リンクを繰り返し監視する前記動作中に、前記第１のサーバが前記ハートビート信号を検出しないときに、前記ハートビート信号はもはや検出されないと前記第１のサーバが決定する動作と
を備えることを特徴とする請求項１３に記載の方法。 - 前記第１のサーバが前記コンピュータ・クラスタリング・システムを再構成する前記動作の後、
前記第１のサーバが前記第２のサーバに関連付けられた前記ハートビート信号を再度検出する動作と、
前記第２のサーバが前記第２のサーバに関連付けられた前記少なくとも１つの大容量記憶装置にアクセスする前にオペレーションを打ち切る動作と
をさらに備えることを特徴とする請求項１２に記載の方法。 - 通信リンクによって相互接続されている第１のサーバおよび第２のサーバを含むコンピュータ・クラスタリング・システムであって、前記第１のサーバおよび前記第２のサーバのそれぞれは、ファイルサーバオペレーティングシステム、および少なくとも１つの関連付けられた大容量記憶装置を含み、当該関連付けられた少なくとも１つの大容量記憶装置にデータが書き込まれ、またはそこからデータが読み出されることに帰着する要求を受信することができ、前記コンピュータ・クラスタリング・システムの通信途絶時に、前記第２のサーバに生き残る権利が割り当てられているコンピュータ・クラスタリング・システムの可用性および信頼性を向上させる方法であって、
前記コンピュータ・クラスタリング・システムの通常のオペレーション中に、前記通信リンクを使用して前記第１のサーバおよび前記第２のサーバの間にデータを送信することによって、前記第１のサーバに関連付けられた前記少なくとも１つの大容量記憶装置および前記第２のサーバに関連付けられた前記少なくとも１つの大容量記憶装置にあるデータをミラーする動作と、
前記第２のサーバは適切に機能していないと前記第１のサーバが決定する動作であって、前記第１のサーバが指定された時間間隔で前記通信リンクを分析する動作と、前記第１のサーバが前記通信リンクを介して前記第２のサーバからの通信の検出に失敗する動作と、前記通信リンクを分析する前記動作に基づいて前記第１のサーバが前記通信リンクの適切な機能を検出する動作とを含む動作と、
前記第１のサーバが前記コンピュータ・クラスタリング・システムの制御を獲得する動作と、
前記第１のサーバが、前記コンピュータ・クラスタリング・システムを再構築して、そうでない場合に前記第２のサーバに向けられることになるファイル・サーバ要求を受信する動作と
を備えることを特徴とする方法。 - 前記第１のサーバが前記コンピュータ・クラスタリング・システムの制御を獲得後、前記第２のサーバが適切な機能性を再確立したと前記第１のサーバが決定する動作と、
前記第２のサーバが、前記第２のサーバに関連付けられた前記少なくとも１つの大容量記憶装置にアクセスする前にオペレーションを打ち切る動作と
をさらに備えることを特徴とする請求項１７に記載の方法。 - 第２のサーバおよび第１のサーバと前記第２のサーバを接続する通信リンクも含むコンピュータ・クラスタリング・システムに含まれる前記第１のサーバに、前記第２のサーバの機能不全に応答して前記第１のサーバが前記コンピュータ・クラスタリング・システムの制御を引き受ける方法を実装するためのコンピュータ・プログラム製品であって、
前記第１のサーバが前記第２のサーバからの通信を検出することに失敗した場合に、最初は生き残る権利を得ていなかった前記第１のサーバが生き残る権利を得るかどうかを決定するプログラム・コード手段と、
前記第２のサーバからの通信の抜け落ちを検出するプログラム・コード手段と、
通信の抜け落ちに応答して、通信リンクが適切に機能しているかどうかを決定するプログラム・コード手段と、
前記通信リンクが適切に機能していない場合、前記第１のサーバのオペレーションを打ち切る動作と、前記通信リンクが適切に動作している場合、前記第１のサーバが、最初は生き残る権利を有していないにも関わらず、前記第１のサーバのオペレーションを続行する動作とを実行するプログラム・コード手段と
を含むコンピュータ実行可能命令を含むコンピュータ可読媒体を備え、前記方法を実装することを特徴とするコンピュータ・プログラム製品。 - 前記通信リンクは、前記第１のサーバおよび前記第２のサーバの間の専用リンクを備えることを特徴とする請求項１９に記載のコンピュータ・プログラム製品。
- 前記通信リンクは、前記第１のサーバ、前記第２のサーバ、および複数のネットワーク装置を相互接続するネットワークに含まれる仮想チャネルを備えることを特徴とする請求項１９に記載のコンピュータ・プログラム製品。
- 前記コンピュータ実行可能命令は、前記コンピュータ・クラスタリング・システムの通常のオペレーション中で、同時に前記第１のサーバおよび前記第２のサーバが互いに通信している期間、前記第１のサーバに関連付けられた大容量記憶装置と前記第２のサーバに関連付けられた大容量記憶装置との間でデータをミラーするプログラム・コード手段をさらに備えることを特徴とする請求項１９に記載のコンピュータ・プログラム製品。
- 前記第１のサーバが、生き残る権利を得るかどうかを決定する前記プログラム・コード手段は、前記第１のサーバにおいて格納されている生き残る権利のフラグを検査するプログラム・コード手段を備えることを特徴とする請求項１９に記載のコンピュータ・プログラム製品。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US25747800P | 2000-12-21 | 2000-12-21 | |
| US09/855,592 US6785678B2 (en) | 2000-12-21 | 2001-05-14 | Method of improving the availability of a computer clustering system through the use of a network medium link state function |
| PCT/US2001/049600 WO2002050678A1 (en) | 2000-12-21 | 2001-12-19 | Method of 'split-brain' prevention in computer cluster systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004516575A true JP2004516575A (ja) | 2004-06-03 |
| JP4500490B2 JP4500490B2 (ja) | 2010-07-14 |
Family
ID=26945994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002551706A Expired - Lifetime JP4500490B2 (ja) | 2000-12-21 | 2001-12-19 | コンピュータ・クラスタリング・システムにおいて「スプリット・ブレイン」を防止する方法 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US6785678B2 (ja) |
| EP (1) | EP1344133B1 (ja) |
| JP (1) | JP4500490B2 (ja) |
| KR (1) | KR100557399B1 (ja) |
| CN (1) | CN1264092C (ja) |
| AT (1) | ATE415661T1 (ja) |
| AU (2) | AU3116702A (ja) |
| CA (1) | CA2428251A1 (ja) |
| DE (1) | DE60136739D1 (ja) |
| WO (1) | WO2002050678A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004302512A (ja) * | 2003-03-28 | 2004-10-28 | Hitachi Ltd | クラスタコンピューティングシステム、および、そのフェールオーバー方法 |
| JP2008192139A (ja) * | 2007-01-31 | 2008-08-21 | Hewlett-Packard Development Co Lp | ノードクラスタの管理 |
| JP2016115239A (ja) * | 2014-12-17 | 2016-06-23 | 日本電気株式会社 | フォールトトレラントシステム、フォールトトレラント方法、及び、プログラム |
| WO2018230197A1 (ja) * | 2017-06-14 | 2018-12-20 | 日立オートモティブシステムズ株式会社 | 車両搭載機器の制御装置 |
Families Citing this family (102)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020198996A1 (en) * | 2000-03-16 | 2002-12-26 | Padmanabhan Sreenivasan | Flexible failover policies in high availability computing systems |
| US7627694B2 (en) * | 2000-03-16 | 2009-12-01 | Silicon Graphics, Inc. | Maintaining process group membership for node clusters in high availability computing systems |
| US6785678B2 (en) | 2000-12-21 | 2004-08-31 | Emc Corporation | Method of improving the availability of a computer clustering system through the use of a network medium link state function |
| US6877107B2 (en) * | 2001-07-05 | 2005-04-05 | Softwired Ag | Method for ensuring operation during node failures and network partitions in a clustered message passing server |
| US7146524B2 (en) * | 2001-08-03 | 2006-12-05 | Isilon Systems, Inc. | Systems and methods for providing a distributed file system incorporating a virtual hot spare |
| US7685126B2 (en) * | 2001-08-03 | 2010-03-23 | Isilon Systems, Inc. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| DE10143142A1 (de) * | 2001-09-04 | 2003-01-30 | Bosch Gmbh Robert | Verfahren zum Betreiben einer Schaltungsanordnung, die einen Mikrocontroller und ein EEPROM enthält |
| US7181489B2 (en) * | 2002-01-10 | 2007-02-20 | International Business Machines Corporation | Method, apparatus, and program for distributing a document object model in a web server cluster |
| JP4434543B2 (ja) * | 2002-01-10 | 2010-03-17 | 株式会社日立製作所 | 分散ストレージシステム、ストレージ装置、およびデータのコピー方法 |
| US7203748B2 (en) * | 2002-02-15 | 2007-04-10 | International Business Machines Corporation | Method for detecting the quick restart of liveness daemons in a distributed multinode data processing system |
| US7127512B2 (en) * | 2002-02-19 | 2006-10-24 | Qualcomm Inc. | Method and apparatus for two-phase commit in data distribution to a web farm |
| CA2377649C (en) * | 2002-03-20 | 2009-02-03 | Ibm Canada Limited-Ibm Canada Limitee | Dynamic cluster database architecture |
| US7631066B1 (en) * | 2002-03-25 | 2009-12-08 | Symantec Operating Corporation | System and method for preventing data corruption in computer system clusters |
| US7058850B2 (en) * | 2002-07-31 | 2006-06-06 | Hewlett-Packard Development Company, L.P. | Method and system for preventing data loss within disk-array pairs supporting mirrored logical units |
| US7076687B2 (en) * | 2002-10-16 | 2006-07-11 | Hitachi, Ltd. | System and method for bi-directional failure detection of a site in a clustering system |
| CN1692356B (zh) | 2002-11-14 | 2014-06-04 | 易斯龙系统公司 | 用于对现存文件重新条带化的方法 |
| US20040181707A1 (en) * | 2003-03-11 | 2004-09-16 | Hitachi, Ltd. | Method and apparatus for seamless management for disaster recovery |
| US7401254B2 (en) * | 2003-04-23 | 2008-07-15 | Dot Hill Systems Corporation | Apparatus and method for a server deterministically killing a redundant server integrated within the same network storage appliance chassis |
| WO2004095304A1 (en) * | 2003-04-23 | 2004-11-04 | Dot Hill Systems Corporation | Network storage appliance with integrated redundant servers and storage controllers |
| US7627780B2 (en) * | 2003-04-23 | 2009-12-01 | Dot Hill Systems Corporation | Apparatus and method for deterministically performing active-active failover of redundant servers in a network storage appliance |
| US7565566B2 (en) * | 2003-04-23 | 2009-07-21 | Dot Hill Systems Corporation | Network storage appliance with an integrated switch |
| JP2005018510A (ja) * | 2003-06-27 | 2005-01-20 | Hitachi Ltd | データセンタシステム及びその制御方法 |
| US7739541B1 (en) | 2003-07-25 | 2010-06-15 | Symantec Operating Corporation | System and method for resolving cluster partitions in out-of-band storage virtualization environments |
| US7475134B2 (en) * | 2003-10-14 | 2009-01-06 | International Business Machines Corporation | Remote activity monitoring |
| US7225356B2 (en) * | 2003-11-06 | 2007-05-29 | Siemens Medical Solutions Health Services Corporation | System for managing operational failure occurrences in processing devices |
| US7299378B2 (en) * | 2004-01-15 | 2007-11-20 | Oracle International Corporation | Geographically distributed clusters |
| US6859811B1 (en) * | 2004-01-15 | 2005-02-22 | Oracle International Corporation | Cluster database with remote data mirroring |
| US7293198B2 (en) * | 2004-03-25 | 2007-11-06 | Emc Corporation | Techniques for maintaining operation of data storage system during a failure |
| US7610373B2 (en) * | 2004-05-27 | 2009-10-27 | International Business Machines Corporation | Voting mechanism for session invalidation processing in an application server cluster |
| US8238350B2 (en) | 2004-10-29 | 2012-08-07 | Emc Corporation | Message batching with checkpoints systems and methods |
| US8051425B2 (en) * | 2004-10-29 | 2011-11-01 | Emc Corporation | Distributed system with asynchronous execution systems and methods |
| US8055711B2 (en) | 2004-10-29 | 2011-11-08 | Emc Corporation | Non-blocking commit protocol systems and methods |
| GB0428108D0 (en) * | 2004-12-23 | 2005-01-26 | Ibm | Storage system with multiple copy targeting |
| GB0428105D0 (en) * | 2004-12-23 | 2005-01-26 | Ibm | Storage system with multiple copy targeting and disk failure protection |
| US8191078B1 (en) * | 2005-03-22 | 2012-05-29 | Progress Software Corporation | Fault-tolerant messaging system and methods |
| US20060230245A1 (en) * | 2005-04-08 | 2006-10-12 | Microsoft Corporation | Data storage safety indicator and expander |
| US8010498B2 (en) * | 2005-04-08 | 2011-08-30 | Microsoft Corporation | Virtually infinite reliable storage across multiple storage devices and storage services |
| JP5066080B2 (ja) * | 2005-05-06 | 2012-11-07 | マラソン テクノロジーズ コーポレイション | 耐障害性コンピュータ・システム |
| US20060271695A1 (en) * | 2005-05-16 | 2006-11-30 | Electronics Line 3000 Ltd. | System for remote secured operation, monitoring and control of security and other types of events |
| US8010829B1 (en) | 2005-10-20 | 2011-08-30 | American Megatrends, Inc. | Distributed hot-spare storage in a storage cluster |
| US7996608B1 (en) | 2005-10-20 | 2011-08-09 | American Megatrends, Inc. | Providing redundancy in a storage system |
| US7551572B2 (en) * | 2005-10-21 | 2009-06-23 | Isilon Systems, Inc. | Systems and methods for providing variable protection |
| US7917474B2 (en) * | 2005-10-21 | 2011-03-29 | Isilon Systems, Inc. | Systems and methods for accessing and updating distributed data |
| US7797283B2 (en) | 2005-10-21 | 2010-09-14 | Isilon Systems, Inc. | Systems and methods for maintaining distributed data |
| US7788303B2 (en) | 2005-10-21 | 2010-08-31 | Isilon Systems, Inc. | Systems and methods for distributed system scanning |
| KR100877470B1 (ko) * | 2005-11-22 | 2009-01-07 | 인터내셔널 비지네스 머신즈 코포레이션 | 소프트웨어 제품 사용 제어 방법과 시스템 및 컴퓨터 판독 가능한 저장 매체 |
| US7979460B2 (en) | 2006-02-15 | 2011-07-12 | Sony Computer Entainment America Inc. | Systems and methods for server management |
| US7848261B2 (en) * | 2006-02-17 | 2010-12-07 | Isilon Systems, Inc. | Systems and methods for providing a quiescing protocol |
| US7756898B2 (en) * | 2006-03-31 | 2010-07-13 | Isilon Systems, Inc. | Systems and methods for notifying listeners of events |
| JP2007304687A (ja) * | 2006-05-09 | 2007-11-22 | Hitachi Ltd | クラスタ構成とその制御手段 |
| US7519855B2 (en) * | 2006-06-15 | 2009-04-14 | Motorola, Inc. | Method and system for distributing data processing units in a communication network |
| US7822932B2 (en) * | 2006-08-18 | 2010-10-26 | Isilon Systems, Inc. | Systems and methods for providing nonlinear journaling |
| US7899800B2 (en) * | 2006-08-18 | 2011-03-01 | Isilon Systems, Inc. | Systems and methods for providing nonlinear journaling |
| US7680836B2 (en) * | 2006-08-18 | 2010-03-16 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7882071B2 (en) * | 2006-08-18 | 2011-02-01 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7680842B2 (en) * | 2006-08-18 | 2010-03-16 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7953704B2 (en) | 2006-08-18 | 2011-05-31 | Emc Corporation | Systems and methods for a snapshot of data |
| US7590652B2 (en) * | 2006-08-18 | 2009-09-15 | Isilon Systems, Inc. | Systems and methods of reverse lookup |
| US7770063B2 (en) * | 2006-08-26 | 2010-08-03 | International Business Machines Corporation | Simulation of failure recovery within clustered systems |
| US8286029B2 (en) | 2006-12-21 | 2012-10-09 | Emc Corporation | Systems and methods for managing unavailable storage devices |
| US7593938B2 (en) * | 2006-12-22 | 2009-09-22 | Isilon Systems, Inc. | Systems and methods of directory entry encodings |
| US7509448B2 (en) * | 2007-01-05 | 2009-03-24 | Isilon Systems, Inc. | Systems and methods for managing semantic locks |
| US7908448B1 (en) | 2007-01-30 | 2011-03-15 | American Megatrends, Inc. | Maintaining data consistency in mirrored cluster storage systems with write-back cache |
| US8498967B1 (en) * | 2007-01-30 | 2013-07-30 | American Megatrends, Inc. | Two-node high availability cluster storage solution using an intelligent initiator to avoid split brain syndrome |
| US8966080B2 (en) | 2007-04-13 | 2015-02-24 | Emc Corporation | Systems and methods of managing resource utilization on a threaded computer system |
| US7779048B2 (en) | 2007-04-13 | 2010-08-17 | Isilon Systems, Inc. | Systems and methods of providing possible value ranges |
| US7900015B2 (en) * | 2007-04-13 | 2011-03-01 | Isilon Systems, Inc. | Systems and methods of quota accounting |
| US8271757B1 (en) | 2007-04-17 | 2012-09-18 | American Megatrends, Inc. | Container space management in a data storage system |
| US7966289B2 (en) | 2007-08-21 | 2011-06-21 | Emc Corporation | Systems and methods for reading objects in a file system |
| US7882068B2 (en) * | 2007-08-21 | 2011-02-01 | Isilon Systems, Inc. | Systems and methods for adaptive copy on write |
| US7949692B2 (en) * | 2007-08-21 | 2011-05-24 | Emc Corporation | Systems and methods for portals into snapshot data |
| US11212733B2 (en) * | 2007-10-08 | 2021-12-28 | Qualcomm Incorporated | Control of wireless transmission based on node status |
| US7949636B2 (en) | 2008-03-27 | 2011-05-24 | Emc Corporation | Systems and methods for a read only mode for a portion of a storage system |
| US7984324B2 (en) * | 2008-03-27 | 2011-07-19 | Emc Corporation | Systems and methods for managing stalled storage devices |
| US7870345B2 (en) | 2008-03-27 | 2011-01-11 | Isilon Systems, Inc. | Systems and methods for managing stalled storage devices |
| US7953709B2 (en) * | 2008-03-27 | 2011-05-31 | Emc Corporation | Systems and methods for a read only mode for a portion of a storage system |
| CN101299201B (zh) | 2008-05-08 | 2010-06-02 | 成都市华为赛门铁克科技有限公司 | 存储系统数据备份方法及装置 |
| US8006129B2 (en) * | 2008-10-03 | 2011-08-23 | Cisco Technology, Inc. | Detecting and preventing the split-brain condition in redundant processing units |
| CN101729412B (zh) * | 2009-11-05 | 2012-03-14 | 北京超图软件股份有限公司 | 地理信息服务的分布式层次集群方法和系统 |
| US8108715B1 (en) * | 2010-07-02 | 2012-01-31 | Symantec Corporation | Systems and methods for resolving split-brain scenarios in computer clusters |
| US8438277B1 (en) * | 2010-12-08 | 2013-05-07 | Symantec Corporation | Systems and methods for preventing data inconsistency within computer clusters |
| US20130268801A1 (en) * | 2010-12-10 | 2013-10-10 | Nec Corporation | Server management apparatus, server management method, and program |
| CN102308559B (zh) * | 2011-07-26 | 2014-04-02 | 华为技术有限公司 | 一种用于集群计算机系统的投票仲裁方法及装置 |
| CN102281159A (zh) * | 2011-09-06 | 2011-12-14 | 曙光信息产业(北京)有限公司 | 集群系统的恢复方法 |
| US10054933B2 (en) * | 2012-03-27 | 2018-08-21 | Sirqul, Inc. | Controlling distributed device operations |
| US20140173330A1 (en) * | 2012-12-14 | 2014-06-19 | Lsi Corporation | Split Brain Detection and Recovery System |
| US10250579B2 (en) * | 2013-08-13 | 2019-04-02 | Alcatel Lucent | Secure file transfers within network-based storage |
| CN103647820B (zh) * | 2013-12-09 | 2016-11-23 | 华为数字技术（苏州）有限公司 | 用于分布式集群系统的仲裁方法及仲裁装置 |
| US9639437B2 (en) * | 2013-12-13 | 2017-05-02 | Netapp, Inc. | Techniques to manage non-disruptive SAN availability in a partitioned cluster |
| US9965363B2 (en) * | 2013-12-14 | 2018-05-08 | Netapp, Inc. | Techniques for LIF placement in SAN storage cluster synchronous disaster recovery |
| CN105849702A (zh) * | 2013-12-25 | 2016-08-10 | 日本电气方案创新株式会社 | 集群系统，服务器设备，集群系统管理方法和计算机可读记录介质 |
| US9483369B2 (en) * | 2014-01-24 | 2016-11-01 | Verizon Patent And Licensing Inc. | Method and apparatus for failover detection and recovery using gratuitous address resolution messages |
| JP6199508B2 (ja) | 2014-04-21 | 2017-09-20 | 株式会社日立製作所 | 情報記憶システム |
| US10592268B2 (en) * | 2015-04-06 | 2020-03-17 | Hitachi, Ltd. | Management computer and resource management method configured to combine server resources and storage resources and allocate the combined resources to virtual machines |
| JP6409812B2 (ja) * | 2016-04-01 | 2018-10-24 | 横河電機株式会社 | 冗長化装置、冗長化システム、及び冗長化方法 |
| US10205782B2 (en) | 2016-04-29 | 2019-02-12 | Netapp, Inc. | Location-based resource availability management in a partitioned distributed storage environment |
| US10671038B2 (en) * | 2016-07-15 | 2020-06-02 | Fisher-Rosemount Systems, Inc. | Architecture-independent process control |
| US10594553B2 (en) | 2016-12-21 | 2020-03-17 | Mastercard International Incorporated | Systems and methods for dynamically commissioning and decommissioning computer components |
| US10503427B2 (en) * | 2017-03-10 | 2019-12-10 | Pure Storage, Inc. | Synchronously replicating datasets and other managed objects to cloud-based storage systems |
| CN107147528A (zh) * | 2017-05-23 | 2017-09-08 | 郑州云海信息技术有限公司 | 一种存储网关智能防脑裂系统及方法 |
| CN115396752B (zh) * | 2022-07-29 | 2023-05-26 | 国电南京自动化股份有限公司 | 一种基于Redis的双平面采集数据方法及系统 |
| CN116743550B (zh) * | 2023-08-11 | 2023-12-29 | 之江实验室 | 一种分布式存储集群的故障存储节点的处理方法 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5812748A (en) * | 1993-06-23 | 1998-09-22 | Vinca Corporation | Method for improving recovery performance from hardware and software errors in a fault-tolerant computer system |
| US5978565A (en) * | 1993-07-20 | 1999-11-02 | Vinca Corporation | Method for rapid recovery from a network file server failure including method for operating co-standby servers |
| US5434994A (en) * | 1994-05-23 | 1995-07-18 | International Business Machines Corporation | System and method for maintaining replicated data coherency in a data processing system |
| US5696895A (en) * | 1995-05-19 | 1997-12-09 | Compaq Computer Corporation | Fault tolerant multiple network servers |
| US5828889A (en) * | 1996-05-31 | 1998-10-27 | Sun Microsystems, Inc. | Quorum mechanism in a two-node distributed computer system |
| US5753034A (en) * | 1996-09-27 | 1998-05-19 | W. R. Grace & Co. -Conn. | Composition and method to remove asbestos |
| US5991518A (en) * | 1997-01-28 | 1999-11-23 | Tandem Computers Incorporated | Method and apparatus for split-brain avoidance in a multi-processor system |
| US5892895A (en) * | 1997-01-28 | 1999-04-06 | Tandem Computers Incorporated | Method an apparatus for tolerance of lost timer ticks during recovery of a multi-processor system |
| US6151688A (en) * | 1997-02-21 | 2000-11-21 | Novell, Inc. | Resource management in a clustered computer system |
| US6134673A (en) * | 1997-05-13 | 2000-10-17 | Micron Electronics, Inc. | Method for clustering software applications |
| US6108699A (en) * | 1997-06-27 | 2000-08-22 | Sun Microsystems, Inc. | System and method for modifying membership in a clustered distributed computer system and updating system configuration |
| US6574661B1 (en) * | 1997-09-26 | 2003-06-03 | Mci Communications Corporation | Integrated proxy interface for web based telecommunication toll-free network management using a network manager for downloading a call routing tree to client |
| US5999712A (en) * | 1997-10-21 | 1999-12-07 | Sun Microsystems, Inc. | Determining cluster membership in a distributed computer system |
| US6192483B1 (en) * | 1997-10-21 | 2001-02-20 | Sun Microsystems, Inc. | Data integrity and availability in a distributed computer system |
| US6279032B1 (en) * | 1997-11-03 | 2001-08-21 | Microsoft Corporation | Method and system for quorum resource arbitration in a server cluster |
| US6145089A (en) * | 1997-11-10 | 2000-11-07 | Legato Systems, Inc. | Server fail-over system |
| JPH11175488A (ja) | 1997-12-16 | 1999-07-02 | Toshiba Corp | サーバシステムおよびフェールオーバ制御方法 |
| US6058400A (en) * | 1998-04-28 | 2000-05-02 | Sun Microsystems, Inc. | Highly available cluster coherent filesystem |
| US6421787B1 (en) * | 1998-05-12 | 2002-07-16 | Sun Microsystems, Inc. | Highly available cluster message passing facility |
| US6311217B1 (en) * | 1998-06-04 | 2001-10-30 | Compaq Computer Corporation | Method and apparatus for improved cluster administration |
| JP2000040986A (ja) | 1998-07-23 | 2000-02-08 | Toshiba Corp | 通信ネットワークの異常検出装置 |
| US6393485B1 (en) * | 1998-10-27 | 2002-05-21 | International Business Machines Corporation | Method and apparatus for managing clustered computer systems |
| US6438705B1 (en) * | 1999-01-29 | 2002-08-20 | International Business Machines Corporation | Method and apparatus for building and managing multi-clustered computer systems |
| US6983317B1 (en) * | 2000-02-28 | 2006-01-03 | Microsoft Corporation | Enterprise management system |
| US6618737B2 (en) * | 2000-03-09 | 2003-09-09 | International Business Machines Corporation | Speculative caching of individual fields in a distributed object system |
| US7627694B2 (en) * | 2000-03-16 | 2009-12-01 | Silicon Graphics, Inc. | Maintaining process group membership for node clusters in high availability computing systems |
| US6609213B1 (en) * | 2000-08-10 | 2003-08-19 | Dell Products, L.P. | Cluster-based system and method of recovery from server failures |
| US6785678B2 (en) | 2000-12-21 | 2004-08-31 | Emc Corporation | Method of improving the availability of a computer clustering system through the use of a network medium link state function |
-
2001
- 2001-05-14 US US09/855,592 patent/US6785678B2/en not_active Expired - Lifetime
- 2001-12-19 WO PCT/US2001/049600 patent/WO2002050678A1/en active IP Right Grant
- 2001-12-19 AU AU3116702A patent/AU3116702A/xx active Pending
- 2001-12-19 AT AT01991440T patent/ATE415661T1/de not_active IP Right Cessation
- 2001-12-19 CN CNB018211305A patent/CN1264092C/zh not_active Expired - Lifetime
- 2001-12-19 DE DE60136739T patent/DE60136739D1/de not_active Expired - Lifetime
- 2001-12-19 AU AU2002231167A patent/AU2002231167B2/en not_active Expired - Fee Related
- 2001-12-19 KR KR1020037008210A patent/KR100557399B1/ko active IP Right Grant
- 2001-12-19 CA CA002428251A patent/CA2428251A1/en not_active Abandoned
- 2001-12-19 JP JP2002551706A patent/JP4500490B2/ja not_active Expired - Lifetime
- 2001-12-19 EP EP01991440A patent/EP1344133B1/en not_active Expired - Lifetime
-
2004
- 2004-08-18 US US10/920,601 patent/US7409395B2/en not_active Expired - Lifetime
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004302512A (ja) * | 2003-03-28 | 2004-10-28 | Hitachi Ltd | クラスタコンピューティングシステム、および、そのフェールオーバー方法 |
| JP2008192139A (ja) * | 2007-01-31 | 2008-08-21 | Hewlett-Packard Development Co Lp | ノードクラスタの管理 |
| JP4505763B2 (ja) * | 2007-01-31 | 2010-07-21 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | ノードクラスタの管理 |
| JP2016115239A (ja) * | 2014-12-17 | 2016-06-23 | 日本電気株式会社 | フォールトトレラントシステム、フォールトトレラント方法、及び、プログラム |
| WO2018230197A1 (ja) * | 2017-06-14 | 2018-12-20 | 日立オートモティブシステムズ株式会社 | 車両搭載機器の制御装置 |
| KR20200005623A (ko) * | 2017-06-14 | 2020-01-15 | 히다치 오토모티브 시스템즈 가부시키가이샤 | 차량 탑재 기기의 제어 장치 |
| JPWO2018230197A1 (ja) * | 2017-06-14 | 2020-04-09 | 日立オートモティブシステムズ株式会社 | 車両搭載機器の制御装置 |
| KR102237925B1 (ko) * | 2017-06-14 | 2021-04-08 | 히다치 아스테모 가부시키가이샤 | 차량 탑재 기기의 제어 장치 |
| US11560106B2 (en) | 2017-06-14 | 2023-01-24 | Hitachi Astemo, Ltd. | Control device for vehicle-mounted apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1264092C (zh) | 2006-07-12 |
| AU2002231167B2 (en) | 2005-10-06 |
| EP1344133A4 (en) | 2007-08-15 |
| DE60136739D1 (de) | 2009-01-08 |
| US6785678B2 (en) | 2004-08-31 |
| US7409395B2 (en) | 2008-08-05 |
| US20050033778A1 (en) | 2005-02-10 |
| KR20030067712A (ko) | 2003-08-14 |
| CA2428251A1 (en) | 2002-06-27 |
| EP1344133A1 (en) | 2003-09-17 |
| AU3116702A (en) | 2002-07-01 |
| ATE415661T1 (de) | 2008-12-15 |
| WO2002050678A1 (en) | 2002-06-27 |
| US20020083036A1 (en) | 2002-06-27 |
| EP1344133B1 (en) | 2008-11-26 |
| KR100557399B1 (ko) | 2006-03-06 |
| JP4500490B2 (ja) | 2010-07-14 |
| WO2002050678A8 (en) | 2002-09-19 |
| CN1483163A (zh) | 2004-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4500490B2 (ja) | コンピュータ・クラスタリング・システムにおいて「スプリット・ブレイン」を防止する方法 | |
| US7725579B2 (en) | Computer readable medium and system for remote activity monitoring | |
| US6496942B1 (en) | Coordinating persistent status information with multiple file servers | |
| US20050283641A1 (en) | Apparatus, system, and method for verified fencing of a rogue node within a cluster | |
| US7213246B1 (en) | Failing over a virtual machine | |
| US6526521B1 (en) | Methods and apparatus for providing data storage access | |
| USRE42703E1 (en) | System and method for fibrechannel fail-over through port spoofing | |
| US6868442B1 (en) | Methods and apparatus for processing administrative requests of a distributed network application executing in a clustered computing environment | |
| US7370228B2 (en) | Data processing system and copy processing method thereof | |
| US6360306B1 (en) | Relocation of suspended data to a remote site in a distributed storage system | |
| US6748550B2 (en) | Apparatus and method for building metadata using a heartbeat of a clustered system | |
| US7739541B1 (en) | System and method for resolving cluster partitions in out-of-band storage virtualization environments | |
| KR100358663B1 (ko) | 클러스터 노드 디스트레스 신호 | |
| JP2009025965A (ja) | フェールオーバにおける引き継ぎ先を自律的に変更する計算機システム及び方法 | |
| US7003645B2 (en) | Use of a storage medium as a communications network for liveness determination in a high-availability cluster | |
| US7711978B1 (en) | Proactive utilization of fabric events in a network virtualization environment | |
| US7120821B1 (en) | Method to revive and reconstitute majority node set clusters | |
| EP1107119A2 (en) | Extending cluster membership and quorum determinations to intelligent storage systems | |
| JP2002185478A (ja) | コンピュータシステムにおける共有資源の排他利用方式 | |
| KR20050078931A (ko) | 클러스터 시스템에서 상태 정보 및 제어 명령의 공유를통한 시스템 장애 대응방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040225 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040225 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20041007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041007 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061004 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070125 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20070125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070126 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070406 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070914 |
|
| RD16 | Notification of change of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7431 Effective date: 20091028 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091028 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4500490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |