JP2004062535A - マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード - Google Patents
マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード Download PDFInfo
- Publication number
- JP2004062535A JP2004062535A JP2002220125A JP2002220125A JP2004062535A JP 2004062535 A JP2004062535 A JP 2004062535A JP 2002220125 A JP2002220125 A JP 2002220125A JP 2002220125 A JP2002220125 A JP 2002220125A JP 2004062535 A JP2004062535 A JP 2004062535A
- Authority
- JP
- Japan
- Prior art keywords
- node
- failure
- service processor
- nodes
- multiprocessor system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1482—Generic software techniques for error detection or fault masking by means of middleware or OS functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
- Debugging And Monitoring (AREA)
- Hardware Redundancy (AREA)
Abstract
【課題手段】障害ノードがサービスプロセッサに障害の発生を通知し、サービスプロセッサが障害情報を取得してサービスプロセッサマネージャに送信する工程と、障害ノードが同一のパーティションの他ノードに障害情報を伝達する工程と、同一のパーティションの他ノードがサービスプロセッサに障害の発生を通知し、サービスプロセッサが障害情報を取得してサービスプロセッサマネージャに送信する工程と、サービスプロセッサマネージャが障害情報に基づいてサービスプロセッサに指示し、サービスプロセッサが障害処理をおこなう工程とを含む。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノードに関する。
【0002】
【従来の技術】
近年、マルチプロセッサシステム、特にWindows(登録商標)やUNIX(登録商標)等のオープンシステムにおいて、プラットフォームがOS(Operating System)、ドライバ、アプリケーションと協力して、システムの構成制御、電源制御、エラーロギング、障害処理等をおこなうRAS(Remote Access Service)機能を強化する傾向にある。
【0003】
また、システム基盤であるプラットフォームは、ユーザニーズの多様化に対応するため大規模化しており、特に、複数のプロセッサを有するマルチプロセッサシステムを独立して運用可能なシステム(パーティション)に分割して、複数のOSを運用可能とする機能が要求されている。
【0004】
このような状況から今後、大規模プラットフォームを複数のパーティションに分割し、それぞれのパーティションの負荷状態に応じて柔軟にリソースの追加又は削除をおこなう機能、予備リソースを用意しておき障害発生時に即座に自動リプレースする機能等への要求に応えることができ、また、システム統合によるコスト削減を実現できる、統合プラットフォームへのニーズが高まることが予想される。
【0005】
ところで、マルチプロセッサシステムを用いた場合は、システム障害に対する復旧処理を的確におこなうことが重要となる。例えば、複数のノードを1つのサービスプロセッサで制御しておこなうマルチプロセッサシステムに対しての障害処理方法が開示されている(特開2001−134546公報)。
【0006】
【発明が解決しようとする課題】
しかし、複数のノードをサービスプロセッサで制御してなるノード群が複数集まって構成されたシステムで、異なるノード群に属する複数のノードを選択して独立のシステムとして運用するマルチプロセッサシステムにおいては、障害が複数のノード群に渡って発生する可能性があり、上記の障害処理手段では的確に障害処理をおこなうことができない。
【0007】
本発明はこのような問題点に鑑みて提案されたものであり、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって形成された大規模プラットフォームを用いたマルチプロセッサシステムにおいて、障害処理を迅速かつ的確におこなうことができる障害処理方法、マルチプロセッサシステム及びノードを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記課題を解決するため、請求項1に記載の発明は、複数のノードと前記複数のノードを制御するサービスプロセッサとを有するノード群が複数集まって構成され、前記複数のノード群からなる複数の前記ノードは相互接続網により相互に接続され、複数の前記サービスプロセッサは該サービスプロセッサを制御するサービスプロセッサマネージャに接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムにおける障害処理方法であって、いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達する工程と、前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、前記サービスプロセッサマネージャは、前記障害情報に基づいて前記それぞれのサービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう工程と、を含むことを特徴とする。
【0009】
請求項1に記載の発明によれば、障害ノードと同一パーティション内のノードから各ノードの障害情報を入手して、それに基づいて障害処理をおこなうので、被疑部の特定を迅速かつ的確におこなえ、ひいては障害処理を迅速かつ的確におこなうことができる。なお、パーティションとはシステムの一部分であり、独立して運用可能ものをいう。また、障害情報とは障害がある旨の情報、または、エラーログなどの障害内容を示す情報をいう。
【0010】
請求項2に記載の発明は、請求項1に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互接続網を用いて障害通知パケットを他のノードに送信して、前記障害ノードと同一のパーティションに属する他のノードに前記他のノードに障害情報を伝達することを特徴とする。
【0011】
請求項2に記載の発明によれば、障害情報を障害パケットの送信でおこなうので、通常のトランザクションにおけるパケット送信と同じ環境を用いて障害処理が可能となる。
【0012】
請求項3に記載の発明は、請求項1に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互通信網を用いて障害通知パケットを前記障害ノードと同一のパーティションに属する他のノードを宛先として送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【0013】
請求項3に記載の発明によれば、障害パケットを前記障害ノードと同一のパーティションに属する他のノードを宛先として送信するので、不要なパケットを相互接続網に送信せずに済み、効率的な障害処理が可能となる。
【0014】
請求項4に記載の発明は、請求項1に記載のマルチプロセッサシステムにおける障害処理方法において、前記障害ノードは、前記相互通信網を用いて障害通知パケットをブロードキャストで送信し、障害通知パケットを受信したノードが前記障害ノードと同一パーティションに属する場合のみ前記障害情報を該ノードに取り込むことで前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【0015】
請求項4に記載の発明によれば、障害ノードで障害通知パケットの宛先を特定しないので障害ノードでの処理負荷を低減でき、障害ノードの処理負荷が大きいときに有利である。
【0016】
請求項5に記載の発明は、請求項2乃至4のいずれかに記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互接続網を用いて障害通知パケットを送信する際に、通常のトランザクションで用いるチャンネルとは異なるチャンネルを用いて障害通知パケットを送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とする。
【0017】
請求項5に記載の発明によれば、障害の影響等で通常のトランザクションに用いられるチャンネルが渋滞していたり、性能が低下していたりしても迅速、かつ、確実に障害通知パケットを送信することが可能となる。
【0018】
請求項6に記載の発明は、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムであって、いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する障害ノード通知手段と、前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達するパーティション内通知手段と、前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する他ノード通知手段と、前記サービスプロセッサマネージャは、前記障害情報に基づいて前記サービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう障害処理手段と、を備えたことを特徴とする。
【0019】
請求項7に記載の発明は、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムに含まれるノードであって、 該ノードに障害が発生した場合に、該ノードと同一のパーティションに属する他のノードに障害情報を通知するとともに、該ノードを制御する前記サービスプロセッサに障害発生を通知することを特徴とする。
【0020】
請求項6または7に記載の発明によれば、何れかのノードで障害が発生した場合、相互接続網を用いて同一パーティションに属する他のノードに障害情報を通知して、該障害情報に基づいて障害処理をおこなえるので、また、サービスプロセッサマネージャが各サービスプロセッサを制御して障害処理をおこなえるので迅速かつ的確な障害処理を可能となる。
【0021】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付図面を参照して説明する。
≪システム構成≫
図1は、本発明の実施形態にかかるマルチプロセッサシステムの一例を示すシステム構成図である。
【0022】
図1において、1はマルチプロセッサシステムを、2はノード群を、3はノードを、4はサービスプロセッサを、5はプロセッサを、6メモリを、7はノースブリッジを、8はI/Oホストブリッジを、9はクロスバーを、10は相互接続網を、11はサービスプロセッサマネージャを、12は専用線を示している。
【0023】
マルチプロセッサシステム1はノード群A〜Dの4つのノード群2で構成されている。マルチプロセッサシステム1を構成するノード群2の数は本実施形態では4つであるが、これに限定されず、本発明は2つ以上のノード群2で構成される場合に適用が可能である。各ノード群2はそれぞれ遠隔していても良いし、隣接していても良いが、遠隔して設置されている場合には、遠隔して設置されたノード3を用いてマルチプロセッサシステム1を構成できるという特徴を有する。
【0024】
ノード群AはノードAa〜Ahの8つのノード3およびノードAa〜Ahを管轄するサービスプロセッサA(図において、SPA)で構成されている。同様にノード群B〜CはノードBa〜Bh,ノードCa〜Ch,ノードDa〜Dhとそれぞれを管轄するサービスプロセッサB〜D(図において、SPB,SPC,SPD)で構成されている。1つのノード群2が有するノード2の数は本実施形態では8つであるが、これに限定されず、本発明は2つ以上のノード3を有するノード群2で構成されるマルチプロセッサシステム1に対して適用が可能である。また、本実施形態において、ノード3は、P/Mノード3aとI/Oノード3bの2種類のノードを有するが、特にこれに限定されることなく、例えばP/Mノード3aのみでもよいし、その他の種類のノード3で構成しても良い。
【0025】
P/Mノード3aは主に演算処理をおこなうノードで、少なくともプロセッサ5とメモリ6とを備えている。また、プロセッサ5とノード3内の各パーツ間を結ぶバスを接続するノースブリッジ7を備えている。なお、本実施形態ではプロセッサ5の数は2で、メモリ6の数は1であるが、プロセッサ5、メモリ6などの数は特にこれに限定されるものではない。また、I/Oノード3bは主に入出力をおこなうノードで、I/Oホストブリッジ8と配下にI/Oデバイス(図示せず)を備えている。
【0026】
サービスプロセッサ4は、ノード群2内のノード3を接続しており、これらノード3のマネージメントをおこなっている。
【0027】
ノード群A〜Dに属する計32個のノード3は、それぞれクロスバー9を介して相互接続網10によって相互に連結されている。なお、クロスバー9は、複数のプロセッサやメモリの間でデータをやり取りする際に、経路を動的に選択する機能を備えた装置である。
【0028】
サービスプロセッサマネージャ11は、各サービスプロセッサ4を専用線12で接続しており、これらサービスプロセッサ4のマネージメントをおこなっている。
【0029】
このようなハードウェアプラットフォームにおいて、複数のノード群2から複数のノード3を選択して独立して運用可能なシステムであるパーティションを形成している。具体的には、ノード群Aに属するノードAe〜Ah,ノード群Bに属するノードBa〜Bd,ノード群Cに属するノードCa〜Chの全12個のノードを選択してパーティション13を形成している。なお、本実施形態では1つのパーティションのみを定義したが、当然に複数のパーティションを形成してもよい。
【0030】
≪障害処理方法≫
次に、以上のマルチプロセッサシステムにおける障害処理方法の一例について、図2〜9を参照して説明する。
【0031】
図2〜7は各障害処理工程の説明図、図8は障害処理のフロー図、図9は障害通知パケットの説明図である。以下、図8のフロー図中のステップ1〜ステップ6のそれぞれのステップに分けて説明する。なお、ステップ1〜ステップ6は、それぞれ図2〜図7に対応する。
【0032】
<ステップ1>
障害ノードが、障害ノードを管轄するサービスプロセッサに、障害を通知するステップである。
【0033】
図2に示すように、ノード群Aに属するノードAeのI/Oホストブリッジ8でデータ転送中に重障害、例えば内部ECCエラー等が発生したとして、以下説明する。ノードAeは、障害を検知したら、まず内部のトレース情報、レジスタ情報などのエラーログ情報(障害情報)をホールドする。次に、ノードAeは、続いておこなう予定であったデータ転送を中止するとともに、ノードAeを管轄するサービスプロセッサA(SPA)に障害発生を送信し、SPAはノードAeの障害情報を取得する。障害情報を受け取ったSPAは、害障害の処理がノードAeの切り離しで済むか、または、パーティションリセットが必要かを判断する。SPAは、パーティションリセットが必要と判断した場合は、即座にノードAeをリセットし、サービスプロセッサマネージャ11に障害情報を送信してパーティションリセットのリクエストをおこなう。
【0034】
<ステップ2>
障害ノードが、同一パーティションに属する他のノードに、障害を通知するステップである。ステップ2は、ステップ1と並行しておこなわれる。
【0035】
障害ノードであるノードAeは、他のノードに障害発生を通知するため、障害通知パケットを作成する。図9に示すように、障害パケットは、エラーコード、宛先ノードコード、送信元ノードコード、重障害フラグ、エラー情報で構成される。エラーコードは、障害通知パケットであること示す符号である。宛先ノードコードは、障害通知パケットの宛先を示す符号で、ブロードキャストアドレスが指定されている。送信元ノードコードは、障害通知パケットの送信元を示す符号で、障害ノードであるノードAeのアドレスが指定されている。重障害フラグは、障害が重度か否かを示す符号で、ノードAeでは重障害が発生しているので、フラグは立っている。エラー情報は、ノードAeでの障害情報を示している。
【0036】
図3に示すように、障害通知パケットは、相互接続網を介して他のすべてのノードにブロードキャストで送信される。このとき通常のトランザクションに用いられるチャンネルとは異なるチャンネルを用いて送信される。したがって、通常のトランザクションに用いられるチャンネルが障害により渋滞していたり、性能が低下していたりしても迅速、確実に障害通知パケットを送信するためである。
【0037】
障害通知パケットを受信したノードは、ノースブリッジ7またはI/Oホストブリッジ8に設定されているパーティション情報で、自己ノードが障害パケットの送信元ノードであるノードAeと同一パーティションに属しているかを判断し、属していると判断した場合のみ障害通知パケットを自己ノードのエラーログ情報の一部として保存する。したがって、障害ノードAeと同一パーティションに属するノードAf〜Ah、ノードBa〜Bd、ノードCa〜Chは、それぞれのノードのエラーログ情報の一部として、障害通知パケットを保存する。
【0038】
<ステップ3>
障害ノードと同一のパーティションに属するノードが、該ノードを管轄するサービスプロセッサに障害を通知する工程である。
【0039】
図4に示すように、障害ノードAeと同一パーティションに属し、障害通知パケットをエラーログ情報の一部として保存した、ノードAf〜Ah、ノードBa〜Bd、ノードCa〜Chは、障害通知パケットの内容を確認し、重障害フラグが立っていることを認識すると、自己のエラーログ情報をホールドするとともに、管轄のサービスプロセッサであるSPA、SPB、SPCにそれぞれ障害発生を通知する。
【0040】
通知を受けたSPA、SPB、SPCは、管轄下のノードのエラーログ情報を取得し、障害通知パケットの内容に基づいて、関連するノードをリセットする。
【0041】
<ステップ4>
障害ノードと同一パーティションに属するノードを管轄するサービスプロセッサが、サービスプロセッサマネージャに障害を通知する工程である。
【0042】
図5に示すように、障害の通知を受けたSPA、SPB、SPCは、管轄下のノード(それぞれ、ノードAf〜Ah、ノードBa〜Bd、ノードCa〜Ch)の障害情報をサービスプロセッサマネージャ11に送信する。
【0043】
<ステップ5>
サービスプロセッサマネージャが、障害被疑部の特定をおこなう工程である。
【0044】
図6に示すように、関連するそれぞれのノード(ノードAe〜Ah、ノードBa〜Bd、ノードCa〜Ch)の障害情報を取得したサービスプロセッサマネージャ11は、障害通知パケット情報が一致していることにより、それぞれが同一原因であることを認識する。そして、サービスプロセッサマネージャ11が保有する故障解析辞書に基づいて、障害被疑部の特定をおこなう。また、障害被疑部の特定と並行して、障害情報を論理パーミッション情報、物理ロケーション情報などのシステム構成情報と組合せてログ情報管理をおこなう。
【0045】
<ステップ6>
障害回復処理をおこなう工程である。
【0046】
図7に示すように、パーティションリセットが必要であると判断された場合、サービスプロセッサマネージャ11は、SPA、SPB、SPCにパーティションのリセットの指示をおこなう。SPA、SPB、SPCは、相互に同期を取りながらリセットを実現する。なお、パーティションリセットは、サービスプロセッサマネージャ11の完全従属制御により、サービスプロセッサマネージャ11からの一連のリセット手順に基づいておこなっても良い。
【0047】
この他にも、障害回復処理の方法は様々であり、障害の状況に応じて回復処理がなされる。例えば、ミッションクリティカルな運用下では、サービスプロセッサマネージャ11と保守センター(図示せず)を回線で接続して、保守センターが障害処理をサポートすることが通常なされる。保守センターの保守員は、サービスプロセッサマネージャ11からリモートで障害情報を採取し、これらの障害情報に基づいて、最小ロスで、迅速かつ正確な部品交換などをおこなうことが可能である。
【0048】
また、障害ノードの代替リソースがシステム内に用意されている場合は、パーティションリセット時に、障害ノードの変えて代替リソースを組み込んでリセットをおこなえば、リソースの減少によるシステムの高負荷運用を防止することができる。
【0049】
さらに、OSのRAS機能が強化されている場合は、障害ノードの切り離しで障害回復がおこなえるときに、パーティションリセットをおこなわずに、障害ノードを代替リソースと置き換えて処理することで、システムのロバストネスを実現することができる。
【0050】
以上説明したように、本実施形態によると、複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって形成された大規模プラットフォームを用いたマルチプロセッサシステムにおいて障害が発生した場合に、障害箇所を迅速かつ的確に特定することができ、他のパーティションに障害を波及させることなく、また、障害が発生したパーティションの障害処理を迅速かつ的確におこなうことができる。さらに、これによりミッションクリティカルな分野への、大規模なオープンシステムの適用を可能にする。
【0051】
≪他の実施形態≫
上記実施形態のステップ2において、障害ノードは、障害ノードと同一パーティションに属するノードにのみ、障害通知パケットを送信しても良い。この場合、障害通知パケットの宛先ノードコードには、障害ノードと同一パーティションに属するノードのアドレスが定義される。このようにして、障害ノードと同一パーティションに属するノードにのみに障害通知パケットを送信した場合は、受信ノードでパーティションの確認をする必要がなく、即座に続く処理をおこなうことができる。
【0052】
また、同ステップ2において、障害ノードは、障害ノードと同一のノード群に属するノードに対しておこなう障害通知を、障害通知パケットの送信によりおこなうのに変えて、管轄するサービスプロセッサでの折り返しや、クロスバーでの折り返しによっておこなっても良い。
【0053】
【発明の効果】
以上の説明した通り、本発明によれば、障害ノードと同一パーティション内のノードから各ノードの障害情報を入手して、それに基づいて障害処理をおこなうので、被疑部の特定を迅速かつ的確におこなえ、ひいては障害処理を迅速かつ的確におこなうことができる。
【図面の簡単な説明】
【図1】本発明の実施形態にかかるマルチプロセッサシステムの一例を示すシステム構成図である。
【図2】本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図3】本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図4】本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図5】本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図6】本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図7】本発明の実施形態にかかるマルチプロセッサシステムおける障害処理の一工程を示す図である。
【図8】本発明の実施形態にかかるマルチプロセッサシステムおける障害処理方法の一例の処理フローを示す図である。
【図9】障害通知パケットの一例を示す図である。
【符号の説明】
1 マルチプロセッサシステム
2 ノード群
3 ノード
4 サービスプロセッサ
5 プロセッサ
6 メモリ
7 ノースブリッジ
8 I/Oホストブリッジ
9 クロスバー
10 相互接続網
11 サービスプロセッサマネージャ
12 専用線
Claims (7)
- 複数のノードと前記複数のノードを制御するサービスプロセッサとを有するノード群が複数集まって構成され、前記複数のノード群における複数の前記ノードは相互接続網により相互に接続され、複数の前記サービスプロセッサは該サービスプロセッサを制御するサービスプロセッサマネージャに接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムにおける障害処理方法であって、
いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、
前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達する工程と、
前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する工程と、
前記サービスプロセッサマネージャは、前記障害情報に基づいて前記それぞれのサービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう工程と、を含むことを特徴とするマルチプロセッサシステムの障害処理方法。 - 請求項1に記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互接続網を用いて障害通知パケットを他のノードに送信して、前記障害ノードと同一のパーティションに属する他のノードに前記他のノードに障害情報を伝達することを特徴とするマルチプロセッサシステムの障害処理方法。 - 請求項1に記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互通信網を用いて障害通知パケットを前記障害ノードと同一のパーティションに属する他のノードを宛先として送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とするマルチプロセッサシステムの障害処理方法。 - 請求項1に記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互通信網を用いて障害通知パケットをブロードキャストで送信し、障害通知パケットを受信したノードが前記障害ノードと同一パーティションに属する場合のみ前記障害情報を該ノードに取り込むことで前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とするマルチプロセッサシステムの障害処理方法。 - 請求項2乃至4のいずれかに記載のマルチプロセッサシステムにおける障害処理方法において、
前記障害ノードは、前記相互接続網を用いて障害通知パケットを送信する際に、通常のトランザクションで用いるチャンネルとは異なるチャンネルを用いて障害通知パケットを送信して、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達することを特徴とするマルチプロセッサシステムの障害処理方法。 - 複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムであって、
いずれかの前記ノードで障害が発生した場合に、その障害ノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する障害ノード通知手段と、
前記障害ノードは、前記障害ノードと同一のパーティションに属する他のノードに障害情報を伝達するパーティション内通知手段と、
前記障害ノードと同一のパーティションに属する他のノードは、該ノードを制御する前記サービスプロセッサに障害の発生を通知し、この通知により、該サービスプロセッサは、該ノードから障害情報を取得して、該障害情報を前記サービスプロセッサマネージャに送信する他ノード通知手段と、
前記サービスプロセッサマネージャは、前記障害情報に基づいて前記サービスプロセッサに障害処理を指示し、この指示を受けた前記サービスプロセッサは、該指示に従って障害処理をおこなう障害処理手段と、を備えたことを特徴とするマルチプロセッサシステム。 - 複数のノードが該ノードを制御するサービスプロセッサに接続されてなるノード群が複数集まって構成され、複数の前記ノードは相互接続網により相互に接続され、前記サービスプロセッサおよびサービスプロセッサを制御するサービスプロセッサマネージャが専用線で接続され、複数の前記ノード群から選択された複数の前記ノードでパーティションを構成したマルチプロセッサシステムに含まれるノードであって、
該ノードに障害が発生した場合に、該ノードと同一のパーティションに属する他のノードに障害情報を通知するとともに、該ノードを制御する前記サービスプロセッサに障害発生を通知することを特徴とするノード。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002220125A JP3640187B2 (ja) | 2002-07-29 | 2002-07-29 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
US10/627,740 US7171590B2 (en) | 2002-07-29 | 2003-07-28 | Multi-processor system that identifies a failed node based on status information received from service processors in a partition |
EP03016616A EP1391822A2 (en) | 2002-07-29 | 2003-07-29 | Multi-processor system recovery |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002220125A JP3640187B2 (ja) | 2002-07-29 | 2002-07-29 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004062535A true JP2004062535A (ja) | 2004-02-26 |
JP3640187B2 JP3640187B2 (ja) | 2005-04-20 |
Family
ID=31184755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002220125A Expired - Fee Related JP3640187B2 (ja) | 2002-07-29 | 2002-07-29 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
Country Status (3)
Country | Link |
---|---|
US (1) | US7171590B2 (ja) |
EP (1) | EP1391822A2 (ja) |
JP (1) | JP3640187B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006134691A1 (ja) * | 2005-06-17 | 2006-12-21 | Nec Corporation | 情報処理装置、復旧装置、プログラム及び復旧方法 |
CN100392607C (zh) * | 2005-03-18 | 2008-06-04 | 富士通株式会社 | 故障通知方法 |
JP2008165556A (ja) * | 2006-12-28 | 2008-07-17 | Hitachi Ltd | 計算機システムおよびそのチップセット |
WO2008120383A1 (ja) * | 2007-03-29 | 2008-10-09 | Fujitsu Limited | 情報処理装置、障害処理方法 |
JP2009252006A (ja) * | 2008-04-08 | 2009-10-29 | Nec Computertechno Ltd | コンピュータシステムにおけるログ管理システム、ログ管理方法 |
WO2009144824A1 (ja) * | 2008-05-30 | 2009-12-03 | 富士通株式会社 | 情報処理装置、転送回路及び情報処理装置のエラー制御方法 |
WO2009147716A1 (ja) * | 2008-06-02 | 2009-12-10 | 富士通株式会社 | データ処理システム、データ処理方法およびデータ処理プログラム |
US8145956B2 (en) | 2006-12-27 | 2012-03-27 | Fujitsu Limited | Information processing apparatus, failure processing method, and recording medium in which failure processing program is recorded |
JP2014048785A (ja) * | 2012-08-30 | 2014-03-17 | Nec Computertechno Ltd | 障害トレース装置、障害トレースシステム、障害トレース方法、及び、障害トレースプログラム |
JP2015045905A (ja) * | 2013-08-27 | 2015-03-12 | 富士通株式会社 | 情報処理システム、情報処理システムの障害処理方法 |
US9319460B2 (en) | 2013-06-27 | 2016-04-19 | Fujitsu Limited | Information processing method, computer-readable recording medium, and information processing system |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3640187B2 (ja) * | 2002-07-29 | 2005-04-20 | 日本電気株式会社 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
US7734741B2 (en) | 2004-12-13 | 2010-06-08 | Intel Corporation | Method, system, and apparatus for dynamic reconfiguration of resources |
US7738484B2 (en) * | 2004-12-13 | 2010-06-15 | Intel Corporation | Method, system, and apparatus for system level initialization |
US8510449B1 (en) * | 2005-04-29 | 2013-08-13 | Netapp, Inc. | Caching of data requests in session-based environment |
US7877358B2 (en) * | 2006-11-21 | 2011-01-25 | Microsoft Corporation | Replacing system hardware |
US7934121B2 (en) * | 2006-11-21 | 2011-04-26 | Microsoft Corporation | Transparent replacement of a system processor |
US8473460B2 (en) * | 2006-11-21 | 2013-06-25 | Microsoft Corporation | Driver model for replacing core system hardware |
US7631169B2 (en) | 2007-02-02 | 2009-12-08 | International Business Machines Corporation | Fault recovery on a massively parallel computer system to handle node failures without ending an executing job |
US8086906B2 (en) * | 2007-02-15 | 2011-12-27 | Microsoft Corporation | Correlating hardware devices between local operating system and global management entity |
US20080244077A1 (en) * | 2007-03-20 | 2008-10-02 | Canosa John T | Methods for auditing peer-to-peer communications in remote device monitoring system and systems thereof |
ATE537502T1 (de) * | 2007-03-29 | 2011-12-15 | Fujitsu Ltd | Informationsverarbeitungsvorrichtung und fehlerverarbeitungsverfahren |
US8095830B1 (en) * | 2007-04-03 | 2012-01-10 | Hewlett-Packard Development Company, L.P. | Diagnosis of system health with event logs |
US8266634B2 (en) * | 2007-10-12 | 2012-09-11 | Microsoft Corporation | Resource assignment system with recovery notification |
US8707318B2 (en) | 2007-10-12 | 2014-04-22 | Microsoft Corporation | Partitioning system including a generic partitioning manager for partitioning resources |
KR101259557B1 (ko) * | 2008-12-18 | 2013-04-30 | 한국전자통신연구원 | 클러스터 데이터 관리 시스템 및 클러스터 데이터 관리 시스템에서 병렬 처리를 이용한 데이터 복구 방법 |
JP5459405B2 (ja) * | 2010-08-27 | 2014-04-02 | 富士通株式会社 | 障害処理方法,障害処理システム,障害処理装置及び障害処理プログラム |
US8533193B2 (en) | 2010-11-17 | 2013-09-10 | Hewlett-Packard Development Company, L.P. | Managing log entries |
US9753797B1 (en) * | 2011-08-26 | 2017-09-05 | Amazon Technologies, Inc. | Reliable intermediate multicast communications |
US8996931B2 (en) * | 2012-03-22 | 2015-03-31 | Infineon Technologies Ag | System and method to transmit data, in particular error data over a bus system |
US8977895B2 (en) | 2012-07-18 | 2015-03-10 | International Business Machines Corporation | Multi-core diagnostics and repair using firmware and spare cores |
JP6079065B2 (ja) * | 2012-08-31 | 2017-02-15 | 富士通株式会社 | 情報処理装置,処理方法及びプログラム |
US11966280B2 (en) * | 2022-03-17 | 2024-04-23 | Walmart Apollo, Llc | Methods and apparatus for datacenter monitoring |
US20240211008A1 (en) * | 2022-12-22 | 2024-06-27 | Lenovo Enterprise Solutions (Singapore) Pte Ltd. | Independent control of power, clock, and/or reset signals to a partitioned node |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0695906A (ja) * | 1992-09-17 | 1994-04-08 | Fujitsu Ltd | Scmpシステムおけるsvpのssu制御権の自動切り替え方法 |
JP3374910B2 (ja) * | 1999-07-16 | 2003-02-10 | 日本電気株式会社 | マルチプロセッサシステム |
JP2001134546A (ja) | 1999-11-05 | 2001-05-18 | Nec Corp | マルチプロセッサシステムの障害処理方法 |
US6711700B2 (en) * | 2001-04-23 | 2004-03-23 | International Business Machines Corporation | Method and apparatus to monitor the run state of a multi-partitioned computer system |
JP3541819B2 (ja) * | 2001-06-05 | 2004-07-14 | 日本電気株式会社 | ループ型ネットワークおよびその運用方法 |
US6842870B2 (en) * | 2001-09-20 | 2005-01-11 | International Business Machines Corporation | Method and apparatus for filtering error logs in a logically partitioned data processing system |
JP3891004B2 (ja) * | 2002-02-26 | 2007-03-07 | 日本電気株式会社 | 情報処理システム及び該システムの制御方法並びにプログラム |
JP3640187B2 (ja) * | 2002-07-29 | 2005-04-20 | 日本電気株式会社 | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード |
-
2002
- 2002-07-29 JP JP2002220125A patent/JP3640187B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-28 US US10/627,740 patent/US7171590B2/en not_active Expired - Fee Related
- 2003-07-29 EP EP03016616A patent/EP1391822A2/en not_active Withdrawn
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100392607C (zh) * | 2005-03-18 | 2008-06-04 | 富士通株式会社 | 故障通知方法 |
JPWO2006134691A1 (ja) * | 2005-06-17 | 2009-01-08 | 日本電気株式会社 | 情報処理装置、復旧装置、プログラム及び復旧方法 |
WO2006134691A1 (ja) * | 2005-06-17 | 2006-12-21 | Nec Corporation | 情報処理装置、復旧装置、プログラム及び復旧方法 |
US8365021B2 (en) | 2005-06-17 | 2013-01-29 | Nec Corporation | Information processing device comprising a plurality of domains having a plurality of processors, recovery device, program and recovery method |
JP4556144B2 (ja) * | 2005-06-17 | 2010-10-06 | 日本電気株式会社 | 情報処理装置、復旧装置、プログラム及び復旧方法 |
US8145956B2 (en) | 2006-12-27 | 2012-03-27 | Fujitsu Limited | Information processing apparatus, failure processing method, and recording medium in which failure processing program is recorded |
JP4723470B2 (ja) * | 2006-12-28 | 2011-07-13 | 株式会社日立製作所 | 計算機システムおよびそのチップセット |
JP2008165556A (ja) * | 2006-12-28 | 2008-07-17 | Hitachi Ltd | 計算機システムおよびそのチップセット |
WO2008120383A1 (ja) * | 2007-03-29 | 2008-10-09 | Fujitsu Limited | 情報処理装置、障害処理方法 |
JP4495248B2 (ja) * | 2007-03-29 | 2010-06-30 | 富士通株式会社 | 情報処理装置、障害処理方法 |
JPWO2008120383A1 (ja) * | 2007-03-29 | 2010-07-15 | 富士通株式会社 | 情報処理装置、障害処理方法 |
US7930599B2 (en) | 2007-03-29 | 2011-04-19 | Fujitsu Limited | Information processing apparatus and fault processing method |
JP2009252006A (ja) * | 2008-04-08 | 2009-10-29 | Nec Computertechno Ltd | コンピュータシステムにおけるログ管理システム、ログ管理方法 |
US8042008B2 (en) | 2008-05-30 | 2011-10-18 | Fujitsu Limited | Information processing device, transfer circuit and error controlling method for information processing device |
JP5099222B2 (ja) * | 2008-05-30 | 2012-12-19 | 富士通株式会社 | 情報処理装置、転送回路及び情報処理装置のエラー制御方法 |
WO2009144824A1 (ja) * | 2008-05-30 | 2009-12-03 | 富士通株式会社 | 情報処理装置、転送回路及び情報処理装置のエラー制御方法 |
WO2009147716A1 (ja) * | 2008-06-02 | 2009-12-10 | 富士通株式会社 | データ処理システム、データ処理方法およびデータ処理プログラム |
JP5212471B2 (ja) * | 2008-06-02 | 2013-06-19 | 富士通株式会社 | データ処理システム、データ処理方法およびデータ処理プログラム |
US8806276B2 (en) | 2008-06-02 | 2014-08-12 | Fujitsu Limited | Control system for driving a data processing apparatus |
JP2014048785A (ja) * | 2012-08-30 | 2014-03-17 | Nec Computertechno Ltd | 障害トレース装置、障害トレースシステム、障害トレース方法、及び、障害トレースプログラム |
US9319460B2 (en) | 2013-06-27 | 2016-04-19 | Fujitsu Limited | Information processing method, computer-readable recording medium, and information processing system |
US9886358B2 (en) | 2013-06-27 | 2018-02-06 | Fujitsu Limited | Information processing method, computer-readable recording medium, and information processing system |
JP2015045905A (ja) * | 2013-08-27 | 2015-03-12 | 富士通株式会社 | 情報処理システム、情報処理システムの障害処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US7171590B2 (en) | 2007-01-30 |
JP3640187B2 (ja) | 2005-04-20 |
EP1391822A2 (en) | 2004-02-25 |
US20040153888A1 (en) | 2004-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3640187B2 (ja) | マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード | |
US9747183B2 (en) | Method and system for intelligent distributed health monitoring in switching system equipment | |
US7644254B2 (en) | Routing data packets with hint bit for each six orthogonal directions in three dimensional torus computer system set to avoid nodes in problem list | |
US6826123B1 (en) | Global recovery for time of day synchronization | |
JP3709795B2 (ja) | コンピュータシステムと、コンピュータシステム内のモジュール間の通信方法 | |
US20060085669A1 (en) | System and method for supporting automatic protection switching between multiple node pairs using common agent architecture | |
US20050091383A1 (en) | Efficient zero copy transfer of messages between nodes in a data processing system | |
US7424640B2 (en) | Hybrid agent-oriented object model to provide software fault tolerance between distributed processor nodes | |
CN105024855A (zh) | 分布式集群管理系统和方法 | |
US10554497B2 (en) | Method for the exchange of data between nodes of a server cluster, and server cluster implementing said method | |
US20050080869A1 (en) | Transferring message packets from a first node to a plurality of nodes in broadcast fashion via direct memory to memory transfer | |
US20050080920A1 (en) | Interpartition control facility for processing commands that effectuate direct memory to memory information transfer | |
CN104283780A (zh) | 建立数据传输路径的方法和装置 | |
CN113300952B (zh) | 一种用于云安全资源池的分布式引流系统及其引流方法 | |
CN102231126B (zh) | 一种实现多核处理器中核间备份的方法及系统 | |
CN103685017A (zh) | 堆叠系统中报文转发方法、堆叠设备及堆叠系统 | |
US7808982B2 (en) | Method for verifying shared state synchronization of redundant modules in a high availability network switch | |
CN102843265B (zh) | 一种通讯规约的不复位无微扰的热备双连接方法 | |
US20030177346A1 (en) | Method and apparatus for abandoning an interrupted task | |
CN113535359B (zh) | 一种多租户云中服务请求调度方法和装置 | |
Rozhdestvenskaya et al. | Additional approaches for onboard networks FDIR | |
CN113110111B (zh) | 基于ns3的分布式半实物仿真系统 | |
JP2829040B2 (ja) | 情報集配信システム | |
CN112328375B (zh) | 一种用于跟踪分布式系统的数据片段的关联方法和装置 | |
JP3691679B2 (ja) | 二重伝送路を有するネットワーク |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050110 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |