JP2004030363A - 論理計算機システム、論理計算機システムの構成制御方法および論理計算機システムの構成制御プログラム - Google Patents

論理計算機システム、論理計算機システムの構成制御方法および論理計算機システムの構成制御プログラム Download PDF

Info

Publication number
JP2004030363A
JP2004030363A JP2002187262A JP2002187262A JP2004030363A JP 2004030363 A JP2004030363 A JP 2004030363A JP 2002187262 A JP2002187262 A JP 2002187262A JP 2002187262 A JP2002187262 A JP 2002187262A JP 2004030363 A JP2004030363 A JP 2004030363A
Authority
JP
Japan
Prior art keywords
logical computer
logical
failure prediction
failure
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002187262A
Other languages
English (en)
Other versions
JP4054616B2 (ja
Inventor
Toshiyuki Ukai
鵜飼 敏之
Yoshifumi Takamoto
高本 良史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002187262A priority Critical patent/JP4054616B2/ja
Priority to US10/339,337 priority patent/US7328367B2/en
Publication of JP2004030363A publication Critical patent/JP2004030363A/ja
Application granted granted Critical
Publication of JP4054616B2 publication Critical patent/JP4054616B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0712Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a virtual computing platform, e.g. logically partitioned systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • G06F11/076Error or fault detection not based on redundancy by exceeding limits by exceeding a count or rate limit, e.g. word- or bit count limit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1479Generic software techniques for error detection or fault masking
    • G06F11/1482Generic software techniques for error detection or fault masking by means of middleware or OS functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1479Generic software techniques for error detection or fault masking
    • G06F11/1482Generic software techniques for error detection or fault masking by means of middleware or OS functionality
    • G06F11/1484Generic software techniques for error detection or fault masking by means of middleware or OS functionality involving virtual machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Hardware Redundancy (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】論理計算機を用いた高信頼化において、予備システム用の論理計算機をあらかじめ用意することなく、信頼性を向上させる。
【解決手段】一つの物理プロセッサ上に,運用論理計算機とその運用論理計算機の動作監視を行う監視用論理計算機を設ける.稼動中の運用論理計算機のシステムの,監視用論理計算機による状態監視に基づく障害の事前予測により、予備論理計算機を生成し、システムを稼動する論理計算機を切り替えることによる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は論理計算機を用いたシステムにおける、障害発生に対する信頼性の向上に関する。
【0002】
【従来の技術】
プロセッサ技術の進歩により、高い性能のプロセッサを容易に利用できるようになった。従来は性能が不足した場合、複数の計算機を並列に実行することで性能不足を解消していた。しかし、高性能なプロセッサの出現により、逆に高性能なプロセッサをいかに有効に使用するかに観点が移りつつある。その一つが論理計算機機能である。これは、物理的に一つの計算機から、仮想的な複数の計算機を生成する技術である。
【0003】
例えば、一つの物理プロセッサを時分割で複数の論理計算機に割り当てることで、論理計算機上で稼動するソフトウェアはあたかも別個の物理計算機があるかのように動作することが出来る。この機能により、一つの高性能なプロセッサを有効に使用することができる。この論理計算機の機能をさらに発展させ、より高信頼なものにする例がある。
【0004】
US005345590Aでは2つの論理計算機でホットスタンバイを構築し、いずれかの論理計算機に障害が発生すると、もう一方の論理計算機に切り替えて処理を継続する方法について述べられている。ホットスタンバイは通常異なる計算機で構成する高信頼化方法である。2つの異なる計算機を用意し、通常は一つの計算機で処理を行い、もし、障害が発生すると、待機しているもう一つの計算機に切り替えることで処理を停止させない技術である。US005345590Aでは、同一計算機上に生成された2つの論理計算機間でホットスタンバイを構築している。こうすることで、システムレベルの信頼性を向上することができる。
【0005】
特開2001−34495では、二重化された処理装置の障害を予測に基づく実行状態のセーブと系切り替えにより、系切り替えに起因する装置処理の異常終了を防ぐ技術について述べられている。このようにハードウェアレベルで障害を予測する技術はある。
【0006】
【発明が解決しようとする課題】
US005345590Aでは、2つの論理計算機でホットスタンバイを構築することで信頼性を向上する方法について述べられている。この方法では、ホットスタンバイ用に予備論理計算機をあらかじめ用意している。US005345590Aの課題は、予備論理計算機をあらかじめ用意することにより、いつ発生するか不明な障害に対して、計算機資源が消費されることである。
【0007】
特開2001−34495では、ハードウェア障害を予測して、二重化された装置の動作を変える方法について述べられている。この方法では障害を予測しているが、装置は二重化を前提としており、同様に計算機資源が消費される。
【0008】
【課題を解決するための手段】
上記問題を解決するために、少なくとも一つの物理プロセッサから構成される計算機を用いた論理計算機において、運用中の論理計算機の障害を予測する手段を用意し、障害予測に基づき予備の論理計算機を生成し、障害発生前に予備の論理計算機に切り替える。
【0009】
【発明の実施の形態】
[実施例1]
以下、本発明に係る多重化システムの高信頼化方法の実施例1を図面に示し、詳細に説明する。
【0010】
図1は、本発明による多重化システムの高信頼化方法の概略構成図を示している。101と102はそれぞれ論理計算機であり、111は物理計算機である。物理計算機111は物理プロセッサ装置108,ディスク装置109,ネットワーク装置110および計算機資源分割機構107から構成される。
【0011】
101と102の論理計算機は物理計算機111の資源を元に作成された仮想的な計算機である。図では省略してあるが、本番システムの論理計算機は一般には複数個作成されている。即ち、一般には複数個の本番システムに対して一つの監視システムが設けられる。論理計算機101と102は、物理計算機111が有するプロセッサ装置108とディスク装置109とネットワーク装置110がそれぞれ分割され割り当てられている。こうすることで101と102の論理計算機上で稼動するオペレーティングシステム(OS)やアプリケーション(アプリ)などのソフトウェア103は、あたかもそれぞれ別個の物理計算機があるかのように動作することができる。具体的には、プロセッサやネットワークは時分割で各論理計算機に割り当てられ、ディスク装置やメモリは分割して割り当てられている。この機能を実現しているのが計算機論理資源分割機構107である。本実施例では、論理計算機101に論理計算機マネージャ106を追加し、論理計算機102に論理計算機エージェント105を追加することにより、論理計算機102上で動作するソフトウェア103を高信頼化する機能を有している。
【0012】
図2は、本方式を実現するための論理計算機マネージャ106と論理計算機エージェント105の構成を示している。論理計算機エージェント105は、監視対象データ採取機構201、引継ぎ情報退避機構202、監視対象データ・テーブル203から構成される。論理計算機マネージャ106は、障害予測判定機構204、システム切り替え機構205、障害予測判定用状態管理テーブル206、障害予測レベル定義テーブル207、論理計算機構成テーブル208から構成される。
【0013】
監視対象データ・テーブル203には障害予測のために用いるデータが記述されている。障害予測判定用状態管理テーブル206には、発生した事象の障害予測レベルを判定するために用いる情報が記述されている。障害予測レベル定義テーブル207には、予測される障害のレベルを判定するための定義が記述されている。論理計算機構成テーブル208には、複数の論理計算機に対して割り当てられている資源と障害予測判定に用いる情報が記述されている。
【0014】
監視対象データ採取機構201は、監視対象としたデータを採取する機能を有している。引継ぎ情報退避機構202は、障害が予測される論理計算機において、予備論理計算機で引き継がれるべき情報を退避する機能を有している。障害予測判定機構204は、監視対象データを解析し、障害予測を行う機能を有している。システム切替機構205は、論理計算機に障害が予測される場合、運用中論理計算機システムを予備論理計算機システムに切り替える機能を有する。
【0015】
図3は、監視対象データ・テーブル203を示している。このテーブルには、障害予測に用いるデータ(ログ)の出力先ファイル名が記されている。ログ・ファイルは基本的にシスログによって出力される。シスログの機能は、デーモンプログラムであるsyslogdが、カーネルやデーモン、各種アプリケーション・プログラムなどから出力されるログ・メッセージを受け取り、それをログ・ファイルやコンソールなどへ出力することにより実現されている。シスログによってログを出力するファイルはシステム管理者が自由に設定できるため、監視対象データ・テーブルの監視対象データ301のカラムに出力ファイル名を示すことにより、監視するデータを指定する。また、アプリケーションによっては、独自の仕組みでログ・ファイルを生成するものもある。これらも監視する必要のあるログ・ファイルを監視対象データ・テーブルに登録する。
【0016】
図4は監視対象データ採取機構201のフローを示している。ステップ401では、監視データ・テーブル203に登録されている監視対象データ(ログ・ファイル)を監視する。ステップ402で、監視対象データ301に書き込みがあった場合、ステップ403で書き込まれたメッセージを論理計算機マネージャ106に送信する。このとき、書き込まれたメッセージをすべて送信する必要はなく、例えば、後述(図7)する障害予測判定用状態管理テーブル206で障害予測の判定に用いる判定対象のみを送ってもよい。この場合は、判定対象が記述してある障害予測判定用状態管理テーブル206に相当するテーブルを論理計算機エージェント105に置く必要がある。また、シスログ等のログ出力機構では、構成定義ファイルなどの記述により、ネットワークに接続された他のホストにログを出力する機能を有するものもある。このログを論理計算機マネージャ106に送信する機構は、この機能を用いて実現してもよい。
【0017】
図5は、障害予測レベル定義テーブル207を示している。このテーブルには図7で後述する図7で読み取られた障害予測レベル毎に新しい論理計算機に切り換える必要があるかどうかを判定するための条件(閾値)と、その閾値に達した場合に実行する動作(切り替えの要否)を記述している。カラム501には障害予測レベルが記述され、その障害予測レベルに達したと判定されるための条件(障害予測判定の閾値)がカラム502に記述されている。本実施例では、ある事象が発生した場合において、障害予測判定に用いる閾値として、総累積回数(カラム503)と、単位時間内の累積回数(カラム504)を、それぞれ管理している。カラム502に記述される障害予測判定の閾値を超えた場合の動作(切り替え要否)をカラム505に示し、さらにそれを実行するための条件をカラム506に示している。例えば、障害予測レベル1の場合は、その事象が一回発生した時点で無条件に切り替え処理を実施することを示す。障害予測レベル3では、事象の発生が累積で100回を超えた場合、または、一分間で10回発生した場合に、管理者の許可を得て、切り替え処理を実施することを示す。また、障害予測レベル4では、事象の発生が累積で100回を超えた場合、または、一分間で10回発生した場合に、管理者に切り替えを推奨する通知(メールなど)を出し、切り替え処理自体は実施しないことを示す。
【0018】
図6には、本実施例で用いる障害予測判定用の項目を示している。ここではシスログを例に述べている。シスログには、カラム601のファシリティとカラム602のプライオリティという考え方がある。ファシリティはシステムログの種類を表す。プライオリティは優先度を表わし、表の上方がより高い優先度となっている。これらのファシリティとプライオリティを組み合わせることによって、シスログの種類を指定することになる。この種類とカラム603に示すようなメッセージが組み合わされて出力される。
【0019】
図7は、障害予測判定用状態管理テーブルを示している。このテーブルには、判定対象となる事象が発生した場合の、障害予測レベルと、該事象の現在の状態(発生状況)を表す。カラム701は判定対象を表す。この内容は、図6で示した障害予測判定用の項目の組み合わせである。カラム702はファシリティ、カラム703はプライオリティ、カラム704はメッセージの組み合わせを表している。カラム701の各項目中「*」は、その項目については「関知しない」ことを表す。つまり、事象1の場合は、プライオリティ703のログ・メッセージ全てに対しての項目となる。カラム705は、カラム701で示した事象が発生した場合の障害予測レベル(障害予測レベル定義テーブル207で定義)である。カラム706は判定対象の状態(発生状況)を示している。本実施例では、カラム707で発生の総累積回数を保持し、カラム708で所定時間(図5の障害予測レベル定義テーブルで障害予測レベルに応じて設定した単位時間)内に発生した累積回数を保持している。このとき、カラム708の所定時間内の発生累積は、発生事象の時系列の記録が必要である。このため、カラム709で事象の時系列の発生時刻を管理する図8に示す発生時刻管理テーブルをポイントする。また、事象2の項目は、プライオリティが「ALERT」のログ・メッセージが出力された場合、障害予測レベルが「1」となることを示し、現在の発生累積が0であることを示している。図5の障害予測レベル定義テーブルに従うと、障害予測レベルが「1」では、一回でもその事象が発生した場合は無条件にシステム切り替え処理を実施する。このため、事象2では、カラム708の所定時間内の発生累積は評価の対象にならず、従ってカラム709の発生時刻管理テーブルもないことを示している。同様に事象3と事象4では、メッセージの内容が「Device error」の場合に、障害予測レベル「2」および「3」の両方で管理することを示している。この場合は所定時間内の発生累積708が意味を持つため、発生時刻管理テーブルが必要となり、カラム709で、そのテーブルをポイントしている。図7の事象4では障害予測レベルは3であり、事象6では障害予測レベルは4である。これに基づいて図5を参照すると障害予測レベル3と4とでは障害予測判定の閾値が同じでも条件と切り替え要否の結果が異なっている。これは図7でプライオリティCLITが100回起きるよりDevice errorというメッセージが100回起きる方がシステムがより不安定な状態にあると判断しているからである。
【0020】
図8は、図7のカラム709でポイントされる、発生時刻管理テーブルの例を示している。発生時刻管理テーブルは図7のポインタの数だけ別個に設けられる。発生時刻管理テーブルは、テーブル内のスロット数を示す「テーブル内スロット数」フィールド801(スロット数を「n」とする)と、最新のデータが格納されたスロット番号を示す「最新データ格納スロット番号」フィールド802と、「最古データ格納スロット番号」フィールド803と、時刻情報を格納する複数のスロット804から構成される。スロット群804は、スロット#(n−1)のスロットの次はスロット#0に戻るようにラップアラウンドで事象の発生時刻を格納していく構造である。「最古データ格納スロット番号」フィールド803は、前回の該当事象発生時において、障害予測レベル定義テーブル(図5)で定義される単位時間分さかのぼった時間内における最も古いデータを格納するスロット番号を格納する。
【0021】
この発生時刻管理テーブルの管理方法は次のようになる。まず、発生時刻管理テーブルに格納すべき事象が発生した場合、「最新データ格納スロット番号」フィールド802で表されるスロットの次の番号のスロットにその事象が発生した時刻を記録する。このときに、「最古データ格納スロット番号」として格納すべきスロット番号を探して、フィールド803に格納する。そして、「最古」のスロットから「最新」のスロットの数を、図7のカラム708に格納することにより、発生時刻管理テーブルの更新を終了する。
【0022】
なお、「テーブル内スロット数」801を、障害予測レベル定義テーブル(図5)における単位時間内累積の回数で示される数と等しくしておくと、「最古データ格納スロット番号」フィールド803は必ずしも必要なくなる。この理由は、これから記録しようとする時刻情報と、上書きされる古い時刻情報を比較し、それが障害予測レベル定義テーブル(図5)で定義している「単位時間」より大きければ閾値を超えておらず、小さければ閾値を超えていると判断できるためである。
【0023】
図9は、障害予測判定機構204のフローを示している。ステップ901では監視対象とする論理計算機のログを解析し、障害予測判定用状態管理テーブル(図7)の判定対象701となる事象が発生しているかどうかを解析する。判定対象であった場合は、障害予測レベル(カラム705)を参照してその事象の障害予測レベルを求める。求めた障害予測レベルに対して、障害予測レベル定義テーブル(図5)から障害予測判定の閾値(カラム502)を求める。本実施例では障害予測判定の閾値として、その事象の総累積回数(カラム503)または単位時間内の累積回数(カラム504)を用いている。従って、まず、障害予測判定用状態テーブル(図7)において、発生した事象に対応する、判定対象の状態(カラム706)の発生総累積(カラム707)に1を加算する。さらに、カラム709から事象に対応する発生時刻管理テーブル(図8)を求めて、図8の説明で記述した発生時刻管理テーブルの更新処理に従い、所定時間内の累積回数を得て、その値をカラム708に格納する。ステップ902で、発生総累積(カラム707)と所定時間内発生累積(カラム708)の両方あるいは片方が、障害予測レベル定義テーブル(図5)の総累積回数(カラム503)と単位時間内累積(カラム504)の閾値以上であるかどうかにより、切り替えの要否(カラム505)を判定する。切り替えが必要と判断された場合は、ステップ903で、障害予測レベル定義テーブル(図5)のカラム506に記述される条件を求める。この条件に記述される動作を実施し、満たせばステップ904のシステム切り替え処理を実行する。満たさなければそのまま処理を終了する。このとき、条件として、管理者の返答(許可を得る等)を必要とする場合は、適当にタイムアウトする時間を設定する。この障害予測判定機構は必ずしも論理計算機マネージャで動作させる必要がなく、論理計算機エージェントで障害予測を判定し、その結果を論理計算機マネージャに送付する形にしてもよい。
【0024】
図10は、システム切り替え機構205のフローを示している。ステップ1001では、同時に複数の論理計算機でシステム切り替えを必要とする事象が発生した場合に、どの論理計算機のシステム切り替えを優先するかを判断する。この優先度の判定は、障害予測判定用状態管理テーブル(図7)における障害予測レベル705の高い事象(本実施例では)が発生している論理計算機を優先してもよいし、論理計算機毎に優先度を決めておいてもよいし、実行しているアプリケーションの重要度によって決めてもよい。論理計算機構成情報テーブルに、論理計算機の切り替え優先順位を付与した例を後述する(図15)。システム切り替えの優先度の高い論理計算機があった場合は、ステップ1002で、その論理計算機の切り替え終了まで待機する。他に優先度の高いシステム切り替え処理がなければ、ステップ1003で新たな論理計算機(予備システム用)を生成する。予備論理計算機の作成が完了した時点で、ステップ1004に進む。ステップ1004では、論理計算機マネージャが切り替え元の論理計算機の論理計算機エージェントに対して、本番システムの一時停止と引継ぎ情報の退避を指令する。引継ぎ情報の例としては、Webサービスにおけるセッション情報や買い物リスト情報などが挙げられる。ステップ1005で、論理計算機マネージャは、新たに作成した論理計算機に先に退避した情報を引き継がせ、システムのクローン(予備システム)を生成する。ステップ1006で、予備システムを本番システムとして、本番システムのサービスを再開する。ステップ1007で、旧本番システム用に使われていた論理計算機を消去して、処理を終了する。
【0025】
図11は、論理計算機エージェントにおける引継ぎ情報退避機構のフローである。ステップ1101で本番システムにおけるサービスを停止し、ステップ1102で引き継ぐべき情報を他の論理計算機からもアクセス可能な共有記憶域に格納し、処理を終了する。
【0026】
図15は、論理計算機構成情報テーブルを示している。この論理計算機構成情報テーブルには、生成された論理計算機に割り当てられた資源に関する情報が格納されている(カラム1502)。本実施例では切り替え優先順位(カラム1503)を追加している。これにより、もしも複数の論理計算機において同時に障害の事前予測がなされた場合にどの論理計算機を優先してシステム切り替えを実施するかを記述する。この切り替え優先順位は、論理計算機で動作するアプリケーションの重要度に応じて決定してもよい。
【0027】
本実施例の効果は、OSやアプリケーションが出力するログ・メッセージを解析して障害予測を行い、その判定に基づいて予備の論理計算機を新たに生成し、システムの切り替えを行うため、予備論理計算機をあらかじめ作成しておく必要がなく、これにより高信頼化を図りつつ計算機資源の有効活用が可能になることである。また、障害発生前にシステムの切り替えが行えるため、システム切り替えに伴うオーバーヘッドを小さくすることも可能になる。また、障害予測レベルごとに、切り替えの要否と切り替えるための条件を設定できることにより、多様な運用に対応することも可能になる。
【0028】
[実施例2]
上記実施例では、OSやアプリケーションが出力するログ・メッセージに基づき障害予測を行っているが、別の実施例で異なる観点での障害予測方法について述べる。
【0029】
図12は、論理計算機の稼働時間を監視することにより障害予測を行う、障害予測レベル定義テーブルの例である。障害予測判定の閾値として、論理計算機の稼動時間(カラム1201)を設定している。
【0030】
計算機やアプリケーション・プログラムの稼働時間が延びると、計算機資源の管理の断片化や、ソフトウェアの欠陥に起因する使用可能資源量の減少により、処理時間が遅延したり、システム障害が発生する可能性が高まったりすることがある。本実施例は、そのようなケースにおいて、システムの定期的なリフレッシュが可能となる。
【0031】
同様に、図13は、アプリケーションのサービス内容を監視することにより障害予測を行う、障害予測レベル定義テーブルの例である。障害予測判定の閾値として、アプリケーションのサービス回数(カラム1301)や、アプリケーションの平均応答時間(カラム1302)を設定している。
【0032】
上記図12および図13の例における、障害予測判定用状態管理テーブルの例を図14に示している。評価対象(カラム701)としては、論理計算機の稼働時間、アプリケーションごと(本実施例ではAP#1から4)のサービス回数および平均応答時間を用いている。図14では事象ごとに切り替えレベル(カラム703)を複数設定する例を示している。これにより、ある事象に対して段階的に動作を切り替える運用を可能にしている。また、前記実施例と同様、評価対象の状態(カラム704)が各々の評価対象における現在の状態を記述している。評価対象の状態(カラム704)の値が、図12および図13で示した障害予測レベル定義テーブルにおける閾値以上の値になったとき、システム切り替え等の動作を開始することになるのも前記実施例と同様である。
【0033】
本実施例の効果は、論理計算機の稼働時間や、アプリケーションのサービス回数、平均応答時間を監視することにより、障害予測だけではなく、サービス・レベルの低下を事前に予測し、その防止が可能となることである。
【0034】
【発明の効果】
本発明により、複数の論理計算機を利用したシステムの信頼性をシステム資源を無駄に消費することなく向上させることができる。
【図面の簡単な説明】
【図1】本発明の実施例1における全体構成図を示す。
【図2】本発明の実施例1における論理計算機マネージャと論理計算機エージェントの構成を示す。
【図3】本発明の実施例1における監視対象データ・テーブルを示す。
【図4】本発明の実施例1における監視対象データ採取機構のフローを示す。
【図5】本発明の実施例1における障害予測レベル定義テーブルを示す。
【図6】本発明の実施例1における障害予測判定用の項目を示す。
【図7】本発明の実施例1における障害予測判定用状態管理テーブルを示す。
【図8】本発明の実施例1における発生時刻管理テーブルを示す。
【図9】本発明の実施例1における障害予測判定機構のフローを示す。
【図10】本発明の実施例1におけるシステム切り替え機構のフローを示す。
【図11】本発明の実施例1における引継ぎ情報退避機構のフローを示す。
【図12】本発明の実施例2の障害予測レベル定義テーブルを示す。
【図13】本発明の実施例2の障害予測レベル定義テーブルを示す。
【図14】本発明の実施例2の障害予測判定用状態管理テーブルを示す。
【図15】本発明の実施例の論理計算機構成情報テーブルを示す。
【符号の説明】
101および102は論理計算機,103は論理計算機上で動作するOSおよびアプリケーション,105は論理計算機エージェント,106は論理計算機マネージャ,107は計算機資源分割機構,108は物理プロセッサ,109はディスク装置,110はネットワーク装置,111は物理計算機を示している。

Claims (10)

  1. 第1の論理計算機上で稼動するプログラムの実行状態を監視する監視手段と、前記監視手段の状態から第1の論理計算機の障害の予兆を検知する検知手段と、障害の予兆が検出されると第2の論理計算機を生成し第1の論理計算機から第2の論理計算機に切り替える切替手段とを備えたことを特徴とする論理計算機システム。
  2. 前記監視手段はプログラムの実行に伴って出力する情報を監視することを特徴とする請求項1記載の論理計算機システム。
  3. 前記検知手段は前記監視手段で検出された情報の複数の特定の組み合わせ事象について障害予測レベルを設定する障害予測判定用状態管理テーブルを備えていることを特徴とする請求項2記載の論理計算機システム。
  4. 前記検知手段は更に前記障害予測判定用状態管理テーブルから求めた障害予測レベル毎に論理計算機の切替の要否を判定する前記事象の出現回数の閾値を有することを特徴とする請求項3記載の論理計算機システム。
  5. 前記検知手段は更に前記出現回数が前記閾値を超えたとき論理計算機の切替を行う条件を有していることを特徴とする請求項4記載の論理計算機システム。
  6. 前記監視手段はプログラムの実行上の異常を示す情報を監視することを特徴とする請求項1記載の論理計算機システム。
  7. 前記監視手段はあるアプリケーションプログラムでの応答時間を監視することを特徴とする請求項1記載の論理計算機システム。
  8. 前記監視手段は論理計算機上で稼動するプログラムの動作に伴って累積する統計情報を用いることを特徴とする請求項1記載の論理計算機システム。
  9. 第1の論理計算機上で稼動するプログラムの実行状態を監視し、前記監視手段の状態から第1の論理計算機の障害の予兆を検知し、障害の予兆が検出されると第2の論理計算機を生成し第1の論理計算機から第2の論理計算機に切り替えることを特徴とする論理計算機システムの構成制御方法。
  10. 論理計算機の信頼性を上げるため計算機を、第1の論理計算機上で稼動するプログラムの実行状態を監視する監視手段と、前記監視手段の状態から第1の論理計算機の障害の予兆を検知する検知手段と、障害の予兆が検出されると第2の論理計算機を生成し第1の論理計算機から第2の論理計算機に切り替える切替手段として機能させるための論理計算機システムの構成制御プログラム。
JP2002187262A 2002-06-27 2002-06-27 論理計算機システム、論理計算機システムの構成制御方法および論理計算機システムの構成制御プログラム Expired - Fee Related JP4054616B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002187262A JP4054616B2 (ja) 2002-06-27 2002-06-27 論理計算機システム、論理計算機システムの構成制御方法および論理計算機システムの構成制御プログラム
US10/339,337 US7328367B2 (en) 2002-06-27 2003-01-10 Logically partitioned computer system and method for controlling configuration of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002187262A JP4054616B2 (ja) 2002-06-27 2002-06-27 論理計算機システム、論理計算機システムの構成制御方法および論理計算機システムの構成制御プログラム

Publications (2)

Publication Number Publication Date
JP2004030363A true JP2004030363A (ja) 2004-01-29
JP4054616B2 JP4054616B2 (ja) 2008-02-27

Family

ID=29774181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002187262A Expired - Fee Related JP4054616B2 (ja) 2002-06-27 2002-06-27 論理計算機システム、論理計算機システムの構成制御方法および論理計算機システムの構成制御プログラム

Country Status (2)

Country Link
US (1) US7328367B2 (ja)
JP (1) JP4054616B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058727A (ja) * 2005-08-26 2007-03-08 Hitachi Ltd ストレージ管理システムおよびその方法
JP2007199829A (ja) * 2006-01-24 2007-08-09 Hitachi Ltd 計算機制御方法、情報処理システム、運用管理装置、計算機および計算機制御プログラム
JP2008140198A (ja) * 2006-12-04 2008-06-19 Hitachi Ltd フェイルオーバ方法、およびその計算機システム。
JP2009176213A (ja) * 2008-01-28 2009-08-06 Hitachi Software Eng Co Ltd ネットワークブート方式
JP2009205696A (ja) * 2009-06-15 2009-09-10 Hitachi Ltd マルチコアプロセッサ計算機の制御方法
WO2009110111A1 (ja) 2008-03-04 2009-09-11 三菱電機株式会社 サーバ装置及びサーバ装置の異常検知方法及びサーバ装置の異常検知プログラム
JP2009282714A (ja) * 2008-05-21 2009-12-03 Hitachi Information Systems Ltd 仮想マシンコンピュータシステム及び仮想マシンコンピュータシステムのフェールセーフ方法
JP2010079811A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 計算機システム、計算機システムの障害の予兆検知方法及びプログラム
WO2010122710A1 (ja) * 2009-04-23 2010-10-28 日本電気株式会社 若化処理装置、若化処理システム、コンピュータプログラムおよびデータ処理方法
US7937615B2 (en) 2006-12-19 2011-05-03 Hitachi, Ltd. Method for improving reliability of multi-core processor computer
WO2011148524A1 (ja) * 2010-05-28 2011-12-01 株式会社日立製作所 アプリケーションサーバの切替方法、管理計算機及びプログラムを格納した記憶媒体
JP2011258233A (ja) * 2011-08-26 2011-12-22 Hitachi Ltd フェイルオーバ方法、およびその計算機システム。
WO2012039053A1 (ja) * 2010-09-24 2012-03-29 株式会社日立製作所 計算機システムの運用管理方法、計算機システム及びプログラムを記憶する計算機読み取り可能な媒体
JP2012178014A (ja) * 2011-02-25 2012-09-13 Hitachi Ltd 故障予測・対策方法及びクライアントサーバシステム
WO2013094006A1 (ja) * 2011-12-19 2013-06-27 富士通株式会社 プログラム、情報処理装置および方法
WO2013121531A1 (ja) * 2012-02-15 2013-08-22 株式会社日立製作所 仮想計算機システム及び仮想計算機の障害予兆回復方法
WO2014006728A1 (ja) * 2012-07-05 2014-01-09 富士通株式会社 処理装置、処理システム、及びプログラム
JP2014127134A (ja) * 2012-12-27 2014-07-07 Fujitsu Ltd 情報処理装置、サーバ管理方法およびサーバ管理プログラム
US8984123B2 (en) 2009-04-23 2015-03-17 Nec Corporation Rejuvenation processing device, rejuvenation processing system, computer program, and data processing method
JP2017010237A (ja) * 2015-06-22 2017-01-12 日本電信電話株式会社 ノード、データ救済方法およびプログラム
US10089200B2 (en) 2014-03-07 2018-10-02 Mitsubishi Electric Corporation Computer apparatus and computer mechanism

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007523397A (ja) * 2004-01-05 2007-08-16 タイトガット,ディダー データタイプとしてのビヘビアに基づく多エージェントシステム
US9357031B2 (en) 2004-06-03 2016-05-31 Microsoft Technology Licensing, Llc Applications as a service
US7908339B2 (en) 2004-06-03 2011-03-15 Maxsp Corporation Transaction based virtual file system optimized for high-latency network connections
US8812613B2 (en) 2004-06-03 2014-08-19 Maxsp Corporation Virtual application manager
US8589323B2 (en) 2005-03-04 2013-11-19 Maxsp Corporation Computer hardware and software diagnostic and report system incorporating an expert system and agents
US8234238B2 (en) 2005-03-04 2012-07-31 Maxsp Corporation Computer hardware and software diagnostic and report system
US7937616B2 (en) * 2005-06-28 2011-05-03 International Business Machines Corporation Cluster availability management
US7702966B2 (en) * 2005-09-07 2010-04-20 Intel Corporation Method and apparatus for managing software errors in a computer system
US7461289B2 (en) * 2006-03-16 2008-12-02 Honeywell International Inc. System and method for computer service security
US8811396B2 (en) 2006-05-24 2014-08-19 Maxsp Corporation System for and method of securing a network utilizing credentials
US8898319B2 (en) 2006-05-24 2014-11-25 Maxsp Corporation Applications and services as a bundle
US9317506B2 (en) 2006-09-22 2016-04-19 Microsoft Technology Licensing, Llc Accelerated data transfer using common prior data segments
US7840514B2 (en) 2006-09-22 2010-11-23 Maxsp Corporation Secure virtual private network utilizing a diagnostics policy and diagnostics engine to establish a secure network connection
US7702485B2 (en) * 2006-12-06 2010-04-20 Oracle America, Inc. Method and apparatus for predicting remaining useful life for a computer system
US8423821B1 (en) 2006-12-21 2013-04-16 Maxsp Corporation Virtual recovery server
US7844686B1 (en) 2006-12-21 2010-11-30 Maxsp Corporation Warm standby appliance
US8677353B2 (en) * 2007-01-11 2014-03-18 Nec Corporation Provisioning a standby virtual machine based on the prediction of a provisioning request being generated
WO2008099453A1 (ja) * 2007-02-09 2008-08-21 Fujitsu Limited 縮退方法および情報処理装置
US8645515B2 (en) 2007-10-26 2014-02-04 Maxsp Corporation Environment manager
US8175418B1 (en) 2007-10-26 2012-05-08 Maxsp Corporation Method of and system for enhanced data storage
US8307239B1 (en) 2007-10-26 2012-11-06 Maxsp Corporation Disaster recovery appliance
US7805640B1 (en) * 2008-03-10 2010-09-28 Symantec Corporation Use of submission data in hardware agnostic analysis of expected application performance
US8214687B2 (en) * 2009-02-13 2012-07-03 International Business Machines Corporation Disaster recovery based on journaling events prioritization in information technology environments
US9069730B2 (en) * 2009-06-29 2015-06-30 Hewlett-Packard Development Company, L. P. Coordinated reliability management of virtual machines in a virtualized system
JP6019995B2 (ja) * 2012-09-24 2016-11-02 日本電気株式会社 分散システム、サーバ計算機、及び障害発生防止方法
US10169156B2 (en) * 2016-07-21 2019-01-01 International Business Machines Corporation Automatic restarting of containers
US10769007B2 (en) * 2018-06-08 2020-09-08 Microsoft Technology Licensing, Llc Computing node failure and health prediction for cloud-based data center
US10860409B2 (en) * 2018-08-01 2020-12-08 Cisco Technology, Inc. Tracelog isolation of failed sessions at scale
US11789842B2 (en) * 2021-10-11 2023-10-17 Dell Products L.P. System and method for advanced detection of potential system impairment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01224846A (ja) * 1988-03-04 1989-09-07 Fujitsu Ltd プロセス空間切り換え制御方式
JPH05165798A (ja) * 1991-12-18 1993-07-02 Meidensha Corp 2系列システムの系管理方式
JPH05181823A (ja) * 1990-08-31 1993-07-23 Internatl Business Mach Corp <Ibm> 区画区分式プロセス環境における区画間制御のための方法及び装置
JP3166834B2 (ja) * 1997-08-12 2001-05-14 日本電気株式会社 二重化回路制御方法及び二重化回路制御装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828583A (en) * 1992-08-21 1998-10-27 Compaq Computer Corporation Drive failure prediction techniques for disk drives
WO1996038733A1 (en) * 1995-06-02 1996-12-05 Pure Software, Inc. Remote monitoring of computer programs
JP2001034495A (ja) 1999-07-27 2001-02-09 Nec Corp 二重化システム
US6629266B1 (en) * 1999-11-17 2003-09-30 International Business Machines Corporation Method and system for transparent symptom-based selective software rejuvenation
US6901582B1 (en) * 1999-11-24 2005-05-31 Quest Software, Inc. Monitoring system for monitoring the performance of an application
JP3768775B2 (ja) * 2000-04-27 2006-04-19 三菱電機株式会社 バックアップ装置及びバックアップ方法
JP4426736B2 (ja) * 2001-04-27 2010-03-03 株式会社日立製作所 プログラム修正方法およびプログラム
US6978398B2 (en) * 2001-08-15 2005-12-20 International Business Machines Corporation Method and system for proactively reducing the outage time of a computer system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01224846A (ja) * 1988-03-04 1989-09-07 Fujitsu Ltd プロセス空間切り換え制御方式
JPH05181823A (ja) * 1990-08-31 1993-07-23 Internatl Business Mach Corp <Ibm> 区画区分式プロセス環境における区画間制御のための方法及び装置
JPH05165798A (ja) * 1991-12-18 1993-07-02 Meidensha Corp 2系列システムの系管理方式
JP3166834B2 (ja) * 1997-08-12 2001-05-14 日本電気株式会社 二重化回路制御方法及び二重化回路制御装置

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058727A (ja) * 2005-08-26 2007-03-08 Hitachi Ltd ストレージ管理システムおよびその方法
JP4686305B2 (ja) * 2005-08-26 2011-05-25 株式会社日立製作所 ストレージ管理システムおよびその方法
JP4649341B2 (ja) * 2006-01-24 2011-03-09 株式会社日立製作所 計算機制御方法、情報処理システムおよび計算機制御プログラム
JP2007199829A (ja) * 2006-01-24 2007-08-09 Hitachi Ltd 計算機制御方法、情報処理システム、運用管理装置、計算機および計算機制御プログラム
JP2008140198A (ja) * 2006-12-04 2008-06-19 Hitachi Ltd フェイルオーバ方法、およびその計算機システム。
US8010827B2 (en) 2006-12-04 2011-08-30 Hitachi, Ltd. Method and computer system for failover
US8423816B2 (en) 2006-12-04 2013-04-16 Hitachi, Ltd. Method and computer system for failover
US7937615B2 (en) 2006-12-19 2011-05-03 Hitachi, Ltd. Method for improving reliability of multi-core processor computer
JP2009176213A (ja) * 2008-01-28 2009-08-06 Hitachi Software Eng Co Ltd ネットワークブート方式
WO2009110111A1 (ja) 2008-03-04 2009-09-11 三菱電機株式会社 サーバ装置及びサーバ装置の異常検知方法及びサーバ装置の異常検知プログラム
JP2009282714A (ja) * 2008-05-21 2009-12-03 Hitachi Information Systems Ltd 仮想マシンコンピュータシステム及び仮想マシンコンピュータシステムのフェールセーフ方法
JP4651127B2 (ja) * 2008-05-21 2011-03-16 株式会社日立情報システムズ 仮想マシンコンピュータシステム及び仮想マシンコンピュータシステムのフェールセーフ方法
JP4572251B2 (ja) * 2008-09-29 2010-11-04 株式会社日立製作所 計算機システム、計算機システムの障害の予兆検知方法及びプログラム
JP2010079811A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 計算機システム、計算機システムの障害の予兆検知方法及びプログラム
JP5403051B2 (ja) * 2009-04-23 2014-01-29 日本電気株式会社 若化処理装置、若化処理システム、コンピュータプログラムおよびデータ処理方法
WO2010122710A1 (ja) * 2009-04-23 2010-10-28 日本電気株式会社 若化処理装置、若化処理システム、コンピュータプログラムおよびデータ処理方法
US8984123B2 (en) 2009-04-23 2015-03-17 Nec Corporation Rejuvenation processing device, rejuvenation processing system, computer program, and data processing method
US8789045B2 (en) 2009-04-23 2014-07-22 Nec Corporation Rejuvenation processing device, rejuvenation processing system, computer program, and data processing method
JP2009205696A (ja) * 2009-06-15 2009-09-10 Hitachi Ltd マルチコアプロセッサ計算機の制御方法
JP2011248735A (ja) * 2010-05-28 2011-12-08 Hitachi Ltd サーバ計算機の切替方法、管理計算機及びプログラム
WO2011148524A1 (ja) * 2010-05-28 2011-12-01 株式会社日立製作所 アプリケーションサーバの切替方法、管理計算機及びプログラムを格納した記憶媒体
US9397953B2 (en) 2010-09-24 2016-07-19 Hitachi, Ltd. Operation managing method for computer system, computer system and computer-readable storage medium having program thereon
WO2012039053A1 (ja) * 2010-09-24 2012-03-29 株式会社日立製作所 計算機システムの運用管理方法、計算機システム及びプログラムを記憶する計算機読み取り可能な媒体
JP2012178014A (ja) * 2011-02-25 2012-09-13 Hitachi Ltd 故障予測・対策方法及びクライアントサーバシステム
JP2011258233A (ja) * 2011-08-26 2011-12-22 Hitachi Ltd フェイルオーバ方法、およびその計算機システム。
WO2013094006A1 (ja) * 2011-12-19 2013-06-27 富士通株式会社 プログラム、情報処理装置および方法
JPWO2013094006A1 (ja) * 2011-12-19 2015-04-27 富士通株式会社 プログラム、情報処理装置および方法
US9317394B2 (en) 2011-12-19 2016-04-19 Fujitsu Limited Storage medium and information processing apparatus and method with failure prediction
WO2013121531A1 (ja) * 2012-02-15 2013-08-22 株式会社日立製作所 仮想計算機システム及び仮想計算機の障害予兆回復方法
WO2014006728A1 (ja) * 2012-07-05 2014-01-09 富士通株式会社 処理装置、処理システム、及びプログラム
US9772914B2 (en) 2012-07-05 2017-09-26 Fujitsu Limited Processing apparatus, process system, and non-transitory computer-readable recording medium
JP2014127134A (ja) * 2012-12-27 2014-07-07 Fujitsu Ltd 情報処理装置、サーバ管理方法およびサーバ管理プログラム
US10089200B2 (en) 2014-03-07 2018-10-02 Mitsubishi Electric Corporation Computer apparatus and computer mechanism
JP2017010237A (ja) * 2015-06-22 2017-01-12 日本電信電話株式会社 ノード、データ救済方法およびプログラム

Also Published As

Publication number Publication date
US20040003319A1 (en) 2004-01-01
US7328367B2 (en) 2008-02-05
JP4054616B2 (ja) 2008-02-27

Similar Documents

Publication Publication Date Title
JP4054616B2 (ja) 論理計算機システム、論理計算機システムの構成制御方法および論理計算機システムの構成制御プログラム
JP4920391B2 (ja) 計算機システムの管理方法、管理サーバ、計算機システム及びプログラム
US11321197B2 (en) File service auto-remediation in storage systems
US9450700B1 (en) Efficient network fleet monitoring
JP4980792B2 (ja) 仮想計算機の性能監視方法及びその方法を用いた装置
US7849286B2 (en) Method for dynamic load balancing on partitioned systems
US8055933B2 (en) Dynamic updating of failover policies for increased application availability
US8117487B1 (en) Method and apparatus for proactively monitoring application health data to achieve workload management and high availability
US6986076B1 (en) Proactive method for ensuring availability in a clustered system
US5796937A (en) Method of and apparatus for dealing with processor abnormality in multiprocessor system
CN109656742B (zh) 一种节点异常处理方法、装置及存储介质
US10860714B2 (en) Technologies for cache side channel attack detection and mitigation
WO2011074284A1 (ja) 仮想計算機の移動方法、仮想計算機システム及びプログラムを格納した記憶媒体
JP2005115751A (ja) 計算機システム及び計算機システムの障害兆候の検知方法
US8065560B1 (en) Method and apparatus for achieving high availability for applications and optimizing power consumption within a datacenter
Deshpande et al. Scatter-gather live migration of virtual machines
CN111880906A (zh) 虚拟机高可用性管理方法、系统以及存储介质
US10075326B2 (en) Monitoring file system operations between a client computer and a file server
JP2002259155A (ja) 多重系計算機システム
CN112052072A (zh) 一种虚拟机的调度策略及超融合系统
US20230418661A1 (en) Decentralized resource scheduling
JP2000259585A (ja) システムアプリケーション管理方式とその管理方式を実行するためのプログラムを記録した記録媒体
EP3084603B1 (en) System and method for supporting adaptive busy wait in a computing environment
JP5597293B2 (ja) 計算機システム及びプログラム
US8036105B2 (en) Monitoring a problem condition in a communications system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050620

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061010

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees