JP2003330740A - 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム - Google Patents

多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム

Info

Publication number
JP2003330740A
JP2003330740A JP2002140084A JP2002140084A JP2003330740A JP 2003330740 A JP2003330740 A JP 2003330740A JP 2002140084 A JP2002140084 A JP 2002140084A JP 2002140084 A JP2002140084 A JP 2002140084A JP 2003330740 A JP2003330740 A JP 2003330740A
Authority
JP
Japan
Prior art keywords
processor
logical
computer
physical
computers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002140084A
Other languages
English (en)
Other versions
JP4119162B2 (ja
Inventor
Yoshifumi Takamoto
良史 高本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002140084A priority Critical patent/JP4119162B2/ja
Priority to US10/336,711 priority patent/US7062674B2/en
Publication of JP2003330740A publication Critical patent/JP2003330740A/ja
Application granted granted Critical
Publication of JP4119162B2 publication Critical patent/JP4119162B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2035Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/2025Failover techniques using centralised failover control functionality

Abstract

(57)【要約】 【課題】 論理計算機を用いた高信頼化において、ハー
ドウェア障害に対しての信頼性を向上させる。 【解決手段】 複数の物理プロセッサから構成される計
算機を用いた複数の論理計算機において、複数の論理計
算機を用いて高信頼化システムを構築する場合、各論理
計算機は異なる物理プロセッサ上に割り当てる。また、
障害修復中は、高信頼化システムの他の稼動中の論理計
算機のプロセッサ量を増加させることでサービス量が低
下しないようにする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は同一の物理プロセッ
サ上で稼動する複数の論理計算機を用いたシステムにお
いて、信頼性を向上することができる技術に関する。
【0002】
【従来の技術】プロセッサ技術の進歩により、高い性能
のプロセッサを容易に利用きるようになった。従来は性
能が不足した場合、複数の計算機を並列に実行すること
で性能不足を解消していた。しかし、高性能なプロセッ
サの出現により、逆に性能は十分足りていて、その高性
能なプロセッサをいかに有効に使用するかに観点が移り
つつある。その一つが論理計算機機能である。これは、
物理的に一つの計算機から、仮想的な複数の計算機を生
成する技術である。例えば、一つの物理プロセッサを時
分割で複数の論理計算機に割り当てることで、ソフトウ
ェアにはあたかも複数の計算機のように見せかけること
ができる。この機能により、一つの高性能なプロセッサ
を有効に使用することができる。この論理計算機の機能
をさらに発展させ、より信頼性を高める例がある。US
005345590Aでは2つの論理計算機でホットス
タンバイを構築し、いずれかの論理計算機に障害が発生
すると、もう一方の論理計算機に切り替えて処理を継続
する方法について述べられている。ホットスタンバイは
通常異なる計算機で構成する高信頼化方法である。2つ
の異なる計算機を用意し、通常は一つの計算機で処理を
行い、もし、障害が発生すると、待機しているもう一つ
の計算機に切り替えることで処理を停止させない技術で
ある。US005345590Aでは、同一の物理計算
機上に生成された2つの論理計算機間でホットスタンバ
イを構築している。こうすることで、システムレベルの
信頼性を向上することができる。
【0003】
【発明が解決しようとする課題】US00534559
0Aでは、2つの論理計算機でホットスタンバイを構築
することで信頼性を向上する方法について述べられてい
る。この方法では、ソフトウェアレベルの信頼性向上方
法について述べられているが、ハードウェアと連携した
高信頼化方法については述べられていない。US005
345590Aの課題は、ハードウェアの単一障害によ
り1つの物理プロセッサが動作不能となり、その上に構
成されたホットスタンバイの関係で用意した複数の論理
計算機が同時に障害を起こしホットスタンバイの意味を
なさなくなることである。例えば、一つの物理プロセッ
サで2つの論理計算機を生成しホットスタンバイを構築
すると、一つの物理プロセッサの障害によりその物理プ
ロセッサ上に構築されていた全ての論理計算機は停止し
てしまうという課題がある。
【0004】
【課題を解決するための手段】上記問題を解決するため
に、複数の物理プロセッサから構成される計算機を用い
た複数の論理計算機において、複数の論理計算機を用い
て高信頼化システムを構築する場合、各論理計算機は異
なる物理プロセッサ上に割り当てることでより高信頼化
する。
【0005】
【発明の実施の形態】図1は、本発明の一実施例におけ
る多重化システムの概略構成図を示している。101か
ら103はそれぞれ論理計算機であり、109は物理計
算機である。109内には物理プロセッサ装置106,
ディスク装置107,ネットワーク装置108および計
算機資源分割機構104から構成される。計算機資源分
割機構104内にはクラスタマネージャ105の機能を
有する。101から103の論理計算機は物理計算機1
09の資源を元に作成された仮想的な計算機である。論
理計算機101から103は、物理計算機109が有す
るプロセッサ装置106とディスク装置とネットワーク
装置106がそれぞれ分割され割り当てられている。こ
うすることで101から103の論理計算機上で稼動す
るソフトウェア(図示せず)は、あたかもそれぞれに物
理計算機があるかのように動作することができる。具体
的には、プロセッサやネットワークは時分割で各論理計
算機に割り当てられ、ディスク装置やメモリは分割して
割り当てられている。この機能を実現しているのが計算
機論理資源分割機構104である。本発明では、従来の
計算機論理資源分割機構104の機能にクラスタマネー
ジャ105を追加し、論理計算機101から103をよ
り高信頼化する機能を有している。
【0006】図2はクラスタマネージャ105により生
成されたクラスタシステムがどのように動作するかを示
している。論理計算機201から203にはそれぞれオ
ペレーティングシステム205,207,209とアプ
リケーション204,206,208が稼動している。
それぞれの論理計算機201から203上には同じ機能
のソフトウェアが稼動している。ネットワーク経由で発
行された処理要求は、論理計算機201から203のい
ずれかで処理され、処理結果は要求者に返送される。こ
のようなクラスタ化により、多数の処理要求を同時に処
理することができるようになる。また、いずれかの計算
機に障害が発生しても残りの計算機で処理を継続するこ
とができるため信頼性も単一システムに比べ優れてい
る。通常、クラスタシステムは、まったく異なる物理計
算機で構成されるが、本発明では単一物理計算機上の複
数の論理計算機を用いて実現している。
【0007】図3は、物理計算機301,302と論理
計算機303から306の割当の関係を示している。論
理計算機303と304は同じ物理計算機301から構
成されている。また、論理計算機305と306は同じ
物理計算機302から構成されている。論理計算機に
は、前述の通りそれぞれにはプロセッサ装置やディスク
装置やネットワーク装置等の計算機資源が割り当てられ
ている。クラスタシステムは論理計算機にどのように割
り当てても動作する。しかし、信頼性を高くする場合に
は割り当て方が課題となる。例えば、論理計算機1(3
03)と論理計算機2(304)でクラスタシステムを
構築した場合、物理計算機1(301)に障害が発生す
るとクラスタシステム全体に障害が発生することにな
る。これではクラスタシステムを構築している利点が小
さくなってしまう問題がある。
【0008】本発明の特徴の一つは、論理計算機に対す
る高信頼なクラスタシステムの割り当て方である。図4
は、図3の構成に対して割り当てたクラスタシステムを
示している。クラスタシステム1(401)は論理計算
機1(403)と論理計算機3(405)から構成さ
れ、クラスタシステム2(402)は論理計算機2(4
04)と論理計算機4(406)から構成されている。
クラスタシステムのそれぞれは、異なる物理計算機上に
割り当てることを特徴とする。こうすることで前述の信
頼性の問題を回避することができる。つまり、図5に示
すように、物理計算機1(501)に障害が発生した場
合、論理計算機1(503)と論理計算機2(504)
は停止してしまうが、クラスタの対となっている論理計
算機3(505)と論理計算機4(506)は正常に稼
動できるため、システム全体が停止することはない。
【0009】図6は、本方式を実現するためのクラスタ
マネージャ(601)の構成を示している。クラスタマ
ネージャ(601)は、論理計算機割り当て機構(60
2),障害処理機構(603),物理計算機構成情報テ
ーブル(604),論理計算機構成情報テーブル(60
5),クラスタテーブル(606)から構成されてい
る。物理計算機構成情報テーブル(604)には物理計
算機が有しているプロセッサ装置やディスク装置やメモ
リ装置等の資源が記述されている。論理計算機構成情報
テーブル(605)は、複数の論理計算機に対して割り
当てられている資源が記述されている。クラスタテーブ
ル(606)は、論理計算機に対して割り当てられてい
るクラスタの情報が記述されている。論理計算機割り当
て機構602は、クラスタシステムを論理計算機に割り
当てる機能を有している。障害処理機構603は、クラ
スタシステムを割り当てた論理計算機が、物理計算機の
障害や論理計算機内のソフトウェア障害などで停止した
場合の処理を行う機能を有している。これらの機能は、
ハードウェア自身で処理することも可能だが、ハードウ
ェアと連携したソフトウェアとして実現することもでき
る。
【0010】図7は、クラスタシステムを設定する場合
のユーザインターフェースを示している。ユーザはハー
ドウェアのコンソール701上に表示されたクラスタコ
ンソール機能を用いてクラスタシステムを設定する。7
02はクラスタシステム1に関する設定を意味する。7
03はクラスタシステム1で使用する論理計算機の数
(クラスタ数)を設定する。704はクラスタシステム
の全プロセッサ使用量を設定する。これは、サービスレ
ベルを決定するための数値である。ユーザは、クラスタ
システムを用いて最低限保証したいサービス量を設定す
ることができる。705は単一論理計算機当たりのディ
スク容量を設定する。この設定は、同一クラスタシステ
ムの他の論理計算機にも適用される。706は単一論理
計算機当たりのメモリ容量を設定する。この設定は、同
一クラスタシステムの他の論理計算機にも適用される。
707はネットワーク使用の有無を記述する。ネットワ
ーク使用の設定にすることで、同一クラスタシステム内
の全ての論理計算機においてネットワークが使用可能に
なる。
【0011】図8は、物理計算機構成情報テーブルの構
成を示している。このテーブルには、物理計算機が保有
する資源の一覧が記述される。カラム801はプロセッ
サ番号を示す。カラム802はプロセッサの処理量が記
述されている。例えば、MIPS(Million I
nstructions Per Sec)などであ
る。カラム803は空きプロセッサ量が記述されてい
る。論理計算機に割り当てられていない処理量であり、
新たに論理計算機を生成するとカラム803の数値が減
算される。図8では、プロセッサに対する項目だけだ
が、他にもメモリ、ディスク、ネットワークにも同様な
項目でテーブルが作成される。このテーブルは、論理計
算機を新たに生成する場合に参照される。
【0012】図9は、論理計算機構成情報テーブルを示
している。このテーブルには、生成された論理計算機に
割り当てられた資源に関する情報が格納されている。カ
ラム901は論理計算機の識別子である。カラム902
は割り当てられているプロセッサ番号である。カラム9
03は割り当てられたプロセッサの量を示している。カ
ラム904は割り当てられたメモリ量を示している。カ
ラム905は割り当てられたディスク容量を示してい
る。カラム906は割り当てられたネットワークの識別
子を示している。新たにクラスタシステムが生成され、
新しい論理計算機が割り当てられた場合には、このテー
ブルに追加される。あるクラスタシステムの一部に障害
が発生した場合には、このテーブルを用いて、同じ資源
を持つ論理計算機を生成するために使用する。
【0013】図10はクラスタテーブルの構成を示して
いる。クラスタテーブルは、生成されたクラスタシステ
ムに対して論理計算機がどのように割り当てられている
かを示している。新たにクラスタシステムを生成した場
合には、このテーブルに情報が追加される。カラム10
01はクラスタシステム識別子を示している。これは、
図7で示したクラスタ識別子702が格納される。カラ
ム1002は、必要プロセッサ量が格納される。これ
は、図7で示した全プロセッサ量704が格納される。
カラム1003はクラスタ数(論理計算機数)が格納され
る。これは、図7で示したクラスタ数703が格納され
る。カラム1004以降にはクラスタシステムに割り当
てられた論理計算機番号が記述されている。このカラム
は、設定したクラスタ数に応じて増減する。
【0014】図11は論理計算機割り当て機構の処理フ
ローを示している。ステップ1101は単一論理計算機
当たりのプロセッサ割り当て量を求める。これはクラス
タテーブル(図10)内の必要プロセッサ量1002を
クラスタ数1003で除算することで求めることができ
る。ステップ1102では物理計算機構成情報管理テー
ブル(図8)をサーチし、空きプロセッサ量が存在する物
理プロセッサを見つける。この物理プロセッサを利用
し、新たに論理計算機を生成する。これにより、クラス
タシステムに割り当てる最初の論理計算機を決定する。
この時、物理プロセッサにはできるだけ空きプロセッサ
量を残した割り当てにしたほうがよい。これは、後述の
障害発生時の処理が簡略化できるためである。さらに
は、物理計算機に障害が発生した場合、新たにクラスタ
システムを構成する論理計算機を作成するまでの間にサ
ービス量を保つため1つの活動中のプロセッサ量を増加
させるが、空きを作っておくとプロセッサ量の増加が簡
単になるためである。ステップ1104では、テーブル
の更新を行う。物理計算機構成情報テーブルでは、空き
プロセッサ量803を論理計算機に割り当てた分だけ減
算する。論理計算機構成情報管理テーブル(図9)では
割り当てた論理計算機の情報を追加する。ステップ11
03では、ステップ1102と同様にクラスタシステム
に割り当てる次の物理プロセッサをサーチする。この
時、これまでに割り当てた物理プロセッサとは別の物理
プロセッサをサーチする。こうすることで、同一クラス
タシステムの構築において同一物理プロセッサを割り当
てることがなくなる。ステップ1105ではテーブルを
更新する。物理計算機構成情報テーブルでは、空きプロ
セッサ量803を論理計算機に割り当てた分だけ減算す
る。論理計算機構成情報管理テーブルでは割り当てた論
理計算機の情報を追加する。ステップ1107では、全
てのクラスタシステムを割り当てたかどうか(クラスタ
システムに割り当てるべき論理計算機を全て割り当てた
かどうか)判断し、まだ割り当てられていないクラスタ
システムがある場合にはステップ1103に移行する。
この処理により、クラスタシステムに割り当てる論理計
算機を容易にするとともに、同一クラスタシステム内に
おいて物理的に異なるプロセッサを割り当てるため、物
理プロセッサの障害に対して強いシステムを構築するこ
とができるようになる。また、別の割り当て方法とし
て、論理計算機の数に対して物理プロセッサ数が少ない
場合、物理プロセッサに対してできるだけ論理計算機が
均等に割り当てられるようにする方法も考えられる。つ
まり、4つの論理計算機を生成したいが、物理プロセッ
サが2つしかない場合、物理プロセッサにそれぞれ2つ
の論理計算機を割り当てる。割り当てに偏りがあると障
害時における処理量の変動が大きくなるため、できるだ
け均等に割り当てた方がよい。
【0015】図12は、障害処理機構の処理フローを示
している。ステップ1207では、発生した障害がハー
ドウェア障害なのかソフトウェア障害なのかを判断し、
ソフトウェア障害であれば1208に移行し、論理計算
機の再起動を行う。なお、障害が発生すると何らかの割
り込みが発生する。この割り込みの種類を見ることでど
のような障害が発生したかが分かる。ハードウェア障害
であれば、新たにリソースを割り当てる必要があるため
ステップ1201に移行する。ステップ1201では、
障害が発生したプロセッサを使用していた論理計算機を
サーチする。論理計算機構成情報テーブル(図9)のカ
ラム902をサーチし、障害が発生したプロセッサを使
用していた論理計算機を見つける処理を行う。ステップ
1202では論理計算機構成情報管理テーブルから、必
要とされるプロセッサ処理量を求める。ステップ120
3では、障害を起こしていない稼動中のシステムの処理
量を増加させる。もし、現在割り当てられている物理プ
ロセッサに空きプロセッサ量がある場合は、それを追加
する。しかし、もし現在割り当てられている物理プロセ
ッサに空きプロセッサ量が無かった場合は、空き物理プ
ロセッサを追加する(プロセッサ量に空きのある他のプ
ロセッサからプロセッサ量を分けて貰う)。ステップ1
204では稼動中のシステムの数だけステップ1202
と1203を繰り返す。この処理はサービスレベルを保
つために、障害発生プロセッサに割り当てられていたプ
ロセッサ処理量を稼動中のシステムのプロセッサの処理
量を増加させる処理を行う。例えば、3つの論理計算機
でクラスタシステムを構成しており、それぞれに割り当
てられたプロセッサ処理量が100のクラスタシステム
において、1つの論理計算機に障害が発生すると、クラ
スタシステムの全体のプロセッサ処理量が100低下す
ることになる。この場合、残り2つの論理計算機のプロ
セッサ処理量をそれぞれ50増加させることで、全体の
プロセッサ処理量を元の300に戻すことができる。単
一の物理プロセッサでは増加させるだけのプロセッサ処
理量が無い場合は、新たに物理プロセッサを追加する等
によりサービス量を保つように処理する。また、別の追
加の方法として、稼動中の論理計算機のプロセッサ処理
量を均等に追加するのではなく、特定の論理計算機のプ
ロセッサ処理量だけを追加することも考えられる。この
場合、プロセッサ処理量が論理計算機毎に不均等になる
が、クラスタシステム全体のプロセッサ処理量を保つこ
とができる。ステップ1205では、新しいプロセッサ
を割り当てる処理を行う。このステップでは、同一クラ
スタシステム内で異なる物理プロセッサが割り当てられ
るように処理され、新たな論理計算機が障害を起こした
システムのために割り当てられる。ステップ1206で
は、障害を起こした論理計算機数だけステップ1205
を繰り返す処理を行う。
【0016】図13は、図12におけるステップ120
5の新プロセッサ割り当てを詳細に示したフローであ
る。新プロセッサ割り当てでは、空き物理プロセッサを
使用して新しい論理計算機を生成する処理である。ステ
ップ1301では、単一システム当たりのプロセッサ割
り当て量を求める。これはクラスタテーブル(図10)
内の必要プロセッサ量1002をクラスタ数1003で
除算することで求めることができる。物理計算機構成情
報管理テーブルをサーチし、空きプロセッサ量が存在す
る物理プロセッサを見つける。これにより、クラスタシ
ステムに割り当てる最初の論理計算機を決定する。決定
した物理プロセッサを利用し、新たに論理計算機を生成
する。ステップ1302では物理計算機構成情報管理テ
ーブルをサーチし、空きプロセッサ量が存在する物理プ
ロセッサを見つける。決定した物理プロセッサを利用
し、新たに論理計算機を生成する。ステップ1303は
クラスタにステップ1302で生成した論理計算機を追
加する処理を行う。この処理は後で詳細にフローで述べ
る。ステップ1304では、テーブルの更新を行う。物
理計算機構成情報テーブルでは、空きプロセッサ量80
3を論理計算機に割り当てた分だけ減算する。論理計算
機構成情報管理テーブルでは割り当てた論理計算機の情
報を追加または更新を行う。
【0017】図14は、図13におけるクラスタへのシ
ステム追加(ステップ1303)を詳細に記したフロー
である。ステップ1403では、障害を起こした論理計
算機のシステムディスクを新たに生成した論理計算機の
ディスクにコピーする。ステップ1404では、同様に
アプリケーションディスクをコピーする。ステップ14
05では、ステップ1403およびステップ1404で
コピーしたディスクを用いて、新しく生成した論理計算
機を起動する。これにより、障害を起こしたプロセッサ
と同じ環境のシステムを起動することができる。また、
ステップ1403からステップ1405の別な方法とし
て、ディスクをコピーしない方法もある。ステップ14
03,ステップ1404ではシステムディスクとアプリ
ケーションディスクをコピーしていたが、障害を起こし
たシステムが使用していたディスクを新しく生成した論
理計算機で共有することができるのであれば、新しく生
成した論理計算機に接続しステップ1405を実行する
ことで、ディスクのコピーのオーバヘッドを無くすこと
ができる。ステップ1406では、新しく生成した論理
計算機が正しく起動したかどうかを確認する。ステップ
1407では、新しく生成した論理計算機が正しく起動
されていればステップ1408に移行し、ネットワーク
の切り替えを行い、システムの追加は完了する。これに
より、新しく生成した論理計算機は、クラスタシステム
に追加され傷害を起こす前と同じ環境に戻すことができ
る。
【0018】図15は、上記実施例における障害処理時
の動作を示している。クラスタ1501として3つの論
理計算機(1502から1504)が正常に稼動してい
る。この時、論理計算機1(1505)にて障害が発生
すると、論理計算機2(1508)と論理計算機3(1
509)を、サービス量を大きく低下させることなく処
理を継続することができるようにするため物理プロセッ
サの割当量を一時的に増加する。新しい論理計算機を追
加すると(1510)、論理計算機2(1508)と論
理計算機3(1509)の物理プロセッサ割り当て量を
元に戻すことで、障害発生前と同じ環境にすることがで
きる。また、本実施例では、論理計算機を基盤とした高
信頼化方法を述べているが、仮想計算機でも同じ手法で
高速化することができる。
【0019】本実施例の効果は、論理計算機上でクラス
タを構築する場合に、異なる物理プロセッサに割り当て
た論理計算機でクラスタシステムを構築することで、信
頼性を高めることができる。また、障害発生時におい
て、障害回復中は稼動中の論理計算機の物理プロセッサ
量を増加することでサービス量の低下を防ぐことができ
る。
【0020】また、本実施例ではクラスタシステムにつ
いて述べたが1つの論理計算機を現用計算機とし、その
論理計算機とは別の物理プロセッサに設定された他の論
理計算機をホットスタンバイ計算機として、ホットスタ
ンバイシステムを形成することが出来る。このとき、現
用計算機が設定される物理プロセッサに障害があったと
してもホットスタンバイ計算機は処理を引き継いで実行
することが出来る。
【0021】本実施例では、物理プロセッサと論理計算
機の割り当てについて述べたが、同様な手法を用いるこ
とで、物理プロセッサ以外の資源について高信頼化する
ことができる。例えば、ネットワーク装置において、同
一クラスタ内では異なるネットワーク装置を割り当てる
ことで、ネットワーク装置の障害に対しても実施例と同
じ効果を得ることができる。
【0022】
【発明の効果】本発明によれば複数の論理計算機を利用
したシステムの信頼性を向上させることができる。
【図面の簡単な説明】
【図1】本発明の一実施例における全体構成図を示す。
【図2】本発明の一実施例におけるクラスタ処理の概要
を示す。
【図3】本発明の一実施例における論理計算機の割り当
てを示す。
【図4】本発明の一実施例における論理計算機のクラス
タ化を示す。
【図5】本発明の一実施例における障害発生を示す。
【図6】本発明の一実施例におけるクラスタマネージャ
の構成を示す。
【図7】本発明の一実施例におけるクラスタコンソール
を示す。
【図8】本発明の一実施例における物理計算機構成情報
テーブルを示す。
【図9】本発明の一実施例における論理計算機構成情報
テーブルを示す。
【図10】本発明の一実施例におけるクラスタテーブル
を示す。
【図11】本発明の一実施例における論理計算機割り当
て機構のフローを示す。
【図12】本発明の一実施例における障害処理機構のフ
ローを示す。
【図13】本発明の一実施例における新プロセッサ割り
当てフローを示す。
【図14】本発明の一実施例における論理計算機の追加
フローを示す。
【図15】本発明の一実施例における障害時の動作を示
す。
【符号の説明】
101および103は論理計算機,104は計算機資源
分割機構,105はクラスタマネージャ,106は物理
プロセッサ,107はディスク装置,108はネットワ
ーク装置,109は物理計算機。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 15/177 674 G06F 15/177 674A 678 678A

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】複数の物理プロセッサと、前記複数の物理
    プロセッサのそれぞれに1つ又は複数個設定された論理
    計算機とを有し、異なる物理プロセッサに設定された複
    数の前記論理計算機を用いてクラスタシステムあるいは
    ホットスタンバイが構築されてなることを特徴とする多
    重化計算機システム。
  2. 【請求項2】前記物理プロセッサの障害時に、前記クラ
    スタを構築する複数の論理計算機のうち、前記障害のあ
    った物理プロセッサ以外の物理プロセッサに設定された
    論理計算機へのプロセッサ割り当て量を増加する手段を
    有することを特徴とする請求項1記載の多重化計算機シ
    ステム。
  3. 【請求項3】前記物理プロセッサの障害時に、前記クラ
    スタを構築する前記論理計算機が設定されている物理プ
    ロセッサとは異なる物理プロセッサに設定された論理計
    算機を前記クラスタに追加する手段を有することを特徴
    とする請求項1記載の多重化計算機システム。
  4. 【請求項4】前記論理計算機の設定時に、前記論理計算
    機が設定された物理プロセッサのプロセッサ量に空きを
    設けておくことを特徴とする請求項1記載の多重化計算
    機システム。
  5. 【請求項5】クラスタシステムとして必要なプロセッサ
    処理量が複数の前記論理計算機に分散して割り当てられ
    るよう前記論理計算機が設定されることを特徴とする請
    求項1記載の多重化計算機システム。
  6. 【請求項6】前記論理計算機に障害が発生したとき、そ
    れがソフトウェア障害であるとき当該論理計算機を再起
    動する手段を備えたことを特徴とする請求項1記載の多
    重化計算機システム。
  7. 【請求項7】1以上の論理計算機が設定可能な複数の物
    理プロセッサを有する計算機システムにおける論理計算
    機の割当方法であって、単一論理計算機当たりのプロセ
    ッサ割当量を決定し、空きプロセッサ量のある前記物理
    プロセッサを求め、求めた前記プロセッサに論理計算機
    を設定し、空きプロセッサ量があり先に求めた前記物理
    プロセッサとは異なる物理プロセッサを求め、求めた前
    記物理プロセッサに論理計算機を設定することを特徴と
    する論理計算機の割当方法。
  8. 【請求項8】1以上の論理計算機が設定可能な複数の物
    理プロセッサを有する計算機システムにおける論理計算
    機の割当のために、単一論理計算機当たりのプロセッサ
    割当量を決定する手段と、空きプロセッサ量のある前記
    物理プロセッサを求め、求めた前記プロセッサに論理計
    算機を設定する手段と、空きプロセッサ量があり先に求
    めた前記物理プロセッサとは異なる物理プロセッサを求
    め、求めた前記物理プロセッサに論理計算機を設定する
    手段として機能させるための論理計算機の割当プログラ
    ム。
  9. 【請求項9】1以上の論理計算機が設定可能な複数の物
    理プロセッサを有する計算機システムにおける論理計算
    機の割当のために、クラスタシステムを構成する単一論
    理計算機当たりのプロセッサ割当量を決定する第1の手
    段と、空きプロセッサ量のある前記物理プロセッサを求
    め、求めた前記プロセッサにクラスタシステムを構成す
    る論理計算機を設定する第2の手段と、空きプロセッサ
    量があり先に求めた前記物理プロセッサとは異なる物理
    プロセッサを求め、求めた前記物理プロセッサにクラス
    タシステムを構成する他の論理計算機を設定する第3の
    手段として機能させるための論理計算機の割当プログラ
    ム。
  10. 【請求項10】前記第1の手段は前記物理プロセッサに
    空きプロセッサ量が残るように決定することを特徴とす
    る請求項9記載の論理計算機の割当プログラム。
JP2002140084A 2002-05-15 2002-05-15 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム Expired - Fee Related JP4119162B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002140084A JP4119162B2 (ja) 2002-05-15 2002-05-15 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム
US10/336,711 US7062674B2 (en) 2002-05-15 2003-01-06 Multiple computer system and method for assigning logical computers on the same system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002140084A JP4119162B2 (ja) 2002-05-15 2002-05-15 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム

Publications (2)

Publication Number Publication Date
JP2003330740A true JP2003330740A (ja) 2003-11-21
JP4119162B2 JP4119162B2 (ja) 2008-07-16

Family

ID=29416927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002140084A Expired - Fee Related JP4119162B2 (ja) 2002-05-15 2002-05-15 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム

Country Status (2)

Country Link
US (1) US7062674B2 (ja)
JP (1) JP4119162B2 (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148839A (ja) * 2005-11-29 2007-06-14 Hitachi Ltd 障害回復方法
JP2008097276A (ja) * 2006-10-11 2008-04-24 Hitachi Ltd 障害回復方法、計算機システム及び管理サーバ
JP2008140198A (ja) * 2006-12-04 2008-06-19 Hitachi Ltd フェイルオーバ方法、およびその計算機システム。
JP2008269332A (ja) * 2007-04-20 2008-11-06 Hitachi Ltd サーバ仮想化環境におけるクラスタシステム構成方法及びクラスタシステム
JP2009510573A (ja) * 2005-09-30 2009-03-12 インターナショナル・ビジネス・マシーンズ・コーポレーション 故障した物理プロセッサを置換するための方法、装置、およびプログラム
JP2009510572A (ja) * 2005-09-30 2009-03-12 インターナショナル・ビジネス・マシーンズ・コーポレーション ロジカル・パーティションにプロセッサを割り当てるための方法、装置、およびプログラム
JP2009080692A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 仮想計算機システム及び同システムにおけるサービス引き継ぎ制御方法
WO2009081736A1 (ja) * 2007-12-26 2009-07-02 Nec Corporation 冗長構成管理システムおよび方法
WO2009081737A1 (ja) * 2007-12-26 2009-07-02 Nec Corporation 縮退構成設計システムおよび方法
JP2009205696A (ja) * 2009-06-15 2009-09-10 Hitachi Ltd マルチコアプロセッサ計算機の制御方法
JP2009217434A (ja) * 2008-03-10 2009-09-24 Fujitsu Ltd 資源割り当て方法及び装置並びにプログラム
JP2010237989A (ja) * 2009-03-31 2010-10-21 Oki Networks Co Ltd Haクラスタシステムおよびそのクラスタリング方法
JP2011086316A (ja) * 2011-01-31 2011-04-28 Hitachi Ltd 引継方法、計算機システム及び管理サーバ
US7937615B2 (en) 2006-12-19 2011-05-03 Hitachi, Ltd. Method for improving reliability of multi-core processor computer
JP2011523472A (ja) * 2008-03-18 2011-08-11 ライトスケール, インコーポレイテッド 仮想サーバを効率的に管理および構成するための方法ならびにシステム
JP2011258233A (ja) * 2011-08-26 2011-12-22 Hitachi Ltd フェイルオーバ方法、およびその計算機システム。
WO2012039053A1 (ja) * 2010-09-24 2012-03-29 株式会社日立製作所 計算機システムの運用管理方法、計算機システム及びプログラムを記憶する計算機読み取り可能な媒体
JP2012190175A (ja) * 2011-03-09 2012-10-04 Nec Corp フォールトトレラントシステム、サーバ、フォールトトレラント化方法およびプログラム
JP2013501270A (ja) * 2009-07-31 2013-01-10 株式会社エヌ・ティ・ティ・ドコモ 信頼性保証のある仮想化インフラストラクチャのためのリソース割振りプロトコル
JP2013532333A (ja) * 2010-06-18 2013-08-15 ノキア シーメンス ネットワークス オサケユキチュア サーバクラスター
JP2013190921A (ja) * 2012-03-13 2013-09-26 Oki Electric Ind Co Ltd クラスタシステム
JP2013210833A (ja) * 2012-03-30 2013-10-10 Nec Corp ジョブ管理装置、ジョブ管理方法、及びプログラム
JP2013222396A (ja) * 2012-04-18 2013-10-28 Mitsubishi Electric Corp 情報処理装置および情報処理方法およびプログラム
JP2013257626A (ja) * 2012-06-11 2013-12-26 Nippon Telegr & Teleph Corp <Ntt> 制御装置、制御方法および制御プログラム
JP2014522052A (ja) * 2011-08-01 2014-08-28 アルカテル−ルーセント ハードウェア故障の軽減
WO2014147802A1 (ja) * 2013-03-21 2014-09-25 富士通株式会社 情報処理装置、資源割当方法、及びプログラム
WO2014208661A1 (ja) * 2013-06-27 2014-12-31 日本電気株式会社 仮想マシン配置設計装置及び方法とシステム並びにプログラム
WO2015114816A1 (ja) * 2014-01-31 2015-08-06 株式会社日立製作所 管理計算機および管理プログラム
JP2015532754A (ja) * 2012-08-27 2015-11-12 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 仮想マシンの配備時間の最適化

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155638B1 (en) * 2003-01-17 2006-12-26 Unisys Corporation Clustered computer system utilizing separate servers for redundancy in which the host computers are unaware of the usage of separate servers
US7149923B1 (en) * 2003-01-17 2006-12-12 Unisys Corporation Software control using the controller as a component to achieve resiliency in a computer system utilizing separate servers for redundancy
US7194641B2 (en) * 2004-01-22 2007-03-20 International Business Machines Corporation Method and apparatus for managing power and thermal alerts transparently to an operating system in a data processing system with increased granularity in reducing power usage and thermal generation
US7334142B2 (en) * 2004-01-22 2008-02-19 International Business Machines Corporation Reducing power consumption in a logically partitioned data processing system with operating system call that indicates a selected processor is unneeded for a period of time
DE102005053275B4 (de) 2004-11-25 2021-11-11 Fujitsu Technology Solutions Gmbh Hochverfügbares Computerverbundsystem
JP4462024B2 (ja) * 2004-12-09 2010-05-12 株式会社日立製作所 ディスク引き継ぎによるフェイルオーバ方法
DE602006011827D1 (de) * 2005-05-02 2010-03-11 Cinnober Financial Technology System und Verfahren um ein Handelssystem wiederherzustellen
US7587623B2 (en) * 2005-05-02 2009-09-08 Cinnober Financial Technology Ab Systems and methods for recovering a trading system
US7937616B2 (en) * 2005-06-28 2011-05-03 International Business Machines Corporation Cluster availability management
JP4831599B2 (ja) 2005-06-28 2011-12-07 ルネサスエレクトロニクス株式会社 処理装置
JP4519098B2 (ja) * 2006-03-30 2010-08-04 株式会社日立製作所 計算機の管理方法、計算機システム、及び管理プログラム
US20080005538A1 (en) * 2006-06-30 2008-01-03 Apparao Padmashree K Dynamic configuration of processor core banks
US8201165B2 (en) 2007-01-02 2012-06-12 International Business Machines Corporation Virtualizing the execution of homogeneous parallel systems on heterogeneous multiprocessor platforms
JP4842210B2 (ja) * 2007-05-24 2011-12-21 株式会社日立製作所 フェイルオーバ方法、計算機システム、管理サーバ及び予備サーバの設定方法
FR2936068B1 (fr) * 2008-09-15 2013-01-11 Airbus France Procede et dispositif d'encapsulation d'applications dans un systeme informatique pour aeronef.
JP5507136B2 (ja) * 2009-07-09 2014-05-28 株式会社日立製作所 管理装置及び方法並びに計算機システム
US8359421B2 (en) * 2009-08-06 2013-01-22 Qualcomm Incorporated Partitioning a crossbar interconnect in a multi-channel memory system
BR112013029257B1 (pt) 2011-05-17 2021-03-02 Saab Ab sistema aviônico distribuído e método para manusear sistema de apoio em um sistema aviônico
GB2507229B (en) * 2011-07-26 2014-09-10 Ibm Managing workloads in a multiprocessing computer system
US8621463B2 (en) * 2011-09-09 2013-12-31 GM Global Technology Operations LLC Distributed computing architecture with dynamically reconfigurable hypervisor nodes
US20130304901A1 (en) * 2012-05-11 2013-11-14 James Malnati Automated integration of disparate system management tools
US9710273B2 (en) * 2014-11-21 2017-07-18 Oracle International Corporation Method for migrating CPU state from an inoperable core to a spare core
WO2019119332A1 (zh) * 2017-12-21 2019-06-27 深圳大学 一种面向异构存储的Spark任务动态迁移方法和系统
US11347558B2 (en) * 2019-12-09 2022-05-31 Nutanix, Inc. Security-aware scheduling of virtual machines in a multi-tenant infrastructure

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0472861B1 (en) * 1990-08-31 1995-09-20 International Business Machines Corporation Method and apparatus for cross-partition control in a partitioned process environment
JPH0727445B2 (ja) * 1990-09-04 1995-03-29 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータプロセッサ動作用ユーザインターフェイス
JP3657665B2 (ja) * 1995-02-14 2005-06-08 富士通株式会社 共用メモリに結合される複数の計算機システム及び共用メモリに結合される複数の計算機システムの制御方法
US6587938B1 (en) * 1999-09-28 2003-07-01 International Business Machines Corporation Method, system and program products for managing central processing unit resources of a computing environment

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009510573A (ja) * 2005-09-30 2009-03-12 インターナショナル・ビジネス・マシーンズ・コーポレーション 故障した物理プロセッサを置換するための方法、装置、およびプログラム
JP2009510572A (ja) * 2005-09-30 2009-03-12 インターナショナル・ビジネス・マシーンズ・コーポレーション ロジカル・パーティションにプロセッサを割り当てるための方法、装置、およびプログラム
JP4841632B2 (ja) * 2005-09-30 2011-12-21 インターナショナル・ビジネス・マシーンズ・コーポレーション ロジカル・パーティションにプロセッサを割り当てるための方法、装置、およびプログラム
JP2007148839A (ja) * 2005-11-29 2007-06-14 Hitachi Ltd 障害回復方法
JP4544146B2 (ja) * 2005-11-29 2010-09-15 株式会社日立製作所 障害回復方法
JP2008097276A (ja) * 2006-10-11 2008-04-24 Hitachi Ltd 障害回復方法、計算機システム及び管理サーバ
JP2008140198A (ja) * 2006-12-04 2008-06-19 Hitachi Ltd フェイルオーバ方法、およびその計算機システム。
US8423816B2 (en) 2006-12-04 2013-04-16 Hitachi, Ltd. Method and computer system for failover
US8010827B2 (en) 2006-12-04 2011-08-30 Hitachi, Ltd. Method and computer system for failover
US7937615B2 (en) 2006-12-19 2011-05-03 Hitachi, Ltd. Method for improving reliability of multi-core processor computer
JP2008269332A (ja) * 2007-04-20 2008-11-06 Hitachi Ltd サーバ仮想化環境におけるクラスタシステム構成方法及びクラスタシステム
JP2009080692A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 仮想計算機システム及び同システムにおけるサービス引き継ぎ制御方法
WO2009081737A1 (ja) * 2007-12-26 2009-07-02 Nec Corporation 縮退構成設計システムおよび方法
US8719624B2 (en) 2007-12-26 2014-05-06 Nec Corporation Redundant configuration management system and method
JP5526784B2 (ja) * 2007-12-26 2014-06-18 日本電気株式会社 縮退構成設計システムおよび方法
JPWO2009081737A1 (ja) * 2007-12-26 2011-05-06 日本電気株式会社 縮退構成設計システムおよび方法
JP5353712B2 (ja) * 2007-12-26 2013-11-27 日本電気株式会社 冗長構成管理システムおよび方法
US9141490B2 (en) 2007-12-26 2015-09-22 Nec Corporation Graceful degradation designing system and method
WO2009081736A1 (ja) * 2007-12-26 2009-07-02 Nec Corporation 冗長構成管理システムおよび方法
JP2009217434A (ja) * 2008-03-10 2009-09-24 Fujitsu Ltd 資源割り当て方法及び装置並びにプログラム
JP2011523472A (ja) * 2008-03-18 2011-08-11 ライトスケール, インコーポレイテッド 仮想サーバを効率的に管理および構成するための方法ならびにシステム
JP2010237989A (ja) * 2009-03-31 2010-10-21 Oki Networks Co Ltd Haクラスタシステムおよびそのクラスタリング方法
JP2009205696A (ja) * 2009-06-15 2009-09-10 Hitachi Ltd マルチコアプロセッサ計算機の制御方法
JP2013501270A (ja) * 2009-07-31 2013-01-10 株式会社エヌ・ティ・ティ・ドコモ 信頼性保証のある仮想化インフラストラクチャのためのリソース割振りプロトコル
US8990397B2 (en) 2009-07-31 2015-03-24 Ntt Docomo, Inc. Resource allocation protocol for a virtualized infrastructure with reliability guarantees
JP2013532333A (ja) * 2010-06-18 2013-08-15 ノキア シーメンス ネットワークス オサケユキチュア サーバクラスター
US9397953B2 (en) 2010-09-24 2016-07-19 Hitachi, Ltd. Operation managing method for computer system, computer system and computer-readable storage medium having program thereon
WO2012039053A1 (ja) * 2010-09-24 2012-03-29 株式会社日立製作所 計算機システムの運用管理方法、計算機システム及びプログラムを記憶する計算機読み取り可能な媒体
JP2011086316A (ja) * 2011-01-31 2011-04-28 Hitachi Ltd 引継方法、計算機システム及び管理サーバ
JP2012190175A (ja) * 2011-03-09 2012-10-04 Nec Corp フォールトトレラントシステム、サーバ、フォールトトレラント化方法およびプログラム
JP2014522052A (ja) * 2011-08-01 2014-08-28 アルカテル−ルーセント ハードウェア故障の軽減
JP2011258233A (ja) * 2011-08-26 2011-12-22 Hitachi Ltd フェイルオーバ方法、およびその計算機システム。
JP2013190921A (ja) * 2012-03-13 2013-09-26 Oki Electric Ind Co Ltd クラスタシステム
JP2013210833A (ja) * 2012-03-30 2013-10-10 Nec Corp ジョブ管理装置、ジョブ管理方法、及びプログラム
JP2013222396A (ja) * 2012-04-18 2013-10-28 Mitsubishi Electric Corp 情報処理装置および情報処理方法およびプログラム
JP2013257626A (ja) * 2012-06-11 2013-12-26 Nippon Telegr & Teleph Corp <Ntt> 制御装置、制御方法および制御プログラム
JP2015532754A (ja) * 2012-08-27 2015-11-12 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 仮想マシンの配備時間の最適化
WO2014147802A1 (ja) * 2013-03-21 2014-09-25 富士通株式会社 情報処理装置、資源割当方法、及びプログラム
US9792142B2 (en) 2013-03-21 2017-10-17 Fujitsu Limited Information processing device and resource allocation method
WO2014208661A1 (ja) * 2013-06-27 2014-12-31 日本電気株式会社 仮想マシン配置設計装置及び方法とシステム並びにプログラム
US9904566B2 (en) 2013-06-27 2018-02-27 Nec Corporation Selecting virtual machine placement by computing network link utilization and link variance
WO2015114816A1 (ja) * 2014-01-31 2015-08-06 株式会社日立製作所 管理計算機および管理プログラム
US9990258B2 (en) 2014-01-31 2018-06-05 Hitachi, Ltd. Management computer and management program

Also Published As

Publication number Publication date
JP4119162B2 (ja) 2008-07-16
US20030217088A1 (en) 2003-11-20
US7062674B2 (en) 2006-06-13

Similar Documents

Publication Publication Date Title
JP2003330740A (ja) 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム
JP3696960B2 (ja) 並列演算処理システム及び並列演算処理方法
EP3487149B1 (en) Data shard storage method, device and system
US7849286B2 (en) Method for dynamic load balancing on partitioned systems
JP4261543B2 (ja) 動作不能なマスタ作業負荷管理プロセスを代替するシステムおよび方法
US7516353B2 (en) Fall over method through disk take over and computer system having failover function
US7992032B2 (en) Cluster system and failover method for cluster system
US7487222B2 (en) System management architecture for multi-node computer system
US20080307425A1 (en) Data Processing System and Method
JP6840099B2 (ja) サービス提供システム、資源割り当て方法、及び資源割り当てプログラム
JP2004252591A (ja) 計算機システム、i/oデバイス及びi/oデバイスの仮想共有方法
JP2019101702A (ja) 記憶システム及びその制御方法
EP3992792A1 (en) Resource allocation method, storage device, and storage system
US11055263B2 (en) Information processing device and information processing system for synchronizing data between storage devices
JP2010205208A (ja) ホストコンピュータ、マルチパスシステム、パス割当方法およびプログラム
JP2021026375A (ja) ストレージシステム
JP2000222376A (ja) 計算機システムとその運用方法
US11762681B2 (en) Dynamic configuration of virtual objects
CN112256204B (zh) 存储资源分配方法、装置、存储节点及存储介质
CN115827745A (zh) 内存数据库集群的实现方法、装置及内存数据库集群
JP2010205207A (ja) ホストコンピュータ、マルチパスシステム、パス割当方法およびプログラム
JP2017156894A (ja) 仮想マシン管理装置、システム、および仮想マシン管理方法
CN116225306A (zh) 存储系统以及存储程序更新方法
JP2023151189A (ja) ストレージシステム及びその制御方法
CN112379845A (zh) 一种集群扩容方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070115

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees