JP2003178046A - クラスタシステムならびにその運転管理装置および方法 - Google Patents

クラスタシステムならびにその運転管理装置および方法

Info

Publication number
JP2003178046A
JP2003178046A JP2002281529A JP2002281529A JP2003178046A JP 2003178046 A JP2003178046 A JP 2003178046A JP 2002281529 A JP2002281529 A JP 2002281529A JP 2002281529 A JP2002281529 A JP 2002281529A JP 2003178046 A JP2003178046 A JP 2003178046A
Authority
JP
Japan
Prior art keywords
power supply
server
operation management
servers
server computers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002281529A
Other languages
English (en)
Other versions
JP3776072B2 (ja
Inventor
Yoshihiro Misorizaki
好弘 三反崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isa Co Ltd
Original Assignee
Isa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isa Co Ltd filed Critical Isa Co Ltd
Priority to JP2002281529A priority Critical patent/JP3776072B2/ja
Publication of JP2003178046A publication Critical patent/JP2003178046A/ja
Application granted granted Critical
Publication of JP3776072B2 publication Critical patent/JP3776072B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Power Sources (AREA)
  • Hardware Redundancy (AREA)

Abstract

(57)【要約】 【課題】 電源障害時のトラブルを回避し得るクラスタ
システムならびにその運転管理装置および方法を提供す
る。 【解決手段】 サーバ5a〜5dおよびRAID4a〜
4cのいずれかのデバイスの電源系統に障害が発生する
と、UPS30a〜30cのいずれかによる電力バック
アップが行われる。その間に、サーバ5a〜5dは、ク
ラスタシステムとしての整合性担保のために、その電源
障害発生デバイスの役割を他のデバイスに割り振るシス
テム再編成処理を行う。例えば、サーバ2aの電源系統
に障害が発生した場合には、それまでサーバ2aが行っ
ていたジョブを他のサーバ2b〜2dに割り振ると共
に、サーバ2b〜2dによるRAID4a〜4cの共有
関係を変更する。運転管理装置10a〜10cは、シス
テム再編成処理終了を確認した後、障害発生電源系統か
ら電力供給を受けていたサーバおよびUPSへの電力供
給を停止する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数のコンピュー
タを結びつけて論理上1つのコンピュータとして機能さ
せるようにしたクラスタシステムならびにその運転管理
装置および方法に関する。
【0002】
【従来の技術】物理的には独立した複数のコンピュータ
を互いに結びつけて論理的に1つの固まりとなし、利用
者に対しては単一のコンピュータであるかのように見せ
るようにした技術が知られている。この技術は、一般
に、クラスタリングあるいはクラスタ接続と呼ばれ、こ
の技術を用いて構成したコンピュータシステムはクラス
タシステムと呼ばれている。
【0003】このクラスタシステムによれば、小規模な
コンピュータを複数つなぎ合わせていくことで、利用方
法の変更を伴わずに、高い処理能力を有する大規模なシ
ステムに成長させることができる。しかも、大型のコン
ピュータを用いた場合に比べて、より安価に大規模なシ
ステムを構築することができる。また、システムの冗長
化、多重化を図ることで、システムとしての耐障害性を
高めることも可能である。
【0004】ところで、従来より、停電等の電源状態異
常時に商用電源から内蔵バッテリへの電源切り換えを自
動的に行い、接続された電気機器への電源供給バックア
ップを可能にした無停電電源装置(以下、UPS(Unint
eruptible Power Supply) という。)が知られている。
特に、ワークステーション(以下、WSという。)やパ
ーソナルコンピュータ(以下、PCという。)等の情報
処理装置および外部記憶装置等の周辺機器を含む情報処
理システムにおいては、データの喪失やシステムクラッ
シュ等を防止するには電源の瞬断さえも許されないの
で、このUPSが必要不可欠になってきている。
【0005】
【発明が解決しようとする課題】しかしながら、上記し
たクラスタシステムにおいては、電源異常が発生するこ
とは想定されていなかった。このため、クラスタシステ
ムの構成要素である各コンピュータや記憶装置における
電源環境の安全性を担保するために上記のUPSをどの
ように配置して電源障害発生時にはどのようなシーケン
スで対処すればよいか等については、何ら考慮がなされ
ていなかった。したがって、一旦電源障害が発生した場
合には、ユーザの介在を余儀なくされ、しかも、ユーザ
が適切な対処を怠った場合には、システムとしての正常
性あるいは整合性が失われるおそれもあった。
【0006】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、電源に障害が発生した場合に予想さ
れるトラブルを自動的に回避することができるクラスタ
システムならびにその運転管理装置および方法を提供す
ることにある。
【0007】請求項1記載のクラスタシステムは、サー
バコンピュータ、記憶装置、無停電電源装置、および運
転管理装置を含んで構成されたクラスタシステムであっ
て、いずれかのサーバコンピュータまたは記憶装置の電
源系統に障害が発生した場合に、無停電電源装置による
電力バックアップ期間中に、複数のサーバコンピュータ
は、クラスタシステムとしての整合性を担保するための
システム再編成処理を行い、運転管理装置は、システム
再編成処理の終了を確認したのち、障害の発生した電源
系統から電力供給を受けていたサーバコンピュータおよ
び記憶装置への電力供給を停止するようにしたものであ
る。
【0008】請求項1記載のクラスタシステムでは、電
源障害発生時、無停電電源装置による電力バックアップ
期間中に、複数のサーバコンピュータがクラスタシステ
ムとしての整合性を担保するためのシステム再編成処理
を行い、運転管理装置が、システム再編成処理の完了を
確認した後、電源障害の発生したサーバコンピュータお
よび記憶装置への電力供給を停止する。
【0009】請求項4記載のクラスタシステムの運転管
理装置は、サーバコンピュータ、記憶装置、および無停
電電源装置を含んで構成されたクラスタシステムに適用
される運転管理装置であって、いずれかのサーバコンピ
ュータまたは記憶装置の電源系統に障害が発生した場合
において、クラスタシステムとしての整合性を担保する
ためのシステム再編成処理が無停電電源装置による電力
バックアップ期間中に複数のサーバコンピュータにより
行われたことを確認したのち、障害の発生した電源系統
から電力供給を受けていたサーバコンピュータおよび記
憶装置への電力供給を停止するようにしたものである。
【0010】請求項4記載のクラスタシステムの運転管
理装置は、いずれかのサーバコンピュータまたは記憶装
置の電源系統に障害が発生すると、無停電電源装置によ
る電力バックアップ期間中にシステム再編成処理が複数
のサーバコンピュータにより行われたことを確認したの
ちに、障害の発生した電源系統から電力供給を受けてい
たサーバコンピュータおよび記憶装置への電力供給を停
止する。
【0011】請求項5記載のクラスタシステムの運転管
理方法は、クラスタシステムに適用される運転管理方法
であって、いずれかのサーバコンピュータまたは記憶装
置の電源系統に障害が発生すると、無停電電源装置によ
る電力バックアップ期間中に、複数のサーバコンピュー
タにおいてクラスタシステムとしての整合性を担保する
ためのシステム再編成処理を行い、運転管理装置におい
て、システム再編成処理の終了を確認したのち、障害の
発生した電源系統から電力供給を受けていたサーバコン
ピュータおよび記憶装置への電力供給を停止するように
したものである。
【0012】請求項5記載のクラスタシステムの運転管
理方法では、いずれかのサーバコンピュータまたは記憶
装置の電源系統に障害が発生すると、無停電電源装置に
よる電力バックアップ期間中に、複数のサーバコンピュ
ータにおいてクラスタシステムとしての整合性を担保す
るためのシステム再編成処理が行われ、運転管理装置に
おいて、システム再編成処理の終了が確認されたのち、
障害の発生した電源系統から電力供給を受けていたサー
バコンピュータおよび記憶装置への電力供給が停止され
る。
【0013】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。
【0014】〔第1の実施の形態〕図1は本発明の第1
の実施の形態に係るクラスタシステムの概略構成を表す
ものである。このクラスタシステムは、それぞれ物理的
に独立して構成されると共にLAN(ローカルエリアネ
ットワーク)1によって相互に接続された4台のサーバ
2a〜2dと、データ線3によってサーバ2a〜2dに
接続された記憶装置としての3台のRAID(Redundant
Arrays of Inexpensive Disks) 4a〜4cとを含んで
構成されている。
【0015】サーバ2a〜2dは、それぞれ、クラスタ
接続のための例えばミドルウェアと呼ばれる専用のソフ
トウェアを搭載している。以下の説明では、この専用ソ
フトウェアをクラスタリングプログラムと呼ぶものとす
る。サーバ2a〜2dの間をクラスタ接続するために必
要な制御情報は、LAN1を用いてやり取りされるよう
になっている。サーバ2a〜2dとしては、それぞれ、
例えばPCやWS等の小型のコンピュータが用いられ
る。RAID4a〜4cは、サーバ2a〜2dによって
共有されるデータを格納するためのものである。データ
線3としては、例えばSCSI(Small Computer System
Interface) 規格のデータケーブルが用いられる。RA
ID4a〜4cは、複数のハードディスクを冗長接続し
て構成したディスクアレイである。このような構成のク
ラスタシステムは、LAN1に接続された1または複数
のクライアントコンピュータ(図示せず)によって、論
理上単一のコンピュータとして認識され、利用されるよ
うになっている。
【0016】ここで、サーバ2a〜2dが、それぞれ、
本発明における「サーバコンピュータ」に対応し、RA
ID4a〜4cが、それぞれ、本発明における「記憶装
置」に対応する。また、LAN1が本発明における「通
信ネットワーク」に対応する。
【0017】サーバ2a〜2dは、それぞれ、運転管理
装置10a〜10cおよび無停電電源装置(以下、UP
Sという。)20aから電力供給を受け、RAID4a
〜4cは、いずれもUPS20aから電力供給を受ける
ようになっている。運転管理装置10aは、UPS30
aからの電力供給を受けて動作し、運転管理装置10
b,10cは、UPS30bからの電力供給を受けて動
作する。UPS20aは、運転管理装置10aに相当す
る機能を有する運転管理部20aaとUPS30aに相
当する機能を有する電源部20abとを備えている。本
実施の形態において、UPS30a,30bおよびUP
S20aは、それぞれ、異なる系統の商用電源(図示せ
ず)に接続されているものとする。
【0018】サーバ2a〜2cと運転管理装置10a〜
10cとの間、およびサーバ2dとUPS20aとの間
は、それぞれ、専用のシリアルデータ線5a〜5dによ
って接続されている。シリアルデータ線5a〜5dとし
ては、例えば、RS232C規格のデータ線が用いられ
る。運転管理装置10aとUPS30aとの間は信号線
6aによって接続され、運転管理装置10bおよび10
cとUPS30bとの間は信号線6bによって接続され
ている。
【0019】UPS30aは、自己の利用している商用
電源の電源系統に停電等の電源障害が発生すると、商用
電源の側から内蔵するバッテリ(図示せず)の側に切り
替えて継続して電力供給を行うと共に、信号線6aを介
して、運転管理装置10aに電源異常信号S1を送出す
るようになっている。同様に、UPS30bは、その電
源系統に電源障害が発生すると、内蔵するバッテリの側
に切り替えて継続して電力供給を行うと共に、信号線6
bを介して、運転管理装置10b,10cに電源異常信
号(図示せず)を送出する。また、UPS20aにおい
て、電源部20abは、その電源系統に障害が発生する
と、内蔵するバッテリの側に切り替えて継続して電力供
給を行うと共に、運転管理部20aaに電源異常信号
(図示せず)を送る。運転管理装置10a〜10cおよ
びUPS20aの運転管理部20aaは、それぞれ、電
源異常信号を受け取ると、データ線5a〜5dを介して
自己の担当するサーバ2a〜2dに対し、シャットダウ
ン処理を実行させるためのシャットダウン命令S2を送
出するようになっている。
【0020】図2は、運転管理装置10aの内部構成を
表すものである。この図に示したように、運転管理装置
10aは、装置全体の動作を制御するCPU11と、デ
ータ線5aに接続されたシリアルインタフェイス(I/
F)部12と、装置の動作を律するプログラムを格納す
るROM(リード・オンリ・メモリ)13と、ワークメ
モリとしてのRAM(ランダム・アクセス・メモリ)1
4と、装置の動作に係わる各種の情報を格納する不揮発
性メモリ15と、各種の入出力信号のインタフェイスを
行う入出力(I/O)部16とを含んで構成されたコン
トローラ100を備えている。コントローラ100内の
各部は内部バス9によって相互に接続されている。
【0021】運転管理装置10aはまた、一端が電源ケ
ーブルC1に接続された電源ノイズ除去用のノイズフィ
ルタ19を備えている。このノイズフィルタ19の他端
側は、開閉スイッチSW1を介してサーバ用のACコネ
クタPa,Pbに接続されると共に、開閉スイッチSW
2を介して周辺装置用のACコネクタPc〜Peに接続
されるようになっている。電源ケーブルC1はUPS3
0aに接続されている。開閉スイッチSW1,SW2
は、それぞれ、CPU11からの指示により入出力部1
6から出力されるスイッチ制御信号SC1,SC2によ
って、互いに独立したタイミングで開閉制御されるよう
になっている。なお、開閉スイッチSW1,SW2は、
例えば半導体スイッチで構成可能である。
【0022】入出力部16には、UPS30aから信号
線6aを介して送られてくる電源異常信号S1が入力さ
れるほか、手動操作スイッチ17からの起動信号または
停止信号が入力されるようになっている。シリアルI/
F部12は、CPU11からのシャットダウン命令S2
をシリアルデータ線5aを介してサーバ2aに送出する
と共に、サーバ2aからシリアルデータ線5aを介して
送られてきたシャットダウン完了通知S3を受信してC
PU11に渡すようになっている。
【0023】なお、以上の構成は、他の運転管理装置1
0b,10cおよびUPS20aの運転管理部20aa
においても同様である。それらの説明は省略する。
【0024】図3は、図1におけるUPS30aの概略
構成を表すものである。この装置は、入力端が電源ケー
ブルC2に接続された整流器31と、一端側が整流器3
1の出力端に接続されたDC/DCコンバータ32と、
DC/DCコンバータ32の他端側に接続されたバッテ
リ33と、入力端が整流器31の出力端およびDC/D
Cコンバータ32の一端に接続され、出力端が交流出力
端子P1,P2に接続されたインバータ34と、整流器
31、DC/DCコンバータ32およびインバータ34
等を制御するコントローラ37とを備えている。
【0025】整流器31は、図示しない商用電源から入
力された交流電圧を整流して直流電圧にするためのもの
である。この整流器31に入力される交流電圧は、コン
トローラ37によって監視される。コントローラ37
は、整流器31に入力される交流電圧のレベルが所定の
しきい値を下回った場合には、停電等の発生と判断し
て、電源異常信号S1を運転管理装置10aに出力する
ようになっている。
【0026】DC/DCコンバータ32は、整流器31
からの出力電圧を所定の電圧に変換してバッテリ33に
入力する一方、バッテリ33からの出力電圧レベルを逆
変換してインバータ34に入力するようになっている。
インバータ34は、直流電圧を交流電圧に変換するため
のものである。なお、バッテリ33からDC/DCコン
バータ32に入力される直流電圧はコントローラ37に
よって監視されるようになっている。コントローラ37
には運転スイッチ38が接続されている。この運転スイ
ッチ38を手動操作することによって、UPS30aの
運転開始および停止が可能となっている。コントローラ
37はまた、制御信号ケーブル19が、接続部39によ
って他のUPS11−2,11−3と並列に接続されて
いる。
【0027】なお、以上の構成は、他のUPS30bお
よびUPS20aの電源部20abにおいても同様であ
る。その説明は省略する。
【0028】図4〜図6は、サーバ2aが保有している
制御情報の一部を表すものである。ここで、図4はジョ
ブ割り振り情報の内容を示し、図5はRAID共有情報
の内容を示し、図6は異常時処理情報の内容を示してい
る。
【0029】図4に示したジョブ割り振り情報は、クラ
スタシステム内においてサーバ2aが行うように割り振
られたジョブを示すものである。この図の例では、サー
バ2aには、ジョブA,B,C,…等のジョブが割り振
られており、それぞれについて優先度が設定されてい
る。また、各ジョブごとに、サーバ2aが異常停止した
場合にそのジョブを引き継ぐこととなる他のサーバ名が
設定されている。
【0030】図5に示したRAID共有情報は、サーバ
2aが他のサーバと共有しているファイルおよびその共
有ファイルを格納しているRAIDを示すものである。
この図の例では、RAID4a内に3つの共有ファイル
SF1〜SF3が格納され、RAID4b内に4つの共
有ファイルSF1〜SF4が格納されている。そして、
各共有ファイルごとに、RAID内におけるファイルア
ドレスと、各共有ファイルを共有している相手サーバ名
とが記録されている。
【0031】図6に示した異常時処理情報は、電源異常
が発生した場合に、サーバ間で制御情報のやり取りを行
うために必要な情報を示すものである。この図の例で
は、シャットダウン命令転送先サーバとして、自分以外
のすべてのサーバ2b〜2dのサーバ名とそれぞれのI
Pアドレスとが登録され、マスタサーバとして、RAI
D4a〜4cにも電力を供給しているUPS20aが担
当するサーバ2dのサーバ名とそのIPアドレスとが登
録されている。ここで、シャットダウン命令転送先サー
バとは、後述するように、サーバ2aが運転管理装置1
0aからシャットダウン命令S2を受けた場合に、その
シャットダウン命令S2を転送する宛先のサーバを示す
ものである。また、マスタサーバとは、後述するよう
に、サーバ2aがシャットダウン処理を完了した場合
に、その旨を示すシャットダウン完了通知を送る宛先の
サーバを示すものである。なお、IP(Internet Protoc
ol) アドレスは、このクラスタシステムのLAN1で用
いるプロトコルが例えばTCP/IP(Transmission C
ontrol Protocol / Internet Protocol)である場合に通
常用いられるLANアドレスである。
【0032】なお、他のサーバ2b〜2dもまた、それ
ぞれ、図4〜図6に示したのと同様の制御情報を保有し
ている。
【0033】次に、上のような構成のクラスタシステム
の動作を説明する。
【0034】まず、通常の運転時における動作を説明す
る。通常の運転時においては、サーバ2a〜2dは、L
AN1を介してクラスタリングに必要な制御情報を相互
にやり取りしながら、図示しないクライアントコンピュ
ータからの要求に応じた処理を行い、クライアントから
見れば論理上単一のコンピュータであるかのように有機
的かつ協働的に動作する。サーバ2a〜2dは、RAI
D4a〜4c上のデータを共有しており、必要に応じて
各サーバ2a〜2dからRAID4a〜4cのいずれか
に対してアクセスを行う。サーバ2a〜2dは、それぞ
れ、RAID4a〜4cのうちのいずれが自己のアクセ
ス対象であるかを示すRAID共有情報を保有をしてい
る。例えば、サーバ2aがRAID4a上のデータおよ
びRAID4b上のデータを他のサーバ2b〜2dと共
有しているとすると、サーバ2aが保有するRAID共
有情報の内容は、RAID4aおよびRAID4bを示
す識別情報、ならびに、RAID4a,4bのそれぞれ
における共有データの格納アドレスおよびファイル名等
を含むものとなる。
【0035】サーバ2a〜2dは、それぞれに割り振ら
れたジョブを実行する。このジョブの割り振りは、各サ
ーバが保有しているクラスタリングプログラムによって
行われる。このクラスタリングプログラムは、特定のサ
ーバに負荷が集中しないように、各サーバの稼働状況を
相互に監視して、負荷を均等化する処理を行う。
【0036】次に、図7を参照して、いずれかの電源系
統に異常が発生した場合の動作を説明する。この図7
は、図1に示したクラスタシステム全体としての処理動
作をまとめて表すものである。ここでは、例えば、UP
S30aに電力を供給している商用電源系統に停電等の
異常が発生した場合を想定して説明する。
【0037】UPS30aのコントローラ37(図3)
は、整流器31を監視して、電力供給を受けている商用
電源系統に停電等の異常が発生したことを検知すると、
電源異常信号S1を出力する。運転管理装置10aのC
PU11は、UPS30aからの電源異常信号S1の入
力の有無を監視し、電源異常信号S1が入力されたこと
を検知すると(ステップS101)、シリアルI/F部
12からシリアルデータ線5aを介して、サーバ2aに
対してシャットダウン命令S2を送出する(ステップS
102)。
【0038】運転管理装置10aからシャットダウン命
令S2を受けたサーバ2aは、図6に示した異常時処理
情報を参照して、シャットダウン命令転送先サーバのI
Pアドレスを抽出し、それらのサーバに対し、LAN1
を介して、シャットダウン命令S2を転送する(ステッ
プS103)。その後、サーバ2aは、自らシャットダ
ウン処理を行う(ステップS104)。この図の例で
は、サーバ2b〜2dに対してシャットダウン命令S2
が転送される。具体的には、サーバ2b〜2dのIPア
ドレスとシャットダウン命令S2とを含むように構成さ
れたパケットデータがLAN1上に送出され、サーバ2
c〜2dによってそれぞれ受信される。
【0039】サーバ2b〜2dは、それぞれ、サーバ2
aからのパケットデータを受け取り、そこからシャット
ダウン命令S2を取り込む(ステップS105)。そし
て、サーバ2b〜2dは、それぞれ、所定の手順でシャ
ットダウン処理を実行する(ステップS106)。
【0040】サーバ2a〜2dは、それぞれシャットダ
ウン処理が終了すると、シリアルデータ線5a〜5dを
介して、各々を担当する対応する運転管理装置10a〜
10cおよびUPS20aに対してシャットダウン完了
通知S3を送出する(ステップS107)。さらに、サ
ーバ2a〜2cは、各々が保有している異常処理情報
(図6)を参照して、マスタサーバであるサーバ2dの
IPアドレスを抽出し、それぞれ、サーバ2dに対し
て、シャットダウン完了通知S3をパケットデータの形
式で送出する(ステップS108)。サーバ2dは、サ
ーバ2a〜2cから送られてきたシャットダウン完了通
知S3を受信すると(ステップS109)、自らを含む
システム内のすべてのサーバがシャットダウン処理を完
了したと判断し、その旨を示す全サーバ完了通知S4を
UPS20aに送る(ステップS110)。これを受け
たUPS20aは、サーバ2dに対する電力供給を停止
する(ステップS111)。
【0041】運転管理装置10a〜10cは、それぞれ
シリアルデータ線5a〜5dを介して、対応するサーバ
2a〜2cからシャットダウン完了通知S3を受け取る
と(ステップS212)、サーバ2a〜2cへの電力供
給を停止する(ステップS213)。具体的には、図2
におけるCPU11が、入出力部16を介して、スイッ
チ制御信号SC1を出力し開閉スイッチSW1をオフ状
態にする。また、UPS20aの運転管理部20aa
は、サーバ2dへの電力供給を停止したのち、所定の時
間をおいて、RAID4a〜4cへの電力供給を停止す
る(ステップS214)。具体的には、図2におけるC
PU11が、入出力部16を介して、スイッチ制御信号
SC1を出力して開閉スイッチSW1をオフ状態にする
と共に、所定の時間経過後に、スイッチ制御信号SC2
を出力して開閉スイッチSW2をオフ状態にする。
【0042】このようにして、本実施の形態によれば、
いずれかの電源系統に異常が発生した場合に、クラスタ
システムを構成するすべてのサーバ2a〜2dがシャッ
トダウン処理を行い、かつ運転を停止したのちに、RA
ID4a〜4cの運転を停止させるようにすることがで
きるので、クラスタシステムとしての整合性を保ちつ
つ、システム全体の運転を終了させることが可能であ
る。したがって、クラスタシステムとしての整合性が保
たれる。すなわち、その後、システムの運転を開始する
場合に、正常に起動を行うことができる。
【0043】なお、本実施の形態では、サーバ2aに電
力を供給している商用電源系統に障害が発生した場合を
想定して説明したが、他のサーバ2b〜2dに電力を供
給している商用電源系統に障害が発生した場合の動作に
ついても、上記とほぼ同様である。すなわち、電源障害
発生を検知した運転管理装置10a〜10cのいずれか
またはUPS20aが自分の担当するサーバに対してシ
ャットダウン命令S2を送信する点、シャットダウン命
令S2を受けたサーバが他のすべてのサーバにシャット
ダウン命令S2を転送する点、および、RAID4a〜
4cに電力を供給しているUPS20aが担当するサー
バ2dをマスタのサーバとして機能させる点等は、同様
である。
【0044】〔第2の実施の形態〕次に、本発明の他の
実施の形態を説明する。
【0045】上記第1の実施の形態では、電源異常の発
生した商用電源系統から電力供給を受けているサーバが
他のサーバに対してシャットダウン命令S2を転送する
ことによって、システム内のすべてのサーバのシャット
ダウン処理の実行を実現している。しかしながら、電源
異常の発生した商用電源系統から電力供給を受けている
サーバが、何らかの理由で運転を停止していた場合に
は、他のサーバに対してシャットダウン命令S2を転送
することができず、システム内のすべてのサーバのシャ
ットダウン処理の実行を実現することができない。
【0046】本実施の形態は、そのような不都合を回避
するために、例えば図8に示したように、運転管理装置
110a〜110cおよびUPS120aをLAN1に
直接接続し、このLAN1を介して、運転管理装置11
0a〜110cおよびUPS120aの間でシャットダ
ウン命令S2等の制御信号をやり取りするようにしたも
のである。
【0047】図8は本発明の第2の実施の形態に係るク
ラスタシステムの全体構成を表すものである。なお、こ
の図で、上記の図1に示した構成要素と同一部分には同
一の符号を付し、適宜説明を省略する。このクラスタシ
ステムは、上記第1の実施の形態(図1)における運転
管理装置10a〜10cおよびUPS20aに代えて、
それぞれLAN1に直接接続された運転管理装置110
a〜110cおよびUPS120aを含んでいる。UP
S120aは、運転管理部120aaおよび電源部12
0abを有している。
【0048】図9は、図8における運転管理装置110
aの構成を表すものである。この図に示したように、運
転管理装置110aは、上記第1の実施の形態(図2)
に示したコントローラ100に代えて、コントローラ1
00′を有している。このコントローラ100′は、図
2に示したシリアルI/F部12に代えて、LAN1に
接続するためのLANインタフェイス(I/F)部18
を有している。不揮発性メモリ15には、LAN1に対
する接続処理に必要な情報として、例えばユーザ名、パ
スワード、IPアドレス等が登録されている。
【0049】本実施の形態では、サーバ2a〜2dは、
それぞれ、予め割り当てられた他の特定のサーバが何ら
かの理由によって運転を停止する場合には、その運転を
停止するサーバのIPアドレスを取得して、そのサーバ
の肩代わりをするようになっている。具体的には、例え
ばサーバ2bは、サーバ2aが運転を停止するときに
は、サーバ2aが有しているIPアドレスを取得し、そ
れ以降、サーバ2aとしての役割を果たすように動作す
る。また、例えばサーバ2cは、サーバ2bが運転を停
止するときには、サーバ2bが有しているIPアドレス
を取得し、それ以降、サーバ2bとしての役割を果たす
ように動作する。サーバ2cについても同様である。
【0050】その他の構成は、上記第1の実施の形態の
場合と同様である。
【0051】次に、このような構成のクラスタシステム
の動作を説明する。なお、通常運転時の動作は、上記第
1の実施の形態の場合と同様であるので、その説明は省
略し、電源系統に異常が発生した場合の動作のみを説明
する。
【0052】本実施の形態においても、例えば、UPS
30aに電力を供給している商用電源系統に停電等の異
常が発生した場合を想定して説明する。
【0053】ここではまず、すべてのサーバ2a〜2d
が正常に運転している場合について説明する。UPS3
0aのコントローラ37(図3)は、その電源系統の異
常を検知すると、電源異常信号S1を出力する。運転管
理装置110aのCPU11(図8)は、UPS30a
からの電源異常信号S1の入力を検知すると、LANイ
ンタフェイス部18から、LAN1を介して、担当する
サーバ2aにパケットデータ形式でシャットダウン命令
S2を送信する。これ以降の処理は、サーバと運転管理
装置との間の制御情報のやり取りをすべてLAN1経由
で行う点を除き、上記第1の実施の形態の場合と同様で
ある。
【0054】すなわち、運転管理装置110aからシャ
ットダウン命令S2を受けたサーバ2aは、サーバ2b
〜2dに対してパケットデータ形式でシャットダウン命
令S2を転送すると共に、自らシャットダウン処理を実
行する。サーバ2b〜2dは、それぞれ、サーバ2aか
らのシャットダウン命令S2を受け取ると、各々シャッ
トダウン処理を実行する。サーバ2a〜2dは、それぞ
れ、シャットダウン処理が終了すると、LAN1を介し
て、対応する運転管理装置110a〜110cおよびU
PS120aに対してパケットデータ形式でシャットダ
ウン完了通知S3を送出する。さらに、サーバ2a〜2
cは、各々が保有している異常処理情報(図6)を参照
して、マスタサーバであるサーバ2dに対して、シャッ
トダウン完了通知S3をパケットデータの形式で送出す
る。サーバ2dは、サーバ2a〜2cから送られてきた
シャットダウン完了通知S3を受信すると、自らを含む
システム内のすべてのサーバがシャットダウン処理を完
了したと判断し、その旨を示す全サーバ完了通知S4を
UPS120aに送る。これを受けたUPS120a
は、サーバ2dに対する電力供給を停止する。また、運
転管理装置110a〜110cは、それぞれLAN1経
由で、対応するサーバ2a〜2cからシャットダウン完
了通知S3を受け取ると、サーバ2a〜2cへの電力供
給を停止する。そして、UPS120aの運転管理部1
20aaは、サーバ2dへの電力供給を停止したのち、
所定の時間をおいて、RAID4a〜4cへの電力供給
を停止する。
【0055】次に、サーバ2aが何らかの理由で停止し
ていた場合について説明する。UPS30aのコントロ
ーラ37(図3)は、その電源系統の異常を検知する
と、電源異常信号S1を出力する。運転管理装置110
aのCPU11(図8)は、UPS30aからの電源異
常信号S1の入力を検知すると、LANインタフェイス
部18から、LAN1を介して、担当するサーバ2aに
パケットデータ形式でシャットダウン命令S2を送信す
る。ところが、この場合、サーバ2aは既に運転を停止
しており、他のサーバ2bがサーバ2aのIPアドレス
を取得している。したがって、LAN1を介してサーバ
2aに宛てたパケットデータ形式のシャットダウン命令
S2は、サーバ2aではなく、サーバ2bによって受信
される。そして、これ以降、サーバ2bは、サーバ2a
の肩代わりをする。
【0056】具体的には、シャットダウン命令S2を受
けたサーバ2bは、サーバ2c,2dに対してパケット
データ形式でシャットダウン命令S2を転送すると共
に、自らシャットダウン処理を実行する。サーバ2c,
2dは、それぞれ、サーバ2bからのシャットダウン命
令S2を受け取ると、各々シャットダウン処理を実行す
る。なお、サーバ2aは既に停止しているので、シャッ
トダウン処理を実行する必要はない。言い換えると、既
に処理を停止しているので、シャットダウン処理を実行
することは不可能である。サーバ2b〜2dは、それぞ
れ、シャットダウン処理が終了すると、LAN1を介し
て、対応する運転管理装置110b〜110cおよびU
PS120aに対してパケットデータ形式でシャットダ
ウン完了通知S3を送出すると共に、運転を停止してい
るサーバ2aに対応する運転管理装置110aに対して
もパケットデータ形式でシャットダウン完了通知S3を
送出する。さらに、サーバ2b,2cは、各々が保有し
ている異常処理情報(図6)を参照して、マスタサーバ
であるサーバ2dに対して、シャットダウン完了通知S
3をパケットデータの形式で送出する。サーバ2dは、
サーバ2b,2cから送られてきたシャットダウン完了
通知S3を受信すると、サーバ2aおよび自らを含むシ
ステム内のすべてのサーバがシャットダウン処理を完了
したと判断し、その旨を示す全サーバ完了通知S4をU
PS120aに送る。これを受けたUPS120aは、
サーバ2dに対する電力供給を停止する。また、運転管
理装置110b,110cは、それぞれLAN1経由
で、対応するサーバ2b,2cからシャットダウン完了
通知S3を受け取ると、サーバ2b,2cへの電力供給
を停止する。また、運転管理装置110aは、サーバ2
aの肩代わりをするサーバ2bからLAN1経由でシャ
ットダウン完了通知S3を受け取ると、サーバ2aへの
電力供給を停止する。そして、UPS120aの運転管
理部120aaは、サーバ2dへの電力供給を停止した
のち、所定の時間をおいて、RAID4a〜4cへの電
力供給を停止する。
【0057】このようにして、本実施の形態では、上記
実施の形態の場合と同様に、いずれかの電源系統に異常
が発生した場合に、クラスタシステムを構成するすべて
のサーバ2a〜2dがそれぞれシャットダウン処理を行
い、かつ運転を停止したのちに、RAID4a〜4cの
運転を停止させるようにすることができるので、クラス
タシステムとしての整合性を保ちつつ、システム全体の
運転を終了させることができる。
【0058】しかも、本実施の形態では、運転管理装置
110a〜110cおよびUPS120aをLAN1に
直接接続し、これらとサーバ2a〜2dとの間でLAN
1を介して制御情報のやり取りを行うようにしたので、
電源異常の発生した電源系統から電力供給を受けている
サーバが既に何らかの理由で運転を停止していたとして
も、クラスタシステムを構成するすべてのサーバ2a〜
2dにそれぞれシャットダウン処理を行わせてから各要
素の電源を遮断することが可能である。すなわち、電源
系統の異常およびサーバ自身の異常という2つの障害が
重複して発生するという不測の事態が起きても、整合性
を保ちつつ、システム全体の運転を停止させることがで
きる。したがって、上記第1の実施の形態の場合に比べ
て、電源障害に対するシステムの信頼性をさらに高める
ことができる。
【0059】なお、本実施の形態では、サーバ2aに電
力を供給している商用電源系統に障害が発生した場合を
想定して説明したが、他のサーバ2b〜2dに電力を供
給している商用電源系統に障害が発生した場合の動作に
ついても、上記とほぼ同様である。
【0060】〔第3の実施の形態〕次に、本発明のさら
に他の実施の形態を説明する。
【0061】上記第2の実施の形態では、運転管理装置
110a〜110cおよびUPS120aをLAN1に
直接接続し、このLAN1を介して、運転管理装置11
0a〜110cおよびUPS120aの間でシャットダ
ウン命令S2等の制御信号をやり取りするようにした
が、LAN1自体に障害が生じていた場合には、サーバ
2aまたはサーバ2a〜2dのすべてに対してシャット
ダウン命令S2を伝送することができなくなり、システ
ム内のすべてのサーバにシャットダウン処理を行わせる
することができない。この問題は、上記第1の実施の形
態の場合にも同様に存在する。
【0062】本実施の形態は、そのような不都合を回避
するために、例えば図10に示したように、LAN1と
は別個にLAN7を敷設すると共に、このLAN7に運
転管理装置210a〜210cおよびUPS220aを
直接接続し、LAN7を介して、運転管理装置210a
〜210cおよびUPS220aの相互間でシャットダ
ウン命令S2等の制御信号をやり取りするようにしたも
のである。
【0063】図10は本発明の第3の実施の形態に係る
クラスタシステムの全体構成を表すものである。なお、
この図で、上記の図1に示した構成要素と同一部分には
同一の符号を付し、適宜説明を省略する。このクラスタ
システムは、LAN1とは別個に敷設されたLAN7を
含むと共に、上記第1の実施の形態(図1)における運
転管理装置10a〜10cおよびUPS20aに代え
て、それぞれLAN7に接続された運転管理装置210
a〜210cおよびUPS220aを含んでいる。UP
S220aは、運転管理部220aaおよび電源部22
0abを有している。
【0064】図11は、図10における運転管理装置2
10aの構成を表すものである。この図に示したよう
に、運転管理装置210aは、上記第1の実施の形態
(図2)に示したコントローラ100に代えて、コント
ローラ100″を有している。このコントローラ10
0″は、図2に示したシリアルI/F部12と図9に示
したLAN・I/F部18とを含んでいる。
【0065】本実施の形態では、運転管理装置210a
は、図12に示したような異常時処理情報を保有してい
る。この異常時処理情報は、電源異常が発生した場合
に、運転管理装置210a〜210cおよびUPS22
0aの相互間で、制御情報のやり取りを行うために必要
な情報を示すものである。この図の例では、シャットダ
ウン命令送信先サーバとして、自分以外のすべての運転
管理装置210b,210cおよびUPS220aとそ
れぞれのIPアドレスとが登録され、マスタデバイスと
して、RAID4a〜4cにも電力を供給しているUP
S220aとそのIPアドレスとが登録されている。こ
こで、シャットダウン命令送信先サーバとは、運転管理
装置220aがUPS30aから電源異常信号S1を受
けた場合に、シャットダウン命令S2を送信する宛先の
運転管理装置等を示すものである。また、図12におい
て、マスタデバイスとは、運転管理装置210aの担当
するサーバ2aがシャットダウン処理を完了した場合
に、シャットダウン完了通知S3を送る宛先の運転管理
装置等を示すものである。
【0066】その他の構成は、上記第1の実施の形態の
場合と同様である。
【0067】次に、このような構成のクラスタシステム
の動作を説明する。なお、本実施の形態において、通常
運転時の動作は、上記第1の実施の形態の場合と同様で
あるので、説明を省略し、電源系統に異常が発生した場
合の動作のみを説明する。本実施の形態においても、例
えば、UPS30aに電力を供給している商用電源系統
に停電等の異常が発生した場合を想定して説明する。
【0068】運転管理装置210aが担当しているサー
バ2aが正常に運転しており、かつ、LAN1に障害が
発生していない場合には、いずれかの商用電源系統に異
常が発生したときのクラスタシステムの動作は上記第1
の実施の形態の場合(図7)と同様である。
【0069】一方、運転管理装置210aが担当してい
るサーバ2aが運転を停止している場合、または、LA
N1に障害が発生している場合には、いずれかの商用電
源系統に異常が発生したときのクラスタシステムの動作
は以下の通りである。
【0070】UPS30aのコントローラ37(図3)
は、その電源系統の異常を検知すると、電源異常信号S
1を出力する。運転管理装置210aのCPU11(図
11)は、UPS30aからの電源異常信号S1の入力
を検知すると、シリアルI/F部12からシリアルデー
タ線5aを介してサーバ2aにシャットダウン命令S2
を送信する。運転管理装置210aは、さらに、LAN
インタフェイス部18(図11)からLAN7を介し
て、他の運転管理装置10b,10cおよびUPS22
0aに対して、パケットデータ形式でシャットダウン命
令S2を送信する。
【0071】運転管理装置210aからシャットダウン
命令S2を受けた他の運転管理装置10b,10cおよ
びUPS220aは、それぞれ、シリアルデータ線5b
〜5dを介して、サーバ2b〜2dにシャットダウン命
令S2を送信する。サーバ2b〜2dは、それぞれ、対
応する運転管理装置10b,10cまたはUPS220
aからシャットダウン命令S2を受け取ると、シャット
ダウン処理を実行する。サーバ2aもまた、上記した運
転管理装置10aからのシャットダウン命令S2に応じ
て、シャットダウン処理を実行する。サーバ2a〜2d
は、それぞれ、シャットダウン処理が終了すると、シリ
アルデータ線5a〜5dを介して、対応する運転管理装
置210a〜210cおよびUPS220aに対してシ
ャットダウン完了通知S3を送出する。さらに、運転管
理装置210a〜210cは、各々が保有している異常
処理情報(図12)を参照して、マスタデバイスである
UPS220aに対して、シャットダウン完了通知S3
をパケットデータの形式で送出する。UPS220a
は、運転管理装置210a〜210cから送られてきた
シャットダウン完了通知S3を受信すると、自らが担当
するサーバ2dを含むシステム内のすべてのサーバがシ
ャットダウン処理を完了したと判断し、サーバ2dに対
する電力供給を停止する。また、運転管理装置210a
〜210cは、それぞれ、対応するサーバ2a〜2cか
らシャットダウン完了通知S3を受け取ると、それらの
サーバ2a〜2cへの電力供給を停止する。そして、U
PS220aの運転管理部220aaは、サーバ2dへ
の電力供給を停止したのち、所定の時間をおいて、RA
ID4a〜4cへの電力供給を停止する。
【0072】このようにして、本実施の形態では、上記
各実施の形態の場合と同様に、いずれかの電源系統に異
常が発生した場合に、クラスタシステムを構成するすべ
てのサーバ2a〜2dがそれぞれシャットダウン処理を
行い、かつ運転を停止したのちに、RAID4a〜4c
の運転を停止させるようにすることができるので、クラ
スタシステムとしての整合性を保ちつつ、システム全体
の運転を終了させることができる。
【0073】しかも、本実施の形態では、LAN1のほ
かに専用のLAN7を敷設し、このLAN7を介して運
転管理装置210a〜210cおよびUPS220aの
相互間で通信を行うようにしたので、電源異常の発生し
た電源系統から電力供給を受けているサーバが既に何ら
かの理由で運転を停止していたり、あるいは、LAN1
に障害が発生していたとしても、クラスタシステムを構
成するすべてのサーバ2a〜2dにそれぞれシャットダ
ウン処理を行わせてから各要素の電源を遮断することが
可能である。すなわち、電源系統の異常、サーバ自身の
異常およびLAN1の異常という3つの障害が重複して
発生するという不測の事態が起きても、整合性を保ちつ
つ、システム全体の運転を停止させることができる。し
たがって、上記第2の実施の形態の場合に比べて、電源
障害に対するシステムの信頼性をさらに高めることがで
きる。
【0074】なお、本実施の形態では、サーバ2aに電
力を供給している商用電源系統に障害が発生した場合を
想定して説明したが、他のサーバ2b〜2dに電力を供
給している商用電源系統に障害が発生した場合の動作に
ついても、上記とほぼ同様である。
【0075】〔第4の実施の形態〕次に、本発明のさら
に他の実施の形態を説明する。
【0076】上記各実施の形態では、RAID4a〜4
cはすべて、マスタのサーバ2dを担当するUPS20
a(またはUPS120a,UPS220a)から電力
供給を受ける構成としたが、これに対して、本実施の形
態のクラスタシステムは、RAID4b,4cの電源
を、それぞれ、別個の商用電源系統からとるようにした
ものである。
【0077】図13は、本発明の第4の実施の形態に係
るクラスタシステムの全体構成を表すものである。この
クラスタシステムは、上記第2の実施の形態のクラスタ
システム(図8)を変形したものである。なお、この図
で、上記の図8に示した構成要素と同一部分には同一の
符号を付し、適宜説明を省略する。
【0078】本実施の形態では、RAID4bは、新た
に設けた運転管理装置110dを介してUPS30cか
ら電力供給を受けるようになっている。また、RAID
4cは、新たに設けたUPS120bから電力供給を受
けるようになっている。UPS30cおよびUPS12
0bは、それぞれ、別系統の商用電源から電力供給を受
ける。運転管理装置110dおよびUPS120bは、
それぞれ、LAN1に接続されている。運転管理装置1
10dは、サーバ2aを担当する運転管理装置110a
(図9)と同様の構成であり、UPS30cは、UPS
30a(図3)と同様の構成である。また、UPS12
0bは、運転管理部120baおよび電源部120bb
とを含んで構成され、サーバ2dを担当するUPS12
0aと同様の構成である。
【0079】本実施の形態では、サーバ2aは、例えば
図14に示したような異常時処理情報を保有している。
この図の例では、シャットダウン命令転送先サーバとし
て、システム内の他のすべてのサーバ2b〜2dが登録
され、マスタデバイスとして、RAID4a〜4cにそ
れぞれ電力を供給しているUPS120a、運転管理装
置110dおよびUPS120bが登録されている。こ
こで、シャットダウン命令送信先サーバおよびマスタデ
バイスの意味は、上記の図6および図12に説明したも
のと同義である。他のサーバ2b〜2dもまた、同様の
内容の異常時処理情報を保有している。
【0080】一方、運転管理装置110dは、例えば図
15に示したような異常時処理情報を保有している。こ
の図の例では、UPS30cから電源異常信号S1が入
力された場合のシャットダウン命令送信先サーバとし
て、システム内のすべてのサーバ2a〜2dが登録され
ている。UPS120bにおける運転管理部120ba
もまた同様に、システム内のすべてのサーバ2a〜2d
が登録された異常時処理情報を保有している。
【0081】その他の構成は、上記第2の実施の形態
(図8)の場合と同様である。
【0082】次に、このような構成のクラスタシステム
の動作を説明する。なお、本実施の形態において、通常
運転時の動作は、上記第1の実施の形態の場合と同様で
あるので、説明を省略し、電源系統に異常が発生した場
合の動作のみを説明する。本実施の形態においては、例
えば、UPS30aに電力を供給している商用電源系統
に障害が発生した場合と、運転管理装置110dに電力
を供給している商用電源系統に障害が発生した場合とに
分けて説明する。
【0083】まず、サーバ2aを担当するUPS30a
に電力を供給している商用電源系統に停電等の異常が発
生した場合の動作を説明する。運転管理装置110aか
らシャットダウン命令S2を受けたサーバ2aは、サー
バ2b〜2dに対してシャットダウン命令S2を転送す
ると共に、自らシャットダウン処理を実行する。サーバ
2aからのシャットダウン命令S2を受け取ったサーバ
2b〜2dは、それぞれ、シャットダウン処理を実行す
る。サーバ2a〜2dは、シャットダウン処理が終了す
ると、それぞれ、LAN1を介して、対応する運転管理
装置110a〜110cおよびUPS120aにシャッ
トダウン完了通知S3を送出すると共に、自己の保有し
ている異常処理情報(図14)を参照して、マスタデバ
イスであるUPS120a、運転管理装置110dおよ
びUPS120bに対しても、シャットダウン完了通知
S3を送信する。シャットダウン完了通知S3を受けた
運転管理装置110a〜110cおよびUPS120a
は、それぞれ、サーバ2a〜2dに対する電力供給を停
止する。さらに、UPS120aは、自らの担当するR
AID4aを共有しているすべてのサーバがシャットダ
ウンを完了したことを確認すると、所定の時間をおいて
RAID4aへの電力供給を停止する。また、運転管理
装置110dは、RAID4bを共有しているすべての
サーバがシャットダウンを完了したことを確認すると、
所定の時間をおいてRAID4bへの電力供給を停止す
る。同様に、UPS120bは、RAID4cを共有し
ているすべてのサーバがシャットダウンを完了したこと
を確認すると、所定の時間をおいてRAID4cへの電
力供給を停止する。
【0084】次に、運転管理装置110dに電力を供給
している商用電源系統に障害が発生した場合の動作を説
明する。運転管理装置110dは、UPS30cから電
源異常信号S1を受けると、自己の保有する異常時処理
情報(図15)を参照して、システム内のすべてのサー
バ2a〜2dに対し、LAN1を介してシャットダウン
命令S2を送信する。運転管理装置110dからのシャ
ットダウン命令S2を受けたサーバ2a〜2dは、それ
ぞれ、シャットダウン処理を実行したのち、対応する運
転管理装置110a〜110cおよびUPS120aに
対してシャットダウン完了通知S3を送信する。さら
に、サーバ2a〜2cは、それぞれ、自己の保有する異
常時処理情報(図14)を参照して、UPS120a,運
転管理装置110dおよびUPS120bに対してもシ
ャットダウン完了通知S3を送信する。サーバ2a〜2
dからそれぞれシャットダウン完了通知S3を受けた運
転管理装置110a〜110cおよびUPS120a
は、各々、サーバ2a〜2dへの電力供給を停止させ
る。また、UPS120aは、RAID4aを共用して
いるすべてのサーバからシャットダウン完了通知S3を
受け取ったことを確認すると、RAID4aへの電力供
給を停止する。また、運転管理装置110dは、RAI
D4bを共用しているすべてのサーバからシャットダウ
ン完了通知S3を受け取ると、RAID4bへの電力供
給を停止する。同様に、UPS120bは、RAID4
cを共用しているすべてのサーバ2a〜2dからシャッ
トダウン完了通知S3を受け取ると、RAID4cへの
電力供給を停止する。
【0085】このように、本実施の形態では、サーバと
RAIDとが異なる電源系統から電力供給を受けている
場合であっても、いずれかのサーバまたはRAIDの電
源系統に障害が発生した場合には、サーバがシャットダ
ウン処理を実行し、かつ運転を停止した後に、RAID
の電源を遮断するようにしたので、整合性を保ちつつ、
クラスタシステムの運転を終了することが可能である。
【0086】なお、上記のほか、例えばUPS120b
の電源系統に障害が発生した場合も、上記とほぼ同様の
手順によってシステムを安全に停止させることができ
る。
【0087】〔第5の実施の形態〕次に、本発明の他の
実施の形態を説明する。
【0088】図16は、本発明の第5の実施の形態に係
るクラスタシステムの全体構成を表すものである。この
クラスタシステムは、上記第3の実施の形態のクラスタ
システム(図10)を変形したものである。なお、この
図で、上記の図10に示した構成要素と同一部分には同
一の符号を付し、適宜説明を省略する。
【0089】本実施の形態では、RAID4bは、新た
に設けた運転管理装置110dを介してUPS30cか
ら電力供給を受けるようになっている。また、RAID
4cは、新たに設けたUPS120bから電力供給を受
けるようになっている。UPS30cおよびUPS12
0bは、それぞれ、別系統の商用電源から電力供給を受
けているものとする。運転管理装置110d、UPS3
0cおよびUPS120bは、上記第4の実施の形態に
おける図13に示したものと同じものであり、UPS2
20aは、上記第3の実施の形態における図10に示し
たものと同じものである。但し、本実施の形態では、運
転管理装置110d、UPS120bの運転管理部12
0ba、およびUPS220aの運転管理部220aa
は、いずれも、LAN7に接続されている。
【0090】運転管理装置210aは、図14に示した
異常処理情報と同種の情報を保有している。但し、この
例では、図14におけるマスタデバイスとしてのUPS
120aに代えてUPS220aが登録されている。他
の運転管理装置210b,210c、110dおよびU
PS220a,120bもまた、同様の異常処理情報を
保有している。
【0091】その他の構成は、上記第3の実施の形態
(図10)の場合と同様である。
【0092】本実施の形態のクラスタシステムの動作
は、LAN1の代わりにLAN7を利用して運転管理装
置210a〜210c、UPS220a,運転管理装置
110dおよびUPS120bの相互間で制御情報のや
り取りを行う点を除き、上記第4の実施の形態の場合と
ほぼ同様である。
【0093】まず、サーバ2aを担当するUPS30a
に電力を供給している商用電源系統に障害が発生した場
合の動作を説明する。この場合、サーバ2a〜2dがそ
れぞれシャットダウン処理を実行するまでの動作は、上
記第3の実施の形態(図10)の場合と同様であるの
で、その説明は省略し、シャットダウン処理完了後にお
ける動作のみを説明する。
【0094】本実施の形態において、サーバ2a〜2d
は、それぞれ、シャットダウン処理が終了すると、シリ
アルデータ線5a〜5dを介して、対応する運転管理装
置210a〜210cおよびUPS220aに対してシ
ャットダウン完了通知S3を送出する。これを受けた運
転管理装置210a〜210cおよびUPS220a
は、それぞれ、対応するサーバ2a〜2dへの電力供給
を停止する。さらに、運転管理装置210a〜210c
は、それぞれ、各自が保有している異常処理情報を参照
して、マスタデバイスであるUPS220a,運転管理
装置110dおよびUPS120bに対して、LAN7
を介してシャットダウン完了通知S3を送出する。ま
た、UPS220aは、保有している異常処理情報を参
照して、他のマスタデバイスである運転管理装置110
dおよびUSP120bに対して、LAN7を介してシ
ャットダウン完了通知S3を送出する。そして、UPS
220aは、運転管理装置210a〜210cからのシ
ャットダウン完了通知S3等により、RAID4aを共
用しているすべてのサーバがシャットダウン処理を完了
したことを確認すると、所定時間経過後にRAID4a
への電力供給を停止する。同様に、運転管理装置110
dは、運転管理装置210a〜210cおよびUPS2
20aからのシャットダウン完了通知S3等により、R
AID4bを共用しているすべてのサーバがシャットダ
ウンを完了したことを確認すると、所定時間経過後にR
AID4bへの電力供給を停止する。同様に、UPS1
20bは、運転管理装置210a〜210cおよびUP
S220aからのシャットダウン完了通知S3等によ
り、RAID4cを共用しているすべてのサーバがシャ
ットダウンを完了したことを確認すると、所定時間経過
後にRAID4cへの電力供給を停止する。
【0095】次に、例えば、運転管理装置110dに電
力を供給している商用電源系統に障害が発生した場合の
動作を説明する。運転管理装置110dは、UPS30
cから電源異常信号S1を受けると、自己の保有する異
常時処理情報(図15)を参照して、システム内のすべ
てのサーバ2a〜2dに対し、それぞれ、LAN7およ
び運転管理装置210a〜210cおよびUPS220
aを介して、シャットダウン命令S2を送信する。運転
管理装置110dからのシャットダウン命令S2を受け
たサーバ2a〜2dは、それぞれ、シャットダウン処理
を実行したのち、対応する運転管理装置210a〜21
0cおよびUPS220aに対してシャットダウン完了
通知S3を送信する。これを受けた運転管理装置210
a〜210cは、それぞれ、自己の保有する異常時処理
情報を参照して、マスタデバイスであるUPS220
a,運転管理装置110dおよびUPS120bにシャ
ットダウン完了通知S3を送信する。また、UPS22
0aは、自己の保有する異常時処理情報を参照して、他
のマスタデバイスである運転管理装置110dおよびU
PS120bにシャットダウン完了通知S3を送信す
る。サーバ2a〜2dからそれぞれシャットダウン完了
通知S3を受けた運転管理装置210a〜210cおよ
びUPS220aは、各々、サーバ2a〜2dへの電力
供給を停止させる。また、UPS220aは、運転管理
装置210a〜210cおよびサーバ2dからのシャッ
トダウン完了通知S3により、RAID4aを共用して
いるすべてのサーバがシャットダウン処理を完了したこ
とを確認すると、所定時間経過後にRAID4aへの電
力供給を停止する。同様に、運転管理装置110dは、
運転管理装置210a〜210cおよびUPS220a
からのシャットダウン完了通知S3により、RAID4
bを共用しているすべてのサーバがシャットダウン処理
を完了したことを確認すると、所定時間経過後にRAI
D4bへの電力供給を停止する。同様に、UPS120
bは、運転管理装置210a〜210c、UPS220
aおよび運転管理装置110dからのシャットダウン完
了通知S3により、RAID4cを共用しているすべて
のサーバがシャットダウン処理を完了したことを確認す
ると、所定時間経過後にRAID4cへの電力供給を停
止する。
【0096】このように、本実施の形態によれば、サー
バとRAIDとが異なる電源系統から電力供給を受けて
いる場合であっても、いずれかのサーバまたはRAID
の電源系統に障害が発生した場合には、サーバがシャッ
トダウン処理を実行し、かつ運転を停止した後に、RA
IDの電源を遮断するようにしたので、整合性を保ちつ
つ、クラスタシステムの運転を終了することが可能であ
る。
【0097】なお、上記のほか、例えばUPS120b
の電源系統に障害が発生した場合も、上記の手順に準じ
た手順によってシステムを安全に停止させることができ
る。
【0098】以上、いくつかの実施の形態を挙げて本発
明を説明したが、本発明はこれらの実施の形態には限定
されず、種々変形可能である。例えば、上記各実施の形
態では、クラスタシステムの各サーバ間をLAN1によ
って接続するようにしたが、LANに代えてWAN(広
域ネットワーク)によって接続するようにしてもよい。
【0099】また、上記各実施の形態では、サーバ2a
〜2dによって共有されるRAID4a〜4cをSCS
I3によって接続するようにしたが、SCSIに代え
て、例えば、光ファイバを用いて構成される、より高速
のFDDI(Fiber DistributedData Interface)やファ
イバチャネル(Fibre Channel) 等を用いるようにしても
よい。
【0100】また、上記各実施の形態では、サーバ2a
〜2dおよびRAID4a〜4cに係る電源系統の一部
に障害が発生した場合においても、システム全体の運転
を停止するようにしたが、本発明はこれに限定されず、
障害の発生した電源系統から電力供給を受けているデバ
イス(すなわち、サーバまたはRAID)のみの運転を
停止させるようにしてもよい。この場合には、障害の発
生した電源系統から電力供給を受けているデバイスをま
ずクラスタシステムから切り離し、しかるのち、その切
り離したサーバまたはRAIDの電源を遮断すればよ
い。但し、システムからデバイスを切り離すに際して
は、そのデバイスがそれまでシステム内で果たしていた
役割を他のデバイスに割り振るというシステム再編成処
理を行う。
【0101】例えば、上記第1の実施の形態(図1)を
例にとると、サーバ2aに係る電源系統に障害が発生し
た場合には、それまでサーバ2aが行っていたジョブ
A,B,C,……(図4)を、他のサーバ2b〜2dに
割り振ると共に、サーバ2b〜2dによるRAID4a
〜4cの共有関係を変更する。具体的には、サーバ2b
〜2dがそれぞれ保有するジョブ割り振り情報(図4)
の内容をそれぞれ変更すると共に、サーバ2b〜2dが
それぞれ保有するRAID共有情報(図5)の内容を変
更すればよい。
【0102】また、例えば上記第4の実施の形態(図1
3)を例にとると、RAID4bに係る電源系統に障害
が発生した場合には、RAID4b内のファイルをすべ
て他のRAID4aまたは4cに複写した上で、サーバ
2a〜2dによってRAID4a,4cを共有するよう
に再編成を行えばよい。但し、現実には、RAID内の
ファイルは膨大であるため、電源障害発生後の短いバッ
テリバックアップ期間(例えば、10〜20分)内に、
これらの膨大なファイル群をすべて他のRAID4a,
4cに複写するのは困難である。そこで、実際には、予
めRAID4a〜4cをミラー構成(すなわち、同一内
容のファイルを他のRAID内にも格納しておく構成)
にしておくことが有効である。このミラー構成の場合、
例えばRAID4b内のファイルの内容は、定期的に、
他のRAID(例えばRAID4c)内のミラーファイ
ルの内容と一致するように整合処理がなされるので、R
AID4bの電源障害発生時点における両ファイル間の
相違は微々たるものとなる。したがって、電源障害発生
後の短いバッテリバックアップ期間内であっても、RA
ID4b内のファイルの完全な複製を他のRAID4c
内に作成することは十分可能である。
【0103】このように、障害の発生した電源系統から
電力供給を受けているサーバまたはRAIDのみをシス
テムから切り離すようにすれば、クラスタシステム全体
の運転を停止させる必要がなく、他の正常なサーバおよ
びRAIDによって再編成されたクラスタシステムによ
って処理を続行することができる。したがって、クラス
タシステムとしての信頼性をより高めることができる。
【0104】
【発明の効果】以上説明したように、請求項1ないし請
求項3のいずれか1に記載のクラスタシステム、また
は、請求項4に記載のクラスタシステムの運転管理装
置、または、請求項5に記載のクラスタシステムの運転
管理方法によれば、いずれかのサーバコンピュータまた
は記憶装置の電源系統に障害が発生した場合に、無停電
電源装置による電力バックアップ期間中に、複数のサー
バコンピュータは、クラスタシステムとしての整合性を
担保するためのシステム再編成処理を行い、運転管理装
置は、システム再編成処理の終了を確認したのち、障害
の発生した電源系統から電力供給を受けていたサーバコ
ンピュータおよび記憶装置への電力供給を停止するよう
にしたので、障害の発生していない部分だけで処理が続
行可能である。したがって、電源障害が発生しても、ク
ラスタシステム全体の停止を伴わずに、運転を続けるこ
とができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係るクラスタシス
テムの全体構成を表すブロック図である。
【図2】図1における運転管理装置の一構成例を表すブ
ロック図である。
【図3】図1における無停電電源装置の一構成例を表す
ブロック図である。
【図4】サーバが保有するジョブ割り振り情報の一例を
表す図である。
【図5】サーバが保有するRAID共有情報の一例を表
す図である。
【図6】サーバが保有する異常時処理情報の一例を表す
図である。
【図7】図1に示したクラスタシステムにおける電源障
害時の全体動作を説明するための流れ図である。
【図8】本発明の第2の実施の形態に係るクラスタシス
テムの全体構成を表すブロック図である。
【図9】図8における運転管理装置の一構成例を表すブ
ロック図である。
【図10】本発明の第3の実施の形態に係るクラスタシ
ステムの全体構成を表すブロック図である。
【図11】図10における運転管理装置の一構成例を表
すブロック図である。
【図12】図10に示した運転管理装置が保有する異常
時処理情報の一例を表す図である。
【図13】本発明の第4の実施の形態に係るクラスタシ
ステムの全体構成を表すブロック図である。
【図14】図13に示したサーバが保有する異常時処理
情報の一例を表す図である。
【図15】図13に示した運転管理装置が保有する異常
時処理情報の一例を表す図である。
【図16】本発明の第5の実施の形態に係るクラスタシ
ステムの全体構成を表すブロック図である。
【符号の説明】
1,7…LAN 2a〜2d…サーバ 3…データ線 4a〜4c…RAID 6a,6b…信号線 5a〜5d…シリアルデータ線 10a〜10c,110a〜110d,210a〜21
0c…運転管理装置 11…CPU 15…不揮発性メモリ 20a,120a,120b,220a…UPS(運転
管理部内蔵) 30a〜30c…UPS S1…電源異常信号 S2…シャットダウン命令 S3…シャットダウン完了通知

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 通信ネットワークによって相互に接続さ
    れ、それぞれが予め定められた役割を果たすことにより
    全体として論理上単一のサーバとして機能する複数のサ
    ーバコンピュータと、 データ線によって前記複数のサーバコンピュータに接続
    され、これらのサーバコンピュータによって共用可能な
    少なくとも1つの記憶装置と、 前記複数のサーバコンピュータおよび記憶装置のうちの
    1または複数ごとに設けられ、担当するサーバコンピュ
    ータおよび記憶装置に対して電源系統からの電力を供給
    すると共に、その電源系統に障害が発生した場合に、担
    当するサーバコンピュータまたは記憶装置への電力供給
    をバックアップする少なくとも1つの無停電電源装置
    と、 前記無停電電源装置と前記サーバコンピュータまたは記
    憶装置との間にそれぞれ設けられ、担当するサーバコン
    ピュータまたは記憶装置の運転を管理する複数の運転管
    理装置とを含んで構成されたクラスタシステムであっ
    て、 いずれかのサーバコンピュータまたは記憶装置の電源系
    統に障害が発生した場合に、前記無停電電源装置による
    電力バックアップ期間中に、 前記複数のサーバコンピュータは、クラスタシステムと
    しての整合性を担保するためのシステム再編成処理を行
    い、 前記運転管理装置は、前記システム再編成処理の終了を
    確認したのち、障害の発生した電源系統から電力供給を
    受けていたサーバコンピュータおよび記憶装置への電力
    供給を停止することを特徴とするクラスタシステム。
  2. 【請求項2】 前記システム再編成処理は、 障害が発生した電源系統から電力供給を受けていた元の
    サーバコンピュータに予め与えられていた役割を、予め
    定められた他のサーバコンピュータに代行させるための
    処理と、 サーバコンピュータ間での記憶装置の共有関係を変更す
    る処理とを含むことを特徴とする請求項1に記載のクラ
    スタシステム。
  3. 【請求項3】 前記記憶装置が複数設けられている場合
    において、前記システム再編成処理は、 いずれかの記憶装置の電源系統に障害が発生した場合
    に、その記憶装置の内容を他の記憶装置に複写する処理
    と、 サーバコンピュータ間での記憶装置の共有関係を変更す
    る処理とを含むことを特徴とする請求項1に記載のクラ
    スタシステム。
  4. 【請求項4】 通信ネットワークによって相互に接続さ
    れ、それぞれが予め定められた役割を果たすことにより
    全体として論理上単一のサーバとして機能する複数のサ
    ーバコンピュータと、 データ線によって前記複数のサーバコンピュータに接続
    され、これらのサーバコンピュータによって共用可能な
    少なくとも1つの記憶装置と、 前記複数のサーバコンピュータおよび記憶装置のうちの
    1または複数ごとに設けられ、担当するサーバコンピュ
    ータおよび記憶装置に対して電源系統からの電力を供給
    すると共に、その電源系統に障害が発生した場合に、担
    当するサーバコンピュータまたは記憶装置への電力供給
    をバックアップする少なくとも1つの無停電電源装置と
    を含んで構成されたクラスタシステムに適用される運転
    管理装置であって、 いずれかのサーバコンピュータまたは記憶装置の電源系
    統に障害が発生した場合において、クラスタシステムと
    しての整合性を担保するためのシステム再編成処理が前
    記無停電電源装置による電力バックアップ期間中に前記
    複数のサーバコンピュータにより行われたことを確認し
    たのち、障害の発生した電源系統から電力供給を受けて
    いたサーバコンピュータおよび記憶装置への電力供給を
    停止することを特徴とするクラスタシステムの運転管理
    装置。
  5. 【請求項5】 通信ネットワークによって相互に接続さ
    れ、それぞれが予め定められた役割を果たすことにより
    全体として論理上単一のサーバとして機能する複数のサ
    ーバコンピュータと、 データ線によって前記複数のサーバコンピュータに接続
    され、これらのサーバコンピュータによって共用可能な
    少なくとも1つの記憶装置と、 前記複数のサーバコンピュータおよび記憶装置のうちの
    1または複数ごとに設けられ、担当するサーバコンピュ
    ータおよび記憶装置に対して電源系統からの電力を供給
    すると共に、その電源系統に障害が発生した場合に、担
    当するサーバコンピュータまたは記憶装置への電力供給
    をバックアップする少なくとも1つの無停電電源装置
    と、 前記無停電電源装置と前記サーバコンピュータまたは記
    憶装置との間にそれぞれ設けられ、担当するサーバコン
    ピュータまたは記憶装置の運転を管理する複数の運転管
    理装置とを含んで構成されたクラスタシステムに適用さ
    れる運転管理方法であって、 いずれかのサーバコンピュータまたは記憶装置の電源系
    統に障害が発生した場合に、前記無停電電源装置による
    電力バックアップ期間中に、 前記複数のサーバコンピュータにおいて、クラスタシス
    テムとしての整合性を担保するためのシステム再編成処
    理を行い、 前記運転管理装置において、前記システム再編成処理の
    終了を確認したのち、障害の発生した電源系統から電力
    供給を受けていたサーバコンピュータおよび記憶装置へ
    の電力供給を停止するようにしたことを特徴とするクラ
    スタシステムの運転管理方法。
JP2002281529A 2002-09-26 2002-09-26 クラスタシステムならびにその運転管理装置および方法 Expired - Fee Related JP3776072B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002281529A JP3776072B2 (ja) 2002-09-26 2002-09-26 クラスタシステムならびにその運転管理装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002281529A JP3776072B2 (ja) 2002-09-26 2002-09-26 クラスタシステムならびにその運転管理装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP33398898A Division JP3377457B2 (ja) 1998-11-25 1998-11-25 クラスタシステムならびにその運転管理装置および方法

Publications (2)

Publication Number Publication Date
JP2003178046A true JP2003178046A (ja) 2003-06-27
JP3776072B2 JP3776072B2 (ja) 2006-05-17

Family

ID=19197054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002281529A Expired - Fee Related JP3776072B2 (ja) 2002-09-26 2002-09-26 クラスタシステムならびにその運転管理装置および方法

Country Status (1)

Country Link
JP (1) JP3776072B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107913A (ja) * 2009-11-16 2011-06-02 Fujitsu Component Ltd 電源制御装置
JP2017010439A (ja) * 2015-06-25 2017-01-12 株式会社Nttファシリティーズ 統合型設備管理システム
CN107172208A (zh) * 2017-06-30 2017-09-15 联想(北京)有限公司 服务器的部署方法及其系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58205274A (ja) * 1982-05-26 1983-11-30 Nec Corp 多重情報処理装置システム
JPH0512925U (ja) * 1991-07-25 1993-02-19 横河電機株式会社 無停電電源装置
JPH0530927U (ja) * 1991-09-20 1993-04-23 新日本製鐵株式会社 ネツトワーク・システムにおけるコンピユータの停電保護装置
JPH05197456A (ja) * 1992-05-12 1993-08-06 Casio Comput Co Ltd 電源異常処理装置
JPH08241151A (ja) * 1995-03-02 1996-09-17 Fujitsu Ltd 計算機システムの電源制御装置及び方法
JPH1027043A (ja) * 1996-07-09 1998-01-27 I S A:Kk ネットワーク機能を有する起動停止制御装置
JPH1097349A (ja) * 1996-09-19 1998-04-14 Nippon Electric Ind Co Ltd 多重化システムに対応した無停電電源装置
JPH1098839A (ja) * 1996-09-24 1998-04-14 I S A:Kk 無停電電源装置およびその連動運転方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58205274A (ja) * 1982-05-26 1983-11-30 Nec Corp 多重情報処理装置システム
JPH0512925U (ja) * 1991-07-25 1993-02-19 横河電機株式会社 無停電電源装置
JPH0530927U (ja) * 1991-09-20 1993-04-23 新日本製鐵株式会社 ネツトワーク・システムにおけるコンピユータの停電保護装置
JPH05197456A (ja) * 1992-05-12 1993-08-06 Casio Comput Co Ltd 電源異常処理装置
JPH08241151A (ja) * 1995-03-02 1996-09-17 Fujitsu Ltd 計算機システムの電源制御装置及び方法
JPH1027043A (ja) * 1996-07-09 1998-01-27 I S A:Kk ネットワーク機能を有する起動停止制御装置
JPH1097349A (ja) * 1996-09-19 1998-04-14 Nippon Electric Ind Co Ltd 多重化システムに対応した無停電電源装置
JPH1098839A (ja) * 1996-09-24 1998-04-14 I S A:Kk 無停電電源装置およびその連動運転方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107913A (ja) * 2009-11-16 2011-06-02 Fujitsu Component Ltd 電源制御装置
JP2017010439A (ja) * 2015-06-25 2017-01-12 株式会社Nttファシリティーズ 統合型設備管理システム
CN107172208A (zh) * 2017-06-30 2017-09-15 联想(北京)有限公司 服务器的部署方法及其系统

Also Published As

Publication number Publication date
JP3776072B2 (ja) 2006-05-17

Similar Documents

Publication Publication Date Title
EP1437658B1 (en) Coordinating persistent status information with multiple file servers
CN101651559B (zh) 一种存储服务在双控制器存储系统中故障切换的方法
US20070220301A1 (en) Remote access control management module
EP2053780B1 (en) A distributed master and standby managing method and system based on the network element
JP2864741B2 (ja) データインテグリティを保証する通信システム
JP4341571B2 (ja) 記憶装置システムおよびその制御方法、制御プログラム
CN106850255B (zh) 一种多机备份的实现方法
JP2002073221A (ja) 無停電電源システム
JP3377457B2 (ja) クラスタシステムならびにその運転管理装置および方法
JPH1185644A (ja) 冗長構成システムの系切替制御方法
CN110794943B (zh) 服务器电源防护方法
JP2003178046A (ja) クラスタシステムならびにその運転管理装置および方法
JPH11224207A (ja) マルチクラスタシステムを構成する計算機
JP2002136000A (ja) 無停電電源システム
JP3771162B2 (ja) 保守管理方法、保守管理システム、情報処理システムおよびコンピュータプログラム
US20070291642A1 (en) NAS system and information processing method for the same
JPH09293001A (ja) 無停止保守システム
US8499130B2 (en) Information processing apparatus, information processing method, and recording medium that records history information control program
JP3640349B2 (ja) クラスタリング・システムおよびクラスタリング・システムにおける障害発生時のデータ復旧方法
JP2008204113A (ja) ネットワーク監視システム
JP3144346B2 (ja) 通信処理装置の予備切り替えシステム
JP2907198B1 (ja) プライベートlanを利用した無停電電源装置における電源制御方式
JP4370818B2 (ja) 電源管理方法
WO2010037247A1 (zh) 异地同构实时系统的集中备用系统和备用方法
CN112711632A (zh) 一种高可用集群的异步数据流复制方法及系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050822

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060221

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090303

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140303

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees