JP2004530972A - 障害の存在下で完全な性能を維持するファイルサーバのツイン接続フェールオーバ - Google Patents
障害の存在下で完全な性能を維持するファイルサーバのツイン接続フェールオーバ Download PDFInfo
- Publication number
- JP2004530972A JP2004530972A JP2002568216A JP2002568216A JP2004530972A JP 2004530972 A JP2004530972 A JP 2004530972A JP 2002568216 A JP2002568216 A JP 2002568216A JP 2002568216 A JP2002568216 A JP 2002568216A JP 2004530972 A JP2004530972 A JP 2004530972A
- Authority
- JP
- Japan
- Prior art keywords
- file
- file server
- storage devices
- connection
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20836—Thermal management, e.g. server temperature control
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04D—NON-POSITIVE-DISPLACEMENT PUMPS
- F04D25/00—Pumping installations or systems
- F04D25/16—Combinations of two or more pumps ; Producing two or more separate gas flows
- F04D25/166—Combinations of two or more pumps ; Producing two or more separate gas flows using fans
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04D—NON-POSITIVE-DISPLACEMENT PUMPS
- F04D27/00—Control, e.g. regulation, of pumps, pumping installations or pumping systems specially adapted for elastic fluids
- F04D27/004—Control, e.g. regulation, of pumps, pumping installations or pumping systems specially adapted for elastic fluids by varying driving speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17356—Indirect interconnection networks
- G06F15/17368—Indirect interconnection networks non hierarchical topologies
- G06F15/17381—Two dimensional, e.g. mesh, torus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
- G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
- G06F9/526—Mutual exclusion algorithms
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
- G09G5/008—Clock recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L7/00—Arrangements for synchronising receiver with transmitter
- H04L7/02—Speed or phase control by the received code signals, the signals containing no special synchronisation information
- H04L7/033—Speed or phase control by the received code signals, the signals containing no special synchronisation information using the transitions of the received signal to control the phase of the synchronising-signal-generating means, e.g. using a phase-locked loop
- H04L7/0337—Selecting between two or more discretely delayed clocks or selecting between two or more discretely delayed received code signals
- H04L7/0338—Selecting between two or more discretely delayed clocks or selecting between two or more discretely delayed received code signals the correction of the phase error being performed by a feed forward loop
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/70—Control systems characterised by their outputs; Constructional details thereof
- F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
- F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
- F24F11/77—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity by controlling the speed of ventilators
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B30/00—Energy efficient heating, ventilation or air conditioning [HVAC]
- Y02B30/70—Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Optimization (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mechanical Engineering (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Discrete Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Thermal Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Quality & Reliability (AREA)
- Hardware Redundancy (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】障害の存在下でのファイル・システムの完全な性能を維持する方法を提供すること。
【解決手段】Ｎ個の記憶装置（Ｎは０より大きい整数）およびＮ個の主ファイル・サーバを有し、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続されるファイル・システム。機能的にＮ個の記憶装置の少なくとも１つに接続された副ファイル・サーバをさらに含むファイル・システム。Ｎ個の主ファイル・サーバの１つの障害時にＮ個の記憶装置の１つの接続を副ファイル・サーバに切り替えることと、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、障害を発生したファイル・サーバ以外の主ファイル・サーバに残りの記憶装置の１つまたは複数の接続を切り替えることとを含む方法。
【選択図】図１
【解決手段】Ｎ個の記憶装置（Ｎは０より大きい整数）およびＮ個の主ファイル・サーバを有し、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続されるファイル・システム。機能的にＮ個の記憶装置の少なくとも１つに接続された副ファイル・サーバをさらに含むファイル・システム。Ｎ個の主ファイル・サーバの１つの障害時にＮ個の記憶装置の１つの接続を副ファイル・サーバに切り替えることと、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、障害を発生したファイル・サーバ以外の主ファイル・サーバに残りの記憶装置の１つまたは複数の接続を切り替えることとを含む方法。
【選択図】図１
Description
【技術分野】
【０００１】
本発明は、全般的にはファイルサーバのフェールオーバのシステムおよび方法に関し、具体的には、たとえば生命科学の分野での計算に適用される、分散メモリ・メッセージ受渡並列コンピュータの設計およびシステム・ソフトウェアに関する。
【背景技術】
【０００２】
並列コンピュータ設計でファイルサーバの障害に対するフェールオーバを提供するシステムおよび方法が、当技術分野で既知である。しかし、そのようなシステムおよび方法は、システム性能の低下を犠牲にしてフェールオーバを提供する。その結果、従来技術のフェールオーバのシステムおよび方法は、総合性能または入出力接続性のいずれかで、コンピュータによって実行されるアプリケーションに対して透過的でない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、本発明の目的は、従来技術に関連する欠点を克服する、ファイル・システムに関するフェールオーバのシステムおよび方法を提供することである。
【課題を解決するための手段】
【０００４】
したがって、コンピュータのファイル・システムを提供する。このファイル・システムは、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバとを含み、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つが、その接続を前記副ファイル・サーバに切り替え、残りの記憶装置の１つまたは複数が、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、障害を発生したファイル・サーバ以外の主ファイル・サーバに接続を切り替える。
【０００５】
ファイル・システムの好ましい実施形態では、前記Ｎ個の記憶装置のそれぞれが、複数のディスク・ドライブを含む。前記複数のディスク・ドライブが、新磁気ディスク制御機構（ＲＡＩＤ）を含むことが好ましい。このファイル・システムのさらなる好ましい実施形態では、前記Ｎ個の主ファイル・サーバおよび前記副ファイル・サーバのそれぞれが、ＰＣである。
【０００６】
前記Ｎ個の記憶装置の少なくとも１つが、第１接続および第２接続を有し、前記第１接続が、前記記憶装置を前記主ファイル・サーバの１つに機能的に接続し、前記第２接続が、前記記憶装置を前記副ファイル・サーバに機能的に接続することが好ましい。前記第１接続および前記第２接続が、ＳＣＳＩバス接続であることが好ましい。前記主ファイル・サーバおよび前記副ファイル・サーバの少なくとも１つが、２チャネルＳＣＳＩコントローラを有し、前記２チャネルの一方が、前記Ｎ個の記憶装置の１つに機能的に接続され、前記２チャネルの他方が、前記Ｎ個の記憶装置のもう１つに機能的に接続されることが好ましい。
【０００７】
コンピュータ・システムも提供される。このコンピュータ・システムは、ファイル・システムに機能的に接続された入出力ノードを含み、前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバとを含み、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つが、その接続を前記副ファイル・サーバに切り替え、残りの記憶装置の１つまたは複数が、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、障害を発生したファイル・サーバ以外の主ファイル・サーバに接続を切り替える。
【０００８】
コンピュータ・システムの好ましい実施形態では、前記Ｎ個の記憶装置のそれぞれが、複数のディスク・ドライブを含む。前記複数のディスク・ドライブが、新磁気ディスク制御機構（ＲＡＩＤ）を含むことが好ましい。コンピュータ・システムのさらなる好ましい実施形態では、前記Ｎ個の主ファイル・サーバおよび前記副ファイル・サーバのそれぞれが、ＰＣである。
【０００９】
前記Ｎ個の記憶装置の少なくとも１つが、第１接続および第２接続を有し、前記第１接続が、前記記憶装置を前記主ファイル・サーバの１つに機能的に接続し、前記第２接続が、前記記憶装置を前記副ファイル・サーバに機能的に接続することが好ましい。前記第１接続および前記第２接続が、ＳＣＳＩバス接続であることが好ましい。前記主ファイル・サーバおよび前記副ファイル・サーバの少なくとも１つが、２チャネルＳＣＳＩコントローラを有し、前記２チャネルの一方が、前記Ｎ個の記憶装置の１つに機能的に接続され、前記２チャネルの他方が、前記Ｎ個の記憶装置のもう１つに機能的に接続されることが好ましい。
【００１０】
さらに、障害の存在下でファイル・システムのすべての性能を維持する方法が提供される。前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバとを有する。前記ファイル・システムは、さらに、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバを有する。前記方法は、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えるステップと、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えるステップとを含む。したがって、この方法では、性能の損失がなく、ファイル・サーバに対する結果の負荷が等化される形で接続が切り替えられる。
【００１１】
さらに、障害の存在下でファイル・システムのすべての性能を維持するためにコンピュータ可読媒体内で実施されるコンピュータ・プログラム製品が提供される。前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバとを有する。前記ファイル・システムが、さらに、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバを有する。前記コンピュータ・プログラム製品が、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えるコンピュータ可読プログラム・コード手段と、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えるコンピュータ可読プログラム・コード手段とを含む。したがって、上で説明したように、接続は、性能の損失がなく、ファイル・サーバに対する結果の負荷が等化される形で切り替えられる。
【００１２】
さらに、障害の存在下でファイル・システムのすべての性能を維持する方法ステップを実行するために計算機によって実行可能な命令のプログラムを有形に実施する、前記計算機によって可読のプログラム記憶装置が提供される。前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバとを有する。前記ファイル・システムは、さらに、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバを有する。前記方法は、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えることと、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えることとを含む。したがって、この方法は、性能の損失がなく、ファイル・サーバに対する結果の負荷が等化される形で接続を切り替えることを含む。
【００１３】
本発明の装置および方法の上記および他の特徴、態様、および長所は、以下の説明、請求項、および添付図面に関してよりよく理解される。
【発明を実施するための最良の形態】
【００１４】
本発明は、多数のさまざまなタイプのフェールオーバ・システムに適用可能であるが、大量並列コンピュータのフェールオーバ・システムの環境に特に有用であることがわかっている。したがって、大量並列コンピュータに関するフェールオーバ・システムへの本発明の適用可能性を制限せずに、本発明を、そのような環境で説明する。
【００１５】
図１を参照すると、コンピュータ・システムが、示されており、全体的に符号１００によって参照される。コンピュータ・システム１００は、ハードウェアおよびソフトウェアのアーキテクチャとアルゴリズムを使用して、上で説明した従来技術に関連する問題を解決する。コンピュータ・システム１００には、複数の「Ｎ／Ｎ＋１フェールオーバ・クラスタ」に配置されたファイル・システム１０２が含まれ、各フェールオーバ・クラスタに、ファイル・サーバ１０４とも称する、入出力ノード１０６ごとに１つのプロセッサと、少なくとも１つのオンライン予備ファイル・サーバ１０４ａが含まれる。好ましい実施形態では、コンピュータ１００が、大量並列システムであり、ファイル・システムで、ファイル・サーバ１０４としてラックマウントの汎用品ＰＣが使用される。
【００１６】
予備１０４ａを含む各ファイル・サーバ１０４は、複数の記憶装置１０８への直接アクセスを有する。図１には、各ファイル・サーバ１０４が２つの記憶装置１０８に直接にアクセスすることが示されているが、そのような構成は、好ましい実施形態として示されたものであり、本発明の趣旨または範囲を制限するためのものではない。しかし、下で説明するように、各ファイル・サーバ１０４は、３つ以上の記憶装置１０８に直接にアクセスすることができる。ファイル・サーバ１０４のそれぞれに、２チャネルＳＣＳＩコントローラが含まれることが好ましい。そのような好ましい構成では、ＳＣＳＩチャネルの１つが、記憶装置１０８への「主」インターフェースと指定され、他方が、第２の記憶装置１０８へのホット・スタンバイまたは「フェールオーバ」モードに置かれ、その記憶装置１０８の主ファイル・サーバ１０４に障害が発生した場合にファイル・システム・インターフェースを引き受ける準備ができている。
【００１７】
各ファイル・サーバ１０４に、「リモート管理」インターフェースが含まれることが好ましい。そのようなインターフェースの例が、Intel Serverの「Base Management Controller」（ＢＭＣ）であり、これは、各ファイル・サーバ１０４へのイーサネット（Ｒ）接続またはシリアル接続を介してリモートからファイル・サーバ１０４を構成し、ブートし、電源をオン／オフに切り替え、監視する能力を提供する。さらに、各ファイル・サーバ１０４は、ギガビット・イーサネット（Ｒ）接続などのデータ接続を有することが好ましい。この接続によって、マルチポート・ギガビット・イーサネット（Ｒ）・スイッチを介する、コンピュータ１００の入出力ノード１０６へのインターフェースがもたらされる。
【００１８】
記憶装置１０８は、それぞれに標準ラックマウント・フレーム内の複数のディスク・ドライブが含まれるホットスワップＳＣＳＩディスク・ケージであることが好ましい。ディスク・ケージに、多重チャネルハードウェアＲＡＩＤ（新磁気ディスク制御機構）コントローラ、冗長電源、および２つの外部ＳＣＳＩバス接続が含まれることが好ましい。ハードウェアＲＡＩＤコントローラは、複数のディスク・ドライブをＲＡＩＤ「ストライプ・セット」にグループ化し、ＲＡＩＤ−０（保護なしの単純なストライピング）からＲＡＩＤ−５（パリティ保護付きのブロック回転ストライピング）までの範囲の複数のストライプセット構成をサポートする。複数のＲＡＩＤストライプセットが、ディスク・ドライブのより大きいアレイにまたがって一緒にストライピングされる、「スパニング」と称するより高水準のＲＡＩＤも、このハードウェア編成によってサポートすることができる。この例が、ＲＡＩＤ−５０であり、これは、複数のＲＡＩＤ−５ストライプセット自体が、ディスク・ドライブのより大きいクラスタにまたがってストライピングされる。しかし、ＲＡＩＤ−５は、ＲＡＩＤ−５０システムがもたらす信頼性の小さい増加のためのＲＡＩＤ−５０システムの追加の複雑さおよびコストをこうむらずに必要な信頼性をもたらすので、ＲＡＩＤ−５が好ましい。
【００１９】
各ファイル・サーバ１０４は、「ツイン接続」された（内部ＳＣＳＩバスが各端で異なるホストにインターフェースすることを意味する）ＳＣＳＩ相互接続を介して、複数の記憶装置１０８に接続される。これらのファイル・サーバ１０４のいずれかに障害が発生する場合に、特定の記憶装置１０８への直接相互接続を有するファイル・サーバ・ノード１１０に対するコンピュータ入出力ノード１０６の１対１関係は、入出力ノード１０６および残りのファイル・サーバ・ノード１１０の調整を介して維持される。そのような調整は、必要な数のファイル・サーバ・ノード１１０を、その主のツイン接続された接続（実線で図示）から副接続（破線で図示）に同時に切り替えることによって達成される。
【００２０】
以下の例からわかるように、どのファイル・サーバ１０４に障害が発生したかに応じて、０から残りのファイル・サーバ・ノード数から１を引いた値まで（１１０）のどれかが、副接続に切り替えられる、すなわちフェールオーバする。平均して、ファイル・サーバ・ノード１１０の半分が、切替を必要とする。このようにして、各記憶装置１０８は、それに対応する１つの動作するファイル・サーバ１０４を持ち続ける。ファイル・サーバ・ノード１１０のフェールオーバと同時に、コンピュータ入出力ノード１０６も、それが特定のファイル・システムに対する入出力を実行するのに使用するファイル・サーバ１０４を切り替えることによって、特定の記憶装置１０８への論理接続を切り替える。図２からわかるように、ファイル・サーバ１０４ｂの障害時に、予備ファイル・サーバ１０４ａへの副接続が、主接続になり、記憶装置１０８ａが、障害を発生したファイル・サーバ１０４ｂとの主接続を切り替える。当業者は、コンピュータ入出力ノードから生成される負荷が等しいと仮定すると、性能（帯域幅）の損失がなく、ファイル・サーバ１０４のそれぞれの負荷が等しいことを理解するであろう。また、当業者は、このフェールオーバ方法全体が、総合性能および入出力接続性の両方に関して、アプリケーションに対して透過的であることを理解するであろう。これは、コンピュータ入出力ノード１０６が、各記憶装置１０８への直接接続を透過的に維持し、障害時に調整された形でその接続性をリダイレクトするからである。
【００２１】
図３を参照すると、４つ（Ｎ）の記憶装置１０８および５つ（Ｎ＋１）のファイル・サーバ１０４を有する本発明のファイル・システム１０２の例が示されている。各ファイル・サーバ１０４が、ＰＣであり、各記憶装置１０８が、独立のＲＡＩＤ−５ユニットであることが好ましい。記憶装置１０８の数は、入出力ノード１０６の数と一致する。各記憶装置１０８は、上で述べたように２つの外部ＳＣＳＩバス接続を有する。一方のＳＣＳＩ接続は、主ファイル・サーバ１０４に接続され、他方は、異なる副ファイル・サーバ１０４に接続される。したがって、中間のファイル・サーバ１０４は、ある記憶装置１０８の主ファイル・サーバ１０４として、および別の記憶装置１０８の副ファイル・サーバ１０４として働く。主ファイル・サーバ１０４だけが、記憶装置１０８を能動的にサービスするが、主ファイル・サーバに障害が発生する場合には、副ファイル・サーバ１０４ａが肩代わりする。したがって、ファイル・サーバ１０４は、記憶装置１０８のＳＣＳＩまたは他のディスク・プロトコルと入出力ノード１０６のイーサネット（Ｒ）または他のネットワーキング・プロトコルの間で信頼性のある形で変換する。４つ（Ｎ）のファイル・サーバ１０４が使用される場合に、ファイル・サーバ１０４の１つの障害時に、その副ファイル・サーバ１０４が、別の記憶装置１０８の主ファイル・サーバ１０４としても働き続ける。したがって、影響される記憶装置１０８に対する性能は、１／２に減る可能性がある。この性能低下を避けるために、上で述べたように、「Ｎ／Ｎ＋１フェールオーバ・クラスタ」方式が使用され、ここで、Ｎは、記憶装置１０８の数であり、Ｎ＋１は、ファイル・サーバ１０４の数である。
【００２２】
Ｎ＝４であると仮定すると、４／５フェールオーバ・クラスタの記憶装置１０８およびファイル・サーバ１０４は、図３に示されているように配置され、ここで、記憶装置１０８のそれぞれについて、実線は主接続を示し、破線は副接続を表す。すべての主ファイル・サーバ１０４が正しく動作している場合には、アクティブ・ファイル・サーバは、図４に示されているようになる。左端のファイル・サーバ１０４ｂに障害が発生する場合に、副ファイル・サーバ１０４が、図５に示されているように使用される。中間のファイル・サーバ１０４ｂに障害が発生する場合に、接続は、図６に示されているようになる。
【００２３】
上の例によって実証されるように、記憶装置１０８のそれぞれについて、ファイル・サーバ１０４へのそのＳＣＳＩ接続の１つだけがアクティブになる。ファイル・サーバ１０４ｂに障害が発生する場合に、それに対応する記憶装置１０８が、別のファイル・サーバ１０４に切り替えられる。そのファイル・サーバ１０４が、別の記憶装置１０８をサービスしている場合に、そのサービスが、隣接するファイル・サーバ１０４に移される。その隣も、必要であれば同一のことを行い、各ファイル・サーバ１０４が、単一の記憶装置１０８だけをサービスする結果になる。したがって、ファイル・サーバ１０４の障害は、そのサーバのＮ／Ｎ＋１フェールオーバ・クラスタ内の位置に応じて、１個とＮ個の間の記憶装置１０８を異なるファイル・サーバ１０４に移動させる。したがって、そのようなファイル・サーバ１０４の入出力ノード１０６は、異なるファイル・サーバ１０４を使用しなければならない。
【００２４】
当業者は、ファイル・システム１０２を、本発明に従って構成し、各記憶装置１０８が、３つ以上のファイル・サーバ１０４、たとえば３つのファイル・サーバ１０４すなわち１つの主ファイル・サーバおよび２つの副ファイル・サーバに接続されるようにすることができることを理解するであろう。当業者は、そのような構成でファイル・サーバ１０４に障害が発生する場合に、それに対応する記憶装置１０８を、別のファイル・サーバ１０４に切り替え、残りの記憶装置１０８の間の切り替えを最小限にすることができることを諒解するであろう。
【００２５】
本発明の方法は、コンピュータ・ソフトウェア・プログラムによって実行されるのに特に適し、そのようなコンピュータ・ソフトウェアに、この方法の個々のステップに対応するモジュールが含まれることが好ましい。そのようなソフトウェアは、もちろん、集積チップまたは周辺装置など、コンピュータ可読媒体で実施することができる。
【００２６】
本発明の好ましい実施形態と考えられるものを図示し、説明したが、もちろん、本発明の趣旨から逸脱せずに、形態または詳細におけるさまざまな修正および変更をすぐに行えることを理解されたい。したがって、本発明を、説明され図示された正確な形態に制限することは意図されておらず、本発明は、請求項の範囲に含めることができるすべての修正形態を含むと解釈されなければならない。
【図面の簡単な説明】
【００２７】
【図１】本発明の好ましい実施形態によるコンピューティング・システムの入出力ノードおよびファイル・システムの通常動作モードを示す図である。
【図２】ファイル・システムのファイル・サーバに障害が発生した、図１のコンピューティング・システムを示す図である。
【図３】５つのファイル・サーバおよび４つの記憶装置を有する図１のファイル・システムの概略図である。
【図４】主ファイル・サーバのすべてが正しく働いている、図３のファイル・システムを示す図である。
【図５】最後のファイル・サーバに障害が発生した、図３のファイル・システムを示す図である。
【図６】中間のファイル・サーバに障害が発生した、図３のファイル・システムを示す図である。
【０００１】
本発明は、全般的にはファイルサーバのフェールオーバのシステムおよび方法に関し、具体的には、たとえば生命科学の分野での計算に適用される、分散メモリ・メッセージ受渡並列コンピュータの設計およびシステム・ソフトウェアに関する。
【背景技術】
【０００２】
並列コンピュータ設計でファイルサーバの障害に対するフェールオーバを提供するシステムおよび方法が、当技術分野で既知である。しかし、そのようなシステムおよび方法は、システム性能の低下を犠牲にしてフェールオーバを提供する。その結果、従来技術のフェールオーバのシステムおよび方法は、総合性能または入出力接続性のいずれかで、コンピュータによって実行されるアプリケーションに対して透過的でない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、本発明の目的は、従来技術に関連する欠点を克服する、ファイル・システムに関するフェールオーバのシステムおよび方法を提供することである。
【課題を解決するための手段】
【０００４】
したがって、コンピュータのファイル・システムを提供する。このファイル・システムは、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバとを含み、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つが、その接続を前記副ファイル・サーバに切り替え、残りの記憶装置の１つまたは複数が、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、障害を発生したファイル・サーバ以外の主ファイル・サーバに接続を切り替える。
【０００５】
ファイル・システムの好ましい実施形態では、前記Ｎ個の記憶装置のそれぞれが、複数のディスク・ドライブを含む。前記複数のディスク・ドライブが、新磁気ディスク制御機構（ＲＡＩＤ）を含むことが好ましい。このファイル・システムのさらなる好ましい実施形態では、前記Ｎ個の主ファイル・サーバおよび前記副ファイル・サーバのそれぞれが、ＰＣである。
【０００６】
前記Ｎ個の記憶装置の少なくとも１つが、第１接続および第２接続を有し、前記第１接続が、前記記憶装置を前記主ファイル・サーバの１つに機能的に接続し、前記第２接続が、前記記憶装置を前記副ファイル・サーバに機能的に接続することが好ましい。前記第１接続および前記第２接続が、ＳＣＳＩバス接続であることが好ましい。前記主ファイル・サーバおよび前記副ファイル・サーバの少なくとも１つが、２チャネルＳＣＳＩコントローラを有し、前記２チャネルの一方が、前記Ｎ個の記憶装置の１つに機能的に接続され、前記２チャネルの他方が、前記Ｎ個の記憶装置のもう１つに機能的に接続されることが好ましい。
【０００７】
コンピュータ・システムも提供される。このコンピュータ・システムは、ファイル・システムに機能的に接続された入出力ノードを含み、前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバとを含み、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つが、その接続を前記副ファイル・サーバに切り替え、残りの記憶装置の１つまたは複数が、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、障害を発生したファイル・サーバ以外の主ファイル・サーバに接続を切り替える。
【０００８】
コンピュータ・システムの好ましい実施形態では、前記Ｎ個の記憶装置のそれぞれが、複数のディスク・ドライブを含む。前記複数のディスク・ドライブが、新磁気ディスク制御機構（ＲＡＩＤ）を含むことが好ましい。コンピュータ・システムのさらなる好ましい実施形態では、前記Ｎ個の主ファイル・サーバおよび前記副ファイル・サーバのそれぞれが、ＰＣである。
【０００９】
前記Ｎ個の記憶装置の少なくとも１つが、第１接続および第２接続を有し、前記第１接続が、前記記憶装置を前記主ファイル・サーバの１つに機能的に接続し、前記第２接続が、前記記憶装置を前記副ファイル・サーバに機能的に接続することが好ましい。前記第１接続および前記第２接続が、ＳＣＳＩバス接続であることが好ましい。前記主ファイル・サーバおよび前記副ファイル・サーバの少なくとも１つが、２チャネルＳＣＳＩコントローラを有し、前記２チャネルの一方が、前記Ｎ個の記憶装置の１つに機能的に接続され、前記２チャネルの他方が、前記Ｎ個の記憶装置のもう１つに機能的に接続されることが好ましい。
【００１０】
さらに、障害の存在下でファイル・システムのすべての性能を維持する方法が提供される。前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバとを有する。前記ファイル・システムは、さらに、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバを有する。前記方法は、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えるステップと、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えるステップとを含む。したがって、この方法では、性能の損失がなく、ファイル・サーバに対する結果の負荷が等化される形で接続が切り替えられる。
【００１１】
さらに、障害の存在下でファイル・システムのすべての性能を維持するためにコンピュータ可読媒体内で実施されるコンピュータ・プログラム製品が提供される。前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバとを有する。前記ファイル・システムが、さらに、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバを有する。前記コンピュータ・プログラム製品が、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えるコンピュータ可読プログラム・コード手段と、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えるコンピュータ可読プログラム・コード手段とを含む。したがって、上で説明したように、接続は、性能の損失がなく、ファイル・サーバに対する結果の負荷が等化される形で切り替えられる。
【００１２】
さらに、障害の存在下でファイル・システムのすべての性能を維持する方法ステップを実行するために計算機によって実行可能な命令のプログラムを有形に実施する、前記計算機によって可読のプログラム記憶装置が提供される。前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバとを有する。前記ファイル・システムは、さらに、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバを有する。前記方法は、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えることと、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えることとを含む。したがって、この方法は、性能の損失がなく、ファイル・サーバに対する結果の負荷が等化される形で接続を切り替えることを含む。
【００１３】
本発明の装置および方法の上記および他の特徴、態様、および長所は、以下の説明、請求項、および添付図面に関してよりよく理解される。
【発明を実施するための最良の形態】
【００１４】
本発明は、多数のさまざまなタイプのフェールオーバ・システムに適用可能であるが、大量並列コンピュータのフェールオーバ・システムの環境に特に有用であることがわかっている。したがって、大量並列コンピュータに関するフェールオーバ・システムへの本発明の適用可能性を制限せずに、本発明を、そのような環境で説明する。
【００１５】
図１を参照すると、コンピュータ・システムが、示されており、全体的に符号１００によって参照される。コンピュータ・システム１００は、ハードウェアおよびソフトウェアのアーキテクチャとアルゴリズムを使用して、上で説明した従来技術に関連する問題を解決する。コンピュータ・システム１００には、複数の「Ｎ／Ｎ＋１フェールオーバ・クラスタ」に配置されたファイル・システム１０２が含まれ、各フェールオーバ・クラスタに、ファイル・サーバ１０４とも称する、入出力ノード１０６ごとに１つのプロセッサと、少なくとも１つのオンライン予備ファイル・サーバ１０４ａが含まれる。好ましい実施形態では、コンピュータ１００が、大量並列システムであり、ファイル・システムで、ファイル・サーバ１０４としてラックマウントの汎用品ＰＣが使用される。
【００１６】
予備１０４ａを含む各ファイル・サーバ１０４は、複数の記憶装置１０８への直接アクセスを有する。図１には、各ファイル・サーバ１０４が２つの記憶装置１０８に直接にアクセスすることが示されているが、そのような構成は、好ましい実施形態として示されたものであり、本発明の趣旨または範囲を制限するためのものではない。しかし、下で説明するように、各ファイル・サーバ１０４は、３つ以上の記憶装置１０８に直接にアクセスすることができる。ファイル・サーバ１０４のそれぞれに、２チャネルＳＣＳＩコントローラが含まれることが好ましい。そのような好ましい構成では、ＳＣＳＩチャネルの１つが、記憶装置１０８への「主」インターフェースと指定され、他方が、第２の記憶装置１０８へのホット・スタンバイまたは「フェールオーバ」モードに置かれ、その記憶装置１０８の主ファイル・サーバ１０４に障害が発生した場合にファイル・システム・インターフェースを引き受ける準備ができている。
【００１７】
各ファイル・サーバ１０４に、「リモート管理」インターフェースが含まれることが好ましい。そのようなインターフェースの例が、Intel Serverの「Base Management Controller」（ＢＭＣ）であり、これは、各ファイル・サーバ１０４へのイーサネット（Ｒ）接続またはシリアル接続を介してリモートからファイル・サーバ１０４を構成し、ブートし、電源をオン／オフに切り替え、監視する能力を提供する。さらに、各ファイル・サーバ１０４は、ギガビット・イーサネット（Ｒ）接続などのデータ接続を有することが好ましい。この接続によって、マルチポート・ギガビット・イーサネット（Ｒ）・スイッチを介する、コンピュータ１００の入出力ノード１０６へのインターフェースがもたらされる。
【００１８】
記憶装置１０８は、それぞれに標準ラックマウント・フレーム内の複数のディスク・ドライブが含まれるホットスワップＳＣＳＩディスク・ケージであることが好ましい。ディスク・ケージに、多重チャネルハードウェアＲＡＩＤ（新磁気ディスク制御機構）コントローラ、冗長電源、および２つの外部ＳＣＳＩバス接続が含まれることが好ましい。ハードウェアＲＡＩＤコントローラは、複数のディスク・ドライブをＲＡＩＤ「ストライプ・セット」にグループ化し、ＲＡＩＤ−０（保護なしの単純なストライピング）からＲＡＩＤ−５（パリティ保護付きのブロック回転ストライピング）までの範囲の複数のストライプセット構成をサポートする。複数のＲＡＩＤストライプセットが、ディスク・ドライブのより大きいアレイにまたがって一緒にストライピングされる、「スパニング」と称するより高水準のＲＡＩＤも、このハードウェア編成によってサポートすることができる。この例が、ＲＡＩＤ−５０であり、これは、複数のＲＡＩＤ−５ストライプセット自体が、ディスク・ドライブのより大きいクラスタにまたがってストライピングされる。しかし、ＲＡＩＤ−５は、ＲＡＩＤ−５０システムがもたらす信頼性の小さい増加のためのＲＡＩＤ−５０システムの追加の複雑さおよびコストをこうむらずに必要な信頼性をもたらすので、ＲＡＩＤ−５が好ましい。
【００１９】
各ファイル・サーバ１０４は、「ツイン接続」された（内部ＳＣＳＩバスが各端で異なるホストにインターフェースすることを意味する）ＳＣＳＩ相互接続を介して、複数の記憶装置１０８に接続される。これらのファイル・サーバ１０４のいずれかに障害が発生する場合に、特定の記憶装置１０８への直接相互接続を有するファイル・サーバ・ノード１１０に対するコンピュータ入出力ノード１０６の１対１関係は、入出力ノード１０６および残りのファイル・サーバ・ノード１１０の調整を介して維持される。そのような調整は、必要な数のファイル・サーバ・ノード１１０を、その主のツイン接続された接続（実線で図示）から副接続（破線で図示）に同時に切り替えることによって達成される。
【００２０】
以下の例からわかるように、どのファイル・サーバ１０４に障害が発生したかに応じて、０から残りのファイル・サーバ・ノード数から１を引いた値まで（１１０）のどれかが、副接続に切り替えられる、すなわちフェールオーバする。平均して、ファイル・サーバ・ノード１１０の半分が、切替を必要とする。このようにして、各記憶装置１０８は、それに対応する１つの動作するファイル・サーバ１０４を持ち続ける。ファイル・サーバ・ノード１１０のフェールオーバと同時に、コンピュータ入出力ノード１０６も、それが特定のファイル・システムに対する入出力を実行するのに使用するファイル・サーバ１０４を切り替えることによって、特定の記憶装置１０８への論理接続を切り替える。図２からわかるように、ファイル・サーバ１０４ｂの障害時に、予備ファイル・サーバ１０４ａへの副接続が、主接続になり、記憶装置１０８ａが、障害を発生したファイル・サーバ１０４ｂとの主接続を切り替える。当業者は、コンピュータ入出力ノードから生成される負荷が等しいと仮定すると、性能（帯域幅）の損失がなく、ファイル・サーバ１０４のそれぞれの負荷が等しいことを理解するであろう。また、当業者は、このフェールオーバ方法全体が、総合性能および入出力接続性の両方に関して、アプリケーションに対して透過的であることを理解するであろう。これは、コンピュータ入出力ノード１０６が、各記憶装置１０８への直接接続を透過的に維持し、障害時に調整された形でその接続性をリダイレクトするからである。
【００２１】
図３を参照すると、４つ（Ｎ）の記憶装置１０８および５つ（Ｎ＋１）のファイル・サーバ１０４を有する本発明のファイル・システム１０２の例が示されている。各ファイル・サーバ１０４が、ＰＣであり、各記憶装置１０８が、独立のＲＡＩＤ−５ユニットであることが好ましい。記憶装置１０８の数は、入出力ノード１０６の数と一致する。各記憶装置１０８は、上で述べたように２つの外部ＳＣＳＩバス接続を有する。一方のＳＣＳＩ接続は、主ファイル・サーバ１０４に接続され、他方は、異なる副ファイル・サーバ１０４に接続される。したがって、中間のファイル・サーバ１０４は、ある記憶装置１０８の主ファイル・サーバ１０４として、および別の記憶装置１０８の副ファイル・サーバ１０４として働く。主ファイル・サーバ１０４だけが、記憶装置１０８を能動的にサービスするが、主ファイル・サーバに障害が発生する場合には、副ファイル・サーバ１０４ａが肩代わりする。したがって、ファイル・サーバ１０４は、記憶装置１０８のＳＣＳＩまたは他のディスク・プロトコルと入出力ノード１０６のイーサネット（Ｒ）または他のネットワーキング・プロトコルの間で信頼性のある形で変換する。４つ（Ｎ）のファイル・サーバ１０４が使用される場合に、ファイル・サーバ１０４の１つの障害時に、その副ファイル・サーバ１０４が、別の記憶装置１０８の主ファイル・サーバ１０４としても働き続ける。したがって、影響される記憶装置１０８に対する性能は、１／２に減る可能性がある。この性能低下を避けるために、上で述べたように、「Ｎ／Ｎ＋１フェールオーバ・クラスタ」方式が使用され、ここで、Ｎは、記憶装置１０８の数であり、Ｎ＋１は、ファイル・サーバ１０４の数である。
【００２２】
Ｎ＝４であると仮定すると、４／５フェールオーバ・クラスタの記憶装置１０８およびファイル・サーバ１０４は、図３に示されているように配置され、ここで、記憶装置１０８のそれぞれについて、実線は主接続を示し、破線は副接続を表す。すべての主ファイル・サーバ１０４が正しく動作している場合には、アクティブ・ファイル・サーバは、図４に示されているようになる。左端のファイル・サーバ１０４ｂに障害が発生する場合に、副ファイル・サーバ１０４が、図５に示されているように使用される。中間のファイル・サーバ１０４ｂに障害が発生する場合に、接続は、図６に示されているようになる。
【００２３】
上の例によって実証されるように、記憶装置１０８のそれぞれについて、ファイル・サーバ１０４へのそのＳＣＳＩ接続の１つだけがアクティブになる。ファイル・サーバ１０４ｂに障害が発生する場合に、それに対応する記憶装置１０８が、別のファイル・サーバ１０４に切り替えられる。そのファイル・サーバ１０４が、別の記憶装置１０８をサービスしている場合に、そのサービスが、隣接するファイル・サーバ１０４に移される。その隣も、必要であれば同一のことを行い、各ファイル・サーバ１０４が、単一の記憶装置１０８だけをサービスする結果になる。したがって、ファイル・サーバ１０４の障害は、そのサーバのＮ／Ｎ＋１フェールオーバ・クラスタ内の位置に応じて、１個とＮ個の間の記憶装置１０８を異なるファイル・サーバ１０４に移動させる。したがって、そのようなファイル・サーバ１０４の入出力ノード１０６は、異なるファイル・サーバ１０４を使用しなければならない。
【００２４】
当業者は、ファイル・システム１０２を、本発明に従って構成し、各記憶装置１０８が、３つ以上のファイル・サーバ１０４、たとえば３つのファイル・サーバ１０４すなわち１つの主ファイル・サーバおよび２つの副ファイル・サーバに接続されるようにすることができることを理解するであろう。当業者は、そのような構成でファイル・サーバ１０４に障害が発生する場合に、それに対応する記憶装置１０８を、別のファイル・サーバ１０４に切り替え、残りの記憶装置１０８の間の切り替えを最小限にすることができることを諒解するであろう。
【００２５】
本発明の方法は、コンピュータ・ソフトウェア・プログラムによって実行されるのに特に適し、そのようなコンピュータ・ソフトウェアに、この方法の個々のステップに対応するモジュールが含まれることが好ましい。そのようなソフトウェアは、もちろん、集積チップまたは周辺装置など、コンピュータ可読媒体で実施することができる。
【００２６】
本発明の好ましい実施形態と考えられるものを図示し、説明したが、もちろん、本発明の趣旨から逸脱せずに、形態または詳細におけるさまざまな修正および変更をすぐに行えることを理解されたい。したがって、本発明を、説明され図示された正確な形態に制限することは意図されておらず、本発明は、請求項の範囲に含めることができるすべての修正形態を含むと解釈されなければならない。
【図面の簡単な説明】
【００２７】
【図１】本発明の好ましい実施形態によるコンピューティング・システムの入出力ノードおよびファイル・システムの通常動作モードを示す図である。
【図２】ファイル・システムのファイル・サーバに障害が発生した、図１のコンピューティング・システムを示す図である。
【図３】５つのファイル・サーバおよび４つの記憶装置を有する図１のファイル・システムの概略図である。
【図４】主ファイル・サーバのすべてが正しく働いている、図３のファイル・システムを示す図である。
【図５】最後のファイル・サーバに障害が発生した、図３のファイル・システムを示す図である。
【図６】中間のファイル・サーバに障害が発生した、図３のファイル・システムを示す図である。
Claims (17)
- コンピュータのファイル・システムであって、
Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、
Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、
前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバと
を含み、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つが、その接続を前記副ファイル・サーバに切り替え、残りの記憶装置の１つまたは複数が、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、障害を発生したファイル・サーバ以外の主ファイル・サーバに接続を切り替える
ファイル・システム。 - 前記Ｎ個の記憶装置のそれぞれが、複数のディスク・ドライブを含む、請求項１に記載のファイル・システム。
- 前記複数のディスク・ドライブが、新磁気ディスク制御機構（ＲＡＩＤ）を含む、請求項２に記載のファイル・システム。
- 前記Ｎ個の主ファイル・サーバおよび前記副ファイル・サーバのそれぞれが、ＰＣである、請求項１に記載のファイル・システム。
- 前記Ｎ個の記憶装置の少なくとも１つが、第１接続および第２接続を有し、前記第１接続が、前記記憶装置を前記主ファイル・サーバの１つに機能的に接続し、前記第２接続が、前記記憶装置を前記副ファイル・サーバに機能的に接続する、請求項１に記載のファイル・システム。
- 前記第１接続および前記第２接続が、ＳＣＳＩバス接続である、請求項５に記載のファイル・システム。
- 前記主ファイル・サーバおよび前記副ファイル・サーバの少なくとも１つが、２チャネルＳＣＳＩコントローラを有し、前記２チャネルの一方が、前記Ｎ個の記憶装置の１つに機能的に接続され、前記２チャネルの他方が、前記Ｎ個の記憶装置のもう１つに機能的に接続される、請求項６に記載のファイル・システム。
- コンピュータ・システムであって、
ファイル・システムに機能的に接続された入出力ノード
を含み、前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバとを含み、前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つが、その接続を前記副ファイル・サーバに切り替え、残りの記憶装置の１つまたは複数が、性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、障害を発生したファイル・サーバ以外の主ファイル・サーバに接続を切り替える
コンピュータ・システム。 - 前記Ｎ個の記憶装置のそれぞれが、複数のディスク・ドライブを含む、請求項８に記載のコンピュータ・システム。
- 前記複数のディスク・ドライブが、新磁気ディスク制御機構（ＲＡＩＤ）を含む、請求項９に記載のコンピュータ・システム。
- 前記Ｎ個の主ファイル・サーバおよび前記副ファイル・サーバのそれぞれが、ＰＣである、請求項８に記載のコンピュータ・システム。
- 前記Ｎ個の記憶装置の少なくとも１つが、第１接続および第２接続を有し、前記第１接続が、前記記憶装置を前記主ファイル・サーバの１つに機能的に接続し、前記第２接続が、前記記憶装置を前記副ファイル・サーバに機能的に接続する、請求項８に記載のコンピュータ・システム。
- 前記第１接続および前記第２接続が、ＳＣＳＩバス接続である、請求項１２に記載のコンピュータ・システム。
- 前記主ファイル・サーバおよび前記副ファイル・サーバの少なくとも１つが、２チャネルＳＣＳＩコントローラを有し、前記２チャネルの一方が、前記Ｎ個の記憶装置の１つに機能的に接続され、前記２チャネルの他方が、前記Ｎ個の記憶装置のもう１つに機能的に接続される、請求項１３に記載のコンピュータ・システム。
- 障害の存在下でファイル・システムのすべての性能を維持する方法であって、前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバとを有し、前記方法が、
前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えるステップと、
性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えるステップと
を含む方法。 - 障害の存在下でファイル・システムのすべての性能を維持するためにコンピュータ可読媒体内で実施されるコンピュータ・プログラム製品であって、前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバとを有し、前記コンピュータ・プログラム製品が、
前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えるコンピュータ可読プログラム・コード手段と、
性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えるコンピュータ可読プログラム・コード手段と
を含むコンピュータ・プログラム製品。 - 障害の存在下でファイル・システムのすべての性能を維持する方法ステップを実行するために計算機によって実行可能な命令のプログラムを有形に実施する、前記計算機によって可読のプログラム記憶装置であって、前記ファイル・システムが、Ｎが０より大きい整数であるものとして、Ｎ個の記憶装置と、Ｎ個の主ファイル・サーバであって、各ファイル・サーバが、その中のファイルにアクセスするために対応する記憶装置に機能的に接続される、Ｎ個の主ファイル・サーバと、前記Ｎ個の記憶装置の少なくとも１つに機能的に接続された副ファイル・サーバとを有し、前記方法が、
前記Ｎ個の主ファイル・サーバの１つの障害時に、前記Ｎ個の記憶装置の１つの接続を前記副ファイル・サーバに切り替えることと、
性能の損失を防ぎ、動作するファイル・サーバに各記憶装置を提供するための必要に応じて、残りの記憶装置の１つまたは複数の接続を、障害を発生したファイル・サーバ以外の主ファイル・サーバに切り替えることと
を含むプログラム記憶装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US27112401P | 2001-02-24 | 2001-02-24 | |
| PCT/US2002/005614 WO2002069162A1 (en) | 2001-02-24 | 2002-02-25 | Twin-tailed fail-over for fileservers maintaining full performance in the presence of a failure |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004530972A true JP2004530972A (ja) | 2004-10-07 |
| JP4107651B2 JP4107651B2 (ja) | 2008-06-25 |
Family
ID=68499839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002568216A Expired - Fee Related JP4107651B2 (ja) | 2001-02-24 | 2002-02-25 | 障害の存在下で完全な性能を維持するファイルサーバのツイン接続フェールオーバ |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7330996B2 (ja) |
| EP (1) | EP1402381A4 (ja) |
| JP (1) | JP4107651B2 (ja) |
| KR (1) | KR100553145B1 (ja) |
| CN (1) | CN1232916C (ja) |
| WO (1) | WO2002069162A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013156847A (ja) * | 2012-01-30 | 2013-08-15 | Fujitsu Ltd | ファイルシステム |
| JP2014095946A (ja) * | 2012-11-07 | 2014-05-22 | Fujitsu Ltd | 情報処理装置、情報処理システムの制御方法及び情報処理システムの制御プログラム |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6654241B2 (en) * | 2001-06-29 | 2003-11-25 | Intel Corporation | High availability small foot-print server |
| JP4039276B2 (ja) * | 2003-03-05 | 2008-01-30 | 富士ゼロックス株式会社 | サービス処理システム及びプログラム |
| US7376859B2 (en) * | 2003-10-20 | 2008-05-20 | International Business Machines Corporation | Method, system, and article of manufacture for data replication |
| US7668941B1 (en) * | 2004-06-29 | 2010-02-23 | American Megatrends, Inc. | Systems and methods for implementing a TCP/IP stack and web interface within a management module |
| US7707282B1 (en) | 2004-06-29 | 2010-04-27 | American Megatrends, Inc. | Integrated network and management controller |
| CN100364266C (zh) * | 2004-07-23 | 2008-01-23 | 北京数码大方科技有限公司 | 一种混合分布式文件管理仓储系统及相关方法 |
| US20060143502A1 (en) * | 2004-12-10 | 2006-06-29 | Dell Products L.P. | System and method for managing failures in a redundant memory subsystem |
| US7480816B1 (en) * | 2005-08-04 | 2009-01-20 | Sun Microsystems, Inc. | Failure chain detection and recovery in a group of cooperating systems |
| JP4839841B2 (ja) * | 2006-01-04 | 2011-12-21 | 株式会社日立製作所 | スナップショット再起動方法 |
| US7461289B2 (en) * | 2006-03-16 | 2008-12-02 | Honeywell International Inc. | System and method for computer service security |
| KR100922584B1 (ko) | 2006-12-01 | 2009-10-21 | 한국전자통신연구원 | 객체 기반 분산 공유 시스템 및 그의 방법 |
| TW200832128A (en) * | 2007-01-26 | 2008-08-01 | Rdc Semiconductor Co Ltd | Redundant system |
| US20080201524A1 (en) * | 2007-02-15 | 2008-08-21 | Harris Corporation | System and method for increasing video server storage bandwidth |
| JP2009104300A (ja) * | 2007-10-22 | 2009-05-14 | Denso Corp | データ処理装置及びプログラム |
| US8544065B2 (en) * | 2008-01-23 | 2013-09-24 | International Business Machines Corporation | Dataspace protection utilizing virtual private networks on a multi-node computer system |
| JP5232602B2 (ja) * | 2008-10-30 | 2013-07-10 | 株式会社日立製作所 | ストレージ装置、及びストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法 |
| US8145838B1 (en) | 2009-03-10 | 2012-03-27 | Netapp, Inc. | Processing and distributing write logs of nodes of a cluster storage system |
| US8327186B2 (en) * | 2009-03-10 | 2012-12-04 | Netapp, Inc. | Takeover of a failed node of a cluster storage system on a per aggregate basis |
| US8069366B1 (en) | 2009-04-29 | 2011-11-29 | Netapp, Inc. | Global write-log device for managing write logs of nodes of a cluster storage system |
| CN102541693A (zh) * | 2011-12-31 | 2012-07-04 | 曙光信息产业股份有限公司 | 数据的多副本存储管理方法和系统 |
| NL1039562C2 (nl) * | 2012-04-24 | 2013-10-28 | Fusion Electronics B V | Werkwijze, aansturing, berichtenontvangstmodule, databerichtformaat en netwerkprotocol voor een agrarisch systeem. |
| CN105376289A (zh) * | 2014-09-01 | 2016-03-02 | 重庆好吃狗云计算科技有限公司 | 一种无损快速恢复数据和系统运行的方法 |
| CN106055276A (zh) * | 2016-05-25 | 2016-10-26 | 极道科技（北京）有限公司 | 一种非集中式集群存储系统 |
| CN109783280A (zh) * | 2019-01-15 | 2019-05-21 | 上海海得控制系统股份有限公司 | 共享存储系统和共享存储方法 |
| CN110417922A (zh) * | 2019-09-11 | 2019-11-05 | 北京搜狐新动力信息技术有限公司 | 一种数据传输方法、装置及系统 |
| CN111026585B (zh) * | 2019-12-05 | 2023-03-17 | 四川湖山电器股份有限公司 | 一种录播系统中的存储服务器热备切换方法 |
| CN113566391A (zh) * | 2020-04-29 | 2021-10-29 | 青岛海尔空调电子有限公司 | 空调运行控制方法、装置及空调系统 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04271454A (ja) * | 1991-02-27 | 1992-09-28 | Toshiba Corp | 疎結合計算機システム |
| US5812748A (en) * | 1993-06-23 | 1998-09-22 | Vinca Corporation | Method for improving recovery performance from hardware and software errors in a fault-tolerant computer system |
| US5978565A (en) * | 1993-07-20 | 1999-11-02 | Vinca Corporation | Method for rapid recovery from a network file server failure including method for operating co-standby servers |
| US5652839A (en) * | 1994-03-29 | 1997-07-29 | The United States Of America As Represented By The Secretary Of The Navy | Method of non-intrusively sensing status in a computer peripheral |
| US5566297A (en) * | 1994-06-16 | 1996-10-15 | International Business Machines Corporation | Non-disruptive recovery from file server failure in a highly available file system for clustered computing environments |
| US5696895A (en) * | 1995-05-19 | 1997-12-09 | Compaq Computer Corporation | Fault tolerant multiple network servers |
| US5675723A (en) * | 1995-05-19 | 1997-10-07 | Compaq Computer Corporation | Multi-server fault tolerance using in-band signalling |
| US5852724A (en) * | 1996-06-18 | 1998-12-22 | Veritas Software Corp. | System and method for "N" primary servers to fail over to "1" secondary server |
| JP2830857B2 (ja) * | 1996-09-09 | 1998-12-02 | 三菱電機株式会社 | データストレージシステム及びデータストレージ管理方法 |
| US5996086A (en) * | 1997-10-14 | 1999-11-30 | Lsi Logic Corporation | Context-based failover architecture for redundant servers |
| JPH11163970A (ja) * | 1997-11-28 | 1999-06-18 | Oki Electric Ind Co Ltd | 装置内基盤制御システム |
| US5954694A (en) * | 1998-08-07 | 1999-09-21 | Embol-X, Inc. | Nested tubing sections and methods for making same |
| US6412079B1 (en) * | 1998-10-09 | 2002-06-25 | Openwave Systems Inc. | Server pool for clustered system |
| JP3545252B2 (ja) * | 1999-03-30 | 2004-07-21 | 富士通株式会社 | 情報処理装置 |
| US6728897B1 (en) * | 2000-07-25 | 2004-04-27 | Network Appliance, Inc. | Negotiating takeover in high availability cluster |
| US6990547B2 (en) * | 2001-01-29 | 2006-01-24 | Adaptec, Inc. | Replacing file system processors by hot swapping |
| US6845467B1 (en) * | 2001-02-13 | 2005-01-18 | Cisco Systems Canada Co. | System and method of operation of dual redundant controllers |
| US6874103B2 (en) * | 2001-11-13 | 2005-03-29 | Hewlett-Packard Development Company, L.P. | Adapter-based recovery server option |
-
2002
- 2002-02-25 KR KR1020037011089A patent/KR100553145B1/ko not_active IP Right Cessation
- 2002-02-25 US US10/468,990 patent/US7330996B2/en not_active Expired - Fee Related
- 2002-02-25 JP JP2002568216A patent/JP4107651B2/ja not_active Expired - Fee Related
- 2002-02-25 CN CNB028054229A patent/CN1232916C/zh not_active Expired - Fee Related
- 2002-02-25 EP EP02707874A patent/EP1402381A4/en not_active Withdrawn
- 2002-02-25 WO PCT/US2002/005614 patent/WO2002069162A1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013156847A (ja) * | 2012-01-30 | 2013-08-15 | Fujitsu Ltd | ファイルシステム |
| JP2014095946A (ja) * | 2012-11-07 | 2014-05-22 | Fujitsu Ltd | 情報処理装置、情報処理システムの制御方法及び情報処理システムの制御プログラム |
| US9401870B2 (en) | 2012-11-07 | 2016-07-26 | Fujitsu Limited | Information processing system and method for controlling information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1402381A4 (en) | 2007-07-04 |
| CN1493031A (zh) | 2004-04-28 |
| US20040073830A1 (en) | 2004-04-15 |
| WO2002069162A1 (en) | 2002-09-06 |
| JP4107651B2 (ja) | 2008-06-25 |
| CN1232916C (zh) | 2005-12-21 |
| KR100553145B1 (ko) | 2006-02-22 |
| EP1402381A1 (en) | 2004-03-31 |
| US7330996B2 (en) | 2008-02-12 |
| KR20040004536A (ko) | 2004-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4107651B2 (ja) | 障害の存在下で完全な性能を維持するファイルサーバのツイン接続フェールオーバ | |
| US6553408B1 (en) | Virtual device architecture having memory for storing lists of driver modules | |
| KR100261378B1 (ko) | 어댑터들이상이한호스트컴퓨터에존재하는어레이에대한주콘트롤러및보조콘트롤러로서작용하도록함으로써복수의저장어레이를공유하기위한시스템및방법 | |
| US6609213B1 (en) | Cluster-based system and method of recovery from server failures | |
| JP5523468B2 (ja) | 直接接続ストレージ・システムのためのアクティブ−アクティブ・フェイルオーバー | |
| US9804804B2 (en) | Clustered storage network | |
| US7565566B2 (en) | Network storage appliance with an integrated switch | |
| US7356728B2 (en) | Redundant cluster network | |
| NZ513789A (en) | Methods and systems for implementing shared disk array management functions | |
| TW201319824A (zh) | 透過虛擬序列附接式小電腦系統介面擴展器分享的伺服器直接附接儲存器 | |
| US20120185643A1 (en) | Systems configured for improved storage system communication for n-way interconnectivity | |
| US7797394B2 (en) | System and method for processing commands in a storage enclosure | |
| WO2021012169A1 (zh) | 一种提高存储系统可靠性的方法和相关装置 | |
| US20060020711A1 (en) | Cluster network with redundant communication paths | |
| US20050081086A1 (en) | Method, apparatus and program storage device for optimizing storage device distribution within a RAID to provide fault tolerance for the RAID | |
| US6549979B1 (en) | Address mapping in mass storage device mounting system | |
| RU2716040C2 (ru) | Метод построения высокопроизводительных отказоустойчивых систем хранения данных на основе распределенных файловых систем и технологии NVMe over Fabrics | |
| US7010620B1 (en) | Network adapter having integrated switching capabilities and port circuitry that may be used in remote mirroring | |
| US11567834B2 (en) | Data center storage availability architecture using rack-level network fabric | |
| JP2000347812A (ja) | 情報処理装置およびディスクアレイ装置 | |
| US7346674B1 (en) | Configurable fibre channel loop system | |
| US11372553B1 (en) | System and method to increase data center availability using rack-to-rack storage link cable | |
| WO2010056239A1 (en) | Active-active failover for a direct-attached storage system | |
| IES70905B2 (en) | Service channel bus for storage arrays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070705 |
|
| RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20070705 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070705 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080229 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20080326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080331 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |