JP2004213125A - 高可用ディスク制御装置とその障害処理方法及び高可用ディスクサブシステム - Google Patents
高可用ディスク制御装置とその障害処理方法及び高可用ディスクサブシステム Download PDFInfo
- Publication number
- JP2004213125A JP2004213125A JP2002378956A JP2002378956A JP2004213125A JP 2004213125 A JP2004213125 A JP 2004213125A JP 2002378956 A JP2002378956 A JP 2002378956A JP 2002378956 A JP2002378956 A JP 2002378956A JP 2004213125 A JP2004213125 A JP 2004213125A
- Authority
- JP
- Japan
- Prior art keywords
- cache memory
- unit
- disk
- failure
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
- G06F11/2092—Techniques of failing over between control units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/55—Prevention, detection or correction of errors
- H04L49/557—Error correction, e.g. fault recovery or fault tolerance
Abstract
【課題】ストレージ・システムの性能劣化や、ホスト・アプリケーションの動作不良を引き起こすことのない高可用性ディスク制御装置を提供する。
【解決手段】複数のホストインターフェース部及び複数のディスクインターフェース部とキャッシュメモリ部との間を、１つ以上のスイッチで構成されるスイッチ網を介して接続し、スイッチにスイッチ網内での経路を指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を設け、また、ホストインターフェース部、ディスクインターフェース部及びキャッシュメモリ部に、スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を設け、さらに複数のキャッシュメモリ部に、その障害発生の有無を監視するための障害監視機構と障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を設ける。
【選択図】 図１
【解決手段】複数のホストインターフェース部及び複数のディスクインターフェース部とキャッシュメモリ部との間を、１つ以上のスイッチで構成されるスイッチ網を介して接続し、スイッチにスイッチ網内での経路を指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を設け、また、ホストインターフェース部、ディスクインターフェース部及びキャッシュメモリ部に、スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を設け、さらに複数のキャッシュメモリ部に、その障害発生の有無を監視するための障害監視機構と障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を設ける。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、データを複数の磁気ディスク装置に格納するディスクシステム装置の制御装置に関する。
【０００２】
【従来の技術】
企業間の電子商取引や社会基盤としての金融システムなどでは、高度な信頼性が要求され、その根幹をなす基幹ストレージ・システムに対しても、極めて高い可用性が求められている。これら基幹ストレージ・システムでは、その可用性を高めるために、内部を冗長構成とし、障害発生時には自動的に故障個所を切り離して、正常な冗長部分で動作を継続するための自動障害回復機能を備えたディスク制御装置が広く使われている。
【０００３】
例えば、図９に示した、従来より知られているディスク制御装置は、ホストコンピュータ６０との間のデータ転送を実行する複数のホストインターフェース部１Xと、磁気ディスク装置７０との間のデータ転送を実行する複数のディスクインターフェース部２Xと、磁気ディスク装置７０のデータを一時的に格納するキャッシュメモリ部３Xと、ディスク制御装置１０４に関する制御情報（例えば、ホストインターフェース部１X及びディスクインターフェース部２Xとキャッシュメモリ部３Xとの間のデータ転送制御に関する情報、磁気ディスク装置７０に格納するデータの管理情報）を格納するリソース管理部５Xとを備えている。
ホストインターフェース部１X及びディスクインターフェース部２Xとキャッシュメモリ部３Xとの間は、データインターフェース信号６により接続される。ホストインターフェース部１Ｘとキャッシュメモリ部３Xとの間、及び、ディスクインターフェース部２Xとキャッシュメモリ部３Xとの間の接続にスイッチ４Xを用いることもある。ホストインターフェース部１X及びディスクインターフェース部２Xとリソース管理部５Xとの間は、管理インターフェース信号７により接続される。リソース管理部５Xと、ホストインターフェース部１X, 及び、ディスクインターフェース部２Xとの接続は、スイッチを介しても、介さなくても良い。これにより、リソース管理部５Xおよびキャッシュメモリ部３Xは全てのホストインターフェース部１X及びディスクインターフェース部２Xからアクセス可能な構成となる。
【０００４】
図１２に示すように、ホストインターフェース部１Xは、ホストインターフェース信号１との入出力を処理するチャネルプロトコル処理部９０、データインターフェース信号６との入出力を処理するための内部プロトコル処理部８X、管理インターフェース信号７との入出力を処理するためのプロセッサインターフェース１７、及びホストコンピュータ６０に対する入出力を制御するプロセッサ１４とローカルメモリ１５を有している。
ディスクインターフェース部２Xも、構造としては、ホストインターフェース部と同様であるが、ホストインターフェース信号１の代わりにディスクインターフェース信号２がチャネルプロトコル処理部９０に接続され、プロセッサ１４においては、ホストインターフェース部で行われる制御に加えて、RAID機能の実行も行う。
ホストインターフェース部１X、及び、ディスクインターフェース部２Xが、キャッシュメモリ部３Xと通信を行う場合、データの先頭に宛先アドレスを付加したパケットを使用してパケット転送を行う。
ホストインターフェース部１X、もしくは、ディスクインターフェース部２X内のプロセッサ１４の制御で生成されたパケットは、データインターフェース信号６を介して、スイッチ４Xに送られる。スイッチ４Xは、図１０で示したように、データインターフェース信号６に接続した複数のパスインターフェース４１Ｘと、パケットバッファ４３とアドレスラッチ４４とセレクタ４８を備えている。パスインターフェース４１Ｘ内には、パケットからアドレス情報を取り出すヘッダ解析部４２Ｘが含まれており、それによって解析抽出されたパケットアドレスがアドレスラッチ４４に取り込まれる。一方、送られてきたパケットは、パスインターフェース４１Ｘを通して、パケットバッファ４３に格納される。アドレスラッチ４４からは、パケット宛先に応じたセレクタ制御信号４７が生成され、パケットバッファ４３に格納されたパケットの送出先をセレクタ４８によって切り換える。
【０００５】
スイッチ４Xで、宛先ごとに振り分けられたパケットは、再び、データインターフェース信号６を介して、目的のキャッシュメモリ部３Xに転送される。キャッシュメモリ部３Xは、図１１で示したように、データインターフェース信号６に接続した複数のデータパスインターフェース３１Ｘと、パケットバッファ３３と調停回路３９とセレクタ３８を備えている。データパスインターフェース３１Ｘ内には、パケットからアドレス情報を取り出すヘッダ解析部３２Ｘが含まれており、それによって解析抽出されたパケットアドレスは、調停回路３９に取り込まれる。一方、送られてきたパケットは、パスインターフェース３１Ｘを通して、パケットバッファ３３に格納される。調停回路３９は、複数のデータパスインターフェース３１Ｘの中から、いずれかを選択し、その選択結果に応じたセレクタ制御信号を生成する。このセレクタ制御信号で、セレクタ３８を切り換えることにより、所望のパケットバッファ３３の内容をキャッシュメモリ３７に、メモリ制御回路３５を介して、書き込むことができる。パケットバッファ３３に格納されたパケットがメモリ読み出しの要求であった場合、指定された領域のキャッシュメモリ３７の内容を、上記と逆の経路をたどることによって、ホストインターフェース部１X、もしくは、ディスクインターフェース部２Xに返送する。
【０００６】
ホストインターフェース部１X、及び、ディスクインターフェース部２Xが、リソース管理部５Xと通信を行う場合も、データインターフェース信号６の代わりに、管理インターフェース信号７が用いられる以外は、キャッシュメモリ部との通信と同様なパケット転送が行われる。リソース管理部５Xは、図１１に示したキャッシュメモリ部と、インターフェース信号を除いて同等な構成になっている。
ここで、キャッシュメモリ部３X、及び、リソース管理部５Xは、複数のホストインターフェース部１X、ディスクインターフェース部２Xからアクセスされるシステム共通のリソースであり、その可用性がシステムの信頼性に大きな影響を与えるため、同等機能を複数備えた冗長構成となっており、たとえ、一方に障害が発生しても、残りの正常な部分で動作を継続できるように設計されている。具体的には、ホストインターフェース部１X、もしくは、ディスクインターフェース部２X内のいずれかのプロセッサ１４が、複数あるキャッシュメモリ部３X、もしくは、リソース管理部５Xのいずれかの障害を検知した場合、障害を検知したプロセッサ制御で、障害部分を閉塞して残りのキャッシュメモリ部３X、もしくは、リソース管理部５Xに、その機能を引き継がせるとともに、他の全てのプロセッサ１４に対して障害通知を行う。障害通知を受けた全てのプロセッサは、障害に伴うシステム構成・通信経路の変更処理をそれぞれ行うことによって、すべてのホストインターフェース部１Xとディスクインターフェース部２Xで、障害部分の切り離しを実現することが可能となる。
このように従来のディスク制御装置１０４では、キャッシュメモリ部３X、もしくは、リソース管理部５Xのような共通リソース障害に伴うシステム構成・通信経路の変更処理が、複数あるホストインターフェース１X、および、ディスクインターフェース２X内のプロセッサそれぞれで分散して行われていた。そのため、共通リソースの障害においては、分散配置されたプロセッサ間でのブロードキャスト通信を含む複雑な処理が必要であった。
【０００７】
ディスク制御装置を高信頼化する別の従来例として、共有システムリソースとシステムリソース・クライアントとの間で可用性の高いネットワーク通信を提供する障害処理機構が提案されている（例えば、特許文献１参照。）。この従来例においても、さきに説明した従来例と同様、複数あるプロセッサごとに経路変更（ルーティングテーブル変更）を行う方式となっている。
【０００８】
また、ディスク制御装置の高可用性を実現する別の従来例として、ホストコンピュータとディスクアレイサブセットとの間に配置して、両者の間のアドレス変換を行うスイッチを備えた記憶装置システムが提案されている（例えば、特許文献２参照。）。この従来例では、複数あるディスクアレイサブセットに障害が発生した場合、スイッチ内でパケットの解釈を行って障害部分への要求を同等の機能を有した冗長部分の宛先に変更することで、経路変更などの障害処理を行う方式となっている。
【特許文献１】
特開２００２−４１３４８号公報
【特許文献２】
特開２０００−２４２４３４号公報
【０００９】
【発明が解決しようとする課題】
キャッシュメモリ部、リソース管理部のような共通リソースの障害は、ストレージ・システム、ひいては、ホストコンピュータで実行されているアプリケーションの動作不良を引き起こすため、すみやかな回復処理が行われなければならない。しかし、図９、図１０、図１１、図１２に示した従来技術では、すべてのホストインターフェース部１X、ディスクインターフェース部２Xにおいて経路変更が必要なため、障害処理に時間がかかり、ホストコンピュータとの間でのリード／ライトタスクの継続が行えずに、ストレージシステムの性能劣化やアプリケーション・プログラムの動作不良を引き起こす場合があった。また、この障害処理には、ホストインターフェース部１X、ディスクインターフェース部２Xに高機能プロセッサと複雑な制御プログラムが必要となり、製造コストの増大、信頼性の低下を招いていた。特許文献１に示した別の従来技術においても、複数あるプロセッサごとにルーティングテーブル変更を行う必要があり、同様の課題があった。
【００１０】
また、特許文献２で開示されている別の従来技術では、パケット宛先変更機能を有するスイッチを導入することによって、複数あるディスクアレイ・サブセット間で機能を引き継がせる等の障害回避動作をスイッチ内処理のみで行うことが可能となる。しかし、その一方で、パケットごとに宛先の解釈が必要となり、障害発生時のみならず、通常動作時においても、処理に多くの時間を要し、ストレージシステムの性能劣化を招くという課題を有している。
【００１１】
本発明の目的は、上記従来技術の欠点を改善し、障害発生時に、迅速かつ高信頼に障害処理を行い、かつ、通常動作時においても性能劣化を起こさない高可用のディスク制御装置、および、その障害処理方法を提供することにある。
より具体的には、本発明の目的は、システム共通リソースの障害時を含め、いかなる場合においても、ストレージ・システムの性能劣化や、ホスト・アプリケーションの動作不良を引き起こすことのない高可用性ディスク制御装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明では、ホストコンピュータとのインターフェースを有する複数のホストインターフェース部と、磁気ディスク装置とのインターフェースを有する複数のディスクインターフェース部と、磁気ディスク装置に対しリード／ライトされるデータを一時的に格納するキャッシュメモリ部と、ホストインターフェース部及びディスクインターフェース部とキャッシュメモリ部との間のデータ転送に関する制御情報を格納するリソース管理部を有し、各ホストインターフェース部は、ホストコンピュータとのインターフェースとキャッシュメモリ部との間のデータ転送を実行し、各ディスクインターフェース部は、磁気ディスク装置とのインターフェースとキャッシュメモリ部との間のデータ転送を実行するディスク制御装置であって、
複数のホストインターフェース部とキャッシュメモリ部及び複数のディスクインターフェース部とキャッシュメモリ部との間が１つ以上のスイッチで構成されるスイッチ網を介して接続され、スイッチがスイッチ網内での経路を指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を有し、また、ホストインターフェース部、ディスクインターフェース部及びキャッシュメモリ部が、スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を有し、さらに複数のキャッシュメモリ部が、その障害発生の有無を相互に監視するための障害監視機構と障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を有するディスク制御装置を提供する。
【００１３】
【発明の実施の形態】
以下、大容量のデ−タの記憶装置として磁気ディスク装置を例にとって説明するが、大容量記憶装置として磁気ディスクに限られるものではなく、例えばＤＶＤのような大容量記憶装置であって良い。
本発明の実施の形態の１つとして、好ましくは、前記複数のホストインターフェース部と前記キャッシュメモリ部との間、及び前記複数のディスクインターフェース部と前記キャッシュメモリ部との間を、１つ以上のスイッチで構成されるスイッチ網を介して接続し、スイッチにスイッチ網内での経路を指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を設け、また、ホストインターフェース部、ディスクインターフェース部及びキャッシュメモリ部に、スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を設け、さらに複数のキャッシュメモリ部に、その障害発生の有無を監視するための障害監視機構と障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を設ける。
また、好ましくは、前記複数のホストインターフェース部、前記複数のディスクインターフェース部、前記キャッシュメモリ部、前記リソース管理部との間を１つ以上のスイッチで構成されるスイッチ網を介して接続し、スイッチにスイッチ網内での経路を指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を設け、また、ホストインターフェース部、ディスクインターフェース部及びキャッシュメモリ部に、スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を設け、さらに複数のキャッシュメモリ部に、その障害発生の有無を監視するための障害監視機構と障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を設ける。
また、好ましくは、前記リソース管理部に、前記キャッシュメモリ部、もしくは、前記リソース管理部の障害を監視するための障害監視機構を設ける。
【００１４】
また、好ましくは、前記ホストインターフェース部及び前記ディスクインターフェース部に前記キャッシュメモリ部、もしくは、前記リソース管理部の障害監視機構に対して障害を報告する機能を設ける。
また、好ましくは、前記リソース管理部に、前記キャッシュメモリ部の障害を処理するためのパス制御機構を設ける。
その他、本願が開示する課題、及びその解決方法は、発明の実施形態の欄及び図面により明らかにされる。
【００１５】
以下、本発明の実施例を図面を用いて説明する。
《実施例１》
図１、図２、図６、図７、及び図８に、本発明の一実施例を示す。
図２に示したディスク制御装置１００は、ホストコンピュータ６０とのインターフェース部（ホストインターフェース部）１０と、磁気ディスク装置７０とのインターフェース部（ディスクインターフェース部）２０と、キャッシュメモリ部３０、スイッチ４０、リソース管理部５０を有し、ホストインターフェース部１０及びディスクインターフェース部２０と、キャッシュメモリ部３０及びリソース管理部５０との間は、スイッチ４０を介して、内部インターフェース信号４で接続されている。すなわち、内部インターフェース信号４を介して、全てのホストインターフェース部１０、全てのディスクインターフェース部２０から、全てのキャッシュメモリ部３０、あるいはリソース管理部５０へアクセス可能な構成となっている。
【００１６】
図８に示すように、ホストインターフェース部１０は、ホストインターフェース信号１との入出力を処理するチャネルプロトコル処理部９０、データインターフェース信号との入出力を処理するための内部プロトコル処理部８０を有し、ホストコンピュータ６０とキャッシュメモリ部３０間のデータの転送、及びリソース管理部５０との間の制御情報の転送を実行する。
ディスクインターフェース部２０も、構造としては、ホストインターフェース部と同様であるが、ホストインターフェース信号１の代わりにディスクインターフェース信号２を有し、磁気ディスク装置７０とキャッシュメモリ部３０間のデータの転送、及びリソース管理部５０との間の制御情報の転送を実行する。
キャッシュメモリ部３０は、図７に示すように、内部インターフェース信号４との入出力処理を行う内部プロトコル処理部８０とプロセッサ３６とキャッシュメモリ３７とメモリ制御回路３５とＤＭＡエンジン３４を有し、磁気ディスク装置７０へ記録するデータや磁気ディスク装置から読み出したデータを一時的に格納する。
【００１７】
リソース管理部５０も、キャッシュメモリ部３０と同等の構成を有し、システム構成などの管理制御情報を維持する。
【００１８】
スイッチ４０は、図６に示すように、内部インターフェース信号４に接続した複数のパスインターフェース４１と、パケットバッファ４３とアドレスラッチ４４とセレクタ４８を備え、ホストインターフェース部１０およびディスクインターフェース部２０と、キャッシュメモリ部３０およびリソース管理部４０との間の経路接続を行う。
なお、可用性向上のために、ホストインタフェース部１０、ディスクインターフェース部２０、キャッシュメモリ部３０、リソース管理部５０を、それぞれ複数のポートを有する構成とし、スイッチ４０との間にそれぞれ複数の転送経路を設けることも出来る。
【００１９】
ホストインターフェース部１０、ディスクインターフェース部２０、キャッシュメモリ部３０、リソース管理部５０の内部プロトコル処理部８０には、内部インターフェース信号４の接続しているスイッチ網内での宛先を一意に特定するためのローカルＩＤ（ＬＩＤ）を保持するＬＩＤ情報８１が備わっている。
【００２０】
一方、スイッチ４０内には、ポート番号（パスインターフェース４１の位置）とＬＩＤとの対応関係を示すフォワーディング・テーブル４６が備わっている。フォワーディング・テーブル４６の例を、図１（１）に示す。この例では、２つのホストインターフェース１０と２つのディスクインターフェース２０が２つのスイッチ４０A、４０Bを介して、２つのキャッシュメモリ（共通リソース）３０A、３０Bに接続している。ホストインターフェース１０、ディスクインターフェース２０、キャッシュメモリ３０A、３０Bはそれぞれ２つずつの内部インターフェース信号とそれに対応したローカルＩＤ（ＬＩＤ）情報を持っている。スイッチ４０A、４０Bは、それぞれ８つのポート（パスインターフェース４１）とそれに対応したポート番号を持っている。フォワーディング・テーブル４６とは、このＬＩＤとポート番号との対応表であって、例えば、スイッチ４６Aのフォワーディング・テーブルＡでは、ＬＩＤ▲１▼、▲３▼、▲５▼、▲７▼、▲９▼、(11)が、それぞれポートａ、ｂ、ｃ、ｄ、ｅ、ｆと接続していることを示している。このフォワーディング・テーブルを参照することにより、パケット宛先（ＬＩＤ）によって、どのポートに送出すればよいかがわかる。
【００２１】
内部インターフェース信号の接続しているスイッチ網は、例えば、キャッシュメモリ部３０内のプロセッサ３６で実行されるネットワーク管理プログラムによって、維持管理されている。ネットワーク内のＬＩＤ情報８１やスイッチ内のフォワーディング・テーブル４６は、内部インターフェース信号４を介して、ネットワーク管理プログラムにより、設定更新される。
本発明のディスク制御装置における通常動作の一例として、図２、図６、図７、図８を用い、ホストコンピュータ６０からディスク制御装置１００を介して磁気ディスク装置７０へ読み出し要求を発行する場合の動作について説明する。
まず、ホストコンピュータ６０は、自身が接続されているホストインターフェース部１０にデータの読出し要求を発行する。 要求を受けたホストインターフェース部１０は、リソース管理部５０にアクセスし、要求されたデータがどの磁気ディスク装置７０内に格納されており、当該磁気ディスクがどのキャッシュメモリ部３０に制御されているかを調べる。リソース管理部５０には、要求データのアドレスからこれらの情報を検索するためのテーブルが格納されており、要求されたデータをもとに管轄のキャッシュメモリ部を調べることができる。次に、要求を受けたホストインターフェース部１０では、要求データを管理しているキャッシュメモリ部３０に、読み出し要求を転送する。キャッシュメモリ部３０は、キャッシュメモリ３７に要求されたデータが格納されているかどうかを確認する。キャッシュメモリ部３０内にデータが存在しなかった場合、プロセッサ３６は、要求データを磁気ディスク装置７０から読出し、キャッシュメモリ３７に格納する。キャッシュメモリ部３０は、キャッシュメモリ３７内に格納された要求データを、ホストインターフェース部１０まで転送し、ホストコンピュータ６０に送る。
ホストインターフェース部１０及びディスクインターフェース部２０がキャッシュメモリ部３０、及びリソース管理部５０とスイッチ４０を介して通信する場合、パケット宛先にＬＩＤ情報を用い、スイッチでの経路変更にフォワーディング・テーブル４６を使用する。
例えば、ホストコンピュータ６０からの読み出し要求を、スイッチ４０を介して、キャッシュメモリ部３０に転送する場合、ホストインターフェース部１０では、ホストインターフェース信号１を、チャネルプロトコル処理部９０と内部プロトコル処理部８０を介して、内部インターフェース信号４に変換する。その際、読み出し要求パケットの宛先には、送り先のキャッシュメモリ部のＬＩＤを設定する。ホストインターフェース部からの要求パケットを受けたスイッチ４０では、経路変更手段４５内のフォワーディング・テーブル４６に従い、ヘッダ解析部４２で抽出されたパケット宛先に応じたセレクタ制御信号４７を生成し、パケットバッファ４３に格納されたパケットの送出先をセレクタ４８によって切り換えて、所望のキャッシュメモリ部３０に向けてパケットを転送する（図16）。
【００２２】
ディスクインターフェース部２０が、キャッシュメモリ部と通信を行う場合、もしくは、ホストインターフェース部１０、及び、ディスクインターフェース部２０が、リソース管理部５０と通信を行う場合も、ホストインターフェース部とキャッシュメモリ部との間の通信と同様なパケット転送が行われる。
なお、リソース管理部５０と、ホストインターフェース部１０およびディスクインターフェース部２０との接続に使われているスイッチ４０を含んだスイッチ網は、キャッシュメモリ部３０とホストインターフェース部１０およびディスクインターフェース部２０との接続に使われているスイッチ網と同じであっても、別の専用ネットワークであっても良い（図17）。また、スイッチ４０を使わずに、直接接続する形態であっても構わない。
次に、本発明のディスク制御装置の特徴である障害回復動作の一例として、図１、図２を用い、２つのキャッシュメモリ部３０間での障害監視機構とパス制御機構の動作について説明する。
キャッシュメモリ部３０は、その可用性向上のため、同等機能を有するマスタとスレーブの２つのキャッシュメモリ部を有している。スレーブキャッシュメモリは、マスタキャッシュメモリに障害が発生した際に、その機能を引き継ぐためのもので、ホットスタンバイで動作している。これらマスタ・キャッシュメモリ部とスレーブ・キャッシュメモリ部は、スイッチ４０を介して、相互にその動作を確認するための障害監視機構Ｃを有している。すなわち、一定間隔ごとに自分の動作状況を報告するパケットを生成し、お互い相手の動作状態を監視することができる。その動作の概要を図１３に示す。障害監視機構では通信が行われる度に、正常なシーケンスとＡＣＫがチェックされ、異常が発見された場合には、主経路もしくは副経路を介して、パス制御機構に障害通知を行う。図２に示した構成では、マスタおよびスレーブキャッシュメモリ部が、それぞれパス制御機構を有しているので、そのいずれかのキャッシュメモリ部に異常が発生した場合、その障害情報は、ただちにもう一方のキャッシュメモリ部で検知することができる。障害を検知したキャッシュメモリ部では、障害を起こしているキャッシュメモリ部を閉塞するとともに、内部に備えたパス制御機構Ｐによって、システム構成を変更し、ホストインターフェース部１０およびディスクインターフェース部２０が、障害キャッシュメモリ部にアクセスしないように制御する。
以下、パス制御機構Ｐの仕組みを、図１４を使って説明する。障害監視機構から障害通知を受けたパス制御機構は、その通知の妥当性を確認した後、可用性向上のため複数個設けてあるパス制御機構間で、障害情報の同期化を行う。その後、障害解析を行い、現時点で障害特定が可能かどうか判断する。特定が出来ない場合、特定可能になるまで障害処理を遅延させる。特定可能になった場合、障害通知情報によりアクセス障害なのか機能障害なのかを判断し、機能障害の場合、障害部位を含んだ冗長部位間で、処理途中のＪＯＢなどの同期化処理を試みる。その後、障害部位に対するアクセス・パスを冗長部位に振り替える交替パス処理を行う。図１で具体的に説明すると、マスタキャッシュメモリ部で機能障害が発生しスレーブキャッシュメモリ部にフェールオーバする場合は、以下のようになる。障害のない正常動作状態における、ホストインターフェース部１０、ディスクインターフェース部２０、キャッシュメモリ部３０Ａ、３０Ｂ、スイッチ４０Ａ、４０ＢのＬＩＤとフォワーディング・テーブルの値は、図１（１）に示した通りである。ここで、マスタ・キャッシュメモリ部３０Ａに障害が発生し、スレーブ・キャッシュメモリ部３０Ｂの障害監視機構によって、当該障害が検出された場合、３０Ｂのパス制御機構Ｐにより、３０Ａの機能を３０Ｂが引き継ぐとともに、３０Ａ宛のパケットを３０Ｂに振り替える制御を行う。すなわち、３０Ａの２つのＬＩＤ(▲９▼、(10))と３０Ｂの２つのＬＩＤ((11)、(12))とを交換し、それに対応して、フォワーディング・テーブル４６Ａと４６Ｂを変更する。その結果、ＬＩＤとフォワーディングテーブルは図１（２）のようになり、３０Ａへのアクセスは、すべて３０Ｂに振り向けられて、障害部位３０Ａのシステムからの切り離しが完了する。３０Ａの動作を３０Ｂが引き継ぐには、３０Ａと３０Ｂの内容が一致している必要があるが、それらは、通常の同期動作により実現される。すなわち、常に３０Ａと３０Ｂが同じ内容になるよう、両方に対して同じアクセス要求を発生させる方法や、定期的に両者でデータをコピーする方法が考えられる。
なお、リソース管理部５０も同様の障害監視機構Ｃとパス制御機構Ｐを備え、同様の手順で障害回復動作を行うことができる。これら障害監視機構やパス制御機構は、キャッシュメモリ部３０、もしくは、リソース管理部５０内のプロセッサ３６によって実行される制御プログラムとして実現することができる。また、本実施例では、リソース管理部５０を独立に設けた構成としているが、リソース管理部をキャッシュメモリ部３０の中に設けることもできる。また、図１で、スレ‐ブキャッシュメモリ部内のＬＩＤとマスタキャッシュメモリ部内のＬＩＤを交換するのではなく、スレーブ側でマスタ側のＬＩＤを追加して持つようにすることも可能である。その場合、障害前のスレーブ側ＬＩＤが障害後も有効になるというメリットがある。
【００２３】
本実施例によれば、キャッシュメモリ部３０もしくはリソース管理部５０の障害に対して、スイッチ４０のフォワーディング・テーブルとキャッシュメモリ部３０もしくはリソース管理部５０のＬＩＤの変更のみで、障害部位の切り離しが完了し、従来技術のように、複数のホストインターフェース部１０及びディスクインターフェース部２０の間でのブロードキャスト通信や複雑な制御は不要である。そのため、障害発生時においても、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがない。
また、本実施例のスイッチ内フォワーディング・テーブルは、障害発生時にのみ変更されものであって、従来技術のように、通信を行うたびにパケットの宛先の解釈や変更が行われる複雑なスイッチを必要としない。そのため、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００２４】
《実施例２》
図３に、本発明の他の実施例を示す。
図３に示した実施例は、キャッシュメモリ部３０、及び、リソース管理部５０が、それぞれ障害通知のための専用線であるハートビート信号３を備えていることと、内部インターフェース信号のスイッチ網が多段のスイッチ４０で構成されていることを除いて、実施例１の図２に示す構成と同様である。ただし、キャッシュメモリ部３０は、障害監視機構Ｃのみを備え、パス制御機構は実装されていない。リソース管理部５０は、障害監視機構Ｃ、パス制御機構Ｐともに備えている。
キャッシュメモリ部、および、リソース管理部は、マスタとスレーブにより冗長構成を形成しており、基本的には同じデータ内容を保持している。ただし、キャッシュメモリ部におけるディスクからの読み出しデータについては、マスタとスレーブ間で同一の内容を保持していなくても構わない。
障害が発生した場合の処理は、基本的に、実施例１と同様であるが、その概要を図１８で簡単に説明する。マスタ／スレーブ キャッシュメモリ部、および、マスタ／スレーブリソース管理部は、障害監視機構により、相互に障害発生の有無について定期的な確認を行っている。障害監視機構によって発見された障害は、リソース管理部のパス制御機構に通知される。パス制御機構では、通知された障害情報の解析を行い、障害部位の特定を行う。パス制御機構では、障害部位が特定できれば、スイッチ内にあるフォワーディングテーブルを制御することで、障害部位を回避するようにパスの設定を行うことで、障害部位の切り離しが完了する。
本実施例では、専用のハートビート信号３を設けることにより、相互にその動作を確認するための障害監視機構Ｃを、実施例１より単純な構成で実現することができる。すなわち、ハートビート信号３を通して、お互いの動作状況を、直接、監視することができる。そのため、マスタ、もしくは、スレーブのいずれかのキャッシュメモリ部、もしくはリソース管理部に異常が発生した場合、その障害情報は、より迅速にもう一方のキャッシュメモリ部、もしくは、リソース管理部で検知することができる。
また、本実施例では、キャッシュメモリ部３０内で検出された障害情報が、スイッチ４０を介して(マスタ)リソース管理部５０のパス制御機構Ｐに通知され、リソース管理部内のパス制御機構Ｐによってキャッシュメモリ部３０の障害回復処理が行われる。これにより、障害情報をリソース管理部５０に集めて、より適切な障害回復処理を行うことが可能となる。
また、本実施例では、ホストインターフェース側とディスクインターフェース側でスイッチを分離することにより、ホスト側とディスク側で柔軟な接続数変更が可能になるとともに、より大規模な構成への対応が可能となる。
【００２５】
本実施例によれば、前述の実施例と同様、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがなく、また、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００２６】
《実施例３》
図４に、本発明の他の実施例を示す。
図４に示した実施例は、キャッシュメモリ部３０、及び、リソース管理部５０が、ハートビート信号３を備えていないことと、内部インターフェース信号のスイッチ網が冗長構成になっていることを除いて、実施例２の図３に示す構成と同様である。ただし、キャッシュメモリ部３０は、障害監視機構Ｃとパス制御機構を実装していない。リソース管理部５０は、障害監視機構Ｃ、パス制御機構Ｐともに備えている。
本実施例では、キャッシュメモリ部３０の障害監視も、リソース管理部５０内の障害監視機構Ｃを用いて行う。その実現方法としては、リソース管理部の障害監視機構Ｃが、定期的にキャッシュメモリ部３０へアクセスを行い、キャッシュメモリ部の動作状況を監視する方法や、ホストインターフェース部１０およびディスクインターフェース部２０からキャッシュメモリ部３０へアクセスした際に障害が検出された場合、その障害情報をリソース管理部に報告する方法などが考えられる。また、本実施例では、各ホストインターフェース部、各ディスクインターフェース部に複数のポートを設け、スイッチも２重化することにより、ホストインターフェース部、および、ディスクインターフェース部とキャッシュメモリ部、もしくは、リソース管理部との間に複数のパスを設けてある。
これにより、リソース管理部、キャッシュメモリ部の機能障害だけでなく、リソース管理部、もしくは、キャッシュメモリ部とホストインターフェース部およびディスクインターフェース部との間のパス障害についても、障害回復を行えることになり、可用性をさらに高めることができる。
また、リソース管理部５０に、障害監視機構とパス制御機構を集めることにより、より障害状況の的確な分析が行えることになり、適切かつ高信頼の障害回復処理が可能となる。
【００２７】
本実施例によれば、前述の実施例と同様、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがなく、また、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００２８】
《実施例４》
図５に、本発明の他の実施例を示す。
図５に示した実施例は、キャッシュメモリ部３０、及び、リソース管理部５０が、ハートビート信号３を備えていないことと、複数のディスク制御サブユニット２００を備えることを除いて、実施例２の図３に示す構成と同様である。複数のディスク制御サブユニット内のキャッシュメモリ部それぞれが、障害監視機構Ｃを備えている。リソース管理部５０は、障害監視機構Ｃ、パス制御機構Ｐともに備えている。
本実施例では、ディスク制御サブユニット２００ごとに、キャッシュを分散配置することで、キャッシュの使用効率（ヒット率）を高めて性能を向上するとともに、ホスト側とディスク側で柔軟にシステム規模を拡張することが可能となり、より高スケーラブルなシステムの提供が可能となる。
また、本実施例では、実施例２と同様、キャッシュメモリ部３０の障害に伴う障害回復処理も、リソース管理部５０内のパス制御機構Ｐを用いて行う。実施例２、３と同様、リソース管理部５０に、障害情報を集めることにより、より障害状況の的確な分析が行えることになり、ディスク制御サブユニット２００の個数を増加させた、より大規模なディスク制御装置においても、適切かつ高信頼な障害回復処理が可能となる。
【００２９】
本実施例によれば、前述の実施例と同様、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがなく、また、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００３０】
《実施例５》
図１５に、本発明の他の実施例を示す。
図１５に示した実施例では、実施例１−４で記載のディスク制御装置が、複数のホストコンピュータとホストコンピュータ間ネットワークを介して接続し、複数の磁気ディスク装置と磁気ディスク装置間ネットワークを介して接続している。ホストコンピュータ間ネットワークには、ファイルシステムの処理を行うサーバ１１０（NASヘッド）、複数のディスク制御装置が管轄するストレージをまとめて管理するためのサーバ１２０（ディスク制御装置間仮想化エンジン）、データベース・インターフェース処理を行うためのサーバ１３０（DB機能付加エンジン）などが接続されることもある。これら、NASヘッド、仮想化エンジン、DB機能付加エンジンは、ディスク制御装置の中に実装しても構わない。
【００３１】
本実施例によれば、迅速、かつ、高信頼な障害回復処理を行えるディスク制御装置を用いることにより、極めて可用性が高く、性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことのない、ストレージシステムの提供が可能となる。
【００３２】
【発明の効果】
以上説明したように、本発明では、キャッシュメモリ部３０もしくはリソース管理部５０の障害に対して、スイッチ４０のフォワーディング・テーブルとキャッシュメモリ部３０もしくはリソース管理部５０のＬＩＤの変更のみで、障害部位の切り離しが完了し、従来技術のように、複数のホストインターフェース部１０及びディスクインターフェース部２０の間でのブロードキャスト通信や複雑な制御は不要である。そのため、障害発生時においても、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがない。
また、本発明において、スイッチ内フォワーディング・テーブルは、障害発生時にのみ変更されものであって、従来技術のように、通信を行うたびにパケットの宛先の解釈や変更が行われる複雑なスイッチを必要としない。そのため、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００３３】
本発明では、障害監視機構による障害発生通知を、パス制御機構で解析し、フォワーディングテーブルを制御するので、柔軟なシステム構成に対応可能である。とくに、複数のディスク制御サブユニットが存在する大規模なディスク制御装置の場合でも、複数の障害監視機構からの障害情報をパス制御機構に集めることにより、より障害状況の的確な分析が行え、高信頼な障害回復処理が可能となる
【図面の簡単な説明】
【図１】本発明によるディスク制御装置における障害回復処理の動作原理を示す図である。
【図２】本発明によるディスク制御装置の構成を示す図である。
【図３】本発明によるディスク制御装置の構成を示す図である。
【図４】本発明によるディスク制御装置の構成を示す図である。
【図５】本発明によるディスク制御装置の構成を示す図である。
【図６】本発明によるディスク制御装置内のスイッチの構成を示す図である。
【図７】本発明によるディスク制御装置内のキャッシュメモリ部の構成を示す図である。
【図８】本発明によるディスク制御装置内のホストインターフェース部の構成を示す図である。
【図９】従来のディスク制御装置の構成を示す図である。
【図１０】従来のディスク制御装置内のスイッチの構成を示す図である。
【図１１】従来のディスク制御装置内のキャッシュメモリ部の構成を示す図である。
【図１２】従来のディスク制御装置内のホストインターフェース部の構成を示す図である。
【図１３】本発明の障害監視機構の動作を示す図である。
【図１４】本発明のパス制御機構の動作を示す図である。
【図１５】本発明のディスク制御装置を用いたストレージシステムの例を示す図である。
【図１６】本発明のディスク制御装置においてホストコンピュータからキャッシュメモリ部へのコマンド送信の概要を示す図である。
【図１７】本発明のディスク制御装置の構成を示す図である。
【図１８】本発明のディスク制御装置の障害処理の概要を示す図である。
【符号の説明】
１ ホストインターフェース信号
２ ディスクインターフェース信号
３、５ ハートビート信号
４ 内部インターフェース信号
６ データインターフェース信号
７ 管理インターフェース信号
１０、１Ｘ ホストインターフェース部
１１ ＤＭＡエンジン
１２ 送信データインターフェース
１３ 受信データインターフェース
１４ プロトコル制御プロセッサ
１５ ローカルメモリ
１６ バスインターフェース
１７ プロセッサインターフェース
２０、２Ｘ ディスクインターフェース部
３０、３０Ａ、３０Ｂ、３Ｘ キャッシュメモリ部
３１Ｘ データパスインターフェース
３２Ｘ ヘッダ解析部
３３ パケットバッファ
３４ ＤＭＡエンジン
３５ メモリ制御回路
３６ プロセッサ
３７ キャッシュメモリ
３８ セレクタ
３９ 調停回路
４０、４０Ａ、４０Ｂ、４Ｘ スイッチ
４１ パスインターフェース（ＰＯＲＴ）
４１Ｘ データパスインターフェース
４２、４２Ｘ ヘッダ解析部
４３ パケットバッファ
４４ アドレスラッチ
４５ 経路変更手段
４６、４６Ａ、４６Ｂ フォワーディング・テーブル
４７ セレクタ制御信号
４８ セレクタ
５０ リソース管理部
６０ ホストコンピュータ
７０ 磁気ディスク装置
８０、８Ｘ 内部プロトコル処理部
８１ ローカルＩＤ情報（ＬＩＤ）
８２ 送信ＰＨＹ
８３ 受信ＰＨＹ
８４ プロトコル制御プロセッサ
８５ ローカルメモリ
８６ バッファ
８７ リンク処理
８８ ヘッダ制御
９０ チャネルプロトコル処理部
９２ 送信ＰＨＹ
９３ 受信ＰＨＹ
９６ バッファ
９７ リンク処理
９８ トランスポート処理
１００〜１０４ ディスク制御装置
１１０ ＮＡＳヘッド
１２０ ディスク制御装置間仮想化エンジン
１３０ ＤＢ機能付加エンジン
２００ ディスク制御サブユニット
Ｃ 障害監視機構
Ｐ パス制御機構。
【発明の属する技術分野】
本発明は、データを複数の磁気ディスク装置に格納するディスクシステム装置の制御装置に関する。
【０００２】
【従来の技術】
企業間の電子商取引や社会基盤としての金融システムなどでは、高度な信頼性が要求され、その根幹をなす基幹ストレージ・システムに対しても、極めて高い可用性が求められている。これら基幹ストレージ・システムでは、その可用性を高めるために、内部を冗長構成とし、障害発生時には自動的に故障個所を切り離して、正常な冗長部分で動作を継続するための自動障害回復機能を備えたディスク制御装置が広く使われている。
【０００３】
例えば、図９に示した、従来より知られているディスク制御装置は、ホストコンピュータ６０との間のデータ転送を実行する複数のホストインターフェース部１Xと、磁気ディスク装置７０との間のデータ転送を実行する複数のディスクインターフェース部２Xと、磁気ディスク装置７０のデータを一時的に格納するキャッシュメモリ部３Xと、ディスク制御装置１０４に関する制御情報（例えば、ホストインターフェース部１X及びディスクインターフェース部２Xとキャッシュメモリ部３Xとの間のデータ転送制御に関する情報、磁気ディスク装置７０に格納するデータの管理情報）を格納するリソース管理部５Xとを備えている。
ホストインターフェース部１X及びディスクインターフェース部２Xとキャッシュメモリ部３Xとの間は、データインターフェース信号６により接続される。ホストインターフェース部１Ｘとキャッシュメモリ部３Xとの間、及び、ディスクインターフェース部２Xとキャッシュメモリ部３Xとの間の接続にスイッチ４Xを用いることもある。ホストインターフェース部１X及びディスクインターフェース部２Xとリソース管理部５Xとの間は、管理インターフェース信号７により接続される。リソース管理部５Xと、ホストインターフェース部１X, 及び、ディスクインターフェース部２Xとの接続は、スイッチを介しても、介さなくても良い。これにより、リソース管理部５Xおよびキャッシュメモリ部３Xは全てのホストインターフェース部１X及びディスクインターフェース部２Xからアクセス可能な構成となる。
【０００４】
図１２に示すように、ホストインターフェース部１Xは、ホストインターフェース信号１との入出力を処理するチャネルプロトコル処理部９０、データインターフェース信号６との入出力を処理するための内部プロトコル処理部８X、管理インターフェース信号７との入出力を処理するためのプロセッサインターフェース１７、及びホストコンピュータ６０に対する入出力を制御するプロセッサ１４とローカルメモリ１５を有している。
ディスクインターフェース部２Xも、構造としては、ホストインターフェース部と同様であるが、ホストインターフェース信号１の代わりにディスクインターフェース信号２がチャネルプロトコル処理部９０に接続され、プロセッサ１４においては、ホストインターフェース部で行われる制御に加えて、RAID機能の実行も行う。
ホストインターフェース部１X、及び、ディスクインターフェース部２Xが、キャッシュメモリ部３Xと通信を行う場合、データの先頭に宛先アドレスを付加したパケットを使用してパケット転送を行う。
ホストインターフェース部１X、もしくは、ディスクインターフェース部２X内のプロセッサ１４の制御で生成されたパケットは、データインターフェース信号６を介して、スイッチ４Xに送られる。スイッチ４Xは、図１０で示したように、データインターフェース信号６に接続した複数のパスインターフェース４１Ｘと、パケットバッファ４３とアドレスラッチ４４とセレクタ４８を備えている。パスインターフェース４１Ｘ内には、パケットからアドレス情報を取り出すヘッダ解析部４２Ｘが含まれており、それによって解析抽出されたパケットアドレスがアドレスラッチ４４に取り込まれる。一方、送られてきたパケットは、パスインターフェース４１Ｘを通して、パケットバッファ４３に格納される。アドレスラッチ４４からは、パケット宛先に応じたセレクタ制御信号４７が生成され、パケットバッファ４３に格納されたパケットの送出先をセレクタ４８によって切り換える。
【０００５】
スイッチ４Xで、宛先ごとに振り分けられたパケットは、再び、データインターフェース信号６を介して、目的のキャッシュメモリ部３Xに転送される。キャッシュメモリ部３Xは、図１１で示したように、データインターフェース信号６に接続した複数のデータパスインターフェース３１Ｘと、パケットバッファ３３と調停回路３９とセレクタ３８を備えている。データパスインターフェース３１Ｘ内には、パケットからアドレス情報を取り出すヘッダ解析部３２Ｘが含まれており、それによって解析抽出されたパケットアドレスは、調停回路３９に取り込まれる。一方、送られてきたパケットは、パスインターフェース３１Ｘを通して、パケットバッファ３３に格納される。調停回路３９は、複数のデータパスインターフェース３１Ｘの中から、いずれかを選択し、その選択結果に応じたセレクタ制御信号を生成する。このセレクタ制御信号で、セレクタ３８を切り換えることにより、所望のパケットバッファ３３の内容をキャッシュメモリ３７に、メモリ制御回路３５を介して、書き込むことができる。パケットバッファ３３に格納されたパケットがメモリ読み出しの要求であった場合、指定された領域のキャッシュメモリ３７の内容を、上記と逆の経路をたどることによって、ホストインターフェース部１X、もしくは、ディスクインターフェース部２Xに返送する。
【０００６】
ホストインターフェース部１X、及び、ディスクインターフェース部２Xが、リソース管理部５Xと通信を行う場合も、データインターフェース信号６の代わりに、管理インターフェース信号７が用いられる以外は、キャッシュメモリ部との通信と同様なパケット転送が行われる。リソース管理部５Xは、図１１に示したキャッシュメモリ部と、インターフェース信号を除いて同等な構成になっている。
ここで、キャッシュメモリ部３X、及び、リソース管理部５Xは、複数のホストインターフェース部１X、ディスクインターフェース部２Xからアクセスされるシステム共通のリソースであり、その可用性がシステムの信頼性に大きな影響を与えるため、同等機能を複数備えた冗長構成となっており、たとえ、一方に障害が発生しても、残りの正常な部分で動作を継続できるように設計されている。具体的には、ホストインターフェース部１X、もしくは、ディスクインターフェース部２X内のいずれかのプロセッサ１４が、複数あるキャッシュメモリ部３X、もしくは、リソース管理部５Xのいずれかの障害を検知した場合、障害を検知したプロセッサ制御で、障害部分を閉塞して残りのキャッシュメモリ部３X、もしくは、リソース管理部５Xに、その機能を引き継がせるとともに、他の全てのプロセッサ１４に対して障害通知を行う。障害通知を受けた全てのプロセッサは、障害に伴うシステム構成・通信経路の変更処理をそれぞれ行うことによって、すべてのホストインターフェース部１Xとディスクインターフェース部２Xで、障害部分の切り離しを実現することが可能となる。
このように従来のディスク制御装置１０４では、キャッシュメモリ部３X、もしくは、リソース管理部５Xのような共通リソース障害に伴うシステム構成・通信経路の変更処理が、複数あるホストインターフェース１X、および、ディスクインターフェース２X内のプロセッサそれぞれで分散して行われていた。そのため、共通リソースの障害においては、分散配置されたプロセッサ間でのブロードキャスト通信を含む複雑な処理が必要であった。
【０００７】
ディスク制御装置を高信頼化する別の従来例として、共有システムリソースとシステムリソース・クライアントとの間で可用性の高いネットワーク通信を提供する障害処理機構が提案されている（例えば、特許文献１参照。）。この従来例においても、さきに説明した従来例と同様、複数あるプロセッサごとに経路変更（ルーティングテーブル変更）を行う方式となっている。
【０００８】
また、ディスク制御装置の高可用性を実現する別の従来例として、ホストコンピュータとディスクアレイサブセットとの間に配置して、両者の間のアドレス変換を行うスイッチを備えた記憶装置システムが提案されている（例えば、特許文献２参照。）。この従来例では、複数あるディスクアレイサブセットに障害が発生した場合、スイッチ内でパケットの解釈を行って障害部分への要求を同等の機能を有した冗長部分の宛先に変更することで、経路変更などの障害処理を行う方式となっている。
【特許文献１】
特開２００２−４１３４８号公報
【特許文献２】
特開２０００−２４２４３４号公報
【０００９】
【発明が解決しようとする課題】
キャッシュメモリ部、リソース管理部のような共通リソースの障害は、ストレージ・システム、ひいては、ホストコンピュータで実行されているアプリケーションの動作不良を引き起こすため、すみやかな回復処理が行われなければならない。しかし、図９、図１０、図１１、図１２に示した従来技術では、すべてのホストインターフェース部１X、ディスクインターフェース部２Xにおいて経路変更が必要なため、障害処理に時間がかかり、ホストコンピュータとの間でのリード／ライトタスクの継続が行えずに、ストレージシステムの性能劣化やアプリケーション・プログラムの動作不良を引き起こす場合があった。また、この障害処理には、ホストインターフェース部１X、ディスクインターフェース部２Xに高機能プロセッサと複雑な制御プログラムが必要となり、製造コストの増大、信頼性の低下を招いていた。特許文献１に示した別の従来技術においても、複数あるプロセッサごとにルーティングテーブル変更を行う必要があり、同様の課題があった。
【００１０】
また、特許文献２で開示されている別の従来技術では、パケット宛先変更機能を有するスイッチを導入することによって、複数あるディスクアレイ・サブセット間で機能を引き継がせる等の障害回避動作をスイッチ内処理のみで行うことが可能となる。しかし、その一方で、パケットごとに宛先の解釈が必要となり、障害発生時のみならず、通常動作時においても、処理に多くの時間を要し、ストレージシステムの性能劣化を招くという課題を有している。
【００１１】
本発明の目的は、上記従来技術の欠点を改善し、障害発生時に、迅速かつ高信頼に障害処理を行い、かつ、通常動作時においても性能劣化を起こさない高可用のディスク制御装置、および、その障害処理方法を提供することにある。
より具体的には、本発明の目的は、システム共通リソースの障害時を含め、いかなる場合においても、ストレージ・システムの性能劣化や、ホスト・アプリケーションの動作不良を引き起こすことのない高可用性ディスク制御装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明では、ホストコンピュータとのインターフェースを有する複数のホストインターフェース部と、磁気ディスク装置とのインターフェースを有する複数のディスクインターフェース部と、磁気ディスク装置に対しリード／ライトされるデータを一時的に格納するキャッシュメモリ部と、ホストインターフェース部及びディスクインターフェース部とキャッシュメモリ部との間のデータ転送に関する制御情報を格納するリソース管理部を有し、各ホストインターフェース部は、ホストコンピュータとのインターフェースとキャッシュメモリ部との間のデータ転送を実行し、各ディスクインターフェース部は、磁気ディスク装置とのインターフェースとキャッシュメモリ部との間のデータ転送を実行するディスク制御装置であって、
複数のホストインターフェース部とキャッシュメモリ部及び複数のディスクインターフェース部とキャッシュメモリ部との間が１つ以上のスイッチで構成されるスイッチ網を介して接続され、スイッチがスイッチ網内での経路を指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を有し、また、ホストインターフェース部、ディスクインターフェース部及びキャッシュメモリ部が、スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を有し、さらに複数のキャッシュメモリ部が、その障害発生の有無を相互に監視するための障害監視機構と障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を有するディスク制御装置を提供する。
【００１３】
【発明の実施の形態】
以下、大容量のデ−タの記憶装置として磁気ディスク装置を例にとって説明するが、大容量記憶装置として磁気ディスクに限られるものではなく、例えばＤＶＤのような大容量記憶装置であって良い。
本発明の実施の形態の１つとして、好ましくは、前記複数のホストインターフェース部と前記キャッシュメモリ部との間、及び前記複数のディスクインターフェース部と前記キャッシュメモリ部との間を、１つ以上のスイッチで構成されるスイッチ網を介して接続し、スイッチにスイッチ網内での経路を指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を設け、また、ホストインターフェース部、ディスクインターフェース部及びキャッシュメモリ部に、スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を設け、さらに複数のキャッシュメモリ部に、その障害発生の有無を監視するための障害監視機構と障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を設ける。
また、好ましくは、前記複数のホストインターフェース部、前記複数のディスクインターフェース部、前記キャッシュメモリ部、前記リソース管理部との間を１つ以上のスイッチで構成されるスイッチ網を介して接続し、スイッチにスイッチ網内での経路を指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を設け、また、ホストインターフェース部、ディスクインターフェース部及びキャッシュメモリ部に、スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を設け、さらに複数のキャッシュメモリ部に、その障害発生の有無を監視するための障害監視機構と障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を設ける。
また、好ましくは、前記リソース管理部に、前記キャッシュメモリ部、もしくは、前記リソース管理部の障害を監視するための障害監視機構を設ける。
【００１４】
また、好ましくは、前記ホストインターフェース部及び前記ディスクインターフェース部に前記キャッシュメモリ部、もしくは、前記リソース管理部の障害監視機構に対して障害を報告する機能を設ける。
また、好ましくは、前記リソース管理部に、前記キャッシュメモリ部の障害を処理するためのパス制御機構を設ける。
その他、本願が開示する課題、及びその解決方法は、発明の実施形態の欄及び図面により明らかにされる。
【００１５】
以下、本発明の実施例を図面を用いて説明する。
《実施例１》
図１、図２、図６、図７、及び図８に、本発明の一実施例を示す。
図２に示したディスク制御装置１００は、ホストコンピュータ６０とのインターフェース部（ホストインターフェース部）１０と、磁気ディスク装置７０とのインターフェース部（ディスクインターフェース部）２０と、キャッシュメモリ部３０、スイッチ４０、リソース管理部５０を有し、ホストインターフェース部１０及びディスクインターフェース部２０と、キャッシュメモリ部３０及びリソース管理部５０との間は、スイッチ４０を介して、内部インターフェース信号４で接続されている。すなわち、内部インターフェース信号４を介して、全てのホストインターフェース部１０、全てのディスクインターフェース部２０から、全てのキャッシュメモリ部３０、あるいはリソース管理部５０へアクセス可能な構成となっている。
【００１６】
図８に示すように、ホストインターフェース部１０は、ホストインターフェース信号１との入出力を処理するチャネルプロトコル処理部９０、データインターフェース信号との入出力を処理するための内部プロトコル処理部８０を有し、ホストコンピュータ６０とキャッシュメモリ部３０間のデータの転送、及びリソース管理部５０との間の制御情報の転送を実行する。
ディスクインターフェース部２０も、構造としては、ホストインターフェース部と同様であるが、ホストインターフェース信号１の代わりにディスクインターフェース信号２を有し、磁気ディスク装置７０とキャッシュメモリ部３０間のデータの転送、及びリソース管理部５０との間の制御情報の転送を実行する。
キャッシュメモリ部３０は、図７に示すように、内部インターフェース信号４との入出力処理を行う内部プロトコル処理部８０とプロセッサ３６とキャッシュメモリ３７とメモリ制御回路３５とＤＭＡエンジン３４を有し、磁気ディスク装置７０へ記録するデータや磁気ディスク装置から読み出したデータを一時的に格納する。
【００１７】
リソース管理部５０も、キャッシュメモリ部３０と同等の構成を有し、システム構成などの管理制御情報を維持する。
【００１８】
スイッチ４０は、図６に示すように、内部インターフェース信号４に接続した複数のパスインターフェース４１と、パケットバッファ４３とアドレスラッチ４４とセレクタ４８を備え、ホストインターフェース部１０およびディスクインターフェース部２０と、キャッシュメモリ部３０およびリソース管理部４０との間の経路接続を行う。
なお、可用性向上のために、ホストインタフェース部１０、ディスクインターフェース部２０、キャッシュメモリ部３０、リソース管理部５０を、それぞれ複数のポートを有する構成とし、スイッチ４０との間にそれぞれ複数の転送経路を設けることも出来る。
【００１９】
ホストインターフェース部１０、ディスクインターフェース部２０、キャッシュメモリ部３０、リソース管理部５０の内部プロトコル処理部８０には、内部インターフェース信号４の接続しているスイッチ網内での宛先を一意に特定するためのローカルＩＤ（ＬＩＤ）を保持するＬＩＤ情報８１が備わっている。
【００２０】
一方、スイッチ４０内には、ポート番号（パスインターフェース４１の位置）とＬＩＤとの対応関係を示すフォワーディング・テーブル４６が備わっている。フォワーディング・テーブル４６の例を、図１（１）に示す。この例では、２つのホストインターフェース１０と２つのディスクインターフェース２０が２つのスイッチ４０A、４０Bを介して、２つのキャッシュメモリ（共通リソース）３０A、３０Bに接続している。ホストインターフェース１０、ディスクインターフェース２０、キャッシュメモリ３０A、３０Bはそれぞれ２つずつの内部インターフェース信号とそれに対応したローカルＩＤ（ＬＩＤ）情報を持っている。スイッチ４０A、４０Bは、それぞれ８つのポート（パスインターフェース４１）とそれに対応したポート番号を持っている。フォワーディング・テーブル４６とは、このＬＩＤとポート番号との対応表であって、例えば、スイッチ４６Aのフォワーディング・テーブルＡでは、ＬＩＤ▲１▼、▲３▼、▲５▼、▲７▼、▲９▼、(11)が、それぞれポートａ、ｂ、ｃ、ｄ、ｅ、ｆと接続していることを示している。このフォワーディング・テーブルを参照することにより、パケット宛先（ＬＩＤ）によって、どのポートに送出すればよいかがわかる。
【００２１】
内部インターフェース信号の接続しているスイッチ網は、例えば、キャッシュメモリ部３０内のプロセッサ３６で実行されるネットワーク管理プログラムによって、維持管理されている。ネットワーク内のＬＩＤ情報８１やスイッチ内のフォワーディング・テーブル４６は、内部インターフェース信号４を介して、ネットワーク管理プログラムにより、設定更新される。
本発明のディスク制御装置における通常動作の一例として、図２、図６、図７、図８を用い、ホストコンピュータ６０からディスク制御装置１００を介して磁気ディスク装置７０へ読み出し要求を発行する場合の動作について説明する。
まず、ホストコンピュータ６０は、自身が接続されているホストインターフェース部１０にデータの読出し要求を発行する。 要求を受けたホストインターフェース部１０は、リソース管理部５０にアクセスし、要求されたデータがどの磁気ディスク装置７０内に格納されており、当該磁気ディスクがどのキャッシュメモリ部３０に制御されているかを調べる。リソース管理部５０には、要求データのアドレスからこれらの情報を検索するためのテーブルが格納されており、要求されたデータをもとに管轄のキャッシュメモリ部を調べることができる。次に、要求を受けたホストインターフェース部１０では、要求データを管理しているキャッシュメモリ部３０に、読み出し要求を転送する。キャッシュメモリ部３０は、キャッシュメモリ３７に要求されたデータが格納されているかどうかを確認する。キャッシュメモリ部３０内にデータが存在しなかった場合、プロセッサ３６は、要求データを磁気ディスク装置７０から読出し、キャッシュメモリ３７に格納する。キャッシュメモリ部３０は、キャッシュメモリ３７内に格納された要求データを、ホストインターフェース部１０まで転送し、ホストコンピュータ６０に送る。
ホストインターフェース部１０及びディスクインターフェース部２０がキャッシュメモリ部３０、及びリソース管理部５０とスイッチ４０を介して通信する場合、パケット宛先にＬＩＤ情報を用い、スイッチでの経路変更にフォワーディング・テーブル４６を使用する。
例えば、ホストコンピュータ６０からの読み出し要求を、スイッチ４０を介して、キャッシュメモリ部３０に転送する場合、ホストインターフェース部１０では、ホストインターフェース信号１を、チャネルプロトコル処理部９０と内部プロトコル処理部８０を介して、内部インターフェース信号４に変換する。その際、読み出し要求パケットの宛先には、送り先のキャッシュメモリ部のＬＩＤを設定する。ホストインターフェース部からの要求パケットを受けたスイッチ４０では、経路変更手段４５内のフォワーディング・テーブル４６に従い、ヘッダ解析部４２で抽出されたパケット宛先に応じたセレクタ制御信号４７を生成し、パケットバッファ４３に格納されたパケットの送出先をセレクタ４８によって切り換えて、所望のキャッシュメモリ部３０に向けてパケットを転送する（図16）。
【００２２】
ディスクインターフェース部２０が、キャッシュメモリ部と通信を行う場合、もしくは、ホストインターフェース部１０、及び、ディスクインターフェース部２０が、リソース管理部５０と通信を行う場合も、ホストインターフェース部とキャッシュメモリ部との間の通信と同様なパケット転送が行われる。
なお、リソース管理部５０と、ホストインターフェース部１０およびディスクインターフェース部２０との接続に使われているスイッチ４０を含んだスイッチ網は、キャッシュメモリ部３０とホストインターフェース部１０およびディスクインターフェース部２０との接続に使われているスイッチ網と同じであっても、別の専用ネットワークであっても良い（図17）。また、スイッチ４０を使わずに、直接接続する形態であっても構わない。
次に、本発明のディスク制御装置の特徴である障害回復動作の一例として、図１、図２を用い、２つのキャッシュメモリ部３０間での障害監視機構とパス制御機構の動作について説明する。
キャッシュメモリ部３０は、その可用性向上のため、同等機能を有するマスタとスレーブの２つのキャッシュメモリ部を有している。スレーブキャッシュメモリは、マスタキャッシュメモリに障害が発生した際に、その機能を引き継ぐためのもので、ホットスタンバイで動作している。これらマスタ・キャッシュメモリ部とスレーブ・キャッシュメモリ部は、スイッチ４０を介して、相互にその動作を確認するための障害監視機構Ｃを有している。すなわち、一定間隔ごとに自分の動作状況を報告するパケットを生成し、お互い相手の動作状態を監視することができる。その動作の概要を図１３に示す。障害監視機構では通信が行われる度に、正常なシーケンスとＡＣＫがチェックされ、異常が発見された場合には、主経路もしくは副経路を介して、パス制御機構に障害通知を行う。図２に示した構成では、マスタおよびスレーブキャッシュメモリ部が、それぞれパス制御機構を有しているので、そのいずれかのキャッシュメモリ部に異常が発生した場合、その障害情報は、ただちにもう一方のキャッシュメモリ部で検知することができる。障害を検知したキャッシュメモリ部では、障害を起こしているキャッシュメモリ部を閉塞するとともに、内部に備えたパス制御機構Ｐによって、システム構成を変更し、ホストインターフェース部１０およびディスクインターフェース部２０が、障害キャッシュメモリ部にアクセスしないように制御する。
以下、パス制御機構Ｐの仕組みを、図１４を使って説明する。障害監視機構から障害通知を受けたパス制御機構は、その通知の妥当性を確認した後、可用性向上のため複数個設けてあるパス制御機構間で、障害情報の同期化を行う。その後、障害解析を行い、現時点で障害特定が可能かどうか判断する。特定が出来ない場合、特定可能になるまで障害処理を遅延させる。特定可能になった場合、障害通知情報によりアクセス障害なのか機能障害なのかを判断し、機能障害の場合、障害部位を含んだ冗長部位間で、処理途中のＪＯＢなどの同期化処理を試みる。その後、障害部位に対するアクセス・パスを冗長部位に振り替える交替パス処理を行う。図１で具体的に説明すると、マスタキャッシュメモリ部で機能障害が発生しスレーブキャッシュメモリ部にフェールオーバする場合は、以下のようになる。障害のない正常動作状態における、ホストインターフェース部１０、ディスクインターフェース部２０、キャッシュメモリ部３０Ａ、３０Ｂ、スイッチ４０Ａ、４０ＢのＬＩＤとフォワーディング・テーブルの値は、図１（１）に示した通りである。ここで、マスタ・キャッシュメモリ部３０Ａに障害が発生し、スレーブ・キャッシュメモリ部３０Ｂの障害監視機構によって、当該障害が検出された場合、３０Ｂのパス制御機構Ｐにより、３０Ａの機能を３０Ｂが引き継ぐとともに、３０Ａ宛のパケットを３０Ｂに振り替える制御を行う。すなわち、３０Ａの２つのＬＩＤ(▲９▼、(10))と３０Ｂの２つのＬＩＤ((11)、(12))とを交換し、それに対応して、フォワーディング・テーブル４６Ａと４６Ｂを変更する。その結果、ＬＩＤとフォワーディングテーブルは図１（２）のようになり、３０Ａへのアクセスは、すべて３０Ｂに振り向けられて、障害部位３０Ａのシステムからの切り離しが完了する。３０Ａの動作を３０Ｂが引き継ぐには、３０Ａと３０Ｂの内容が一致している必要があるが、それらは、通常の同期動作により実現される。すなわち、常に３０Ａと３０Ｂが同じ内容になるよう、両方に対して同じアクセス要求を発生させる方法や、定期的に両者でデータをコピーする方法が考えられる。
なお、リソース管理部５０も同様の障害監視機構Ｃとパス制御機構Ｐを備え、同様の手順で障害回復動作を行うことができる。これら障害監視機構やパス制御機構は、キャッシュメモリ部３０、もしくは、リソース管理部５０内のプロセッサ３６によって実行される制御プログラムとして実現することができる。また、本実施例では、リソース管理部５０を独立に設けた構成としているが、リソース管理部をキャッシュメモリ部３０の中に設けることもできる。また、図１で、スレ‐ブキャッシュメモリ部内のＬＩＤとマスタキャッシュメモリ部内のＬＩＤを交換するのではなく、スレーブ側でマスタ側のＬＩＤを追加して持つようにすることも可能である。その場合、障害前のスレーブ側ＬＩＤが障害後も有効になるというメリットがある。
【００２３】
本実施例によれば、キャッシュメモリ部３０もしくはリソース管理部５０の障害に対して、スイッチ４０のフォワーディング・テーブルとキャッシュメモリ部３０もしくはリソース管理部５０のＬＩＤの変更のみで、障害部位の切り離しが完了し、従来技術のように、複数のホストインターフェース部１０及びディスクインターフェース部２０の間でのブロードキャスト通信や複雑な制御は不要である。そのため、障害発生時においても、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがない。
また、本実施例のスイッチ内フォワーディング・テーブルは、障害発生時にのみ変更されものであって、従来技術のように、通信を行うたびにパケットの宛先の解釈や変更が行われる複雑なスイッチを必要としない。そのため、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００２４】
《実施例２》
図３に、本発明の他の実施例を示す。
図３に示した実施例は、キャッシュメモリ部３０、及び、リソース管理部５０が、それぞれ障害通知のための専用線であるハートビート信号３を備えていることと、内部インターフェース信号のスイッチ網が多段のスイッチ４０で構成されていることを除いて、実施例１の図２に示す構成と同様である。ただし、キャッシュメモリ部３０は、障害監視機構Ｃのみを備え、パス制御機構は実装されていない。リソース管理部５０は、障害監視機構Ｃ、パス制御機構Ｐともに備えている。
キャッシュメモリ部、および、リソース管理部は、マスタとスレーブにより冗長構成を形成しており、基本的には同じデータ内容を保持している。ただし、キャッシュメモリ部におけるディスクからの読み出しデータについては、マスタとスレーブ間で同一の内容を保持していなくても構わない。
障害が発生した場合の処理は、基本的に、実施例１と同様であるが、その概要を図１８で簡単に説明する。マスタ／スレーブ キャッシュメモリ部、および、マスタ／スレーブリソース管理部は、障害監視機構により、相互に障害発生の有無について定期的な確認を行っている。障害監視機構によって発見された障害は、リソース管理部のパス制御機構に通知される。パス制御機構では、通知された障害情報の解析を行い、障害部位の特定を行う。パス制御機構では、障害部位が特定できれば、スイッチ内にあるフォワーディングテーブルを制御することで、障害部位を回避するようにパスの設定を行うことで、障害部位の切り離しが完了する。
本実施例では、専用のハートビート信号３を設けることにより、相互にその動作を確認するための障害監視機構Ｃを、実施例１より単純な構成で実現することができる。すなわち、ハートビート信号３を通して、お互いの動作状況を、直接、監視することができる。そのため、マスタ、もしくは、スレーブのいずれかのキャッシュメモリ部、もしくはリソース管理部に異常が発生した場合、その障害情報は、より迅速にもう一方のキャッシュメモリ部、もしくは、リソース管理部で検知することができる。
また、本実施例では、キャッシュメモリ部３０内で検出された障害情報が、スイッチ４０を介して(マスタ)リソース管理部５０のパス制御機構Ｐに通知され、リソース管理部内のパス制御機構Ｐによってキャッシュメモリ部３０の障害回復処理が行われる。これにより、障害情報をリソース管理部５０に集めて、より適切な障害回復処理を行うことが可能となる。
また、本実施例では、ホストインターフェース側とディスクインターフェース側でスイッチを分離することにより、ホスト側とディスク側で柔軟な接続数変更が可能になるとともに、より大規模な構成への対応が可能となる。
【００２５】
本実施例によれば、前述の実施例と同様、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがなく、また、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００２６】
《実施例３》
図４に、本発明の他の実施例を示す。
図４に示した実施例は、キャッシュメモリ部３０、及び、リソース管理部５０が、ハートビート信号３を備えていないことと、内部インターフェース信号のスイッチ網が冗長構成になっていることを除いて、実施例２の図３に示す構成と同様である。ただし、キャッシュメモリ部３０は、障害監視機構Ｃとパス制御機構を実装していない。リソース管理部５０は、障害監視機構Ｃ、パス制御機構Ｐともに備えている。
本実施例では、キャッシュメモリ部３０の障害監視も、リソース管理部５０内の障害監視機構Ｃを用いて行う。その実現方法としては、リソース管理部の障害監視機構Ｃが、定期的にキャッシュメモリ部３０へアクセスを行い、キャッシュメモリ部の動作状況を監視する方法や、ホストインターフェース部１０およびディスクインターフェース部２０からキャッシュメモリ部３０へアクセスした際に障害が検出された場合、その障害情報をリソース管理部に報告する方法などが考えられる。また、本実施例では、各ホストインターフェース部、各ディスクインターフェース部に複数のポートを設け、スイッチも２重化することにより、ホストインターフェース部、および、ディスクインターフェース部とキャッシュメモリ部、もしくは、リソース管理部との間に複数のパスを設けてある。
これにより、リソース管理部、キャッシュメモリ部の機能障害だけでなく、リソース管理部、もしくは、キャッシュメモリ部とホストインターフェース部およびディスクインターフェース部との間のパス障害についても、障害回復を行えることになり、可用性をさらに高めることができる。
また、リソース管理部５０に、障害監視機構とパス制御機構を集めることにより、より障害状況の的確な分析が行えることになり、適切かつ高信頼の障害回復処理が可能となる。
【００２７】
本実施例によれば、前述の実施例と同様、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがなく、また、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００２８】
《実施例４》
図５に、本発明の他の実施例を示す。
図５に示した実施例は、キャッシュメモリ部３０、及び、リソース管理部５０が、ハートビート信号３を備えていないことと、複数のディスク制御サブユニット２００を備えることを除いて、実施例２の図３に示す構成と同様である。複数のディスク制御サブユニット内のキャッシュメモリ部それぞれが、障害監視機構Ｃを備えている。リソース管理部５０は、障害監視機構Ｃ、パス制御機構Ｐともに備えている。
本実施例では、ディスク制御サブユニット２００ごとに、キャッシュを分散配置することで、キャッシュの使用効率（ヒット率）を高めて性能を向上するとともに、ホスト側とディスク側で柔軟にシステム規模を拡張することが可能となり、より高スケーラブルなシステムの提供が可能となる。
また、本実施例では、実施例２と同様、キャッシュメモリ部３０の障害に伴う障害回復処理も、リソース管理部５０内のパス制御機構Ｐを用いて行う。実施例２、３と同様、リソース管理部５０に、障害情報を集めることにより、より障害状況の的確な分析が行えることになり、ディスク制御サブユニット２００の個数を増加させた、より大規模なディスク制御装置においても、適切かつ高信頼な障害回復処理が可能となる。
【００２９】
本実施例によれば、前述の実施例と同様、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがなく、また、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００３０】
《実施例５》
図１５に、本発明の他の実施例を示す。
図１５に示した実施例では、実施例１−４で記載のディスク制御装置が、複数のホストコンピュータとホストコンピュータ間ネットワークを介して接続し、複数の磁気ディスク装置と磁気ディスク装置間ネットワークを介して接続している。ホストコンピュータ間ネットワークには、ファイルシステムの処理を行うサーバ１１０（NASヘッド）、複数のディスク制御装置が管轄するストレージをまとめて管理するためのサーバ１２０（ディスク制御装置間仮想化エンジン）、データベース・インターフェース処理を行うためのサーバ１３０（DB機能付加エンジン）などが接続されることもある。これら、NASヘッド、仮想化エンジン、DB機能付加エンジンは、ディスク制御装置の中に実装しても構わない。
【００３１】
本実施例によれば、迅速、かつ、高信頼な障害回復処理を行えるディスク制御装置を用いることにより、極めて可用性が高く、性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことのない、ストレージシステムの提供が可能となる。
【００３２】
【発明の効果】
以上説明したように、本発明では、キャッシュメモリ部３０もしくはリソース管理部５０の障害に対して、スイッチ４０のフォワーディング・テーブルとキャッシュメモリ部３０もしくはリソース管理部５０のＬＩＤの変更のみで、障害部位の切り離しが完了し、従来技術のように、複数のホストインターフェース部１０及びディスクインターフェース部２０の間でのブロードキャスト通信や複雑な制御は不要である。そのため、障害発生時においても、迅速、かつ、高信頼な障害回復処理を実現することができ、ストレージシステムの性能劣化や、ホストコンピュータ上のアプリケーション動作不良を引き起こすことがない。
また、本発明において、スイッチ内フォワーディング・テーブルは、障害発生時にのみ変更されものであって、従来技術のように、通信を行うたびにパケットの宛先の解釈や変更が行われる複雑なスイッチを必要としない。そのため、障害のない通常の動作においての性能劣化は皆無で、かつ、低コストで高信頼に製造することが可能である。
【００３３】
本発明では、障害監視機構による障害発生通知を、パス制御機構で解析し、フォワーディングテーブルを制御するので、柔軟なシステム構成に対応可能である。とくに、複数のディスク制御サブユニットが存在する大規模なディスク制御装置の場合でも、複数の障害監視機構からの障害情報をパス制御機構に集めることにより、より障害状況の的確な分析が行え、高信頼な障害回復処理が可能となる
【図面の簡単な説明】
【図１】本発明によるディスク制御装置における障害回復処理の動作原理を示す図である。
【図２】本発明によるディスク制御装置の構成を示す図である。
【図３】本発明によるディスク制御装置の構成を示す図である。
【図４】本発明によるディスク制御装置の構成を示す図である。
【図５】本発明によるディスク制御装置の構成を示す図である。
【図６】本発明によるディスク制御装置内のスイッチの構成を示す図である。
【図７】本発明によるディスク制御装置内のキャッシュメモリ部の構成を示す図である。
【図８】本発明によるディスク制御装置内のホストインターフェース部の構成を示す図である。
【図９】従来のディスク制御装置の構成を示す図である。
【図１０】従来のディスク制御装置内のスイッチの構成を示す図である。
【図１１】従来のディスク制御装置内のキャッシュメモリ部の構成を示す図である。
【図１２】従来のディスク制御装置内のホストインターフェース部の構成を示す図である。
【図１３】本発明の障害監視機構の動作を示す図である。
【図１４】本発明のパス制御機構の動作を示す図である。
【図１５】本発明のディスク制御装置を用いたストレージシステムの例を示す図である。
【図１６】本発明のディスク制御装置においてホストコンピュータからキャッシュメモリ部へのコマンド送信の概要を示す図である。
【図１７】本発明のディスク制御装置の構成を示す図である。
【図１８】本発明のディスク制御装置の障害処理の概要を示す図である。
【符号の説明】
１ ホストインターフェース信号
２ ディスクインターフェース信号
３、５ ハートビート信号
４ 内部インターフェース信号
６ データインターフェース信号
７ 管理インターフェース信号
１０、１Ｘ ホストインターフェース部
１１ ＤＭＡエンジン
１２ 送信データインターフェース
１３ 受信データインターフェース
１４ プロトコル制御プロセッサ
１５ ローカルメモリ
１６ バスインターフェース
１７ プロセッサインターフェース
２０、２Ｘ ディスクインターフェース部
３０、３０Ａ、３０Ｂ、３Ｘ キャッシュメモリ部
３１Ｘ データパスインターフェース
３２Ｘ ヘッダ解析部
３３ パケットバッファ
３４ ＤＭＡエンジン
３５ メモリ制御回路
３６ プロセッサ
３７ キャッシュメモリ
３８ セレクタ
３９ 調停回路
４０、４０Ａ、４０Ｂ、４Ｘ スイッチ
４１ パスインターフェース（ＰＯＲＴ）
４１Ｘ データパスインターフェース
４２、４２Ｘ ヘッダ解析部
４３ パケットバッファ
４４ アドレスラッチ
４５ 経路変更手段
４６、４６Ａ、４６Ｂ フォワーディング・テーブル
４７ セレクタ制御信号
４８ セレクタ
５０ リソース管理部
６０ ホストコンピュータ
７０ 磁気ディスク装置
８０、８Ｘ 内部プロトコル処理部
８１ ローカルＩＤ情報（ＬＩＤ）
８２ 送信ＰＨＹ
８３ 受信ＰＨＹ
８４ プロトコル制御プロセッサ
８５ ローカルメモリ
８６ バッファ
８７ リンク処理
８８ ヘッダ制御
９０ チャネルプロトコル処理部
９２ 送信ＰＨＹ
９３ 受信ＰＨＹ
９６ バッファ
９７ リンク処理
９８ トランスポート処理
１００〜１０４ ディスク制御装置
１１０ ＮＡＳヘッド
１２０ ディスク制御装置間仮想化エンジン
１３０ ＤＢ機能付加エンジン
２００ ディスク制御サブユニット
Ｃ 障害監視機構
Ｐ パス制御機構。
Claims (17)
- ホストコンピュータとのインターフェースを有する複数のホストインターフェース部と、記憶装置とのインターフェースを有する複数のディスクインターフェース部と、前記記憶装置に対しリードまたはライトされるデータを一時的に格納する複数のキャッシュメモリ部を有し、前記複数のホストインターフェース部の各々は、前記ホストコンピュータとのインターフェースと前記キャッシュメモリ部との間のデータ転送を実行し、前記複数のディスクインターフェース部の各々は、前記記憶装置とのインターフェースと前記キャッシュメモリ部との間のデータ転送を実行するディスク制御装置であって、
前記複数のホストインターフェース部と前記キャッシュメモリ部、及び、前記複数のディスクインターフェース部と前記キャッシュメモリ部との間が１つ以上のスイッチで構成されるスイッチ網を介して接続され、前記ホストインターフェース部、前記ディスクインターフェース部及び前記キャッシュメモリ部は、前記スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を有し、前記スイッチは前記スイッチ網内での経路を前記IDを用いて指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を有し、さらに前記複数のキャッシュメモリ部は、該複数のキャッシュメモリ部における障害発生の有無を監視するための障害監視機構と前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を有することを特徴とするディスク制御装置。 - 前記パス制御機構は前記複数のキャッシュメモリ部における障害発生時に障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御することを特徴とする請求項１記載のディスク制御装置。
- ホストコンピュータとのインターフェースを有する複数のホストインターフェース部と、記憶装置とのインターフェースを有する複数のディスクインターフェース部と、前記記憶装置に対しリードまたはライトされるデータを一時的に格納する複数のキャッシュメモリ部と、ホストインターフェース部及びディスクインターフェース部と前記キャッシュメモリ部との間のデータ転送に関する制御情報を格納する複数のリソース管理部を有し、前記複数のホストインターフェース部の各々は、前記ホストコンピュータとのインターフェースと前記キャッシュメモリ部との間のデータ転送を実行し、前記複数のディスクインターフェース部の各々は、前記記憶装置とのインターフェースと前記キャッシュメモリ部との間のデータ転送を実行するディスク制御装置であって、
前記複数のホストインターフェース部、前記複数のディスクインターフェース部が１つ以上のスイッチで構成されるスイッチ網を介して前記キャッシュメモリ部と接続され、前記複数のホストインターフェース部、前記複数のディスクインターフェース部が前記スイッチ網を介して前記リソース管理部に接続され、前記ホストインターフェース部、前記ディスクインターフェース部、前記キャッシュメモリ部及び前記リソース管理部は、前記スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を有し、前記スイッチは前記スイッチ網内での経路を前記IDを用いて指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を有し、さらに前記複数のキャッシュメモリ部と前記複数のリソース管理部は、その障害発生の有無を監視するための障害監視機構と前記スイッチ内の前記フォワーディングテーブルを制御するためのパス制御機構を有することを特徴とするディスク制御装置。 - 前記パス制御機構は前記キャッシュメモリ部または前記リソース管理部における障害発生時に障害部位を回避するように前記スイッチ内の前記フォワーディングテーブルを制御することを特徴とする請求項３記載のディスク制御装置。
- 前記キャッシュメモリ部における障害を監視するための前記障害監視機構が、前記キャッシュメモリ部の中にかえて、前記リソース管理部の中にあることを特徴とする請求項３または４記載のディスク制御装置。
- 前記障害監視機構が、前記ホストインターフェース部及び前記ディスクインターフェース部でのリードまたはライトとともに動作することを特徴とする請求項１乃至５のいずれかに記載のディスク制御装置。
- 前記キャッシュメモリ部における障害を処理するためのパス制御機構が、前記キャッシュメモリ部の中にかえて、前記リソース管理部に備わっていることを特徴とする請求項３乃至６のいずれかに記載のディスク制御装置。
- 前記障害監視機構により障害を検出した際、前記パス制御機構により前記障害部位の前記ローカルIDと前記障害部位の機能を引き継ぐ前記交換部位の前記ローカルIDとを交換し、該ローカルID交換に対応して前記スイッチ網内経路を切り換えるよう前記スイッチ内フォワーディングテーブルを変更することを特徴とする請求項１乃至７のいずれかに記載のディスク制御装置。
- ホストコンピュータとのインターフェースを有する複数のホストインターフェース部と、記憶装置とのインターフェースを有する複数のディスクインターフェース部と、前記記憶装置に対しリードまたはライトされるデータを一時的に格納する複数のキャッシュメモリ部を有し、各ホストインターフェース部は、前記ホストコンピュータとのインターフェースと前記キャッシュメモリ部との間のデータ転送を実行し、各ディスクインターフェース部は、前記記憶装置とのインターフェースと前記キャッシュメモリ部との間のデータ転送を実行し、
前記複数のホストインターフェース部と前記キャッシュメモリ部、及び、前記複数のディスクインターフェース部と前記キャッシュメモリ部との間が１つ以上のスイッチで構成されるスイッチ網を介して接続され、前記ホストインターフェース部、前記ディスクインターフェース部及び前記キャッシュメモリ部は、前記スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を有し、前記スイッチは前記スイッチ網内での経路を前記IDを用いて指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を有し、さらに前記複数のキャッシュメモリ部は、障害監視機構とパス制御機構を有するディスク制御装置における前記キャッシュメモリ部の障害処理方法であって、
前記障害監視機構が前記キャッシュメモリ部における障害発生の有無を確認するステップと、該障害監視機構が該障害発生を前記パス制御機構に通知するステップと、該パス制御機構が前記通知された障害情報を解析するステップと、該パス制御機構が障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するステップとを有することを特徴とする障害処理方法。 - ホストコンピュータとのインターフェースを有する複数のホストインターフェース部と、記憶装置とのインターフェースを有する複数のディスクインターフェース部と、前記記憶装置に対しリードまたはライトされるデータを一時的に格納する複数のキャッシュメモリ部と、ホストインターフェース部及びディスクインターフェース部と前記キャッシュメモリ部との間のデータ転送に関する制御情報を格納する複数のリソース管理部を有し、前記複数のホストインターフェース部の各々は、前記ホストコンピュータとのインターフェースと前記キャッシュメモリ部との間のデータ転送を実行し、前記複数のディスクインターフェース部の各々は、前記記憶装置とのインターフェースと前記キャッシュメモリ部との間のデータ転送を実行し、
前記複数のホストインターフェース部、前記複数のディスクインターフェース部が１つ以上のスイッチで構成されるスイッチ網を介して前記キャッシュメモリ部と接続され、前記複数のホストインターフェース部、前記複数のディスクインターフェース部が前記スイッチ網を介して前記リソース管理部に接続され、前記ホストインターフェース部、前記ディスクインターフェース部、前記キャッシュメモリ部及び前記リソース管理部は、前記スイッチ網内で一意に決まるローカルIDと該IDを変更する変更手段を有し、前記スイッチは前記スイッチ網内での経路を前記IDを用いて指定するためのフォワーディングテーブルと該テーブルを変更する変更手段を有し、さらに前記複数のキャッシュメモリ部と前記複数のリソース管理部は、障害監視機構とパス制御機構を有するディスク制御装置における前記キャッシュメモリ部および前記リソース管理部の障害処理方法であって、
前記障害監視機構が、前記キャッシュメモリ部または前記リソース管理部における障害発生の有無を確認するステップと、該障害監視機構が該障害発生を前記パス制御機構に通知するステップと、該パス制御機構が、前記通知された障害情報を解析するステップと、該パス制御機構が障害部位を回避するように前記スイッチ内のフォワーディングテーブルを制御するステップを有することを特徴とする障害処理方法。 - 請求項１０記載のディスク制御装置の前記キャッシュメモリ部における障害を監視するための前記障害監視機構が、前記キャッシュメモリ部の中にかえて、前記リソース管理部の中にあるディスク制御装置における障害処理方法であって、該障害監視機構が前記キャッシュメモリ部の障害発生の有無を確認するステップが、前記リソース管理部の中で実行されることを特徴とする障害処理方法。
- 前記障害監視機構による障害発生の有無を確認するステップが、前記ホストインターフェース部及び前記ディスクインターフェース部でのリードまたはライト動作の際に実行されることを特徴とする請求項９乃至１１のいずれかに記載の障害処理方法。
- 請求項１０乃至１２のいずれかに記載のディスク制御装置の前記キャッシュメモリ部における障害を処理するためのパス制御機構が、前記キャッシュメモリ部の中にかえて、前記リソース管理部に備わっているディスク制御装置における障害処理方法であって、前記パス制御機構による前記フォワーディングテーブルを制御するステップが、前記リソース管理部の中で実行されることを特徴とする障害処理方法。
- 前記パス制御機構により前記フォワーディングテーブルを制御するステップは、前記障害部位のローカルIDと障害部位の機能を引き継ぐ交換部位のローカルIDとを交換するステップと、該ローカルID交換に対応して前記スイッチ網内経路を切り換えるよう前記スイッチ内フォワーディングテーブルを変更するステップを有することを特徴とする請求項９乃至１３のいずれかに記載の障害処理方法。
- 前記記憶装置は磁気ディスク装置であることを特徴とする請求項１乃至８のいずれかに記載のディスク制御装置。
- 前記記憶装置は磁気ディスク装置であることを特徴とする請求項９乃至１４のいずれかに記載の障害処理方法。
- 複数のホストコンピュータと第１のネットワークを介して接続され、複数の磁気ディスク装置と第２のネットワークを介して接続されたディスク制御装置を備え、
上記ディスク制御装置は、
上記ホストコンピュータとのインターフェースを有する複数のホストインターフェース部と、
上記磁気ディスク装置とのインターフェースを有する複数のディスクインターフェース部と、
上記複数のホストインターフェース部及び上記複数のディスクインターフェース部との間が１つ以上のスイッチで構成されるスイッチ網を介して接続された複数のキャッシュメモリ部を備え、
前記複数のホストインターフェース部、前記複数のディスクインターフェース部及び前記複数のキャッシュメモリ部は、前記スイッチ網内で一意に決まるローカルＩＤと該ＩＤを変更する変更手段を有し、
前記スイッチは、前記スイッチ網内での経路を前記ＩＤを用いて指定するためのフォワーディングテーブルと、該テーブルを変更する変更手段を有し、
前記複数のキャッシュメモリ部は、
該複数のキャッシュメモリ部における障害発生の有無を監視するための障害監視機構と、
前記スイッチ内のフォワーディングテーブルを制御するためのパス制御機構を有することを特徴とするディスクアレイサブシステム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002378956A JP4107083B2 (ja) | 2002-12-27 | 2002-12-27 | 高可用ディスク制御装置とその障害処理方法及び高可用ディスクサブシステム |
| US10/626,049 US6970972B2 (en) | 2002-12-27 | 2003-07-23 | High-availability disk control device and failure processing method thereof and high-availability disk subsystem |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002378956A JP4107083B2 (ja) | 2002-12-27 | 2002-12-27 | 高可用ディスク制御装置とその障害処理方法及び高可用ディスクサブシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004213125A true JP2004213125A (ja) | 2004-07-29 |
| JP4107083B2 JP4107083B2 (ja) | 2008-06-25 |
Family
ID=32708359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002378956A Expired - Fee Related JP4107083B2 (ja) | 2002-12-27 | 2002-12-27 | 高可用ディスク制御装置とその障害処理方法及び高可用ディスクサブシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6970972B2 (ja) |
| JP (1) | JP4107083B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006154880A (ja) * | 2004-11-04 | 2006-06-15 | Hitachi Ltd | 情報処理システム及びアクセス方法 |
| JP2007207007A (ja) * | 2006-02-02 | 2007-08-16 | Hitachi Ltd | ストレージシステム、ストレージコントローラ及び計算機システム |
| JP2008065561A (ja) * | 2006-09-06 | 2008-03-21 | Hitachi Ltd | ストレージシステムおよびストレージシステムの制御方法 |
| JP2008158666A (ja) * | 2006-12-21 | 2008-07-10 | Nec Corp | ストレージデバイスのマルチパスシステム、その障害箇所特定方法及びプログラム |
| JP2009009200A (ja) * | 2007-06-26 | 2009-01-15 | Hitachi Ltd | ストレージシステム及びストレージシステムの制御方法 |
| US7640365B2 (en) | 2006-09-26 | 2009-12-29 | Hitachi, Ltd. | Highly reliable disk controller |
| JP2010231598A (ja) * | 2009-03-27 | 2010-10-14 | Nec Corp | ディスクアレイ装置、ディスク制御装置、ディスクアレイ装置における負荷分散方法 |
| CN117130952A (zh) * | 2023-01-10 | 2023-11-28 | 荣耀终端有限公司 | 预读方法和预读装置 |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4155399B2 (ja) * | 2003-03-28 | 2008-09-24 | 株式会社日立製作所 | コンピュータ処理方法及びその実施システム並びにその処理プログラム |
| US20050015655A1 (en) * | 2003-06-30 | 2005-01-20 | Clayton Michele M. | Intermediate station |
| US20050028028A1 (en) * | 2003-07-29 | 2005-02-03 | Jibbe Mahmoud K. | Method for establishing a redundant array controller module in a storage array network |
| JP2005056200A (ja) * | 2003-08-05 | 2005-03-03 | Hitachi Ltd | データ管理方法、ディスク記憶装置およびディスク記憶システム |
| US7389411B2 (en) * | 2003-08-29 | 2008-06-17 | Sun Microsystems, Inc. | Secure transfer of host identities |
| GB2405965B (en) * | 2003-08-29 | 2005-11-02 | Sun Microsystems Inc | Transferring system identities |
| US7444396B2 (en) | 2003-08-29 | 2008-10-28 | Sun Microsystems, Inc. | Transferring system identities |
| US7136959B1 (en) * | 2003-09-30 | 2006-11-14 | Emc Corporation | Data storage system having crossbar packet switching network |
| JP4441286B2 (ja) * | 2004-02-10 | 2010-03-31 | 株式会社日立製作所 | ストレージシステム |
| US7467238B2 (en) * | 2004-02-10 | 2008-12-16 | Hitachi, Ltd. | Disk controller and storage system |
| JP4405277B2 (ja) * | 2004-02-16 | 2010-01-27 | 株式会社日立製作所 | ディスク制御装置 |
| JP4789425B2 (ja) * | 2004-03-31 | 2011-10-12 | 富士通株式会社 | 経路テーブル同期方法、ネットワーク機器および経路テーブル同期プログラム |
| JP2005301419A (ja) | 2004-04-07 | 2005-10-27 | Hitachi Ltd | ディスクアレイ装置およびそのデータ処理方法 |
| US9201599B2 (en) * | 2004-07-19 | 2015-12-01 | Marvell International Ltd. | System and method for transmitting data in storage controllers |
| US9183087B2 (en) * | 2005-06-07 | 2015-11-10 | Seagate Technology Llc | Data storage subgroup with local and shared resources |
| US7802019B2 (en) * | 2005-06-14 | 2010-09-21 | Microsoft Corporation | Hard disk drive condition reporting and error correction |
| EP1768026B1 (en) * | 2005-09-23 | 2008-06-11 | Infortrend Technology, Inc. | Redundant storage virtualization subsystem having data path branching functionality |
| JP2007128437A (ja) * | 2005-11-07 | 2007-05-24 | Hitachi Ltd | ディスクアレイ装置及びその経路障害検出方法 |
| US7694188B2 (en) * | 2007-02-05 | 2010-04-06 | Microsoft Corporation | Disk failure prevention and error correction |
| JP5216376B2 (ja) * | 2008-03-10 | 2013-06-19 | 株式会社日立製作所 | リモートコピーシステム及び確認方法 |
| US7984313B2 (en) * | 2008-04-17 | 2011-07-19 | International Business Machines Corporation | Method, apparatus and system for reducing power consumption involving data storage devices |
| US8291245B2 (en) * | 2008-04-17 | 2012-10-16 | International Business Machines Corporation | Method, apparatus and system for reducing power consumption based on storage device data migration |
| JP5232602B2 (ja) | 2008-10-30 | 2013-07-10 | 株式会社日立製作所 | ストレージ装置、及びストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法 |
| CN101562543B (zh) * | 2009-05-25 | 2013-07-31 | 阿里巴巴集团控股有限公司 | 一种缓存数据的处理方法、处理系统和装置 |
| US20110185099A1 (en) * | 2010-01-28 | 2011-07-28 | Lsi Corporation | Modular and Redundant Data-Storage Controller And a Method for Providing a Hot-Swappable and Field-Serviceable Data-Storage Controller |
| JP4936088B2 (ja) * | 2010-03-15 | 2012-05-23 | 日本電気株式会社 | ディスクアレイ装置、ディスクアレイシステム、及びキャッシュ制御方法 |
| US8990615B1 (en) * | 2012-09-28 | 2015-03-24 | Emc Corporation | System and method for cache management |
| US9329938B2 (en) | 2013-04-16 | 2016-05-03 | International Business Machines Corporation | Essential metadata replication |
| US9104332B2 (en) | 2013-04-16 | 2015-08-11 | International Business Machines Corporation | Managing metadata and data for a logical volume in a distributed and declustered system |
| US9298617B2 (en) | 2013-04-16 | 2016-03-29 | International Business Machines Corporation | Parallel destaging with replicated cache pinning |
| US9619404B2 (en) * | 2013-04-16 | 2017-04-11 | International Business Machines Corporation | Backup cache with immediate availability |
| US9423981B2 (en) | 2013-04-16 | 2016-08-23 | International Business Machines Corporation | Logical region allocation with immediate availability |
| US9104597B2 (en) | 2013-04-16 | 2015-08-11 | International Business Machines Corporation | Destaging cache data using a distributed freezer |
| US9298398B2 (en) | 2013-04-16 | 2016-03-29 | International Business Machines Corporation | Fine-grained control of data placement |
| US10110700B2 (en) * | 2014-03-31 | 2018-10-23 | Oracle International Corporation | Multiple on-die communication networks |
| US9825827B2 (en) * | 2014-08-07 | 2017-11-21 | International Business Machines Corporation | Network resiliency through memory health monitoring and proactive management |
| US9866427B2 (en) * | 2015-02-16 | 2018-01-09 | Juniper Networks, Inc. | Multi-stage switch fabric fault detection and handling |
| US10303572B2 (en) * | 2017-01-23 | 2019-05-28 | Wipro Limited | Methods and systems for improving fault tolerance in storage area network |
| CN107643988B (zh) * | 2017-09-15 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种具有失效切换机制的存储系统及存储方法 |
| CN109284214B (zh) * | 2018-08-15 | 2021-04-06 | 英业达科技有限公司 | 信息共享电路及共享内存状态的方法 |
| CN109597549B (zh) * | 2018-10-16 | 2020-11-03 | 西北铁道电子股份有限公司 | 一种基于SelfUI的GYK设备的人机交互系统 |
| US10951527B2 (en) | 2018-12-28 | 2021-03-16 | Juniper Networks, Inc. | Switch fabric packet flow reordering |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4710926A (en) * | 1985-12-27 | 1987-12-01 | American Telephone And Telegraph Company, At&T Bell Laboratories | Fault recovery in a distributed processing system |
| US5386551A (en) * | 1993-04-16 | 1995-01-31 | Storage Technology Corporation | Deferred resource recovery |
| JP2972501B2 (ja) * | 1993-09-20 | 1999-11-08 | 富士通株式会社 | Ｉ／ｏサブシステム及びｉ／ｏサブシステムにおける排他制御方法 |
| JP3136036B2 (ja) * | 1993-11-16 | 2001-02-19 | 富士通株式会社 | ディスク制御装置の制御方法 |
| GB9422854D0 (en) * | 1994-11-12 | 1995-01-04 | Int Computers Ltd | High availability data processing system |
| JP3776496B2 (ja) | 1996-01-17 | 2006-05-17 | 株式会社日立製作所 | データ記憶システム |
| US5724501A (en) * | 1996-03-29 | 1998-03-03 | Emc Corporation | Quick recovery of write cache in a fault tolerant I/O system |
| US6151688A (en) * | 1997-02-21 | 2000-11-21 | Novell, Inc. | Resource management in a clustered computer system |
| US6421787B1 (en) * | 1998-05-12 | 2002-07-16 | Sun Microsystems, Inc. | Highly available cluster message passing facility |
| JP4049899B2 (ja) * | 1998-07-15 | 2008-02-20 | 株式会社三共 | 遊技機 |
| JP2000099277A (ja) * | 1998-09-18 | 2000-04-07 | Fujitsu Ltd | ファイルユニット間のリモート転送方法 |
| US6826580B2 (en) * | 2000-01-20 | 2004-11-30 | Emc Corporation | Distributed storage resource management in a storage area network |
| JP2001337835A (ja) * | 2000-05-25 | 2001-12-07 | Hitachi Ltd | 制御プログラム内蔵型装置のプログラム更新方式及び制御プログラム内蔵型装置 |
| US6865157B1 (en) | 2000-05-26 | 2005-03-08 | Emc Corporation | Fault tolerant shared system resource with communications passthrough providing high availability communications |
| JP2003084919A (ja) * | 2001-09-06 | 2003-03-20 | Hitachi Ltd | ディスクアレイ装置の制御方法およびディスクアレイ装置 |
| JP2003140837A (ja) * | 2001-10-30 | 2003-05-16 | Hitachi Ltd | ディスクアレイ制御装置 |
| JP4338068B2 (ja) * | 2002-03-20 | 2009-09-30 | 株式会社日立製作所 | ストレージシステム |
| JP4014923B2 (ja) * | 2002-04-30 | 2007-11-28 | 株式会社日立製作所 | 共有メモリ制御方法および制御システム |
| JP4189171B2 (ja) * | 2002-05-24 | 2008-12-03 | 株式会社日立製作所 | ディスク制御装置 |
| US6957303B2 (en) * | 2002-11-26 | 2005-10-18 | Hitachi, Ltd. | System and managing method for cluster-type storage |
-
2002
- 2002-12-27 JP JP2002378956A patent/JP4107083B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-23 US US10/626,049 patent/US6970972B2/en active Active
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8036238B2 (en) | 2004-11-04 | 2011-10-11 | Hitachi, Ltd. | Information processing system and access method |
| JP2006154880A (ja) * | 2004-11-04 | 2006-06-15 | Hitachi Ltd | 情報処理システム及びアクセス方法 |
| JP4617847B2 (ja) * | 2004-11-04 | 2011-01-26 | 株式会社日立製作所 | 情報処理システム及びアクセス方法 |
| JP2007207007A (ja) * | 2006-02-02 | 2007-08-16 | Hitachi Ltd | ストレージシステム、ストレージコントローラ及び計算機システム |
| US8127077B2 (en) | 2006-02-02 | 2012-02-28 | Hitachi, Ltd. | Virtual path storage system and control method for the same |
| JP2008065561A (ja) * | 2006-09-06 | 2008-03-21 | Hitachi Ltd | ストレージシステムおよびストレージシステムの制御方法 |
| US7640365B2 (en) | 2006-09-26 | 2009-12-29 | Hitachi, Ltd. | Highly reliable disk controller |
| US8069272B2 (en) | 2006-09-26 | 2011-11-29 | Hitachi, Ltd. | Highly reliable disk controller |
| JP2008158666A (ja) * | 2006-12-21 | 2008-07-10 | Nec Corp | ストレージデバイスのマルチパスシステム、その障害箇所特定方法及びプログラム |
| JP2009009200A (ja) * | 2007-06-26 | 2009-01-15 | Hitachi Ltd | ストレージシステム及びストレージシステムの制御方法 |
| JP2010231598A (ja) * | 2009-03-27 | 2010-10-14 | Nec Corp | ディスクアレイ装置、ディスク制御装置、ディスクアレイ装置における負荷分散方法 |
| US8356205B2 (en) | 2009-03-27 | 2013-01-15 | Nec Corporation | Disk array device, disk control device and load distribution method in disk array device |
| CN117130952A (zh) * | 2023-01-10 | 2023-11-28 | 荣耀终端有限公司 | 预读方法和预读装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040139365A1 (en) | 2004-07-15 |
| US6970972B2 (en) | 2005-11-29 |
| JP4107083B2 (ja) | 2008-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4107083B2 (ja) | 高可用ディスク制御装置とその障害処理方法及び高可用ディスクサブシステム | |
| US6598174B1 (en) | Method and apparatus for storage unit replacement in non-redundant array | |
| JP6317856B2 (ja) | クラスタ間冗長構成におけるスムーズな制御部交代 | |
| US6691209B1 (en) | Topological data categorization and formatting for a mass storage system | |
| US6571354B1 (en) | Method and apparatus for storage unit replacement according to array priority | |
| US6678788B1 (en) | Data type and topological data categorization and ordering for a mass storage system | |
| KR100232247B1 (ko) | 클러스터화된 다중처리 시스템 및 시스템내 디스크 액세스 경로의 고장 회복 방법 | |
| US7483928B2 (en) | Storage operation management program and method and a storage management computer | |
| EP1837750A2 (en) | Computer system for controlling allocation of physical links and method thereof | |
| US9823955B2 (en) | Storage system which is capable of processing file access requests and block access requests, and which can manage failures in A and storage system failure management method having a cluster configuration | |
| JP2005326935A (ja) | 仮想化ストレージを備える計算機システムの管理サーバおよび障害回避復旧方法 | |
| JP2005018510A (ja) | データセンタシステム及びその制御方法 | |
| KR20110044858A (ko) | 데이터 센터들에 걸쳐 데이터 서버들내 데이터 무결정의 유지 | |
| JP2006209487A (ja) | 計算機システム、計算機、ストレージ装置及び管理端末 | |
| WO2001001257A2 (en) | Intelligent splitter, system, and methods of use | |
| JP2007094996A (ja) | データストレージシステム、データストレージ制御装置及びその障害箇所診断方法 | |
| US7937610B2 (en) | Fast node failure detection via disk based last gasp mechanism | |
| CN108628717A (zh) | 一种数据库系统及监控方法 | |
| JP2005018193A (ja) | ディスク装置のインタフェースコマンド制御方法ならびに計算機システム | |
| CN107766181B (zh) | 一种基于PCIe非透明桥的双控制器存储高可用子系统 | |
| JP2008112399A (ja) | ストレージ仮想化スイッチおよびコンピュータシステム | |
| JP2000181887A5 (ja) | ||
| JP2005196490A (ja) | データ多重化のためのシステム及び方法 | |
| JP4252551B2 (ja) | データストレージシステム及びストレージ制御装置の異常時のログデータ出力方法 | |
| US7752340B1 (en) | Atomic command retry in a data storage system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040825 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080324 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |