JP2007206766A - データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。 - Google Patents

データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。 Download PDF

Info

Publication number
JP2007206766A
JP2007206766A JP2006021750A JP2006021750A JP2007206766A JP 2007206766 A JP2007206766 A JP 2007206766A JP 2006021750 A JP2006021750 A JP 2006021750A JP 2006021750 A JP2006021750 A JP 2006021750A JP 2007206766 A JP2007206766 A JP 2007206766A
Authority
JP
Japan
Prior art keywords
disk storage
disk
controller
transmission path
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006021750A
Other languages
English (en)
Inventor
秀夫 ▲高▼橋
Hideo Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006021750A priority Critical patent/JP2007206766A/ja
Priority to US11/442,969 priority patent/US7562257B2/en
Publication of JP2007206766A publication Critical patent/JP2007206766A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2089Redundant storage control functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

【課題】複数のディスク記憶デバイスを制御するコントローラを有するストレージシステムに関し、複数のディスクデバイスと伝送経路との異常を切り分ける。
【解決手段】複数のディスク記憶デバイス(1−1〜1−4)を制御する一対のコントローラ(4−1〜4−4)の一のコントローラ(4−1)が、該当ディスクドライブへのアクセスにおいて、エラーを検出した場合に、その伝送経路(2−1)と異なる他の伝送経路(2−2)に接続されたコントローラ(4−2)から該当ディスクドライブにダミーアクセスする。又は、その伝送経路(2−1)の他のイニシエーター(4−3)から、その伝送経路(2−1)を介しアクセスする。そして、その結果から、障害の被疑箇所を特定するため、障害の被疑箇所が、伝送経路か、ディスクドライブかを切り分けることができる。
【選択図】図1

Description

本発明は、コンピュータの外部記憶装置として用いられるデータストレージシステム、データストレージ制御装置及びその障害箇所診断方法に関し、特に、多数のディスクデバイスと制御装置とが、伝送路で接続されたデータストレージシステム、データストレージ制御装置及びその障害箇所診断方法に関する。
近年、様々なデータが電子化され、コンピュータ上で扱われるのに従い、データの処理を実行するホストコンピュータとは独立して、大量のデータを効率よく、高い信頼性で格納することのできるデータストレージ装置(外部記憶装置)の重要性が増加している。
このデータストレージ装置として、大量のディスクデバイス(例えば、磁気ディスクや光ディスク)と、これら大量のディスクデバイスを制御するディスクコントローラとから構成されるディスクアレイ装置が利用されている。このディスクアレイ装置は、同時に複数のホストコンピュータからのディスクアクセス要求を受け付けて、大量のディスクに対する制御を行なうことができる。
このようなディスクアレイ装置は、ディスクのキャッシュの役割を果たすメモリを内蔵する。これにより、ホストコンピュータからリード要求及びライト要求を受信した際の、データへのアクセス時間を短縮し、高性能化を実現できる。
一般に、ディスクアレイ装置は、複数の主要ユニット、即ち、ホストコンピュータとの接続部分であるチャネルアダプタ,ディスクドライブとの接続部分であるディスクアダプタ,キャッシュメモリ,キャッシュメモリの制御を担当するキャッシュ制御部及び大量のディスクドライブから構成される。
このような複雑なシステムにおいて、いずれかのユニットが障害を発生した場合に、その障害箇所を特定する必要がある。
図10は、従来技術の説明図である。図10に示すディスクアレイ装置110は、一対の制御ユニット112,114を備える。各制御ユニット112,114は、キャッシュマネージャ(キャッシュメモリとキャッシュ制御部)122と、これに接続されたチャネルアダプタ120及びディスクアダプタ124とを有する。
また、2つのキャッシュマネージャ122は、互いに通信可能に直接接続されている。チャネルアダプタ120は、ファイバチャネルもしくはEthernet(登録商標)によって、ホストコンピュータ100に接続される。ディスクアダプタ124は、例えば、ファイバチャネルのFCループ140,142によって、ディスクエンクロージャ内の各ディスクドライブ130−1〜130−4の各々に接続される。
即ち、第1の制御ユニット112のディスクアダプタ124は、第1のFCループ140を介し各ディスクドライブ130−1〜130−4をアクセスし、第2の制御ユニット114のディスクアダプタ124は、第2のFCループ142を介し各ディスクドライブ130−1〜130−4をアクセスする。これにより、制御ユニットと接続パスの2重化構成を実現している。
このような構成において、制御ユニット112のキャッシュマネージ122が、チャネルアダプタ120を介するホスト100からの依頼に基づいて、ディスクアダプタ124を介し、ファイバチャネル等の伝送路140を経て、ディスクドライブ130−3を、リード又はライトアクセスを実施する。
この時、ディスクドライブ130−3又はディスクアダプタ124で、エラーを検出した場合(例えば、CRC Error等)には、従来、FCループ140上のディスクドライブの障害と見なし、診断を開始する。即ち、FCループ140と、各ディスクドライブとの接断、接続を順次繰り返し、障害のあったディスクドライブを特定していた(例えば、特許文献1参照)。
特開2001−306262号公報(図2)
しかしながら、近年のストレージシステムには、冗長性の他に、いかなる部分で障害が生じても、動作を継続することが要求されている。この従来技術では、ディスクドライブ130−3が不良であるか、FCループ140の経路(ディスクアダプタ124も含む)が不良であるかを特定することが困難である。
このため、即座に、対応する処置、例えば、FCループ140が不良なら、他方のコントローラ(制御ユニット)114からFCループ142を介しディスクドライブ130−3をアクセスする等、をとることができず、動作の継続が困難となる。
従って、本発明の目的は、コントローラとディスクドライブ群とを伝送経路で接続した構成において、エラー検出時に、エラー発生箇所が、ディスクドライブ群と、伝送経路とのいずれであるかを特定するためのデータストレージシステム、データストレージ制御装置及びその障害箇所診断方法を提供することにある。
又、本発明の他の目的は、エラー検出時に、簡易に、障害箇所が、ディスクドライブ群と、伝送経路とのいずれであるかを特定するためのデータストレージシステム、データストレージ制御装置及びその障害箇所診断方法を提供することにある。
更に、本発明の更に他の目的は、エラー検出時に、障害箇所が、ディスクドライブ群と、伝送経路とのいずれかを特定し、早期に代換処理して、動作を継続するためのデータストレージシステム、データストレージ制御装置及びその障害箇所診断方法を提供することにある。
この目的の達成のため、本発明のデータストレージシステムは、データを記憶する複数のディスク記憶デバイスと、前記複数のディスク記憶デバイスに各々異なる一対の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有し、一の前記コントローラは、一の前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、他の前記コントローラに、他の前記伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼し、他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定する。
又、本発明の他のデータストレージシステムは、データを記憶する複数のディスク記憶デバイスと、前記複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有し、一の前記コントローラは、前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、前記伝送経路を介し他の前記コントローラにアクセスし、他の前記コントローラによる応答を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定する。
本発明のデータストレージ制御装置は、データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有し、一の前記コントローラは、一の前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、他の前記コントローラに、他の前記伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼し、他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定する。
又、本発明のデータストレージ制御装置は、データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラを有し、一の前記コントローラは、前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、前記伝送経路を介し他の前記コントローラにアクセスし、他の前記コントローラによる応答を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定する。
本発明の障害箇所診断方法は、データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御するストレージシステムの障害箇所診断方法であって、一のコントローラにより、一の前記伝送経路を介して、アクセスした前記ディスク記憶デバイスからの応答結果からエラーを検出し、診断処理を開始するステップと、前記一のコントローラから他のコントローラに、他の伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼するステップと、前記他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受けるステップと、前記応答結果から、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定するステップとを有する。
又、本発明の障害箇所診断方法は、データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有するデータストレージシステムの障害箇所診断方法において、一の前記コントローラは、前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出し、診断処理を開始するステップと、前記一のコントローラが、前記伝送経路を介し他の前記コントローラにアクセスし、他の前記コントローラによる応答を受けるステップと、前記応答結果から、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定するステップとを有する。
更に、本発明では、好ましくは、前記コントローラの各々は、前記アクセス制御を行う制御ユニットと、前記上位とのインターフェース制御を行う第1のインターフェース部と、前記複数のディスク記憶デバイスとのインターフェース制御を行う第2のインターフェース部とを有し、前記第2のインターフェース部が、前記伝送経路により前記複数のディスク記憶デバイスと接続する。
更に、本発明では、好ましくは、前記コントローラは、前記ディスク記憶デバイスの応答結果のエラーとして、CRCエラーを検出する。
更に、本発明では、好ましくは、前記制御ユニットは、前記第1のインターフェース部が受けた前記上位からのリードアクセスに応じて、前記第2のインターフェース部を介し、前記リードアクセスの対象ディスク記憶デバイスをアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出する。
更に、本発明では、好ましくは、前記制御ユニットは、前記第1のインターフェース部が受けた前記上位からのライトアクセスに応じて、前記第2のインターフェース部を介し、前記ライトアクセスの対象ディスク記憶デバイスをアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出する。
更に、本発明では、好ましくは、前記少なくとも一対のコントローラは、前記複数のディスク記憶デバイスに一の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する一対のコントローラと、前記複数のディスク記憶デバイスに他の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する他の一対のコントローラとを有し、前記一のコントローラは、前記一の伝送経路を介する前記ディスク記憶デバイスのアクセス結果でエラーを検出した場合に、前記他の伝送経路が異常であることを検出して、前記一の伝送経路を介する前記他のコントローラのアクセスを実行する。
本発明では、該当ディスクドライブへのアクセスにおいて、エラーを検出した場合に、その伝送経路と異なる他の伝送経路に接続されたコントローラから該当ディスクドライブにダミーアクセスする。又は、その伝送経路の他のイニシエーターに、その伝送経路を介しアクセスする。そして、その結果から、障害の被疑箇所を特定するため、障害の被疑箇所が、伝送経路か、ディスクドライブかを切り分けることができる。
又、伝送経路内のディスクドライブ又はイニシエーターにダミーアクセスして、その結果から、障害の被疑箇所を特定するため、早期に且つ簡単に、障害の被疑箇所を特定できる。このため、即座に代変え処理を実行でき、動作を継続できる。
以下、本発明の実施の形態を、データストレージシステムの構成、データストレージシステムの障害箇所診断処理の第1の実施の形態、障害箇所診断処理の第2の実施の形態、他の実施の形態の順で説明する。
**データストレージシステムの構成**
図1は、本発明の一実施の形態のデータストレージ装置の構成図である。図1は、ストレージコントローラに、2台のコントローラ(制御ユニット)を搭載した例を示す。
図1に示すように、ストレージコントローラ4は、一対のコントローラ4−1,4−2を有する。各コントローラ4−1,4−2は、キャッシュマネージャ40、チャネルアダプタ41及びディスクアダプタ42を有する。また、2つのコントローラ4−1,4−2は、互いに通信可能に直接接続されている。チャネルアダプタ41は、ファイバチャネルもしくはEthernet(登録商標)によって、ホストコンピュータ3に接続される。ディスクアダプタ42は、例えば、ファイバチャネルのFCループ2−1,2−2によって、ディスクエンクロージャ(後述する)内の各ディスクドライブ1−1〜1−4に接続される。
即ち、第1のコントローラ4−1のディスクアダプタ42は、第1のFCループ2−1を介し各ディスクドライブ1−1〜1−nをアクセスし、第2のコントローラ4−2のディスクアダプタ42は、第2のFCループ2−2を介し各ディスクドライブ1−1〜1−nをアクセスする。これにより、制御ユニットと接続パスの2重化構成を実現している。
図2は、図1のコントローラ(コントロール)モジュール4−1,4−2の構成図、図3は、図1のFCループとディスクドライブ群の構成図、図4は、図1のFCループテーブルの構成図、図5は、図1のペア情報テーブルの構成図である。
図2に示すように、コントロールモジュール4−1,4−2(以下、記号4で示す)のそれぞれは、キャッシュマネージャ40と、チャネルアダプタ(第1インターフェース部;以下、CAという)41と、ディスクアダプタ(第2インターフェース部;以下、DAという)42a,42bと、DMA(Direct Memory Access)エンジン(通信部;以下、DMAという)43とを有する。
キャッシュマネージャ40は、ホストコンピュータ3からの処理要求(リード要求もしくはライト要求)に基づいて、リード/ライト処理を行なうものであり、メモリ410と処理ユニット400と、メモリコントローラ420とを備える。
メモリ410は、図3で説明するディスクエンクロージャ20、22の複数のディスクドライブに保持されたデータの一部を保持する、所謂、複数のディスクに対するキャッシュの役割を果たすキャッシュ領域412と、FCループテーブル414と、その他のワーク領域416とを有する。
処理ユニット400は、メモリ410,チャネルアダプタ41、デバイスアダプタ42、DMA43の制御を行う。このため、1つ又は複数(図では、1つ)のCPU400と、メモリコントローラ420とを有する。メモリコントローラ420は、メモリ410のリード/ライトを制御し、且つパスの切り替えを行う。
メモリコントローラ420は、メモリバス432を介しメモリ410と接続し、CPUバス430を介しCPU400と接続し、更に、メモリコントローラ420は、4レーンの高速シリアルバス(例えば、PCI−Express)440を介しディスクアダプタ42に接続する。
同様に、メモリコントローラ420は、4レーンの高速シリアルバス(例えば、PCI−Express)443,444,445,446を介しチャネルアダプタ41(ここでは、4つのチャネルアダプタ41a,41b、41c,41d)に接続し、4レーンの高速シリアルバス(例えば、PCI−Express)448を介しDMA43に接続する。
このPCI−Expess等の高速シリアルバスは、パケットで通信し、且つシリアルバスを複数レーン設けることにより、信号線本線を減らしても、遅延の少ない、速い応答速度で、所謂、低レンテンシで通信することができる。
チャネルアダプタ41a〜41dは、ホストコンピュータに対するインターフェースであり、チャネルアダプタ41a〜41dは、それぞれ異なるホストコンピュータと接続される。また、チャネルアダプタ41a〜41dは、それぞれ対応するホストコンピュータのインターフェース部に、バス、例えば、ファイバチャネル(Fiber Channel)やEthernet(登録商標)によって接続されることが好ましく、この場合、バスとしては、光ファイバや同軸ケーブルが用いられる。
さらに、これらチャネルアダプタ41a〜41dそれぞれは、各コントロールモジュール4の一部として構成されている。このチャネルアダプタ41a〜41dが、対応するホストコンピュータとキャッシュマネージャ40とのインターフェース部として、複数のプロトコルをサポートする。
又、対応するホストコンピュータによって実装すべきプロトコルが同一ではないため、各チャネルアダプタ41a〜41dを必要に応じて容易に交換できるように、キャッシュマネージャ40とは、別のプリント基板に実装されている。
例えば、チャネルアダプタ41a〜41dがサポートすべきホストコンピュータとの間のプロトコルとしては、上述のように、ファイバチャネルや、Ethernet(登録商標)に対応するiSCSI(Internet Small Computer System Interface)等がある。
更に、各チャネルアダプタ41a〜41dは、前述のように、PCI−Expressバスのように,LSI(Large Scale Integration)やプリント基板の間を接続するために設計されたバス443〜446によって、キャッシュマネージャ40と直接結合される。これにより、各チャネルアダプタ41a〜41dとコントローラ40と間に要求される高いスループットを実現することができる。
次に、ディスクアダプタ42は、ディスクエンクロージャの各ディスクドライブに対するインターフェースであり、ここでは、4つのFC(Fiber Channel)ポートを有する。
又、ディスクアダプタ42は、前述のように、PCI−Expressバスのように,LSI(Large Scale Integration)やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ40と直接結合されている。これにより、ディスクアダプタ42とキャッシュマネージャ40と間に要求される高いスループットを実現することができる。
図2に示すように、DMAエンジン43は、各キャッシュマネージャ40間で相互に通信を行うものであり、例えば、ミラーリング処理に使用される。
図3により、伝送経路及びディスクドライブ群を説明する。図3では、4つのFCポートを有するディスクアダプタ42を、2分割して示す。図3に示すように、ディスクエンクロージャ10は、一対のファイバーチャネルアッセンブリ20,22と、複数の磁気ディスク装置(ディスクドライブ)1−1〜1−nを有する。
複数の磁気ディスク装置1−1〜1−nの各々は、一対のファイバーチャネルループ12,14に、ファイバースイッチ26により接続される。ファイバーチャネルループ12は、ファイバーチャネルコネクタ24とファイバーケーブル2−2により、コントローラのデバイスアダプタ42に接続され、ファイバーチャネルループ14は、ファイバーチャネルコネクタ24とファイバーケーブル2−1により、コントローラの他方のデバイスアダプタ42に接続される。
前述のように、両ディスクアダプタ42は、キャッシュマネージャ40に接続されるため、キャッシュマネージャ40は、各磁気ディスク装置1−1〜1−nに、ディスクアダプタ42、ファイバーチャネルループ12を介する一方のルート(aルート)と、ディスクアダプタ42、ファイバーチャネルループ14を介する他方のルート(bルート)との両方からアクセスできる。
両ファイバーチャネルアッセンブリ20,22には、切り離し制御部28が設けられている。一方の切り離し制御部28は、ファイバーチャネルループ12の各ファイバースイッチ26の切り離し(バイパス)制御を行い、他方の切り離し制御部28は、ファイバーチャネルループ14の各ファイバースイッチ26の切り離し(バイパス)制御を行う。
例えば、図3に示すように、磁気ディスク装置1−2のファイバーチャネルループ14側のaポートがアクセス不能である時には、切り離し制御部28は、磁気ディスク装置1−2のaポート側のファイバースイッチ26を、図3に示すように、バイパス状態に切り替え、磁気ディスク装置1−2を、ファイバーチャネルループ14から切り離す。これにより、ファイバーチャネルループ14は、正常に機能し、磁気ディスク装置1−2は、ファイバーチャネルループ12側のbポートからアクセスすることができる。
各磁気ディスク装置1−1〜1−nは、aポート、bポートと各々接続するための一対のFC(Fiber Chanel)チップと、制御回路と、ディスクドライブ機構とを有する。このFCチップは、CRCチエック機能を有する。
ここで、図1のディスクドライブ1−1〜1−4が、図3の磁気ディスク装置1−1〜1−nに対応し、伝送経路2−1,2−2が、ファイバーケーブル2−1,2−2と、ファイバーチャネルアッセンブリ20,22に対応する。
図4に示すように、ファイバーチャネルループテーブル414は、各ファイバチャネル経路2−1,2−2のマップテーブル414−1〜414−mを有する。各マップテーブル414−1〜414−mは、そのファイバーチャネルループに接続された磁気ディスク装置のWWN(World Wide Name)と、磁気ディスク装置が収容されたディスクエンクロージャ10のID番号と、ディスクエンクロージャ10内の磁気ディスク装置の収容位置を示すスロット番号と、ファイバーチャネルループのID番号とを格納する。
図5は、メモリ410に作成されるペア情報テーブル416の構成図であり、ペアとなるコントローラの番号と、ペアとなるポート(ここでは、ペアループ)の状態を収容する。
**第1の実施の形態**
次に、図1を参照して、障害箇所診断処理の第1の実施の形態を説明する。先ず、第1のコントローラ4−1が、ホスト3からの依頼に基づいて、ディスクアダプタ42を介し、ファイバチャネル等の伝送路4−1を経て、ディスクドライブ1−3を、リード又はライトアクセスを実施する。
第1のコントローラ4−1が、エラーを検出した事をトリガーに、診断を開始し、第2のコントローラ4−2から、ディスクアダプタ42を介しペア側の経路2−2から、当該ディスクドライブ1−3に対して、ダミーのアクセス(リードなら、ディスクリードアクセス)を行う。
第2のコントローラ4−2は、その応答結果を、第1のコントローラ4−1に通知する。第1のコントローラ4−1は、応答結果から、CRCエラーが検出されない場合で、正常にリードアクセスが終了した場合には、コントローラ4−1の一部(例えば、ディスクアダプタ42)及びFCループ2−1の経路の故障と判定する。即ち、ディスクドライブ1−3は、正常である。
一方、第1のコントローラ4−1は、該当ディスクドライブ1−3のCRCエラーを検出した場合には、該当ディスクドライブ1−3の故障と特定する。コントローラ4−1の一部(例えば、ディスクアダプタ42)及びFCループ2−1の経路は、正常と判定する。
図1を用いて、この診断処理を説明する。
(1)ホスト3が、第1のコントローラ4−1のチャネルアダプタ41を介しキャッシュマネージャ40にディスクアクセスを要求する。
(2)キャッシュマネージャ40のバックエンド処理50は、デバイスアダプタ42、FCループ2−1を介しディスクドライブ1−3に対して、ディスクアクセスを実施する。
(3)このディスクアクセスにおいて、エラーが検出される。例えば、ディスクドライブ1−3又はディスクアダプタ42が、CRCエラーを検出する。
(4)キャッシュマネージャ40のバックエンド処理50は、ディスク情報が格納されているテーブル414を確認し、該当ディスクドライブ1−3が接続された他のFCループ2−2の状態と、そのコントローラ4−2の情報を取り出す。
(5)第1のコントローラ4−1のキャッシュマネージャ40は、第2のコントローラ4−2にダミーアクセスを依頼する。第2のコントローラ4−2のキャッシュマネージャ40のバックエンド処理50は、デバイスアダプタ42、他のFCループ2−2を介しディスクドライブ1−3に対して、ダミーアクセス(Read)を実施する。
(6)第2のコントローラ4−2は、ディスクドライブ1−3からのFCループ2−2、ディスクアダプタ42を介する応答結果を受け、これの応答結果を、第1のコントローラ4−1のキャッシュマネージャ40に通知する。キャッシュマネージャ40は、前述のCRCエラーの有無判定により、被疑個所を特定する。
このように、コントローラ4−1は、該当ディスクドライブへのアクセスにおいて、エラーを検出した場合に、その伝送経路と異なる伝送経路から、該当ディスクドライブにダミーアクセスして、その結果から、障害の被疑箇所を特定するため、障害の被疑箇所が、伝送経路か、ディスクドライブかを切り分けることができる。
又、他の伝送経路から、ディスクドライブにダミーアクセスして、その結果から、障害の被疑箇所を特定するため、早期に且つ簡単に、障害の被疑箇所を特定できる。このため、即座に代変え処理を実行でき、動作を継続できる。
例えば、コントローラ4−1の一部(例えば、ディスクアダプタ42)及びFCループ2−1の経路の故障と判定すると、他のディスクアダプタ42やFCループ2−2を使用して、ディスクドライブ1−3へアクセスする。又は、ディスクドライブ1−3が、障害と判定すると、RAID構成なら、他のディスクドライブの冗長データにアクセスする。
次に、図1乃至図5のデータストレージシステムの障害箇所診断処理を、リードアクセスを例に説明する。図6は、本発明の一実施の形態の障害箇所診断処理フロー図である。
(S10)キャッシュマネージャ40は、ホストコンピュータから対応するチャネルアダプタ41a〜41dを介してリード要求を受け取った場合、当該リード要求の対象データをキャッシュメモリ410が保持していれば、キャッシュメモリ410に保持された当該対象データを、チャネルアダプタ41a〜41dを介してホストコンピュータに送る。
(S12)一方、当該対象データがキャッシュメモリ410に保持されていなければ、キャッシュマネージャ40のCPU400は、当該対象データを保持しているディスクドライブ(図1の例では、1−3)に対し、ディスクアダプタ42、FCケーブル2−1、FCチャネルアッセンブリー22を介し、ディスクアクセス(リードアクセス)を指示する。例えば、CPU400は、ディスクアダプタ42に対し、DMA転送を指示する。即ち、キャッシュマネージャ40のCPU400は、メモリ410のディスクリプタ領域に、FCヘッダとディスクリプタを作成する。ディスクリプタは、データ転送回路に対して、データ転送を要求する命令であり、FCヘッダのメモリ上のアドレス、転送を受けるデータのキャッシュ領域412上でのアドレスとデータバイト数、データ転送対象のディスクの論理アドレスを含む。そして、CPU400は、ディスクアダプタ42のデータ転送回路を起動する。ディスクアダプタ42内の起動されたデータ転送回路は、メモリ410からディスクリプタを読み出す。ディスクアダプタ42の起動されたデータ転送回路は、メモリ410からFCヘッダとディスクリプタを読み出し、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、FCヘッダを、ファイバチャネル2−1を介し、ファイバチャネルアッセンブリー22により、対象ディスクドライブ1−3に転送する。
(S14)ディスクドライブ1−3は、ディスクから要求された対象データを読み出し、ファイバーループ14、ファイバケーブル2−1を介し、ディスクアダプタ42のデータ転送回路に送信する。ディスクアダプタ42では、送信された対象データのCRCをチエックし、ディスクアクセスエラーか(CRCチエックでエラー検出したか)を判定する。
ディスクアクセスエラーを検出しないと、ディスクアダプタ42の起動されたデータ転送回路は、ディスクアダプタ42のメモリからリードデータを読み出し、メモリ410のキャッシュ領域414に格納する。データ転送回路は、リード転送が完了すると、キャッシュマネージャ40に、割り込みによる完了通知を行う。次に、キャッシュマネージャ40は、チャネルアダプタ41のDMA転送回路を起動し、キャッシュ領域414のリードデータをDMA転送で、読み出し、要求のあったホスト3へ転送する。
(S16)逆に、ディスクアダプタ42は、CRCチエックエラーを検出すると、キャッシュマネージャ40は、障害箇所の診断処理を実行する。即ち、キャッシュマネージャ40は、図4のFCループテーブル414を参照し、該当ディスクドライブ1−3が存在するFCループ2−1と、該当ディスクドライブ1−3の情報(WWN)を取り出す。
次に、CPU400は、メモリ410のペアポート情報テーブル416(図5参照)を参照して、ペアCMと、ペアポート(ペアFCループ)の状態を確認する。CPU400は、ペアCMとペアポートの状態から、ペアポートが使用可能かを判定する。CPU400は、ペアポートが使用可能でない場合には、異常を通知し、終了する。
一方、CPU400は、ペアポートが正常と判定すると、ペアCM(ここでは、コントローラ4−2のCPU400)に、該当ディスクドライブ1−3のダミーアクセスを依頼する。依頼されたコントローラ4−2は、ディスクアダプタ42を介し、第2のFCループ2−2から、ディスクドライブ1−3に対して、ダミーアクセス(Read)を実施する。このリードアクセスは、ステップS12と同様のアクセスである。
(S18)ディスクドライブ1−3は、要求された対象データを読み出し、ファイバーループ12、ファイバーケーブル2−2を介し、ディスクアダプタ42のデータ転送回路に送信する。ディスクアダプタ42では、各ディスクドライブから送信された対象データのCRCをチエックし、ディスクアクセスエラーか(CRCチエックでエラー検出したか)を判定する。そして、コントローラ4−2は、コントローラ4−1のCPU400に判定結果を通知する。
コントローラ4−1のCPU400は、判定結果から被疑箇所を判定する。即ち、CPU400は、ディスクドライブ1−3の応答結果が、アクセス失敗(例えば、CRCエラー検出)であると、被疑個所は、そのディスクドライブ1−3と特定する。一方、CPU400は、ディスクドライブ1−3の応答結果が、アクセス成功(例えば、CRCエラー検出無し)であると、被疑個所は、コントローラ4−1のディスクアダプタ42又は伝送経路(ファイバーケーブル2−1、ファイバーチャネルアッセンブリ22)と特定する。
このようにして、該当ディスクドライブへのアクセスにおいて、エラーを検出した場合に、他のペア伝送経路からディスクドライブにダミーアクセスして、その結果から、障害の被疑箇所を特定するため、障害の被疑箇所が、伝送経路か、ディスクドライブかを切り分けることができる。
又、他の正常な伝送経路から、ディスクドライブにダミーアクセスして、その結果から、障害の被疑箇所を特定するため、早期に且つ簡単に、障害の被疑箇所を特定できる。このため、即座に代変え処理を実行でき、動作を継続できる。
次に、ライトアクセスも同様である。この場合に、コントローラ40が、ディスクアダプタ42を介し対象ディスクドライブ1−3に、ライトアクセスを行い、対象ディスクドライブ1−3が、CRCエラーを検出して、ディスクアダプタ42に、CRCエラー応答を通知する。これにより、被疑箇所の診断が開始し、リードアクセスと同様に、他のペア伝送経路からディスクドライブにダミーライトアクセスして、そのライト応答結果から、障害の被疑箇所を特定する。
例えば、伝送経路の障害としては、ディスクアダプタ42のFCチップの発光部、受光部の異常、FCケーブル2−1の異常、ファイバーチャネルアッセンブリ22の異常等である。一方、ディスクドライブ1−3の異常としては、ディスクドライブ1−3の接続不良、FCチップの異常等である。
**第2の実施の形態**
図7は、本発明の第2の実施の形態のストレージシステムの構成図である。図7において、図1乃至図3で示したものと同一のものは、同一の記号で示してある。図7において、ストレージコントローラ4は、一対のペアコントローラが、一対設けられている。即ち、各々異なるFCループ2−1,2−2の一端に接続する一対のコントローラ4−1,4−2と、各々異なるFCループ2−1,2−2の他端に接続する一対のコントローラ4−3,4−4とで、ストレージコントローラ4を構成する。
各コントローラ4−1,4−2,4−3,4−4は、キャッシュマネージャ40、チャネルアダプタ41及びディスクアダプタ42を有する。また、4つのコントローラ4−1,4−2,4−3,4−4は、互いに通信可能に直接接続されている。チャネルアダプタ41は、ファイバチャネルもしくはEthernet(登録商標)によって、ホストコンピュータ3に接続される。
第1のコントローラ4−1と第3のコントローラ4−3とのディスクアダプタ42は、第1のFCループ2−1を介し各ディスクドライブ1−1〜1−nをアクセスし、第2のコントローラ4−2と第4のコントローラ4−4とのディスクアダプタ42は、第2のFCループ2−2を介し各ディスクドライブ1−1〜1−nをアクセスする。これにより、制御ユニットと接続パスの2重化構成を実現するとともに、1接続パスに2重アクセスを実現している。即ち、パスに対するマルチイニシエーター構成を採用している。
次に、図7を参照して、障害箇所診断処理の第2の実施の形態を説明する。
(1)ホスト3が、第1のコントローラ4−1のチャネルアダプタ41を介しキャッシュマネージャ40にディスクアクセスを要求する。
(2)キャッシュマネージャ40のバックエンド処理50は、デバイスアダプタ42、FCループ2−1を介しディスクドライブ1−3に対して、ディスクアクセスを実施する。
(3)このディスクアクセスにおいて、エラーが検出される。例えば、ディスクドライブ1−3又はディスクアダプタ42が、CRCエラーを検出する。
(4)キャッシュマネージャ40のバックエンド処理50は、構成情報が格納されている構成テーブル418(図9で後述する)を確認し、該当ディスクドライブ1−3が接続された他のFCループ2−2の状態と、アクセスしたFCループ2−1のペアポートの状態、そのペアポートのコントローラ4−3の情報を取り出す。
(5)第1のコントローラ4−1のキャッシュマネージャ40は、他のFCループ2−2が正常でなく、ペアポートの状態が正常である場合には、第3のコントローラ4−3にパトロールコマンドを、発行する。即ち、第1のコントローラ4−1のキャッシュマネージャ40のバックエンド処理50は、デバイスアダプタ42、FCループ2−1を介し第3のコントローラ4−3のディスクアダプタ42に、第3のコントローラ4−3のキャッシュマネージャ40のメモリ410のデータをリードするパトロールコマンドを発行する。
(6)これにより、第3のコントローラ4−3は、メモリ410のデータを、ディスクアダプタ42からFCループ2−1を介し、第1のコントローラ4−1のディスクアダプタ42に送信する。第1のコントローラ4−1のディスクアダプタ42は、受け取ったリードデータのCRCチエックを実行する。第1のコントローラ4−1のキャッシュマネージャ40は、前述のCRCエラーの有無判定により、被疑個所を特定する。
即ち、CRCエラーが検出されない場合で、正常にリードアクセスが終了した場合には、コントローラ4−1の一部(例えば、ディスクアダプタ42)及びFCループ2−1の経路は、正常と判定する。即ち、ディスクドライブ1−3は、故障である。
一方、第1のコントローラ4−1は、CRCエラーを検出した場合には、該当ディスクドライブ1−3は正常と判定する。即ち、コントローラ4−1の一部(例えば、ディスクアダプタ42)及びFCループ2−1の経路は、故障と判定する。
このように、マルチイニシエーター構成においては、コントローラ4−1は、該当ディスクドライブへのアクセスにおいて、エラーを検出した場合に、その伝送経路から、ペアポートのコントローラ4−3に、パトロールコマンドを発行し、その結果から、障害の被疑箇所を特定するため、障害の被疑箇所が、伝送経路か、ディスクドライブかを切り分けることができる。
又、同一伝送経路から、ペアポートのコントローラにダミーアクセスして、その結果から、障害の被疑箇所を特定するため、他の伝送経路が異常であっても、早期に且つ簡単に、障害の被疑箇所を特定できる。このため、即座に代変え処理を実行でき、動作を継続できる。
次に、図7のデータストレージシステムの障害箇所診断処理を、リードアクセスを例に説明する。図8は、本発明の第2の実施の形態の障害箇所診断処理フロー図、図9は、図7の構成テーブルの説明図である。
(S20)キャッシュマネージャ40は、ホストコンピュータから対応するチャネルアダプタ41a〜41dを介してリード要求を受け取った場合、当該リード要求の対象データをキャッシュメモリ410が保持していれば、キャッシュメモリ410に保持された当該対象データを、チャネルアダプタ41a〜41dを介してホストコンピュータに送る。
(S22)一方、当該対象データがキャッシュメモリ410に保持されていなければ、キャッシュマネージャ40のCPU400は、当該対象データを保持しているディスクドライブ(図7の例では、1−3)に対し、ディスクアダプタ42、FCケーブル2−1、FCチャネルアッセンブリー22を介し、ディスクアクセス(リードアクセス)を指示する。
例えば、CPU400は、ディスクアダプタ42に対し、DMA転送を指示する。即ち、キャッシュマネージャ40のCPU400は、メモリ410のディスクリプタ領域に、FCヘッダとディスクリプタを作成する。ディスクリプタは、データ転送回路に対して、データ転送を要求する命令であり、FCヘッダのメモリ上のアドレス、転送を受けるデータのキャッシュ領域412上でのアドレスとデータバイト数、データ転送対象のディスクの論理アドレスを含む。そして、CPU400は、ディスクアダプタ42のデータ転送回路を起動する。
ディスクアダプタ42内の起動されたデータ転送回路は、メモリ410からディスクリプタを読み出す。ディスクアダプタ42の起動されたデータ転送回路は、メモリ410からFCヘッダとディスクリプタを読み出し、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、FCヘッダを、ファイバーチャネル2−1を介し、ファイバーチャネルアッセンブリー22により、対象ディスクドライブ1−3に転送する。
(S24)ディスクドライブ1−3は、ディスクから要求された対象データを読み出し、ファイバーループ14、ファイバーケーブル2−1を介し、ディスクアダプタ42のデータ転送回路に送信する。ディスクアダプタ42では、送信された対象データのCRCをチエックし、ディスクアクセスエラーか(CRCチエックでエラー検出したか)を判定する。
ディスクアクセスエラーを検出しないと、ディスクアダプタ42の起動されたデータ転送回路は、ディスクアダプタ42のメモリからリードデータを読み出し、メモリ410のキャッシュ領域414に格納する。データ転送回路は、リード転送が完了すると、キャッシュマネージャ40に、割り込みによる完了通知を行う。次に、キャッシュマネージャ40は、チャネルアダプタ41のDMA転送回路を起動し、キャッシュ領域414のリードデータをDMA転送で、読み出し、要求のあったホスト3へ転送する。
(S26)逆に、ディスクアダプタ42は、CRCチエックエラーを検出すると、キャッシュマネージャ40は、障害箇所の診断処理を実行する。即ち、キャッシュマネージャ40は、図9の構成テーブル418を参照する。図9の構成テーブル418は、マルチイニシエーター構成であるか否かの情報と、FCループ2−1,2−2の状態と、FCポートのペアポートの状態と、ペアのイニシエーターCM番号とを格納する。
キャッシュマネージャ40は、FCループの状態を調べる。ここでは、図7で説明したように、FCループ2−2(2)が異常であることを示しているから、第2のコントローラ4−2による、第1の実施の形態の障害箇所診断処理ができない。このため、キャッシュマネージャ40は、診断前に、正常とされているFCループ2−1(2)を使用して、障害箇所診断処理を実行する。
キャッシュマネージャ40は、マルチイニシエーター構成かを調べ、マルチイニシエーター構成であると、該当ディスクドライブ1−3が接続されたペアポートのコントローラ4−3の状態を調べる。
第1のコントローラ4−1のキャッシュマネージャ40は、他のFCループ2−2が正常でなく、ペアポートの状態が正常である場合には、第1のコントローラ4−1のキャッシュマネージャ40のバックエンド処理50は、デバイスアダプタ42、FCループ2−1を介し第3のコントローラ4−3のディスクアダプタ42に、第3のコントローラ4−3のキャッシュマネージャ40のメモリ410のデータをリードするパトロールコマンドを発行する。
(S28)これにより、第3のコントローラ4−3は、メモリ410のデータを、ディスクアダプタ42からFCループ2−1を介し、第1のコントローラ4−1のディスクアダプタ42に送信する。第1のコントローラ4−1のディスクアダプタ42は、受け取ったリードデータのCRCチエックを実行する。第1のコントローラ4−1のキャッシュマネージャ40は、前述のCRCエラーの有無判定により、被疑個所を特定する。
即ち、キャッシュマネージャ40のCPU400は、ペアポート(ペアCM)4−3からの応答結果が、アクセス失敗(例えば、CRCエラー検出)であると、被疑個所は、コントローラ4−1のディスクアダプタ42又は伝送経路(ファイバーケーブル2−1、ファイバーチャネルアッセンブリ22)と特定する。一方、CPU400は、ペアポート(ペアCM)4−3からの応答結果が、アクセス成功(例えば、CRCエラー検出無し)であると、被疑個所は、ディスクドライブ1−3と特定する。
このようにして、該当ディスクドライブへのアクセスにおいて、エラーを検出した場合に、その伝送経路からペアイニシエーターにアクセスして、その結果から、障害の被疑箇所を特定するため、障害の被疑箇所が、伝送経路か、ディスクドライブかを切り分けることができる。
又、その伝送経路から、ペアイニシエーターにアクセスして、その結果から、障害の被疑箇所を特定するため、他の伝送経路が異常であっても、早期に且つ簡単に、障害の被疑箇所を特定できる。このため、即座に代変え処理を実行でき、動作を継続できる。
次に、ライトアクセスも同様である。この場合に、コントローラ40が、ディスクアダプタ42を介し対象ディスクドライブ1−3に、ライトアクセスを行い、対象ディスクドライブ1−3が、CRCエラーを検出して、ディスクアダプタ42に、CRCエラー応答を通知する。これにより、被疑箇所の診断が開始し、リードアクセスと同様に、当該伝送経路からペアイニシエーター4−3にダミーライトアクセスして、そのライト応答結果から、障害の被疑箇所を特定する。
例えば、伝送経路の障害としては、ディスクアダプタ42のFCチップの発光部、受光部の異常、FCケーブル2−1の異常、ファイバーチャネルアッセンブリ22の異常等である。一方、ディスクドライブ1−3の異常としては、ディスクドライブ1−3の接続不良、FCチップの異常等である。
**他の実施の形態**
前述の実施の形態では、アクセスの応答エラーを、CRCエラーで説明したが、他の応答エラー、例えば、一定時間応答なし、受信エラー等であっても良い。又、コントロールモジュール内のチャネルアダプタやディスクアダプタの数は、必要に応じて、増減できる。同様に、第1の実施の形態では、2台のコントローラ4−1,4−2で説明したが、2台以上のコントローラ構成にも適用できる。しかも、第2の実施の形態を、第1の実施の形態で診断できない場合に実施する例で説明したが、第1の実施の形態の診断処理の可否判断を省き、単独で実施するようにしても良い。
更に、ディスクドライブとしては、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブ等の記憶デバイスを適用できる。しかも、ストレージシステムやコントローラ(制御モジュール)の構成は、図1、図2、図3、図7の構成のみならず、他の構成にも適用できる。
以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。
(付記1)データを記憶する複数のディスク記憶デバイスと、前記複数のディスク記憶デバイスに各々異なる一対の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有し、一の前記コントローラは、一の前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、他の前記コントローラに、他の前記伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼し、他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定することを特徴とするデータストレージシステム。
(付記2)前記コントローラの各々は、前記アクセス制御を行う制御ユニットと、前記上位とのインターフェース制御を行う第1のインターフェース部と、前記複数のディスク記憶デバイスとのインターフェース制御を行う第2のインターフェース部とを有し、前記第2のインターフェース部が、前記伝送経路により前記複数のディスク記憶デバイスと接続することを特徴とする付記1のデータストレージシステム。
(付記3)前記コントローラは、前記ディスク記憶デバイスの応答結果のエラーとして、CRCエラーを検出することを特徴とする付記1のデータストレージシステム。
(付記4)前記制御ユニットは、前記第1のインターフェース部が受けた前記上位からのリードアクセスに応じて、前記第2のインターフェース部を介し、前記リードアクセスの対象ディスク記憶デバイスをアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出することを特徴とする付記2のデータストレージシステム。
(付記5)前記制御ユニットは、前記第1のインターフェース部が受けた前記上位からのライトアクセスに応じて、前記第2のインターフェース部を介し、前記ライトアクセスの対象ディスク記憶デバイスをアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出することを特徴とする付記2のデータストレージシステム。
(付記6)データを記憶する複数のディスク記憶デバイスと、前記複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有し、一の前記コントローラは、前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、前記伝送経路を介し他の前記コントローラにアクセスし、他の前記コントローラによる応答を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定することを特徴とするデータストレージシステム。
(付記7)前記少なくとも一対のコントローラは、前記複数のディスク記憶デバイスに一の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する一対のコントローラと、前記複数のディスク記憶デバイスに他の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する他の一対のコントローラとを有し、前記一のコントローラは、前記一の伝送経路を介する前記ディスク記憶デバイスのアクセス結果でエラーを検出した場合に、前記他の伝送経路が異常であることを検出して、前記一の伝送経路を介する前記他のコントローラのアクセスを実行することを特徴とする付記6のデータストレージシステム。
(付記8)データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラを有し、一の前記コントローラは、一の前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、他の前記コントローラに、他の前記伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼し、他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定することを特徴とするデータストレージ制御装置。
(付記9)前記コントローラの各々は、前記アクセス制御を行う制御ユニットと、前記上位とのインターフェース制御を行う第1のインターフェース部と、前記複数のディスク記憶デバイスとのインターフェース制御を行う第2のインターフェース部とを有し、前記第2のインターフェース部が、前記伝送経路により前記複数のディスク記憶デバイスと接続することを特徴とする付記8のデータストレージ制御装置。
(付記10)前記コントローラは、前記ディスク記憶デバイスの応答結果のエラーとして、CRCエラーを検出することを特徴とする付記8のデータストレージ制御装置。
(付記11)前記制御ユニットは、前記第1のインターフェース部が受けた前記上位からのリードアクセスに応じて、前記第2のインターフェース部を介し、前記リードアクセスの対象ディスク記憶デバイスをアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出することを特徴とする付記9のデータストレージ制御装置。
(付記12)前記制御ユニットは、前記第1のインターフェース部が受けた前記上位からのライトアクセスに応じて、前記第2のインターフェース部を介し、前記ライトアクセスの対象ディスク記憶デバイスをアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出することを特徴とする付記9のデータストレージ制御装置。
(付記13)データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラを有し、一の前記コントローラは、前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、前記伝送経路を介し他の前記コントローラにアクセスし、他の前記コントローラによる応答を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定することを特徴とするデータストレージ制御装置。
(付記14)前記少なくとも一対のコントローラは、前記複数のディスク記憶デバイスに一の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する一対のコントローラと、前記複数のディスク記憶デバイスに他の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する他の一対のコントローラとを有し、前記一のコントローラは、前記一の伝送経路を介する前記ディスク記憶デバイスのアクセス結果でエラーを検出した場合に、前記他の伝送経路が異常であることを検出して、前記一の伝送経路を介する前記他のコントローラのアクセスを実行することを特徴とする付記13のデータストレージ制御装置。
(付記15)データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御するストレージシステムの障害箇所診断方法において、一のコントローラにより、一の前記伝送経路を介して、アクセスした前記ディスク記憶デバイスからの応答結果からエラーを検出し、診断処理を開始するステップと、前記一のコントローラから他のコントローラに、他の伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼するステップと、前記他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受けるステップと、前記応答結果から、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定するステップとを有することを特徴とするデータストレージシステムの障害箇所診断方法。
(付記16)前記特定ステップは、前記ディスク記憶デバイスの応答結果のエラーとして、CRCエラーを検出するステップを有することを特徴とする付記15のデータストレージシステムの障害箇所診断方法。
(付記17)前記エラー検出ステップは、前記上位からのリードアクセスに応じて、前記一の伝送経路を介し、前記リードアクセスの対象ディスク記憶デバイスをアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出するステップからなることを特徴とする付記15のデータストレージシステムの障害箇所診断方法。
(付記18)前記エラー検出ステップは、前記上位からのライトアクセスに応じて、前記一の伝送経路を介し、前記ライトアクセスの対象ディスク記憶デバイスをアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出するステップからなることを特徴とする付記15のデータストレージシステムの障害箇所診断方法。
(付記19)データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有するデータストレージシステムの障害箇所診断方法において、一の前記コントローラは、前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出し、診断処理を開始するステップと、前記一のコントローラが、前記伝送経路を介し他の前記コントローラにアクセスし、他の前記コントローラによる応答を受けるステップと、前記応答結果から、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定するステップとを有することを特徴とするデータストレージシステムの障害箇所診断方法。
(付記20)前記診断処理開始ステップは、前記複数のディスク記憶デバイスに一の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する一対のコントローラと、前記複数のディスク記憶デバイスに他の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する他の一対のコントローラとで構成されたデータストレージシステムにおける、前記一の伝送経路を介する前記ディスク記憶デバイスのアクセス結果でエラーを検出した場合に、前記他の伝送経路が異常であることを検出して、前記一の伝送経路を介する前記他のコントローラのアクセスを開始するステップであることを特徴とする付記19のデータストレージシステムの障害箇所診断方法。
該当ディスクドライブへのアクセスにおいて、エラーを検出した場合に、その伝送経路と異なる他の伝送経路に接続されたコントローラから該当ディスクドライブにダミーアクセスする。又は、その伝送経路の他のイニシエーターに、その伝送経路を介しアクセスする。そして、その結果から、障害の被疑箇所を特定するため、障害の被疑箇所が、伝送経路か、ディスクドライブかを切り分けることができる。
又、伝送経路内のディスクドライブ又はイニシエーターにダミーアクセスして、その結果から、障害の被疑箇所を特定するため、早期に且つ簡単に、障害の被疑箇所を特定できる。このため、即座に代変え処理を実行でき、動作を継続できる。
本発明の一実施の形態のデータストレージシステムの構成図である。 図1のコントローラの構成図である。 図1の伝送経路とディスクエンクロージャの構成図である。 図1及び図2のFCループテーブルの構成図である。 図1及び図2のペア情報テーブルの説明図である。 本発明の一実施の形態の障害箇所診断処理フロー図である。 本発明の他の実施の形態のデータストレージシステムの構成図である。 本発明の他の実施の形態の障害箇所診断処理フロー図である。 図7及び図8の構成情報テーブルの説明図である。 従来のストレージシステムの構成図である。
符号の説明
1−1,1−2,1−3,1−4,1−n ディスクドライブ
2−1、2−2 FCループ
3 ホスト
4 ストレージ制御装置
4−1、4−2、4−3、4−4 コントローラ
40 キャッシュマネージャ(制御ユニット)
400 CPU
410 メモリ
41 チャネルアダプタ
42 デバイスアダプタ
43 通信ユニット(DMAエンジン)

Claims (5)

  1. データを記憶する複数のディスク記憶デバイスと、
    前記複数のディスク記憶デバイスに各々異なる一対の伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有し、
    一の前記コントローラは、
    一の前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、
    他の前記コントローラに、他の前記伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼し、他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定する
    ことを特徴とするデータストレージシステム。
  2. データを記憶する複数のディスク記憶デバイスと、
    前記複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有し、
    一の前記コントローラは、
    前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、
    前記伝送経路を介し他の前記コントローラにアクセスし、他の前記コントローラによる応答を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定する
    ことを特徴とするデータストレージシステム。
  3. データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラとを有し、
    一の前記コントローラは、
    一の前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出したことに応じて、診断処理を開始し、
    他の前記コントローラに、他の前記伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼し、他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受け、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定する
    ことを特徴とするデータストレージ制御装置。
  4. データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御するストレージシステムの障害箇所診断方法において、
    一のコントローラにより、一の前記伝送経路を介して、アクセスした前記ディスク記憶デバイスからの応答結果からエラーを検出し、診断処理を開始するステップと、
    前記一のコントローラから他のコントローラに、他の伝送経路を介する前記アクセスしたディスク記憶デバイスのアクセスを依頼するステップと、
    前記他の前記コントローラによる前記ディスク記憶デバイスの応答結果を受けるステップと、前記応答結果から、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定するステップとを有する
    ことを特徴とするデータストレージシステムの障害箇所診断方法。
  5. データを記憶する複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する少なくとも一対のコントローラを有するデータストレージシステムの障害箇所診断方法において、
    一の前記コントローラは、前記伝送経路を介し、前記ディスク記憶デバイスにアクセスして、前記ディスク記憶デバイスからの応答結果からエラーを検出し、診断処理を開始するステップと、
    前記一のコントローラが、前記伝送経路を介し他の前記コントローラにアクセスし、他の前記コントローラによる応答を受けるステップと、
    前記応答結果から、被疑箇所が、前記ディスク記憶デバイス又は前記伝送経路のいずれかであることを特定するステップとを有する
    ことを特徴とするデータストレージシステムの障害箇所診断方法。
JP2006021750A 2006-01-31 2006-01-31 データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。 Pending JP2007206766A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006021750A JP2007206766A (ja) 2006-01-31 2006-01-31 データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。
US11/442,969 US7562257B2 (en) 2006-01-31 2006-05-31 Data storage system, data storage control apparatus and fault location diagnosis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006021750A JP2007206766A (ja) 2006-01-31 2006-01-31 データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。

Publications (1)

Publication Number Publication Date
JP2007206766A true JP2007206766A (ja) 2007-08-16

Family

ID=38323557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006021750A Pending JP2007206766A (ja) 2006-01-31 2006-01-31 データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。

Country Status (2)

Country Link
US (1) US7562257B2 (ja)
JP (1) JP2007206766A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140179A (ja) * 2007-12-05 2009-06-25 Fujitsu Ltd ストレージシステムおよびルートスイッチ
JP2009211322A (ja) * 2008-03-03 2009-09-17 Nec Corp 管理制御装置、データ記憶システム、障害処理方法、及び障害処理プログラム
JP2010256975A (ja) * 2009-04-21 2010-11-11 Nec System Technologies Ltd ディスクアレイ制御装置及び方法並びにプログラム
WO2012140692A1 (en) 2011-04-12 2012-10-18 Hitachi, Ltd. Storage apparatus and method of controlling the same
JP2012208625A (ja) * 2011-03-29 2012-10-25 Fujitsu Ltd ストレージシステムおよび異常発生箇所判定方法
US8312211B2 (en) 2008-05-23 2012-11-13 Fujitsu Limited Disk array apparatus, method for application of control firmware, and controlling unit for controlling application of control firmware
WO2016181464A1 (ja) * 2015-05-11 2016-11-17 株式会社日立製作所 ストレージシステム、及び、記憶制御方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4500346B2 (ja) * 2007-11-21 2010-07-14 富士通株式会社 ストレージシステム
JP5127491B2 (ja) * 2008-02-08 2013-01-23 株式会社日立製作所 ストレージサブシステム及びこれの制御方法
JP5510679B2 (ja) * 2012-03-30 2014-06-04 日本電気株式会社 ディスクアレイ装置、ディスクアレイシステム、障害経路特定方法、及びプログラム
JP2015111378A (ja) * 2013-12-06 2015-06-18 富士通株式会社 ストレージ制御装置、ストレージ装置及びストレージ制御プログラム
US9213588B2 (en) * 2014-01-10 2015-12-15 Avago Technologies General Ip (Singapore) Pte. Ltd. Fault detection and identification in a multi-initiator system
CN103744789B (zh) * 2014-01-23 2017-01-11 中国科学院软件研究所 一种三维曲面表示的软件错误定位方法
US9459974B2 (en) * 2014-05-28 2016-10-04 International Business Machines Corporation Recovery mechanisms across storage nodes that reduce the impact on host input and output operations
US9910753B1 (en) * 2015-12-18 2018-03-06 EMC IP Holding Company LLC Switchless fabric based atomics via partial-proxy
CN107870832B (zh) 2016-09-23 2021-06-18 伊姆西Ip控股有限责任公司 基于多维度健康诊断方法的多路径存储设备
CN110718263B (zh) * 2019-09-09 2021-08-10 无锡江南计算技术研究所 芯片访存通路的高效分段测试系统、方法
CN110989926B (zh) * 2019-11-11 2024-02-13 北京字节跳动网络技术有限公司 故障磁盘槽位定位方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0337734A (ja) * 1989-07-05 1991-02-19 Fujitsu Ltd 二重化構成装置
JP2001222385A (ja) * 2000-02-10 2001-08-17 Hitachi Ltd 記憶装置および情報処理システム
JP2002268959A (ja) * 2001-03-08 2002-09-20 Yokogawa Electric Corp 2重化システムの故障検出方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5339025A (en) 1976-09-22 1978-04-10 Hitachi Ltd Writing control system for magnetic disc pack, etc.
JPS60243731A (ja) 1984-05-17 1985-12-03 Nec Corp 磁気デイスク制御装置の自己診断装置
US5544330A (en) * 1994-07-13 1996-08-06 Emc Corporation Fault tolerant interconnect topology using multiple rings
JP2000243049A (ja) 1999-02-17 2000-09-08 Fujitsu Ltd 磁気ディスク装置のシークエラー防止方法,磁気ディスク装置及び記録媒体
JP2001306262A (ja) 2000-04-26 2001-11-02 Hitachi Ltd 情報処理システムの制御方法および情報処理システム
US7127633B1 (en) * 2001-11-15 2006-10-24 Xiotech Corporation System and method to failover storage area network targets from one interface to another
US20030217211A1 (en) * 2002-05-14 2003-11-20 Rust Robert A. Controller communications over an always-on controller interconnect
US7013408B2 (en) * 2002-08-06 2006-03-14 Sun Microsystems, Inc. User defined disk array
JP4156499B2 (ja) * 2003-11-28 2008-09-24 株式会社日立製作所 ディスクアレイ装置
US7761738B2 (en) * 2006-09-07 2010-07-20 International Business Machines Corporation Establishing communications across virtual enclosure boundaries

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0337734A (ja) * 1989-07-05 1991-02-19 Fujitsu Ltd 二重化構成装置
JP2001222385A (ja) * 2000-02-10 2001-08-17 Hitachi Ltd 記憶装置および情報処理システム
JP2002268959A (ja) * 2001-03-08 2002-09-20 Yokogawa Electric Corp 2重化システムの故障検出方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140179A (ja) * 2007-12-05 2009-06-25 Fujitsu Ltd ストレージシステムおよびルートスイッチ
JP4607942B2 (ja) * 2007-12-05 2011-01-05 富士通株式会社 ストレージシステムおよびルートスイッチ
JP2009211322A (ja) * 2008-03-03 2009-09-17 Nec Corp 管理制御装置、データ記憶システム、障害処理方法、及び障害処理プログラム
US8312211B2 (en) 2008-05-23 2012-11-13 Fujitsu Limited Disk array apparatus, method for application of control firmware, and controlling unit for controlling application of control firmware
JP2010256975A (ja) * 2009-04-21 2010-11-11 Nec System Technologies Ltd ディスクアレイ制御装置及び方法並びにプログラム
JP2012208625A (ja) * 2011-03-29 2012-10-25 Fujitsu Ltd ストレージシステムおよび異常発生箇所判定方法
WO2012140692A1 (en) 2011-04-12 2012-10-18 Hitachi, Ltd. Storage apparatus and method of controlling the same
US8667337B2 (en) 2011-04-12 2014-03-04 Hitachi, Ltd. Storage apparatus and method of controlling the same
WO2016181464A1 (ja) * 2015-05-11 2016-11-17 株式会社日立製作所 ストレージシステム、及び、記憶制御方法
JPWO2016181464A1 (ja) * 2015-05-11 2017-12-07 株式会社日立製作所 ストレージシステム、及び、記憶制御方法

Also Published As

Publication number Publication date
US7562257B2 (en) 2009-07-14
US20070180293A1 (en) 2007-08-02

Similar Documents

Publication Publication Date Title
JP2007206766A (ja) データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。
JP2007094996A (ja) データストレージシステム、データストレージ制御装置及びその障害箇所診断方法
KR100740080B1 (ko) 데이터 기억 시스템 및 데이터 기억 제어 장치
US8423818B2 (en) Disk array apparatus and method for controlling the same
US7356638B2 (en) Using out-of-band signaling to provide communication between storage controllers in a computer storage system
US7093043B2 (en) Data array having redundancy messaging between array controllers over the host bus
JP4107083B2 (ja) 高可用ディスク制御装置とその障害処理方法及び高可用ディスクサブシステム
JP5511960B2 (ja) 情報処理装置、及びデータの転送方法
KR100640037B1 (ko) 파일 제어 시스템 및 파일 제어 장치
US20070174719A1 (en) Storage control device, and error information management method for storage control device
JP2007122476A (ja) データストレージシステム、データストレージ制御装置及びそのディスクのライト抜け診断方法
JP2007148764A (ja) データストレージシステム及びデータストレージ制御装置
JP2004199551A (ja) ストレージシステム及び障害ストレージ装置の切り離し方法
JP4252551B2 (ja) データストレージシステム及びストレージ制御装置の異常時のログデータ出力方法
US8161316B1 (en) Managing loop interface instability
US8381027B1 (en) Determining alternate paths in faulted systems
JP6187150B2 (ja) ストレージ制御装置、ストレージ装置、及びストレージ制御プログラム
JP4799273B2 (ja) ストレージシステム及びループ異常時の自動復旧方法
US7426658B2 (en) Data storage system and log data equalization control method for storage control apparatus
US9304842B2 (en) Computer system, control method for computer system and coupling module
JP4241405B2 (ja) コンピュータシステムおよびi/oリトライ方法ならびにプログラム
JP2007299079A (ja) ストレージ装置及びその障害回復方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316