JP2001222385A - 記憶装置および情報処理システム - Google Patents
記憶装置および情報処理システムInfo
- Publication number
- JP2001222385A JP2001222385A JP2000032873A JP2000032873A JP2001222385A JP 2001222385 A JP2001222385 A JP 2001222385A JP 2000032873 A JP2000032873 A JP 2000032873A JP 2000032873 A JP2000032873 A JP 2000032873A JP 2001222385 A JP2001222385 A JP 2001222385A
- Authority
- JP
- Japan
- Prior art keywords
- loop
- storage device
- unit
- bypass
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0793—Remedial or corrective actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
- G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
- G06F11/2092—Techniques of failing over between control units
Abstract
ステムにおいて障害発生時の性能や信頼性の低下を最小
限に止める。 【解決手段】 複数のコントローラ101、102と複
数のドライブ111〜114を、複数のFCループ16
1、171を介して接続する構成において、個々のコン
トローラ101、102およびドライブ111〜114
のFCループ161、171に対するバイパスを個別に
制御するPBC121〜126およびPBC131〜1
36の他に、FCループ161、171をその経路の途
中で短絡させるPBC141〜143およびPBC15
1〜153を設け、PBC141〜143およびPBC
151〜153の位置でFCループをバイパスさせるこ
とで、FCループの障害部位を部分的に切り離してFC
ループの使用を継続させ、障害発生時の性能や信頼性の
低下を最小限に止める。
Description
報処理技術に関し、特に、複数の構成要素をファイバチ
ャネルループ等のループ状通信手段にて接続した構成の
記憶装置および情報処理システム等に適用して有効な技
術に関する。
一つとして、ANSI NCITST11(旧ANSI
X3 T11)で標準化が進められているファイバチ
ャネルが知られている。
用すれば、複数のハードディスク(ドライブ)を接続
し、1つの大きな記憶装置を構築することが可能であ
る。このFCループの接続方式(FIBRE CHANNEL ARBITR
ATED LOOP(FC-AL))では、記憶装置のドライブを制御す
るコントローラと各ドライブをループ状に接続する。各
ドライブとFCループとの接続部には、ドライブの交換
時や故障時の場合等ドライブをループから切り離すため
のポートバイパス回路( PBC) が接続されている。
切断されると、コントローラとループ上の各ドライブと
の通信が不可能になるため、当該FCループを利用して
構築された外部記憶装置では、個々のドライブを切り離
す場合に、PBCによって接続を繋ぎ変えてループが切
れない様にFCループを制御する必要がある。
れている様に、異常発生時だけでなく、正常時も性能向
上のためにPBCを制御して、使用率が低いドライブ
は、使用する時だけループに接続する事や各ループの負
荷分散のためにPBCを制御することも可能である。
て、複数のドライブを接続して構築された1つの記憶装
置において、特定のドライブに障害が発生した場合は、
PBCによって、障害のドライブをループから切り離す
ことによって、他のドライブは動作を続けることが可能
である。しかし、何らかの理由でループの接続が切れた
場合やループの通信を妨害された場合は、ループに接続
されている全ドライブが使用不可になる、という技術的
課題がある。
イブをFCループを介して接続することで構成された記
憶装置において、FCループを2重に設定し、片方のル
ープで障害が発生した場合、もう一方のループを使用し
て通信を続けさせる方法が考えられる。
する、という対策を施した場合でも障害の発生したルー
プでは、障害部位がどこかわからない。このため保守員
は、障害ループの修復時に当該障害ループに含まれてい
る個々のドライブ等の構成要素を1つ1つ交換して正常
に動作するか確認することにより、どこが障害部位だっ
たかを特定する煩雑な作業が必要となる、という別の技
術的課題が生じる。
だけで通信を行うためデータ転送速度等の性能が低下す
る。さらに、ループを2重に設定している場合でも、ド
ライブの各ループで共通の部分に障害が発生した場合、
2つのループとも通信が不可能になるため、記憶装置全
体が動作不可能になる、という技術的課題がある。
た構成において障害発生時の性能や信頼性の低下を最小
限に止めることが可能な記憶装置を提供することにあ
る。
備えた構成において、障害部位の特定、回復作業を迅
速、簡便かつ的確に行うことが可能な記憶装置を提供す
ることにある。
多重に備えた構成において、複数のループ状通信手段に
及ぶ多重障害発生時の復旧を確実に行うことが可能な記
憶装置を提供することにある。
た構成において障害発生時の性能や信頼性の低下を最小
限に止めることが可能な情報処理システムを提供するこ
とにある。
備えた構成において、障害部位の特定、回復作業を迅
速、簡便かつ的確に行うことが可能な情報処理システム
を提供することにある。
多重に備えた構成において、複数のループ状通信手段に
及ぶ多重障害発生時の復旧を確実に行うことが可能な情
報処理システムを提供することにある。
つの単位記憶装置と、前記単位記憶装置を制御する少な
くとも一つのコントローラと、前記単位記憶装置および
前記コントローラをループ状に接続し、前記コントロー
ラおよび前記単位記憶装置の相互間における情報の授受
を行うループ状通信手段とを含む記憶装置において、前
記単位記憶装置および前記コントローラの前記ループ状
通信手段に対する接続および切り離しを個別に制御する
第1のバイパス手段と、前記ループ状通信手段を任意の
位置で短絡させ、前記ループ状通信手段の経路の一部を
選択的に切り離す第2のバイパス手段と、を含む構成と
したものである。
処理の少なくとも一方の動作を行う複数の単位構成要素
と、複数の前記単位構成要素をループ状に接続し、前記
単位構成要素の間における情報の授受が行われるループ
状通信手段とを含む情報処理システムにおいて、前記単
位構成要素の前記ループ状通信手段に対する接続および
切り離しを個別に制御する第1のバイパス手段と、前記
ループ状通信手段を任意の位置で短絡させ、前記ループ
状通信手段の経路の一部を選択的に切り離す第2のバイ
パス手段と、を備えたものである。
ローラをFC_AL等のループで接続した構成の記憶装
置において、ドライブおよびコントローラとループとの
間の切り離しを行うPBC(第1のバイパス手段)の他
に、ループの所々に当該ループを短絡させるPBC(第
2のバイパス手段)を設置する。
ループのどこで障害が発生しているか切り分ける。実際
には、PBCを制御してループの一部分だけを有効にし
て、通信が可能か確認する操作を、当該ループの有効部
分を変更して反復することにより、障害部位を特定す
る。ループで使用できる部分がある場合は、そのループ
を使用して、使用できない部分のみ他方のループに切り
替えることによって、性能の低下を最小限にする。
発行するのではなく、PBCを制御する専用のバスを設
けることにより、2重のループが両方とも通信が不可能
になった場合でも、障害部位を切り離すことが可能とな
り、その他の部分は通信可能状態に復帰できる。
用いて詳細に説明する。
記憶装置の一実施の形態である記憶装置のループ接続構
成の1例を示した概念図であり、図2は、本実施の形態
の記憶装置の全体構成の一例を示す概念図である。
プ状通信手段の一例としてFC_AL(FIBRE CHANNEL
ARBITRATED LOOP )(以下、FCループと記す)を用い
た場合を例に採って説明する。
施の形態の記憶装置は、複数のコントローラ101、コ
ントローラ102と、これらに共有されるキャッシュメ
モリ103、図示しない上位装置との間におけるデータ
の授受を制御する複数のホストインタフェース104、
ホストインタフェース105、を備えている。
には、複数のドライブ111、ドライブ112、ドライ
ブ113、ドライブ114が、多重に設けられたFCル
ープ161、FCループ171、ポートバイパス回路
(PBC)を介して共有されるように接続されている。
施の形態の記憶装置では、2個のコントローラ101、
102が、それぞれ別々のFCループ161、162に
PBC121、PBC122、およびPBC131、P
BC132を通じて接続されている。4台のドライブ1
11、112、113、114は、一方のFCループ1
61にPBC123、PBC124、PBC125、P
BC126を通じて接続されており、他方のFCループ
171にPBC133、PBC134、PBC135、
PBC136を通じて接続されている。
は、FCループを短絡させるためのPBC141、PB
C142、PBC143が接続されており、FCループ
171には、PBC151、PBC152、PBC15
3が接続されている。
BCの構成の一例を示す。すなわち、図3に例示される
ように、個々のコントローラやドライブをFCループに
接続するPBC121〜PBC126およびPBC13
1〜PBC136の各々(以下、PBC600と総称す
る)は、FCループ161およびFCループ171に対
するドライブ、コントローラの接続の有無を切り換える
セレクタ601と、ドライブ、コントローラの側の動作
異常の有無を監視して、異常(障害)の発生時には、セ
レクタ601に入力されるバイパス制御信号602に
て、ドライブ、コントローラをバイパスしてFCループ
側から切り離す(図3のセレクタ601の状態はバイパ
ス状態を示している)動作を行う障害監視回路603
と、バイパス制御信号602がON(バイパス状態)の
ときに点灯して外部にバイパス状態であることを報知す
るLED等の表示ランプ604、等で構成されている。
バイパス制御信号602は、外部(たとえばドライブに
設けられた図示しない制御端子等)からも入力すること
が可能であり、障害監視回路603の動作とは無関係に
外部からバイパス状態を制御することも可能である。
一例として、FCループ161およびFCループ171
におけるファイバチャネルプロトコルのデータリンク層
として、SCSI−FCP(SCSI−3 Fibre
Channel Protocol)を用いる。
装置はSCSI−FCPのイニシエータであるコントロ
ーラ101および102からターゲットとしてのドライ
ブ111〜114の各々に対して発行されるFCPコマ
ンドのSCSI SendDiagnosticsに
て、パラメータ・リストで指定することにより、バイパ
ス制御信号602、バイパス制御信号702、のON/
OFFの出力指令を、ドライブ111〜114の各々に
指示することが可能である。
02は、ドライブ111〜114の図示しない制御端子
を経由してバイパス制御信号602、バイパス制御信号
702を出力させることで、PBC600、PBC70
0の各々におけるバイパス動作を制御する。
C700におけるバイパスの有無の状態(すなわち、バ
イパス制御信号602、バイパス制御信号702の状
態)は、FCPコマンドのSCSI Receive
Diagnostic Resultsにて、ドライブ
111〜114の各々を介して、コントローラ101お
よび102が知ることができる。
プ161およびFCループ171の途中に設けられたP
BC141〜143およびPBC151〜153の各々
(以下、PBC700と総称する)は、FCループ16
1およびFCループ171の途中の短絡(バイパス)を
行うセレクタ701と、外部からこのセレクタ701の
切換え動作の制御のために入力されるバイパス制御信号
702と、バイパス制御信号702がON(バイパス状
態)のときに点灯して外部にバイパス状態であることを
報知するLED等の表示ランプ703、等で構成されて
いる。
PBC121〜PBC126およびPBC131〜PB
C136、PBC141〜143およびPBC151〜
153の各々に入力されるバイパス制御信号602、バ
イパス制御信号702は、コントローラ101、102
から、互いに反対側のFCループを経由して、最も近い
ドライブから入力することができる。
は、一方のFCループ161(171)に障害が発生し
た時、他のFCループ171(161)を経由して目的
のドライブに対してバイパス制御信号602、バイパス
制御信号702を近傍のPBCに出力させることで、後
述の図9におけるような個々のPBCの切換え制御が可
能になる。
ループ161、171として、光ファイバや導線等の通
信媒体を用いることに限らず、図6に例示されるよう
な、実装ボード上の配線パターンにてFCループ16
1、171を構成することも含まれる。
施の形態の記憶装置では、実装ボード10に、複数のF
Cループ161、FCループ171を配線パターンとし
て配置し、さらに、これらに接続されるPBC121〜
126、PBC131〜136、さらにはPBC141
〜143、PBC151〜153を、この実装ボード1
0上に形成する。そして、コネクタ11を介して、複数
のコントローラ101、102および複数のドライブ1
11〜114のユニットは、複数のFCループ161、
FCループ171の各々に着脱自在に実装される。この
ような図6の構成の場合、個々のPBCの表示ランプ
は、たとえば、実装ボード10上に配置され、個々のP
BCのバイパス状態が外部から視認可能にされる。
コネクタ11を用いて、一部のドライブの代わりに、F
Cループ161、FCループ171に、外部の光ファイ
バや導線等の通信媒体を接続することで、本実施の形態
の記憶装置を外部システムと接続する構成としてもよ
い。
は、たとえば、複数のドライブ111〜114に、上位
装置との間で授受されるデータおよび当該データから生
成された冗長データを分散して格納することにより、格
納データの信頼性の向上や、複数のドライブ111〜1
14に対する並列アクセスによるスループットの向上を
実現するディスクアレイシステムが考えられる。
FCループ161だけを使用し、コントローラ102
は、FCループ171だけを使用する事によって、各コ
ントローラは、多重に設けられたFCループ161、1
71の各々の通信帯域を占有して使用することができ
る。また、コントローラ101、102の各々とドライ
ブ111〜114の通信は、互いに他のコントローラの
動作等の影響を受けることがない。
る様にドライブが故障した場合や、性能向上のため未使
用のドライブを切り離す場合には、本実施の形態の記憶
装置では、PBC123〜126、あるいはPBC13
3〜135を使用して、該当のドライブを切り離す。
ドライブ114を各FCループから切り離す場合、PB
C126を切り替えて、FCループ161からドライブ
114を切り離し、PBC136を切り替えて、FCル
ープ171からドライブ114を切り離す。
施の形態の記憶装置のPBCでは、ドライブやコントロ
ーラが接続されている場合は、図7の左側に例示された
接続状態201となる。また、ドライブやコントローラ
を切り離す場合は、図7の右側に例示された切断状態2
02(バイパス状態)になり、ドライブやコントローラ
はFCループから切り離される。
FCループ161、171の一部で障害が発生した場合
は、上記の方式では回復できないため、もし、FCルー
プ161に障害が発生した場合、FCループ161を使
用していたコントローラ101は、コントローラ102
と同じく、FCループ171を使用することによって、
障害を回避する。この場合、コントローラ101、10
2が同じFCループ171を使用するため、通信の帯域
が2つのFCループを使用していた場合に比べて半減
し、性能が低下する。
害発生時に、PBC141〜143あるいはPBC15
1〜153を用いてFCループの障害部位を切り離すこ
とによって、性能低下を防ぐ。以下に具体例を示す。
がループ障害箇所181によって、通信不可能になった
場合の状態を示している(簡略化のため、片側のFCル
ープ161のみ表示している)。コントローラ101ま
たは102では、FCループの障害発生時に、まずコン
トローラから1番遠いドライブ114をPBC126を
切り替えることによって、FCループから切り離す。こ
の状態が図9の(b)である。しかし、この図9の
(b)の状態でもFCループ161上にループ障害箇所
181があるため、当該FCループ161は通信不可能
である。
にPBC143を切り替えて、FCループを短絡させ
る。この時のPBC143の状態を図8に示す。PBC
143は、通常の接続状態では、図8の左側の接続状態
301の状態であるが、FCループを短絡させる時は、
図8の右側の短絡状態302(バイパス状態)になり、
FCループをコントローラに近い側(FCループ161
a)と、遠い側(FCループ161b)に分割する。P
BC143を短絡状態302に切り替えた状態が、図9
の(c)である。この図9の(c)の状態だとループ障
害箇所181を含むFCループ161bがFCループ1
61から切り離されたため、FCループ161aは通信
可能である。これによってFCループの障害がループ障
害箇所181で発生していることが特定できる。
バイパス状態(短絡状態302)では表示ランプが点灯
するので、障害の対策時に、各PBCにおける表示ラン
プの点灯の有無にてFCループやドライブのどこが障害
かわかるため、部品の交換等の保守作業が容易になる。
たとえば、ディスクアレイ等の記憶装置では、多数のド
ライブを備えた構成であるため、障害箇所の特定の迅速
化等に、特に大きい効果が期待できる。
81を含むFCループ161bに属するドライブ114
は、FCループ161から通信できないので、他のFC
ループ171から通信を行う必要があるが、ドライブ1
11、112、113は、FCループ161(FCルー
プ161a)から通信できるので、他のFCループ17
1の通信の負荷の増加を最小限に抑止することができ
る。
が発生した場合でも、コントローラ101または102
は、FCループのコントローラから遠い順にPBC12
6、143、125、142、124、141、123
を切り替えてゆけば、どこでループ障害が発生している
か判断可能であり、ループ障害の部位を切り離せば、F
Cループの通信可能な部分を使用して、性能の低下を最
小限に押さえることが可能である。
をコントローラに自動的に実行させる場合の制御動作の
一例をフローチャートとして示す。このフローチャート
では、制御対象の複数のPBCの各々に対して、コント
ローラから最も遠い位置から近い方に昇順に、0,1,
2,3...のようなIDを付与して障害検出プログラ
ムに認識/制御させることで、コントローラ101また
は102に、各PBCのバイパス/接続動作を自動的に
行わせる例を示している。
(FCループ162の側も以下と同様)、コントローラ
101および102は、まず、コントローラ以外の複数
のPBC123〜126およびPBC141〜143の
各々に、コントローラから遠い順に、0〜6のIDを付
与しておく。具体的には、PBC126:ID=
“0”、PBC125:ID=“1”、PBC124:
ID=“2”、PBC123:ID=“3”、PBC1
43:ID=“4”、PBC142:ID=“5”、P
BC141:ID=“6”、となる。
ループでの障害発生を監視し(ステップ801)、検出
したら、コントローラから最も遠いPBC(この場合、
PBC126)のIDをセットし(ステップ802)、
セットされたIDのPBCをバイパス状態にする(ステ
ップ803)。この操作は、上述のFCPコマンドで可
能である。
は、上述のバイパス操作で障害が回復したか否かを調べ
(ステップ804)、回復するまで、IDをインクリメ
ント(この場合、ID=6まで)しながら同様の操作を
反復する(ステップ810)。なお、コントローラ10
1または102は、ループの部分使用が不可能な場合
(PBC141:ID=“6”のバイパス操作でも障害
が回復しない場合)には(ステップ809)、PBC1
41よりもコントローラに近い側でのループ上のエラー
と判定し、FCループ161の放棄を表示する(ステッ
プ813)。
は、コントローラ101または102は、バイパスした
当該IDのPBCが、ドライブのバイパス用のPBC1
23〜126か、あるいはループ自体のバイパス用のP
BC141〜143かを判定する(ステップ805)。
すなわち、障害部位が、ドライブ起因かループ起因かで
コントローラは障害を切りわける。
は、ドライブの障害と判明したら(ステップ806)、
バイパスしたPBC(ドライブ)の表示ランプ(LED
等)を点灯させ、バイパス状態であることを外部に表示
する(ステップ807)。
害であると判明した場合には(ステップ811)、コン
トローラ101または102は、ループ用の当該PBC
の表示ランプ703を点灯させ、ループの部分障害であ
ることを外部に表示し(ステップ812)、バイパスに
よって切り離されたループに属するドライブを、他(こ
の場合、FCループ171)の側の制御下に移行させる
処理を行う(ステップ808)。
装置では、記憶装置等の情報処理システムにおいて、コ
ントローラ101、102およびドライブ111〜11
4を多重に設けられたFCループ161およびFCルー
プ171にPBC121〜126およびPBC131〜
136を介して接続した構成において、個々のFCルー
プ161、171の各々に当該FCループを短絡するP
BC141〜143およびPBC151〜153を備
え、これらのPBCによるバイパス動作の切換え制御に
て障害位置の特定を行い、その部分を切り離して、ファ
イバチャネルのFCループを再構成する。
は、障害が発生したFCループでも、通信可能な健全な
部位(FCループ161a)はそのまま使用し、通信不
可能な部分(FCループ161b)のみ他のFCループ
に切り替えることによって、部分的ではあるがFCルー
プの多重状態を維持して性能や信頼性の低下を最小限に
抑えることが出来る。
のコントローラが、当該コントローラから遠い順にPB
C切換え制御を行うことで、ドライブの障害のみなら
ず、FCループの障害位置も自動的に検出できるので、
障害の回復操作等の保守管理作業を迅速かつ的確に行う
ことが可能になる。
Cループ161、171を用いて、ループ障害時に互い
に他の健全なFCループ側からPBCの切換え制御を行
わせる場合には、二つのFCループに同時に障害が発生
した場合には回復が困難になる。
として、以下に、2つのFCループに同時に障害が発生
した場合に、FCループの通信を回復する手段の一例を
示す。
装置では、先に述べた方法でFCループの一方だけに発
生したループ障害に対しては、他方のFCループに切り
換えることで対処可能である。しかしコントローラやド
ライブは両方のFCループに接続されており、コントロ
ーラやドライブの障害で両方のFCループに障害を発生
させる場合がある。
は、一方のFCループが通信可能ならそのFCループか
ら障害発生のFCループのPBCを制御して、通信を回
復させることが可能であるが、両方のFCループが通信
不可能になるとPBCを制御できないため、通信不可能
を回復できない。
実施の形態の記憶装置の変形例では、PBCをFCルー
プの通信よって制御するのではなく、他の信号線によっ
て各コントローラと各PBCを接続し、その信号線の通
信によって、PBCを制御する。この本実施の形態の記
憶装置の変形例の構成を図10に示す。
の構成では、上述の図1に例示した構成に、各コントロ
ーラと各PBCをつなぐ、信号線501、信号線502
が追加されている。2つのFCループに同時に障害が発
生した場合の回復方法を以下に示す。例としてドライブ
113の障害で両FCループが通信不可能になった場合
を考える。
の構成では、FCループ161の回復は、個々のコント
ローラ101、102が、信号線501を介して、個々
のPBCを当該コントローラから遠い方から切り替え
て、通信が可能になるところを探すことで行われる。
2が、信号線501を介して、FCループにおいて当該
コントローラから遠い順にPBC126、143、12
5、142、124、141、123を切り替えてゆく
動作を行う。上述のようなドライブ113の部位の障害
では、PBC125を切り替えた時点でFCループ16
1の通信が回復する。
コントローラ101、102が、信号線502を介し
て、個々のPBCをコントローラから遠い方から切り替
えて、通信が可能になるところを探すことで行われる。
2が、信号線502を介して、FCループにおいて当該
コントローラから遠い順にPBC136、PBC15
3、PBC135、PBC152、PBC134、PB
C151、PBC133を切り替えてゆく動作を行う。
上述のように、ドライブ113の部位の障害なので、P
BC135を切り替えた時点でFCループの通信が回復
する。
態の記憶装置の変形例の構成では、コントローラ、ドラ
イブ、さらにはFCループをバイパスして切り離す複数
のPBCの動作を、多重のFCループとは別個に設けら
れた信号線501、信号線502を介してコントローラ
が制御する構成としたので、FCループ上の通信手段が
全て通信不可能になった場合でも、障害部位を切り離す
ことで、障害の回復が可能となる。
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。
テムの一例として、記憶装置に適用した場合を例にとっ
て説明したが、FC_AL等のループ状通信手段にて接
続された一般の情報処理システム等に広く適用すること
ができる。
等を用いる方法に限らず、たとえば、コントローラを外
部から制御する制御端末の画面に図1ようなシステム構
成図を表示し、このシステム構成図上に可視化して表示
する方法でもよい。
信手段を備えた構成において障害発生時の性能や信頼性
の低下を最小限に止めることができる、という効果が得
られる。
手段を備えた構成において、障害部位の特定、回復作業
を迅速、簡便かつ的確に行うことができる、という効果
が得られる。
手段を多重に備えた構成において、複数のループ状通信
手段に及ぶ多重障害発生時の復旧を確実に行うことがで
きる、という効果が得られる。
プ状通信手段を備えた構成において障害発生時の性能や
信頼性の低下を最小限に止めることができる、という効
果が得られる。
プ状通信手段を備えた構成において、障害部位の特定、
回復作業を迅速、簡便かつ的確に行うことができる、と
いう効果が得られる。
プ状通信手段を多重に備えた構成において、複数のルー
プ状通信手段に及ぶ多重障害発生時の復旧を確実に行う
ことができる、という効果が得られる。
実施の形態である記憶装置のFCループの構成の一例を
示した概念図である。
成の一例を示す概念図である。
機器とFCループとの接続に用いられるポートバイパス
回路(PBC)の構成の一例を示すブロック図である。
FCループの短絡に用いられるポートバイパス回路(P
BC)の構成の一例を示すブロック図である。
障害部位の検出動作の一例を示すフローチャートであ
る。
を示す斜視図である。
ドライブ、コントローラのFCループからの切り離し動
作の一例を示す概念図である。
FCループの部分的な切り離し動作の作用の一例を示す
概念図である。
る記憶装置におけるFCループ障害発生時のFCループ
の部分的な切り離し動作の作用の一例を示す概念図であ
る。
るポートバイパス回路(PBC)の制御方法の変形例を
示す概念図である。
ーラ(単位構成要素)、102…コントローラ(単位構
成要素)、103…キャッシュメモリ、104…ホスト
インタフェース、105…ホストインタフェース、11
1〜114…ドライブ(単位記憶装置、単位構成要
素)、121〜126…PBC(第1のバイパス手
段)、131〜136…PBC(第1のバイパス手
段)、141〜143…PBC(第2のバイパス手
段)、151〜153…PBC(第2のバイパス手
段)、161…FCループ(ループ状通信手段)、17
1…FCループ(ループ状通信手段)、181…ループ
障害箇所、201…接続状態、202…切断状態、30
1…接続状態、302…短絡状態、501…信号線(制
御線)、502…信号線(制御線)、600…PBC、
601…セレクタ、602…バイパス制御信号、603
…障害監視回路、604…表示ランプ、700…PB
C、701…セレクタ、702…バイパス制御信号、7
03…表示ランプ。
Claims (5)
- 【請求項1】 少なくとも一つの単位記憶装置と、前記
単位記憶装置を制御する少なくとも一つのコントローラ
と、前記単位記憶装置および前記コントローラをループ
状に接続し、前記コントローラおよび前記単位記憶装置
の相互間における情報の授受を行うループ状通信手段と
を含む記憶装置であって、 前記単位記憶装置および前記コントローラの前記ループ
状通信手段に対する接続および切り離しを個別に制御す
る第1のバイパス手段と、 前記ループ状通信手段を任意の位置で短絡させ、前記ル
ープ状通信手段の経路の一部を選択的に切り離す第2の
バイパス手段と、 を含むことを特徴とする記憶装置。 - 【請求項2】 請求項1記載の記憶装置において、前記
ループ状通信手段および前記第1、第2のバイパス手段
が多重に設けられ、前記コントローラによる、一つの前
記ループ状通信手段に属する前記第1および第2のバイ
パス手段の制御が、当該ループ状通信手段以外の他の前
記ループ状通信手段を経由して行われることを特徴とす
る記憶装置。 - 【請求項3】 請求項1または2記載の記憶装置におい
て、前記コントローラによる前記第1および第2のバイ
パス手段の制御が、前記ループ状通信手段とは別に設け
られた制御線を介して行われることを特徴とする記憶装
置。 - 【請求項4】 各々が情報の記憶および処理の少なくと
も一方の動作を行う複数の単位構成要素と、複数の前記
単位構成要素をループ状に接続し、前記単位構成要素の
間における情報の授受が行われるループ状通信手段とを
含む情報処理システムであって、 前記単位構成要素の前記ループ状通信手段に対する接続
および切り離しを個別に制御する第1のバイパス手段
と、 前記ループ状通信手段を任意の位置で短絡させ、前記ル
ープ状通信手段の経路の一部を選択的に切り離す第2の
バイパス手段と、 を備えたことを特徴とする情報処理システム。 - 【請求項5】 請求項4記載の情報処理システムにおい
て、前記ループ状通信手段前記第1、第2のバイパス手
段が多重に設けられ、 一つの前記ループ状通信手段に属する前記第1および第
2のバイパス手段の制御が当該ループ状通信手段以外の
他の前記ループ状通信手段を経由して行われる第1の構
成、 前記第1および第2のバイパス手段の制御が、前記ルー
プ状通信手段とは別に設けられた制御線を介して行われ
る第2の構成、 の少なくとも一方の構成を備えたことを特徴とする情報
処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000032873A JP2001222385A (ja) | 2000-02-10 | 2000-02-10 | 記憶装置および情報処理システム |
US09/758,684 US6795934B2 (en) | 2000-02-10 | 2001-01-10 | Storage subsystem and information processing system |
US10/911,125 US7246262B2 (en) | 2000-02-10 | 2004-08-03 | Storage subsystem and information processing system |
US11/810,175 US7464291B2 (en) | 2000-02-10 | 2007-06-04 | Storage subsystem and information processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000032873A JP2001222385A (ja) | 2000-02-10 | 2000-02-10 | 記憶装置および情報処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007339189A Division JP4658114B2 (ja) | 2007-12-28 | 2007-12-28 | 記憶装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001222385A true JP2001222385A (ja) | 2001-08-17 |
JP2001222385A5 JP2001222385A5 (ja) | 2005-06-02 |
Family
ID=18557427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000032873A Pending JP2001222385A (ja) | 2000-02-10 | 2000-02-10 | 記憶装置および情報処理システム |
Country Status (2)
Country | Link |
---|---|
US (3) | US6795934B2 (ja) |
JP (1) | JP2001222385A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6907500B2 (en) | 2002-09-05 | 2005-06-14 | Hitachi, Ltd. | Data storage device management system |
JP2005165429A (ja) * | 2003-11-28 | 2005-06-23 | Hitachi Ltd | ディスクアレイ装置及びディスクアレイ装置のデータ中継方法 |
JP2005339216A (ja) * | 2004-05-27 | 2005-12-08 | Hitachi Ltd | 記憶制御システム |
JP2007028621A (ja) * | 2005-07-14 | 2007-02-01 | Fujitsu Ltd | ネットワーク要素を用意するための方法、ネットワーク要素、論理装置及びシステム |
US7181640B2 (en) | 2002-01-22 | 2007-02-20 | International Business Machines Corporation | Method for controlling an external storage system having multiple external storage devices |
JP2007206766A (ja) * | 2006-01-31 | 2007-08-16 | Fujitsu Ltd | データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。 |
JP2007272702A (ja) * | 2006-03-31 | 2007-10-18 | Nec Corp | ディスクアレイサブシステム、冗長性維持方法、および冗長性維持プログラム |
US7302615B2 (en) | 2002-09-03 | 2007-11-27 | Nec Corporation | Method and system for analyzing loop interface failure |
JP2008071005A (ja) * | 2006-09-13 | 2008-03-27 | Hitachi Ltd | 空きポートを有効に活用したストレージシステム |
DE202004021459U1 (de) | 2003-05-22 | 2008-06-19 | Hitachi, Ltd. | Diskarrayvorrichtung |
JP2008217234A (ja) * | 2007-03-01 | 2008-09-18 | Nec Corp | リンク診断装置および方法 |
JP2009129075A (ja) * | 2007-11-21 | 2009-06-11 | Fujitsu Ltd | ストレージシステム |
EP2096530A2 (en) | 2008-02-29 | 2009-09-02 | Hitachi Ltd. | Storage system and management method of its storage medium |
JP2010282628A (ja) * | 2009-06-08 | 2010-12-16 | Lsi Corp | ダイレクトアタッチト・ストレージ(das)システムでキャッシングされたデータの保全性を保護する方法及び装置 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7346674B1 (en) * | 2001-06-07 | 2008-03-18 | Emc Corporation | Configurable fibre channel loop system |
JP3722429B2 (ja) * | 2002-01-17 | 2005-11-30 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 外部記憶装置、制御装置、外部記憶システム、制御方法、プログラム、及び記録媒体 |
US7210068B1 (en) * | 2002-03-06 | 2007-04-24 | Network Appliance, Inc. | System and method for multipath I/O support for fibre channel devices |
US7036042B1 (en) * | 2002-08-16 | 2006-04-25 | 3Pardata | Discovery and isolation of misbehaving devices in a data storage system |
US6961786B2 (en) * | 2002-09-25 | 2005-11-01 | Lsi Logic Corporation | Fiber loop linking/detecting |
JP2004199551A (ja) * | 2002-12-20 | 2004-07-15 | Fujitsu Ltd | ストレージシステム及び障害ストレージ装置の切り離し方法 |
JP2004348464A (ja) * | 2003-05-22 | 2004-12-09 | Hitachi Ltd | ストレージ装置、及び通信信号の整形回路 |
JP4325849B2 (ja) * | 2003-06-27 | 2009-09-02 | 株式会社日立製作所 | 記憶システム、バックアップシステム及びバックアップ方法 |
JP2005031928A (ja) * | 2003-07-11 | 2005-02-03 | Hitachi Ltd | 記憶システム及び記憶システムの障害特定方法 |
JP4156499B2 (ja) | 2003-11-28 | 2008-09-24 | 株式会社日立製作所 | ディスクアレイ装置 |
JP4497918B2 (ja) | 2003-12-25 | 2010-07-07 | 株式会社日立製作所 | ストレージシステム |
JP4634049B2 (ja) | 2004-02-04 | 2011-02-16 | 株式会社日立製作所 | ディスクアレイ装置における異常通知制御 |
JP2006134207A (ja) * | 2004-11-09 | 2006-05-25 | Fujitsu Ltd | ストレージ仮想化装置およびそれを用いたコンピュータシステム |
US7509535B1 (en) * | 2005-09-29 | 2009-03-24 | Emc Corporation | System and method for managing failover in a data storage environment |
JPWO2007096956A1 (ja) * | 2006-02-22 | 2009-07-09 | 富士通株式会社 | 中央処理装置 |
JP4857011B2 (ja) * | 2006-04-07 | 2012-01-18 | 株式会社日立製作所 | 記憶装置の駆動方法およびこの記憶装置を備えたディスクサブシステム |
US7853821B2 (en) * | 2006-04-17 | 2010-12-14 | Hewlett-Packard Development Company, L.P. | Identifying one or more storage devices causing a failure condition during discovery of storage devices |
US20070294584A1 (en) * | 2006-04-28 | 2007-12-20 | Microsoft Corporation | Detection and isolation of data items causing computer process crashes |
JP4799273B2 (ja) * | 2006-05-25 | 2011-10-26 | 富士通株式会社 | ストレージシステム及びループ異常時の自動復旧方法 |
GB0612482D0 (en) * | 2006-06-23 | 2006-08-02 | Ibm | Apparatus and method for controlling raid array rebuild |
US7584378B2 (en) * | 2006-09-07 | 2009-09-01 | International Business Machines Corporation | Reconfigurable FC-AL storage loops in a data storage system |
US7596723B2 (en) * | 2006-09-22 | 2009-09-29 | International Business Machines Corporation | Apparatus, system, and method for selective cross communications between autonomous storage modules |
WO2009050761A1 (ja) * | 2007-10-15 | 2009-04-23 | Fujitsu Limited | ストレージシステム、ストレージ制御装置、ストレージシステムの制御方法及びそのプログラム |
US20090125754A1 (en) * | 2007-11-08 | 2009-05-14 | Rashmi Chandra | Apparatus, system, and method for improving system reliability by managing switched drive networks |
JP4607942B2 (ja) * | 2007-12-05 | 2011-01-05 | 富士通株式会社 | ストレージシステムおよびルートスイッチ |
US8473779B2 (en) * | 2008-02-29 | 2013-06-25 | Assurance Software And Hardware Solutions, Llc | Systems and methods for error correction and detection, isolation, and recovery of faults in a fail-in-place storage array |
US8225159B1 (en) * | 2008-04-25 | 2012-07-17 | Netapp, Inc. | Method and system for implementing power savings features on storage devices within a storage subsystem |
US8782471B2 (en) * | 2008-05-09 | 2014-07-15 | Dell Products L.P. | Storage device procurement system |
US20090319699A1 (en) * | 2008-06-23 | 2009-12-24 | International Business Machines Corporation | Preventing Loss of Access to a Storage System During a Concurrent Code Load |
JP5027311B2 (ja) * | 2008-10-07 | 2012-09-19 | 株式会社日立製作所 | 障害が発生している物理記憶装置を検出するストレージシステム |
US8139477B2 (en) * | 2009-07-24 | 2012-03-20 | International Business Machines Corporation | Network element bypass in computing computer architecture |
US8255737B1 (en) * | 2010-04-29 | 2012-08-28 | Netapp, Inc. | System and method for a redundant communication fabric in a network storage system |
JP5535322B2 (ja) * | 2010-06-02 | 2014-07-02 | 株式会社日立製作所 | バックエンドでの通信の規格がsasであるストレージシステム |
US9632879B2 (en) * | 2014-09-22 | 2017-04-25 | Hewlett-Packard Development Company, L.P. | Disk drive repair |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5768551A (en) | 1995-09-29 | 1998-06-16 | Emc Corporation | Inter connected loop channel for reducing electrical signal jitter |
US6032271A (en) * | 1996-06-05 | 2000-02-29 | Compaq Computer Corporation | Method and apparatus for identifying faulty devices in a computer system |
US6504817B2 (en) | 1997-03-31 | 2003-01-07 | Hewlett-Packard Company | Fiber channel arbitrated loop dynamic loop sizing |
US6888800B1 (en) * | 1998-11-14 | 2005-05-03 | Emulex Design & Manufacturing Corporation | High performance digital loop diagnostic technology |
US6260079B1 (en) * | 1998-11-15 | 2001-07-10 | Hewlett-Packard Company | Method and system for enhancing fibre channel loop resiliency for a mass storage enclosure by increasing component redundancy and using shunt elements and intelligent bypass management |
US6430714B1 (en) * | 1999-08-06 | 2002-08-06 | Emc Corporation | Failure detection and isolation |
US6571355B1 (en) * | 1999-12-29 | 2003-05-27 | Emc Corporation | Fibre channel data storage system fail-over mechanism |
JP2001216206A (ja) | 2000-02-01 | 2001-08-10 | Nec Corp | ループ状インターフェースの障害解析方法及び障害解析機能を有するシステム |
-
2000
- 2000-02-10 JP JP2000032873A patent/JP2001222385A/ja active Pending
-
2001
- 2001-01-10 US US09/758,684 patent/US6795934B2/en not_active Expired - Fee Related
-
2004
- 2004-08-03 US US10/911,125 patent/US7246262B2/en not_active Expired - Fee Related
-
2007
- 2007-06-04 US US11/810,175 patent/US7464291B2/en not_active Expired - Fee Related
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7181640B2 (en) | 2002-01-22 | 2007-02-20 | International Business Machines Corporation | Method for controlling an external storage system having multiple external storage devices |
US7302615B2 (en) | 2002-09-03 | 2007-11-27 | Nec Corporation | Method and system for analyzing loop interface failure |
US7441083B2 (en) | 2002-09-05 | 2008-10-21 | Hitachi, Ltd. | Data storage device management system |
US6907500B2 (en) | 2002-09-05 | 2005-06-14 | Hitachi, Ltd. | Data storage device management system |
DE202004021459U1 (de) | 2003-05-22 | 2008-06-19 | Hitachi, Ltd. | Diskarrayvorrichtung |
JP2005165429A (ja) * | 2003-11-28 | 2005-06-23 | Hitachi Ltd | ディスクアレイ装置及びディスクアレイ装置のデータ中継方法 |
JP4480386B2 (ja) * | 2003-11-28 | 2010-06-16 | 株式会社日立製作所 | ディスクアレイ装置及びディスクアレイ装置のデータ中継方法 |
JP2005339216A (ja) * | 2004-05-27 | 2005-12-08 | Hitachi Ltd | 記憶制御システム |
JP2007028621A (ja) * | 2005-07-14 | 2007-02-01 | Fujitsu Ltd | ネットワーク要素を用意するための方法、ネットワーク要素、論理装置及びシステム |
JP2007206766A (ja) * | 2006-01-31 | 2007-08-16 | Fujitsu Ltd | データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。 |
JP2007272702A (ja) * | 2006-03-31 | 2007-10-18 | Nec Corp | ディスクアレイサブシステム、冗長性維持方法、および冗長性維持プログラム |
JP4635941B2 (ja) * | 2006-03-31 | 2011-02-23 | 日本電気株式会社 | ディスクアレイサブシステム |
JP2008071005A (ja) * | 2006-09-13 | 2008-03-27 | Hitachi Ltd | 空きポートを有効に活用したストレージシステム |
JP2008217234A (ja) * | 2007-03-01 | 2008-09-18 | Nec Corp | リンク診断装置および方法 |
JP4640356B2 (ja) * | 2007-03-01 | 2011-03-02 | 日本電気株式会社 | リンク診断装置および方法 |
JP4500346B2 (ja) * | 2007-11-21 | 2010-07-14 | 富士通株式会社 | ストレージシステム |
JP2009129075A (ja) * | 2007-11-21 | 2009-06-11 | Fujitsu Ltd | ストレージシステム |
US8522075B2 (en) | 2007-11-21 | 2013-08-27 | Fujitsu Limited | Storage system having storage devices for storing data and control devices for controlling the storage devices |
EP2096530A2 (en) | 2008-02-29 | 2009-09-02 | Hitachi Ltd. | Storage system and management method of its storage medium |
US8402212B2 (en) | 2008-02-29 | 2013-03-19 | Hitachi, Ltd. | Storage system and management method of its storage medium |
JP2010282628A (ja) * | 2009-06-08 | 2010-12-16 | Lsi Corp | ダイレクトアタッチト・ストレージ(das)システムでキャッシングされたデータの保全性を保護する方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
US20070240014A1 (en) | 2007-10-11 |
US6795934B2 (en) | 2004-09-21 |
US20050022050A1 (en) | 2005-01-27 |
US7464291B2 (en) | 2008-12-09 |
US7246262B2 (en) | 2007-07-17 |
US20010014956A1 (en) | 2001-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001222385A (ja) | 記憶装置および情報処理システム | |
US6678839B2 (en) | Troubleshooting method of looped interface and system provided with troubleshooting function | |
US7047450B2 (en) | Storage system and a method for diagnosing failure of the storage system | |
JP4982304B2 (ja) | 電源障害の発生を把握するストレージシステム | |
US7200108B2 (en) | Method and apparatus for recovery from faults in a loop network | |
US20090265584A1 (en) | Storage control unit with control signal path between coupled controllers | |
JP2005222379A (ja) | ディスクアレイ装置およびその障害回避制御方法 | |
JP3620527B2 (ja) | ループ状インタフェースの障害解析方法及び障害解析機能を有するシステム | |
JP2004199551A (ja) | ストレージシステム及び障害ストレージ装置の切り離し方法 | |
JP2005339216A (ja) | 記憶制御システム | |
JP2006285519A (ja) | データ転送システムの障害診断方法、データ転送システム及びデータ記憶装置 | |
JP6429188B2 (ja) | 中継装置 | |
JP4395766B2 (ja) | 障害解析システム及び方法並びにプログラム | |
JP4658114B2 (ja) | 記憶装置 | |
US9838285B2 (en) | Connection monitoring device and connection monitoring method | |
JP2007334764A (ja) | Nasシステムおよびnasシステムの情報処理方法 | |
JP4024475B2 (ja) | 情報ネットワークの制御方法および情報処理システム | |
JP2000347812A (ja) | 情報処理装置およびディスクアレイ装置 | |
WO2010041294A1 (en) | Storage system detecting physical storage device suffering failure, and method of performing processing for additional storage device provision | |
JPH1027072A (ja) | データディスクアレイ装置 | |
JPH08314843A (ja) | 計算機システム | |
JPS58103249A (ja) | 通信制御装置 | |
JPH08272542A (ja) | コンピュータシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040812 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071106 |