JP2023015488A - データ中継装置、中継制御方法およびストレージシステム - Google Patents

Abstract

【課題】過大な数のコマンド発行によるＩ／Ｏ性能の低下を抑制する。【解決手段】データ中継装置２０は、記憶装置１１～１３のいずれかに送信され、かつ、応答が返信されていないＩ／Ｏコマンドの数を示すコマンド数を、記憶装置ごとに計数し、例えば記憶装置１１からＩ／Ｏコマンドの送信のリトライが要求されると、記憶装置１１に対応するコマンド数の計数値から１減算した数を、記憶装置１１に対応するコマンド上限数として記憶部２１に登録する。データ中継装置２０は、例えば制御装置１から記憶装置１１に対するＩ／Ｏコマンドを受信したとき、その受信直前における記憶装置１１に対応するコマンド数の計数値が記憶装置１１に対応するコマンド上限数に達している場合には、受信したＩ／Ｏコマンドを破棄し、そのＩ／Ｏコマンドの送信のリトライを制御装置１に要求する。【選択図】図１

Description

本発明は、データ中継装置、中継制御方法およびストレージシステムに関する。

ストレージシステムにおいて、記憶装置は一般的に、受信したＩ／Ｏコマンドを、応答を返信するまで一時的に保持するコマンドキューを備えている。記憶装置にアクセスする制御装置は、記憶装置が備えるコマンドキューのエントリ数を上限として、Ｉ／Ｏコマンドを同時に（すなわち、応答を待たずに並列に）送信できる。このような処理により、記憶装置のＩ／Ｏ性能を向上させることができる。

また、ストレージシステムにおけるＩ／Ｏ（Input／Output）制御技術の例として、以下のような提案がある。例えば、ストレージ装置にアクセスするコントローラにおいて、システム負荷を管理し、システム負荷が所定の閾値を超えた場合、ホストから依頼されたＩ／Ｏ要求の受け付けを抑止するようにしたストレージシステムが提案されている。また、記憶デバイスへのアクセスコマンドを保持するコマンドキューを備え、コマンドキューに保持されているアクセスコマンドの分析結果に基づき、記憶デバイスへの書き込みを禁止すべきかを判断し、書き込み禁止の場合、ホストからのアクセス要求に対してエラー応答を返すストレージ装置も提案されている。

特開２００４－２０６６２３号公報 国際公開第２０１５／１７０７０２号

ところで、制御装置が記憶装置に対して同時に送信可能なＩ／Ｏコマンドの最大数が、記憶装置が備えるコマンドキューのエントリ数より大きい場合、システム全体としてのＩ／Ｏ性能は記憶装置のＩ／Ｏ性能以下に制限される。また、このようなケースでは、例えば、制御装置から送信されたＩ／Ｏコマンドがコマンドキューからあふれた場合、記憶装置からコマンド送信のリトライ要求が頻繁に返信され、それに伴ってシステム全体の挙動が不安定になりやすくなる。その結果、システム全体としてのＩ／Ｏ性能が記憶装置の最大性能より低下してしまう可能性もある。

１つの側面では、本発明は、過大な数のコマンド発行によるＩ／Ｏ性能の低下を抑制可能なデータ中継装置、中継制御方法およびストレージシステムを提供することを目的とする。

１つの案では、記憶部、中継部および制御部を有する次のようなデータ中継装置が提供される。このデータ中継装置において、記憶部には、複数の記憶装置のそれぞれについて、送信可能なＩ／Ｏコマンドの上限数を示すコマンド上限数が登録される。中継部は、１以上の制御装置と複数の記憶装置との間で送受信されるデータを中継する。制御部は、１以上の制御装置のいずれかから中継部を介して複数の記憶装置のいずれかに送信され、かつ、複数の記憶装置のうち送信先の記憶装置から応答が返信されていないＩ／Ｏコマンドの数を示すコマンド数を、複数の記憶装置のそれぞれについて計数し、複数の記憶装置のうち一の記憶装置から、Ｉ／Ｏコマンドの送信のリトライが要求されると、一の記憶装置に対応するコマンド数の計数値から１減算した数を、一の記憶装置に対応するコマンド上限数として記憶部に登録し、中継部が１以上の制御装置のうち一の制御装置から一の記憶装置に対するＩ／Ｏコマンドを受信したとき、その受信直前における一の記憶装置に対応するコマンド数の計数値が一の記憶装置に対応するコマンド上限数に達している場合には、受信したＩ／Ｏコマンドを破棄するとともに、受信したＩ／Ｏコマンドの送信のリトライを一の制御装置に要求する。

また、１つの案では、上記のデータ中継装置と同様の処理が実行される中継制御方法が提供される。
さらに、１つの案では、上記のデータ中継装置、１以上の制御装置および複数の記憶装置を有するストレージシステムが提供される。

１つの側面では、過大な数のコマンド発行によるＩ／Ｏ性能の低下を抑制できる。

第１の実施の形態に係るストレージシステムの構成例および処理例を示す図である。 第２の実施の形態に係るストレージシステムの構成例を示す図である。 ＣＭのハードウェア構成例を示す図である。 ＤＥの内部構成例を示す図である。 ＤＥ内のＳＡＳエクスパンダの内部構成例を示す図である。 コマンド管理テーブルのデータ構成例を示す図である。 Ｉ／Ｏ要求受信処理の手順を示すフローチャートの例である。 正常応答受信処理の手順を示すフローチャートの例である。 コマンド上限数の設定処理手順を示すフローチャートの例である。 コマンド上限数が決定される場合の処理例を示すシーケンス図である。 コマンド上限数に基づいてＩ／Ｏコマンドの送信が抑止される場合の処理例を示すシーケンス図である。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係るストレージシステムの構成例および処理例を示す図である。図１に示すストレージシステムは、１以上の制御装置と、複数の記憶装置と、データ中継装置２０とを有する。図１では、１以上の制御装置として３台の制御装置１～３が例示され、複数の記憶装置として３台の記憶装置１１（＃１），１２（＃２），１３（＃３）が例示されている。

制御装置１～３は、データ中継装置２０を介して記憶装置１１～１３にアクセスする。記憶装置１１～１３のそれぞれに対して、制御装置１～３のうち２台以上の制御装置がアクセスする場合もある。制御装置１～３は、例えば、サーバなどのコンピュータ装置や、コンピュータ装置に搭載される通信インタフェース回路である。

記憶装置１１～１３は、制御装置１～３からのアクセス対象となる記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの不揮発性記憶装置として実現される。記憶装置１１～１３のそれぞれは、受信したＩ／Ｏコマンドを、その応答を返信するまで一時的に保持するコマンドキューを備える。コマンドキューは、複数のエントリを含んでいる。

データ中継装置２０は、図示しない中継部（例えば、ポートマルチプレクサ）を有し、この中継部の動作によって、制御装置１～３と記憶装置１１～１３との間で送受信されるデータを中継する。例えば、この中継部は、制御装置１～３のいずれかから送信されたＩ／Ｏコマンドを、その宛先が示す記憶装置に転送する。データ中継装置２０は、例えば、ＳＡＳ（Serial Attached ＳＣＳＩ，ＳＣＳＩ：Small Computer System Interface）エクスパンダ、ＰＣＩｅ（Peripheral Component Interconnect express）スイッチ、ＦＣ－ＡＬ（Fibre Channel Arbitrated Loop）ハブなどとして実現される。

このデータ中継装置２０は、記憶部２１と制御部２２を備える。
記憶部２１は、ＲＡＭ（Random Access Memory）などの記憶装置の記憶領域として実現される。記憶部２１には、記憶装置１１～１３のそれぞれについて、記憶装置の識別番号と、コマンド上限数とが対応付けて登録される。コマンド上限数は、対応する記憶装置に対して送信可能なＩ／Ｏコマンドの上限数を示す。図１では例として、記憶装置１１～１３のそれぞれの識別番号とコマンド上限数とが、記憶部２１に記憶された管理情報２３に登録される。

制御部２２は、例えば、プロセッサや、プロセッサを備えるコントローラ回路として実現される。制御部２２は、次のような処理を実行する。
制御部２２は、制御装置１～３のいずれかからデータ中継装置２０の中継部を介して記憶装置１１～１３のいずれかに送信され、かつ、送信先の記憶装置から応答が返信されていないＩ／Ｏコマンドの数を示すコマンド数を、記憶装置１１～１３のそれぞれについて計数する。

また、制御部２２は、記憶装置１１～１３のうちの１つから、Ｉ／Ｏコマンドの送信のリトライが要求されると、その記憶装置に対応するコマンド数の計数値から１減算した数を、その記憶装置に対応するコマンド上限数として管理情報２３に登録する。

さらに、制御部２２は、データ中継装置２０が制御装置１～３の１つから記憶装置１１～１３の１つに対するＩ／Ｏコマンドを受信したとき、管理情報２３を参照する。そして、制御部２２は、その受信直前におけるコマンド送信先の記憶装置に対応するコマンド数の計数値が、その記憶装置に対応するコマンド上限数に達している場合には、受信したＩ／Ｏコマンドを破棄する。これとともに、制御部２２は、受信したＩ／Ｏコマンドの送信のリトライを、コマンド送信元の制御装置に要求する。

例えば、記憶装置１１に対するＩ／ＯコマンドＣ１～Ｃ４が順に送信されたとする。Ｉ／ＯコマンドＣ１は制御装置１から送信され、Ｉ／ＯコマンドＣ２，Ｃ３は制御装置２から送信され、Ｉ／ＯコマンドＣ４は制御装置３から送信されたとする。データ中継装置２０がＩ／ＯコマンドＣ１～Ｃ４を順に受信して記憶装置１１に転送していくと、制御部２２による記憶装置１１についてのカウント値の計数値は１，２，３，４と変化する。ただし、Ｉ／ＯコマンドＣ４を受信した時点で、他のＩ／ＯコマンドＣ１～Ｃ３の応答は返信されていないものとする。

ここで、記憶装置１１から、Ｉ／ＯコマンドＣ４に対する応答として、コマンド送信のリトライを要求するリトライ要求Ｃ４ａが返信されたとする。この場合、制御部２２は、記憶装置１１についての現在のカウント値「４」から１を減算した値「３」を、記憶装置１１（＃１）に対応するコマンド上限数として管理情報２３に登録する。

その後、記憶装置１１に対するＩ／ＯコマンドＣ１１～Ｃ１４が順に送信されたとする。Ｉ／ＯコマンドＣ１１，Ｃ１２は制御装置１から送信され、Ｉ／ＯコマンドＣ１３は制御装置２から送信され、Ｉ／ＯコマンドＣ１４は制御装置３から送信されたとする。データ中継装置２０がＩ／ＯコマンドＣ１１～Ｃ１３を順に受信して記憶装置１１に転送していったとき、制御部２２による記憶装置１１についてのカウント値の計数値は１，２，３と変化したとする。

そして、制御部２２は、制御装置３からＩ／ＯコマンドＣ１４を受信したとき、管理情報２３を参照して記憶装置１１に対応するコマンド上限数を読み込む。このコマンド上限数は「３」であるので、Ｉ／ＯコマンドＣ１４の受信直前における記憶装置１１についてのカウント値の計数値「３」はコマンド上限数に達している。この場合、制御部２２は、受信したＩ／ＯコマンドＣ１４を破棄し、Ｉ／ＯコマンドＣ１４の送信のリトライをコマンド送信元の制御装置３に要求する。

以上の処理において、管理情報２３に登録されるコマンド上限数は、対応する記憶装置が備えるコマンドキューのエントリ数の推定値を示す。そして、データ中継装置２０がある記憶装置へのＩ／Ｏコマンドを受信したとき、その記憶装置についてのカウント値がその記憶装置に対応するコマンド上限数に達している場合には、記憶装置に対するＩ／Ｏコマンドの送信が抑止され、送信元の制御装置にコマンド送信のリトライが要求される。

このようなデータ中継装置２０の処理により、記憶装置のコマンドキューからＩ／Ｏコマンドがあふれないように、その記憶装置に対するＩ／Ｏコマンドの送信数が管理されるようになる。記憶装置では、コマンドキューのエントリ数を超える過大な数のＩ／Ｏコマンドを受信することがなくなり、それによって、コマンド送信のリトライを頻繁に要求する等の不安定な挙動を示す可能性がなくなる。したがって、記憶装置に対する過大な数のコマンド送信に起因するＩ／Ｏ性能の低下を抑制できる。

〔第２の実施の形態〕
図２は、第２の実施の形態に係るストレージシステムの構成例を示す図である。図２に示すストレージシステムは、ＣＥ（Controller Enclosure）１００およびＤＥ（Drive Enclosure）２００を含む。ＣＥ１００には、ＣＭ（Controller Module）１１０，１２０が搭載されている。ＤＥ２００には、複数のＨＤＤが搭載されている。

ＣＭ１１０，１２０には、ホスト装置３００が接続されている。ＣＭ１１０，１２０は、ホスト装置３００からの要求に応じて、ＤＥ２００に搭載されたＨＤＤにアクセスするストレージ制御装置である。例えば、ＣＭ１１０，１２０は、ＤＥ２００に搭載されたＨＤＤの記憶領域を用いた論理ボリュームを設定し、ホスト装置３００から論理ボリュームに対するアクセスを受け付ける。

なお、ＣＭ１１０，１２０とホスト装置３００とは、例えば、ファイバチャネルやｉＳＣＳＩなどを用いたＳＡＮ（Storage Area Network）を介して接続される。また、ＣＭ１１０，１２０には、複数のホスト装置３００が接続されていてもよい。また、ＤＥ２００が備える、ホスト装置３００からのアクセス対象となる記憶装置は、ＨＤＤに限らず、ＳＳＤなどの他の種類の不揮発性記憶装置であってもよい。

図３は、ＣＭのハードウェア構成例を示す図である。図３では例としてＣＭ１１０のハードウェア構成について示すが、ＣＭ１２０もＣＭ１１０と同様のハードウェア構成によって実現可能である。

ＣＭ１１０は、プロセッサ１１１、ＲＡＭ１１２、ＳＳＤ１１３、ＰＣＨ（Platform Controller Hub）１１４、ＣＡ（Channel Adapter）１１５、ＩＯＣ（Input Output Controller）１１６およびＳＡＳエクスパンダ（ＥＸＰ）１１７を備える。

プロセッサ１１１は、ＣＭ１１０全体を統括的に制御する。プロセッサ１１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ（Programmable Logic Device）のいずれかである。また、プロセッサ１１１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＧＰＵ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ１１２は、ＣＭ１１０の主記憶装置である。ＲＡＭ１１２は、プロセッサ１１１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１１２は、プロセッサ１１１による処理に用いる各種データを記憶する。

ＳＳＤ１１３は、ＣＭ１１０の補助記憶装置である。ＳＳＤ１１３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ＣＭ１１０は、補助記憶装置として、ＳＳＤ１１３の代わりにＨＤＤを備えていてもよい。ＰＣＨ１１４は、プロセッサ１１１とＳＳＤ１１３との間でデータを送受信する。

ＣＡ１１５は、ホスト装置３００と通信するためのインタフェースである。ＩＯＣ１１６は、プロセッサ１１１とＤＥ２００内のＨＤＤとの間でデータを送受信するためのインタフェースである。ＩＯＣ１１６は、ＳＡＳイニシエータとして動作するＳＡＳインタフェースである。ＳＡＳエクスパンダ１１７は、ＩＯＣ１１６とＤＥ２００との間で送受信されるデータを中継する。また、詳細は後述するが、ＩＯＣ１１６とＳＡＳエクスパンダ１１７は、他方のＣＭ１２０にも接続されている。

図４は、ＤＥの内部構成例を示す図である。なお、図４では、ＣＭ１１０，１２０、ＤＥ２００の間の接続状態についても図示している。
図４に示すように、ＤＥ２００は、ＨＤＤ２０１，２０２，２０３，・・・とＳＡＳエクスパンダ２１１，２１２を備える。

ＨＤＤ２０１，２０２，２０３，・・・は、図１に示した記憶装置１１～１３の一例であり、ホスト装置３００からのアクセス対象となる記憶装置である。ＨＤＤ２０１，２０２，２０３，・・・のそれぞれは、ＳＡＳエクスパンダ２１１，２１２の両方に接続されている。ＳＡＳエクスパンダ２１１は、ＣＭ１１０のＳＡＳエクスパンダ１１７とＨＤＤ２０１，２０２，２０３，・・・との間で送受信されるデータを中継する。一方、ＳＡＳエクスパンダ２１２は、ＣＭ１２０のＳＡＳエクスパンダ１２７とＨＤＤ２０１，２０２，２０３，・・・との間で送受信されるデータを中継する。

次に、図４を用いて、ＩＯＣからＤＥ２００内のＨＤＤに対するアクセス経路について説明する。
ＣＭ１１０のＩＯＣ１１６と、ＤＥ２００内の各ＨＤＤとの間のアクセス経路は、２系統設けられている。具体的には、ＩＯＣ１１６からＤＥ２００のＨＤＤ２０１，２０２，２０３，・・・に対するアクセス経路としては、ＳＡＳエクスパンダ１１７，２１１を経由する経路と、ＳＡＳエクスパンダ１２７，２１２を経由する経路とがある。

同様に、ＣＭ１２０のＩＯＣ１２６と、ＤＥ２００内の各ＨＤＤとの間のアクセス経路も、２系統設けられている。具体的には、ＩＯＣ１２６からＤＥ２００のＨＤＤ２０１，２０２，２０３，・・・に対するアクセス経路としては、ＳＡＳエクスパンダ１２７，２１２を経由する経路と、ＳＡＳエクスパンダ１１７，２１１を経由する経路とがある。

このように、ＩＯＣ１１６，１２６から各ＨＤＤに対するアクセス経路は冗長化されている。これにより、ＩＯＣ１１６，１２６は、一方のアクセス経路を用いてＨＤＤにアクセスできない場合に、他方のアクセス経路を用いてＨＤＤへのアクセスを試みることが可能になる。

本実施の形態では、ＩＯＣ１１６から各ＨＤＤに対するアクセス経路のうち、ＳＡＳエクスパンダ１１７を経由する経路が通常時に使用されるアクセス経路であるものとする。また、ＳＡＳエクスパンダ１２７を経由する経路は、ＳＡＳエクスパンダ１１７を経由する経路が使用できない場合に予備的に使用されるアクセス経路であるものとする。

ところで、記憶装置にＩ／Ｏコマンドを発行するＩＯＣの高性能化が進んでおり、それに伴って、記憶装置が受信したＩ／Ｏコマンドを一時的に保持するコマンドキューのエントリ数も増加している。記憶装置が備えるコマンドキューのエントリ数が多くなるほど、ＩＯＣは送信したＩ／Ｏコマンドに対する応答を待つことなく、さらに多くのＩ／Ｏコマンドを送信できるようになる。その結果、一定時間内に処理されるＩ／Ｏコマンド数が増加し、システム全体としてのＩ／Ｏ性能が向上する。

しかし、実際の製品におけるＩＯＣと記憶装置との組み合わせは様々であるので、場合によっては、ＩＯＣの性能と記憶装置が備えるコマンドキューのエントリ数とのバランスが悪くなり、それによってＩ／Ｏ性能の低下を招くことがある。例えば、ＩＯＣの性能が高く、ＩＯＣが短時間に多くのコマンドを送信できたとしても、記憶装置が備えるコマンドキューのエントリ数が少なければ、システム全体としてのＩ／Ｏ性能は記憶装置側の最大性能以下に抑えられてしまう。それどころか、記憶装置からコマンド送信のリトライ要求が頻繁に送信される等の不安定な挙動が発生しやすくなり、その結果、システム全体としてのＩ／Ｏ性能が記憶装置側の最大性能より低下してしまう可能性もある。

ここで、記憶装置に対して単独のＩＯＣのみからＩ／Ｏコマンドが送信される場合、ＩＯＣは例えば、送信済みコマンド数と応答時間とに基づいて、記憶装置に対して同時に送信可能な最大コマンド数を推定できる。ここでいう「同時に送信可能な最大コマンド数」とは、記憶装置に対して応答を待たずに送信可能なＩ／Ｏコマンドの最大数を指し、これは通常、記憶装置が備えるコマンドキューのエントリ数を示す。このような推定ができれば、ＩＯＣは、Ｉ／Ｏ性能が低下しないようにコマンド送信数を適切に管理できる。

しかしながら、本実施の形態では、ＤＥ２００内の個々の記憶装置（ＨＤＤ）に対して、複数のＩＯＣ（ＩＯＣ１１６，１２６）からＩ／Ｏコマンドが送信される。このような構成の場合、各ＩＯＣは上記の方法によって各記憶装置に同時に送信可能な最大コマンド数を推定することができない。このため、ＩＯＣは、Ｉ／Ｏ性能が低下しないようにコマンド送信数を管理することは難しい。

また、例えば、記憶装置に同時に送信可能な最大コマンド数をＩＯＣに固定値で設定した場合には、将来的にそのＩＯＣに対して、その記憶装置よりコマンドキューのエントリ数が多い別の記憶装置が接続されたとしても、最大コマンド数を増やすことができない。このため、コマンドキューのエントリ数が多い記憶装置に最大性能を発揮させることができなくなってしまう。

そこで、本実施の形態では、複数のＩＯＣと各記憶装置との間に存在する中継装置（ＳＡＳエクスパンダ）に、同時に送信可能な最大コマンド数を記憶装置ごとに推定する機能が搭載される。中継装置は、この最大コマンド数の推定結果に基づき、記憶装置のコマンドキューからＩ／Ｏコマンドがあふれないように、ＩＯＣから送信されたＩ／Ｏコマンドの転送可否を判定する。これにより、記憶装置に対する過大な数のコマンド送信によるＩ／Ｏ性能の低下を抑制する。

本実施の形態では、この最大コマンド数の推定機能が、ＤＥ２００内のＳＡＳエクスパンダ２１１，２１２に搭載されるものとする。なお、この場合、ＳＡＳエクスパンダ２１１，２１２は、図１に示したデータ中継装置２０の一例であり、ＩＯＣ１１６，１２６は、図１に示した制御装置１～３の一例である。

図５は、ＤＥ内のＳＡＳエクスパンダの内部構成例を示す図である。図５では例としてＳＡＳエクスパンダ２１１の内部構成について示すが、ＳＡＳエクスパンダ２１２もＳＡＳエクスパンダ２１１と同様の内部構成を有する。

ＳＡＳエクスパンダ２１１は、ハードウェアとして、ポート２２１，２２２，２２３，２２４，・・・、スイッチ２３０、コントローラ２４０およびメモリ２５０を備える。
ポート２２１，２２２，２２３，２２４，・・・は、外部デバイスとの間でデータを送受信する通信ポートである。本実施の形態では例として、ポート２２１がＣＭ１１０のＳＡＳエクスパンダ１１７に接続され、ポート２２２，２２３，２２４がそれぞれＤＥ２００内のＨＤＤ２０１，２０２，２０３に接続されているものとする。

スイッチ２３０は、コントローラ２４０による制御の下で、ポート間の接続を切り替え、ポート間で送受信されるデータを中継する。なお、スイッチ２３０は、図１に示したデータ中継装置２０が備える図示しない中継部の一例である。

コントローラ２４０は、図１に示した制御部２２の一例であり、例えばプロセッサを備える制御回路である。コントローラ２４０は、スイッチ２３０における接続切り替え動作を制御する。また、コントローラ２４０は、ＩＯＣから受信したＩ／Ｏコマンドの転送を抑止したり、Ｉ／Ｏコマンドに対して応答することも可能である。

メモリ２５０は、図１に示した記憶部２１の一例であり、例えばＲＡＭやフラッシュメモリとして実現される。メモリ２５０には、コントローラ２４０の処理で利用される各種のデータが記憶される。例えば、メモリ２５０には、コマンド管理テーブル２５１が記憶される。

図６は、コマンド管理テーブルのデータ構成例を示す図である。図６に示すように、コマンド管理テーブル２５１は、ポート番号、コマンド番号、経過時間、コマンド上限数の各項目を含む。

ポート番号は、ＳＡＳエクスパンダ２１１が備えるポート２２１，２２２，２２３，２２４，・・・のうち、ＨＤＤ２０１，２０２，２０３，・・・に接続されたポートの識別番号を示す。各ポート番号に対して、１つのコマンド上限数が対応付けて登録されるとともに、１つ以上のコマンド番号が登録される。さらに、各コマンド番号には１つの経過時間が対応付けて登録される。

コマンド番号は、対応するポートに接続されたＨＤＤに対して送信済みであり、なおかつ、応答が返信されていないＩ／Ｏコマンドの識別番号を示す。該当するＩ／Ｏコマンドが発生すると、コマンド番号と経過時間とを含むレコードがコマンド管理テーブル２５１に登録される。なお、１つのポートに対応付けられたコマンド番号の項目は、そのポートに対応するコマンドキューとしての動作を果たす、ともいえる。

経過時間は、対応するＩ／ＯコマンドがＨＤＤに送信されてからの経過時間を示す。経過時間の項目には、初期値として「０」が登録され、時間経過にしたがって登録された値が増加されていく。

コマンド上限数は、対応するポートに接続されたＨＤＤに対して同時に送信可能なＩ／Ｏコマンドの上限数を示す。
次に、図５を参照して、ＳＡＳエクスパンダ２１１が備える処理機能について説明する。ＳＡＳエクスパンダ２１１は、コマンド処理部２４１とタイマ２４２を備える。コマンド処理部２４１とタイマ２４２は、コントローラ２４０によって実現される。

コマンド処理部２４１は、ＨＤＤに転送済みのＩ／Ｏコマンドのうち、応答が返信されていないＩ／Ｏコマンド（未完了コマンド）の数を、ＨＤＤごとに計数する。この計数値は、コマンド管理テーブル２５１において、該当するＨＤＤに接続するポートに対応付けられたコマンド番号の数によって示される。コマンド処理部２４１は、あるＨＤＤに送信された未完了コマンドのいずれかについて、少なくとも、そのＨＤＤからコマンド送信のリトライが要求された場合に、そのＨＤＤの未完了コマンド数に基づいてコマンド上限数を決定し、コマンド管理テーブル２５１に登録する。

コマンド処理部２４１はそれ以後、そのＨＤＤについての未完了コマンド数がコマンド上限数を超えないように、ＨＤＤに転送するＩ／Ｏコマンド数を管理する。そして、コマンド処理部２４１は、コマンド上限数を超えてＩＯＣから受信したＩ／Ｏコマンドを破棄し、ＩＯＣにコマンド送信のリトライを要求する。

タイマ２４２は、ＨＤＤに転送されたＩ／Ｏコマンドのそれぞれについて、転送時からの経過時間を計時し、コマンド管理テーブル２５１に登録する。コマンド処理部２４１は、上記のようなＨＤＤからのリトライ要求に加え、経過時間に応じてコマンド上限数を決定することもできる。

図７は、Ｉ／Ｏ要求受信処理の手順を示すフローチャートの例である。
［ステップＳ１１］ＳＡＳエクスパンダ２１１のポート２２１が、いずれかのＩＯＣから送信されたＩ／Ｏコマンドを受信すると、コマンド処理部２４１がステップＳ１２以降の処理を開始する。なお、Ｉ／Ｏコマンドは、いずれかのＨＤＤに対してＩ／Ｏ処理（書き込み処理または読み出し処理）を要求するためのコマンドである。

［ステップＳ１２］コマンド処理部２４１は、コマンド管理テーブル２５１を参照して、Ｉ／Ｏコマンドの宛先ＨＤＤについての未完了コマンド数を計数するとともに、同じ宛先ＨＤＤに対応付けられたコマンド上限数を読み込む。未完了コマンド数は、コマンド管理テーブル２５１において、宛先ＨＤＤに接続するポートに対応付けて登録されたコマンド番号の数として計数される。コマンド上限数としては、このポートに対応付けて登録されたコマンド上限数が読み込まれる。

コマンド処理部２４１は、未完了コマンド数がコマンド上限数より小さいかを判定する。未完了コマンド数がコマンド上限数より小さい場合、処理がステップＳ１３に進められ、未完了コマンド数がコマンド上限数に達している場合、処理がステップＳ１５に進められる。

［ステップＳ１３］コマンド処理部２４１は、受信したＩ／Ｏコマンドを示すコマンド番号を、宛先ＨＤＤに接続するポートに対応付けてコマンド管理テーブル２５１に新規登録する。また、コマンド処理部２４１は、登録されたコマンド番号に対応する経過時間として初期値「０」を登録し、タイマ２４２に経過時間のカウントを開始させる。これ以後、タイマ２４２は、一定時間ごとに経過時間の登録値を増加させていく。

［ステップＳ１４］コマンド処理部２４１は、スイッチ２３０を制御して、受信したＩ／Ｏコマンドを宛先ＨＤＤが接続されたポートを介してそのＨＤＤに転送させる。
［ステップＳ１５］コマンド処理部２４１は、スイッチ２３０を制御して、受信したＩ／Ｏコマンドの送信先ＩＯＣに対して、そのＩ／Ｏコマンドの送信のリトライを要求するリトライ要求コマンドを返信させる。

［ステップＳ１６］コマンド処理部２４１は、受信したＩ／Ｏコマンドを破棄する。
以上の処理によれば、Ｉ／Ｏコマンドの受信時において、未完了コマンド数が宛先ＨＤＤに対応するコマンド上限数に達していない場合には、そのＩ／Ｏコマンドが宛先ＨＤＤに転送される。これとともに、そのＩ／Ｏコマンドがコマンド管理テーブル２５１に登録され、未完了コマンドとして計数される対象になる。

一方、Ｉ／Ｏコマンドの受信時において、未完了コマンド数が宛先ＨＤＤに対応するコマンド上限数に達している場合には、そのＩ／Ｏコマンドが破棄され、送信元ＩＯＣに対してコマンド送信のリトライが要求される。Ｉ／Ｏコマンドの破棄により、未完了コマンド数が、宛先ＨＤＤが備えるコマンドキューのエントリ数の予測値（すなわち、コマンド上限数）を超えないように制御される。

図８は、正常応答受信処理の手順を示すフローチャートの例である。
［ステップＳ２１］コマンド処理部２４１は、ＨＤＤに接続されたポートが、送信済みのＩ／Ｏコマンドに応じたＩ／Ｏ処理が正常に実行されたことを示す正常応答を受信することを監視する。例えば、Ｉ／Ｏコマンドによってデータの書き込みが要求された場合、正常応答は、書き込みが正常に完了したことを示す。また、Ｉ／Ｏコマンドによってデータの読み出しが要求された場合、正常応答は、読み出しが要求されたデータを返信するための応答情報である。正常応答の受信が検知されると、処理がステップＳ２２に進められる。

［ステップＳ２２］コマンド処理部２４１は、スイッチ２３０を制御して、受信した正常応答を送信先ＩＯＣ（対応するＩ／Ｏコマンドの送信元ＩＯＣ）に転送させる。
［ステップＳ２３］コマンド処理部２４１は、コマンド管理テーブル２５１から、受信した正常応答に対応するＩ／Ｏコマンドに関する情報（コマンド番号および経過時間）を削除する。

図９は、コマンド上限数の設定処理手順を示すフローチャートの例である。
［ステップＳ３１］タイマ２４２は、コマンド管理テーブル２５１に登録された未完了コマンドのそれぞれについて、経過時間が所定の閾値に達したか否かを監視する。経過時間が閾値に達すると、対応する未完了コマンドについてタイムアウトが発生したと判定される。

コマンド処理部２４１は、未完了コマンドについてタイムアウトが発生したかを判定する。いずれかの未完了コマンドについてタイムアウトが発生した場合、処理がステップＳ３４に進められ、すべての未完了コマンドについてタイムアウトが発生していない場合、処理がステップＳ３２に進められる。

［ステップＳ３２］コマンド処理部２４１は、ＨＤＤに接続されたいずれかのポートが、ＨＤＤからコマンド送信のリトライ要求を受信したかを判定する。リトライ要求を受信したと判定されるケースとは、例えば、送信されたＩ／Ｏコマンドに対するエラー応答が受信され、そのエラー応答においてコマンド送信のリトライを要求する情報が付加されているケースである。リトライ要求を受信した場合、処理がステップＳ３４に進められ、リトライ要求を受信していない場合、処理がステップＳ３３に進められる。

［ステップＳ３３］コマンド処理部２４１は、ポート２２１がＩＯＣからＩ／Ｏコマンドの送信をリトライするリトライコマンドを受信したかを判定する。リトライコマンドを受信した場合、処理がステップＳ３４に進められる。一方、リトライコマンドを受信していない場合、処理がステップＳ３１に進められ、ステップＳ３１～Ｓ３３の判定処理が再度実行される。

［ステップＳ３４］コマンド処理部２４１は、コマンド上限数の設定対象のＨＤＤを特定する。ステップＳ３１でＹｅｓと判定された場合、設定対象のＨＤＤは、タイムアウトが発生したＩ／Ｏコマンドの送信先ＨＤＤである。ステップＳ３２でＹｅｓと判定された場合、設定対象のＨＤＤは、リトライ要求の送信元ＨＤＤである。ステップＳ３３でＹｅｓと判定された場合、設定対象のＨＤＤは、リトライコマンドの送信先ＨＤＤである。

コマンド処理部２４１は、コマンド管理テーブル２５１を参照して、特定されたＨＤＤについての未完了コマンド数を計数する。未完了コマンド数は、コマンド管理テーブル２５１において、該当ＨＤＤに接続するポートに対応付けて登録されたコマンド番号の数として計数される。

コマンド処理部２４１は、計数された未完了コマンド数から「１」を減算した値を、コマンド管理テーブル２５１において該当ＨＤＤに接続するポートに対応付けられたコマンド上限数の項目に、上書きして設定する。

［ステップＳ３５］コマンド処理部２４１は、ステップＳ３１～Ｓ３３における発生事象に応じた処理を実行する。
ステップＳ３１でＹｅｓと判定された場合、コマンド処理部２４１は、スイッチ２３０を制御して、タイムアウトが発生したＩ／Ｏコマンドに対する応答情報として、エラーが発生したことを示すエラー応答をコマンド送信元のＩＯＣに返信させる。このエラー応答には、タイムアウトが発生したことを示す情報が付加されていてもよい。また、コマンド処理部２４１は、コマンド管理テーブル２５１から、タイムアウトが発生したＩ／Ｏコマンドに関する情報（コマンド番号および経過時間）を削除する。

ステップＳ３２でＹｅｓと判定された場合、スイッチ２３０を制御して、リトライが要求されたＩ／Ｏコマンドをリトライ要求の送信元ＨＤＤに再送信させる。また、コマンド処理部２４１は、コマンド管理テーブル２５１において、このＩ／Ｏコマンドに対応付けられた経過時間を「０」にリセットする。

ステップＳ３３でＹｅｓと判定された場合、コマンド処理部２４１は、図７の処理におけるＩ／ＯコマンドをＩＯＣからのリトライコマンドに置き換えて、図７のステップＳ１２～Ｓ１６の処理を実行する。

以上の図９の処理では、ステップＳ３２でＹｅｓと判定された場合、リトライ要求の送信元ＨＤＤにおいて、受信したＩ／Ｏコマンドがコマンドキューからあふれる事態が発生したと推定される。このため、このＨＤＤに対してすでに送信済みである未完了コマンドの数が、ＨＤＤが備えるコマンドキューのエントリ数と一致すると推定される。したがって、ステップＳ３２でＹｅｓと判定された時点での未完了コマンド数が、このＨＤＤに対応するコマンド上限数に決定される。

また、ステップＳ３１，Ｓ３３でＹｅｓと判定された場合、該当するＨＤＤにおいて応答遅延が発生したと推定される。このため、このＨＤＤに対してすでに送信済みである未完了コマンドの数が、ＨＤＤが備えるコマンドキューのエントリ数と一致する可能性が高いと推定される。したがって、ステップＳ３１，Ｓ３３でＹｅｓと判定された時点での未完了コマンド数が、このＨＤＤに対応するコマンド上限数に決定される。

次に、ストレージシステムの処理例についてシーケンス図を用いて説明する。
図１０は、コマンド上限数が決定される場合の処理例を示すシーケンス図である。図１０では例として、ＨＤＤからのコマンド送信のリトライ要求に応じてコマンド上限数が決定される場合を示す。

図１０の例では、ＨＤＤ２０１に対するＩ／Ｏコマンド＃１～＃６が、順に送信される（ステップＳ４１ａ～Ｓ４１ｆ）。例として、Ｉ／Ｏコマンド＃１～＃３はＩＯＣ１１６から送信され、Ｉ／Ｏコマンド＃４～＃６はＩＯＣ１２６から送信されるものとする。これらのＩ／Ｏコマンド＃１～＃６は、ＳＡＳエクスパンダ２１１を介してＨＤＤ２０１に送信される。

ここで、ＨＤＤ２０１が備えるコマンドキューのエントリ数は「５」であるとする。ＨＤＤ２０１では、受信したＩ／Ｏコマンド＃１～＃５が、それぞれコマンドキューのエントリに登録されて、コマンド内容に応じた処理が実行される。しかし、ＨＤＤ２０１は、Ｉ／Ｏコマンド＃１～＃５に応じた各処理の実行が完了しない状態でＩ／Ｏコマンド＃６を受信すると、このＩ／Ｏコマンド＃６を処理できないので、コマンド送信のリトライ要求＃６ａを返信する（ステップＳ４２）。

ＳＡＳエクスパンダ２１１は、ＨＤＤ２０１からのリトライ要求＃６ａを受信する。このとき、ＳＡＳエクスパンダ２１１のコマンド管理テーブル２５１には、ＨＤＤ２０１に接続するポートに対応付けてＩ／Ｏコマンド＃１～＃６が登録されているので、ＨＤＤ２０１に対応する未完了コマンド数は「６」である。ＳＡＳエクスパンダ２１１は、未完了コマンド数「６」から「１」を減算した「５」をＨＤＤ２０１に対応するコマンド上限数に決定し、コマンド管理テーブル２５１において、ＨＤＤ２０１に接続するポートに対応付けられたコマンド上限数に「５」を設定する（ステップＳ４３）。

このステップＳ４３では、未完了コマンドのうち、リトライ要求＃６ａに対応する未完了コマンドを除く他の５個の未完了コマンドがＨＤＤ２０１のコマンドキューに登録され、リトライ要求＃６ａに対応する未完了コマンドがコマンドキューからあふれたと推定される。このため、ＨＤＤ２０１が備えるコマンドキューのエントリ数は「５」であると推定され、ＨＤＤ２０１に対応するコマンド上限数として「５」が設定される。

なお、ＨＤＤ２０１では、Ｉ／Ｏコマンド＃１～＃５にそれぞれ対応するＩ／Ｏ処理が実行されると、Ｉ／Ｏコマンド＃１～＃５にそれぞれ対応する正常応答＃１ｂ～＃５ｂが返信される（ステップＳ４４ａ～Ｓ４４ｅ）。正常応答＃１ｂ～＃３ｂは、ＳＡＳエクスパンダ２１１からＩＯＣ１１６に転送され、正常応答＃４ｂ，＃５ｂは、ＳＡＳエクスパンダ２１１からＩＯＣ１２６に転送される。

図１１は、コマンド上限数に基づいてＩ／Ｏコマンドの送信が抑止される場合の処理例を示すシーケンス図である。図１１の初期状態では、図１０に示した処理により、ＨＤＤ２０１に対応するコマンド上限数として「５」が設定されているものとする。また、説明を簡単にするために、図１１の初期状態では、コマンド管理テーブル２５１にはＨＤＤ２０１についての未完了コマンドが登録されていないものとする。

図１１の例では、ＨＤＤ２０１に対するＩ／Ｏコマンド＃１１～＃１６が、順に送信される（ステップＳ５１ａ～Ｓ５１ｆ）。例として、Ｉ／Ｏコマンド＃１１～＃１３はＩＯＣ１１６から送信され、Ｉ／Ｏコマンド＃１４～＃１６はＩＯＣ１２６から送信されるものとする。これらのＩ／Ｏコマンド＃１１～＃１６は、ＳＡＳエクスパンダ２１１を介してＨＤＤ２０１に送信される。

ここで、ＳＡＳエクスパンダ２１１がＩ／Ｏコマンド＃１１～＃１５をそれぞれ受信したとき（ＨＤＤ２０１に転送する前）、コマンド管理テーブル２５１に登録されている、ＨＤＤ２０１に対応する未完了コマンド数は、コマンド上限数「５」より小さい。しかし、ＳＡＳエクスパンダ２１１は、Ｉ／Ｏコマンド＃１６を受信した時点で、ＨＤＤ２０１に対応する未完了コマンド数がコマンド上限数「５」と一致したと判定する（ステップＳ５２）。この場合、ＳＡＳエクスパンダ２１１は、受信したＩ／Ｏコマンド＃１６を破棄し、ＩＯＣ１２６に対して、Ｉ／Ｏコマンド＃１６の送信のリトライを要求するリトライ要求＃１６ａを返信する（ステップＳ５３）。

これにより、ＨＤＤ２０１が備えるコマンドキューのエントリ数を超える数のＩ／ＯコマンドがＨＤＤ２０１に送信される事態の発生が回避される。このため、ＨＤＤ２０１が、コマンドキューからあふれたＩ／Ｏコマンドについてのリトライ要求を送信する可能性が低くなり、例えば、そのようなリトライ要求の頻繁な送信によってシステム全体の挙動が不安定になる可能性も低くなる。その結果、システム全体のＩ／Ｏ性能が低下する可能性を抑制できる。

リトライ要求＃１６ａを受信したＩＯＣ１２６は、Ｉ／Ｏコマンド＃１６を再度送信する（ステップＳ５４）。一方、ＨＤＤ２０１では、Ｉ／Ｏコマンド＃１１～＃１５にそれぞれ対応するＩ／Ｏ処理が実行され、Ｉ／Ｏコマンド＃１１～＃１５にそれぞれ対応する正常応答＃１１ｂ～＃１５ｂが返信される（ステップＳ５５ａ～Ｓ５５ｅ）。正常応答＃１１ｂ～＃１３ｂは、ＳＡＳエクスパンダ２１１からＩＯＣ１１６に転送され、正常応答＃１４ｂ，＃１５ｂは、ＳＡＳエクスパンダ２１１からＩＯＣ１２６に転送される。

ここで、ＳＡＳエクスパンダ２１１は、例えば、正常応答＃１１ｂをＩＯＣ１１６に転送した直後のタイミングで、ＩＯＣ１２６から再送されたＩ／Ｏコマンド＃１６を受信したとする。このとき、ＨＤＤ２０１に対応する未完了コマンド数は「４」であり、コマンド上限数「５」より低くなっている。このため、ＳＡＳエクスパンダ２１１は、受信したＩ／Ｏコマンド＃１６をＨＤＤ２０１に転送する。

このように、ＳＡＳエクスパンダ２１１でＨＤＤへの転送が抑止されたＩ／Ｏコマンドは、ＳＡＳエクスパンダ２１１からのリトライ要求に応じてＩＯＣから再送される。このとき、ＨＤＤへ転送済みのＩ／Ｏコマンドの応答が完了している可能性があるので、再送されたＩ／ＯコマンドがＨＤＤに転送される可能性が高い。

ここで、ＨＤＤのコマンドキューからＩ／Ｏコマンドがあふれる可能性があるケースでは、ＨＤＤ２０１からコマンド送信のリトライが要求されるより、ＳＡＳエクスパンダ２１１からリトライが要求される方が、経路上の装置や回路が少なくなるので、送信タイミングの遅延が小さくなる可能性が高い。このため、システム全体としてのＩ／Ｏ性能を向上させることができる。

以上説明したストレージシステムでは、ＩＯＣからアクセスされる記憶装置に対して、その記憶装置が備えるコマンドキューのエントリ数を超えてＩ／Ｏコマンドが同時に送信されなくなり、記憶装置が可能な限り高いＩ／Ｏ性能を発揮できるようになる。一方、ＩＯＣから見ると、ＩＯＣ自身の性能に応じたできるだけ多くのＩ／Ｏコマンドを同時に送信可能でありながら、実際には記憶装置が処理できない余剰のＩ／Ｏコマンドの送信がＳＡＳエクスパンダにおいて抑止される。

結果として、記憶装置のコマンドキューからＩ／Ｏコマンドがあふれない範囲でできるだけ多くのＩ／Ｏコマンドが記憶装置に対して同時に送信されるようになり、システム全体としてのＩ／Ｏ性能を適切に維持できるようになる。例えば、ＩＯＣの最大性能が記憶装置の最大性能より低い場合に、システム全体としてのＩ／Ｏ性能が記憶装置の最大性能より低くなる可能性を抑制できる。

なお、以上の第２の実施の形態では、図５に示したコマンド処理部２４１やタイマ２４２の処理機能がＳＡＳエクスパンダ２１１，２１２に搭載されていた。しかし、これらの処理機能は、例えば、ＳＡＳエクスパンダ２１１，２１２の代わりにＳＡＳエクスパンダ１１７，１２７に搭載されていてもよい。この場合、ＳＡＳエクスパンダ１１７，１２７のコマンド管理テーブル２５１では、ＨＤＤに接続されるポートごとでなく、Ｉ／Ｏコマンドの送信先となるＨＤＤごとに、Ｉ／Ｏコマンドや経過時間、コマンド上限数が管理されればよい。

また、上記の各実施の形態に示した装置（例えば、制御装置１～３、データ中継装置２０、ＣＭ１１０，１２０、ホスト装置３００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１～３ 制御装置
１１～１３ 記憶装置
２０ データ中継装置
２１ 記憶部
２２ 制御部
２３ 管理情報
Ｃ１～Ｃ４，Ｃ１１～Ｃ１４ Ｉ／Ｏコマンド
Ｃ４ａ，Ｃ１４ａ リトライ要求

Claims (5)

1. 複数の記憶装置のそれぞれについて、送信可能なＩ／Ｏ（Input／Output）コマンドの上限数を示すコマンド上限数が登録される記憶部と、
   １以上の制御装置と前記複数の記憶装置との間で送受信されるデータを中継する中継部と、
   前記１以上の制御装置のいずれかから前記中継部を介して前記複数の記憶装置のいずれかに送信され、かつ、前記複数の記憶装置のうち送信先の記憶装置から応答が返信されていないＩ／Ｏコマンドの数を示すコマンド数を、前記複数の記憶装置のそれぞれについて計数し、
   前記複数の記憶装置のうち一の記憶装置から、Ｉ／Ｏコマンドの送信のリトライが要求されると、前記一の記憶装置に対応する前記コマンド数の計数値から１減算した数を、前記一の記憶装置に対応する前記コマンド上限数として前記記憶部に登録し、
   前記中継部が前記１以上の制御装置のうち一の制御装置から前記一の記憶装置に対するＩ／Ｏコマンドを受信したとき、その受信直前における前記一の記憶装置に対応する前記コマンド数の計数値が前記一の記憶装置に対応する前記コマンド上限数に達している場合には、受信したＩ／Ｏコマンドを破棄するとともに、受信したＩ／Ｏコマンドの送信のリトライを前記一の制御装置に要求する、制御部と、
   を有するデータ中継装置。
2. 前記制御部は、さらに、前記一の記憶装置に送信されたいずれかのＩ／Ｏコマンドについて、送信からの経過時間が所定の閾値に達した場合にも、前記一の記憶装置に対応する前記コマンド数の計数値から１減算した数を、前記一の記憶装置に対応する前記コマンド上限数として前記記憶部に登録する、
   請求項１記載のデータ中継装置。
3. 前記制御部は、さらに、前記一の記憶装置に送信されたいずれかのＩ／Ｏコマンドに対応するリトライコマンドを前記１以上の制御装置のいずれかから受信した場合、前記一の記憶装置に対応する前記コマンド数の計数値から１減算した数を、前記一の記憶装置に対応する前記コマンド上限数として前記記憶部に登録する、
   請求項１または２記載のデータ中継装置。
4. １以上の制御装置と複数の記憶装置との間で送受信されるデータを中継するデータ中継装置における中継制御方法であって、
   前記データ中継装置が、
   前記１以上の制御装置のいずれかから前記データ中継装置を介して前記複数の記憶装置のいずれかに送信され、かつ、前記複数の記憶装置のうち送信先の記憶装置から応答が返信されていないＩ／Ｏコマンドの数を示すコマンド数を、前記複数の記憶装置のそれぞれについて計数し、
   前記複数の記憶装置のうち一の記憶装置から、Ｉ／Ｏコマンドの送信のリトライが要求されると、前記一の記憶装置に対応する前記コマンド数の計数値から１減算した数を、前記一の記憶装置に対応するコマンド上限数として記憶部に登録し、
   前記１以上の制御装置のうち一の制御装置から前記一の記憶装置に対するＩ／Ｏコマンドを受信したとき、その受信直前における前記一の記憶装置に対応する前記コマンド数の計数値が前記一の記憶装置に対応する前記コマンド上限数に達している場合には、受信したＩ／Ｏコマンドを破棄するとともに、受信したＩ／Ｏコマンドの送信のリトライを前記一の制御装置に要求する、
   中継制御方法。
5. １以上の制御装置と、複数の記憶装置と、データ中継装置とを有するストレージシステムであって、
   前記データ中継装置は、
   前記複数の記憶装置のそれぞれについて、送信可能なＩ／Ｏコマンドの上限数を示すコマンド上限数が登録される記憶部と、
   前記１以上の制御装置と前記複数の記憶装置との間で送受信されるデータを中継する中継部と、
   前記１以上の制御装置のいずれかから前記中継部を介して前記複数の記憶装置のいずれかに送信され、かつ、前記複数の記憶装置のうち送信先の記憶装置から応答が返信されていないＩ／Ｏコマンドの数を示すコマンド数を、前記複数の記憶装置のそれぞれについて計数し、
   前記複数の記憶装置のうち一の記憶装置から、Ｉ／Ｏコマンドの送信のリトライが要求されると、前記一の記憶装置に対応する前記コマンド数の計数値から１減算した数を、前記一の記憶装置に対応する前記コマンド上限数として前記記憶部に登録し、
   前記中継部が前記１以上の制御装置のうち一の制御装置から前記一の記憶装置に対するＩ／Ｏコマンドを受信したとき、その受信直前における前記一の記憶装置に対応する前記コマンド数の計数値が前記一の記憶装置に対応する前記コマンド上限数に達している場合には、受信したＩ／Ｏコマンドを破棄するとともに、受信したＩ／Ｏコマンドの送信のリトライを前記一の制御装置に要求する、制御部と、
   を有する、
   ストレージシステム。

Images