JP2023045641A - ストレージシステム及び制御方法 - Google Patents

Abstract

【課題】
ネットワーク品質に応じて、ノード障害の誤検出を避けながらも、フェイルオーバー時間を短縮する。
【解決手段】
データを記憶する記憶装置と、記憶装置に入出力するデータを処理するプロセッサを有する複数のストレージノードと、複数のストレージノードを接続するネットワークと、を備えるストレージシステムにおいて、上記複数のストレージノードは、互いの稼働状況を監視して、タイムアウト値に基づいてストレージノードの障害発生を判断するノード障害検出を行い、ストレージノードに障害が発生した場合にそのストレージノードの処理を他のストレージが引き継ぐフェイルオーバー処理を行い、ストレージノード間のネットワークの状況に基づいて、タイムアウト値を調整する。
【選択図】図１４

Description

本発明は、ストレージシステム及び制御方法に関し、例えば、それぞれ１または複数のＳＤＳ（Software Defined Storage）が実装された複数のストレージノードを備えるストレージシステムに適用して好適なものである。なお、以下において、ＳＤＳとは、ストレージ機能を有するソフトウェアが実装された複数の汎用サーバをクラスタ化して構築されるストレージ装置を指す。

近年、ストレージをソフトウェア化して任意のインフラ環境で動作させるＳＤＳ（Software Defined Storage）の市場が成長している。ＳＤＳは複数の汎用サーバをクラスタ化した構成になっており、その障害時には、待機システムに切り替えるフェイルオーバーが行われる。

例えば、特許文献１には、ＳＤＳ障害時のフェイルオーバーの方法が開示されている。特許文献１に開示された情報処理システムは、情報処理システムに含まれる各ストレージノードに、冗長化グループを構成する制御ソフトを分散して配置し、ストレージノードの障害発生によって何れかの制御ソフトが稼働できなくなった場合には、フェイルオーバーを行って、代替となる制御ソフト及び当該制御ソフトが利用する構成情報を適切なストレージノード上に再現することにより、稼働を継続する。

また例えば、非特許文献１には、Apache ZooKeeper（登録商標）ソフトウェアの開発者向けのドキュメントが開示されている。非特許文献１によれば、Apache ZooKeeperにおいては、固定値のタイムアウト時間を設定し、通信断時間がタイムアウト時間を超えた場合に、障害とみなす方式が開示されている。

特開２０１９－１０１７０３号公報

ZooKeeper プログラマーズガイド、［online］、［令和３年５月３１日検索］、インターネット〈URL：http://oss.infoscience.co.jp/hadoop/zookeeper/docs/current/zookeeperProgrammers.html〉

ところで、フェイルオーバー中はホスト（上位装置）からストレージノードに対するＩＯ（Input/Output）が停止されるため、ストレージノード障害時は短時間でフェイルオーバーを完了することが求められる。一方で、ストレージシステムには高い信頼性も求められるため、ノード障害の誤検出を避けることも重要となる。また、ノード障害の発生からフェイルオーバーの完了までに掛かるフェイルオーバー時間は、ノード障害の有無を検出するために設定されたノード障害検出時間と、フェイルオーバー処理の実行に要するフェイルオーバー処理時間との合計値となる。

しかし、上述した従来技術では、ノード障害検出のタイムアウト時間（タイムアウト値）が固定値で設定されるため、フェイルオーバーにおいて以下のような問題が想定される。まず、ノード障害検出のタイムアウト時間が長すぎると、フェイルオーバー時間が長期化し、ホストからのＩＯ停止時間が長くなってしまう。一方、ノード障害検出のタイムアウト時間が短すぎると、ネットワーク負荷が高いときにノード障害が誤検出される可能性があり、システムの信頼性が低下してしまう。

すなわち、ストレージシステムにおいてノード障害検出の最適なタイムアウト時間は、ネットワーク負荷、パブリッククラウドやオンプレミスといったシステムの運用環境、ハードウェア構成、及びスイッチ構成等、様々なシステム環境によって変化するものであり、従来技術では、このような最適なタイムアウト時間（タイムアウト値）を決定することが困難であった。

本発明は以上の点を考慮してなされたもので、ネットワーク品質に応じて、ノード障害の誤検出を避けながらも、フェイルオーバー時間を短縮することが可能なストレージシステム及び制御方法を提案しようとするものである。

かかる課題を解決するため本発明においては、データを記憶する記憶装置と、前記記憶装置に入出力するデータを処理するプロセッサを有する複数のストレージノードと、前記複数のストレージノードを接続するネットワークと、を備えるストレージシステムにおいて、前記複数のストレージノードは、互いの稼働状況を監視して、タイムアウト値に基づいて前記ストレージノードの障害発生を判断するノード障害検出を行い、前記ストレージノードに障害が発生した場合にそのストレージノードの処理を他のストレージが引き継ぐフェイルオーバー処理を行い、前記ストレージノード間のネットワークの状況に基づいて、前記タイムアウト値を調整する、ストレージシステムが提供される。

また、かかる課題を解決するため本発明においては、ストレージシステムによる制御方法であって、前記ストレージシステムは、データを記憶する記憶装置と、前記記憶装置に入出力するデータを処理するプロセッサを有する複数のストレージノードと、前記複数のストレージノードを接続するネットワークと、を有し、前記複数のストレージノードが、互いの稼働状況を監視して、タイムアウト値に基づいて前記ストレージノードの障害発生を判断するノード障害検出を行い、前記ストレージノードに障害が発生した場合にそのストレージノードの処理を他のストレージが引き継ぐフェイルオーバー処理を行い、前記ストレージノード間のネットワークの状況に基づいて、前記タイムアウト値を調整する、制御方法が提供される。

本発明によれば、ネットワーク品質に応じて、ノード障害の誤検出を避けながらも、フェイルオーバー時間を短縮することができる。

本発明の一実施形態によるストレージシステム１の構成例を示すブロック図である。 ストレージノード１０のハードウェア構成例を示すブロック図である。 メモリ１２に格納されるプログラム及び情報の一例を示すブロック図である。 タイムアウト管理用情報１４０の内訳を説明する図である。 ネットワーク遅延情報１４１の一例を示す図である。 システム統計情報１４３の一例を示す図である。 ストレージ処理情報１４４の一例を示す図である。 インストール時タイムアウト値１４７の一例を示す図である。 運用時タイムアウト値１４８の一例を示す図である。 ＩＯホストタイムアウト情報１４９の一例を示す図である。 タイムアウト初期設定処理の処理手順例を示すフローチャートである。 ネットワーク遅延確認処理の処理手順例を示すフローチャートである。 インストール時タイムアウト値更新処理の処理手順例を示すフローチャートである。 運用時タイムアウト値更新処理の処理手順例を示すフローチャートである。 ＩＯホストタイムアウト要件判定処理の処理手順例を示すフローチャートである。 タイムアウト更新処理の処理手順例を示すフローチャートである。 ストレージ稼働状況確認処理の処理手順例を示すフローチャートである。 タイムアウト値の稼働環境適合値を決定する方法を説明するイメージ図である。

以下、図面を参照して、本発明の一実施形態を詳述する。以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。また、実施形態の中で説明されている特徴の組み合わせの全てが、発明の解決手段に必須であるとは限らない。本発明が実施形態に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。本発明は、当業者であれば本発明の範囲内で様々な追加や変更等を行うことができる。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は複数でも単数でも構わない。

以下の説明では、「テーブル」、「表」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、少なくとも１以上のプロセッサ（例えばＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノード、ストレージシステム、ストレージ装置、サーバ、管理計算機、クライアント、または、ホストであってもよい。プログラムを実行して行う処理の主体（例えばプロセッサ）は、処理の一部または全部を行うハードウェア回路を含んでもよい。例えば、プログラムを実行して行う処理の主体は、暗号化及び復号化、または圧縮及び伸張を実行するハードウェア回路を含んでもよい。プロセッサは、プログラムに従って動作することによって、所定の機能を実現する機能部として動作する。プロセッサを含む装置及びシステムは、これらの機能部を含む装置及びシステムである。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

（１）システムの構成
図１は、本発明の一実施形態によるストレージシステム１の構成例を示すブロック図である。このストレージシステム１は、１以上のストレージノード１０と１以上のＩＯホスト２０（上位装置）とを備えて構成される。ストレージシステム１は、オンプレミスで運用されてもよいし、パブリッククラウドで運用されてもよい。なお、以降の説明において、ストレージノード１０を、単に「ノード」と称する場合がある。

各ストレージノード１０及び各ＩＯホスト２０との間は、ストレージサービスネットワーク３１を介して接続される。ストレージサービスネットワーク３１は、具体的には例えば、ファイバーチャネル（Fibre Channel）、Ethernet（登録商標）、InfiniBand、または無線ＬＡＮ（Local Area Network）等である。また、各ストレージノード１０の間は、バックエンドネットワーク３２を介して接続される。バックエンドネットワーク３２は、具体的には例えば、ＬＡＮ、Ethernet、InfiniBand、または無線ＬＡＮ等である。なお、ストレージサービスネットワーク３１及びバックエンドネットワーク３２は同一のネットワークによって構成されていてもよく、また、各ストレージノード１０及び各ＩＯホスト２０は、ストレージサービスネットワーク３１及びバックエンドネットワーク３２とは別に管理用ネットワークに接続されていてもよい。またさらに、上記の各ネットワークは、冗長化されていてもよい。

なお、以降の説明において、単に「ネットワーク」と称する場合、主としてバックエンドネットワーク３２のことを指すが、本実施形態は必ずしもこれに限定されず、ストレージサービスネットワーク３１を「ネットワーク」として捉えてもよく、あるいは、ストレージサービスネットワーク３１及びバックエンドネットワーク３２をまとめて「ネットワーク」と捉えてもよい。具体的には例えば、後述する「ネットワーク遅延値」は、バックエンドネットワーク３２における通信の遅延時間（レイテンシ）であるとしてもよいし、ストレージサービスネットワーク３１及びバックエンドネットワーク３２の各ネットワークにおける通信の遅延時間を所定の方法で統合した時間（値）である等としてもよい。

ＩＯホスト２０は、ストレージノード１０に対してホスト（上位装置）として機能する汎用のコンピュータ装置であり、コンピュートノードとも表記される。なお、ＩＯホスト２０は仮想マシンのような仮想的なコンピュータ装置であってもよい。ＩＯホスト２０は、ユーザ操作や実装されたアプリケーションプログラムからの要求に応じて、ストレージサービスネットワーク３１を介してストレージノード１０にデータを読み書きする。

ストレージノード１０は、ＩＯホスト２０に対してデータを読み書きするための記憶領域を提供するサーバ装置であって、一般的な汎用サーバでも専用機でもよい。ストレージノード１０は、仮想マシンであってもよい。また、ストレージノード１０がＩＯホスト２０と同一の物理ノードに同居する構成であってもよい。本実施形態では、各ストレージノード１０は、他の１または複数のストレージノード１０とともにクラスタと呼ぶグループにまとめられて管理される（図１のクラスタ４０を参照）。図１では、１つのクラスタ４０が設定された構成が例示されているが、ストレージシステム１内に複数のクラスタ４０の数が設けられてもよい。

図２は、ストレージノード１０のハードウェア構成例を示すブロック図である。ストレージノード１０は、図２に示すように、１以上のＣＰＵ（Central Processing Unit）１１、１以上のメモリ１２、１以上の記憶装置１３、及びそれぞれ１以上の通信装置１４，１５が、内部ネットワーク１６を介して接続されて構成される。

ＣＰＵ１１は、ストレージノード１０全体の動作制御を司るプロセッサである。ＩＯホスト２０より受信したライト要求のデータをストレージ機能により処理して記憶装置１３に格納したり、ＩＯホスト２０より受信したリード要求に応じて、ストレージ機能を用いて記憶装置１３よりデータを読み出して処理してＩＯホスト２０に応答したりする。またメモリ１２は、ＳＲＡＭ（Static RAM（Random Access Memory））やＤＲＡＭ（Dynamic RAM）等の揮発性の半導体メモリや、不揮発性の半導体メモリから構成され、ＣＰＵ１１のワークメモリとして各種プログラムや必要なデータを一時的に保持するために利用される。ストレージノード１０は、少なくとも１以上のＣＰＵ１１がメモリ１２に格納されたプログラムを実行することにより、ストレージノード１０の各種処理を実現する。

記憶装置１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはＳＣＭ（Storage Class Memory）等の大容量の不揮発性の記憶装置から構成され、ＮＶＭｅ（Non-Volatile Memory Express）、ＳＡＳ（Serial Attached SCSI（Small Computer System Interface））、またはＳＡＴＡ（Serial ATA（Advanced Technology Attachment））等のインタフェースで接続され、ＩＯホスト２０からのリード要求やライト要求に応じてデータを読み書きするための記憶領域を提供する。

通信装置１４は、ストレージノード１０がストレージサービスネットワーク３１を介してＩＯホスト２０と通信を行うためのインタフェースであり、例えばファイバーチャネルカードやEthernetカード、InfiniBandカード、無線ＬＡＮカードなどから構成される。通信装置１４は、ＩＯホスト２０との通信時におけるプロトコル制御を行う。

通信装置１５は、ストレージノード１０がバックエンドネットワーク３２を介して他のストレージノード１０と通信を行うためのインタフェースであり、例えばファイバーチャネルカードやEthernetカード、InfiniBandカード、無線ＬＡＮカードなどから構成される。通信装置１５は、他のストレージノード１０との通信時におけるプロトコル制御を行う。

図３は、メモリ１２に格納されるプログラム及び情報の一例を示すブロック図である。各ストレージノード１０のメモリ１２には、図３に示すように、インストール処理部１１０、クラスタ制御部１２０、ＩＯ制御部１３０、及びタイムアウト管理用情報１４０が格納される。

インストール処理部１１０は、システムの初期設定（インストール）のためのインストール処理を行う。インストール処理部１１０は、インストール処理の最初に、インストール時処理用のタイムアウト値及び運用時処理用のタイムアウト値を設定するタイムアウト初期設定処理（図１１）を実行する。

図３には、インストール処理部１１０の各部として、ネットワーク遅延確認部１１１、タイムアウト初期設定部１１２、及びＩＯホストタイムアウト判定部１１３が示されている。ネットワーク遅延確認部１１１は、タイムアウト初期設定処理において、ネットワークの遅延状況を確認するネットワーク遅延確認処理（図１２）を実行する。タイムアウト初期設定部１１２は、タイムアウト初期設定処理において、インストール処理開始時のネットワーク遅延状況に基づいて、ストレージノード１０における各種のインストール時処理のタイムアウト値を設定するインストール時タイムアウト値更新処理（図１３）を実行する。また、タイムアウト初期設定部１１２は、タイムアウト初期設定処理において、インストール処理開始時のネットワーク遅延状況に基づいて、ストレージノード１０における各種の運用時処理（例えばノード障害検出）のタイムアウト値を設定する運用時タイムアウト値更新処理（図１４）を実行する。ＩＯホストタイムアウト判定部１１３は、タイムアウト初期設定処理において、初期設定した運用時タイムアウト値がＩＯホストタイムアウト要件に該当していないかを判定するＩＯホストタイムアウト要件判定処理（図１５）を実行する。ＩＯホストタイムアウト要件は、ＩＯホスト２０からのＩＯの受け入れを停止するＩＯエラー（入出力エラー）の判定基準であり、要件に規定された時間を超えてＩＯホスト２０との間でＩＯが停止した場合にＩＯエラーと判定される。

クラスタ制御部１２０は、クラスタ４０全体を管理する。クラスタ制御部１２０は、運用中に、例えば定期的に、運用時処理用のタイムアウト値を更新するタイムアウト更新処理（図１６）を実行する。

図３には、クラスタ制御部１２０の各部として、ネットワーク遅延確認部１２１、タイムアウト更新部１２２、及びノード監視部１２３が示されている。ネットワーク遅延確認部１２１は、タイムアウト更新処理において、ネットワークの遅延状況を確認するネットワーク遅延確認処理（図１２）を実行する。タイムアウト更新部１２２は、タイムアウト更新処理において、運用中のストレージ稼働状況を確認するストレージ稼働状況確認処理（図１７）を実行する。また、タイムアウト更新部１２２は、タイムアウト更新処理において、運用中のネットワーク遅延状況とストレージ稼働状況に基づいて、ストレージノード１０における各種の運用時処理（例えばノード障害検出）のタイムアウト値を更新する運用時タイムアウト値更新処理（図１４）を実行する。ノード監視部１２３は、タイムアウト更新処理とは別に、恒常的にノードの状態を監視するノード監視処理を実行する。ノード障害検出はノード監視処理に含まれる。また、上記の各処理の他にも、クラスタ制御部１２０は、ＩＯ制御部１３０がＩＯホスト２０から受け取ったＩＯ要求を、バックエンドネットワーク３２を介して、対応するストレージノード１０のクラスタ制御部１２０に転送したり、他のストレージノード１０のクラスタ制御部１２０から転送されたＩＯ要求を、ＩＯ制御部１３０に引き渡したりする処理も行う。

ＩＯ制御部１３０は、データのＩＯ（入出力）を制御する。詳しくは、ＩＯ制御部１３０は、コンピュートノード（ＩＯホスト２０）からのデータのリード／ライトに関するリクエスト（ＩＯ要求）を受け付けると、当該リクエストに応じたＩＯ処理を行うことにより、記憶装置１３に対してデータのリード／ライトを行い、その応答をコンピュートノードに返す。

タイムアウト管理用情報１４０は、ストレージノード１０における所定の各種処理（例えばノード障害検出）のタイムアウト値を決定または管理するための情報である。後述する図４に示すように、タイムアウト管理用情報１４０には複数の情報が含まれる。

また、クラスタ制御部１２０は、インストール処理部１１０のＩＯホストタイムアウト判定部１１３と同様に、ＩＯホストタイムアウト要件判定処理を実行するＩＯホストタイムアウト判定部を備えるとしてもよい。

なお、図３では図示を省略したが、メモリ１２には、シンプロビジョニング、階層制御、スナップショット、圧縮、重複排除、あるいはリモートコピー等、ストレージシステム１（またはストレージノード１０）における各種のストレージ制御に必要な管理情報（例えば論物変換テーブル等）も保持される。

（２）タイムアウト管理用情報１４０
以下、メモリ１２に保持されるタイムアウト管理用情報１４０について、詳しく説明する。

図４は、タイムアウト管理用情報１４０の内訳を説明する図である。タイムアウト管理用情報１４０は、図３に示した各部が処理を実行する際に、参照、更新または登録される情報である。図４に示すように、タイムアウト管理用情報１４０は、ネットワーク遅延情報１４１と、システム統計情報１４３及びストレージ処理情報１４４を含むストレージ稼働情報１４２と、負荷影響算出式１４５と、タイムアウト値算出式１４６と、インストール時タイムアウト値１４７と、運用時タイムアウト値１４８と、ＩＯホストタイムアウト情報１４９と、を有する。

ネットワーク遅延情報１４１、システム統計情報１４３、ストレージ処理情報１４４、インストール時タイムアウト値１４７、運用時タイムアウト値１４８、及びＩＯホストタイムアウト情報１４９の詳細は、図５～図１０に示す具体例を参照しながら後述する。

負荷影響算出式１４５及びタイムアウト値算出式１４６は、稼働中のシステムにおける測定値（現在値）に基づいて、現在の稼働環境に適合したタイムアウト値（後述する稼働環境適合値）を算出するために用いられる算出式である。

詳しく説明すると、負荷影響算出式１４５は、ネットワーク品質に影響を与える要素ごとに、当該要素の現在値がネットワーク品質（負荷）に与える影響の度合いを表すパラメータの値（基礎係数、基礎加算値）を算出する式である。本実施形態においてインストール処理部１１０及びクラスタ制御部１２０は、このような負荷影響算出式１４５を用いて各要素の現在値による負荷影響（基礎係数、基礎加算値）を算出することにより、現在のネットワーク品質を判断する。そして、負荷影響算出式１４５から算出されたパラメータ値は、タイムアウト値算出式１４６の入力となる。具体的な算出式の例示は省略するが、負荷影響算出式１４５は、システム設計時やインストール時の負荷テストによって予め決定されるとし、上記要素ごとに異なる算出式であってもよい。

なお、以下の説明において、負荷影響算出式１４５によって算出される基礎係数及び基礎加算値は、「基礎係数ｃ」、「基礎加算値ａ」と表記されることがあり、さらに、算出に用いられた「要素」のＩＤ（後述する図５～図７で説明するＩＤ１４１１，１４３１，１４４１に相当）を付して表記されることで、どの要素に対する基礎係数及び基礎加算値であるかを区別できるようにしている。具体的には例えば、ＩＤ「１」が付与されるネットワーク遅延情報１４１の現在値について負荷影響算出式１４５による算出を行った場合、基礎係数ｃ１と基礎加算値ａ１が得られる。

タイムアウト値算出式１４６は、タイムアウト値のデフォルト値からどのような稼働環境適合値に更新すればよいかを決定するための式であり、負荷影響算出式１４５で算出された情報（基礎係数ｃ、基礎加算値ａ）を用いて、処理Ｐ（Ｐは任意）ごとに、現在の稼働環境に適合したタイムアウト値（後述する稼働環境適合値）を算出する式である。一例として、タイムアウト値算出式１４６は、以下の式１で表される。

上記の式１において、「タイムアウトデフォルト値」は、デフォルト値として規定されるタイムアウト値であり、算出される「タイムアウト値」は、稼働環境適合値である。また、式１は一例であり、タイムアウト値算出式１４６には別の算出式が用いられてもよい。具体的には例えば、式１において「max(c1,…,c4)」となっているところを「c1×c2×c3×c4」としてもよいし、また例えば、式１において「max(a1,…,a4)」となっているところを「a1＋a2＋a3＋a4」としてもよい。また、処理Ｐごとに、基礎係数及び基礎加算値を用意しても良いし、処理Ｐごとに、異なる算出式が用意されてもよい。

なお、本実施形態に係るストレージノード１０において、タイムアウト管理用情報１４０は、メモリ１２だけでなく記憶装置１３内にも格納されるようにしてもよい。このような場合、例えば運用時タイムアウト値１４８が記憶装置１３に格納されることで、クラスタ４０が停止した場合でも、次回の起動時に運用時タイムアウト値１４８を記憶装置１３から参照して利用することが可能となる。

図５は、ネットワーク遅延情報１４１の一例を示す図である。ネットワーク遅延情報１４１は、ネットワークの遅延の度合いを示すネットワーク遅延値に関する情報を格納する。図５に例示したネットワーク遅延情報１４１は、ＩＤ１４１１、値１４１２、及び現在値の負荷影響１４１３から構成される。

ＩＤ１４１１は、ネットワーク遅延情報１４１を識別するための識別子であって、本実施形態ではＩＤ「１」が付与されるとしている。

値１４１２は、ネットワーク遅延値のベース値と現在値とを示す情報である。値１４１２のベース値には、システム設計時に前提とされたネットワークにおける遅延値が固定値で設定される。また、値１４１２の現在値は、ネットワーク遅延確認部１１１，１２１がインストール時及び運用時に実行するネットワーク遅延確認処理において更新される。

現在値の負荷影響１４１３は、ネットワーク遅延値の現在値（値１４１２の現在値）による負荷影響を示すパラメータ値（基礎係数ｃ１、基礎加算値ａ１）を保持する。上記各パラメータ値は、インストール時タイムアウト値１４７または運用時タイムアウト値１４８を算出する際に、負荷影響算出式１４５を用いて算出され、負荷影響１４１３に格納される。

図６は、システム統計情報１４３の一例を示す図である。システム統計情報１４３は、稼働中のストレージノード１０における動的な稼働情報を格納するストレージ稼働情報１４２の１つであって、ＩＯ性能やパケット量といったシステムの統計情報を格納する。図６に例示したシステム統計情報１４３は、ＩＤ１４３１、値１４３２、及び現在値の負荷影響１４３３から構成される。なお、図６は一例であって、システム統計情報１４３は、ＩＯ性能及びパケット量以外の統計要素の情報を保持してもよい。ＩＯ性能は、ＩＯホスト２０から要求されたＩＯを処理する性能を表す指標であって、パケット量は、ストレージノード１０におけるデータ通信量を表す指標である。

ＩＤ１４３１は、システム統計情報１４３が保持する各統計要素（ＩＯ性能、パケット量）の情報を識別するための識別子であって、本実施形態では、ＩＯ性能にＩＤ「２」が付与され、パケット量にＩＤ「３」が付与されるとしている。

値１４３２は、各統計要素のベース値と現在値とを示す情報である。値１４３２のベース値には、システム設計時に前提とされたＩＯ性能及びパケット量が固定値で設定される。また、値１４３２の現在値は、クラスタ制御部１２０及びＩＯ制御部１３０によって、システムの運用中に更新される。

現在値の負荷影響１４３３は、各統計要素の現在値（値１４３２の現在値）による負荷影響を示すパラメータ値（ＩＯ性能については基礎係数ｃ２及び基礎加算値ａ２、パケット量については基礎係数ｃ３及び基礎加算値ｃ３）を保持する。上記各パラメータ値は、運用時タイムアウト値１４８を算出する際に、負荷影響算出式１４５を用いて算出され、負荷影響１４３３に格納される。

図７は、ストレージ処理情報１４４の一例を示す図である。ストレージ処理情報１４４は、ネットワーク負荷の増加が推定される所定のストレージ処理（以後、ネットワーク負荷が高いストレージ処理とも呼ぶ）の実行状況に関する情報を格納する。図７に例示したストレージ処理情報１４４は、ＩＤ１４４１、値１４４２、及び現在値の負荷影響１４４３から構成される。

ＩＤ１４４１は、ストレージ処理情報１４４を識別するための識別子であって、本実施形態ではＩＤ「４」が付与されるとしている。

値１４４２は、ストレージノード１０で実行中のネットワーク負荷が比較的高いストレージ処理について、ベース値及び現在値を示す情報である。値１４４２のベース値には、初期の既定値として「処理なし」が設定される。また、値１４４２の現在値は、クラスタ制御部１２０によって、システムの運用中に適宜更新される。値１４４２の現在値に設定されるストレージ処理は、予め用意された複数の格納値のなかから、該当する処理が選択される。図７のストレージ処理情報１４４では、ネットワーク負荷が比較的高いストレージ処理として、「リビルド中」、「リバランス中」、「ログ回収中」、及び「アップデートファイル配布中」が格納値に用意され、さらに、上記ストレージ処理の何れも実行中ではない場合に選択される格納値として「処理なし」が用意されている。なお、図７に示した格納値は一例であり、図示した以外のストレージ処理が格納値に保持されてもよい。

現在値の負荷影響１４４３は、現在実行中のネットワーク負荷が高いストレージ処理（値１４４２の現在値）による負荷影響を示すパラメータ値（基礎係数ｃ４、基礎加算値ａ４）を保持する。上記各パラメータ値は、運用時タイムアウト値１４８を算出する際に、負荷影響算出式１４５を用いて算出され、負荷影響１４４３に格納される。

図８は、インストール時タイムアウト値１４７の一例を示す図である。インストール時タイムアウト値１４７は、インストール時に実行される各種のインストール時処理のタイムアウト値を格納する。インストール時処理は、前述したインストール処理に含まれる処理と捉えてよく、具体的には例えば、各ストレージノードにファイルを配布する処理等が挙げられる。

インストール時タイムアウト値１４７は、格納対象とされるインストール時処理ごとに、デフォルト値と稼働環境適合値とを保持する。デフォルト値は、システム設計の段階で決定される、既定値としてのタイムアウト値であり、例えばネットワーク遅延情報１４１の値１４１２のベース値をネットワーク負荷の前提として決定される。なお、デフォルト値は、システムのアップデートやコマンド実行などに応じて、システムの運用途中で更新されてもよい。稼働環境適合値は、実際のシステム稼働環境に適合させたタイムアウト値である。稼働環境適合値は、ネットワーク遅延情報１４１及びストレージ稼働情報１４２に基づいて、タイムアウト初期設定部１１２によって決定される。したがって、すなわち、インストール時タイムアウト値１４７は、初期はデフォルト値が使用されるが、稼働環境適合値が算出された後はその最新の値が使用される。図８では、一例として、インストール時処理Ａとインストール時処理Ｂにおけるタイムアウト値が示されているが、インストール時タイムアウト値１４７には、その他のインストール時処理について、それぞれのタイムアウト値が格納されてもよい。

図９は、運用時タイムアウト値１４８の一例を示す図である。運用時タイムアウト値１４８は、システム運用中に実行される各種の運用時処理のタイムアウト値を格納する。運用時処理は、図示した処理の他に、例えば、ストレージノード間で問い合わせを行う処理等が挙げられる。

運用時タイムアウト値１４８は、図８に示したインストール時タイムアウト値１４７と同様に、格納対象とする処理ごとに、デフォルト値と稼働環境適合値とを保持する。デフォルト値及び稼働環境適合値の詳細は、大部分が図８の説明の繰り返しとなるため省略する。但し、インストール時タイムアウト値１４７との相違点として、運用時タイムアウト値１４８の稼働環境適合値は、タイムアウト更新部１２２によって決定される。図９では、一例として、ノード障害検出、ＦＯ処理、及び運用時処理Ｃにおけるタイムアウト値が示されているが、運用時タイムアウト値１４８には、その他の運用時処理について、それぞれのタイムアウト値が格納されてもよい。なお、図９の「ノード障害検出」は、ノード障害を検出する処理であり、「ＦＯ処理」は、稼働系のシステムの稼働継続が困難となるノード障害等の障害が発生した場合に待機システムに切り替えるフェイルオーバー（ＦＯ）を行う処理である。本実施形態では、ノード障害が発生した場合、クラスタ４０内の別のストレージノードが処理を引き継ぎ、フェイルオーバーを行う。

図１０は、ＩＯホストタイムアウト情報１４９の一例を示す図である。ＩＯホストタイムアウト情報１４９は、ＩＯホスト２０からストレージノード１０に対するＩＯの受け入れを停止するＩＯエラーの判定基準とする、ＩＯのタイムアウト要件（本実施形態ではこれをＩＯホストタイムアウト要件と称する）の情報を格納する。ＩＯホストタイムアウト要件は、例えば、インストール処理の開始時にユーザ（例えばストレージシステム１の管理者）がタイムアウトとする時間を入力し、インストール処理部１１０が、入力値をＩＯホストタイムアウト情報１４９に格納する。また、ＩＯホストタイムアウト情報１４９は、運用途中でユーザからの入力に応じて変更されてもよい。

（３）処理
以下、本実施形態に係るストレージシステム１（ストレージノード１０）において実行される、タイムアウト値の設定に関する処理について、インストール処理の最初に実行されるタイムアウト初期設定処理と、システムの運用中に定期的に実行されるタイムアウト更新処理とを詳しく説明する。

（３－１）タイムアウト初期設定処理
図１１は、タイムアウト初期設定処理の処理手順例を示すフローチャートである。タイムアウト初期設定処理は、ストレージシステム１におけるシステムの初期設定（インストール）のために実行されるインストール処理において最初に実行される処理であって、図３に示したインストール処理部１１０の各部によって実行される。

図１１によればまず、ネットワーク遅延確認部１１１が、稼働環境におけるネットワークの遅延状況を確認するネットワーク遅延確認処理を実行する（ステップＳ１０１）。詳細は図１２を参照しながら後述するが、ネットワーク遅延確認処理においてネットワーク遅延確認部１１１は、ネットワーク遅延値の現在値を計測し、計測した現在値による負荷影響を算出し、これらの現在値及び負荷影響をネットワーク遅延情報１４１に格納する。

次に、タイムアウト初期設定部１１２が、インストール時タイムアウト値１４７を更新するインストール時タイムアウト値更新処理を実行する（ステップＳ１０２）。詳細は図１３を参照しながら後述するが、インストール時タイムアウト値更新処理においてタイムアウト初期設定部１１２は、ステップＳ１０１で更新したネットワーク遅延情報１４１に格納された現在値の負荷影響に基づいて、システム稼働環境に適合させたインストール時タイムアウト値（稼働環境適合値）を算出し、算出結果でインストール時タイムアウト値１４７を更新する。

次に、タイムアウト初期設定部１１２が、運用時タイムアウト値１４８を更新する運用時タイムアウト値更新処理を実行する（ステップＳ１０３）。詳細は図１４を参照しながら後述するが、運用時タイムアウト値更新処理においてタイムアウト初期設定部１１２は、ステップＳ１０１で更新したネットワーク遅延情報１４１、及びストレージ稼働情報１４２に格納された現在値の負荷影響に基づいて、システム稼働環境に適合させた運用時タイムアウト値（稼働環境適合値）を算出し、算出結果で運用時タイムアウト値１４８を更新する。

そして最後に、ＩＯホストタイムアウト判定部１１３が、ＩＯホストタイムアウト要件判定処理を実行し（ステップＳ１０４）、タイムアウト初期設定処理を終了する。詳細は図１５を参照しながら後述するが、ＩＯホストタイムアウト要件判定処理においてＩＯホストタイムアウト判定部１１３は、ステップＳ１０３で設定した稼働環境適合値を適用した場合のフェイルオーバー全体の処理時間（ＦＯ時間）とＩＯホストタイムアウト情報１４９に設定されたＩＯホストタイムアウト要件を比較判定することにより、ノード障害検出の誤検出に起因してＩＯエラーが発生し得る設定になっていないか、インストール処理時に事前に判定する。例えば、ＩＯホストタイムアウトを短く設定し過ぎると、ＩＯエラーが発生しやすくなる。

なお、上記のタイムアウト初期設定処理では、ステップＳ１０１で更新されたネットワーク遅延情報１４１（ネットワーク遅延値の現在値）に基づいて、ステップＳ１０２及びステップＳ１０３においてインストール時タイムアウト値及び運用時タイムアウト値が決定及び設定されるが、本実施形態では、タイムアウト初期設定処理の変形例として、ネットワーク遅延値の現在値だけでなく、記憶装置１３におけるディスクアクセス性能等の他の確認要素を追加して、これらの確認要素に基づいてインストール時タイムアウト値及び運用時タイムアウト値を決定し設定するようにしてもよい。

図１２は、ネットワーク遅延確認処理の処理手順例を示すフローチャートである。図１２に示すネットワーク遅延確認処理は、図１１のステップＳ１０１に相当する他、図１６に後述するタイムアウト更新処理のステップＳ６０２の処理にも相当する。図１１のステップＳ１０１の場合はネットワーク遅延確認部１１１によって実行され、図１６のステップＳ６０２の場合はネットワーク遅延確認部１２１によって実行される。以下では、ネットワーク遅延確認部１１１を処理主体として、ネットワーク遅延確認処理の処理手順を説明する。

図１２によればまず、ネットワーク遅延確認部１１１は、ネットワークの遅延の度合いを示すネットワーク遅延値を計測し（ステップＳ２０１）、計測されたネットワーク遅延値によってネットワーク遅延情報１４１の値１４１２の「現在値」を更新する。ネットワーク遅延値は、例えば、ｐｉｎｇコマンドを対象のネットワークに送信したときに計測される遅延時間から得ることが出来る。図５のネットワーク遅延情報１４１の場合、「２０ｍｓ」のネットワーク遅延値が計測されて、この値が値１４１２の「現在値」に格納されている。

次に、ネットワーク遅延確認部１１１は、ステップＳ２０２で更新したネットワーク遅延情報１４１におけるＩＤ１４１１「１」及び値１４１２の現在値「２０」を、負荷影響算出式１４５に入力し、基礎係数及び基礎加算値を算出する（ステップＳ２０３）。そして、ネットワーク遅延確認部１１１は、ステップＳ２０３の算出結果によってネットワーク遅延情報１４１の現在値の負荷影響１４１３を更新し（ステップＳ２０４）、ネットワーク遅延確認処理を終了する。図５のネットワーク遅延情報１４１の場合、負荷影響算出式１４５から基礎係数ｃ１「２」及び基礎加算値ａ１「０」の算出結果が得られ、これらの各値が現在値の負荷影響１４１３に格納されている。

図１３は、インストール時タイムアウト値更新処理の処理手順例を示すフローチャートである。図１３に示すインストール時タイムアウト値更新処理は、図１１のステップＳ１０２の処理に相当し、タイムアウト初期設定部１１２によって実行される。

図１３によればまず、タイムアウト初期設定部１１２は、ネットワーク遅延確認処理で更新されたネットワーク遅延情報１４１から、現在値の負荷影響１４１３の値（基礎係数ｃ１「２」、基礎加算値ａ１「０」）を取得する（ステップＳ３０１）。

次に、タイムアウト初期設定部１１２は、インストール時タイムアウト値１４７の各列（すなわち、各インストール時処理）について、ステップＳ３０３～Ｓ３０４のループ処理を開始する（ステップＳ３０２）。

ステップＳ３０３では、タイムアウト初期設定部１１２は、ステップＳ３０１で取得した現在値の負荷影響１４１３の値を、ステップＳ３０２で選択した列に対応する処理のタイムアウト値算出式１４６に入力し、稼働環境適合値のタイムアウト値を算出する。そして、ステップＳ３０４では、タイムアウト初期設定部１１２は、ステップＳ３０３の算出結果をインストール時タイムアウト値１４７の稼働環境適合値に格納する。

ここで、前述した式１のタイムアウト値算出式１４６を用いて、図８のインストール時タイムアウト値１４７に示された「インストール時処理Ａ」についてステップＳ３０３～Ｓ３０４の処理を具体的に説明する。

インストール時処理Ａのデフォルト値は「５」であり、ステップＳ３０１で取得した基礎係数ｃ１は「２」、基礎加算値ａ１は「０」である。したがって、ステップＳ３０３において、これらの値を式１のタイムアウト値算出式１４６に入力すると、「インストール時処理Ａのタイムアウト値＝インストール時処理Ａのタイムアウトデフォルト値×max(2)＋max(0)＝5×2＋0＝10」と計算される。上記計算を補足すると、インストール時タイムアウト値更新処理が行われる時点では、他の基礎係数ｃ２，ｃ３，ｃ４及び基礎加算値ａ２，ａ３，ａ４は、稼働前のため値を持っていない。また、デフォルト値を持っているとしても、インストール時タイムアウト値更新処理では、これらのパラメータ値は使用されない。

したがって、ステップＳ３０３における上記計算の結果、ステップＳ３０４では、インストール時タイムアウト値１４７のインストール時処理Ａの稼働環境適合値に「１０」が格納される。

なお、派生例として、ストレージノード１０では、処理ごとの稼働環境適合値（タイムアウト値）について、値の許容範囲が予め定められるとしてもよい。この場合、許容範囲の最大値及び最小値を予め設定するようにし、例えば、図８のインストール時タイムアウト値１４７や図９の運用時タイムアウト値１４８の各列に、デフォルト値とは別に、最大値及び最小値を格納するようにしてもよい。そして、稼働環境適合値の許容範囲が定められているときに、ステップＳ３０３の算出結果が当該許容範囲に収まらない値であった場合には、ステップＳ３０４においてタイムアウト初期設定部１１２は、最大値または最小値のうち当該算出結果に近いほうの値を採用して、稼働環境適合値に格納する。このような派生例は、後述する図１４のステップＳ４０５でも同様に適用可能であるが、そちらでは詳細な説明を省略する。

上記ステップＳ３０４の処理後は、タイムアウト初期設定部１１２は、インストール時処理Ｂについて同様に、ステップＳ３０３～Ｓ３０４の処理を行う。このように、インストール時タイムアウト値１４７の各列の全てについてステップＳ３０３～Ｓ３０４のループ処理を実行することにより、対象とする全てのインストール時処理について、稼働環境適合値のタイムアウト値を算出し、インストール時タイムアウト値１４７を更新することができる。そして、全ての列についてループ処理が完了すると、タイムアウト初期設定部１１２はインストール時タイムアウト値更新処理を終了する。

図１４は、運用時タイムアウト値更新処理の処理手順例を示すフローチャートである。図１４に示す運用時タイムアウト値更新処理は、図１１のステップＳ１０３の処理に相当する他、図１６に後述するタイムアウト更新処理のステップＳ６０４の処理にも相当する。図１１のステップＳ１０３の場合はタイムアウト初期設定部１１２によって実行され、図１６のステップＳ６０４の場合はタイムアウト更新部１２２によって実行される。以下では、タイムアウト初期設定部１１２を処理主体として、運用時タイムアウト値更新処理の処理手順を説明する。

図１４によればまず、タイムアウト初期設定部１１２は、ネットワーク遅延情報１４１及びストレージ稼働情報１４２（システム統計情報１４３、ストレージ処理情報１４４）を参照し（ステップＳ４０１）、それぞれの情報に格納された現在値の負荷影響１４１３，１４３３，１４４３の値を取得する（ステップＳ４０２）。但し、タイムアウト初期設定部１１２によって実行される運用時タイムアウト値更新処理では、システムが稼働前であることから、ストレージ稼働情報１４２には現在値、及びその負荷影響に値が格納されておらず、値は取得されない（もしくはデフォルト値が設定されていても取得されない）。したがって、具体的には、図５のネットワーク遅延情報１４１の場合、ネットワーク遅延値について基礎係数ｃ１「２」及び基礎加算値ａ１「０」が取得される。

次に、タイムアウト初期設定部１１２は、運用時タイムアウト値１４８の各列（すなわち、ノード障害検出やＦＯ処理を含む各運用時処理）について、ステップＳ４０４～Ｓ４０５のループ処理を開始する（ステップＳ４０３）。

ステップＳ４０４では、タイムアウト初期設定部１１２は、ステップＳ４０２で取得した現在値の負荷影響１４１３，１４３３，１４４３の値を、ステップＳ４０３で選択した列に対応する処理のタイムアウト値算出式１４６に入力し、稼働環境適合値のタイムアウト値を算出する。そして、ステップＳ４０５では、タイムアウト初期設定部１１２は、ステップＳ４０３の算出結果を運用時タイムアウト値１４８の稼働環境適合値に格納する。なお、ステップＳ４０２で前述した通り、タイムアウト初期設定部１１２によって実行される運用時タイムアウト値更新処理では、ストレージ稼働情報１４２の現在値の負荷影響は取得されないため、ステップＳ４０４において実際は、現在値の負荷影響１４１３の値だけがタイムアウト値算出式１４６に入力される。つまり、タイムアウト初期設定の段階では、ネットワーク遅延情報を元に運用時タイムアウト値を算出する。

ここで、前述した式１のタイムアウト値算出式１４６を用いて、図９の運用時タイムアウト値１４８に示された「ノード障害検出」についてステップＳ４０４～Ｓ４０５の処理を具体的に説明する。まず、ノード障害検出のデフォルト値は「４」であり、ステップＳ４０２で取得した現在値の負荷影響１４１３の値は、基礎係数ｃ１が「２」、基礎加算値ａ１が「０」である（図５の現在値の負荷影響１４１３の場合）。したがって、ステップＳ４０４において、これらの値を式１のタイムアウト値算出式１４６に入力すると、「ノード障害検出のタイムアウト値＝ノード障害検出のタイムアウトデフォルト値×max(2)＋max(0)＝4×2＋0＝8」と計算される。上記計算を補足すると、タイムアウト初期設定処理のなかで運用時タイムアウト値更新処理が行われる時点では、他の基礎係数ｃ２，ｃ３，ｃ４及び基礎加算値ａ２，ａ３，ａ４は、稼働前のため値を持っていない。また、デフォルト値を持っているとしても、この段階における運用時タイムアウト値更新処理では、これらのパラメータ値は使用されない。

したがって、ステップＳ４０４における上記計算の結果、ステップＳ４０５では、運用時タイムアウト値１４８のノード障害検出の稼働環境適合値に「８」が格納される。つまり、稼働環境では、ノード障害検出のタイムアウト値として「８」が利用される。なお、図１３のステップＳ３０４の説明で述べた派生例と同様に、ステップＳ４０５においても、処理ごとの稼働環境適合値（タイムアウト値）に許容範囲が予め定められているとしてもよく、その場合、ステップＳ４０４の算出結果が当該許容範囲に収まらない場合は、最大値または最小値のうち当該算出結果に近いほうの値を採用して稼働環境適合値に格納すればよい。

そして、上記ステップＳ４０５の処理後、タイムアウト初期設定部１１２は、運用時タイムアウト値１４８で対象とされるその他の処理（例えばＦＯ処理や運用時処理Ｃ）についても同様に、ステップＳ４０４～Ｓ４０５の処理を行うことにより、運用時タイムアウト値１４８で対象とする全ての運用時処理について、稼働環境適合値のタイムアウト値を算出し、運用時タイムアウト値１４８を更新することができる。そして、全ての列についてループ処理が完了すると、タイムアウト初期設定部１１２は運用時タイムアウト値更新処理を終了する。

図１５は、ＩＯホストタイムアウト要件判定処理の処理手順例を示すフローチャートである。図１５に示すＩＯホストタイムアウト要件判定処理は、図１１のステップＳ１０４の処理に相当し、ＩＯホストタイムアウト判定部１１３によって実行される。

前述した通り、ＩＯホストタイムアウト要件判定処理は、ノード障害検出の誤検出によってＩＯエラーが発生し得る設定になっていないかを、インストール処理時に事前に判定する処理である。ここでまず、ストレージシステム１におけるノード障害とＩＯエラーの関係について説明する。

ストレージシステム１において何れかのノード（ストレージノード１０）でノード障害が発生してＩＯホスト２０から当該ノードへのＩＯが停止すると、正常なストレージノード１０のノード監視部１２３によって、ノード障害が検出される。ノード障害とみなすまでの時間を、ノード障害検出のタイムアウト値と称する。稼働系のノード障害が検出された場合、正常なストレージノード１０のノード監視部１２３がフェイルオーバー処理（ＦＯ処理）を行うことにより、ノード障害が発生していないノードを使用する待機系への切り替えを行う。したがって、ノード障害の発生からフェイルオーバーの完了までに掛かるフェイルオーバー時間（ＦＯ時間）の最大時間は、ノード障害検出に設定されたタイムアウト値と、ＦＯ処理に設定されたタイムアウト値の合計値となる。なお、上記の一連のフェイルオーバーが完了するまで、言い換えればノード障害検出からＦＯ処理が完了するまでの間、ＩＯホスト２０からのＩＯは停止したままである。

一方、ストレージシステム１には、一般的なストレージシステムの機能として、ＩＯホスト２０からのＩＯが停止した状態が所定要件を満たした場合にＩＯエラーと判定する機能が搭載されている。ＩＯエラーを判定する要件は、ＩＯホストタイムアウト情報１４９に設定されており、図９のＩＯホストタイムアウト情報１４９の場合は「３０秒」と設定されている。したがって前段落の説明を考慮すると、あるストレージノード１０においてノード障害が発生した場合、３０秒以内に、ノード障害検出及びＦＯ処理が完了しなければ、ＩＯエラーと判定される。

ネットワーク負荷が高い環境の場合には、フェイルオーバー時間（ＦＯ時間）の最大時間が現在のＩＯホストタイムアウト要件を超えてしまうおそれがある。そこで、本実施形態では、ＩＯホストタイムアウト要件判定処理を実行することにより、ストレージノード１０の稼働環境に基づいて決定された、一連のフェイルオーバーに掛かるフェイルオーバー時間（ＦＯ時間）に許容される最大時間と、ＩＯホストタイムアウト情報１４９とを比較し、現在のＩＯホストタイムアウト要件が適切であるかを判定する。

図１５によればまず、ＩＯホストタイムアウト判定部１１３は、運用時タイムアウト値１４８における「ノード障害検出」及び「ＦＯ処理」のタイムアウト値（稼働環境適合値）の合計が、ＩＯホストタイムアウト情報１４９に格納されたＩＯホストタイムアウト要件を超えるか否かを判定する（ステップＳ５０１）。ステップＳ５０１においてノード障害検出及びＦＯ処理の合計がＩＯホストタイムアウト要件を超えない場合は（ステップＳ５０１のＮＯ）、特段の処理が必要ないため、ＩＯホストタイムアウト判定部１１３はＩＯホストタイムアウト要件判定処理を終了する。一方、ステップＳ５０１においてノード障害検出及びＦＯ処理の合計がＩＯホストタイムアウト要件を超える場合は（ステップＳ５０１のＹＥＳ）、ステップＳ５０２に進む。

ステップＳ５０１の処理は、言い換えれば、稼働環境のタイムアウト値とＩＯホストタイムアウト要件とを比較する処理である。なお、本例では、稼働環境のタイムアウト値として、ノード障害検出及びＦＯ処理を挙げているが、これは一例に過ぎず、これらの処理の他にもフェイルオーバーに関する一連の処理のなかでＩＯを停止させる要素を有する処理が存在する場合には、適宜、当該処理のタイムアウト値も稼働環境のタイムアウト値に追加して、ステップＳ５０１の比較判定を行うことが好ましい。

具体値を用いてステップＳ５０１の処理を確認すると、図９の運用時タイムアウト値１４８において、ノード障害検出の稼働環境適合値は「８秒」であり、ＦＯ処理の稼働環境適合値は「３０秒」であるから、その合計時間は３８秒となる。一方、図１０のＩＯホストタイムアウト情報１４９において、ＩＯホストタイムアウト要件は「３０秒」である。したがってこの場合、「ノード障害検出」及び「ＦＯ処理」のタイムアウト値の合計はＩＯホストタイムアウト要件を超えるため、ステップＳ５０２の処理に進む。

ステップＳ５０２では、ＩＯホストタイムアウト判定部１１３は、ＩＯホストタイムアウト要件の変更、またはストレージシステム１における機器構成の変更を推奨する通知を、管理画面に表示する等によってユーザに提示する。

ＩＯホストタイムアウト要件の変更を推奨する場合には、例えば、ステップＳ５０１の比較結果を考慮して、ＩＯホストタイムアウト要件のタイムアウト値を現在の「３０秒」から「４０秒」に延ばすことを提案する。そして、ユーザからＩＯホストタイムアウト要件のタイムアウト値を変更する入力が行われた場合には、ＩＯホストタイムアウト判定部１１３は、ＩＯホストタイムアウト情報１４９の設定値を更新する。また、ユーザはＩＯホスト２０内部で保持するタイムアウト値も同様に更新する。

以上のようにタイムアウト初期設定処理を実行することにより、インストール処理部１１０は、各種のインストール処理におけるタイムアウト値を、現在のネットワーク品質に応じて、現在のシステムの稼働環境に適合する値に変更することができ、インストール処理が失敗することを防ぐことができる。また、タイムアウト初期設定処理を実行することにより、インストール処理部１１０は、各種の運用時処理におけるタイムアウト値を、現在のネットワーク品質に応じて、現在のシステムの稼働環境に適合する値に変更することができる。その結果、ストレージシステム１は、ノード障害検出のタイムアウト値が短すぎることによるノード障害の誤検出や、ＩＯホストタイムアウト値が短すぎることによるＩＯエラー発生を防ぐことができる。

（３－２）タイムアウト更新処理
図１６は、タイムアウト更新処理の処理手順例を示すフローチャートである。タイムアウト更新処理は、ストレージシステム１のシステム運用時に定期的に実行される処理であって、図３に示したクラスタ制御部１２０の各部によって実行される。なお、本実施形態の変形例として、タイムアウト更新処理は、ストレージシステム１のシステム運用中に、所定の実行契機が満たされた場合に実行されるとしてもよい。所定の実行契機とは例えば、ストレージ稼働情報１４２に格納される情報の大きな変化が想定される状況であり、具体的には例えば、リビルドやリバランスのようなネットワーク負荷が高い処理の実行が開始されたとき、及びその終了後を所定の実行契機とすることが考えられる。他の例として、例えば、処理エラーが発生した時を所定の実行契機とすることも考えられる。

図１６によれば、クラスタ制御部１２０が、所定の一定時間のスリープを挟んで、ステップＳ６０２～Ｓ６０４の処理を以下の各部に繰り返し実行させる（ステップＳ６０１）。

ステップＳ６０２では、ネットワーク遅延確認部１２１が、稼働環境におけるネットワークの遅延状況を確認するネットワーク遅延確認処理を実行する。ステップＳ６０２のネットワーク遅延確認処理は、タイムアウト初期設定処理のネットワーク遅延確認処理（図１１のステップＳ１０１）と同様であり、その詳細については図１２を参照して説明済みであるため、説明を省略する。

次のステップＳ６０３では、タイムアウト更新部１２２が、ストレージノード１０の現在の稼働状況を確認するストレージ稼働状況確認処理を実行する。詳細は図１７を参照しながら後述するが、ストレージ稼働状況確認処理においてタイムアウト更新部１２２は、システム統計情報及び実行中のストレージ処理の現在値を取得し、それぞれの現在値による負荷影響を算出し、これらの現在値及び負荷影響をシステム統計情報１４３及びストレージ処理情報１４４に格納する。

次のステップＳ６０４では、タイムアウト更新部１２２が、運用時タイムアウト値１４８を更新する運用時タイムアウト値更新処理を実行する。ステップＳ６０４の運用時タイムアウト値更新処理は、タイムアウト初期設定処理の運用時タイムアウト値更新処理（図１１のステップＳ１０３）と同様であり、その詳細については図１４を参照して説明済みであるため、説明を省略する。但し、タイムアウト初期設定処理の運用時タイムアウト値更新処理とは異なる点として、運用時には、ストレージ稼働情報１４２に現在値及びその負荷影響が格納済みであるため、ステップＳ４０１～Ｓ４０２の処理において、ネットワーク遅延情報１４１及びストレージ稼働情報１４２（システム統計情報１４３、ストレージ処理情報１４４）が参照され、各情報から現在値の負荷影響１４１３，１４３３，１４４３の値が取得される。

以上のようにして、クラスタ制御部１２０の各部は、ステップＳ６０２～Ｓ６０４の処理を定期的に繰り返し実行することで、各種の運用時処理のタイムアウト値をシステムの稼働環境に応じた稼働環境適合値に更新することができる。この結果、例えばネットワーク負荷が低いときには、ノード障害検出などの各種処理のタイムアウト値が短縮されることで、ノード障害の誤検出等を避けながら、フェイルオーバー時間を短縮するように調整できる。また例えば、ネットワーク負荷が高いときには、ノード障害検出などの各種処理のタイムアウト値が増加されることで、ノード障害の誤検出等を避けながら、適切なフェイルオーバー時間に調整することができる。

図１７は、ストレージ稼働状況確認処理の処理手順例を示すフローチャートである。図１７に示すストレージ稼働状況確認処理は、図１６のステップＳ６０３の処理に相当し、タイムアウト更新部１２２によって実行される。

図１７によれば、タイムアウト更新部１２２は、ストレージ稼働情報１４２が保持する複数の情報（具体的には、システム統計情報１４３が保持する「ＩＯ性能」や「パケット量」等の統計要素、及びストレージ処理情報１４４が保持する「ストレージ処理情報」）のうちから１つを選択し、ステップＳ７０２～Ｓ７０４の処理を開始する（ステップＳ７０１）。ステップＳ７０１における選択対象は、ＩＤで識別可能な情報であり、例えば図６，図７を参照した場合、ＩＤ「２」が付与された「ＩＯ性能」、ＩＤ「３」が付与された「パケット量」、及びＩＤ「４」が付与された「ストレージ処理情報」に相当する。

ステップＳ７０２では、タイムアウト更新部１２２は、システム統計情報１４３またはストレージ処理情報１４４を参照し、ステップＳ７０１で選択した対象の現在値を取得する。例えば、ステップＳ７０１においてＩＤ「２」の「ＩＯ性能」を選択した場合、タイムアウト更新部１２２は、ステップＳ７０２においてシステム統計情報１４３の値１４３２からＩＯ性能の現在値を取得する。また例えば、ステップＳ７０１においてＩＤ「４」の「ストレージ処理情報」を選択した場合、タイムアウト更新部１２２は、ステップＳ７０２においてストレージ処理情報１４４の値１４４２からストレージ処理情報の現在値を取得する。

次いで、ステップＳ７０３では、タイムアウト更新部１２２は、ステップＳ７０２で取得したＩＤと現在値を負荷影響算出式１４５に入力し、基礎係数及び基礎加算値を算出する。例えば、ステップＳ７０１においてＩＤ「２」の「ＩＯ性能」を選択した場合、タイムアウト更新部１２２は、ステップＳ７０３において負荷影響算出式１４５を用いて、基礎係数ｃ２及び基礎加算値ａ２を算出する。また例えば、ステップＳ７０１においてＩＤ「４」の「ストレージ処理情報」を選択した場合、タイムアウト更新部１２２は、ステップＳ７０３において負荷影響算出式１４５を用いて、基礎係数ｃ４及び基礎加算値ａ４を算出する。

次いで、ステップＳ７０４では、タイムアウト更新部１２２は、ステップＳ７０１で選択した対象のＩＤを保持する情報（システム統計情報１４３またはストレージ処理情報１４４）の現在値の負荷影響を、ステップＳ７０３の算出結果で更新する。例えば、ステップＳ７０１においてＩＤ「２」の「ＩＯ性能」を選択した場合、ステップＳ７０４において、タイムアウト更新部１２２は、システム統計情報１４３の現在値の負荷影響１４３３におけるＩＯ性能の基礎係数及び基礎加算値を、ステップＳ７０３で算出した基礎係数ｃ２及び基礎加算値ａ２で更新する。また例えば、ステップＳ７０１においてＩＤ「４」の「ストレージ処理情報」を選択した場合、ステップＳ７０４において、タイムアウト更新部１２２は、ストレージ処理情報１４４の現在値の負荷影響１４４３におけるＩＯ性能の基礎係数及び基礎加算値を、ステップＳ７０３で算出した基礎係数ｃ４及び基礎加算値ａ４で更新する。

ステップＳ７０４の終了後、タイムアウト更新部１２２は、ステップＳ７０１に戻り、次の対象を１つ選択してステップＳ７０２～Ｓ７０４の処理を繰り返す。そして、全ての対象に対してステップＳ７０２～Ｓ７０４の処理が完了すると、タイムアウト更新部１２２は、ストレージ稼働状況確認処理を終了する。

図１８は、タイムアウト値の稼働環境適合値を決定する方法を説明するイメージ図である。上述したように、本実施形態では、インストール時に実行されるタイムアウト初期設定処理においてインストール時タイムアウト値及び運用時タイムアウト値を決定し、運用時に定期的に実行されるタイムアウト更新処理において運用時タイムアウト値を更新する。そして、これらの各タイムアウト値は、システムの稼働環境を示す情報の現在値に基づいて、稼働環境に応じた稼働環境適合値として算出される。図１８には、このようなタイムアウト値の稼働環境適合値の決定方法が図式化されている。なお、図示された各段階の詳細は、図１３や図１４で説明済みであるため、繰り返しの説明を省略する。

図１８に示したように、本実施形態でタイムアウト値を算出する場合には、まず、ネットワーク遅延確認部１１１，１２１が、ネットワーク遅延情報１４１のＩＤと現在値を入力として負荷影響算出式１４５から基礎係数ｃ１及び基礎加算値ａ１を算出する。また、タイムアウト更新部１２２は、ストレージシステムの稼働状況を示す情報（システム統計情報１４３、ストレージ処理情報１４４）ごとに、各情報のＩＤと現在値を入力として負荷影響算出式１４５から基礎係数ｃｉ及び基礎加算値ａｉを算出する（ｉはＩＤ値）。次に、タイムアウト初期設定部１１２またはタイムアウト更新部１２２が、負荷影響算出式１４５から算出された基礎係数ｃｉ及び基礎加算値ａｉを入力として、処理ごとのタイムアウト値算出式１４６から、当該処理のタイムアウト値の稼働環境適合値を算出することができる。

（３－３）運用時タイムアウト値の具体的な更新例
以下では、運用時のタイムアウト更新処理によってタイムアウト値がどのように更新されるかを、運用中の具体的な状況例（第１のケース、第２のケース）に沿って確認する。

（３－３－１）第１のケース
第１のケースは、運用中にＩＯ性能（応答時間）が、ベース値の１倍から２倍に延び、その後１倍に変化したとする。第１のケースは、例えば、運用中にネットワーク負荷の増加やアクセスの集中などによって一時的にＩＯ性能が悪化し、その後、通常値に戻ったという状況を表している。なお、第１のケースでは、実行中のネットワーク負荷が高いストレージ処理は存在せず、ストレージ処理情報１４４の現在値には「処理なし」が格納されているとする。また、ストレージ処理情報１４４の現在値が「処理なし」である場合、その現在値から算出される負荷影響は、基礎係数ｃ４「１」及び基礎加算値ａ４「０」であるとする。

第１のケースにおいて、まず、ＩＯ性能がベース値の１倍から２倍になったときに図１６のタイムアウト更新処理が実行されたとする。なお、本説明では、ＩＯ性能がベース値の１倍から２倍になったときのタイムアウト値の変化を明確にするために、ＩＯ性能だけが変化し、その他のメトリック（測定値）には変化がないとするが、実際には、ＩＯ性能が変化した場合には、他のメトリックにも変化が生じ得ると考えてよい。

このとき、ステップＳ６０２のネットワーク遅延確認処理（詳細は図１２参照）は、以下のように進行する。

ステップＳ２０１において、ｐｉｎｇコマンドを用いて「１０ｍｓ」のネットワーク遅延値が計測されたとすると、ステップＳ２０２では、ネットワーク遅延情報１４１の現在値が「１０」に更新される。次に、ステップＳ２０３において、ネットワーク遅延情報１４１のＩＤ「１」と現在値「１０」が、ネットワーク遅延情報の負荷影響算出式１４５に入力されて、基礎係数ｃ１「１」、基礎加算値ａ１「０」が算出される。そしてステップＳ２０４では、ステップＳ２０３の算出結果がネットワーク遅延情報１４１の現在値の負荷影響１４１３に格納される。

次に、ステップＳ６０３のストレージ稼働状況確認処理（詳細は図１７参照）は、以下のように進行する。

ステップＳ７０１において「ＩＯ性能」が選択された場合、ステップＳ７０２では、システム統計情報１４３からＩＯ性能のＩＤ「２」と現在値「１０（ベース値の２倍の値）」が取得される。ステップＳ７０３ではこれらの値を負荷影響算出式１４５に入力して、基礎係数ｃ２「１．５」及び基礎加算値ａ２「１」が算出される。そしてステップＳ７０４では、ステップＳ７０３の算出結果がシステム統計情報１４３のＩＯ性能の現在値の負荷影響１４３３に格納される。

同様に、ステップＳ７０１において「パケット量」が選択された場合は、システム統計情報１４３から取得されたＩＤ「３」とパケット量の現在値「１０００」を入力として、負荷影響算出式１４５から基礎係数ｃ３「１」及び基礎加算値ａ３「０」が算出され（ステップＳ７０３）、これらの算出結果がシステム統計情報１４３のパケット量の現在の負荷影響１４３３に格納される（ステップＳ７０４）。

また同様に、ステップＳ７０１において「ストレージ処理情報」が選択された場合は、ストレージ処理情報１４４から取得されたＩＤ「４」とストレージ処理情報の現在値「処理なし」を入力として、負荷影響算出式１４５から基礎係数ｃ４「１」及び基礎加算値ａ４「０」が算出され（ステップＳ７０３）、これらの算出結果がストレージ処理情報１４４の現在の負荷影響１４４３に格納される（ステップＳ７０４）。

次に、ステップＳ６０４の運用時タイムアウト値更新処理（詳細は図１４参照）は、以下のように進行する。

ステップＳ４０１～Ｓ４０２では、ネットワーク遅延情報１４１及びストレージ稼働情報１４２（システム統計情報１４３、ストレージ処理情報１４４）から、現在値の負荷影響を取得する。各情報から取得される負荷影響の具体値は、（基礎係数，基礎加算値）の形式で表すと、ネットワーク遅延情報は（１，０）、ＩＯ性能は（１．５，１）、パケット量は（１，０）、ストレージ処理情報は（１，０）となる。

そしてステップＳ４０３～Ｓ４０５では、運用時タイムアウト値１４８でタイムアウト値を保持する各処理（図９の例では、ノード障害検出、ＦＯ処理、運用時処理Ｃ）について、ステップＳ４０２で取得した負荷影響を各処理のタイムアウト値算出式１４６に入力することにより、各処理のタイムアウト値を算出し、運用時タイムアウト値１４８の稼働環境適合値を更新する。具体的には、ノード障害検出のタイムアウト値は、「ノード障害検出のタイムアウト値＝ノード障害検出のタイムアウトデフォルト値×max(1, 1.5, 1, 1)＋max(0, 1, 0, 0)＝4×1.5＋1＝7」と計算されることから、ノード障害検出の稼働環境適合値には「７」が格納される。同様にして、ＦＯ処理についてタイムアウト値を計算した結果は「15×1.5＋1＝23.5」となり、ＦＯ処理の稼働環境適合値には「２３．５」が格納される。また運用時処理Ｃについてタイムアウト値を計算した結果は「10×1.5＋1＝16」となり、運用時処理Ｃの稼働環境適合値には「１６」が格納される。なお、上記の算出結果は、全て予め設定された稼働環境適合値の許容範囲に収まっているとする。

以上のように、第１のケースにおいてＩＯ性能（応答時間）がベース値の１倍から２倍になったとき、クラスタ制御部１２０は、運用時タイムアウト値１４８で保持される各種の運用時処理（ノード障害検出、ＦＯ処理、運用時処理Ｃ）の稼働環境適合値を、何れもデフォルト値より大きい値に決定することができる。すなわち、運用中にネットワーク負荷の増加やアクセスの集中などによって一時的にＩＯ性能が悪化したときには、クラスタ制御部１２０は、各種の運用時処理のタイムアウト値を延長することができる。これにより、タイムアウト値が短いことに起因する各種障害の誤検出を防ぐことができる。

次に、第１のケースにおいて、ＩＯ性能がベース値の２倍から１倍になったときにタイムアウト更新処理が実行されたとする。なお、本説明では、ＩＯ性能がベース値の２倍から１倍になったときのタイムアウト値の変化を明確にするために、ＩＯ性能だけが変化し、その他のメトリック（測定値）には変化がないとするが、実際には、ＩＯ性能が変化した場合には、他のメトリックにも変化が生じ得ると考えてよい。

このとき、図１６に示したように、まずはステップＳ６０２でネットワーク遅延確認処理（詳細は図１２参照）が実行される。この詳細は、ＩＯ性能がベース値の１倍から２倍になったときと同様であることから省略するが、ネットワーク遅延値が変わっていないとすると、ネットワーク遅延情報１４１において、現在値は「１０」となり、現在値の負荷影響１４１３は、基礎係数ｃ１が「１」、基礎加算値ａ１が「０」となる。

次に、ステップＳ６０３でストレージ稼働状況確認処理（詳細は図１７参照）が実行される。ストレージ稼働状況確認処理は、具体的には以下のように進行する。

ステップＳ７０１において「ＩＯ性能」が選択された場合、ステップＳ７０２では、システム統計情報１４３からＩＯ性能のＩＤ「２」と現在値「５（ベース値の１倍の値）」が取得される。ステップＳ７０３ではこれらの値を負荷影響算出式１４５に入力して、基礎係数ｃ２「１」及び基礎加算値ａ２「０」が算出される。そしてステップＳ７０４では、ステップＳ７０３の算出結果がシステム統計情報１４３のＩＯ性能の現在値の負荷影響１４３３に格納される。

なお、「パケット量」及び「ストレージ処理情報」については稼働環境の変化がないと仮定すれば、これらに対するストレージ稼働状況確認処理の処理結果は、前述したＩＯ性能がベース値の１倍から２倍になったときと同じとなる。すなわち、ステップＳ７０１において「パケット量」が選択された場合には、システム統計情報１４３のパケット量の現在値の負荷影響１４３３に基礎係数ｃ３「１」及び基礎加算値ａ３「０」が格納され、ステップＳ７０１において「ストレージ処理情報」が選択された場合には、ストレージ処理情報１４４の現在の負荷影響１４４３に基礎係数ｃ４「１」及び基礎加算値ａ４「０」が格納される。

次に、ステップＳ６０４で運用時タイムアウト値更新処理（詳細は図１４参照）が実行される。運用時タイムアウト値更新処理は、具体的には以下のように進行する。

ステップＳ４０１～Ｓ４０２では、ネットワーク遅延情報１４１及びストレージ稼働情報１４２（システム統計情報１４３、ストレージ処理情報１４４）から、現在値の負荷影響を取得する。各情報から取得される負荷影響の具体値は、（基礎係数，基礎加算値）の形式で表すと、ネットワーク遅延情報は（１，０）、ＩＯ性能は（１，０）、パケット量は（１，０）、ストレージ処理情報は（１，０）となる。前述したＩＯ性能がベース値の１倍から２倍になったときと比較すると、ＩＯ性能が（１．５，１）から（１，０）になっている点が異なる。

そしてステップＳ４０３～Ｓ４０５では、運用時タイムアウト値１４８でタイムアウト値を保持する各処理（図９の例では、ノード障害検出、ＦＯ処理、運用時処理Ｃ）について、ステップＳ４０２で取得した負荷影響を各処理のタイムアウト値算出式１４６に入力することにより、各処理のタイムアウト値を算出し、運用時タイムアウト値１４８の稼働環境適合値を更新する。具体的には、ノード障害検出のタイムアウト値は、「ノード障害検出のタイムアウト値＝ノード障害検出のタイムアウトデフォルト値×max(1, 1, 1, 1)＋max(0, 0, 0, 0)＝4×1＋0＝4」と計算されることから、ノード障害検出の稼働環境適合値には「４」が格納される。同様にして、ＦＯ処理についてタイムアウト値を計算した結果は「15×1＋0＝15」となり、ＦＯ処理の稼働環境適合値には「１５」が格納される。また運用時処理Ｃについてタイムアウト値を計算した結果は「10×1＋0＝10」となり、運用時処理Ｃの稼働環境適合値には「１０」が格納される。なお、上記の算出結果は、全て予め設定された稼働環境適合値の許容範囲に収まっているとする。

以上のように、第１のケースにおいてＩＯ性能（応答時間）がベース値の２倍から１倍に戻ったとき、クラスタ制御部１２０は、運用時タイムアウト値１４８で保持される各種の運用時処理（ノード障害検出、ＦＯ処理、運用時処理Ｃ）の稼働環境適合値を、何れもデフォルト値と同じ値に決定することができる。すなわち、運用中にネットワーク負荷の増加やアクセスの集中などが解消してＩＯ性能が向上したときには、クラスタ制御部１２０は、各種の運用時処理のタイムアウト値を短縮することができる。これにより、タイムアウト値が長いことに起因する障害検出の遅延を防ぐことができる。したがって、ノード障害検出が遅延しないため、フェイルオーバー時間の長期化を防ぐことができる。

（３－３－２）第２のケース
第２のケースは、運用中に、実行中のネットワーク負荷が高いストレージ処理が、「処理なし」から「リビルド中」になり、その後「処理なし」に変化したとする。第２のケースは、運用中にリビルドが実行され、その後終了したという状況を表している。

なお、本説明では、ストレージ処理の変化がタイムアウト値に与える影響を明確にするために、実行中のストレージ処理が「リビルド中」に遷移したときには「パケット量」が「１５００ＫＢ／ｓ」に増加するとし、これ以外にはネットワーク遅延情報１４１及びストレージ稼働情報１４２におけるメトリック（測定値）には変化がないとするが、実際には、実行中のストレージ処理が変化した場合には、他のメトリックにも変化が生じ得ると考えてよい。また、「パケット量」の現在値が「１５００」の場合、負荷影響算出式１４５からは、基礎係数ｃ３「１．５」及び基礎加算値ａ３「１」が算出されるとし、「ストレージ処理情報」の現在値が「リビルド中」の場合、負荷影響算出式１４５からは、基礎係数ｃ４「１．５」及び基礎加算値ａ４「２」が算出されるとする。

第２のケースにおいては、実行中のストレージ処理が「リビルド中」に遷移したときと、その後に「処理なし」に遷移したときに、それぞれ図１６のタイムアウト更新処理が実行されたとする。なお、タイムアウト更新処理における処理進行の概要は、第１のケースで説明したことの繰り返しになるため、これを省略し、第１のケースとは相違する具体値を中心に説明する。

以上を踏まえると、第２のケースにおいて実行中のストレージ処理が「リビルド中」であるときのタイムアウト更新処理は、以下のように進行する。

まず、ステップＳ６０２のネットワーク遅延確認処理（詳細は図１２参照）では、ネットワーク遅延情報１４１に対して、現在値に「１０」が格納され、現在値の負荷影響１４１３に基礎係数ｃ１「１」及び基礎加算値ａ１が「０」が格納される。

次に、ステップＳ６０３のストレージ稼働状況確認処理（詳細は図１７参照）は、以下のように進行する。

ステップＳ７０１において「ＩＯ性能」が選択された場合、システム統計情報１４３からＩＯ性能のＩＤ「２」と現在値「５」が取得されることから、負荷影響算出式１４５から基礎係数ｃ２「１」及び基礎加算値ａ２「０」が算出され、システム統計情報１４３のＩＯ性能の現在値の負荷影響１４３３に格納される。また、ステップＳ７０１において「パケット量」が選択された場合、システム統計情報１４３からパケット量のＩＤ「３」と現在値「１５００」が取得されることから、負荷影響算出式１４５から基礎係数ｃ３「１．５」及び基礎加算値ａ３「１」が算出され、システム統計情報１４３のパケット量の現在値の負荷影響１４３３に格納される。前述したように、本説明では、リビルド中のパケット量は１５００ＫＢ／ｓに増加していると仮定している。また、ステップＳ７０１において「ストレージ処理情報」が選択された場合、ストレージ処理情報１４４からストレージ処理情報のＩＤ「４」と現在値「リビルド中」が取得されることから、負荷影響算出式１４５から基礎係数ｃ４「１．５」及び基礎加算値ａ４「２」が算出され、ストレージ処理情報１４４の現在の負荷影響１４４３に格納される。

次に、ステップＳ６０４の運用時タイムアウト値更新処理（詳細は図１４参照）は、以下のように進行する。

ステップＳ４０１～Ｓ４０２では、ネットワーク遅延情報１４１及びストレージ稼働情報１４２（システム統計情報１４３、ストレージ処理情報１４４）から、現在値の負荷影響を取得する。各情報から取得される負荷影響の具体値は、（基礎係数，基礎加算値）の形式で表すと、ネットワーク遅延情報は（１，０）、ＩＯ性能は（１，０）、パケット量は（１．５，１）、ストレージ処理情報は（１．５，２）となる。

そしてステップＳ４０３～Ｓ４０５では、運用時タイムアウト値１４８でタイムアウト値を保持する各処理（図９の例では、ノード障害検出、ＦＯ処理、運用時処理Ｃ）について、各処理のタイムアウト値算出式１４６からタイムアウト値を算出し、運用時タイムアウト値１４８の稼働環境適合値を更新する。具体的には、ノード障害検出のタイムアウト値は、「ノード障害検出のタイムアウト値＝ノード障害検出のタイムアウトデフォルト値×max(1, 1, 1.5, 1)＋max(0, 0, 1, 2)＝4×1.5＋2＝8」と計算されることから、ノード障害検出の稼働環境適合値には「８」が格納される。同様にして、ＦＯ処理についてタイムアウト値を計算した結果は「15×1.5＋2＝24.5」となり、ＦＯ処理の稼働環境適合値には「２４．５」が格納される。また運用時処理Ｃについてタイムアウト値を計算した結果は「10×1.5＋2＝17」となり、運用時処理Ｃの稼働環境適合値には「１７」が格納される。なお、上記の算出結果は、全て予め設定された稼働環境適合値の許容範囲に収まっているとする。

以上のように、第２のケースにおいてリビルドが実行中となったとき、クラスタ制御部１２０は、運用時タイムアウト値１４８で保持される各種の運用時処理（ノード障害検出、ＦＯ処理、運用時処理Ｃ）の稼働環境適合値を、何れもデフォルト値より大きい値に決定することができる。すなわち、運用中に、ネットワーク負荷が高いストレージ処理が実行されてネットワーク品質が悪化しているときは、クラスタ制御部１２０は、各種の運用時処理のタイムアウト値を延長することができる。これにより、タイムアウト値が短いことに起因する各種障害の誤検出を防ぐことができる。

次に、第２のケースにおいて実行中のストレージ処理が「リビルド中」から「処理なし」に遷移した後のタイムアウト更新処理は、以下のように進行する。

まず、ステップＳ６０２のネットワーク遅延確認処理（詳細は図１２参照）では、ネットワーク遅延情報１４１に対して、現在値に「１０」が格納され、現在値の負荷影響１４１３に基礎係数ｃ１「１」及び基礎加算値ａ１が「０」が格納される。

次に、ステップＳ６０３のストレージ稼働状況確認処理（詳細は図１７参照）は、以下のように進行する。

ステップＳ７０１において「ＩＯ性能」が選択された場合、システム統計情報１４３からＩＯ性能のＩＤ「２」と現在値「５」が取得されることから、負荷影響算出式１４５から基礎係数ｃ２「１」及び基礎加算値ａ２「０」が算出され、システム統計情報１４３のＩＯ性能の現在値の負荷影響１４３３に格納される。また、ステップＳ７０１において「パケット量」が選択された場合、システム統計情報１４３からパケット量のＩＤ「３」と現在値「１０００」が取得されることから、負荷影響算出式１４５から基礎係数ｃ３「１」及び基礎加算値ａ３「０」が算出され、システム統計情報１４３のパケット量の現在値の負荷影響１４３３に格納される。また、ステップＳ７０１において「ストレージ処理情報」が選択された場合、ストレージ処理情報１４４からストレージ処理情報のＩＤ「４」と現在値「処理なし」が取得されることから、負荷影響算出式１４５から基礎係数ｃ４「１」及び基礎加算値ａ４「０」が算出され、ストレージ処理情報１４４の現在の負荷影響１４４３に格納される。

次に、ステップＳ６０４の運用時タイムアウト値更新処理（詳細は図１４参照）は、以下のように進行する。

ステップＳ４０１～Ｓ４０２では、ネットワーク遅延情報１４１及びストレージ稼働情報１４２（システム統計情報１４３、ストレージ処理情報１４４）から、現在値の負荷影響を取得する。各情報から取得される負荷影響の具体値は、（基礎係数，基礎加算値）の形式で表すと、ネットワーク遅延情報は（１，０）、ＩＯ性能は（１，０）、パケット量は（１，０）、ストレージ処理情報は（１，０）となる。

そしてステップＳ４０３～Ｓ４０５では、運用時タイムアウト値１４８でタイムアウト値を保持する各処理（図９の例では、ノード障害検出、ＦＯ処理、運用時処理Ｃ）について、各処理のタイムアウト値算出式１４６からタイムアウト値を算出し、運用時タイムアウト値１４８の稼働環境適合値を更新する。具体的には、ノード障害検出のタイムアウト値は、「ノード障害検出のタイムアウト値＝ノード障害検出のタイムアウトデフォルト値×max(1, 1, 1, 1)＋max(0, 0, 0, 0)＝4×1＋0＝4」と計算されることから、ノード障害検出の稼働環境適合値には「４」が格納される。同様にして、ＦＯ処理についてタイムアウト値を計算した結果は「15×1＋0＝15」となり、ＦＯ処理の稼働環境適合値には「１５」が格納される。また運用時処理Ｃについてタイムアウト値を計算した結果は「10×1＋0＝10」となり、運用時処理Ｃの稼働環境適合値には「１０」が格納される。なお、上記の算出結果は、全て予め設定された稼働環境適合値の許容範囲に収まっているとする。

以上のように、第２のケースにおいてリビルドが完了しネットワーク負荷が高いストレージ処理が実行されていないとなったときには、クラスタ制御部１２０は、運用時タイムアウト値１４８で保持される各種の運用時処理（ノード障害検出、ＦＯ処理、運用時処理Ｃ）の稼働環境適合値を、何れもデフォルト値と同じ値に決定することができる。すなわち、運用中に、ネットワーク負荷が高いストレージ処理の処理が完了してネットワーク品質が改善したときは、クラスタ制御部１２０は、各種の運用時処理のタイムアウト値を短縮することができる。これにより、タイムアウト値が長いことに起因する障害検出の遅延を防ぐことができる。したがって、ノード障害検出が遅延しないため、フェイルオーバー時間の長期化を防ぐことができる。

以上、第１のケース及び第２のケースにおけるタイムアウト値の変化からも分かるように、本実施形態に係るストレージシステム１において、クラスタ制御部１２０は、ネットワーク遅延情報１４１及びストレージ稼働情報１４２から直接的あるいは間接的に負荷状況を判断し、ネットワーク品質に応じて運用時の各種処理（例えばノード障害検出）のタイムアウト値を延長したり短縮したりすることができる。

かくして、本実施形態に係るストレージシステム１によれば、インストール時処理または運用時処理に含まれる所定の各種処理におけるタイムアウト値を、ネットワーク品質に応じて稼働環境に適合する値に更新して設定することにより、ネットワーク負荷が高いときにタイムアウト値が十分でないことでノード障害が誤検出されることを防止できるとともに、ノード障害発生時のフェイルオーバー完了までのＩＯ停止時間（ＦＯ時間）が過剰に長期化することを防止し、ネットワーク負荷が低いときには上記ＦＯ時間を短縮することができる。

本実施形態に係るストレージシステム１は、以上のような効果が得られることから、特に、下記のようなストレージシステムに適用して好適なものである。

例えば、パブリッククラウド環境では、リソースの選択肢が多く、ネットワーク品質が多様であるという特徴や、他の稼働システムの影響を受けるためにネットワーク品質が安定しないという特徴がある。本発明は、ネットワーク品質の変化に応じて柔軟に、各処理のタイムアウト値を稼働環境に適合する値に更新することができるため、上記の特徴を有するパブリッククラウド環境で運用されるストレージシステムに適用する場合に、より効果的である。

また例えば、オンプレミス環境とパブリッククラウド環境とでは、ネットワーク品質が異なるため、両者の間で環境を移行する際に、本発明は特に有効である。

また、上記例以外にも、ネットワーク負荷が途中で変動するような環境で運用されるストレージシステムに適用する場合に、本発明は特に有効である。また、ＳＤＳに関わらずストレージ専用機等、ストレージ装置の種類によらず、本発明は有効である。

１ ストレージシステム
１０ ストレージノード
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４，１５ 通信装置
１６ 内部ネットワーク
２０ ＩＯホスト
３１ ストレージサービスネットワーク
３２ バックエンドネットワーク
４０ クラスタ
１１０ インストール処理部
１１１ ネットワーク遅延確認部
１１２ タイムアウト初期設定部
１１３ ＩＯホストタイムアウト判定部
１２０ クラスタ制御部
１２１ ネットワーク遅延確認部
１２２ タイムアウト更新部
１２３ ノード監視部
１３０ ＩＯ制御部
１４０ タイムアウト管理用情報
１４１ ネットワーク遅延情報
１４２ ストレージ稼働情報
１４３ システム統計情報
１４４ ストレージ処理情報
１４５ 負荷影響算出式
１４６ タイムアウト値算出式
１４７ インストール時タイムアウト値
１４８ 運用時タイムアウト値
１４９ ＩＯホストタイムアウト情報

Claims (9)

1. データを記憶する記憶装置と、
   前記記憶装置に入出力するデータを処理するプロセッサを有する複数のストレージノードと、
   前記複数のストレージノードを接続するネットワークと、
   を備えるストレージシステムにおいて、
   前記複数のストレージノードは、
   互いの稼働状況を監視して、タイムアウト値に基づいて前記ストレージノードの障害発生を判断するノード障害検出を行い、前記ストレージノードに障害が発生した場合にそのストレージノードの処理を他のストレージが引き継ぐフェイルオーバー処理を行い、前記ストレージノード間のネットワークの状況に基づいて、前記タイムアウト値を調整する
   ことを特徴とするストレージシステム。
2. 前記複数のストレージノードは、
   前記ストレージノード間のネットワークの遅延に関するネットワーク遅延情報を有し、
   前記ネットワーク遅延情報に基づいて前記タイムアウト値を調整し、
   前記ネットワーク遅延情報におけるネットワークの遅延が大きい場合に前記タイムアウト値を大きくする
   ことを特徴とする請求項１に記載のストレージシステム。
3. 前記複数のストレージノードは、
   前記ストレージノードの処理情報を有するストレージ稼働情報を有し、
   前記ストレージ稼働情報に基づいて前記タイムアウト値を調整し、
   前記ストレージ稼働情報には、前記ストレージノードが行う処理が含まれており、
   前記ストレージノードが行う処理のネットワークへの負荷が大きい場合に前記タイムアウト値を大きくする
   ことを特徴とする請求項１に記載のストレージシステム。
4. 前記複数のストレージノードは、
   前記ストレージシステムの負荷を示すシステム統計情報を有し、
   システム統計情報に基づくシステムの負荷が大きい場合に前記タイムアウト値を大きくする
   ことを特徴とする請求項１に記載のストレージシステム。
5. 前記プロセッサによるプログラムの実行により、前記ストレージシステムの初期設定のためのインストール処理を実行するインストール処理部を備え、
   前記インストール処理部は、前記インストール処理の開始時に、
   現在のネットワークの遅延状況を確認し、その確認結果に基づいて前記ネットワーク遅延情報を更新し、
   前記更新したネットワーク遅延情報に基づいて、前記インストール処理で実行されるインストール時処理のタイムアウト値を設定し、
   前記更新したネットワーク遅延情報に基づいて、前記ノード障害検出及び前記フェイルオーバー処理を含む、システム運用時に実行され得る運用時処理のタイムアウト値を決定し設定する
   ことを特徴とする請求項２に記載のストレージシステム。
6. 前記ノード障害検出のタイムアウト値に基づいて、ノード障害発生時のフェイルオーバー処理完了までの時間を算出し、フェイルオーバー処理完了までの時間と、前記ストレージシステムにデータ入出力を行う上位装置の入出力タイムアウトの判定要件と、を比較し、
   前記ノード障害発生時のフェイルオーバー処理完了までのタイムアウト値が前記入出力タイムアウトの判定要件を超えていた場合は、その対処を行う
   ことを特徴とする請求項１に記載のストレージシステム。
7. 前記対処は、前記入出力タイムアウトの判定要件の変更、または前記ストレージシステムの機器構成の変更をユーザに提示することである
   ことを特徴とする請求項６に記載のストレージシステム。
8. 前記システム統計情報に格納される情報の統計要素には、上位装置から要求されたＩＯを処理する性能を表すＩＯ性能、または前記ストレージノードにおけるデータ通信量を表すパケット量の少なくとも何れかが含まれる
   ことを特徴とする請求項４に記載のストレージシステム。
9. ストレージシステムによる制御方法であって、
   前記ストレージシステムは、
   データを記憶する記憶装置と、
   前記記憶装置に入出力するデータを処理するプロセッサを有する複数のストレージノードと、
   前記複数のストレージノードを接続するネットワークと、を有し、
   前記複数のストレージノードが、互いの稼働状況を監視して、タイムアウト値に基づいて前記ストレージノードの障害発生を判断するノード障害検出を行い、前記ストレージノードに障害が発生した場合にそのストレージノードの処理を他のストレージが引き継ぐフェイルオーバー処理を行い、前記ストレージノード間のネットワークの状況に基づいて、前記タイムアウト値を調整する
   ことを特徴とする制御方法。
   

Images