JP2006318246A - 記憶制御方法、プログラム及び装置 - Google Patents

Abstract

【課題】複数のディスク装置等の記憶デバイスで構成されるボリューム全体の性能を監視し、性能低下を判定した場合に自動的に性能回復を図る。
【解決手段】サーバからの入出力要求に基づき、ＲＡＩＤ構成をとる複数のディスク装置３６により構成されたボリューム３８にアクセスする。性能測定部４６は複数のディスク装置３６の性能を装置稼動中に定期的に測定し、性能測定値保存部４８は測定した性能測定値を保存する。性能改善部５４は性能測定値から性能低下を判別した際に、ディスク装置３６の追加によりボリューム３８のサイズを大きくする。また性能改善部５４は、複数種類の性能測定値毎に性能閾値を設定し、少なくとも何れか１つの性能測定値が対応する性能閾値を下回った際に、ディスク装置を追加する。
【選択図】 図１

Description

本発明は、サーバ等の上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスによりディスクアレイとして構成されたボリュームにアクセスする記憶制御方法、プログラム及び装置に関し、特に、稼動中における処理性能の低下を監視して自動的にリカバリする記憶制御方法、プログラム及び装置に関する。

従来、ストレージ・エリア・ネットワーク（ＳＡＮ）やネットワーク・アタッチド・ストレージ（ＮＡＳ）として、ネットワーク上のサーバに接続されるディスクアレイ装置が知られている。

このようなディスクアレイ装置は、複数の磁気ディスク装置を記憶デバイスとしてＲＡＩＤ構成による冗長性を持たせ、入出力性能を高めると同時に装置故障等に起因したデータ喪失が起きても復元可能とすることで高い信頼性を保証している。
特開２０００−０３９９７０号公報 特開２０００−２９３３２０号公報

しかしながら、このようなネットワークストレージとして使用されるディスクアレイ装置にあっては、多数の磁気ディスク装置を記憶デバイスして使用しており、基本的には全ての磁気ディスク装置は同じ性能を保証されているが、実際には個々の磁気ディスク装置の性能にはある程度のばらつきがあり、特定の磁気ディスク装置の性能が故障には至らないが、他の磁気ディスク装置に比べ性能が低下する可能性があり、クライアントやサーバにおける処理時間の遅延などに気付いたシステムの使用者からの申告によって初めて性能低下の原因を究明して対策するためのトラブルシューティングを開始している。

このような場合に性能低下の原因として疑わしい範囲はディスクアレイ装置以外にネットワーク上のサーバやクライアントなど多岐に亘る。トラブルシューティングにおいては、こうした全ての被疑範囲を１つ１つ切り分けを行っており、ディスクアレイ装置に設けている特定の磁気ディスク装置が性能低下の原因となっていた場合にも、磁気ディスク装置が原因であることを突き止めてトラブルを解消するまでには多くの時間と手間がかかるという問題がある。

本発明は、ディスク装置等の複数の記憶デバイスで構成されるボリューム全体の性能を監視し、性能低下を判定した場合に自動的に性能回復を図る記憶制御方法、プログラム及び装置を提供することを目的とする。

図１は本発明の原理説明図である。本発明は、サーバ等の上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイス３６により構成されたボリューム３８にアクセスする記憶制御方法を提供する。即ち、本発明の記憶制御方法は、
複数の記憶デバイス３６の性能を装置可動中に定期的に測定する性能測定ステップと、
性能測定ステップにより測定した性能測定値を保存する性能測定値保存ステップと、
性能測定値保存ステップの性能測定値から性能低下を判別した際に、記憶デバイス３６の追加によりボリューム３８のサイズを大きくする性能改善ステップと、
を備えたことを特徴とする。

ここで、性能測定ステップは、記憶デバイスにおける複数種類の性能を測定し、性能測定値保存ステップは性能測定ステップで測定された複数種類の性能測定値を保存し、性能改善ステップは、複数種類の性能測定値毎に性能閾値を設定し、少なくとも何れか１つの性能測定値が対応する性能閾値を下回った際に、記憶デバイスの追加によりボリュームのサイズを大きくする。

記憶デバイスは例えばディスク媒体にデータを読み書きするディスク装置であり、ディスク装置の性能測定値は、
（１）単位時間当りのデータ転送量となるリード及びライト性能、
（２）コマンドを受領してから終了応答するまでの応答時間、
（３）コマンドを受領してから目的トラックにヘッド移動してオントラックするまでのシーク時間、
（４）目的トラックオントラックしてからヘッドに目的セクタが現れるまでのディスクの回転待ち時間、
（５）一定時間内のエラー回数および空き容量、
の何れか又は組合せを含む。

性能改善ステップは、性能測定値に対応して最低性能閾値を予め設定し、性能測定値が最低性能閾値以下となった場合に記憶デバイスの追加によりボリュームのサイズを大きくする。

性能改善ステップは、複数の記憶デバイスの性能測定値の平均値に所定の相対性能率を乗じて相対性能閾値を求め、性能測定値が相対性能閾値以下となった場合に記憶デバイスの追加によりボリュームのサイズを大きくする。

性能改善ステップは、記憶デバイスを追加した際に、既存記憶デバイスに書き込まれていたデータの一ステップを追加記憶デバイスに再配置する。

性能改善ステップは、記憶デバイスを追加した際に、既存記憶デバイスに書き込まれていたデータの一ステップを追加記憶デバイス及び既存記憶デバイスに再配置する。

本発明は、上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスにより構成されたボリュームにアクセスする記憶制御装置のコンピュータにより実行されるプログラムを提供する。即ち、本発明のプログラムは、記憶制御装置のコンピュータに、
複数の記憶デバイスの性能を装置可動中に定期的に測定する性能測定ステップと、
性能測定ステップにより測定した性能測定値を保存する性能測定値保存ステップと、
性能測定値保存ステップの性能測定値から性能低下を判別した際に、記憶デバイスの追加により前記ボリュームのサイズを大きくする性能改善ステップと、
を実行させることを特徴とする。

本発明は、上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスにより構成されたボリュームにアクセスする記憶制御装置を提供する。

即ち、本発明の記憶制御装置は、複数の記憶デバイスの性能を装置可動中に定期的に測定する性能測定部４６と、性能測定部４６により測定した性能測定値を保存する性能測定値保存部４８と、性能測定値保存部４８の性能測定値から性能低下を判別した際に、記憶デバイス３６の追加によりボリューム３８のサイズを大きくする性能改善部５４とを備えたことを特徴とする。

なお、本発明によるプログラム及び記憶制御装置の詳細は、本発明による記憶制御方法と基本的に同じになる。

本発明によれば、装置の可動中にボリュームを構成する複数の記憶デバイス、例えばディスク装置の個々の性能を定期的に測定して性能低下を監視しており、特定のディスク装置の性能低下を判定した場合は、既存のディスク装置に新たなディスク装置を追加することでＲＡＩＤ構成をとるボリュームのサイズを増加させ、これによって性能低下を起しているディスク装置へのアクセス負担を低減し、ボリューム全体としての性能回復を図ることができる。

また性能低下の監視と低下した性能の回復が自動的に行われるため、ディスク装置の単体性能の劣化に起因したボリューム全体の性能低下を未然に防止できる。また装置の使用者が装置の性能低下する必要がないため、判断の誤りなどによる不要な混乱を未然に防止できる。

更に、性能低下に対し自動的にボリュームサイズを大きくした際に、既存のディスク装置に書き込まれていたデータブロックの一部を追加したディスク装置に再配置することで、追加したディスク装置にアクセスが集中することを防止できる。

図２は本発明の記憶制御装置として機能するディスクアレイ装置のブロック図である。図２において、本発明のディスクアレイ装置１０は、ネットワーク１４を介してサーバ１２−１，１２−２に接続される。

本発明のディスクアレイ装置１０は、ストレージ・エリア・ネットワーク（ＳＡＮ）におけるストレージとして使用される。ストレージ・エリア・ネットワーク（ＳＡＮ）は、サーバ１２−１，１２−２とストレージであるディスクアレイ装置１０の間をファイバーチャネルなどの専用のネットワーク１４で接続している。

また本発明のディスクアレイ装置１０は、ネットワーク・アタッチド・ストレージ（ＮＡＳ）としても使用することができる。ネットワーク・アタッチド・ストレージ（ＮＡＳ）の場合には、サーバ１２−１，１２−２はネットワーク１４を介してディスクアレイ装置１０を共用するファイルサーバとして機能する。

またディスクアレイ装置１０は、サーバ１２−１，１２−２における異なるＯＳによるファイル・アクセス・プロトコルをサポートしており、これによって異なるＯＳ間でファイルを共用することを可能としている。例えばサーバ１２−１のＯＳはＵＮＩＸ（Ｒ）であり、またサーバ１２−２のＯＳはＷＩＮＤＯＷＳ（Ｒ）の場合である。

ディスクアレイ装置１０には、チャネルアダプタ１６、制御モジュール１８−１，１８−２、ディスクアレイ２０−１，２０−２が設けられる。チャネルアダプタ１６はネットワーク１４を介して、サーバ１２−１，１２−２との間でファイルアクセスに必要なネットワーク処理を実行する。

制御モジュール１８−１，１８−２には、制御モジュール１８−１に代表して示すようにＣＰＵ２２が設けられ、ＣＰＵ２２のバス２４に通信アダプタ２６、キャッシュメモリ２８、デバイスインタフェース３０−１，３０−２を接続している。ＣＰＵ２２は、チャネルアダプタ１６からのネットワーク処理に基づくサーバ１２−１，１２−２からの入出力要求に基づき、ディスクアレイ２０−１，２０−２で構成されるボリュームに対するファイルの入出力処理を実行する。

キャッシュメモリ２８はディスクアレイ２０−１，２０−２に対するライトキャッシュ及びリードキャッシュとして動作する。通信アダプタ２６は二重化された制御モジュール１８−２との間の通信を処理する。デバイスインタフェース３０−１，３０−２はディスクアレイ２０−１，２０−２に対応して設けられ、例えばＳＣＳＩインタフェースに対応したＳＣＳＩディスクドライバなどが使用される。

ディスクアレイ２０−１，２０−２は、ディスクアレイ２０−１に代表して示すようにディスク装置３６−１〜３６−４を備えている。このうちディスクアレイ装置１０の立上げに伴う最初の稼働中にあっては、例えばディスク装置３６−１〜３６−３の３台でＲＡＩＤ構成によるボリュームを構成しており、ＲＡＩＤ構成として例えばＲＡＩＤ４を例に取ると、ディスク装置３６−１，３６−２がデータ用であり、ディスク装置３６−３がパリティ用となる。

またディスク装置３６−４は、本発明による性能測定に伴う性能低下の判定時に、ボリュームサイズを拡大するための追加用のディスク装置である。なおディスクアレイ２０−１におけるＲＡＩＤ構成をとるディスク装置の台数は必要に応じて適宜の台数とすることができ、また追加用ディスク装置のホットスタンバイとして予め実装され、必要に応じて必要な台数を追加してボリュームサイズを増加することができる。

このような本発明が適用されるディスクアレイ装置１０としては、例えば富士通株式会社製のＥＴＥＲＮＵＳ ＮＲ１０００Ｆシリーズが存在する。

図３は本発明が適用された図２のディスクアレイ装置１０の機能構成のブロック図である。図３において、ネットワーク１４を介してサーバ１２−１，１２−２に接続された本発明のディスクアレイ装置１０は、チャネルアダプタ１６に加え、制御モジュール１８−１の機能としてリソース処理部４０、キャッシュ処理部４２、ＲＡＩＤ制御部４４及びデバイスインタフェース３０を備えている。

チャネルアダプタ１６はサーバ１２−１，１２−２に対するネットワーク処理を実行する。これに対し制御モジュール１８−１を構成するリソース処理部４０、キャッシュ処理部４２、ＲＡＩＤ制御部４４及びデバイスインタフェース３０は、データ用ディスク装置３６−１，３６−２及びパリティ用ディスク装置３６−３で構成されたＲＡＩＤ構成のボリューム３８に対するファイル処理を実行する。

本発明の実施形態にあっては、ファイル処理としてボリューム３８のデータ用ディスク装置３６−１，３６−２とパリティ用ディスク装置３６−３によりＲＡＩＤレベル４の構成をとるボリューム３８を例に取っており、したがってＲＡＩＤ制御部４４は、ボリューム３８のＲＡＩＤレベル４を対象としたデータブロックを基本単位とする入出力処理を実行する。

例えばサーバ１２−１からの書込要求に対しては、書込要求で転送されたデータブロックをデータ用ディスク装置３６−１，３６−２への書込論理ブロックアドレスに割り当てると共に、同一論理ブロックアドレスに割り当てた２つブロックデータから排他論理和によりパリティを計算してパリティデータ装置３６−３に対するパリティブロックを生成し、データ用ディスク装置３６−１，３６−２及びパリティ用ディスク装置３６−３に対し、同じ論理ブロックアドレスを指定して、データブロック及びパリティを並列的に書き込む。

また、サーバ側からの書込要求で受信された書込データについては、通常、キャッシュ処理部４２がキャッシュメモリにキャッシュライトして書込終了をサーバ側に応答し、ＬＲＵ管理などにより削除されるキャッシュブロックデータをボリューム３８側にライトバックする処理が行われている。

一方、サーバ側からの読出要求に対しては、キャッシュ処理部４２でキャッシュヒットとにらなかった場合には、ＲＡＩＤ制御部４４及びデバイスインタフェース３０を介して、ボリューム３８側から論理ブロックアドレス及びディスク装置の指定で対応するデータブロックを読み出してサーバに応答することになる。

このような通常のファイル処理のための入出力処理に加え、本発明にあっては、ＲＡＩＤ制御部４４に、性能測定部４６、性能測定値保存部４８、性能測定値テーブル５０、性能閾値テーブル５２及び性能改善部５４を設けている。

性能測定部４６は、ボリューム３８を構成するデータ用ディスク装置３６−１，３６−２及びパリティ用ディスク装置３６−３の性能を、ディスクアレイ装置１０の稼働中に定期的に測定する。性能測定値保存部４８は、性能測定部４６で測定された性能測定値を性能測定値テーブル５０に保存する。

本発明でディスク装置について測定される性能測定値の項目としては次のものがある。
（１）単位時間当たりのデータ転送量（ＭＢ／ｓ）で表わされるリードライト性能。
（２）コマンドを受領してから正常終了を応答するまでの応答時間。
（３）コマンドを受領してから目的トラックにヘッドを移動してオントラックするまでのシーク時間。
（４）目的トラックにオントラックしてからヘッドに目的セクタが現れるまでのディスクの回転待ち時間。
（５）一定時間内のエラー回数。
（６）空き容量。

性能改善部５４は、性能測定値テーブル５０に保存された性能測定値から性能閾値テーブル５２に格納された性能閾値との比較により性能低下を判別した際に、ボリューム３８に対しディスク装置３６−４を追加してボリュームサイズを大きくすることにより性能を改善する。

即ち、データ用ディスク装置３６−１，３６−２及びパリティ用ディスク装置３６−３の３台でＲＡＩＤレベル４のボリューム３８を構成した稼働中に、いずれかのディスク装置で性能低下が判別された場合に、ディスク装置３６−４を追加してボリューム３８のサイズを拡大し、これによって、それまでのデータ用ディスク装置の台数を２台から３台に増加させる。

これにより、同じデータの入出力量であった場合には、それまでの２台から３台にアクセスが分散されることで、ボリューム３８全体としての入出力性能を向上させることができる。特に性能低下が判定されたデータ用のディスク装置については、サーバからの入出力データ量に対する負担割合が全体のほぼ２分の１であったものが、新たなデータ用のディスク装置の追加によりほぼ３分の１に低減し、２分の１の割合で低下していた性能が３分の１に軽減されることで性能が回復し、ボリューム３８全体としての性能向上が実現できる。

なお、この実施形態にあっては性能低下時に追加するディスク装置の台数を１台としているが、必要に応じて任意の台数となるｎ台を追加することができる。例えば性能低下前のデータ用ディスク台数の２倍となるようにディスク装置を追加する。

図４は図３に設けた性能測定値テーブルの説明図である。図４において、この例では３つの性能測定値テーブル５０−１，５０−２，５０−３が格納された状態であり、テーブル格納数はファイルのサイズに応じた最大数まで格納することが可能であり、最大数を超えた場合には最も古いテーブルを破棄し、新たに測定されたテーブルを書き込むようにする。

性能測定値テーブルは、５０−１に代表して示すように、ディスク装置３６−１〜３６−３ごとに性能測定値を格納している。性能測定値は、リードライト性能５６、応答時間５８、シーク時間６０、回転待ち時間６２、エラー回数６４及び空き容量６６の６項目を設けている。もちろん、これ以外にディスク装置の性能に必要な適宜の測定項目を加えることができる。

図５は図３の性能閾値テーブル５２の説明図である。本発明にあっては、性能閾値テーブル５２に、図５（Ａ）に示す最低性能閾値テーブル５２−１と図５（Ｂ）に示す相対性能閾値テーブル５２−２を格納している。図５（Ａ）の最低性能閾値テーブル５２−１は、リードライト性能、応答時間、シーク時間、回転待ち時間、エラー回数、空き容量のそれぞれにつき、最低性能閾値ＴＨ［Ａ１］、ＴＨ［Ｂ１］、Ｈ［Ｃ１］、ＴＨ［Ｄ１］、ＴＨ［Ｅ１］、ＴＨ［Ｆ１］をそれぞれ固定値として設定している。

これに対し図５（Ｂ）の相対性能閾値テーブル５２−２にあっては、リードライト性能、応答時間、シーク時間、回転待ち時間、エラー回数、空き容量のそれぞれについて、相対性能閾値ＴＨ［Ａ２］、ＴＨ［Ｂ２］、ＴＨ［Ｃ２］、ＴＨ［Ｄ２］、ＴＨ［Ｅ２］、ＴＨ［Ｆ２］を、性能測定値の性能低下を判定する際に算出して格納している。

相対性能閾値は、図４に示したそのとき測定された例えば性能測定値テーブル５０−１の測定値に基づき、各性能測定値ごとに次式により相対性能値が算出される。

（相対性能閾値）＝［（性能測定値の総和／ディスク台数）］×相対性能率Ｎ

で求められる。ここで相対性能率ＮはＮ＝０％〜１００％の範囲の任意の値を取り、具体的にはディスク装置の定格性能から定めた図５（Ａ）の最低性能閾値テーブル５２−１における各最低性能閾値の割合と同じ値を使用すればよい。例えばリードライト性能の最低性能閾値ＴＨ［Ａ１］が定格性能の７０％であった場合には、相対性能閾値の算出式における相対性能率ＮとしてもＮ＝７０％を使用すればよい。

この相対性能閾値の特徴は、定期的に測定された現時点におけるディスク装置３６−１〜３６−３における各性能測定値の平均値を求め、この性能測定平均値に所定の相対性能率Ｎを掛けて相対性能閾値を求めており、ボリュームを構成している複数のディスク装置の平均性能に対し、相対的に性能が低下したか否かを判定することができる。

図３の性能改善部５４にあっては、図５（Ａ）の最低性能閾値テーブル５２−１による性能低下の判定を行うか、あるいは図５（Ｂ）の相対性能閾値テーブル５２−２による性能低下の判定を行うかのいずれかを、装置の立上げ時の設定で選択することができる。また必要に応じて、最低性能閾値テーブル５２−１と相対性能閾値テーブル５２−２の両方を使用して性能低下を判定することも可能である。

図６は図３における本発明のディスクアレイ装置による記憶制御処理のフローチャートである。図６において、電源投入に伴いステップＳ１で初期化処理を行った後、ステップＳ２でサーバの入出力要求の有無をチェックしている。

ステップＳ２でサーバの入出力要求を判別すると、ステップＳ３でボリューム３８に対するＲＡＩＤ４に従った入出力処理を実行する。続いてステップＳ４で性能値測定タイミングか否かをチェックしている。性能値測定タイミングは所定の一定時間間隔に設定されており、ステップＳ４で性能値測定タイミングを判別すると、ステップＳ５に進み、サーバの入出力要求の有無をチェックする。

サーバの入出力要求があると、ステップＳ６で図３の場合と同様、ＲＡＩＤレベル４に従ったボリューム３８の入出力処理を実行する。続いてステップＳ７で、ステップＳ６における入出力処理に伴い、性能測定部４６がリードライト性能、応答時間、シーク時間、回転待ち時間、エラー回数、及び空き容量のそれぞれの測定項目について、各ディスク装置について測定を行い、性能測定値保存部４８が測定結果を図４に示したように性能測定値テーブル５０に保存する。

続いてステップＳ８で、性能改善部５４が性能測定値テーブル５０に保存した性能測定値と性能閾値テーブル５２に設定している性能閾値との比較により性能判定処理を実行する。この性能判定処理は、図５（Ａ）の最低性能閾値テーブル５２−１を使用する場合と、図５（Ｂ）の相対性能閾値テーブル５２−２を使用する場合とのいずれかがある。

次にステップＳ９で、性能判定処理の結果から、いずれかのディスク装置につき性能低下があったか否かチェックし、性能低下を判別した場合には、ステップＳ１０でディスク装置の追加が可能か否かチェックする。ディスク装置の追加が可能であれば、ステップＳ１１でディスク台数を予め設定したｎ台、この実施形態にあってはｎ＝１台を追加して、ボリューム３８のサイズを増加する。続いてステップＳ１２で、既存ディスク装置のデータを追加したディスク装置に再配置することで、追加したディスク装置にアクセスが集中することを防止する。

一方、ステップＳ１０で、既にボリュームに対するディスク装置に追加処理が終了して追加できない場合には、ステップＳ１３で性能低下が判定されたことのエラー通知を行う。このエラー通知は、必要に応じてサーバ側やディスクアレイ装置の管理用のパーソナルコンピュータあるいは筐体パネルに表示され、性能低下を改善するための人為的な対応を可能とする。このようなステップＳ１〜Ｓ１３の処理を、ステップＳ１４で停止指示があるまで繰り返す。

図７は図５（Ａ）の最低性能閾値テーブル５２−１により設定された最低性能閾値を用いた図６のステップＳ８における性能判定処理の詳細を示したフローチャートである。図７において、最低性能閾値を用いた性能判定処理は、ステップＳ１で特定のディスク装置の性能測定値を読み込む。

例えば図４における最新の性能測定値テーブル５０−１からディスク装置３６−１につき、最初の性能測定値であるリードライト性能５６について測定結果Ａ１を読み込む。次にステップＳ２で、図５（Ａ）の最低性能閾値テーブル５２−１からリードライト性能の最低性能閾値ＴＨ［Ａ１］を読み込む。

続いてステップＳ３でリードライト性能Ａ１と最低性能閾値ＴＨ［Ａ１］を比較し、最低性能閾値ＴＨ［Ａ１］よりリードライト性能Ａ１が小さければ性能低下と判定し、ステップＳ７で性能低下フラグをオンして、図６のメインルーチンにリターンする。

一方、ステップＳ４で、リードライト性能Ａ１が最低性能閾値ＴＨ［Ａ１］より大きく性能低下と判定されなかった場合には、ステップＳ５に進み、全ディスク装置を判定したか否かチェックし、未判定であることからステップＳ１に戻り、次のディスク装置３６−２について同様な処理を繰り返す。

ステップＳ５で全ディスク装置の判定を判別すると、ステップＳ６に進み、全測定項目を判定したか否かチェックし、未判定であればステップＳ１に戻り、次の性能測定値である応答時間について同様な処理を繰り返す。

このようにして全てのディスク装置３６−１〜３６−３について、リードライト性能、応答時間、シーク時間、回転待ち時間、エラー回数、空き容量のそれぞれの測定値を最低性能閾値と比較し、最低性能閾値以下となる性能測定値を判定した段階で性能低下フラグをオンして図６のメインルーチンに戻り、ステップＳ９で性能低下を認識し、ステップＳ１０でディスク装置追加可能であることを条件に、ステップＳ１１でディスク装置を追加してボリュームサイズを増加することになる。

図８は相対性能閾値を用いた図６のステップＳ８による性能判定処理の詳細を示したフローチャートである。図８にあっては、まずステップＳ１で全ディスク装置の性能測定値から各項目ごとの相対性の閾値を算出する。例えば図４に示す最新の性能測定値テーブル５０−１を例に取ると、例えばリードライト性能５６については、３台のディスク装置３６−１〜３６−３のリードライト性能Ａ１，Ａ２，Ａ３とその相対故障率Ｎを用いて、リードライト性能の相対性能閾値ＴＨ［Ａ２］を
ＴＨ［Ａ２］＝［（Ａ１＋Ａ２＋Ａ３）／３］×Ｎ
として算出する。同様にして、応答時間５８、シーク時間６０、回転待ち時間６２、エラー回数６４及び空き容量６６について、相対性の閾値ＴＨ［Ｂ２］、ＴＨ［Ｃ２］，ＴＨ［Ｄ２］、ＴＨ［Ｅ２］、ＴＨ［Ｆ２］を算出する。

続いてステップＳ２でディスク装置の性能測定値を読み込む。例えば図４における最新の性能測定値テーブル５０からディスク装置３６−１のリードライト性能５６の測定結果Ａ１を読み込む。続いてステップＳ３で、ステップＳ１で算出された相対性能閾値をステップＳ２で読み込んだ測定性能値と比較し、ステップＳ４で性能測定値が測定性能閾値以下であれば性能低下と判定し、ステップＳ７で性能低下フラグをオンして、図６のメインルーチンにリターンする。

性能測定値が相対性能閾値より大きい場合には、ステップＳ５で全ディスク装置を判定したか否かチェックし、ステップＳ２で次のディスク装置について同様な処理を繰り返す。またステップＳ５で全ディスク装置を判定した場合には、ステップＳ６で全測定項目を判定したか否かチェックし、ステップＳ２に戻り、次の測定項目につき同様な処理を繰り返す。

この結果、図４の最新の性能測定値テーブル５０における性能測定値につき、図５（Ｂ）の算出された相対性能閾値テーブル５２−２の相対性の閾値との比較判定が行われ、いずれか１つでも性能低下が判定されると、ボリュームにディスクを追加してボリュームサイズを増加させることで性能改善を行うことになる。

図９は図６のステップＳ１２におけるディスク装置を追加した後のデータ再配置処理のフローチャートであり、このフローチャートにあっては、パリティ計算のために既存ディスク装置からの読出しを必要とする場合を例に取っている。

図９において、データ再配置処理は、ステップＳ１で既存ディスク装置から最新の保存ファイルに対応したサイズのデータブロックを読み出し、続いてステップＳ２でパリティ計算に必要な既存ディスク装置のデータブロックを読み出し、ステップＳ３で追加ディスク装置の再配置に伴う新パリティを計算する。

続いてステップＳ４で、追加したディスク装置のブロックアドレスを順次指定して追加ディスク装置にデータブロックを書き込むと同時に、パリティ用ディスク装置にパリティを書き込む。

図１０は性能低下を判定した際のディスク装置の追加によるボリュームサイズを増加する処理の説明図である。図１０（Ａ）は追加前のボリューム３８であり、データ用ディスク装置３６−１，３６−２とパリティ用ディスク装置３６−３でＲＡＩＤレベル４のボリューム３８を構成している。

例えばデータディスク３６−１には最新のファイルの書込データとしてデータブロックＡ１，Ｂ１，Ｃ１，Ｄ１が格納され、データ用ディスク装置３６−２にはデータブロックＡ２，Ｂ２，Ｃ２，Ｄ２が格納されており、パリティ用ディスク装置３６−３には両者の排他論理和で算出したパリティＰ１，Ｐ２，Ｐ３，Ｐ４が格納されている。

この状態で、制御モジュール１８においていずれかのディスク装置の性能低下が判定されると、図１０（Ｂ）のようにディスク装置３６−４が追加され、ボリューム３８のサイズが拡大される。

このような追加ディスク装置３６−４によるボリューム３８の拡大後、図１１に示すように、図９のフローチャートに従ったデータ再配置処理が実行される。

図１１（Ａ）は、既存のデータ用ディスク装置３６−１，３６−２からファイル７０を構成するデータブロックＡ１，Ｂ１，Ｃ１，Ｄ１及びデータブロックＡ２，Ｂ２，Ｃ２，Ｄ２を、制御モジュール１８のメモリ上に読み出している。このファイル７０として読み出したデータブロックを、図１１（Ｂ）のように全て空き状態にある追加ディスク装置３６−４に書き込む。この場合、パリティ用ディスク装置３６−３については、追加ディスク装置３６−４に対するデータブロックの書込みに伴って新たに計算されたパリティＰ‘１〜Ｐ’８が書き込まれる。

図１２は図１１のデータ再配置処理の詳細を示した説明図であり、各ディスク装置ごとにデータブロックをブロックアドレス順に並べて配置している。図１２（Ａ）はデータ再配置前のディスク装置３６−１〜３６−４におけるデータブロックの格納状態である。

この格納状態において、データ際配置は、まずファイル７０を構成する既存のディスク装置３６−１，３６−２の例えば先頭から４ブロックの読出領域７２−１，７２−２を読み出し、図１２（Ｂ）の追加したディスク装置３６−４の再配置領域７４−１，７４−２のようにデータを再配置する。

このときパリティ用のディスク装置３６−３のパリティ更新領域７６−１，７６−２にはデータ再配置に伴い新たに計算したパリティＰ１’〜Ｐ８’を格納する。

このパリティＰ１’〜Ｐ８’の計算は、パリティ更新領域７６−１については読出領域７２−１のデータブロックＡ１〜Ｄ１のみからパリティＰ１’〜Ｐ４’が計算できる。一方、パリティ更新領域７６−２については、データ再配置領域７４−２のデータブロックＡ２，Ｂ２，Ｃ２，Ｄ２と既存のディスク装置３６−１，３６−２の別の４ブロック分の読出領域７８−１，７８−２のデータブロックとの排他論理和が必要であり、このため既存のディスク装置３６−１，３６−２の読出領域７８−１，７８−２を読み出してデータ再配置領域７４−１，７４−２との間で同一ブロックアドレスのデータブロック群ごとに排他論理和からパリティＰ５’〜Ｐ８’を計算して更新している。

図１３は図６のステップＳ１２における追加したディスク装置に対するデータ再配置処理の他の実施形態を示したフローチャートであり、このデータ再配置処理にあっては、既存のディスク装置から読み出した再配置データブロックのみでパリティ計算ができるようにしている。

図１３において、データ再配置処理は、ステップＳ１で既存ディスク装置から規定サイズのデータブロックを読み出し、ステップＳ２で追加したディスク装置へのデータ再配置に伴う新パリティを計算する。そしてステップＳ３で空きブロックアドレスを順次指定して、既存のディスク装置及び追加したディスク装置を含む全てのデータ用のディスク装置にデータブロックを書き込むと同時に、パリティ用のディスク装置にパリティを書き込んでいる。

図１４は図１３のフローチャートに対応したデータ再配置処理の説明図である。図１４（Ａ）はディスク装置３６−４を追加した際のデータ再配置のための既存ディスク装置からの読出処理である。このデータ再配置のための読出しは、既存のディスク装置３６−１，３６−２からファイル７０を構成するデータブロックＡ１，Ｂ１，Ｃ１，Ｄ１及びデータブロックＡ２，Ｂ２，Ｃ２，Ｄ２を読み出す。

続いて図１４（Ｂ）のように、ファイル７０を構成するデータブロックを既存のディスク装置３６−１，３６−２及び追加ディスク装置３６−４の空き領域に均等となるように書き込む。

即ち、ファイル７０は８つのデータブロックで構成されていることから、先頭から順番に既存のディスク装置３６−１，３６−２に３つずつデータブロックを書き込み、残り２つを、追加したディスク装置３６−４に書き込む。

この場合、パリティ用のディスク装置３６−３については、既存のディスク装置３６−１，３６−２から読み出したファイル７０を構成するデータに基づいてパリティＰ‘１，Ｐ’２，Ｐ‘３を算出して格納しており、図１１のデータ再配置のように、パリティ計算のために改めて既存のディスク装置３６−１，３６−２から別のデータブロックを読み出す必要はない。

図１５は図１４のデータ再配置処理の詳細を示した説明図である。図１５（Ａ）はデータ再配置前の状態であり、ファイル７０を構成するデータブロックとなる例えば先頭から４ブロック分の読出領域７２−１，７２−２を既存のディスク装置３６−１，３６−２から読み出す。

そして図１５（Ｂ）のように、読み出した８つのデータブロックＡ１〜Ｄ１，Ａ２〜Ｄ２を、先頭から均等となるようにデータブロックＡ１〜Ｃ１、データブロックＡ２〜Ｃ２、データブロックＤ１，Ｄ２に分け、既存のディスク装置３６−１，３６−２及び追加したディスク装置３６−４に空き領域を再配置領域８２−１，８２−２，８２−４としてブロックアドレスを指定して順次読み込む。

このときパリティ用ディスク装置３６−３の再配置領域８２−３については、パリティＰ１’，Ｐ２’，Ｐ３’を計算して格納する。パリティＰ１’，Ｐ２’，Ｐ３’の計算は、図１５（Ｂ）のディスク装置３６−１，３６−２，３６−４における再配置領域８２−１，８２−２，８２−４のデータブロックの割当に従い、同じブロックアドレスに位置するデータブロック、即ち（Ａ１，Ａ２，Ｄ１）、（Ｂ１，Ｂ２，Ｄ２）及び（Ｃ１，Ｃ２）のそれぞれについて排他論理和計算を行うことでパリティＰ１’，Ｐ２’，Ｐ３’を算出して書き込む。

このような図１３〜図１５のデータ再配置にあっては、データ再配置の際のパリティ計算がデータ再配置を行うデータブロックのみから計算でき、改めてパリティを計算するためのデータブロックを既存のディスク装置から読み出す必要がない分だけ処理負担が軽減できる。

更に本発明は、図２のディスクアレイ装置１０に設けた制御モジュール１８−１におけるＣＰＵ２２により実行されるプログラムを提供するものであり、このプログラムは図６，図７，図８，図９，図１３のフローチャートに従った処理手順を備えることになる。

また上記の実施形態はボリュームとしてＲＡＩＤレベル４で構成した場合を例に取るものであったが、他のＲＡＩＤレベルの構成をとるボリュームについても、特定のディスク装置の性能低下を判定した際にボリュームサイズを増加するようにディスクサイズを追加することで適用できる。

また上記の実施形態にあっては、図４に示した性能測定値テーブルにつき、最新の性能測定値テーブルの測定結果と性能閾値を比較して性能低下を判定しているが、最新の性能測定テーブルを含む複数の性能測定テーブルから各性能測定値の平均値を算出して性能閾値の比較して性能低下を判定するようにしても良い。

この点は、図５（Ｂ）の相対性能閾値テーブル５２−２における相対性能閾値の算出についても同様であり、最新の算出した相対性能閾値と過去に算出している複数テーブル分の相対性能閾値との平均値を計算して、性能測定値との比較判定に使用する。

このように複数の測定タイミング分の性能測定値テーブルの測定結果を使用することで、一時的な性能低下を処理対象から除外し、安定した性能評価ができる。

また上記の実施形態はネットワークのストレージとして使用するディスクアレイ装置を例に取るものであったが、本発明はこれに限定されず、メインフレームなどのストレージとして使用可能なディスクアレイ装置についても、複数のディスク装置で構成されるボリュームを使用している場合につきそのまま適用することができる。

また本発明は、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

ここで、本発明の特徴をまとめて列挙すると次の付記のようになる。
（付記１）
上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスにより構成されたボリュームにアクセスする記憶制御方法に於いて、
前記複数の記憶デバイスの性能を装置稼動中に定期的に測定する性能測定ステップと、
前記性能測定ステップにより測定した性能測定値を保存する性能測定値保存ステップと、
前記性能測定値保存ステップの性能測定値から性能低下を判別した際に、記憶デバイスの追加により前記ボリュームのサイズを大きくする性能改善ステップと、
を備えたことを特徴とする記憶制御方法。（１）

（付記２）
付記１記載の記憶制御方法に於いて、
前記性能測定ステップは、前記記憶デバイスにおける複数種類の性能を測定し、
前記性能測定値保存ステップは前記性能測定ステップで測定された複数種類の性能測定値を保存し、
前記性能改善ステップは、前記複数種類の性能測定値毎に性能閾値を設定し、少なくとも何れか１つの性能測定値が対応する性能閾値を下回った際に、記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とする記憶制御方法。（２）

（付記３）
付記１記載の記憶制御方法に於いて、前記記憶デバイスはディスク媒体にデータを読み書きするディスク装置であり、前記ディスク装置の性能測定値は、単位時間当りのデータ転送量となるリード及びライト性能、コマンドを受領してから終了応答するまでの応答時間、コマンドを受領してから目的トラックにヘッド移動してオントラックするまでのシーク時間、目的トラックオントラックしてからヘッドに目的セクタが現れるまでのディスクの回転待ち時間、一定時間内のエラー回数および空き容量の何れか又は組合せを含むことを特徴とする記憶制御方法。（３）

（付記４）
付記１記載の記憶制御方法に於いて、前記性能改善ステップは、性能測定値に対応して最低性能閾値を予め設定し、性能測定値が前記最低性能閾値以下となった場合に記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とする記憶制御方法。

（付記５）
付記１記載の記憶制御方法に於いて、前記性能改善ステップは、前記複数の記憶デバイスの性能測定値の平均値に所定の相対性能率を乗じて相対性能閾値を求め、性能測定値が前記相対性能閾値以下となった場合に記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とする記憶制御方法。

（付記６）
付記１記載の記憶制御方法に於いて、前記性能改善ステップは、記憶デバイスを追加した際に、既存記憶デバイスに書き込まれていたデータの一ステップを前記追加記憶デバイスに再配置することを特徴とする記憶制御方法。

（付記７）（追加ディスク及び既存ディスクへの再配置）
付記１記載の記憶制御方法に於いて、前記性能改善ステップは、記憶デバイスを追加した際に、既存記憶デバイスの書き込まれていたデータの一ステップを前記追加記憶デバイス及び既存記憶デバイスに再配置することを特徴とする記憶制御方法。

（付記８）
上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスにより構成されたボリュームにアクセスする記憶制御装置のコンピュータに、
前記複数の記憶デバイスの性能を装置可動中に定期的に測定する性能測定ステップと、
前記性能測定ステップにより測定した性能測定値を保存する性能測定値保存ステップと、
前記性能測定値保存ステップの性能測定値から性能低下を判別した際に、記憶デバイスの追加により前記ボリュームのサイズを大きくする性能改善ステップと、
を実行させることを特徴とするプログラム。（４）

（付記９）
付記８記載のプログラムに於いて、
前記性能測定ステップは、前記記憶デバイスにおける複数種類の性能を測定し、
前記性能測定値保存ステップは前記性能測定ステップで測定された複数種類の性能測定値を保存し、
前記性能改善ステップは、前記複数種類の性能測定値毎に性能閾値を設定し、少なくとも何れか１つの性能測定値が対応する性能閾値を下回った際に、記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とするプログラム。

（付記１０）
付記８記載のプログラムに於いて、前記記憶デバイスはディスク媒体にデータを読み書きするディスク装置であり、前記ディスク装置の性能測定値は、単位時間当りのデータ転送量となるリード及びライト性能、コマンドを受領してから終了応答するまでの応答時間、コマンドを受領してから目的トラックにヘッド移動してオントラックするまでのシーク時間、目的トラックオントラックしてからヘッドに目的セクタが現れるまでのディスクの回転待ち時間、一定時間内のエラー回数および空き容量の何れか又は組合せを含むことを特徴とするプログラム。

（付記１１）
付記８記載のプログラムに於いて、前記性能改善ステップは、性能測定値に対応して最低性能閾値を予め設定し、性能測定値が前記最低性能閾値以下となった場合に記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とするプログラム。

（付記１２）
付記８記載のプログラムに於いて、前記性能改善ステップは、前記複数の記憶デバイスの性能測定値の平均値に所定の相対性能率を乗じて相対性能閾値を求め、性能測定値が前記相対性能閾値以下となった場合に記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とするプログラム。

（付記１３）
付記８記載のプログラムに於いて、前記性能改善ステップは、記憶デバイスを追加した際に、既存記憶デバイスに書き込まれていたデータの一ステップを前記追加記憶デバイスに再配置することを特徴とするプログラム。

（付記１４）
付記８記載のプログラムに於いて、前記性能改善ステップは、記憶デバイスを追加した際に、既存記憶デバイスに書き込まれていたデータの一ステップを前記追加記憶デバイス及び既存記憶デバイスに再配置することを特徴とするプログラム。

（付記１５）
上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスにより構成されたボリュームにアクセスする記憶制御装置に於いて、
前記複数の記憶デバイスの性能を装置可動中に定期的に測定する性能測定部と、
前記性能測定部により測定した性能測定値を保存する性能測定値保存部と、
前記性能測定値保存部の性能測定値から性能低下を判別した際に、記憶デバイスの追加により前記ボリュームのサイズを大きくする性能改善部と、
を備えたことを特徴とする記憶制御装置。（５）

（付記１６）
付記１５記載の記憶制御装置に於いて、
前記性能測定部は、前記記憶デバイスにおける複数種類の性能を測定し、
前記性能測定値保存部は前記性能測定部で測定された複数種類の性能測定値を保存し、
前記性能改善部は、前記複数種類の性能測定値毎に性能閾値を設定し、少なくとも何れか１つの性能測定値が対応する性能閾値を下回った際に、記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とする記憶制御装置。

（付記１７）
付記１５記載の記憶制御装置に於いて、前記記憶デバイスはディスク媒体にデータを読み書きするディスク装置であり、前記ディスク装置の性能測定値は、単位時間当りのデータ転送量となるリード及びライト性能、コマンドを受領してから終了応答するまでの応答時間、コマンドを受領してから目的トラックにヘッド移動してオントラックするまでのシーク時間、目的トラックオントラックしてからヘッドに目的セクタが現れるまでのディスクの回転待ち時間、一定時間内のエラー回数、空き容量を含むことを特徴とする記憶制御装置。

（付記１８）
付記１５記載の記憶制御装置に於いて、前記性能改善部は、性能測定値に対応して最低性能閾値を予め設定し、性能測定値が前記最低性能閾値以下となった場合に記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とする記憶制御装置。

（付記１９）（相対性能閾値）
付記１５記載の記憶制御装置に於いて、前記性能改善部は、前記複数の記憶デバイスの性能測定値の平均値に所定の相対性能率を乗じて相対性能閾値を求め、性能測定値が前記相対性能閾値以下となった場合に記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とする記憶制御装置。

（付記２０）
付記１５記載の記憶制御装置に於いて、前記性能改善部は、記憶デバイスを追加した際に、既存記憶デバイスに書き込まれていたデータの一部を前記追加記憶デバイスに再配置することを特徴とする記憶制御装置。

本発明の原理説明図 本発明が適用されるディスクアレイ装置のブロック図 本発明が適用された図２のディスクアレイ装置の機能構成のブロック図 図３の性能測定値テーブルの説明図 図３の性能閾値テーブルの説明図 図３における本発明の記憶制御処理のフローチャート 最低性能域閾値を用いた図６の性能判定処理のフローチャート 相対性能域閾値を用いた図６の性能判定処理のフローチャート パリティ計算に既存ディスク装置からの読出しを必要とする図６のデータ再配置処理のフローチャート 性能低下を判定した際のディスク装置の追加によるボリュームサイズを増加する処理の説明図 図１０に対応した既存ディスクの一部のデータブロックを追加ディスク装置に書き込む再配置処理の説明図 図１１の再配置処理の詳細を示した説明図 既存ディスク装置からの再配置データブロックのみを読出してパリティ計算ができる図６のデータ再配置処理のフローチャート 図１３に対応したデータ再配置処理の説明図 図１４の再配置処理の詳細を示した説明図

符号の説明

１０：ディスクアレイ装置
１２−１，１２−２：サーバ
１４：ネットワーク
１６： チャネルアダプタ
１８，１８−１，１８−２：制御モジュール
２０−１，２０−２：ディスクアレイ
２２：ＣＰＵ
２４：バス
２６：通信アダプタ
２８：キャッシュメモリ
３０，３０−１，３０−２：デバイスインタフェース
３２−１，３２−２，３４−１，３４−２：デバイスパス
３６，３６−１〜３６−４：ディスク装置（記憶デバイス）
３８：ボリューム
４０：リソース処理部
４２：キャッシュ処理部
４４：ＲＡＩＤ制御部
４６：性能測定部
４８：性能測定値保存部
５０：性能測定値テーブル
５２：性能閾値テーブル
５４：性能改善部
５６：リードライト性能
５８：応答時間
６０：シーク時間
６２：回転待ち時間
６４：エラー回数
６６：空き容量
７０：ファイル

Claims (5)

1. 上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスにより構成されたボリュームにアクセスする記憶制御方法に於いて、
   前記複数の記憶デバイスの性能を装置稼動中に定期的に測定する性能測定ステップと、
   前記性能測定ステップにより測定した性能測定値を保存する性能測定値保存ステップと、
   前記性能測定値保存ステップの性能測定値から性能低下を判別した際に、記憶デバイスの追加により前記ボリュームのサイズを大きくする性能改善ステップと、
   を備えたことを特徴とする記憶制御方法。
   
2. 請求項１記載の記憶制御方法に於いて、
   前記性能測定ステップは、前記記憶デバイスにおける複数種類の性能を測定し、
   前記性能測定値保存ステップは前記性能測定ステップで測定された複数種類の性能測定値を保存し、
   前記性能改善ステップは、前記複数種類の性能測定値毎に性能閾値を設定し、少なくとも何れか１つの性能測定値が対応する性能閾値を下回った際に、記憶デバイスの追加により前記ボリュームのサイズを大きくすることを特徴とする記憶制御方法。
   
3. 請求項１記載の記憶制御方法に於いて、前記記憶デバイスはディスク媒体にデータを読み書きするディスク装置であり、前記ディスク装置の性能測定値は、単位時間当りのデータ転送量となるリード及びライト性能、コマンドを受領してから終了応答するまでの応答時間、コマンドを受領してから目的トラックにヘッド移動してオントラックするまでのシーク時間、目的トラックオントラックしてからヘッドに目的セクタが現れるまでのディスクの回転待ち時間、一定時間内のエラー回数および空き容量の何れか又は組合せを含むことを特徴とする記憶制御方法。
   
4. 上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスにより構成されたボリュームにアクセスする記憶制御装置のコンピュータに、
   前記複数の記憶デバイスの性能を装置可動中に定期的に測定する性能測定ステップと、
   前記性能測定ステップにより測定した性能測定値を保存する性能測定値保存ステップと、
   前記性能測定値保存ステップの性能測定値から性能低下を判別した際に、記憶デバイスの追加により前記ボリュームのサイズを大きくする性能改善ステップと、
   を実行させることを特徴とするプログラム。
   
5. 上位装置からの入出力要求に基づき、ＲＡＩＤ構成をとる複数の記憶デバイスにより構成されたボリュームにアクセスする記憶制御装置に於いて、
   前記複数の記憶デバイスの性能を装置可動中に定期的に測定する性能測定部と、
   前記性能測定部により測定した性能測定値を保存する性能測定値保存部と、
   前記性能測定値保存部の性能測定値から性能低下を判別した際に、記憶デバイスの追加により前記ボリュームのサイズを大きくする性能改善部と、
   を備えたことを特徴とする記憶制御装置。

Images