JP2018136893A - ストレージ制御装置、ストレージ制御プログラム、及びストレージ制御方法 - Google Patents

Abstract

【課題】性能の異なる複数の記憶装置におけるデータの再配置を高速化する。【解決手段】記憶部３１１は、性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、それぞれのデータ管理単位に対するアクセスの特徴を示す特徴量３２１を記憶する。さらに、記憶部３１１は、特徴量からそれぞれの記憶装置の性能指標を求めるための性能予測情報３２２を記憶する。予測部３１２は、複数のデータ管理単位それぞれについて、第１期間における特徴量３２１と性能予測情報３２２とを用いて、第２期間においてデータ管理単位の配置場所を第１期間とは異なる特定の記憶装置に変更した場合の特定の記憶装置の性能指標を求める。決定部３１３は、それぞれのデータ管理単位について予測部が求めた性能指標に基づいて、第２期間において複数の記憶装置内に配置される複数のデータ管理単位のデータ配置を決定する。【選択図】図３

Description

本発明は、ストレージ制御装置、ストレージ制御プログラム、及びストレージ制御方法に関する。

近年、性能の異なる複数の記憶装置を含むストレージシステムが利用されるようになっている。性能の異なる複数の記憶装置としては、例えば、高速にデータを転送することができるソリッドステートドライブ（ＳＳＤ）と、ＳＳＤよりもデータ転送速度が低速なハードディスクドライブ（ＨＤＤ）とが用いられる。

図１は、ＳＳＤ及びＨＤＤを含むストレージシステムの構成例を示している。図１のストレージシステム１０１は、ストレージ制御装置１１１、ＳＳＤ１１２、及びＨＤＤ１１３を含む。ＳＳＤ１１２及びＨＤＤ１１３は、ストレージ制御装置１１１によってグループ化され、ストレージシステム１０１の外部からは単一の仮想ブロックデバイス１２１として見える。

図２は、図１のストレージシステム１０１を含む情報処理システムの構成例を示している。図２の情報処理システムは、ストレージシステム１０１、クライアント端末２０１、及びサーバ２０２を含む。クライアント端末２０１とサーバ２０２は、通信ネットワーク２０３を介して通信する。ストレージシステム１０１は、サーバ２０２に接続されている。

クライアント端末２０１は、サーバ２０２に対してデータを送信し、サーバ２０２は、受信したデータをストレージシステム１０１に書き込む。また、クライアント端末２０１は、サーバ２０２に対してデータを要求し、サーバ２０２は、ストレージシステム１０１から読み出したデータを、クライアント端末２０１へ送信する。

このとき、ストレージシステム１０１のストレージ制御装置１１１は、サーバ２０２からデータへのアクセス性能を向上させるために階層制御を行う。階層制御では、アクセス履歴に基づいてデータ配置が動的に変更され、アクセス頻度の高いデータは高速の記憶装置に配置され、アクセス頻度の低いデータは低速の記憶装置に配置される。

データセンタにおける性能予測を用いたストレージ管理方法も知られている（例えば、非特許文献１を参照）。

Park et al.,"Romano: Autonomous Storage Management using Performance Prediction in Multi-Tenant Datacenters", Proceedings of the Third ACM Symposium on Cloud Computing, SoCC '12, October 2012

性能の異なる複数の記憶装置を含むストレージシステムにおける階層制御では、一定期間毎に、アクセス頻度等の統計情報に基づいてデータの再配置が行われる。しかし、データ量が増加すると統計情報の計算量が増加し、再配置のための処理時間が長くなる。

１つの側面において、本発明は、性能の異なる複数の記憶装置におけるデータの再配置を高速化することを目的とする。

１つの案では、ストレージ制御装置は、記憶部、予測部、及び決定部を含む。記憶部は、性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、それぞれのデータ管理単位に対するアクセスの特徴を示す特徴量を記憶する。さらに、記憶部は、特徴量からそれぞれの記憶装置の性能指標を求めるための性能予測情報を記憶する。

予測部は、複数のデータ管理単位それぞれについて、第１期間における特徴量と性能予測情報とを用いて、第２期間においてデータ管理単位の配置場所を第１期間とは異なる特定の記憶装置に変更した場合の特定の記憶装置の性能指標を求める。

決定部は、それぞれのデータ管理単位について予測部が求めた性能指標に基づいて、第２期間において複数の記憶装置内に配置される複数のデータ管理単位のデータ配置を決定する。

１つの実施形態によれば、性能の異なる複数の記憶装置におけるデータの再配置を高速化することができる。

ストレージシステムの構成図である。 情報処理システムの構成図である。 ストレージ制御装置の機能的構成図である。 ストレージ制御処理のフローチャートである。 ストレージシステムの機能的構成図である。 データ配置情報を示す図である。 記録処理のフローチャートである。 データ再配置処理のフローチャートである。 エクステント毎の性能指標を示す図である。 エクステント毎の性能向上度を示す図である。 ３階層の記憶装置を含むストレージシステムの機能的構成図である。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
ストレージシステムにおいて、ストレージ制御装置は、各記憶装置の記憶領域を固定サイズの領域に分割して管理する。この固定サイズの領域に格納される固定長のデータは、エクステントと呼ばれ、固定サイズとしては、例えば、データブロックよりも大きく、セグメントよりも小さなサイズが用いられる。固定サイズは、６４Ｍバイトであってもよい。

ＳＳＤ及びＨＤＤを含むストレージシステムにおける階層制御では、一定期間毎に、所定のルールに基づいてＳＳＤとＨＤＤの間でエクステントを移動させることで、データ配置が動的に変更される。この一定期間は、エポックと呼ばれ、ストレージシステムの構成又は用途に基づいて決定される。エポックは、数分〜数十分であってもよい。このような階層制御は、例えば、以下の手順で行うことができる。

１．ストレージシステムの運用開始前に、ストレージ制御装置は、ワークロードのアクセスパターンを表現する統計情報から、ＳＳＤ及びＨＤＤの各記憶装置でワークロードを実行した場合の性能を予測する性能モデルを、記憶装置毎に生成する。

２．ストレージシステムの運用中に、ストレージ制御装置は、各エクステントのアクセスパターンを表現する統計情報を、エクステント毎に収集する。

３．エポックの切り替え時に、ストレージ制御装置は、ＳＳＤ及びＨＤＤそれぞれに配置するエクステントを決定することで、データの再配置を行う。データの再配置は、例えば、以下の手順で行うことができる。
（１）ストレージ制御装置は、切り替え前のエポックにおける各エクステントのアクセスパターンを表現する統計情報を用いて、各記憶装置に配置するすべてのエクステントの統計情報の総和を計算する。
（２）ストレージ制御装置は、計算した統計情報の総和を、次のエポックにおける各記憶装置のアクセスパターンを表現する統計情報として性能モデルに入力することで、次のエポックにおいて予測される各記憶装置の性能を示す性能指標を計算する。
（３）ストレージ制御装置は、ＳＳＤ及びＨＤＤそれぞれに配置されるエクステントの配置場所のすべての組み合わせに対して、上記（１）及び（２）の処理を繰り返す。そして、ストレージ制御装置は、すべての記憶装置の性能指標の総和をストレージシステムの性能指標として求め、ストレージシステムの性能指標を最適化するエクステントの配置を、次のエポックにおけるデータ配置として選択する。

各記憶装置の性能モデルとしては、例えば、非特許文献１に記載されている性能モデルを用いることができ、アクセスパターンを表現する統計情報としては、例えば、平均アクセス間距離を用いることができる。

平均アクセス間距離は、連続する２つのアクセスのうち、一方のアクセスのアクセス先アドレスと、他方のアクセスのアクセス先アドレスとの差分の平均値を表す。アクセス先アドレスの差分としては、アクセス先の物理アドレスの差分を用いることができる。平均アクセス間距離が大きいほど、アクセスのランダム性が大きいと考えられる。この場合、統計情報の総和として、すべてのエクステントにおける平均アクセス間距離の総和を用いることができる。

また、各記憶装置の性能指標としては、その記憶装置に対するアクセスのレイテンシ（アクセス時間）を用いることができる。この場合、ストレージシステムの性能指標として、ＳＳＤ及びＨＤＤに対するすべてのアクセスのレイテンシの総和を用いることができる。

ＳＳＤ及びＨＤＤにＮ個のエクステントが配置される場合、エクステントの配置場所の組み合わせの総数はＮ！個である。また、Ｎ個のエクステントのうちＭ個がＳＳＤに配置される場合、ＳＳＤに配置されるエクステントを選択する組み合わせの総数は_NＣ_M個である。

ストレージシステムの性能指標を最適化するエクステントの配置を選択するためには、少なくとも_NＣ_M個の組み合わせについて、上記（１）及び（２）の処理を繰り返すことが望ましい。しかし、Ｎ又はＭが増加すると、_NＣ_Mの値に比例して計算量が増加するため、データの再配置のための処理時間が長くなる。

図３は、実施形態のストレージ制御装置の機能的構成例を示している。図３のストレージ制御装置３０１は、記憶部３１１、予測部３１２、及び決定部３１３を含む。

記憶部３１１は、性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、それぞれのデータ管理単位に対するアクセスの特徴を示す特徴量３２１を記憶する。さらに、記憶部３１１は、特徴量からそれぞれの記憶装置の性能指標を求めるための性能予測情報３２２を記憶する。

予測部３１２及び決定部３１３は、特徴量３２１及び性能予測情報３２２を用いてストレージ制御処理を行う。

図４は、図３のストレージ制御装置３０１が行うストレージ制御処理の例を示すフローチャートである。まず、予測部３１２は、複数のデータ管理単位それぞれについて、第２期間においてデータ管理単位の配置場所を第１期間とは異なる特定の記憶装置に変更した場合の特定の記憶装置の性能指標を求める（ステップ４０１）。このとき、予測部３１２は、記憶部３１１を参照し、第１期間における特徴量３２１と性能予測情報３２２とを用いて、特定の記憶装置の性能指標を求める。

次に、決定部３１３は、それぞれのデータ管理単位について予測部３１２が求めた性能指標に基づいて、第２期間において複数の記憶装置内に配置される複数のデータ管理単位のデータ配置を決定する（ステップ４０２）。

図３のストレージ制御装置３０１によれば、性能の異なる複数の記憶装置におけるデータの再配置を高速化することができる。

図５は、図３のストレージ制御装置３０１を含むストレージシステムの機能的構成例を示している。図５のストレージシステム５０１は、ストレージ制御装置３０１、ＳＳＤ５１１、及びＨＤＤ５１２を含む。ストレージ制御装置３０１は、記憶部３１１、予測部３１２、決定部３１３、生成部５２１、制御部５２２、記録部５２３、及び再配置部５２４を含む。

記憶部３１１は、特徴量３２１、性能予測情報３２２、性能指標５３１、データ配置情報５３２、性能指標５３３、性能向上度５３４、及びデータ配置情報５３５を記憶する。性能予測情報３２２は、特徴量３２１からＳＳＤ５１１及びＨＤＤ５１２それぞれの性能指標を求めるための情報である。

データ配置情報５３２及びデータ配置情報５３５は、ＳＳＤ５１１及びＨＤＤ５１２に配置された複数のデータ管理単位の配置場所を示す。データ管理単位としては、例えば、エクステントを用いることができ、エクステントの配置場所としては、例えば、物理アドレスを用いることができる。

図６は、データ配置情報５３２の例を示している。図６のデータ配置情報５３２は、エクステントＩＤ、論理アドレス、及び物理アドレスを含む。エクステントＩＤは、ＳＳＤ５１１又はＨＤＤ５１２に配置されるエクステントを示すＩＤであり、論理アドレス及び物理アドレスは、エクステントの論理アドレス及び物理アドレスを表す。

例えば、論理アドレスは、論理アドレス空間における各エクステントの開始アドレスであってもよく、物理アドレスは、記憶装置のＩＤと、その記憶装置の物理アドレス空間における各エクステントの開始アドレスとの組み合わせであってもよい。

論理アドレス空間は、ストレージシステム５０１がサーバに対して公開するアドレス空間であり、論理アドレス空間のサイズは、ＳＳＤ５１１の物理アドレス空間のサイズとＨＤＤ５１２の物理アドレス空間のサイズとの総和に等しい。ＳＳＤ５１１及びＨＤＤ５１２は、物理アドレスが連続する領域に各エクステントのデータを記憶することができる。

データ配置情報５３５も、データ配置情報５３２と同様の情報を含む。データ配置情報５３２は、サーバから受信したアクセス要求に含まれる論理アドレスを物理アドレスに変換するために用いられ、データ配置情報５３５は、変更後のデータ配置を一時的に記録するために用いられる。

ストレージシステム５０１の運用開始前に、生成部５２１は、ＳＳＤ５１１及びＨＤＤ５１２の性能予測情報３２２を生成する。そして、ストレージシステム５０１の運用中に、制御部５２２は、サーバからアクセス要求を受信し、アクセス要求に従ってＳＳＤ５１１又はＨＤＤ５１２にアクセスする。制御部５２２は、アクセス要求が読み出し要求である場合、ＳＳＤ５１１又はＨＤＤ５１２からデータを読み出し、アクセス要求が書き込み要求である場合、ＳＳＤ５１１又はＨＤＤ５１２にデータを書き込む。

記録部５２３は、ＳＳＤ５１１及びＨＤＤ５１２が記憶する各エクステントに対するアクセスの特徴を示す特徴量３２１を生成して、記憶部３１１に格納する。さらに、記録部５２３は、各エクステントに対するアクセスに基づいて、そのエクステントが配置されている記憶装置の性能指標５３１を測定し、記憶部３１１に格納する。このように、特徴量３２１及び性能指標５３１は、エクステント毎に生成される。

予測部３１２は、次のエポックにおける各エクステントに対して、切り替え前のエポックにおけるアクセスと同じアクセスが発生すると予測する。また、予測部３１２は、各エクステントに対する記憶装置の性能指標は、そのエクステントの特徴量３２１のみに依存し、他のエクステントの特徴量３２１には依存しないと推定する。

そして、予測部３１２は、エクステント毎に、切り替え前のエポックにおいて生成された特徴量３２１を用いて、次のエポックにおいてエクステントの配置場所を切り替え前とは異なる記憶装置に変更した場合の変更後の記憶装置の性能指標５３３を求める。このとき、予測部３１２は、そのエクステントの特徴量３２１に対して、変更後の記憶装置の性能予測情報３２２を適用することで、その記憶装置の性能指標５３３を求めて、記憶部３１１に格納する。

決定部３１３は、エクステント毎に、測定された性能指標５３１と、求めた性能指標５３３との差分を求め、求めた差分を性能向上度５３４として記憶部３１１に格納する。そして、決定部３１３は、それぞれのエクステントの性能向上度５３４に基づいて、次のエポックにおけるデータ配置を決定する。再配置部５２４は、決定部３１３が決定したデータ配置に基づいて、複数のエクステントのうち配置場所が変更されるエクステントを変更後の配置場所へ移動させる。

前述したように、ＳＳＤ５１１及びＨＤＤ５１２にＮ個のエクステントが配置される場合、ＳＳＤ５１１に配置されるＭ個のエクステントを選択する組み合わせの総数は_NＣ_M個である。したがって、それらの組み合わせについてＳＳＤ５１１及びＨＤＤ５１２の性能指標を計算する場合、計算回数は２×_NＣ_M回となる。

一方、図５のストレージ制御装置３０１によれば、エクステント毎に配置場所を変更した場合の性能指標５３３を計算するだけで済むため、性能指標５３３の計算回数はＮ回となり、計算量が大幅に削減される。さらに、性能指標５３１及び性能指標５３３の差分に基づいて、次のエポックにおけるデータ配置を決定し、そのデータ配置に基づいてエクステントを変更後の配置場所へ移動させることで、ＳＳＤ５１１及びＨＤＤ５１２全体の性能を向上させることができる。

例えば、性能予測情報３２２は、ＳＳＤ５１１及びＨＤＤ５１２それぞれの性能モデルを含む。ＳＳＤ５１１及びＨＤＤ５１２の性能モデルとしては、線形回帰、回帰木、ニューラルネットワーク等の様々なアルゴリズムを用いることができる。性能モデルとして、非特許文献１に記載されている性能モデルを用いてもよい。

線形回帰は、目的変数を説明変数の線形結合で表すアルゴリズムである。性能モデルとして線形回帰を用いる場合、各記憶装置の性能指標が目的変数となり、アクセスの特徴を示す１つ又は複数の特徴量が説明変数となる。この場合、性能予測情報３２２は、各記憶装置の線形回帰におけるそれぞれの説明変数の係数を含む。

ＳＳＤ５１１及びＨＤＤ５１２それぞれに対するアクセスの特徴を示す特徴量としては、１つのエポックにおけるアクセスパターンを表現する、次のような統計情報を用いることができる。
（ａ）合計アクセス数
（ｂ）合計アクセス数に対する読み出しアクセス数及び書き込みアクセス数の割合
（ｃ）平均アクセスサイズ
（ｄ）平均アクセス間距離

合計アクセス数は、１つのエポックにおけるアクセスの総数を表し、読み出しアクセス数は、１つのエポックにおける読み出しアクセスの総数を表し、書き込みアクセス数は、１つのエポックにおける書き込みアクセスの総数を表す。

平均アクセスサイズは、１つのエポックにおけるそれぞれのアクセスによって転送されるデータ量の平均値を表す。平均アクセス間距離は、１つのエポックにおいて連続する２つのアクセスのうち、一方のアクセスのアクセス先アドレスと、他方のアクセスのアクセス先アドレスとの差分の平均値を表す。

上記（ａ）〜（ｄ）の統計情報は一例であり、すべての統計情報を用いる必要はなく、別の統計情報を追加してもよい。また、ＳＳＤ５１１の性能モデルとＨＤＤ５１２の性能モデルとで、互いに異なる統計情報を用いてもよい。

ＳＳＤ５１１及びＨＤＤ５１２の性能指標としては、１つのエポックにおけるアクセスのレイテンシを示す情報を用いることができる。例えば、１つのエポックにおけるすべてのアクセスの合計レイテンシ、平均レイテンシ、又は最大レイテンシを用いてもよい。例えば、各アクセスのレイテンシは、制御部５２２が各記憶装置にアクセスしてから、データの読み出し又は書き込みが完了するまでの時間によって表される。

ＳＳＤ５１１及びＨＤＤ５１２の性能は、アクセスの特徴を示す特徴量が同じであれば、どのエクステントに対するアクセスについても同じであると考えられる。したがって、各記憶装置の性能モデルは、その記憶装置に配置されるすべてのエクステントに対して共通に適用することが可能である。

生成部５２１は、ストレージシステム５０１の運用開始前に、以下の手順でＳＳＤ５１１及びＨＤＤ５１２の性能モデルを生成する。

（Ｐ１）生成部５２１は、訓練用ワークロードに従ってＳＳＤ５１１及びＨＤＤ５１２それぞれにアクセスし、各記憶装置に対するアクセスの特徴を示す特徴量及び性能指標を収集する。訓練用ワークロードとしては、複数のアクセスパターンが用いられ、各アクセスパターンは複数のアクセスの組み合わせを含む。このとき、訓練用ワークロード全体ですべての特徴量が網羅的な値を取るように、アクセスパターン毎に異なるアクセスの組み合わせを用いることが望ましい。

（Ｐ２）生成部５２１は、収集した特徴量及び性能指標を用いて、ＳＳＤ５１１及びＨＤＤ５１２それぞれについて、特徴量から性能指標を予測する性能モデルを生成する。例えば、性能モデルとして線形回帰を用いる場合、生成部５２１は、最小二乗法等を用いて説明変数の係数を決定することができる。

図７は、ストレージシステム５０１の運用中における記録処理の例を示すフローチャートである。例えば、ストレージ制御装置３０１は、図７の記録処理をストレージ制御処理の一部として実行する。

まず、制御部５２２は、サーバからアクセス要求を受信すると、データ配置情報５３２を参照して、アクセス要求に含まれるアクセス先の論理アドレスを、対応する物理アドレスに変換する（ステップ７０１）。そして、制御部５２２は、ＳＳＤ５１１及びＨＤＤ５１２のうち、物理アドレスが示す記憶装置が記憶するデータにアクセスする（ステップ７０２）。

次に、記録部５２３は、制御部５２２によるアクセスの結果に基づいて、アクセスされたエクステントの特徴量３２１及び性能指標５３１の値を求め、記憶部３１１内の特徴量３２１及び性能指標５３１を求めた値に更新する（ステップ７０３）。そして、制御部５２２は、アクセスの成功又は失敗を示すアクセス結果をサーバへ送信する（ステップ７０４）。アクセス要求が読み出し要求である場合、アクセス結果には、記憶装置から読み出されたデータも含まれる。

図８は、ストレージシステム５０１の運用中におけるデータ再配置処理の例を示すフローチャートである。例えば、ストレージ制御装置３０１は、図１０のデータ再配置処理をストレージ制御処理の一部として実行する。このデータ再配置処理は、１つのエポックから次のエポックへの切り替えを契機として開始される。

まず、予測部３１２は、ＳＳＤ５１１及びＨＤＤ５１２に配置されているエクステントのうち、１つのエクステントを選択する。そして、予測部３１２は、選択したエクステントの特徴量３２１を用いて、そのエクステントの配置場所を別の記憶装置に変更した場合の性能指標５３３を求める（ステップ８０１）。

例えば、選択したエクステントがＳＳＤ５１１に配置されている場合、予測部３１２は、ＨＤＤ５１２の性能予測情報３２２を用いて、そのエクステントをＨＤＤ５１２へ移動させた場合の性能指標５３３を計算する。一方、選択したエクステントがＨＤＤ５１２に配置されている場合、予測部３１２は、ＳＳＤ５１１の性能予測情報３２２を用いて、そのエクステントをＳＳＤ５１１へ移動させた場合の性能指標５３３を計算する。

次に、決定部３１３は、選択したエクステントの性能指標５３１及び性能指標５３３から、性能向上度５３４を計算する（ステップ８０２）。そして、予測部３１２は、次のエクステントを選択して、ステップ８０１以降の処理を繰り返す。

図９は、エクステント毎の性能指標５３１及び性能指標５３３の例を示している。この例では、エクステントの総数は６個であり、エクステント“１”及びエクステント“２”がＳＳＤ５１１に配置されており、エクステント“３”〜エクステント“６”がＨＤＤ５１２に配置されている。性能指標５３１としては、切り替え前のエポックにおける各エクステントに対するアクセスの合計レイテンシの測定値（実測）が用いられる。また、性能指標５３３としては、各エクステントに対するアクセスの合計レイテンシの計算値（予測）が用いられる。

例えば、エクステント“１”の合計レイテンシの測定値（実測）は、５００ｍｓであり、エクステント“１”をＨＤＤ５１２へ移動させた場合の合計レイテンシの計算値（予測）は、３０００ｍｓである。また、エクステント“３”の合計レイテンシの測定値（実測）は、４０００ｍｓであり、エクステント“３”をＳＳＤ５１１へ移動させた場合の合計レイテンシの計算値（予測）は、５００ｍｓである。

この場合、決定部３１３は、エクステント毎に、ＨＤＤ５１２に配置した場合の合計レイテンシから、ＳＳＤ５１１に配置した場合の合計レイテンシを減算することで、性能向上度５３４を計算することができる。例えば、エクステント“１”の性能向上度５３４は、３０００ｍｓから５００ｍｓを減算することで求められ、２５００ｍｓになる。また、エクステント“３”の性能向上度５３４は、４０００ｍｓから５００ｍｓを減算することで求められ、３５００ｍｓになる。

計算された性能向上度５３４は、各エクステントの配置場所をＨＤＤ５１２からＳＳＤ５１１に変更したと仮定した場合に予測される合計レイテンシの減少量を表す。したがって、性能向上度５３４が比較的大きなエクステントを優先的にＳＳＤ５１１に配置することで、ストレージシステム５０１全体のアクセス性能が改善される。

ＳＳＤ５１１及びＨＤＤ５１２に配置されているすべてのエクステントが選択された場合、決定部３１３は、それぞれのエクステントの性能向上度５３４に基づいて、移動対象のエクステントを選択する（ステップ８０３）。

例えば、あるエクステントの性能向上度５３４が別のエクステントの性能向上度５３４よりも大きく、そのエクステントについて求めた性能指標５３３が示す性能が、性能指標５３１が示す性能よりも高い場合、そのエクステントが移動対象として選択される。これにより、性能向上度５３４が比較的大きなエクステントを優先的に移動対象として選択することができる。

そして、決定部３１３は、移動対象のエクステントの配置場所を変更したデータ配置を、次のエポックにおけるデータ配置に決定し、決定したデータ配置をデータ配置情報５３５に記録する。これにより、変更後のデータ配置を表す各エクステントの物理アドレスがデータ配置情報５３５に記録される。

図１０は、エクステント毎の性能向上度５３４の例を示している。横軸は、図９に示した各エクステントのエクステントＩＤを表し、縦軸は、ＨＤＤ５１２に配置した場合の合計レイテンシからＳＳＤ５１１に配置した場合の合計レイテンシを減算することで得られる性能向上度５３４を表す。

エクステント“１”〜エクステント“５”の性能向上度５３４は正の値であり、ＨＤＤ５１２からＳＳＤ５１１へ移動した場合に、そのエクステントに対するアクセスの性能が向上することを示している。一方、エクステント“６”の性能向上度５３４は負の値であり、ＨＤＤ５１２からＳＳＤ５１１へ移動した場合に、そのエクステントに対するアクセスの性能が低下することを示している。

この場合、決定部３１３は、性能向上度５３４が最大のエクステントから順に２個のエクステントを選択し、それらのエクステントの配置場所をＳＳＤ５１１に決定することができる。したがって、エクステント“３”及びエクステント“１”がＳＳＤ５１１に配置され、残りのエクステント“２”及びエクステント“４”〜エクステント“６”はＨＤＤ５１２に配置される。

このうち、エクステント“１”は、既にＳＳＤ５１１に配置されており、エクステント“４”〜エクステント“６”は、既にＨＤＤ５１２に配置されている。そこで、決定部３１３は、エクステント“２”及びエクステント“３”を移動対象として選択し、エクステント“２”の移動先をＨＤＤ５１２に決定し、エクステント“３”の移動先をＳＳＤ５１１に決定する。これにより、エクステント“２”及びエクステント“３”の物理アドレスが変更されたデータ配置情報５３５が生成される。

なお、ステップ８０２において、決定部３１３は、エクステント毎に、ＳＳＤ５１１に配置した場合の合計レイテンシから、ＨＤＤ５１２に配置した場合の合計レイテンシを減算することで、性能向上度５３４を計算してもよい。この場合、計算された性能向上度５３４は、各エクステントの配置場所をＳＳＤ５１１からＨＤＤ５１２に変更したと仮定した場合に予測される合計レイテンシの減少量を表す。

例えば、エクステント“１”の性能向上度５３４は、５００ｍｓから３０００ｍｓを減算することで求められ、−２５００ｍｓになる。また、エクステント“３”の性能向上度５３４は、５００ｍｓから４０００ｍｓを減算することで求められ、−３５００ｍｓになる。したがって、これらのエクステントがＳＳＤ５１１からＨＤＤ５１２へ移動した場合、そのエクステントに対するアクセスの性能が低下することが分かる。

次に、再配置部５２４は、データ配置情報５３２及びデータ配置情報５３５を参照して、配置場所が変更されたエクステントを変更後の配置場所へ移動させる（ステップ８０４）。さらに、再配置部５２４は、データ配置情報５３５をデータ配置情報５３２に反映させることで、データ配置情報５３２を更新する。

これにより、切り替え前のエポックにおけるデータ配置が決定されたデータ配置に変更され、次のエポックにおいて予測されるアクセスに対するストレージシステム５０１のアクセス性能が改善される。

図８のデータ再配置処理によれば、エクステント毎に性能指標５３３を計算することで、性能指標５３３の計算量が削減され、エクステント毎の性能向上度５３４を比較することで、次のエポックにおけるデータ配置が効率よく決定される。したがって、ストレージシステム５０１の性能を最適化するデータ配置を高速に決定することができる。

ストレージシステムにおける階層制御は、ＳＳＤ及びＨＤＤのような２階層の記憶装置だけでなく、３階層以上の記憶装置に対しても適用可能である。３階層以上の記憶装置としては、性能の異なる３台以上の記憶装置が用いられる。

図１１は、３階層の記憶装置を含むストレージシステムの機能的構成例を示している。図１１のストレージシステム１１０１は、図５のストレージシステム５０１において、ＨＤＤ５１２を、性能の異なる２台のＨＤＤに置き換えた構成を有する。２台のＨＤＤの一方は、Serial Attached Small computer system interface HDD（ＳＡＳ ＨＤＤ）１１１１であり、他方はSerial Advanced Technology Attachment HDD（ＳＡＴＡ ＨＤＤ）１１１２である。

ＳＡＳ ＨＤＤ１１１１のデータ転送速度は、ＳＳＤ５１１よりも低速であるが、ＳＡＴＡ ＨＤＤ１１１２よりも高速である。したがって、ＳＳＤ５１１、ＳＡＳ ＨＤＤ１１１１、及びＳＡＴＡ ＨＤＤ１１１２は、データ転送速度の異なる３階層の記憶装置に対応する。

この場合、ストレージ制御装置３０１は、エポック毎に、ＳＳＤ５１１、ＳＡＳ ＨＤＤ１１１１、及びＳＡＴＡ ＨＤＤ１１１２の間でエクステントを移動させることで、データ配置を動的に変更する。データ配置情報５３２及びデータ配置情報５３５の物理アドレスにおける記憶装置のＩＤとしては、ＳＳＤ５１１、ＳＡＳ ＨＤＤ１１１１、及びＳＡＴＡ ＨＤＤ１１１２それぞれを示すＩＤが用いられる。ストレージシステム１１０１における記録処理及びデータ再配置処理は、図７及び図８と同様である。

図１１のストレージシステム１１０１によれば、３階層の記憶装置におけるデータの再配置が高速化される。

図３のストレージ制御装置３０１の構成は一例に過ぎず、ストレージ制御装置３０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。

図１、図５、及び図１１のストレージシステムの構成は一例に過ぎず、ストレージシステムの用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、図５及び図１１のストレージシステムにおいて、性能予測情報３２２がストレージシステムの外部で生成される場合は、生成部５２１を省略することができる。

図５のストレージシステム５０１は、複数のＳＳＤ及び複数のＨＤＤを含んでいてもよい。同様に、図１１のストレージシステム１１０１は、複数のＳＳＤ、複数のＳＡＳ ＨＤＤ、及び複数のＳＡＴＡ ＨＤＤを含んでいてもよい。

図２の情報処理システムの構成は一例に過ぎず、情報処理システムの用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、情報処理システムは、複数のクライアント端末及び複数のサーバを含んでいてもよい。

図４、図７、及び図８のフローチャートは一例に過ぎず、ストレージ制御装置３０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図８のデータ再配置処理において、予測部３１２は、すべてのエクステントの代わりに、所定数のエクステントのみについて、性能指標５３３を計算してもよい。この場合、決定部３１３は、それらのエクステントのみについて性能向上度５３４を求めて、移動対象のエクステントを決定することができる。

図７のステップ７０３において、記録部５２３は、レイテンシを示す情報以外のデータ転送速度を示す情報を、性能指標５３１として求めてもよい。同様に、図８のステップ８０１において、予測部３１２は、レイテンシを示す情報以外のデータ転送速度を示す情報を、性能指標５３３として求めてもよい。

図６のデータ配置情報は一例に過ぎず、別の形式のデータ配置情報を用いてもよい。図９の性能指標及び図１０の性能向上度は一例に過ぎず、別の性能指標及び性能向上度を用いてもよい。エクステントの代わりに、別のデータ管理単位を用いてもよい。

図１２は、図３、図５、及び図１１のストレージ制御装置３０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１２の情報処理装置は、ＣＰＵ１２０１、メモリ１２０２、入力装置１２０３、出力装置１２０４、補助記憶装置１２０５、媒体駆動装置１２０６、及びネットワーク接続装置１２０７を備える。これらの構成要素はバス１２０８により互いに接続されている。

メモリ１２０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１２０２は、図３、図５、及び図１１の記憶部３１１として用いることができる。

ＣＰＵ１２０１（プロセッサ）は、例えば、メモリ１２０２を利用してプログラムを実行することにより、図３、図５、及び図１１の予測部３１２及び決定部３１３として動作する。ＣＰＵ１２０１は、メモリ１２０２を利用してプログラムを実行することにより、図５及び図１１の生成部５２１、制御部５２２、記録部５２３、及び再配置部５２４としても動作する。

入力装置１２０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示及び情報の入力に用いられる。出力装置１２０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。

補助記憶装置１２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１２０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１２０５にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。補助記憶装置１２０５は、図３、図５、及び図１１の記憶部３１１として用いることができる。

媒体駆動装置１２０６は、可搬型記録媒体１２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１２０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１２０９にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１２０２、補助記憶装置１２０５、又は可搬型記録媒体１２０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１２０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、ネットワーク接続装置１２０７を介して、図５のＳＳＤ５１１及びＨＤＤ５１２、図１１のＳＳＤ５１１、ＳＡＳ ＨＤＤ１１１１、及びＳＡＴＡ ＨＤＤ１１１２と通信することができる。また、情報処理装置は、ネットワーク接続装置１２０７を介して、サーバと通信することもできる。

情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１２０７を介して受信し、それらをメモリ１２０２にロードして使用することができる。

なお、情報処理装置が図１２のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がオペレータ又はユーザと対話する必要がない場合は、入力装置１２０３及び出力装置１２０４を省略してもよい。また、可搬型記録媒体１２０９を利用しない場合は、媒体駆動装置１２０６を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、前記複数のデータ管理単位それぞれに対するアクセスの特徴を示す特徴量を記憶するとともに、特徴量から前記複数の記憶装置それぞれの性能指標を求めるための性能予測情報を記憶する記憶部と、
前記複数のデータ管理単位それぞれについて、前記第１期間における特徴量と前記性能予測情報とを用いて、第２期間においてデータ管理単位の配置場所を前記第１期間とは異なる特定の記憶装置に変更した場合の前記特定の記憶装置の性能指標を求める予測部と、
前記複数のデータ管理単位それぞれについて前記予測部が求めた性能指標に基づいて、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置を決定する決定部と、
を備えることを特徴とするストレージ制御装置。
（付記２）
前記データ配置に基づいて、前記複数のデータ管理単位のうち配置場所が変更されるデータ管理単位を変更後の配置場所へ移動させる再配置部をさらに備えることを特徴とする付記１記載のストレージ制御装置。
（付記３）
前記決定部は、前記複数のデータ管理単位それぞれについて、前記第１期間において測定された記憶装置の性能を示す性能指標と、前記予測部が求めた前記第２期間における前記特定の記憶装置の性能指標との差分を求め、前記複数のデータ管理単位それぞれの前記差分に基づいて、前記データ配置を決定することを特徴とする付記１又は２記載のストレージ制御装置。
（付記４）
前記決定部は、前記複数のデータ管理単位のうち第１データ管理単位の差分が第２データ管理単位の差分よりも大きく、前記第１データ管理単位について前記予測部が求めた前記特定の記憶装置の性能指標が示す性能が、前記第１データ管理単位について測定された記憶装置の性能よりも高い場合、前記第１データ管理単位の配置場所を前記特定の記憶装置に変更したデータ配置を、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置に決定することを特徴とする付記３記載のストレージ制御装置。
（付記５）
前記複数の記憶装置は、第１記憶装置と、前記第１記憶装置よりもデータ転送速度が低速な第２記憶装置とを含み、前記複数のデータ管理単位のうち１つのデータ管理単位は、前記第１期間において前記第１記憶装置内に配置され、前記第２期間において前記第２記憶装置内に配置されることを特徴とする付記１乃至４のいずれか１項に記載のストレージ制御装置。
（付記６）
前記性能予測情報は、前記複数の記憶装置それぞれの線形回帰モデルを含み、各記憶装置の線形回帰モデルは、各記憶装置の１つ又は複数の特徴量を説明変数として含み、各記憶装置の性能指標を目的変数として含むことを特徴とする付記１乃至５のいずれか１項に記載のストレージ制御装置。
（付記７）
前記複数の記憶装置それぞれの性能指標は、前記複数の記憶装置それぞれのレイテンシを示すことを特徴とする付記１乃至６のいずれか１項に記載のストレージ制御装置。
（付記８）
性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、前記複数のデータ管理単位それぞれに対するアクセスの特徴を示す特徴量を記憶するとともに、特徴量から前記複数の記憶装置それぞれの性能指標を求めるための性能予測情報を記憶する記憶部を参照し、
前記複数のデータ管理単位それぞれについて、前記第１期間における特徴量と前記性能予測情報とを用いて、第２期間においてデータ管理単位の配置場所を前記第１期間とは異なる特定の記憶装置に変更した場合の前記特定の記憶装置の性能指標を求め、
前記複数のデータ管理単位それぞれについて前記予測部が求めた性能指標に基づいて、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置を決定する、
処理をコンピュータに実行させるためのストレージ制御プログラム。
（付記９）
前記コンピュータは、前記データ配置に基づいて、前記複数のデータ管理単位のうち配置場所が変更されるデータ管理単位を変更後の配置場所へ移動させることを特徴とする付記８記載のストレージ制御プログラム。
（付記１０）
前記コンピュータは、前記複数のデータ管理単位それぞれについて、前記第１期間において測定された記憶装置の性能を示す性能指標と、前記第２期間における前記特定の記憶装置の性能指標との差分を求め、前記複数のデータ管理単位それぞれの前記差分に基づいて、前記データ配置を決定することを特徴とする付記８又は９記載のストレージ制御プログラム。
（付記１１）
前記コンピュータは、前記複数のデータ管理単位のうち第１データ管理単位の差分が第２データ管理単位の差分よりも大きく、前記第１データ管理単位について求めた前記特定の記憶装置の性能指標が示す性能が、前記第１データ管理単位について測定された記憶装置の性能よりも高い場合、前記第１データ管理単位の配置場所を前記特定の記憶装置に変更したデータ配置を、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置に決定することを特徴とする付記１０記載のストレージ制御プログラム。
（付記１２）
コンピュータが、
性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、前記複数のデータ管理単位それぞれに対するアクセスの特徴を示す特徴量を記憶するとともに、特徴量から前記複数の記憶装置それぞれの性能指標を求めるための性能予測情報を記憶する記憶部を参照し、
前記複数のデータ管理単位それぞれについて、前記第１期間における特徴量と前記性能予測情報とを用いて、第２期間においてデータ管理単位の配置場所を前記第１期間とは異なる特定の記憶装置に変更した場合の前記特定の記憶装置の性能指標を求め、
前記複数のデータ管理単位それぞれについて前記予測部が求めた性能指標に基づいて、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置を決定する、
ことを特徴とするストレージ制御方法。
（付記１３）
前記コンピュータは、前記データ配置に基づいて、前記複数のデータ管理単位のうち配置場所が変更されるデータ管理単位を変更後の配置場所へ移動させることを特徴とする付記１２記載のストレージ制御方法。
（付記１４）
前記コンピュータは、前記複数のデータ管理単位それぞれについて、前記第１期間において測定された記憶装置の性能を示す性能指標と、前記第２期間における前記特定の記憶装置の性能指標との差分を求め、前記複数のデータ管理単位それぞれの前記差分に基づいて、前記データ配置を決定することを特徴とする付記１２又は１３記載のストレージ制御方法。
（付記１５）
前記コンピュータは、前記複数のデータ管理単位のうち第１データ管理単位の差分が第２データ管理単位の差分よりも大きく、前記第１データ管理単位について求めた前記特定の記憶装置の性能指標が示す性能が、前記第１データ管理単位について測定された記憶装置の性能よりも高い場合、前記第１データ管理単位の配置場所を前記特定の記憶装置に変更したデータ配置を、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置に決定することを特徴とする付記１４記載のストレージ制御方法。

１０１、５０１、１１０１ ストレージシステム
１１１、３０１ ストレージ制御装置
１１２、５１１ ＳＳＤ
１１１、５１２ ＨＤＤ
１２１ 仮想ブロックデバイス
２０１ クライアント端末
２０２ サーバ
２０３ 通信ネットワーク
３１１ 記憶部
３１２ 予測部
３１３ 決定部
３２１ 特徴量
３２２ 性能予測情報
５２１ 生成部
５２２ 制御部
５２３ 記録部
５２４ 再配置部
５３１、５３３ 性能指標
５３２、５３５ データ配置情報
５３４ 性能向上度
１１１１ ＳＡＳ ＨＤＤ
１１１２ ＳＡＴＡ ＨＤＤ
１２０１ ＣＰＵ
１２０２ メモリ
１２０３ 入力装置
１２０４ 出力装置
１２０５ 補助記憶装置
１２０６ 媒体駆動装置
１２０７ ネットワーク接続装置
１２０８ バス
１２０９ 可搬型記録媒体

Claims (7)

1. 性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、前記複数のデータ管理単位それぞれに対するアクセスの特徴を示す特徴量を記憶するとともに、特徴量から前記複数の記憶装置それぞれの性能指標を求めるための性能予測情報を記憶する記憶部と、
   前記複数のデータ管理単位それぞれについて、前記第１期間における特徴量と前記性能予測情報とを用いて、第２期間においてデータ管理単位の配置場所を前記第１期間とは異なる特定の記憶装置に変更した場合の前記特定の記憶装置の性能指標を求める予測部と、
   前記複数のデータ管理単位それぞれについて前記予測部が求めた性能指標に基づいて、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置を決定する決定部と、
   を備えることを特徴とするストレージ制御装置。
2. 前記データ配置に基づいて、前記複数のデータ管理単位のうち配置場所が変更されるデータ管理単位を変更後の配置場所へ移動させる再配置部をさらに備えることを特徴とする請求項１記載のストレージ制御装置。
3. 前記決定部は、前記複数のデータ管理単位それぞれについて、前記第１期間において測定された記憶装置の性能を示す性能指標と、前記予測部が求めた前記第２期間における前記特定の記憶装置の性能指標との差分を求め、前記複数のデータ管理単位それぞれの前記差分に基づいて、前記データ配置を決定することを特徴とする請求項１又は２記載のストレージ制御装置。
4. 前記決定部は、前記複数のデータ管理単位のうち第１データ管理単位の差分が第２データ管理単位の差分よりも大きく、前記第１データ管理単位について前記予測部が求めた前記特定の記憶装置の性能指標が示す性能が、前記第１データ管理単位について測定された記憶装置の性能よりも高い場合、前記第１データ管理単位の配置場所を前記特定の記憶装置に変更したデータ配置を、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置に決定することを特徴とする請求項３記載のストレージ制御装置。
5. 前記複数の記憶装置は、第１記憶装置と、前記第１記憶装置よりもデータ転送速度が低速な第２記憶装置とを含み、前記複数のデータ管理単位のうち１つのデータ管理単位は、前記第１期間において前記第１記憶装置内に配置され、前記第２期間において前記第２記憶装置内に配置されることを特徴とする請求項１乃至４のいずれか１項に記載のストレージ制御装置。
6. 性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、前記複数のデータ管理単位それぞれに対するアクセスの特徴を示す特徴量を記憶するとともに、特徴量から前記複数の記憶装置それぞれの性能指標を求めるための性能予測情報を記憶する記憶部を参照し、
   前記複数のデータ管理単位それぞれについて、前記第１期間における特徴量と前記性能予測情報とを用いて、第２期間においてデータ管理単位の配置場所を前記第１期間とは異なる特定の記憶装置に変更した場合の前記特定の記憶装置の性能指標を求め、
   前記複数のデータ管理単位それぞれについて前記予測部が求めた性能指標に基づいて、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置を決定する、
   処理をコンピュータに実行させるためのストレージ制御プログラム。
7. コンピュータが、
   性能の異なる複数の記憶装置内に複数のデータ管理単位が配置されている第１期間における、前記複数のデータ管理単位それぞれに対するアクセスの特徴を示す特徴量を記憶するとともに、特徴量から前記複数の記憶装置それぞれの性能指標を求めるための性能予測情報を記憶する記憶部を参照し、
   前記複数のデータ管理単位それぞれについて、前記第１期間における特徴量と前記性能予測情報とを用いて、第２期間においてデータ管理単位の配置場所を前記第１期間とは異なる特定の記憶装置に変更した場合の前記特定の記憶装置の性能指標を求め、
   前記複数のデータ管理単位それぞれについて前記予測部が求めた性能指標に基づいて、前記第２期間において前記複数の記憶装置内に配置される前記複数のデータ管理単位のデータ配置を決定する、
   ことを特徴とするストレージ制御方法。

Images