JP2017146918A - 制御装置、ストレージ装置、ストレージシステム、制御方法及びプログラム - Google Patents

制御装置、ストレージ装置、ストレージシステム、制御方法及びプログラム Download PDF

Info

Publication number
JP2017146918A
JP2017146918A JP2016030139A JP2016030139A JP2017146918A JP 2017146918 A JP2017146918 A JP 2017146918A JP 2016030139 A JP2016030139 A JP 2016030139A JP 2016030139 A JP2016030139 A JP 2016030139A JP 2017146918 A JP2017146918 A JP 2017146918A
Authority
JP
Japan
Prior art keywords
storage
chunk
unit
stored
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016030139A
Other languages
English (en)
Other versions
JP6733213B2 (ja
Inventor
賢治 野田
Kenji Noda
賢治 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2016030139A priority Critical patent/JP6733213B2/ja
Publication of JP2017146918A publication Critical patent/JP2017146918A/ja
Application granted granted Critical
Publication of JP6733213B2 publication Critical patent/JP6733213B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】データの読出し処理を効率化するストレージシステム等を提供する。【解決手段】ストレージシステムの制御装置は、ストレージ装置への書込み対象データが分割されたチャンクを記憶手段又はストレージ装置に格納するよう制御する格納制御部と、ストレージ装置から送信される識別情報に基づいて、読出し対象データに関するチャンクが記憶手段に格納されているかを判定する判定部と、判定結果に基づいて、記憶手段及びストレージ装置に格納されたチャンクを用いて読出し対象データを構築する読出制御部とを備える。【選択図】 図1

Description

本発明は、制御装置、ストレージ装置、ストレージシステム、制御方法及びプログラムに関する。
ストレージシステムにおいて、重複排除機能が用いられつつある。重複排除機能が用いられることで、ストレージシステムにおいて必要とされるストレージ領域や、ストレージシステムへの書込みに際して必要とされる通信ネットワーク帯域の効率化が可能となる。
特許文献1には、ストレージシステムの実際の運用において実施可能な重複排除機能を提供し、重複排除処理後のデータから元のデータ復元に要する時間を短縮することができる格納データの重複排除方法等が記載されている。
また、特許文献2には、同一データの重複度が適度に制御され、過度の重複の排除と並列アクセスの両立を実現することができる自律分散重複排除ファイルシステム等が記載されている。
また、特許文献3には、格納するデータの重複排除を実現しつつ、性能の向上を図ることができるストレージシステムが記載されている。特許文献3に記載のストレージシステムは、重要度スコアの値に応じて、重複排除処理を主に実行するノードを切替えている。そのため、アクセラレータノードの処理負荷を抑制しつつ、アクセラレータノードとストレージノードとの間における通信量を削減することができる。
特許文献4には、キャッシュ保存プログラム等が記載されている。特許文献4に記載の技術では、通信装置は、データの重複の特性を考慮して、キャッシュ保存領域にデータを保存するので、キャッシュ保存領域を効率的にヒットさせることが可能となる。
国際公開第2013/051129号 特開2014−160311号公報 特開2011−175421号公報 特開2015−201050号公報
重複排除機能が用いられているストレージシステムからのデータの読み出しに際しては、全てのデータがストレージから読み出される。したがって、重複排除機能が用いられているストレージシステムにおいても、格納されたデータが読み出される場合には、大きな通信ネットワーク帯域が必要とされる。すなわち、上述した各特許文献に記載の技術では、データが読出される場合における処理の効率化に関しては、特段の考慮がなされていない。
本発明は、上記課題を解決するためになされたものであって、データの読出し処理を効率化するストレージシステム等を提供することを主たる目的とする。
本発明の一態様における制御装置は、ストレージ装置への書込み対象データが分割されたチャンクを記憶手段又はストレージ装置に格納するよう制御する格納制御手段と、ストレージ装置から送信される識別情報に基づいて、読出し対象データに関するチャンクが記憶手段に格納されているかを判定する判定手段と、判定結果に基づいて、記憶手段及びストレージ装置に格納されたチャンクを用いて読出し対象データを構築する読出制御手段とを備える。
本発明の一態様におけるストレージ装置は、制御装置の要求に基づいて、読出し対象データに関するチャンクを識別する識別情報を制御装置に送信する返信手段と、読出し対象データに関するチャンクのうち、制御装置の記憶手段に未格納であるチャンクを制御装置に送信するよう制御する読出制御手段とを備える。
本発明の一態様におけるストレージシステムは、制御装置と、ストレージ装置とを備える。
本発明の一態様における制御方法は、ストレージ装置への書込み対象データが分割されたチャンクを記憶手段又はストレージ装置に格納し、ストレージ装置から送信される識別情報に基づいて、読出し対象データに関するチャンクが記憶手段に格納されているかを判定し、判定結果に基づいて、記憶手段及びストレージ装置に格納されたチャンクを用いて読出し対象データを構築する。
本発明の一態様におけるプログラムは、コンピュータに、ストレージ装置への書込み対象データが分割されたチャンクを記憶手段又はストレージ装置に格納するよう制御する処理と、ストレージ装置から送信される識別情報に基づいて、読出し対象データに関するチャンクが記憶手段に格納されているかを判定する処理と、判定結果に基づいて、記憶手段及びストレージ装置に格納されたチャンクを用いて読出し対象データを構築する処理とを実行させる。
本発明によると、データの読出し処理を効率化するストレージシステム等を提供することができる。
本発明の第1の実施形態における制御装置、ストレージ装置及びストレージシステムの構成を示す図である。 本発明の第1の実施形態におけるストレージシステムが複数の制御装置又はストレージ装置を有する場合の構成を示す例である。 一般的な重複排除機能を備えるストレージシステムにおけるデータの書込み及び読出しの動作の一例を示す図である。 本発明の第1の実施形態におけるストレージシステムにおけるデータの書込みの動作の一例を示す図である。 本発明の第1の実施形態におけるストレージシステムにおけるデータの読出しの動作の一例を示す図である。 本発明の第1の実施形態におけるストレージシステム等の書込みに関する動作の一例を示すフローチャートである。 本発明の第1の実施形態におけるストレージシステム等の読出しに関する動作の一例を示すフローチャートである。 本発明の実施形態における制御装置等を実現する情報処理装置の一例を示す図である。
本発明の各実施形態について、添付の図面を参照して説明する。本発明の実施形態において、例えば後述する制御装置等の各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図8に示すような情報処理装置500とプログラムとの任意の組み合わせにより実現される。情報処理装置500は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)501
・ROM(Read Only Memory)502
・RAM(Random Access Memory)503
・RAM503にロードされるプログラム504
・プログラム504を格納する記憶装置505
・記録媒体506の読み書きを行うドライブ装置507
・通信ネットワーク509と接続する通信インターフェース508
・データの入出力を行う入出力インターフェース510
・各構成要素を接続するバス511
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム504をCPU501が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム504は、例えば、予め記憶装置505やRAM503に格納されており、必要に応じてCPU501が読み出す。なお、プログラム504は、通信ネットワーク509を介してCPU501に供給されてもよいし、予め記録媒体506に格納されており、ドライブ装置507が当該プログラムを読み出してCPU501に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置500とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置500とプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部又は全部は、プロセッサ等を含む汎用または専用の回路(circuitry)やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
(第1の実施形態)
続いて、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態における制御装置、ストレージ装置及びストレージシステムの構成を示す図である。図2は、本発明の第1の実施形態におけるストレージシステムが複数の制御装置又はストレージ装置を有する場合の構成を示す例である。図3は、一般的な重複排除機能を備えるストレージシステムにおけるデータの書込み及び読出しの動作の一例を示す図である。図4は、本発明の第1の実施形態におけるストレージシステムにおけるデータの書込みの動作の一例を示す図である。図5は、本発明の第1の実施形態におけるストレージシステムにおけるデータの読出しの動作の一例を示す図である。図6は、本発明の第1の実施形態におけるストレージシステム等の書込みに関する動作の一例を示すフローチャートである。図7は、本発明の第1の実施形態におけるストレージシステム等の読出しに関する動作の一例を示すフローチャートである。図8は、本発明の実施形態における制御装置等を実現する情報処理装置の一例を示す図である。
なお、本実施形態におけるストレージシステムは、一般的な重複排除機能を備えることを想定する。すなわち、ストレージに対してデータが格納される際には、書込みの対象となるデータ(以下「書込み対象データ」と称する)がチャンクと呼ばれる単位に分割される。また、チャンクに対してハッシュ値等のチャンクを識別する情報が求められる。各々のチャンクは、予め定められた大きさ(すなわち、固定長)であってもよいし、それぞれ異なる大きさ(すなわち、可変長)であってもよい。そして、ハッシュ値に基づいて、チャンクが既にストレージ装置に格納されているか否かが判定される。判定の結果として、ストレージ装置に未格納であるデータがストレージに格納される。
次に、本発明の第1の実施形態におけるストレージステム10の概要について、一般的な重複排除機能を備えたストレージシステムと対比して説明する。
図3は、一般的な重複排除機能を備えたストレージシステムにおけるデータの書込み又は読出しの処理を示す図である。図3に示す例では、ストレージシステムは、本実施形態におけるストレージシステムと同様に、制御装置を備えたサーバと、ストレージ装置とを有することを想定する。
上述したように、一般的な重複排除機能を備えたストレージシステムに対してデータが書込まれる際には、書込み対象データがチャンクと呼ばれる単位に分割される。図3(a)に示す例では、書込み対象データは、チャンクAからチャンクEまでの5つのチャンクに分割される。
書込み対象データがチャンクに分割されると、チャンクの各々に対して求められたハッシュ値に基づいて、チャンクが既にストレージ装置12に格納されているか否かが判定される。判定の結果として、ストレージ装置12に未格納であるデータがストレージに格納される。図3(a)に示す例では、チャンクA、C及びDの3つのチャンクが予めストレージ装置に格納済であることが想定されている。したがって、図3(a)に示す例では、ストレージ装置に未格納であるチャンクB及びEの2つのチャンクが、制御装置を備えるサーバからストレージ装置へ転送される。
すなわち、5つのチャンクのうち、未重複であるチャンクB及びEの2つのチャンクが転送されることで、ストレージ装置において必要とされる記憶容量と、チャンクの転送に要する通信ネットワーク帯域の削減が可能となる。
一方、一般的な重複排除機能を備えたストレージシステムからデータが読出される際には、例えば、ストレージ装置においてチャンクを用いて読出し対象データが構築されて転送される。すなわち、読出し対象データの転送に必要となるデータの転送量は、重複排除機能を備えないストレージシステムと同等(又はほぼ同等)となる。したがって、制御装置を備えるサーバとストレージ装置との間の通信ネットワークの帯域が狭い場合には、読出し対象データの転送に長い時間を要する等の問題が生じる可能性がある。
これに対して、本実施形態におけるストレージシステムは、例えば図4又は5に示すように動作する。すなわち、本実施形態におけるストレージシステムに対してデータが書込まれる際には、上述した動作と併せて、分割されたチャンクがローカルの記憶部に格納される。
図4に示す例では、上述した図3に示す例と同様に、チャンクA、C及びDの3つのチャンクが予めストレージ装置に格納済であると想定されている。また、チャンクA及びCが予めローカルの記憶部に格納されていると想定されている。この場合には、動作の一例として、ストレージ装置に未格納であるチャンクB及びEの2つのチャンクが、サーバからストレージ装置への転送と併せてローカルの記憶部に格納される。
そして、本実施形態におけるストレージシステムからデータが読出される際には、ローカルの記憶部に格納されたチャンクが用いられる。すなわち、制御装置においては、読出しの対象となるチャンクのハッシュ値がストレージ装置に照会される。続いて、ハッシュ値を用いて、当該チャンクがローカルの記憶部に存在するかが確認される。その結果、読出しの対象となるチャンクがローカルの記憶部に格納されていると確認された場合には、当該チャンクはローカルの記憶部から読出される。
図5に示す例では、チャンクA、B,C及びEの4つのチャンクがサーバに設けられたローカルの記憶部に格納済であると想定されている。そして、読出し対象データは、チャンクAからEまでの5つのチャンクにて構成される。この場合には、読出し対象データの構築に際して、チャンクA、B,C及びEは、ローカルの記憶部から読出される。ストレージ装置からは、チャンクDが転送される。すなわち、本実施形態におけるストレージシステムでは、一般的な重複排除機能を備えたストレージシステムと比較して、データの読出しに際してストレージ装置から転送されるデータの量が削減される。
このように、本実施形態におけるストレージシステムでは、ローカルの記憶部である記憶部140に格納されたチャンクを用いることで、ストレージ装置から制御装置を備えたサーバに転送されるデータの量が削減される。すなわち、本実施形態におけるストレージシステムは、データの読出しに関する処理の効率を高めることを可能とする。
次に、本発明の第1の実施形態におけるストレージシステムの構成の概要を説明する。
図1に示すとおり、本発明の第1の実施形態におけるストレージシステム10は、制御装置11及びストレージ装置12を有する。制御装置11は、少なくとも、図中の一点鎖線で囲われた領域に含まれている、格納制御部110と、判定部120と、読出制御部130とを備える。また、制御装置11は、記憶部140及びハッシュテーブル150を備える。本実施形態においては、制御装置11は、この他に、重複排除機能を備えたストレージ装置へアクセスする一般的なサーバと同様に分割部160及び算出部170を備えることを想定する。
格納制御部110は、ストレージ装置12への書込み対象データに関するチャンクを記憶部140に格納するよう制御する。また、格納制御部110は、ストレージ装置12への書込み対象データに関するチャンクをストレージ装置12に格納するように制御する。本実施形態において、チャンクは、ストレージ装置12への書込み対象データが任意の数に分割された場合のデータの単位を示す。判定部120は、ストレージ装置12から送信されるハッシュ値等の識別情報に基づいて、読出しの対象となるデータ(以下、「読出し対象データ」と称する)に関するチャンクが記憶部140に格納されているかを判定する。読出制御部130は、判定部120による判定結果に基づいて、記憶部150及びストレージ装置12に格納されたチャンクを用いて読出し対象データを構築する。記憶部140は、分割部160にて分割されたチャンクを格納する。記憶部140は、以下の説明にて「ローカルの記憶部」と称される場合がある。ハッシュテーブル150は、記憶部140に格納されたチャンクに対するハッシュ値を格納する。分割部160は、ストレージ装置12への書込み対象データを任意の数のチャンクに分割する。算出部170は、分割部160にて書込み対象データを分割して生成されたチャンクの各々について、ハッシュ値を算出する。なお、本実施形態においては、ハッシュ値は、チャンクの各々を区別する識別情報として用いられる。
ストレージ装置12は、記憶部210と、ハッシュテーブル220と、格納部230と、返信部240と、転送部250と、重複判定部260とを備える。記憶部210は、チャンクに分割されたデータを格納する。ハッシュテーブル220は、記憶部210に格納されたチャンクに対するハッシュ値を格納する。重複判定部260は、制御装置11の算出部170にて算出されたハッシュ値に基づいて、当該ハッシュ値に関するチャンクが記憶部210に格納されているか否かを判定する。格納部230は、制御装置11の格納制御部110から送られたチャンクを記憶部210に格納する。返信部240は、制御装置11の要求に基づいて、読出し対象データに関するハッシュ値を制御装置11の判定部120に送信する。転送部250は、読出し対象データに関するチャンクのうち、制御装置11の記憶部140に未格納であるチャンクを記憶部210から取得して制御装置11に送信するよう制御する。
本実施形態においては、制御装置11は、ストレージ装置12に対してデータの書込みや読出しを行うサーバ等に設けられる。すなわち、制御装置100は、図7に示す情報処理装置500等であるサーバにおいて動作するプログラムとして実現される。この場合に、サーバは、例えば上述した図8に示す情報処理装置500のような構成を備える。ただし、制御装置100は、他の態様にて実現されてもよい。
また、本実施形態においては、ストレージシステム10は、例えばデータのバックアップを行うストレージである。すなわち、制御装置11が設けられたサーバは、例えばデータのバックアップを行うバックアップサーバである。また、ストレージ装置12は、例えばバックアップストレージである。ただし、本実施形態におけるストレージシステム10は、例えばファイルサーバ等の他の用途に用いられてもよい。
なお、図1に示すストレージシステム10は、それぞれ1つの制御装置11及びストレージ装置12を有する。しかしながら、制御装置11又はストレージ装置12の数は特に限定されない。すなわち、図2に示す例のように、ストレージシステム10は、制御装置11−1から11−N及びストレージ装置12−1から12−Nを有してもよい。この場合に、制御装置11−1から11−Nの各々は、ストレージ装置12−1から12−Nのいずれをデータの書込みや読出しの対象としてもよい。
次に、本発明の第1の実施形態におけるストレージシステム10の各構成要素の詳細について説明する。最初に、ストレージシステム10が有する制御装置11の各構成要素の詳細について説明する。
格納制御部110は、チャンクをローカルの記憶部である記憶部140又はストレージ装置12に格納するよう制御する。格納制御部110は、ストレージ装置12の重複判定部260によって記憶部210に未格納であると判定されたチャンクを、ストレージ装置12の記憶部210に格納するよう制御する。この制御は、一般的な重複排除機能を備えたストレージ装置へアクセスする一般的なサーバにおける制御と同様である。併せて、格納制御部110は、ストレージ装置12への書込み対象データに関するチャンクを、記憶部140に格納する。先に概要として説明したように、記憶部140に格納されたチャンクは、当該チャンクに関連するデータが読出し対象データとされた場合に用いられる。
格納制御部110が記憶部140に格納するデータは特に限定されず、ストレージ装置12への書込み対象データに関するチャンクであればよい。すなわち、格納制御部110は、ストレージ装置12の重複判定部260が記憶部210に未格納であると判定したチャンクを記憶部140に格納してもよい。又は、格納制御部110は、チャンクが記憶部210に格納済であると重複判定部260に判定された場合であっても、当該チャンクが記憶部140に未格納である場合には、当該チャンクを記憶部140に格納してもよい。
チャンクが記憶部140へ格納される際には、記憶部140の構成等に応じた時間を要する。しかしながら、一般的に、その時間は、チャンクがストレージ装置12の記憶部210へ格納される場合に要する時間と比較すると短い。したがって、格納制御部110は、記憶部210に未格納であるチャンクを記憶部140に格納することで、記憶部140への格納に要する時間が実質的に隠蔽される。
また、格納制御部110は、予め定められた方法にて、記憶部140に格納されるチャンクの管理を行う。
例えば、格納制御部110がチャンクを格納する場合に、記憶部140にチャンクを格納する空き容量がない場合がある。この場合には、格納制御部110は、予め定められた手順に基づき記憶部140に格納されたチャンクの一部を削除して、新たなチャンクを格納する領域を確保する。例えば、格納制御部110は、最も過去に記憶部140に格納されたチャンクを削除して、新たなチャンクを格納する。なお、格納制御部110は、記憶部140の空き容量がない場合に限らず、当該空き容量が予め定めた大きさになる等、記憶部140の空き容量が予め定めた条件を満たす場合に記憶部140に格納されたチャンクを削除してもよい。
また、格納制御部110は、ストレージ装置12の重複判定部260による判定の結果に基づいて、記憶部140に格納されるチャンクの管理を行ってもよい。すなわち、格納制御部110は、ストレージ装置12の重複判定部260による判定の結果に基づいて、空き容量がない場合等において記憶部140から削除されるチャンクを決定してもよい。
例えば、格納制御部110は、チャンクが記憶部210に格納済であり、重複すると重複判定部260によって判定された回数に基づいて、記憶部140に格納されるチャンクの管理を行ってもよい。この場合には、格納制御部110は、例えば記憶部210に格納済であると重複判定部260によって判定された回数が多いチャンクを記憶部140に残すように、チャンクを管理する。
つまり、記憶部140に空き容量がない場合等には、格納制御部110は、記憶部210に格納済であると重複判定部260にて判定された回数が少ないチャンクを記憶部140から削除する。格納制御部110は、この場合には、記憶部210に未格納であると判定されたチャンクを記憶部140から削除してもよい。
又は、上述した例とは逆に、格納制御部110は、記憶部210に未格納であると判定されたチャンクを記憶部140に残し、他のチャンクを削除するようにチャンクの管理を行ってもよい。格納制御部110は、例えば記憶装置140の容量や、ストレージ装置12に格納されるデータの特徴等、ストレージシステム10に関する条件に応じて、記憶部140に格納されるチャンクの管理を行う。
また、格納制御部110は、記憶部140へチャンクを格納する際に、併せてチャンクに対応するハッシュ値をハッシュテーブル150へ格納する。ハ本実施形態においては、ストレージシステム10におけるハッシュ値の求め方や形式は特に限定されない。すなわち、ハッシュ値は、記憶部140又は210に格納されるチャンクの各々を識別可能にする情報であればよい。
判定部120は、読出し対象データに関するチャンクが記憶部140に格納されているかを判定する。判定部120は、ストレージ装置12から送信されるハッシュ値に基づいて、チャンクが記憶部140に格納されているかを判定する。
判定部120は、ストレージ装置12に対して、読出し対象データに関するハッシュ値を照会する。この場合には、ストレージ装置12が備える返信部240が、読出し対象データを構成するチャンクの各々に対するハッシュ値を判定部120に返信する。判定部120は、返信部240から返信されたハッシュ値と、制御装置11が備えるハッシュテーブル150に保存されているハッシュ値の各々とを比較することで、チャンクが記憶部140に格納されているかを判定する。すなわち、判定部120は、ハッシュテーブル150に保存されているハッシュ値のいずれかが返信部240から返信されたハッシュ値と一致する場合に、当該ハッシュ値に関連するチャンクが記憶部140に格納されていると判定する。
読出制御部130は、判定部120による判定結果に基づいて、読出し対象データを構築する。読出制御部130は、読出し対象データに関するチャンクが記憶部140に存在すると判定された判定部120によって場合には、チャンクを記憶部140から読出す。読出制御部130は、読出し対象データに関するチャンクが記憶部140に存在しないと判定された場合には、当該チャンクをストレージ装置12の転送部250を介して取得する。
読出制御部130は、読出し対象データに関する全てのチャンクを取得すると、読出し対象データを構築する。構築された読出し対象データは、当該データの要求元等へ適宜送信される。
このように、読出制御部130が、読出し対象データの構築に際して記憶部140に格納されたチャンクを用いることで、ストレージ装置12から制御装置11へ転送されるデータの量が削減される。
記憶部140は、分割部160にて分割されたチャンクを格納する。上述のように、記憶部140に格納されたチャンクは、ストレージシステム10からのデータの読出しに際して用いられる。
記憶部140は、ストレージ装置12と比較して、制御装置11の各構成要素から高速なアクセスが可能であることが好ましい。一例として、記憶部140は、制御装置11を実現するサーバが内蔵する記憶装置を用いて実現されることが好ましい。サーバが内蔵する記憶装置として、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等が用いられる。また、記憶部140は制御装置11と通信ネットワークを介して接続される態様であってもよい。例えば、記憶部140は、ストレージ装置12と比較して、帯域の広い通信ネットワークを介して接続されているNAS(Network Attached Storage)等の記憶装置であってもよい。この場合に、記憶部140と制御装置11とを接続する通信ネットワークは、制御装置11とストレージ装置12とを接続する通信ネットワークと比較して、例えば転送速度が速く、帯域が広いことが好ましい。
記憶部140の容量は、ストレージ装置12の記憶部210と比較して小さくてよい。すなわち、記憶部140は、ストレージ装置12に格納されるチャンクの一部を格納する構成であればよい。
ハッシュテーブル150は、記憶部140に格納されたチャンクに対するハッシュ値を格納する。本実施形態においては、例えば記憶部140の一部がハッシュテーブル150として用いられる。
分割部160及び算出部170は、重複排除機能を備えたストレージシステムが一般に備える要素である。すなわち、分割部160は、ストレージ装置12への書込み対象データを任意の数のチャンクに分割する。上述のように、分割部160は、チャンクの各々が同じ大きさとなるように分割してもよいし、チャンクの大きさがそれぞれ異なるように分割してもよい。
また、算出部170は、分割部160にて書込み対象データを分割して生成されたチャンクの各々について、ハッシュ値を算出する。算出部170は、算出したハッシュ値をストレージ装置12へ送信して、ハッシュ値に対応するチャンクがストレージ装置12に格納済であるかを照会する。ストレージ装置12においては、当該ハッシュ値に基づいて、ハッシュ値に対応するチャンクがストレージ装置12に格納済であるかを判定する。
続いて、ストレージシステム10が有するストレージ装置12の各構成要素の詳細について説明する。
記憶部210は、ストレージ装置12として、チャンクに分割されたデータを格納する。記憶部210は、HDDやSSD等の不揮発性の記憶装置を用いて実現される。また、記憶部210は、RAID(Redundant Arrays of Inexpensive Disks)の構成であってもよい。
ハッシュテーブル220は、記憶部210に格納されたチャンクの各々に対するハッシュ値を格納する。
重複判定部260は、チャンクが記憶部210に格納されているか否かを判定する。重複判定部260は、一般的な重複排除機能を備えるストレージシステムと同様に、制御装置11の算出部170にて算出されたハッシュ値に基づいて、当該ハッシュ値に対応するチャンクが記憶部210に格納されているかを判定する。
すなわち、重複判定部260は、制御装置11の算出部170にて算出されたハッシュ値を取得し、当該ハッシュ値とハッシュテーブル220に格納されたハッシュ値の各々とを比較する。そして、重複判定部260は、当該ハッシュ値とハッシュテーブル220に格納されたハッシュ値のいずれかと一致する場合に、当該ハッシュ値に対応するチャンクが記憶部210に格納されていると判定する。重複判定部260は、当該ハッシュ値とハッシュテーブル220に格納されたハッシュ値のいずれとも一致する場合に、当該ハッシュ値に対応するチャンクが記憶部210に格納されていないと判定する。
格納部230は、制御装置11の格納制御部110から送信されたチャンクを記憶部210に格納する。格納部230は、チャンクと併せて当該チャンクに対応するハッシュ値を取得してハッシュテーブル220へ格納する。
返信部240は、制御装置11の判定部120からの照会に基づいて、読出し対象データに関するチャンクに対するハッシュ値を制御装置11の判定部120に送信する。判定部120は、返信部240から取得したハッシュ値を用いて、当該ハッシュ値に対するチャンクが記憶部140に格納されているかを判定する。
転送部250は、読出し対象データに関するチャンクを記憶部210から取得して制御装置11に送信するよう制御する。制御装置11の読出制御部130は、読出し対象データに関するチャンクが記憶部140に存在しない場合に、ストレージ装置12からチャンクを取得する。すなわち、転送部250は、制御装置11の記憶部140に未格納であるチャンクを制御装置11に送信するよう制御する。
次に、図6及び7に示すフローチャートを参照して、本発明の第1の実施形態におけるストレージシステム10又はその各構成要素の動作の詳細について説明する。
まず、図6に示すフローチャートを参照して、本発明の第1の実施形態におけるストレージシステム10の主に制御装置11の書込みの動作の詳細を説明する。
最初に、制御装置11の分割部160は、書込み対象データをチャンクに分割する(ステップS101)。次に、算出部170は、ステップS101にて求められたチャンクに対して、ハッシュ値を計算する(ステップS102)。
次に、算出部170は、ステップS102にて求めたハッシュ値をストレージ装置12へ送信して、ハッシュ値に対応するチャンクがストレージ装置12に格納済であるかを照会する(ステップS103)。ストレージ装置12においては、重複判定部260が、ハッシュ値に対応するチャンクがストレージ装置12に格納済であるかを判定する。
重複判定部260において、チャンクがストレージ装置12に未格納であると判定された場合(ステップS104:No)には、制御装置11の格納制御部110は、当該チャンクをストレージ装置12へ格納する。すなわち、格納制御部110は、当該チャンクをストレージ装置12へ転送する(ステップS105)。ストレージ装置12では、格納部230がチャンクを取得すると、取得したチャンクを記憶部210へ格納する。格納部230は、チャンクに対応するハッシュ値をチャンクと併せて取得し、ハッシュテーブル220へ格納する。
なお、重複判定部260において、チャンクがストレージ装置12に格納済であると判定された場合(ステップS104:Yes)には、格納制御部110は、チャンクをストレージ装置12へは転送せず、続けてステップS106の処理を行う。ステップS106以降の動作は、ステップS104にてチャンクはストレージ装置に未格納であると判定された場合に限って行われてもよい。
次に、格納制御部110は、上述したチャンクをローカルの記憶部である記憶部140に格納するか否かを判定する(ステップS106)。
格納制御部110は、チャンクを記憶部140に格納するとした場合(ステップS106:Yes)には、記憶部140に空き容量があるか否かを確認する(ステップS107)。
記憶部140に空き容量がない場合(ステップS107:No)には、格納制御部110は、予め定められた手順等に基づいて、記憶部140に格納されたチャンクの一部を削除して、記憶部140の空き容量を確保する(ステップS108)。
ステップS108の処理にて記憶部140の空き容量が確保された場合、又はステップS107の処理にて記憶部140に空き容量があると判定された場合には、格納制御部110は、ステップS109の処理を行う。すなわち、格納制御部110は、チャンクを記憶部140に格納する。続いて、格納制御部110は、ステップS109にて記憶部140に格納したチャンクに対応するハッシュ値をハッシュテーブルに格納する(ステップS110)。
またステップS106において、格納制御部110は、チャンクを記憶部140に格納しないとした場合(ステップS106:No)には、格納制御部110は、書込み処理を終了する。
なお、ステップS101の処理において、書込み対象データは一般に複数のチャンクに分割される。この場合に、制御装置11等は、複数のチャンクのそれぞれに対してステップS102以降の処理を行う。
続いて、図7に示すフローチャートを参照して、本発明の第1の実施形態におけるストレージシステム10の主に制御装置11の読出しの動作の詳細を説明する。
最初に、判定部120は、ストレージ装置12に対して、読出し対象データに関するチャンクに対応するハッシュ値を照会する(ステップS201)。この場合には、ストレージ装置12の返信部240は、判定部120からの照会に基づいて、読出し対象データに関するチャンクに対するハッシュ値を判定部120に送信する。
次に、判定部120は、ステップS201にて取得したハッシュ値を用いて、読出し対象データに関するチャンクが、ローカルの記憶部である記憶部140に格納されているかを判定する(ステップS202)。すなわち、判定部120は、返信部240から返信されたハッシュ値と、ハッシュテーブル150に保存されているハッシュ値の各々とを比較して、読出し対象データに関するチャンクが記憶部140に格納されているかを判定する。
判定部120は、ステップS202にて取得したハッシュ値が、ハッシュテーブル150に格納されるハッシュ値のいずれかと一致する場合に、チャンクが記憶部140に存在すると判定する(ステップS202:Yes)。この場合には、読出制御部130は、記憶部140からチャンクを読出す(ステップS203)。
また、判定部120は、ステップS202にて取得したハッシュ値が、ハッシュテーブル150に格納されるハッシュ値のいずれかとも一致しない場合に、チャンクが記憶部140に存在しないと判定する(ステップS202:No)。読出制御部130は、ストレージ装置12からチャンクを読出す(ステップS204)。読出制御部130は、チャンクをストレージ装置12の転送部250を介して取得する。
読出制御部130は、読出し対象データに関する全てのチャンクが読出されると、チャンクを結合して読出し対象データを構築する(ステップS205)。読出制御部130は、構築されたデータを当該データの要求元等へ適宜送信して、データの読出し処理を終了する。
以上のとおり、本発明の第1の実施形態におけるストレージシステム10では、制御装置11が、書込み対象データに関するチャンクを、ストレージ装置12に加えて記憶装置140に格納する。そして、ストレージシステム10からデータが読出される際に、記憶部140に読出し対象データに関するチャンクが格納されている場合には、ストレージ装置12に代えて、記憶部140からチャンクが取得される。そのため、ストレージ装置12から制御装置11へ転送されるデータの量が削減される。また、本実施形態におけるストレージシステム10では、記憶部140は、例えば制御装置11を実現するサーバに内蔵される等、制御装置11の他の要素からストレージ装置12と比較して高速なアクセスが可能となるように設けられる。
したがって、本実施形態におけるストレージシステム10では、データの読出しに関する処理が効率化される。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本発明のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
10 ストレージシステム
11 制御装置
12 ストレージ装置
110 格納制御部
120 判定部
130 読出制御部
140 記憶部
150 ハッシュテーブル
160 分割部
170 算出部
210 記憶部
220 ハッシュテーブル
230 格納部
240 返信部
250 転送部
260 重複判定部
500 情報処理装置
501 CPU
502 ROM
503 RAM
504 プログラム
505 記憶装置
506 記録媒体
507 ドライブ装置
508 通信インターフェース
509 通信ネットワーク
510 入出力インターフェース
511 バス

Claims (10)

  1. ストレージ装置への書込み対象データが分割されたチャンクを記憶手段又は前記ストレージ装置に格納するよう制御する格納制御手段と、
    前記ストレージ装置から送信される識別情報に基づいて、読出し対象データに関する前記チャンクが前記記憶手段に格納されているかを判定する判定手段と、
    前記判定結果に基づいて、前記記憶手段及び前記ストレージ装置に格納された前記チャンクを用いて前記読出し対象データを構築する読出制御手段とを備える制御装置。
  2. 前記読出制御手段は、前記記憶手段に格納されている場合には前記記憶手段から読出して前記読出し対象データを構築する、請求項1に記載の制御装置。
  3. 前記格納制御手段は、前記記憶手段の空き容量が所定の条件を満たす場合に、前記記憶手段に格納された前記チャンクを削除する、請求項1又は2に記載の制御装置。
  4. 前記格納手段は、前記チャンクが前記ストレージ装置に格納されているか否かの判定結果に基づいて前記チャンクを前記記憶手段に格納するか否を決定する、請求項1から3のいずれか一項に記載の制御装置。
  5. 前記格納手段は、前記記憶部に格納された前記チャンクの各々が前記ストレージ装置に格納されているか否かの判定結果に基づいて、前記記憶部から削除する前記チャンクを決定する、請求項1から4のいずれか一項に記載の制御装置。
  6. 前記記憶手段を備える、請求項1から5のいずれか一項に記載の制御装置。
  7. 制御装置の要求に基づいて、読出し対象データに関するチャンクを識別する識別情報を前記制御装置に送信する返信手段と、
    読出し対象データに関する前記チャンクのうち、前記制御装置の記憶手段に未格納である前記チャンクを前記制御装置に送信するよう制御する読出制御手段とを備えるストレージ装置。
  8. 請求項1から6のいずれか一項に記載の制御装置と、
    請求項7に記載のストレージ装置とを備えるストレージシステム。
  9. ストレージ装置へ書込み対象データを書込む場合には、
    前記ストレージ装置への書込み対象データが分割されたチャンクを記憶手段又は前記ストレージ装置に格納するよう制御し、
    前記ストレージ装置から読出し対象データを読出す場合には、
    前記ストレージ装置から送信される識別情報に基づいて、読出し対象データに関する前記チャンクが前記記憶手段に格納されているかを判定し、
    前記判定結果に基づいて、前記記憶手段及び前記ストレージ装置に格納された前記チャンクを用いて前記読出し対象データを構築する、
    制御方法。
  10. コンピュータに、
    ストレージ装置への書込み対象データが分割されたチャンクを記憶手段又は前記ストレージ装置に格納するよう制御する処理と、
    前記ストレージ装置から送信される識別情報に基づいて、読出し対象データに関する前記チャンクが前記記憶手段に格納されているかを判定する処理と、
    前記判定結果に基づいて、前記記憶手段及び前記ストレージ装置に格納された前記チャンクを用いて前記読出し対象データを構築する処理とを実行させる、
    プログラム。
JP2016030139A 2016-02-19 2016-02-19 制御装置、ストレージ装置、ストレージシステム、制御方法及びプログラム Active JP6733213B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016030139A JP6733213B2 (ja) 2016-02-19 2016-02-19 制御装置、ストレージ装置、ストレージシステム、制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016030139A JP6733213B2 (ja) 2016-02-19 2016-02-19 制御装置、ストレージ装置、ストレージシステム、制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017146918A true JP2017146918A (ja) 2017-08-24
JP6733213B2 JP6733213B2 (ja) 2020-07-29

Family

ID=59683268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016030139A Active JP6733213B2 (ja) 2016-02-19 2016-02-19 制御装置、ストレージ装置、ストレージシステム、制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6733213B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023011448A (ja) * 2021-07-12 2023-01-24 株式会社日立製作所 バックアップシステム及び方法
JP7440167B2 (ja) 2020-02-19 2024-02-28 Necソリューションイノベータ株式会社 情報格納方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440167B2 (ja) 2020-02-19 2024-02-28 Necソリューションイノベータ株式会社 情報格納方法
JP2023011448A (ja) * 2021-07-12 2023-01-24 株式会社日立製作所 バックアップシステム及び方法
JP7387679B2 (ja) 2021-07-12 2023-11-28 株式会社日立製作所 バックアップシステム及び方法

Also Published As

Publication number Publication date
JP6733213B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
US20230013281A1 (en) Storage space optimization in a system with varying data redundancy schemes
JP7102460B2 (ja) 分散ストレージ装置および分散ストレージ装置におけるデータ管理方法
US9665427B2 (en) Hierarchical data storage architecture
JP2021128699A (ja) 分散ストレージ装置および分散ストレージ装置のデータ管理方法
WO2016041128A1 (zh) 数据写请求处理方法和存储阵列
US9367256B2 (en) Storage system having defragmentation processing function
WO2017042978A1 (ja) 計算機システム、ストレージ装置、及びデータの管理方法
JP6254293B2 (ja) データ重複排除方法及びストレージアレイ
US9183217B2 (en) Method for decompressing data in storage system for write requests that cross compressed data boundaries
US11755254B2 (en) Network storage gateway
US20160365874A1 (en) Storage control apparatus and non-transitory computer-readable storage medium storing computer program
JP6733213B2 (ja) 制御装置、ストレージ装置、ストレージシステム、制御方法及びプログラム
JP6406283B2 (ja) ストレージ装置およびストレージ方法
US11593312B2 (en) File layer to block layer communication for selective data reduction
US11513739B2 (en) File layer to block layer communication for block organization in storage
US8914336B2 (en) Storage device and data storage control method
JP6262878B2 (ja) ストレージ装置
JP6733214B2 (ja) 制御装置、ストレージシステム、制御方法及びプログラム
US11188258B2 (en) Distributed storage system
WO2012053152A1 (ja) ストレージシステム、データ管理装置、方法及びプログラム
US11249666B2 (en) Storage control apparatus
JPWO2017154065A1 (ja) 計算機及びデータベース管理方法
US10324660B2 (en) Determining whether to compress data prior to storage thereof
CN117762332A (zh) 一种存储管理系统、方法、设备及机器可读存储介质
JP2018032444A (ja) データ重複排除方法及びストレージアレイ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6733213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150