JP2012133551A - 書き込み制御システム及び書き込み制御方法 - Google Patents

書き込み制御システム及び書き込み制御方法 Download PDF

Info

Publication number
JP2012133551A
JP2012133551A JP2010284617A JP2010284617A JP2012133551A JP 2012133551 A JP2012133551 A JP 2012133551A JP 2010284617 A JP2010284617 A JP 2010284617A JP 2010284617 A JP2010284617 A JP 2010284617A JP 2012133551 A JP2012133551 A JP 2012133551A
Authority
JP
Japan
Prior art keywords
data
specific value
index
unit
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010284617A
Other languages
English (en)
Inventor
Ikuo Yamada
郁夫 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010284617A priority Critical patent/JP2012133551A/ja
Publication of JP2012133551A publication Critical patent/JP2012133551A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】大量のデータを記憶するコンピュータシステムにおいてI/O処理の負荷を抑制しつつ重複データの書き込み制御を高速化する。
【解決手段】ストレージ装置40は、応答速度が異なる2以上の記憶部を含み、これらの記憶部は、応答速度が速い記憶部ほど格納する特定値のデータ長が短くなっているインデックスをそれぞれ有している。書き込み制御装置30は、入力データを管理するとともにそのハッシュ値を格納するインデックスを決定し、入力データに基づいて生成したハッシュ値のデータ長を入力データの更新前データに基づいてインデックスに格納された特定値と同じデータ長に変換する。そして、両特定値を比較し、比較結果が両特定値の一致を示す場合、入力データ及び特定値の書き込みを中止し、両特定値の一致を示さない場合、入力データをストレージ装置に書き込むとともに、特定値を既述の決定したインデックスに格納する。
【選択図】図2

Description

本発明は、ストレージ装置に対する重複データの書き込みを制御する書き込み制御システム及びこれの書き込み制御方法に関する。
重複データの書き込み制御をハッシュ値に基づいて行っているストレージシステムが知られている。ハッシュ値は、入力データに対してハッシュ関数、例えば、SHA−1(Secure Hash Algorithm 1)を用いて算出される値であり、どのようなサイズの入力データに対しても固定長になる。このため、特に大容量のファイルシステムを有し、大量のデータを記憶するコンピュータシステムにおいては、多くのハッシュ値が算出され、ハッシュ値を格納するインデックスが応答速度の速いメモリに納まらない場合が生じる。この場合、該インデックスは、例えば、応答速度がメモリより遅いハードディスクドライブ等の記憶装置にI/O処理によって格納される。
また、ハッシュ値に更に別のハッシュ関数を用いて、当該ハッシュ値の固定長より短い新たなハッシュ値を算出する技術も知られている(例えば、特許文献1参照)。
特開2004−265422号公報
既述のように、大量のデータを記憶するコンピュータシステムにおいて、ハッシュ値のインデックスがメモリに納まらない場合、該インデックスは記憶装置にI/O処理が行われて格納される。その記憶装置のI/O処理がボトルネックになり、コンピュータシステムに負荷がかかり、該コンピュータシステム性能の低下が発生することが考えられる。更に、I/O処理を行う記憶装置は応答速度がメモリと比較して遅いため、ハッシュ値をフェッチする速度が低下し、重複データか否かを判定する処理にも時間を要することになる。
これを制御するために、例えば、特許文献1に記載の技術を用いることでハッシュ値のインデックスのサイズを小さくし応答速度の速いメモリに格納する方法も考えられる。しかしながら、ハッシュ値を階層化した場合、重複データか否かを判定する処理が複雑化し、結局、この処理の負荷がコンピュータシステムの性能に悪影響を与えてしまう。更に、メモリに格納するためにハッシュ値のインデックスのサイズを小さくした場合、コリジョンの可能性も大きくなる。
本発明は、上記事情に鑑みてなされたものであり、その目的は、大量のデータを記憶するコンピュータシステムにおいて、I/O処理の負荷を抑制しつつ重複データの書き込み制御を高速化できる書き込み制御システム及び書き込み制御システムの書き込み制御方法を提供することにある。
本発明は、ストレージ装置に対するデータの書き込みを制御する書き込み制御システムであって、応答速度が異なる2以上の記憶部を含み、2以上の記憶部それぞれがストレージ装置に書き込まれるデータに基づいて定まる特定値を格納するインデックスを有し、応答速度が速い記憶部ほどインデックスに格納される特定値のデータ長が短くなるように構成された記憶部群と、ストレージ装置に対する入力データを管理するとともに当該入力データの特定値を格納するインデックスを決定する管理部と、入力データに基づいて特定値を生成する生成部と、生成部で生成した特定値のデータ長を入力データの更新前データに基づいてインデックスに格納された特定値と同じデータ長に変換する変換部と、変換部でデータ長が変換された特定値と更新前データの特定値とを比較する比較部と、比較部の比較結果が両特定値の一致を示す場合、入力データ及び特定値の書き込みを中止し、当該比較結果が両特定値の一致を示さない場合、入力データをストレージ装置に書き込むとともに、特定値を管理部で決定したインデックスに格納する制御部と、を備えることを特徴とする。
また、他の本発明は、ストレージ装置に対するデータの書き込みを制御する書き込み制御システムの書き込み制御方法であって、書き込み制御システムは、応答速度が異なる2以上の記憶部を含み、2以上の記憶部それぞれがストレージ装置に書き込まれるデータに基づいて定まる特定値を格納するインデックスを有し、応答速度が速い記憶部ほどインデックスに格納される特定値のデータ長が短くなるように構成された記憶部群を備えており、ストレージ装置に対する入力データを管理するとともに当該入力データの特定値を格納するインデックスを決定するステップと、入力データに基づいて特定値を生成するステップと、生成した特定値のデータ長を入力データの更新前データに基づいてインデックスに格納された特定値と同じデータ長に変換するステップと、データ長が変換された特定値と更新前データの特定値とを比較するステップと、比較結果が両特定値の一致を示す場合、入力データ及び特定値の書き込みを中止し、当該比較結果が両特定値の一致を示さない場合、入力データをストレージ装置に書き込むとともに、特定値を管理部で決定したインデックスに格納するステップと、を有することを特徴とする。
本発明によると、大量のデータを記憶するコンピュータシステムにおいて、I/O処理の負荷を抑制しつつ重複データの書き込み制御を高速化できる書き込み制御システム及び書き込み制御システムの書き込み制御方法を提供できる。
本発明の実施の形態に係るコンピュータシステム全体の構成を示す図である。 同実施の形態に係る重複データ書き込み制御システムの構成を示す図である。 同実施の形態に係る管理部で管理される内容を示す図である。 同実施の形態に係ハッシュ長の変換を説明するための図である。
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、コンピュータシステム全体の構成を示す図である。同図に示すように、コンピュータシステム1は、複数の業務サーバ10と、バックアップサーバ20と、重複データ書き込み制御装置30と、ストレージ装置40とを有している。なお、重複データ書き込み制御装置30と、ストレージ装置40とで重複データ書き込み制御システム2を構成する。
業務サーバ10は、コンピュータシステム1が設置される会社等の業務に関する様々な処理を実行する。
バックアップサーバ20は、業務サーバ10が実行した処理の内容を所定のタイミングでバックアップする。より詳細には、バックアップサーバ20は、業務サーバ10が業務を実行した場合、その業務の処理に関するデータを取得し、重複データ書き込み制御装置30を介してその取得したデータをストレージ装置40にバックアップする。
ストレージ装置40は、バックアップサーバ20によって書き込まれるデータを記憶し、所定の指示があった場合当該指示で指定されたデータを外部へ出力する。
また、ストレージ装置40は、上位装置であるホスト(図示を省略する。)との応答速度が異なる2以上の記憶部(メモリキャッシュ41、メモリ42、SSD(Solid State Drive)43、HDD(Hard Disk Drive)44)を含み、当該2以上の記憶部それぞれが書き込まれるデータに基づいて定まる特定値(ハッシュ値)を格納するハッシュインデックスを有し、応答速度が速い記憶部ほどハッシュインデックスに格納される特定値のデータ長が短くなるように構成された記憶部群と、データを記憶するテープ装置45とを有している。なお、ストレージ装置40の他の構成については、一般的なストレージ装置が有する構成と同様であるため図示及び詳細な説明を省略する。
メモリ42、SSD43、HDD44にはバックアップされたデータのハッシュ値が格納される。より詳細には、メモリキャッシュ41、メモリ42、SSD43、HDD44は、それぞれハッシュインデックスFS1,FS2,FS3,FS4を格納し、メモリ42、SSD43、HDD44はこの順で格納するハッシュ値のデータ長が短くなるように構成されている。
また、メモリ42、SSD43、HDD44はこの順で上位装置との応答速度が速いため、重複データ書き込み制御装置30がストレージ装置40からハッシュ値をフェッチする場合、レイテンシー、スループットが、メモリ42、SSD43、HDD44の順に有利になるように、換言すれば、高速処理ができるように構成されている。
テープ装置45は、バックアップサーバ20によりバックアップされるデータを記憶する。テープ装置がデータを記憶する構成については、従来よりあるものと同様であるため詳細な説明は省略する。
重複データ書き込み制御装置30は、ストレージ装置40に対する入力データを管理するとともに当該入力データのハッシュ値を格納するハッシュインデックスを決定するファイルシステム管理部31と、入力データに基づいてハッシュ値を生成するハッシュ値生成部34と、ハッシュ値生成部34で生成したハッシュ値のデータ長を入力データの更新前データに基づいてハッシュインデックスに格納されたハッシュ値と同じデータ長に変換するハッシュ長変換部35と、ハッシュ長変換部35でデータ長が変換されたハッシュ値とリード制御部33で読み出された更新前データのハッシュ値とを比較するハッシュ値比較部36と、ハッシュ値比較部36の比較結果が両ハッシュ値の一致を示す場合、入力データ及びハッシュ値の書き込みを中止し、当該比較結果が両ハッシュ値の一致を示さない場合、入力データをストレージ装置40に書き込むとともに、ハッシュ値をファイルシステム管理部31で決定したインデックスに格納する制ライト御部38と、を有している(図2を参照。)。
更に、重複データ書き込み制御装置30は、書き込み(更新)データを最小の書き込み単位に分割するデータ分割出力部32を備えており(図2を参照。)、ハッシュ値は、データ分割出力部32によって分割されたデータ毎にハッシュ値生成部34によって生成される。
次に、重複データ書き込み制御装置30の有するファイルシステム管理部31、データ分割出力部32、リード制御部33、ハッシュ値生成部34、ハッシュ長変換部35、ハッシュ値比較部36、メモリ階層指定部37、及びライト制御部38について、図2を参照しながらより詳細に説明する。
ファイルシステム管理部31は、入力データを記憶するデータグループ(本実施の形態では、ファイルシステム)を示すグループ情報と、ハッシュ値を格納するハッシュインデックスを示すインデックス情報と、ハッシュインデックスに格納されるハッシュ値のデータ長情報と、を関連付けて管理する。また、ファイルシステム管理部31は、ストレージ装置40に対する入力データを受信した場合、入力データを管理するとともに、グループ情報及びインデックス情報に基づいて当該入力データのハッシュ値を格納するハッシュインデックスを決定し、入力データに関する情報を制御情報としてデータ分割出力部32、リード制御部33、ハッシュ長変換部35及びメモリ階層指定部37へ出力する。
図3は、ファイルシステム管理部31が管理する情報の具体例を示している。同図に示すように、ファイルシステム管理部31は、ファイルシステム識別子欄31a、ハッシュ長情報欄31b、優先度情報欄31c、及び各種メタ情報欄31dを有して構成されている。ファイルシステム識別子欄31aは、ストレージ装置40内のファイルシステムを識別する識別子を保存する。ハッシュ長情報欄31bは、ファイルシステムに設定されたハッシュ値のハッシュ長情報を保存する。優先度情報欄31cは、ハッシュ値を格納する記憶部の階層を示す優先度情報を保存する。各種メタ情報欄1dはファイルの各種属性を示す情報を保存する。
ファイルシステム管理部31は、例えば、図3に示すように、ファイルシステム識別子欄31aに保存されている「ファイルシステムA」には、ハッシュ長情報として「10B(バイト)」、優先度情報として「高/メモリ」、各種メタ情報として「各種メタ情報A」が関連付けて保存される。よって、ファイルシステムAのハッシュ値は、メモリ42のハッシュインデックスFS2に10バイトのデータ長で格納される。
データ分割出力部32は、データ重複書き込み制御装置30を介してバックアップサーバ20からライトデータを受信した場合、当該ライトデータを書き込むファイルシステムに関する制御情報をファイルシステム管理部31から受信し、そのファイルシステムに応じてライトデータを最小の書き込み単位に分割する。ファイルシステムにデータを書き込む最小単位は、例えば、ファイル、ブロックなどである。
リード制御部33は、分割データを書き込む領域に既に記憶されている分割データ(更新前分割データ)のハッシュ値をメモリ42、SSD43、HDD44のいずれかの階層から読み出す。このハッシュ値を読み出す階層は、リード制御部33がファイルシステム管理部31から受信する制御情報に基づいて取得される。
ハッシュ値生成部34は、一般的なハッシュ関数、例えばSHA−1、又はMD5アルゴニズムを用いてデータ分割出力部32から入力された分割データに対して演算を行い、所定の桁数のハッシュ値を生成する。
ハッシュ長変換部35は、入力された所定の桁数のハッシュ値のハッシュ長をファイルシステムに応じた桁数のハッシュ長に変換する。この変換するハッシュ長の桁数は、ハッシュ長変換部35がファイルシステム管理部31から受信する制御情報に基づいて取得される。
図4は、ハッシュ値のハッシュ長変換を説明するための図である。同図に示すように、ハッシュ長変換部35に入力された所定のハッシュ長(変換前ハッシュ長)のハッシュ値は、データを書き込むファイルシステムに応じたハッシュ長(変換後ハッシュ長)に変換される。
例えば、データをファイルシステムAに書き込む場合、入力されたハッシュ値は、所定のハッシュ長から10B(図3参照。)に変換される。また、同様に、データをファイルシステムB,Cに書き込む場合、ハッシュ値のハッシュ長は、それぞれ、15B,20B(図3参照。)に変換される。このハッシュ長を所定の長さに変換する処理については従来よりあるものと同様であるため詳細な説明は省略する。
ハッシュ値比較部36は、ハッシュ長変換部35で変換されたハッシュ長のハッシュ値と(更新分割データのハッシュ値)と、リード制御部33がストレージ装置40の記憶部群の所定の階層から読み込出したハッシュ値(更新前分割データのハッシュ値)とを比較する。
メモリ階層指定部37は、ライト制御部38がハッシュ値を書き込むハッシュインデックスの階層を指定する。このハッシュ値を書き込む階層は、メモリ階層指定部37がファイルシステム管理部31から受信する制御情報に基づいて取得される。
ライト制御部38は、ハッシュ値比較部36の比較結果を取得し、比較結果が両ハッシュ値の一致を示す場合、ストレージ装置40に記憶されている更新前分割データと今回の更新分割データとが同じであるためデータライトを中止する。一方、ライト制御部38は、当該比較結果が両ハッシュ値の一致を示さない場合、ストレージ装置40に記憶されている更新前分割データと今回の更新分割データとが異なるものであるため、今回の更新分割データをストレージ装置40に記憶されている更新前分割データに上書きするとともに、メモリ階層指定部37が指定する階層のハッシュインデックスに今回のハッシュ値を格納する。
次に、以上のように構成された重複データ書き込み制御システム2に関し、バックアップサーバ20によりバックアップされたデータが、ストレージ装置40内のファイルシステムAに書き込まれる場合について説明する。
バックアップサーバ20からライトデータを受信した場合、ファイルシステム管理部31から当該ライトデータの制御情報、つまり、ファイルシステムAに関する情報がデータ分割出力部32、リード制御部33、ハッシュ長変換部35、及びメモリ階層指定部37にそれぞれ送信される。
データ分割出力部32は、ファイルシステム管理部31から入力される制御情報に基づいて、ライトデータをデータの書き込みを行う最小単位に分割して分割データを生成する。更に、データ分割出力部32は、分割データをハッシュ値生成部34及びライト制御部38へ出力する。
ハッシュ値生成部34は、データ分割出力部32から入力される分割データ及び所定のハッシュ関数を用いて、分割データ毎にハッシュ値を生成する。更に、ハッシュ値生成部34は、生成したハッシュ値をハッシュ長変換部35へ出力する。
ハッシュ長変換部35は、ファイルシステム管理部31から入力される制御情報に含まれるハッシュ長情報を用いて、ハッシュ値生成部34から入力されるハッシュ値のハッシュ長を変換する。具体的には、ファイルシステムAに書き込まれる分割データの場合、そのハッシュ長が所定のハッシュ長から10B(バイト)に変換される(図4参照。)。ハッシュ長変換部35は、変換した10バイトのハッシュ長のハッシュ値をハッシュ値比較部36へ出力する。
一方、リード制御部33は、ファイルシステム管理部31から入力される制御情報に基づいて、ストレージ装置40から分割データ(更新分割データ)が書き込まれる領域に既に書き込まれている分割データ(更新前分割データ)のハッシュ値を、ストレージ装置40のメモリキャッシュ41、メモリ42、SSD43、HDD44のいずれかから読み出し、その読み出したハッシュ値をハッシュ値比較部36へ出力する。
したがって、ハッシュ値比較部36には、分割データ毎に、ハッシュ長変換部35でハッシュ長が変換された更新データのハッシュ値と、リード制御部33が読み出した更新前データのハッシュ値とが入力される。ハッシュ値比較部は、分割データ毎に、両ハッシュ値を比較し、その比較結果をライト制御部38へ出力する。
一方、メモリ階層指定部37は、ファイルシステム管理部31から入力される制御情報に含まれる優先度情報基づいて、更新データのハッシュ値を格納するハッシュインデックスの階層を指定し、その階層を示す情報をライト制御部38へ出力する。具体的には、例えば、ファイルシステムAに書き込まれるデータの場合、各分割データのハッシュ値は、「高/メモリ」、つまり、優先度が高いためメモリ42に格納するようにライト制御部38へ指定する。
ライト制御部38は、ハッシュ値比較部36から入力される比較結果に基づいて、分割データ及びハッシュ値をストレージ装置40に書き込む処理を行う。より詳細には、両ハッシュ値が一致するという比較結果を得た場合、ライト制御部38は、該分割データ及びハッシュ値のストレージ装置40へ書き込み(上書き保存)を中止する。一方、両ハッシュ値が一致しないという比較結果を得た場合、ライト制御部38は、該分割データをストレージ装置40内のファイルシステムAへ書き込むとともに、更新分割データのハッシュ値をメモリ階層指定部37に指定された階層、つまり、メモリ42のハッシュインデックスFS2に書き込む。
以上のように構成された重複データ書き込み制御システム2は、ファイルシステム管理部31が管理する優先度情報に基づいて、更新前データのハッシュ値が格納されているメモリ42,SSD43,HDD44のいずれかのハッシュインデックスに的確にアクセスすることができる。よって、更新前データのハッシュ値を読み出し、その読み出したハッシュ値とデータ長変換部35でデータ長が変換されたハッシュ値とを比較する制御を高速化することができる。
更に、重複データ書き込み制御システム2は、応答速度の速い上位階層の記憶部のハッシュインデックスほどハッシュ値のデータ長が短くなるように構成されているため、応答速度の速い記憶部のハッシュインデックスに多くのハッシュ値を格納できるようになっている。このため、重複データ書き込み制御システム2は、I/O処理が必要な記憶部へのアクセスを抑制することができる。
したがって、重複データ書き込み制御システム2は、コンピュータシステムのI/O処理の負荷を抑制しつつ重複データの書き込み制御を高速化することができる。
なお、上記実施の形態では、優先度情報はハッシュ値を格納するストレージ装置40の記憶部群の階層、すなわち、メモリ42、SSD43、HDD44のいずれかを示す情報である場合で説明したが、これに限られるものではなく、様々な定義づけを行うことができる。
更に、ファイルシステム管理部31は、ファイルシステム識別子31aに関連してハッシュ長情報31b、優先度情報31c、各種メタ情報31dを管理する場合で説明したが、これに限られるものではない。例えば、管理部は、ファイルシステム識別子31aに代えてボリュームグループ等の所定のまとまりのあるデータグループ毎に、又は、ファイルシステム識別子31aとともにボリュームグループ等のデータグループ毎に、ハッシュ長情報31b、優先度情報31c、各種メタ情報31dを管理するようにしても良い。
なお、本発明は上述の実施の形態に限定されるものではなく、その実施に際して様々な変形が可能である。
上記実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
ストレージ装置に対するデータの書き込みを制御する書き込み制御システムであって、
応答速度が異なる2以上の記憶部を含み、前記2以上の記憶部それぞれが前記ストレージ装置に書き込まれるデータに基づいて定まる特定値を格納するインデックスを有し、前記応答速度が速い記憶部ほど前記インデックスに格納される特定値のデータ長が短くなるように構成された記憶部群と、
前記ストレージ装置に対する入力データを管理するとともに当該入力データの特定値を格納する前記インデックスを決定する管理部と、
前記入力データに基づいて特定値を生成する生成部と、
前記生成部で生成した特定値のデータ長を前記入力データの更新前データに基づいて前記インデックスに格納された特定値と同じデータ長に変換する変換部と、
前記変換部でデータ長が変換された特定値と前記更新前データの特定値とを比較する比較部と、
前記比較部の比較結果が両特定値の一致を示す場合、前記入力データ及び前記特定値の書き込みを中止し、当該比較結果が両特定値の一致を示さない場合、前記入力データを前記ストレージ装置に書き込むとともに、前記特定値を前記管理部で決定したインデックスに格納する制御部と、
を備えることを特徴とする書き込み制御システム。
(付記2)
データを最小の書き込み単位に分割するデータ分割部を備え、
前記特定値は、前記データ分割部によって分割されたデータ毎に生成されること、
を特徴とする付記1記載の書き込み制御システム。
(付記3)
前記管理部は、前記入力データを記憶するデータグループを示すグループ情報と、前記特定値を格納するインデックスを示すインデックス情報と、当該インデックスに格納される特定値のデータ長情報と、を関連付けて管理するとともに、当該管理するグループ情報及びインデックス情報に基づいて前記入力データのハッシュ値を格納するインデックスを決定し、
前記変換部は、前記管理部が管理するデータ長情報に基づいて前記特定値のデータ長の変換を行うこと、
を特徴とする付記1又は2記載の書き込み制御システム。
(付記4)
ストレージ装置に対するデータの書き込みを制御する書き込み制御システムの書き込み制御方法であって、
前記書き込み制御システムは、
応答速度が異なる2以上の記憶部を含み、前記2以上の記憶部それぞれが前記ストレージ装置に書き込まれるデータに基づいて定まる特定値を格納するインデックスを有し、前記応答速度が速い記憶部ほど前記インデックスに格納される特定値のデータ長が短くなるように構成された記憶部群を備えており、
前記ストレージ装置に対する入力データを管理するとともに当該入力データの特定値を格納する前記インデックスを決定するステップと、
前記入力データに基づいて特定値を生成するステップと、
前記生成した特定値のデータ長を前記入力データの更新前データに基づいて前記インデックスに格納された特定値と同じデータ長に変換するステップと、
前記データ長が変換された特定値と前記更新前データの特定値とを比較するステップと、
前記比較結果が両特定値の一致を示す場合、前記入力データ及び前記特定値の書き込みを中止し、当該比較結果が両特定値の一致を示さない場合、前記入力データを前記ストレージ装置に書き込むとともに、前記特定値を前記管理部で決定したインデックスに格納するステップと、
を有することを特徴とする書き込み制御システムの書き込み制御方法。
ストレージ装置に対して重複データの書き込みを制御する書き込み制御システム及び書き込み制御システムの書き込み制御方法などに広く適用可能である。
1・・・コンピュータシステム
2・・・重複データ書き込み制御システム
10・・・業務サーバ
20・・・バックアップサーバ
30・・・重複データ書き込み制御装置
31・・・ファイルシステム管理部
32・・・データ分割出力部
33・・・リード制御部
34・・・ハッシュ値生成部
35・・・ハッシュ長変換部
36・・・ハッシュ値比較部
37・・・メモリ階層指定部
38・・・ライト制御部
40・・・ストレージ装置
41・・・メモリキャッシュ(ハッシュインデックスFS1)
42・・・メモリ(ハッシュインデックスFS2)
43・・・SSD(ハッシュインデックスFS3)
44・・・HDD(ハッシュインデックスFS4)
45・・・テープ装置

Claims (4)

  1. ストレージ装置に対するデータの書き込みを制御する書き込み制御システムであって、
    応答速度が異なる2以上の記憶部を含み、前記2以上の記憶部それぞれが前記ストレージ装置に書き込まれるデータに基づいて定まる特定値を格納するインデックスを有し、前記応答速度が速い記憶部ほど前記インデックスに格納される特定値のデータ長が短くなるように構成された記憶部群と、
    前記ストレージ装置に対する入力データを管理するとともに当該入力データの特定値を格納する前記インデックスを決定する管理部と、
    前記入力データに基づいて特定値を生成する生成部と、
    前記生成部で生成した特定値のデータ長を前記入力データの更新前データに基づいて前記インデックスに格納された特定値と同じデータ長に変換する変換部と、
    前記変換部でデータ長が変換された特定値と前記更新前データの特定値とを比較する比較部と、
    前記比較部の比較結果が両特定値の一致を示す場合、前記入力データ及び前記特定値の書き込みを中止し、当該比較結果が両特定値の一致を示さない場合、前記入力データを前記ストレージ装置に書き込むとともに、前記特定値を前記管理部で決定したインデックスに格納する制御部と、
    を備えることを特徴とする書き込み制御システム。
  2. データを最小の書き込み単位に分割するデータ分割部を備え、
    前記特定値は、前記データ分割部によって分割されたデータ毎に生成されること、
    を特徴とする請求項1記載の書き込み制御システム。
  3. 前記管理部は、前記入力データを記憶するデータグループを示すグループ情報と、前記特定値を格納するインデックスを示すインデックス情報と、当該インデックスに格納される特定値のデータ長情報と、を関連付けて管理するとともに、当該管理するグループ情報及びインデックス情報に基づいて前記入力データのハッシュ値を格納するインデックスを決定し、
    前記変換部は、前記管理部が管理するデータ長情報に基づいて前記特定値のデータ長の変換を行うこと、
    を特徴とする請求項1又は2記載の書き込み制御システム。
  4. ストレージ装置に対するデータの書き込みを制御する書き込み制御システムの書き込み制御方法であって、
    前記書き込み制御システムは、
    応答速度が異なる2以上の記憶部を含み、前記2以上の記憶部それぞれが前記ストレージ装置に書き込まれるデータに基づいて定まる特定値を格納するインデックスを有し、前記応答速度が速い記憶部ほど前記インデックスに格納される特定値のデータ長が短くなるように構成された記憶部群を備えており、
    前記ストレージ装置に対する入力データを管理するとともに当該入力データの特定値を格納する前記インデックスを決定するステップと、
    前記入力データに基づいて特定値を生成するステップと、
    前記生成した特定値のデータ長を前記入力データの更新前データに基づいて前記インデックスに格納された特定値と同じデータ長に変換するステップと、
    前記データ長が変換された特定値と前記更新前データの特定値とを比較するステップと、
    前記比較結果が両特定値の一致を示す場合、前記入力データ及び前記特定値の書き込みを中止し、当該比較結果が両特定値の一致を示さない場合、前記入力データを前記ストレージ装置に書き込むとともに、前記特定値を前記管理部で決定したインデックスに格納するステップと、
    を有することを特徴とする書き込み制御システムの書き込み制御方法。
JP2010284617A 2010-12-21 2010-12-21 書き込み制御システム及び書き込み制御方法 Pending JP2012133551A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010284617A JP2012133551A (ja) 2010-12-21 2010-12-21 書き込み制御システム及び書き込み制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010284617A JP2012133551A (ja) 2010-12-21 2010-12-21 書き込み制御システム及び書き込み制御方法

Publications (1)

Publication Number Publication Date
JP2012133551A true JP2012133551A (ja) 2012-07-12

Family

ID=46649085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010284617A Pending JP2012133551A (ja) 2010-12-21 2010-12-21 書き込み制御システム及び書き込み制御方法

Country Status (1)

Country Link
JP (1) JP2012133551A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155668A1 (ja) * 2013-03-29 2014-10-02 株式会社 東芝 データの重複をハッシュテーブルに基づいて排除するためのストレージシステム、ストレージコントローラ及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155668A1 (ja) * 2013-03-29 2014-10-02 株式会社 東芝 データの重複をハッシュテーブルに基づいて排除するためのストレージシステム、ストレージコントローラ及び方法
US9152341B2 (en) 2013-03-29 2015-10-06 Kabushiki Kaisha Toshiba Storage system, storage controller, and method for eliminating data duplication based on hash table

Similar Documents

Publication Publication Date Title
US11099769B1 (en) Copying data without accessing the data
US10430282B2 (en) Optimizing replication by distinguishing user and system write activity
JP5369807B2 (ja) ストレージ装置
US9250819B2 (en) Learning machine to optimize random access in a storage system
US20060129610A1 (en) Adaptive incremental checkpointing
US10089319B2 (en) Policy-based, multi-scheme data reduction for computer memory
JP6805816B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2011039841A (ja) データ移行方法、及びプログラム
EP2669806B1 (en) Storage system
CN107798063B (zh) 快照处理方法和快照处理装置
US20190042134A1 (en) Storage control apparatus and deduplication method
US11132141B2 (en) System and method for synchronization of data containers
US8589454B2 (en) Computer data file merging based on file metadata
CN105808451B (zh) 一种数据缓存方法以及相关装置
US20130145382A1 (en) Computing device and function module management method
US9009430B2 (en) Restoration of data from a backup storage volume
US10430287B2 (en) Computer
JP2005108239A (ja) 階層的データ構造体にデータを記憶する記憶システム
JP2012133551A (ja) 書き込み制御システム及び書き込み制御方法
JP2013058134A (ja) データ書き込み装置
US11789622B2 (en) Method, device and computer program product for storage management
JP6648596B2 (ja) ファイルシステム制御装置、ストレージシステム、ファイルシステム制御方法、及び、プログラム
JP7099690B2 (ja) ストレージシステム、ストレージ制御装置、ストレージ制御方法、及びストレージ制御プログラム
US20230385240A1 (en) Optimizations for data deduplication operations
JP2005044182A (ja) ディスクアレイ装置およびプログラム