JP6419662B2 - Storage system and data duplication detection method - Google Patents
Storage system and data duplication detection method Download PDFInfo
- Publication number
- JP6419662B2 JP6419662B2 JP2015165787A JP2015165787A JP6419662B2 JP 6419662 B2 JP6419662 B2 JP 6419662B2 JP 2015165787 A JP2015165787 A JP 2015165787A JP 2015165787 A JP2015165787 A JP 2015165787A JP 6419662 B2 JP6419662 B2 JP 6419662B2
- Authority
- JP
- Japan
- Prior art keywords
- ecc
- chunk
- data
- duplication
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明の実施形態は、ストレージシステム及びデータ重複検出方法に関する。 Embodiments of the present invention relates to a storage system及 beauty data duplication detection method.
近年、ストレージ装置に格納されるべきデータの量は増大の一途をたどっている。このため、ストレージ装置の限られた記憶容量を有効に利用する技術が要求されている。このような技術の１つとして、重複排除技術が注目されている。重複排除技術によれば、同一内容のデータが重複してストレージ装置に格納されるのを防止する。このデータの重複は、例えば、チャンクと呼ばれるデータの塊を単位に判定される。 In recent years, the amount of data to be stored in a storage device is constantly increasing. For this reason, there is a demand for a technology that effectively uses the limited storage capacity of the storage device. As one of such technologies, deduplication technology has attracted attention. According to the de-duplication technology, data having the same content is prevented from being duplicated and stored in the storage apparatus. This duplication of data is determined in units of data chunks called chunks, for example.
重複排除技術は、一般に、重複排除処理を実行する時期の違いにより２つに大別される。第１の重複排除技術では、ストレージ装置へのライトアクセスに応じて、重複排除処理が実行される。これに対して第２の重複排除技術では、ストレージ装置へのライトアクセスとは非同期に、重複排除処理が実行される。 In general, the deduplication technique is roughly classified into two types according to the difference in timing of executing the deduplication processing. In the first deduplication technique, deduplication processing is executed in response to write access to the storage apparatus. In contrast, in the second deduplication technique, deduplication processing is executed asynchronously with write access to the storage apparatus.
第１の重複排除技術では、例えば、ストレージコントローラ（またはストレージ装置を利用するホスト計算機）は、ストレージ装置へのライトアクセスに応じて、ライトデータと同一内容のデータが、ストレージ装置に格納されているかを、チャンクを単位に判定する。この判定のために、ストレージコントローラは、ＳＨＡ１のようなハッシュ関数を用いて、チャンク毎に、対応するデータのハッシュ値を計算する。計算されたハッシュ値は、対応するチャンクに対応付けて、ハッシュテーブルに格納される。 In the first deduplication technology, for example, the storage controller (or the host computer that uses the storage device) stores, in the storage device, data having the same content as the write data in response to a write access to the storage device. Are determined in units of chunks. For this determination, the storage controller calculates a hash value of the corresponding data for each chunk using a hash function such as SHA1. The calculated hash value is stored in the hash table in association with the corresponding chunk.
ストレージコントローラは、例えば第１のチャンクのデータの第１のハッシュ値を計算した場合、第１のハッシュ値と同一のハッシュ値がハッシュテーブルに格納されているかに基づいて、第１のチャンクと重複するデータが既にストレージ装置に格納されているかを判定する。コントローラは、第１のチャンクと重複するデータが格納されていない場合だけ、当該第１のチャンクのデータをストレージ装置に書き込む。これにより、ストレージ装置から重複するデータが排除される。 For example, when the storage controller calculates the first hash value of the data of the first chunk, it overlaps with the first chunk based on whether the same hash value as the first hash value is stored in the hash table. It is determined whether the data to be stored is already stored in the storage device. The controller writes the data of the first chunk to the storage device only when data that overlaps the first chunk is not stored. This eliminates duplicate data from the storage device.
一方、第２の重複排除技術では、ストレージコントローラ（またはホスト計算機）は、ストレージ装置に格納されている全データをチャンク単位にスキャン（リードして）、比較によりデータが重複するチャンクを検出する。ここで、第１及び第２のチャンクが重複チャンクとして検出されたものとする。この場合、ストレージコントローラは、例えばストレージ装置における第２のチャンクのデータを削除（または無効化）し、且つ第２のチャンクへのアクセスが第１のチャンクへのアクセスに切り替えられるように、マッピングを変更する。 On the other hand, in the second deduplication technique, the storage controller (or host computer) scans (reads) all data stored in the storage device in units of chunks, and detects a chunk in which data is duplicated by comparison. Here, it is assumed that the first and second chunks are detected as duplicate chunks. In this case, for example, the storage controller deletes (or invalidates) the data of the second chunk in the storage device, and the mapping is performed so that the access to the second chunk is switched to the access to the first chunk. change.
しかし、第１の重複排除技術では、ストレージ装置にデータをライトする場合に、チャンク毎に対応するデータ（ライトデータ）のハッシュ値を計算する必要がある。また、第２の重複排除技術では、ストレージ装置に格納されている全データをチャンク単位にスキャンして比較する処理が必要となる。また、第２の重複排除技術における重複チャンクの検出（つまり、チャンク間のデータの重複の検出）に、ハッシュテーブルに基づくハッシュ値の比較を用いることも可能であるが、第１の重複排除技術と同様にチャンク毎にハッシュ値を計算する必要がある。 However, in the first deduplication technique, when data is written to the storage device, it is necessary to calculate a hash value of data (write data) corresponding to each chunk. In the second deduplication technique, it is necessary to scan and compare all data stored in the storage device in units of chunks. In addition, it is possible to use comparison of hash values based on a hash table for detection of duplicate chunks (that is, detection of duplicate data between chunks) in the second deduplication technique. As with, it is necessary to calculate a hash value for each chunk.
本発明が解決しようとする課題は、データの重複の検出に要するコストを低減できるストレージシステム及びデータ重複検出方法を提供することにある。 An object of the present invention is to provide is to provide a storage system及 beauty data duplication detection method capable of reducing the cost of detecting duplication of data.
実施形態によれば、ストレージシステムは、データ及び当該データに基づいて生成される誤り訂正コード（ＥＣＣ）がセクタを単位に格納されるストレージ装置と、前記ストレージ装置を利用するホスト計算機とを具備する。前記ホスト計算機は、ＥＣＣ取得部と重複検出部とを具備する。前記ＥＣＣ取得部は、１つ以上のセクタから構成されるチャンク毎に、各チャンクを構成する複数のセクタから取得される複数のＥＣＣを結合し、この結合されたＥＣＣのハッシュ値を求めてＥＣＣ値を取得する。前記重複検出部は、前記ＥＣＣ値を前記チャンクを単位に比較することにより、比較されたＥＣＣ値に対応するチャンクのデータの重複の可能性を判定する。前記重複検出部は更に、前記判定の結果に基づいて前記対応するチャンクのデータを比較することにより、当該対応するチャンクのデータの重複を検出する。 According to the embodiment, the storage system includes a storage device in which data and an error correction code (ECC) generated based on the data are stored in units of sectors, and a host computer that uses the storage device. . The host computer includes an ECC acquisition unit and a duplication detection unit. The ECC acquisition unit, for each chunk comprised of one or more sectors, and combining multiple ECC obtained from a plurality of sectors constituting each chunk, ECC seeking hash value of the combined ECC Get the value. The duplication detection unit determines the possibility of duplication of data of chunks corresponding to the compared ECC values by comparing the ECC values in units of the chunks. The duplication detection unit further detects duplication of the data of the corresponding chunk by comparing the data of the corresponding chunk based on the result of the determination.
以下、実施の形態につき図面を参照して説明する。
図１は一つの実施形態に係るストレージシステムの典型的なハードウェア構成を示すブロック図である。ストレージシステムは、ストレージ装置１０と、ホスト計算機（ホスト）２０とを含む。ストレージ装置１０（より、詳細には、ストレージ装置１０のストレージコントローラ１２）は、ファイバチャネル（ＦＣ）、スモールコンピュータシステムインタフェース（ＳＣＳＩ）、シリアルアタッチドＳＣＳＩ（ＳＡＳ）、インターネットＳＣＳＩ（ｉＳＣＳＩ）、イーサネット（登録商標）、或いはシリアルＡＴアタッチメント（ＳＡＴＡ）のような、ホストインタフェースバス３０を介してホスト２０と接続されている。なお、ストレージ装置１０が、ストレージエリアネットワーク（ＳＡＮ）、インターネット或いはイントラネットのようなネットワークを介してホスト２０と接続されていても良い。
Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is a block diagram showing a typical hardware configuration of a storage system according to an embodiment. The storage system includes a
ストレージ装置１０は、ストレージ１１と、ストレージコントローラ１２とを含む。ストレージ１１は、ＦＣ、ＳＣＳＩ、ＳＡＳ、ｉＳＣＳＩ、イーサネット、或いはＳＡＴＡのようなストレージインタフェースバス１３を介してストレージコントローラ１２と接続されている。
The
ストレージ１１は、例えばハードディスクドライブ（ＨＤＤ）である。しかし、ストレージ１１が、複数のＨＤＤから構成されるＲＡＩＤ（Redundant Arrays of Inexpensive Disks、またはRedundant Arrays of Independent Disks）のようなディスクアレイであっても構わない。またストレージ１１が、ＨＤＤとの互換性を有するソリッドステートドライブ（ＳＳＤ）、或いはフラッシュアレイのようなフラッシュストレージであっても構わない。ＳＳＤ及びフラッシュストレージは、一般に、複数のフラッシュメモリを用いて構成される、
ストレージコントローラ１２は、ホスト２０からのアクセス要求（より詳細には、ライトコマンドまたはリードコマンド）に応じて、例えばセクタと呼ばれるデータの塊を単位にストレージ１１にアクセスする。ストレージコントローラ１２はまた、ストレージ１１にデータをライトする場合、セクタ単位にエラー訂正コード（ＥＣＣ）を生成する。ＥＣＣは、当該ＥＣＣの生成に用いられたデータのエラーの検出及び訂正に用いられる。そしてストレージコントローラ１２は、セクタ単位に、データとＥＣＣを含む付加情報との組をストレージ１１にライトする。付加情報が、ＥＣＣに加えて、メタデータ、或いはデータ保護情報を含んでいても構わない。
The
In response to an access request from the host 20 (more specifically, a write command or a read command), the
ホスト２０は、ストレージインタフェース（ＳＩＦ）コントローラ２１と、メモリ２２と、ＨＤＤ２３と、ＣＰＵ２４とを含む。ＳＩＦコントローラ２１は、ＣＰＵ２４とストレージ装置１０のストレージコントローラ１２との間のデータ転送を制御する。ＳＩＦコントローラ２１は、ＣＰＵ２４からのアクセス要求をストレージコントローラ１２に送信し、当該アクセス要求に対するストレージコントローラ１２からの応答を受信する。ＳＩＦコントローラ２１は、ストレージコントローラ１２からの応答を受信すると、当該応答を、ＣＰＵ２４に伝達する。
The
メモリ２２は、ダイナミックＲＡＭ（ＤＲＡＭ）のような書き換えが可能な揮発性メモリである。メモリ２２の一部の記憶領域は、ＨＤＤ２３からロードされるオペレーティングシステム（ＯＳ）及び種々のプログラムを格納するのに用いられる。メモリ２２の他の一部の記憶領域は、ＣＰＵ２４のためのワーク領域として用いられる。
The
ＨＤＤ２３には、ＯＳ及び複数のプログラムが格納されている。複数のプログラムは、アプリケーションプログラム（以下、アプリケーションと称する）及びユーティリティプログラムを含む。ＣＰＵ２４は、ホスト機器２０が起動されたときに、ＲＯＭまたはフラッシュＲＯＭ（ＦＲＯＭ）のような不揮発性メモリに格納されているＩＰＬを実行することにより、ＨＤＤ２３に格納されているＯＳをメモリ２２にロードする。またＣＰＵ２４は、ＨＤＤ２３に格納されているプログラムを適宜メモリ２２にロードする。
The
ＣＰＵ２４は、メモリ２２にロードされたプログラムに従い、アクセス要求部２０３、ＥＣＣ取得部２０４、重複排除コントローラ２０５、及びアクセス部２０６（図２）として機能する。本実施形態では、ＣＰＵ２４は、アプリケーションに従い、アクセス要求部２０３として機能し、特定のユーティリティプログラムに従い、ＥＣＣ取得部２０４及び重複排除コントローラ２０５として機能し、ＯＳに従い、アクセス部２０６として機能する。
The
図２は、図１に示されるホスト２０の典型的な機能構成を主として示すブロック図である。ホスト２０のメモリ２２の一部の記憶領域は、重複管理テーブル２０１及びアドレステーブル２０２を格納するのに用いられる。ホスト２０は、重複管理テーブル２０１及びアドレステーブル２０２に加えて、前述のアクセス要求部２０３、ＥＣＣ取得部２０４、重複排除コントローラ２０５、及びアクセス部２０６を含む。
FIG. 2 is a block diagram mainly showing a typical functional configuration of the
アクセス要求部２０３は、例えばアプリケーションからの要求に応じて、アクセス部２０６に対してストレージ装置１０へのアクセスを要求する。本実施形態では、アクセス要求部２０３からのアクセス要求に応じて、ストレージ装置１０へのアクセスが、ブロックと呼ばれる固定長または可変長のデータの塊を単位に実行されるものとする。ブロックのデータは、例えば、チャンクと呼ばれるデータの塊に分割される。チャンクのデータは、ストレージ装置１０においては、例えば、複数のセクタに分散して格納される。
The
図３は、本実施形態におけるチャンクのデータ構造の例を示す。図３の例では、チャンク３１はｎ個のセクタ３１０＿１乃至３１０＿ｎに分割される。即ちチャンク３１はｎ個のセクタ３１０＿１乃至３１０＿ｎから構成される。本実施形態では、説明の簡略化のために、チャンク３１のデータのサイズ（チャンクサイズ）は４ＫＢ（キロバイト）の固定長であるものとするが、可変長であっても構わない。
FIG. 3 shows an example of a chunk data structure in this embodiment. In the example of FIG. 3, the
チャンク３１のデータは、セクタ３１０＿１乃至３１０＿ｎに均等に分散されて格納される。本実施形態において、セクタ３１０＿１乃至３１０＿ｎのサイズ、つまりセクタ３１０＿１乃至３１０＿ｎのデータ３１１＿１乃至３１１＿ｎのサイズ（セクタサイズ）は、５１２Ｂの固定長である。したがって、チャンク３１のチャンクサイズが本実施形態のように４ＫＢである場合、ｎは８である。これに対してチャンクサイズが可変長である場合、ｎは必ずしも８に一致せず、例えば１の場合もあり得る。
The data of the
セクタ３１０＿１乃至３１０＿ｎ（より詳細には、セクタ３１０＿１乃至３１０＿ｎのデータ３１１＿１乃至３１１＿ｎ）には、ＥＣＣ３１２＿１乃至３１２＿ｎを含む付加情報が付加されている。ＥＣＣ３１２＿１乃至３１２＿ｎは、データ３１１＿１乃至３１１＿ｎに基づいてストレージコントローラ１２によって生成される。図３では、ＥＣＣ３１２＿１乃至３１２＿ｎ以外の付加情報は省略されている。
Additional information including ECCs 312_1 to 312_n is added to the sectors 310_1 to 310_n (more specifically, data 311_1 to 311_n of the sectors 310_1 to 310_n). The ECCs 312_1 to 312_n are generated by the
データ３１１＿１乃至３１１＿ｎのサイズ（つまり、セクタサイズ）が５１２Ｂの場合、ＥＣＣ３１２＿１乃至３１２＿ｎのサイズ（ＥＣＣサイズ）は一般に数十ビット程度である。しかし、ＥＣＣサイズが、必ずしも数十ビット程度でなくても構わない。 When the size (that is, the sector size) of the data 311_1 to 311_n is 512B, the size (ECC size) of the ECCs 312_1 to 312_n is generally about several tens of bits. However, the ECC size does not necessarily have to be about several tens of bits.
図２においてＥＣＣ取得部２０４は、ストレージ装置１０に格納されたチャンクを単位に、ＥＣＣの群を取得する。ＥＣＣ取得部２０４は、取得されたＥＣＣの群に基づいて、それぞれのＥＣＣの値を重複管理テーブル２０１に格納する。
In FIG. 2, the
図４は、図２に示される重複管理テーブル２０１のデータ構造の例を示す。重複管理テーブル２０１の各エントリは、重複管理レコードを格納するのに用いられる。重複管理レコードは、物理アドレス、ＥＣＣ値及び参照カウントを含む。重複管理テーブル２０１の主キーは物理アドレスである。 FIG. 4 shows an example of the data structure of the duplication management table 201 shown in FIG. Each entry of the duplicate management table 201 is used to store a duplicate management record. The duplicate management record includes a physical address, an ECC value, and a reference count. The primary key of the duplication management table 201 is a physical address.
重複管理レコード中の物理アドレスは、当該重複管理レコード中のＥＣＣ値に対応するＥＣＣ群を含むセクタ群から構成されるチャンクが格納されている、ストレージ装置１０（ストレージ１１）の記憶領域（物理記憶領域）を示す。重複管理レコード中の参照カウントは、当該重複管理レコード中の物理アドレスが、割り当て（対応付け）られている論理アドレスの数を示す。つまり、重複管理レコード中の参照カウントは、当該重複管理レコード中の物理アドレスを論理的に参照する論理アドレスの数を示す。論理アドレスと物理アドレスとの対応は、アドレステーブル２０２によって示される。また、重複管理レコード中の参照カウントは、当該重複管理レコード中の物理アドレスで示されるストレージ装置１０の記憶領域に格納されたチャンクのデータと同一内容のデータを含むチャンクの数（つまり、重複数または重複カウント）をも示す。
The physical address in the duplication management record is a storage area (physical memory) of the storage apparatus 10 (storage 11) in which a chunk composed of a sector group including the ECC group corresponding to the ECC value in the duplication management record is stored. Area). The reference count in the duplication management record indicates the number of logical addresses to which physical addresses in the duplication management record are assigned (associated). That is, the reference count in the duplication management record indicates the number of logical addresses that logically refer to the physical address in the duplication management record. The correspondence between the logical address and the physical address is indicated by the address table 202. Further, the reference count in the duplicate management record is the number of chunks containing the same data as the chunk data stored in the storage area of the
図４に示される重複管理テーブル２０１において、例えば、物理アドレスＡＤＲ２を含む重複管理レコードのＥＣＣ値及び参照カウントは、それぞれＥＣＣ２及び３である。この重複管理レコード中の参照カウント＝３は、物理アドレスＡＤＲ２（で指定される記憶領域）に格納されたチャンクのデータと同一内容のデータを含むチャンクが合計３つ存在することを示す。 In the duplication management table 201 shown in FIG. 4, for example, the ECC value and the reference count of the duplication management record including the physical address ADR2 are ECC2 and 3, respectively. Reference count = 3 in the duplication management record indicates that there are a total of three chunks containing data having the same contents as the chunk data stored in the physical address ADR2 (the storage area specified by).
図５は、図２に示されるアドレステーブル２０２のデータ構造例を示す。アドレステーブル２０２の各エントリは、アドレスレコードを格納するのに用いられる。アドレスレコードは、論理アドレス、及び当該論理アドレスに割り当て（対応付け）られる物理アドレスを含む。本実施形態において、論理アドレスは、ストレージ装置１０の記憶領域（物理記憶領域）が割り当てられる論理ボリューム（論理ディスク）内の記憶領域（論理記憶領域）のアドレス、例えば論理ブロックアドレス（ＬＢＡ）を示す。
FIG. 5 shows an example of the data structure of the address table 202 shown in FIG. Each entry in the address table 202 is used to store an address record. The address record includes a logical address and a physical address assigned (associated) with the logical address. In this embodiment, the logical address indicates an address of a storage area (logical storage area) in a logical volume (logical disk) to which a storage area (physical storage area) of the
図５に示されるアドレステーブル２０２は、論理アドレスＬＢＡ１乃至ＬＢＡ６を含むアドレスレコードの群を有する。論理アドレスＬＢＡ１乃至ＬＢＡ６で指定される論理ボリューム内の記憶領域には、チャンクＣＨＫ１乃至ＣＨＫ６が論理的に格納されているものとする。つまりＬＢＡ１乃至ＬＢＡ６は、チャンクＣＨＫ１乃至ＣＨＫ６の論理アドレスである。 The address table 202 shown in FIG. 5 has a group of address records including logical addresses LBA1 to LBA6. It is assumed that chunks CHK1 to CHK6 are logically stored in the storage area in the logical volume specified by the logical addresses LBA1 to LBA6. That is, LBA1 to LBA6 are logical addresses of chunks CHK1 to CHK6.
図５の例では、論理アドレスＬＢＡ１，ＬＢＡ４及びＬＢＡ５には、１つの物理アドレスＡＤＲ２が共通に割り当てられている。このことは、チャンクＣＨＫ１，ＣＨＫ４及びＣＨＫ５のデータは同一であり、ストレージ装置１０内では、この同一のデータが、重複排除により、物理アドレスＡＤＲ２で指定されるストレージ装置１０内の記憶領域にまとめて格納されていることを示す。ＡＤＲ２は、チャンクＣＨＫ１，ＣＨＫ４及びＣＨＫ５の物理アドレスである。
In the example of FIG. 5, one physical address ADR2 is commonly assigned to the logical addresses LBA1, LBA4, and LBA5. This means that the data in the chunks CHK1, CHK4, and CHK5 are the same, and in the
図２において、重複排除コントローラ２０５は、重複管理テーブル２０１を参照することにより同一のＥＣＣ値を含む重複管理レコードを探索するための重複チャンク探索処理を実行する。重複排除コントローラ２０５は、同一のＥＣＣ値を含む複数の重複管理レコードを探索できた場合、同一のＥＣＣ値に対応するＥＣＣ群を含む複数のチャンクを探索できたと判定する。
In FIG. 2, the
重複排除コントローラ２０５は、探索された複数のチャンクのデータを比較することにより、当該探索された複数のチャンクのデータが同一であるかを判定する。この判定を、重複チャンク判定（または重複判定）と呼ぶ。重複排除コントローラ２０５は、探索された複数のチャンクのデータが同一である場合、当該探索された複数のチャンクのデータがストレージ装置１０において重複して存在すると判定する。この場合、重複排除コントローラ２０５は、この重複を排除するために、探索された複数のチャンクをストレージ装置１０において一つにまとめるための重複チャンクマージ処理を実行する。
The
重複チャンクマージ処理において重複排除コントローラ２０５は、例えば、第１及び第２のチャンクのデータが同一であるならば、第２のチャンクに対応する重複管理レコード中の参照カウント（第２の参照カウント）を、第１のチャンクに対応する重複管理レコード中の参照カウント（第１の参照カウント）に引き継ぐ。つまり、重複排除コントローラ２０５は、第１の参照カウントを、第２の参照カウントだけインクリメントし、且つ第２の参照カウントを０に設定する。また、重複排除コントローラ２０５は、第１のチャンクの第１の物理アドレスが、第１のチャンクの第１の論理アドレスだけでなく、第２のチャンクの第２の論理アドレスにも割り当てられるように、アドレステーブル２０２（より詳細には、第２の論理アドレスを含むアドレスレコード中の物理アドレス）を更新する、
アクセス部２０６は、アクセス要求部２０３からのアクセス要求に応じて、例えば要求されたファイルに、ブロックを単位にアクセスする。このブロック単位のアクセスは、各ブロックを構成する複数のチャンクへのアクセスを含む。アクセス部２０６は、例えば、チャンクＣＨＫｉにアクセスする場合、チャンクＣＨＫｉの論理アドレスＬＢＡｉに基づいてアドレステーブル２０２を参照する。そしてアクセス部２０６は、論理アドレスＬＢＡｉに対応付けられた物理アドレスＡＤＲｊ（つまりチャンクＣＨＫｉの物理アドレスＡＤＲｊ）を、アクセスされるべき物理記憶領域を示す物理アドレスとして取得して、当該取得された物理アドレスＡＤＲｊに基づいてストレージ装置１０にアクセスする。
In the duplicate chunk merge processing, for example, if the data of the first and second chunks is the same, the
In response to an access request from the
次に、本実施形態においてＥＣＣ取得部２０４によってチャンク単位に実行されるＥＣＣ設定処理について、図６を参照して説明する。図６は、ＥＣＣ設定処理の典型的な手順を示すフローチャートである。本実施形態においてＥＣＣ設定処理は、スケジューリングされた時刻が到来した場合（例えば定期的）に、或いはユーザ指定のタイミングで実行される。
Next, an ECC setting process executed in units of chunks by the
ＥＣＣ取得部２０４は、チャンク単位のＥＣＣ設定処理のために、アドレステーブル２０２を先頭エントリから順に参照する。この例では、ＥＣＣ設定処理の先頭で、ＥＣＣ取得部２０４が、アドレステーブル２０２内のｉ番目のエントリを参照したものとする（ステップＳ１０１）。このｉ番目のエントリには、論理アドレスＬＢＡｉと物理アドレスＡＤＲｊとを含むアドレスレコードが格納されているものとする。この場合、ステップＳ１０１においてＥＣＣ取得部２０４は、参照されたｉ番目のエントリから論理アドレスＬＢＡｉに対応付けられた物理アドレスＡＤＲｊを取得する。論理アドレスＬＢＡｉで指定される論理ボリューム内の記憶領域には、チャンクＣＨＫｉのデータが論理（仮想）的に格納されており、物理アドレスＡＤＲｊで指定されるストレージ装置１０（ストレージ１１）内の記憶領域には、チャンクＣＨＫｉのデータが物理的（実際）に格納されているものとする。
The
次にＥＣＣ取得部２０４は、取得された物理アドレスＡＤＲｊを含む重複管理レコード（ターゲットの重複管理レコード）を、重複管理テーブル２０１から探索する（ステップＳ１０２）。そしてＥＣＣ取得部２０４は、ターゲットの重複管理レコードを探索できたかを判定する（ステップＳ１０３）。
Next, the
もし、ターゲットの重複管理レコードを探索できなかったならば（ステップＳ１０３のＮｏ）、ＥＣＣ取得部２０４は、チャンクＣＨＫｉに関するＥＣＣ設定処理を終了する。この場合、ＥＣＣ取得部２０４は、次のチャンクに関するＥＣＣ設定処理を開始する。
If the target duplication management record cannot be searched (No in step S103), the
これに対し、ターゲットの重複管理レコードを探索できたならば（ステップＳ１０３のＹｅｓ）、ＥＣＣ取得部２０４は、探索された重複管理レコード中のＥＣＣ値を参照する（ステップＳ１０４）。そしてＥＣＣ取得部２０４は、参照されたＥＣＣ値が無効であるかを判定する（ステップＳ１０５）。本実施形態では、この判定は、参照されたＥＣＣ値がクリアされているかに基づいて実行される。
On the other hand, if the target duplication management record can be searched (Yes in step S103), the
もし、参照されたＥＣＣ値が無効でないならば（ステップＳ１０５のＮｏ）、つまり、参照されたＥＣＣ値が有効であるならば、ＥＣＣ取得部２０４は、チャンクＣＨＫｉに関するＥＣＣ値は既に取得されて設定されているとして、ＥＣＣ設定処理を終了する。
If the referenced ECC value is not invalid (No in step S105), that is, if the referenced ECC value is valid, the
これに対して、参照されたＥＣＣ値が無効であるならば（ステップＳ１０５のＹｅｓ）、ＥＣＣ取得部２０４は、チャンクＣＨＫｉに関するＥＣＣ値を取得するためのＥＣＣ取得処理（ステップＳ１０６）を実行する。ＥＣＣ取得部２０４は、このＥＣＣ取得処理（ステップＳ１０６）において、後述のように、チャンクＣＨＫｉを構成する全セクタ中のＥＣＣ（例えば、ｎ個のＥＣＣ）を取得する。
On the other hand, if the referenced ECC value is invalid (Yes in step S105), the
次にＥＣＣ取得部２０４は、取得されたｎ個のＥＣＣを例えば結合し（ステップＳ１０７）、結合されたＥＣＣ（つまり、ＥＣＣ列）をＥＣＣｊとして設定する（ステップＳ１０８）。そしてＥＣＣ取得部２０４は、探索された重複管理レコード中のＥＣＣ値（無効なＥＣＣ値）を、ＥＣＣｊ（有効なＥＣＣ値）に更新する（ステップＳ１０９）。するとＥＣＣ取得部２０４は、チャンクＣＨＫｉに関するＥＣＣ設定処理を終了する。
Next, the
次に、ＥＣＣ取得処理（ステップＳ１０６）について説明する。ＥＣＣ取得処理は、チャンクＣＨＫｉを構成する全セクタ中のＥＣＣを取得するための処理手順を含む。あるセクタ中のＥＣＣを取得するには、以下の２つの方法のいずれかが適用可能である。１つは、セクタ中のデータと付加情報をまとめてリードし、しかる後に付加情報中のＥＣＣのみを取り出す方法（第１の方法）である。もう１つは、ストレージ装置１０のストレージコントローラ１２が有する、セクタ中のＥＣＣのみをリードする機能を利用する方法（第２の方法）である。このＥＣＣのみのリードをストレージコントローラ１２に要求するためのコマンドは、ＥＣＣリードコマンドと呼ばれる。
Next, the ECC acquisition process (step S106) will be described. The ECC acquisition processing includes a processing procedure for acquiring ECC in all sectors constituting the chunk CHKi. In order to obtain the ECC in a certain sector, either of the following two methods can be applied. One is a method (first method) in which data and additional information in a sector are read together and then only the ECC in the additional information is extracted. The other is a method (second method) that uses a function of the
ストレージ装置１０とホスト２０との間のインタフェースに例えばＳＣＳＩが適用される場合、当該インタフェースでは、一般に、セクタ中のデータをリードするためのコマンド（通常のリードコマンド）に加えて、セクタ中のデータと付加情報をまとめてリードするためのリードロングと呼ばれるコマンド（リードロングコマンド）が用意されている。第１の方法は、このリードロングコマンドを利用する。
When, for example, SCSI is applied to an interface between the
以下、図６に示されるＥＣＣ設定処理において実行されるＥＣＣ取得処理（ステップＳ１０６）の詳細について図７を参照して説明する。図７は、ＥＣＣ取得処理の典型的な手順を示すフローチャートである。本実施形態におけるＥＣＣ取得処理の特徴は、第１の方法を用いて、チャンクＣＨＫｉを構成する全セクタ中のＥＣＣを取得することにある。 Details of the ECC acquisition process (step S106) executed in the ECC setting process shown in FIG. 6 will be described below with reference to FIG. FIG. 7 is a flowchart showing a typical procedure of ECC acquisition processing. The feature of the ECC acquisition process in the present embodiment is that the ECC in all sectors constituting the chunk CHKi is acquired using the first method.
まずＥＣＣ取得部２０４は、図６のステップＳ１０１で取得された物理アドレスＡＤＲｊを、ＥＣＣ取得処理で用いられるリードアドレスＡＤＲｒとして設定する（ステップＳ２０１）。次にＥＣＣ取得部２０４は、リードアドレスＡＤＲｒを含むリードロングコマンドを、ストレージ装置１０のストレージコントローラ１２に発行する（ステップＳ２０２）。
First, the
ＥＣＣ取得処理の１回目のステップＳ２０２において、ＥＣＣ取得部２０４は、リードアドレスＡＤＲｒを含むリードロングコマンドを用いて、当該リードアドレスＡＤＲｒで指定されるストレージ装置１０のストレージ１１内の物理位置から、チャンクＣＨＫｉに対応するｎ個のセクタ群の先頭セクタのデータ及び付加情報をまとめてリードする。そしてＥＣＣ取得部２０４は、リードされたデータ及び付加情報をメモリ２２に格納する（ステップＳ２０３）。
In the first step S202 of the ECC acquisition process, the
次にＥＣＣ取得部２０４は、チャンクＣＨＫｉ内の全セクタのリードが完了したかを判定する（ステップＳ２０４）。もし、ステップＳ２０４の判定がＮｏであるならば、ＥＣＣ取得部２０４は、リードアドレスＡＤＲｒがチャンクＣＨＫｉの次のセクタの物理位置を指し示すように、当該リードアドレスＡＤＲｒを更新（例えばインクリメント）する（ステップＳ２０５）。するとＥＣＣ取得部２０４は、ステップＳ２０２に戻り、インクリメントされたリードアドレスＡＤＲｒを含むリードロングコマンドを用いて、チャンクＣＨＫｉの次のセクタのデータ及び付加情報をまとめてリードする。そしてＥＣＣ取得部２０４は、リードされたデータ及び付加情報をメモリ２２に格納する（ステップＳ２０３）。
Next, the
以下同様に、ＥＣＣ取得部２０４は、Ｓ２０５及びＳ２０２乃至Ｓ２０４を繰り返す。これにより、チャンクＣＨＫｉ内の全セクタのリードが完了したものとする（ステップＳ２０４のＹｅｓ）。このときメモリ２２には、チャンクＣＨＫｉの全セクタ中のデータ及び付加情報が格納されている。そこでＥＣＣ取得部２０４は、チャンクＣＨＫｉの全セクタ中の付加情報からＥＣＣ群を取得する（ステップＳ２０６）。これによりＥＣＣ取得部２０４は、チャンクＣＨＫｉに関するＥＣＣ取得処理（ステップＳ１０６）を終了する。
Similarly, the
＜ＥＣＣ取得処理の変形例＞
次に、本実施形態の変形例におけるＥＣＣ取得処理について、図８を参照して説明する。図８は、本実施形態の変形例におけるＥＣＣ取得処理の典型的な手順を示すフローチャートである。本変形例におけるＥＣＣ取得処理の特徴は、第２の方法を用いて、チャンクＣＨＫｉを構成する全セクタ中のＥＣＣを取得することにある。
<Modification of ECC acquisition processing>
Next, an ECC acquisition process in a modification of the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing a typical procedure of ECC acquisition processing in the modification of the present embodiment. The feature of the ECC acquisition process in the present modification is that the ECC in all sectors constituting the chunk CHKi is acquired using the second method.
まずＥＣＣ取得部２０４は、図６のステップＳ１０１で取得された物理アドレスＡＤＲｊを、ＥＣＣ取得処理で用いられるリードアドレスＡＤＲｒとして設定する（ステップＳ２１１）。次にＥＣＣ取得部２０４は、リードアドレスＡＤＲｒを含むＥＣＣリードコマンドを、ストレージ装置１０のストレージコントローラ１２に発行する（ステップＳ２１２）。
First, the
ＥＣＣ取得処理の１回目のステップＳ２１２において、ＥＣＣ取得部２０４は、リードアドレスＡＤＲｒを含むＥＣＣリードコマンドを用いて、当該リードアドレスＡＤＲｒで指定されるストレージ装置１０のストレージ１１内の物理位置に格納されているチャンクＣＨＫｉの先頭セクタから、ＥＣＣのみをリードする。そしてＥＣＣ取得部２０４は、リードされたＥＣＣをメモリ２２に格納する（ステップＳ２１３）。
In the first step S212 of the ECC acquisition process, the
次にＥＣＣ取得部２０４は、チャンクＣＨＫｉ内の全セクタからのＥＣＣのリードが完了したかを判定する（ステップＳ２１４）。もし、ステップＳ２１４の判定がＮｏであるならば、ＥＣＣ取得部２０４は、リードアドレスＡＤＲｒがチャンクＣＨＫｉの次のセクタの物理位置を指し示すように、当該リードアドレスＡＤＲｒを更新（例えばインクリメント）する（ステップＳ２１５）。するとＥＣＣ取得部２０４は、ステップＳ２１２に戻り、インクリメントされたリードアドレスＡＤＲｒを含むＥＣＣリードコマンドを用いて、チャンクＣＨＫｉの次のセクタ中のＥＣＣをリードする。そしてＥＣＣ取得部２０４は、リードされたＥＣＣをメモリ２２に格納する（ステップＳ２１３）。
Next, the
以下同様に、ＥＣＣ取得部２０４は、Ｓ２１５及びＳ２１２乃至Ｓ２１４を繰り返す。これにより、チャンクＣＨＫｉ内の全セクタからのＥＣＣのリードが完了したものとする（ステップＳ２１４のＹｅｓ）。このときメモリ２２には、チャンクＣＨＫｉの全セクタからリードされたＥＣＣ群が格納されている。そこでＥＣＣ取得部２０４は、メモリ２２からこのＥＣＣ群を取得する（ステップＳ２１６）。これによりＥＣＣ取得部２０４は、チャンクＣＨＫｉに関するＥＣＣ取得処理（ステップＳ１０６）を終了する。
Similarly, the
なお、チャンクを単位に、チャンクを構成する全セクタからデータと付加情報をまとめてリードするためのインタフェースを、ストレージコントローラ１２に用意しても構わない。同様に、チャンクを単位に、チャンクを構成する全セクタからＥＣＣのみを取り出すためのインタフェースを、ストレージコントローラ１２に用意しても構わない。
Note that an interface may be provided in the
ところで、ストレージ１１が例えばＲＡＩＤ（ディスクアレイ）により構成されている場合、ＥＣＣ取得部２０４は、リードロングコマンドを用いてＥＣＣを含む付加情報を当該ストレージ１１から直接リードすることはできない。このような場合に第１の方法（つまり、セクタ中のデータと付加情報をまとめてリードする方法）を適用するためには、ストレージコントローラ１２（つまり、ＲＡＩＤコントローラとして機能するストレージコントローラ１２）に、リードロングコマンドと同等のインタフェースを用意すれば良い。一方、第２の方法（つまり、セクタ中のＥＣＣのみをリードする方法）を適用するためには、ストレージコントローラ１２に、ストレージ１１からリードされたデータからＥＣＣのみを取り出す機能を用意すれば良い。
Incidentally, when the
上述のＥＣＣ設定処理においてＥＣＣ取得部２０４は、チャンクＣＨＫｉの全セクタから取得したＥＣＣ群を結合し（ステップＳ１０７）、当該結合されたＥＣＣ群を、チャンクＣＨＫｉの物理アドレスＡＤＲｊを含む重複管理レコード中のＥＣＣ値として用いる（ステップＳ１０８及びＳ１０９）。しかし、ＥＣＣ取得部２０４が、ＳＨＡ１のようなハッシュ関数を用いて、結合されたＥＣＣ群のハッシュ値を計算し、このハッシュ値をＥＣＣ値として用いても構わない。
In the ECC setting process described above, the
ハッシュ値をＥＣＣ値として用いる場合、たとえ可変長のチャンクサイズが適用されたとしても、ＥＣＣ値のサイズは一定となる。このため重複チャンクの判定（探索）に、チャンクサイズに無関係に同一の方法が適用可能となる。また、セクタサイズに対してＥＣＣのサイズが比較的大きい場合も、ＥＣＣ値のサイズを小さくできるため、重複管理テーブル２０１の格納に必要な記憶容量を小さくできる。 When the hash value is used as the ECC value, the size of the ECC value is constant even if a variable-length chunk size is applied. Therefore, the same method can be applied to the determination (search) of duplicate chunks regardless of the chunk size. Even when the ECC size is relatively large with respect to the sector size, the size of the ECC value can be reduced, so that the storage capacity required for storing the duplication management table 201 can be reduced.
次に、本実施形態において重複排除コントローラ２０５によってチャンク単位に実行される重複チャンク探索処理について、図９を参照して説明する。図９は、重複チャンク探索処理の典型的な手順を示すフローチャートである。重複チャンク探索処理は、例えば、ＥＣＣ設定処理とは非同期に、ホスト２０のＣＰＵ２４の負荷が一定レベルより低い場合、或いはスケジューリングされた時刻が到来した場合に実行されるものとする。しかし重複チャンク探索処理が、全てのチャンクについてＥＣＣ設定処理が実行された場合に実行されても構わない。
Next, the duplicate chunk search process executed in units of chunks by the
重複排除コントローラ２０５は、チャンク単位に実行される重複チャンク探索処理のために、アドレステーブル２０２を先頭エントリから順に参照する。この例では、重複チャンク探索処理の先頭で、重複排除コントローラ２０５が、アドレステーブル２０２内のｉ番目のエントリを参照したものとする（ステップＳ３０１）。このｉ番目のエントリには、チャンクＣＨＫｉの論理アドレスＬＢＡｉを含むアドレスレコードが格納されている。したがって、ステップＳ３０１は、重複排除コントローラ２０５がチャンクＣＨＫｉを選択することと等価である。つまり、ステップＳ３０１において重複排除コントローラ２０５は、重複判定対象としてチャンクＣＨＫｉを選択する。
The
次に重複排除コントローラ２０５は、アドレステーブル２０２内のｉ番目のエントリから、論理アドレスＬＢＡｉと対応付けられている物理アドレスＡＤＲｊ、つまり選択されたチャンクＣＨＫｉの物理アドレスＡＤＲｊを取得する（ステップＳ３０２）。そして重複排除コントローラ２０５は、物理アドレスＡＤＲｊに基づいて、重複管理テーブル２０１から物理アドレスＡＤＲｊに対応付けられたＥＣＣ値ＥＣＣｊを取得する（ステップＳ３０３）。即ち重複排除コントローラ２０５は、重複管理テーブル２０１に格納されている、物理アドレスＡＤＲｊを含む重複管理レコードから、ＥＣＣ値ＥＣＣｊを取得する。
Next, the
次に重複排除コントローラ２０５は、ＥＣＣｊと同じＥＣＣ値を持つ他の重複管理レコード（ターゲットの重複管理レコード）を、重複管理テーブル２０１から探索する（ステップＳ３０４）。そしてＥＣＣ取得部２０４は、ターゲットの重複管理レコードを探索できたかを判定する（ステップＳ３０５）。
Next, the
もし、ターゲットの重複管理レコードを探索できなかったならば（ステップＳ３０５のＮｏ）、重複排除コントローラ２０５は、チャンクＣＨＫｉのデータと同一内容のデータを持つ他のチャンクは存在しないものと判断して、チャンクＣＨＫｉに関する重複チャンク探索処理を終了する。この場合、重複排除コントローラ２０５は、次のチャンクに関する重複チャンク探索処理を開始する。
If the target duplication management record cannot be searched (No in step S305), the
これに対し、ターゲットの重複管理レコードを探索できたならば（ステップＳ３０５のＹｅｓ）、重複排除コントローラ２０５は、探索された重複管理レコードに対応するチャンク（以下、チャンクＣＨＫｘと称する）は、チャンクＣＨＫｉのデータと同一内容のデータを持つ可能性があると判断する。そこで重複排除コントローラ２０５は、データ重複の有無を確認するために、ステップＳ３０６乃至Ｓ３０９を次のように実行する。
On the other hand, if the target duplication management record can be searched (Yes in step S305), the
まず重複排除コントローラ２０５は、探索された重複管理レコード中の物理アドレスＡＤＲｙを取得する（ステップＳ３０６）。そして重複排除コントローラ２０５は、物理アドレスＡＤＲｊ及びＡＤＲｙに基づいて、チャンクＣＨＫｉ及びＣＨＫｘのデータを、ストレージ装置１０からリードする（ステップＳ３０７）。即ち重複排除コントローラ２０５は、物理アドレスＡＤＲｊを含むリードコマンドをストレージコントローラ１２に発行することにより、当該物理アドレスＡＤＲｊで指定されるストレージ１１の記憶領域に格納されているチャンクＣＨＫｉのデータをリードする。同様に重複排除コントローラ２０５は、物理アドレスＡＤＲｙを含むリードコマンドをストレージコントローラ１２に発行することにより、当該物理アドレスＡＤＲｙで指定されるストレージ１１の記憶領域に格納されているチャンクＣＨＫｘのデータをリードする。
First, the
次に重複排除コントローラ２０５は、リードされたチャンクＣＨＫｉのデータとリードされたチャンクＣＨＫｘのデータとを比較して（ステップＳ３０８）、当該両データが一致するかを判定する（ステップＳ３０９）。もし、両データが一致しないならば（ステップＳ３０９のＮｏ）、重複排除コントローラ２０５は、チャンクＣＨＫｘ及びＣＨＫｉ間でデータが重複していないと判断する。この場合、重複排除コントローラ２０５はステップＳ３０４に戻って、ＥＣＣｊと同じＥＣＣ値を持つ新たな重複管理レコードを、重複管理テーブル２０１から探索する。
Next, the
これに対し、両データが一致するならば（ステップＳ３０９のＹｅｓ）、チャンクＣＨＫｘ及びＣＨＫｉ間でデータが重複していると判断する。この場合、重複排除コントローラ２０５は、例えばチャンクＣＨＫｘを、チャンクＣＨＫｉにマージするための重複チャンクマージ処理（ステップＳ３１０）を実行する。そして重複排除コントローラ２０５は、ステップＳ３０４に戻って、ＥＣＣｊと同じＥＣＣ値を持つ新たな重複管理レコードを、重複管理テーブル２０１から探索する。
On the other hand, if the two data match (Yes in step S309), it is determined that the data is duplicated between the chunks CHKx and CHKi. In this case, the
重複排除コントローラ２０５は、このステップＳ３０４から始まる処理を、ＥＣＣｊと同じＥＣＣ値を持つ新たな重複管理レコードが探索できなくなるまで（ステップＳ３０５のＮｏ）、繰り返す。以下の説明では、チャンクＣＨＫｘ及びチャンクＣＨＫｉを、それぞれ、マージ元（またはマージ元チャンク）及びマージ先（またはマージ先チャンク）と称する。なお、マージ元とマージ先は逆であっても構わない。
The
次に、図９に示される重複チャンク探索処理において実行される重複チャンクマージ処理（ステップＳ３１０）の詳細について図１０を参照して説明する。図１０は、本実施形態における重複チャンクマージ処理の典型的な手順を示すフローチャートである。 Next, details of the duplicate chunk merge process (step S310) executed in the duplicate chunk search process shown in FIG. 9 will be described with reference to FIG. FIG. 10 is a flowchart showing a typical procedure of the duplicate chunk merging process in the present embodiment.
まず重複排除コントローラ２０５は、アドレステーブル２０２において、マージ元の物理アドレスＡＤＲｙをマージ先の物理アドレスＡＤＲｊに変更する（ステップＳ４０１）。次に重複排除コントローラ２０５は、重複管理テーブル２０１に格納されている、マージ先の物理アドレスＡＤＲｊを含む重複管理レコード中の参照カウントを、マージ元の物理アドレスＡＤＲｙを含む重複管理レコード中の参照カウントの値だけインクリメントする（ステップＳ４０２）。つまり重複排除コントローラ２０５は、マージ元の物理アドレスＡＤＲｙを含む重複管理レコード中の参照カウントの値を、マージ先の物理アドレスＡＤＲｊを含む重複管理レコード中の参照カウントに引き継がせる。
First, the
次に重複排除コントローラ２０５は、重複管理テーブル２０１に格納されている、マージ元の物理アドレスＡＤＲｙを含む重複管理レコード中の参照カウントを０に設定する（ステップＳ４０３）。また、ステップＳ４０３において重複排除コントローラ２０５は、マージ元の物理アドレスＡＤＲｙを含む重複管理レコード中のＥＣＣ値を、例えばクリアすることにより無効化する。
Next, the
次に重複排除コントローラ２０５は、マージ元の物理アドレスＡＤＲｙで指定される、ストレージ装置１０内のマージ元のチャンクＣＨＫｘのデータ、つまりマージ元チャンクＣＨＫｘを構成するｎ個のセクタのデータを削除する（ステップＳ４０４）。これにより、チャンクＣＨＫｘは、チャンクＣＨＫｉにマージされる。
Next, the
なお本実施形態では、値が０の参照カウントを含む重複管理レコード中の物理アドレスで指定される記憶領域は、空き記憶領域として管理される。したがって、マージ元の物理アドレスＡＤＲｙで指定される記憶領域も空き記憶領域として管理される。このため重複排除コントローラ２０５は、必ずしもマージ元のチャンクＣＨＫｘのデータを削除する必要はない。
In the present embodiment, the storage area specified by the physical address in the duplication management record including the reference count having a value of 0 is managed as a free storage area. Therefore, the storage area specified by the merge-source physical address ADRy is also managed as a free storage area. For this reason, the
次に、上述の重複チャンクマージ処理を含む重複チャンク探索処理の具体例について、図１１及び図１２を参照して説明する。図１１及び図１２は重複チャンク探索処理に起因する、それぞれ重複管理テーブル２０１及びアドレステーブル２０２の状態の変化の例を示す。 Next, a specific example of the duplicate chunk search process including the duplicate chunk merge process described above will be described with reference to FIGS. 11 and 12 show examples of changes in the status of the duplication management table 201 and the address table 202, respectively, resulting from the duplicate chunk search process.
まず、図１１及び図１２において、矢印Ａ１及びＡ２の基端側には、重複チャンク探索処理が開始される前の重複管理テーブル２０１及びアドレステーブル２０２の状態が示されている。この重複管理テーブル２０１及びアドレステーブル２０２の状態は、図４及び図５に示されるそれらの状態と同一である。 First, in FIG. 11 and FIG. 12, the state of the duplication management table 201 and the address table 202 before the duplication chunk search process is started is shown on the base end side of the arrows A1 and A2. The states of the duplication management table 201 and the address table 202 are the same as those shown in FIGS.
この状態では、重複管理テーブル２０１において、物理アドレスＡＤＲ１を含む重複管理レコード中のＥＣＣ値ＥＣＣ１は、物理アドレスＡＤＲ３を含む重複管理レコード中のＥＣＣ値ＥＣＣ３に等しいものとする。また、アドレステーブル２０２において、物理アドレスＡＤＲ１は論理アドレスＬＢＡ３と対応付けられており、物理アドレスＡＤＲ３は論理アドレスＬＢＡ２及びＬＢＡ６と対応付けられている。つまり、物理アドレスＡＤＲ３は、２つの論理アドレスＬＢＡ２及びＬＢＡ６（チャンクＣＨＫ２及びＣＨＫ６）から参照されており、したがって物理アドレスＡＤＲ３を含む重複管理レコード中の参照カウントは２である。 In this state, in the duplication management table 201, it is assumed that the ECC value ECC1 in the duplication management record including the physical address ADR1 is equal to the ECC value ECC3 in the duplication management record including the physical address ADR3. In the address table 202, the physical address ADR1 is associated with the logical address LBA3, and the physical address ADR3 is associated with the logical addresses LBA2 and LBA6. That is, the physical address ADR3 is referenced from the two logical addresses LBA2 and LBA6 (chunks CHK2 and CHK6), and therefore the reference count in the duplication management record including the physical address ADR3 is 2.
以上のような重複管理テーブル２０１及びアドレステーブル２０２の状態で、アドレステーブル２０２が１回目の重複チャンク探索処理を開始して、チャンクＣＨＫ１を選択したものとする（ステップＳ３０１）。チャンクＣＨＫ１の論理アドレスＬＢＡ１は、アドレステーブル２０２によって物理アドレスＡＤＲ２に対応付けられている。 In the state of the duplication management table 201 and the address table 202 as described above, it is assumed that the address table 202 starts the first duplicate chunk search process and selects the chunk CHK1 (step S301). The logical address LBA1 of the chunk CHK1 is associated with the physical address ADR2 by the address table 202.
重複排除コントローラ２０５は、重複管理テーブル２０１から、チャンクＣＨＫ１の物理アドレスＡＤＲ２に対応付けられたＥＣＣ値ＥＣＣ２を取得する（ステップＳ３０２及びＳ３０３）。そして重複排除コントローラ２０５は、ＥＣＣ２と同じＥＣＣ値を持つ他の重複管理レコードを、重複管理テーブル２０１から探索する（ステップＳ３０４）。
The
本実施形態では、ＥＣＣ２と同じＥＣＣ値を持つ他の重複管理レコードは存在しない（ステップＳ３０５のＮｏ）。この場合、重複排除コントローラ２０５は、２回目の重複チャンク探索処理を開始して、チャンクＣＨＫ２を選択する（ステップＳ３０１）。チャンクＣＨＫ２の論理アドレスＬＢＡ２は、アドレステーブル２０２によって物理アドレスＡＤＲ３に対応付けられている。
In the present embodiment, there is no other duplicate management record having the same ECC value as ECC2 (No in step S305). In this case, the
重複排除コントローラ２０５は、重複管理テーブル２０１から、チャンクＣＨＫ２の物理アドレスＡＤＲ３に対応付けられたＥＣＣ値ＥＣＣ３を取得する（ステップＳ３０２及びＳ３０３）。そして重複排除コントローラ２０５は、ＥＣＣ３と同じＥＣＣ値を持つ他の重複管理レコードを、重複管理テーブル２０１から探索する（ステップＳ３０４）。
The
本実施形態では、ＥＣＣ３と同じＥＣＣ値はＥＣＣ１であり、したがってＥＣＣ３と同じＥＣＣ値を持つ他の重複管理レコードは存在する（ステップＳ３０５のＹｅｓ）。この重複管理レコード（つまり、ＥＣＣ１を含む重複管理レコード）は、物理アドレスとしてＡＤＲ１を含む。ＡＤＲ１は、アドレステーブル２０２によって論理アドレスＬＢＡ３に対応付けられており、チャンクＣＨＫ３の物理アドレスを示す。この場合、重複排除コントローラ２０５は、チャンクＣＨＫ２の物理アドレスＡＤＲ３及びチャンクＣＨＫ３の物理アドレスＡＤＲ１に基づいて、チャンクＣＨＫ２及びＣＨＫ３のデータをストレージ装置１０からリードする（ステップＳ３０６及びＳ３０７）。そして重複排除コントローラ２０５は、チャンクＣＨＫ２及びＣＨＫ３のデータを比較する（ステップＳ３０８）。
In the present embodiment, the same ECC value as ECC3 is ECC1, and therefore there is another duplicate management record having the same ECC value as ECC3 (Yes in step S305). This duplication management record (that is, duplication management record including ECC1) includes ADR1 as a physical address. ADR1 is associated with the logical address LBA3 by the address table 202, and indicates the physical address of the chunk CHK3. In this case, the
本実施形態では、チャンクＣＨＫ２及びＣＨＫ３のデータは等しいものとする（ステップＳ３０９のＹｅｓ）。この場合、重複排除コントローラ２０５は、チャンクＣＨＫ３をチャンクＣＨＫ２にマージするための重複チャンクマージ処理（ステップＳ３１０）を実行する。即ち重複排除コントローラ２０５は、アドレステーブル２０２においてチャンクＣＨＫ３の論理アドレスＬＢＡ３に対応付けられた物理アドレスＡＤＲ１（つまりチャンクＣＨＫ３の物理アドレスＡＤＲ１）を、図１２において矢印Ａ２で示されるように、チャンクＣＨＫ２の物理アドレスＡＤＲ３に変更する（ステップＳ４０１）。
In the present embodiment, the data of the chunks CHK2 and CHK3 are assumed to be equal (Yes in step S309). In this case, the
また重複排除コントローラ２０５は、重複管理テーブル２０１において物理アドレスＡＤＲ３に対応付けられた参照カウント（＝２）を、重複管理テーブル２０１において物理アドレスＡＤＲ１に対応付けられた参照カウント（＝１）だけインクリメントする（ステップＳ４０２）。これにより物理アドレスＡＤＲ３に対応付けられた参照カウントは、図１１において矢印Ａ１で示されるように、２から３にインクリメントされる。更に重複排除コントローラ２０５は、図１１において矢印Ａ１で示されるように、重複管理テーブル２０１において物理アドレスＡＤＲ１に対応付けられた参照カウントを０に設定し、且つ物理アドレスＡＤＲ１に対応付けられたＥＣＣ値を無効化（クリア）する（ステップＳ４０２）。
The
上述のように、本実施形態において重複排除コントローラ２０５は、重複管理レコード中のＥＣＣ値、つまりストレージ装置１０に既に格納されている各チャンクを構成する全セクタ中のＥＣＣの列を、重複チャンクの探索（判定）に利用する。このように本実施形態においては、セクタのデータのエラー検出及びエラー訂正のために当該セクタに付されるＥＣＣを、データの重複を検出するための指標として利用する。これに対して、従来技術（第１の重複排除技術）では、各チャンクのデータをストレージ装置にライトする際に、当該データのハッシュ値が計算される。そして、このハッシュ値が重複管理レコード中に設定されて、重複チャンクの探索に利用される。また、別の従来技術（第２の重複排除技術）では、ストレージ装置に格納されている全データがリードされて比較される。
As described above, in this embodiment, the
本実施形態においては、ＥＣＣの値をハッシュ値の代替として用い、ＥＣＣの値が等しい場合にのみデータを比較することで、チャンクのデータの重複を検出する。したがって本実施形態によれば、重複チャンクの探索に利用される情報を生成するための計算（ハッシュ計算）、或いは全データの比較を不要にして、チャンクのデータの重複検出に要するコストを低減することができる。 In this embodiment, the ECC value is used as a substitute for the hash value, and data duplication is detected by comparing data only when the ECC values are equal. Therefore, according to the present embodiment, calculation (hash calculation) for generating information used for searching for duplicate chunks or comparison of all data is unnecessary, and the cost required for duplicate detection of chunk data is reduced. be able to.
次に、本実施形態においてアクセス部２０６によって実行されるライト処理について、チャンクＣＨＫｓに新たなデータをライトする場合を例に、図１３を参照して説明する。図１３は、ライト処理の典型的な手順を示すフローチャートである。本実施形態においてライト処理は、アクセス要求部２０３からのライトアクセス要求に応じて実行される。
Next, the write process executed by the
まずアクセス部２０６が、アクセス要求部２０３からのライトアクセス要求に応じて、チャンクＣＨＫｓへのデータライトを開始するものとする。この場合、アクセス部２０６は、チャンクＣＨＫｓの論理アドレスＬＢＡｓに対応付けられた有効な物理アドレスＡＤＲｔを含むアドレスレコード（ターゲットのアドレスレコード）を、アドレステーブル２０２から探索する（ステップＳ５０１）。そしてアクセス部２０６は、ターゲットのアドレスレコードを探索できたかを判定する（ステップＳ５０２）。
First, it is assumed that the
もし、ターゲットのアドレスレコードを探索できたならば（ステップＳ５０２のＹｅｓ）、アクセス部２０６は、探索されたアドレスレコードから、物理アドレスＡＤＲｔを取得する（ステップＳ５０３）。そしてアクセス部２０６は、取得された物理アドレスＡＤＲｔに基づいて重複管理テーブル２０１を探索することにより、当該取得された物理アドレスＡＤＲｔを含む重複管理レコード中の参照カウントを取得する（ステップＳ５０４）。次にアクセス部２０６は、取得された参照カウントが１であるかを判定する（ステップＳ５０５）。
If the target address record can be searched (Yes in step S502), the
もし、取得された参照カウントが１でないならば（ステップＳ５０５のＮｏ）、アクセス部２０６は、現在のチャンクＣＨＫｓのデータは他の１つ以上のチャンクのデータと重複しており、したがって新たなデータを、現在のチャンクＣＨＫｓのデータ（より詳細には、重複データ）に上書きすることはできないと判断する。つまりアクセス部２０６は、新たなデータを、現在のチャンクＣＨＫｓのデータがライトされている記憶領域（より詳細には、物理アドレスＡＤＲｔによって指定される記憶領域）とは別の記憶領域にライトする必要があると判断する。明らかなように、今回のライト処理によりチャンクＣＨＫｓにライトされる新たなデータは、上述の他の１つ以上のチャンクのデータと重複しないものである。そこでアクセス部２０６は、取得された参照カウント（より詳細には、取得された物理アドレスＡＤＲｔを含む重複管理レコード中の参照カウント）を１デクリメントして（ステップＳ５０６）、ステップＳ５０７に進む。一方、ターゲットのアドレスレコードを探索できなかったならば（ステップＳ５０２のＮｏ）、アクセス部２０６は、ステップＳ５０３乃至Ｓ５０６をスキップしてステップＳ５０７に進む。
If the acquired reference count is not 1 (No in step S505), the
ステップＳ５０７においてアクセス部２０６は、新たなデータ（つまり、アクセス要求部２０３によって要求されたライトデータ）がチャンクＣＨＫｓのデータとしてライトされるべき、ストレージ装置１０（ストレージ１１）内の空き記憶領域（つまり、空きチャンク領域）を確保する（ステップＳ５０７）。アクセス部２０６は、この空きチャンク領域を次のように確保する。まずアクセス部２０６は、重複管理テーブル２０１から、値が０の参照カウントを含む重複管理レコードを探索する。そしてアクセス部２０６は、探索された重複管理レコード中の物理アドレスＡＤＲｕを、ライト先の空きチャンク領域の物理アドレスとして取得する。これによりアクセス部２０６は、ライト先の空きチャンク領域を確保する。アクセス部２０６は、ステップＳ５０７を実行すると、ステップＳ５０８に進む。
In step S507, the
一方、取得された参照カウントが１であるならば（ステップＳ５０５のＹｅｓ）、アクセス部２０６は、現在のチャンクＣＨＫｓのデータは他の１つ以上のチャンクのデータと重複しておらず、したがって新たなデータを、現在のチャンクＣＨＫｓのデータに上書きすることが可能であると判断する。この場合、新たなデータのライト先は、現在のチャンクＣＨＫｓのデータがライトされている記憶領域（チャンク領域）であり、物理アドレスＡＤＲｔによって指定される。ステップＳ５０５の判定がＹｅｓの場合、アクセス部２０６は、ステップＳ５０６及びＳ５０７をスキップしてステップＳ５０８に進む。
On the other hand, if the acquired reference count is 1 (Yes in step S505), the
ステップＳ５０８においてアクセス部２０６は、ライト先のチャンク領域の物理アドレスを含む重複管理レコード中のＥＣＣ値をクリアし、且つ当該重複管理レコード中の参照カウントを１に設定する。ここで、ライト先のチャンク領域は、ステップＳ５０７を介してステップＳ５０８が実行される場合、当該ステップＳ５０７で確保された空きチャンク領域であり、当該ライト先のチャンク領域の物理アドレスはＡＤＲｕである。これに対し、ステップＳ５０７をスキップしてステップＳ５０８が実行される場合、ライト先のチャンク領域は、現在チャンクＣＨＫｓのデータ（旧データ）が格納されているチャンク領域であり、当該ライト先のチャンク領域の物理アドレスはＡＤＲｔである。
In step S508, the
アクセス部２０６は、ステップＳ５０８を実行すると、アクセス要求部２０３によって要求されたライトデータを、チャンクＣＨＫｓの新たなデータとして、ストレージ装置１０（ストレージ１１）におけるライト先のチャンク領域にストレージコントローラ１２によりライトさせる（ステップＳ５０９）。これにより、チャンクＣＨＫｓの新データは、ｎ個のセクタに分散してライトされる。ｎ個のセクタの各々にはＥＣＣを含む付加情報が付されている。ＥＣＣは、ｎ個のセクタに分散してライトされるデータに基づいてストレージコントローラ１２によって生成される。
When executing the step S508, the
なお、図２に示される、ＥＣＣ取得部２０４、重複排除コントローラ２０５及びアクセス部２０６がストレージコントローラ１２に設けられても構わない。この場合、重複管理テーブル２０１及びアドレステーブル２０２は、ストレージコントローラ１２が有するメモリに格納されれば良い。
Note that the
前記実施形態では、ストレージ装置１０は、単一のホスト２０と接続されている。しかし、ストレージ装置１０が、ホスト２０を含む複数のホストと、ホストインタフェースバス３０（またはネットワーク）を介して接続されていても良い。この場合、ホスト２０以外のホストからのストレージ装置１０へのアクセスに関しても、例えば、ホスト２０のみが、重複排除のための前記実施形態と同様の処理を行えば良い。また、ホスト２０を含む複数のホストが、それぞれ、図２に示される構成を有し、当該複数のホストが重複排除のための前記実施形態と同様の処理を行っても構わない。この場合、複数のホストがそれぞれ重複管理テーブル２０１及びアドレステーブル２０２を有し、当該重複管理テーブル２０１及びアドレステーブル２０２を複数のホスト間で同期化しても良い。
In the embodiment, the
以上説明した少なくとも１つの実施形態によれば、データの重複の検出に要するコストを低減することができる。 According to at least one embodiment described above, it is possible to reduce the cost required for detecting data duplication.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１０…ストレージ装置、１１…ストレージ、１２…ストレージコントローラ、２０…ホスト（ホスト計算機）、２２…メモリ、２４…ＣＰＵ、２０１…重複管理テーブル、２０２…アドレステーブル、２０４…ＥＣＣ取得部、２０５…重複排除コントローラ（重複検出部）、２０６…アクセス部。
DESCRIPTION OF
Claims (2)
前記ストレージ装置を利用するホスト計算機とを具備し、
前記ホスト計算機は、
１つ以上のセクタから構成されるチャンク毎に、各チャンクを構成する複数のセクタから取得される複数のＥＣＣを結合し、この結合されたＥＣＣのハッシュ値を求めてＥＣＣ値を取得するＥＣＣ取得部と、
前記ＥＣＣ値を前記チャンクを単位に比較することにより、比較されたＥＣＣ値に対応するチャンクのデータの重複の可能性を判定し、当該判定の結果に基づいて前記対応するチャンクのデータを比較することにより、当該対応するチャンクのデータの重複を検出する重複検出部とを具備する
ストレージシステム。 A storage device in which data and an error correction code (ECC) generated based on the data are stored in units of sectors;
A host computer using the storage device,
The host computer
Chunks each composed of one or more sectors, ECC acquisition combines multiple ECC obtained from a plurality of sectors constituting each chunk, acquires the ECC value seeking hash value of the combined ECC And
By comparing the ECC value with the chunk as a unit, the possibility of duplication of the data of the chunk corresponding to the compared ECC value is determined, and the data of the corresponding chunk is compared based on the determination result. Accordingly, a storage system including a duplication detection unit that detects duplication of data of the corresponding chunk.
１つ以上のセクタから構成されるチャンク毎に、各チャンクを構成する複数のセクタから取得される複数のＥＣＣを結合し、この結合されたＥＣＣのハッシュ値を求めてＥＣＣ値を取得し、
前記ＥＣＣ値を前記チャンクを単位に比較することにより、比較されたＥＣＣ値に対応するチャンクのデータの重複の可能性を判定し、
前記判定の結果に基づいて前記対応するチャンクのデータを比較することにより、当該対応するチャンクのデータの重複を検出する
データ重複検出方法。 A data duplication detection method in a host computer using a storage device in which data and an error correction code (ECC) generated based on the data are stored in units of sectors,
Chunks each composed of one or more sectors, and combining multiple ECC obtained from a plurality of sectors constituting each chunk, acquires the ECC value seeking hash value of the combined ECC,
By comparing the ECC value in units of the chunk, the possibility of duplication of data in the chunk corresponding to the compared ECC value is determined,
A data duplication detection method for detecting duplication of data of the corresponding chunk by comparing the data of the corresponding chunk based on the determination result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015165787A JP6419662B2 (en) | 2015-08-25 | 2015-08-25 | Storage system and data duplication detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015165787A JP6419662B2 (en) | 2015-08-25 | 2015-08-25 | Storage system and data duplication detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017045177A JP2017045177A (en) | 2017-03-02 |
| JP6419662B2 true JP6419662B2 (en) | 2018-11-07 |
Family
ID=58210217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015165787A Active JP6419662B2 (en) | 2015-08-25 | 2015-08-25 | Storage system and data duplication detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6419662B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7469803B2 (en) | 2020-10-20 | 2024-04-17 | 株式会社ブイ・テクノロジー | Focused Energy Beam Device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021022324A (en) * | 2019-07-30 | 2021-02-18 | 富士通株式会社 | Storage controller and storage control program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05324579A (en) * | 1992-05-25 | 1993-12-07 | Hitachi Ltd | Distributed file system and storage device |
| US6665743B2 (en) * | 2001-04-18 | 2003-12-16 | International Business Machines Corporation | Method, system, and program for initializing a storage space |
| US7734603B1 (en) * | 2006-01-26 | 2010-06-08 | Netapp, Inc. | Content addressable storage array element |
| JP4900850B2 (en) * | 2009-04-01 | 2012-03-21 | 日本電気株式会社 | Disk array device, disk array device management method and program |
-
2015
- 2015-08-25 JP JP2015165787A patent/JP6419662B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7469803B2 (en) | 2020-10-20 | 2024-04-17 | 株式会社ブイ・テクノロジー | Focused Energy Beam Device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017045177A (en) | 2017-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6212137B2 (en) | Storage device and storage device control method | |
| US10055420B1 (en) | Method to optimize random IOS of a storage device for multiple versions of backups using incremental metadata | |
| JP6385570B2 (en) | Storage system and storage control method | |
| US10248623B1 (en) | Data deduplication techniques | |
| US7716183B2 (en) | Snapshot preserved data cloning | |
| JP6345698B2 (en) | Reduce redundancy in stored data | |
| US9063877B2 (en) | Storage system, storage controller, and method for managing mapping between local address and physical address | |
| US9134917B2 (en) | Hybrid media storage system architecture | |
| US9342256B2 (en) | Epoch based storage management for a storage device | |
| US10956071B2 (en) | Container key value store for data storage devices | |
| CN108604165B (en) | Storage device | |
| JP6429963B2 (en) | Storage device and storage device control method | |
| JP2009116873A (en) | Solid state memory (ssm), computer system having ssm, and ssm driving method | |
| US10592150B2 (en) | Storage apparatus | |
| US9996426B1 (en) | Sparse segment trees for high metadata churn workloads | |
| US20210034578A1 (en) | Inline deduplication using neighboring segment loading | |
| US20180307440A1 (en) | Storage control apparatus and storage control method | |
| JP6419662B2 (en) | Storage system and data duplication detection method | |
| WO2016038714A1 (en) | File system, data deduplication method, and program for file system | |
| US10565120B1 (en) | Method for efficient write path cache load to improve storage efficiency | |
| US8151053B2 (en) | Hierarchical storage control apparatus, hierarchical storage control system, hierarchical storage control method, and program for controlling storage apparatus having hierarchical structure | |
| US20210034467A1 (en) | Techniques for duplicating inode state to prevent loss of inode metadata | |
| US20180307615A1 (en) | Storage control apparatus and storage control method | |
| US10853257B1 (en) | Zero detection within sub-track compression domains | |
| WO2018061161A1 (en) | Storage apparatus and method for controlling same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181010 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6419662 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |