JP2010170475A - ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム - Google Patents
ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム Download PDFInfo
- Publication number
- JP2010170475A JP2010170475A JP2009014428A JP2009014428A JP2010170475A JP 2010170475 A JP2010170475 A JP 2010170475A JP 2009014428 A JP2009014428 A JP 2009014428A JP 2009014428 A JP2009014428 A JP 2009014428A JP 2010170475 A JP2010170475 A JP 2010170475A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- identification value
- stored
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】格納依頼に含まれていたデータ本体を識別可能なデータ本体識別値を保存するデータ本体識別値保存手段と、新たな格納依頼に含まれているデータ本体識別値と識別値保存手段に保存されているデータ本体識別値とを比較することによってデータ本体を格納装置に格納すべきか否か判定するデータ本体識別値判定手段と、データ本体を分割した分割データを識別可能な分割データ識別値を保存する分割データ識別値保存手段と、本体データを格納装置に格納すべきと判定した場合に、データ本体に対する分割データ識別値を生成して、生成した分割データ識別値と分割データ識別値保存手段に保存されている分割データ識別値とを比較することによってデータ本体の分割データを格納装置に格納すべきか否か判定する分割データ識別値判定手段とを備えた。
【選択図】図6
Description
ここで、ファイルメタデータ格納装置200が格納するメタデータについて説明する。ファイルメタデータ格納装置200において格納管理されるメタデータは、クライアントメタデータと、システムメタデータとの2種類に分類される。クライアントメタデータは、クライアント100で動作するアプリケーションによって生成される。また、システムメタデータは、クライアント100が発行(送信)した処理リクエストに基づいてファイルデータをストレージシステム400に格納する際にファイルメタデータ格納措置200によって生成される。
クライアント100からストレージシステム400にデータを書き込むために、ユーザは、クライアント100を用いて、生成したデータを書き込む操作を行う。すると、クライアント100のファイルシステム101が生成したファイルが、外部のストレージシステム400へのデータの格納を指し示していた場合、ネットワークファイルシステムクライアント102は、ファイルデータ本体から、他のクライアントと共通して使用されるハッシュ関数を用いてダイジェスト値を算出する(ステップS1)。
ステップS4において、一致しないと判定した場合、リクエスト制御部203は、ダイジェスト値をファイルダイジェスト値格納部202に登録(格納)させる。そして、リクエスト制御部203は、クライアントメタデータ群とダイジェスト値とを関連付けて、ファイルメタデータ格納部201に格納させる(ステップS5)。
ステップS4において、クライアント100から受信したダイジェスト値とファイルダイジェスト値格納部202が格納するダイジェスト値群とが一致すると判定した場合、リクエスト制御部203は、クライアントメタデータ群とダイジェスト値とを関連付けて、ファイルメタデータ格納部201に格納させる(ステップS10)。
以下、クライアント100によるストレージシステム400からのデータの読み込み処理について図5を用いて説明する。図5は、ストレージシステムが実行するデータ読み出し処理例を示す流れ図である。
10 データ本体識別値保存手段
20 データ本体識別値判定手段、
30 分割データ識別値保存手段、
40 分割データ識別値判定手段
100 クライアント
101 ファイルシステム
102 ネットワークファイルシステムクライアント
200 ファイルメタデータ格納装置
201 ファイルメタデータ格納部
202 ファイルダイジェスト値格納部
203 リクエスト制御部
300 ファイルデータ格納装置
301 ブロックデータ格納部
302 ブロックデータダイジェスト値格納部
303 ブロックアドレス管理データ格納部
304 リクエスト制御部
305 構成管理データ格納部
400 ストレージシステム
Claims (10)
- データ本体を識別可能なデータ本体識別値を含む格納依頼を受信してデータ本体を格納装置に格納するための処理を行うストレージシステムであって、
格納依頼に含まれていたデータ本体識別値を保存するデータ本体識別値保存手段と、
新たな格納依頼に含まれているデータ本体識別値と前記識別値保存手段に保存されているデータ本体識別値とを比較することによってデータ本体を格納装置に格納すべきか否か判定するデータ本体識別値判定手段と、
データ本体を分割した分割データを識別可能な分割データ識別値を保存する分割データ識別値保存手段と、
前記データ本体識別値判定手段が本体データを格納装置に格納すべきと判定した場合に、データ本体に対する分割データ識別値を生成して、生成した分割データ識別値と前記分割データ識別値保存手段に保存されている分割データ識別値とを比較することによってデータ本体の分割データを格納装置に格納すべきか否か判定する分割データ識別値判定手段と
を備えたことを特徴とするストレージシステム。 - 格納依頼にはデータ本体の特徴を示す特徴データが含まれ、複数の格納装置を備えたストレージシステムであって、
格納依頼に含まれていた特徴データを保存する特徴データ保存手段と、
新たな格納依頼に含まれているデータ本体識別値がデータ本体識別値保存手段に保存されているいずれのデータ本体識別値とも合致しないとデータ本体識別値判定手段が判定した場合に、格納依頼に含まれていた特徴データと前記特徴データ保存手段に保存されている特徴データとを比較することによってデータ本体が格納される格納装置を選択する格納装置選択手段とを備えた
請求項1記載のストレージシステム。 - 格納装置選択手段は、特徴データ保存手段に保存されている特徴データのうち、格納依頼に含まれていた特徴データと最も類似する特徴データで示される本体データが格納されている格納装置を選択する
請求項2記載のストレージシステム。 - 特徴データは複数のメタデータを含み、
格納装置選択手段は、特徴データ保存手段に保存されている特徴データのうち、格納依頼に含まれていた特徴データに含まれるメタデータに一致するメタデータの数が最も多い特徴データで示される本体データが格納されている格納装置を選択する
請求項3記載のストレージシステム。 - 格納装置選択手段は、特徴データ保存手段に、格納依頼に含まれていた特徴データと類似する特徴データが保存されていないと判定した場合に、空き容量が最も多い格納装置を選択する
請求項2記載のストレージシステム。 - 特徴データは複数のメタデータを含み、
格納装置選択手段は、特徴データ保存手段に、格納依頼に含まれていた特徴データに含まれるメタデータに一致するメタデータを含む特徴データが保存されていない場合に、格納依頼に含まれていた特徴データと類似する特徴データが前記特徴データ保存手段に保存されていないと判定する
請求項5記載のストレージシステム。 - データ本体を識別可能なデータ本体識別値を含む格納依頼を受信してデータ本体を格納装置に格納するための処理を行うストレージシステムにおけるデータ書込方法であって、
格納依頼に含まれていたデータ本体識別値をデータ本体識別値保存手段に保存し、
データ本体を分割した分割データを識別可能な分割データ識別値を分割データ識別値保存手段に保存し、
新たな格納依頼に含まれているデータ本体識別値と前記データ本体識別値保存手段に保存されているデータ本体識別値とを比較することによってデータ本体を格納装置に格納すべきか否か判定し、
本体データを格納装置に格納すべきと判定された場合に、データ本体に対する分割データ識別値を生成して、生成した分割データ識別値と前記分割データ識別値保存手段に保存されている分割データ識別値とを比較することによってデータ本体の分割データを格納装置に格納すべきか否か判定する
ことを特徴とするストレージシステムにおけるデータ書込方法。 - 格納依頼にはデータ本体の特徴を示す特徴データが含まれ、複数の格納装置を備えたストレージシステムにおけるデータ書込方法であって、
格納依頼に含まれていた特徴データを特徴データ保存手段に保存し、
新たな格納依頼に含まれているデータ本体識別値がデータ本体識別値保存手段に保存されているいずれのデータ本体識別値とも合致しないと判定された場合に、格納依頼に含まれていた特徴データと前記特徴データ保存手段に保存されている特徴データとを比較することによってデータ本体を格納する格納装置を選択する
請求項7記載のストレージシステムにおけるデータ書込方法。 - データ本体を識別可能なデータ本体識別値を含む格納依頼を受信してデータ本体を格納装置に格納するための処理を行うストレージシステムに搭載されるデータ書込方法プログラムであって、
コンピュータに、
格納依頼に含まれていたデータ本体識別値をデータ本体識別値保存手段に保存する処理と、
データ本体を分割した分割データを識別可能な分割データ識別値を分割データ識別値保存手段に保存する処理と、
新たな格納依頼に含まれているデータ本体識別値とデータ本体識別値保存手段に保存されているデータ本体識別値とを比較することによってデータ本体を格納装置に格納すべきか否か判定する処理と、
本体データを格納装置に格納すべきと判定された場合に、データ本体に対する分割データ識別値を生成して、生成した分割データ識別値と前記分割データ識別値保存手段に保存されている分割データ識別値とを比較することによってデータ本体の分割データを格納装置に格納すべきか否か判定する処理と
を実行させるためのデータ書込プログラム。 - 格納依頼にはデータ本体の特徴を示す特徴データが含まれ、複数の格納装置を備えたストレージシステムにおけるデータ書込プログラムであって、
コンピュータに、
格納依頼に含まれていた特徴データを特徴データ保存手段に保存する処理と、
新たな格納依頼に含まれているデータ本体識別値がデータ本体識別値保存手段に保存されているいずれのデータ本体識別値とも合致しないと判定された場合に、格納依頼に含まれていた特徴データと前記特徴データ保存手段に保存されている特徴データとを比較することによってデータ本体を格納する格納装置を選択する処理と
を実行させるための請求項9記載のデータ書込プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009014428A JP5444728B2 (ja) | 2009-01-26 | 2009-01-26 | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009014428A JP5444728B2 (ja) | 2009-01-26 | 2009-01-26 | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010170475A true JP2010170475A (ja) | 2010-08-05 |
JP5444728B2 JP5444728B2 (ja) | 2014-03-19 |
Family
ID=42702555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009014428A Active JP5444728B2 (ja) | 2009-01-26 | 2009-01-26 | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5444728B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042792A1 (en) * | 2010-09-30 | 2012-04-05 | Nec Corporation | Storage system |
JP2012238125A (ja) * | 2011-05-10 | 2012-12-06 | Internatl Business Mach Corp <Ibm> | データの保存を制御する装置及び方法 |
WO2015162758A1 (ja) * | 2014-04-24 | 2015-10-29 | 株式会社日立製作所 | ストレージシステム |
JP2017510889A (ja) * | 2014-05-30 | 2017-04-13 | 株式会社日立製作所 | データ重複排除ストレージシステムの方法及び装置 |
JP2018527681A (ja) * | 2015-09-18 | 2018-09-20 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | ソリッドステートドライブコントローラを使用するデータ重複排除 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099454A (ja) * | 2000-09-21 | 2002-04-05 | Nec Corp | ファイル管理システムおよび方法 |
JP2003524243A (ja) * | 2000-02-18 | 2003-08-12 | アヴァマー テクノロジーズ インコーポレイテッド | 共通性ファクタリングシステムに用いられるハッシュファイルシステムおよび方法 |
US7065619B1 (en) * | 2002-12-20 | 2006-06-20 | Data Domain, Inc. | Efficient data storage system |
JP2007200182A (ja) * | 2006-01-30 | 2007-08-09 | Hitachi Ltd | ストレージ装置、及びストレージシステム |
JP2009530756A (ja) * | 2006-03-20 | 2009-08-27 | イーエムシー コーポレイション | 高効率ポータブルアーカイブ |
-
2009
- 2009-01-26 JP JP2009014428A patent/JP5444728B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003524243A (ja) * | 2000-02-18 | 2003-08-12 | アヴァマー テクノロジーズ インコーポレイテッド | 共通性ファクタリングシステムに用いられるハッシュファイルシステムおよび方法 |
JP2002099454A (ja) * | 2000-09-21 | 2002-04-05 | Nec Corp | ファイル管理システムおよび方法 |
US7065619B1 (en) * | 2002-12-20 | 2006-06-20 | Data Domain, Inc. | Efficient data storage system |
JP2007200182A (ja) * | 2006-01-30 | 2007-08-09 | Hitachi Ltd | ストレージ装置、及びストレージシステム |
JP2009530756A (ja) * | 2006-03-20 | 2009-08-27 | イーエムシー コーポレイション | 高効率ポータブルアーカイブ |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042792A1 (en) * | 2010-09-30 | 2012-04-05 | Nec Corporation | Storage system |
JP2013514560A (ja) * | 2010-09-30 | 2013-04-25 | 日本電気株式会社 | ストレージシステム |
CN103098015A (zh) * | 2010-09-30 | 2013-05-08 | 日本电气株式会社 | 存储系统 |
CN103098015B (zh) * | 2010-09-30 | 2015-11-25 | 日本电气株式会社 | 存储系统 |
US9256368B2 (en) | 2010-09-30 | 2016-02-09 | Nec Corporation | System and method for deduplication of distributed data |
JP2012238125A (ja) * | 2011-05-10 | 2012-12-06 | Internatl Business Mach Corp <Ibm> | データの保存を制御する装置及び方法 |
US9357007B2 (en) | 2011-05-10 | 2016-05-31 | International Business Machines Corporation | Controlling storing of data |
WO2015162758A1 (ja) * | 2014-04-24 | 2015-10-29 | 株式会社日立製作所 | ストレージシステム |
JP2017510889A (ja) * | 2014-05-30 | 2017-04-13 | 株式会社日立製作所 | データ重複排除ストレージシステムの方法及び装置 |
JP2018527681A (ja) * | 2015-09-18 | 2018-09-20 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | ソリッドステートドライブコントローラを使用するデータ重複排除 |
Also Published As
Publication number | Publication date |
---|---|
JP5444728B2 (ja) | 2014-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11662936B2 (en) | Writing data using references to previously stored data | |
US10929017B2 (en) | Data block migration | |
US9792306B1 (en) | Data transfer between dissimilar deduplication systems | |
US8307019B2 (en) | File management method and storage system | |
US8793227B2 (en) | Storage system for eliminating duplicated data | |
US10715622B2 (en) | Systems and methods for accelerating object stores with distributed caching | |
US8145614B1 (en) | Selection of a data path based on the likelihood that requested information is in a cache | |
US9020909B2 (en) | Active file Instant Cloning | |
US8326811B2 (en) | File management method and computer system | |
US9824131B2 (en) | Regulating a replication operation | |
JP2009070361A (ja) | コンピュータストレージシステムにおいてデータ圧縮並びに整合性を管理する方法および装置 | |
EP2880554A1 (en) | Migration-destination file server and file system migration method | |
US9922041B2 (en) | Storing data files in a file system | |
US10380074B1 (en) | Systems and methods for efficient backup deduplication | |
JP5444728B2 (ja) | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム | |
US20180107404A1 (en) | Garbage collection system and process | |
US10142415B2 (en) | Data migration | |
US11055262B1 (en) | Extensible streams on data sources | |
US20170124107A1 (en) | Data deduplication storage system and process | |
JP5494817B2 (ja) | ストレージシステム、データ管理装置、方法及びプログラム | |
Jung et al. | Data deduplication system for supporting multi-mode | |
CN115114242A (zh) | 文件处理方法、装置及计算机设备、存储介质、程序产品 | |
GB2484396A (en) | Rebalancing of data in storage cluster when adding a new node |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5444728 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |