JP2018532166A - 記憶システムにおける重複排除のための方法、記憶システムおよびコントローラ - Google Patents
記憶システムにおける重複排除のための方法、記憶システムおよびコントローラ Download PDFInfo
- Publication number
- JP2018532166A JP2018532166A JP2017552037A JP2017552037A JP2018532166A JP 2018532166 A JP2018532166 A JP 2018532166A JP 2017552037 A JP2017552037 A JP 2017552037A JP 2017552037 A JP2017552037 A JP 2017552037A JP 2018532166 A JP2018532166 A JP 2018532166A
- Authority
- JP
- Japan
- Prior art keywords
- fingerprint
- storage
- data
- written
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000013507 mapping Methods 0.000 claims abstract description 138
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 239000007787 solid Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013403 standard screening design Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
- G06F12/1009—Address translation using page tables, e.g. page table structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1041—Resource optimization
- G06F2212/1044—Space efficiency improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/65—Details of virtual memory and virtual address translation
- G06F2212/657—Virtual address space management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
202 メモリ
1401 受信ユニット
1402 取得ユニット
1403 挿入ユニット
1404 割り当てユニット
1405 記憶ユニット
1406 確立ユニット
Claims (28)
- 記憶システムにおける重複排除のための方法であって、前記記憶システムはコントローラおよび記憶デバイスを含み、且つ、前記方法は、
前記コントローラによって、第1の書込み要求を受信するステップであって、前記第1の書込み要求は、第1の論理ブロックアドレスおよび第1の書き込まれるべきデータを搬送する、ステップと、
前記コントローラによって、前記第1の書き込まれるべきデータの第1のフィンガープリントを取得するステップと、
フィンガープリントテーブルが前記第1のフィンガープリントを含まない場合、前記第1のフィンガープリントを前記フィンガープリントテーブルに挿入し、前記記憶デバイスから前記第1の書き込まれるべきデータに第1の記憶アドレスを割り当てるステップと、
前記コントローラによって、前記第1の記憶アドレスに前記第1の書き込まれるべきデータを記憶するステップと、
前記コントローラによって、前記第1の論理ブロックアドレスと前記第1の記憶アドレスとの間のマッピング関係を確立するステップと、
前記コントローラによって、第2の書込み要求を受信するステップであって、前記第2の書込み要求は、第2の論理ブロックアドレスおよび第2の書き込まれるべきデータを搬送する、ステップと、
前記コントローラによって、前記第2の書き込まれるべきデータのフィンガープリントを取得するステップであって、前記第2の書き込まれるべきデータの前記フィンガープリントは前記第1のフィンガープリントである、ステップと、
前記コントローラが、前記第2の書き込まれるべきデータの前記第1のフィンガープリントに従って、前記フィンガープリントテーブルを照会して、前記第1のフィンガープリントに対応する記憶アドレスが存在しないと判定した場合、前記コントローラによって、前記記憶デバイスから前記第2の書き込まれるべきデータに第2の記憶アドレスを割り当てるステップと、
前記コントローラによって、前記第2の記憶アドレスに前記第2の書き込まれるべきデータを記憶するステップと、
前記コントローラによって、前記フィンガープリントテーブル内で、前記第1のフィンガープリントと前記第2の記憶アドレスとの間のマッピング関係を確立するステップと、
前記コントローラによって、前記第2の論理ブロックアドレスと前記第2の記憶アドレスとの間のマッピング関係を確立するステップとを含む方法。 - 前記コントローラによって、前記記憶デバイスから前記第1の書き込まれるべきデータに第1の記憶アドレスを割り当てる前記ステップは、具体的には、前記コントローラによって、前記記憶デバイスの第1の記憶領域から前記第1の書き込まれるべきデータに前記第1の記憶アドレスを割り当てるステップを含み、且つ、前記コントローラによって、前記記憶デバイスから前記第2の書き込まれるべきデータに第2の記憶アドレスを割り当てる前記ステップは、具体的には、前記コントローラによって、前記記憶デバイスの第2の記憶領域から前記第2の書き込まれるべきデータに前記第2の記憶アドレスを割り当てるステップを含み、前記第2の記憶領域の記憶性能は前記第1の記憶領域の記憶性能よりも高い、請求項1に記載の方法。
- 前記方法は、
前記コントローラによって、第3の書込み要求を受信するステップであって、前記第3の書込み要求は、第3の論理ブロックアドレスおよび第3の書き込まれるべきデータを搬送する、ステップと、
前記コントローラによって、前記第3の書き込まれるべきデータのフィンガープリントを取得するステップであって、前記第3の書き込まれるべきデータの前記フィンガープリントは前記第1のフィンガープリントである、ステップと、
前記第3の書き込まれるべきデータの前記第1のフィンガープリントに従って、前記フィンガープリントテーブルを照会して、前記第1のフィンガープリントに対応する記憶アドレスが前記第2の記憶アドレスであると判定した場合、前記コントローラによって、前記第3の論理ブロックアドレスと前記第2の記憶アドレスとの間のマッピング関係を確立するステップとをさらに含む、請求項1または2に記載の方法。 - 前記方法は、
前記コントローラによって、前記第2の記憶アドレスの参照回数を前記フィンガープリントテーブル内に記録するステップをさらに含む、請求項1乃至3のいずれか1項に記載の方法。 - 前記方法は、
前記コントローラによって、前記フィンガープリントテーブル内に、前記第1のフィンガープリントが挿入された時刻を記録するステップをさらに含む、請求項1乃至4のいずれか1項に記載の方法。 - 前記方法は、
前記コントローラによって、前記フィンガープリントテーブルから第2のフィンガープリントを削除するステップであって、前記第2のフィンガープリントに対応する記憶アドレスは存在せず、且つ、前記第2のフィンガープリントが前記フィンガープリントテーブル内に存在する期間は事前に設定された期間を超過する、ステップをさらに含む、請求項5に記載の方法。 - 前記方法は、
前記コントローラによって、受信された書込み要求が、そのフィンガープリント値が前記第1のフィンガープリントである書き込まれるべきデータを搬送する回数をカウントし、前記コントローラによって、前記第2の記憶アドレスに前記第2の書き込まれるべきデータを記憶し、前記回数が事前に設定された回数Nよりも大きい場合、前記フィンガープリントテーブル内で、前記第1のフィンガープリントと前記第2の記憶アドレスとの間の前記マッピング関係を確立するステップをさらに含み、Nは1以上の整数である、請求項1に記載の方法。 - 記憶コントローラおよび記憶デバイスを含む記憶システムであって、
前記コントローラは、第1の書込み要求を受信し、第1の書き込まれるべきデータの第1のフィンガープリントを取得し、フィンガープリントテーブルが前記第1のフィンガープリントを含まない場合、前記第1のフィンガープリントを前記フィンガープリントテーブルに挿入し、前記記憶デバイスから前記第1の書き込まれるべきデータに第1の記憶アドレスを割り当て、前記第1の記憶アドレスに前記第1の書き込まれるべきデータを記憶し、第1の論理ブロックアドレスと前記第1の記憶アドレスとの間のマッピング関係を確立するように構成され、前記第1の書込み要求は、前記第1の論理ブロックアドレスおよび前記第1の書き込まれるべきデータを搬送し、
前記コントローラは、第2の書込み要求を受信し、第2の書き込まれるべきデータのフィンガープリントを取得し、前記第2の書き込まれるべきデータの前記第1のフィンガープリントに従って、前記フィンガープリントテーブルを照会して、前記第1のフィンガープリントに対応する記憶アドレスが存在しないと判定した場合、前記記憶デバイスから前記第2の書き込まれるべきデータに第2の記憶アドレスを割り当て、前記第2の記憶アドレスに前記第2の書き込まれるべきデータを記憶し、第2の論理ブロックアドレスと前記第2の記憶アドレスとの間のマッピング関係を確立し、前記フィンガープリントテーブル内で、前記第1のフィンガープリントと前記第2の記憶アドレスとの間のマッピング関係を確立するようにさらに構成され、前記第2の書込み要求は、前記第2の論理ブロックアドレスおよび前記第2の書き込まれるべきデータを搬送し、前記第2の書き込まれるべきデータの前記フィンガープリントは前記第1のフィンガープリントであり、
前記記憶デバイスは、前記第1の記憶アドレスおよび前記第2の記憶アドレスを提供するように構成される、記憶システム。 - 前記コントローラは、具体的には、前記記憶デバイスの第1の記憶領域から前記第1の書き込まれるべきデータに前記第1の記憶アドレスを割り当て、且つ、前記記憶デバイスの第2の記憶領域から前記第2の書き込まれるべきデータに前記第2の記憶アドレスを割り当てるように構成され、前記第2の記憶領域の記憶性能は前記第1の記憶領域の記憶性能よりも高い、請求項8に記載の記憶システム。
- 前記コントローラは、第3の書込み要求を受信し、第3の書き込まれるべきデータのフィンガープリントを取得し、前記第3の書き込まれるべきデータの前記第1のフィンガープリントに従って、前記フィンガープリントテーブルを照会して、前記第1のフィンガープリントに対応する記憶アドレスが前記第2の記憶アドレスであると判定した場合、第3の論理ブロックアドレスと前記第2の記憶アドレスとの間のマッピング関係を確立するようにさらに構成され、前記第3の書込み要求は、前記第3の論理ブロックアドレスおよび前記第3の書き込まれるべきデータを搬送し、前記第3の書き込まれるべきデータの前記フィンガープリントは前記第1のフィンガープリントである、請求項8または9に記載の記憶システム。
- 前記コントローラは、前記第2の記憶アドレスの参照回数を前記フィンガープリントテーブル内に記録するようにさらに構成される、請求項8乃至10のいずれか1項に記載の記憶システム。
- 前記コントローラは、前記フィンガープリントテーブル内に、前記第1のフィンガープリントが挿入された時刻を記録するようにさらに構成される、請求項8乃至11のいずれか1項に記載の記憶システム。
- 前記コントローラは、前記第2のフィンガープリントを削除するようにさらに構成され、前記第2のフィンガープリントに対応する記憶アドレスは存在せず、且つ、前記第2のフィンガープリントが前記フィンガープリントテーブル内に存在する期間は事前に設定された期間を超過する、請求項12に記載の記憶システム。
- 前記コントローラは、受信された書込み要求が、そのフィンガープリント値が前記第1のフィンガープリントである書き込まれるべきデータを搬送する回数をカウントし、前記第2の記憶アドレスに前記第2の書き込まれるべきデータを記憶し、前記回数が事前に設定された回数Nよりも大きい場合、前記フィンガープリントテーブル内で、前記第1のフィンガープリントと前記第2の記憶アドレスとの間の前記マッピング関係を確立するようにさらに構成され、Nは1以上の整数である、請求項8に記載の記憶システム。
- 記憶システムに適用されるコントローラであって、前記記憶システムは前記記憶コントローラおよび記憶デバイスを含み、前記コントローラは、インタフェースおよびプロセッサを含み、前記インタフェースは前記プロセッサと通信し、
前記インタフェースは第1の書込み要求を受信するように構成され、前記第1の書込み要求は、第1の論理ブロックアドレスおよび第1の書き込まれるべきデータを搬送し、
前記プロセッサは、前記第1の書き込まれるべきデータの第1のフィンガープリントを取得し、フィンガープリントテーブルが前記第1のフィンガープリントを含まない場合、前記第1のフィンガープリントを前記フィンガープリントテーブルに挿入し、前記記憶デバイスから前記第1の書き込まれるべきデータに第1の記憶アドレスを割り当て、前記第1の記憶アドレスに前記第1の書き込まれるべきデータを記憶し、前記第1の論理ブロックアドレスと前記第1の記憶アドレスとの間のマッピング関係を確立するように構成され、
前記インタフェースは、第2の書込み要求を受信するようにさらに構成され、前記第2の書込み要求は、第2の論理ブロックアドレスおよび第2の書き込まれるべきデータを搬送し、
前記プロセッサは、前記第2の書き込まれるべきデータのフィンガープリントを取得し、前記第2の書き込まれるべきデータの前記第1のフィンガープリントに従って、前記フィンガープリントテーブルを照会して、前記第1のフィンガープリントに対応する記憶アドレスが前記フィンガープリントテーブル内に存在しないと判定した場合、前記記憶デバイスから前記第2の書き込まれるべきデータに第2の記憶アドレスを割り当て、前記第2の記憶アドレスに前記第2の書き込まれるべきデータを記憶し、前記第2の論理ブロックアドレスと前記第2の記憶アドレスとの間のマッピング関係を確立し、前記フィンガープリントテーブル内で、前記第1のフィンガープリントと前記第2の記憶アドレスとの間のマッピング関係を確立するようにさらに構成され、前記第2の書き込まれるべきデータの前記フィンガープリントは前記第1のフィンガープリントである、コントローラ。 - 前記プロセッサは、具体的には、前記記憶デバイスの第1の記憶領域から前記第1の書き込まれるべきデータに前記第1の記憶アドレスを割り当て、且つ、前記記憶デバイスの第2の記憶領域から前記第2の書き込まれるべきデータに前記第2の記憶アドレスを割り当てるように構成され、前記第2の記憶領域の記憶性能は前記第1の記憶領域の記憶性能よりも高い、請求項15に記載のコントローラ。
- 前記インタフェースは、第3の書込み要求を受信するようにさらに構成され、前記第3の書込み要求は、第3の論理ブロックアドレスおよび第3の書き込まれるべきデータを搬送し、
前記プロセッサは、前記第3の書き込まれるべきデータのフィンガープリントを取得し、前記第3の書き込まれるべきデータの前記第1のフィンガープリントに従って、前記フィンガープリントテーブルを照会して、前記第1のフィンガープリントに対応する記憶アドレスが前記第2の記憶アドレスであると判定した場合、前記第3の論理ブロックアドレスと前記第2の記憶アドレスとの間のマッピング関係を確立するようにさらに構成され、前記第3の書き込まれるべきデータの前記フィンガープリントは前記第1のフィンガープリントである、請求項15または16に記載のコントローラ。 - 前記プロセッサは、前記第2の記憶アドレスの参照回数を前記フィンガープリントテーブル内に記録するようにさらに構成される、請求項15乃至17のいずれか1項に記載のコントローラ。
- 前記プロセッサは、前記フィンガープリントテーブル内に、前記第1のフィンガープリントが挿入された時刻を記録するようにさらに構成される、請求項15乃至18のいずれか1項に記載の記憶システム。
- 前記プロセッサは、前記フィンガープリントテーブルから第2のフィンガープリントを削除するようにさらに構成され、前記第2のフィンガープリントに対応する記憶アドレスは存在せず、且つ、前記第2のフィンガープリントが前記フィンガープリントテーブル内に存在する期間は事前に設定された期間を超過する、請求項19に記載のコントローラ。
- 前記プロセッサは、受信された書込み要求が、そのフィンガープリント値が前記第1のフィンガープリントである書き込まれるべきデータを搬送する回数をカウントし、前記第2の記憶アドレスに前記第2の書き込まれるべきデータを記憶し、前記回数が事前に設定された回数Nよりも大きい場合、前記フィンガープリントテーブル内で、前記第1のフィンガープリントと前記第2の記憶アドレスとの間の前記マッピング関係を確立するようにさらに構成され、Nは1以上の整数である、請求項15に記載のコントローラ。
- 記憶システムに適用されるコントローラであって、前記記憶システムは前記記憶コントローラおよび記憶デバイスを含み、前記コントローラは、受信ユニット、取得ユニット、挿入ユニット、判定ユニット、割り当てユニット、記憶ユニットおよび確立ユニットを含み、
前記受信ユニットは第1の書込み要求を受信するように構成され、前記第1の書込み要求は、第1の論理ブロックアドレスおよび第1の書き込まれるべきデータを搬送し、
前記取得ユニットは、前記第1の書き込まれるべきデータの第1のフィンガープリントを取得するように構成され、
前記挿入ユニットは、フィンガープリントテーブルが前記第1のフィンガープリントを含まない場合、前記第1のフィンガープリントを前記フィンガープリントテーブルに挿入するように構成され、
前記割り当てユニットは、前記記憶デバイスから前記第1の書き込まれるべきデータに第1の記憶アドレスを割り当てるように構成され、
前記記憶ユニットは、前記第1の記憶アドレスに前記第1の書き込まれるべきデータを記憶するように構成され、
前記確立ユニットは、前記第1の論理ブロックアドレスと前記第1の記憶アドレスとの間のマッピング関係を確立するように構成され、
前記受信ユニットは、第2の書込み要求を受信するようにさらに構成され、前記第2の書込み要求は、第2の論理ブロックアドレスおよび第2の書き込まれるべきデータを搬送し、
前記取得ユニットは、前記第2の書き込まれるべきデータのフィンガープリントを取得するようにさらに構成され、前記第2の書き込まれるべきデータの前記フィンガープリントは前記第1のフィンガープリントであり、
前記割り当てユニットは、前記第2の書き込まれるべきデータの前記第1のフィンガープリントに従って、前記フィンガープリントテーブルを照会して、前記第1のフィンガープリントに対応する記憶アドレスが前記フィンガープリントテーブル内に存在しないと判定した場合、前記記憶デバイスから前記第2の書き込まれるべきデータに第2の記憶アドレスを割り当てるようにさらに構成され、
前記記憶ユニットは、前記第2の記憶アドレスに前記第2の書き込まれるべきデータを記憶するようにさらに構成され、
前記確立ユニットは、前記第2の論理ブロックアドレスと前記第2の記憶アドレスとの間のマッピング関係を確立し、前記フィンガープリントテーブル内で、前記第1のフィンガープリントと前記第2の記憶アドレスとの間のマッピング関係を確立するようにさらに構成される、コントローラ。 - 前記割り当てユニットは、具体的には、前記記憶デバイスの第1の記憶領域から前記第1の書き込まれるべきデータに前記第1の記憶アドレスを割り当て、且つ、前記記憶デバイスの第2の記憶領域から前記第2の書き込まれるべきデータに前記第2の記憶アドレスを割り当てるように構成され、前記第2の記憶領域の記憶性能は前記第1の記憶領域の記憶性能よりも高い、請求項22に記載のコントローラ。
- 前記受信ユニットは、第3の書込み要求を受信するようにさらに構成され、前記第3の書込み要求は、第3の論理ブロックアドレスおよび第3の書き込まれるべきデータを搬送し、
前記取得ユニットは、前記第3の書き込まれるべきデータのフィンガープリントを取得するようにさらに構成され、前記第3の書き込まれるべきデータの前記フィンガープリントは前記第1のフィンガープリントであり、
前記確立ユニットは、前記第3の書き込まれるべきデータの前記第1のフィンガープリントに従って、前記フィンガープリントテーブルが照会されて、前記第1のフィンガープリントに対応する記憶アドレスが前記第2の記憶アドレスであると判定した場合、前記第3の論理ブロックアドレスと前記第2の記憶アドレスとの間のマッピング関係を確立するようにさらに構成される、請求項22または23に記載のコントローラ。 - 前記コントローラは記録ユニットをさらに含み、前記記録ユニットは、前記第2の記憶アドレスの参照回数を前記フィンガープリントテーブル内に記録するように構成される、請求項22乃至24のいずれか1項に記載のコントローラ。
- 前記記録ユニットは、前記フィンガープリントテーブル内に、前記第1のフィンガープリントが挿入された時刻を記録するようにさらに構成される、請求項22乃至25のいずれか1項に記載の記憶システム。
- 前記コントローラは削除ユニットをさらに含み、前記削除ユニットは、前記フィンガープリントテーブルから第2のフィンガープリントを削除するように構成され、前記第2のフィンガープリントに対応する記憶アドレスは存在せず、且つ、前記第2のフィンガープリントが前記フィンガープリントテーブル内に存在する期間は事前に設定された期間を超過する、請求項26に記載のコントローラ。
- 前記コントローラは、受信された書込み要求が、そのフィンガープリント値が前記第1のフィンガープリントである書き込まれるべきデータを搬送する回数をカウントするように構成されるカウントユニットをさらに含み、前記記憶ユニットは、前記第2の記憶アドレスに前記第2の書き込まれるべきデータを記憶し、前記確立ユニットは、前記回数が事前に設定された回数Nよりも大きい場合、前記フィンガープリントテーブル内で、前記第1のフィンガープリントと前記第2の記憶アドレスとの間の前記マッピング関係を確立し、Nは1以上の整数である、請求項22に記載のコントローラ。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/100629 WO2018058382A1 (zh) | 2016-09-28 | 2016-09-28 | 一种存储系统中重复数据删除方法、存储系统及控制器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018532166A true JP2018532166A (ja) | 2018-11-01 |
JP6526233B2 JP6526233B2 (ja) | 2019-06-05 |
Family
ID=61763010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017552037A Active JP6526233B2 (ja) | 2016-09-28 | 2016-09-28 | 記憶システムにおける重複排除のための方法、記憶システムおよびコントローラ |
Country Status (7)
Country | Link |
---|---|
US (1) | US10216446B2 (ja) |
EP (2) | EP3767450A1 (ja) |
JP (1) | JP6526233B2 (ja) |
CN (2) | CN109074226B (ja) |
AU (1) | AU2016394896B2 (ja) |
CA (1) | CA2977742C (ja) |
WO (1) | WO2018058382A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110389706B (zh) * | 2018-04-16 | 2021-05-11 | 华为技术有限公司 | 一种指纹回收方法以及存储系统 |
CN114816251A (zh) * | 2019-07-26 | 2022-07-29 | 华为技术有限公司 | 数据处理方法、装置及计算机存储可读存储介质 |
CN110750211B (zh) * | 2019-09-05 | 2021-05-04 | 华为技术有限公司 | 一种存储空间的管理方法及装置 |
CN115237347A (zh) | 2019-10-17 | 2022-10-25 | 华为技术有限公司 | 一种数据存储方法及装置 |
CN110908966B (zh) * | 2019-11-15 | 2022-06-10 | 浪潮电子信息产业股份有限公司 | 一种重删率计算方法、装置、设备及可读存储介质 |
US11416462B2 (en) * | 2020-07-13 | 2022-08-16 | EMC IP Holding Company LLC | Techniques for efficient data deduplication |
CN112214503A (zh) * | 2020-10-10 | 2021-01-12 | 深圳壹账通智能科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN113010549B (zh) * | 2021-01-29 | 2024-07-23 | 腾讯云计算(北京)有限责任公司 | 基于异地多活系统的数据处理方法、相关设备及存储介质 |
CN113050892B (zh) * | 2021-03-26 | 2022-02-25 | 杭州宏杉科技股份有限公司 | 重删数据保护方法及装置 |
CN113553005B (zh) * | 2021-07-06 | 2023-12-22 | 杭州宏杉科技股份有限公司 | 一种精简lun的数据读写方法、装置及设备 |
CN115437579B (zh) * | 2022-11-04 | 2023-03-24 | 苏州浪潮智能科技有限公司 | 一种元数据管理方法、装置、计算机设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013047933A (ja) * | 2011-08-29 | 2013-03-07 | Hitachi Ltd | 階層ストレージシステムの重複排除効率の向上 |
JP2013222230A (ja) * | 2012-04-13 | 2013-10-28 | Hitachi-Lg Data Storage Inc | 情報処理システム |
JP2014199574A (ja) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | ストレージ制御装置、ストレージ制御方法、およびストレージ制御プログラム |
JP2015534684A (ja) * | 2012-09-19 | 2015-12-03 | ヒタチ データ システムズ エンジニアリング ユーケー リミテッドHitachi Data Systems Engineering Uk Limited | ファイルストレージシステムにおけるチェックポイントを用いて重複排除を管理するシステムおよび方法 |
WO2016041127A1 (zh) * | 2014-09-15 | 2016-03-24 | 华为技术有限公司 | 重复数据删除方法和存储阵列 |
JP2016509310A (ja) * | 2013-02-01 | 2016-03-24 | シンボリック アイオー コーポレーション | 格納されたデータにおける冗長削減 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8412682B2 (en) * | 2006-06-29 | 2013-04-02 | Netapp, Inc. | System and method for retrieving and using block fingerprints for data deduplication |
US8171253B2 (en) * | 2009-10-30 | 2012-05-01 | Brocade Communications Systems, Inc. | Virtual disk mapping |
CN101706825B (zh) * | 2009-12-10 | 2011-04-20 | 华中科技大学 | 一种基于文件内容类型的重复数据删除方法 |
CN102156727A (zh) * | 2011-04-01 | 2011-08-17 | 华中科技大学 | 一种采用双指纹哈希校验的重复数据删除方法 |
US8527544B1 (en) * | 2011-08-11 | 2013-09-03 | Pure Storage Inc. | Garbage collection in a storage system |
CN102385554B (zh) * | 2011-10-28 | 2014-01-15 | 华中科技大学 | 重复数据删除系统的优化方法 |
KR20130064518A (ko) * | 2011-12-08 | 2013-06-18 | 삼성전자주식회사 | 저장 장치 및 그것의 동작 방법 |
US9779103B2 (en) * | 2012-04-23 | 2017-10-03 | International Business Machines Corporation | Preserving redundancy in data deduplication systems |
US9424285B1 (en) * | 2012-12-12 | 2016-08-23 | Netapp, Inc. | Content-based sampling for deduplication estimation |
KR20140114515A (ko) * | 2013-03-15 | 2014-09-29 | 삼성전자주식회사 | 불휘발성 메모리 장치 및 그것의 중복 데이터 제거 방법 |
US9342253B1 (en) * | 2013-08-23 | 2016-05-17 | Nutanix, Inc. | Method and system for implementing performance tier de-duplication in a virtualization environment |
WO2015065312A1 (en) * | 2013-10-28 | 2015-05-07 | Hitachi, Ltd. | Method and apparatus of data de-duplication for solid state memory |
CN103930890B (zh) * | 2013-10-30 | 2015-09-23 | 华为技术有限公司 | 数据处理方法、装置及重删处理器 |
CN104123102B (zh) * | 2014-07-25 | 2017-06-20 | 华为技术有限公司 | 一种ip硬盘及其数据处理方法 |
CN104239518B (zh) * | 2014-09-17 | 2017-09-29 | 华为技术有限公司 | 重复数据删除方法和装置 |
US9792069B2 (en) * | 2014-09-29 | 2017-10-17 | Western Digital Technologies, Inc. | Offline deduplication for solid-state storage devices |
US9569114B2 (en) * | 2014-11-14 | 2017-02-14 | Sk Hynix Memory Solutions Inc. | Deduplication using a master and a slave |
CN104536702B (zh) * | 2014-12-31 | 2017-12-15 | 华为技术有限公司 | 一种存储阵列系统及数据写请求处理方法 |
US9699504B2 (en) * | 2015-09-28 | 2017-07-04 | Rovi Guides, Inc. | Systems and methods for identifying a source of media content based on a log of content identifiers |
US9977746B2 (en) * | 2015-10-21 | 2018-05-22 | Hewlett Packard Enterprise Development Lp | Processing of incoming blocks in deduplicating storage system |
CN105701024B (zh) * | 2015-12-31 | 2018-11-06 | 华为技术有限公司 | 一种存储设备及其垃圾数据回收的方法 |
CN105787037B (zh) * | 2016-02-25 | 2019-03-15 | 浪潮(北京)电子信息产业有限公司 | 一种重复数据的删除方法及装置 |
US10585611B2 (en) * | 2016-04-26 | 2020-03-10 | Netapp Inc. | Inline deduplication |
-
2016
- 2016-09-28 AU AU2016394896A patent/AU2016394896B2/en active Active
- 2016-09-28 CN CN201680003119.1A patent/CN109074226B/zh active Active
- 2016-09-28 EP EP20180403.6A patent/EP3767450A1/en active Pending
- 2016-09-28 WO PCT/CN2016/100629 patent/WO2018058382A1/zh active Application Filing
- 2016-09-28 EP EP16894804.0A patent/EP3321792B1/en active Active
- 2016-09-28 JP JP2017552037A patent/JP6526233B2/ja active Active
- 2016-09-28 CN CN202010124802.9A patent/CN111427855B/zh active Active
- 2016-09-28 CA CA2977742A patent/CA2977742C/en active Active
-
2018
- 2018-04-23 US US15/960,546 patent/US10216446B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013047933A (ja) * | 2011-08-29 | 2013-03-07 | Hitachi Ltd | 階層ストレージシステムの重複排除効率の向上 |
JP2013222230A (ja) * | 2012-04-13 | 2013-10-28 | Hitachi-Lg Data Storage Inc | 情報処理システム |
JP2015534684A (ja) * | 2012-09-19 | 2015-12-03 | ヒタチ データ システムズ エンジニアリング ユーケー リミテッドHitachi Data Systems Engineering Uk Limited | ファイルストレージシステムにおけるチェックポイントを用いて重複排除を管理するシステムおよび方法 |
JP2016509310A (ja) * | 2013-02-01 | 2016-03-24 | シンボリック アイオー コーポレーション | 格納されたデータにおける冗長削減 |
JP2014199574A (ja) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | ストレージ制御装置、ストレージ制御方法、およびストレージ制御プログラム |
WO2016041127A1 (zh) * | 2014-09-15 | 2016-03-24 | 华为技术有限公司 | 重复数据删除方法和存储阵列 |
Also Published As
Publication number | Publication date |
---|---|
CN111427855B (zh) | 2024-04-12 |
EP3767450A1 (en) | 2021-01-20 |
CA2977742A1 (en) | 2018-03-28 |
CN111427855A (zh) | 2020-07-17 |
CA2977742C (en) | 2024-04-16 |
JP6526233B2 (ja) | 2019-06-05 |
WO2018058382A1 (zh) | 2018-04-05 |
US20180239553A1 (en) | 2018-08-23 |
AU2016394896B2 (en) | 2018-08-09 |
CN109074226B (zh) | 2020-03-20 |
US10216446B2 (en) | 2019-02-26 |
EP3321792B1 (en) | 2020-07-29 |
CN109074226A (zh) | 2018-12-21 |
EP3321792A4 (en) | 2018-07-04 |
EP3321792A1 (en) | 2018-05-16 |
BR112017019142A8 (pt) | 2019-01-22 |
AU2016394896A1 (en) | 2018-04-12 |
BR112017019142A2 (pt) | 2018-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6526233B2 (ja) | 記憶システムにおける重複排除のための方法、記憶システムおよびコントローラ | |
US10248623B1 (en) | Data deduplication techniques | |
US10169365B2 (en) | Multiple deduplication domains in network storage system | |
US10747440B2 (en) | Storage system and storage system management method | |
US8984221B2 (en) | Method for assigning storage area and computer system using the same | |
CN107209714B (zh) | 分布式存储系统及分布式存储系统的控制方法 | |
JP5309259B2 (ja) | ストレージ装置及びその制御方法 | |
WO2017149592A1 (ja) | ストレージ装置 | |
WO2019000949A1 (zh) | 分布式存储系统中元数据存储方法、系统及存储介质 | |
US11899533B2 (en) | Stripe reassembling method in storage system and stripe server | |
US10114566B1 (en) | Systems, devices and methods using a solid state device as a caching medium with a read-modify-write offload algorithm to assist snapshots | |
US10365846B2 (en) | Storage controller, system and method using management information indicating data writing to logical blocks for deduplication and shortened logical volume deletion processing | |
US11513702B2 (en) | Placement of metadata on data storage drives in a first storage enclosure of a data storage system | |
US11226769B2 (en) | Large-scale storage system and data placement method in large-scale storage system | |
US10853257B1 (en) | Zero detection within sub-track compression domains | |
US10929032B1 (en) | Host hinting for smart disk allocation to improve sequential access performance | |
US11144445B1 (en) | Use of compression domains that are more granular than storage allocation units | |
US10055354B1 (en) | Systems, devices and methods using a solid state device as a caching medium with a hashing algorithm to maintain sibling proximity | |
US11947803B2 (en) | Effective utilization of different drive capacities | |
BR112017019142B1 (pt) | Método para deduplicação em sistema de armazenamento, sistema de armazenamento e controlador |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171003 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6526233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |