JP2016189225A - ストレージ・デバイスによって支援されるデータ重複排除 - Google Patents
ストレージ・デバイスによって支援されるデータ重複排除 Download PDFInfo
- Publication number
- JP2016189225A JP2016189225A JP2016154509A JP2016154509A JP2016189225A JP 2016189225 A JP2016189225 A JP 2016189225A JP 2016154509 A JP2016154509 A JP 2016154509A JP 2016154509 A JP2016154509 A JP 2016154509A JP 2016189225 A JP2016189225 A JP 2016189225A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage device
- input
- module
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0688—Non-volatile semiconductor memory arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System (AREA)
- Storage Device Security (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
【解決手段】一実施形態(100)においては、入力/出力モジュール(101)が、データを書き込むための入力/出力オペレーションを生成するように機能することができる。ストレージ・デバイス(102)が、入力/出力モジュールに通信可能に結合されており、入力/出力オペレーションのデータをそのストレージ・デバイスの論理アドレスに書き込むように、およびそのデータに基づいて署名を生成するように機能することができる。入力/出力モジュールはさらに、その署名を処理して、そのデータが別の論理アドレスに存在しているかどうかを判定するように機能することができる。
【選択図】図2
Description
本特許出願は、(2013年3月14日に出願された)米国特許仮出願第61/782,122号に対する優先権を、ひいてはその仮出願の早い出願日の利益を主張するものであり、その仮出願の全内容は、参照によって本明細書に組み込まれている。
ホスト・システム502のユーザは、アプリケーション・ソフトウェア509上で操作を行うこと、またはアプリケーション・ソフトウェア509を介して何らかのデータを生成することが可能である。オペレーティング・システム505によって提供されるオペレーティング・システム環境内で機能するアプリケーション・ソフトウェア509は、ネットワーク519(たとえば、インターネットなどのデータ・ネットワーク、ローカル・エリア・ネットワーク、ワイドエリア・ネットワークなど)を通じてサーバ518にデータを転送すること、またはサーバ518との間でその他の形でデータを格納することを必要とする場合がある。したがって、アプリケーション・ソフトウェア509は、サーバ518の論理アドレスに対する書き込みI/Oコマンドを生成するようI/Oおよびストレージ・モジュール517に指示することができる。代替として、または追加として、アプリケーション・ソフトウェア509は、SSD400のうちの1つの中にデータを格納するためのストレージ・モジュール516用の書き込みI/Oコマンドを生成するよう、ドライバ507に指示することができる。
Claims (10)
- データを書き込むための入力/出力オペレーションを生成するように機能することができる、入力/出力モジュール(101)と、
前記入力/出力モジュールに通信可能に結合されているストレージ・デバイス(102)であり、前記入力/出力オペレーションの前記データを前記ストレージ・デバイスの論理アドレスに書き込むように、および前記データに基づいて署名を生成するように機能することができる、ストレージ・デバイス(102)と、
を含むことを特徴とするシステム(100)であって、
前記入力/出力モジュールがさらに、前記署名を処理して、前記データが他の論理アドレスに存在しているかどうかを判定するように機能することができる、システム。 - 前記データが前記他の論理アドレスに存在していると判定すると、前記入力/出力モジュールがさらに、前記ストレージ・デバイスの前記論理アドレスにおけるストレージ・スペースを割り当て解除するよう、前記ストレージ・デバイスに指示するように機能することができる、
請求項1に記載のシステム。 - 前記他の論理アドレスが、他のストレージ・デバイス内に位置している、
請求項1に記載のシステム。 - 前記ストレージ・デバイスがさらに、ハッシュ・コードを使用して前記署名を生成するように機能することができる、
請求項1に記載のシステム。 - 前記ストレージ・デバイスがさらに、前記入力/出力オペレーションの前記データを前記ストレージ・デバイスの不揮発性メモリに書き込むように、及び、前記入力/出力オペレーションのステータスを前記入力/出力モジュールへ返すように、機能することができる、
請求項1に記載のシステム。 - ストレージ・デバイスの論理アドレスにデータを書き込むための入力/出力オペレーションを生成するステップ(201)と、
前記データに従って前記ストレージ・デバイスによって生成された署名を受信するステップ(202)と、
前記入力/出力オペレーションの前記データが前記ストレージ・デバイスによって書き込まれた旨の肯定応答を受信するステップ(203)と、
前記署名を処理して、前記データが他の論理アドレスに存在しているかどうかを判定するステップ(204)と、
を含むことを特徴とする、方法(200)。 - 他のストレージ・デバイス内の前記他の論理アドレスを検知するステップ、
をさらに含む、請求項6に記載の方法。 - 前記データが前記他の論理アドレスに存在していると判定すると、前記ストレージ・デバイスの前記論理アドレスにおける前記データを割り当て解除するよう、前記ストレージ・デバイスに指示するステップ、
をさらに含む、請求項6に記載の方法。 - ハッシュ・コードを使用して前記署名を生成するステップ、
をさらに含む、請求項6に記載の方法。 - 前記入力/出力オペレーションの前記データを前記ストレージ・デバイスの不揮発性メモリに書き込むステップ、および
前記ストレージ・デバイスからの前記書き込みのステータスを処理して、前記書き込みが成功したかどうかを判定するステップ、
をさらに含む、請求項6に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361782122P | 2013-03-14 | 2013-03-14 | |
US61/782,122 | 2013-03-14 | ||
US13/939,345 US20140281155A1 (en) | 2013-03-14 | 2013-07-11 | Storage device assisted data de-duplication |
US13/939,345 | 2013-07-11 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014050312A Division JP2014179094A (ja) | 2013-03-14 | 2014-03-13 | ストレージ・デバイスによって支援されるデータ重複排除 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016189225A true JP2016189225A (ja) | 2016-11-04 |
Family
ID=50486737
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014050312A Pending JP2014179094A (ja) | 2013-03-14 | 2014-03-13 | ストレージ・デバイスによって支援されるデータ重複排除 |
JP2016154509A Pending JP2016189225A (ja) | 2013-03-14 | 2016-08-05 | ストレージ・デバイスによって支援されるデータ重複排除 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014050312A Pending JP2014179094A (ja) | 2013-03-14 | 2014-03-13 | ストレージ・デバイスによって支援されるデータ重複排除 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20140281155A1 (ja) |
EP (1) | EP2778890A3 (ja) |
JP (2) | JP2014179094A (ja) |
KR (1) | KR20140113565A (ja) |
CN (1) | CN104049911A (ja) |
TW (1) | TWI521425B (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102140792B1 (ko) * | 2013-12-24 | 2020-08-03 | 삼성전자주식회사 | 데이터 중복 제거를 수행할 수 있는 데이터 저장 장치의 동작 방법들 |
TWI540582B (zh) * | 2014-07-10 | 2016-07-01 | 群聯電子股份有限公司 | 資料管理方法、記憶體控制電路單元以及記憶體儲存裝置 |
EP3204859B1 (en) * | 2014-10-07 | 2020-12-02 | Google LLC | Methods and systems for cache lines de-duplication |
CN104391915B (zh) * | 2014-11-19 | 2016-02-24 | 湖南国科微电子股份有限公司 | 一种数据重删方法 |
US10437784B2 (en) * | 2015-01-30 | 2019-10-08 | SK Hynix Inc. | Method and system for endurance enhancing, deferred deduplication with hardware-hash-enabled storage device |
WO2017068617A1 (ja) * | 2015-10-19 | 2017-04-27 | 株式会社日立製作所 | ストレージシステム |
US9983821B2 (en) * | 2016-03-29 | 2018-05-29 | Samsung Electronics Co., Ltd. | Optimized hopscotch multiple hash tables for efficient memory in-line deduplication application |
US10409518B1 (en) | 2017-04-20 | 2019-09-10 | Seagate Technology Llc | Reordered local data deduplication in storage devices |
US11010233B1 (en) | 2018-01-18 | 2021-05-18 | Pure Storage, Inc | Hardware-based system monitoring |
US11651075B2 (en) | 2019-11-22 | 2023-05-16 | Pure Storage, Inc. | Extensible attack monitoring by a storage system |
US11520907B1 (en) | 2019-11-22 | 2022-12-06 | Pure Storage, Inc. | Storage system snapshot retention based on encrypted data |
US11675898B2 (en) | 2019-11-22 | 2023-06-13 | Pure Storage, Inc. | Recovery dataset management for security threat monitoring |
US11500788B2 (en) * | 2019-11-22 | 2022-11-15 | Pure Storage, Inc. | Logical address based authorization of operations with respect to a storage system |
US11720692B2 (en) | 2019-11-22 | 2023-08-08 | Pure Storage, Inc. | Hardware token based management of recovery datasets for a storage system |
US11657155B2 (en) | 2019-11-22 | 2023-05-23 | Pure Storage, Inc | Snapshot delta metric based determination of a possible ransomware attack against data maintained by a storage system |
US11341236B2 (en) | 2019-11-22 | 2022-05-24 | Pure Storage, Inc. | Traffic-based detection of a security threat to a storage system |
US11687418B2 (en) | 2019-11-22 | 2023-06-27 | Pure Storage, Inc. | Automatic generation of recovery plans specific to individual storage elements |
US11720714B2 (en) * | 2019-11-22 | 2023-08-08 | Pure Storage, Inc. | Inter-I/O relationship based detection of a security threat to a storage system |
US11615185B2 (en) | 2019-11-22 | 2023-03-28 | Pure Storage, Inc. | Multi-layer security threat detection for a storage system |
US11941116B2 (en) | 2019-11-22 | 2024-03-26 | Pure Storage, Inc. | Ransomware-based data protection parameter modification |
US11755751B2 (en) | 2019-11-22 | 2023-09-12 | Pure Storage, Inc. | Modify access restrictions in response to a possible attack against data stored by a storage system |
US11625481B2 (en) * | 2019-11-22 | 2023-04-11 | Pure Storage, Inc. | Selective throttling of operations potentially related to a security threat to a storage system |
US11645162B2 (en) | 2019-11-22 | 2023-05-09 | Pure Storage, Inc. | Recovery point determination for data restoration in a storage system |
KR102267477B1 (ko) | 2020-02-20 | 2021-06-22 | 삼성전자주식회사 | 스토리지 장치 및 이의 동작 방법 |
CN114077569B (zh) | 2020-08-18 | 2023-07-18 | 富泰华工业(深圳)有限公司 | 压缩数据的方法及设备、解压缩数据的方法及设备 |
TWI758825B (zh) * | 2020-08-18 | 2022-03-21 | 鴻海精密工業股份有限公司 | 壓縮資料之方法及設備、解壓縮資料之方法及設備 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008009859A (ja) * | 2006-06-30 | 2008-01-17 | Canon Inc | 検索インデックス作成装置及び検索インデックス作成方法 |
US20110055471A1 (en) * | 2009-08-28 | 2011-03-03 | Jonathan Thatcher | Apparatus, system, and method for improved data deduplication |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2414926A1 (en) * | 2009-09-18 | 2012-02-08 | Hitachi, Ltd. | Storage system for eliminating duplicated data |
US8156306B1 (en) * | 2009-12-18 | 2012-04-10 | Emc Corporation | Systems and methods for using thin provisioning to reclaim space identified by data reduction processes |
US9223511B2 (en) * | 2011-04-08 | 2015-12-29 | Micron Technology, Inc. | Data deduplication |
-
2013
- 2013-07-11 US US13/939,345 patent/US20140281155A1/en not_active Abandoned
-
2014
- 2014-03-13 TW TW103109141A patent/TWI521425B/zh not_active IP Right Cessation
- 2014-03-13 JP JP2014050312A patent/JP2014179094A/ja active Pending
- 2014-03-14 EP EP14160056.9A patent/EP2778890A3/en not_active Withdrawn
- 2014-03-14 CN CN201410165333.XA patent/CN104049911A/zh active Pending
- 2014-03-14 KR KR1020140030596A patent/KR20140113565A/ko not_active Application Discontinuation
-
2016
- 2016-08-05 JP JP2016154509A patent/JP2016189225A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008009859A (ja) * | 2006-06-30 | 2008-01-17 | Canon Inc | 検索インデックス作成装置及び検索インデックス作成方法 |
US20110055471A1 (en) * | 2009-08-28 | 2011-03-03 | Jonathan Thatcher | Apparatus, system, and method for improved data deduplication |
Also Published As
Publication number | Publication date |
---|---|
JP2014179094A (ja) | 2014-09-25 |
EP2778890A3 (en) | 2017-05-03 |
CN104049911A (zh) | 2014-09-17 |
TWI521425B (zh) | 2016-02-11 |
EP2778890A2 (en) | 2014-09-17 |
US20140281155A1 (en) | 2014-09-18 |
KR20140113565A (ko) | 2014-09-24 |
TW201506769A (zh) | 2015-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016189225A (ja) | ストレージ・デバイスによって支援されるデータ重複排除 | |
US9996435B2 (en) | Reliability scheme using hybrid SSD/HDD replication with log structured management | |
US8850114B2 (en) | Storage array controller for flash-based storage devices | |
US8583853B1 (en) | Error-handling for write-distribute command in raid mirroring | |
US9304685B2 (en) | Storage array system and non-transitory recording medium storing control program | |
US9311002B1 (en) | Systems, methods, and computer readable media for compressing data at a virtually provisioned storage entity | |
US20150331624A1 (en) | Host-controlled flash translation layer snapshot | |
KR20180091296A (ko) | 손상된 메타 데이터를 처리하는 스토리지 장치 및 상기 스토리지 장치의 동작 방법 | |
US10019315B2 (en) | Control device for a storage apparatus, system, and method of controlling a storage apparatus | |
US20180089088A1 (en) | Apparatus and method for persisting blocks of data and metadata in a non-volatile memory (nvm) cache | |
KR20120115012A (ko) | 데이터 저장 장치 및 그것의 동작 방법 | |
CN109522154B (zh) | 数据恢复方法及相关设备与系统 | |
US10459803B2 (en) | Method for management tables recovery | |
EP3629142A2 (en) | Method of operating storage device, storage device performing the same and storage system including the same | |
US11042316B1 (en) | Reordered data deduplication in storage devices | |
US10031689B2 (en) | Stream management for storage devices | |
KR20210041158A (ko) | 기입 오류가 발생한 데이터를 복구하는 메모리 시스템 및 호스트의 동작 방법 | |
KR102094475B1 (ko) | 멀티-트랜잭션의 아토믹 라이트 방법 | |
KR20230172394A (ko) | 캐시 일관된 상호 연결 저장 장치에서 raid 회로를 사용하는 중복 배열 독립 디스크 시스템 및 방법 | |
JP6817340B2 (ja) | 計算機 | |
CN111752475B (zh) | 在存储服务器中进行数据存取管理的方法与装置 | |
JP6318769B2 (ja) | ストレージ制御装置、制御プログラム、および制御方法 | |
US11893269B2 (en) | Apparatus and method for improving read performance in a system | |
KR20190076589A (ko) | 플래시 메모리 컨트롤러의 에러 정정 방법 | |
WO2015118680A1 (ja) | ストレージ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160830 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180614 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181120 |