JP2018527681A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2018527681A5 JP2018527681A5 JP2018514841A JP2018514841A JP2018527681A5 JP 2018527681 A5 JP2018527681 A5 JP 2018527681A5 JP 2018514841 A JP2018514841 A JP 2018514841A JP 2018514841 A JP2018514841 A JP 2018514841A JP 2018527681 A5 JP2018527681 A5 JP 2018527681A5
- Authority
- JP
- Japan
- Prior art keywords
- signature
- information
- data
- ssd
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000007787 solid Substances 0.000 claims 3
- 230000011664 signaling Effects 0.000 claims 2
Claims (20)
- ソリッドステートドライブ(SSD)のための、コントローラによって実行されるデータ重複排除の方法であって、前記方法は、
前記コントローラによって、中央処理装置(CPU)から、データのブロックに対する署名を受信するステップと、
前記コントローラによって、前記署名が署名ライブラリ内の情報と一致するかを判定するステップと、
前記コントローラから前記CPUに、前記判定の結果を示す信号を送信するステップと
を含み、
前記署名が署名ライブラリ内の前記情報と一致する場合、前記信号は、前記データのブロックが前記SSD上に既に格納されていることを示す第1の値を有し、さらに、前記署名が前記署名ライブラリ内の前記情報と一致しない場合、前記信号は、前記第1の値とは異なる第2の値を有する、方法。 - 前記方法は、さらに、
前記コントローラによって、前記CPUから、前記署名に関連付けられたアドレスを受信するステップであって、前記コントローラは、前記署名ライブラリ内のエントリにインデックス付けするために前記アドレスを用いる、ステップと、
前記コントローラによって、前記署名が前記署名ライブラリ内の前記エントリにある前記情報と一致するかを判定するステップとを含む、
請求項1に記載の方法。 - 前記信号は、1つのバイナリビットを含み、前記1つのバイナリビットは、前記署名が前記署名ライブラリ内の情報と一致する場合、前記第1の値であり、前記署名が前記署名ライブラリ内の情報と一致しない場合、前記第2の値である、
請求項1に記載の方法。 - 前記署名が前記署名ライブラリ内の情報と一致する場合、前記方法はさらに、前記データのブロックに関連付けられたカウンタをインクリメントするステップを含む、
請求項1に記載の方法。 - 前記署名が前記署名ライブラリ内の情報と一致しない場合、前記方法はさらに、
前記データのブロックを受信し、前記データのブロックを前記SSDに書き込むステップと、
前記署名を前記署名ライブラリに追加し、前記データのブロックに関連付けられたカウンタをインクリメントするステップとを含む、
請求項1に記載の方法。 - 前記コントローラは、前記署名と前記署名ライブラリ内の情報とを比較する重複排除プロセッサを備える、
請求項1に記載の方法。 - 前記重複排除プロセッサは、前記署名と前記署名ライブラリ内の情報とのビット単位での比較を実行する複数のゲートを備える、
請求項6に記載の方法。 - 前記SSDは、SATA(Serial Advanced Technology Attachment)SSDである、
請求項1に記載の方法。 - 中央処理装置(CPU)及びソリッドステートドライブ(SSD)を備えるサーバによって実行されるデータ重複排除方法であって、前記SSDは、コントローラを備え、前記方法は、
クライアントから、データのブロックに対する署名を受信するステップと、
前記署名に基づいてアドレスを判定するステップと、
前記コントローラで、前記アドレスを使用して、署名ライブラリ内のエントリを特定するステップと、
前記コントローラで、前記署名と前記署名ライブラリ内の前記エントリにある情報とを比較するステップと、
前記コントローラで、前記署名が前記情報と一致するか否かを示す信号を生成するステップとを含み、前記署名と前記情報とが一致する場合、前記データのブロックが前記SSDに既に格納されており、前記署名と前記情報とが一致しない場合、前記方法はさらに、
前記クライアントにシグナリングするステップと、
前記シグナリングへの応答として前記クライアントからの前記データのブロックを受信するステップと、
前記データのブロックを前記SSDに書き込むステップと
を含む、方法。 - 前記信号は、1つのバイナリビットを含み、前記1つのバイナリビットは、前記署名と前記情報とが一致する場合、第1の値であり、前記署名と前記情報とが一致しない場合、第2の値である、
請求項9に記載の方法。 - 前記署名と前記情報とが一致する場合、前記方法はさらに、前記データのブロックに関連付けられたカウンタをインクリメントするステップを含む、
請求項9に記載の方法。 - 前記署名と前記情報とが一致しない場合、前記方法はさらに、前記署名を前記署名ライブラリに追加し、前記データのブロックに関連付けられたカウンタをインクリメントするステップを含む、
請求項9に記載の方法。 - 前記コントローラは、複数の排他的OR(XOR)ゲートを備え、前記複数のゲートの各ゲートは、前記署名からのビット値と前記署名ライブラリ内の前記情報からの各ビット値とを比較する、
請求項9に記載の方法。 - 前記SSDは、SATA(Serial Advanced Technology Attachment)SSDである、
請求項9に記載の方法。 - ソリッドステートドライブ(SSD)であって、
複数のストレージエレメントと、
前記ストレージエレメントに接続されるコントローラとを備え、
前記コントローラは、中央処理装置(CPU)から、データのブロックに対する署名及び前記署名に基づくアドレスを受信するように動作可能であり、前記署名は、前記CPUによって前記データのブロックのソースから受信され、
前記コントローラは、前記署名と署名ライブラリ内のエントリにある情報とを比較するため、前記署名が前記情報と一致するか否かを示す信号を生成するため、そして、前記信号を前記CPUに送信するために、前記アドレスを用いて前記署名ライブラリ内のエントリを特定するように動作可能であり、
前記コントローラはさらに、前記署名が前記署名ライブラリ内の前記情報と一致しないことを示す信号への応答として前記データのブロックが受信されるとき、前記データのブロックを、前記複数のストレージエレメントに属するストレージエレメントに書き込むように動作可能である、SSD。 - 前記信号は、1つのバイナリビットを含み、前記1つのバイナリビットは、前記署名と前記情報とが一致する場合、第1の値であり、前記署名と前記情報とが一致しない場合、第2の値である、
請求項15に記載のSSD。 - 前記署名と前記情報とが一致する場合、前記データのブロックに関連付けられたカウンタがインクリメントされる、
請求項15に記載のSSD。 - 前記署名と前記情報とが一致しない場合、前記署名は、前記署名ライブラリに追加され、前記データのブロックに関連付けられたカウンタがインクリメントされる、
請求項15に記載のSSD。 - 前記コントローラは、前記署名と前記情報とを比較する重複排除プロセッサを備え、前記重複排除プロセッサは、複数の排他的OR(XOR)ゲートを含み、前記複数のゲートの各ゲートは、前記署名からのビット値と前記署名ライブラリからの前記情報からの各ビット値とを比較する、
請求項15に記載のSSD。 - 前記SSDは、SATA(Serial Advanced Technology Attachment)SSDであり、前記ストレージエレメントは、NANDダイを含む、
請求項15に記載のSSD。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/858,257 | 2015-09-18 | ||
US14/858,257 US9665287B2 (en) | 2015-09-18 | 2015-09-18 | Data deduplication using a solid state drive controller |
PCT/US2016/052222 WO2017049142A1 (en) | 2015-09-18 | 2016-09-16 | Data deduplication using a solid state drive controller |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018527681A JP2018527681A (ja) | 2018-09-20 |
JP2018527681A5 true JP2018527681A5 (ja) | 2019-09-26 |
Family
ID=58282696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018514841A Pending JP2018527681A (ja) | 2015-09-18 | 2016-09-16 | ソリッドステートドライブコントローラを使用するデータ重複排除 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9665287B2 (ja) |
EP (1) | EP3350683B1 (ja) |
JP (1) | JP2018527681A (ja) |
KR (1) | KR20180052739A (ja) |
CN (1) | CN108027713B (ja) |
WO (1) | WO2017049142A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9665287B2 (en) | 2015-09-18 | 2017-05-30 | Alibaba Group Holding Limited | Data deduplication using a solid state drive controller |
US10318202B2 (en) * | 2017-03-20 | 2019-06-11 | Via Technologies, Inc. | Non-volatile memory apparatus and data deduplication method thereof |
CN107402725B (zh) * | 2017-03-20 | 2020-08-25 | 威盛电子股份有限公司 | 非易失性存储装置及其数据去重复方法 |
CN109669623B (zh) * | 2017-10-13 | 2021-09-03 | 杭州海康威视系统技术有限公司 | 一种文件管理方法、文件管理装置、电子设备及存储介质 |
CN108920964B (zh) * | 2018-06-21 | 2020-09-29 | 深圳忆联信息系统有限公司 | 可重构硬件加解密方法、系统、计算机设备及存储介质 |
CN109062514B (zh) * | 2018-08-16 | 2021-08-31 | 郑州云海信息技术有限公司 | 一种基于命名空间的带宽控制方法、装置和存储介质 |
CN110968537B (zh) * | 2018-09-28 | 2021-02-02 | 方一信息科技(上海)有限公司 | 一种基于pcie ssd的fpga搜索匹配方法 |
US11029874B2 (en) | 2019-07-30 | 2021-06-08 | Western Digital Technologies, Inc. | Rolling XOR protection in efficient pipeline |
KR20210034897A (ko) | 2019-09-23 | 2021-03-31 | 삼성전자주식회사 | 스토리지 장치 및 그것의 동작 방법 |
CN113365282B (zh) * | 2021-06-22 | 2023-04-07 | 成都信息工程大学 | 一种wsn障碍性区域覆盖部署方法 |
US12007968B2 (en) | 2022-05-26 | 2024-06-11 | International Business Machines Corporation | Full allocation volume to deduplication volume migration in a storage system |
Family Cites Families (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636767B2 (en) | 2005-11-29 | 2009-12-22 | Cisco Technology, Inc. | Method and apparatus for reducing network traffic over low bandwidth links |
US8412682B2 (en) | 2006-06-29 | 2013-04-02 | Netapp, Inc. | System and method for retrieving and using block fingerprints for data deduplication |
US7840537B2 (en) | 2006-12-22 | 2010-11-23 | Commvault Systems, Inc. | System and method for storing redundant information |
US7761425B1 (en) * | 2007-03-29 | 2010-07-20 | Symantec Corporation | Low-overhead means of performing data backup |
US20090132616A1 (en) | 2007-10-02 | 2009-05-21 | Richard Winter | Archival backup integration |
US7962452B2 (en) | 2007-12-28 | 2011-06-14 | International Business Machines Corporation | Data deduplication by separating data from meta data |
US8825617B2 (en) | 2008-03-14 | 2014-09-02 | International Business Machines Corporation | Limiting deduplication based on predetermined criteria |
US7567188B1 (en) | 2008-04-10 | 2009-07-28 | International Business Machines Corporation | Policy based tiered data deduplication strategy |
US20090307416A1 (en) | 2008-06-04 | 2009-12-10 | Intitio Corporation | Ssd with a controller accelerator |
US7814149B1 (en) | 2008-09-29 | 2010-10-12 | Symantec Operating Corporation | Client side data deduplication |
US8626723B2 (en) | 2008-10-14 | 2014-01-07 | Vmware, Inc. | Storage-network de-duplication |
US8082228B2 (en) * | 2008-10-31 | 2011-12-20 | Netapp, Inc. | Remote office duplication |
JP5444728B2 (ja) * | 2009-01-26 | 2014-03-19 | 日本電気株式会社 | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
US8407186B1 (en) | 2009-03-31 | 2013-03-26 | Symantec Corporation | Systems and methods for data-selection-specific data deduplication |
US8812874B1 (en) | 2009-03-31 | 2014-08-19 | Symantec Corporation | Content deduplication in enterprise rights management |
US8281066B1 (en) * | 2009-04-30 | 2012-10-02 | Netapp, Inc. | System and method for real-time deduplication utilizing an electronic storage medium |
CN101882141A (zh) * | 2009-05-08 | 2010-11-10 | 北京众志和达信息技术有限公司 | 一种实现重复数据数据删除的方法和系统 |
US8442954B2 (en) | 2009-07-21 | 2013-05-14 | Stephen Philip SPACKMAN | Creating and managing links to deduplication information |
US8204867B2 (en) | 2009-07-29 | 2012-06-19 | International Business Machines Corporation | Apparatus, system, and method for enhanced block-level deduplication |
US20110093439A1 (en) | 2009-10-16 | 2011-04-21 | Fanglu Guo | De-duplication Storage System with Multiple Indices for Efficient File Storage |
US8321648B2 (en) | 2009-10-26 | 2012-11-27 | Netapp, Inc | Use of similarity hash to route data for improved deduplication in a storage server cluster |
US8478933B2 (en) | 2009-11-24 | 2013-07-02 | International Business Machines Corporation | Systems and methods for performing deduplicated data processing on tape |
US8407193B2 (en) | 2010-01-27 | 2013-03-26 | International Business Machines Corporation | Data deduplication for streaming sequential data storage applications |
JP5434705B2 (ja) | 2010-03-12 | 2014-03-05 | 富士通株式会社 | ストレージ装置、ストレージ装置制御プログラムおよびストレージ装置制御方法 |
US8370593B2 (en) | 2010-04-14 | 2013-02-05 | Hitachi, Ltd. | Method and apparatus to manage groups for deduplication |
WO2011133443A1 (en) | 2010-04-19 | 2011-10-27 | Greenbytes, Inc. | A method for optimizing the memory usage and performance of data deduplication storage systems |
US8639658B1 (en) | 2010-04-21 | 2014-01-28 | Symantec Corporation | Cache management for file systems supporting shared blocks |
US8935487B2 (en) * | 2010-05-05 | 2015-01-13 | Microsoft Corporation | Fast and low-RAM-footprint indexing for data deduplication |
US9053032B2 (en) | 2010-05-05 | 2015-06-09 | Microsoft Technology Licensing, Llc | Fast and low-RAM-footprint indexing for data deduplication |
US8489855B2 (en) | 2010-05-07 | 2013-07-16 | Ocz Technology Group Inc. | NAND flash-based solid state drive and method of operation |
US20120173795A1 (en) * | 2010-05-25 | 2012-07-05 | Ocz Technology Group, Inc. | Solid state drive with low write amplification |
US8370315B1 (en) | 2010-05-28 | 2013-02-05 | Symantec Corporation | System and method for high performance deduplication indexing |
US9092151B1 (en) | 2010-09-17 | 2015-07-28 | Permabit Technology Corporation | Managing deduplication of stored data |
US10162553B2 (en) * | 2010-11-24 | 2018-12-25 | Western Digital Technologies, Inc. | Methods and systems for object level de-duplication for solid state devices |
US8898119B2 (en) | 2010-12-15 | 2014-11-25 | Netapp, Inc. | Fingerprints datastore and stale fingerprint removal in de-duplication environments |
US8332372B2 (en) | 2010-12-16 | 2012-12-11 | International Business Machines Corporation | Method and system for processing data |
US8495304B1 (en) | 2010-12-23 | 2013-07-23 | Emc Corporation | Multi source wire deduplication |
US9116909B2 (en) * | 2010-12-29 | 2015-08-25 | Amazon Technologies, Inc. | Reduced bandwidth data uploading in data systems |
AU2011382479B2 (en) * | 2010-12-29 | 2015-07-30 | Amazon Technologies, Inc. | Receiver-side data deduplication in data systems |
US9223511B2 (en) | 2011-04-08 | 2015-12-29 | Micron Technology, Inc. | Data deduplication |
US8600949B2 (en) | 2011-06-21 | 2013-12-03 | Netapp, Inc. | Deduplication in an extent-based architecture |
US8589640B2 (en) * | 2011-10-14 | 2013-11-19 | Pure Storage, Inc. | Method for maintaining multiple fingerprint tables in a deduplicating storage system |
US8533231B2 (en) | 2011-08-12 | 2013-09-10 | Nexenta Systems, Inc. | Cloud storage system with distributed metadata |
US8484170B2 (en) | 2011-09-19 | 2013-07-09 | International Business Machines Corporation | Scalable deduplication system with small blocks |
US8620886B1 (en) * | 2011-09-20 | 2013-12-31 | Netapp Inc. | Host side deduplication |
CN103034659B (zh) | 2011-09-29 | 2015-08-19 | 国际商业机器公司 | 一种重复数据删除的方法和系统 |
US8898120B1 (en) | 2011-10-09 | 2014-11-25 | Symantec Corporation | Systems and methods for distributed data deduplication |
US8572312B2 (en) | 2011-12-07 | 2013-10-29 | Jeffrey Tofano | Data de-duplication and solid state memory device |
KR20130064518A (ko) * | 2011-12-08 | 2013-06-18 | 삼성전자주식회사 | 저장 장치 및 그것의 동작 방법 |
CN102646069B (zh) * | 2012-02-23 | 2014-12-10 | 华中科技大学 | 一种延长固态盘使用寿命的方法 |
US20130282672A1 (en) * | 2012-04-18 | 2013-10-24 | Hitachi Computer Peripherals Co., Ltd. | Storage apparatus and storage control method |
US9177028B2 (en) | 2012-04-30 | 2015-11-03 | International Business Machines Corporation | Deduplicating storage with enhanced frequent-block detection |
US8930648B1 (en) | 2012-05-23 | 2015-01-06 | Netapp, Inc. | Distributed deduplication using global chunk data structure and epochs |
US8788468B2 (en) | 2012-05-24 | 2014-07-22 | International Business Machines Corporation | Data depulication using short term history |
US8930612B2 (en) | 2012-05-31 | 2015-01-06 | Seagate Technology Llc | Background deduplication of data sets in a memory |
CN102981969A (zh) * | 2012-11-21 | 2013-03-20 | 记忆科技(深圳)有限公司 | 重复数据删除的方法及其固态硬盘 |
US9952936B2 (en) * | 2012-12-05 | 2018-04-24 | Hitachi, Ltd. | Storage system and method of controlling storage system |
US8935222B2 (en) | 2013-01-02 | 2015-01-13 | International Business Machines Corporation | Optimizing a partition in data deduplication |
US9219784B2 (en) * | 2013-03-07 | 2015-12-22 | International Business Machines Corporation | Synchronization of a server side deduplication cache with a client side deduplication cache |
US9244937B2 (en) | 2013-03-15 | 2016-01-26 | International Business Machines Corporation | Efficient calculation of similarity search values and digest block boundaries for data deduplication |
US9116941B2 (en) | 2013-03-15 | 2015-08-25 | International Business Machines Corporation | Reducing digest storage consumption by tracking similarity elements in a data deduplication system |
JP5444506B1 (ja) * | 2013-03-29 | 2014-03-19 | 株式会社東芝 | データの重複をハッシュテーブルに基づいて排除するためのストレージシステム |
US20140304464A1 (en) | 2013-04-03 | 2014-10-09 | Lsi Corporation | Methods and systems for performing deduplication in a data storage system |
CN103473266A (zh) * | 2013-08-09 | 2013-12-25 | 记忆科技(深圳)有限公司 | 固态硬盘及其删除重复数据的方法 |
GB2518158A (en) * | 2013-09-11 | 2015-03-18 | Ibm | Method and system for data access in a storage infrastructure |
KR20150067583A (ko) * | 2013-12-10 | 2015-06-18 | 삼성전자주식회사 | 불휘발성 메모리 장치 및 그것의 중복 데이터 제거 방법 |
US10380072B2 (en) * | 2014-03-17 | 2019-08-13 | Commvault Systems, Inc. | Managing deletions from a deduplication database |
JP6307624B2 (ja) * | 2014-05-30 | 2018-04-04 | 株式会社日立製作所 | データ重複排除ストレージシステムの方法及び装置 |
CN104407982B (zh) | 2014-11-19 | 2018-09-21 | 湖南国科微电子股份有限公司 | 一种ssd盘片垃圾回收方法 |
US10416915B2 (en) * | 2015-05-15 | 2019-09-17 | ScaleFlux | Assisting data deduplication through in-memory computation |
US20170017571A1 (en) * | 2015-07-17 | 2017-01-19 | Samsung Electronics Co., Ltd. | Method and apparatus fori n-line deduplication in storage devices |
US9665287B2 (en) | 2015-09-18 | 2017-05-30 | Alibaba Group Holding Limited | Data deduplication using a solid state drive controller |
JP6067819B1 (ja) * | 2015-10-21 | 2017-01-25 | 株式会社東芝 | 階層化ストレージシステム、ストレージコントローラ、並びに重複排除及びストレージ階層化のための方法 |
-
2015
- 2015-09-18 US US14/858,257 patent/US9665287B2/en active Active
-
2016
- 2016-09-16 EP EP16847431.0A patent/EP3350683B1/en active Active
- 2016-09-16 JP JP2018514841A patent/JP2018527681A/ja active Pending
- 2016-09-16 WO PCT/US2016/052222 patent/WO2017049142A1/en active Application Filing
- 2016-09-16 CN CN201680054387.6A patent/CN108027713B/zh active Active
- 2016-09-16 KR KR1020187010549A patent/KR20180052739A/ko unknown
-
2017
- 2017-05-08 US US15/589,256 patent/US9864542B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018527681A5 (ja) | ||
US10372695B2 (en) | Technologies for computing rolling hashes | |
JP2014167790A5 (ja) | ||
US9619167B2 (en) | System and method for computing message digests | |
US11704254B2 (en) | Host side caching security for flash memory | |
CN108027713B (zh) | 用于固态驱动器控制器的重复数据删除 | |
CN112654993A (zh) | 安全存储器系统编程 | |
US11513878B2 (en) | Systems and methods for detecting behavioral anomalies in applications | |
KR20210013649A (ko) | 보안 논리-물리 캐싱 | |
TW202038086A (zh) | 主機型快閃記憶體維護技術 | |
US10789003B1 (en) | Selective deduplication based on data storage device controller status and media characteristics | |
US11636285B2 (en) | Memory including examples of calculating hamming distances for neural network and data center applications | |
US11609853B2 (en) | Memory controllers including examples of calculating hamming distances for neural network and data center applications | |
US8868839B1 (en) | Systems and methods for caching data blocks associated with frequently accessed files | |
US11568056B2 (en) | Methods and apparatuses for vulnerability detection and maintenance prediction in industrial control systems using hash data analytics | |
US20220075556A1 (en) | Memory systems including examples of calculating hamming distances for neural network and data center applications | |
US20190004975A1 (en) | Storage drive and method of executing a compare command | |
US10446238B2 (en) | Pseudo single pass NAND memory programming | |
US20130246847A1 (en) | Method of detecting error in write data and data processing system to perform the method | |
US10241708B2 (en) | Storage of a data chunk with a colliding fingerprint | |
KR20210035912A (ko) | 암호화 동작에 기초한 데이터 세그먼트 수정 | |
US20150113204A1 (en) | Data storage device and computing system with the same | |
US9690652B2 (en) | Search device and search method searching data based on key | |
US20210097180A1 (en) | Device intrusion detection via variable code comparison | |
US12124738B2 (en) | Address verification at a memory system |