JP2018527681A5 - - Google Patents

Download PDF

Info

Publication number
JP2018527681A5
JP2018527681A5 JP2018514841A JP2018514841A JP2018527681A5 JP 2018527681 A5 JP2018527681 A5 JP 2018527681A5 JP 2018514841 A JP2018514841 A JP 2018514841A JP 2018514841 A JP2018514841 A JP 2018514841A JP 2018527681 A5 JP2018527681 A5 JP 2018527681A5
Authority
JP
Japan
Prior art keywords
signature
information
data
ssd
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018514841A
Other languages
English (en)
Other versions
JP2018527681A (ja
Filing date
Publication date
Priority claimed from US14/858,257 external-priority patent/US9665287B2/en
Application filed filed Critical
Publication of JP2018527681A publication Critical patent/JP2018527681A/ja
Publication of JP2018527681A5 publication Critical patent/JP2018527681A5/ja
Pending legal-status Critical Current

Links

Claims (20)

  1. ソリッドステートドライブ(SSD)のための、コントローラによって実行されるデータ重複排除の方法であって、前記方法は、
    前記コントローラによって、中央処理装置(CPU)から、データのブロックに対する署名を受信するステップと、
    前記コントローラによって、前記署名が署名ライブラリ内の情報と一致するかを判定するステップと、
    前記コントローラから前記CPUに、前記判定の結果を示す信号を送信するステップと
    を含み、
    前記署名が署名ライブラリ内の前記情報と一致する場合、前記信号は、前記データのブロックが前記SSD上に既に格納されていることを示す第1の値を有し、さらに、前記署名が前記署名ライブラリ内の前記情報と一致しない場合、前記信号は、前記第1の値とは異なる第2の値を有する、方法。
  2. 前記方法は、さらに、
    前記コントローラによって、前記CPUから、前記署名に関連付けられたアドレスを受信するステップであって、前記コントローラは、前記署名ライブラリ内のエントリにインデックス付けするために前記アドレスを用いる、ステップと、
    前記コントローラによって、前記署名が前記署名ライブラリ内の前記エントリにある前記情報と一致するかを判定するステップとを含む、
    請求項1に記載の方法。
  3. 前記信号は、1つのバイナリビットを含み、前記1つのバイナリビットは、前記署名が前記署名ライブラリ内の情報と一致する場合、前記第1の値であり、前記署名が前記署名ライブラリ内の情報と一致しない場合、前記第2の値である、
    請求項1に記載の方法。
  4. 前記署名が前記署名ライブラリ内の情報と一致する場合、前記方法はさらに、前記データのブロックに関連付けられたカウンタをインクリメントするステップを含む、
    請求項1に記載の方法。
  5. 前記署名が前記署名ライブラリ内の情報と一致しない場合、前記方法はさらに、
    前記データのブロックを受信し、前記データのブロックを前記SSDに書き込むステップと、
    前記署名を前記署名ライブラリに追加し、前記データのブロックに関連付けられたカウンタをインクリメントするステップとを含む、
    請求項1に記載の方法。
  6. 前記コントローラは、前記署名と前記署名ライブラリ内の情報とを比較する重複排除プロセッサを備える、
    請求項1に記載の方法。
  7. 前記重複排除プロセッサは、前記署名と前記署名ライブラリ内の情報とのビット単位での比較を実行する複数のゲートを備える、
    請求項6に記載の方法。
  8. 前記SSDは、SATA(Serial Advanced Technology Attachment)SSDである、
    請求項1に記載の方法。
  9. 中央処理装置(CPU)及びソリッドステートドライブ(SSD)を備えるサーバによって実行されるデータ重複排除方法であって、前記SSDは、コントローラを備え、前記方法は、
    クライアントから、データのブロックに対する署名を受信するステップと、
    前記署名に基づいてアドレスを判定するステップと、
    前記コントローラで、前記アドレスを使用して、署名ライブラリ内のエントリを特定するステップと、
    前記コントローラで、前記署名と前記署名ライブラリ内の前記エントリにある情報とを比較するステップと、
    前記コントローラで、前記署名が前記情報と一致するか否かを示す信号を生成するステップとを含み、前記署名と前記情報とが一致する場合、前記データのブロックが前記SSDに既に格納されており、前記署名と前記情報とが一致しない場合、前記方法はさらに、
    前記クライアントにシグナリングするステップと、
    前記シグナリングへの応答として前記クライアントからの前記データのブロックを受信するステップと、
    前記データのブロックを前記SSDに書き込むステップと
    を含む、方法。
  10. 前記信号は、1つのバイナリビットを含み、前記1つのバイナリビットは、前記署名と前記情報とが一致する場合、第1の値であり、前記署名と前記情報とが一致しない場合、第2の値である、
    請求項9に記載の方法。
  11. 前記署名と前記情報とが一致する場合、前記方法はさらに、前記データのブロックに関連付けられたカウンタをインクリメントするステップを含む、
    請求項9に記載の方法。
  12. 前記署名と前記情報とが一致しない場合、前記方法はさらに、前記署名を前記署名ライブラリに追加し、前記データのブロックに関連付けられたカウンタをインクリメントするステップを含む、
    請求項9に記載の方法。
  13. 前記コントローラは、複数の排他的OR(XOR)ゲートを備え、前記複数のゲートの各ゲートは、前記署名からのビット値と前記署名ライブラリ内の前記情報からの各ビット値とを比較する、
    請求項9に記載の方法。
  14. 前記SSDは、SATA(Serial Advanced Technology Attachment)SSDである、
    請求項9に記載の方法。
  15. ソリッドステートドライブ(SSD)であって、
    複数のストレージエレメントと、
    前記ストレージエレメントに接続されるコントローラとを備え、
    前記コントローラは、中央処理装置(CPU)から、データのブロックに対する署名及び前記署名に基づくアドレスを受信するように動作可能であり、前記署名は、前記CPUによって前記データのブロックのソースから受信され、
    前記コントローラは、前記署名と署名ライブラリ内のエントリにある情報とを比較するため、前記署名が前記情報と一致するか否かを示す信号を生成するため、そして、前記信号を前記CPUに送信するために、前記アドレスを用いて前記署名ライブラリ内のエントリを特定するように動作可能であり、
    前記コントローラはさらに、前記署名が前記署名ライブラリ内の前記情報と一致しないことを示す信号への応答として前記データのブロックが受信されるとき、前記データのブロックを、前記複数のストレージエレメントに属するストレージエレメントに書き込むように動作可能である、SSD。
  16. 前記信号は、1つのバイナリビットを含み、前記1つのバイナリビットは、前記署名と前記情報とが一致する場合、第1の値であり、前記署名と前記情報とが一致しない場合、第2の値である、
    請求項15に記載のSSD。
  17. 前記署名と前記情報とが一致する場合、前記データのブロックに関連付けられたカウンタがインクリメントされる、
    請求項15に記載のSSD。
  18. 前記署名と前記情報とが一致しない場合、前記署名は、前記署名ライブラリに追加され、前記データのブロックに関連付けられたカウンタがインクリメントされる、
    請求項15に記載のSSD。
  19. 前記コントローラは、前記署名と前記情報とを比較する重複排除プロセッサを備え、前記重複排除プロセッサは、複数の排他的OR(XOR)ゲートを含み、前記複数のゲートの各ゲートは、前記署名からのビット値と前記署名ライブラリからの前記情報からの各ビット値とを比較する、
    請求項15に記載のSSD。
  20. 前記SSDは、SATA(Serial Advanced Technology Attachment)SSDであり、前記ストレージエレメントは、NANDダイを含む、
    請求項15に記載のSSD。
JP2018514841A 2015-09-18 2016-09-16 ソリッドステートドライブコントローラを使用するデータ重複排除 Pending JP2018527681A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/858,257 US9665287B2 (en) 2015-09-18 2015-09-18 Data deduplication using a solid state drive controller
US14/858,257 2015-09-18
PCT/US2016/052222 WO2017049142A1 (en) 2015-09-18 2016-09-16 Data deduplication using a solid state drive controller

Publications (2)

Publication Number Publication Date
JP2018527681A JP2018527681A (ja) 2018-09-20
JP2018527681A5 true JP2018527681A5 (ja) 2019-09-26

Family

ID=58282696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018514841A Pending JP2018527681A (ja) 2015-09-18 2016-09-16 ソリッドステートドライブコントローラを使用するデータ重複排除

Country Status (6)

Country Link
US (2) US9665287B2 (ja)
EP (1) EP3350683B1 (ja)
JP (1) JP2018527681A (ja)
KR (1) KR20180052739A (ja)
CN (1) CN108027713B (ja)
WO (1) WO2017049142A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665287B2 (en) 2015-09-18 2017-05-30 Alibaba Group Holding Limited Data deduplication using a solid state drive controller
CN107402725B (zh) * 2017-03-20 2020-08-25 威盛电子股份有限公司 非易失性存储装置及其数据去重复方法
US10318202B2 (en) * 2017-03-20 2019-06-11 Via Technologies, Inc. Non-volatile memory apparatus and data deduplication method thereof
CN109669623B (zh) * 2017-10-13 2021-09-03 杭州海康威视系统技术有限公司 一种文件管理方法、文件管理装置、电子设备及存储介质
CN108920964B (zh) * 2018-06-21 2020-09-29 深圳忆联信息系统有限公司 可重构硬件加解密方法、系统、计算机设备及存储介质
CN109062514B (zh) * 2018-08-16 2021-08-31 郑州云海信息技术有限公司 一种基于命名空间的带宽控制方法、装置和存储介质
CN110968537B (zh) * 2018-09-28 2021-02-02 方一信息科技(上海)有限公司 一种基于pcie ssd的fpga搜索匹配方法
US11029874B2 (en) 2019-07-30 2021-06-08 Western Digital Technologies, Inc. Rolling XOR protection in efficient pipeline
KR20210034897A (ko) 2019-09-23 2021-03-31 삼성전자주식회사 스토리지 장치 및 그것의 동작 방법
CN113365282B (zh) * 2021-06-22 2023-04-07 成都信息工程大学 一种wsn障碍性区域覆盖部署方法

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636767B2 (en) 2005-11-29 2009-12-22 Cisco Technology, Inc. Method and apparatus for reducing network traffic over low bandwidth links
US8412682B2 (en) 2006-06-29 2013-04-02 Netapp, Inc. System and method for retrieving and using block fingerprints for data deduplication
US7840537B2 (en) 2006-12-22 2010-11-23 Commvault Systems, Inc. System and method for storing redundant information
US7761425B1 (en) * 2007-03-29 2010-07-20 Symantec Corporation Low-overhead means of performing data backup
US20090132616A1 (en) 2007-10-02 2009-05-21 Richard Winter Archival backup integration
US7962452B2 (en) 2007-12-28 2011-06-14 International Business Machines Corporation Data deduplication by separating data from meta data
US8825617B2 (en) 2008-03-14 2014-09-02 International Business Machines Corporation Limiting deduplication based on predetermined criteria
US7567188B1 (en) 2008-04-10 2009-07-28 International Business Machines Corporation Policy based tiered data deduplication strategy
US20090307416A1 (en) * 2008-06-04 2009-12-10 Intitio Corporation Ssd with a controller accelerator
US7814149B1 (en) 2008-09-29 2010-10-12 Symantec Operating Corporation Client side data deduplication
WO2010045262A1 (en) 2008-10-14 2010-04-22 Wanova Technologies, Ltd. Storage-network de-duplication
US8082228B2 (en) 2008-10-31 2011-12-20 Netapp, Inc. Remote office duplication
JP5444728B2 (ja) * 2009-01-26 2014-03-19 日本電気株式会社 ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム
US8407186B1 (en) 2009-03-31 2013-03-26 Symantec Corporation Systems and methods for data-selection-specific data deduplication
US8812874B1 (en) 2009-03-31 2014-08-19 Symantec Corporation Content deduplication in enterprise rights management
US8281066B1 (en) * 2009-04-30 2012-10-02 Netapp, Inc. System and method for real-time deduplication utilizing an electronic storage medium
CN101882141A (zh) * 2009-05-08 2010-11-10 北京众志和达信息技术有限公司 一种实现重复数据数据删除的方法和系统
US8442954B2 (en) 2009-07-21 2013-05-14 Stephen Philip SPACKMAN Creating and managing links to deduplication information
US8204867B2 (en) 2009-07-29 2012-06-19 International Business Machines Corporation Apparatus, system, and method for enhanced block-level deduplication
US20110093439A1 (en) 2009-10-16 2011-04-21 Fanglu Guo De-duplication Storage System with Multiple Indices for Efficient File Storage
US8321648B2 (en) 2009-10-26 2012-11-27 Netapp, Inc Use of similarity hash to route data for improved deduplication in a storage server cluster
US8478933B2 (en) 2009-11-24 2013-07-02 International Business Machines Corporation Systems and methods for performing deduplicated data processing on tape
US8407193B2 (en) 2010-01-27 2013-03-26 International Business Machines Corporation Data deduplication for streaming sequential data storage applications
JP5434705B2 (ja) 2010-03-12 2014-03-05 富士通株式会社 ストレージ装置、ストレージ装置制御プログラムおよびストレージ装置制御方法
US8370593B2 (en) 2010-04-14 2013-02-05 Hitachi, Ltd. Method and apparatus to manage groups for deduplication
WO2011133440A1 (en) 2010-04-19 2011-10-27 Greenbytes, Inc. A method of minimizing the amount of network bandwidth needed to copy data between data deduplication storage systems
US8639658B1 (en) 2010-04-21 2014-01-28 Symantec Corporation Cache management for file systems supporting shared blocks
US8935487B2 (en) * 2010-05-05 2015-01-13 Microsoft Corporation Fast and low-RAM-footprint indexing for data deduplication
US9053032B2 (en) 2010-05-05 2015-06-09 Microsoft Technology Licensing, Llc Fast and low-RAM-footprint indexing for data deduplication
US8489855B2 (en) 2010-05-07 2013-07-16 Ocz Technology Group Inc. NAND flash-based solid state drive and method of operation
US20120173795A1 (en) * 2010-05-25 2012-07-05 Ocz Technology Group, Inc. Solid state drive with low write amplification
US8370315B1 (en) 2010-05-28 2013-02-05 Symantec Corporation System and method for high performance deduplication indexing
US9092151B1 (en) 2010-09-17 2015-07-28 Permabit Technology Corporation Managing deduplication of stored data
US10162553B2 (en) * 2010-11-24 2018-12-25 Western Digital Technologies, Inc. Methods and systems for object level de-duplication for solid state devices
US8898119B2 (en) 2010-12-15 2014-11-25 Netapp, Inc. Fingerprints datastore and stale fingerprint removal in de-duplication environments
US8332372B2 (en) 2010-12-16 2012-12-11 International Business Machines Corporation Method and system for processing data
US8495304B1 (en) 2010-12-23 2013-07-23 Emc Corporation Multi source wire deduplication
SG191378A1 (en) * 2010-12-29 2013-08-30 Amazon Tech Inc Receiver-side data deduplication in data systems
US9116909B2 (en) 2010-12-29 2015-08-25 Amazon Technologies, Inc. Reduced bandwidth data uploading in data systems
US9223511B2 (en) 2011-04-08 2015-12-29 Micron Technology, Inc. Data deduplication
US8600949B2 (en) 2011-06-21 2013-12-03 Netapp, Inc. Deduplication in an extent-based architecture
US8589640B2 (en) * 2011-10-14 2013-11-19 Pure Storage, Inc. Method for maintaining multiple fingerprint tables in a deduplicating storage system
US8533231B2 (en) 2011-08-12 2013-09-10 Nexenta Systems, Inc. Cloud storage system with distributed metadata
US8484170B2 (en) 2011-09-19 2013-07-09 International Business Machines Corporation Scalable deduplication system with small blocks
US8620886B1 (en) * 2011-09-20 2013-12-31 Netapp Inc. Host side deduplication
CN103034659B (zh) 2011-09-29 2015-08-19 国际商业机器公司 一种重复数据删除的方法和系统
US8898120B1 (en) 2011-10-09 2014-11-25 Symantec Corporation Systems and methods for distributed data deduplication
US8572312B2 (en) 2011-12-07 2013-10-29 Jeffrey Tofano Data de-duplication and solid state memory device
KR20130064518A (ko) * 2011-12-08 2013-06-18 삼성전자주식회사 저장 장치 및 그것의 동작 방법
CN102646069B (zh) * 2012-02-23 2014-12-10 华中科技大学 一种延长固态盘使用寿命的方法
US20130282672A1 (en) * 2012-04-18 2013-10-24 Hitachi Computer Peripherals Co., Ltd. Storage apparatus and storage control method
US9177028B2 (en) 2012-04-30 2015-11-03 International Business Machines Corporation Deduplicating storage with enhanced frequent-block detection
US8930648B1 (en) 2012-05-23 2015-01-06 Netapp, Inc. Distributed deduplication using global chunk data structure and epochs
US8788468B2 (en) 2012-05-24 2014-07-22 International Business Machines Corporation Data depulication using short term history
US8930612B2 (en) 2012-05-31 2015-01-06 Seagate Technology Llc Background deduplication of data sets in a memory
CN102981969A (zh) * 2012-11-21 2013-03-20 记忆科技(深圳)有限公司 重复数据删除的方法及其固态硬盘
US9952936B2 (en) * 2012-12-05 2018-04-24 Hitachi, Ltd. Storage system and method of controlling storage system
US8935222B2 (en) 2013-01-02 2015-01-13 International Business Machines Corporation Optimizing a partition in data deduplication
US9219784B2 (en) * 2013-03-07 2015-12-22 International Business Machines Corporation Synchronization of a server side deduplication cache with a client side deduplication cache
US9244937B2 (en) 2013-03-15 2016-01-26 International Business Machines Corporation Efficient calculation of similarity search values and digest block boundaries for data deduplication
US9116941B2 (en) 2013-03-15 2015-08-25 International Business Machines Corporation Reducing digest storage consumption by tracking similarity elements in a data deduplication system
JP5444506B1 (ja) * 2013-03-29 2014-03-19 株式会社東芝 データの重複をハッシュテーブルに基づいて排除するためのストレージシステム
US20140304464A1 (en) 2013-04-03 2014-10-09 Lsi Corporation Methods and systems for performing deduplication in a data storage system
CN103473266A (zh) * 2013-08-09 2013-12-25 记忆科技(深圳)有限公司 固态硬盘及其删除重复数据的方法
GB2518158A (en) * 2013-09-11 2015-03-18 Ibm Method and system for data access in a storage infrastructure
KR20150067583A (ko) * 2013-12-10 2015-06-18 삼성전자주식회사 불휘발성 메모리 장치 및 그것의 중복 데이터 제거 방법
US10380072B2 (en) * 2014-03-17 2019-08-13 Commvault Systems, Inc. Managing deletions from a deduplication database
JP6307624B2 (ja) * 2014-05-30 2018-04-04 株式会社日立製作所 データ重複排除ストレージシステムの方法及び装置
CN104407982B (zh) 2014-11-19 2018-09-21 湖南国科微电子股份有限公司 一种ssd盘片垃圾回收方法
US10416915B2 (en) * 2015-05-15 2019-09-17 ScaleFlux Assisting data deduplication through in-memory computation
US20170017571A1 (en) * 2015-07-17 2017-01-19 Samsung Electronics Co., Ltd. Method and apparatus fori n-line deduplication in storage devices
US9665287B2 (en) 2015-09-18 2017-05-30 Alibaba Group Holding Limited Data deduplication using a solid state drive controller
JP6067819B1 (ja) * 2015-10-21 2017-01-25 株式会社東芝 階層化ストレージシステム、ストレージコントローラ、並びに重複排除及びストレージ階層化のための方法

Similar Documents

Publication Publication Date Title
JP2018527681A5 (ja)
US10372695B2 (en) Technologies for computing rolling hashes
TWI672610B (zh) 用於執行安全操作之裝置及方法
JP2014167790A5 (ja)
US9619167B2 (en) System and method for computing message digests
CN108027713B (zh) 用于固态驱动器控制器的重复数据删除
TWI737088B (zh) 主機型快閃記憶體維護技術
US20210279182A1 (en) Host side caching security for flash memory
CN112654993A (zh) 安全存储器系统编程
US11636285B2 (en) Memory including examples of calculating hamming distances for neural network and data center applications
US20200310667A1 (en) Selective deduplication based on data storage device controller status and media characteristics
US20220075556A1 (en) Memory systems including examples of calculating hamming distances for neural network and data center applications
CN116134414A (zh) 包含计算神经网络和数据中心应用的汉明距离的实例的存储器控制器
US10216562B2 (en) Generating diagnostic data
US10446238B2 (en) Pseudo single pass NAND memory programming
US20130246847A1 (en) Method of detecting error in write data and data processing system to perform the method
US10642758B2 (en) Storage drive and method of executing a compare command
US10241708B2 (en) Storage of a data chunk with a colliding fingerprint
KR20210035912A (ko) 암호화 동작에 기초한 데이터 세그먼트 수정
US20150113204A1 (en) Data storage device and computing system with the same
US9690652B2 (en) Search device and search method searching data based on key
US11568056B2 (en) Methods and apparatuses for vulnerability detection and maintenance prediction in industrial control systems using hash data analytics
US20210097180A1 (en) Device intrusion detection via variable code comparison
US20240045617A1 (en) Address verification at a memory system
CN118056240A (zh) 基于复合温度来管理存储器子系统