JP2009533731A5 - - Google Patents

Download PDF

Info

Publication number
JP2009533731A5
JP2009533731A5 JP2009504506A JP2009504506A JP2009533731A5 JP 2009533731 A5 JP2009533731 A5 JP 2009533731A5 JP 2009504506 A JP2009504506 A JP 2009504506A JP 2009504506 A JP2009504506 A JP 2009504506A JP 2009533731 A5 JP2009533731 A5 JP 2009533731A5
Authority
JP
Japan
Prior art keywords
data set
hash
content
subsequent
subsequent data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009504506A
Other languages
English (en)
Other versions
JP2009533731A (ja
JP5309015B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/US2007/066263 external-priority patent/WO2007118243A2/en
Publication of JP2009533731A publication Critical patent/JP2009533731A/ja
Publication of JP2009533731A5 publication Critical patent/JP2009533731A5/ja
Application granted granted Critical
Publication of JP5309015B2 publication Critical patent/JP5309015B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (17)

  1. データをアーカイブする/格納する際に使用する方法であって、
    第1のデータセットに関連する第1のシグネチャを生成することであって、
    前記第1のデータセットのメタデータに関連する識別子ハッシュを生成すること、および
    前記第1のデータセットのコンテンツに関連するコンテンツハッシュを生成すること
    を含む、前記第1のデータセットに関連する第1のシグネチャを生成すること、
    前記第1のシグネチャを格納すること、
    前記第1のシグネチャのハッシュのうちの少なくとも1つを、前記第1のデータセットに関連する後続のデータセットの対応するハッシュと比較すること、
    前記比較に基づき、前記第1のデータセットと前記後続のデータセットとの間に変化が存在するかどうかを判定すること、
    前記変化が存在する場合に、前記第1のデータセットの内容を含む辞書ベース圧縮エンジンの辞書を格納して、条件付けられた圧縮エンジンを定義すること、
    前記第1のデータセットの内容を含み辞書として格納された前記圧縮エンジンを用いて前記後続のデータセットを圧縮すること、
    を備え、前記後続のデータセットを表す圧縮ファイルが前記第1のデータセットと前記後続のデータセットとの間の変化を含むように生成されて格納される、方法。
  2. 前記比較することは、前記対応するハッシュの間に違いが存在するかどうかを判定することをさらに含む、請求項1に記載の方法。
  3. 前記対応するハッシュの間に違いが存在する場合、
    前記第1のデータセットの前記後続のデータセットのコンテンツをハッシュして、後続バージョンコンテンツハッシュを生成すること、
    前記後続バージョンコンテンツハッシュを、前記第1のデータセットの前記コンテンツハッシュと比較して、前記第1のデータセットと前記後続のデータセットとの間でコンテンツの変化が存在するかどうかを判定すること、
    をさらに備える請求項2に記載の方法。
  4. 前記各コンテンツハッシュの間に違いが存在する場合、前記後続のデータセットの前記コンテンツを格納することをさらに含む請求項3に記載の方法。
  5. 前記第1のシグネチャは第1のネットワークロケーションに格納され、前記後続のデータセットは第2のネットワークロケーションに位置づけられ、当該方法はさらに、
    前記第1のネットワークロケーションから前記第2のネットワークロケーションに前記第1のシグネチャを転送すること、
    前記第1のシグネチャの少なくとも1つのハッシュを、前記第2のネットワークロケーションにおける前記後続のデータセットの対応するハッシュと比較すること、
    を備える、請求項1に記載の方法。
  6. 前記ハッシュ間の違いを前記比較によって識別した場合、前記後続のデータセットの少なくとも一部分を、格納のために前記第1のネットワークロケーションに転送することをさらに備える請求項に記載の方法。
  7. 前記転送することは、ネットワークインタフェースを介して前記第1のシグネチャを転送することを含む、請求項に記載の方法。
  8. 前記識別子ハッシュを生成することは、メタデータ構成要素の第1および第2のセットにそれぞれ関連する第1および第2の識別子ハッシュを生成することをさらに含み、前記メタデータ構成要素の前記第1のセットと前記第2のセットとは異なる、請求項1に記載の方法。
  9. 前記後続のデータセットが前記第1のデータセットに関連していると識別することは、前記第1のデータセットの前記第1の識別子ハッシュと前記第2の識別子ハッシュのうちの少なくとも1つを、前記後続のデータセットの対応するハッシュとマッチングさせることを含む、請求項に記載の方法。
  10. 前記第1の識別子ハッシュおよび前記第2の識別子ハッシュのうちの一方は前記第1のデータセットのストレージロケーションに関連付けられ、前記第1の識別子ハッシュおよび前記第2の識別子ハッシュのうちの他方は、前記第1のデータセットのバージョンリファレンスに関連付けられる、請求項に記載の方法。
  11. データ格納の際に使用する方法であって、
    初期データセットをストレージロケーションに転送すること、
    前記初期データセットに関連するシグネチャを生成することであって、
    前記初期データセットのメタデータに関連する識別子ハッシュセットを生成すること、および
    前記初期データセットのコンテンツに関連するコンテンツハッシュセットを生成すること
    を含む、前記初期データセットに関連するシグネチャを生成すること、
    前記初期データセットを転送することの後に続いて、前記初期データセットに関連する後続のデータセットのバックアップを実行することであって、
    前記後続のデータセットのメタデータに関連する識別子ハッシュセットを生成すること、
    前記初期データセットの識別子ハッシュセットと前記後続のデータセットの識別子ハッシュセットとを比較すること、
    前記比較に基づいて、前記後続のデータセットに関する合致しない識別子ハッシュを識別すること、および
    前記合致しない識別子ハッシュに関連するコンテンツの少なくとも一部分を前記ストレージロケーションに転送すること、
    を含む、前記初期データセットに関連する後続のデータセットのバックアップを実行すること、
    前記後続のデータセットの内容を転送するとともに、前記初期データセットの対応する内容を含む辞書ベース圧縮エンジンの辞書を格納して、条件付けられた圧縮エンジンを定義すること、
    前記初期データセットの内容を含み辞書として格納された前記圧縮エンジンを用いて前記後続のデータセットの内容を圧縮すること、
    を備え、前記後続のデータセットを表す圧縮ファイルが前記初期データセットと前記後続のデータセットとの間の変化を含むように生成されて格納される、方法。
  12. 前記初期データセットの識別子ハッシュと合致する前記後続のデータセットの識別子ハッシュに関連するコンテンツは、前記ストレージロケーションに転送されない、請求項11に記載の方法。
  13. 前記後続のデータセットの少なくとも1つの合致しないハッシュに関連するコンテンツに関するコンテンツハッシュを生成すること、
    前記初期データセットに関して、合致するコンテンツハッシュが存在するかどうかを判定すること、
    をさらに備える請求項11に記載の方法。
  14. 前記初期データセットに関して、前記合致するコンテンツハッシュが存在する場合、前記ストレージロケーションへの前記コンテンツの転送を差し控えること、
    前記初期データセットに関して、合致するコンテンツハッシュが存在しない場合、前記ストレージロケーションに前記コンテンツを転送すること、
    をさらに備える請求項13に記載の方法。
  15. 前記初期データセットは、ネットワークを介して起源ロケーションから前記ストレージロケーションに転送される、請求項11に記載の方法。
  16. 前記シグネチャは、前記ストレージロケーションに生成される、請求項15に記載の方法。
  17. 前記ストレージロケーションから前記後続のデータセットの起源ロケーションに前記シグネチャを転送することをさらに備え、前記ハッシュの比較は、前記起源ロケーションにおいて実行される、請求項15に記載の方法。
JP2009504506A 2006-04-07 2007-04-09 データ圧縮技術およびデータ格納技術 Expired - Fee Related JP5309015B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US74447706P 2006-04-07 2006-04-07
US60/744,477 2006-04-07
PCT/US2007/066263 WO2007118243A2 (en) 2006-04-07 2007-04-09 Data compression and storage techniques

Publications (3)

Publication Number Publication Date
JP2009533731A JP2009533731A (ja) 2009-09-17
JP2009533731A5 true JP2009533731A5 (ja) 2010-08-19
JP5309015B2 JP5309015B2 (ja) 2013-10-09

Family

ID=38581870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009504506A Expired - Fee Related JP5309015B2 (ja) 2006-04-07 2007-04-09 データ圧縮技術およびデータ格納技術

Country Status (7)

Country Link
US (2) US7860843B2 (ja)
EP (1) EP2013974B1 (ja)
JP (1) JP5309015B2 (ja)
AU (1) AU2007234696B2 (ja)
CA (1) CA2648428C (ja)
DK (1) DK2013974T3 (ja)
WO (1) WO2007118243A2 (ja)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844652B2 (en) 2006-04-11 2010-11-30 Emc Corporation Efficient computation of sketches
US7949824B2 (en) * 2006-04-11 2011-05-24 Emc Corporation Efficient data storage using two level delta resemblance
WO2007131190A2 (en) 2006-05-05 2007-11-15 Hybir Inc. Group based complete and incremental computer file backup system, process and apparatus
GB2439575B (en) * 2006-06-30 2011-09-21 Data Equation Ltd A Method of Storing Data
US8261068B1 (en) 2008-09-30 2012-09-04 Emc Corporation Systems and methods for selective encryption of operating system metadata for host-based encryption of data at rest on a logical unit
GB2439752B (en) * 2006-06-30 2011-11-02 Data Equation Ltd Storing and Modifying Data
US8416954B1 (en) 2008-09-30 2013-04-09 Emc Corporation Systems and methods for accessing storage or network based replicas of encrypted volumes with no additional key management
US7962499B2 (en) 2006-08-18 2011-06-14 Falconstor, Inc. System and method for identifying and mitigating redundancies in stored data
US7668880B1 (en) * 2007-05-15 2010-02-23 Jim Carroll Offsite computer file backup system providing rapid recovery and method thereof
US8156241B1 (en) * 2007-05-17 2012-04-10 Netapp, Inc. System and method for compressing data transferred over a network for storage purposes
US9002800B1 (en) * 2007-06-30 2015-04-07 Emc Corporation Archive and backup virtualization
US8170989B2 (en) * 2007-07-16 2012-05-01 International Business Machines Corporation Method and system for document management and exchange
US7941409B2 (en) * 2007-09-11 2011-05-10 Hitachi, Ltd. Method and apparatus for managing data compression and integrity in a computer storage system
US8238549B2 (en) * 2008-12-05 2012-08-07 Smith Micro Software, Inc. Efficient full or partial duplicate fork detection and archiving
CA2627672A1 (en) * 2007-10-25 2009-04-25 Her Majesty The Queen In Right Of Canada As Represented By The Solicitor Or General Of Canada, Royal Canadian Mounted Police Method and device for verifying integrity of data acquisition pathways
US7882069B2 (en) * 2008-02-19 2011-02-01 Oracle International Corp. Tag based backup and recovery
US9426244B2 (en) * 2008-04-09 2016-08-23 Level 3 Communications, Llc Content delivery in a network
CA2720087C (en) * 2008-04-09 2014-03-25 Level 3 Communications, Llc Content delivery in a network
US8706745B1 (en) * 2008-05-30 2014-04-22 Symantec Corporation Systems and methods for determining a file set
US8527482B2 (en) * 2008-06-06 2013-09-03 Chrysalis Storage, Llc Method for reducing redundancy between two or more datasets
US20090319547A1 (en) * 2008-06-19 2009-12-24 Microsoft Corporation Compression Using Hashes
JP5391601B2 (ja) * 2008-07-18 2014-01-15 富士通株式会社 資源転送システム、資源転送方法、情報処理装置及びコンピュータプログラム
US8776038B2 (en) 2008-08-07 2014-07-08 Code Systems Corporation Method and system for configuration of virtualized software applications
US8434093B2 (en) 2008-08-07 2013-04-30 Code Systems Corporation Method and system for virtualization of software applications
US9235577B2 (en) * 2008-09-04 2016-01-12 Vmware, Inc. File transfer using standard blocks and standard-block identifiers
US9152628B1 (en) * 2008-09-23 2015-10-06 Emc Corporation Creating copies of space-reduced files in a file server having a redundant data elimination store
US8364705B1 (en) 2008-09-24 2013-01-29 Symantec Corporation Methods and systems for determining a file set
AU2009335697A1 (en) * 2008-12-18 2011-08-04 Copiun, Inc. Methods and apparatus for content-aware data partitioning and data de-duplication
US8166314B1 (en) 2008-12-30 2012-04-24 Emc Corporation Selective I/O to logical unit when encrypted, but key is not available or when encryption status is unknown
US8200923B1 (en) * 2008-12-31 2012-06-12 Emc Corporation Method and apparatus for block level data de-duplication
US8458451B2 (en) * 2009-01-20 2013-06-04 New York University Database outsourcing with access privacy
JP5636635B2 (ja) * 2009-03-12 2014-12-10 日本電気株式会社 バックアップ装置、バックアップシステム、バックアップ方法、及びプログラム
US8140491B2 (en) * 2009-03-26 2012-03-20 International Business Machines Corporation Storage management through adaptive deduplication
US9419801B2 (en) * 2009-05-12 2016-08-16 Infrascale Inc. System and method for transmitting needed portions of a data file between networked computers
US8731190B2 (en) * 2009-06-09 2014-05-20 Emc Corporation Segment deduplication system with encryption and compression of segments
US8762348B2 (en) * 2009-06-09 2014-06-24 Emc Corporation Segment deduplication system with compression of segments
US8401181B2 (en) * 2009-06-09 2013-03-19 Emc Corporation Segment deduplication system with encryption of segments
US8180740B1 (en) * 2009-08-12 2012-05-15 Netapp, Inc. System and method for eliminating duplicate data by generating data fingerprints using adaptive fixed-length windows
US8200641B2 (en) * 2009-09-11 2012-06-12 Dell Products L.P. Dictionary for data deduplication
US8676759B1 (en) * 2009-09-30 2014-03-18 Sonicwall, Inc. Continuous data backup using real time delta storage
US8150808B2 (en) 2009-10-21 2012-04-03 Delphix Corp. Virtual database system
US8161077B2 (en) 2009-10-21 2012-04-17 Delphix Corp. Datacenter workflow automation scenarios using virtual databases
US8819452B2 (en) * 2009-11-25 2014-08-26 Cleversafe, Inc. Efficient storage of encrypted data in a dispersed storage network
US8156306B1 (en) 2009-12-18 2012-04-10 Emc Corporation Systems and methods for using thin provisioning to reclaim space identified by data reduction processes
US8140821B1 (en) 2009-12-18 2012-03-20 Emc Corporation Efficient read/write algorithms and associated mapping for block-level data reduction processes
US8954958B2 (en) 2010-01-11 2015-02-10 Code Systems Corporation Method of configuring a virtual application
KR101735719B1 (ko) * 2010-01-12 2017-05-15 구글 인코포레이티드 운영 체제 자동 업데이트 절차
US8959183B2 (en) 2010-01-27 2015-02-17 Code Systems Corporation System for downloading and executing a virtual application
US8407193B2 (en) * 2010-01-27 2013-03-26 International Business Machines Corporation Data deduplication for streaming sequential data storage applications
US9104517B2 (en) 2010-01-27 2015-08-11 Code Systems Corporation System for downloading and executing a virtual application
US9229748B2 (en) 2010-01-29 2016-01-05 Code Systems Corporation Method and system for improving startup performance and interoperability of a virtual application
US9135264B2 (en) * 2010-03-12 2015-09-15 Copiun, Inc. Distributed catalog, data store, and indexing
EP2548122B1 (en) * 2010-03-16 2021-06-09 BlackBerry Limited Highly scalable and distributed data de-duplication
US8499131B2 (en) * 2010-04-13 2013-07-30 Hewlett-Packard Development Company, L.P. Capping a number of locations referred to by chunk references
US8763009B2 (en) 2010-04-17 2014-06-24 Code Systems Corporation Method of hosting a first application in a second application
US8805847B2 (en) 2010-05-06 2014-08-12 Ca, Inc. Journal event consolidation
US8407191B1 (en) 2010-06-29 2013-03-26 Emc Corporation Priority based data scrubbing on a deduplicated data store
US8782106B2 (en) 2010-07-02 2014-07-15 Code Systems Corporation Method and system for managing execution of virtual applications
US8548944B2 (en) * 2010-07-15 2013-10-01 Delphix Corp. De-duplication based backup of file systems
GB2482128A (en) * 2010-07-19 2012-01-25 Quantum Corp Delta chunks and delta hashes
GB2483282B (en) * 2010-09-03 2017-09-13 Advanced Risc Mach Ltd Data compression and decompression using relative and absolute delta values
US9037547B1 (en) * 2010-09-15 2015-05-19 Symantec Corporation Backup time deduplication of common virtual disks from virtual machine backup images
US9235593B2 (en) * 2010-09-30 2016-01-12 Emc Corporation Transmitting filesystem changes over a network
US9021015B2 (en) 2010-10-18 2015-04-28 Code Systems Corporation Method and system for publishing virtual applications to a web server
US9209976B2 (en) 2010-10-29 2015-12-08 Code Systems Corporation Method and system for restricting execution of virtual applications to a managed process environment
US8468174B1 (en) 2010-11-30 2013-06-18 Jedidiah Yueh Interfacing with a virtual database system
US20120143824A1 (en) * 2010-12-02 2012-06-07 Microsoft Corporation Protecting files that include editable metadata
US9824091B2 (en) 2010-12-03 2017-11-21 Microsoft Technology Licensing, Llc File system backup using change journal
US8620894B2 (en) 2010-12-21 2013-12-31 Microsoft Corporation Searching files
JP5712609B2 (ja) * 2010-12-24 2015-05-07 富士通株式会社 データ処理装置及びデータ記録方法
EP2659369B1 (en) 2010-12-27 2014-10-15 Amplidata NV A distributed object storage system comprising performance optimizations
JP5512570B2 (ja) * 2011-02-24 2014-06-04 株式会社日立ソリューションズ 文書処理装置、及びファイルサーバ管理支援方法、並びにファイルサーバ管理支援プログラム
US8904128B2 (en) 2011-06-08 2014-12-02 Hewlett-Packard Development Company, L.P. Processing a request to restore deduplicated data
US9553924B1 (en) * 2011-06-13 2017-01-24 Arris Enterprises, Inc. Load sharing among loosely coupled or independent video servers
US9229818B2 (en) 2011-07-20 2016-01-05 Microsoft Technology Licensing, Llc Adaptive retention for backup data
US9063822B2 (en) * 2011-09-02 2015-06-23 Microsoft Technology Licensing, Llc Efficient application-aware disaster recovery
US8930320B2 (en) * 2011-09-30 2015-01-06 Accenture Global Services Limited Distributed computing backup and recovery system
WO2013080243A2 (en) * 2011-11-28 2013-06-06 Hitachi, Ltd. Storage system controller, storage system, and access control method
US8370341B1 (en) * 2012-01-06 2013-02-05 Inkling Systems, Inc. Systems and methods for determining and facilitating content updates for a user device
US8990664B2 (en) * 2012-01-31 2015-03-24 Cleversafe, Inc. Identifying a potentially compromised encoded data slice
US9465861B2 (en) * 2012-01-31 2016-10-11 International Business Machines Corporation Retrieving indexed data from a dispersed storage network
US9891995B2 (en) * 2012-01-31 2018-02-13 International Business Machines Corporation Cooperative decentralized rebuild scanning
EP2829070B1 (en) * 2012-03-19 2017-07-19 P2S Media Group OY Method and apparatus for reducing duplicates of multimedia data items in service system
US20130262704A1 (en) * 2012-04-03 2013-10-03 Google Inc. System and method for improving delivery of content over a network
WO2013159342A1 (en) * 2012-04-27 2013-10-31 Hewlett-Packard Development Company, L.P. Similarity score lookup and representation
US9129001B2 (en) * 2012-05-07 2015-09-08 Sybase, Inc. Character data compression for reducing storage requirements in a database system
US8984028B2 (en) 2012-05-29 2015-03-17 Recommind, Inc. Systems and methods for storing data and eliminating redundancy
TWI610166B (zh) 2012-06-04 2018-01-01 飛康國際網路科技股份有限公司 自動災難復原和資料遷移系統及方法
CN103810215A (zh) * 2012-11-14 2014-05-21 财团法人资讯工业策进会 云端文件存取系统及方法
TW201419005A (zh) * 2012-11-14 2014-05-16 Inst Information Industry 雲端檔案存取系統、方法及其電腦可讀取紀錄媒體
KR102072412B1 (ko) 2013-01-07 2020-02-04 삼성전자주식회사 데이터 압축 회로의 동작 방법과 상기 방법을 수행할 수 있는 장치들
US9258767B2 (en) 2013-01-07 2016-02-09 Intel IP Corporation Methods and arrangements to compress identification
US10019457B1 (en) 2013-01-22 2018-07-10 Amazon Technologies, Inc. Multi-level compression for storing data in a data store
US9558199B2 (en) * 2013-03-07 2017-01-31 Jive Software, Inc. Efficient data deduplication
US10101937B2 (en) * 2013-03-15 2018-10-16 Western Digital Technologies, Inc. Apparatus and method for referencing dense and sparse information in multi-dimensional to linear address space translation
US9384204B2 (en) 2013-05-22 2016-07-05 Amazon Technologies, Inc. Efficient data compression and analysis as a service
US9122712B1 (en) 2013-06-28 2015-09-01 Emc Corporation Compressing container files
US9411815B1 (en) * 2013-09-26 2016-08-09 Emc Corporation System and method for improving data compression in a deduplicated storage system
US10838990B1 (en) 2013-09-26 2020-11-17 EMC IP Holding Company LLC System and method for improving data compression of a storage system using coarse and fine grained similarity
US9514146B1 (en) 2013-09-26 2016-12-06 Emc Corporation System and method for improving data compression of a storage system in an online manner
US10216754B1 (en) 2013-09-26 2019-02-26 EMC IP Holding Company LLC System and method for balancing compression and read performance in a storage system
CN103617215B (zh) * 2013-11-20 2017-02-08 上海爱数信息技术股份有限公司 一种利用数据差异算法生成多版本文件的方法
US10169394B2 (en) 2014-06-05 2019-01-01 International Business Machines Corporation Managing data sets of a storage system
US10802928B2 (en) 2015-09-10 2020-10-13 International Business Machines Corporation Backup and restoration of file system
US10359962B1 (en) * 2015-09-21 2019-07-23 Yellowbrick Data, Inc. System and method for storing a database on flash memory or other degradable storage
US10929246B2 (en) 2015-10-07 2021-02-23 International Business Machines Corporation Backup capability for object store used as primary storage
US11263171B2 (en) * 2015-12-09 2022-03-01 Druva Inc. Unified time-indexed catalogue for multiple archived snapshots
KR101656750B1 (ko) * 2016-02-26 2016-09-23 주식회사 아미크 인덱스정보를 생성하는 데이터베이스의 아카이빙 방법 및 장치, 인덱스정보를 포함하는 아카이빙된 데이터베이스의 검색 방법 및 장치
US10574751B2 (en) * 2016-03-22 2020-02-25 International Business Machines Corporation Identifying data for deduplication in a network storage environment
US10684993B2 (en) 2016-06-15 2020-06-16 International Business Machines Corporation Selective compression of unstructured data
US20180018307A1 (en) * 2016-07-14 2018-01-18 Industrial Technology Research Institute Method of recording operations and method of automatically executing operations
US10169392B2 (en) * 2017-03-08 2019-01-01 International Business Machines Corporation Persistent data structures on a dispersed storage network memory
US20180316936A1 (en) * 2017-04-26 2018-11-01 Newgen Software Technologies Limited System and method for data compression
KR101990689B1 (ko) * 2017-08-31 2019-10-01 주식회사 엘지유플러스 클라우드 서버의 이미지 데이터 제공 방법
US10592153B1 (en) 2017-09-05 2020-03-17 Amazon Technologies, Inc. Redistributing a data set amongst partitions according to a secondary hashing scheme
US11256667B2 (en) 2017-10-26 2022-02-22 Druva Inc. Deduplicated merged indexed object storage file system
US10128868B1 (en) * 2017-12-29 2018-11-13 Intel Corporation Efficient dictionary for lossless compression
US11012525B2 (en) * 2018-12-19 2021-05-18 Cisco Technology, Inc. In-flight building and maintaining dictionaries for efficient compression for IoT data
US11122095B2 (en) 2019-09-23 2021-09-14 Netapp, Inc. Methods for dictionary-based compression and devices thereof
US11366735B2 (en) 2020-08-20 2022-06-21 Bank Of America Corporation Dynamic data storage management
US11971857B2 (en) * 2021-12-08 2024-04-30 Cohesity, Inc. Adaptively providing uncompressed and compressed data chunks

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5442350A (en) * 1992-10-29 1995-08-15 International Business Machines Corporation Method and means providing static dictionary structures for compressing character data and expanding compressed data
US5574906A (en) * 1994-10-24 1996-11-12 International Business Machines Corporation System and method for reducing storage requirement in backup subsystems utilizing segmented compression and differencing
WO1996025801A1 (en) 1995-02-17 1996-08-22 Trustus Pty. Ltd. Method for partitioning a block of data into subblocks and for storing and communicating such subblocks
US6374250B2 (en) * 1997-02-03 2002-04-16 International Business Machines Corporation System and method for differential compression of data from a plurality of binary sources
US6466999B1 (en) * 1999-03-31 2002-10-15 Microsoft Corporation Preprocessing a reference data stream for patch generation and compression
US6779003B1 (en) * 1999-12-16 2004-08-17 Livevault Corporation Systems and methods for backing up data files
JP4846156B2 (ja) * 2000-02-18 2011-12-28 イーエムシー コーポレイション 共通性ファクタリングシステムに用いられるハッシュファイルシステムおよび方法
US6704730B2 (en) 2000-02-18 2004-03-09 Avamar Technologies, Inc. Hash file system and method for use in a commonality factoring system
US6810398B2 (en) 2000-11-06 2004-10-26 Avamar Technologies, Inc. System and method for unorchestrated determination of data sequences using sticky byte factoring to determine breakpoints in digital sequences
US7007141B2 (en) 2001-01-30 2006-02-28 Data Domain, Inc. Archival data storage system and method
US20020161860A1 (en) * 2001-02-28 2002-10-31 Benjamin Godlin Method and system for differential distributed data file storage, management and access
US7310644B2 (en) 2001-06-06 2007-12-18 Microsoft Corporation Locating potentially identical objects across multiple computers
GB2411030B (en) 2002-11-20 2006-03-22 Filesx Ltd Fast backup storage and fast recovery of data (FBSRD)
US7143115B2 (en) * 2003-04-15 2006-11-28 Pocket Soft, Inc. Method and apparatus for finding differences between two computer files efficiently in linear time and for using these differences to update computer files
US20050060643A1 (en) * 2003-08-25 2005-03-17 Miavia, Inc. Document similarity detection and classification system
JP4167578B2 (ja) * 2003-09-29 2008-10-15 東芝ソリューション株式会社 バックアップシステム、バックアップ方法およびプログラム
JP2005202918A (ja) * 2003-12-15 2005-07-28 Noboru Ikuta ネットワークを利用した携帯端末データ管理システム
JP4497984B2 (ja) * 2004-03-31 2010-07-07 株式会社日本総合研究所 ファイル共有制御システムおよび共有制御プログラム
JP2006065424A (ja) * 2004-08-25 2006-03-09 Nec Corp データ記憶システム、データ記憶装置及びそれに用いる類似ファイル記録方法並びにそのプログラム
US8725705B2 (en) * 2004-09-15 2014-05-13 International Business Machines Corporation Systems and methods for searching of storage data with reduced bandwidth requirements
US7680798B2 (en) * 2004-11-20 2010-03-16 International Business Machines Corporation Method, device and system for automatic retrieval of similar objects in a network of devices
FI20050590A0 (fi) * 2005-06-03 2005-06-03 Nokia Corp Sanakirjaperusteinen tiivistys ja lavennus
JP4456554B2 (ja) * 2005-10-31 2010-04-28 富士通株式会社 データ圧縮方法及び圧縮データ送信方法

Similar Documents

Publication Publication Date Title
JP2009533731A5 (ja)
JP2012525633A5 (ja)
US8983952B1 (en) System and method for partitioning backup data streams in a deduplication based storage system
US10025808B2 (en) Compacting change logs using file content location identifiers
US9405764B1 (en) Method for cleaning a delta storage system
US8706703B2 (en) Efficient file system object-based deduplication
US8660997B2 (en) File system object-based deduplication
US20120150824A1 (en) Processing System of Data De-Duplication
US9183218B1 (en) Method and system to improve deduplication of structured datasets using hybrid chunking and block header removal
US10135462B1 (en) Deduplication using sub-chunk fingerprints
US20170060924A1 (en) B-Tree Based Data Model for File Systems
US8825626B1 (en) Method and system for detecting unwanted content of files
JP2007293855A5 (ja)
JP2009536418A5 (ja)
US8756249B1 (en) Method and apparatus for efficiently searching data in a storage system
JP2012513069A (ja) コンテンツアウェア・データ分割およびデータ重複排除のための方法ならびに装置
US9063664B1 (en) Method and system for processing checksum of a data stream to optimize deduplication
CN102456059A (zh) 重复数据删除的处理系统
CN105069111A (zh) 云存储中基于相似性的数据块级数据去重方法
CN104408111A (zh) 一种删除重复数据的方法及装置
US8498965B1 (en) Methods and apparatus for generating difference files
US8909606B2 (en) Data block compression using coalescion
US9940069B1 (en) Paging cache for storage system
US9116902B1 (en) Preferential selection of candidates for delta compression
JP2012164130A (ja) データ分割プログラム