JP2013534007A5 - - Google Patents

Download PDF

Info

Publication number
JP2013534007A5
JP2013534007A5 JP2013515377A JP2013515377A JP2013534007A5 JP 2013534007 A5 JP2013534007 A5 JP 2013534007A5 JP 2013515377 A JP2013515377 A JP 2013515377A JP 2013515377 A JP2013515377 A JP 2013515377A JP 2013534007 A5 JP2013534007 A5 JP 2013534007A5
Authority
JP
Japan
Prior art keywords
data
file data
storage server
storage
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013515377A
Other languages
English (en)
Other versions
JP5819416B2 (ja
JP2013534007A (ja
Filing date
Publication date
Priority claimed from US12/818,515 external-priority patent/US20110314070A1/en
Application filed filed Critical
Publication of JP2013534007A publication Critical patent/JP2013534007A/ja
Publication of JP2013534007A5 publication Critical patent/JP2013534007A5/ja
Application granted granted Critical
Publication of JP5819416B2 publication Critical patent/JP5819416B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. クライアントとデータ記憶サーバを含むコンピューティング環境において、前記データ記憶サーバ内の記憶最適化の詳細が前記クライアントに見えるようにする方法であって、
    前記データ記憶サーバ上のファイルデータの記憶を記述したメタデータにアクセスするステップであって、前記ファイルデータは、前記ファイルデータのネイティブ形体とは異なる形体で前記データ記憶サーバ上にストアされており、前記メタデータは、前記ファイルデータの記憶形体を前記データ記憶サーバ上にストアされている通りに見えるようにするステップと、
    前記ファイルデータに対するリクエストを前記クライアントから前記データ記憶サーバに送信するステップと、
    前記ファイルデータの１つまたは２つ以上、前記データ記憶サーバ上のファイルデータの記憶を記述した追加メタデータおよび前記ファイルデータの少なくとも一部を表わすデータを含む情報を、前記データ記憶サーバから受信するステップと
    を含むことを特徴とする方法。
  2. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した前記メタデータは、前記データ記憶サーバ上の前記ファイルデータの非重複の結果得られる前記ファイルデータの記憶を記述したデータを含むことを特徴とする請求項１に記載の方法。
  3. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した前記メタデータは、前記データファイルのサブセットの暗号ハッシュを含むことを特徴とする請求項１に記載の方法。
  4. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した前記メタデータは、前記ファイルデータの複数のサブセットの各々の暗号ハッシュを含むことを特徴とする請求項１に記載の方法。
  5. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した前記メタデータは、前記ファイルデータの圧縮したサブセットを記述したデータを含むことを特徴とする請求項１に記載の方法。
  6. クライアントとデータ記憶サーバを含むコンピューティング環境において、前記データ記憶サーバ内の記憶最適化の詳細が前記クライアントに見えるようにする方法であって、
    前記データ記憶サーバ上のファイルデータの記憶を記述したメタデータを送信するステップであって、前記ファイルデータは、前記ファイルデータのネイティブ形体とは異なる形体で前記データ記憶サーバ上にストアされており、前記メタデータは、前記ファイルデータの記憶形体を前記データ記憶サーバ上にストアされている通りに見えるようにするステップと、
    コンピューティングシステムからの前記ファイルデータに対するリクエストを前記データ記憶サーバで受信するステップと、
    前記ファイルデータの少なくとも１つ、前記データ記憶サーバ上のファイルデータの記憶を記述した追加メタデータおよび前記ファイルデータの少なくとも一部を表わしているデータを含む情報を前記データ記憶サーバから送信するステップと
    を含むことを特徴とする方法。
  7. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した前記メタデータは、前記データ記憶サーバ上の前記ファイルデータの非重複の結果得られる前記ファイルデータの記憶を記述したデータを含むことを特徴とする請求項６に記載の方法。
  8. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した前記メタデータは、前記データファイルのサブセットの暗号ハッシュを含むことを特徴とする請求項６に記載の方法。
  9. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した前記メタデータは、前記ファイルデータの複数のサブセットの各々の暗号ハッシュを含むことを特徴とする請求項６に記載の方法。
  10. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した前記メタデータは、前記ファイルデータの圧縮したサブセットを記述したデータを含むことを特徴とする請求項６に記載の方法。
  11. １つ以上のコンピュータプロセッサ上で実行されるときに、データ記憶サーバ内の記憶最適化の詳細がクライアントに見えるようにする方法を前記１つ以上のコンピュータプロセッサに実行させるコンピュータ実行可能命令、を有するコンピュータプログラムであって、前記方法は、
    ファイルデータに対するリクエストをコンピューティングシステムから前記データ記憶サーバに送信するステップと、
    前記データ記憶サーバ上のファイルデータの記憶を記述した情報を含む情報を前記データ記憶サーバから受信するステップと、
    を含むことを特徴とするコンピュータプログラム。
  12. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した情報を含む前記情報は、前記データ記憶サーバ上の前記ファイルデータの非重複の結果得られる前記ファイルデータの記憶を記述したデータを含むことを特徴とする請求項１１に記載のコンピュータプログラム。
  13. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した情報を含む前記情報は、前記ファイルデータのサブセットの暗号ハッシュを含むことを特徴とする請求項１１に記載のコンピュータプログラム。
  14. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した情報を含む前記情報は、前記ファイルデータの複数のサブセットの各々の暗号ハッシュを含むことを特徴とする請求項１１に記載のコンピュータプログラム。
  15. 前記データ記憶サーバ上の前記ファイルデータの記憶を記述した情報を含む前記情報は、前記ファイルデータの圧縮したサブセットを記述した情報を含むことを特徴とする請求項１１に記載のコンピュータプログラム。
JP2013515377A 2010-06-18 2011-06-06 データ記憶とデータ送信の最適化 Expired - Fee Related JP5819416B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/818,515 2010-06-18
US12/818,515 US20110314070A1 (en) 2010-06-18 2010-06-18 Optimization of storage and transmission of data
PCT/US2011/039318 WO2011159517A2 (en) 2010-06-18 2011-06-06 Optimization of storage and transmission of data

Publications (3)

Publication Number Publication Date
JP2013534007A JP2013534007A (ja) 2013-08-29
JP2013534007A5 true JP2013534007A5 (ja) 2014-07-24
JP5819416B2 JP5819416B2 (ja) 2015-11-24

Family

ID=45329631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013515377A Expired - Fee Related JP5819416B2 (ja) 2010-06-18 2011-06-06 データ記憶とデータ送信の最適化

Country Status (12)

Country Link
US (1) US20110314070A1 (ja)
EP (1) EP2583186A2 (ja)
JP (1) JP5819416B2 (ja)
KR (1) KR20130095194A (ja)
CN (1) CN102947815B (ja)
AU (1) AU2011268033A1 (ja)
BR (1) BR112012032407A2 (ja)
CA (1) CA2799976A1 (ja)
HK (1) HK1182493A1 (ja)
MX (1) MX2012014730A (ja)
RU (1) RU2581551C2 (ja)
WO (1) WO2011159517A2 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8484162B2 (en) 2008-06-24 2013-07-09 Commvault Systems, Inc. De-duplication systems and methods for application-specific data
US8930306B1 (en) 2009-07-08 2015-01-06 Commvault Systems, Inc. Synchronized data deduplication
US8364652B2 (en) 2010-09-30 2013-01-29 Commvault Systems, Inc. Content aligned block-based deduplication
US8572340B2 (en) * 2010-09-30 2013-10-29 Commvault Systems, Inc. Systems and methods for retaining and using data block signatures in data protection operations
US8954446B2 (en) 2010-12-14 2015-02-10 Comm Vault Systems, Inc. Client-side repository in a networked deduplicated storage system
US9020900B2 (en) 2010-12-14 2015-04-28 Commvault Systems, Inc. Distributed deduplicated storage system
US8856368B2 (en) * 2011-04-01 2014-10-07 International Business Machines Corporation Method for distributing a plurality of data portions
KR101904482B1 (ko) * 2011-12-26 2018-10-08 에스케이텔레콤 주식회사 콘텐트 전송 시스템, 그 시스템에서의 네트워크 중복 전송 트래픽 최적화 방법, 중앙 제어 장치 및 로컬 캐싱 장치
KR20130093806A (ko) * 2012-01-10 2013-08-23 한국전자통신연구원 클라우드 컴퓨팅 환경에서의 개인 정보 유출 알림 시스템 및 방법
CN102571974B (zh) * 2012-02-02 2014-06-11 清华大学 分布式数据中心数据冗余消除方法
CN102546817B (zh) * 2012-02-02 2014-08-20 清华大学 集中式数据中心数据冗余消除方法
US9251186B2 (en) 2012-06-13 2016-02-02 Commvault Systems, Inc. Backup using a client-side signature repository in a networked storage system
US9633033B2 (en) 2013-01-11 2017-04-25 Commvault Systems, Inc. High availability distributed deduplicated storage system
US20160070737A1 (en) * 2013-03-18 2016-03-10 Ge Intelligent Platforms, Inc. Apparatus and method for optimizing time series data store usage
US10015012B2 (en) * 2013-07-03 2018-07-03 Red Hat, Inc. Precalculating hashes to support data distribution
WO2015009299A1 (en) * 2013-07-18 2015-01-22 Hewlett-Packard Development Company, L.P. Remote storage
KR102187127B1 (ko) * 2013-12-03 2020-12-04 삼성전자주식회사 데이터 연관정보를 이용한 중복제거 방법 및 시스템
US9633056B2 (en) 2014-03-17 2017-04-25 Commvault Systems, Inc. Maintaining a deduplication database
US10380072B2 (en) 2014-03-17 2019-08-13 Commvault Systems, Inc. Managing deletions from a deduplication database
JP6326913B2 (ja) 2014-03-31 2018-05-23 富士通株式会社 制御プログラムおよび制御方法
WO2015175411A1 (en) * 2014-05-13 2015-11-19 Cloud Crowding Corp. Distributed secure data storage and transmission of streaming media content
US9852026B2 (en) 2014-08-06 2017-12-26 Commvault Systems, Inc. Efficient application recovery in an information management system based on a pseudo-storage-device driver
US11249858B2 (en) 2014-08-06 2022-02-15 Commvault Systems, Inc. Point-in-time backups of a production application made accessible over fibre channel and/or ISCSI as data sources to a remote application by representing the backups as pseudo-disks operating apart from the production application and its host
KR101588976B1 (ko) 2014-10-22 2016-01-27 삼성에스디에스 주식회사 파일 송신 장치 및 방법
US9575673B2 (en) 2014-10-29 2017-02-21 Commvault Systems, Inc. Accessing a file system using tiered deduplication
US10146752B2 (en) 2014-12-31 2018-12-04 Quantum Metric, LLC Accurate and efficient recording of user experience, GUI changes and user interaction events on a remote web document
US10339106B2 (en) 2015-04-09 2019-07-02 Commvault Systems, Inc. Highly reusable deduplication database after disaster recovery
US20160350391A1 (en) 2015-05-26 2016-12-01 Commvault Systems, Inc. Replication using deduplicated secondary copy data
US11461456B1 (en) * 2015-06-19 2022-10-04 Stanley Kevin Miles Multi-transfer resource allocation using modified instances of corresponding records in memory
EP3323053B1 (en) * 2015-07-16 2021-10-20 Quantum Metric, Inc. Document capture using client-based delta encoding with server
US9766825B2 (en) 2015-07-22 2017-09-19 Commvault Systems, Inc. Browse and restore for block-level backups
JP6439874B2 (ja) * 2015-07-31 2018-12-19 富士通株式会社 情報処理装置、情報処理方法、及び、情報処理プログラム
RU2625611C2 (ru) * 2015-12-07 2017-07-17 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Оренбургский государственный университет" Способ преобразования документов для минимизации их объёма при хранении электронных документов с квазиструктурированным информационным наполнением
US10592357B2 (en) 2015-12-30 2020-03-17 Commvault Systems, Inc. Distributed file system in a distributed deduplication data storage system
US10296368B2 (en) 2016-03-09 2019-05-21 Commvault Systems, Inc. Hypervisor-independent block-level live browse for access to backed up virtual machine (VM) data and hypervisor-free file-level recovery (block-level pseudo-mount)
US10165088B2 (en) * 2016-08-02 2018-12-25 International Business Machines Corporation Providing unit of work continuity in the event initiating client fails over
US10740193B2 (en) 2017-02-27 2020-08-11 Commvault Systems, Inc. Hypervisor-independent reference copies of virtual machine payload data based on block-level pseudo-mount
US10664352B2 (en) 2017-06-14 2020-05-26 Commvault Systems, Inc. Live browsing of backed up data residing on cloned disks
RU2714219C1 (ru) 2018-09-14 2020-02-13 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для планирования передачи операций ввода/вывода
RU2718215C2 (ru) 2018-09-14 2020-03-31 Общество С Ограниченной Ответственностью "Яндекс" Система обработки данных и способ обнаружения затора в системе обработки данных
RU2731321C2 (ru) 2018-09-14 2020-09-01 Общество С Ограниченной Ответственностью "Яндекс" Способ определения потенциальной неисправности запоминающего устройства
RU2714602C1 (ru) 2018-10-09 2020-02-18 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для обработки данных
RU2721235C2 (ru) 2018-10-09 2020-05-18 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для маршрутизации и выполнения транзакций
RU2711348C1 (ru) 2018-10-15 2020-01-16 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для обработки запросов в распределенной базе данных
US11010258B2 (en) 2018-11-27 2021-05-18 Commvault Systems, Inc. Generating backup copies through interoperability between components of a data storage management system and appliances for data storage and deduplication
RU2714373C1 (ru) 2018-12-13 2020-02-14 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для планирования выполнения операций ввода/вывода
US11698727B2 (en) 2018-12-14 2023-07-11 Commvault Systems, Inc. Performing secondary copy operations based on deduplication performance
RU2749649C2 (ru) 2018-12-21 2021-06-16 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для планирования обработки операций ввода/вывода
RU2720951C1 (ru) * 2018-12-29 2020-05-15 Общество С Ограниченной Ответственностью "Яндекс" Способ и распределенная компьютерная система для обработки данных
RU2746042C1 (ru) 2019-02-06 2021-04-06 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для передачи сообщения
US20200327017A1 (en) 2019-04-10 2020-10-15 Commvault Systems, Inc. Restore using deduplicated secondary copy data
US11463264B2 (en) 2019-05-08 2022-10-04 Commvault Systems, Inc. Use of data block signatures for monitoring in an information management system
US11064055B2 (en) * 2019-07-22 2021-07-13 Anacode Labs, Inc. Accelerated data center transfers
US11442896B2 (en) 2019-12-04 2022-09-13 Commvault Systems, Inc. Systems and methods for optimizing restoration of deduplicated data stored in cloud-based storage resources
US11687424B2 (en) 2020-05-28 2023-06-27 Commvault Systems, Inc. Automated media agent state management
CN113641434A (zh) * 2021-08-12 2021-11-12 上海酷栈科技有限公司 一种云桌面数据压缩自适应编码方法、系统及存储设备
US11914983B2 (en) * 2022-06-03 2024-02-27 Apple Inc. Virtual restructuring for patching compressed disk images

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920700A (en) * 1996-09-06 1999-07-06 Time Warner Cable System for managing the addition/deletion of media assets within a network based on usage and media asset metadata
JP3171160B2 (ja) * 1998-03-20 2001-05-28 日本電気株式会社 圧縮ファイルサーバ方式
AU2322900A (en) * 1999-01-29 2000-08-18 Degitaldesign, ltd. Data transmission method, computer-readable medium, and data transmission apparatus
JP3598495B2 (ja) * 1999-01-29 2004-12-08 株式会社 デジタルデザイン データ転送方法、コンピュータ読み取り可能な記録媒体及びデータ転送システム
CA2399555A1 (en) * 2000-02-18 2001-08-23 Avamar Technologies, Inc. Hash file system and method for use in a commonality factoring system
US6990547B2 (en) * 2001-01-29 2006-01-24 Adaptec, Inc. Replacing file system processors by hot swapping
US7054927B2 (en) * 2001-01-29 2006-05-30 Adaptec, Inc. File system metadata describing server directory information
US6944740B2 (en) * 2002-03-27 2005-09-13 International Business Machines Corporation Method for performing compressed I/O with memory expansion technology
JP3979183B2 (ja) * 2002-05-27 2007-09-19 日本電気株式会社 データ共有システム及びディスク装置へのアクセス方法並びにプログラム
US7181578B1 (en) * 2002-09-12 2007-02-20 Copan Systems, Inc. Method and apparatus for efficient scalable storage management
US20040107242A1 (en) * 2002-12-02 2004-06-03 Microsoft Corporation Peer-to-peer content broadcast transfer mechanism
US20050138011A1 (en) * 2003-12-23 2005-06-23 Royer Robert J.Jr. Meta-data storage and access techniques
US7130956B2 (en) * 2004-02-10 2006-10-31 Sun Microsystems, Inc. Storage system including hierarchical cache metadata
US7243110B2 (en) * 2004-02-20 2007-07-10 Sand Technology Inc. Searchable archive
US7533181B2 (en) * 2004-02-26 2009-05-12 International Business Machines Corporation Apparatus, system, and method for data access management
US7383382B2 (en) * 2004-04-14 2008-06-03 Microsoft Corporation System and method for storage power, thermal and acoustic management in server systems
US7343459B2 (en) * 2004-04-30 2008-03-11 Commvault Systems, Inc. Systems and methods for detecting & mitigating storage risks
CN1697327A (zh) * 2004-05-13 2005-11-16 皇家飞利浦电子股份有限公司 一种顺序压缩/解压缩数据的方法及装置
US7386566B2 (en) * 2004-07-15 2008-06-10 Microsoft Corporation External metadata processing
US7657581B2 (en) * 2004-07-29 2010-02-02 Archivas, Inc. Metadata management for fixed content distributed data storage
US7594075B2 (en) * 2004-10-20 2009-09-22 Seagate Technology Llc Metadata for a grid based data storage system
US7320008B1 (en) * 2004-12-20 2008-01-15 Veritas Operating Corporation Data protection mechanism
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
BRPI0617089A2 (pt) * 2005-09-01 2011-07-12 Astragroup As método para interrogar ou buscar um corpo de dados digitados seqüenciais, método para ajudar na computação de wavelets para aplicações e método para processar uma seqüência de dados digitados
US7555715B2 (en) * 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format
US7587569B2 (en) * 2005-12-19 2009-09-08 Yahoo! Inc. System and method for removing a storage server in a distributed column chunk data store
DE602006000817T2 (de) * 2006-02-03 2008-07-17 Research In Motion Ltd., Waterloo System und Methode für steuernde Datenkommunikation zwischen einem Server und einer Client-Vorrichtung
US7747831B2 (en) * 2006-03-20 2010-06-29 Emc Corporation High efficiency portable archive and data protection using a virtualization layer
US8412682B2 (en) * 2006-06-29 2013-04-02 Netapp, Inc. System and method for retrieving and using block fingerprints for data deduplication
US20080052328A1 (en) * 2006-07-10 2008-02-28 Elephantdrive, Inc. Abstracted and optimized online backup and digital asset management service
US20080243769A1 (en) * 2007-03-30 2008-10-02 Symantec Corporation System and method for exporting data directly from deduplication storage to non-deduplication storage
JP5061797B2 (ja) * 2007-08-31 2012-10-31 ソニー株式会社 伝送システムおよび方法、伝送装置および方法、受信装置および方法、プログラム、並びに記録媒体
US7941409B2 (en) * 2007-09-11 2011-05-10 Hitachi, Ltd. Method and apparatus for managing data compression and integrity in a computer storage system
US7797279B1 (en) * 2007-12-31 2010-09-14 Emc Corporation Merging of incremental data streams with prior backed-up data
US8300823B2 (en) * 2008-01-28 2012-10-30 Netapp, Inc. Encryption and compression of data for storage
US8176269B2 (en) * 2008-06-30 2012-05-08 International Business Machines Corporation Managing metadata for data blocks used in a deduplication system
US20100082700A1 (en) * 2008-09-22 2010-04-01 Riverbed Technology, Inc. Storage system for data virtualization and deduplication
US8738621B2 (en) * 2009-01-27 2014-05-27 EchoStar Technologies, L.L.C. Systems and methods for managing files on a storage device
US7987162B2 (en) * 2009-03-06 2011-07-26 Bluearc Uk Limited Data compression in a file storage system
US8205065B2 (en) * 2009-03-30 2012-06-19 Exar Corporation System and method for data deduplication
CN101582076A (zh) * 2009-06-24 2009-11-18 浪潮电子信息产业股份有限公司 一种基于数据库的重复数据删除方法
US9191437B2 (en) * 2009-12-09 2015-11-17 International Business Machines Corporation Optimizing data storage among a plurality of data storage repositories
US8370297B2 (en) * 2010-03-08 2013-02-05 International Business Machines Corporation Approach for optimizing restores of deduplicated data

Similar Documents

Publication Publication Date Title
JP2013534007A5 (ja)
RU2012154625A (ru) Способ оптимизации хранения и передачи данных
JP2014502396A5 (ja)
JP2014531091A5 (ja) 処理方法、コンピュータプログラム及びクライアントサポートサーバ
JP2010191999A5 (ja)
WO2013041852A3 (en) Scalable distributed transaction processing system
JP2014534532A5 (ja)
JP2014194820A5 (ja)
JP2014096164A5 (ja)
RU2013122666A (ru) Система обработки информации, способ обработки информации, программа обработки информации, считываемый компьютером носитель записи, на котором хранится программа обработки информации
JP2016500828A5 (ja)
JP2014501408A5 (ja)
JP2015535994A5 (ja)
GB2514968A (en) Managing tenant-specific data sets in a multi-tenant environment
EP2501109A3 (en) Massively scalable object storage system
EP2498476A3 (en) Massively scalable object storage system
JP2018133080A5 (ja) データ管理装置、情報処理装置、コンテンツデータの出力方法、コンテンツデータｉｄの共有方法、プログラム、及びデータ構造
JP2014508983A5 (ja)
JP2014002722A5 (ja)
JP2014523567A5 (ja)
RU2016104608A (ru) Система для совместного использования криптографического ключа
JP2012530292A5 (ja)
JP2015512091A5 (ja)
JP2018533090A5 (ja)
JP2016519803A5 (ja)