JP2008257716A - 重複除外記憶装置から非重複除外記憶装置にデータを直接エクスポートするシステム及び方法 - Google Patents

重複除外記憶装置から非重複除外記憶装置にデータを直接エクスポートするシステム及び方法 Download PDF

Info

Publication number
JP2008257716A
JP2008257716A JP2008086414A JP2008086414A JP2008257716A JP 2008257716 A JP2008257716 A JP 2008257716A JP 2008086414 A JP2008086414 A JP 2008086414A JP 2008086414 A JP2008086414 A JP 2008086414A JP 2008257716 A JP2008257716 A JP 2008257716A
Authority
JP
Japan
Prior art keywords
data
deduplication
data store
store
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008086414A
Other languages
English (en)
Other versions
JP5145098B2 (ja
Inventor
Frederick M Arbour
フレデリック・エム・アーバー
Matthew M Reker
マシュー・エム・レッカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NortonLifeLock Inc
Original Assignee
Symantec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Symantec Corp filed Critical Symantec Corp
Publication of JP2008257716A publication Critical patent/JP2008257716A/ja
Application granted granted Critical
Publication of JP5145098B2 publication Critical patent/JP5145098B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1453Management of the data involved in backup or backup restore using de-duplication of the data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1456Hardware arrangements for backup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】重複除外バックアップソリューションを他のタイプのバックアップソリューションと統合する方法及びシステムを提供する。
【解決手段】重複除外データストアから非重複除外データストアにデータをエクスポートする。データセットは、データセット内のデータ対象の1つ又は複数の複製を削除するフォーマットで重複除外データストアに記憶される。重複除外データストア内のデータセットは、データセットについて記述するメタデータと別に記憶されてもよい。重複除外データストアに記憶されたデータセットを読み出す。重複除外データストアから読み出したデータセットとメタデータが、非重複除外データストアに記憶される。非重複除外データストアにおいて、データセットが、データセット内のデータ対象の1つ又は複数の複製を保存するフォーマットで記憶される。
【選択図】図1

Description

本発明は、コンピュータシステムの分野に関し、より詳細には重複除外データストア(deduplication data store)からのデータのエクスポートに関する。
重複除外バックアップソリューションは、バックアップのサイズを縮小し、それによりネットワーク資源をより効率的に利用するように設計されている。標準的なネットワーク接続環境は、同じデータ対象(例えば、ファイル又はディレクトリ)の多数の複写を記憶することがある。重複除外プロセスでは、複製データ又は冗長データが除去される。データのすべての要素の複写が1つだけ記憶されるが、廃棄されたデータの指標は保持される。重複除外バックアップソリューションは、「単一(unique)」のデータだけを維持することによって、バックアップに必要な記憶容量を大幅に削減する。重複除外は、データ削減又はコモナリティファクタリング(commonality factoring)と呼ばれることもある。重複除外バックアップソリューションの一例は、Symantec CorporationによるPureDiskTMである。
重複除外の代表例において、重複除外バックアップソリューションで、ネットワーク接続環境における同一ファイルの多数の正確な複写が、ファイルの1つの複写とファイルの単一の複写を指す多数の参照(reference)を合わせたものとして維持される。ファイルの後の繰り返しを参照として保存することによって、オリジナルデータストアの保全性と実質的な完全性を維持しながら記憶容量の必要量を少なくすることができる。重複除外は、また、冗長データ対象だけでなくデータ対象の冗長部分も除去することにより、データの圧縮を様々な細分レベルで実現することができる。重複除外バックアップソリューションは、様々な技術を使用してデータを単一データ又は冗長データとして分類する。いくつかのソリューションでは、単一データを識別するためにハッシュアルゴリズムが使用されることがある。他のソリューションでは、パターンマッチングアルゴリズムが使用されることがある。
重複除外バックアップソリューションは、例えば、ディスクベースのバックアップ装置や、テープライブラリの動作をエミュレートする仮想テープライブラリ(VTL)ソリューションなどの様々な記憶技術が利用される場合がある。通常、データが重複除外データストアに複写されるときにデータのカタログが構築される。カタログは、各対象及び/又は要素に参照を割り当てることによって、データ対象及び/又はデータ対象の一部分に索引を付ける。カタログは、必要に応じて複製対象及び/又は要素を回復するために使用される。後のバックアップの際に、カタログを使用して、どのデータ対象及び/又は要素が単一で、従って重複除外データストアに全体を保存すべきであるかを識別することができる。
重複除外バックアップソリューションを他のタイプのバックアップソリューションと統合する方法及びシステムを提供することが望ましい。
重複除外データストアから非重複除外データストアにデータをエクスポートする方法、システム及びコンピュータ可読記憶媒体を開示する。重複除外データストアにおいて、データセットは、データ対象及び/又はデータ対象内のデータ要素の複製が削除された圧縮フォーマットで記憶される。データセット用のメタデータは、重複除外データストア内に維持される「単一」の対象及び/又は要素へのポインタをたどることによって削除された複製の復元を可能にするためにデータ対象及び/又は要素への参照インデックスを含む。メタデータは、重複除外データストア内のデータセットと別のメタデータリポジトリに記憶されてもよい。
一実施態様によれば、データセットを、重複除外データストアから直接読み出すようにしてもよい。メタデータ内の参照インデックスを使用することによって、データセットは、データ対象及び/又は要素の複製を含む展開フォーマットで組み立てられる。データセットは、メタデータの少なくとも一部分と結合され、非重複除外データストアに送られる。データセットとメタデータは、非重複除外データストアに記憶される。非重複除外データストアにおいて、データセットは、データセット内のデータ対象の1つ又は複数の複製を保存するフォーマットで記憶される。データセットとメタデータは、非重複除外データストアに一緒に記憶されてもよい。
一実施態様によれば、エクスポートプロセスは、ユーザが指定したイベントあるいは「1回実行」コマンドによって開始される。エクスポートプロセスは、ユーザが指定したフィルタや他の選択に従ってデータセットのサブセットに作用する。オリジナルデータストアから重複除外データストアにバックアップされるデータセットは、非重複除外データストアにエクスポートされ、次にそのオリジナルフォーマットでオリジナルデータストアに戻される。
本発明は、以下の詳細な説明を以下の図面と共に検討するときによりよく理解することができる。
本発明は、いくつかの実施形態と実例となる図面に関して本明細書に例として示されているが、当業者は、本発明が記載した実施形態又は図面に限定されないことを理解するであろう。図面とその詳細な説明は、本発明を開示した特定の形態に限定するものではなく、むしろ本発明は、添付の特許請求の範囲によって定義されたような本発明の趣旨及び範囲内にあるすべての修正物、等価物及び代替物を対象として含むことを理解されたい。
本明細書で述べるシステム及び方法の実施形態を使用することにより、重複除外データストア内のデータを非重複除外データストアに直接エクスポートすることができる。非重複除外データストアでは、データは、効率的で正確な復元を可能にするためにそのメタデータと共に記憶される。データは、重複除外データストアからイベント駆動式及び/又は選択式にエクスポートされる。図1、図3、図5、図6は、データを重複除外データストアから非重複除外データストアにエクスポートするための本明細書に記載のシステム及び方法と共に使用することができるコンピュータシステム及びネットワーク接続環境の例を示す。図1、図3、図5、図6に示した構成例や本明細書に示した要素の量と種類は、限定ではなく例示であり、他の実施形態が可能でありまた意図されている。
図1は、一実施形態によるデータを重複除外データストア130から非重複除外データストア150にエクスポートするネットワーク接続バックアップ環境100を示す。ネットワーク接続バックアップ環境100は、例えば重複除外バックアップソリューションと非重複除外バックアップソリューションを含む様々な適切なバックアップソリューションのどれを利用することもできる。重複除外バックアップソリューション(例えば、Symantec CorporationによるPureDiskTMのバージョン)は、重複除外データストア130を設けて管理する。重複除外データストア130において、データセット131Aは、データ対象及び/又はデータ対象内のデータ要素の複製が削除された圧縮フォーマットで記憶する。データセット131A用のメタデータ132Aが、重複除外データストア130に維持された「単一」の対象及び/又は要素に対するポインタをたどることによって、削除された複製の回復を可能にするデータ対象及び/又は要素に対する参照インデックスを含む。メタデータ132Aは、重複除外データストア130内のデータセット131Aと別のメタデータリポジトリ140に記憶されてもよい。データセット131Aは、複数のデータ対象(例えば、ファイル、ディレクトリなど)を含むことができる。メタデータ132Aは、所有権関係、許可とセキュリティパラメータ、作成と修正日、階層関係、データ対象の他の適切な属性などのデータ対象の様々な属性を示す。
非重複除外バックアップソリューション(例えば、Symantec CorporationによるNetBackupTMのバージョン)は、非重複除外データストア150を設けて管理する。非重複除外データストア150は、データ対象及び/又はデータ要素の複製を保存する従来の記憶装置及びバックアップ技術で実現することができる。一実施形態において、非重複除外データストア150内のデータは、アーカイブフォーマットで記憶される。一実施形態において、メディアサーバ102と呼ばれるコンピュータシステムが、非重複除外データストア150を管理する。ネットワーク接続バックアップ環境100において、メディアサーバ102の主な役割は、データを非重複除外データストア150などのバックアップ記憶装置に移すことである。メディアサーバ102は、非重複除外データストア150などの記憶装置に直接又はネットワークを介して結合されてもよい。
重複除外データストア130は、例えば、ディスクベースのバックアップ装置や、テープライブラリのオペレーションをエミュレートする仮想テープライブラリ(VTL)ソリューションなどの任意の適切な記憶技術を使用して実現することができる。メタデータリポジトリ140は、例えば、ディスクベースの記憶装置などの適切な記憶技術を使用して実現できる。非重複除外データストア150は、例えば、テープライブラリ、ディスクアレイ、ネットワーク装置など、記憶装置バックアップのための適切な技術を使用して実現されてもよい。
一実施形態において、図1に示した様々な構成要素が、ストレージエリアネットワーク(SAN)によって結合されている。SANは、一般に、記憶装置(例えば、重複除外データストア130と非重複除外データストア150)とコンピュータシステム(例えば、メディアサーバ102)間の直接接続を確立できる高速ネットワークである。そのような接続を可能にするために、SANは、1個又は複数個のスイッチ、ルータ、ハブなどの様々な要素をSAN構造に含む。SAN構造における様々な要素は、ネットワーク及びストレージインタフェースと、メモリと、プログラム命令を実行するように動作可能なプロセッサとを含むことができる。一実施形態において、メディアサーバ102及び/又はSAN構造における要素は、物理記憶リソースをボリュームなどの論理エンティティとして管理することができるボリュームマネージャを含む。
より詳しく後で述べるように、重複除外データストア130内の圧縮フォーマットで記憶されたデータセット131Aが、非重複除外データストア150にエクスポートされる。非重複除外データストア150において、データ131Bは、データ対象及び/又はデータ要素の複製を含む展開フォーマットで記憶されている。また、データ131Bは、その関連メタデータ132Bと共に非重複除外データストア150に記憶されてもよい。一実施形態において、エクスポートエージェント104は、重複除外データストア130からのデータ131Aの読み出しなどのエクスポートプロセスの態様を実装する。エクスポートエージェント104は、重複除外データストア130とメタデータリポジトリ140に結合されたコンピュータシステム上で実行可能なソフトウェアからなる。一実施形態において、エクスポートエージェント104は、重複除外データストア130用のサーバ(例えば、PureDiskTMサーバ)として働くコンピュータシステム上にある。一実施形態において、非重複除外バックアップソリューションのクライアント(例えば、NetBackupTM)は、エクスポートエージェント104と同じコンピュータシステムにインストールされる。エクスポートエージェントは、非重複除外バックアップソリューション用のアプリケーションプログラムインタフェース(API)における複数の機能によって、非重複除外バックアップソリューション用のクライアントと通信するように構成される。
図2は、1つの実施形態に従ってデータを重複除外データストア130から非重複除外データストア150にエクスポートする方法を示す流れ図である。210に示したように、重複除外データストア130に記憶されたデータセット131Aが読み出される。データセットは、重複除外データストアに、データセット内のデータ対象の1つ又は複数の複製が削除されたフォーマットで記憶される。重複除外データストア内のデータセットは、データセットを示すメタデータ132Aと別に記憶される。より詳しく後で述べるように(例えば、図4を参照して)、データセットは、非重複除外データストアにエクスポートされる。220に示したように、データセット131Bとメタデータ132Bは、非重複除外データストア150に記憶される。データセットは、データ対象の1つ又は複数の複製がデータセットで保存されるフォーマットで非重複除外データストアに記憶されてもよい。
図3は、1つの実施形態によりデータを重複除外データストア130にバックアップし重複除外データストア130から非重複除外データストア150にデータをエクスポートするネットワーク接続バックアップ環境300を示す。一実施形態において、ネットワーク接続バックアップ環境300は、図1に示したネットワーク接続バックアップ環境100のどの要素をも含むことができる。本明細書で述べるエクスポートプロセスの他に、ネットワーク接続バックアップ環境300は、バックアッププロセス310及び/又は回復プロセス320を含んでもよい。バックアッププロセス310及び/又は回復プロセス320は、ストレージホストや、ネットワーク内の中間コンピュータシステムなど、図3に示していない追加のコンピュータシステムを利用することができる。
データセット131Aを重複除外データストア130から非重複除外データストア150にエクスポートする前に、データは、オリジナルデータストア160から重複除外データストア130にバックアップされてもよい。オリジナルデータストア160は、ネットワーク接続環境で1次記憶に使用される記憶装置からなる。バックアッププロセス310において、オリジナルフォーマット(例えば、従来のファイルシステムにおける実質的に圧縮されていないフォーマット)で記憶されたデータセット131Cは、データ対象及び/又はデータ対象内の要素の複製を削除するために重複除外技術を使用して重複除外データストア130にバックアップされてもよい。メタデータ132Aは、データセット131C内の対象の属性を複写し、また重複除外データストア130内の圧縮されたデータセット131A内の対象及び/又は要素に対する参照インデックスを生成することによってバックアッププロセス310中に生成される。メタデータ132Aは、更に、オリジナルデータストア160の指示(即ち、識別)を含むこともある。前述のように、メタデータ132Aは、重複除外データストア130内の圧縮されたデータセット131Aと別にメタデータリポジトリ140に記憶される。バックアッププロセス310は、イベントをトリガし、データをフィルタリングするための様々な技術を使用して実行される。
データセット131Aが非重複除外データストア150にエクスポートされるとき、非重複除外データストア内の展開されたデータセット131Bを示すカタログが生成される。カタログは、非重複除外データストア(例えば、メタデータ132Bと共に)及び/又は別の場所に維持される。カタログは、オリジナルデータストア160の指示をも含む。一実施形態において、非重複除外データストア150にエクスポートされたデータセットは、非重複除外データストアからオリジナルデータストア160に復元される。復元プロセス320は、従来のストレージ管理技術を使用して、非重複除外データストアからデータセットを複写し、必要に応じてデータセットを展開フォーマット(例えば、テープに適したアーカイブフォーマット)から宛先データストアに必要とされる従来のフォーマットに変換し、最終データセット131Cを宛先データストアに記憶することによって行うことができる。一実施形態において、カタログは、オリジナルデータストア160を識別しかつデータセット131Cをオリジナルデータストア160に復元するために復元プロセス320によって使用される。一実施形態において、復元されたデータ131Cは、重複除外され重複除外データストア130からエクスポートされた後でも、実質的に同じメタデータと同じフォーマットを有することを含めてオリジナルデータ131C(バックアッププロセス310前の)と実質的に同じである。
図4は、一実施形態に従って重複除外データストア130にデータをバックアップし重複除外データストア130から非重複除外データストア150にデータをエクスポートする方法を示す流れ図である。410で示したように、データセットは、重複除外データストア130にバックアップされる。前述のように、バックアッププロセス310は、データ対象及び/又はデータ対象内の要素の1つ又は複数の複製を削除するフォーマットでデータセット131Aを生成し記憶する重複除外プロセスを含む。
420に示したように、重複除外データストア130からデータの少なくともサブセットを直接読み出す。重複除外データストアマネージャは、重複除外データストア130内で重複除外データを作成し、(例えば、バックアッププロセス310で)記憶し、他の方法で管理するように構成された構成要素からなる。重複除外データストア130は、重複除外データを1個又は複数個の記憶コンテナ内にパッケージ化する。一実施形態において、重複除外データストア130からデータを直接読み出す段階は、重複除外データストアマネージャをバイアスして、重複除外データストア内の1つ又は複数の記憶コンテナからデータを読み出す段階を含む。一実施形態において、エクスポートエージェント104は、重複除外データストア130からデータを直接読み出す態様を実行する。
430に示したように、データ対象及び/又は要素の複製を含むデータのサブセットは、メタデータリポジトリ140から得たデータのメタデータ132Aを使用して、拡張フォーマットで組み立てられる。同じ対象又は要素の複数のインスタンスを表わすメタデータ132A内の複数のポインタが、圧縮されたデータセット131A内の対象又は要素の単一のインスタンスを指す。メタデータ内のポインタは、バックアッププロセス310で対象のインデックスを生成することにより得られる。データサブセット内の複数のデータ対象は、重複除外データストア130内のデータ対象の場所に対するポインタを使用することによって再構成されるか又は組み立てられる。一実施形態において、非重複除外バックアップソリューションのエクスポートエージェント104及び/又はクライアント(例えば、NetBackupTM)が、データのサブセットを組み立てる態様を実行する。
440に示したように、データのサブセットは、メタデータとデータのサブセットの両方をバックアップストリームに入れることによってメタデータの少なくとも一部分(例えば、前述のデータ対象の様々な属性)と結合される。一実施形態において、データとメタデータは、データ対象が全く連続しないようにバックアップストリーム内で組み合わされる。一実施形態において、バックアップストリームは、テープにアーカイブするのに適した「フラット(flat)」フォーマット(例えば、.tar)からなる。一実施形態において、エクスポートエージェント104、非重複除外バックアップソリューション用のクライアント(例えば、NetBackupTM)、及び/又はメディアサーバ102は、バックアップストリームを作成する態様を実行することができる。エクスポートエージェント104やメディアサーバ102などの構成要素は、データとメタデータを非重複除外データストア150に転送する前にデータとメタデータの一時的複写をメモリに記憶してもよい。
450に示したように、バックアップストリームは、非重複除外データストア150に送られる。460に示したように、データのサブセットは、前述の拡張フォーマットで非重複除外データストア150にメタデータと共に記憶される。一実施形態において、(450で示したように)バックアップストリームのデータとメタデータの他の要素を送信する前に、(460で示したように)バックアップストリーム内のいくつかのデータ要素とメタデータを記憶する。従って、一実施形態において、方法要素450、460は、繰り返し又は実質的に同時に実行される。オリジナルデータストア160の指示を含むデータについて記述するカタログが生成され記憶される。一実施形態において、データは、非重複除外データストア150内に対応するデータを記憶した後で重複除外データストア130から削除される。
図5は、一実施形態による重複除外データストア130から非重複除外データストア150へのデータのエクスポートを構成するためのユーザインタフェース170を含むネットワーク接続バックアップ環境500を示す。一実施形態において、ネットワーク接続バックアップ環境500は、図1に示したネットワーク接続バックアップ環境100及び/又は図3に示したネットワーク接続バックアップ環境300の要素のいずれを含むこともできる。ネットワーク接続バックアップ環境500は、バックアッププロセス310、エクスポートプロセス及び/又は復元プロセス320の態様を構成するために使用可能なユーザインタフェース170を含む。ユーザインタフェース170は、グラフィカルユーザインタフェース(GUI)内の様々なウィンドウ、リスト、オプションなど、及び/又はコマンドラインインタフェース(CLI)内の様々なコマンドを含む。一実施形態において、ユーザインタフェース170は、ネットワーク接続バックアップ環境500の他の要素に通信可能に結合された中央構成要素(例えば、マスタサーバや管理コンソール)によって設けられてもよい。この中央構成要素は、ユーザインタフェース170によって指定された構成パラメータを維持する記憶装置にアクセスすることができる。
一実施形態において、ユーザインタフェース170は、フィルタ構成172用の構成要素を含む。フィルタ構成要素172を使用することにより、1個又は複数個のフィルタを指定することができる。フィルタは、重複除外データストア130内の1つ又は複数のデータ対象の選択を含む。例えば、フィルタには、クライアント識別、メタデータ132Aに関する選択(例えば、特定のユーザが所有するすべてのファイルとディレクトリ)、及び/又はデータ対象の下位階層の選択(例えば、特定のディレクトリ内のすべてのファイルとディレクトリ)がある。フィルタは、値の範囲やワイルドカードなどがある。フィルタは、相対的な優先順位によって格付けされてもよい。一実施形態において、フィルタは、指定された時間に対応する特定のバージョンのデータ対象がエクスポートされるように特定の時間又は時間範囲(例えば、バックアップを行なう時間)を含む。一実施形態において、フィルタは、GUIによってユーザによって指定される。重複除外データストア130からエクスポートされるデータセット131Aのサブセットは、1個又は複数個のフィルタをデータセット131A全体に追加することによって決定される。
一実施形態において、ユーザインタフェース170は、イベント構成174用の構成要素を含む。イベント構成要素174を使用することにより、ネットワーク接続バックアップ環境500でオペレーションを開始するための1つ又は複数のイベントが指定される。例えば、重複除外データストアから非重複除外データストアにデータセットをエクスポートするプロセスは、イベントの発生によって開始される。バックアッププロセス310及び/又は復元プロセス320は、イベントによって開始されてもよい。イベントは、ユーザ入力、デフォルト値又はそれらの組み合わせによって指定される。イベントは、重複除外データストア130から非重複除外データストア150へのデータの定期的なバックアップや毎日のエクスポートなどの計画的なオカレンスを含む。また、イベントは、特定のしきい値や適合する他の値などの出来事に基づいて行われてもよい。例えば、重複除外データストア130から非重複除外データストア150へのデータのエクスポートは、データセットが重複除外データストア130内で期限切れになった場合又は重複除外データストア130の空き記憶容量が所定のしきい値を下回った場合に行われる。
一実施形態において、1個又は複数個のフィルタが、バックアップポリシー、エクスポートポリシー、回復ポリシーにおける1つ又は複数のイベントと組み合わされる。また、ネットワーク接続バックアップ環境500における様々なプロセスは、ユーザインタフェース170を介して入力されるユーザ入力(例えば、「1回実行("run once")」命令)に応じて直ちに実行されてもよい。
図6は、前述のシステムや方法の実施形態を実現するための代表的なコンピュータシステム900のブロック図を示す。コンピュータシステム900は、メディアサーバ102A又は102B、クライアント210、マスタサーバ204、SAN構造内の様々な要素など、ネットワーク接続バックアップ環境100又は200における様々なコンピュータシステムの実例である。コンピュータシステム900は、通信バスによって結合されたプロセッサ910とメモリ920を含む。プロセッサ910は、単一プロセッサでもよく一緒に動作するいくつかの個別のプロセッサでもよい。メモリ920は、一般に、ランダムアクセスメモリ(RAM)や他の何らかのダイナミックストレージ装置であり、プロセッサによって実行される命令、例えば、本明細書に記載したシステムと方法に従ってデータをエクスポートし、バックアップしかつ/又は復元するためのソフトウェア940を記憶する。メモリ920は、また、プロセッサ910による命令の実行中に一時的数値変数や他の中間情報を記憶するために使用される。
コンピュータシステム900は、また、キーボードとマウス950、SCSIインタフェース952、ネットワークインタフェース954、グラフィックス表示装置956、ハードディスク記憶装置958、光記憶装置960などの装置を含んでもよく、これらのすべての装置は、少なくとも1つの通信バスによってプロセッサ910に結合される。コンピュータシステム900は、また、省略によって示したように、追加の記憶装置、通信装置、入力装置、出力装置などの図に示していない多数の要素を含むことができる。
以上述べた技術と方法は、例えば、アセンブラ言語やCなどの従来のコンピュータ言語、C++やJava(登録商標)などのオブジェクト指向言語、PerlやTcl/Tkなどのスクリプト言語を含む様々なコンピュータ言語を使用する1つ又は複数のソフトウェアプログラムとしてソフトウェアで実現することができる。ソフトウェア940は、前述の機能又は方法のどれかを実行するためにプロセッサ910によって実行可能なプログラム命令を含むことができる。
様々な実施形態は、更に、コンピュータアクセス可能媒体に基づく以上の説明に従って実施される命令及び/又はデータを受け取り、送り、又は記憶することを含む。一般的に言うと、コンピュータアクセス可能媒体は、例えばディスクやCD−ROMなどの磁気又は光媒体、RAM(例えば、SDRAM、DDR、RDRAM、SRAMなど)やROMなどの揮発性又は不揮発性媒体などの記憶媒体又はメモリ媒体を含むことができる。一実施形態において、コンピュータアクセス可能媒体は、ネットワークや無線リンクなどの通信手段によって伝送される電気信号、電磁信号又はデジタル信号などの伝送媒体又は信号を含むことができる。
図に示し本明細書に記載した様々な方法は、方法の例示的な実施形態を表わす。これらの方法は、ソフトウェア、ハードウェア又はそれらの組み合わせで実現することができる。方法要素の順序は変更されてもよく、様々な要素の追加、順序変更、組み合わせ、省略、修正などが可能である。方法要素は、自動的(即ち、ユーザ介入なしに)にプログラムによって(即ち、コンピュータによって実行されるプログラム命令に従って)実行されてもよい。
本開示の利益を有する当業者に明かなように様々な修正と変更が行なわれる。本発明は、すべてのそのような修正及び変更を包含し、従って以上の説明と図面は限定的な意味ではなく例示的な意味で解釈されるべきである。
一実施形態による重複除外データストアから非重複除外データストアにデータをエクスポートするネットワーク接続バックアップ環境を示す図である。 一実施形態による重複除外データストアから非重複除外データストアにデータをエクスポートする方法を示す流れ図である。 一実施形態による重複除外データストアにデータをバックアップし重複除外データストアから非重複除外データストアにデータをエクスポートするネットワーク接続バックアップ環境を示す図である。 一実施形態による重複除外データストアにデータをバックアップし重複除外データストアから非重複除外データストアにデータをエクスポートする方法を示す流れ図である。 一実施形態による重複除外データストアから非重複除外データストアへのデータのエクスポートを構成するためにユーザインタフェースを有するネットワーク接続バックアップ環境を示す図である。 前述のシステム及び方法の実施形態を実現するように構成された典型的なコンピュータシステムを示す図である。
符号の説明
100 ネットワーク接続バックアップ環境
102 メディアサーバ
104 エクスポートエージェント
130 重複除外データストア
131A データセット(圧縮フォーマット)
131B データセット(展開フォーマット)
132A メタデータ
132B メタデータ
140 メタデータレポジトリ
150 非重複除外データストア

Claims (20)

  1. 重複除外データストアに記憶されたデータセットを読み出すステップであって、データセットは、データセット内のデータ対象の1つ又は複数の複製を削除するフォーマットで重複除外データストアに記憶され、重複除外データストア内のデータセットは、データセットについて記述するメタデータと別に記憶される、前記読み出すステップと、
    重複除外データストアから読み出したデータセットとメタデータを非重複除外データストアに記憶するステップであって、データセットは、データセット内のデータ対象の1つ又は複数の複製を保存するフォーマットで非重複除外データストアに記憶される、前記記憶するステップとを含む方法。
  2. 重複除外データストアに記憶されたデータセットを読み出すステップは、重複除外データストア内の複数のデータ対象の複数の場所への複数のポインタを使用して、データセット内で複数のデータ対象を組み立てるステップを含む請求項1に記載の方法。
  3. 重複除外データストアに記憶されたデータセットを読み出すステップは、重複除外データストアマネージャを回避して重複除外データストア内の1つ又は複数の記憶コンテナからデータセットを読み出すステップを含む請求項1に記載の方法。
  4. 重複除外データストアから読み出したデータセットを非重複除外データストア内にメタデータと一緒に記憶するステップは、データセットとメタデータを、非重複除外データストアに送られるバックアップストリームに入れるステップを含む請求項1に記載の方法。
  5. 1つ又は複数のイベントを指定するステップを更に含み、
    重複除外データストアからデータセットを読み出し、データセットを非重複除外データストアにメタデータと共に記憶するステップは、イベントのうちの1つによって開始される請求項1に記載の方法。
  6. 1つ又は複数のフィルタを指定するステップと、
    1つ又は複数のフィルタを適用することによって重複除外ストアから読み出すデータセットを決定するステップとを含む請求項1に記載の方法。
  7. 重複除外データストアからデータセットを読み出す前に、オリジナルデータストアから重複除外データストアにデータセットをバックアップするステップを更に含む請求項1に記載の方法。
  8. 非重複除外データストアからオリジナルデータストアにデータセットを戻すステップを更に含む請求項7に記載の方法。
  9. 非重複除外データストアに記憶されたデータセットについて記述するカタログを記憶するステップを更に含み、カタログは、オリジナルデータストアの指示を含む請求項7に記載の方法。
  10. 非重複除外データストアにデータセットを記憶した後で重複除外データストアからデータセットを削除するステップを更に含む請求項1に記載の方法。
  11. コンピュータ可読記憶媒体であって、
    重複除外データストアに記憶されたデータセットを読み出し、データセットが、データセット内のデータ対象の1つ又は複数の複製を削除するフォーマットで重複除外データストアに記憶され、重複除外データストア内のデータセットは、データセットについて記述するメタデータと別に記憶され、
    重複除外データストアから読み出されたデータセットと非重複除外データストア内のメタデータを記憶し、データセットが、データセット内のデータ対象の1つ又は複数の複製を保存するフォーマットで非重複除外データストアに記憶されるようにコンピュータで実行可能なプログラム命令を含むコンピュータ可読記憶媒体。
  12. 重複除外データストアからデータセットを読み出すことは、重複除外データストア内の複数のデータ対象の複数の場所への複数のポインタを使用して、データセット内の複数のデータ対象を組み立てることを含む請求項11に記載のコンピュータ可読記憶媒体。
  13. 重複除外データストアからデータセットを読み出すことは、重複除外データストアマネージャを回避して重複除外データストア内の1つ又は複数の記憶コンテナからデータセットを読み出すことを含む請求項11に記載のコンピュータ可読記憶媒体。
  14. 重複除外データストアから読み出したデータセットを非重複除外データストア内のメタデータと共に記憶することは、データセットとメタデータをバックアップストリームに入れることを含み、バックアップストリームは、非重複除外データストアに送られる請求項11に記載のコンピュータ可読記憶媒体。
  15. データセット内のデータ対象の1つ又は複数の複製を削除するフォーマットでデータセットを記憶するように構成された重複除外データストアであって、重複除外データストア内のデータセットがデータセットについて記述するメタデータと別に記憶される、前記重複除外データストアと、
    非重複除外データストアと、
    重複除外データストア及び非重複除外データストアに結合されたコンピュータシステムであって、コンピュータシステムは、少なくとも1つのプロセッサと1つのメモリを含み、メモリは、
    重複除外データストアに記憶されたデータセットを読み出し、
    重複除外データストアから読み出したデータセットとメタデータを非重複除外データストアに送るために少なくとも1つのプロセッサによって実行可能なプログラム命令を含み、
    非重複除外データストアは、データセット内のデータ対象の1つ又は複数の複製を保存するフォーマットでデータセットとメタデータを記憶するように構成されたシステム。
  16. 重複除外データストアからのデータセットの読み出しにおいて、プログラム命令は、重複除外データストア内の複数のデータ対象の複数の場所への複数のポインタを使用してデータセット内の複数のデータ対象を組み立てるために、少なくとも1つのプロセッサによって実行可能である請求項15に記載のシステム。
  17. 重複除外データストアからのデータセットの読み出しにおいて、プログラム命令は、重複除外データストアマネージャを回避して重複除外データストア内の1つ又は複数の記憶コンテナからデータセットを読み出すために、少なくとも1つのプロセッサによって実行可能である請求項15に記載のシステム。
  18. 重複除外データストアから読み出したデータセットとメタデータを非重複除外データストアに送る際に、プログラム命令は、データセットとメタデータをバックアップストリームに入れるために、少なくとも1つのプロセッサによって実行可能である請求項15に記載のシステム。
  19. オリジナルデータストアを更に含み、
    重複除外データストア内のデータセットは、オリジナルデータストアからバックアップされ、
    オリジナルデータストアの指示は、重複除外データストアにデータセットと一緒に記憶され、
    オリジナルデータストアの指示は、非重複除外データストアにデータセットと一緒に記憶された請求項15に記載のシステム。
  20. 重複除外データストアに記憶されたデータセットを読み出す手段であって、データセットが、データセット内のデータ対象の1つ又は複数の複製を削除するフォーマットで重複除外データストアに記憶され、重複除外データストア内のデータセットが、データセットについて記述するメタデータと別に記憶される、前記読み出す手段と、
    重複除外データストアから読み出したデータセットとメタデータを非重複除外データストアに記憶する手段であって、データセットが、データセット内のデータ対象の1つ又は複数の複製を保存するフォーマットで非重複除外データストアに記憶される、前記記憶する手段とを含むシステム。
JP2008086414A 2007-03-30 2008-03-28 重複除外記憶装置から非重複除外記憶装置にデータを直接エクスポートするシステム及び方法 Expired - Fee Related JP5145098B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/731,178 US20080243769A1 (en) 2007-03-30 2007-03-30 System and method for exporting data directly from deduplication storage to non-deduplication storage
US11/731,178 2007-03-30

Publications (2)

Publication Number Publication Date
JP2008257716A true JP2008257716A (ja) 2008-10-23
JP5145098B2 JP5145098B2 (ja) 2013-02-13

Family

ID=39538008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008086414A Expired - Fee Related JP5145098B2 (ja) 2007-03-30 2008-03-28 重複除外記憶装置から非重複除外記憶装置にデータを直接エクスポートするシステム及び方法

Country Status (5)

Country Link
US (1) US20080243769A1 (ja)
EP (1) EP1975798A1 (ja)
JP (1) JP5145098B2 (ja)
CN (1) CN101430691A (ja)
AU (1) AU2008201240B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012063902A (ja) * 2010-09-15 2012-03-29 Nec Corp ファイル管理装置、プログラム並びに方法
JP2012513069A (ja) * 2008-12-18 2012-06-07 コピウン,インク. コンテンツアウェア・データ分割およびデータ重複排除のための方法ならびに装置
US8423590B2 (en) 2010-05-30 2013-04-16 International Business Machines Corporation File generation for testing single-instance storage algorithm
JP2013530453A (ja) * 2010-05-21 2013-07-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 重複排除システムにおけるスペース予約
US8521692B1 (en) 2012-02-28 2013-08-27 Hitachi, Ltd. Storage system and method for controlling storage system
KR20140006945A (ko) * 2011-03-11 2014-01-16 마이크로소프트 코포레이션 데이터 중복제거를 위한 백업 및 복원 전략
US9170747B2 (en) 2011-03-18 2015-10-27 Fujitsu Limited Storage device, control device, and control method
WO2018220754A1 (ja) * 2017-05-31 2018-12-06 三菱電機株式会社 データ複製装置およびデータ複製プログラム

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509322B2 (en) 2001-01-11 2009-03-24 F5 Networks, Inc. Aggregated lock management for locking aggregated files in a switched file system
US8239354B2 (en) 2005-03-03 2012-08-07 F5 Networks, Inc. System and method for managing small-size files in an aggregated file system
US8195760B2 (en) 2001-01-11 2012-06-05 F5 Networks, Inc. File aggregation in a switched file system
US7512673B2 (en) * 2001-01-11 2009-03-31 Attune Systems, Inc. Rule based aggregation of files and transactions in a switched file system
TW561358B (en) 2001-01-11 2003-11-11 Force Corp Z File switch and switched file system
US20040133606A1 (en) 2003-01-02 2004-07-08 Z-Force Communications, Inc. Directory aggregation for files distributed over a plurality of servers in a switched file system
US7885970B2 (en) 2005-01-20 2011-02-08 F5 Networks, Inc. Scalable system for partitioning and accessing metadata over multiple servers
US7958347B1 (en) 2005-02-04 2011-06-07 F5 Networks, Inc. Methods and apparatus for implementing authentication
US8417746B1 (en) 2006-04-03 2013-04-09 F5 Networks, Inc. File system management with enhanced searchability
US7840537B2 (en) 2006-12-22 2010-11-23 Commvault Systems, Inc. System and method for storing redundant information
WO2008147973A2 (en) 2007-05-25 2008-12-04 Attune Systems, Inc. Remote file virtualization in a switched file system
US20090049260A1 (en) * 2007-08-13 2009-02-19 Upadhyayula Shivarama Narasimh High performance data deduplication in a virtual tape system
US8131972B2 (en) * 2007-09-19 2012-03-06 International Business Machines Corporation Method and apparatus for improving memory coalescing in a virtualized hardware environment
US8180747B2 (en) 2007-11-12 2012-05-15 F5 Networks, Inc. Load sharing cluster file systems
US8548953B2 (en) * 2007-11-12 2013-10-01 F5 Networks, Inc. File deduplication using storage tiers
US8117244B2 (en) * 2007-11-12 2012-02-14 F5 Networks, Inc. Non-disruptive file migration
US8140599B1 (en) * 2007-12-07 2012-03-20 Emc Corporation Garbage collection for merged collections
US8126852B1 (en) 2007-12-07 2012-02-28 Emc Corporation Merged collections
US8352785B1 (en) 2007-12-13 2013-01-08 F5 Networks, Inc. Methods for generating a unified virtual snapshot and systems thereof
US7908436B1 (en) 2008-04-25 2011-03-15 Netapp, Inc. Deduplication of data on disk devices using low-latency random read memory
US8346730B2 (en) * 2008-04-25 2013-01-01 Netapp. Inc. Deduplication of data on disk devices based on a threshold number of sequential blocks
US8484162B2 (en) * 2008-06-24 2013-07-09 Commvault Systems, Inc. De-duplication systems and methods for application-specific data
US8549582B1 (en) 2008-07-11 2013-10-01 F5 Networks, Inc. Methods for handling a multi-protocol content name and systems thereof
US8290915B2 (en) * 2008-09-15 2012-10-16 International Business Machines Corporation Retrieval and recovery of data chunks from alternate data stores in a deduplicating system
US8315992B1 (en) * 2008-11-26 2012-11-20 Symantec Corporation Affinity based allocation for storage implementations employing deduplicated data stores
US8291183B2 (en) * 2009-01-15 2012-10-16 Emc Corporation Assisted mainframe data de-duplication
US8671082B1 (en) * 2009-02-26 2014-03-11 Netapp, Inc. Use of predefined block pointers to reduce duplicate storage of certain data in a storage subsystem of a storage server
US9723249B2 (en) 2009-03-19 2017-08-01 Echostar Holdings Limited Archiving broadcast programs
US8401996B2 (en) 2009-03-30 2013-03-19 Commvault Systems, Inc. Storing a variable number of instances of data objects
US8108343B2 (en) * 2009-04-23 2012-01-31 Microsoft Corporation De-duplication and completeness in multi-log based replication
US8578120B2 (en) 2009-05-22 2013-11-05 Commvault Systems, Inc. Block-level single instancing
US8930306B1 (en) 2009-07-08 2015-01-06 Commvault Systems, Inc. Synchronized data deduplication
US9058298B2 (en) * 2009-07-16 2015-06-16 International Business Machines Corporation Integrated approach for deduplicating data in a distributed environment that involves a source and a target
JP5427533B2 (ja) * 2009-09-30 2014-02-26 株式会社日立製作所 階層ストレージ管理システムにおける重複ファイルの転送方法及びシステム
US8204862B1 (en) * 2009-10-02 2012-06-19 Symantec Corporation Systems and methods for restoring deduplicated data
US8914324B1 (en) 2009-10-16 2014-12-16 Symantec Corporation De-duplication storage system with improved reference update efficiency
US20110093439A1 (en) * 2009-10-16 2011-04-21 Fanglu Guo De-duplication Storage System with Multiple Indices for Efficient File Storage
US10721269B1 (en) 2009-11-06 2020-07-21 F5 Networks, Inc. Methods and system for returning requests with javascript for clients before passing a request to a server
US8311964B1 (en) 2009-11-12 2012-11-13 Symantec Corporation Progressive sampling for deduplication indexing
CN101876991B (zh) * 2009-11-16 2012-09-05 中兴通讯股份有限公司 网络电视统计分析系统的数据库处理方法和装置
US8315502B2 (en) * 2009-12-08 2012-11-20 Echostar Technologies L.L.C. Systems and methods for selective archival of media content
US9195500B1 (en) 2010-02-09 2015-11-24 F5 Networks, Inc. Methods for seamless storage importing and devices thereof
US8204860B1 (en) 2010-02-09 2012-06-19 F5 Networks, Inc. Methods and systems for snapshot reconstitution
US8473463B1 (en) 2010-03-02 2013-06-25 Symantec Corporation Method of avoiding duplicate backups in a computing system
US8732133B2 (en) * 2010-03-16 2014-05-20 Commvault Systems, Inc. Extensible data deduplication system and method
US8671074B2 (en) 2010-04-12 2014-03-11 Microsoft Corporation Logical replication in clustered database system with adaptive cloning
US8639658B1 (en) 2010-04-21 2014-01-28 Symantec Corporation Cache management for file systems supporting shared blocks
US8255738B2 (en) * 2010-05-18 2012-08-28 International Business Machines Corporation Recovery from medium error on tape on which data and metadata are to be stored by using medium to medium data copy
US8370315B1 (en) 2010-05-28 2013-02-05 Symantec Corporation System and method for high performance deduplication indexing
US20110314070A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation Optimization of storage and transmission of data
US8347100B1 (en) 2010-07-14 2013-01-01 F5 Networks, Inc. Methods for DNSSEC proxying and deployment amelioration and systems thereof
US9678688B2 (en) 2010-07-16 2017-06-13 EMC IP Holding Company LLC System and method for data deduplication for disk storage subsystems
US8983952B1 (en) 2010-07-29 2015-03-17 Symantec Corporation System and method for partitioning backup data streams in a deduplication based storage system
US8756197B1 (en) 2010-08-13 2014-06-17 Symantec Corporation Generating data set views for backup restoration
US8291170B1 (en) 2010-08-19 2012-10-16 Symantec Corporation System and method for event driven backup data storage
JP5423896B2 (ja) * 2010-08-31 2014-02-19 日本電気株式会社 ストレージシステム
US8392376B2 (en) 2010-09-03 2013-03-05 Symantec Corporation System and method for scalable reference management in a deduplication based storage system
US8935492B2 (en) 2010-09-30 2015-01-13 Commvault Systems, Inc. Archiving data objects using secondary copies
US9286298B1 (en) 2010-10-14 2016-03-15 F5 Networks, Inc. Methods for enhancing management of backup data sets and devices thereof
US8417674B2 (en) 2010-11-16 2013-04-09 Actifio, Inc. System and method for creating deduplicated copies of data by sending difference data between near-neighbor temporal states
US8402004B2 (en) 2010-11-16 2013-03-19 Actifio, Inc. System and method for creating deduplicated copies of data by tracking temporal relationships among copies and by ingesting difference data
US9858155B2 (en) 2010-11-16 2018-01-02 Actifio, Inc. System and method for managing data with service level agreements that may specify non-uniform copying of data
US8396905B2 (en) 2010-11-16 2013-03-12 Actifio, Inc. System and method for improved garbage collection operations in a deduplicated store by tracking temporal relationships among copies
US8843489B2 (en) 2010-11-16 2014-09-23 Actifio, Inc. System and method for managing deduplicated copies of data using temporal relationships among copies
US8904126B2 (en) 2010-11-16 2014-12-02 Actifio, Inc. System and method for performing a plurality of prescribed data management functions in a manner that reduces redundant access operations to primary storage
US8788769B2 (en) 2010-11-16 2014-07-22 Actifio, Inc. System and method for performing backup or restore operations utilizing difference information and timeline state information
US8396841B1 (en) 2010-11-30 2013-03-12 Symantec Corporation Method and system of multi-level and multi-mode cloud-based deduplication
US8682873B2 (en) 2010-12-01 2014-03-25 International Business Machines Corporation Efficient construction of synthetic backups within deduplication storage system
US8392384B1 (en) 2010-12-10 2013-03-05 Symantec Corporation Method and system of deduplication-based fingerprint index caching
US20120150818A1 (en) 2010-12-14 2012-06-14 Commvault Systems, Inc. Client-side repository in a networked deduplicated storage system
US9020900B2 (en) 2010-12-14 2015-04-28 Commvault Systems, Inc. Distributed deduplicated storage system
US8898119B2 (en) * 2010-12-15 2014-11-25 Netapp, Inc. Fingerprints datastore and stale fingerprint removal in de-duplication environments
US8904120B1 (en) 2010-12-15 2014-12-02 Netapp Inc. Segmented fingerprint datastore and scaling a fingerprint datastore in de-duplication environments
US8849768B1 (en) * 2011-03-08 2014-09-30 Symantec Corporation Systems and methods for classifying files as candidates for deduplication
CN102221982B (zh) * 2011-06-13 2013-09-11 北京卓微天成科技咨询有限公司 块级虚拟化存储设备上实现重复数据删除的方法及系统
CN102833298A (zh) * 2011-06-17 2012-12-19 英业达集团(天津)电子技术有限公司 分布式的重复数据删除系统及其处理方法
US8396836B1 (en) 2011-06-30 2013-03-12 F5 Networks, Inc. System for mitigating file virtualization storage import latency
US8589640B2 (en) 2011-10-14 2013-11-19 Pure Storage, Inc. Method for maintaining multiple fingerprint tables in a deduplicating storage system
US8463850B1 (en) 2011-10-26 2013-06-11 F5 Networks, Inc. System and method of algorithmically generating a server side transaction identifier
US9020912B1 (en) 2012-02-20 2015-04-28 F5 Networks, Inc. Methods for accessing data in a compressed file system and devices thereof
US8706971B1 (en) 2012-03-14 2014-04-22 Netapp, Inc. Caching and deduplication of data blocks in cache memory
US8732403B1 (en) 2012-03-14 2014-05-20 Netapp, Inc. Deduplication of data blocks on storage devices
WO2013147783A1 (en) 2012-03-29 2013-10-03 Hitachi Data System Corporation Content selection for storage tiering
US9020890B2 (en) 2012-03-30 2015-04-28 Commvault Systems, Inc. Smart archiving and data previewing for mobile devices
US9251186B2 (en) 2012-06-13 2016-02-02 Commvault Systems, Inc. Backup using a client-side signature repository in a networked storage system
US9519501B1 (en) 2012-09-30 2016-12-13 F5 Networks, Inc. Hardware assisted flow acceleration and L2 SMAC management in a heterogeneous distributed multi-tenant virtualized clustered system
US9298726B1 (en) * 2012-10-01 2016-03-29 Netapp, Inc. Techniques for using a bloom filter in a duplication operation
US9633022B2 (en) 2012-12-28 2017-04-25 Commvault Systems, Inc. Backup and restoration for a deduplicated file system
US9436697B1 (en) * 2013-01-08 2016-09-06 Veritas Technologies Llc Techniques for managing deduplication of data
US9678971B2 (en) * 2013-01-10 2017-06-13 International Business Machines Corporation Packing deduplicated data in a self-contained deduplicated repository
US9665591B2 (en) 2013-01-11 2017-05-30 Commvault Systems, Inc. High availability distributed deduplicated storage system
GB2510185A (en) * 2013-01-29 2014-07-30 Ibm Data de-duplication between emulated disk sub-systems
US10375155B1 (en) 2013-02-19 2019-08-06 F5 Networks, Inc. System and method for achieving hardware acceleration for asymmetric flow connections
US10275397B2 (en) 2013-02-22 2019-04-30 Veritas Technologies Llc Deduplication storage system with efficient reference updating and space reclamation
US9554418B1 (en) 2013-02-28 2017-01-24 F5 Networks, Inc. Device for topology hiding of a visited network
EP2989559A2 (en) 2013-04-22 2016-03-02 Bacula Systems SA Creating a universally deduplicatable archive volume
US10339112B1 (en) * 2013-04-25 2019-07-02 Veritas Technologies Llc Restoring data in deduplicated storage
GB2514555A (en) * 2013-05-28 2014-12-03 Ibm Deduplication for a storage system
CN105637493A (zh) * 2013-07-29 2016-06-01 慧与发展有限责任合伙企业 频繁使用的去重复对象的完整性
US9158630B1 (en) * 2013-12-19 2015-10-13 Emc Corporation Testing integrity of replicated storage
US10324897B2 (en) 2014-01-27 2019-06-18 Commvault Systems, Inc. Techniques for serving archived electronic mail
US10380072B2 (en) 2014-03-17 2019-08-13 Commvault Systems, Inc. Managing deletions from a deduplication database
CN105094688B (zh) * 2014-05-14 2019-11-22 卡米纳利欧技术有限公司 存储系统中的去重方法和系统以及计算机可读介质
US11838851B1 (en) 2014-07-15 2023-12-05 F5, Inc. Methods for managing L7 traffic classification and devices thereof
US9575680B1 (en) 2014-08-22 2017-02-21 Veritas Technologies Llc Deduplication rehydration
US10423495B1 (en) 2014-09-08 2019-09-24 Veritas Technologies Llc Deduplication grouping
US9575673B2 (en) 2014-10-29 2017-02-21 Commvault Systems, Inc. Accessing a file system using tiered deduplication
US10182013B1 (en) 2014-12-01 2019-01-15 F5 Networks, Inc. Methods for managing progressive image delivery and devices thereof
CN104484132B (zh) * 2014-12-12 2017-11-17 华为技术有限公司 数据缩减的方法及装置
CN104572941B (zh) * 2014-12-30 2017-12-05 杭州华为数字技术有限公司 数据存储方法、装置和设备
US11895138B1 (en) 2015-02-02 2024-02-06 F5, Inc. Methods for improving web scanner accuracy and devices thereof
US10834065B1 (en) 2015-03-31 2020-11-10 F5 Networks, Inc. Methods for SSL protected NTLM re-authentication and devices thereof
US10339106B2 (en) 2015-04-09 2019-07-02 Commvault Systems, Inc. Highly reusable deduplication database after disaster recovery
US10324914B2 (en) 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files
US10558372B1 (en) * 2015-09-28 2020-02-11 EMC IP Holding Company LLC Method and system for implementing action application programming interface (API) framework
US10061663B2 (en) 2015-12-30 2018-08-28 Commvault Systems, Inc. Rebuilding deduplication data in a distributed deduplication data storage system
US10404698B1 (en) 2016-01-15 2019-09-03 F5 Networks, Inc. Methods for adaptive organization of web application access points in webtops and devices thereof
US10797888B1 (en) 2016-01-20 2020-10-06 F5 Networks, Inc. Methods for secured SCEP enrollment for client devices and devices thereof
CN105786655A (zh) * 2016-03-08 2016-07-20 成都云祺科技有限公司 一种虚拟机备份数据重复数据删除方法
US10956382B2 (en) 2016-03-28 2021-03-23 International Business Machines Corporation Application aware export to object storage of low-reference data in deduplication repositories
US10956273B2 (en) 2016-03-28 2021-03-23 International Business Machines Corporation Application aware export to object storage of low-reference data in deduplication repositories
CN109196457A (zh) * 2016-04-11 2019-01-11 慧与发展有限责任合伙企业 发送去冗余数据和修复代理
US9665302B1 (en) * 2016-10-12 2017-05-30 Divergent Storage Systems, Inc. Method and apparatus for storing information using an intelligent block storage controller
US9665303B1 (en) * 2016-10-12 2017-05-30 Divergent Storage Systems, Inc. Method and apparatus for storing information using an intelligent block storage controller
WO2018071370A2 (en) * 2016-10-12 2018-04-19 Divergent Storage Systems, Inc. Method and apparatus for storing information using an intelligent block storage controller
US10412198B1 (en) 2016-10-27 2019-09-10 F5 Networks, Inc. Methods for improved transmission control protocol (TCP) performance visibility and devices thereof
US10614037B2 (en) 2017-03-31 2020-04-07 International Business Machines Corporation Optimized deduplicated object storage system
US10567492B1 (en) 2017-05-11 2020-02-18 F5 Networks, Inc. Methods for load balancing in a federated identity environment and devices thereof
US11223689B1 (en) 2018-01-05 2022-01-11 F5 Networks, Inc. Methods for multipath transmission control protocol (MPTCP) based session migration and devices thereof
US10833943B1 (en) 2018-03-01 2020-11-10 F5 Networks, Inc. Methods for service chaining and devices thereof
US12003422B1 (en) 2018-09-28 2024-06-04 F5, Inc. Methods for switching network packets based on packet data and devices
US11698727B2 (en) 2018-12-14 2023-07-11 Commvault Systems, Inc. Performing secondary copy operations based on deduplication performance
US20200327017A1 (en) 2019-04-10 2020-10-15 Commvault Systems, Inc. Restore using deduplicated secondary copy data
US11463264B2 (en) 2019-05-08 2022-10-04 Commvault Systems, Inc. Use of data block signatures for monitoring in an information management system
US11775484B2 (en) * 2019-08-27 2023-10-03 Vmware, Inc. Fast algorithm to find file system difference for deduplication
US20210173811A1 (en) 2019-12-04 2021-06-10 Commvault Systems, Inc. Optimizing the restoration of deduplicated data stored in multi-node replicated file systems
US11687424B2 (en) 2020-05-28 2023-06-27 Commvault Systems, Inc. Automated media agent state management

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140321A (en) * 1991-09-04 1992-08-18 Prime Computer, Inc. Data compression/decompression method and apparatus
US6374266B1 (en) * 1998-07-28 2002-04-16 Ralph Shnelvar Method and apparatus for storing information in a data processing system
US7584338B1 (en) * 2005-09-27 2009-09-01 Data Domain, Inc. Replication of deduplicated storage system
US7937393B2 (en) * 2005-11-28 2011-05-03 Commvault Systems, Inc. Systems and methods for classifying and transferring information in a storage network
US7853750B2 (en) * 2007-01-30 2010-12-14 Netapp, Inc. Method and an apparatus to store data patterns

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012513069A (ja) * 2008-12-18 2012-06-07 コピウン,インク. コンテンツアウェア・データ分割およびデータ重複排除のための方法ならびに装置
US9201605B2 (en) 2010-05-21 2015-12-01 International Business Machines Corporation Space reservation in a deduplication system
US9442665B2 (en) 2010-05-21 2016-09-13 International Business Machines Corporation Space reservation in a deduplication system
JP2013530453A (ja) * 2010-05-21 2013-07-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 重複排除システムにおけるスペース予約
US8423590B2 (en) 2010-05-30 2013-04-16 International Business Machines Corporation File generation for testing single-instance storage algorithm
JP2012063902A (ja) * 2010-09-15 2012-03-29 Nec Corp ファイル管理装置、プログラム並びに方法
KR101994491B1 (ko) * 2011-03-11 2019-06-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 데이터 중복제거를 위한 백업 및 복원 전략
US9823981B2 (en) 2011-03-11 2017-11-21 Microsoft Technology Licensing, Llc Backup and restore strategies for data deduplication
KR20140006945A (ko) * 2011-03-11 2014-01-16 마이크로소프트 코포레이션 데이터 중복제거를 위한 백업 및 복원 전략
JP2014508362A (ja) * 2011-03-11 2014-04-03 マイクロソフト コーポレーション データー重複排除のためのバックアップおよび復元方策
US9170747B2 (en) 2011-03-18 2015-10-27 Fujitsu Limited Storage device, control device, and control method
WO2013128582A1 (ja) * 2012-02-28 2013-09-06 株式会社 日立製作所 ストレージシステム及びストレージシステムの制御方法
US8521692B1 (en) 2012-02-28 2013-08-27 Hitachi, Ltd. Storage system and method for controlling storage system
WO2018220754A1 (ja) * 2017-05-31 2018-12-06 三菱電機株式会社 データ複製装置およびデータ複製プログラム
US11151158B2 (en) 2017-05-31 2021-10-19 Mitsubishi Electric Corporation Data duplication device and computer readable medium

Also Published As

Publication number Publication date
EP1975798A1 (en) 2008-10-01
AU2008201240B2 (en) 2011-12-22
CN101430691A (zh) 2009-05-13
AU2008201240A1 (en) 2008-10-16
JP5145098B2 (ja) 2013-02-13
US20080243769A1 (en) 2008-10-02

Similar Documents

Publication Publication Date Title
JP5145098B2 (ja) 重複除外記憶装置から非重複除外記憶装置にデータを直接エクスポートするシステム及び方法
US9934104B2 (en) Metadata generation for incremental backup
US8438136B2 (en) Backup catalog recovery from replicated data
US9411821B1 (en) Block-based backups for sub-file modifications
US9348827B1 (en) File-based snapshots for block-based backups
US10146631B1 (en) Incremental forever backups for exchange
US9495264B2 (en) Data replication techniques using incremental checkpoints
US7831639B1 (en) System and method for providing data protection by using sparse files to represent images of data stored in block devices
JP4336129B2 (ja) 複数のスナップショットを管理するシステム及び方法
US9633065B2 (en) Efficient data rehydration
US8135748B2 (en) Virtual machine data replication
EP2035931B1 (en) System and method for managing data deduplication of storage systems utilizing persistent consistency point images
US8856080B2 (en) Backup using metadata virtual hard drive and differential virtual hard drive
US7634627B1 (en) System and method for performing extent level backups that support single file restores
AU2018324425A1 (en) Restoring a database using a fully hydrated backup
EP3796174B1 (en) Restoring a database using a fully hydrated backup
US10628298B1 (en) Resumable garbage collection
US11797397B2 (en) Hybrid NVRAM logging in filesystem namespace
CN113728303B (zh) 用于重复数据删除云分层的垃圾收集
CN113795827A (zh) 用于重复数据删除云分层的垃圾收集
US8621166B1 (en) Efficient backup of multiple versions of a file using data de-duplication
US9183208B1 (en) Fileshot management
US7437360B1 (en) System and method for communication and synchronization of application-level dependencies and ownership of persistent consistency point images
CN114026545A (zh) 用于任意时间点复制的快照
WO2020086126A1 (en) Any point in time replication to the cloud

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20101109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees