JP5254141B2 - アーカイブ装置、データ格納プログラムおよびデータ格納方法 - Google Patents

アーカイブ装置、データ格納プログラムおよびデータ格納方法 Download PDF

Info

Publication number
JP5254141B2
JP5254141B2 JP2009166043A JP2009166043A JP5254141B2 JP 5254141 B2 JP5254141 B2 JP 5254141B2 JP 2009166043 A JP2009166043 A JP 2009166043A JP 2009166043 A JP2009166043 A JP 2009166043A JP 5254141 B2 JP5254141 B2 JP 5254141B2
Authority
JP
Japan
Prior art keywords
data
divided data
hash value
attribute information
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009166043A
Other languages
English (en)
Other versions
JP2011022721A (ja
Inventor
博 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009166043A priority Critical patent/JP5254141B2/ja
Priority to US12/833,323 priority patent/US8423556B2/en
Publication of JP2011022721A publication Critical patent/JP2011022721A/ja
Application granted granted Critical
Publication of JP5254141B2 publication Critical patent/JP5254141B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/113Details of archiving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1748De-duplication implemented within the file system, e.g. based on file segments

Description

この発明は、アーカイブ装置、データ格納プログラムおよびデータ格納方法に関する。
従来より、音楽、映画、電子メール、医用画像、文書データなどのデジタルコンテンツを長期間に渡って一元的に保存するために、アーカイブ装置が用いられている。アーカイブ装置は、ネットワークを介して複数の外部装置と接続され、各外部装置から受信した種々のデジタルコンテンツ(以下、データと記す)を格納し、外部からの参照要求に従って、格納したデータを外部装置に転送する。
具体的には、アーカイブ装置は、複数の記憶装置(Disk arrayやTape libraryなど)と、記憶装置への書き込み処理および記憶装置からの読み込み処理を実行する処理装置とを有する。処理装置は、各外部装置から受信したデータを記憶装置に書き込むが、その際、受信したデータごとにメタデータ(受信日、送信元、格納場所など)を生成して記憶する。そして、処理装置は、利用者の参照要求に応じて、メタデータを参照し、該当するデータを記憶装置から読み出して、外部装置に転送する。
ここで、アーカイブ装置は、記録容量を削減するために、格納済みのデータと同一のデータを格納することを防止するシングルインスタンス機能を有している。具体的には、アーカイブ装置は、格納済みのデータごとにハッシュ値とデータ容量とを対応付けたプロパティ情報を記憶しておく。そして、アーカイブ装置は、新たに格納要求を受けたデータに対して、ハッシュ値を算出し、算出したハッシュ値および新たに格納要求を受けたデータのデータ容量を、自身が有するプロパティ情報と比較することにより、同一データが格納済みであるか否かの判定を行う。
例えば、アーカイブ装置は、既に自身が有するプロパティ情報にハッシュ値とデータ容量が記憶されたデータを新たに受信した場合、データの格納は行わず、メタデータのみを生成し、生成したメタデータを以前格納したデータにリンクさせて記憶する。
また、近年、記録容量削減のために、所定の条件に基づいて保存先を決定し、決定した保存先にのみデータを格納するコンテンツ配信装置が知られている(例えば、特許文献1参照)。具体的には、上記したコンテンツ配信装置は、例えば、記憶装置の残り記録容量に応じて格納先を決定し、データを格納する。
特開2004−30423号公報
ところで、上記した従来技術では、シングルインスタンス機能を介して異なるデータのみを格納する際に、必ずしも記録容量を削減することができないという課題があった。すなわち、上記した従来技術では、データの一部を更新した場合や、データが追加された場合、途中まで情報が同じであっても別データとして管理されるため、シングルインスタンス機能を介して異なるデータのみを格納する際に、必ずしも記録容量を削減することができない。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、記録容量を削減することが可能となるアーカイブ装置、データ格納プログラムおよびデータ格納方法を提供することを目的とする。
上述した課題を解決し、目的を達成するため、この装置は、分割データ記憶部が、外部装置から受信したデータであり、所定の容量で分割された分割データを記憶する。そして、属性情報記憶部が、分割データ記憶部が記憶する分割データごとのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報を記憶する。そして、ハッシュ値算出部が、外部装置から新たに受信したデータであり、所定の容量で分割された分割データごとのハッシュ値を算出する。そして、判定部が、ハッシュ値算出部によって算出されたハッシュ値に該当する属性情報が属性情報記憶部に記憶されているか否かを判定する。そして、データ格納制御部が、ハッシュ値算出部により算出されたハッシュ値に該当する属性情報が属性情報記憶部に記憶されていないと判定された場合、外部装置から新たに受信したデータの分割データを分割データ記憶部に格納するように制御する。さらに、データ格納部が、ハッシュ値算出部により算出されたハッシュ値に該当する属性情報が属性情報記憶部に記憶されていないと判定された場合、当該分割データの属性情報を属性情報記憶部に格納するように制御する。また、データ格納部が、ハッシュ値算出部が算出したハッシュ値に該当する属性情報が属性情報記憶部に記憶されている場合、ハッシュ値の算出に用いられた分割データの識別情報のみを同一のハッシュ値が含まれる属性情報に対応付けて格納するように制御する。
開示の装置は、記録容量を削減することが可能となる。
図1は、実施例1におけるアーカイブ装置の構成を説明するための図である。 図2は、実施例2におけるデータ格納システムの構成を説明するための図である。 図3は、データ分割部を説明するための図である。 図4は、実施例2における属性情報記憶部を説明するための図である。 図5は、ハッシュ値算出部を説明するための図である。 図6は、実施例2におけるデータ格納制御部を説明するための図である。 図7は、実施例2における外部装置による処理の手順を説明するための図である。 図8は、実施例2におけるアーカイブ装置による処理の手順を説明するための図である。 図9は、実施例3におけるデータ格納システムの構成を説明するための図である。 図10は、実施例3におけるデータ格納制御部を説明するための図である。 図11は、実施例3における仮分割データの判定処理の手順を説明するための図である。 図12は、実施例4におけるデータ格納制御部を説明するための図である。 図13は、実施例4におけるアーカイブ装置による処理の手順を説明するための図である。 図14は、実施例5におけるデータ格納システムの構成を説明するための図である。 図15は、実施例5における分割データ容量決定処理の手順を説明するための図である。 図16は、実施例5におけるデータ格納プログラムを実行するコンピュータを説明するための図である。
以下に添付図面を参照して、本願の開示するアーカイブ装置、データ格納プログラムおよびデータ格納方法の実施例を詳細に説明する。
まず最初に、図1を用いて、実施例1におけるアーカイブ装置の構成を説明する。図1は、実施例1におけるアーカイブ装置の構成を説明するための図である。
図1に示すように、実施例1におけるアーカイブ装置10は、ハッシュ値算出部21と、判定部22と、データ格納制御部23と、分割データ記憶部31と、属性情報記憶部32とを有し、外部装置70と接続されている。
外部装置70は、図示しないネットワークを介して、アーカイブ装置10と接続され、アーカイブ装置10に対してデータの格納要求を行う。
分割データ記憶部31は、外部装置70から受信したデータであり、所定の容量で分割された分割データを記憶する。
属性情報記憶部32は、分割データ記憶部31が記憶する分割データごとのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報を記憶する。
ハッシュ値算出部21は、外部装置70から受信したデータであり、所定の容量で分割された分割データごとのハッシュ値を算出する。
判定部22は、ハッシュ値算出部21によって算出されたハッシュ値に該当する属性情報が属性情報記憶部32に記憶されているか否かを判定する。
データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されていないと判定された場合、外部装置70から新たに受信したデータの分割データを分割データ記憶部31に格納するように制御する。さらに、データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されていないと判定された場合、分割データの属性情報を属性情報記憶部32に格納するように制御する。
また、データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されている場合、分割データの識別情報のみを同一のハッシュ値が含まれる属性情報に対応付けて格納するように制御する。
[実施例1の効果]
上記したように、実施例1によれば、分割データ記憶部31は、外部装置70から受信したデータであり、所定の容量で分割された分割データを記憶する。そして、属性情報記憶部32は、分割データ記憶部31が記憶する分割データごとのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報を記憶する。そして、ハッシュ値算出部21は、外部装置70から受信したデータであり、所定の容量で分割された分割データごとのハッシュ値を算出する。そして、判定部22は、ハッシュ値算出部21によって算出されたハッシュ値に該当する属性情報が属性情報記憶部32に記憶されているか否かを判定する。そして、データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されていないと判定された場合、外部装置70から新たに受信したデータの分割データを分割データ記憶部31に格納するように制御する。さらに、データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されていないと判定された場合、分割データの属性情報を属性情報記憶部32に格納するように制御する。また、データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されている場合、分割データの識別情報のみを同一のハッシュ値が含まれる属性情報に対応付けて格納するように制御する。従って、外部装置70が格納を要求する新規データのうち、格納済みのデータと共有されない分割データのみを格納対象とすることができ、記録容量を削減することが可能となる。
実施例2では、上述した実施例1におけるアーカイブ装置10と外部装置70とを有するデータ格納システムについて説明する。
[実施例2におけるデータ格納システムの構成]
まず最初に、図2〜6を用いて、実施例2におけるデータ格納システムの構成を説明する。図2は、実施例2におけるデータ格納システムの構成を説明するための図であり、図3は、データ分割部を説明するための図であり、図4は、実施例2における属性情報記憶部を説明するための図である。また、図5は、ハッシュ値算出部を説明するための図であり、図6は、実施例2におけるデータ格納制御部を説明するための図である。
図2に示すように、実施例2におけるデータ格納システムは、アーカイブ装置10と外部装置70とを有し、アーカイブ装置10および外部装置70はネットワーク60を介して接続されている。なお、図2には外部装置70が一つのみ図示されているが、実際には、複数の外部装置70がネットワーク60を介してアーカイブ装置10と接続されている。また、外部装置70は、例えば、会社内に設置される業務サーバや利用者個人が使用するPC(Personal Computer)などの端末などである。
ネットワーク60は、アーカイブ装置10と外部装置70との間で送受信されるデータを中継する通信網であり、例えば、LAN(Local Area Network)やFC(Fibre Channel)などである。
以下では、まず、実施例2における外部装置70の構成について説明し、続いて、実施例2におけるアーカイブ装置10の構成について説明する。
実施例2における外部装置70は、アーカイブ装置10に対して、種々のデジタルコンテンツ(以下、データと記す)の格納要求を実行し、図2に示すように、処理部80と、記憶部90と、入出力制御I/F部100と、通信部110とを有する。
入出力制御I/F部100は、通信部110と、処理部80および記憶部90との間で送受信される種々の情報を中継するインターフェースである。
通信部110は、アーカイブ装置10との間で通信を行なう。なお、通信部110によってアーカイブ装置10との間で送受信される情報に関しては、のちに詳述する。
記憶部90は、外部装置70に格納されたデータおよび後述する処理部80の処理結果を記憶し、データ記憶部91と分割データ情報記憶部92とを有する。
データ記憶部91は、外部装置70に格納されたデータを記憶する。例えば、データ記憶部91は、音楽、映画、電子メール、医用画像、文書データなどのデジタルコンテンツであるデータを記憶する。
分割データ記憶部92は、データ記憶部91によって記憶されたデータが、後述する処理部80によって所定の容量で分割された分割データを記憶する。なお、分割データについては、後に詳述する。
処理部80は、アーカイブ装置10に対して外部装置70がデータの格納要求を行なう際の種々の処理を実行し、データ分割部81と、分割データ送信部82とを有する。
データ分割部81は、外部装置70からアーカイブ装置10に対してデータの格納要求を行う際に、データ記憶部91からデータを読み出し、読み出したデータを所定の容量に分割した分割データを生成し、生成した分割データを分割データ記憶部92に格納する。例えば、データ分割部81は、図3に示すように、「データB、容量:4MB」を「1MB」ごとに分割して、「分割データB1、1MB」、「分割データB2、1MB」、「分割データB3、1MB」、「分割データB4、1MB」を生成する。なお、「分割データB1」とは、「分割元」が「データB」であり、分割元における分割データの順番である「データ順序」が「1番」であることを意味する。
分割データ送信部82は、データ分割部81によって生成され、分割データ記憶部92に格納された分割データを読み出し、通信部110を介して、アーカイブ装置10に送信する。例えば、分割データ送信部82は、分割データ記憶部92に格納された「分割データB1、1MB」、「分割データB2、1MB」、「分割データB3、1MB」、「分割データB4、1MB」を読み出し、アーカイブ装置10に送信する。
続いて、実施例2におけるアーカイブ装置10の構成について説明する。実施例2におけるアーカイブ装置10は、ネットワーク60を介して接続された外部装置70から受信したデータを記憶する装置であり、制御部20と、記憶部30と、入出力制御I/F部40と、通信部50とを有する。
入出力制御I/F部40は、通信部50と、制御部20および記憶部30との間で送受信される種々の情報を中継するインターフェースである。
通信部50は、外部装置70との間で通信を行なう。なお、通信部50によって外部装置70との間で送受信される情報に関しては、のちに詳述する。
記憶部30は、後述する制御部20によってアーカイブ装置10に格納すると判定されたデータおよび後述する制御部20の処理結果を記憶し、分割データ記憶部31と、属性情報記憶部32と、ハッシュ値記憶部33と、判定結果記憶部34とを有する。
分割データ記憶部31は、外部装置70から受信した分割データを記憶する。具体的には、分割データ記憶部31は、後述する制御部20によって格納すると判定された分割データを記憶する。
属性情報記憶部32は、分割データ記憶部31が記憶する分割データごとのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報を記憶する。具体的には、属性情報記憶部32は、分割データ記憶部31にアーカイブされる分割データごとの「ハッシュ値」および分割元のデータを一意に特定するための識別情報である「リンク先」を対応付けて記憶する。さらに、属性情報記憶部32は、分割データ記憶部31にアーカイブされる分割データを一意に特定するための「アーカイブID」を「ハッシュ値」および「リンク先」と対応付けて記憶する。また、属性情報記憶部32は、「ハッシュ値」および「リンク先」と対応付けて分割データ記憶部31における格納場所を一意に特定するための「格納先パス」、分割データの「データ容量」を記憶する。以下、「ハッシュ値」と、「リンク先」と、「アーカイブID」と、「格納先パス」と、「データ容量」とが対応付けられた情報を、属性情報と記載する。
例えば、「4MB」のデータAを「1MB」ごとに分割した分割データが分割データ記憶部31に格納された場合、属性情報記憶部32は、以下の属性情報を記憶する。すなわち、属性情報記憶部32は、図4に示すように、属性情報として「アーカイブID:001、ハッシュ値:1111、データ容量:1MB、格納先パス:/data/1、リンク先:データA(1)」などを記憶する。また、属性情報記憶部32は、図4に示すように、属性情報として「アーカイブID:002、ハッシュ値:2222、データ容量:1MB、格納先パス:/data/1、リンク先:データA(2)」などを記憶する。また、属性情報記憶部32は、図4に示すように、属性情報として「アーカイブID:003、ハッシュ値:3333、データ容量:1MB、格納先パス:/data/1、リンク先:データA(3)」などを記憶する。また、属性情報記憶部32は、図4に示すように、属性情報として「アーカイブID:004、ハッシュ値:4444、データ容量:1MB、格納先パス:/data/1、リンク先:データA(4)」などを記憶する。なお、「リンク先:データA」の括弧内の数字は、分割元であるデータAを再構成するための順番である。
ハッシュ値記憶部33は、後述するハッシュ値算出部21によって算出されたハッシュ値を記憶する。
なお、判定結果記憶部34は、後述する判定部22の判定結果を記憶するが、判定結果の内容については、後に説明する。
制御部20は、外部装置70から受信した分割データの格納要求に応じて各種処理を実行し、ハッシュ値算出部21と、判定部22と、データ格納制御部23とを有する。
ハッシュ値算出部21は、外部装置70から新たに受信した分割データごとのハッシュ値を算出し、算出したハッシュ値をハッシュ値記憶部33に格納する。例えばハッシュ値算出部21は、図5に示すように、新たに受信した「1MB」の分割データB1〜B4ごとのハッシュ値を算出する。そして、ハッシュ値算出部21は、算出したハッシュ値「分割データB1:5555」、「分割データB2:2222」、「分割データ:3333」および「分割データB4:4444」をハッシュ値記憶部33に格納する。
判定部22は、ハッシュ値記憶部33が記憶するハッシュ値と属性情報記憶部32が記憶する属性情報のハッシュ値とを比較し、同一のハッシュ値が属性情報記憶部32に格納されているか否かを判定し、判定結果を判定結果記憶部34に格納する。
例えば、判定部22は、図5に示す分割データB1〜B4ごとのハッシュ値それぞれについて、図4に示す属性情報を参照して、同一のハッシュ値が格納されているか否かを判定した場合、以下の判定結果を判定結果記憶部34に格納する。例えば、判定部22は、「分割データB1:5555」について、同一のハッシュ値が格納されていないことから、「分割データB1:5555、同一ハッシュ値:無」とする判定結果を判定結果記憶部34に格納する。
一方、判定部22は、「分割データB2:2222」について、「アーカイブID:002」のハッシュ値と同一であることから、「分割データB2:2222、同一ハッシュ値:(アーカイブID:002)」とする判定結果を判定結果記憶部34に格納する。同様に、判定部22は、「分割データB3」および「分割データB4」について、判定結果「分割データB3:3333、同一ハッシュ値:(アーカイブID:003)」を判定結果記憶部34に格納する。また、判定部22は、判定結果「分割データB4:4444、同一ハッシュ値:(アーカイブID:004)」を判定結果記憶部34に格納する。
データ格納制御部23は、ハッシュ値算出部21により算出されたハッシュ値に該当する属性情報が属性情報記憶部32に記憶されていない場合、外部装置70から新たに受信した分割データを分割データ記憶部31に格納するように制御する。具体的には、データ格納制御部23は、判定結果記憶部34に「同一ハッシュ値:無」とする判定結果が格納されていた場合、判定結果に該当する分割データを分割データ記憶部31に格納するように制御する。
例えば、データ格納制御部23は、「分割データB1:5555、同一ハッシュ値:無」が判定結果記憶部34に格納されていることから、分割データB1を分割データ記憶部31に格納する。
さらに、データ格納制御部23は、ハッシュ値算出部21により算出されたハッシュ値に該当する属性情報が属性情報記憶部32に記憶されていない場合、分割データの属性情報を属性情報記憶部32に格納するように制御する。具体的には、データ格納制御部23は、判定結果記憶部34に「同一ハッシュ値:無」とする判定結果が格納されていた場合、判定結果に該当する分割データの属性情報を属性情報記憶部32に格納するように制御する。
例えば、データ格納制御部23は、「分割データB1:5555、同一ハッシュ値:無」が判定結果記憶部34に格納されていることから、図6の(A)に示す「アーカイブID:005」の属性情報を属性情報記憶部32に格納するように制御する。すなわち、データ格納制御部23は、図6に示すように、属性情報「アーカイブID:005、ハッシュ値:5555、データ容量:1MB、格納先パス:/data/2、リンク先:データB(1)」を属性情報記憶部32に格納するように制御する。
一方、ハッシュ値算出部21により算出されたハッシュ値に該当する属性情報が属性情報記憶部32に記憶されている場合、データ格納制御部23は、分割データの識別情報のみを同一のハッシュ値が含まれる属性情報に対応付けて格納するように制御する。具体的には、データ格納制御部23は、判定結果記憶部34に同一ハッシュ値があるとする判定結果が格納されていた場合、同一のハッシュ値が含まれる属性情報に分割データの分割元のデータの情報を対応付けて格納するように制御する。
例えば、判定結果「分割データB2:2222、同一ハッシュ値:(アーカイブID:002)」が判定結果記憶部34に格納されていることから、データ格納制御部23は、図6の(A)に示すように、属性情報を格納するように制御する。すなわち、データ格納制御部23は、図6の(A)に示すように、「アーカイブID:002」の「リンク先」に「データB(2)」をさらに対応付けて格納するように制御する。
同様に、データ格納制御部23は、図6の(A)に示すように、「アーカイブID:003」および「アーカイブID:004」それぞれの「リンク先」に、「データB(3)」および「データB(4)」をさらにそれぞれ対応付けて格納するように制御する。
すなわち、実施例2におけるデータ格納制御部23は、複数の分割元データにおいて同一である分割データを単一で格納し、単一の分割データを複数の分割元データで共用するようにデータの格納を制御する。例えば、データ格納制御部23は、図6の(B)の点線に示すように、分割データA2〜A4を、データAおよびデータBで共有するようにデータの格納処理を制御する。なお、データ格納制御部23は、分割元のデータと一対一の関係にある分割データについては、図6の(B)の実線に示すように、独立して格納するように制御する。
なお、データ格納制御部23は、分割データを受信した外部装置70に対して、新たに受信した分割データのアーカイブIDを送信するように制御する。具体的には、データ格納制御部23は、新たに受信した分割データをデータ記憶部31に格納するように制御した場合、分割データに新たに付与されたアーカイブIDを、外部装置70に送信するように制御する。また、データ格納制御部23は、属性情報に識別情報のみを対応付けて格納するように制御した場合、対応付けた属性情報のアーカイブIDを、外部装置70に送信するように制御する。
[実施例2におけるデータ格納システムによる処理の手順]
次に、図7および図8を用いて、実施例2におけるデータ格納システムによる処理を説明する。図7は、実施例2における外部装置による処理の手順を説明するための図であり、図8は、実施例2におけるアーカイブ装置による処理の手順を説明するための図である。
[実施例2における外部装置による処理の手順]
図7に示すように、まず、実施例2における外部装置70は、格納コマンド受け付けると(ステップS101肯定)、データ分割部81は、格納を要求するデータをデータ記憶部91から読み出す(ステップS102)。
そして、データ分割部81は、データ記憶部91から読み出したデータを所定の容量で分割する(ステップS103)。具体的には、データ分割部81は、読み出したデータを所定の容量で分割し、分割した分割データを分割データ記憶部92に格納する。
そののち、分割データ送信部82は、分割データ記憶部92から分割データを読み出し、読み出した分割データをアーカイブ装置10に対して送信する(ステップS104)。
そして、アーカイブ装置10からアーカイブIDを受信すると(ステップS105肯定)、外部装置70は、受信したアーカイブIDを格納し(ステップS106)、処理を終了する。
[実施例2におけるアーカイブ装置による処理の手順]
図8に示すように、まず、実施例2におけるアーカイブ装置10は、外部装置70から分割データを受信すると(ステップS201肯定)、ハッシュ値算出部21は、受信した分割データのハッシュ値を算出する(ステップS202)。具体的には、ハッシュ値算出部21は、受信した分割データのハッシュ値を算出し、算出したハッシュ値をハッシュ値記憶部33に格納する。
そして、判定部22は、ハッシュ値記憶部33に格納されたハッシュ値と同一のハッシュ値を含む属性情報が属性情報記憶部32に格納されているか否かの判定を行う(ステップS203)。
ここで、同一のハッシュ値が格納されていない場合(ステップ203否定)、データ格納制御部23は、分割データの属性情報を属性情報記憶部32に格納し、アーカイブIDを外部装置70に送信するように制御する(ステップS204)。
そして、データ格納制御部23は、外部装置70から受信した分割データを分割データ記憶部31に格納するように制御して(ステップS205)、処理を終了する。
一方、同一のハッシュ値が格納されていた場合(ステップ203肯定)、データ格納制御部23は、同一ハッシュ値を含む属性情報に識別情報のみを対応付けて格納し、対応付けられたアーカイブIDを外部装置70に送信するように制御して(ステップS206)、処理を終了する。
[実施例2の効果]
上記したように、実施例2によれば、分割データ記憶部31は、外部装置70から受信データであり、所定の容量で分割された分割データを記憶する。そして、属性情報記憶部32は、分割データ記憶部31が記憶する分割データごとのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報を記憶する。そして、ハッシュ値算出部21は、外部装置70から受信したデータであり、所定の容量で分割された分割データごとのハッシュ値を算出する。そして、判定部22は、ハッシュ値算出部21によって算出されたハッシュ値に該当する属性情報が属性情報記憶部32に記憶されているか否かを判定する。そして、データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されていないと判定された場合、外部装置70から新たに受信したデータの分割データを分割データ記憶部31に格納するように制御する。さらに、データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されていないと判定された場合、分割データの属性情報を属性情報記憶部32に格納するように制御する。また、データ格納制御部23は、ハッシュ値算出部21が算出したハッシュ値に該当する属性情報が属性情報記憶部32に記憶されている場合、分割データの識別情報のみを同一のハッシュ値が含まれる属性情報に対応付けて格納するように制御する。従って、データを所定の容量で分割した分割データで管理することにより、複数のデータにおいて同一である分割データを重複することなく、共有して記憶するように制御することができ、記録容量を削減することが可能となる。
上述した実施例1および2では、分割データ記憶部31に格納した分割データをそれぞれ個別に管理する場合について説明したが、実施例3では、同一の複数の分割元のデータから分割された複数の分割データをまとめて管理する場合について説明する。
[実施例3におけるデータ格納システムの構成]
まず最初に、図9および図10を用いて、実施例3におけるデータ格納システムの構成を説明する。図9は、実施例3におけるデータ格納システムの構成を示す図であり、図10は、実施例3におけるデータ格納制御部を説明するための図である。
実施例3におけるデータ格納システムは、図9に示すように、実施例2におけるデータ格納システムと比較して、アーカイブ装置10において、分割データ判定部24を新たに有する点が異なる。また、実施例3におけるデータ格納システムは、判定結果記憶部34が記憶する内容と、データ格納制御部23が行う処理の内容とが実施例2と異なる。以下、これらを中心に説明する。
分割データ判定部24は、複数の分割データがそれぞれ同一の複数の分割元のデータから分割されているか否かを判定する。具体的には、分割データ判定部24は、属性情報記憶部32の属性情報を参照し、リンク先に複数の分割元のデータが格納されており、かつ、分割元のデータが同じである分割データがあるか否かを判定する。例えば、分割データ判定部24は、図6の(A)を参照し、「アーカイブID:002」、「アーカイブID:003」および「アーカイブID:004」が、「データA」および「データB」にリンクされていると判定する。
そして、分割データ判定部24は、判定結果を判定結果記憶部34に格納する。例えば、分割データ判定部24は、「アーカイブID:002、003および004」とする判定結果を判定結果記憶部34に格納する。
データ格納制御部23は、分割データ判定部24によって複数の分割データがそれぞれ同一の複数の分割元のデータから分割されていると判定された場合、複数の分割データを単一の仮分割データとする。そして、データ格納制御部23は、仮分割データを形成する各分割データの識別情報を仮分割データの識別情報に置換して属性情報記憶部32に格納するように制御する。
例えば、判定結果記憶部34に「アーカイブID:002、003および004」が格納されていることから、データ格納制御部23は、図10の(A)に示すように、「分割データA2〜A4」を「仮分割データ:X」とする。そして、データ格納制御部23は、「アーカイブID:002、003および004」のリンク先である「データA」と「データB」とを「仮分割データ:X」のリンク先として置換して、属性情報記憶部32に格納するように制御する。すなわち、データ格納制御部23は、図10の(B)に示すように、格納済みの属性情報を「アーカイブID:002、ハッシュ値:2222、データ容量:1MB、格納先パス:/data/1、リンク先:X」とする。また、データ格納制御部23は、図10の(B)に示すように、格納済みの属性情報を「アーカイブID:003、ハッシュ値:3333、データ容量:1MB、格納先パス:/data/1、リンク先:X」とする。また、データ格納制御部23は、図10の(B)に示すように、格納済みの属性情報を「アーカイブID:004、ハッシュ値:4444、データ容量:1MB、格納先パス:/data/1、リンク先:X」とする。
そして、データ格納制御部23は、図10の(C)に示すように、新たに「仮分割データ:X、リンク先:データA(2〜4)、リンク先:データB(2〜4)」を属性情報記憶部32に格納するように制御する。
なお、仮分割データを形成しない分割データについては、既存の状態のまま記憶される。例えば、図10の(A)に示すように、分割元のデータと一対一でリンクされている「分割データA1」は、図10の(B)に示すように記憶される。すなわち、「分割データA1」は、「アーカイブID:001、ハッシュ値:1111、データ容量:1MB、格納先パス:/data/1、リンク先:データA(1)」として記憶される。また、図10の(A)に示す「分割データB1」は、図10の(B)に示すように、「アーカイブID:005、ハッシュ値:5555、データ容量:1MB、格納先パス:/data/2、リンク先:データB(1)」として記憶される。
[実施例3における仮分割データの判定処理の手順]
次に、図11を用いて、実施例3における仮分割データの判定処理を説明する。図11は、実施例3における仮分割データの判定処理の手順を説明するための図である。なお、実施例3における外部装置70およびアーカイブ装置10によるデータ格納に関する処理の手順は、実施例2において説明した処理の手順と同一であることから、説明を省略する。
図11に示すように、まず、実施例3におけるアーカイブ装置10は、属性情報が格納されると(ステップS301肯定)、分割データ判定部24は、複数の分割データがそれぞれ同一の複数の分割元のデータから分割されているか否かの判定を行う(ステップS302)。具体的には、分割データ判定部24は、属性情報記憶部32の属性情報を参照し、リンク先に複数の分割元のデータが格納されており、かつ、分割元のデータが同じである分割データがあるか否かを判定する。
ここで、複数の分割データがそれぞれ同一の複数の分割元のデータから分割されていた場合(ステップS302肯定)、データ格納制御部23は、該当する複数の分割データを仮分割データと判定する(ステップS303)。
そして、データ格納制御部23は、分割データの識別情報を仮分割データの識別情報に置換して、属性情報記憶部32に格納するように制御して(ステップS304)、処理を終了する。
一方、複数の分割データがそれぞれ同一の複数の分割元のデータから分割されていない場合(ステップS302否定)、実施例3におけるアーカイブ装置10は、処理を終了する。
[実施例3の効果]
上記したように、実施例3によれば、分割データ判定部24は、複数の分割データがそれぞれ同一の複数の分割元のデータから分割されているか否かを判定する。そして、データ格納制御部23は、分割データ判定部24によって複数の分割データがそれぞれ同一の複数の分割元のデータから分割されていると判定された場合、該当する複数の分割データを単一の仮分割データとする。そして、データ格納制御部23は、仮分割データを形成する各分割データの識別情報を仮分割データの識別情報に置き換えて、属性情報記憶部32に格納する。従って、実施例3におけるデータ格納システムは、分割データごとにそれぞれ有していた分割元のリンク先情報を、仮分割データのリンク先として、ひとつにまとめることができ、記録容量をより削減することが可能となる。
上述した実施例1〜3では、分割データを外部装置70において分割された容量で管理する場合について説明したが、実施例4では、アーカイブ装置10において管理する分割データを結合する場合について説明する。
[実施例4におけるデータ格納システムの構成]
まず最初に、図9および図12を用いて、実施例4におけるデータ格納システムの構成を説明する。図9は、実施例3におけるデータ格納システムの構成を説明するための図であり、図12は、実施例4におけるデータ格納制御部を説明するための図である。
実施例4におけるデータ格納システムは、図9に示すように、実施例3におけるデータ格納システムと同様の機能ブロックからなるが、分割データ記憶部31および属性情報記憶部32が記憶する内容が実施例2および実施例3におけるデータ格納システムと異なる。また、実施例3におけるデータ格納システムは、データ格納制御部23および判定部22が行う処理の内容が実施例2および実施例3におけるデータ格納システムと異なる。以下、これらを中心に説明する。
データ格納制御部23は、仮分割データの分割元のデータ数が所定の閾値を超えた場合、仮分割データを形成する複数の分割データを結合した結合分割データを分割データ記憶部31に格納するように制御する。例えば、所定の閾値が「3」であり、図10の(C)に示す「仮分割データ:X」のリンク先に新たに「データC(2〜4)」が加えられたとする。上記した場合、データ格納制御部23は、「仮分割データ:X」を形成する分割データ「A2」、「A3」および「A4」を結合した「結合分割データX」を生成し、生成した「結合分割データX」を分割データ記憶部31に格納するように制御する。
そして、データ格納制御部23は、結合分割データを形成する分割データを分割データ記憶部31から削除するとともに、削除する分割データの属性情報を属性情報記憶部32から削除するように制御する。例えば、データ格納制御部23は、分割データ「A2」、「A3」および「A4」を分割データ記憶部31から削除し、分割データ「A2」、「A3」および「A4」の属性情報を属性情報記憶部32から削除するように制御する。
また、データ格納制御部23は、結合分割データを分割データ記憶部31に格納するように制御する場合、結合分割データの属性情報として、以下の属性情報を属性情報記憶部32に格納するように制御する。具体的には、データ格納制御部23は、結合分割データのハッシュ値、識別情報および結合分割データを形成する各分割データのハッシュ値を対応付けた属性情報を属性情報記憶部32に格納するように制御する。
例えば、データ格納制御部23は、図12の(A)に示すように、「結合分割データX」の「アーカイブID:006」に、「ハッシュ値」、「データ容量:3MB」、「格納先パス:/data/1」および「リンク先」を対応付けて格納するように制御する。ここで、データ格納制御部23は、「ハッシュ値」として、「結合分割データX」の「ハッシュ値:6666」と「結合分割データX」を形成する各分割データのハッシュ値とを属性情報に対応付けて属性情報記憶部32に格納するように制御する。例えば、データ格納制御部23は、「結合分割データX」を形成する際に、先頭のデータ順であった「分割データA2」の「ハッシュ値:2222」を「アーカイブID:006」の「ハッシュ値」に対応付けて格納するように制御する(図12の(A)参照)。
また、データ格納制御部23は、「リンク先」として、「結合分割データX」の分割元の情報を属性情報に対応付けて属性情報記憶部32に格納するように制御する。例えば、データ格納制御部23は、図12の(A)に示すように、「アーカイブID:006」の「リンク先」として「データA(2〜4)」、「データB(2〜4)」および「データC(2〜4)」を格納するように制御する。
すなわち、データ格納制御部23は、仮分割データの分割元のデータ数が所定の数を超えた場合、図12の(B)に示すように、「結合分割データX」を分割元である「データA」、「データB」および「データC」にリンクさせて管理するように制御する。
なお、結合分割データを形成しない分割データについては、既存の状態のまま記憶される。例えば、図12の(B)に示すように、分割元のデータと1対1でリンクされた「分割データA1」は、図12の(A)に示すように記憶される。すなわち、「分割データA1」は、「アーカイブID:001、ハッシュ値:1111、データ容量:1MB、格納先パス:/data/1、リンク先:データA(1)」と記憶される。また、図12の(B)に示す「分割データB1」は、図12の(A)に示すように、「アーカイブID:005、ハッシュ値:5555、データ容量:1MB、格納先パス:/data/2、リンク先:データB(1)」として記憶される。また、図12の(B)に示す「分割データC1」は、図12の(A)に示すように、「アーカイブID:007、ハッシュ値:7777、データ容量:1MB、格納先パス:/data/3、リンク先:データC(1)」として記憶される。
判定部22は、結合分割データの属性情報を用いて新たに受信したデータを判定する際に、属性情報に含まれる分割データのハッシュ値と新たに受信したデータの分割データのハッシュ値とが同一である場合に、結合分割データのハッシュ値を用いて判定を行う。具体的には、判定部22は、新たに受信した分割データを判定する際に、まず、結合分割データの属性情報に含まれている分割データのハッシュ値と新たに受信した分割データのハッシュ値とを比較して、判定を行う。そして、比較したハッシュ値が同一であった場合、判定部22は、結合分割データのハッシュ値と、新たに受信した分割データに連続する分割データを結合分割データの容量と同量になるように加えた分割データのハッシュ値とを比較して判定を行う。
例えば、判定部22は、図12の(A)に示す「アーカイブ:006」の属性情報を用いて判定を行う場合、まず、新たに受信した「1MB」分割データのハッシュ値と、「アーカイブ:006、ハッシュ値:2222」とを比較する。そして、受信した分割データのハッシュ値が「2222」と同一であった場合、判定部22は、結合分割データの容量と同一である「3MB」分の分割データのハッシュ値を用いて判定を行う。すなわち、判定部22は、受信した「1MB」分割データに連続する分割データを新たに「2MB」分加えて「3MB」としたデータから算出されたハッシュ値と、「3MB」の結合分割データのハッシュ値「6666」とを比較して判定する。
なお、上記した例では、分割データのハッシュ値を一つのみ有する場合について説明したが、本実施例はこれに限定されるものではなく複数の分割データのハッシュ値を有する場合であってもよい。
[実施例4におけるアーカイブ装置による処理の手順]
次に、図13を用いて、実施例4におけるアーカイブ装置による処理を説明する。図13は、実施例4におけるアーカイブ装置による処理の手順を説明するための図である。なお、実施例4における外部装置による処理は、実施例2における外部装置による手順と同一であることから、説明を省略する。また、図13に示すステップS405〜S409およびステップS411は、それぞれ図8に示すステップS201〜S205およびステップS206と同一であることから説明を省略する。
図13に示すように、実施例4におけるアーカイブ装置10は、分割元のデータ数が閾値以上になると(ステップS401肯定)、データ格納制御部23は、結合分割データを生成して、分割データ記憶部31に格納するように制御する(ステップS402)。具体的には、データ格納制御部23は、仮分割データを形成する分割データを結合して、結合分割データを生成し、生成した結合分割データを分割データ記憶部31に格納するように制御する。
そして、データ格納制御部23は、生成した結合分割データの属性情報を生成し、属性情報記憶部32に格納するように制御する(ステップS403)。具体的には、データ格納制御部23は、結合分割データのハッシュ値と、識別情報と、結合分割データを形成する分割データのハッシュ値とを対応付けた属性情報を生成し、属性情報記憶部32に格納するように制御する。
続いて、データ格納制御部23は、結合分割データを形成する分割データおよび分割データの属性情報を、それぞれ分割データ記憶部31および属性情報記憶部32から削除するように制御する(ステップS404)。以下では、結合分割データが形成されたのちに、新たに分割データを受信した場合、実施例4におけるアーカイブ装置10が、実施例2において説明した処理内容に加えてさらに実行する処理内容について説明する。
新たに受信した分割データのハッシュ値と同一のハッシュ値が格納されている場合(ステップS407肯定)、判定部22は、同一のハッシュ値が結合分割データに含まれる分割データのハッシュ値であるか否かを判定する(ステップS410)。具体的には、実施例4におけるアーカイブ装置10の判定部22は、新たに受信した分割データのハッシュ値が、結合分割データの属性情報に含まれる分割データのハッシュ値と同一であるか否かの判定を行う。
ここで、同一のハッシュ値が結合分割データに含まれる分割データのハッシュ値である場合(ステップS410肯定)、ハッシュ値算出部21は、結合分割データと同容量の分割データのハッシュ値を算出する(ステップS412)。具体的には、ハッシュ値算出部21は、同一のハッシュ値が格納済みであると判定された分割データに連続する分割データを結合分割データの容量と同量になるように加えた分割データのハッシュ値を算出する。そして、判定部22は、ステップS407の判定を再度行う。
一方、同一のハッシュ値が結合分割データに含まれる分割データのハッシュ値ではない場合(ステップS410否定)、データ格納制御部23は、ステップS411の格納処理の制御を実行したのち、処理を終了する。
[実施例4の効果]
上記したように、実施例4によれば、データ格納制御部23は、さらに、仮分割データの分割元のデータ数が所定の閾値を超えた場合、仮分割データを形成する複数の分割データを結合した結合分割データを前記分割データ記憶部に格納するように制御する。また、データ格納制御部23は、結合分割データを形成する分割データを分割データ記憶部31から削除し、かつ、分割データの属性情報を属性情報記憶部32から削除するように制御する。また、データ格納制御部23は、結合分割データを分割データ記憶部31に格納するように制御する場合、結合分割データのハッシュ値、識別情報および結合分割データを形成する各分割データのハッシュ値をさらに対応付けた属性情報に更新するように制御する。そして、判定部22は、結合分割データの属性情報で、新たに受信したデータを判定する際、属性情報に含まれる分割データのハッシュ値と新たに受信したデータの分割データのハッシュ値とが同一である場合に、結合分割データのハッシュ値を用いて判定を行う。従って、実施例4におけるデータ格納システムは、分割データを結合分割データとして管理することによって、分割データごとに記憶していた属性情報を削除することができ、記録容量をより削減することができる。
また、実施例4におけるデータ格納システムは、新規に受信したデータが結合分割データと重複するか否かの判定を円滑に行い、重複する場合、既に格納済みの結合分割データを共有することができ、記録容量をさらに削減することができる。
上述した実施例1〜4では、分割データが予め設定された容量で分割される場合について説明したが、実施例5では、分割データ記憶部31に格納された分割データの容量に基づいて、分割する容量を適宜変更する場合について説明する。
[実施例5におけるデータ格納システムの構成]
まず最初に、図14を用いて、実施例5におけるデータ格納システムの構成を説明する。図14は、実施例5におけるデータ格納システムの構成を示す図である。
実施例5におけるデータ格納システムは、図14に示すように、実施例2〜4におけるデータ格納システムと比較して、アーカイブ装置10において、決定結果記憶部35、分割決定部25および命令部26を新たに有する点が異なる。以下、これらを中心に説明する。
決定結果記憶部35は、後述する分割決定部25によって決定された決定結果を記憶する。なお、決定結果については、後に説明する。
分割決定部25は、分割データ記憶部31が記憶する分割データの各容量に基づいて、データを分割する所定の容量を決定する。具体的には、分割決定部25は、分割データ記憶部31が記憶する分割データの各データ容量において最小となる容量と同容量でデータを分割するように決定し、決定結果を決定結果記憶部35に格納する。例えば、分割決定部25は、分割データ記憶部31に格納された分割データの各容量のうち、最小となるデータ容量が「3MB」である場合、新たに格納するデータを「3MB」ごとに分割することを決定し、決定した「3MB」を決定結果記憶部35に格納する。
命令部26は、分割決定部25によって決定された所定の容量でデータを送信するように外部装置70に命令する。例えば、命令部26は、決定結果記憶部35に「3MB」が格納されていることから、データを「3MB」ごとに分割した分割データで送信するように外部装置70に命令する。
[実施例5における分割データ容量決定処理の手順]
次に、図15を用いて、実施例5における分割データ容量決定処理を説明する。図15は、実施例5における分割データ容量決定処理の手順を説明するための図である。なお、実施例5における外部装置およびアーカイブ装置におけるデータ格納に関する各種処理は、実施例2〜4における外部装置およびアーカイブ装置と同様であることから、説明を省略する。
図15に示すように、実施例5におけるアーカイブ装置10は、分割データ記憶部31が記憶する各分割データにおいて、最小容量が増加すると(ステップS501肯定)、分割決定部25は、データの分割容量を最小容量に決定する(ステップS502)。
そして、命令部26は、分割決定部25によって決定された所定の容量でデータを送信するように外部装置70に命令する(ステップS503)。
[実施例5の効果]
上記したように、実施例5によれば、分割決定部25は、分割データ記憶部31が記憶する分割データの各容量に基づいて、データを分割する所定の容量を決定する。そして、命令部26は、分割決定部25によって決定された所定の容量でデータを送信するように外部装置70に命令する。従って、実施例5におけるデータ格納システムは、格納するデータ容量を適宜変更することにより、データ格納システムの利用環境に応じたデータ容量で分割データを格納することができ、記録容量をさらに削減することができる。
さて、これまで実施例1〜5について説明したが、上述した実施例1〜5以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、種々の異なる実施例を(1)〜(3)に区分けして説明する。
(1)データ分割
上記した実施例1〜5では、データの分割を外部装置70において実行する場合について説明したが、本実施例はこれに限定するものではなく、例えば、外部装置70から受信したデータをアーカイブ装置10において分割する場合であってもよい。
(2)システム構成等
また、上記の実施例において説明した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に更新することができる。例えば、本実施例は、分割データを結合して結合分割データとする際の閾値を任意に設定することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示された構成要素と同一であることを要しない。すなわち、各処理部および各記憶部の分散・統合の具体的形態(例えば、図2の形態)は図示のものとは限られない。例えば、ハッシュ値記憶部33と判定結果記憶部34とが統合される場合であってもよい。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
(3)データ格納プログラム
ところで、上記の実施例4では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本実施例はこれに限定されるものではなく、予め用意されたプログラムをコンピュータで実行するようにしてもよい。そこで、以下では、図16を用いて上記の実施例4に示したデータ格納システムと同様の機能を有するデータ格納プログラムを実行するコンピュータの一例を説明する。図16は、実施例5におけるデータ格納プログラムを実行するコンピュータを説明するための図である。
まず最初に、データ格納プログラムにおいて、アーカイブ装置10を制御するデータ格納プログラムを実行するコンピュータを説明する。図16に示すように、情報処理装置としてのコンピュータ1000は、キーボード1020、モニタ1030、RAM1040、HDD1050、CPU1060およびROM1070を有する。そして、キーボード1020、モニタ1030、RAM1040、HDD1050、CPU1060およびROM1070は、バス1010などで接続される。さらに、コンピュータ1000は、図16に示すように、通信部50およびネットワーク60を介して、コンピュータ2000と接続されている。
ROM1070には、上記の実施例5に示したアーカイブ装置10と同様の機能を発揮するデータ格納プログラム、つまり、図16に示すように、ハッシュ値算出プログラム1071、判定プログラム1072、データ格納制御プログラム1073、分割データ判定プログラム1074、分割決定プログラム1075、命令プログラム1076が予め記憶されている。なお、これらのプログラム1071〜1076については、図14に示したアーカイブ装置10の各構成要素と同様、適宜統合または分散してもよい。
そして、CPU1060が、これらのプログラム1071〜1076をROM1070から読み出して実行することで、図16に示すように、各プログラム1071〜1076は、ハッシュ値算出プロセス1061、判定プロセス1062、データ格納制御プロセス1063、分割データ判定プロセス1064、分割決定プロセス1065、命令プロセス1076として機能するようになる。なお、各プロセス1061〜1066は、図14に示した、ハッシュ値算出部21、判定部22、データ格納制御部23、分割データ判定部24、分割決定部25、命令部26にそれぞれ対応する。
また、HDD1050には、図16に示すように、分割データ記憶データ1051、属性情報記憶データ1052、ハッシュ値記憶データ1053、判定結果記憶データ1054、決定結果記憶データ1055が設けられる。この分割データ記憶データ1051、属性情報記憶データ1052、ハッシュ値記憶データ1053、判定結果記憶データ1054、決定結果記憶データ1055は、それぞれ図14に用いた分割データ記憶部31、属性情報記憶部32、ハッシュ値記憶部33、判定結果記憶部34、決定結果記憶部35に対応する。そして、CPU1060は、分割データ記憶データ1041、属性情報記憶データ1042、ハッシュ値記憶データ1043、判定結果記憶データ1044、決定結果記憶データ1045をそれぞれ分割データ記憶データ1051、属性情報記憶データ1052、ハッシュ値記憶データ1053、判定結果記憶データ1054、決定結果記憶データ1055に対して登録し、この分割データ記憶データ1041、属性情報記憶データ1042、ハッシュ値記憶データ1043、判定結果記憶データ1044、決定結果記憶データ1045を読み出してRAM1040に格納する。そして、CPU1060は、RAM1040に格納された分割データ記憶データ1041、属性情報記憶データ1042、ハッシュ値記憶データ1043、判定結果記憶データ1044、決定結果記憶データ1045に基づいてデータ格納処理を実行する。
次に、データ格納プログラムにおいて、外部装置70を制御するデータ格納プログラムを実行するコンピュータを説明する。図16に示すように、情報処理装置としてのコンピュータ2000は、キーボード2020、モニタ2030、RAM2040、HDD2050、CPU2060およびROM2070を有する。そして、キーボード2020、モニタ2030、RAM2040、HDD2050、CPU2060およびROM2070は、バス2010などで接続される。さらに、コンピュータ2000は、図16に示すように、通信部110およびネットワーク60を介して、コンピュータ1000と接続されている。
ROM2070には、上記の実施例5に示した外部装置70と同様の機能を発揮するデータ格納プログラム、つまり、図16に示すように、データ分割プログラム2071、分割データ送信プログラム2072が予め記憶されている。なお、これらのプログラム2071〜2072については、図14に示した外部装置70の各構成要素と同様、適宜統合または分散してもよい。
そして、CPU2060が、これらのプログラム2071〜2072をROM2070から読み出して実行することで、図16に示すように、各プログラム2071〜2072は、データ分割プロセス2061、分割データ送信プロセス2062として機能するようになる。なお、各プロセス2061〜2062は、図14に示した、データ分割部81、分割データ送信部82にそれぞれ対応する。
また、HDD2050には、図16に示すように、データ記憶データ2051、分割データ記憶データ2052が設けられる。このデータ記憶データ2051、分割データ記憶データ2052は、それぞれ図14に用いたデータ記憶部91、分割データ記憶部92に対応する。そして、CPU2060は、データ記憶データ2041、分割データ記憶データ2042をそれぞれデータ記憶データ2051、分割データ記憶データ2052に対して登録し、このデータ記憶データ2041、分割データ記憶データ2042を読み出してRAM2040に格納する。そして、CPU2060は、RAM2040に格納されたデータ記憶データ2041、分割データ記憶データ2042に基づいてデータ格納処理を実行する。
なお、上記した各プログラム1071〜1076および2071〜2072については、必ずしも最初からROM1070、2070に記憶させておく必要は無く、例えばコンピュータ1000および2000に挿入されるフレキシブルディスク(FD)、CD−ROM、MOディスク、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータ1000の内外に備えられるHDDなどの「固定用物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータ1000および2000に接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶させておき、コンピュータ1000および2000がこれらから各プログラムを読み出して実行するようにしてもよい。
以上の本実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)外部装置から受信したデータであり、所定の容量で分割された分割データを記憶する分割データ記憶部と、
前記分割データ記憶部が記憶する前記分割データごとのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報を記憶する属性情報記憶部と、
前記外部装置から新たに受信したデータであり、前記所定の容量で分割された分割データごとのハッシュ値を算出するハッシュ値算出部と、
前記ハッシュ値算出部によって算出されたハッシュ値に該当する属性情報が前記属性情報記憶部に記憶されているか否かを判定する判定部と、
前記判定部によって、前記ハッシュ値算出部により算出されたハッシュ値に該当する属性情報が前記属性情報記憶部に記憶されていないと判定された場合、前記外部装置から新たに受信したデータの分割データを前記分割データ記憶部に格納するとともに、当該分割データの属性情報を前記属性情報記憶部に格納するように制御し、前記ハッシュ値算出部により算出されたハッシュ値に該当する属性情報が前記属性情報記憶部に記憶されていると判定された場合、当該ハッシュ値の算出に用いられた分割データの識別情報のみを同一のハッシュ値が含まれる属性情報に対応付けて格納するように制御するデータ格納制御部と、
を有したことを特徴とするアーカイブ装置。
(付記2)複数の分割データがそれぞれ同一の複数の分割元のデータから分割されているか否かを判定する分割データ判定部をさらに有し、
前記データ格納制御部は、前記処理に加えて、前記分割データ判定部によって複数の分割データがそれぞれ同一の複数の分割元のデータから分割されていると判定された場合、当該複数の分割データを単一の仮分割データとし、当該仮分割データを形成する各分割データの識別情報を当該仮分割データの識別情報に置き換え、前記属性情報記憶部に格納することを特徴とする付記1に記載のアーカイブ装置。
(付記3)前記データ格納制御部は、さらに、前記仮分割データの分割元のデータ数が所定の閾値を超えた場合、当該仮分割データを形成する複数の分割データを結合した結合分割データを前記分割データ記憶部に格納するとともに、当該結合分割データを形成する分割データを前記分割データ記憶部から削除し、かつ、当該分割データの属性情報を前記属性情報記憶部から削除するように制御することを特徴とする付記2に記載のアーカイブ装置。
(付記4)前記データ格納制御部は、さらに、前記結合分割データを前記分割データ記憶部に格納するように制御する場合、当該結合分割データの属性情報として、当該結合分割データのハッシュ値、識別情報および当該結合分割データを形成する各分割データのハッシュ値をさらに対応付けた属性情報に更新するように制御し、
前記判定部は、前記処理に加えて、前記結合分割データの属性情報を用いて新たに受信したデータを判定する際に、当該属性情報に含まれる分割データのハッシュ値と新たに受信したデータの分割データのハッシュ値とが同一である場合に、結合分割データのハッシュ値を用いて判定を行うことを特徴とする付記3に記載のアーカイブ装置。
(付記5)前記分割データ記憶部が記憶する分割データの各容量に基づいて、データを分割する所定の容量を決定する分割決定部をさらに有することを特徴とする付記2〜4のいずれか一つに記載のアーカイブ装置。
(付記6)前記分割決定部によって決定された所定の容量でデータを送信するように前記外部装置に命令する命令部をさらに有することを特徴とする付記5に記載のアーカイブ装置。
(付記7)外部装置から受信したデータであり、所定の容量で分割された分割データを第一の記憶部に格納する分割データ格納手順と、
前記第一の記憶部が記憶する前記分割データごとのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報を第二の記憶部に格納する属性情報格納手順と、
前記外部装置から新たに受信したデータであり、前記所定の容量で分割された分割データごとのハッシュ値を算出するハッシュ値算出手順と、
前記ハッシュ値算出手順によって算出されたハッシュ値に該当する属性情報が前記第二の記憶部に記憶されているか否かを判定する判定手順と、
前記判定手順によって、前記ハッシュ値算出手順により算出されたハッシュ値に該当する属性情報が前記第二の記憶部に格納されていないと判定された場合、前記外部装置から新たに受信したデータの分割データを前記第一の記憶部に格納するとともに、当該分割データの属性情報を前記第二の記憶部に格納するように制御し、前記ハッシュ値算出手順により算出されたハッシュ値に該当する属性情報が前記第二の記憶部に格納されていると判定された場合、当該ハッシュ値の算出に用いられた分割データの識別情報のみを同一のハッシュ値が含まれる属性情報に対応付けて格納するように制御するデータ格納制御手順と、
をコンピュータに実行させることを特徴とするデータ格納プログラム。
(付記8)複数の分割データがそれぞれ同一の複数の分割元のデータから分割されているか否かを判定する分割データ判定手順をさらにコンピュータに実行させ、
前記データ格納制御手順は、前記処理に加えて、前記分割データ判定手順によって複数の分割データがそれぞれ同一の複数の分割元のデータから分割されていると判定された場合、当該複数の分割データを単一の仮分割データとし、当該仮分割データを形成する各分割データの識別情報を当該仮分割データの識別情報に置き換え、前記第二の記憶部に格納することを特徴とする付記7に記載のデータ格納プログラム。
(付記9)前記データ格納制御手順は、さらに、前記仮分割データの分割元のデータ数が所定の閾値を超えた場合、当該仮分割データを形成する複数の分割データを結合した結合分割データを前記第一の記憶部に格納するとともに、当該結合分割データを形成する分割データを前記第一の記憶部から削除し、かつ、当該分割データの属性情報を前記第二の記憶部から削除するように制御することを特徴とする付記8に記載のデータ格納プログラム。
(付記10)前記データ格納制御手順は、さらに、前記結合分割データを前記第一の記憶部に格納するように制御する場合、当該結合分割データの属性情報として、当該結合分割データのハッシュ値、識別情報および当該結合分割データを形成する各分割データのハッシュ値をさらに対応付けた属性情報に更新するように制御し、
前記判定手順は、前記処理に加えて、前記結合分割データの属性情報を用いて新たに受信したデータを判定する際に、当該属性情報に含まれる分割データのハッシュ値と新たに受信したデータの分割データのハッシュ値とが同一である場合に、結合分割データのハッシュ値を用いて判定を行うことを特徴とする付記9に記載のデータ格納プログラム。
(付記11)前記第一の記憶部が記憶する分割データの各容量に基づいて、データを分割する所定の容量を決定する分割決定手順をさらにコンピュータに実行させることを特徴とする付記8〜10のいずれか一つに記載のデータ格納プログラム。
(付記12)前記分割決定手順によって決定された所定の容量でデータを送信するように前記外部装置に命令する命令手順をさらにコンピュータに実行させることを特徴とする付記11に記載のデータ格納プログラム。
(付記13)外部装置から受信したデータであり、所定の容量で分割された分割データを第一の記憶部に格納する分割データ格納ステップと、
前記第一の記憶部が記憶する前記分割データごとのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報を第二の記憶部に格納する属性情報格納ステップと、
前記外部装置から新たに受信したデータであり、前記所定の容量で分割された分割データごとのハッシュ値を算出するハッシュ値算出ステップと、
前記ハッシュ値算出ステップによって算出されたハッシュ値に該当する属性情報が前記第二の記憶部に記憶されているか否かを判定する判定ステップと、
前記判定ステップによって、前記ハッシュ値算出ステップにより算出されたハッシュ値に該当する属性情報が前記第二の記憶部に格納されていないと判定された場合、前記外部装置から新たに受信したデータの分割データを前記第一の記憶部に格納するとともに、当該分割データの属性情報を前記第二の記憶部に格納するように制御し、前記ハッシュ値算出ステップにより算出されたハッシュ値に該当する属性情報が前記第二の記憶部に格納されていると判定された場合、当該ハッシュ値の算出に用いられた分割データの識別情報のみを同一のハッシュ値が含まれる属性情報に対応付けて格納するように制御するデータ格納制御ステップと、
を含んだことを特徴とするデータ格納方法。
(付記14)複数の分割データがそれぞれ同一の複数の分割元のデータから分割されているか否かを判定する分割データ判定ステップをさらに含み、
前記データ格納制御ステップは、前記処理に加えて、前記分割データ判定ステップによって複数の分割データがそれぞれ同一の複数の分割元のデータから分割されていると判定された場合、当該複数の分割データを単一の仮分割データとし、当該仮分割データを形成する各分割データの識別情報を当該仮分割データの識別情報に置き換え、前記第二の記憶部に格納することを特徴とする付記13に記載のデータ格納方法。
(付記15)前記データ格納制御ステップは、さらに、前記仮分割データの分割元のデータ数が所定の閾値を超えた場合、当該仮分割データを形成する複数の分割データを結合した結合分割データを前記第一の記憶部に格納するとともに、当該結合分割データを形成する分割データを前記第一の記憶部から削除し、かつ、当該分割データの属性情報を前記第二の記憶部から削除するように制御することを特徴とする付記14に記載のデータ格納方法。
(付記16)前記データ格納制御ステップは、さらに、前記結合分割データを前記第一の記憶部に格納するように制御する場合、当該結合分割データの属性情報として、当該結合分割データのハッシュ値、識別情報および当該結合分割データを形成する各分割データのハッシュ値をさらに対応付けた属性情報に更新するように制御し、
前記判定ステップは、前記処理に加えて、前記結合分割データの属性情報を用いて新たに受信したデータを判定する際に、当該属性情報に含まれる分割データのハッシュ値と新たに受信したデータの分割データのハッシュ値とが同一である場合に、結合分割データのハッシュ値を用いて判定を行うことを特徴とする付記15に記載のデータ格納方法。
(付記17)前記第一の記憶部が記憶する分割データの各容量に基づいて、データを分割する所定の容量を決定する分割決定ステップをさらに含んだことを特徴とする付記14〜16のいずれか一つに記載のデータ格納方法。
(付記18)前記分割決定ステップによって決定された所定の容量でデータを送信するように前記外部装置に命令する命令ステップをさらに含んだことを特徴とする付記17に記載のデータ格納方法。
10 アーカイブ装置
20 制御部
21 ハッシュ値算出部
22 判定部
23 データ格納制御部
24 分割データ判定部
25 分割決定部
26 命令部
30 記憶部
31 分割データ記憶部
32 属性情報記憶部
33 ハッシュ値記憶部
34 判定結果記憶部
35 決定結果記憶部
40 入出力制御I/F部
50 通信部
60 ネットワーク
70 外部装置
80 処理部
81 データ分割部
82 分割データ送信部
90 記憶部
91 データ記憶部
92 分割データ記憶部
100 入出力制御I/F部
110 通信部

Claims (9)

  1. 外部装置から受信したデータを分割した分割データ、及び、複数の異なる分割元のデータ間で共通する連続した複数の分割データを結合した結合分割データを記憶する分割データ記憶部と、
    前記分割データのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報、及び、前記結合分割データのハッシュ値と複数の分割元のデータそれぞれの識別情報とが対応付けられた属性情報を記憶する属性情報記憶部と、
    前記外部装置からデータを受信した場合に、データを分割した分割データごとのハッシュ値、又は前記結合分割データと同容量である分割データのハッシュ値を算出するハッシュ値算出部と、
    算出された前記分割データごとのハッシュ値もしくは前記結合分割データと同容量である分割データのハッシュ値と一致するハッシュ値を有する属性情報が前記属性情報記憶部に記憶されていない場合、前記分割データを前記分割データ記憶部に格納するとともに、当該分割データの属性情報を前記属性情報記憶部に格納し、算出された前記分割データごとのハッシュ値もしくは前記結合分割データと同容量である分割データのハッシュ値と一致するハッシュ値を有する属性情報が前記属性情報記憶部に記憶されている場合、前記分割データの識別情報を当該記憶済みの属性情報にさらに対応付けて格納するデータ格納制御部と、
    を有したことを特徴とするアーカイブ装置。
  2. 前記分割データ記憶部に格納された複数の分割データのうち、複数の異なる分割元のデータ間で共通する連続した複数の分割データがあるか否かを判定する分割データ判定部をさらに有し、
    前記データ格納制御部は、前記分割データ判定部によって複数の異なる分割元のデータ間で共通する連続した複数の分割データがあると判定された場合、当該複数の分割データを単一の仮分割データとし、当該仮分割データを形成する各分割データの識別情報を当該仮分割データの識別情報に置き換え、前記属性情報記憶部に格納することを特徴とする請求項1に記載のアーカイブ装置。
  3. 前記データ格納制御部は、さらに、前記仮分割データの分割元のデータ数が所定の閾値を超えた場合、当該仮分割データを形成する複数の分割データを結合した結合分割データを前記分割データ記憶部に格納するとともに、当該結合分割データを形成する分割データを前記分割データ記憶部から削除し、かつ、当該分割データの属性情報を前記属性情報記憶部から削除するように制御することを特徴とする請求項2に記載のアーカイブ装置。
  4. 前記データ格納制御部は、さらに、前記結合分割データを前記分割データ記憶部に格納するように制御する場合、当該結合分割データの属性情報として、当該結合分割データのハッシュ値、識別情報および当該結合分割データを形成する各分割データのハッシュ値をさらに対応付けた属性情報に更新するように制御し、
    前記判定部は、前記処理に加えて、前記結合分割データの属性情報を用いて新たに受信したデータを判定する際に、当該属性情報に含まれる分割データのハッシュ値と新たに受信したデータの分割データのハッシュ値とが同一である場合に、結合分割データのハッシュ値を用いて判定を行うことを特徴とする請求項3に記載のアーカイブ装置。
  5. 前記データ格納制御部は、前記結合分割データを前記分割データ記憶部に格納するように制御する場合、当該結合分割データの属性情報として、当該結合分割データのハッシュ値および当該結合分割データを形成する先頭の分割データのハッシュ値を格納するように制御し、
    前記判定部は、当該属性情報に含まれる先頭分割データのハッシュ値と新たに受信したデータの分割データのハッシュ値とが同一である場合に、前記新たに受信したデータに連続する分割データを加え前記結合分割データと同量になったデータから算出されるハッシュ値と前記結合分割データのハッシュ値を用いて判定を行うことを特徴とする請求項4に記載のアーカイブ装置。
  6. 前記分割データ記憶部が記憶する分割データの各容量に基づいて、データを分割する所定の容量を決定する分割決定部をさらに有することを特徴とする請求項2〜5のいずれか一つに記載のアーカイブ装置。
  7. 前記分割決定部によって決定された所定の容量でデータを送信するように前記外部装置に命令する命令部をさらに有することを特徴とする請求項6に記載のアーカイブ装置。
  8. 外部装置から受信したデータを分割した分割データ、及び、複数の異なる分割元のデータ間で共通する連続した複数の分割データを結合した結合分割データを第一の記憶部に格納する分割データ格納手順と、
    前記分割データのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報、及び、前記結合分割データのハッシュ値と複数の分割元のデータそれぞれの識別情報とが対応付けられた属性情報を第二の記憶部に格納する属性情報格納手順と、
    前記外部装置からデータを受信した場合に、データを分割した分割データごとのハッシュ値、又は前記結合分割データと同容量である分割データのハッシュ値を算出するハッシュ値算出手順と、
    算出された前記分割データごとのハッシュ値もしくは前記結合分割データと同容量である分割データのハッシュ値と一致するハッシュ値を有する属性情報が前記第二の記憶部に記憶されていない場合、前記分割データを前記第一の記憶部に格納するとともに、当該分割データの属性情報を前記第二の記憶部に格納し、算出された前記分割データごとのハッシュ値もしくは前記結合分割データと同容量である分割データのハッシュ値と一致するハッシュ値を有する属性情報が前記第二の記憶部に記憶されている場合、前記分割データの識別情報を当該記憶済みの属性情報にさらに対応付けて格納するデータ格納制御手順と、
    をコンピュータに実行させることを特徴とするデータ格納プログラム。
  9. 外部装置から受信したデータを分割した分割データ、及び、複数の異なる分割元のデータ間で共通する連続した複数の分割データを結合した結合分割データを第一の記憶部に格納する分割データ格納ステップと、
    前記分割データのハッシュ値と分割元のデータを一意に特定するための識別情報とが対応付けられた属性情報、及び、前記結合分割データのハッシュ値と複数の分割元のデータそれぞれの識別情報とが対応付けられた属性情報を第二の記憶部に格納する属性情報格納ステップと、
    前記外部装置からデータを受信した場合に、データを分割した分割データごとのハッシュ値、又は前記結合分割データと同容量である分割データのハッシュ値を算出するハッシュ値算出ステップと、
    算出された前記分割データごとのハッシュ値もしくは前記結合分割データと同容量である分割データのハッシュ値と一致するハッシュ値を有する属性情報が前記第二の記憶部に記憶されていない場合、前記分割データを前記第一の記憶部に格納するとともに、当該分割データの属性情報を前記第二の記憶部に格納し、算出された前記分割データごとのハッシュ値もしくは前記結合分割データと同容量である分割データのハッシュ値と一致するハッシュ値を有する属性情報が前記第二の記憶部に記憶されている場合、前記分割データの識別情報を当該記憶済みの属性情報にさらに対応付けて格納するデータ格納制御ステップと、
    を含んだことを特徴とするデータ格納方法。
JP2009166043A 2009-07-14 2009-07-14 アーカイブ装置、データ格納プログラムおよびデータ格納方法 Expired - Fee Related JP5254141B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009166043A JP5254141B2 (ja) 2009-07-14 2009-07-14 アーカイブ装置、データ格納プログラムおよびデータ格納方法
US12/833,323 US8423556B2 (en) 2009-07-14 2010-07-09 Archive device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009166043A JP5254141B2 (ja) 2009-07-14 2009-07-14 アーカイブ装置、データ格納プログラムおよびデータ格納方法

Publications (2)

Publication Number Publication Date
JP2011022721A JP2011022721A (ja) 2011-02-03
JP5254141B2 true JP5254141B2 (ja) 2013-08-07

Family

ID=43466002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009166043A Expired - Fee Related JP5254141B2 (ja) 2009-07-14 2009-07-14 アーカイブ装置、データ格納プログラムおよびデータ格納方法

Country Status (2)

Country Link
US (1) US8423556B2 (ja)
JP (1) JP5254141B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101035302B1 (ko) * 2010-10-11 2011-05-19 (주)이스트소프트 클라우드 시스템 및 클라우드 시스템에서 파일 압축 및 전송 방법
US9317456B2 (en) * 2010-10-18 2016-04-19 Infosys Technologies Ltd. Method and system for performing event-matching with a graphical processing unit
US9195666B2 (en) 2012-01-17 2015-11-24 Apple Inc. Location independent files
WO2014078990A1 (zh) * 2012-11-20 2014-05-30 华为技术有限公司 数据存储方法、数据存储装置及数据存储系统
WO2014155668A1 (ja) * 2013-03-29 2014-10-02 株式会社 東芝 データの重複をハッシュテーブルに基づいて排除するためのストレージシステム、ストレージコントローラ及び方法
CN104123309B (zh) * 2013-04-28 2017-08-25 国际商业机器公司 用于数据管理的方法和系统
JP6252223B2 (ja) * 2014-02-14 2017-12-27 富士通株式会社 制御方法、受信装置、及び通信システム
CN106326285B (zh) * 2015-06-30 2019-11-12 华为技术有限公司 一种存储数据的方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3826901A (en) * 2000-02-18 2001-08-27 Undoo Inc Hash file system and method for use in a commonality factoring system
US20020124137A1 (en) * 2001-01-29 2002-09-05 Ulrich Thomas R. Enhancing disk array performance via variable parity based load balancing
US7386525B2 (en) * 2001-09-21 2008-06-10 Stonesoft Corporation Data packet filtering
JP2004030423A (ja) 2002-06-27 2004-01-29 Ntt Comware Corp コンテンツ配信制御装置及びプログラム
US7100008B2 (en) * 2004-03-15 2006-08-29 Hitachi, Ltd. Long term data protection system and method
US8356021B2 (en) * 2005-03-11 2013-01-15 Ross Neil Williams Method and apparatus for indexing in a reduced-redundancy storage system
EP1875364A2 (en) * 2005-03-23 2008-01-09 Stream Theory, Inc. System and method for tracking changes to files in streaming applications
US7765191B2 (en) * 2005-04-15 2010-07-27 Emc Corporation Methods and apparatus for managing the replication of content
US7409489B2 (en) * 2005-08-03 2008-08-05 Sandisk Corporation Scheduling of reclaim operations in non-volatile memory
US8412682B2 (en) * 2006-06-29 2013-04-02 Netapp, Inc. System and method for retrieving and using block fingerprints for data deduplication
US7930559B1 (en) * 2006-06-30 2011-04-19 Emc Corporation Decoupled data stream and access structures
US7720892B1 (en) * 2006-06-30 2010-05-18 Emc Corporation Bulk updates and tape synchronization
US8214517B2 (en) * 2006-12-01 2012-07-03 Nec Laboratories America, Inc. Methods and systems for quick and efficient data management and/or processing
CN101201832B (zh) * 2006-12-15 2010-04-21 国际商业机器公司 优化网页图像的方法和系统
US20080168068A1 (en) * 2007-01-10 2008-07-10 Hutheesing Vivek A Methods and systems for a geographically defined communication platform
US20080172430A1 (en) * 2007-01-11 2008-07-17 Andrew Thomas Thorstensen Fragmentation Compression Management
US7761425B1 (en) * 2007-03-29 2010-07-20 Symantec Corporation Low-overhead means of performing data backup
US7769971B2 (en) * 2007-03-29 2010-08-03 Data Center Technologies Replication and restoration of single-instance storage pools
US20080243878A1 (en) * 2007-03-29 2008-10-02 Symantec Corporation Removal
US8489830B2 (en) * 2007-03-30 2013-07-16 Symantec Corporation Implementing read/write, multi-versioned file system on top of backup data
US8028106B2 (en) * 2007-07-06 2011-09-27 Proster Systems, Inc. Hardware acceleration of commonality factoring with removable media
US8880797B2 (en) * 2007-09-05 2014-11-04 Emc Corporation De-duplication in a virtualized server environment
US8036464B2 (en) * 2007-09-07 2011-10-11 Satyam Computer Services Limited System and method for automatic segmentation of ASR transcripts
WO2009066611A1 (ja) * 2007-11-20 2009-05-28 Nec Corporation 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム
US7519635B1 (en) * 2008-03-31 2009-04-14 International Business Machines Corporation Method of and system for adaptive selection of a deduplication chunking technique
US8515909B2 (en) * 2008-04-29 2013-08-20 International Business Machines Corporation Enhanced method and system for assuring integrity of deduplicated data
US8397084B2 (en) * 2008-06-12 2013-03-12 Microsoft Corporation Single instance storage of encrypted data
US8161255B2 (en) * 2009-01-06 2012-04-17 International Business Machines Corporation Optimized simultaneous storing of data into deduplicated and non-deduplicated storage pools
US8135748B2 (en) * 2009-04-10 2012-03-13 PHD Virtual Technologies Virtual machine data replication
US8050251B2 (en) * 2009-04-10 2011-11-01 Barracuda Networks, Inc. VPN optimization by defragmentation and deduplication apparatus and method
WO2010125230A1 (en) * 2009-04-30 2010-11-04 Nokia Corporation Data transmission optimization
US20100318759A1 (en) * 2009-06-15 2010-12-16 Microsoft Corporation Distributed rdc chunk store
US8380688B2 (en) * 2009-11-06 2013-02-19 International Business Machines Corporation Method and apparatus for data compression
US8442942B2 (en) * 2010-03-25 2013-05-14 Andrew C. Leppard Combining hash-based duplication with sub-block differencing to deduplicate data

Also Published As

Publication number Publication date
JP2011022721A (ja) 2011-02-03
US8423556B2 (en) 2013-04-16
US20110016132A1 (en) 2011-01-20

Similar Documents

Publication Publication Date Title
JP5254141B2 (ja) アーカイブ装置、データ格納プログラムおよびデータ格納方法
JP5082310B2 (ja) データ移行装置及びプログラム
US8683122B2 (en) Storage system
US9031906B2 (en) Method of managing data in asymmetric cluster file system
US8843445B2 (en) Storage system for storing data in a plurality of storage devices and method for same
US11287994B2 (en) Native key-value storage enabled distributed storage system
US7890716B2 (en) Method of managing time-based differential snapshot
US11151102B2 (en) Systems and methods for data management using zero-touch tagging
US20110313971A1 (en) Storage system
JP5701398B2 (ja) 計算機システム、データ管理方法及びプログラム
CN104580439B (zh) 一种云存储系统中使数据均匀分布的方法
JP4713257B2 (ja) データ記憶装置及びバージョン管理プログラム
US8683121B2 (en) Storage system
JP6230317B2 (ja) システム、情報処理装置およびその制御方法、並びにプログラム
TW201908987A (zh) 用於物聯網設備於資料中心備份的分散式重複資料刪除儲存系統及其達成分散式重複資料刪除方法
US10387043B2 (en) Writing target file including determination of whether to apply duplication elimination
JP5272185B2 (ja) 計算機システム及びストレージシステム
JP5929326B2 (ja) ストレージシステム
US8914336B2 (en) Storage device and data storage control method
KR101470857B1 (ko) iSCSI 스토리지 시스템을 이용한 네트워크 분산 파일 시스템 및 방법
JP4856217B2 (ja) データ格納プログラム、データ格納方法およびデータ格納システム
JPWO2011108041A1 (ja) ストレージ装置
JP2010218235A (ja) アーカイブ装置、分散管理装置および分散管理プログラム
US20240004575A1 (en) Storage system and data management method of storage system
JP6676203B2 (ja) 管理装置、ストレージシステム、ストレージ管理方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120123

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120131

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130417

R150 Certificate of patent or registration of utility model

Ref document number: 5254141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees