JP2007073003A - データ保全装置及びその方法及びそのプログラム記録媒体 - Google Patents

データ保全装置及びその方法及びそのプログラム記録媒体 Download PDF

Info

Publication number
JP2007073003A
JP2007073003A JP2005262515A JP2005262515A JP2007073003A JP 2007073003 A JP2007073003 A JP 2007073003A JP 2005262515 A JP2005262515 A JP 2005262515A JP 2005262515 A JP2005262515 A JP 2005262515A JP 2007073003 A JP2007073003 A JP 2007073003A
Authority
JP
Japan
Prior art keywords
data
divided
node
divided data
maintenance target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005262515A
Other languages
English (en)
Inventor
Tomoyuki Shimizu
智之 清水
Atsushi Inose
敦 猪瀬
Hajime Futaki
一 二木
Daisuke Tanaka
大介 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005262515A priority Critical patent/JP2007073003A/ja
Publication of JP2007073003A publication Critical patent/JP2007073003A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Storage Device Security (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 P2Pネットワーク上のノードが保全対象のデータを冗長化して分割し、それらを複数のノードに分散して配置することでデータの保全性を高めるデータ保全装置において、各ノードでのデータ復元、分割数チェック・再分配を行うにあたって、管理情報を必要とせずにそれらを行える仕組みを提供する。
【解決手段】 本発明のデータ保全装置は、複数のデータ処理装置をP2Pネットワーク上のノードとして配置し、保全対象データ分散して保全するデータ保全装置であり、前記データ処理装置は、保全対象データを冗長化して分割するデータ分割手段とデータを配置するノードを決定する分割データ配置先決定手段と、配置先の各ノードを検索する分割データ配置先検索手段と、ノードに該分割データを分配する分割データ配置手段と分配された分割データを保持する分割データ保持手段と、検索されたノードから分割データを取得する分割データ取得手段とから構成される。
【選択図】 図1

Description

本発明は、データ保全装置に関するものであり、さらに詳しくは、P2Pネットワーク上のノードが、保全対象のデータを冗長化して分割し、それらを複数のノードに分散して配置することでデータの保全性を高めるデータ保全装置に関する。
近年、電子化されたデータを扱う機会が増加していることに伴い、データの保存先が、従来の紙など媒体から、磁気ディスクや光ディスクといったストレージ機器に移行して来ているが、これらの機器は、紙などの経年の変化に対して比較的安定した媒体と異なり、一般にデータそのものよりも寿命が短いため、それらのストレージ機器に保存されている電子データの保守、保全に対する要望が強まってきている。
この課題を解消するためには、単純には、データのコピーをオリジナルデータの保存してあるストレージとは別のストレージに保存しておく方法がある。これにより、オリジナルデータが取得できない状況に陥っても、コピーが無くならない限りは復元できる。しかし、コピーを保存しておくためには、その分の格納スペースが必要となり、爆発的に増加している電子データやそのコピーを保存するためには、大容量のストレージ機器が必要となるが、ストレージの大容量化が急速に進んでいるとはいえ、単一の機器で十分な容量を確保することは実質的にはかなり困難といえる。
このようなストレージの記憶領域が不足する課題に対しては、多数のストレージ機器をネットワークに接続し、全体で一つのストレージとして扱えるようにする技術が考えられている。この方法では、ネットワーク上にストレージを追加していくことで記憶領域を随意拡張できる。しかし、一般にこのような方法では機器のネットワーク上での位置情報などを管理するサーバ装置が必要となるため、ストレージ機器の数がある程度増加すると、該サーバ装置における処理効率が低下し、その部分がボトルネックとなってしまい、全体のパフォーマンスが悪化するという問題があった。
これに対し、ネットワークストレージを特定するための管理情報を持たない方法を提案されている(例えば特許文献1参照)。しかし、ネットワークストレージを複数接続して一つのストレージとして見せるとしても、結局は、膨大な数のクライアント装置からのアクセスが限られた数のネットワークストレージへ集中してしまうため、上記と同様の問題が残る。
このため、大量のデータをネットワーク上のストレージ機器で分担して保持するような構成では、サーバ装置を持たない、クライアントとクライアント、すなわちストレージ機器どうしが直接データをやり取りする形態(以下、P2P:Peer-to-Peer)を取ることで、アクセスを分散させることが望ましいと言え、最近では、このようなP2Pネットワーク上のストレージ機器にデータを分散させて保持する方法が考えられている。
特開2003−216474号公報
しかし、上記のようにP2Pネットワーク上の複数のストレージ機器にデータを分散させる従来の装置においても、機器の管理こそ不要であるが、データの配置情報、すなわちオリジナルデータのコピーがどのストレージ機器に配置されているのかといったような管理情報は必要であった。このような管理情報に依存したモデルは、その管理情報をさらに保守・保全する必要性が生じるなど、データ保全を目的とした方法としては望ましくない。また、P2P上の各ノードが自律的にデータ保全処理を行う仕組みも考えられるが、その場合は、自分以外のノードに分散しているデータの分散数が十分存在しているかの確認や、分散数が十分でなかった場合にデータを集めてから再度配布しなおすような処理が各ノードで行われることになるため、管理情報へのアクセス、あるいは管理情報を持つマシンへのアクセスが集中しがちになるため、全体の処理のボトルネックになる恐れもある。
本発明は、上記の問題に鑑みてなされたものであり、データの配置情報等の管理情報を必要とすることなく、P2Pネットワーク上の各ノードが、分散したデータを取得したり、分配したりできるようにしたデータ保全装置を提供することを目的とする。
上記の問題点を解決するために本発明のデータ保全装置は以下のような構成を備える。即ち、データ処理装置をP2Pネットワーク上のノードとして複数配置し、保全対象データを各ノードが分散して保全するデータ保全装置において、前記データ処理装置が、保全対象データを受け取り、該データを冗長化して分割するデータ分割手段と、前記データ分割手段によって得られた各分割データを配置する先となる各ノードを決定する分割データ配置先決定手段と、前記分割データ配置先決定手段で決定した配置先の各ノードを検索する分割データ配置先検索手段と、前記分割データ配置先検索手段で検索されたノードに該分割データを分配する分割データ配置手段と、分配された分割データを保持する分割データ保持手段と、前記分割データ配置先検索手段で検索されたノードから分割データを取得する分割データ取得手段と、を備えるようにしたことで、データを冗長化して分割し、それらをP2Pネットワーク上の複数のノードに、管理情報を持たないように分散して配置し、かつ各ノードで該分散データが必要となった場合に、データの管理情報を必要とせずに取得できるようにした。
以上説明したように、本発明によれば、データ保全装置において分割されたデータを保持するノードが、分割データの配置情報等の管理情報を持たずに、他のノードが保持する分割データを取得・分配できるようにしたことで、特に、分散数のチェックやデータの再配布といった処理が頻繁に行われるデータ保全装置において、従来データ取得に際してボトルネックとなっていた該管理情報、あるいは管理情報を保持する装置へのアクセスを抑制できる為、効率的な処理が行えるようになるという効果が得られる。また、管理データや管理装置を必要としないため、各データ処理装置が自律的にこれらの処理を行うことができるようになるという効果も生じる。
<実施形態1>
以下、図面を参照して本発明の実施例を詳細に説明する。
図1は、本発明の一実施例に係るデータ保全装置の基本構成を示すブロック図である。
同図において、101、102、103は、保全対象となるデータ(以下、保全対象データ)を分割して、それらをネットワーク上で分散して保持するデータ処理装置である。各データ処理装置は後述するネットワーク104を通じて相互に接続可能である。本実施例では、データ処理装置間の接続は、仲介となるサーバ装置を必要とせずに直接データをやり取りする、一般的にはピュアP2Pと呼ばれる接続形態を取るものとする。また、本実施例においては、該接続形態で接続されている装置を高速に検索する手法として一般的に知られている分散ハッシュ検索を採用することとし、各データ処理装置は、分散ハッシュ検索で使用するハッシュ関数が表現し得る値の上限までの、必ず一意に決まるID(以下、ノードID)を保持するものとする。すなわち、同時に同じノードIDを持つデータ処理装置が存在したり、該上限値を超えるノードIDを持つデータ処理装置が存在したりしない。なお、ハッシュ関数については特定するものではなく、一般的に知られるハッシュ関数、例えばSHA-1やRIPEMD-160といったものを使用して良い。また、分散ハッシュ検索のアルゴリズムも、Chord(Ion Stoica、 Robert Morris、 David Karger、 M. Frans Kaashoek、 and Hari Balakrishnan、 Chord: A Scalable Peer-to-peer Lookup Service for Internet Applications、 ACM SIGCOMM 2001、 San Deigo、 CA、 August 2001、 pp. 149-160)など、既知の手法を使用して構わない。
104はインターネットやイントラネットといったネットワークであり、ここでは、前述のピュアP2Pによる接続形態を提供可能なネットワークとする。
図2は、本発明の一実施例に係るデータ保全装置におけるデータ処理装置の基本構成を示すブロック図である。
同図において201は、保全対象データを冗長化して複数個に分割するデータ分割部である。データの分割手法としては、単純には保全対象データのコピーを複数個生成することが考えられるが、これに限るものではなく、例えば、N個に分割したデータのうちのいくつかを使って保全対象データを復元することができる既知の手法(秘密分散法など)を使ってデータを分割しても良い。
202はデータ分割部201で分割した保全対象データ(以下、分割データ)を配置するデータ処理装置を決定する分割データ配置先決定部である。本実施例では保全対象データを識別する識別子(以下、保全対象データ識別子)から、分割データ配置先のデータ処理装置を特定する。この保全対象データ識別子は各データ処理装置上で保持することになる分割データを区別するために使用するため、必ず一意であるものとする。なお、本実施例ではすでに一意である保全対象データ識別子が保全対象データに付与されていることを想定するが、そうでない場合であっても、例えばノードIDが一意であり、かつノードIDがデータ処理装置に固定的である場合には、「ノードID+保全対象データのファイル名+同ノードに存在する同名ファイルを区別する識別番号」のようにしてデータ処理装置で内部的に一意の識別子を生成しても構わない。
203は分割データ配置先決定部202で決定したデータ処理装置との接続を確立するために、該データ処理装置を検索する分割データ配置先検索部である。本実施例のように分散ハッシュ検索による各データ処理装置の検索を行う場合、当該ノードIDを持つデータ処理装置は必ずしも動作している保証は無く、いずれか別のノードIDを持つ動作中のデータ処理装置が代替することになっているため、該分割データ配置先検索部では、分割データ配置先決定部202で決定したデータ処理装置が動作していないような場合には、代替となって動作しているデータ処理装置を検索結果として返すものとする。
204は分割データ配置先検索部が検索したデータ処理装置に、分割データを保持させる処理を行う分割データ配置部である。本実施例では、分割データと同時に分割された保全対象データの保全対象データ識別子も保持させる。
205は配置元であるデータ処理装置の分割データ配置部204から分割データを保持するよう要求されたときに、該分割データを受け取って保持する分割データ保持部である。本実施例では、分割データとともに保全対象データ識別子を保持するため、これらを関連付けて保持する。具体的には、該保全対象データ識別子を該分割データのファイル名として付与するようにする。ただし、関連付けておく方法はこれに限るものではなく、保全対象データ識別子の名前でディレクトリを生成してその中に分割データを配置したり、分割データ内部に分離できる形で保全対象データ識別子を埋め込んだりといったように、各データ処理装置で各分割データの分割元となった保全対象データの識別子が特定できる形で保持すれば良い。
206は各データ処理装置が保持する分割データである。
207は分割データ配置先検索部203が検索したデータ処理装置から、分割データを取得する処理を行う分割データ取得部である。
図3は本発明の一実施例に係るデータ保全装置におけるデータ処理装置の回路構成を示すブロック図である。
301は、図1、図2に記載の各部における処理を行うプログラムを格納するROMである。302は、ROM301に格納されたプログラム実行時のワーク用RAMである。303はROM301に格納したプログラムを実行するCPUである。304は、分割データ206等を追加・削除可能なHDDなどのディスクである。305は本装置の各部を接続してデータをやり取りするバスである。
306は、ネットワーク104を経由して他のデータ処理装置とデータをやり取りするネットワークインタフェースである。
次に図4、図5、図6、図7の各フローチャートを用いて、本発明の一実施例に係るデータ保全装置の動作を説明する。
図4に示すフローチャートでは、本実施例における、保全対象データをN個に分割した際の分割データの配置先を決定する処理の手順を示す。本手順の具体的な挙動の例については、図8を用いて適宜補足していく。
まずステップS401では、分割データ配置先決定部202が保全対象データ毎に一意に決まっている保全対象データ識別子を取得する。図8に示す例においては、保全対象データ識別子としてxを取得している。
ステップS402では、分割データ配置先決定部202が、ステップS401で取得した保全対象データ識別子を、データ処理装置で共通に保持しているN個の関数を使用して、N個のそれぞれ異なる値にマッピングする。図8に示す例においては、N個の関数とはf_1…f_Nであり、これらに保全対象データ識別子xを与えて、N個の異なる値y_1…y_Nにマッピングする。
ステップS403では、ステップS402で求めたN個の値を、データ処理装置で共通のハッシュ関数を使用して、N個のハッシュ値を求める。図8に示す例においては、ハッシュ関数はHであり、これにステップS402で求めたN個の値y_1…y_Nを与えて、N個のハッシュ値h_1…h_Nを取得する。
ステップS404では、ステップS403で求めたN個のハッシュ値をノードIDとして持つデータ処理装置をデータ配置先として採用する。すなわち、図8に示す例においては、h_1…h_NをノードIDとして持つデータ処理装置を、配置先とする。
なお、データ識別子から生成するy_Nで表現可能な値の数が、ハッシュ空間のサイズを上回る場合、本実施例による方法では、ステップS403で求めるハッシュ値が重複してしまうことがある。その場合はノードIDがN個決まらず、配置先が不足してしまうので、例えば、あるハッシュ値Aがm個重複した場合には、配置先ノードとしてA以外にA+1、…、A+(m-1)のノードIDを持つノードを加える等すればよい。方法はこれに限らず、何度処理をしても同一の分散先が確定可能であれば良い。このときA+1…A+(m-1)までのノードIDが、ステップS403で求めたハッシュ値として既出であったら、そのIDは飛ばすなどの処理が必要なのは言うまでも無い。
図5に示すフローチャートでは、本実施例における、分割データを配置する処理の手順を示す。
まずステップS501では、分割データ配置先検索部203が、ステップS403で決定したノードIDから、データ配置先のデータ処理装置を検索する。本実施例においては、データ処理装置の検索方法は、分散ハッシュ検索を利用する。
ステップS502では、分割データ配置先検索部203が、ステップS501で検索したデータ処理装置がデータを受信できる状態かどうかを判定し、受信できるならば該データ処理装置を検索結果として返し、ステップS504へ移行する。そうでない場合は、ステップS503へ移行する。
ステップS503では、検索したデータ処理装置へはデータ送信できないので、該データ処理装置の代替となるデータ処理装置を検索し、結果として返す。本実施例で採用している分散ハッシュの仕組みには、代替のデータ処理装置を検索する方法も含まれているため、この方法も分散ハッシュを利用する。
ステップS504では、分割データ配置部204が、分割データ配置先検索部203で検索した結果のデータ処理装置に接続する。
ステップS505では、分割データ配置部204が、分割データと分割元となった保全対象データの保全対象データ識別子を、ステップS504で接続したデータ処理装置に送信する。
ステップS506では、ステップS504でデータを送信されたデータ処理装置の分割データ保持部205が、送信された分割データを保全対象データ識別子の名前で保存する。その様子を図9に示す。この図では、ノードIDがh_Nであるデータ処理装置に、保全対象データ識別子がxのデータを分割して得られた分割データを、xという名前で保存してある様子を示している。
図6に示すフローチャートでは、本実施例における、あるデータ処理装置が、自分が保持している分割データの残りの分割データが配置された配置先のノードIDを取得する手順を示す。
まずステップS601では、分割データ保持部205から保持している分割データに関連付けられている保全対象データ識別子を取得する。
ステップS602では、分割データ配置先決定部202が、ステップS601で取得した保全対象データ識別子を、データ処理装置で共通のN個の関数を使用して、N個のそれぞれ異なる値にマッピングする。このステップはステップS402と全く同等の処理である。
ステップS603では、ステップS602で求めたN個の値を、データ処理装置で共通のハッシュ関数を使用して、N個のハッシュ値を求める。このステップはステップS403と全く同等の処理である。
ステップS604では、ステップS603で求めたN個のハッシュ値のうち、自データ処理装置のノードID、もしくは自データ処理装置が分割データを代替して保持している場合は、本来保持すべきデータ処理装置のノードIDと異なる値を抽出し、その値を自分が保持している分割データの残りの分割データ配置先ノードIDとして採用する。
なお、この図6に示すフローチャートでは、あるデータ処理装置が分割データを保持しており、その分割データの元となった保全対象データを分割して得られた他の分割データが配置されたノードIDを取得する場合、すなわち、分割データに関連付けられた保全対象データ識別子をデータ処理装置が内部的に保持している場合について述べたが、データ処理装置が明示的に保全対象データ識別子を与えられて、該識別子で特定される保全対象データを復元するために分割データの配置先を探す場合についても、上記フローチャートに示した処理と同様の処理で可能であることは言うまでも無い。
図7に示すフローチャートでは、本実施例における、分割データを取得する処理の手順を示す。
まずステップS701では、分割データ配置先検索部203が、ステップS603で決定したノードIDから、データ配置先のデータ処理装置を検索する。このステップはステップS501と全く同等の処理である。
ステップS702では、分割データ配置先検索部203が、ステップS701で検索したデータ処理装置がデータを送信できる状態かどうかを判定し、送信できるならば該データ処理装置を検索結果として返し、ステップS704へ移行する。そうでない場合は、ステップS703へ移行する。
ステップS703では、代替で分割データを保持しているデータ処理装置を検索する。本実施例では、代替で分割データを保持しているデータ処理装置の検索についてもステップS503と同様に、分散ハッシュの仕組みを用いて行う。分散ハッシュでは、データはいずれかの検索可能な代替ノードに存在している。
ステップS704では、分割データ取得部207が、分割データ配置先検索部203で検索した結果のデータ処理装置に接続する。
ステップS705では、分割データ取得部207が、ステップS704で接続したデータ処理装置に対して、保全対象データ識別子を使って、該識別子に関連付けられた分割データを要求する。
ステップS706では、ステップS704でデータを要求されたデータ処理装置の分割データ保持部205が、ステップS705で送られてきた保全対象データ識別子の名前で保存してある分割データを返す。つまり、図9を例にすれば、図中のデータ処理装置は、保全対象データ識別子xの名前で保存している分割データを、要求してきたデータ処理装置に返す。
<他の実施例>
保全対象データ識別子は任意のデータ処理装置で保持される可能性があり、保全対象データの保全性を高めるために、一意であるという条件のもとで、該識別子を暗号化、あるいは不可逆な関数によって決定したものであっても良い。
<他の実施例>
上記実施例においては、分割データと分割元の保全対象データの識別子(図8におけるx)を関連付けて保持しているが、この限りではなく、保全対象データ識別子が取得できる値と関連づけてあれば良い。例えば、図8における変換関数f_Nが、必ず一意の値を生成し、かつ、y_N = f_N(x)に対してx=F_N(y_N)となるような、f_Nの逆の関数F_Nが存在し、かつ、該関数が特定可能であれば、y_Nからxを求めることはできるため、このような場合は、分割データとy_Nを関連付けて保持しておいても良い。
<他の実施例>
上記実施例においては、各部を同一の計算機上で構成する場合について説明したが、これに限定されるものではなく、ネットワーク上に分散した計算機や処理装置などに分かれて各部を構成してもよい。
<他の実施例>
上記実施例においては、プログラムをROMに保持する場合について説明したが、これに限定されるものではなく、任意の記憶媒体を用いて実現してもよい。また、同様の動作をする回路で実現してもよい。
<他の実施例>
なお、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
<他の実施例>
プログラムコードを供給するための記録媒体としては、たとえば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、DVD-ROM、DVD-RAM、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
<他の実施例>
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
<他の実施例>
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明に係るデータ保全装置の実施例の基本構成を示すブロック図である。 本発明に係るデータ処理装置の実施例の基本構成を示すブロック図である。 本発明に係るデータ処理装置の実施例の回路構成を示すブロック図である。 本発明に係るデータ保全装置の実施例における、保全対象データをN個に分割する際の分割データの配置先を決定する処理の手順を示すフローチャートである。 本発明に係るデータ保全装置の実施例における、分割データを配置する処理の手順を示すフローチャートである。 本発明に係るデータ保全装置の実施例における、自データ処理装置以外の分割データの配置先を取得する手順を示すフローチャートである。 本発明に係るデータ保全装置の実施例における、分割データを取得する処理の手順を示すフローチャートである。 本発明に係るデータ保全装置の実施例における、N個のデータ配置先のノードIDを決定する仕組みの例を示す説明図である。 本発明に係るデータ保全装置の実施例における、データ処理装置にデータを配置する仕組みの例を示す説明図である。
符号の説明
101、102、103 データ処理装置
104 ネットワーク
201 データ分割部
202 分割データ配置先決定部
203 分割データ配置先検索部
204 分割データ配置部
205 分割データ管理部
206 データ保持部
207 分割データ取得部
301 ROM
302 RAM
303 CPU
304 ディスク
305 バス
306 ネットワークインタフェース

Claims (12)

  1. データ処理装置をP2Pネットワーク上のノードとして複数配置し、保全対象データを各ノードが分散して保全するデータ保全装置であり、
    前記データ処理装置が、
    保全対象データを受け取り、該データを冗長化して分割するデータ分割手段と、
    前記データ分割手段によって得られた各分割データを配置する先となる各ノードを決定する分割データ配置先決定手段と、
    前記分割データ配置先決定手段で決定した配置先の各ノードを検索する分割データ配置先検索手段と、
    前記分割データ配置先検索手段で検索されたノードに該分割データを分配する分割データ配置手段と、
    分配された分割データを保持する分割データ保持手段と、
    前記分割データ配置先検索手段で検索されたノードから分割データを取得する分割データ取得手段と、
    を備えることを特徴とするデータ保全装置。
  2. 前記データ処理装置の前記分割データ配置先決定手段は、保全対象データを一意に表す保全対象データ識別子を引き数に与えることで、ある出力値を算出し得る各ノードで共通の複数の関数を有し、該出力値のハッシュ値をそれぞれ計算することで、該ハッシュ値に対応するノードを分割データ配置先として決定することを特徴とし、
    前記データ処理装置の前記データ保持手段は、分配された分割データと、元となる保全対象データの保全対象データ識別子とを関連付けて保持することを特徴とする請求項1に記載のデータ保全装置。
  3. 前記データ処理装置の前記分割データ配置先検索手段は、分割データの配置先のノードを検索し、該ノードが機能している場合は該ノードを検索結果とし、機能していない場合は代替の分割データ配置先のノードを検索結果とすることを特徴とし、
    前記データ処理装置の前記分割データ保持手段は、分配された分割データが、本来別のノードが保持すべきデータであった場合に、本来の保持すべきノードを特定可能な状態で該データを保持することを特徴とする請求項1乃至2に記載のデータ保全装置。
  4. 前記データ処理装置の前記データ分割手段で扱われる、保全対象データを一意に表す保全対象データ識別子が、暗号化されたもの、または不可逆な関数によって決定されたものであることを特徴とする請求項1乃至3に記載のデータ保全装置。
  5. 前記請求項1乃至4のいずれか1に記載の各手段を、コンピュータに実行させるためのプログラムとして記憶したことを特徴とするコンピュータ読み取り可能な記録媒体。
  6. コンピュータに前記請求項1乃至4のいずれか1に記載の各手段を実行させる情報処理プログラム。
  7. データ処理方法をP2Pネットワーク上のノードとして複数配置し、保全対象データを各ノードが分散して保全するデータ保全方法であり、
    前記データ処理方法が、
    保全対象データを受け取り、該データを冗長化して分割するデータ分割工程と、
    前記データ分割工程によって得られた各分割データを配置する先となる各ノードを決定する分割データ配置先決定工程と、
    前記分割データ配置先決定工程で決定した配置先の各ノードを検索する分割データ配置先検索工程と、
    前記分割データ配置先検索工程で検索されたノードに該分割データを分配する分割データ配置工程と、
    分配された分割データを保持する分割データ保持工程と、
    前記分割データ配置先検索工程で検索されたノードから分割データを取得する分割データ取得工程と、
    を備えることを特徴とするデータ保全方法。
  8. 前記データ処理方法の前記分割データ配置先決定工程は、保全対象データを一意に表す保全対象データ識別子を引き数に与えることで、ある出力値を算出し得る各ノードで共通の複数の関数を有し、該出力値のハッシュ値をそれぞれ計算することで、該ハッシュ値に対応するノードを分割データ配置先として決定することを特徴とし、
    前記データ処理方法の前記データ保持工程は、分配された分割データと、元となる保全対象データの保全対象データ識別子とを関連付けて保持することを特徴とする請求項7に記載のデータ保全方法。
  9. 前記データ処理方法の前記分割データ配置先検索工程は、分割データの配置先のノードを検索し、該ノードが機能している場合は該ノードを検索結果とし、機能していない場合は代替の分割データ配置先のノードを検索結果とすることを特徴とし、
    前記データ処理方法の前記分割データ保持工程は、分配された分割データが、本来別のノードが保持すべきデータであった場合に、本来の保持すべきノードを特定可能な状態で該データを保持することを特徴とする請求項7乃至8に記載のデータ保全方法。
  10. 前記データ処理方法の前記データ分割工程で扱われる、保全対象データを一意に表す保全対象データ識別子が、暗号化されたもの、または不可逆な関数によって決定されたものであることを特徴とする請求項7乃至9に記載のデータ保全方法。
  11. 前記請求項7乃至10のいずれか1に記載の各工程を、コンピュータに実行させるためのプログラムとして記憶したことを特徴とするコンピュータ読み取り可能な記録媒体。
  12. コンピュータに前記請求項7乃至10のいずれか1に記載の各工程を実行させる情報処理プログラム。
JP2005262515A 2005-09-09 2005-09-09 データ保全装置及びその方法及びそのプログラム記録媒体 Withdrawn JP2007073003A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005262515A JP2007073003A (ja) 2005-09-09 2005-09-09 データ保全装置及びその方法及びそのプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005262515A JP2007073003A (ja) 2005-09-09 2005-09-09 データ保全装置及びその方法及びそのプログラム記録媒体

Publications (1)

Publication Number Publication Date
JP2007073003A true JP2007073003A (ja) 2007-03-22

Family

ID=37934361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005262515A Withdrawn JP2007073003A (ja) 2005-09-09 2005-09-09 データ保全装置及びその方法及びそのプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP2007073003A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001416A1 (ja) * 2007-06-22 2008-12-31 Pioneer Corporation コンテンツ配信装置、コンテンツ配信方法、及びコンテンツ配信プログラム
JP2010079886A (ja) * 2008-09-11 2010-04-08 Nec Lab America Inc 拡張可能な2次ストレージシステムと方法
JP2010530195A (ja) * 2007-06-18 2010-09-02 アルカテル−ルーセント ピアツーピア技法による遠隔通信サービス・システム制御
US8418536B2 (en) 2009-09-18 2013-04-16 Miyamae Co., Ltd. Golf club testing machine
US9703843B2 (en) 2011-07-01 2017-07-11 Nec Corporation Object placement apparatus, object placement method and program
WO2017119091A1 (ja) * 2016-01-07 2017-07-13 株式会社日立製作所 分散型ストレージシステム、データ格納方法、およびソフトウェアプログラム
JP7384028B2 (ja) 2019-12-26 2023-11-21 大日本印刷株式会社 データ記憶システム、データ記憶装置、コンピュータプログラム及びデータ記憶方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010530195A (ja) * 2007-06-18 2010-09-02 アルカテル−ルーセント ピアツーピア技法による遠隔通信サービス・システム制御
WO2009001416A1 (ja) * 2007-06-22 2008-12-31 Pioneer Corporation コンテンツ配信装置、コンテンツ配信方法、及びコンテンツ配信プログラム
JP4473942B2 (ja) * 2007-06-22 2010-06-02 パイオニア株式会社 コンテンツ配信装置、コンテンツ配信方法、及びコンテンツ配信プログラム
JPWO2009001416A1 (ja) * 2007-06-22 2010-08-26 パイオニア株式会社 コンテンツ配信装置、コンテンツ配信方法、及びコンテンツ配信プログラム
US8250171B2 (en) 2007-06-22 2012-08-21 Pioneer Corporation Content delivery apparatus, content delivery method, and content delivery program
JP2010079886A (ja) * 2008-09-11 2010-04-08 Nec Lab America Inc 拡張可能な2次ストレージシステムと方法
US8418536B2 (en) 2009-09-18 2013-04-16 Miyamae Co., Ltd. Golf club testing machine
US9703843B2 (en) 2011-07-01 2017-07-11 Nec Corporation Object placement apparatus, object placement method and program
WO2017119091A1 (ja) * 2016-01-07 2017-07-13 株式会社日立製作所 分散型ストレージシステム、データ格納方法、およびソフトウェアプログラム
US10977124B2 (en) 2016-01-07 2021-04-13 Hitachi, Ltd. Distributed storage system, data storage method, and software program
JP7384028B2 (ja) 2019-12-26 2023-11-21 大日本印刷株式会社 データ記憶システム、データ記憶装置、コンピュータプログラム及びデータ記憶方法

Similar Documents

Publication Publication Date Title
US8898195B2 (en) Reference count propagation
JP7374100B2 (ja) リソース予約方法、リソース予約装置、リソース予約デバイス、及びリソース予約システム
US9864527B1 (en) Distributed data storage management
US7546486B2 (en) Scalable distributed object management in a distributed fixed content storage system
JP4068473B2 (ja) ストレージ装置、分担範囲決定方法及びプログラム
CN102708165B (zh) 分布式文件系统中的文件处理方法及装置
US7590672B2 (en) Identification of fixed content objects in a distributed fixed content storage system
US20050071340A1 (en) Locating potentially identical objects across multiple computers based on stochastic partitioning of workload
JP2007073003A (ja) データ保全装置及びその方法及びそのプログラム記録媒体
US9357004B2 (en) Reference count propagation
JP2010033265A (ja) コンテンツ配信方法およびシステム
JP2014529814A (ja) データメンテナンス用の方法
GB2529403A (en) A Method of operating a shared nothing cluster system
JP2009259007A (ja) 分散格納方法、分散格納システム及び分散格納装置
CN111399761B (zh) 存储资源分配方法、装置及设备、存储介质
JP6059558B2 (ja) 負荷分散判定システム
KR20170090594A (ko) 분산 파일 시스템을 채용한 스토리지 시스템에서 클라이언트 장치와 함께 파일의 분산 잠금을 관리하도록 구성되는 데이터 서버 장치
CN103399943A (zh) 集群数据库并行查询的通讯方法和通讯装置
CN114840488B (zh) 一种基于超融合结构的分布式存储方法、系统及存储介质
Kasu et al. DLFT: Data and layout aware fault tolerance framework for big data transfer systems
JP5278254B2 (ja) ストレージシステム、データ記憶方法及びプログラム
JP2021093104A (ja) ブロックチェーン技術と分散ストレージ技術とにより実現した分散型ストレージプラットフォームおよびアプリケーションプログラム
WO2021189315A1 (en) Proxy server crash recovery in object storage system using enhanced meta structure
WO2021189312A1 (en) Meta server crash recovery in object storage system using enhanced meta structure
Cao Efficient Data Management and Processing in Big Data Applications

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081202