JP2008191897A - データ分散保存システム - Google Patents

Abstract

【課題】サーバを増設することなく記憶領域を確保でき、コスト削減を実現可能なデータ分散保存システムを提供すること。
【解決手段】 サーバ１と、それぞれハードディスク８を備えた複数のクライアント端末３−１〜３−ｎとでデータ分散保存システムを構築し、サーバ１において単一のデータを複数の分割データに分割し、前記各クライアント端末３−１〜３−ｎのハードディスク８に分割データを保存する。
【選択図】図４

Description

本発明は、意味のある一まとまりのデータの集合（以下、「単一のデータ」という）を複数の分割データに分割して複数のハードディスクに分散して保存するデータ分散保存システムに関する。

従来のデータ分散保存システムは、複数のサーバに同じデータを分散保存して、１つのサーバがダウンした場合であっても、それ以外のサーバに保存されたデータを利用できるようにしていた。このデータ分散保存システムの場合、同じデータが保存された複数のサーバのうちいずれか一つのサーバが稼動中であれば、データをハンドリングすることができる反面、いずれのサーバ管理者も管轄する自社サーバに保存されたデータからデータ内容を認識することができるため、機密性に欠けるという問題があった。

そこで、単一のデータを複数の分割データに分割する分割部と、前記複数の分割データをそれぞれ格納するＮ個のサーバと、（Ｎ−１）個の前記サーバに格納された前記複数の分割データに基づいて、前記単一のデータを復元するデータ復元部とを備えたデータ分散保存システムが考えられている（例えば、特許文献１参照）。かかるデータ分散保存システムによれば、各サーバに分散保存される分割データ単独では元の単一のデータを復元できないため、機密性を改善することができる。
特開２００２−２６８９５２号公報

しかしながら、上記データ分散保存システムを構築するためには、複数の分割データをそれぞれ格納する複数台のサーバを設置する必要があるため、コストが上昇するといった問題がある。

本発明は、以上のような事情に鑑みて為されたものであり、サーバを増設することなく記憶領域を確保でき、コスト削減を実現可能なデータ分散保存システムを提供することを目的とする。

上記目的を達成するため、本発明に係るデータ分散保存システムは、サーバと、それぞれディスク装置を備えたパーソナルコンピュータで構成され前記サーバにネットワークを介して接続される複数のクライアント端末と、を備えたデータ分散保存システムであって、前記サーバにおいて単一のデータを複数の分割データに分割し、前記各クライアント端末のディスク装置に前記分割データを保存することを特徴とする。

このデータ分散保存システムによれば、サーバにおいて単一のデータを複数の分割データに分割し、複数のクライアント端末のディスク装置に分割データを分散配置するので、複数台のサーバを用いてシステム構築する場合に比べて大幅にコストダウンを図ることができる。

また本発明は、上記データ分散保存システムにおいて、前記分割データに基づいて生成され、単一のデータの復元に用いられるパリティデータを、前記クライアント端末の所定台数が使用不可能であっても単一のデータを復元可能となるように冗長化して前記複数のクライアント端末のディスク装置に保存することを特徴とする。

このデータ分散保存システムによれば、パリティデータを冗長化して前記複数のクライアント端末のディスク装置に分散配置するので、使用したクライアント端末の何割かが使用不可能であっても冗長化したパリティデータを用いて元の単一のデータを復元することができ、システムの信頼性を向上させることができる。

また本発明は、上記データ分散保存システムにおいて、前記各クライアント端末のディスク装置の記憶領域を、クライアント端末が利用するクライアント端末利用領域とサーバが利用する分散記憶領域とに分離し、前記分散記憶領域に前記分割データ及び前記パリティデータを保存することを特徴とする。

このデータ分散保存システムによれば、クライアント端末が利用できない分散記憶領域に前記分割データ及び前記パリティデータを保存するので、各クライアント端末のディスク装置の容量使用状況に依らず、システム全体で必要な記憶容量を予め確保することができ、クライアント端末との記憶領域の取り合いを排除して安定したシステム運用が可能になる。

また本発明は、上記データ分散保存システムにおいて、前記クライアント端末は、メモリと、前記メモリに常駐する常駐プログラムとを備え、前記常駐プログラムが前記サーバからの要求に応じて当該クライアント端末に備えたディスク装置の分散記憶領域に対して前記分割データ及び前記パリティデータの書き込み／読み出し処理を実行することを特徴とする。

このデータ分散保存システムによれば、クライアント端末のメモリにインストールした常駐プログラムがディスク装置の分散記憶領域への書き込み／読み出し処理を管理するので、クライアント端末においてユーザに意識されること無く、バックグラウンドで分割データ又はパリティデータの書き込み／読み出しを行うことができる。

本発明のデータ分散保存システムによれば、サーバを増設することなく記憶領域を確保でき、コスト削減を実現することができる。

以下、本発明の一実施の形態について図面を参照しつつ詳細に説明する。
図１は本発明の一実施の形態に係るデータ分散保存システムが適用されるネットワーク構成図である。本実施の形態に係るデータ分散保存システムは、サーバ１と該サーバ１にＬＡＮ２を介して接続されサーバの記憶領域として利用可能な複数のクライアント端末３−１〜３−ｎとから構成される。サーバ１の記憶領域として利用する複数のクライアント端末は、サーバ１と同一ＬＡＮ２上のクライアント端末３−１〜３−ｎに限られるものではなく、ルータ４ａ，４ｂ及びインターネット（又はイントラネット）５を経由して接続された他のＬＡＮ６上の複数のクライアント端末７−１〜７−ｎでも良い。又はサーバ１と同一ＬＡＮ２上のクライアント端末３−１〜３−ｎと他のＬＡＮ６上の複数のクライアント端末７−１〜７−ｎの組合せであってもよい。以下の説明では同一ＬＡＮ２上のクライアント端末３−１〜３−ｎのディスク装置を利用するように構成した形態について説明する。各クライアント端末３−１〜３−ｎは、サーバの記憶領域として利用可能なディスク装置としてハードディスク８を備えたパーソナルコンピュータで構成される。クライアント端末３−１〜３−ｎのハードディスク８は、サーバ１が利用する分散記憶領域８ａと、当該端末側のオペレーティングシステム等が利用するクライアント端末利用領域８ｂとに分割されている。

図２はサーバ１の機能ブロック図である。制御部１１から分散保存する単一のデータ（元データ）がディスク装置１２に格納される。分割／冗長化処理部１３は、ディスク装置１２に格納された元データを複数の分割データに分割すると共にパリティデータを作成する。システムの信頼性を上げるためには、分散保存先に使用したクライアント端末の数十パーセントが使用不可能であっても復元が可能になるようにパリティデータの大規模な多重化を行うことが望ましい。

保存先割当部１４は、分割／冗長化処理部１３が生成した複数の分割データ及びパリティデータの保存先となる複数のクライアント端末を決定し、複数の分割データ及びパリティデータとそれらの保存先クライアント端末情報をサーバ側デーモン１６へ渡す。また、複数の分割データ及びパリティデータの保存先クライアント端末情報を分散記憶情報データベース１５へ保存する。サーバ側デーモン１６は、分割／冗長化処理部１３から与えられる複数の分割データ及びパリティデータをそれらの保存先クライアント端末情報に基づいて保存処理する。すなわち、複数の分割データ及びパリティデータをそれらの保存先クライアント端末３−１〜３−ｎへネットワーク（ＬＡＮ２）経由でそれぞれ送信してクライアント端末３−１〜３−ｎのハードディスク８に記憶させる。

またサーバ側デーモン１６は、制御部１１からの読み出し指示を受けて保存先クライアント端末３−１〜３−ｎから分割データ及びパリティデータの読み出し処理を行う。クライアント端末３−１〜３−ｎから読み出しを行う際は分散記憶情報データベース１５から保存先クライアント端末情報を取得する。サーバ側デーモン１６は、保存先クライアント端末３−１〜３−ｎから読み出されＬＡＮ２経由で受信される分割データ及びパリティデータを復元処理部１７へ入力する。

復元処理部１７は、複数の分割データを単一のデータに復元する部分である。分散保存先に使用したクライアント端末の幾つかが使用不可能である場合は、パリティデータを使用した復元処理を実行する。

図３はクライアント端末３−１〜３−ｎ、７−１〜７−ｎにおけるハードディスクの記憶領域の分割状態を示す概念図である。クライアント端末側デーモン２１は、サーバ側デーモン１６からのリクエストを受けて分割データ又はパリティデータの書き込み／読み出しを実行する常駐プログラムで構成される。アプリケーション２２及びオペレーティングシステム２３は、クライアント端末の本来的な機能実現のためにインストールされたプログラムである。クライアント端末側デーモン２１は、クライアント端末において常駐していてハードディスク８の分散記憶領域８ａを使用する使用特権を有する。アプリケーション２２及びオペレーティングシステム２３は、サーバ１が記憶領域として使用する分散記憶領域８ａ以外のクライアント端末利用領域８ｂを使用する。このように本実施の形態では、クライアント端末のハードディスク８をサーバ１が使用する分散記憶領域８ａと端末側が使用するクライアント端末利用領域８ｂとに分割し、サーバ１が使用する分散記憶領域８ａについてはクライアント端末側デーモン２１が自由に書き込み／読み出しできるようにしている。

次に、以上のように構成された本実施の形態のデータ分散保存システムの動作について説明する。
図４は本実施の形態のデータ分散保存システムによる分散保存及び読み出しの概念図である。サーバ１では単一のデータに対して保存要求が発生すると、制御部１１から分割／冗長化処理部１３に対して保存対象の単一のデータを指定して保存指示が出される。

分割／冗長化処理部１３では、制御部１１から指示された保存対象の単一のデータをディスク装置１２から取り出して複数の分割データに分割すると共にパリティデータを作成する。ここでは、保存先クライアント端末の数十パーセントが使用不可能であっても復元が可能になるようにパリティデータの大規模な多重化を行う。

分割／冗長化処理部１３で生成された複数の分割データ及びパリティデータの保存先クライアント端末が保存先割当部１４において決定される。保存先割当部１４はクライアント端末における分散記憶領域８ａの使用状況に基づいて保存先を決定することができる。例えば、全てのクライアント端末の使用容量が均等になるように保存先を決定する。また、データの書き込み／読み出し頻度が高いことが予想される場合には、書き込み／読み出しの処理速度が高速のクライアント端末に優先的に割り当てるようにしても良い。保存先割当部１４が決定した分割データ及びパリティデータの保存先クライアント端末情報は分散記憶情報データベース１５に保存される。図４に示す例では、分割データＡはクライアント端末３−１、分割データＢはクライアント端末３−２、分割データＣはクライアント端末３−３、パリティデータはクライアント端末３−４を、それぞれ保存先として決定している。

サーバ側デーモン１６では、保存先割当部１４において決定した複数の分割データ及びパリティデータの保存先クライアント端末情報に基づいて、各保存先クライアント端末３−１〜３−４のクライアント端末側デーモン２１とネゴシエーションして分割データ等を書き込むように要請する。保存先クライアント端末３−１〜３−４のクライアント端末側デーモン２１から了承のレスポンスを受け取ると割り当てた分割データ又はパリティデータを当該クライアント端末３−１〜３−４に対して送信する。全ての保存先クライアント端末３−１〜３−４との間で上記の処理を繰り返す。

以上のようにして、保存要求のあった単一データが複数の分割データ及びパリティデータにされて、複数のクライアント端末３−１〜３−４のハードディスク８に分散保存される。クライアント端末３−１〜３−４に保存された分割データは断片であるので分割データ単独では元の単一のデータを復元できない。したがって、所定台数以上のクライアント端末から分割データを集めなければデータ復元できず、高い機密性を実現することができる。

一方、サーバ１では単一のデータに対する読み出し要求が発生すると、制御部１１からサーバ側デーモン１６へ読み出し対象の単一のデータを指定して読み出し指示が出される。

サーバ側デーモン１６では、制御部１１から読み出し指示を受けると、今回読出し要求が出された単一のデータの保存先クライアント端末情報を分散記憶情報データベース１５から取得する。サーバ側デーモン１６は、保存先クライアント端末３−１〜３−４のクライアント端末側デーモン２１とネゴシエーションして分割データ等を読み出すように要請する。保存先クライアント端末３−１〜３−４においてクライアント端末側デーモン２１により分散記憶領域８ａから読み出された分割データ又はパリティデータは、クライアント端末側デーモン２１によってサーバ１へ送信される。

サーバ１において、サーバ側デーモン１６は要求した分割データ及ぶパリティデータがクライアント端末側デーモン２１から送られてくると、復元処理部１７において元の単一のデータを復元する。

ここで、分割データ又はパリティデータを保存した保存先クライアント端末が使用不可能な状態になっている場合、それらの保存先クライアント端末からは分割データ、パリティデータを読み出すことができない。

本実施の形態では、元の単一のデータからパリティデータを作成すると共にパリティデータを多重化しているので、保存先クライアント端末の数十パーセントが使用不可能でも復元処理部１７において元の単一のデータを復元することができる。例えば、図４において分割データＣを保存したクライアント端末３−３が使用不可能であった場合、クライアント端末３−４から読み出したパリティデータを使用することで完全な単一のデータ（ＡＢＣ）を復元することができる。なお、パリティデータを使用することにより分割データが一部欠落した複数の分割データから元のデータを復元する技術についてはＲＡＩＤ５又は６を利用することができるが、本発明はＲＡＩＤ５又は６のアルゴリズムに限定されるものではない。

このように本実施の形態によれば、サーバ１において単一のデータを複数の分割データに分割し、複数のクライアント端末３−１〜３−ｎ、７−１〜７−ｎのハードディスク８に分割データ又はパリティデータを分散配置するので、複数台のサーバを用いてシステム構築する場合に比べて大幅にコストダウンを図ることができる。

また本実施の形態によれば、パリティデータを冗長化して複数のクライアント端末３−１〜３−ｎ、７−１〜７−ｎのハードディスク８に分散配置するので、使用したクライアント端末の何割かが使用不可能であっても冗長化したパリティデータを用いて元の単一のデータを復元することができ、システムの信頼性を向上させることができる。

また本実施の形態によれば、クライアント端末が利用できない分散記憶領域８ａに分割データ及びパリティデータを保存するので、各クライアント端末３−１〜３−ｎ、７−１〜７−ｎのハードディスク８の容量使用状況に依らず、システム全体で必要な記憶容量を予め確保することができ、クライアント端末３−１〜３−ｎ、７−１〜７−ｎとの記憶領域の取り合いを排除して安定したシステム運用が可能になる。

また本実施の形態によれば、クライアント端末３−１〜３−ｎ、７−１〜７−ｎにインストールした常駐プログラムがハードディスク８の分散記憶領域８ａへの書き込み／読み出し処理を管理するので、クライアント端末３−１〜３−ｎ、７−１〜７−ｎにおいてユーザに意識されること無く、バックグラウンドで分割データ又はパリティデータの書き込み／読み出しを行うことができる。

本発明は、単一のデータを複数の分割データに分割して複数のハードディスクに分散して保存するデータ分散保存システムに適用可能である。

本発明の一実施の形態に係るデータ分散保存システムが適用されるネットワーク構成図 上記一実施の形態に係るデータ分散保存システムのサーバにおける分散保存に関する部分の機能ブロック図 上記一実施の形態に係るデータ分散保存システムのクライアント端末における分散保存に関する部分の機能ブロック図 上記一実施の形態に係るデータ分散保存システムの動作説明図

符号の説明

１ サーバ
２ ＬＡＮ
３−１〜３−ｎ クライアント端末
４ａ，４ｂ ルータ
５ インターネット／イントラネット
６ ＬＡＮ（他のネットワーク）
７−１〜７−ｎ クライアント端末（他のネットワーク）
８ ハードディスク（ディスク装置）
８ａ 分散記憶領域
８ｂ クライアント端末利用領域
１１ 制御部
１２ ディスク装置
１３ 分割／冗長化処理部
１４ 保存先割当部
１５ 分散記憶情報データベース
１６ サーバ側デーモン
１７ 復元処理部
２１ クライアント端末側デーモン
２２ アプリケーション
２３ オペレーティングシステム

Claims (4)

1. サーバと、それぞれディスク装置を備えたパーソナルコンピュータで構成され前記サーバにネットワークを介して接続される複数のクライアント端末と、を備えたデータ分散保存システムであって、
   前記サーバにおいて単一のデータを複数の分割データに分割し、前記各クライアント端末のディスク装置に前記分割データを保存することを特徴とするデータ分散保存システム。
2. 前記分割データに基づいて生成され、単一のデータの復元に用いられるパリティデータを、前記クライアント端末の所定台数が使用不可能であっても単一のデータを復元可能となるように冗長化して前記複数のクライアント端末のディスク装置に保存することを特徴とする請求項１記載のデータ分散保存システム。
3. 前記各クライアント端末のディスク装置の記憶領域を、クライアント端末が利用するクライアント端末利用領域とサーバが利用する分散記憶領域とに分離し、前記分散記憶領域に前記分割データ及び前記パリティデータを保存することを特徴とする請求項１又は請求項２記載のデータ分散保存システム。
4. 前記クライアント端末は、
   メモリと、
   前記メモリに常駐する常駐プログラムと、を備え、
   前記常駐プログラムが前記サーバからの要求に応じて当該クライアント端末に備えたディスク装置の分散記憶領域に対して前記分割データ及び前記パリティデータの書き込み／読み出し処理を実行することを特徴とする請求項３記載のデータ分散保存システム。
   

Images