JP2005202458A - ネットワークによる分散型の機密保持型データ保全方法 - Google Patents
ネットワークによる分散型の機密保持型データ保全方法 Download PDFInfo
- Publication number
- JP2005202458A JP2005202458A JP2004005064A JP2004005064A JP2005202458A JP 2005202458 A JP2005202458 A JP 2005202458A JP 2004005064 A JP2004005064 A JP 2004005064A JP 2004005064 A JP2004005064 A JP 2004005064A JP 2005202458 A JP2005202458 A JP 2005202458A
- Authority
- JP
- Japan
- Prior art keywords
- data
- distributed
- management
- information
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Storage Device Security (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
【課題】
データ秘匿性とデータ保全が向上された、データの分散保管ための方法、システム、及びプログラムを提供。
【解決手段】
分散保管において、エラー訂正を可能にする冗長コードを導入することにより、データ保全性を高める。更に、ビットやバイトのような単位データ単位で、データを不特定個数の管理単位に分割し、各々の管理単位を分散管理することで、データ秘匿性を高める。
分割前や分割後のデータに更に、暗号化を加えることにより、データ秘匿性はいっそう向上する。
【選択図】 図1
データ秘匿性とデータ保全が向上された、データの分散保管ための方法、システム、及びプログラムを提供。
【解決手段】
分散保管において、エラー訂正を可能にする冗長コードを導入することにより、データ保全性を高める。更に、ビットやバイトのような単位データ単位で、データを不特定個数の管理単位に分割し、各々の管理単位を分散管理することで、データ秘匿性を高める。
分割前や分割後のデータに更に、暗号化を加えることにより、データ秘匿性はいっそう向上する。
【選択図】 図1
Description
本発明は、複数の記憶装置を利用した、向上されたデータ秘匿性とデータ保全のシステム、方法、及びプログラムに関する。
あるデータを分散管理することで、データ保全性を高めようとする試みは、すでに一般的に行われている。物理的にデータを分散管理することで、例えば、地震のような自然災害が発生しても、全てのデータを失わずに済む。自然災害だけの観点からすれば、全てのデータを重複して持つことによって、データを失う心配も最小限に抑えられる。
しかしながら多くの場合、分散保管された時でも、各々の保管先のデータが単独で意味を持つ情報を含んでいたり、またその分割の単位が比較的判り易い形である場合が多かった。これらは、主にデータ保全性を高めるためだけの仕組みであったため、必ずしもデータ秘匿性を高める仕組みとはなっていなかった。
ある単一システムが、完全なデータ秘匿性とデータ保全性を持った場合のシステムの強度(データ保全性)を1とした場合、実際の単一システムでシステムの強度は1に満たない。つまり、現実問題として、システムの強度を1に出来るようなシステムはつくれない。
そのため、従来の方法では、データの分散保管を行うと、データ秘匿性とデータ保全性が低下していた。
つまり分散保管された場合、システム全体としての強度は、各々のシステムの中で一番強度の小さいものと同じになるからである。一般的に、設計上は単一システムとしての強度がある水準をこえるものであったとしても、システム毎の強度にバラつきが出てくることは避けられない。よってばらつきによるシステム強度の低下は、分散管理での分散の数に正の相関関係があると考えられる。
分割前のデータを分割し、それらをデータ管理単位にする。その時に、各々のデータ管理単位を単に、分割された情報と呼ぶことにする。その時、その分割された情報を保管する装置(分散保管装置)をネットワーク上に置くことにより、物理的に遠くに配置出来ることになる。その結果、災害を含む不慮の装置障害に対する、データ保全の向上が見込まれる。ネットワークは、実装上必須ではなく、ハンドキャリーを含めた代替の輸送手段があれば良い。
分散保管において、冗長コードを導入することにより、データ保全性を高める。例えばそれが、エラー訂正を可能にする冗長コードであった場合には、データをN個に分割し、E個の冗長コードを付加することで、任意のE個のエラーを認めることも可能である。またそれが、エラー検出だけの冗長コードであった場合には、データ改竄を含めた読出しエラーの検査に使用出来る。
分散保管において、分割されたデータが単独で意味を持つ情報を含まないようにするために、ビットやバイトのような単位データ単位で、データを不特定個数の管理単位に分割し、各々の管理単位を分散管理することで、データ秘匿性を高める。つまり、原則として、分割された全ての情報を見つけ出さないと、データの再構築が出来なくなるために、データ秘匿性を高める結果となる。更に、分割の順序と個数を明らかにしないことで、データの再構築の自由度が高くなり、結果としてデータ秘匿性を高めることにもつながる。もしも分割された情報が、全て単一の装置にある場合、その情報を探し出せるかもしれない。しかしながら、それが単にネットワーク上にあることが判っているだけだと、実質上探し出すことは不可能である。
分散保管において、冗長コードを導入することは、データ保全性のためだけではない。その冗長コードの種類や有無の適用方法を公開しないことで、データ秘匿性を高めることにもつながる。
分割前や分割後のデータに更に、既知の暗号化を加えることにより、データ秘匿性はいっそう向上する。
したがって、本発明は上記課題を解決し、データの分散保管においてもその強度を下げないだけでなく、ある条件によっては、その強度をあげるための方法、システム、及びプログラムが提供される。
エラー訂正を可能にする冗長コードを導入することで、逆に冗長コードがエラーを訂正できる範囲内では、分散保管された情報の一部を取り出せなくても、データの再構築が可能となる。これは、ある条件の範囲内であれば、分散保管した記憶装置の故障に対応出来ることを意味している。
エラー訂正を可能にする冗長コードは、一方で各々の情報の改竄に対する検査にも使用できる。情報の改竄があったばあい、冗長コードでその場所を特定することも可能であり、その場合、改竄された情報を捨て去ることで、改竄前のデータに再構築することも出来る。
原則全ての情報が正しい順序で揃わなければ、データの再構築は出来ないため、単一システムから情報を引き出す手間が、分散管理においては、最終的に得られる情報の個数分かかる。その観点からすると、システムの強度は、分散する方が大きくなっている。
分割された情報をネットワークを経由して分散管理装置に保管する場合、その装置の存在を探し出すことは困難になるため、ネットワークを利用することで、単一のシステムに保管した場合に比べ、データ秘匿性が向上する。
分散管理される実体は、同一の記憶装置上に置くことも可能である。しかしながら、発明を実施するための最良の形態としては、記憶装置の管理が、なるべく遠くにあることである。それは、論理的にも物理的にも当てはまる。論理的に遠くというのは、例えば、データの管理方法が違うOS(オペレーティング・システム)配下に置くということである。物理的に遠くに置くというのは、言葉通りに、記憶装置の設置場所が日本と米国といったような地理的に遠くの場所に置くことである。
論理的にも物理的にも遠くに置かれた、記憶装置は、論理的なインタフェースを統一することで、その距離感(実装の複雑さ)を克服することが出来る。現在のインターネットに於けるFTPプロトコルの利用等がその具体例に当たる。
図1は、本発明による分散保管装置5や分散管理制御装置1の一実施形態を示したネットワーク配置図である。
データの保管時は、図1において、この発明の分散管理制御装置1は、一旦分割前データ3を記憶領域内2に格納し、個々のデータに対応付けられた分割管理情報4に従い、記憶領域内2内部に分散保管するための情報を図2のフロー図に示される例に従って、データの分割を行う。
更に分割されたデータは、最終的に分割された情報7として分散保管装置5の記憶領域内6内部に各々格納される。
分割された情報7は、必要があれば、ネットワーク8を経由して分散保管装置5に送られる。本発明においてこの場合、ネットワーク上のデータ転送プロトコルのような、データの交換手法は特に規定しない。例えば、インターネット上のFTP(ファイル転送プロトコル)のような仕様の公開された手法であっても関知しない。ハンドキャリーを含め何らかの手段で、分散保管装置5へ送られれば良しとする。
分割された情報7は、分散管理制御装置1とローカルに接続された分散保管装置5に送られても構わない。ネットワーク8を経由した場合とローカルに接続した場合とでソフトウエア上の問題は変わらない。しかしながら、物理的に近くに分散保管装置5があった場合、地震のような局地的な災害にあった時に、全てのデータを失う危険がある。分散保管装置5をネットワーク8を経由して、利用する場合、そのような災害の被害を最小限に留めることも可能である。
分割管理情報4の保管管理は、本発明での管理の対象外である。フレキシブルディスクのような外部の媒体に、保管が可能であるのならば保管しても構わない。また、分散管理制御装置1の記憶領域内2にそのまま保管されていても構わない。例えば、複数の分割管理情報4を纏めて、1つのデータとして、本発明での分散管理の対象にしても構わない。
本発明では、データの意味は問わない。上の例のように分割管理情報4や分割された情報7を幾つか集めることで、意味のあるデータを形成する場合、そのデータは、本発明の分割前データ3として処理の対象となる。
データの復元時は、図1において、分散保管装置5の記憶領域内6内部に各々格納された分割された情報7全を、一旦分散管理制御装置1の記憶領域内2に格納し、復元されるデータに対応する分割管理情報4と共に、図3のフロー図に示される例に従って、データの復元を行う。
データの改竄がなければ、図2のフロー図に示された冗長コードにより許された範囲内では、分割された情報7の取得が失敗してもデータの復元が可能になる。本発明では、データの復元と冗長コードとの関係は、特に規定しない。しかしながら、冗長コードの選び方は、本発明のデータ保全性の優劣を定める重要な要因であるので、出来うる限り高度なかつ経済的な冗長コードを選ぶ必要がある。
図2は、図1の分散管理制御装置1において、データの保管時の処理フロー図である。
本発明では、分割前暗号化と分割後暗号化における、暗号化の手法に関しては、特に規定しない。分割された情報7の生成過程を考えると、分割された情報7自体の分割前データ3に対するデータ秘匿性が比較的高いと考えられるからである。暗号化を使用した場合、暗号化や復号化のために使用される鍵が必要になってくるが、それらは必要に応じて、分割管理情報4に追加される。RSA(公開鍵型暗号)のような高度な暗号化に必要な鍵も、排他的論理和を使用した比較的単純な暗号化に必要な鍵も、その種類、適用場所(分割の前後)と共に分割管理情報4にされるが、その保管形式も特に規定しない。
203で示される「単位データ単位に分割」の処理における単位データの大きさは、本発明の規定の対象外である。単位データは、比較的小さな情報の塊を指している。その単位で分割することで、データに含まれる意味ある情報の塊を作らないようにすることが単位データ導入の主旨である。規定の対象外ではあるが、単位データとして例えば、データをビット列と見做した時の1ビットがそれにあたる。同様に2ビットも単位データとして例に挙げられる。比較的考え易い実装単位データには、1ビット、1バイト、1ワード(16ビット等)がある。分割された情報になるべく纏まった意味が発生しないようにするためには、1K(キロ)バイトのような大きさの単位データは、本発明の主旨から外れる単位データとなる。
205で示される「エラー訂正を可能にする冗長コードを追加する」の処理における冗長コードは、本発明の規定の対象外である。所謂ECC(エラー訂正コード)を含め色々な冗長コードが存在するが、そのコードの導入目的により期待する効果も変わる。ここでは、そのコードを利用することで、データ保全性を高めることが、冗長コード導入の主旨である。規定の対象外ではあるが、冗長コードとして例えば、系列を別にするパリティがそれにあたる。同様に、ハミング符号等も例に挙げられる。主に図2や図3では、系列を別にするパリティを冗長コードとして選んだという前提にした記述を行っている。
図3は、図1の分散管理制御装置1において、データの復元時の処理フロー図である。
処理としては、基本的に図2処理フロー図の逆を行っているだけである。冗長コードの選択如何でフロー図が変更される場合がある。ここでは、上記のように系列を別にするパリティを冗長コードとして選んだという前提にした記述を行っている。
1 分散管理制御装置
2 分散管理制御装置内記憶領域
3 分割前データ(復号後データ)
4 分割管理情報
5 分散保管装置
6 分散保管装置内記憶領域
7 分割された情報
8 ネットワーク
2 分散管理制御装置内記憶領域
3 分割前データ(復号後データ)
4 分割管理情報
5 分散保管装置
6 分散保管装置内記憶領域
7 分割された情報
8 ネットワーク
Claims (4)
- データをその管理単位で分散するのではなく、一旦ビットやバイトのような単位データ単位で、不特定個数の管理単位に分割することで、分割単位、分割総数、分割の並びの情報の組み合わせ分のデータ秘匿性を得られる方法。
- 分割されたデータ管理単位に、エラー訂正を可能にする冗長コードを導入することにより、冗長コードの量や冗長コードの管理単位に対応したデータ管理単位の修復やエラー検出が行えることによる、データ保全の向上の方法。
- 分割前や分割後のデータに、暗号化を加えることにより、データ秘匿性を得られる方法。
- データ管理単位を保管する装置をネットワーク上に置くことにより、災害を含む不慮の装置障害に対する、データ保全の向上の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004005064A JP2005202458A (ja) | 2004-01-13 | 2004-01-13 | ネットワークによる分散型の機密保持型データ保全方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004005064A JP2005202458A (ja) | 2004-01-13 | 2004-01-13 | ネットワークによる分散型の機密保持型データ保全方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005202458A true JP2005202458A (ja) | 2005-07-28 |
Family
ID=34819494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004005064A Pending JP2005202458A (ja) | 2004-01-13 | 2004-01-13 | ネットワークによる分散型の機密保持型データ保全方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005202458A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007241371A (ja) * | 2006-03-06 | 2007-09-20 | Konica Minolta Business Technologies Inc | 認証システム |
WO2007111086A1 (ja) * | 2006-03-28 | 2007-10-04 | Tokyo Denki University | ディザスタリカバリ装置及びディザスタリカバリプログラム及びその記録媒体及びディザスタリカバリシステム |
WO2008078390A1 (ja) * | 2006-12-26 | 2008-07-03 | Fujitsu Limited | データ圧縮装置およびデータ復元装置 |
JP2008250475A (ja) * | 2007-03-29 | 2008-10-16 | Brother Ind Ltd | 情報処理装置、ネットワークシステム、およびプログラム |
WO2009116169A1 (ja) * | 2008-03-21 | 2009-09-24 | 富士通株式会社 | 情報処理装置、通信方法および通信プログラム |
-
2004
- 2004-01-13 JP JP2004005064A patent/JP2005202458A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007241371A (ja) * | 2006-03-06 | 2007-09-20 | Konica Minolta Business Technologies Inc | 認証システム |
WO2007111086A1 (ja) * | 2006-03-28 | 2007-10-04 | Tokyo Denki University | ディザスタリカバリ装置及びディザスタリカバリプログラム及びその記録媒体及びディザスタリカバリシステム |
WO2008078390A1 (ja) * | 2006-12-26 | 2008-07-03 | Fujitsu Limited | データ圧縮装置およびデータ復元装置 |
GB2456996A (en) * | 2006-12-26 | 2009-08-05 | Fujitsu Ltd | Data compression device and data restoring device |
GB2456996B (en) * | 2006-12-26 | 2011-09-21 | Fujitsu Ltd | Data compression apparatus and data decompression apparatus |
JP4893750B2 (ja) * | 2006-12-26 | 2012-03-07 | 富士通株式会社 | データ圧縮装置およびデータ復元装置 |
US8705742B2 (en) | 2006-12-26 | 2014-04-22 | Fujitsu Limited | Data compression apparatus and data decompression apparatus |
JP2008250475A (ja) * | 2007-03-29 | 2008-10-16 | Brother Ind Ltd | 情報処理装置、ネットワークシステム、およびプログラム |
WO2009116169A1 (ja) * | 2008-03-21 | 2009-09-24 | 富士通株式会社 | 情報処理装置、通信方法および通信プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11233643B1 (en) | Distributed data storage system data decoding and decryption | |
US10802910B2 (en) | System for identifying and correcting data errors | |
US11010357B2 (en) | Reliably recovering stored data in a dispersed storage network | |
US10824495B2 (en) | Cryptographic key storage in a dispersed storage network | |
US10445179B2 (en) | Securely storing data in a dispersed storage network | |
US9727427B2 (en) | Synchronizing storage of data copies in a dispersed storage network | |
US9774678B2 (en) | Temporarily storing data in a dispersed storage network | |
US10474632B2 (en) | Segmented hashing for secure data modification | |
US9996413B2 (en) | Ensuring data integrity on a dispersed storage grid | |
US8171102B2 (en) | Smart access to a dispersed data storage network | |
US8683294B1 (en) | Efficient encoding of homed data | |
US8744071B2 (en) | Dispersed data storage system data encryption and encoding | |
US20160006461A1 (en) | Method and device for implementation data redundancy | |
US10642992B2 (en) | Password augmented all-or-nothin transform | |
US10581602B2 (en) | End-to-end checksum in a multi-tenant encryption storage system | |
US11394779B1 (en) | Storing all or nothing encoded data chunks in a storage network | |
JP2005202458A (ja) | ネットワークによる分散型の機密保持型データ保全方法 | |
US20220342755A1 (en) | Adjusting Error Encoding Parameters for Writing Encoded Data Slices | |
US9450617B2 (en) | Distribution and replication of erasure codes | |
Xu | Hydra: A platform for survivable and secure data storage systems | |
US10853171B2 (en) | Encoding data in a dispersed storage network | |
US20190007380A1 (en) | De-duplication of data streams | |
US10956292B1 (en) | Utilizing integrity information for data retrieval in a vast storage system | |
WO2023114003A1 (en) | Method for automatic recovery using microshard data fragmentation | |
Chen | New directions for remote data integrity checking of cloud storage |