JP2019169196A - 分散型オブジェクトルーティング - Google Patents

分散型オブジェクトルーティング Download PDF

Info

Publication number
JP2019169196A
JP2019169196A JP2019110780A JP2019110780A JP2019169196A JP 2019169196 A JP2019169196 A JP 2019169196A JP 2019110780 A JP2019110780 A JP 2019110780A JP 2019110780 A JP2019110780 A JP 2019110780A JP 2019169196 A JP2019169196 A JP 2019169196A
Authority
JP
Japan
Prior art keywords
file
chunks
index
storage
chunk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019110780A
Other languages
English (en)
Other versions
JP6994006B2 (ja
Inventor
ベン マセク
Ben Masek
ベン マセク
ポール ケイン
Kane Paul
ポール ケイン
ブライアン ラスケ
Brian Laske
ブライアン ラスケ
ジェフ パーカー
Parker Jeff
ジェフ パーカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Media Cloud Services LLC
Original Assignee
Sony Corp
Sony Media Cloud Services LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Media Cloud Services LLC filed Critical Sony Corp
Publication of JP2019169196A publication Critical patent/JP2019169196A/ja
Application granted granted Critical
Publication of JP6994006B2 publication Critical patent/JP6994006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/113Details of archiving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/119Details of migration of file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24568Data stream processing; Continuous queries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/44Distributed routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/56Routing software
    • H04L45/566Routing instructions carried by the data packet, e.g. active networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/06Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085Secret sharing or secret splitting, e.g. threshold schemes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload

Abstract

【課題】ファイルの無許可再構築を防ぐファイルを記憶する方法及び装置を提供する。【解決手段】ファイルの無許可再構築を防ぐようにするファイルの記憶が、ファイルのインデックスを生成するステップと、ファイルを複数のチャンクに分割するステップとを含み、ファイルのインデックスは、複数のチャンクの各々について割り当てられたルーティング経路を含み、この記憶は、割り当てられたルーティング経路を通じて、各チャンクを割り当てられたストレージプロバイダにルーティングするステップをさらに含む。キーワードは、分割及びインデックスを含む。【選択図】図1

Description

本発明は、オブジェクトルーティングに関し、具体的には、分散型オブジェクトルーティングに関する。
デジタルデータ及びデジタルファイルは、遠隔的に配置されたコンピュータネットワーク及び通信ネットワークを通じてアクセスし、分散して、再生、記憶、伝送及び/又はコピーすることができる。その基盤技術には多くの合法かつ有用な用途があるにも関わらず、これらはしばしばデジタルデータ及びデジタルファイルの違法コピーを作成するために使用され、その結果これらのコピーがインターネットを介して配信されることがある。
本発明は、ファイルを複数のストレージプロバイダにわたって暗号化ブロックとして分散させることによってファイルの無許可再構築を防ぐデータストレージを提供する。分散ルールは、あらゆるストレージプロバイダがファイルを再構築するのに十分なブロックを有することを防ぐ。
1つの実装では、ファイルの無許可再構築を防ぐようにファイルを記憶する方法を開示する。この方法は、ファイルのインデックスを生成するステップと、ファイルを複数のチャンクに分割するステップとを含み、ファイルのインデックスは、複数のチャンクの各々について割り当てられたルーティング経路を含み、この方法は、割り当てられたルーティング経路を通じて、各チャンクを割り当てられたストレージプロバイダにルーティングするステップをさらに含む。
別の実装では、インデックスを用いてファイルを取り出す方法を開示する。この方法は、ファイルの複数のチャンクがどこに記憶されているかを含むインデックスを検索するステップと、複数のチャンクを複数のストレージプロバイダから取り出すステップと、複数のチャンクを再構築してファイルを復元するステップとを含む。
別の実装では、ファイルの無許可再構築を防ぐようにファイルを記憶する装置を開示する。この装置は、ファイルのインデックスを生成する手段と、ファイルを複数のチャンクに分割する手段とを含み、ファイルのインデックスは、複数のチャンクの各々について割り当てられたルーティング経路を含み、この装置は、割り当てられたルーティング経路を通じて、各チャンクを割り当てられたストレージプロバイダにルーティングする手段をさらに含む。
別の実装では、インデックスを用いてファイルをストリーミングする方法を開示する。この方法は、ファイルの複数のチャンクがどこに記憶されているかを含む、ファイルのプロキシファイルのインデックスを検索するステップと、プロキシファイルの複数のチャンクを複数のストレージプロバイダから取り出すステップと、プロキシファイルの複数のチャンクを再構築してストリーミングするステップとを含む。
本発明の態様を一例として示す本説明からは、本発明の他の特徴及び利点が明らかになるはずである。
同じ部分を同じ参照数字によって示す添付のさらなる図面を検討することにより、本開示の詳細を、その構造及び動作の両方に関して部分的に収集することができる。
本開示の1つの実装による分散型データストレージ及びルーティングシステムの機能ブロック図である。 本開示の1つの実装によるクライアントストリームパーサの機能図例である。 本開示の1つの実装による、ファイルの無許可再構築を防ぐようにファイル(又はデータ)を記憶する方法を示すフロー図である。 本開示の1つの実装による、「分散的に」記憶されたファイル(又はデータ)を取り出す方法を示すフロー図である。 本開示の1つの実装による、「分散的に」記憶されたファイル(又はデータ)をストリーミングする方法を示すフロー図である。 複数のストレージプロバイダにわたるチャンクの分散例を示す図である。 強力な暗号鍵を用いてインデックスファイルを暗号化する暗号鍵管理戦略を示す図である。
本明細書に開示するいくつかの実装は、ファイルを複数の記憶位置にわたって暗号化ブロック又はチャンクとして拡散させることによってファイルの無許可再構築を防ぐようにデジタルデータの記憶及び分散を図るものである。分散ルールは、あらゆる記憶位置がファイルを再構築するのに十分なブロックを有することを防ぐ。1つの実装は、ビデオ制作のためのビデオ及び資産のストレージを提供する。さらに、様々なセキュリティ機構を使用することもできる(鍵戦略、透かしなど)。コンテンツ配信ネットワーク(CDN)、エッジサーバ、クライアントサーバ及び/又はピアツーピア機構を含む、ローカルストレージとリモートストレージの様々な組み合わせを使用することができる。実装は、1つの(又は規定数の)ストレージプロバイダが完全なファイルを再形成できるリスクを排除(又は少なくとも実質的に軽減)するセキュアな分散型ストレージを提供すること、ファイルストレージにさらなる耐久性を与えること、プロキシストリーミングを可能にするように、チャンク化されたメディアのトランスコードを可能にすること、を含む1又は2以上の利点をもたらすことができる。
1つの実装は、ネットワークリソース上に記憶されたファイルのセキュリティを高めるシステム及び方法を含む。この実装では、映画を記憶した暗号化ファイルなどのファイルをブロック又はチャンクに分割し、これらのブロック/チャンクを、インターネットに接続されて異なるストレージプロバイダ(「SP」)によって運営されるストレージサーバなどの異なる記憶位置に記憶する。記憶位置は、1又は2以上のブロックを有することができるが、ストレージプロバイダは、いずれもファイルにフルアクセスすることができず、或いは完全なファイルを再構築することができない。この拡散は、ハッカー又はその他のエンティティによるコンテンツへのアクセスに対してさらなるハードルをもたらす。1つの実装では、分散したブロックを用いて、トランスコードされたファイルの作成及びストリーミングを保護する。
さらなる実装では、各ストレージプロバイダが、クラウドデータセンタ(例えば、AWS、Azure、Rackspace)においてホストされる。これとは別に、又はこれに加えて、少なくともいくつかのブロックに業務用データストレージを使用することもできる。1つの実装例では、ストレージが、少なくとも3つのSPにわたってストライプ化される。他の実装は、異なる最小数及び最大数のSPを使用することができる。インデックスファイルが、ブロック/チャンクの場所を示す。実装例では、完全なファイル復元に少なくとも2つのSPが必要である。個々のSPは、いずれも完全なファイル復元が可能なほどの十分な情報を有さない。同様に、1つのトランスコーディングの実装では、トランスコードされたチャンクが、ファイルストレージ機構と同様の分散方法で分散される。さらなる実装では、追加のセキュリティ対策が、SP及び/又はクライアント鍵を用いてブロック及びインデックスファイルを暗号化し、ブロックの誤り訂正及びチェックサムを提供し、少なくとも2つのSPにわたってブロックを記憶することを含む。
1つの特定の実装では、医療記録、患者データ及び/又は画像を記憶する医療資産ストレージシステムを開示する。この実装では、複数のストレージプロバイダ(SP)にわたってファイルを分散させることによってデータにセキュリティ及び耐久性をもたらす。さらに、(鍵戦略などの)異なるセキュリティ機構が、異なる資産又はデータに様々なタイプ又はレベルのセキュリティをもたらすことができる。例えば、病院、医師、保険業者及び患者によって使用される全てのデータを、様々なストレージ及び鍵戦略を用いて分散システムに記憶して、様々なレベルのデータアクセス及びセキュリティをもたらしながら、全ての資産を共通の識別子に関連付けて体系化することができる。このように、1つのSPがファイル全てにアクセスできないだけでなく、複合システム内の1参加者(例えば、保険業者)しかシステム内の特定の患者/被保険者の適切な資産にアクセスできないようにすることができる。
図1は、本開示の1つの実装による、分散型データストレージ及びルーティングシステム100の機能ブロック図である。分散型データストレージ及びルーティングシステム100は、ネットワークリソース上に記憶されたデータ/ファイル102のセキュリティを高めるように構成される。特定の実装では、システム100が、1又は2以上のストレージプロバイダが完全なファイルを再形成できるリスクを実質的に軽減する分散型ストレージを提供する。
図1に示す実装では、分散型データストレージ及びルーティングシステム100が、クライアントストリームパーサ110と、複数のゲートウェイ122、124、126、128と、対応する複数のストレージプロバイダ132、134、136、138とを含む。クライアントストリームパーサ110は、映画を記憶した暗号化ファイルなどのファイルを受け取り、ファイルを異なる記憶位置に記憶すべくブロック又はチャンクに分割するように構成される。次に、分割されたブロック又はチャンクは、ネットワーク(例えば、インターネット)を通じて複数のゲートウェイ122、124、126、128に分散され、複数のストレージプロバイダ132、134、136、138によって記憶される。記憶される全てのオブジェクト(例えば、ブロック/チャンク)は、ストレージプロバイダ暗号化を通じて暗号化され、クライアントが指定した鍵に基づいて暗号化することもできる。チャンクの場所は、インデックスファイル内に保存され、このファイルも、クライアントが指定した鍵を用いて暗号化することができる。
複数のストレージプロバイダ132、134、136、138は、様々な誤り訂正チェックを行うことによってデータ/ファイルの完全性及び可用性を保証する。例えば、各ストレージプロバイダ132、134、136又は138は、チェックサムなどの誤り訂正チェックを行ってチャンクの完全性を検証する。別の例では、分散型データストレージ及びルーティングシステム100が、少なくとも2つのストレージプロバイダにわたってデータのパリティを提供する一方で(チャンク化されたファイル当たり最大m個のコピー)、各ストレージプロバイダが、耐久性のための独自の機構を提供する。この耐久性評価は、耐久性が最も低いストレージプロバイダの評価の少なくとも2倍になる。
システム100は、プロキシストリーミングを可能にするようにチャンク化データのトランスコーディングも可能にする。さらに、分散型データストレージ及びルーティングシステム100は、ファイルを(メタデータ及び/又は属性と共に)記憶し、ファイルを取り出し、又はファイルをストリーミングすることを含む、主要エンドユーザとファイルとの間の様々な相互作用も提供する。これらの各相互作用については、図3、図4及び図5にそれぞれ示すフローチャート300、400、500において詳細に説明する。
図2は、本開示の1つの実装によるクライアントストリームパーサ110の機能図例である。図2に示す実装では、ファイルが(1〜10で示す)10個のチャンク化要素に分割される。クライアントストリームパーサ110は、セキュアな、追跡可能な、ランダム化されたインデックス作成を行う。例えば、各チャンク化要素は、所与のファイル(図示せず)内にインデックス付きの開始位置及び停止位置を有する。
1つの実装では、チャンク化要素当たり最大m個のコピーが作成され、これらのコピーは、最大n個のストレージプロバイダにわたって配置される。図示の例では、各チャンク化要素の2つのコピー(m=2)が3つのストレージプロバイダ210、212、214(n=3)にわたって配置されている。例えば、チャンク化要素1は、ストレージプロバイダ1及び2に配置される。他のチャンク化要素については、チャンク化要素2がSP2及び3に配置され、チャンク化要素3がSP1及び3に配置され、チャンク化要素4がSP3及び2に配置され、チャンク化要素5がSP1及び2に配置され、チャンク化要素6がSP3及び2に配置され、チャンク化要素7がSP3及び2に配置され、チャンク化要素8がSP3及び1に配置され、チャンク化要素9がSP1及び2に配置され、チャンク化要素10がSP2及び3に配置される。クライアントストリームパーサ110は、どのチャンク化要素(並びに開始位置及び停止位置)がどのストレージプロバイダに記憶されているかなどの情報を含むインデックスファイルを生成する。1つの実装では、インデックスファイルが、アクセスするために2つの鍵を必要とする暗号化を通じて保護される。一方の鍵はシステム100によって保持され、他方の鍵はクライアントによって保持される。インデックスファイルは、上述したようなデータ/ファイルの解析及び分散と同様に解析し、複数のストレージプロバイダにわたって分散することができる。例えば、処理は、インデックスファイルをインデックスのチャンクに分割するステップと、インデックスのチャンクのインデックス付き要素を生成するステップと、インデックス付き要素に従って、割り当てられたストレージプロバイダにインデックスのチャンクをルーティングするステップとを含むことができる。
図3は、本開示の1つの実装による、ファイルの無許可再構築を防ぐようにファイル(又はデータ)を記憶する方法を示すフロー図300である。1つの実装では、この方法が、ファイルを複数の記憶位置にわたって暗号化ブロック又はチャンクとして拡散させることによって実現される。
図3に示す実装では、方法が、ステップ310においてファイルを受け取り、割り当てられた属性及びルーティング情報を用いてインデックスを作成するステップを含む。ステップ320において、ファイルに対してファイルタイプチェック、ウィルススキャン及びチェックサムを実行する。次に、ステップ330においてファイルをチャンクに分割する。1つの実装では、インデックスもチャンクに分割される。ステップ340において、チャンクに対して暗号化、チェックサム及び他の準備を実行する。ステップ350において、準備の整ったチャンクにルーティング経路を割り当て、ステップ360において、割り当てられたストレージプロバイダにチャンクをルーティングする。1つの実装では、システム100内のストレージプロバイダの総数(n)が2よりも大きくなければならない。
図4は、本開示の1つの実装による、「分散的に」記憶されたファイル(又はデータ)を取り出す方法を示すフロー図400である。図4に示す実装では、方法が、ステップ410において、チャンク化されたインデックスを検索するステップと、ステップ420において、ストレージプロバイダ固有の暗号化スキームに基づいてチャンクを復号するステップとを含む。次に、ステップ430において、復号されたチャンクを再構築し、ステップ440において、ファイルの取り出し処理を可能にする。1つの実装では、ファイルの完全な復元に少なくともm個のストレージプロバイダが必要であり、この場合のmは、1よりも大きい(すなわち、ストレージプロバイダは、いずれもファイルの完全な復元が可能なほど十分な情報を含まない)が、n−1以下である(nは、ストレージプロバイダの総数である)。このことは、1<m≦n−1として表すことができる。
図5は、本開示の1つの実装による、「分散的に」記憶されたファイル(又はデータ)をストリーミングする方法を示すフロー図500である。図5に示す実装では、方法が、ステップ510において、ファイルのプロキシファイルのチャンク化されたインデックスを検索するステップと、ステップ520において、チャンクを取り出し、ストレージプロバイダ固有の暗号化スキームに基づいて復号するステップとを含む。次に、ステップ530において、復号したチャンクを再構築し、ステップ540において、ファイルストリーミング処理を可能にする。
図6に、複数のストレージプロバイダにわたるチャンクの分散例600を示す。後述の例では、(1)ストレージプロバイダの総数(n)、(2)ファイルを取り出すために必要なストレージプロバイダの最低数(m)、(3)チャンク毎に作成する必要がある最小コピー数(p)、(4)ファイルの完全な復元を行っている間に存在しなくてもよいストレージプロバイダの数(q)、という定義を適用する。
例1では、10個のチャンクが3つのストレージプロバイダにわたって分散し、n=3、p=2、m=2及びq=1である。この例では、SP1がチャンク1、2、4、6、7、8、9を記憶し、SP2がチャンク3、4、5、7、8、9、10を記憶し、SP3がチャンク1、2、3、5、6、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1とSP2、SP1とSP3、又はSP2とSP3の組み合わせが必要である。従って、これらの3つの2ストレージプロバイダペアの各々は、1つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で3つのストレージプロバイダが存在し(すなわち、n=3)、各チャンクの2つのコピーが作成され(すなわち、p=2)、ファイルを取り出すために少なくとも2つのストレージプロバイダが必要であり(すなわち、m=2)、少なくとも1つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=1)ことが分かる。
例2では、10個のチャンクが4つのストレージプロバイダにわたって分散し、n=4、p=3、m=3及びq=1である。この例では、SP1がチャンク1、4、7、8、9を記憶し、SP2がチャンク2、3、5、9、10を記憶し、SP3がチャンク1、5、6、7、8を記憶し、SP4がチャンク2、3、4、6、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3、SP1/SP2/SP4、SP1/SP3/SP4、又はSP2/SP3/SP4の組み合わせが必要である。従って、これらの4つの3SPの組み合わせの各々は、1つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で4つのストレージプロバイダが存在し(すなわち、n=4)、各チャンクの3つのコピーが作成され(すなわち、p=3)、ファイルを取り出すために少なくとも3つのストレージプロバイダが必要であり(すなわち、m=3)、少なくとも1つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=1)ことが分かる。
例3では、10個のチャンクが5つのストレージプロバイダにわたって分散し、n=5、p=2、m=4及びq=1である。この例では、SP1がチャンク1、2、5、6を記憶し、SP2がチャンク1、3、4、8を記憶し、SP3がチャンク2、3、4、7を記憶し、SP4がチャンク6、8、9、1を記憶し、SP5がチャンク5、7、9、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3/SP4、SP1/SP2/SP3/SP5、SP1/SP2/SP4/SP5、SP1/SP3/SP4/SP5、又はSP2/SP3/SP4/SP5の組み合わせが必要である。従って、これらの5つの4SPの組み合わせの各々は、1つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で5つのストレージプロバイダが存在し(すなわち、n=5)、各チャンクの2つのコピーが作成され(すなわち、p=2)、ファイルを取り出すために少なくとも4つのストレージプロバイダが必要であり(すなわち、m=4)、少なくとも1つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=1)ことが分かる。
例4では、10個のチャンクが5つのストレージプロバイダにわたって分散し、n=5、p=3、m=3及びq=2である。この例では、SP1がチャンク1、2、5、6、7、8、9を記憶し、SP2がチャンク3、4、6、7、8、10を記憶し、SP3がチャンク2、5、6、8、9、10を記憶し、SP4がチャンク1、2、3、4、5、7を記憶し、SP5がチャンク1、3、4、8、9、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3、SP1/SP2/SP4、SP1/SP2/SP5、SP1/SP3/SP4、SP1/SP3/SP5、SP1/SP4/SP5、SP2/SP3/SP4、SP2/SP3/SP5、SP2/SP4/SP5、又はSP3/SP4/SP5の組み合わせが必要である。従って、これらの10個の3SPの組み合わせの各々は、2つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で5つのストレージプロバイダが存在し(すなわち、n=5)、各チャンクの3つのコピーが作成され(すなわち、p=3)、ファイルを取り出すために少なくとも3つのストレージプロバイダが必要であり(すなわち、m=3)、少なくとも2つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=2)ことが分かる。
例5では、10個のチャンクが6つのストレージプロバイダにわたって分散し、n=6、p=3、m=4及びq=2である。この例では、SP1がチャンク1、2、3、4、10を記憶し、SP2がチャンク1、2、3、6、10を記憶し、SP3がチャンク2、3、4、5、9を記憶し、SP4がチャンク4、5、6、7、8を記憶し、SP5がチャンク5,6、7、8、9を記憶し、SP6がチャンク1、7、8、9、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3/SP4、SP1/SP2/SP3/SP5、SP1/SP2/SP3/SP6、SP1/SP3/SP4/SP5、SP1/SP3/SP4/SP6、SP1/SP4/SP5/SP6、SP2/SP3/SP4/SP5、SP2/SP3/SP4/SP6、SP2/SP4/SP5/SP6、SP2/SP3/SP5/SP6、SP3/SP4/SP5/SP6、SP1/SP2/SP4/SP5、SP1/SP2/SP4/SP6、SP1/SP2/SP5/SP6、又はSP1/SP3/SP5/SP6の組み合わせが必要である。従って、これらの15個の4SPの組み合わせの各々は、2つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で6つのストレージプロバイダが存在し(すなわち、n=6)、各チャンクの3つのコピーが作成され(すなわち、p=3)、ファイルを取り出すために少なくとも4つのストレージプロバイダが必要であり(すなわち、m=4)、少なくとも2つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=2)ことが分かる。
例6では、10個のチャンクが6つのストレージプロバイダにわたって分散し、n=6、p=4、m=3及びq=3である。この例では、SP1がチャンク1、2、3、4、5、6、10を記憶し、SP2がチャンク1、2、3、4、6、10を記憶し、SP3がチャンク2、3、4、5、7、8、9を記憶し、SP4がチャンク1、4、5、6、7、8、9を記憶し、SP5がチャンク2、5、6、7、8、9、10を記憶し、SP6がチャンク1、3、7、8、9、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3、SP1/SP2/SP4、SP1/SP2/SP5、SP1/SP2/SP6、SP1/SP3/SP4、SP1/SP3/SP5、SP1/SP3/SP6、SP1/SP4/SP5、SP1/SP4/SP6、SP1/SP5/SP6、SP2/SP3/SP4、SP2/SP3/SP5、SP2/SP3/SP6、SP2/SP4/SP5、SP2/SP4/SP6、SP2/SP5/SP6、SP3/SP4/SP5、SP3/SP4/SP6、又はSP4/SP5/SP6の組み合わせが必要である。従って、これらの19個の3SPの組み合わせの各々は、3つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で6つのストレージプロバイダが存在し(すなわち、n=6)、各チャンクの4つのコピーが作成され(すなわち、p=4)、ファイルを取り出すために少なくとも3つのストレージプロバイダが必要であり(すなわち、m=3)、少なくとも3つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=3)ことが分かる。
図7に、強力な暗号鍵を用いてインデックスファイルを暗号化する暗号鍵管理戦略を示す。図示の実装では、各ユーザについて一意のインデックス暗号鍵700が生成される。インデックス暗号鍵700は、ユーザが管理するパスワードを用いて暗号化される。従って、ユーザは、ファイルのアップロード又はダウンロードを行う際には常に自身のパスワードを提供する。
上述した方法、装置、及び関連する非一時的記憶媒体は、様々に変形が可能である。また、明確かつ簡潔な説明のために、方法、装置及び非一時的記憶媒体についての多くの説明を簡略化した。多くの説明では、一定の標準規格の専門用語及び構造を使用している。しかしながら、開示した方法、装置及び非一時的記憶媒体は、さらに広い適用が可能である。
当業者であれば、本明細書に開示した実装に関連して説明した様々な例示的な論理ブロック、モジュール、ユニット及びアルゴリズムステップは、多くの場合、電子ハードウェア、コンピュータソフトウェア、又はこれらの両方の組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、上記では、様々な例示的な構成要素、ブロック、モジュール及びステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、システム全体に課せられる特定の制約に依存する。当業者であれば、説明した機能を各特定のシステムのために様々な方法で実装することができるが、このような実装の決定を、本発明の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、ユニット、モジュール、ブロック又はステップ内の機能のグループ化は、説明を容易にするためのものである。本発明から逸脱することなく、1つのユニット、モジュール又はブロックから特定の機能又はステップを移行させることもできる。
本明細書に開示する実装に関連して説明した方法のステップ及びブロック又はモジュールの処理は、ハードウェアにおいて直接具体化することも、プロセッサによって実行されるソフトウェアモジュールにおいて具体化することも、又はこれらの組み合わせにおいて具体化することもできる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、又は他のいずれかの形態の記憶媒体に存在することができる。例示的な記憶媒体は、プロセッサが記憶媒体との間で情報を読み書きできるようにプロセッサに結合することができる。別の方法では、記憶媒体をプロセッサに統合することができる。プロセッサ及び記憶媒体は、ASIC内に存在することができる。また、結合されるものとして説明した装置、ブロック又はモジュールは、中間の装置、ブロック又はモジュールを介して結合することができる。
上記の開示した実装の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の様々な修正が容易に明らかになると思われ、また本明細書で説明した一般的原理は、本発明の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。例えば、ファイルの代わりに、又はこれに加えて、ゲームオブジェクト又はその他のタイプの仮想オブジェクトを使用することもできる。従って、これらの技術は、上述した特定の例に限定されるものではない。従って、本明細書で提示した説明及び図面は、本発明の現在のところ好ましい実装を表すものであり、従って本発明が広く意図する主題を表すものであると理解されたい。さらに、本発明の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、従って添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
100 分散型データストレージ及びルーティングシステム
102 データ/ファイル
110 クライアントストリームパーサ
122 ゲートウェイ(SP1)
124 ゲートウェイ(SP2)
126 ゲートウェイ(SP3)
128 ゲートウェイ(SPn)
132 ストレージプロバイダ1
134 ストレージプロバイダ2
136 ストレージプロバイダ3
138 ストレージプロバイダn

Claims (18)

  1. ファイルの無許可再構築を防ぐように前記ファイルを記憶する方法であって、
    前記ファイルのインデックスを生成するステップと、
    前記ファイルを複数のチャンクに分割するステップと、
    を含み、前記ファイルの前記インデックスは、前記複数のチャンクの各々について割り当てられたルーティング経路を含み、前記方法は、
    前記割り当てられたルーティング経路を通じて、各チャンクを割り当てられたストレージプロバイダにルーティングするステップをさらに含む、
    ことを特徴とする方法。
  2. 前記ファイルの前記インデックスを前記インデックスのチャンクに分割するステップをさらに含む、
    請求項1に記載の方法。
  3. 前記インデックスの前記チャンクのインデックス付き要素を生成するステップと、
    前記インデックス付き要素に従って、前記インデックスの前記チャンクを割り当てられたストレージプロバイダにルーティングするステップと、
    をさらに含む請求項2に記載の方法。
  4. 前記ファイルの前記インデックスは、割り当てられた属性及びルーティング情報を含む、
    請求項1に記載の方法。
  5. 前記ファイルの前記インデックスは、クライアントが指定した鍵を用いて暗号化される、
    請求項1に記載の方法。
  6. 前記ファイルの前記複数のチャンクを記憶するために使用されるストレージプロバイダの総数は2よりも多い、
    請求項1に記載の方法。
  7. 前記複数のチャンクに対して暗号化及びチェックサムを実行するステップをさらに含む、
    請求項1に記載の方法。
  8. 各チャンクは、前記ファイル内に開始位置及び停止位置を有する、
    請求項1に記載の方法。
  9. インデックスを用いてファイルを取り出す方法であって、
    前記ファイルの複数のチャンクがどこに記憶されているかを含む前記インデックスを検索するステップと、
    前記複数のチャンクを複数のストレージプロバイダから取り出すステップと、
    前記複数のチャンクを再構築して前記ファイルを復元するステップと、
    を含むことを特徴とする方法。
  10. 前記複数のチャンクをストレージプロバイダ固有の暗号化スキームに基づいて復号するステップをさらに含む、
    請求項9に記載の方法。
  11. 前記ファイルの前記複数のチャンクを取り出すために使用されるストレージプロバイダの総数は2よりも多い、
    請求項9に記載の方法。
  12. ファイルの無許可再構築を防ぐように前記ファイルを記憶する装置であって、
    前記ファイルのインデックスを生成する手段と、
    前記ファイルを複数のチャンクに分割する手段と、
    を備え、前記ファイルの前記インデックスは、前記複数のチャンクの各々について割り当てられたルーティング経路を含み、前記装置は、
    前記割り当てられたルーティング経路を通じて、各チャンクを割り当てられたストレージプロバイダにルーティングする手段をさらに備える、
    ことを特徴とする装置。
  13. 前記ファイルの前記インデックスを前記インデックスのチャンクに分割する手段をさらに備える、
    請求項12に記載の装置。
  14. 前記インデックスの前記チャンクのインデックス付き要素を生成する手段と、
    前記インデックス付き要素に従って、前記インデックスの前記チャンクを割り当てられたストレージプロバイダにルーティングする手段と、
    をさらに備える請求項13に記載の装置。
  15. 前記複数のチャンクに対して暗号化及びチェックサムを実行する手段をさらに含む、
    請求項12に記載の装置。
  16. インデックスを用いてファイルをストリーミングする方法であって、
    前記ファイルの複数のチャンクがどこに記憶されているかを含む、前記ファイルのプロキシファイルの前記インデックスを検索するステップと、
    前記プロキシファイルの前記複数のチャンクを複数のストレージプロバイダから取り出すステップと、
    前記プロキシファイルの前記複数のチャンクを再構築してストリーミングするステップと、
    を含むことを特徴とする方法。
  17. 前記複数のチャンクをストレージプロバイダ固有の暗号化スキームに基づいて復号するステップをさらに含む、
    請求項16に記載の方法。
  18. 前記プロキシファイルの前記複数のチャンクを取り出すために使用されるストレージプロバイダの総数は2よりも多い、
    請求項16に記載の方法。
JP2019110780A 2015-07-20 2019-06-14 分散型オブジェクトルーティング Active JP6994006B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/804,174 2015-07-20
US14/804,174 US10177907B2 (en) 2015-07-20 2015-07-20 Distributed object routing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018521200A Division JP6543420B2 (ja) 2015-07-20 2016-07-15 分散型オブジェクトルーティング

Publications (2)

Publication Number Publication Date
JP2019169196A true JP2019169196A (ja) 2019-10-03
JP6994006B2 JP6994006B2 (ja) 2022-01-14

Family

ID=57834554

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018521200A Active JP6543420B2 (ja) 2015-07-20 2016-07-15 分散型オブジェクトルーティング
JP2019110780A Active JP6994006B2 (ja) 2015-07-20 2019-06-14 分散型オブジェクトルーティング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018521200A Active JP6543420B2 (ja) 2015-07-20 2016-07-15 分散型オブジェクトルーティング

Country Status (6)

Country Link
US (2) US10177907B2 (ja)
EP (1) EP3308287A4 (ja)
JP (2) JP6543420B2 (ja)
KR (1) KR102042939B1 (ja)
CN (1) CN107851084A (ja)
WO (1) WO2017015108A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210270B2 (en) * 2017-03-09 2021-12-28 Microsoft Technology Licensing, Llc Mapping storage across storage providers
CN111585760B (zh) * 2017-10-27 2023-04-18 财付通支付科技有限公司 密钥找回方法、装置、终端及可读介质
US11709957B2 (en) * 2020-05-04 2023-07-25 Netapp, Inc. Methods for securing files within a storage device using artificial intelligence and devices thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009084314A1 (ja) * 2007-12-28 2009-07-09 Nec Corporation データ分散格納方法およびデータ分散格納システム
JP2013525876A (ja) * 2010-03-31 2013-06-20 セキュリティー ファースト コーポレイション 移動中のデータをセキュア化するためのシステムおよび方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7596300A (en) * 1999-09-20 2001-04-24 Ethentica, Inc. Cryptographic server with provisions for interoperability between cryptographic systems
CN1258921C (zh) * 2002-07-30 2006-06-07 中兴通讯股份有限公司 分布式视频点播系统及其实现数据存储和访问的方法
US7487138B2 (en) * 2004-08-25 2009-02-03 Symantec Operating Corporation System and method for chunk-based indexing of file system content
US20060059174A1 (en) * 2004-09-16 2006-03-16 International Business Machines Corporation Apparatus, system, and method for locating an application compatible with a file
US8190742B2 (en) * 2006-04-25 2012-05-29 Hewlett-Packard Development Company, L.P. Distributed differential store with non-distributed objects and compression-enhancing data-object routing
CN102301377B (zh) * 2008-12-18 2015-07-08 科普恩股份有限公司 用于内容感知的数据分区和数据去重复的方法和设备
US8438456B2 (en) 2009-10-05 2013-05-07 Cleversafe, Inc. Method and apparatus for dispersed storage of streaming data
US9537650B2 (en) 2009-12-15 2017-01-03 Microsoft Technology Licensing, Llc Verifiable trust for data through wrapper composition
WO2012042509A1 (en) 2010-10-01 2012-04-05 Peter Chacko A distributed virtual storage cloud architecture and a method thereof
US20120136960A1 (en) 2010-11-29 2012-05-31 Beijing Z & W Technology Consulting Co., Ltd Cloud Storage Data Access Method, Apparatus and System
CN101997929A (zh) * 2010-11-29 2011-03-30 北京卓微天成科技咨询有限公司 一种云存储的数据存取的方法、装置及系统
CN103049466B (zh) * 2012-05-14 2016-04-27 深圳市朗科科技股份有限公司 一种基于分布式密文存储的全文检索方法及系统
CN103914483B (zh) * 2013-01-07 2018-09-25 深圳市腾讯计算机系统有限公司 文件存储方法、装置及文件读取方法、装置
US10015542B2 (en) * 2013-03-15 2018-07-03 Arris Enterprises Llc Method and apparatus for secure storage and retrieval of live off disk media programs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009084314A1 (ja) * 2007-12-28 2009-07-09 Nec Corporation データ分散格納方法およびデータ分散格納システム
JP2013525876A (ja) * 2010-03-31 2013-06-20 セキュリティー ファースト コーポレイション 移動中のデータをセキュア化するためのシステムおよび方法

Also Published As

Publication number Publication date
KR20180030018A (ko) 2018-03-21
EP3308287A1 (en) 2018-04-18
JP6543420B2 (ja) 2019-07-10
KR102042939B1 (ko) 2019-11-08
JP2018523250A (ja) 2018-08-16
WO2017015108A1 (en) 2017-01-26
CN107851084A (zh) 2018-03-27
US10523971B1 (en) 2019-12-31
JP6994006B2 (ja) 2022-01-14
US10177907B2 (en) 2019-01-08
US20200028671A1 (en) 2020-01-23
EP3308287A4 (en) 2018-12-05
US20170026173A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
US11157366B1 (en) Securing data in a dispersed storage network
Wang et al. Ensuring data storage security in cloud computing
US9483657B2 (en) Secure online distributed data storage services
US9990502B2 (en) Systems and methods for security hardening of data in transit and at rest via segmentation, shuffling and multi-key encryption
US20200287880A1 (en) Data encryption
US20170104736A1 (en) Secure data storage on a cloud environment
US20040181688A1 (en) Systems and methods for the copy-protected distribution of electronic documents
US20160011990A1 (en) System and Method for Conflict-Free Cloud Storage Encryption
US8595492B2 (en) On-demand protection and authorization of playback of media assets
JP6994006B2 (ja) 分散型オブジェクトルーティング
EA031078B1 (ru) Способ и устройство для хранения и обработки данных
Bian et al. The Jigsaw secure distributed file system
US8656499B1 (en) Client-side bit-stripping system and method
Martínez Casanovas Infrastructureless wallet backed up with P2P technology
Jaikar et al. Verifying Data Integrity in Cloud
Prakash et al. Multi Clouds Model for Service Availability and Security
Jacob et al. Privacy Preserving and Auto Regeneration of Data in Cloud Servers Using Seed Block Algorithm
Chen New directions for remote data integrity checking of cloud storage
Shinde et al. Survey on Secure Public Auditing and Privacy Preserving in Cloud
Bian et al. JiGdFs: a seCure distriButed FiLe systeM For MediCaL iMaGe arCHiVinG
Charles et al. Blood pressure patterns in rural, semi-urban and urban children in the Ashanti region of Ghana, West Africa
Bian JigDFS: The Jigsaw Secure Distributed File System and its applications
Denis et al. Verifying Correctness of Trusted data in Clouds

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211210

R150 Certificate of patent or registration of utility model

Ref document number: 6994006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150