JP2014517420A - クラウド記憶のためのファイル処理方法、システム、およびサーバクラスタ化システム - Google Patents

クラウド記憶のためのファイル処理方法、システム、およびサーバクラスタ化システム Download PDF

Info

Publication number
JP2014517420A
JP2014517420A JP2014515852A JP2014515852A JP2014517420A JP 2014517420 A JP2014517420 A JP 2014517420A JP 2014515852 A JP2014515852 A JP 2014515852A JP 2014515852 A JP2014515852 A JP 2014515852A JP 2014517420 A JP2014517420 A JP 2014517420A
Authority
JP
Japan
Prior art keywords
slice
file
files
request
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014515852A
Other languages
English (en)
Inventor
シアオ フェイ チュエン
チューイロン シュエ
レイ ジュオ
ナン ソン
ワンリー ソーン
ハン チョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2014517420A publication Critical patent/JP2014517420A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/457Network directories; Name-to-address mapping containing identifiers of data entities on a computer, e.g. file names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

サーバは、ユーザデバイスから、ファイルをアップロードするための要求を受け取る。サーバは、要求に基づいて、ファイルと関連付けられる一意のファイルIDを生成し、ユーザデバイスに該ファイルIDを伝送し得る。ユーザデバイスは、多数のスライスファイルおよびそれらの対応するスライスIDを生成するために、ファイルを分割し得る。ユーザデバイスから、サーバは、多数のスライスファイルおよびスライスIDを受け取る。スライスIDに基づいて、サーバは、一貫したハッシュアルゴリズムを使用して、分散記憶システムに多数のスライスファイルを記憶するために、記憶アドレスを決定し得る。多数のスライスファイルは、信頼できない記憶システムの対応する記憶アドレスに基づいて、記憶され得る。

Description

本開示は、データ処理の分野に関する。より具体的には、本開示は、クラウド記憶に基づくファイル処理に関する。
関連出願の相互参照
本出願は、2011年6月17日に出願された中国特許出願第201110164407.4号、名称「File Processing Method,System and Server−clustered System for Cloud Storage」に対する優先権を主張するものであり、該出願は、参照によりその全体が本明細書に組み込まれる。
クラウドコンピューティングは、分散コンピューティング、並列コンピューティング、およびグリッドコンピューティングの開発の成果である。クラウドコンピューティングは、大量のプログラムを、多数のサーバを使用して計算を行い、次いで、計算結果を出力する、多数のより小さいサブプログラムに分割する。クラウド記憶は、ネットワークを介して多数の異なる記憶デバイスを集約するために、クラスタ化アプリケーション、ネットワーク技術、および/または分散ファイルシステム等の機能を使用した、クラウドコンピューティングの拡張機能である。しかしながら、現在のクラウド記憶スキームは、ユーザデバイスからサーバに多数のファイルをアップロードするときに、いくつかの課題(例えば、リソースの浪費)を提示し得る。
サーバは、ユーザデバイスから、ファイルをアップロードするためのアップロード要求を受け取る。サーバは、ファイルのファイルIDを生成し、ユーザデバイスに該ファイルIDを伝送し得る。ユーザデバイスは、多数のスライスファイルおよび関連するスライスIDを生成するために、ファイルを分割し得る。ユーザデバイスは、サーバに多数のスライスファイルおよびそれらのスライスIDを伝送し得る。次いで、サーバは、スライスIDに基づいて、多数のスライスファイルをクラウドに基づく分散記憶システムに記憶するために、記憶アドレスを計算し得る。多数のスライスファイルは、記憶アドレスに基づいて記憶され得る。
いくつかの態様において、サーバは、多数のスライスファイルのうちの1つのスライスファイルが記憶システムの中に記憶されていると判定するために、重複判定要求を受け取り得る。スライスIDが記憶システムの中に存在しない場合、スライスファイルが記憶され得る。
いくつかの態様において、サーバは、記憶システムにアップロードされたファイルをダウンロードするためのダウンロード要求を受け取り得る。サーバは、記憶システムの中のアップロードされたファイルと関連付けられる多数のスライスファイルを決定し得る。サーバは、次いで、アップロードされたファイルを生成し、ユーザデバイスにそれを伝送し得る。
いくつかの態様において、サーバは、記憶システムにアップロードされたファイルを削除するための削除要求を受け取り得る。サーバは、スライスファイルと関連付けられるスライスIDのカウント数がゼロである場合、アップロードされたファイルと関連付けられる多数のスライスファイルを削除し得る。
詳細な説明は、添付の図面を参照して記載される。異なる図面における同じ参照番号の使用は、同様または同一の項目を示す。
クラウド記憶を使用してファイル処理をサポートする、実例となる環境のブロック図である。 クラウド記憶を使用してファイルを処理するための、実例となる過程のフロー図である。 クラウド記憶を使用してファイルをアップロードするための、実例となる過程のフロー図である。 クラウド記憶に記憶されるファイルの重複に関する情報を決定するための、実例となる過程のフロー図である。 クラウド記憶に記憶されるスライスファイルの記憶アドレスを決定するための、実例となる過程のフロー図である。 クラウド記憶に記憶されるファイルをダウンロードするための、実例となる過程のフロー図である。 クラウド記憶に記憶されるファイルを削除するための、実例となる過程のフロー図である。 図1で示される環境に導入され得る、実例となるサーバのブロック図である。
図1は、クラウド記憶を使用したファイル処理をサポートする、実例となるアーキテクチャ100のブロック図である。アーキテクチャ100は、ユーザデバイス102と、ファイル処理システム104とを含み得る。ユーザデバイス102(例えば、コンピューティングデバイス)は、ファイル処理システム104と情報を交換するために、1つ以上のネットワーク106に接続し得る。ファイル処理システム104は、ユーザ114の口座データ112を記憶する、ホスト110のホストサーバ108を含み得る。いくつかの実施形態において、ファイル処理システム104はまた、さらにサービスマネージャ118と、サービスマスター120と、サービスワーカー122とを含み得る、サーバクラスタ116も含み得る。いくつかの実施形態において、ファイル処理システム104は、分散ストレージシステムとして実現され得る。
本開示の種々の実施形態によれば、ユーザデバイス102は、ファイル処理システム104にファイル126をアップロードするための要求124を伝送し得る。要求124は、ユーザ114のユーザID、ファイル126のタイトル、ユーザデバイス102の中のファイル126の場所またはファイル経路、ならびにユーザ114およびファイル126に関する他の情報を含み得る。要求124に含まれる情報に基づいて、ファイル処理システム104は、ファイル126の一意のファイル識別子(ID)128を生成し、次いで、ユーザデバイス102にファイルID128を伝送し得る。ユーザデバイス102は、多数のスライスファイル130を生成するために、ファイル126を分割し得る。多数のスライスファイル130は、所定のサイズに基づいて分割され得る。多数のスライスファイル130の各スライスファイルは、所定のハッシュ関数(例えば、メッセージダイジェストアルゴリズム5(MD5))に基づいて生成される、スライスIDと関連付けられる。各スライスファイルは、スライスIDと、関連するデータとを有する。
多数のスライスファイル130を受け取ると、ファイル処理システム104は、多数のスライスファイル130のスライスファイルの記憶アドレスを計算し得る。計算された記憶アドレスに基づいて、ファイル処理システム104は、スライスファイルを記憶し得る。多数のスライスファイル130を記憶する一方で、ファイル処理システムは、ファイルID128と多数のスライスファイル130のスライスIDとの間の対応関係を維持し得る。対応関係に基づいて、ユーザデバイスは、ファイル126をダウンロードするための要求を伝送し、ファイル126の重複を判定し、ファイル126を削除し得、これは、下で図2〜図7を参照してさらに詳細に説明される。
いくつかの実施形態において、クライアント側ソフトウェアは、ユーザデバイス102上で動作して、ファイル126をアップロード、ダウンロード、または削除し得る。これらの操作コマンドは、ハイパーテキスト転送プロトコル(HTTP)要求に変換し、処理のためのファイル処理システム104にアップロードすることができる。
図2は、クラウド記憶を使用してファイルを処理するための、実例となる過程200のフロー図である。202で、ファイル処理システム104は、ファイル126をアップロードするための要求124を受け取り得る。いくつかの実施形態において、ホストサーバ108は、ユーザデバイス102から、サーバクラスタ116にファイル126をアップロードすることを要求するための要求124を受け取り得る。
204で、ファイル処理システム104は、ファイルID128を生成し、ユーザデバイス102にそれを伝送し得る。いくつかの実施形態において、サーバクラスタ116は、ファイルIDを生成し得、ホストサーバ108は、ユーザデバイス102にファイルID128を返し得る。いくつかの実施形態において、ホストサーバ108は、サーバクラスタ116にファイル126のファイルID128を獲得するための要求を送り得る。サーバクラスタ116は、要求に基づいて、ファイル126にファイルIDを割り当て得、サーバクラスタ116は、ホストサーバ108にファイルIDを送り返し得る。次いで、ホストサーバ108は、ユーザデバイス102にファイルIDを送り得る。
いくつかの実施形態において、サーバクラスタ116は、多数のファイルを記憶し、各ファイルに一意のファイルIDを割り当て得る。例えば、記憶されたファイルは、順次増加する数(例えば、1、2、...、N)を使用する一意のファイルIDが与えられ得る。ファイルID128が要求124と関連付けられるファイル126に割り当てられた後に、サーバクラスタ116は、ファイルID128と要求124に含まれる情報との間の関連付けを記録し得る。要求124に含まれる情報は、ファイルおよびユーザ114に関するユーザID、ファイル名、ファイル経路、および他の情報を含み得る。情報に基づいて、サーバクラスタ116は、ファイルを管理および維持し得る。
206で、ファイル処理システム104は、ユーザデバイスから多数のスライスファイル130を受け取り得る。いくつかの実施形態において、ファイル126は、多数のスライスファイル130を生成するために分割され得る。多数のスライスファイル130の各スライスファイルは、一意のスライスIDが与えられ得る。
いくつかの実施形態において、ユーザデバイス102は、所定のサイズに基づいてファイル126を分割し、多数のスライスファイル130を生成し得る。分割後の残りのファイルのチャンク長が所定のサイズ未満であるときに、該残りのファイルは、1つのスライスファイルに指定される。いくつかの実施形態において、ユーザデバイス102は、メッセージダイジェストアルゴリズム5(MD5)に基づいて、ファイル126を分割し得る。このような場合、スライスIDがスライスファイルを一意的に識別することができるように、あらゆるスライスファイルについてスライスIDを計算するために、MD5ハッシュ関数が使用され得る。
いくつかの実施形態において、ユーザデバイス102は、ホストサーバ108にスライスファイルのデータパッケージをアップロードし得る。スライスファイルのデータパケットは、ファイルID128と、多数のスライスファイル130とを含み得る。多数のスライスファイル130は、各スライスファイルのスライスIDおよび対応するデータを含み得る。次いで、ホストサーバ108は、スライスファイルのデータパケットから、記憶のためのサーバクラスタ116の中の対応するサービスワーカー122に、あらゆるスライスファイルのスライスデータを送り得る。ファイルID128と多数のスライスファイル130のスライスIDとの間の対応関係は維持される。
ユーザデバイス102が、サーバクラスタ116に初めてファイル126をアップロードすると仮定する。その結果、ユーザデバイス102は、ホストサーバ108にファイルID128および多数のスライスファイル130のスライスIDをアップロードし得る。次いで、ホストサーバ108は、サーバクラスタ116にファイルID128および多数のスライスファイル130のスライスIDを含む問い合わせ要求を送り得る。問い合わせ要求は、多数のスライスファイル130のうちの1つのスライスファイルを記憶するために、サービスワーカー122の記憶アドレスを要求するために使用され得る。サーバクラスタ116が問い合わせ要求を受け取った後、該問い合わせ要求は、ファイルID128とスライスIDとの間の対応関係を保存し得る。
208で、ファイル処理システム104は、多数のスライスファイル130の1つのスライスファイルまたはあらゆるスライスファイルを記憶するために、サービスワーカー122の記憶アドレスを計算し得る。いくつかの実施形態において、次いで、サーバクラスタ116は、ホストサーバ108にサービスワーカーアドレスを返し得る。次いで、ホストサーバ108は、サービスワーカー122の記憶アドレスに基づいて、サービスワーカー122に、対応するスライスファイルのデータを送り得る。このような場合、サービスワーカー122は、多数のスライスファイル130のあらゆるスライスファイルのスライスIDと、対応するデータとの間の対応関係を記憶し得る。
いくつかの実施形態において、サーバクラスタ116は、多数のスライスファイル130のうちの1つのスライスファイルを記憶するために、サービスワーカー122の記憶アドレスを計算し得る。例えば、サーバクラスタ116が、リング状に論理的に配列されるN個のサーバを有すると仮定する。N個のサーバの各サーバは、時計回り方向に番号付けされ、この場合0からN−1までの番号が選択され得る。サーバクラスタ116は、Nのモジュラスを取ることによって記憶アドレスを計算し得る。さらに、モジュラスを取った後の残りがKであると仮定する。結果として、上述のハッシュリングにおいてサーバ番号0から始まり、時計回り方向に移動し、ハッシュリング上のK番目のサーバが決定され、スライスファイルを記憶するためのサーバに指定される。
いくつかの実施形態において、ファイル126をアップロードする前に、ユーザデバイス102は、スライスIDと関連付けられるデータがサーバクラスタ116に記憶されているかどうかを判定するために、ホストサーバ108に重複カウント要求を伝送し得る。このような場合、ユーザデバイス102は、多数のスライスファイル130を生成するために、ファイル126を分割し、次いで、MD5ハッシュ関数に基づいて、多数のスライスファイル130の各スライスファイルと関連付けられるスライスIDを計算し得る。ユーザデバイス102は、次いで、ホストサーバ108に重複カウント要求を伝送し得、該重複カウント要求は、あらゆるスライスファイルのスライスIDを含む。ホストサーバ108は、スライスIDに基づいて、サーバクラスタ116に重複カウント要求を送り得る。サーバクラスタ116は、それがスライスIDと関連付けられるデータを記憶しているかどうかを判定し得る。
スライスIDと関連付けられるデータが記憶される場合、ファイル処理システムは、ユーザデバイス102に、スライスIDと関連付けられる重複情報を伝送し得る。重複情報に基づいて、ユーザデバイスは、ホストサーバ108に、非重複スライスファイルを含むスライスファイルのデータパケットをアップロードし得る。したがって、ホストサーバ108は、非重複スライスファイルのサーバクラスタ116の記憶アドレスを計算し得る。これらの記憶アドレスに基づいて、ホストサーバ108は、記憶するために、サービスワーカー122に、対応するデータを送り得る。
いくつかの実施形態において、アップロードされたファイルについて繰り返しカウントを実行する一方で、ホストサーバ108はまた、ユーザ114のユーザIDとファイルID128との間の対応関係も保存し得る。このような場合、異なるユーザが同じファイル(例えば、ファイル126)をアップロードするときに、ホストサーバは、例えばファイルID128と多数のユーザIDとの間の対応関係を記憶し得る。
いくつかの実施形態において、サーバクラスタ116は、あらゆるスライスIDについて基準カウンタを設定し得、この場合あらゆる基準カウンタのカウント値は、最初はゼロに指定され得る。重複カウント結果に基づいて、サーバクラスタ116は、カウント値を変更し得る。例えば、スライスIDを繰り返す(例えば、多数のユーザと関連付けられるスライスIDのデータが繰り返し記憶される)ときに、スライスIDと関連付けられるカウント値を1つ増加させ得る。
図3は、クラウド記憶を使用してファイルをアップロードするための、実例となる過程300のフロー図である。302で、ユーザデバイス102は、ホストサーバ108に要求124を伝送し得る。要求124は、ユーザ114のユーザID、ファイル126のファイル名、およびファイル126のファイル経路を含み得る。304で、ホストサーバ108は、サービスマネージャ118に要求124を伝送し得る。
306で、サービスマネージャ118は、ファイル126についてユニバーサル符号化を実行し、ファイルID128を生成し得る。サーバクラスタ116は、膨大な数のファイルを含み得、サーバクラスタ116の中のサービスマネージャ118は、該膨大な数のファイルのあらゆるファイルに一意のファイルIDを割り当て得る。
例えば、サービスマネージャ118は、順次増加する数を使用するファイルIDを与え得る。ファイルID128がファイル126と関連付けられた後に、サービスマネージャは、ファイルID128とファイル126の間の対応関係を記憶し得る。対応関係に基づいて、サーバクラスタ116は、ファイル126を管理および維持し得る。
308で、サービスマネージャ118は、ホストサーバ108にファイル126のファイルID128を返し得る。次いで、ホストサーバ108は、ユーザデバイス102にファイルIDを伝送し得る。
図4は、クラウド記憶に記憶されるファイルの重複に関する情報を決定するための、実例となる過程400のフロー図である。402で、ユーザデバイス102は、多数のスライスファイル130を生成するために、ファイル126を分割し得る。いくつかの実施形態において、ユーザデバイス102は、所定のファイルサイズに基づいて、ファイル126を分割し得る。所定のファイルサイズは、試験および算出に由来する最適なファイルサイズに適合する数値であり得る。例えば、最適な値が128kであるときに、新しいファイルは、128Kのファイルサイズを有するいくつかのスライスファイルに順次切り分けられる。いくつかの事例において、ファイル126のサイズは、128Kの整数倍ではない。故に、分割後に残る128K未満のデータをスライスファイルに指定することができる。
404で、多数のスライスファイル130のデータに基づいて、ユーザデバイスは、MD5ハッシュ関数を使用して、多数のスライスファイル130のあらゆるスライスファイルについて一意のスライスIDを計算し得る。
406で、ユーザデバイス102は、ホストサーバ108に重複判定要求を伝送し得る。重複判定要求は、スライスファイルのデータおよびその関連するスライスIDを含み得る。ユーザ114によってアップロードされるファイル126が、部分的に修正された既存のファイルである可能性があるので、全ファイルデータを再伝送することは、サーバクラスタ116に冗長なデータをもたらす。したがって、いくつかの実施形態において、ユーザデバイスは、ホストサーバ108に重複判定要求を伝送し得、この場合重複判定要求は、あらゆるスライスファイルのスライスIDを含み得る。
408で、ホストサーバ108は、サービスマネージャ118に重複判定要求を伝送し得る。410で、サービスマネージャ118は、サービスマスター120に多数のスライスファイル130を記憶することを要求し得る。いくつかの実施形態において、サービスマネージャ118は、一貫したハッシュアルゴリズムを使用して、サービスマスター120に多数のスライスファイル130を記憶することを要求し得る。サービスマスター120は、一貫したハッシュアルゴリズムを使用して、サービスワーカー122に多数のスライスファイル130を記憶することを要求し得る。
412で、サービスマネージャは、サービスマスター120に重複判定要求を伝送し得る。414で、サービスマスター120は、多数のスライスファイル130を記憶するようサービスワーカー122の記憶アドレスを計算するために、一貫したハッシュアルゴリズムを使用し得る。サービスマスター120がサービスワーカー122に重複判定要求を伝送するときに、該要求は、一貫したハッシュアルゴリズムを使用して計算される記憶アドレスに基づいて、そのサービスワーカー122に記憶されるスライスデータに対応するスライスIDを含み得る。
416で、サービスマスター120は、計算された記憶アドレスに基づいて、サービスワーカー122に重複判定要求を伝送し得る。418で、サービスワーカー122は、重複判定要求のスライスIDが既に保存されているかどうかを判定することができる。繰り返しカウント要求によってサービスワーカー122にスライスIDが見つかった場合、サービスマスター120は、サービスワーカーがこのスライスIDに対応するスライスデータを既に保存していると判定し得る。故に、スライスIDに対応するスライスデータは重複であるので、それを再びアップロードする必要はない。
420で、サービスワーカー122は、サービスマスター122に、スライスファイルが重複しているかどうかに関する情報を伝送し得る。サービスワーカー122は、サービスマスター120に非重複スライスファイルのスライスIDを送り返し得るだけでなく、一方ではスライスファイルを記憶するサービスワーカー122のアドレスも返し得る。情報は、ユーザデバイス102に伝送され得る。
いくつかの実施形態において、サービスマネージャ118は、新たなファイルがアップロードされる度に、以前にアップロードされたスライスファイルのスライスIDを保存し得る。このような場合、スライスIDは、アップロードを待っているスライスファイルが重複しているか否かを判定するために、サービスマネージャ118に直接伝送され得る。スライスIDが存在する場合、対応するスライスファイルは重複している。
図5は、クラウド記憶に記憶されるスライスファイルの記憶アドレスを決定するための、実例となる過程500のフロー図である。502で、使用デバイス102は、繰り返していないスライスファイルのスライスIDおよびスライスデータを決定し、ホストサーバ108にそれらをアップロードし得る。図4で説明される実施形態において、ユーザデバイス102は、ファイル126の非重複スライスファイルに関する情報を受け取り得る。したがって、ユーザデバイス102は、ホストサーバ108に、非重複スライスファイルのスライスIDおよびスライスデータをアップロードし得る。
504で、ホストサーバ108は、対応するスライスIDに基づいて、スライスファイルを記憶するサービスワーカー122の記憶アドレスを調べ得る。506で、ホストサービス108は、記憶アドレスに基づいて、対応するサービスワーカー122にスライスファイルを伝送し得る。508で、サービスワーカー122は、受け取ったスライスファイルを記憶し得る。
510で、サービスワーカー122は、ホストサーバに、記憶が完了したことを示す返信メッセージを返し得る。512で、ホストサーバ108は、ユーザデバイス102に記憶完了メッセージを伝送し得る。
図6は、クラウド記憶に記憶されるファイルをダウンロードするための、実例となる過程600のフロー図である。602で、ユーザデバイスは、ファイル126をダウンロードするための要求を伝送し得る。この要求は、ファイル126のファイルID128を含み得る。604で、ホストサーバ108は、サービスマネージャ118に要求を伝送し得る。この要求は、サーバクラスタ116から、ファイル126を形成する多数のスライスファイル130に関する情報を要求し得る。
606で、サービスマネージャ118は、一貫したハッシュアルゴリズムに基づいて、スライスファイルを記憶するために、サービスマスター120を獲得し得る。サーバクラスタ116内で、上位のサービスマネージャは、一貫したハッシュアルゴリズムを使用することによってスライスファイルを記憶するために、対応するサービスマスターを獲得し得る。同様に、上位のサービスマネージャは、一貫したハッシュアルゴリズムを使用することによってスライスファイルを記憶するために、対応するサービスワーカー122を獲得し得る。
いくつかの実施形態において、ファイルがアップロードされたときに保存されるファイルID128とスライスIDとの間の対応関係に基づいて、サービスマネージャ118は、要求の中のファイルID128に対応する全てのスライスIDを獲得し得る。サービスマスター120は、スライスファイルを記憶するように要求され得、サービスマスター120の下のサービスワーカー122は、多数のスライスファイル130のアップロード中に従う一貫したハッシュアルゴリズムを使用して、スライスIDに基づいて、スライスファイルを記憶し得る。
いくつかの実施形態において、サーバマスター120は、多数のスライスファイル130のうちの1つのスライスファイルを記憶するために、サービスワーカー122の記憶アドレスを計算し得る。例えば、サーバクラスタ116が、リング状に論理的に配列されるN個のサーバを有すると仮定する。N個のサーバの各サーバは、時計回り方向に番号付けされ、この場合0からN−1までの番号が選択され得る。サーバクラスタ116は、Nのモジュラスを取ることによって記憶アドレスを計算し得る。さらに、モジュラスを取った後の残りがKであると仮定する。結果として、上述のハッシュリングにおいてサーバ番号0から始まり、時計回り方向に移動し、ハッシュリング上のK番目のサーバが決定され、スライスファイルを記憶するためのサーバに指定される。
608で、サービスマネージャ118は、サービスマスター120にファイル126のダウンロード要求を伝送し得る。610で、サービスマスター120は、ファイル126のあらゆるスライスファイルを記憶するサービスワーカー122の記憶アドレスを計算するために、一貫したハッシュアルゴリズムを使用し得る。サービスマスター120は、一貫したハッシュアルゴリズムを使用して記憶アドレスを計算し得るが、該計算は、操作606におけるサービスマネージャ118の下のサービスマスター120の計算と実質的に同じである。
612で、サービスマスター120は、サービスマネージャ118に、あらゆるスライスファイルを記憶するサービスワーカー122の記憶アドレスを伝送し得る。614で、サービスマネージャ118は、ホストサーバ108に、あらゆるスライスファイルを記憶するサービスワーカー122の記憶アドレスを伝送し得る。
いくつかの実施形態において、616で、ホストサーバ108は、対応するサービスワーカー122に、サービスワーカー122のアドレスに基づいて、スライスファイルを読み出すための要求を行い得る。サーバクラスタ116のあらゆるサービスワーカーについて、多数のスライスファイル130のダウンロード要求の並列処理を実行することが必要になり得る。したがって、サービスワーカーは、タスクの中へあらゆるスライスファイルのダウンロード要求をパッケージし、ダウンロード待ち行列の中へそれらを入力し、そして、タスクを処理するために多数のスレッドを開始することができる。
618で、サービスワーカー122は、ホストサーバ108にスライスファイルを伝送し得る。620で、ホストサーバ108は、スライスシーケンスに従って、要求されたダウンロードファイルの中へ受け取ったスライスファイルを配列し得る。サービスワーカー122によってホストサーバ108に返されるスライスファイルは、あらゆるスライスファイルのスライスデータおよびスライスIDと、ファイル126の多数のスライスファイル130のスライスシーケンスと、ファイルID128とを含み得る。ホストサーバ108は、対応するスライスシーケンスに従って、同じファイルIDを有するスライスファイルを取り出し、ダウンロードファイルの中へそれらを配列し得る。
622で、ホストサーバ108は、ユーザデバイス102に、要求されたダウンロードファイルを伝送し得る。ユーザデバイス102がホストサーバ108にダウンロード要求を送るときに、ホストサーバ108は、ユーザ114のユーザIDを記録することができる。ダウンロードファイルが配列された後に、ホストサーバ108は、ユーザのユーザIDに基づいて、ユーザ114にダウンロードファイルを伝送し得る。
いくつかの実施形態において、サーバクラスタ116は、ダウンロード操作が完了したときに、多数のスライスファイル130の順序付けされたダウンロードを利用し得る。例えば、サービスマネージャ118は、ダウンロードされる多数のスライスファイル130の第1のスライスファイルを順次要求し得る。サービスマネージャ117は、多数のスライスファイル130に対するサービスマスター120を決定し得、次いで、サービスマスター120は、サービスワーカー122を決定し、サービスワーカー122に第1のスライスファイルをダウンロードするための要求を送り得る。この操作は、多数のスライスファイル130の全てがスライスシーケンスに従ってダウンロードされるまで繰り返され得る。いくつかの実施形態において、スライスシーケンスは、所定の方法に基づいて決定され得る。
図7は、クラウド記憶に記憶されるファイルを削除するための、実例となる過程のフロー図である。702で、ユーザデバイスは、ホストサーバ108にファイル(例えば、ファイル126)を削除するための削除要求を伝送し得る。削除要求は、削除されるファイル126のファイルID128と、ユーザ114のユーザIDとを含み得る。いくつかの実施形態において、初めてアップロードされるスライスファイルについて、サービスマネージャ118は、多数のスライスファイル130のスライスIDとファイル126のファイルID128との間の対応関係を保存することができる。いくつかの事例において、サービスマネージャ118は、あらゆるスライスIDについて基準カウンタを設定し得、この基準カウンタのカウント値は、最初はゼロに指定され得る。スライスIDを繰り返す(例えば、多数のユーザと関連付けられるスライスIDのデータが繰り返し記憶される)ときに、スライスIDと関連付けられるカウント値を1つ増加させ得る。
704で、ホストサーバ108は、削除要求の中のファイルID128とユーザIDとの間の対応関係を決定し得る。ホストサーバ108がファイルID128とユーザIDとの間の対応関係を保存していた場合、ホストサーバ108は、ユーザデバイス102が、ユーザデバイス102の削除操作の実行で使用される、ファイルID128に対応するファイルを既にアップロードしたと判定し得る。
706で、ホストサーバ108は、サービスマネージャ118に削除要求を伝送し得る。削除要求は、多数のスライスファイル130の1つ以上のスライスファイルのサーバクラスタからの削除に関する情報を要求し得る。708で、サービスマネージャ118は、ファイルIDに対応するスライスIDを要求し得る。
710で、サービスマネージャ118は、あらゆるスライスIDについて、カウンタのカウント値がゼロであるかどうかを判定し得る。カウント値がゼロでない場合(すなわち、710の「いいえ」分岐)、712で、カウント値を1つ減少させ得る。カウント値がゼロである場合(すなわち、710の「はい」分岐)、714で、サービスマネージャ118は、一貫したハッシュアルゴリズムに基づいて、スライスIDに対応するサービスマスター120を計算し得る。
スライスIDのカウンタのカウント値がゼロでない場合、サービスマネージャ118は、スライスIDに対応するスライスデータが過去に繰り返しアップロードされていると判定し得る。スライスIDのカウンタのカウント値がゼロである場合、サービスマネージャは、ファイル処理システムの中にこのスライスIDに対応するスライスデータのコピーが1つだけあり、そのユーザID以外のユーザIDによっていかなる操作も行われていないと判定し得る。したがって、スライスIDに対応するスライスデータを削除することができる。
716で、サービスマネージャ118は、獲得したサービスマスター120に、ファイル削除要求を伝送し得る。718で、サービスマスター120は、スライスファイルを記憶するサービスワーカー122の記憶アドレスを計算するために、一貫したハッシュアルゴリズムを使用し得る。このような場合、一貫したハッシュアルゴリズムは、上で説明したように実現され得る。
720で、サービスマスター120は、記憶アドレスに基づいて、サービスワーカー122にスライスファイルを削除するための要求を伝送し得る。722で、サービスワーカー122は、スライスIDに基づいて記憶した対応するスライスファイルを削除し得る。
いくつかの実施形態において、サーバクラスタ116は、削除操作が完了したときに、多数のスライスファイル130の順序付けされた削除を利用し得る。例えば、サービスマネージャ118は、削除される多数のスライスファイル130の第1のスライスファイルを順次要求し得る。サービスマネージャ117は、多数のスライスファイル130に対するサービスマスター120を決定し得、次いで、サービスマスター120は、サービスワーカー122を決定し、サービスワーカー122に第1のスライスファイルを削除するための要求を送り得る。この操作は、スライスシーケンスに従って多数のスライスファイル130の全てが削除されるまで繰り返され得る。いくつかの実施形態において、スライスシーケンスは、所定の方法に基づいて決定され得る。
図8は、図1で示されるファイル処理システム104に導入され得る、実例となるサーバ800のブロック図である。サーバ800は、任意の好適なサーバ(複数可)として構成され得る。1つの例示的な構成において、サーバ800は、1つ以上のプロセッサ802と、入力/出力インターフェース804と、ネットワークインターフェース806と、メモリ808とを含む。
メモリ808としては、ランダムアクセスメモリ(RAM)等の揮発性メモリの形態、および/またはリードオンリーメモリ(ROM)またはフラッシュRAM等の不揮発性メモリの形態のコンピュータが読み出し可能な媒体が挙げられる。メモリ808は、コンピュータが読み出し可能な媒体の一例である。
コンピュータが読み出し可能な媒体としては、コンピュータが読み出し可能な命令、データ構造、プログラムモジュール、または他のデータ等の情報を格納するための任意の方法または技術で実現される、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体が挙げられる。コンピュータ記憶媒体の例としては、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、他のタイプのランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリ、もしくはその他メモリ技術、読み出し専用コンパクトディスク(CD−ROM)、デジタル多用途ディスク(DVD)、もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶デバイス、またはコンピューティングデバイスによってアクセスするための情報を記憶するために使用することができる、任意の他の非伝送媒体が挙げられるが、これらに限定されない。本明細書で定義されるように、コンピュータが読み出し可能な媒体は、変調データ信号および搬送波等の一時的媒体は含まれない。
さらに詳細にメモリ808を参照すると、メモリ808は、ホストモジュール810およびサーバクラスタモジュール812を記憶し得る。ホストモジュール810は、ユーザデバイス102によって送られるファイルアップロード要求を受け取り得、ファイルアップロード要求は、サーバクラスタに新たなファイルをアップロードすることを要求するために、また、新たなファイルについてサーバクラスタによって生成されるファイルIDをユーザデバイス102に返すために使用される。ユーザデバイス102は、新たなファイルをスライスし、あらゆるスライスファイルについて一意のスライスIDを生成し得、ホストモジュール810にスライスデータパケットをアップロードし、また、スライスファイルのデータパケットは、ファイルIDと、あらゆるスライスファイルのスライスIDと、あらゆるスライスファイルのスライスデータとを含む。ホストモジュール810は、スライスファイルのデータパケットからサーバクラスタモジュール812に、あらゆるスライスファイルのスライスデータを送り得る。サーバクラスタモジュール812は、対応するサービスワーカーにあらゆるスライスファイルのスライスデータを記憶し、ファイルIDとスライスIDとの間の対応関係を保存し得る。
いくつかの実施形態において、ユーザデバイス102は、ホストサーバに重複判定要求を送り得、該要求は、あらゆるスライスファイルのスライスIDを含む。ホストモジュール810は、サーバクラスタモジュール812に要求を伝送し得る。サーバクラスタモジュール812は、その要求のスライスIDについて、その保存されたスライスIDを検索し得る。その要求によってスライスIDが見つかった場合は、そのスライスIDに対応するスライスファイルを繰り返すことを意味する。繰り返しカウント要求によってスライスIDが見つからなかった場合は、そのスライスIDに対応するスライスファイルを繰り返さないことを意味する。サーバクラスタモジュール812は、あらゆるスライスファイルついて、それを繰り返すか否かに関する情報を取り出し得、ホストモジュール810にそれを送る。ホストモジュール810は、スライスファイルを繰り返すか否かに関する情報を取り出し、ユーザデバイス102にそれを送り得る。ユーザデバイス102は、スライスファイルを繰り返すか否かに関する情報に基づいて、ホストモジュール810に、非重複スライスファイルのスライスIDおよびスライスデータを含むスライスファイルのデータパケットをアップロードし得る。
いくつかの実施形態において、ホストモジュール810は、スライスファイルの記憶アドレスを獲得するための問い合わせ要求を行い、サーバクラスタにそれを送り得る。サーバクラスタモジュール812は、あらゆるスライスファイルのスライスIDに基づいて、一貫したハッシュアルゴリズムを使用して、あらゆるスライスファイルを記憶するサービスワーカーのアドレスを計算し得る。ホストモジュール810は、対応するサービスワーカーのアドレスに基づいて、記憶のためのサービスワーカーに、スライスファイルのデータパケットに含まれるあらゆるスライスファイルを送り得る。
いくつかの実施形態において、ユーザデバイス102は、ホストモジュール810にファイルダウンロード要求を送り得、ファイルダウンロード要求は、ユーザデバイス102がダウンロードすることを要求しているファイルのファイルIDを含む。ホストモジュール810は、サーバクラスタにファイルダウンロード要求を送り得る。サーバクラスタモジュール812は、ファイルIDに対応するあらゆるスライスファイルを記憶するサービスワーカー122のアドレスを取り出し、ホストモジュール810にそれらを送り得る。ホストモジュール810は、サービスワーカーの記憶アドレスに基づいて、サービスワーカー122からあらゆるスライスファイルを獲得し得る。ホストモジュールは、スライスシーケンスに従って、要求されたダウンロードファイルの中へスライスファイルを配列し得、ユーザデバイス102に該ファイルを送る。
いくつかの実施形態において、ホストモジュール810は、ファイルアップロード要求がユーザデバイス102のユーザIDも含むときに、ファイルIDとユーザIDとの間の対応関係を保存し得る。サーバクラスタモジュール812は、あらゆるスライスIDについて基準カウンタを設定し得、基準カウンタのカウント値は、ゼロに初期設定される。スライスIDに対応するスライスファイルを繰り返す場合、そのスライスIDの基準カウンタのカウント値に1を加算する。
いくつかの実施形態において、ユーザデバイス102は、ホストモジュール810にファイル削除要求を送り得、この場合ファイル削除要求は、ユーザデバイス102が削除することを要求しているファイルのファイルIDと、ユーザIDとを含む。ホストモジュール810は、それが削除要求において保存されるファイルIDとユーザIDとの間の対応関係を保存しているときに、サーバクラスタにファイル削除要求を送り得る。サーバクラスタモジュール812は、ファイルIDに対応するスライスIDを獲得し得、スライスIDの基準カウンタのカウント値がゼロであるか否かを判定する。スライスIDのカウンタのカウント値がゼロである場合、サーバクラスタは、削除が要求されるファイルのあらゆるスライスファイルを記憶するサービスワーカーのアドレスを獲得し、サーバクラスタモジュール812は、対応するサービスワーカー122にファイル削除要求を伝送し得る。スライスIDのカウンタのカウント値がゼロでない場合、そのスライスIDのカウンタのカウント値から1を減算する。
サーバクラスタモジュール812は、サービスマネージャモジュール814と、サービスマスターモジュール816と、サービスワーカーモジュール818とを含み得る。いくつかの実施形態において、少なくとも1つのサービスマネージャ、サービスマネージャに接続されるいくつかのサービスマスター、およびあらゆるサービスマスターに接続されるいくつかのサービスワーカー。サービスマネージャモジュール814は、ホストモジュール810と相互作用し得、相互作用データは、サービスマスター120に連続して伝送される。相互作用データは、次いで、サービスマスター120によってサービスワーカー122に伝送され得る。
ホストモジュール810は、ユーザデバイス102によって送られるファイルアップロード要求を受け取り得、該要求は、サーバクラスタに新たなファイルをアップロードすることを要求するために、ユーザデバイス102に、新たなファイルについてサーバクラスタによって生成されるファイルIDを返すために、およびユーザデバイス102によってアップロードされるスライスファイルのデータパケットを受け取るために使用される。スライスファイルのデータパケットは、ファイルIDと、あらゆるスライスファイルのスライスIDと、あらゆるスライスファイルのスライスデータとを含む。サーバクラスタモジュール812は、ホストモジュール810によって送られるスライスファイルのデータパケットの中のあらゆるスライスファイルのスライスデータを受け取り、記憶のためのサーバクラスタの中の対応するサービスワーカーにあらゆるスライスファイルのスライスデータを送り、そして、ファイルIDとスライスIDとの間の対応関係を保存し得る。
いくつかの実施形態において、ホストモジュール810は、ユーザデバイス102によって送られる繰り返しカウント要求を受け取り得、この場合繰り返しカウント要求は、あらゆるスライスファイルのスライスIDを含む。ホストモジュール810は、サーバクラスタに繰り返しカウント要求を伝送し得る。サーバクラスタモジュール812は、繰り返しカウント要求のスライスIDについて、その保存されたスライスIDを検索し得る。繰り返しカウント要求によってスライスIDが見つかった場合は、そのスライスIDに対応するスライスファイルを繰り返すことを意味する。繰り返しカウント要求によってスライスIDが見つからなかった場合は、そのスライスIDに対応するスライスファイルを繰り返さないことを意味する。サーバクラスタモジュール812は、あらゆるスライスファイルついて、それを繰り返すか否かに関する情報を取り出し得、ホストモジュール810にそれを送る。ホストモジュール810は、スライスファイルを繰り返すか否かに関する情報を取り出し、ユーザデバイス102にそれを送り得、この情報に基づいて、ユーザデバイス102が、ホストモジュール810に、非重複スライスファイルのスライスIDおよびスライスデータを含むスライスファイルのデータパケットをアップロードすることを可能にする。
いくつかの実施形態において、ホストモジュール810は、サーバクラスタモジュール812に、スライスファイルの記憶アドレスを獲得するための問い合わせ要求を送り得る。サーバクラスタモジュール812は、あらゆるスライスファイルのスライスIDに基づいて、一貫したハッシュアルゴリズムを使用して、あらゆるスライスファイルを記憶するサービスワーカーのアドレスを計算し得る。サーバクラスタモジュール812は、ホストモジュール810にサービスワーカー122のアドレスを返し得る。ホストモジュール810は、対応するサービスワーカーのアドレスに基づいて、記憶のためのサービスワーカーに、スライスファイルのデータパケットに含まれるあらゆるスライスファイルを送り得る。
いくつかの実施形態において、ホストモジュール810は、ユーザデバイス102によって送られるファイルダウンロード要求を受け取り得る。ファイルダウンロード要求は、ユーザデバイス102がダウンロードすることを要求しているファイルのファイルIDを含み得る。ホストモジュール810は、サーバクラスタにファイルダウンロード要求を送る。サーバクラスタ812は、ファイルIDに対応するあらゆるスライスファイルを記憶するサービスワーカーのアドレスを取り出し、ホストモジュール810にそれらを送り得る。ホストモジュール810は、サービスワーカーのアドレスに基づいて、対応するサービスワーカーからあらゆるスライスファイルを獲得し、スライスシーケンスに従って、要求されたダウンロードファイルの中へスライスファイルを配列し得、ユーザデバイス102に該ファイルを送る。いくつかの実施形態において、ホストモジュール810は、ファイルアップロード要求がユーザデバイス102のユーザIDを含むときに、ファイルIDとユーザIDとの間の対応関係を保存し得る。
サーバクラスタモジュール812は、あらゆるスライスIDについて基準カウンタを設定し得、基準カウンタのカウント値は、ゼロに初期設定される。スライスIDに対応するスライスファイルを繰り返す場合、そのスライスIDの基準カウンタのカウント値に1を加算する。
いくつかの実施形態において、ホストモジュール810は、ユーザデバイス102によって送られるファイル削除要求を受け取り得る。ファイル削除要求は、ユーザデバイス102が削除を要求しているファイルのファイルIDと、ユーザIDとを含む。ホストモジュール810が、削除要求の中に保存されるファイルIDとユーザIDとの間の対応関係を保存した場合、該ホストモジュールは、サーバクラスタにファイル削除要求を送る。サーバクラスタモジュール812は、ファイルIDに基づいて、対応するスライスIDを要求し得、スライスIDの基準カウンタのカウント値がゼロであるか否かを判定する。スライスIDのカウンタのカウント値がゼロである場合、サーバクラスタは、削除が要求されるファイルのあらゆるスライスファイルを記憶するサービスワーカーを獲得する。サーバクラスタモジュール812は、対応するサービスワーカーにファイル削除要求を伝送し得る。スライスIDのカウンタのカウント値がゼロでない場合、そのスライスIDのカウンタのカウント値から1を減算する。サービスワーカー122は、ファイル削除要求を受け取った後に、削除が要求されるファイルを形成しているスライスファイルを削除し得る。
上述のものは、本出願によって提供される、分散キャッシング方法およびシステム、ならびにキャッシングのための解析方法およびシステムを詳細に説明する。本明細書の具体的な実施例は、本出願の原理および実施形態を例示するために利用される。上の実施形態の説明は、本開示の方法および概念を理解することを支援することを目的としている。しかしながら、当業者は、本出願の概念に基づいて、特定の実施形態および応用の範囲で変更を行うことができ、したがって、本明細書の内容は、本出願に対して制限を課すものと解釈すべきではない。

Claims (20)

  1. コンピュータが実行可能な指示を記憶する1つ以上のコンピュータが読み出し可能な媒体であって、該指示は、1つ以上のプロセッサによって実行されたときに、前記1つ以上のプロセッサに、
    サーバによって、ユーザデバイスからファイルをアップロードするためのアップロード要求を受け取ることと、
    前記アップロード要求に基づいて、前記ファイルのファイル識別子(ID)を生成することと、
    前記ファイルIDを前記ユーザデバイスに伝送することと、
    前記ユーザデバイスからスライスファイルパッケージを受け取ることであって、前記スライスファイルパッケージは、前記ファイルと関連付けられる多数のスライスファイル、および前記多数のスライスファイルと関連付けられるスライスIDを含む、受け取ることと、
    前記ファイルIDが前記スライスIDと関連付けられるように、前記スライスファイルパッケージを記憶することと、
    を含む操作を行うように1つ以上のプロセッサに指示する、1つ以上のコンピュータが読み出し可能な媒体。
  2. 前記スライスファイルパッケージを前記記憶することは、
    前記スライスIDについて、一貫したハッシュアルゴリズムを使用して、前記多数のスライスファイルのうちの1つのスライスファイルの記憶アドレスを計算することと、
    前記記憶アドレスに基づいて、前記スライスファイルを記憶することと、を含む、請求項1に記載の1つ以上のコンピュータが読み出し可能な媒体。
  3. 前記多数のスライスファイルは、前記スライスファイルパッケージの所定のサイズの分割部を含む、請求項1に記載の1つ以上のコンピュータが読み出し可能な媒体。
  4. 前記アップロード要求は、前記ユーザデバイスのユーザID、前記ファイルのタイトル、および前記ファイルの場所を含む、請求項1に記載の1つ以上のコンピュータが読み出し可能な媒体。
  5. 前記アップロード要求は、ユーザIDと関連付けられ、前記操作はさらに、
    前記多数のスライスファイルのうちの1つのスライスファイルと関連付けられる1つのスライスIDにカウント数を与えることであって、前記カウント数は、ゼロに設定される、与えることと、
    前記ファイルIDと関連付けられる1つのファイルをアップロードするために、さらなるユーザIDと関連付けられるさらなるアップロード要求を受け取ることと、
    前記さらなるアップロード要求に応じて、前記1つのスライスIDと関連付けられる1つのスライスファイルが記憶された後に、前記カウント数を1に再設定することと、を含む、請求項1に記載の1つ以上のコンピュータが読み出し可能な媒体。
  6. 前記多数のスライスファイルの各スライスファイルは、スライスIDと、前記スライスIDと関連付けられるデータとを含む、請求項1に記載の1つ以上のコンピュータが読み出し可能な媒体。
  7. 各スライスファイルは、ハッシュ関数を使用してスライスIDが与えられる、請求項6に記載の1つ以上のコンピュータが読み出し可能な媒体。
  8. サーバによって、ユーザデバイスから、ファイルをアップロードするための要求を受け取ることと、
    前記要求に基づいて、前記ファイルのファイルIDを生成することと、
    前記ファイルIDを前記ユーザデバイスに伝送することと、
    前記ユーザデバイスから、前記ファイルIDと関連付けられる多数のスライスファイルを受け取ることと、
    前記多数のスライスファイルのうちの1つのスライスファイルの記憶アドレスを計算することと、
    前記記憶アドレスに基づいて、前記スライスファイルを記憶することと、
    を含む、コンピュータにより実現される方法。
  9. 前記記憶アドレスを前記計算することは、前記多数のスライスファイルと関連付けられるスライスIDについて、一貫したハッシュアルゴリズムを使用して、前記記憶アドレスを計算することを含む、請求項8に記載のコンピュータにより実現される方法。
  10. 前記スライスファイルを前記記憶することは、前記ファイルIDが前記多数のスライスファイルの各スライスファイルと関連付けられるように、前記多数のスライスファイルを記憶することを含む、請求項8に記載のコンピュータにより実現される方法。
  11. 前記多数のスライスファイルは、前記スライスファイルパッケージの所定のサイズの分割部を含む、請求項8に記載のコンピュータにより実現される方法。
  12. 1つのスライスIDと関連付けられる1つのスライスファイルが記憶されていないと判定するための、重複判定要求を受け取ることであって、前記多数のスライスファイルの各スライスファイルは、スライスIDが与えられる、受け取ることと、
    前記1つのスライスIDに基づいて、前記1つのスライスファイルを記憶することと、をさらに含む、請求項8に記載のコンピュータにより実現される方法。
  13. 前記1つのスライスファイルを記憶することは、
    前記1つのスライスIDについて、一貫したハッシュアルゴリズムを使用して、前記1つのスライスファイルの1つの記憶アドレスを計算することと、
    前記1つの記憶アドレスに基づいて、前記1つのスライスファイルを記憶することと、を含む、請求項12に記載のコンピュータにより実現される方法。
  14. 1つのユーザデバイスから、前記ファイルをダウンロードするためのダウンロード要求を受け取ることと、
    一貫したハッシュアルゴリズムを使用して、対応するスライスIDに基づいて、前記多数のスライスファイルの記憶アドレスを計算することと、
    前記多数のスライスファイルに基づいて、前記ファイルを生成することと、
    前記1つのユーザデバイスに前記ファイルを伝送することと、をさらに含む、請求項8に記載のコンピュータにより実現される方法。
  15. 前記多数のスライスファイルのうちの1つのスライスファイルと関連付けられる1つのスライスIDにカウント数を与えることであって、前記カウント数は、ゼロに設定され、前記要求は、ユーザIDと関連付けられる、与えることと、
    前記ファイルIDと関連付けられる1つのファイルをアップロードするための、さらなるユーザIDと関連付けられるさらなる要求を受け取ることと、
    前記さらなる要求に応じて、前記1つのスライスIDと関連付けられる前記1つのスライスファイルが記憶された後に、前記カウント数を1に再設定することと、をさらに含む、請求項8に記載のコンピュータにより実現される方法。
  16. 前記多数のスライスファイルのうちの1つのスライスファイルと関連付けられる1つのスライスIDにカウント数を与えることであって、前記カウント数は、ゼロに設定される、与えることと、
    前記ファイルを削除するための削除要求を受け取ることと、
    前記1つのスライスIDと関連付けられる前記カウント数がゼロである場合、前記1つのスライスファイルを削除することと、をさらに含む、請求項8に記載のコンピュータにより実現される方法。
  17. ユーザデバイスによって、ファイルをアップロードするための要求をサーバに伝送することと、
    前記サーバから、前記ファイルと関連付けられるファイルIDを受け取ることと、
    前記ファイルを多数のスライスファイルに分割することと、
    前記多数のスライスファイルと関連付けられるスライスIDを生成することと、
    前記スライスIDについて、一貫したハッシュアルゴリズムを使用して生成されるストレージアドレスに、前記多数のスライスファイルの各スライスファイルを記憶するために、前記多数のスライスファイルを伝送することと、
    を含む、コンピュータにより実現される方法。
  18. 前記各スライスファイルは、スライスIDと、前記スライスIDと関連付けられるデータとを含む、請求項17に記載のコンピュータにより実現される方法。
  19. 前記スライスIDを前記生成することは、メッセージダイジェストアルゴリズム5(MD5)を使用して実現される、請求項17に記載のコンピュータにより実現される方法。
  20. 前記要求は、前記ユーザデバイスと関連付けられるユーザID、前記ファイルのタイトル、およびファイルの場所を含む、請求項17に記載のコンピュータにより実現される方法。
JP2014515852A 2011-06-17 2012-05-31 クラウド記憶のためのファイル処理方法、システム、およびサーバクラスタ化システム Pending JP2014517420A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201110164407.4A CN102833294B (zh) 2011-06-17 2011-06-17 基于云存储的文件处理方法、系统及服务器集群系统
CN201110164407.4 2011-06-17
PCT/US2012/040169 WO2012173785A1 (en) 2011-06-17 2012-05-31 File processing method, system and server-clustered system for cloud storage

Publications (1)

Publication Number Publication Date
JP2014517420A true JP2014517420A (ja) 2014-07-17

Family

ID=47336264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014515852A Pending JP2014517420A (ja) 2011-06-17 2012-05-31 クラウド記憶のためのファイル処理方法、システム、およびサーバクラスタ化システム

Country Status (7)

Country Link
US (1) US9774564B2 (ja)
EP (2) EP3223165B1 (ja)
JP (1) JP2014517420A (ja)
CN (1) CN102833294B (ja)
HK (1) HK1173873A1 (ja)
TW (1) TWI528191B (ja)
WO (1) WO2012173785A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101709276B1 (ko) * 2016-11-17 2017-02-22 (주)세이퍼존 엔드 포인트 보안서버 관리 시스템
CN110781132A (zh) * 2019-10-24 2020-02-11 深圳前海环融联易信息科技服务有限公司 文件存储的实现方法、装置、及计算机设备

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8914457B2 (en) * 2009-10-06 2014-12-16 Red Hat, Inc. Caching of nodes in cache cluster
EP2993585B1 (en) * 2010-12-27 2017-06-28 Amplidata NV Distributed object storage system comprising performance optimizations
CN102884775B (zh) * 2012-06-25 2015-04-29 华为技术有限公司 一种资源获取方法及装置
CN103685337B (zh) * 2012-08-31 2018-03-27 腾讯科技(深圳)有限公司 共享文件的方法、终端设备及中转服务器
US8589659B1 (en) * 2012-11-08 2013-11-19 DSSD, Inc. Method and system for global namespace with consistent hashing
CN103078906A (zh) * 2012-12-26 2013-05-01 爱迪科特(北京)科技有限公司 文件透明迁移方法
JP5907061B2 (ja) * 2012-12-28 2016-04-20 ブラザー工業株式会社 仲介サーバ、通信装置、及び、コンピュータプログラム
CN103916421B (zh) * 2012-12-31 2017-08-25 中国移动通信集团公司 云存储数据服务装置、数据传输系统、服务器及方法
CN104247376B (zh) * 2013-04-02 2018-06-26 华为技术有限公司 云存储的文件上传方法、客户端、应用服务器及云存储系统
CN103198131B (zh) * 2013-04-11 2015-08-19 天脉聚源(北京)传媒科技有限公司 一种文件管理的方法和系统
US9276883B2 (en) * 2013-04-28 2016-03-01 Tencent Technology (Shenzhen) Company Limited Information collection, storage, and sharing platform
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术(北京)股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN104144186B (zh) * 2013-05-10 2017-12-01 中国电信股份有限公司 云计算环境中基于Web浏览器的数据上传方法与系统
WO2014205839A1 (zh) * 2013-06-29 2014-12-31 华为技术有限公司 一种文件下载的方法和装置
CN103412929A (zh) * 2013-08-16 2013-11-27 蓝盾信息安全技术股份有限公司 一种海量数据的存储方法
CN104426996B (zh) * 2013-09-11 2018-12-11 腾讯科技(深圳)有限公司 云业务处理方法和相关设备及通信系统
CN103442090B (zh) * 2013-09-16 2016-08-17 苏州市职业大学 一种数据分散存储的云计算系统
CN104462129B (zh) * 2013-09-22 2018-05-25 北大方正集团有限公司 分布式文件存储和查询方法及存取系统
CN103561056A (zh) * 2013-10-12 2014-02-05 北京奇虎科技有限公司 文件传输方法、设备及系统
CN103581319A (zh) * 2013-11-04 2014-02-12 汉柏科技有限公司 一种云计算基于网格化的设备管理方法
CN103559143A (zh) * 2013-11-08 2014-02-05 华为技术有限公司 数据拷贝管理装置及其数据拷贝方法
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
CN103685493A (zh) * 2013-12-05 2014-03-26 北京飞流九天科技有限公司 用于互联网文件的存储方法和系统
CN104702646A (zh) * 2013-12-09 2015-06-10 腾讯科技(深圳)有限公司 数据传输方法及相关装置和通信系统
CN104731516B (zh) * 2013-12-18 2019-03-01 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
CN103731499B (zh) * 2013-12-31 2018-01-05 兴天通讯技术(天津)有限公司 终端和文件传输方法
EP3113028B1 (en) * 2014-04-30 2018-10-31 Huawei Technologies Co., Ltd. Method, device, and system for interaction between hard disk drives
TWI511037B (zh) * 2014-05-09 2015-12-01 Wistron Corp 儲存叢集化系統與提供對叢集式儲存的存取的方法
TWI536816B (zh) 2014-05-12 2016-06-01 財團法人工業技術研究院 網路資料平行傳輸排程的方法與系統
CN105205011B (zh) * 2014-06-25 2019-01-18 华为技术有限公司 一种获取文件块引用计数的方法、普通客户端和管理客户端
CN104967640A (zh) * 2014-07-31 2015-10-07 腾讯科技(深圳)有限公司 一种数据存储方法、装置和系统
TWI604320B (zh) * 2014-08-01 2017-11-01 緯創資通股份有限公司 巨量資料存取方法以及使用該方法的系統
JP6483380B2 (ja) * 2014-09-10 2019-03-13 Dynabook株式会社 電子機器、システム、および同期方法
JP6288596B2 (ja) 2014-11-05 2018-03-07 華為技術有限公司Huawei Technologies Co.,Ltd. データ処理方法および装置
CN105721526B (zh) * 2014-12-04 2019-05-14 清华大学 一种终端、服务器文件同步的方法及装置
CN104486442B (zh) * 2014-12-29 2018-08-24 成都极驰科技有限公司 分布式存储系统的数据传输方法、装置
CN104571956A (zh) * 2014-12-29 2015-04-29 成都致云科技有限公司 一种数据写入方法及拆分装置
US10586063B2 (en) 2015-03-20 2020-03-10 Samsung Electronics Co., Ltd. Method and apparatus for storing file by using a plurality of cloud storages
KR102480414B1 (ko) * 2015-03-20 2022-12-23 삼성전자주식회사 복수개의 클라우드 스토리지를 이용한 파일 저장 방법 및 이를 위한 장치
RU2634224C2 (ru) * 2015-06-30 2017-10-24 Общество С Ограниченной Ответственностью "Яндекс" Система и способ и постоянный машиночитаемый носитель дублирования файлов на клиентском устройстве для облачного хранилища
CN105187489A (zh) * 2015-08-05 2015-12-23 深圳联友科技有限公司 可集群并支持多用户同时上传的文件传输方法和系统
US9935999B1 (en) * 2015-09-28 2018-04-03 Snap Inc. File download manager
CN106657182B (zh) 2015-10-30 2020-10-27 阿里巴巴集团控股有限公司 云端文件处理方法和装置
CN105306588A (zh) * 2015-11-17 2016-02-03 高新兴科技集团股份有限公司 一种基于哈希算法的对网络数据进行路由分派的方法
CN105373746B (zh) * 2015-11-26 2018-09-14 深圳市金证科技股份有限公司 一种分布式数据处理方法和装置
CN105516316B (zh) * 2015-12-10 2018-11-27 宁波远志立方能源科技有限公司 一种提高智能手机用户信息安全性的方法
CN105491134B (zh) * 2015-12-10 2018-11-27 宁波远志立方能源科技有限公司 一种智能终端的云存储方法
CN105763604B (zh) * 2016-02-04 2019-03-19 四川长虹电器股份有限公司 轻量级分布式文件系统及恢复下载文件原名的方法
KR102078189B1 (ko) * 2016-03-11 2020-02-20 주식회사 케이티 무선 액세스 망 슬라이싱 제어 장치와 그 장치가 무선 베어러 전송을 제어하는 방법
KR20180007630A (ko) * 2016-07-13 2018-01-23 헬로우링크 주식회사 식별번호를 이용한 파일 검색방법
KR20180007629A (ko) * 2016-07-13 2018-01-23 헬로우링크 주식회사 식별번호를 이용한 파일 검색방법
CN106302757A (zh) * 2016-08-19 2017-01-04 成都全码特时代科技有限公司 一种基于云存储的服务器集群系统
US10701176B1 (en) * 2016-09-23 2020-06-30 Amazon Technologies, Inc. Messaging using a hash ring with host groups
CN107872489B (zh) * 2016-09-28 2020-06-05 杭州海康威视数字技术股份有限公司 一种文件切片上传方法、装置及云存储系统
CN106503093B (zh) * 2016-10-13 2019-06-11 华东师范大学 一种适用于分布式计算环境的大型遥感影像重构方法
CN106845075B (zh) * 2016-12-20 2021-07-20 杭州联众医疗科技股份有限公司 一种集中诊断报告系统
US10616309B2 (en) * 2016-12-30 2020-04-07 Facebook, Inc. Systems and methods for resumable uploading of data in a social networking system
CN107172121A (zh) * 2017-03-29 2017-09-15 努比亚技术有限公司 一种防止数据重复提交的装置及其方法
CN108933805A (zh) * 2017-05-26 2018-12-04 武汉斗鱼网络科技有限公司 一种文件传输方法及系统
CN107273473A (zh) * 2017-06-08 2017-10-20 维沃移动通信有限公司 一种文件存储方法及装置、文件提取方法及装置
CN109088907B (zh) * 2017-06-14 2021-10-01 北京京东尚科信息技术有限公司 文件传递方法及其设备
WO2019033368A1 (zh) * 2017-08-17 2019-02-21 深圳市优品壹电子有限公司 数据存储方法及装置
WO2019033370A1 (zh) * 2017-08-17 2019-02-21 深圳市优品壹电子有限公司 数据获取方法及装置
CN107483612A (zh) * 2017-08-31 2017-12-15 郑州云海信息技术有限公司 一种云存储数据隐私保护方法及装置
CN109495434A (zh) * 2017-09-13 2019-03-19 北京国双科技有限公司 一种文件传输方法及装置
CN107528926A (zh) * 2017-10-11 2017-12-29 郑州云海信息技术有限公司 一种文件上传方法和系统
US11165862B2 (en) * 2017-10-24 2021-11-02 0Chain, LLC Systems and methods of blockchain platform for distributed applications
US10944804B1 (en) 2017-11-22 2021-03-09 Amazon Technologies, Inc. Fragmentation of time-associated data streams
US11025691B1 (en) * 2017-11-22 2021-06-01 Amazon Technologies, Inc. Consuming fragments of time-associated data streams
US10878028B1 (en) 2017-11-22 2020-12-29 Amazon Technologies, Inc. Replicating and indexing fragments of time-associated data streams
CN110011952B (zh) * 2018-01-05 2022-01-25 中国移动通信有限公司研究院 一种数据传输的方法、服务集群及客户端
CN110661829B (zh) * 2018-06-28 2021-09-21 杭州海康威视系统技术有限公司 文件下载方法及装置、客户端和计算机可读存储介质
CN109639807A (zh) * 2018-12-19 2019-04-16 中国四维测绘技术有限公司 一种基于slice切片的大数据量遥感影像文件网络传输方法
CN109710572B (zh) * 2018-12-29 2021-02-02 北京赛思信安技术股份有限公司 一种基于HBase的文件分片方法
CN109951514B (zh) * 2019-01-16 2022-03-25 平安科技(深圳)有限公司 基于云存储的文件处理方法、系统及计算机设备
CN110377611B (zh) * 2019-07-12 2022-07-15 北京三快在线科技有限公司 积分排名的方法及装置
CN111193785B (zh) * 2019-12-20 2023-05-02 北京淇瑀信息科技有限公司 一种文件切割传输方法、装置和电子设备
CN111614726B (zh) * 2020-04-24 2023-03-24 深圳震有科技股份有限公司 一种数据转发方法、集群系统及存储介质
CN111708743A (zh) * 2020-05-28 2020-09-25 浪潮电子信息产业股份有限公司 文件存储管理方法、文件管理客户端及文件存储管理系统
CN111464661B (zh) * 2020-06-17 2020-09-22 北京金迅瑞博网络技术有限公司 负载均衡方法、装置、代理设备、缓存设备及服务节点
CN112181900B (zh) * 2020-09-04 2024-05-14 中国银联股份有限公司 一种服务器集群中的数据处理方法与装置
CN112199052A (zh) * 2020-11-04 2021-01-08 江苏特思达电子科技股份有限公司 一种文件下载方法、装置及计算机设备
CN113992658B (zh) * 2021-10-28 2023-09-26 科大讯飞股份有限公司 数据传输方法及相关装置、设备、系统和存储介质
CN114338646A (zh) * 2021-11-29 2022-04-12 王建冬 文件交互传输方法、装置、设备及存储介质
CN114466004A (zh) * 2022-03-24 2022-05-10 成都新希望金融信息有限公司 一种文件传输方法、系统、电子设备及存储介质
CN115277678B (zh) * 2022-07-29 2024-02-06 招商局金融科技有限公司 文件下载方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038681A1 (en) * 2005-08-10 2007-02-15 Spare Backup, Inc. System and method of remote storage of data through connection from a server to a client
US20080126357A1 (en) * 2006-05-04 2008-05-29 Wambo, Inc. Distributed file storage and transmission system
JP2009205201A (ja) * 2008-02-26 2009-09-10 Kddi Corp 重複排除技術を用いたデータバックアップ方法、記憶制御通信装置及びプログラム
JP2010072740A (ja) * 2008-09-16 2010-04-02 Hitachi Software Eng Co Ltd インターネットバックアップにおける転送データ管理システム
WO2010100733A1 (ja) * 2009-03-05 2010-09-10 日立ソフトウエアエンジニアリング株式会社 統合重複排除システム、データ格納装置、及びサーバ装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5226118A (en) * 1991-01-29 1993-07-06 Prometrix Corporation Data analysis system and method for industrial process control systems
US6952737B1 (en) 2000-03-03 2005-10-04 Intel Corporation Method and apparatus for accessing remote storage in a distributed storage cluster architecture
US20030135539A1 (en) * 2001-01-23 2003-07-17 Tetsujiro Kondo Communication apparatus, communication method, eletronic device, control method of the electronic device, and recording medium
KR20010088742A (ko) 2001-08-28 2001-09-28 문의선 분산처리 및 피어 대 피어 통신을 이용한 네트워크 상의정보전송 병렬화 방법
US20030204602A1 (en) * 2002-04-26 2003-10-30 Hudson Michael D. Mediated multi-source peer content delivery network architecture
WO2004021347A1 (en) * 2002-09-02 2004-03-11 Settec, Inc. A copying apparatus for copying a recoding medium, a method thereof and a computer program thereof
JP4320195B2 (ja) * 2003-03-19 2009-08-26 株式会社日立製作所 ファイルストレージサービスシステム、ファイル管理装置、ファイル管理方法、id指定型nasサーバ、および、ファイル読出方法
JP4601969B2 (ja) * 2004-01-27 2010-12-22 株式会社日立製作所 ファイル入出力制御装置
US7100008B2 (en) * 2004-03-15 2006-08-29 Hitachi, Ltd. Long term data protection system and method
US7694088B1 (en) * 2005-03-31 2010-04-06 Symantec Operating Corporation System and method for efficient creation of aggregate backup images
US7844775B2 (en) 2005-09-23 2010-11-30 Avid Technology, Inc. Distribution of data in a distributed shared storage system
US8041677B2 (en) * 2005-10-12 2011-10-18 Datacastle Corporation Method and system for data backup
US8554748B1 (en) * 2005-11-30 2013-10-08 Netapp, Inc. Method and apparatus for differential file based update for embedded systems
US8055902B2 (en) 2007-01-12 2011-11-08 International Business Machines Corporation Method, system, and computer program product for data upload in a computing system
CN101637005B (zh) 2007-01-17 2014-04-09 英特托拉斯技术公司 用于片段文件共享的方法、系统以及装置
US8687530B2 (en) * 2008-05-09 2014-04-01 Microsoft Corporation Stateful scheduling with network coding for roadside-to-vehicle communication
US20090319530A1 (en) 2008-06-18 2009-12-24 International Business Machines Corporation Mechanism for unequivocally referencing content in web 2.0 applications
US8484162B2 (en) * 2008-06-24 2013-07-09 Commvault Systems, Inc. De-duplication systems and methods for application-specific data
JP5340664B2 (ja) 2008-07-30 2013-11-13 株式会社ソニー・コンピュータエンタテインメント データ配信システム
US8295257B2 (en) * 2009-03-13 2012-10-23 Telcordia Technologies, Inc. Scalable disruptive-resistant communication method
US8364644B1 (en) * 2009-04-22 2013-01-29 Network Appliance, Inc. Exclusion of data from a persistent point-in-time image
CN101605148A (zh) * 2009-05-21 2009-12-16 何吴迪 云存储的并行系统的架构方法
US20100312749A1 (en) 2009-06-04 2010-12-09 Microsoft Corporation Scalable lookup service for distributed database
US10230692B2 (en) * 2009-06-30 2019-03-12 International Business Machines Corporation Distributed storage processing module
US8280958B2 (en) 2009-07-13 2012-10-02 International Business Machines Corporation List passing in a background file sharing network
US8370307B2 (en) 2009-09-01 2013-02-05 Empire Technology Development Llc Cloud data backup storage manager
US8914457B2 (en) * 2009-10-06 2014-12-16 Red Hat, Inc. Caching of nodes in cache cluster
US8296410B1 (en) * 2009-11-06 2012-10-23 Carbonite, Inc. Bandwidth management in a client/server environment
US9311184B2 (en) * 2010-02-27 2016-04-12 Cleversafe, Inc. Storing raid data as encoded data slices in a dispersed storage network
US8832042B2 (en) * 2010-03-15 2014-09-09 Symantec Corporation Method and system to scan data from a system that supports deduplication
JP2011215794A (ja) 2010-03-31 2011-10-27 Fujitsu Ltd 分散ストレージシステム及びプログラム
TW201142646A (en) 2010-05-21 2011-12-01 xiang-yu Li Cloud data storage system
CN101924797B (zh) * 2010-08-26 2014-03-05 华为数字技术(成都)有限公司 资源下载的处理方法、装置及系统
US8898114B1 (en) * 2010-08-27 2014-11-25 Dell Software Inc. Multitier deduplication systems and methods
US8947547B1 (en) * 2010-09-12 2015-02-03 Thomas Nathan Millikan Context and content based automated image and media sharing
US8489812B2 (en) 2010-10-29 2013-07-16 International Business Machines Corporation Automated storage provisioning within a clustered computing environment
US8825972B1 (en) * 2010-11-19 2014-09-02 Symantec Corporation Method and system of producing a full backup image using an incremental backup method
US9489658B2 (en) * 2011-03-25 2016-11-08 Telcentris, Inc. Universal communication system
US8555130B2 (en) * 2011-10-04 2013-10-08 Cleversafe, Inc. Storing encoded data slices in a dispersed storage unit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038681A1 (en) * 2005-08-10 2007-02-15 Spare Backup, Inc. System and method of remote storage of data through connection from a server to a client
US20080126357A1 (en) * 2006-05-04 2008-05-29 Wambo, Inc. Distributed file storage and transmission system
JP2009205201A (ja) * 2008-02-26 2009-09-10 Kddi Corp 重複排除技術を用いたデータバックアップ方法、記憶制御通信装置及びプログラム
JP2010072740A (ja) * 2008-09-16 2010-04-02 Hitachi Software Eng Co Ltd インターネットバックアップにおける転送データ管理システム
WO2010100733A1 (ja) * 2009-03-05 2010-09-10 日立ソフトウエアエンジニアリング株式会社 統合重複排除システム、データ格納装置、及びサーバ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101709276B1 (ko) * 2016-11-17 2017-02-22 (주)세이퍼존 엔드 포인트 보안서버 관리 시스템
CN110781132A (zh) * 2019-10-24 2020-02-11 深圳前海环融联易信息科技服务有限公司 文件存储的实现方法、装置、及计算机设备

Also Published As

Publication number Publication date
HK1173873A1 (en) 2013-05-24
US9774564B2 (en) 2017-09-26
TW201301053A (zh) 2013-01-01
EP3223165B1 (en) 2018-10-24
TWI528191B (zh) 2016-04-01
EP2721504A1 (en) 2014-04-23
EP3223165A1 (en) 2017-09-27
CN102833294B (zh) 2015-05-20
WO2012173785A1 (en) 2012-12-20
US20130073691A1 (en) 2013-03-21
EP2721504B1 (en) 2017-07-19
CN102833294A (zh) 2012-12-19
EP2721504A4 (en) 2015-08-05

Similar Documents

Publication Publication Date Title
JP2014517420A (ja) クラウド記憶のためのファイル処理方法、システム、およびサーバクラスタ化システム
US9298732B2 (en) Searching cloud-based distributed storage resources using a set of expendable probes
KR101381014B1 (ko) 웹 서비스 클라이언트 인터페이스를 갖는 분배형 저장시스템
CN107562757B (zh) 基于分布式文件系统的查询、访问方法、装置及系统
TWI549080B (zh) The method, system and device for sending information of category information
US9560165B2 (en) BT offline data download system and method, and computer storage medium
WO2016180055A1 (zh) 数据存储、读取的方法、装置及系统
JP6388339B2 (ja) 分散キャッシングおよびキャッシュ分析
CN111090618B (zh) 一种数据读取方法、系统及设备
Littley et al. Bolt: Towards a scalable docker registry via hyperconvergence
US20140244794A1 (en) Information System, Method and Program for Managing the Same, Method and Program for Processing Data, and Data Structure
US20180107404A1 (en) Garbage collection system and process
US20150106468A1 (en) Storage system and data access method
WO2019196825A1 (zh) 基于区块链网络的资源获取方法和系统及存储介质和计算机设备
CN107493309B (zh) 一种分布式系统中的文件写入方法及装置
WO2016101759A1 (zh) 一种数据路由方法、数据管理装置和分布式存储系统
CN103369002A (zh) 一种资源下载的方法及系统
US11625192B2 (en) Peer storage compute sharing using memory buffer
US20170124107A1 (en) Data deduplication storage system and process
CN111444148A (zh) 基于MapReduce的数据传输方法和装置
JPWO2013186837A1 (ja) 情報処理システム、方法およびプログラム
TW201308115A (zh) 分散式的重複數據刪除系統及其處理方法
CN115495432A (zh) 支持多实例的方法、装置及设备
CN111147226A (zh) 数据存储方法、装置及存储介质
CN110677497B (zh) 一种网络介质分发方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160704

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161227