JP2023099186A - 複数の故障ドメインに及ぶストレージシステム - Google Patents
複数の故障ドメインに及ぶストレージシステム Download PDFInfo
- Publication number
- JP2023099186A JP2023099186A JP2023076567A JP2023076567A JP2023099186A JP 2023099186 A JP2023099186 A JP 2023099186A JP 2023076567 A JP2023076567 A JP 2023076567A JP 2023076567 A JP2023076567 A JP 2023076567A JP 2023099186 A JP2023099186 A JP 2023099186A
- Authority
- JP
- Japan
- Prior art keywords
- failure domain
- blocks
- failure
- backend
- stripe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012937 correction Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims 2
- 230000001737 promoting effect Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 17
- 230000004224 protection Effects 0.000 description 16
- 239000003795 chemical substances by application Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000006855 networking Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000033458 reproduction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2082—Data synchronisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
- Warehouses Or Storage Devices (AREA)
Abstract
【課題】複数の故障ドメインに及ぶストレージシステムを構築するための方法およびシステム提供する。【解決手段】分散型ファイルシステムにおいて、複数の故障ドメインが、ネットワークを介して互いに通信連結され、複数の故障ドメインのそれぞれが、1つまたは複数のストレージデバイスに連結される。耐障害性ストライプの2つ以上のブロックが各故障ドメイン内に置かれるように、耐障害性ストライプが、複数のストレージデバイスにわたって分散される。【選択図】図1
Description
優先権の主張
[0001]本出願は、2018年6月12日に出願の「Storage System Spanning Multiple Failure Domains」と題する米国仮特許出願第62/683,841号、および、2019年2月14日に出願の「Storage System Spanning Multiple Failure Domains」と題する米国特許出願第16/275,737号の優先権を主張する。
[0001]本出願は、2018年6月12日に出願の「Storage System Spanning Multiple Failure Domains」と題する米国仮特許出願第62/683,841号、および、2019年2月14日に出願の「Storage System Spanning Multiple Failure Domains」と題する米国特許出願第16/275,737号の優先権を主張する。
[0002]データストレージへの従来のアプローチの限界および短所は、図面を参照しながら本開示の以降で示される本方法およびシステムのいくつかの態様と、このようなアプローチとの比較を通じて、当業者には明らかになるであろう。
参照による組込み
[0003]「Distributed Erasure Coded Virtual Filesystem」と題する米国特許出願第15/243,519号が、本明細書によって全体として参照により本明細書に組み込まれる。
[0003]「Distributed Erasure Coded Virtual Filesystem」と題する米国特許出願第15/243,519号が、本明細書によって全体として参照により本明細書に組み込まれる。
[0004]特許請求の範囲でより完全に示されるように、図の少なくとも1つによって実質的に示されるような、および/または、図の少なくとも1つに関連して説明されるような、分散型ファイルシステムにおける複数の故障ドメインに及ぶストレージシステムを構築するための方法およびシステムが提供される。
[0012]従来、ファイルシステムは、メタデータ構造(例えば、ディレクトリ、ファイル、属性、ファイル内容)に対して集中型制御を使用する。ローカルファイルシステムが単一のサーバからアクセス可能であり、このサーバが故障した場合、さらなる保護がない場合、ファイルシステムのデータは失われる可能性がある。保護を追加するために、いくつかのファイルシステムは(例えば、ネットワークアプライアンス(NetApp)によって提供されるように)、能動的-受動的手法でコントローラの1つまたは複数のペアを使用して、2つ以上のコンピュータにまたがるメタデータを複製してきた。他の解決策は、(例えば、IBM GPFS、Dell EMC Isilon、Lustre、等によって提供されるような)クラスタ方式で複数のメタデータサーバを使用してきた。それでも、従来のクラスタ型システムにおけるメタデータサーバの数は少数に限定されるので、このようなシステムは、規模を変更することができない。
[0013]本開示におけるシステムは、小さいクラスタに適用可能であり、数千ものノードまで規模を変更することもできる。例えば、ソリッドステートドライブ(SSD:solid-state drive)の形で入手できるフラッシュメモリといった、不揮発性メモリ(NVM:non-volatile memory)に関して実施形態の例が論じられる。NVMは、4kBのブロックおよび128MBのチャンクに分割されてもよい。大きさ(extent)は、例えば、高速アクセスのためのRAMといった、揮発性メモリに記憶することができ、NVMストレージによってバックアップも行われる。大きさは、例えば、ブロックに記憶されたデータのうちの1MBに対して256個のポインタといった、ブロックに対するポインタを記憶することができる。他の実施形態では、より大きいまたは小さいメモリ分割が使用されてもよい。本開示におけるメタデータの機能は、多くのサーバにわたって効果的に拡散されてもよい。例えば、ファイルシステムの名前空間の特定の部分に大きい負荷が向けられる「ホットスポット」の場合、この負荷は、複数のノードにわたって分散されることが可能である。
[0014]図1は、本開示の態様による分散型ファイルシステムの様々な実例の構成を示す。ローカルエリアネットワーク(LAN)102が図1に示され、(j≧1のとき、1からJまでの整数でインデックスをつけられた)1つまたは複数のノード120を備え、任意選択として、(断続線によって示された)(M≧1のとき、1からMまでの整数でインデックスをつけられた)1つもしくは複数の専用ストレージノード106、(N≧1のとき、1からNまでの整数でインデックスをつけられた)1つもしくは複数の計算ノード104、および/または、リモートネットワーク118にLAN102を接続するエッジルータを備える。リモートネットワーク118は、任意選択として、(K≧1のとき、1からKまでの整数でインデックスをつけられた)1つもしくは複数のストレージサービス114、および/または(L≧1のとき、1からLまでの整数でインデックスをつけられた)1つもしくは複数の専用ストレージノード115を備える。
[0015]各ノード120j(jは整数であり、ここで、1≦j≦Jである)は、ネットワーク型コンピューティングデバイス(例えば、サーバ、パーソナルコンピュータ、または同様のもの)であり、デバイス104nのオペレーティングシステム上で直接的に、および/または、デバイス104nで動く1つもしくは複数の仮想マシンにおいて、プロセス(例えば、クライアントプロセス)を動かすための回路機器を備える。
[0016]計算ノード104は、ネットワーク型デバイスであり、仮想バックエンドなしで仮想フロントエンドを動かすことができる。計算ノード104は、単一ルート入出力仮想化(SR-IOV:single root input/output virtualization)をネットワークインターフェースカード(NIC:network interface card)に取り入れること、および、全てのプロセッサコアを使い尽くすことによって、仮想フロントエンドを動かすことができる。代替として、計算ノード104は、Linux(登録商標、以下同様。)カーネルのネットワーキングスタックを通じたネットワーク形成を迂回させること(routing)、および、カーネルのプロセススケジューリングを使用することによって仮想フロントエンドを動かすことができ、したがって、全コアを要求しない。これは、ユーザが全てのコアをファイルシステムにアロケートしたくない場合、または、ネットワーキングハードウェアがファイルシステム要件と互換性がない場合に有用である。
[0017]図2は、本開示の態様によるノードの実例の構成を示す。ノードは、フロントエンド202およびドライバ208、メモリコントローラ204、バックエンド206、ならびにSSDエージェント214を備える。フロントエンド202は、仮想フロントエンドであってもよく、メモリコントローラ204は、仮想メモリコントローラであってもよく、バックエンド206は、仮想バックエンドであってもよく、ドライバ208は、仮想ドライバであってもよい。本開示で使用されるように、仮想ファイルシステム(VFS:virtual filesystem)プロセスは、フロントエンド202、メモリコントローラ204、バックエンド206、およびSSDエージェント214の1つまたは複数を実装するプロセスである。したがって、1つの実例の実装形態では、ノードのリソース(例えば、プロセスリソースおよびメモリリソース)は、クライアントプロセスとVFSプロセスの間で共有されてもよい。VFSのプロセスは、クライアントアプリケーションの性能への影響を最小化するために、比較的少量のリソースを要求するように構成されてもよい。フロントエンド202、メモリコントローラ204、ならびに/または、バックエンド206および/もしくはSSDエージェント214は、ホスト201のプロセッサ上で、またはネットワークアダプタ218のプロセッサ上で動くことができる。マルチコアプロセッサについて、異なるVFSプロセスが、異なるコア上で動くことができ、サービスの異なるサブセットを動かすことができる。クライアントプロセス212の観点から、仮想ファイルシステムとのインターフェースは、VFSプロセスが動いている特定の物理マシンから独立している。クライアントプロセスは、ドライバ208およびフロントエンド202の役割を果たすために、ドライバ208およびフロントエンド202が存在することしか必要としない。
[0018]ノードは、オペレーティングシステム上で直接的に動く単一のテナントサーバ(例えば、ベアメタル)として、または、ベアメタルサーバ内の仮想マシン(VM:virtual machine)および/もしくはコンテナ(例えば、Linuxコンテナ(LXC:Linux container))として実装することができる。VFSは、VM環境としてLXCコンテナ内で動くことができる。したがって、VMの内部では、動くことができるものだけがVFSを備えるLXCコンテナである。代表的なベアメタル環境には、ユーザ空間アプリケーションがあり、VFSがLXCコンテナ内で動く。他のコンテナ型アプリケーションをサーバが動かしている場合、VFSは、コンテナ導入環境(例えばDocker)の管理範囲外のLXCコンテナの内部で動くことができる。
[0019]ノードは、オペレーティングシステムおよび/または仮想マシンモニタ(VMM:virtual machine monitor)(例えば、ハイパーバイザ)によってサービスされてもよい。VMMは、ホスト201上でノードを作り出し、動かすために使用されてもよい。複数のコアが、VFSを動かしている単一のLXCコンテナの内部に常駐することができ、VFSは、単一のLinuxカーネルを使用して、単一のホスト201上で動くことができる。したがって、単一のホスト201は、複数のフロントエンド202、複数のメモリコントローラ204、複数のバックエンド206、および/または、1つもしくは複数のドライバ208を備えることができる。ドライバ208は、LXCコンテナの範囲外のカーネル空間で動くことができる。
[0020]ユーザ空間222でネットワーキングスタック210を動かすために、SR-IOV PCIe仮想機能が使用されてもよい。SR-IOVは、PCI Expressの分離を可能にし、その結果、単一の物理的なPCI Expressが仮想環境で共有されることが可能になり、単一の物理サーバマシン上の異なる仮想構成要素に、異なる仮
想機能が提供されることが可能になる。I/Oスタック210は、VFSノードが標準的なTCP/IPスタック220をバイパスし、ネットワークアダプタ218と直接的に通信することを可能にする。VFSドライバ208へのロックレス・キューを通じて、ポータブルオペレーティングシステムインターフェースフォーUNIX(登録商標)(POSIX)のVFS機能が提供されてもよい。また、SR-IOVまたは完全なPCIe物理機能アドレスが、ユーザ空間222で不揮発性メモリエクスプレス(NVMe:non-volatile memory express)ドライバ214を動かすために使用されてもよく、したがって、Linux IOスタックを完全にバイパスする。NVMeは、PCI Express(PCIe)バスを介して取り付けられた不揮発性ストレージ媒体216にアクセスために使用されてもよい。不揮発性ストレージ媒体220は、例えば、ソリッドステートドライブ(SSD)の形で入手できるフラッシュメモリ、または、SSDもしくはメモリモジュール(DIMM)の形で入手できる可能性があるストレージクラスメモリ(SCM)であってもよい。他の例は、3D-XPointなどのストレージクラスメモリ技術を含むことができる。
想機能が提供されることが可能になる。I/Oスタック210は、VFSノードが標準的なTCP/IPスタック220をバイパスし、ネットワークアダプタ218と直接的に通信することを可能にする。VFSドライバ208へのロックレス・キューを通じて、ポータブルオペレーティングシステムインターフェースフォーUNIX(登録商標)(POSIX)のVFS機能が提供されてもよい。また、SR-IOVまたは完全なPCIe物理機能アドレスが、ユーザ空間222で不揮発性メモリエクスプレス(NVMe:non-volatile memory express)ドライバ214を動かすために使用されてもよく、したがって、Linux IOスタックを完全にバイパスする。NVMeは、PCI Express(PCIe)バスを介して取り付けられた不揮発性ストレージ媒体216にアクセスために使用されてもよい。不揮発性ストレージ媒体220は、例えば、ソリッドステートドライブ(SSD)の形で入手できるフラッシュメモリ、または、SSDもしくはメモリモジュール(DIMM)の形で入手できる可能性があるストレージクラスメモリ(SCM)であってもよい。他の例は、3D-XPointなどのストレージクラスメモリ技術を含むことができる。
[0021]SSDは、SSDエージェント214およびネットワーキング210と、物理的なSSD216を連結することによって、ネットワーク型デバイスとして実装されてもよい。代替として、SSDは、NVMe-oF(NVMe over Fabrics)などの、ネットワークプロトコルを使用することによって、ネットワーク接続型NVMe SSD222または224として実装されてもよい。NVMe-oFは、冗長なネットワークリンクを使用して、NVMeデバイスへのアクセスを可能にすることができ、このことにより、より高いレベルまたは回復力をもたらす。ネットワークアダプタ226、228、230および232は、NVMe SSD222および224を、サーバを使用しないネットワーク型NVMe-oFデバイスに変換するために、NVMe SSD222および224への接続のためのハードウェアアクセラレーションを備えることができる。NVMe SSDs222および224は、それぞれ、2つの物理ポートを備えることができ、データ全てが、これらのポートのいずれかを通じてアクセスされる可能性がある。
[0022]各クライアントプロセス/アプリケーション212は、オペレーティングシステム上で直接動くことができるか、または、オペレーティングシステムおよび/もしくはハイパーバイザによってサービスされた仮想マシンおよび/もしくはコンテナ内で動くことができる。クライアントプロセス212は、その基本機能の実施中に、ストレージからデータを読み込むこと、および/または、ストレージにデータを書き込むことができる。それでも、クライアントプロセス212の基本機能は、ストレージ関連のものではない(すなわち、プロセスは、そのデータが確実に記憶され、必要なときに検索可能であることにしか関心がなく、どこで、いつ、またはどのようにデータが記憶されるかには関心がない)。このようなプロセスを生じる実例のアプリケーションは、eメールサーバ、ウェブサーバ、オフィス生産性アプリケーション、顧客関係管理(CRM)、アニメーテッドビデオレンダリング、ゲノミクス計算、チップデザイン、ソフトウェアビルド、およびエンタープライズリソースプラニング(ERP)を含む。
[0023]クライアントアプリケーション212は、VFSドライバ208と通信する、カーネル224へのシステムコールを行うことができる。VFSドライバ208は、VFSフロントエンド202のキューに、対応するリクエストを入れる。いくつかのVFSフロントエンドが存在する場合、ドライバは、異なるフロントエンドにアクセスを負荷分散させることができ、確実に、単一のファイル/ディレクトリが同じフロントエンドを介して常にアクセスされるようにする。これは、ファイルまたはディレクトリのIDに基づいて、フロントエンドをシャーディングする(shard)ことによって行うことができる。VFSフロントエンド202は、その動作を担当するバケットに基づいて、適切なVFSバックエンドにファイルシステムリクエストをルートするためのインターフェースを提供する。適切なVFSバックエンドは、同じホスト上にあってもよく、または別のホスト上にあってもよい。
[0024]VFSバックエンド206は、いくつかのバケットをホストし、バケットのうちの各1つが、仮想ファイルシステムを別のやり方で管理するためのタスク(例えば、負荷分散、ジャーナリング、メタデータの維持、キャッシング、階層間のデータの移動、古くなったデータの削除、破損したデータの訂正、等)を受け取り、実行するというファイルシステムリクエストをサービスする。
[0025]VFS SSDエージェント214は、それぞれのストレージデバイス216との対話を遂行する。これは、例えば、アドレスを翻訳すること、および、(例えば、SATA、SAS、PCIe、または他の適切なバス上の)ストレージデバイスに発行されるコマンドを生成することを含むことができる。したがって、VFS SSDエージェント214は、ストレージデバイス216と、仮想ファイルシステムのVFSバックエンド206との間の中間体として動作する。SSDエージェント214は、NVMe-oF(NVMe over Fabrics)などの、標準プロトコルをサポートする標準的なネットワークストレージデバイスと通信することもできる。
[0026]図3は、本開示の実例の実装形態による分散型ファイルシステムの別の表現を示す。図3では、要素302は、上記の図2について説明されたものなどの、仮想ファイルシステムを常駐させる様々なノード(計算、ストレージ、および/またはVFS)の、メモリリソース(例えば、DRAMおよび/または他の短期メモリ)、ならびに処理リソース(例えば、x86プロセッサ、ARMプロセッサ、NIC、ASIC、FPGA、および/または同様のもの)を表す。要素308は、仮想ファイルシステムの長期ストレージを提供する1つまたは複数の物理ストレージデバイス216を表す。
[0027]図3に示されるように、物理ストレージは、複数の分散型耐障害性アドレス空間(DFRAS:distributed failure resilient address space)518に編成される。これらのそれぞれは、複数のチャンク310を含み、複数のチャンク310は、複数のブロック312を含む。チャンク310へのブロック312の編成は、いくつかの実装形態で利便性があるだけであり、全ての実装形態で行われなくてもよい。各ブロック312は、コミットされたデータ316(これは、様々な状態を呈することができ、下記で論じられる)、および/または、コミットされたデータ316を説明または参照するメタデータ314を記憶する。
[0028]複数のDFRASへのストレージ308の編成は、仮想ファイルシステムのノードの多く(おそらく全て)からの高性能並行コミットを可能にする(例えば、図1の全てのノード1041~104N、1061~106M、および1201~120Jが、同時コミットを並行に実施することができる)。1つの実例の実装形態では、仮想ファイルシステムのノードのそれぞれは、複数のDFRASのうちのそれぞれの1つまたは複数を所有し、ノードが所有するDFRASへの排他的な読込み/コミットアクセス権を有することができる。
[0029]各バケットは、DFRASを所有し、したがって、DFRASに書き込むときに、他のどのノードとも協調する必要はない。各バケットは、多くの異なるSSD上の多くの異なるチャンクにまたがってストライプを構築することができ、したがって、バケットのDFRASを有する各バケットは、多くのパラメータに現在基づいて、どの「チャンクストライプ」に書き込むべきかを選ぶことができ、このバケットにチャンクがアロケートされると、そうするために必要な協調はない。全てのバケットは、なにも協調する必要なく、全てのSSDに効果的に書き込むことができる。
[0030]各DFRASが、特定のノード上で動くDFRASの所有者バケットだけに所有され、アクセス可能であることは、(ストレージ308への実際の読込み/コミットに対して非同期的に実施されることが可能な、例えば、初期化中、またはノードの故障後の、DFRASを保持するバケットの(再)割当て中を除いて)VFSのノードのそれぞれが、他のどのノードとも協調する必要なく、ストレージ308の一部を制御することを可能にする。したがって、このような実装形態では、各ノードは、他のノードが何をしているかに関わらず、ノードのバケットのDFRASに対して読込み/コミットを行うことができ、ストレージ308への読込みおよびコミットの際に、どのようなコンセンサスにも達する必要はない。さらに、特定のノードの故障の場合には、特定のノードが複数のバケットを所有するということが、他のノードへのノードの作業負荷の、よりインテリジェントかつ効率的な再配分を可能にする(ある程度、全作業負荷を単一のノードに割り当てなければならず、これは、「ホットスポット」作り出す可能性がある)。この点に関して、いくつかの実装形態では、バケットの数は、任意の1つのバケットが、別のノードにかけることになる負荷を比較的小さくすることができるように、システムにおけるノードの数に比べて大きくてもよい。これは、他のノードの能力および容量に応じた、故障したノードの負荷のきめ細かい再配分を可能にする(例えば、能力および容量が大きいノードには、より大きい割合の故障したノードバケットが与えられてもよい)。
[0031]このような動作を可能にするために、ストレージ308への読込みおよびコミットが、適切なノードにリダイレクトされることが可能になるように、バケットの現在の所有ノードに各バケットをマッピングするメタデータが維持されてもよい。
[0032]全ファイルシステムのメタデータ空間(例えば、ディレクトリ、ファイル属性、ファイル内の内容範囲、等)が、小さく一様な断片(例えば「シャード(shard)」)に分解される(例えば、細断される、またはシャーディングされる)ことが可能なので、負荷分散は可能である。例えば、30k個のサーバを有する大きいシステムは、128k個または256k個のシャードにメタデータ空間を細断することができる。
[0033]それぞれのこのようなメタデータのシャードは、「バケット」内に維持されてもよい。各VFSノードは、いくつかのバケットにまたがって担当することができる。所与のバックエンド上でバケットがメタデータのシャードをサーブしているとき、バケットは、「アクティブ」であるか、または、このバケットの「リーダ(leader)」であるとみなされる。典型的には、VFSノードよりはるかに多くのバケットがある。例えば、6個のノードを有する小さいシステムは、120個のバケットを有することができ、1,000個のノードを有するより大きいシステムは、8k個のバケットを有することができる。
[0034]各バケットは、ノードが、ノードのバケットに対してペンタグループを形成する典型的には5つのノードといった、ノードの小さいセット上に対してアクティブであってもよい。クラスタ構成は、各バケットへのペンタグループの割当てについて、全ての参加ノードを最新に保つ。
[0035]各ペンタグループは、それ自体を監視する。例えば、クラスタが10k個のサーバを有し、各サーバが6個のバケットを有する場合、各サーバは、そのバケットのステータスを維持するために、30個の異なるサーバと会話する必要しかなくなる(6個のバケットは、6個のペンタグループを有することになるので、6×5=30である)。これは、集中型エンティティが全てのノードを監視し、クラスタ全体の状態を保たなければならない場合より、はるかに少ない数である。ペンタグループの使用は、クラスタサイズが大きくなったときでも、より多くの作業をノードが実施しないので、より大きいクラスタで性能の規模を変更することを可能にする。これは、「ダム(dumb)」モードでは、小さいクラスタが、物理ノードが存在するよりも多くの通信を実際に生成する可能性があるという短所を課す可能性があるが、この短所は、サーバが共有するバケット全てを有する2つのサーバ間で、ただ1つのハートビートを送ることによって克服される(クラスタが大きくなるにつれて、これは、ただ1つのバケットに変化することになるが、小さい5つのサーバクラスタを有している場合、クラスタは、全てのメッセージに全てのバケットを含むだけになり、各サーバは、他の4つと会話するだけになる)。ペンタグループは、Raftコンセンサスアルゴリズムに似たアルゴリズムを使用して、決定する(すなわち、コンセンサスに達する)ことができる。
[0036]各バケットは、バケットを動かすことができる計算ノードのグループを有することができる。例えば、5つのVFSノードは、1つのバケットを動かすことができる。それでも、グループ内のノードのただ1つが、任意の与えられた瞬間におけるコントローラ/リーダである。さらに、2つのバケットは、十分大きいクラスタのために同じグループを共有しない。クラスタ内に5つまたは6つのノードしかない場合、ほとんどのバケットは、バックエンドを共有することができる。適度に大きいクラスタには、多くの別個のノードグループがある。例えば、26個のノードで、
より多くの可能な5ノードグループ(すなわち、ペンタグループ)がある。
[0037]グループ内の全てのノードは、ノードがこのバケットの実際のアクティブコントローラ(すなわち、リーダ)であることについて、知っており、同意する(すなわち、コンセンサスに達する)。バケットにアクセスするノードは、グループの(例えば、5つの)メンバから、このバケットに対するリーダだった最後のノードを覚えていること(「キャッシュすること」)ができる。ノードが、バケットリーダにアクセスする場合、バケットリーダは、リクエストされた動作を実施する。現在のリーダではないノードにバケットがアクセスする場合、このノードは、アクセスを「リダイレクトする」ようにリーダに指示する。キャッシュされたリーダノードにアクセスするタイムアウトがある場合、接触するノードは、同じペンタグループの異なるノードを試行することができる。クラスタ内のノード全てがクラスタの共通「構成」を共有し、これにより、ノードは、どのサーバが各バケットを動かすことができるかについて知ることができる。
[0038]各バケットは、ファイルシステム上で動いているアプリケーションによってどれだけ激しくバケットが使用されているかを示す負荷値/使用量値を有することができる。例えば、11個の軽く使用されるバケットを有するサーバノードは、使用されるバケットの数に不均衡がある場合でも、9個の激しく使用されるバケットを有するサーバの前に動かすために、メタデータの別のバケットを受け取ることができる。負荷値は、平均レスポンスレイテンシ、同時に動く動作の数、消費されるメモリ、または他の基準値に従って決定されてもよい。
[0039]再配分は、VFSノードが故障していないときでも同様に発生させることができる。追跡した負荷基準値に基づいて、1つのノードが、他よりもビジー状態であることをシステムが識別した場合、システムは、あまりビジー状態ではない別のサーバに、システムのバケットのうちの1つを移動させる(すなわち、「フェールオーバー」させる)ことができる。それでも、異なるホストにバケットを実際に移す前に、書込みと読込みをそらすことによって、負荷分散が達成されてもよい。それぞれの書込みは、最終的に、DFRASによって判定されたノードの異なるグループで終わる可能性があるので、より高い負
荷を有するノードが、データが書き込まれているストライプの中にあるように選択される可能性はない。また、システムは、非常に負荷の高いノードからの読込みをサーブしないように選ぶこともできる。例えば、「劣化モード読込み(degraded mode read)」が実施されてもよく、非常に負荷の高いノードにおけるブロックは、同じストライプの他のブロックから再現される。劣化モード読込みは、同じストライプ内の残りのノードによって実施される読込みであり、データは、障害保護を介して再現される。劣化モード読込みは、このノードがダウンしていることを、読込みのイニシエータが仮定することができるので、読込みレイテンシがとても高いときに実施されてもよい。より高い読込みレイテンシを作り出すのに十分、負荷が高い場合、クラスタは、他のノードからこのデータを読み込むこと、および、劣化モード読込みを使用して、必要なデータを再現することに戻ることができる。
荷を有するノードが、データが書き込まれているストライプの中にあるように選択される可能性はない。また、システムは、非常に負荷の高いノードからの読込みをサーブしないように選ぶこともできる。例えば、「劣化モード読込み(degraded mode read)」が実施されてもよく、非常に負荷の高いノードにおけるブロックは、同じストライプの他のブロックから再現される。劣化モード読込みは、同じストライプ内の残りのノードによって実施される読込みであり、データは、障害保護を介して再現される。劣化モード読込みは、このノードがダウンしていることを、読込みのイニシエータが仮定することができるので、読込みレイテンシがとても高いときに実施されてもよい。より高い読込みレイテンシを作り出すのに十分、負荷が高い場合、クラスタは、他のノードからこのデータを読み込むこと、および、劣化モード読込みを使用して、必要なデータを再現することに戻ることができる。
[0040]各バケットは、独自の分散型イレイジャコーディングインスタンス(すなわち、DFRAS518)を管理し、他のバケットと連携して、読込みまたは書込み動作を実施する必要がない。異なるバケットに対してそれぞれ、同時に作業する何千もの同時の分散型イレイジャコーディングインスタンスが潜在的に存在する。これは、任意の大きいファイルシステムが、協調される必要がない独立した断片に分割されることを効果的に可能にするので、スケーリング性能の切り離せない部分であり、したがって、スケールに関わらず高性能をもたらす。
[0041]各バケットは、そのシャードに属するファイルシステム動作全体を遂行する。例えば、ディレクトリ構造、ファイル属性、およびファイルデータ範囲は、特定のバケットの管轄区域に属することになる。
[0042]任意のフロントエンドから行われる動作は、どのバケットがこの動作を所有しているかを見つけ出すことによってスタートする。次に、このバケットに対するバックエンドリーダ、およびノードが決定される。この決定は、既知の最新のリーダを試行することによって実施されてもよい。既知の最新のリーダが現在のリーダではない場合、このノードは、どのノードが現在のリーダであるかを知ることができる。既知の最新のリーダが、もはやバケットのペンタグループの一部ではない場合、このバックエンドは、フロントエンドが構成に戻って、バケットのペンタグループのメンバを見つけるべきであることをフロントエンドに知らせることになる。動作の分散は、標準システム内の単一のコンピュータによってではなく、複数のサーバによって、複雑な動作が遂行されることを可能にする。
[0043]クラスタのサイズが小さく(例えば、5)、ペンタグループが使用される場合、同じグループを共有するバケットが存在することになる。クラスタサイズが大きくなると、2つのグループが同一にならないように、バケットが再分散される。
[0044]故障ドメインは、単一の構成要素の故障により、故障する(完全に、または一時的に利用不能になる)可能性のあるストレージデバイスのセットである。単一のサーバの故障がSSDのグループをダウンさせることになる場合、単一のサーバ上のSSDのこのグループは、故障ドメインとみなされてもよい。ラックが単一のネットワークスイッチを有する場合、このラックは、スイッチの故障により、全ラックがアクセス不能になる場合、故障ドメインとみなされる可能性がある。故障ドメインは、設置時に構成されてもよい。また、故障ドメインの構成は、グラフィカルユーザインターフェース(GUI)、コマンドラインインターフェース(CLI)、またはアプリケーションプログラミングインターフェース(API)から制御されてもよい。故障ドメインの定義が設定されていない場合、単一のサーバが、故障ドメインとして使用されてもよい。このサーバ上にあるSSDの全てが、データ配置の観点から、大きい単一のSSDとして扱われてもよい。
[0045]図4は、本開示の実例の実装形態による分散型ファイルシステム400の表現を示す。分散型ファイルシステム400は、第1の故障ドメイン409a、第2の故障ドメイン409b、および第3の故障ドメイン409cを備える。
[0046]第1の故障ドメイン409aは、少なくとも1つのサーバ401a、および少なくとも1つのストレージデバイス411aを備える。サーバ401aは、第1のフロントエンド403aおよび第1のバックエンド405aを備える。第1のバックエンド405aは、少なくとも1つのバケット407aを備える。少なくとも1つのストレージデバイス411aは、複数のソリッドステートデバイスを備えることができる。少なくとも1つのストレージデバイス411aは、例えば、ブロックa1およびブロックa2といった、複数のブロックに構成されてもよい。
[0047]第2の故障ドメイン409bは、少なくとも1つのサーバ401bおよび少なくとも1つのストレージデバイス411bを備える。サーバ401bは、第2のフロントエンド403bおよび第2のバックエンド405bを備える。第2のバックエンド405bは、少なくとも1つのバケット407bを備える。少なくとも1つのストレージデバイス411bは、複数のソリッドステートデバイスを備えることができる。少なくとも1つのストレージデバイス411bは、例えば、ブロックb1およびブロックb2といった、複数のブロックに構成されてもよい。
[0048]第3の故障ドメイン409cは、少なくとも1つのサーバ401cおよび少なくとも1つのストレージデバイス411cを備える。サーバ401cは、第3のフロントエンド403cおよび第3のバックエンド405cを備える。第3のバックエンド405cは、少なくとも1つのバケット407cを備える。少なくとも1つのストレージデバイス411cは、複数のソリッドステートデバイスを備えることができる。少なくとも1つのストレージデバイス411cは、例えば、ブロックc1およびブロックc2といった、複数のブロックに構成されてもよい。
[0049]バケット407a、407b、および407cは、複数のブロックを含む耐障害性ストライプを構築するように動作可能である。例えば、第1のバックエンド405aにおけるバケット407aは、ストライプ413を構築することができ、ストライプ413は、第1の故障ドメイン409aのブロックa1およびa2、第2の第1の故障ドメイン409bのブロックb1およびb2、ならびに、第3の故障ドメイン409cのブロックc1およびc2を含む。複数のブロックa1、a2、b1、b2、c1、およびc2のうちの2つ以上のブロックは、エラー訂正情報を含むように構成される。
[0050]第1の故障ドメイン409aの故障時、ブロックa1およびa2は、ブロックb1、b2、c1、および/またはc2に応じて再生成されてもよい。第2の故障ドメイン409bの故障時、ブロックb1およびb2は、ブロックa1、a2、c1、および/またはc2に応じて再生成されてもよい。
[0051]第1の故障ドメイン409aおよび第2の故障ドメイン409bが互いに通信を喪失した場合、第3の故障ドメイン409cは、第1の故障ドメイン409aと第2の故障ドメイン409bのどちらが、システムを動かし続けることになるかを判定するように動作可能である。第3の故障ドメイン409cによって許可が与えられない限り、第1の故障ドメイン409aも第2の故障ドメイン409bも耐障害性ストライプ413を再構築しない。第3の故障ドメイン409cのブロックc1およびc2は、ストライプ413を再構築する際に使用されるデータを含んでも、含まなくてもよい。
[0052]第1のバックエンド405aにおけるバケット405cが、耐障害性ストライプ413の初期リーダであってもよい。それでも、第1の故障ドメインの故障時には、第2のバックエンド405bのバケット407bが、再構築された耐障害性ストライプ413のリーダになることができる。再構築された耐障害性ストライプ413は、第1の故障ドメイン409aが利用不能である場合、ブロックa1およびa2を使用することができない。
[0053]大きい故障ドメインが定義されてもよい。例えば、この故障ドメイン内のサーバ全てにあるSSDの全ては、データ配置およびストライプ構成が考慮されるとき、SSDの全てが、1つの大きいSSDストレージデバイスであるかのように扱われてもよい。これは、同じ故障ドメイン上の同じストライプに対する2つのデータブロックがなくても、ストライプが他の故障ドメインから常に再構築されることを可能にするので、ファイルシステムが、完全な故障ドメインの故障に耐えることを可能にする。
[0054]より大きい故障ドメインは、ストライプグループの量を減らし、再構築時間を増加させる。再構築プロセスは、他の故障ドメイン内の全ての利用可能なコンピュータから動くことができるので、全てのストライプが、同時に再構築されてもよい。
[0055]最も広いストライプサイズは、故障ドメインの量で限定されてもよい。例えば、10個の故障ドメインでは、8つのデータブロックが、2つのエラー保護/訂正ブロックで(すなわち、8+2個のストライプを使用して)保護されることが可能である。同様に、10個の故障ドメインでは、6つのデータブロックが、4つのエラー保護/訂正ブロックで(すなわち、6+4個のストライプを使用して)保護されることが可能である。
[0056]また、故障ドメインは、各故障ドメイン内の単一のストライプから、データ配置の最大量を限定することができる。例えば、3つまたは4つのデータセンタを大都市圏に有する組織は、そのデータセンタ全てにまたがってクラスタを動かすことができるので、1つのデータセンタが故障した場合、残りのデータセンタが動作を続けることができる。
[0057]3つのデータセンタでは、ファイルシステムは、5+4個の方式で保護されることが可能であり、ここで、3つ以下のデータが、同じ故障ドメインにあってもよい。この例では、データセンタが故障した場合でも、再構築するために使用されることが可能な各ストライプからの、少なくとも6つのデータを有する2つの他のデータセンタが依然として存在する。3つのデータセンタのケースは、同じ故障ドメイン内に2つ以下のデータがある4+2個の保護を使用することもできる。4つのデータセンタでは、例えば、同じ故障ドメイン内に2つ以下のデータがある4+2個の保護が使用されることが可能である。
[0058]2つのデータセンタは、各データセンタ内に2つ以下のデータピース/ブロックがある2+2個のデータ保護を使用することができる。それでも、このケースは、どのデータセンタが活動しているかをファイルシステムが判定する必要があり、このことにより、独立して作動をスタートする2つのデータセンタにクラスタが単に分かれる「スプリットブレイン」の状況を防ぐ。「スプリットブレイン」のシナリオを防ぐために、別のインスタンス/サーバが、第3のデータセンタに追加されてもよい。第3のデータセンタは、2つのデータセンタとの通信を監視/制御することができ、第1および第2のデータセンタが互いに通信を喪失した場合、(例えば、第3の故障ドメインにおける)この第3のデータセンタは、サーバのどちらの半分が、システムとして動き続けることができるかを判定すること(ならびに、第1および第2のデータセンタ内のサーバに知らせること)ができる。動作し続ける(およびデータの再構築をスタートする)ための許可を、タイブレーカノード(第3のデータセンタ)がハーフクラスタに与えない限り、ハーフクラスタは、ハーフクラスタ自体で作動することを促進されることはない。
[0059]このような状況の中で再構築するとき、残りの故障ドメインが全てダウンしている限り、ファイルシステムは、アップしている残りの故障ドメインにデータを再構築して、個々のサーバ故障に対する高い回復力を維持することになる。この故障ドメインがオンラインに戻ると、データは、各故障ドメイン上の各ストライプから、データピースの必要な最大量を維持するために、再配布される(もう一度再構築される)ことになる。
[0060]可用性グループは、ともにフェールオーバーし、故障ドメインとみなされるサーバのグループである。可用性グループがアップしているとき、可用性グループは、データにアクセスすることができる。可用性グループがともにダウンしているとき、他のサーバは、システムの定義されたデータセットにまたがるデータに依然としてアクセスすることができる。可用性グループは、データ分散を制御する別の方式である。可用性グループは、互いに保護するサーバおよびファイルシステムのグループ(例えば、大きい名前空間のサブセット)を選ぶ。可用性グループは、例えば、このデータセンタ内の特定の部屋にあってもよい。これらのサーバがアップしている限り、このファイルシステムのための全てのデータが、他のサーバにではなく、これらのサーバに記憶されることになる。その結果、他のサーバが故障しても(例えば、データセンタの他の部屋が電力を喪失しても)、このファイルシステムは、これらのサーバ上で依然として利用可能になる。また、可用性グループは、単一のラック内の全てのサーバとして定義することができる。このラックがアップし、動いている限り、サービスは、クラスタの他のラックから独立したこのラックから動作を続けることができる。
[0061]図5は、本開示の実例の実装形態による分散型ファイルシステムを生成するための実例の方法を示す流れ図である。ブロック501では、複数のデータピースが、第1の故障ドメインによって受け取られる。ブロック503では、複数のエラー訂正ピースが、複数のデータピースに応じて生成される。ブロック505では、複数のブロックを含む耐障害性ストライプが、第1の故障ドメインの第1のバックエンドによって構築される。耐障害性ストライプは、第1のバックエンド内のバケットによって構築されてもよい。第1のバックエンド内のこのバケットは、別のバケットがリーダに昇格されるまで、耐障害性ストライプのリーダになる。
[0062]複数のブロックの各ブロックは、複数のデータピースのうちの1つのデータピース、または複数のエラー訂正ピースのうちの1つのエラー訂正ピースを含む。ブロック507では、耐障害性ストライプの2つ以上のブロックが、第1の故障ドメイン内に置かれ、耐障害性ストライプの2つ以上の他のブロックが、第2の故障ドメイン内に置かれる。
[0063]ブロック509では、第1の故障ドメインが故障した場合、第1の故障ドメイン内のブロックが、第2の故障ドメイン内のブロックに応じて再生成される。ブロック511では、第2の故障ドメインが故障した場合、第2の故障ドメイン内のブロックが、第1の故障ドメイン内のブロックに応じて再生成される。
[0064]ネットワーククラスタ内に2個の故障ドメインしかない場合、第1および第2の故障ドメインが互いに通信を喪失したことを、別のデバイスが検出することができる。この他のデバイスは、次に、第1の故障ドメインと第2の故障ドメインのどちらが、耐障害性ストライプを再構築することになるかを判定することができる。一定の実施形態では、第3の故障ドメインによって許可が与えられない限り、第1の故障ドメインも第2の故障ドメインも耐障害性ストライプを再構築することができない。
[0065]バケットリーダが、故障しているドメイン内にある場合、別の故障ドメイン内のバケットが、耐障害性ストライプが再構築されたときに、耐障害性ストライプのリーダに
なるように昇格されてもよい。
なるように昇格されてもよい。
[0066]図6は、複数のソリッドステートストレージディスク上に2つの分散型耐障害性アドレス空間が常駐する実例の実装形態を示す。
[0067]チャンク9101,1~910D,Cは、複数のチャンクストライプ9201~920S(Sは整数である)に編成されてもよい。1つの実例の実装形態では、各チャンクストライプ920s(sは整数であり、ここで、1≦s≦Sである)は、前方誤り訂正(例えば、イレイジャコーディング)を使用して別々に保護される。したがって、任意の特定のチャンクストライプ920sにおけるチャンク910d,cの数は、所望のレベルのデータ保護に基づいて決定されてもよい。
[0068]例証のために、各チャンクストライプ920sが、N=M+K(ここで、N、M、およびKのそれぞれは整数である)個のチャンク910d,cを含むと仮定すると、N個のチャンク910d,cのうちのM個は、データディジット(典型的には、現在のストレージデバイスのためのバイナリディジットまたは「ビット」)を記憶することができ、N個のチャンク910d,cのうちのK個は、保護ディジット(やはり、典型的には、ビット)を記憶することができる。各ストライプ920sについて、次に、仮想ファイルシステムは、N個の異なる故障ドメインからN個のチャンク910d,cを割り当てることができる。
[0069]本明細書で使用されるように、「故障ドメイン」は、構成要素のうちの任意のただ1つの故障(構成要素が電力を喪失すること、反応しなくなること、および/または同様のもの)が、構成要素全ての故障を生じる可能性がある構成要素のグループを指す。例えば、ラックが、単一のトップオブザラックスイッチを有する場合、このスイッチの故障が、このラック上の(例えば、計算、ストレージ、および/またはVFSノードといった)構成要素全てへの接続をダウンさせることになる。したがって、残りのシステムに対して、これは、このラック上の構成要素全てが一緒に故障した場合に等しい。本開示による仮想ファイルシステムは、チャンク910より少ない故障ドメインを含むことができる。
[0070]仮想ファイルシステムのノードが、このようなノードあたり1つのストレージデバイス906しかないという完全に冗長な方式で接続され、電力供給される1つの実例の実装形態では、故障ドメインは、この単一のストレージデバイス906だけになる可能性がある。したがって、1つの実例の実装形態では、各チャンクストライプ920sは、ストレージデバイス9061~906DのうちのN個のそれぞれに常駐する複数のチャンク910d,cを含む(したがって、DはNより大きいか、または等しい)。このような実装形態の例が図9に示される。
[0071]図6では、D=7、N=5、M=4、K=1であり、ストレージは、2つのDFRASに編成される。これらの数は例証にすぎず、限定することを意図するものではない。第1のDFRASの3つのチャンクストライプ920が、例証として任意にコールアウトされる。第1のチャンクストライプ9201は、チャンク9101,1、9102,2、9103,3、9104,5、および9105,6からなり、第2のチャンクストライプ9202は、チャンク9103,2、9104,3、9105,3、9106,2、および9107,3からなり、第3のチャンクストライプ9203は、チャンク9101,4、9102,4、9103,5、9105,7、および9107,5からなる。
[0072]図6の単純な例ではD=7かつN=5であるが、実際の実装形態では、Dは、(例えば、1より大きい整数の倍数による、および場合によっては、多くの桁数による)Nよりはるかに大きくてもよく、2つの値は、N個のストレージデバイス906の同じセットに(または、より一般には、N個の故障ドメインの同じセットに)常駐する単一のDFRASの任意の2つのチャンクストライプ920の確率が所望の閾値を下回るように選ばれてもよい。このように、任意の単一のストレージデバイス906d(または、より一般には、任意の単一の故障ドメイン)の故障は、(DおよびNの選ばれた値、N個のストレージデバイス906のサイズ、ならびに故障ドメインの配置に基づいて決定された所望の統計学的確率で)任意の特定のストライプ920sの多くても1つのチャンク910b,cの喪失を生じることになる。さらに、2重の故障により、圧倒的多数のストライプが、多くても1つのチャンク910b,cを喪失することになり、(DおよびNの値に基づいて決定された)少数のストライプだけが、任意の特定のストライプ920sから2つのチャンクを喪失することになる(例えば、2つの故障ストライプの数は、1つの故障ストライプの数より指数関数的に小さくなる可能性がある)。
[0073]例えば、各ストレージデバイス906dが1TBであり、各チャンクが128MBである場合、ストレージデバイス906dの故障により、(DおよびNの選ばれた値、N個のストレージデバイス906のサイズ、ならびに故障ドメインの配置に基づいて決定された所望の統計学的確率で)7812(=1TB/128MB)個のチャンクストライプ920が1つのチャンク910を喪失することになる。それぞれのこのような影響を受けたチャンクストライプ920sについて、喪失チャンク910d,cは、適切な前方誤り訂正アルゴリズム、およびチャンクストライプ920sの他のN-1個のチャンクを使用して、素早く再現されることが可能である。さらに、影響を受けた7812個のチャンクストライプが、ストレージデバイス9061~906Dの全てにわたって一様に分散されるので、喪失した7812個のブロック910d,cを再現することは、(DおよびNの選ばれた値、N個のストレージデバイス906のサイズ、ならびに故障ドメインの配置に基づいて決定された所望の統計学的確率で)ストレージデバイス9061~906Dのそれぞれから同じ量のデータを読み込むことを伴うことになる(すなわち、喪失データを再現する負担は、故障からの非常に素早い回復をもたらすように、ストレージデバイス9061~906Dの全てにわたって一様に分散される)。
[0074]次に、ストレージデバイス9061~906Dのうちの2つの同時故障(または、より一般には、2つの故障ドメインの同時故障)のケースに移ると、ストレージデバイス9061~906Dの全てにわたる各DFRASのチャンクストライプ9201~920Sの一様な分散により、非常に少数のチャンクストライプ9201~920Sだけが、これらのN個のチャンクのうちの2つを喪失していることになる。仮想ファイルシステムは、チャンクストライプ9201~920Sとストレージデバイス9061~906Dとの間のマッピングを示すメタデータに基づいて、このような2つの喪失チャンクストライプを素早く識別するように動作可能であってもよい。このような2つの喪失チャンクストライプが識別されると、仮想ファイルシステムは、1つの喪失チャンクストライプの再現を始める前に、これらの2つの喪失チャンクストライプの再現を優先させることができる。残りのチャンクストライプは、単一の喪失チャンクだけを有することになり、これら(影響を受けたチャンクストライプの大半)について、2つのストレージデバイス906dの同時故障は、ただ1つのストレージデバイス906dの故障と同じである。類似の原理は、第3の同時故障などに適用される(3つの故障ブロックを有するチャンクストライプの数は、2つの同時故障シナリオにおける2つの故障ブロックを有する数よりむしろ小さくなる)。1つの実例の実装形態では、チャンクストライプ920sの再現が実施される比率は、チャンクストライプ920s内の喪失の数に基づいて制御されてもよい。これは、例えば、再現のための読込みおよびコミットが実施される比率、再現のためのFEC計算が実施される比率、再現のためのネットワークメッセージが通信される比率、等を制御することによって達成されてもよい。
[0075]図7は、本開示の実例の実装形態による仮想ファイルシステムの不揮発性メモリ
に記憶されたデータを保護するために使用されることが可能な前方誤り訂正方式を示す。DFRASのブロックストライプ9301~9304のストレージブロック9021,1~9027,7が示される。図7の保護方式では、各ストライプの5つのブロックが、データディジットのストレージのためのものであり、各ストライプの2つのブロックが、保護ディジットのデータストレージのためのものである(すなわち、M=5かつK=2である)。図7では、以下の方程式(1)~(9)を使用して、保護ディジットが計算される。
に記憶されたデータを保護するために使用されることが可能な前方誤り訂正方式を示す。DFRASのブロックストライプ9301~9304のストレージブロック9021,1~9027,7が示される。図7の保護方式では、各ストライプの5つのブロックが、データディジットのストレージのためのものであり、各ストライプの2つのブロックが、保護ディジットのデータストレージのためのものである(すなわち、M=5かつK=2である)。図7では、以下の方程式(1)~(9)を使用して、保護ディジットが計算される。
[0076]したがって、図7における4つのストライプ9301~9304は、マルチストライプ(この場合、4つのストライプ)FEC保護ドメインの一部であり、ブロックストライプ9301~9304のいずれかにおける任意の2つ以下のブロックの喪失は、上記の方程式(1)~(9)の様々な組合せを使用することによって回復されることが可能である。比較として、単一のストライプ保護ドメインの例は、D11、D22、D33、D44、D54がP1によってのみ保護され、D11、D22、D33、D44、D54、およびP1が、ストライプ9301に全て書き込まれる場合である(9301は、単一のストライプFEC保護ドメインである)。
[0077]本開示の実例の実装形態によれば、複数のコンピューティングデバイスは、ネットワークを介して互いに通信連結され、複数のコンピューティングデバイスのそれぞれは、複数のストレージデバイスの1つまたは複数を備える。複数の耐障害性アドレス空間は、複数の耐障害性アドレス空間のそれぞれが複数のストレージデバイスに及ぶように、複数のストレージデバイスにわたって分散される。複数の耐障害性アドレス空間のうちのそれぞれの1つは、複数のストライプ(例えば、図6および図7におけるような複数の930)に編成される。複数のストライプのそれぞれの1つまたは複数のストライプは、複数の前方誤り訂正(FEC)保護ドメイン(例えば、図6などにおけるマルチストライプFECドメイン)のうちのそれぞれの1つの一部である。複数のストライプのそれぞれは、複数のストレージブロック(例えば、複数の912)を含むことができる。複数のストライプのうちの特定の1つの各ブロックは、複数のストレージデバイスのうちの異なる1つに常駐することができる。複数のストレージブロックの第1の部分(例えば、図7のストライプ9301の9021,2~9021,6からなる5つの量)は、データディジットの記憶のためのものであってもよく、複数のストレージブロックの第2の部分(例えば、図7のストライプ9301の9021,1および9021,7の2つの量)は、データディジットに少なくとも部分的に基づいて計算された保護ディジットの記憶のためのものであってもよい。
[0078]複数のコンピューティングデバイスは、複数のストライプにランクをつけるように動作可能であってもよい。ランクは、複数の耐障害性アドレス空間のうちの1つへの次のコミット動作のために、複数のストライプのどれを使用するべきかを選択するために使用されてもよい。ランクは、保護されたおよび/または保護されていないストレージブロックが、どれだけ複数のストライプのそれぞれにあるかに基づくことができる。複数のストライプのうちの任意の特定の1つについて、ランクは、複数のストライプのうちの特定の1つを有する複数のストレージデバイス上に記憶されたビットマップに基づくことができる。ランクは、データを現在記憶しているどれだけのブロックが、複数のストライプのそれぞれにあるかに基づくことができる。ランクは、複数のストライプのそれぞれにコミットするための、読込みおよび書込みのオーバヘッドに基づくことができる。耐障害性アドレス空間のそれぞれは、複数のコンピューティングデバイスのうちのただ1つによって、いつでも所有されてよく、複数の耐障害性アドレス空間のうちのそれぞれの1つは、その所有者によってのみ、読込みおよび書込みが行われてもよい。コンピューティングデバイスのそれぞれは、耐障害性アドレス空間の複数を所有することができる。複数のストレージデバイスは、複数の故障ドメインに編成されてもよい。複数のストライプのうちのそれぞれの1つが、複数の故障ドメインに及んでもよい。耐障害性アドレス空間のそれぞれは、複数の故障ドメインの全てに及んでもよく、これにより、複数の故障ドメインのうちの任意の特定の1つの故障時に、喪失データを再現するための作業負荷が、複数の故障ドメインの他のそれぞれの間に分散される。複数のストライプは、複数の故障ドメインのうちの2つの同時故障の場合、複数の故障ドメインの故障した2つに常駐する複数のストライプのうちの任意の特定の1つの2つのブロックの機会が、複数の故障ドメインの故障した2つに常駐する複数のストライプのうちの任意の特定の1つのただ1つのブロックの機会より指数関数的に小さくなるように、複数の故障ドメインにわたって分散されてもよい。
[0079]複数のコンピューティングデバイスは、2つの故障ブロックを有する複数のストライプのいずれかを最初に再現し、次に、ただ1つの故障ブロックを有する複数のストライプのいずれかを再現するように動作可能であってもよい。複数のコンピューティングデバイスは、ただ1つの故障ブロックを有する複数のストライプの再現の比率より(例えば、より大きい割合の再現専用のCPUクロックサイクル、より大きい割合の再現専用のネットワーク伝送機会、および/または同様のものによる)高い比率で、2つの故障ブロックを有する複数のストライプの再現を実施するように動作可能であってもよい。複数のコンピューティングデバイスは、故障ドメインの1つまたは複数の故障の場合、複数のストライプのうちの同じ1つの他のブロックがどれだけ失われたかに基づいて、任意の特定の喪失ブロックが再現される比率を決定するように動作可能であってもよい。複数の故障ドメインの1つまたは複数は、複数のストレージデバイスを含む。複数のFEC保護ドメインのそれぞれは、複数のストライプのうちの複数のストライプに及んでもよい。
[0080]複数のストライプは、複数のグループ(例えば、図6におけるようなチャンクストライプ9201~920S)に編成されてもよく、ここで、複数のグループのそれぞれは、複数のストライプの1つまたは複数を含み、複数のコンピューティングデバイスは、グループのそれぞれについて、グループの複数のストライプの1つまたは複数にランクをつけるように動作可能である。複数のコンピューティングデバイスは、グループの複数のストライプの1つまたは複数が、決定された尺度をもはや満たさなくなるまで、複数のグ
ループのうちの選択された1つへの連続コミット動作を実施すること、および、複数のグループのうちの選択された1つが、決定された尺度をもはや満たさなくなると、複数のグループのうちの異なる1つを選択することを行うように動作可能であってもよい。尺度は、新しいデータが書き込まれるのに、どれだけのブロックが利用可能であるかに基づくことができる。
ループのうちの選択された1つへの連続コミット動作を実施すること、および、複数のグループのうちの選択された1つが、決定された尺度をもはや満たさなくなると、複数のグループのうちの異なる1つを選択することを行うように動作可能であってもよい。尺度は、新しいデータが書き込まれるのに、どれだけのブロックが利用可能であるかに基づくことができる。
[0081]一定の実装形態を参照しつつ、本方法および/またはシステムが説明されてきたが、本方法および/またはシステムの範囲から逸脱することなく、様々な変更が行われてもよく、同等物が代用されてもよいということが当業者によって理解されよう。さらに、本開示の範囲から逸脱することなく、本開示の教示に、特定の状況または材料を適合させるために、多くの修正が行われてもよい。したがって、本方法および/またはシステムが、開示された特定の実装形態に限定されるのではなく、本方法および/またはシステムが、添付の特許請求の範囲に入る全ての実装形態を含むことになるということを意図するものである。
[0082]本明細書で利用されるように、用語「回路」および「回路機器」は、物理的な電子構成要素(すなわちハードウェア)、ならびに、ハードウェアを構成するか、ハードウェアによって実行されるか、またはそうでなければ、ハードウェアと関連付けられる可能性のある任意のソフトウェアおよび/またはファームウェア(「コード」)を指す。本明細書で使用されるように、例えば、特定のプロセッサおよびメモリは、コードの第1の1つまたは複数のラインを実行するときの第1の「回路機器」を備えることができ、コードの第2の1つまたは複数のラインを実行するときの第2の「回路機器」を備えることができる。本明細書で利用されるように、「および/または」は、リスト内の項目の任意の1つまたは複数が「および/または」によって結合されることを意味する。例として、「xおよび/またはy」は、3要素のセット{(x),(y),(x,y)}のうちのいずれかの要素を意味する。言い換えれば、「xおよび/またはy」は、「xおよびyの1つまたは両方」を意味する。別の例として、「x、y、および/またはz」は、7要素のセット{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}のうちのいずれかの要素を意味する。言い換えれば、「x、y、および/またはz」は、「x、y、およびzの1つまたは複数」を意味する。本明細書で利用されるように、用語「例示的な」は、非限定的な例、事例、または例証として機能することを意味する。本明細書で利用されるように、用語「例えば(e.g.,)」および「例えば(for example)」は、1つまたは複数の非限定的な例、事例、または例証のリストを設定する。本明細書で利用されるように、回路機器は、(例えば、ユーザ構成可能設定、工場での調整(factory trim)、等によって)機能の実施が無効にされるか、有効にされないかに関わらず、機能を実施するのに必要なハードウェアおよびコードを(いずれかが必要な場合)回路機器が備えるときはいつでも、機能を実施するように「動作可能」である。
Claims (20)
- 第1のバックエンドおよび第1のストレージデバイスを備える第1の故障ドメインと、
バックエンドおよび第2のストレージデバイスを備える第2の故障ドメインであって、
前記第1のバックエンドが、複数のブロックを含む耐障害性ストライプを構築するように動作可能であり、
前記複数のブロックのうちの2つ以上のブロックが、エラー訂正情報を含み、
前記複数のブロックのうちの2つ以上のブロックが、前記第1のストレージデバイス内に置かれ、
前記複数のブロックのうちの2つ以上のブロックが、前記第2のストレージデバイス内に置かれ、
前記第1の故障ドメインが故障すると、前記第1のストレージデバイス内の前記複数のブロックのうちの前記2つ以上のブロックが、前記第2のストレージデバイス内の前記複数のブロックのうちの前記2つ以上のブロックに応じて再生成され、
前記第2の故障ドメインが故障すると、前記第2のストレージデバイス内の前記複数のブロックのうちの前記2つ以上のブロックが、前記第1のストレージデバイス内の前記複数のブロックのうちの前記2つ以上のブロックに応じて再生成される、
第2の故障ドメインと
を備える、システム。 - 前記第1の故障ドメインが、複数のソリッドステートドライブを備える、請求項1に記載のシステム。
- 前記第1の故障ドメインが、1つまたは複数のサーバを備える、請求項1に記載のシステム。
- 前記第1の故障ドメインが、ラックおよびネットワークスイッチを備える、請求項1に記載のシステム。
- 前記第1の故障ドメインおよび前記第2の故障ドメインが互いの通信を喪失した場合、第3の故障ドメインが、前記第1の故障ドメインと前記第2の故障ドメインとのどちらが、システムを動かし続けることになるかを判定するように動作可能である、請求項1に記載のシステム。
- 第3の故障ドメインによって許可が与えられない限り、前記第1の故障ドメインも前記第2の故障ドメインも前記耐障害性ストライプを再構築しない、請求項1に記載のシステム。
- 前記第1のバックエンドが、前記耐障害性ストライプを最初に構築するバケットを備える、請求項1に記載のシステム。
- 前記第1のバックエンドが、前記耐障害性ストライプのリーダであるバケットを備える、請求項1に記載のシステム。
- 前記第2のバックエンドが、前記第1の故障ドメインが故障した場合、前記耐障害性ストライプのリーダになるバケットを備える、請求項1に記載のシステム。
- 前記第1の故障ドメインが、可用性グループを備える、請求項1に記載のシステム。
- 第1の故障ドメインによって複数のデータピースを受け取るステップと、
前記複数のデータピースに応じて複数のエラー訂正ピースを生成するステップと、
前記第1の故障ドメインの第1のバックエンドを使用して、複数のブロックを含む耐障害性ストライプを構築するステップであって、前記複数のブロックの各ブロックが、前記複数のデータピースのうちの1つのデータピース、または前記複数のエラー訂正ピースのうちの1つのエラー訂正ピースを含む、ステップと、
前記複数のブロックのうちの第1の2つ以上のブロックを前記第1の故障ドメイン内に置くステップと、
前記複数のブロックのうちの第2の2つ以上のブロックを第2の故障ドメイン内に置くステップと、
前記第1の故障ドメインが故障した場合、前記第2の故障ドメイン内の前記第2の2つ以上のブロックに応じて、前記第1の故障ドメイン内の前記第1の2つ以上のブロックを再生成するステップと、
前記第2の故障ドメインが故障した場合、前記第1の故障ドメイン内の前記第1の2つ以上のブロックに応じて、前記第2の故障ドメイン内の前記第2の2つ以上のブロックを再生成するステップと
を含む、方法。 - 前記第1の故障ドメインが、複数のストレージデバイスを備える、請求項11に記載の方法。
- 前記第1の故障ドメインが、1つまたは複数のサーバを備える、請求項11に記載の方法。
- 前記第1の故障ドメインが、ラックおよびネットワークスイッチを備える、請求項11に記載の方法。
- 前記第1の故障ドメインおよび前記第2の故障ドメインが互いの通信を喪失した場合、前記第1の故障ドメインと前記第2の故障ドメインとのどちらが、前記耐障害性ストライプを再構築することになるかを判定するステップを含む、請求項11に記載の方法。
- 第3の故障ドメインによって許可が与えられない限り、前記第1の故障ドメインも前記第2の故障ドメインも前記耐障害性ストライプを再構築しない、請求項11に記載の方法。
- 前記耐障害性ストライプが、前記第1のバックエンド内のバケットによって構築される、請求項11に記載の方法。
- 前記第1のバックエンドのバケットが、前記耐障害性ストライプのリーダである、請求項11に記載の方法。
- 前記第1の故障ドメインが故障した場合、前記耐障害性ストライプのリーダになるように前記第2の故障ドメインの第2のバックエンドのバケットを昇格させるステップを含む、請求項11に記載の方法。
- 前記第1の故障ドメインが、可用性グループを備える、請求項11に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862683841P | 2018-06-12 | 2018-06-12 | |
US62/683,841 | 2018-06-12 | ||
US16/275,737 | 2019-02-14 | ||
US16/275,737 US10942807B2 (en) | 2018-06-12 | 2019-02-14 | Storage system spanning multiple failure domains |
JP2020569858A JP7277485B2 (ja) | 2018-06-12 | 2019-06-04 | 複数の故障ドメインに及ぶストレージシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569858A Division JP7277485B2 (ja) | 2018-06-12 | 2019-06-04 | 複数の故障ドメインに及ぶストレージシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023099186A true JP2023099186A (ja) | 2023-07-11 |
Family
ID=68764923
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569858A Active JP7277485B2 (ja) | 2018-06-12 | 2019-06-04 | 複数の故障ドメインに及ぶストレージシステム |
JP2023076567A Pending JP2023099186A (ja) | 2018-06-12 | 2023-05-08 | 複数の故障ドメインに及ぶストレージシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569858A Active JP7277485B2 (ja) | 2018-06-12 | 2019-06-04 | 複数の故障ドメインに及ぶストレージシステム |
Country Status (5)
Country | Link |
---|---|
US (4) | US10942807B2 (ja) |
EP (1) | EP3807767A4 (ja) |
JP (2) | JP7277485B2 (ja) |
CN (1) | CN112262372A (ja) |
WO (1) | WO2019239210A2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11042661B2 (en) * | 2018-06-08 | 2021-06-22 | Weka.IO Ltd. | Encryption for a distributed filesystem |
JP6850771B2 (ja) * | 2018-07-31 | 2021-03-31 | 株式会社日立製作所 | 情報処理システム、情報処理システムの管理方法及びプログラム |
US11023141B2 (en) * | 2019-03-07 | 2021-06-01 | Vast Data Ltd. | Resiliency schemes for distributed storage systems |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6487636B1 (en) | 2000-04-24 | 2002-11-26 | Hewlett-Packard Co. | Method and apparatus for mapping data in a heterogeneous disk array storage system |
US7389394B1 (en) * | 2003-05-02 | 2008-06-17 | Symantec Operating Corporation | System and method for performing snapshots in a storage environment employing distributed block virtualization |
US7406621B2 (en) | 2004-04-02 | 2008-07-29 | Seagate Technology Llc | Dual redundant data storage format and method |
US7681072B1 (en) | 2004-08-13 | 2010-03-16 | Panasas, Inc. | Systems and methods for facilitating file reconstruction and restoration in data storage systems where a RAID-X format is implemented at a file level within a plurality of storage devices |
WO2006043308A1 (ja) | 2004-10-18 | 2006-04-27 | Fujitsu Limited | 運用管理プログラム、運用管理方法および運用管理装置 |
US7447839B2 (en) | 2005-09-13 | 2008-11-04 | Yahoo! Inc. | System for a distributed column chunk data store |
US7793148B2 (en) * | 2007-01-12 | 2010-09-07 | International Business Machines Corporation | Using virtual copies in a failover and failback environment |
US7793146B1 (en) | 2007-08-07 | 2010-09-07 | Panasas, Inc. | Methods for storing data in a data storage system where a RAID-X format or formats are implemented at a file level |
RU2501072C2 (ru) | 2009-02-03 | 2013-12-10 | Битторрент, Инк. | Распределенное хранение восстанавливаемых данных |
US8645749B2 (en) | 2009-02-04 | 2014-02-04 | Micron Technology, Inc. | Systems and methods for storing and recovering controller data in non-volatile memory devices |
US8458287B2 (en) | 2009-07-31 | 2013-06-04 | Microsoft Corporation | Erasure coded storage aggregation in data centers |
US8566673B2 (en) | 2011-08-04 | 2013-10-22 | Lsi Corporation | Method for improving performance in RAID systems |
US9529665B2 (en) | 2014-03-26 | 2016-12-27 | Intel Corporation | Double consecutive error correction |
US9003144B1 (en) | 2014-06-04 | 2015-04-07 | Pure Storage, Inc. | Mechanism for persisting messages in a storage system |
US9087012B1 (en) | 2014-06-04 | 2015-07-21 | Pure Storage, Inc. | Disaster recovery at high reliability in a storage cluster |
US9582363B2 (en) | 2014-06-09 | 2017-02-28 | International Business Machines Corporation | Failure domain based storage system data stripe layout |
US9495255B2 (en) * | 2014-08-07 | 2016-11-15 | Pure Storage, Inc. | Error recovery in a storage cluster |
US9547458B2 (en) | 2014-12-24 | 2017-01-17 | International Business Machines Corporation | Intra-rack and inter-rack erasure code distribution |
US9921910B2 (en) | 2015-02-19 | 2018-03-20 | Netapp, Inc. | Virtual chunk service based data recovery in a distributed data storage system |
CN107748702B (zh) | 2015-06-04 | 2021-05-04 | 华为技术有限公司 | 一种数据恢复方法和装置 |
US9448887B1 (en) | 2015-08-22 | 2016-09-20 | Weka.IO Ltd. | Distributed erasure coded virtual file system |
-
2019
- 2019-02-14 US US16/275,737 patent/US10942807B2/en active Active
- 2019-06-04 EP EP19819005.0A patent/EP3807767A4/en active Pending
- 2019-06-04 JP JP2020569858A patent/JP7277485B2/ja active Active
- 2019-06-04 CN CN201980038848.4A patent/CN112262372A/zh active Pending
- 2019-06-04 WO PCT/IB2019/000688 patent/WO2019239210A2/en unknown
-
2021
- 2021-02-11 US US17/173,252 patent/US11422893B2/en active Active
-
2022
- 2022-07-11 US US17/861,651 patent/US11693738B2/en active Active
-
2023
- 2023-05-08 JP JP2023076567A patent/JP2023099186A/ja active Pending
- 2023-05-10 US US18/314,861 patent/US20230273859A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3807767A2 (en) | 2021-04-21 |
CN112262372A (zh) | 2021-01-22 |
US11693738B2 (en) | 2023-07-04 |
JP2021533440A (ja) | 2021-12-02 |
JP7277485B2 (ja) | 2023-05-19 |
US20190377638A1 (en) | 2019-12-12 |
US20230273859A1 (en) | 2023-08-31 |
WO2019239210A2 (en) | 2019-12-19 |
US11422893B2 (en) | 2022-08-23 |
US20210200638A1 (en) | 2021-07-01 |
US20220342756A1 (en) | 2022-10-27 |
US10942807B2 (en) | 2021-03-09 |
WO2019239210A3 (en) | 2020-05-07 |
EP3807767A4 (en) | 2022-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7238111B2 (ja) | 分散型ファイルシステムのための暗号化 | |
US11544226B2 (en) | Metadata control in a load-balanced distributed storage system | |
JP2023099186A (ja) | 複数の故障ドメインに及ぶストレージシステム | |
CN112262407A (zh) | 分布式文件系统中基于gpu的服务器 | |
US11899621B2 (en) | Access redirection in a distributive file system | |
EP3710937A1 (en) | Methods and systems for rapid failure recovery for a distributed storage system | |
EP3710944A1 (en) | File operations in a distributed storage system | |
US20240028265A1 (en) | Expanding a distributed storage system | |
WO2019092497A1 (en) | Methods and systems for power failure resistance for a distributed storage system | |
WO2020002987A2 (en) | Data migration in a distributive file system | |
WO2019092491A1 (en) | Flash registry with on-disk hashing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240410 |