JP2004537813A - 記憶装置から成る分散型ファイルシステム上の情報をトラッキングするためのメタデータを提供するシステムおよび方法 - Google Patents
記憶装置から成る分散型ファイルシステム上の情報をトラッキングするためのメタデータを提供するシステムおよび方法 Download PDFInfo
- Publication number
- JP2004537813A JP2004537813A JP2003517804A JP2003517804A JP2004537813A JP 2004537813 A JP2004537813 A JP 2004537813A JP 2003517804 A JP2003517804 A JP 2003517804A JP 2003517804 A JP2003517804 A JP 2003517804A JP 2004537813 A JP2004537813 A JP 2004537813A
- Authority
- JP
- Japan
- Prior art keywords
- data
- location
- file
- file system
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1028—Distributed, i.e. distributed RAID systems with parity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/104—Metadata, i.e. metadata associated with RAID systems with parity
Abstract
知的分散型ファイルシステム（１１０）は、シングルファイルシステムとしてアクセスされる複数のスマート記憶ユニット（１１４）間でファイルデータの記憶を可能にする。知的分散型ファイルシステム（１１０）は、例えば、装置およびファイルのデータブロックのブロックロケーションを含む各ファイルについての詳細なデータを追跡し管理し、シングルファイルシステム内の冗長性および／または反復の異なるレベルを許容し、メタデータ用のハイレベルな保護を提供し、リアルタイムにデータを移動し反復する、等々のためにメタデータ構造を利用する。
Description
【技術分野】
【０００１】
本発明のシステムおよび方法は、概して、分散型ファイル記憶の分野に関し、特に知的分散ファイル管理に関する。
【背景技術】
【０００２】
インターネットの爆発的な成長は、情報が常に交換されアクセスされる新たな領域において先導してきた。この成長に応答して、共有されるデータのサイズが増加している。ユーザは、標準のＨＴＭＬドキュメントの要求にとどまらず、オーディオデータ、ビデオデータ、イメージデータ、およびプログラミングデータに対するアクセスを求めている。従って、大きなデータのセットを収容することができながら、同時にデータに対する高速且つ信頼性のあるアクセスを提供することができるデータ記憶に対する要請がある。
【０００３】
ひとつの回答は、大量のデータを記憶するが、ハイスループットレートを提供することの困難性を有する単一の記憶装置を利用してきた。データ容量が増加するにつれ、データをアクセスするのに要する時間量が同様に増加する。処理速度とパワーは改善されたが、ディスクＩ／Ｏ（入力／出力）動作性能は、特に大きなデータファイルについては、Ｉ／Ｏ動作を非効率的にする同一のレートでは改善されない。
【０００４】
他の回答は、ＳＡＮｓ(Storage Area Network solution)のようなアーキテクチャを用いて、共有ディスクに複数のサーバがアクセスすることを可能にするが、このようなシステムは高価であり、データの完全性を制御しセットアップするための複雑な技術を必要とする。さらに、大量のデータリクエストを取り扱うためには高速のアダプタを必要とする。
【０００５】
従来のアプローチについての一つの問題は、それらが拡張性に制限があることである。従って、データ量が増加するにつれ、システムは、成長することが要求されるが、拡張が高額で著しく分裂的である。
【０００６】
渋滞のアプローチについての他の共通問題は、それらが柔軟性に制限があることである。システムは、所定のエラー訂正制御を使用するためによく構成される。例えば、ＲＡＩＤシステムは、データがどこに記憶されるべき場所または使用されるべき冗長パラメータのタイプを決定することにおいて管理者に柔軟性をほとんど与えないかまたは全く与えない物理ディスクレベルで、データファイルのミラーリング(mirroring)および冗長性(redundancy)を提供するために使用され得る。
【発明の開示】
【課題を解決するための手段】
【０００７】
知的分散型ファイルシステムは、シングルファイルシステムとしてアクセスされるスマート記憶ユニットのセット間でファイルデータの記憶を有利に可能にする。知的分散ファイルシステムは、例えば、ファイルのデータブロックのブロックロケーションおよび装置を含む各ファイルについての詳細な情報を管理し且つ追跡するためのメタデータのデータ構造を有利に利用して、シングルファイルシステム内の冗長性(redundancy)および／または反復(replication)の異なるレベルを許容し、冗長パラメータの変更を容易化し、リアルタイムでデータを移動し且つ反復する。等々。
【０００８】
この要約の目的のため、本発明のいくつかの態様、利点、および新規な特徴が本明細書に記述されている。全てのこのような利点は必ずしも本発明の特定の実施形態に従って達成さるとは限らないことが理解されるべきである。従って、例えば、当業者であれば、本発明は、本明細書で教示または示唆される他の利点を必ずしも達成することなく、本明細書で教示されるような一つの利点または利点のグループを達成する方法で具現または実施されるということを認識するであろう。
【発明を実施するための最良の形態】
【０００９】
本発明の一実施形態および適用例を表すシステムおよび方法は、ここで図面を参照して述べられるであろう。他の実施形態を表す本システムおよび方法の変形例もまた述べられるであろう。
【００１０】
説明のため、いくつかの実施形態は、ウェブホスティングおよびインターネットコンテンツ配信のコンテキストで説明される。本発明者は、本発明がシステムおよび方法が使用される環境のタイプによって制限されず、且つ本システムおよび方法が、例えばインターネット、ワールドワイドウェブ(World Wide Web)、病院用の私設ネットワーク、政府機関用のブロードキャスト、集団経営の内部ネットワーク、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク等々のような他の環境においても使用され得ることを意図する。しかしながら、数値および説明は、環境がインターネットコンテンツ配信およびウェブホスティングの環境であるところの本発明の実施形態に関する。他の環境において、本システムおよび方法が、シングルモジュールとして実施され、および／または他のモジュールその他の同種のものとつないで実施されてもよいことも認識される。さらに、本明細書で述べられる特定の実施は、本発明を例示するためであり、本発明を限定するためではない。本発明の適用範囲は、添付の請求項によって定められる。
【００１１】
これらおよび他の特徴は、ここで上記に要約された図面を参照して述べられるであろう。図面および関連する記載は、実施形態を説明するために提供されるものであって、本発明の範囲を制限するものではない。図面の全体を通して、参照番号は参照される要素間で対応するものを示す。加えて、各参照番号の最初の数字は、概して要素が最初に現れた図を示す。
【００１２】
Ｉ．概要
本発明のシステムおよび方法は、シングルファイルシステムとしてアクセスされるスマート記憶ユニット(smart storage units)のセット間でデータの記憶を可能とする知的分散型ファイルシステムを提供する。知的分散型ファイルシステムは、各ファイルについて詳細なメタデータを追跡(track)し管理(manage)する。メタデータは、例えば、装置およびブロックロケーション情報の双方を含むファイルのデータブロックのロケーション、メタデータ及び／又はデータブロック（もしあれば）の冗長なコピーのロケーション、エラー訂正情報、アクセス情報、ファイルのネーム、ファイルのサイズ、ファイルのタイプ、等々のようなファイルに関する及び／又は上記ファイルを記述する任意のデータを含む。加えて、知的分散型ファイルシステムは、ファイルシステムによって管理される異なるファイル及び／又はデータブロックについて反復及び／又は冗長の異なるレベルを可能にし、システムがアクティブの間に冗長パラメータの変更を容易化し、そしてメタデータのリアルタイムな反復及び／又は移動を可能にする。さらに、各スマート記憶ユニットは、スマート記憶ユニットからファイルのデータを見つけ出し且つ収集することによりファイルリクエストに応じる。
【００１３】
知的分散型ファイルシステムは、特にライト(WRITE)リクエストの数に比例して多くのリード(READ)リクエストが存在する状況においてデータへのアクセスを有利に提供する。これは、一貫性を確保するための個々のスマート記憶ユニットに関するジャーナル処理と同様に、スマート記憶ユニットの知的グループを連続追跡することの追加の複雑さのためである。さらに、知的分散型ファイルシステムは、大きなデータブロックに対するリクエストが一般的であるブロックトランザクション(block transaction)を有利に処理する。
【００１４】
いくつかの実施形態の一つの便益は、ファイルおよびディレクトリについてのメタデータが知的分散型ファイルシステムによって管理され且つアクセスされることである。メタデータは、同様にシステムに関するパリティまたは他のエラー訂正情報がどこに記憶されているかを示すのみならず、ディレクトリ又はファイルがどこに位置しているか、コンテンツデータがどこに記憶されているか、メタデータ及び／又はコンテンツデータのミラードコピー(mirrored copies)がどこに記憶されているかを示すものであってもよい。データロケーション情報は、例えば、装置およびブロックロケーション情報を用いて記憶される。従って、知的分散型ファイルシステムは、双方がスマート記憶ユニットのセット間に分散され且つ記憶されるメタデータを用いて、リクエストされたコンテンツデータを探し出し且つ読み出す。加えて、知的分散型ファイルシステムはメタデータへのアクセスを備えるので、知的分散型ファイルシステムは、スマート記憶ユニットを混乱させることなく、リクエストに応じてデータを移動し、反復し、及び／又は変更し、且つデータが記憶されるべき場所を選択するために使用できる。
【００１５】
いくつかの実施形態の他の便益は、各ファイルについてのデータが多くのスマート記憶ユニットにわたって記憶され、且つタイムリーにアクセスされることである。各ファイルについてのデータブロックは、データアクセスタイムは減少されるようなスマート記憶ユニットのサブセットの間に分散されてもよい。さらに、異なるファイルは、スマート記憶ユニットの異なるセットにわたるのみならず、スマート記憶ユニットの異なる数にわたって分散されてもよい。このアーキテクチャは、知的分散型ファイルシステムが、有効な記憶容量、ＣＰＵ稼働率、および各スマート記憶ユニットのネットワーク稼働率のみならず、ファイルのサイズ、重要度、予期されるアクセスレートのような要因に基づき、データブロックを知的に記憶することを可能にする。
【００１６】
いくつかの実施形態の追加の便益は、スマート記憶ユニット間に記憶された異なるデータブロック又はファイルが異なるタイプの保護を備えるようなファイルベースまたはデータブロックに関し、エラー訂正、冗長性、およびミラーリングのような種々の保護スキームを提供するために本システムおよび方法が使用されてもよいことである。例えば、あるディレクトリまたはファイルはミラーされてもよく、他のものは、種々のエラーまたはロス訂正スキームを用いてエラー及び／又はロス訂正データで保護されてもよく、そして重要度の低い他のものは何ら保護スキームを使用しなくてもよい。
【００１７】
いくつかの実施形態の更なる便益は、本システムおよび方法が、現行のデータリクエストを中断または割り込みすることなく、リアルタイムなスマート記憶ユニットの付加、削除、及び／又は修正を可能にすることである。従って、より多くの記憶が要求されるほど、追加のスマート記憶ユニットが、ファイルリクエストに割り込むことなく且つ既存のスマート記憶ユニットをオフラインにすることなく、リアルタイムで知的分散型ファイルシステムに組み込まれ且つスマート記憶ユニットのセットに付け加えられてもよい。既存のスマート記憶ユニットは、既存または新たなファイルが現在新たなスマート記憶ユニットを含むスマート記憶ユニットのセットにわたって知的分散型ファイルシステムによって分散されているときに、ファイルについてのリクエストを処理してもよい。
【００１８】
いくつかの実施形態の他の便益は、本システムおよび方法が、一つまたはそれ以上のスマート記憶ユニット上のデータブロックを反復し、ゆえに任意の個々のデータブロックについて多数のアクセスポイントを生成することにより、それらのブロックの記憶に対してリアルタイムの修正を実施してもよいことである。この反復は、頻繁なアクセスパターンが観測されるファイルのグループまたはファイルのための個々のスマート記憶ユニットに対するＣＰＵの稼働率およびネットワーク資源の必要条件を低減するのに役立つ。これらのアクセスは、スマート記憶ユニットによってモニタされ、そして知的分散型ファイルシステムは、知的分散型ファイルシステムがまだ動作中にこのようなデータ反復をさせるための柔軟性をスマート記憶ユニットに柔軟性を与える。
【００１９】
ＩＩ．動作例
説明のため、ここで知的分散型ファイルシステムが動作において使用されるシナリオの例を検討する。このシナリオの例において、知的分散型ファイルシステムは、インターネットウェブサイトを介して映画ダウンロードを提供するカンパニーによって使用される。このカンパニーは、ウェブサイトを介して顧客によってアクセスされる顧客情報、広告、映画予告のみならず、ダウンロード可能な映画のコピーを記憶し且つ管理するために知的分散型ファイルシステムを使用してもよい。データは、種々のレベルの保護で記憶され且つ高速アクセス用の多数のスマート記憶ユニットにわたって記憶されてもよい。
【００２０】
例えば、カンパニーは、電子メールに対する高速なアクセスを提供するために、知的分散型ファイルシステムにおいて多くのスマート記憶ユニットにわたって顧客概観電子メール(customer survey emails)を記憶することを欲する。しかしながら、このカンパニーは、全ての電子メールのバックアップテープを保持し、そして顧客概観の迅速な回復を可能にすることは重要ではないと思うかもしれない。カンパニーは、顧客概観電子メールに関してエラー訂正またはミラーリング保護を使用しないように知的分散型ファイルシステムに指示するかもしれない。従って、一つまたはそれ以上のスマート記憶ユニットがアクセス不能になると、コンパニーは、それらのスマート記憶ユニット上の顧客概観電子メールへのアクセスが、その電子メールがバックアップテープからリストアされ得るまで遅延されることが容認できると思うかもしれない。
【００２１】
広告については、カンパニーは、もし一つまたはそれ以上のスマート記憶ユニットが故障すると、知的分散型ファイルシステムが広告表示に割り込むことなくデータを回復できるというような高エラー訂正パラメータを使用することを知的分散型ファイルシステムに指示してもよい。例えば、カンパニーは、特定ファイルにどの程度の保護が与えられるべきかを決定することにおいて支援するための種々の耐故障性計量(fault tolerance measurement)に頼る。重要な情報について、カンパニーは、Ｘの耐故障性のレベルを確保することを欲し、そしてさほど重要ではない情報については、カンパニーはＹの耐故障性のレベルを確保することを欲する。ここでＸ＞Ｙである。耐故障性に加え、または耐故障性に代えて、他の計量が使用されてもよく、且つ耐故障性が信頼性の一つの計量を示すために使用されることは認識されている。従って、カンパニーは、広告が一つまたはそれ以上のスマート記憶ユニットが故障したとしても、信頼性のある基準で利用可能であることをその広告主に請け合うことができる。
【００２２】
トップ映画のダウンロードについて、カンパニーは、より多くの顧客がデータにアクセスし、且つ、もし一つまたはそれ以上のスマート記憶ユニットが故障すれば、失われたデータが再生成され又は他の場所から読み出されることを保証するために、映画の多くのコピーを自動的に記憶するように知的分散型ファイルシステムを有利にセットアップしてもよい。さらに、もしリクエストの数が増加し、及び／又は、もし一つまたはそれ以上のスマート記憶ユニットがそのスマート記憶ユニットに存在するデータに対するリクエストで殺到するようになり始めれば、トップ映画のダウンロードの追加のコピーが生成されてスマート記憶ユニット間に記憶されてもよい。
【００２３】
カンパニーは、人気のない他の映画を提供することを選択し、そして低い要求に応じて少ないコピーを記憶することを知的分散型ファイルシステムに指示してもよい。さらに、“トップのダウンロード映画”の人気が少なくくなるにつれ、カンパニーは、その映画が記憶されたスマート記憶ユニットから映画の余分なコピーを削除し、そして“人気がなくなった”映画を低性能のスマート記憶ユニット（例えば、利用可能なディスクスペースが少ないスマート記憶ユニット）に移動するように知的分散型ファイルシステム有利にセットアップしてもよい。知的分散型ファイルシステムは、スマート記憶ユニットを用いてこれらのタスクを自動的に管理する。
【００２４】
加えて、カンパニーがより多くの映画を入手すれば、カンパニーは、知的分散型ファイルシステムに追加のスマート記憶ユニットを付け足してもよい。カンパニーは、それから、より多くの映画を記憶するため、既存の映画のより多くのコピーを記憶するため、及び／又は、応答時間を改善するために既存の映画データを分散させるため、新たなスマート記憶ユニットを使用してもよい。知的分散型ファイルシステムが多数のスマート記憶ユニットのセット間でデータを記憶する管理し且つ記憶するにもかかわらず、知的分散型ファイルシステムがシングルファイルシステムとして見えるように、追加のスマート記憶ユニットが知的分散型ファイルシステムに組み込まれる。
【００２５】
この例では、知的分散型ファイルシステムは、トップ映画ダウンロードへの信頼性があり且つ高速なアクセス、人気の少ない映画への高速なアクセス、そして顧客概観電子メールを提供するための能力をカンパニーに提供する。各ファイルについて、カンパニーは、エラー及び／又はロス訂正パラメータを設定し、そしてどれ程多くのファイルの追加コピーが記憶されるべきかを選択してもよい。或る状況において、カンパニーは、手動で、どれ程多くのデータのコピーが記憶されるべきかを選択し、そしてそのデータがどこに記憶されるかを決定してもよい。他の状況においては、カンパニーは、どれ程多くのデータのコピーが記憶されるべきか、使用されるべきエラー及び／又はロス訂正スキーム（もし、あれば）、及び／又はデータがどこに記憶されるべきかを選択するために知的分散型ファイルシステムの特徴に頼ってもよい。従って、カンパニーは、記憶スペースを効率的に使用して、ユーザに対してより良く応答することができる。記憶スペースは、まばらなリクエストファイルについても浪費されず、そしてエラー訂正情報は生成されず、重要でないファイルのために記憶される。
【００２６】
上述の例はダウンロードのための映画を提供するカンパニーを含むが、この例は、知的分散型ファイルシステムの一実施形態の特徴を示すためのみに使用されることが認識される。さらに、知的分散型ファイルシステムは、他の環境においても使用でき、且つ、例えば、サウンドファイル、オーディオファイル、グラフィックファイル、マルチメディアファイル、デジタルフォトグラフ、実行可能ファイル、等々を含むデータの組み合わせ及び／又は他のタイプのデータと共に使用できる。
【００２７】
ＩＩＩ．知的分散型ファイルシステム
図１は、リモートファイルアクセスを提供するネットワークサーバ１２０と通信する知的分散型ファイルシステム１１０の一実施形態を図解する。知的分散型ファイルシステム１１０は、例えばＮＦＳまたはＣＩＦＳのような種々のプロトコルを用いてネットワークサーバ１２０と通信してもよい。ユーザ１３０は、知的分散型ファイルシステム１１０によって管理されるファイルをリクエストするために、インターネット１４５のような通信媒体１４０を介してネットワークサーバ１２０と対話する。代表的な知的分散型ファイルシステム１１０は、スマート記憶ユニット１１４のセットおよびネットワークサーバ１２０と通信するスイッチコンポーネント１２５を利用する。知的分散型ファイルシステム１１０は、個々のファイルのデータブロックが多数のスマート記憶ユニット１１４に散らばることを可能にする。データが単一の装置に記憶されている場合よりも、このデータへのアクセスがより高いスループットを提供するように、データが記憶される。加えて、知的分散型ファイルシステム１１０は、種々の保護スキームを用いて記憶された種々のデータファイルを記憶するために使用されてもよい。
【００２８】
代表的な知的分散型ファイルシステム１１０は、スマート記憶ユニット１１４のセット間でデータを記憶する。スマート記憶ユニット１１４についての更に詳細な説明については、“スマート記憶ユニット”と題された後述のセクションを参照されたい。
【００２９】
代表的な知的分散型ファイルシステムは、リクエストされたデータのタイプを処理することができるアプリケーションサーバにリクエストを方向づける負荷バランシングスイッチ(load balancing switch)のようなスイッチコンポーネント１２５を利用する。入ってくるリクエストは、データの完全性を確保するための遅延を最小化するために高速技術を用いて適切なアプリケーションサーバに転送される。
【００３０】
例えば、標準のイーサネット（登録商標）スイッチまたは負荷バランシングスイッチのみならず、１０００Ｂａｓｅ−Ｔ（銅）ギガビット負荷バランシングイーサネット（登録商標）スイッチ、Ｅｘｔｒｅｍｅ Ｎｅｔｗｏｒｋ Ｓｕｍｍｉｔ ７Ｉ、Ｆｏｕｎｄｒｙ Ｆａｓｔ Ｉｒｏｎ ＩＩ、Ｎｏｒｔｅｌ Ｎｅｔｗｏｒｋｓ Ａｌｔｅｒｏｎ ＡＣＥｓｗｉｔｃｈ １８０、Ｆ５ Ｂｉｇ−Ｉｐのような、種々の負荷バランシングスイッチ１２５が使用できることが認識される。知的分散型ファイルシステムは、例えば“ｊｕｍｂｏ”イーサネット（登録商標）フレームのような大きなフレームをサポートするスイッチを利用する。加えて、負荷バランシングスイッチ１２５は、他の市販品及び／又は独自仕様の製品のみならず、Ｆｏｕｎｄｒｙ ＮｅｔｗｏｒｋのＳｅｒｖｅｒＩｒｏｎ ｓｗｉｔｃｈｅ、ＡｓａｎｔｅのＩｎｓｔｒａＳｗｉｔｃｈ ６２００ ｓｗｉｔｃｈｓ、ＡｓａｎｔｅのＨｏｔＳｔａｃｋ、ＣｉｓｃｏのＣａｔａｌｙｓｔ ｓｗｉｔｃｈｓを用いて実施されてもよい。しかしながら、当業者であれば、広範囲のスイッチコンポーネント１２５が使用でき、または他の技術が使用できることを認識するであろう。さらに、スイッチコンポーネント１２５は、種々のネットワークフレームサイズを伝送するように構成されてもよいことが認識される。
【００３１】
重要度の高いファイルは、一つまたはそれ以上のスマート記憶ユニットへのアクセスを妨げる、ディスク、マザーボード、ＣＰＵ、オペレーティングシステム、または他のハードウェアまたはソフトウェアの故障が生じた場合に高い回復レートをデータに提供する高度のエラー訂正パラメータで記憶されてもよい。もし、何らかのデータが欠落し又は失われれば、スマート記憶ユニット１１４は、他の場所からデータを得るため、またはデータを再生成するために、メタデータにおけるミラーリング情報または冗長情報を使用してもよい。高度に需要があるファイルは、一様に高いスループットを提供するために追加のスマート記憶ユニット１１４にわたってリアルタイムでミラーされてもよい。
【００３２】
本知的分散型ファイルシステム１１０の一実施形態において、メタデータのデータ構造は、そのメタデータのデータ構造に対応するディレクトリの任意の子孫を含んでそれが参照するデータと少なくとも同じ保護を備える。メタデータのデータ構造におけるデータの紛失(loss)は、そのメタデータのデータ構造なしでデータを取得することは困難であるので、知的分散型ファイルシステムを阻害する。知的分散型ファイルシステム１１０において、メタデータのデータ構造の代わりのコピーは、必要な保護を提供するのに要するのと同じくらいの多くのロケーションにおいてミラーされてもよい。従って、パリティ保護を備えるファイルは、少なくとも同一またはより大きなパリティ保護で記憶され、そして２回ミラーされたファイルは、少なくとも２箇所のロケーションでミラーされたそのメタデータ構造を備えてもよい。
【００３３】
図１は、知的分散型ファイルシステム１１０の一実施形態を図解するが、他の実施形態が使用されてもよいことが認識される。例えば、アプリケーションサーバのような追加のサーバが、スイッチコンポーネント１２５と通信してもよい。これらのアプリケーションサーバは、例えば、オーディオストリームサーバ、ビデオストリームサーバ、イメージプロセッシングサーバ、データベースサーバ、等々を含んでもよい。さらに、スイッチコンポーネント１２５と通信する、ワークステーションのような追加の装置が存在してもよい。加えて、図１は、４つのスマート記憶ユニット１１４と共に動作する知的分散型ファイルシステム１１０を図解するが、その知的分散型ファイルシステム１１０は、異なる数のスマート記憶ユニット１１４と動作してもよい。
【００３４】
用語“リモート”は、装置、コンポーネント、及び／又はローカルに記憶されないモジュールをも含み、それはローカルバスを介してアクセスできないことが認識される。従って、リモート装置は、物理的に同一のルームに位置されると共にスイッチまたはローカルエリアネットワークを介して接続された装置を含んでもよい。他の状況において、リモート装置は、また、例えば異なるロケーション、カントリー、等々の地理的に離れた地域に位置されてもよい。
【００３５】
また、種々のタイプのデータが知的分散型ファイルシステム１１０を用いて記憶されてもよいことが認識される。例えば、知的分散型ファイルシステム１１０は、例えば、ビデオオンデマンド、オンラインミュージックシステム、ウェブサイトミラーリング、大きなデータベース、大きなグラフィックスファイル、ＣＡＤ／ＣＡＭデザイン、ソフトウェアアップデート、企業プレゼンテーション、保険金請求ファイル、医療用画像ファイル、企業ドキュメント記憶、等々のような、大きなファイルアプリケーションで使用されてもよい。
【００３６】
図２は、ウェブサイトユーザ１３０がオンデマンドデジタルビデオを見るためにリクエストをサブミットした環境の例を図解する。イベントＡにおいてユーザ１３０は、インターネット１４５を介して、映画のコピー、mymovie.movieを見ることを要求するウェブサイトにリクエストを送信する。このリクエストは、ウェブサイトのサーバ１２０によって受信され、そしてサーバ１２０は、ファイルが、/movies/comedy/mymovie.movieに位置されていると決定する。イベントＢにおいて、知的分散型ファイルシステム１１０のスイッチコンポーネント１２５は、知的分散型ファイルシステム１１０に接続するためのリクエストを見つけ、そして、標準の負荷バランシング技術を用いて、スマート記憶ユニット０のような利用可能なスマート記憶ユニット１１４にこのリクエストを転送する。イベントＣにおいて、スマート記憶ユニット０は、ファイル/DFSR/movies/comedy/mymovie.movieについてのリクエストを受信し、そして、サブディレクトリmoviesについてのメタデータのデータ構造がスマート記憶ユニット２で記憶されていることを、そのルートメタデータのデータ構造（ルートディレクトリ/DFSR）から決定する。イベントＤにおいて、スマート記憶ユニット０は、サブディレクトリcomedyについてメタデータのデータ構造のロケーションを要求するスマート記憶ユニット２にリクエストを送信する。イベントＧにおいて、スマート記憶ユニット０は、ファイルmymovie.movieについてのメタデータのデータ構造がスマート記憶ユニット０で記憶されている情報を受信する。スマート記憶ユニット０は、それから、ローカル記憶からファイルmymovie.movieについてのメタデータのデータ構造を取得する。このメタデータのデータ構造から、スマート記憶ユニット０は、ファイルにおけるデータの各ブロックのロケーションを記憶するmymovie.movieについてのデータロケーションテーブルを取得する。スマート記憶ユニット０は、それから、データロケーションテーブル情報を使用して、ローカルに記憶されたブロックを取得し且つ他のスマート記憶ユニットで記憶されたデータについてのリクエストを送信することを開始する。
【００３７】
ファイルのデータまたはデータの一部が取得された後に、そのファイルデータは、リクエストするサーバ１２０に送信されて、リクエストするユーザ１３０に転送される。一つの例において、ファイルデータは、データがいつどのようにユーザ１３０に送信されるかを統制するビデオストリーミングサーバに送られてもよい。いくつかの実施形態において、リクエストの待ち時間(latency)を低減するためにリクエストされたときにより多くのデータを取得する先見読み出し技術(read ahead techniques)を利用することは有利であろうことが認識される。
【００３８】
ＩＶ．知的ファイルシステム構造
表１は、物理的記憶装置をアクセスするためにファイルリクエストが処理されるファイルシステムレイヤのセット例の一実施形態を例示する。代表的なファイルシステムレイヤは、ユーザレイヤ、バーチャルファイルシステムレイヤ、ローカルファイルシステムレイヤ、ローカルファイル記憶レイヤ、および記憶装置レイヤを含む。
【００３９】
【表１】
【００４０】
ファイルリクエストの一つのタイプにおいて、リクエストは、例えば、マイクロソフトウィンドウズ（登録商標）ファイルシェアリングサーバプロトコルを実装するユニックス上で使用されるＳＭＢＤ、または、ＦＴＰＤＤ、ＨＴＴＰ（アパッチウェブサーバ）のような、ファイルシェアリングのためのユーザレベルのプロトコルアプリケーションを介して受信される。ユーザレベルプロトコルアプリケーションは、例えば、libc,Ｃランタイムライブラリファンクションコールに対してファンクションコールさせることによるような、カーネルレベルオープン、リード、シーク、ライト、またはクローズシステムコールを実施する。
【００４１】
システムコールは、バーチャルファイルシステム（“ＶＦＳ”）に受け渡され、それはバッファキャッシュ(buffer cache)を保持する。バッファキャッシュは、例えば、下層のファイルシステムレイヤから受信されたメタデータのデータ構造またはデータを記憶するために使用されるキャッシュであって使用頻度が最も低いキャッシュ（“ＬＲＵ”）であってもよい。
【００４２】
次のレイヤは、ファイルシステムの階層的ネーミングシステムを保持するローカルファイルシステムレイヤである。ローカルファイルシステムレイヤは、メタデータのデータ構造検索および管理を処理する。例えば、ユニックスベースのファイルシステムのような或るシステムにおいては、メタデータのデータ構造は、ファイルアクセス許可、データブロックロケーション、およびリファレンスカウントについての情報を含むファイル抽象化(file abstraction)である。ファイルがそのネームによって一旦開かれると、他のファイルオペレーションは、特定のファイルについてメタデータ構造を確認するユニークな識別子によってファイルを参照する。このアプローチの便益は、単一ファイルが、多くの異なるネームを有し、単一ファイルが異なるパスを介してアクセスされ、そして新たなファイルが、例えば“ｍｖ”コマンドのような標準のユーザレベルのユーティリティによって実際のファイルデータを上書きすることなく、ＶＦＳネームスペースの古いファイルの上にコピーされ得ることである。これらの便益は、コンテンツ配信およびウェブホスティングのような環境においてはなおさら有益である。なぜなら、コンテンツは、現行のコンテンツの供給を混乱させることなく、適切にアップデートされ得るからである。メタデータのデータ構造内のリファレンスカウントは、システムが、一旦全てのオープンファイルハンドルが閉じられれば、データブロックを無効にすることのみを可能にする。
【００４３】
第４レイヤは、“バッファリクエストからブロックリクエスト”の翻訳(translation)を処理するローカルファイルストアレイヤ(Local File Store layer)であり、データバッファは管理(management)をリクエストする。例えば、ローカルファイルストアレイヤは、ブロック割り当てスキーム(block allocation schemes)を使用して、リーディングについての検索スキームをブロックするのみならず、ライトおよびリードについてのスループットを改善し且つ最小化する。
【００４４】
最後のレイヤは、ファイルシステムによって使用されるディスクハードウェアの特定のもののためのデバイスドライバを努める記憶装置レイヤである。例えば、もし物理的な記憶装置がＡＴＡディスクであれば、記憶装置レイヤはＡＴＡディスクドライバである。
【００４５】
Ｖ．スマート記憶ユニット
一実施形態において、スマート記憶ユニット１１４は、プラグアンドプレイの、高密度な、ラックに実装可能な装置であり、それは、高スループットデータ配信のために最適化されている。スマート記憶ユニットは、単一のバーチャルファイルシステムを提供するために他の種々のスマート記憶ユニットと通信するように構成されている。より多くの記憶スペースが必要とされるほど、または、もし一つまたはそれ以上のスマート記憶ユニットが故障すれば、システム全体をダウンさせる必要なく、またはサービスの中断を生じることなく、追加のスマート記憶ユニットがインストールされ得る。
【００４６】
本明細書で用いられるように、モジュールなる用語は、ハードウェアまたはファームウェアで具現されたロジックを指し、またはソフトウェア命令の集まりを指し、あるいは入力点(entry point)および出力点(exit point)を備え、例えば、ＣまたはＣ＋＋のようなプログラミング言語で記述されている。ソフトウェアモジュールは、実行可能ファイルに準拠しまたはリンクされ、動的リンクライブラリにインストールされ、またはＢＡＳＩＣ，ＰｅｒｌまたはＰｙｔｈｏｎのようなインタプリタ型のプログラミング言語で記述されてもよい。ソフトウェアモジュールは、他のモジュールまたはそれら自体からコール可能であってもよく、及び／又は検出されたイベントまたは割り込みに応答して呼び出されても良いことが評価されるであろう。ソフトウェア命令は、ＥＰＲＯＭのようなファームウェアに組み入れられても良い。ハードウェアモジュールは、ゲートおよびフリップフロップのような結合されたロジックユニットから構成されてもよく、及び／又はプログラマブルゲートアレイまたはプロセッサのようなプログラマブルユニットから構成されてもよい。モジュールは、本明細書では、好ましくは、ソフトウェアのジュールとして実施されるが、ハードウェアまたはファームウェアで表現されてもよい。
【００４７】
図３は、管理モジュール３２０、処理モジュール３３０、キャッシュ３４０、スタック３５０、および記憶装置３６０を備えるスマート記憶ユニット１１４の一実施形態を図解する。代表的なスマート記憶ユニット１１４は、図１に図解されるように送信および受信するためにスイッチコンポーネント１２５と通信するように構成されてもよい。
【００４８】
Ａ．管理モジュール
一実施形態において、スマート記憶ユニットは、例えば、インストール、パラメータ設定、知的分散型ファイルシステムのモニタリング、知的分散型ファイルシステム１１０上で発生するイベントのロギング(logging)、およびアップグレードのような管理タスクを実施するための管理モジュール３２０を備える。
【００４９】
Ｂ．処理モジュール
代表的な処理モジュール３３０は、データファイルに対するリクエストを受信し、上記リクエストされたデータについてのローカル(local)及び／又はリモート(remote)で記憶されたメタデータを読み出し、且つ上記リクエストされたデータファイルの上記ローカル及び／又はリモートで記憶されたデータブロックを読み出すように構成されてもよい。加えて、処理モジュール３３０は、また、一つまたはそれ以上のリクエストされたデータブロックが壊れ又は失われるイベントにおいてデータ回復(data recovery)およびエラー訂正を実施する。
【００５０】
一実施形態において、処理モジュール３３０は、ファイルリクエストに応答する５つのモジュール、ブロック割り当て管理モジュール３３１、ブロックキャッシュモジュール３３３、ローカルブロック管理モジュール３３５、リモートブロック管理モジュール３３７およびブロック装置モジュール３３９を備える。
【００５１】
１．ブロック割り当て管理モジュール
ブロック割り当て管理モジュール３３１は、ブロックをどこに割り当てるかを決定し、リードリクエストに応答してそのブロックの場所を見つけ、そして装置故障の復旧を実施する。そのブロックを割り付けるべき場所についての情報は、デフォルトパラメータとして設定されたポリシー(policy)、グラフィカルユーザインターフェイスまたはシェルインターフェイスシステム管理者によって設定されたポリシー、またはこれらの組み合わせによって決定されてもよい。一実施形態において、ブロック割り当て管理３３１は、ローカルファイルシステムレイヤに駐在し、そしてＴＣＰ／ＩＰおよびイーサネット（登録商標）のような、及び／又はバークレイソフトウェアデザインユニバーサルファイルシステム（“ＢＳＤ ＵＦＳ”）の代わりに、標準のネットワーキングソフトウェアレイヤとともに動作する。
代表的なブロック割り当て管理３３１は、３つのサブモジュールと４つの故障回復モジュールを備える。
【００５２】
ａ．ブロックリクエスト翻訳モジュール
ブロックリクエスト翻訳モジュールは、入り来るリードリクエストを受信し、ネーム検索(name lookup)を実施し、適切な装置を見つけ出し、そしてその装置から出を取り出して、そのリクエストをかなえる。もし、データが直接的に利用可能であれば、ブロックリクエスト翻訳モジュールは、データのブロックがローカル記憶装置または他のスマート記憶ユニットの記憶装置に記憶されているかどうかにより、ローカルブロック管理モジュールまたはリモートブロック管理モジュールに送信する。
【００５３】
一実施形態において、ブロックリクエスト翻訳モジュールは、“知的分散型ファイルシステム処理−ネーム検索の処理”と題されたセクションにおいて後述されるネーム検索処理を備える。
【００５４】
ブロックリクエスト翻訳モジュールは、また、装置故障に応答する。例えば、もし装置がダウンすると、ブロックリクエスト翻訳モジュールは、例えばパリティ情報を用いて、データを再構成するために使用されるローカルおよびリモートデータブロックをリクエストしてもよい。従って、そのデータは、たとえリードが実施されなくても、発生されてもよい。加えて、ブロックリクエスト翻訳モジュールは、故障回復モジュールが、パリティまたは他のエラー若しくはロス訂正データを用いてデータを再生成し、そして知的分散型ファイルシステムにおける自由スペースにわたってロス訂正データを再分散化(re-stripe)するように、故障回復モジュールと通信してもよい。他の実施形態において、ブロックリクエスト翻訳モジュールは、壊れた(corrupt)又は失われた(missing)データのコピーを一掃してもよい。
【００５５】
ｂ．フォワード割り当てモジュール
フォワード割り当てモジュールは、例えば冗長性、スペース、および性能のようなファクタに基づき、ライトリクエストについてどの装置のブロックが使用されるべきかを決定する。これらのパラメータは、システム管理者によって設定され、知的分散型ファイルシステム１１０に組み入れられた情報から導出され、知的分散型ファイルシステム１１０にロジックとして組み入れられてもよき、またはその組み合わせであってもよい。フォワード割り当てモジュール１１０は、知的分散型ファイルシステムを使用する他のスマート記憶ユニットから統計データ(statistics)を受信し、そしてそれらの統計データを、新たに入ってくるデータを置くのにどこが最良のロケーションであるかを決定するために使用する。統計データは、例えば、ＣＰＵ稼働率、ネットワーク稼働率、およびディスク稼働率の計量(measurement)を含んで集められる。
【００５６】
フォワード割り当てモジュールは、また、リモートスマート記憶ユニットの応答時間に基づきリモート風呂管理モジュールから待ち時間(latency)を受信する。もし、装置間の待ち時間は、他のスマート記憶ユニットに比較してハイレベルに達すれば、割り当てスキームは、できれば、冗長性の設定に基づき、遅いスマート記憶ユニットを十分に活用しない他のスマート記憶ユニットに有利に働くように調節されてもよい。一つの有利な例において、知的分散型ファイルシステムは、データのブロックを一つのスマート記憶ユニットから他のスマート記憶ユニットに移動させ、その結果、対応するメタデータ構造をアップデートする。待ち時間状況は、ロギングシステム(logging system)を通して記録され、そしてシステム管理者に報告される。遅いリンク状況は、例えば、悪いネットワークカード、間違った双方向の流通(incorrect duplex negotiation)、または比較的頻繁にリードまたはライトされる装置データである。
【００５７】
データを記憶する場所を決定するために種々の方策が用いられる。これらの方策は、システムの管理者によって設定されたパラメータとの整合性、選択された冗長性レベルの合致、及び／又は性能の改善のような、システムの目標値によって調整されてもよい。以下は、データを記憶するためにフォワード割り当てモジュールによって採用される少しばかりの方策例を提供する。多種多様の方策が、以下に述べられるものに加え、またはそれらと共に使用される。
【００５８】
フォワード割り当てモジュールは、複数のスマート記憶ユニットにわたるストライピングデータについて割り当てスキームを備えてもよい。ストライピングデータは、代表的にはハイエンドのＲＡＩＤ記憶装置で使用される共通技術であるが、マルチプルディスクと共にシングルユーザのワークステーションマシンにおいて採用されてもよい。ストライピングデータは、単に、ファイルのデータの異なる部分が、異なる記憶装置またはディスク上に存続(live)及び／又は記憶(store)されることを意味する。ストライピングデータの利点は、リードリクエストが複数のディスク上に位置されたブロックにまたがるとき、各ディスクはデータ読み出しの総スループットに関与することである。一般のシステムでは、データのストライピングは、ソフトウェア装置レイヤで行われる。即ち、ファイルシステムは、データのストライピングに関する情報を持たない。ファイルシステムの支配下にあるソフトウェアレイヤのみがこの構造を理解する。ハードウェアのある特殊なものでは、このストライピングは、実際のハードウェアレイヤでソフトウェア装置レイヤの下でも行われる。知的分散型ファイルシステム１１０、ファイルシステム自体がデータのストライピングを処理する。この実施は、より大きな柔軟性をストライピング構成に提供する。例として、代表的なＲＡＩＤ技術は、全てのディスクが同じサイズでなければならず、且つ同じ性能特性を有していなければならないという制限がある。これらの制約は、異なる装置に一様に分散されることを保証するために必要である。ＲＡＩＤについての更に詳細な説明については、「“The RAID book”, Paul Massiglia, 第６版(1997)を参照されたい。それは、引用することによりこの明細書に組み込まれる。
【００５９】
知的分散型ファイルシステム１１０について、異なるディスクおよびディスクサイズは、種々のスマート記憶ユニット１１４で使用されてもよく、そしてファイルストライピングに関与する。フォワード割り当てモジュールは、ディスク装置情報についてルートメタデータのデータ構造において検索し、そして性能メトリックまたはプリセットルールを用いてファイルデータが分散されるべきスマート記憶ユニットの数を計算する。フォワード割り当てモジュールは、それから、ファイルのデータブロックをスマート記憶ユニットのセットに割り当てる。
【００６０】
フォワード割り当てモジュールは、また、パリティまたは他のエラー若しくはロス訂正保護のために割り当てスキーム(allocation scheme)を備えてもよい。ほとんどのＲＡＩＤシステムにおいては、ファイルストライピングが使用されるとき、パリティ保護は、また、一つを除いて全てのディスクがデータ記憶のために用いられるように使用される。最後のディスクは、純粋にパリティ情報のために使用される。このパリティ情報は、代表的には、全てのデータディスクにわたってデータの各ブロックのビット単位のｏｒ（“ＸＯＲ”）をとることにより計算される。このパリティ情報は、ディスク故障が発生したときにデータ回復を実施するために使用される。失われたデータは、残りのディスクのデータブロックおよびパリティ情報のビット単位のＸＯＲをとることから再計算される。代表的なＲＡＩＤシステムにおいて、データは、失われたデータを再構築するために交換ディスクがアレイに挿入されるまでは回復できない。
【００６１】
知的分散型ファイルシステム１１０に関し、失われたデータは、再計算され、そして残りのスマート記憶ユニットの他の部分上の自由スペースに再書込みされる。なぜなら、パリティ保護は、ソフトウェア装置レイヤの代わりにファイルシステムレイヤで行われるからである。もし、データを再書込みするための十分な自由スペースが残されていなければ、パリティデータは、再計算されたデータで上書きされてもよく、そして冗長性が元のレベルよりも下に落ちたという事実が記録され、及び／又はシステム管理者に報告されてもよい。
【００６２】
フォワード割り当てモジュールは、また、データのミラーリングのための割り当てスキームを備え、それは、異なるスマート記憶ユニット上で利用可能なデータの複数のコピーを作成している。フォワード割り当てモジュールは、記憶スペース、ネットワーク稼働率、及び／又はＣＰＵ稼働率の観点から最も使用されないスマート記憶ユニットを用いてスマート記憶ユニットにわたってデータのブロックのロケーションを負荷バランス(load balance)するために割り当てスキームを使用してもよい。ミラーリングは、更なる性能および更なる耐故障性を提供する。もし、ミラーリングがコンテンツの或るものについてリクエストされると、フォワード割り当てモジュールは、ミラーされたデータのみならず、元のデータについてもスペースを割り当てる。もし、１より大きな耐故障性のレベルがリクエストされると、フォワード割り当ては、耐故障性カウントにより、スマート記憶ユニット、またはスマート記憶ユニットのサブセットをロジカルに分割し、そして分散化(striped)されたデータのミラーを作成する。例えば、もし、１０個のスマート記憶ユニット１１４が知的分散型ファイルシステム１１０に存在し，且つ２の耐故障性がリクエストされると、フォワード割り当て器は、知的分散型ファイルシステムを、それぞれが５個のスマート記憶ユニットの二つのセクションに分割し、各セクションにおいて４個のスマート記憶ユニットにわたってデータを分散化(stripe)し、そしてパリティディスクとして各セクションから５個目のスマート記憶ユニットを使用する。スマート記憶ユニットのこの分割は、アレイミラー分割(array mirror split)と称される。
【００６３】
ｃ．故障回復モジュール
故障回復モジュールは、装置故障のためにもはや利用できないデータを回復するために知的分散型ファイルシステム１１０をリアルタイムで再構成する。故障回復モジュールは、性能を維持しながらサービスを中断することなく再構成を実施し、そして短時間でデータを所望の冗長レベルに戻す。
【００６４】
上述したように、リモートブロック管理モジュール３３７は、故障を検出し、そしてこのような故障の通知を故障回復モジュールに受け渡す。初期の故障については、故障回復モジュールは、システム管理者によってリクエストされたとき、または知的分散型ファイルシステム１１０によって設定されたとき、冗長パラメータ(redundancy parameter)に合致しない任意のブロックを見つけ出す(locate)。
【００６５】
第１に、パリティ情報から再生成できるデータは再生成され、そしてリクエストが、新たなデータに対するスペースを割り当てるためにフォワード割り当てモジュールに送信される。フォワード割り当て器は、ＣＰＵおよびネットワーク稼働率をモニタし、そしてＣＰＵおよびネットワーク稼働率が所定の目標に到達すると積極的に作動を始める。この所定の目標は、システム管理者によって設定され、または、例えばコンピュータプロセッサのようなファクタに従ってプリセットされてもよい。一旦目標が達成されると、故障回復モジュールは、スマート記憶ユニットの性能への影響を低減するために、目標の時間に達成されるレートで有利にデータを再計算する。
【００６６】
もし、最近故障した装置がオンラインに復帰すると、故障回復モジュールは、データの完全性を確認し、且つ任意の不一致を修正するために、回復した装置のリモートブロック管理モジュール３３７と通信する。
【００６７】
知的分散型ファイルシステム１１０は、また、ホットスタンバイ装置の包含をサポートしてもよい。ホットスタンバイ装置は、目下のところ何のデータ記憶も行わない休止(idle)している記憶装置であるが、装置故障時に使用される。このような状況においては、故障回復モジュールは、ホットスタンバイ装置のリモート風呂管理モジュール３３７と通信することにより、ホットスタンバイ装置を用いて、失われたデータを再構築してもよい。
【００６８】
２．ブロックキャッシュモジュール
ブロックキャッシュモジュール３３３は、データブロックのキャッシング、ネーム検索、およびメタデータのデータ構造を管理する。一実施形態において、ブロックキャッシュモジュール３３は、ＢＳＤバーチャルファイルシステムのバッファキャッシュと共に又はその代わりに動作する。
【００６９】
ブロックキャッシュモジュール３３３は、使用頻度が最も低い(Least Recently Used)キャッシングアルゴリズムを用いてデータブロックおよびメタデータのデータブロックをキャッシュしてもよいが、例えばフリケンシーキャッシング(frequency cashing)のような種々のキャッシングアルゴリズムを使用してもよい。ブロックキャッシュモジュール３３は、どれが最もよく実行するかによってどのブロックキャッシングアルゴリズムを使用すべきかを決定してもよく、または一実施形態においては、アルゴリズムはデフォルトとして設定されてもよい。
【００７０】
最も使用頻度が低いキャッシング（“ＬＲＵ”）は、ほとんどのシステムで使用されている代表的なキャッシングスキームである。ＬＲＵは、一旦データがアクセスされると、それは再びアクセスされる可能性が最も高いという原理に基づいている。従って、データは、最も長い時間アクセスされなかったデータが捨てられるというような、その最近の使用順に記憶される。
【００７１】
フリケンシーキャッシングは、最も頻繁にアクセスされたデータを記憶する。ディスクのライトは、時間が集中した動作であるため、追加の性能(performance)は、メタデータのデータ構造におけるアクセス頻度を追跡し、且つアクセス頻度に基づきキャッシングすることにより得られる。
【００７２】
加えて、ブロックキャッシュモジュール３３３は、“オンデマンド(on demand)”プロトコルまたは“先読み(read ahead)”プロトコルを利用してもよい。ここで、より多くのデータがリクエストされるよりも必要とされる。ブロックキャッシュモジュール３３３は、データのセットについてのリクエストを送信してもよく、そしてまた、データのセットの前にある程度のデータをリクエストしてもよい。例えば、ブロックキャッシュモジュール３３は、１パケットの先読み、２パケットの先読み、１０パケットの先読み、２０パケットの先読み、等々といったような先読みを実施する。他の実施形態において、ブロックキャッシュモジュール３３３は、リクエストの待ち時間に基づき先読み技術を利用してもよい。例えば、ブロックキャッシュモジュール３３３は、Ｋパケットの先読みを実施してもよく、ここでＫはリンクの待ち時間およびリードレートを用いて計算されたものである。ブロックキャッシュモジュール３３３は、また、先読みデータのサイズを決定するためにＣＰＵおよびネットワークの稼働率に基づき他のアルゴリズムを使用してもよい。さらにまた、ブロックキャッシュモジュールは、セットキャッシングプロトコルを利用してもよく、またはシステムの性能レベルに応じるためにキャッシングプロトコルを変えても良い。
【００７３】
キャッシュ３４０は、キャッシュブロックサイズを異なる量に増やすために修正され、または、一般マルチユーザオペレーティングシステムに提供されるデフォルトサイズを用いて実施されるが、システム性能に大きな影響を与えることはない。このような修正は、例えば、記憶されるデータのタイプ、処理速度、知的分散型ファイルシステムにおけるスマート記憶ユニットの数、および使用される保護スキームのようなファクタによる種々の性能テスト決定されてもよい。
【００７４】
３．ローカルブロック管理モジュール
ローカルブロック管理モジュール３３５は、記憶装置３６０上にローカルに記憶されたデータブロックの検索(retrieval)、記憶(storage)、および割り当て(allocation)を管理する。ローカルブロック管理モジュール３３５は、例えば、ネットワークカードのような、記憶装置３６０の他の部分にデータをディスクから移動させるために、ゼロコピーファイルリードを実施し、これにより性能を改善する。ローカルブロック管理モジュール３３５は、また、性能を上げるために、使用される記憶装置３６０に基づく修正を実施する。一実施形態において、ローカルブロック管理モジュール３３５は、ローカルファイル記憶レイヤに駐在し、そしてフリーＢＳＤファストファイルシステムと共に及び／又はその代わりに動作してもよい。
【００７５】
４．リモートブロック管理モジュール
リモートブロック管理モジュール３３７は、例えばブロックリクエスト、ブロック応答、およびリモート装置故障の検出を含む装置間の通信を管理する。一実施形態において、リモートブロック管理モジュール３３７は、ローカルファイルシステムレイヤに駐在する。
【００７６】
一実施形態において、スマート記憶ユニット１１４は、リモートブロック管理モジュール３３７を介して知的分散型ファイルシステム１１０における他のスマート記憶ユニット１１４と接続され、及び／又はそれと通信してもよい。
【００７７】
リモートブロック管理モジュール３３７は、ＴＣＰのようなコネクションを介してスマート記憶ユニット１１４が互いにトークすることを可能にしてもよい。一実施形態において、各スマート記憶ユニット間には少なくとも２つのＴＣＰコネクションが存在し、一つはデータ伝送のためのものであり、もう一つはメッセージ伝送のためのものである。この二重チャンネルＴＣＰ通信アーキテクチャの利点は、データブロックがページサイズの倍単位で送信される限り、データは、ＤＭＡ転送により直接的にネットワークインターフェイスカードからシステムメモリに、そしてＤＭＡ転送によりシステムメモリからシステムの他の部分（あるいは再びネットワークインターフェイスカード）に、システムメモリの一部分から他の部分にデータがコピーされる必要なく、送信されてもよいことである。これは、ＣＰＵが、データパケットがデータヘッダを含んでいないのでそれらを分析することに関与する必要がなく、または、情報が制御チャンネル上で伝送されるのでこの情報を確認することに関与する必要がないからである。高性能サーバおよびオペレーションシステムにおいて、システムメモリの一部分から他の部分へのメモリコピーは、システム性能に関して重度の制限になる。
【００７８】
一実施形態において、リモートブロック管理モジュール３３７は、種々の他のタイプのメッセージのみならず、例えば、データブロックアクセスメッセージ（例えば、READ,READ_RESPONSE,WRITE,およびWRITE_RESPONSE）、メタデータアクセスメッセージ（例えば、GET_INODE,GET_INODE_RESPONSE,SET_ADDRESS,GET_ADDRESS,およびINVALIDATE_INODE）、ディレクトリメッセージ（例えば、ADD_DIRおよびREMOVE_DIR）、ステータスメッセージのようなメッセージを利用するメッセージング通信を用いて通信する。
【００７９】
二重チャンネルプロトコルを上述したが、他の通信プロトコルが、スマート記憶ユニット１１４間の通信を可能するために使用されてもよい。
【００８０】
５．ブロック装置モジュール
ブロック装置モジュール３３９は、ファイルシステムによって使用されるディスクハードウェアの特定の一部(piece)のためのデバイスドライバを務める。例えば、もし物理的記憶装置がＡＴＡディスクであれば、ブロックデバイスモジュール３３９はＡＴＡディスクドライバを務める。
【００８１】
Ｃ．キャッシュ
キャッシュメモリまたはキャッシュ３４０は、例えば、１Ｇ ＲＡＭキャッシュのような本技術分野で知られている種々のプロダクトを用いることにより実施されてもよい。図３において図解されているキャッシュ３４０は、一定時間内に最近アクセスされた又はアクセスされるデータのブロックを記憶してもよい。キャッシュ３４０は、種々の他のタイプの装置のみならず、スタティックＲＡＭ装置、ダイナミックＲＡＭ装置、内部キャッシュ、ディスクキャッシュのような高速記憶機構を用いて実施されてもよい。代表的には、データは、不揮発性記憶装置をアクセスするのに要する時間よりも速くキャッシュ３４０からアクセスされる。キャッシュ３４０はデータを記憶し、もしスマート記憶ユニット１１４が記憶装置３６０からデータをアクセスする必要があれば、データが既に読み出されたかを知るために最初にキャッシュ３４０がチェックされる。従って、キャッシュ３４０の使用は、データブロックの読み出しにおいてスマート記憶ユニットの性能を改善する。
【００８２】
Ｄ．ネットワークスタック
一実施形態において、スマート記憶ユニット３１０は、また、例えば、ＴＣＰ／ＩＰのようなプロトコルを用いて、入ってくるメッセージおよび出て行くメッセージトラヒックを処理するネットワークスタック３５０を備える。しかしながら、他のプロトコルまたはデータ構造がスタック３５０を実施するために使用されてもよいことが認識される。
【００８３】
Ｅ．記憶装置
記憶装置３６０は、データブロックを記憶するために使用される不揮発性記憶装置である。記憶装置３６０は、例えば、４ １．２５ＧＢ ＡＴＡ１００装置、ＳＣＳＩ装置等のような本技術分野において知られている種々のプロダクトを用いて実施されてもよい。加えて、記憶装置３６０のサイズは、知的分散型ファイルシステムにおける全てのスマート記憶ユニット１１４について同一であってもよく、またはそれは異なるスマート記憶ユニット１１４についてサイズを変えるものであってもよい。
【００８４】
Ｆ．システム情報
一実施形態において、スマート記憶ユニット１１４は、スマート記憶ユニット１１４が他のスマート記憶ユニット１１４と通信することを可能にするコンピュータ上で動作する。コンピュータは、例えば、ペンティアムプロセッサ、ペンティアムIIプロセッサ、ペンティアムプロプロセッサ、ペンティアムIVプロセッサ、ｘｘ８６プロセッサ、アルファプロセッサ等のような一つまたはそれ以上のマイクロプロセッサを用いた汎用のコンピュータであってもよい。
【００８５】
一実施形態において、プロセッサユニットは、オープンソースのＦｒｅｅＢＳＤオペレーティングシステムを稼動させ、そしてファイルのオープニング、ライティング、およびクロージングのような標準オペレーティングシステムファンクションを実施する。他のオペレーティングシステムは、例えば、マイクロソフト（登録商標）ウィンドウズ（登録商標）３．Ｘ、マイクロソフト（登録商標）ウィンドウズ（登録商標）ＮＴ、マイクロソフト（登録商標）ウィンドウズ（登録商標）ＣＥ、マイクロソフト（登録商標）ウィンドウズ（登録商標）ＭＥ、Palm Pilot OS、アップル（登録商標）ＭａｃＯＳ（登録商標）、ディスクオペレーティングシステム（ＤＯＳ）、ＵＮＩＸ（登録商標）、ＩＲＩＸ、Solaris、SunOS、FreeBSD、リナックス（登録商標）、ＩＢＭ（登録商標）ＯＳ／２オペレーティングシステムのようなものであってもよいことが認識される。
【００８６】
一実施形態において、コンピュータは、例えば、イーサネット（登録商標）（ＩＥＥＥ８０２．３）、トークンリング（ＩＥＥＥ ８０２．５）、ファイバー分散データリンクインターフェイス（ＦＤＤＩ）、または非同期転送モード（ＡＴＭ）のようなネットワークの接続性を備える。さらに、コンピュータは、例えば、NFS v2/v3 over UDP/TCP、マイクロソフト（登録商標）ＣＩＦＳ、ＨＴＴＰ 1.0、ＨＴＴＰ 1.1、ＤＡＦＳ、ＦＴＰ等のような種々のネットワークプロトコルをサポートする。
【００８７】
一実施形態において、スマート記憶ユニット１１４は、ジャンボ９Ｋイーサネット（登録商標）フレームをサポートする１０００／１００ネットワークインターフェイスカードのみならず、シングルまたはデュアルＣＰＵ ２Ｕラック実装可能な構成、マルチプルＡＴＡ１００インターフェイスを備える。しかしながら、種々の構成が使用されてもよいことが認識される。
【００８８】
知的分散型ファイルシステムデータ構造
図４は、知的分散型ファイルシステムで使用されるディレクトリ構造の例を図解する。この例において、ROOTディレクトリは、“DFSR”と名づけられ、そしてサブディレクトリIMPORTANT、TEMP、およびUSERを備える。IMPORTANTサブディレクトリは、サブディレクトリPASSWORDSおよびCREDITCARDを備える。ファイルUSER.TXTおよびADMIN.TXTは、PASSWORDSサブディレクトリに記憶される。従って、USER.TXTファイルのアドレスは、
/DFSR/IMPORTANT/PASSWORDS/USER.TXT
である。
【００８９】
ディレクトリおよびファイルについての情報またはメタデータは、知的分散型ファイルシステム１１０によって記憶され且つ維持される。
【００９０】
Ａ．メタデータ構造
図５は、メタデータを記憶するためのデータ構造５１０の例を図解する。代表的なデータ構造５１０は、以下の情報を記憶する。
【００９１】
【表２】
【００９２】
データ構造５１０の例は、メタデータを記憶するためのデータ構造５１０の一実施形態を図解することが認識され、そして種々の実施が本発明に従って使用されてもよい。例えば、データ構造５１０は、異なるフィールドを備えても良く、そのフィールドは異なるタイプでもよく、そのフィールドはグループ化されて別々に記憶される、等々である。
【００９３】
図６Ａ，６Ｂ，６Ｃおよび６Ｄは、データロケーションテーブルのいくつかのタイプについてデータロケーションテーブル構造の例を提供し、それはそれぞれタイプ０、タイプ１、タイプ２、およびタイプ３である。図６Ａにおいて、タイプ０データロケーションテーブルは、データロケーションテーブルにおけるエントリが、データブロックが記憶されたロケーションを示すデバイス／ブロックナンバーペアを備えることを意味する２４のダイレクトブロックエントリを備える。図６Ｂにおいて、タイプ１データロケーションテーブルは、１５のダイレクトブロックエントリ(direct block entry)、３つのシングルインダイレクトエントリ(single-indirect entry)、３つのダブルインダイレクトエントリ(double-indirect entry)、および３つのトリプルインダイレクトエントリ(triple-indirect entry)を備える。シングルインダイレクトエントリについてのエントリは、ダイレクトエントリの追加のデータロケーションテーブルが記憶されているロケーションを示す。ダブルインダイレクトエントリについてのエントリは、データロケーションテーブルが記憶されたロケーションを示し、ここでのデータロケーションテーブルは、シングルインダイレクトエントリを備える。トリプルインダイレクトエントリについてのエントリは、データロケーションテーブルが記憶されたロケーションを示し、ここでのデータロケーションテーブルは、ダブルインダイレクトエントリを備える。
【００９４】
任意のブロックが任意の数の装置にわたってミラーされてもよいので、メタデータのデータ構造５１０は、複数のロケーションを表現するのに十分柔軟性があり、そして一定のスペース内でのダイレクトな指標付け(indexing)によってもたらされる高速アクセスをさらに提供する。従って、タイプは、使用されるべきデータロケーションテーブルのタイプを示すためにメタデータのデータ構造５１０と有利に関連している。メタデータのデータ構造５１０の一実施形態において、例えば２４のポインタのような２４のデータエントリのための余地が存在してもよい。
【００９５】
タイプ０は、データファイルが小さいとき；データロケーションアドレスがダイレクトエントリとして記憶されているときに使用される。従って、タイプ０のメタデータのデータ構造は、２４のダイレクトエントリを備える。タイプ１は、２度までのミラー（３つのファイルコピー）および大きなファイルをサポートするために使用される。タイプ１は、１５のダイレクトエントリ、３つのシングルインダイレクトエントリ、３つのダブルインダイレクトエントリ、および３つのトリプルインダイレクトエントリを使用する。タイプ３のデータロケーションテーブルは、ディスクアドレスの全てがトリプルインダイレクトエントリとして記憶されるように、更なるミラーリングを可能にする。結果として、最大で２４までの完全なファイルが記憶されてもよい。
【００９６】
種々のデータロケーションテーブルが使用されることが認識され、そして図６Ａ，６Ｂ，６Ｃ，６Ｄは実施形態の例を図解する。他の実施形態において、例えば、データロケーションテーブルは、ダイレクトおよびインダイレクトエントリの異なる混合体を備えてもよい。さらに、他の実施形態において、データロケーションテーブルは、テーブルにおける各エントリについてエントリのタイプを指定するエントリフィールドを備えてもよい。タイプは、例えば、他のもの（例えば、クワドラプルインダイレクトなど）のみならず、上述したもの（例えば、ダイレクト、シングルインダイレクト、ダブルインダイレクト、トリプルインダイレクト）を含んでも良い。加えて、データロケーションテーブルは、Ｘレベルまでのデータロケーションテーブルのより深いネスティング(nesting)を備えてもよい。ここでＸは整数である。
【００９７】
１．ディレクトリメタデータ
図７Ａは、ディレクトリPASSWORDSについてのメタデータのサンプルセットを図解する。図７Ａにおいて、データ構造は、PASSWORDSディレクトリについての情報を記憶する。ディレクトリは、２度ミラーされる（合計３つのコピー）。ディレクトリ構造は比較的小さいので（例えば、とれはブロック内に収まる）、使用される３つのダイレクトポインタのみが存在し、各コピーについては一つである。メタデータのサンプルセットは、使用されないブロックエントリ７３０のみならず、デバイス／ブロックナンバーペアを用いてデータブロックのロケーションを示すダイレクトエントリ７２０を備えるデータロケーションテーブル７１０を備える。
【００９８】
２．ファイルメタデータ
図７Ｂは、ファイルUSER.TXTについてのメタデータのサンプルセットを図解する。図７Ｂにおいて、データ構造は、USER.TXTファイルについての情報を記憶する。USER.TXTファイルデータについてデータブロックのそれぞれの一つのコピーが存在し、そしてデータは、３＋１パリティスキームを用いて保護されている。USER.TXTについてのコンテンツデータは、サイズが４５Ｋであり且つブロックサイズが８Ｋであり、従って全く使用されない６番目のデータブロックと共に６個のデータブロックが存在する。データロケーションテーブル７１０は、６個のデータのブロックが記憶７２０されたロケーションを示し、ここでデータのブロックは装置ナンバーおよびブロックナンバーによって参照され、そこでは最初のエントリが最初のデータブロックに対応する。さらに、コンテンツデータのためのパリティ情報のロケーションはパリティマップ７４０に記憶され、そのロケーションは、“パリティマップポインタ”のようなデータ構造の最後のロケーションによって指定される。USER.TXTファイルは、このように３＋１パリティスキームを用いて記憶され、どの３個のデータのブロックについても、パリティデータのブロックが記憶される。この３＋１パリティスキームには６個のブロックが存在するので、２つのパリティデータのブロックが存在する（６を３で除算して、最も近い整数にまるめ）。パリティマップは、両方のパリティデータのブロックが記憶されたロケーションを示し、ここでパリティデータのブロックは、装置ナンバーおよびブロックナンバーによって参照され、そしてそこでは、最初のエントリが最初のパリティデータのブロックに対応する。
【００９９】
Ｂ．データロケーションテーブルデータ構造
知的分散型ファイルシステム１１０は、データがどのように記憶されるかについての柔軟性のみならず、多種多様なデータファイルについての記憶を提供してもよい。データファイルのミラーリングおよび冗長性は、知的分散型ファイルシステム１１０が異なるファイルのための冗長パラメータを変えることをサポートすることを可能にするファイルシステムレベルで実施される。例えば、いくつかのディレクトリは、ミラーされてもよく、保護されたパリティであってもよく、または全く保護されなくてもよい。
【０１００】
図８Ａ，８Ｂおよび８Ｃは、変化する保護タイプおよびレベルのデータファイルについてのデータロケーション情報を記憶するために使用されてもよい。図８Ａ，８Ｂおよび８Ｃは、種々のデータロケーションテーブルを図解するために示され、そして種々の異なるフォーマット及び／又は構造が使用されてもよいことが認識される。
【０１０１】
図８Ａは、対応するファイルのデータの各ブロックがどこに記憶されている場所を示すサンプルデータロケーションテーブル８１０を図解する。図７Ｂにおけるもののような、ファイルについての対応するメタデータは示されていないが、データロケーションテーブル８１０がメタデータのセットに対応することが認識される。代表的なデータロケーションテーブル８１０はダイレクトエントリおよびインダイレクトエントリの両方を備える。
【０１０２】
ダイレクトエントリは、装置ＩＤ／ブロックペアを含む。装置ＩＤは、データが記憶されるスマート記憶ユニットを示し、そしてオフセットまたはブロックアドレスは、データが記憶される記憶装置上のロケーションを示す。データロケーションテーブルにおける一つのサンプルエントリは、
エントリ 装置 ブロック
１ ７ １２７
【０１０３】
サンプルデータロケーションテーブル８１０は、また、データロケーションテーブルがより大きなデータのセットのためのデータロケーションを追跡することを可能にする追加のデータロケーションテーブルを指すインダイレクトエントリを備える。インダイレクトエントリのレベルが理論上は制限されない一方で、レベルは、スループットレートを改善するために有利に制限されてもよい。例えば、データロケーションテーブルは、多くてもダブルインダイレクトエントリまたはトリプルインダイレクトエントリを許容(allow)することに限られてもよい。代表的なデータロケーションテーブル８１０は、インダイレクトエントリの二つのレベルを図解する。
【０１０４】
さらに、データロケーションテーブルの最後のエントリは、パリティマップ（もしあれば）のアドレスを記憶するために取っておかれる。他の例において、パリティマップのアドレスは、例えば、メタデータのデータ構造におけるエントリのような他のロケーションに記憶されてもよい。もし、データのセットが、パリティ保護を備えなければ、アドレス値は、ＮＵＬＬのような標準値に設定されてもよい。
【０１０５】
図８Ｂは、二つの追加のロケーションにおけるミラーされたデータについてのデータロケーションテーブルを図解する。データロケーションテーブルは、データの各コピーについてブロックまたはオフセットアドレスおよび装置ＩＤを備える。本例において、データロケーションテーブル、ミラーされたロケーションは、ブロック毎のベース(block-by-block basis)で選択されている。例えば、特定のスマート記憶ユニットをミラーするために一つまたはそれ以上のスマート記憶ユニットを選択するような他のスキームが使用されてもよい。図８Ｂにおけるデータロケーションテーブルはダイレクトエントリのみを備えるが、インダイレクトエントリを使用してもよいことが認識される。
【０１０６】
一実施形態において、ファイルのためのミラーリング情報は、ファイルの対応するメタデータ構造に記憶されてもよい。この情報は、各コピーのためのデータロケーションテーブルのみならず、例えば、データのコピーの数を記憶してもよい。データロケーションテーブルがシングルデータ構造として記憶されてもよく、及び／又は、データロケーションテーブルの個々のコピーが異なるロケーションに記憶されてもよいことが認識される。
【０１０７】
ミラーされたデータを備える図８Ｂのサンプルデータロケーションテーブルは、パリティ保護を備えないが、データロケーションテーブルは、パリティ情報を備えても良い。
【０１０８】
図８Ｃは、パリティマップを備えたデータロケーションテーブルを図解する。代表的なデータロケーションテーブルにおいて、データは３＋１パリティスキームを用いて保護されており、即ちパリティデータのセットは３つのデータブロックのどれからも生成される。データを生成するための本技術分野で知られた技術が使用されてもよく、例えば、パリティブロックを生成するために、ビット毎、バイト毎、またはブロック毎のベースで、データのブロックを一緒にＸＯＲすることによるような技術がある。
【０１０９】
代表的なデータロケーションテーブルは、２１のデータブロック（ブロック０からブロック２０）からなるデータファイルについての情報を提供する。パリティスキームは３＋１であるため、パリティブロックは、３つのデータブロックの各セットについて生成される。表３は、図８Ｃに示されたいくつかのパリティブロックといくつかのデータブロックとの間の対応を図解している。
【０１１０】
【表３】
【０１１１】
サンプルデータロケーションテーブルは、パリティマップまたはロケーションテーブルを備える。代表的なパリティマップにおいて、データおよびパリティマップを生成するために使用されるブロックエントリのセット間に１対１マッピングが存在する。他の実施形態において、パリティマップは、また、パリティマップは、また、装置故障のためにそのダイレクトロケーションのいずれにおいても利用できないイベントにおいて、データを再生成するためにどのブロックが一緒にＸＯＲされたパリティであるかを、装置およびブロックナンバーによって特定する可変サイズのエントリを備える。他の実施形態において、パリティ生成スキームは、プリセットされ、データを再生成するために一緒にＸＯＲされるべきブロックを特定することなく、パリティデータの一致およびロケーションが知的分散型ファイルシステム１１０によって決定されてもよい。
【０１１２】
一実施形態において、パリティマップは、例えば、メタデータのデータ構造に含まれるよりも、むしろメタデータのデータ構造の最後のエントリにおけるように、メタデータのデータ構造によって指示されてもよい。このマップは、メタデータ構造にダイレクトに含まれる代わりに指摘されてもよく、なぜならば、その使用は、故障したスマート記憶ユニット１１４のまれな場合に必要とされるのみだからである。パリティマップは、また、スマート記憶ユニット１１４が、データを再構成している間に一度パリティマップを横断(traverse)すること、および横断されるに従ってパリティマップを分析することを可能にするパリティ再結合ブロックを表すために可変サイズのエントリを使用してもよい。或る状況において、エントリを読み出し且つ分析するための計算およびＩ／Ｏ時間は、パリティ計算時間に比較すれば無視できる。
【０１１３】
パリティロケーション情報を備えた図８Ｃのサンプルデータロケーションテーブル８１０は、ミラーリング情報またはインダイレクトエントリを備えないが、一つまたは両方がパリティロケーション情報とともに使用されてもよい。さらに、他のデータ構造が使用されてもよいことが認識され、且つデータロケーションテーブルデータ構造は本発明の一実施形態を図解するためにのみ示される。
【０１１４】
Ｃ．サンプルデータ
図９は、サンプルデータロケーションテーブル９１０およびパリティマップ９２０、およびデータが記憶される対応する装置を図解する。図９の例は、同一のファイルからのデータについて、データが、装置上の変化するロケーションにどのように記憶され、データの“ストライプ(stripe)”が各装置上の異なるオフセットアドレスにわたって記憶され、そしてパリティデータが種々の装置に記憶されるかを示す。他の実施形態において、データは、各装置上の同一のオフセットアドレスに記憶されてもよい。
【０１１５】
例えば、最初のストライプについてのパリティデータは、ロケーション４００で装置３上に記憶され、そしてロケーション１００で装置０上に記憶されたデータブロック０、ロケーション２００で装置１上に記憶されたデータブロック１、ロケーション３００で装置２上に記憶されたデータブロック２に関係する。２番目のストライプについてのパリティデータは、ロケーション６００で装置２上に記憶され、そして、ロケーション３００で装置０上に記憶されたデータブロック３、ロケーション８００で装置４上に記憶されたデータブロック４、およびロケーション７００で装置１上に記憶されたデータブロック５に関係する。
【０１１６】
いくつかの実施形態において、個々の装置は、どこに、及び／又は、どのようにロケーションをディスク上の実際のロケーションにマッピングするかを決定する。例えば、もし、装置０が４つの物理的ハードウェアディスクを備え且つ各ディスクが１００ブロックのための記憶容量を備えるならば、装置０は、記憶のためにロケーション０からロケーション３９９までを許可する。ロケーションをどのようにブロックにマッピングするかを決定するために使用されるガイドラインの一つのサンプルセットは次のようである。
テ゛ィスクナンハ゛ー＝（ロケーション／テ゛ィスクごとのフ゛ロックナンハ゛ー）のフロア(floor)
テ゛ィスク上のフ゛ロック＝ロケーションＭＯＤテ゛ィスクごとのフ゛ロックナンハ゛ー
【０１１７】
ＭＯＤは割り算の余りをとるモジュラス演算子であることに注意されたい。上記のガイドラインは、ロケーションをディスクおよびディスクブロックにマッピングするために使用されるガイドラインの例にすぎず、そして多くの他のガイドラインまたはスキームが使用できることが理解される。例えば、一実施形態は、各ブロックを表すブロックレンジのリンクされたリクエストとを利用し、そして横断(traversal)を管理してもよい。リンクされたリクエストとは、マルチプルサイズのディスク(multiple sized disk)を可能にする利点がある。
【０１１８】
データおよびパリティ情報の記憶の柔軟性のために、新たなスマート記憶ユニットが付け加えられに従い、新たなデータが新たなスマート記憶ユニットに記憶され、及び／又は、システムを中断することなく、既存のデータが新たなスマート記憶ユニットに移動され（例えば、既存のユニット上のデータを削除する前にコピーを作成することにより）てもよい。加えて、データブロックまたは全体ファイルが、高いリクエスト量(high request volume)、ディスク故障、冗長性またはパリティパラメータにおける変化、等々に応答してリアルタイムに移動またはコピーされてもよい。
【０１１９】
ＶＩＩ．知的分散型ファイルシステム処理
Ａ．データの読み出し(Retrieving Data)
図１０は、データを読み出すためのフローチャート（“データ読み出し処理”）の一実施形態を図解する。例えば、ディレクトリメタデータ、ファイルメタデータ、コンテンツデータ等の種々のデータタイプが取得されてもよい。
【０１２０】
スタートステートから始めると、データ読み出し処理は、データが記憶されたロケーションを受信する（ブロック１０１０）。一実施形態において、ロケーションは、スマート記憶ユニットＩＤおよびオフセットまたはブロックアドレスを用いて指示されてもよい。他の実施形態において、記憶装置のＩＤが使用されてもよいのに対し、他の実施形態においては、テーブルは他のＩＤにマッピングする等々のために使用されてもよい。
【０１２１】
次に、データ読み出し処理は、データがローカルに記憶されているかどうかを決定する（ブロック１０２０）。もし、データがローカルに記憶されていれば、データ読み出し処理は、ローカル記憶からデータを読み出す（ブロック１０３０）。一実施形態において、データ読み出し処理は最初にキャッシュをチェックし、そしてもしデータがそこに存在しなければ、記憶装置をチェックする。他の実施形態において、データ読み出し処理は、記憶装置のみをチェックしてもよい。
【０１２２】
もし、データがローカルに記憶されていなければ、データ読み出し処理は、データについてのリクエストを、データが記憶されたスマート記憶ユニットに送信する（ブロック１０４０）。一実施形態において、リクエストは、図１に示されるスイッチコンポーネント１２５を介して送信される。そしてデータ受信処理はリクエストされたデータを受信する（ブロック１０５０）。
【０１２３】
データ読み出し処理は、リクエストされたデータを収集し、そしてそのデータを戻す（ブロック１０６０）。いくつかの実施形態において、データは、データの全セットが収集された後に戻される。他の実施形態において、データの一部分またはセットは、データがローカル記憶から読み出され、または他のスマート記憶ユニットから受信されるにつれて戻されてもよい。一部分は、ファイルロケーションテーブルに従って発生順(sequential order)に戻されてもよく、またはそれらは読み出されまたは受信されるにつれて戻されても良い。データが戻された後は、データ読み出し処理は終了ステートに進む。
【０１２４】
図１０は、データ読み出し処理の一実施形態を図解し、そして他の実施形態が使用され得ることが理解される。一実施形態において、例えば、並列処理、パイプラインまたは非同期Ｉ／Ｏのような技術または技術の組み合わせを用いてマルチプル読み出しデータ処理によってデータが読み出されるように、一つ以上のデータ読み出し処理が同時に使用されてもよい。
【０１２５】
Ｂ．ネーム検索処理
図１１は、ネーム検索のための処理（“ネーム検索処理”）の一実施形態を図解する。スタートステートから始めると、ネーム検索処置は、ファイルネームを受信し（ブロック１１１０）、ルートディレクトリのメタデータを読み出し、そしてそのルートメタデータのロケーションをCURRENTとして設定する（ブロック１１２０）。一実施形態において、ルートディレクトリのデータは、図５のデータ構造のようなデータ構造に記憶されるが、種々のデータ構造がルートディレクトリのメタデータを記憶するために使用されてもよい。さらにまた、いくつかの実施形態において、ルートディレクトリのメタデータは、各スマート記憶ユニット１１４がルートディレクトリのメタデータと同一または類似のコピーを備えるように、各スマート記憶ユニット１１４で記憶されてもよい。他の実施形態において、ルートディレクトリのメタデータは、知的分散型ファイルシステム１１０における他のロケーションに記憶されてもよく、またはファイルリクエストと共にスマート記憶ユニット１１４に送信されてもよい。例えば、ミューテックス(mutexes)及び／又はセマフォ(semaphores)等によってロックすることのような、データの複数コピーの完全性を保証するための公知の技術が使用されてもよい。
【０１２６】
そして、ネーム検索処置は、ファイルのネームの一部である次のトークン(token)を読み出しても良い（ブロック１１３０）。そして、ネーム検索処置は、CURRENTのためのデータを記憶するスマート記憶ユニット１１４からのトークンのメタデータのロケーションのアドレスをリクエストする（ブロック１１４０）。このリクエストはローカルまたはリモートであってもよい。そして、ネーム検索処理は、戻されたアドレスをCURRENTとして設定し（ブロック１１５０）、そして他のトークンが存在するかどうかを決定する（ブロック１１６０）。ここでトークンはディレクトリ階層における単一のレベルを表す。もし、他のトークンが存在しなければ、ネーム検索処理は、参照値をCURRENTに戻し（ブロック１１７０）、そしてエンドステートに進む。
【０１２７】
ネーム検索処理の他の実施が使用されてもよいことが認識される。例えば、ネーム検索処置は、ファイルのメタデータのデータを読み出しても良い。加えて、一旦リクエストされたデータが見つかると、ネーム検索処理は、データがローカルに記憶されているのか、他のスマート記憶ユニットで記憶されているのかを決定する。もし、データがローカルに記憶されていれば、ネーム検索処理は、リードリクエストをスマート記憶ユニット１１４のローカルブロック管理モジュール３３５に送信してもよく、もしデータが他のスマート記憶ユニット上に記憶されていれば、ネーム検索処理は、リモートスマート記憶ユニット１１４のリモートブロック管理モジュール３３７にリードリクエストを送信してもよい。
【０１２８】
Ｃ．ファイルリクエスト処理
図１２は、ファイルリクエストを処理するためのフローチャートの一実施形態を図解する（“ファイルリクエスト処置”）。スタートステートから始めると、ファイルリクエスト処理は、ファイルを読み出すためのリクエストを受信する（ブロック１２１０）。一実施形態において、ファイルは、ロケーションおよびファイルネームを含むファイルのフルパスネームを用いて指示される。他の実施形態において、パスは、相対パス及び／又は他のデータ構造であってもよく、及び／又は、テーブルのような他のデータ構造は、ファイルのアドレスについての情報を記憶するために使用されてもよい。次に、ファイルリクエストは、図１１に図解されるようなネーム検索処置を実施して（ブロック１２２０）、ファイルのメタデータのデータ構造のロケーションを決定する。
【０１２９】
そして、ファイルリクエスト処理は、上述した図１０に示されるようなファイル検索処理を用いてファイルのメタデータを読み出す（ブロック１２３０）。ただし、他のファイル読み出し処理が使用されてもよい。一実施形態において、ファイルのメタデータは、ファイルにおけるデータの各ブロックが知的分散型ファイルシステムの全体を通して記憶されるロケーションへのアクセスを提供するデータロケーションテーブルを備えてもよい。
【０１３０】
そして、ファイルにおけるデータの各ブロックについて（ブロック１２４０，１２７０）、ファイルリクエスト処理は、ファイルのメタデータにおいてそれを探すことによりデータブロックのロケーションを獲得し（ブロック１２６０）、上述した図１０に示されるようなファイル読み出し処理を用いてデータブロックを読み出す（ブロック１２６０）。ただし、他のファイル読み出し処理が使用されてもよい。
【０１３１】
そして、ファイルリクエスト処理は、ファイルデータを戻し（ブロック１２８０）、そしてエンドステートに進む。いくつかの実施形態において、ファイルは、データの全セットが収集された後に戻される。他の実施形態において、一つまたはそれ以上のデータのブロックは、データが読み出されるときに戻されても良い。一部分は、ファイルロケーションテーブルに従い発生順に戻されてもよく、または、それらは、それらが読み出しまたは受信されるときに戻されてもよい。一実施形態において、ファイルリクエスト処理は、ストリーミングサーバがデータブロックを順序付ける(order)ように、データブロックを順番及び／又は他のモジュールに置いてもよい。データが戻された後は、データ読み出し処理はエンドステートに進む。
【０１３２】
図１２は、ファイルリクエスト処理の一実施形態を図解し、そして他の実施形態が使用されてもよいことが認識される。例えば、ファイルリクエスト処理は、図１１に示されるものよりも異なるネーム検索処理を用いてファイルのロケーションを決定してもよい。他の実施形態において、一つよりも多くのデータ読み出し処理は同時に使用されて、例えば、並列処理、パイプライン、または非同期Ｉ／Ｏのような技術または技術の組み合わせを用いて並列にマルチプルデータ読み出し処理によってデータが読み出されることを可能にするデータブロックを読み出してもよい。
【０１３３】
Ｄ．パリティ発生処理
図１３は、パリティ情報を発生するためのフローチャートの一実施形態を図解する（“パリティ発生処理”）。スタートステートから始めると、パリティ発生処理は、データのセットに関係するパリティスキーム情報を受信する（ブロック１３１０）。データのセットは、ファイルデータ、ファイルメタデータ、ディレクトリメタデータ、ファイルのサブセットなどを表してもよい。パリティ発生処理は、データのセットに関係するデータロケーション情報を受信する（ブロック１３２０）。次に、パリティデータの各セットについて（ブロック１３３０，１３７０）、パリティ発生処置は、データのセットを読み出す（ブロック１３４０）。例えば、もし、パリティが３＋１であれば、パリティ発生処理は、図１０に示されるようなデータ読み出し処理を用いて、最初の３つのデータのブロックを読み出す。次に、パリティ発生処理は、ビット毎、バイト毎、ブロック毎のベースでデータのＸＯＲ演算を実施するようにして、データのセットについてパリティデータを発生する。（ブロック１３５０）。そして、パリティ発生処理は、バッファにデータを記憶し、そしてデータのセットについてのパリティ情報が発生されるとブロック１３３０に戻る。パリティ情報が発生された後、パリティ発生処理は、パリティデータを記憶すべき場所を決定する（ブロック１３８０）。パリティ発生処理は、輪番パリティスキーム(rotating parity scheme)を使用してもよい。ここで、データの一連の各ストリップは、その輪番(rotation)における次の装置上に記憶される。パリティ発生処理は、パリティ情報がデータ情報と同時に失われていないことを装置故障のイベントにおいて保証するために現在のストライプについてデータを保持している装置のいずれよりむしろ異なる装置上にパリティブロックを割り当てる。パリティ発生処理は、また、パリティ記憶を考慮されることからいくつかの装置をふるい落とすために、記憶容量、ＣＰＵ稼働率、およびネットワーク稼働率のような他のファクタを考慮に入れてもよい。そして、パリティ発生処理は、割り当てられたスペースにバッファされたデータを記憶し（ブロック１３９０）、パリティデータのロケーションをパリティマップに記録し（ブロック１３９５）、そしてエンドステートに戻る。
【０１３４】
図１３は、パリティ発生処理の一実施形態を図解し、そして他の実施形態が使用されてもよいことが認識される。例えば、パリティ発生は、データのブロックを並列に読み出してもよく、そして並列に又は公知のパイプライン或いは非同期Ｉ／Ｏ技術を用いてパリティ情報を発生してもよい。さらに、パリティ発生処理は、テンポラリバッファに書き込むことなくパリティ情報のロケーションおよびパリティ情報を記憶してもよく、または、パリティ発生処理は、パリティデータまたはポインタをパリティデータに戻してもよい。
【０１３５】
Ｅ．データ回復処理
図１４は、失われた又は壊れたデータを回復するためのフローチャートの一実施形態を図解する（“データ回復処理”）。スタートステートから始めると、データ回復処置は、使用されたパリティスキームに関する情報を受信する（ブロック１４１０）。そして、データ回復処理は、故障した又は壊れたディスク又はデータについての情報を受信する（ブロック１４２０）。次に、データ回復処理は、失われた又は壊れたデータが割り当てられたパリティブロックグループについてのアドレス情報を受信する（ブロック１４３０）。そして、データ回復処理は、利用可能なスマート記憶ユニットからデータブロックを読み出す（ブロック１４４０）。データは、図１０のようなデータ読み出し処理を用いて読み出されてもよい。データ回復処理は、パリティスキームに従ってブロックをＸＯＲしてその結果をバッファに記憶するようにして、エラー訂正を実施する（ブロック１４５０）。バッファにあるデータは失われたデータを表す。そして、データ回復処理は、バッファにあるデータを戻し（ブロック１４７０）、そしてエンドステートに進む。
【０１３６】
ＶＩＩＩ．結論
本発明のいくらかの実施形態が説明されたが、これらの実施形態は、単なる例の目的にすぎず、且つ本発明の適用範囲を制限することを意図するものではない。従って、本発明の広がりおよび適用範囲は、特許請求の範囲およびその均等物に従って規定されるべきである。
【図面の簡単な説明】
【０１３７】
【図１】本発明の一実施形態のハイレベルブロックダイアグラムを図解する図である。
【図２】図１に図解されたコンポーネント間でのデータフローの一例を図解する図である。
【図３】スマート記憶ユニットの一例のハイレベルブロックダイアグラムを図解する図である。
【図４】ファイルディレクトリの一例を図解する図である。
【図５】メタデータ構造の一実施形態を図解する図である。
【図６Ａ】データロケーションテーブル構造の一実施形態を図示する図である。
【図６Ｂ】データロケーションテーブル構造の追加の実施形態を図解する図である。
【図６Ｃ】データロケーションテーブル構造の追加の実施形態を図解する図である。
【図６Ｄ】データロケーションテーブル構造の追加の実施形態を図解する図である。
【図７Ａ】ディレクトリ用のメタデータ構造の一実施形態を図解する図である。
【図７Ｂ】ファイル用のメタデータ構造の一実施形態を図解する図である。
【図８Ａ】データロケーションテーブルの一実施形態を図解する図である。
【図８Ｂ】データロケーションテーブルの追加の一実施形態を図解する図である。
【図８Ｃ】データロケーションテーブルの追加の一実施形態を図解する図である。
【図９】対応するサンプルデータを有するファイルのメタデータ構造の一例を図解する図である。
【図１０】データを取得するためのフローチャートの一実施形態を図解する図である。
【図１１】ネームレゾリューションを実施するためのフローチャートの一実施形態を図解する図である。
【図１２】ファイルを取得するためのフローチャートの一実施形態を図解する図である。
【図１３】パリティ情報を生成するためのフローチャートの一実施形態を図解する図である。
【図１４】エラー訂正を実施するためのフローチャートの一実施形態を図解する図である。
【０００１】
本発明のシステムおよび方法は、概して、分散型ファイル記憶の分野に関し、特に知的分散ファイル管理に関する。
【背景技術】
【０００２】
インターネットの爆発的な成長は、情報が常に交換されアクセスされる新たな領域において先導してきた。この成長に応答して、共有されるデータのサイズが増加している。ユーザは、標準のＨＴＭＬドキュメントの要求にとどまらず、オーディオデータ、ビデオデータ、イメージデータ、およびプログラミングデータに対するアクセスを求めている。従って、大きなデータのセットを収容することができながら、同時にデータに対する高速且つ信頼性のあるアクセスを提供することができるデータ記憶に対する要請がある。
【０００３】
ひとつの回答は、大量のデータを記憶するが、ハイスループットレートを提供することの困難性を有する単一の記憶装置を利用してきた。データ容量が増加するにつれ、データをアクセスするのに要する時間量が同様に増加する。処理速度とパワーは改善されたが、ディスクＩ／Ｏ（入力／出力）動作性能は、特に大きなデータファイルについては、Ｉ／Ｏ動作を非効率的にする同一のレートでは改善されない。
【０００４】
他の回答は、ＳＡＮｓ(Storage Area Network solution)のようなアーキテクチャを用いて、共有ディスクに複数のサーバがアクセスすることを可能にするが、このようなシステムは高価であり、データの完全性を制御しセットアップするための複雑な技術を必要とする。さらに、大量のデータリクエストを取り扱うためには高速のアダプタを必要とする。
【０００５】
従来のアプローチについての一つの問題は、それらが拡張性に制限があることである。従って、データ量が増加するにつれ、システムは、成長することが要求されるが、拡張が高額で著しく分裂的である。
【０００６】
渋滞のアプローチについての他の共通問題は、それらが柔軟性に制限があることである。システムは、所定のエラー訂正制御を使用するためによく構成される。例えば、ＲＡＩＤシステムは、データがどこに記憶されるべき場所または使用されるべき冗長パラメータのタイプを決定することにおいて管理者に柔軟性をほとんど与えないかまたは全く与えない物理ディスクレベルで、データファイルのミラーリング(mirroring)および冗長性(redundancy)を提供するために使用され得る。
【発明の開示】
【課題を解決するための手段】
【０００７】
知的分散型ファイルシステムは、シングルファイルシステムとしてアクセスされるスマート記憶ユニットのセット間でファイルデータの記憶を有利に可能にする。知的分散ファイルシステムは、例えば、ファイルのデータブロックのブロックロケーションおよび装置を含む各ファイルについての詳細な情報を管理し且つ追跡するためのメタデータのデータ構造を有利に利用して、シングルファイルシステム内の冗長性(redundancy)および／または反復(replication)の異なるレベルを許容し、冗長パラメータの変更を容易化し、リアルタイムでデータを移動し且つ反復する。等々。
【０００８】
この要約の目的のため、本発明のいくつかの態様、利点、および新規な特徴が本明細書に記述されている。全てのこのような利点は必ずしも本発明の特定の実施形態に従って達成さるとは限らないことが理解されるべきである。従って、例えば、当業者であれば、本発明は、本明細書で教示または示唆される他の利点を必ずしも達成することなく、本明細書で教示されるような一つの利点または利点のグループを達成する方法で具現または実施されるということを認識するであろう。
【発明を実施するための最良の形態】
【０００９】
本発明の一実施形態および適用例を表すシステムおよび方法は、ここで図面を参照して述べられるであろう。他の実施形態を表す本システムおよび方法の変形例もまた述べられるであろう。
【００１０】
説明のため、いくつかの実施形態は、ウェブホスティングおよびインターネットコンテンツ配信のコンテキストで説明される。本発明者は、本発明がシステムおよび方法が使用される環境のタイプによって制限されず、且つ本システムおよび方法が、例えばインターネット、ワールドワイドウェブ(World Wide Web)、病院用の私設ネットワーク、政府機関用のブロードキャスト、集団経営の内部ネットワーク、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク等々のような他の環境においても使用され得ることを意図する。しかしながら、数値および説明は、環境がインターネットコンテンツ配信およびウェブホスティングの環境であるところの本発明の実施形態に関する。他の環境において、本システムおよび方法が、シングルモジュールとして実施され、および／または他のモジュールその他の同種のものとつないで実施されてもよいことも認識される。さらに、本明細書で述べられる特定の実施は、本発明を例示するためであり、本発明を限定するためではない。本発明の適用範囲は、添付の請求項によって定められる。
【００１１】
これらおよび他の特徴は、ここで上記に要約された図面を参照して述べられるであろう。図面および関連する記載は、実施形態を説明するために提供されるものであって、本発明の範囲を制限するものではない。図面の全体を通して、参照番号は参照される要素間で対応するものを示す。加えて、各参照番号の最初の数字は、概して要素が最初に現れた図を示す。
【００１２】
Ｉ．概要
本発明のシステムおよび方法は、シングルファイルシステムとしてアクセスされるスマート記憶ユニット(smart storage units)のセット間でデータの記憶を可能とする知的分散型ファイルシステムを提供する。知的分散型ファイルシステムは、各ファイルについて詳細なメタデータを追跡(track)し管理(manage)する。メタデータは、例えば、装置およびブロックロケーション情報の双方を含むファイルのデータブロックのロケーション、メタデータ及び／又はデータブロック（もしあれば）の冗長なコピーのロケーション、エラー訂正情報、アクセス情報、ファイルのネーム、ファイルのサイズ、ファイルのタイプ、等々のようなファイルに関する及び／又は上記ファイルを記述する任意のデータを含む。加えて、知的分散型ファイルシステムは、ファイルシステムによって管理される異なるファイル及び／又はデータブロックについて反復及び／又は冗長の異なるレベルを可能にし、システムがアクティブの間に冗長パラメータの変更を容易化し、そしてメタデータのリアルタイムな反復及び／又は移動を可能にする。さらに、各スマート記憶ユニットは、スマート記憶ユニットからファイルのデータを見つけ出し且つ収集することによりファイルリクエストに応じる。
【００１３】
知的分散型ファイルシステムは、特にライト(WRITE)リクエストの数に比例して多くのリード(READ)リクエストが存在する状況においてデータへのアクセスを有利に提供する。これは、一貫性を確保するための個々のスマート記憶ユニットに関するジャーナル処理と同様に、スマート記憶ユニットの知的グループを連続追跡することの追加の複雑さのためである。さらに、知的分散型ファイルシステムは、大きなデータブロックに対するリクエストが一般的であるブロックトランザクション(block transaction)を有利に処理する。
【００１４】
いくつかの実施形態の一つの便益は、ファイルおよびディレクトリについてのメタデータが知的分散型ファイルシステムによって管理され且つアクセスされることである。メタデータは、同様にシステムに関するパリティまたは他のエラー訂正情報がどこに記憶されているかを示すのみならず、ディレクトリ又はファイルがどこに位置しているか、コンテンツデータがどこに記憶されているか、メタデータ及び／又はコンテンツデータのミラードコピー(mirrored copies)がどこに記憶されているかを示すものであってもよい。データロケーション情報は、例えば、装置およびブロックロケーション情報を用いて記憶される。従って、知的分散型ファイルシステムは、双方がスマート記憶ユニットのセット間に分散され且つ記憶されるメタデータを用いて、リクエストされたコンテンツデータを探し出し且つ読み出す。加えて、知的分散型ファイルシステムはメタデータへのアクセスを備えるので、知的分散型ファイルシステムは、スマート記憶ユニットを混乱させることなく、リクエストに応じてデータを移動し、反復し、及び／又は変更し、且つデータが記憶されるべき場所を選択するために使用できる。
【００１５】
いくつかの実施形態の他の便益は、各ファイルについてのデータが多くのスマート記憶ユニットにわたって記憶され、且つタイムリーにアクセスされることである。各ファイルについてのデータブロックは、データアクセスタイムは減少されるようなスマート記憶ユニットのサブセットの間に分散されてもよい。さらに、異なるファイルは、スマート記憶ユニットの異なるセットにわたるのみならず、スマート記憶ユニットの異なる数にわたって分散されてもよい。このアーキテクチャは、知的分散型ファイルシステムが、有効な記憶容量、ＣＰＵ稼働率、および各スマート記憶ユニットのネットワーク稼働率のみならず、ファイルのサイズ、重要度、予期されるアクセスレートのような要因に基づき、データブロックを知的に記憶することを可能にする。
【００１６】
いくつかの実施形態の追加の便益は、スマート記憶ユニット間に記憶された異なるデータブロック又はファイルが異なるタイプの保護を備えるようなファイルベースまたはデータブロックに関し、エラー訂正、冗長性、およびミラーリングのような種々の保護スキームを提供するために本システムおよび方法が使用されてもよいことである。例えば、あるディレクトリまたはファイルはミラーされてもよく、他のものは、種々のエラーまたはロス訂正スキームを用いてエラー及び／又はロス訂正データで保護されてもよく、そして重要度の低い他のものは何ら保護スキームを使用しなくてもよい。
【００１７】
いくつかの実施形態の更なる便益は、本システムおよび方法が、現行のデータリクエストを中断または割り込みすることなく、リアルタイムなスマート記憶ユニットの付加、削除、及び／又は修正を可能にすることである。従って、より多くの記憶が要求されるほど、追加のスマート記憶ユニットが、ファイルリクエストに割り込むことなく且つ既存のスマート記憶ユニットをオフラインにすることなく、リアルタイムで知的分散型ファイルシステムに組み込まれ且つスマート記憶ユニットのセットに付け加えられてもよい。既存のスマート記憶ユニットは、既存または新たなファイルが現在新たなスマート記憶ユニットを含むスマート記憶ユニットのセットにわたって知的分散型ファイルシステムによって分散されているときに、ファイルについてのリクエストを処理してもよい。
【００１８】
いくつかの実施形態の他の便益は、本システムおよび方法が、一つまたはそれ以上のスマート記憶ユニット上のデータブロックを反復し、ゆえに任意の個々のデータブロックについて多数のアクセスポイントを生成することにより、それらのブロックの記憶に対してリアルタイムの修正を実施してもよいことである。この反復は、頻繁なアクセスパターンが観測されるファイルのグループまたはファイルのための個々のスマート記憶ユニットに対するＣＰＵの稼働率およびネットワーク資源の必要条件を低減するのに役立つ。これらのアクセスは、スマート記憶ユニットによってモニタされ、そして知的分散型ファイルシステムは、知的分散型ファイルシステムがまだ動作中にこのようなデータ反復をさせるための柔軟性をスマート記憶ユニットに柔軟性を与える。
【００１９】
ＩＩ．動作例
説明のため、ここで知的分散型ファイルシステムが動作において使用されるシナリオの例を検討する。このシナリオの例において、知的分散型ファイルシステムは、インターネットウェブサイトを介して映画ダウンロードを提供するカンパニーによって使用される。このカンパニーは、ウェブサイトを介して顧客によってアクセスされる顧客情報、広告、映画予告のみならず、ダウンロード可能な映画のコピーを記憶し且つ管理するために知的分散型ファイルシステムを使用してもよい。データは、種々のレベルの保護で記憶され且つ高速アクセス用の多数のスマート記憶ユニットにわたって記憶されてもよい。
【００２０】
例えば、カンパニーは、電子メールに対する高速なアクセスを提供するために、知的分散型ファイルシステムにおいて多くのスマート記憶ユニットにわたって顧客概観電子メール(customer survey emails)を記憶することを欲する。しかしながら、このカンパニーは、全ての電子メールのバックアップテープを保持し、そして顧客概観の迅速な回復を可能にすることは重要ではないと思うかもしれない。カンパニーは、顧客概観電子メールに関してエラー訂正またはミラーリング保護を使用しないように知的分散型ファイルシステムに指示するかもしれない。従って、一つまたはそれ以上のスマート記憶ユニットがアクセス不能になると、コンパニーは、それらのスマート記憶ユニット上の顧客概観電子メールへのアクセスが、その電子メールがバックアップテープからリストアされ得るまで遅延されることが容認できると思うかもしれない。
【００２１】
広告については、カンパニーは、もし一つまたはそれ以上のスマート記憶ユニットが故障すると、知的分散型ファイルシステムが広告表示に割り込むことなくデータを回復できるというような高エラー訂正パラメータを使用することを知的分散型ファイルシステムに指示してもよい。例えば、カンパニーは、特定ファイルにどの程度の保護が与えられるべきかを決定することにおいて支援するための種々の耐故障性計量(fault tolerance measurement)に頼る。重要な情報について、カンパニーは、Ｘの耐故障性のレベルを確保することを欲し、そしてさほど重要ではない情報については、カンパニーはＹの耐故障性のレベルを確保することを欲する。ここでＸ＞Ｙである。耐故障性に加え、または耐故障性に代えて、他の計量が使用されてもよく、且つ耐故障性が信頼性の一つの計量を示すために使用されることは認識されている。従って、カンパニーは、広告が一つまたはそれ以上のスマート記憶ユニットが故障したとしても、信頼性のある基準で利用可能であることをその広告主に請け合うことができる。
【００２２】
トップ映画のダウンロードについて、カンパニーは、より多くの顧客がデータにアクセスし、且つ、もし一つまたはそれ以上のスマート記憶ユニットが故障すれば、失われたデータが再生成され又は他の場所から読み出されることを保証するために、映画の多くのコピーを自動的に記憶するように知的分散型ファイルシステムを有利にセットアップしてもよい。さらに、もしリクエストの数が増加し、及び／又は、もし一つまたはそれ以上のスマート記憶ユニットがそのスマート記憶ユニットに存在するデータに対するリクエストで殺到するようになり始めれば、トップ映画のダウンロードの追加のコピーが生成されてスマート記憶ユニット間に記憶されてもよい。
【００２３】
カンパニーは、人気のない他の映画を提供することを選択し、そして低い要求に応じて少ないコピーを記憶することを知的分散型ファイルシステムに指示してもよい。さらに、“トップのダウンロード映画”の人気が少なくくなるにつれ、カンパニーは、その映画が記憶されたスマート記憶ユニットから映画の余分なコピーを削除し、そして“人気がなくなった”映画を低性能のスマート記憶ユニット（例えば、利用可能なディスクスペースが少ないスマート記憶ユニット）に移動するように知的分散型ファイルシステム有利にセットアップしてもよい。知的分散型ファイルシステムは、スマート記憶ユニットを用いてこれらのタスクを自動的に管理する。
【００２４】
加えて、カンパニーがより多くの映画を入手すれば、カンパニーは、知的分散型ファイルシステムに追加のスマート記憶ユニットを付け足してもよい。カンパニーは、それから、より多くの映画を記憶するため、既存の映画のより多くのコピーを記憶するため、及び／又は、応答時間を改善するために既存の映画データを分散させるため、新たなスマート記憶ユニットを使用してもよい。知的分散型ファイルシステムが多数のスマート記憶ユニットのセット間でデータを記憶する管理し且つ記憶するにもかかわらず、知的分散型ファイルシステムがシングルファイルシステムとして見えるように、追加のスマート記憶ユニットが知的分散型ファイルシステムに組み込まれる。
【００２５】
この例では、知的分散型ファイルシステムは、トップ映画ダウンロードへの信頼性があり且つ高速なアクセス、人気の少ない映画への高速なアクセス、そして顧客概観電子メールを提供するための能力をカンパニーに提供する。各ファイルについて、カンパニーは、エラー及び／又はロス訂正パラメータを設定し、そしてどれ程多くのファイルの追加コピーが記憶されるべきかを選択してもよい。或る状況において、カンパニーは、手動で、どれ程多くのデータのコピーが記憶されるべきかを選択し、そしてそのデータがどこに記憶されるかを決定してもよい。他の状況においては、カンパニーは、どれ程多くのデータのコピーが記憶されるべきか、使用されるべきエラー及び／又はロス訂正スキーム（もし、あれば）、及び／又はデータがどこに記憶されるべきかを選択するために知的分散型ファイルシステムの特徴に頼ってもよい。従って、カンパニーは、記憶スペースを効率的に使用して、ユーザに対してより良く応答することができる。記憶スペースは、まばらなリクエストファイルについても浪費されず、そしてエラー訂正情報は生成されず、重要でないファイルのために記憶される。
【００２６】
上述の例はダウンロードのための映画を提供するカンパニーを含むが、この例は、知的分散型ファイルシステムの一実施形態の特徴を示すためのみに使用されることが認識される。さらに、知的分散型ファイルシステムは、他の環境においても使用でき、且つ、例えば、サウンドファイル、オーディオファイル、グラフィックファイル、マルチメディアファイル、デジタルフォトグラフ、実行可能ファイル、等々を含むデータの組み合わせ及び／又は他のタイプのデータと共に使用できる。
【００２７】
ＩＩＩ．知的分散型ファイルシステム
図１は、リモートファイルアクセスを提供するネットワークサーバ１２０と通信する知的分散型ファイルシステム１１０の一実施形態を図解する。知的分散型ファイルシステム１１０は、例えばＮＦＳまたはＣＩＦＳのような種々のプロトコルを用いてネットワークサーバ１２０と通信してもよい。ユーザ１３０は、知的分散型ファイルシステム１１０によって管理されるファイルをリクエストするために、インターネット１４５のような通信媒体１４０を介してネットワークサーバ１２０と対話する。代表的な知的分散型ファイルシステム１１０は、スマート記憶ユニット１１４のセットおよびネットワークサーバ１２０と通信するスイッチコンポーネント１２５を利用する。知的分散型ファイルシステム１１０は、個々のファイルのデータブロックが多数のスマート記憶ユニット１１４に散らばることを可能にする。データが単一の装置に記憶されている場合よりも、このデータへのアクセスがより高いスループットを提供するように、データが記憶される。加えて、知的分散型ファイルシステム１１０は、種々の保護スキームを用いて記憶された種々のデータファイルを記憶するために使用されてもよい。
【００２８】
代表的な知的分散型ファイルシステム１１０は、スマート記憶ユニット１１４のセット間でデータを記憶する。スマート記憶ユニット１１４についての更に詳細な説明については、“スマート記憶ユニット”と題された後述のセクションを参照されたい。
【００２９】
代表的な知的分散型ファイルシステムは、リクエストされたデータのタイプを処理することができるアプリケーションサーバにリクエストを方向づける負荷バランシングスイッチ(load balancing switch)のようなスイッチコンポーネント１２５を利用する。入ってくるリクエストは、データの完全性を確保するための遅延を最小化するために高速技術を用いて適切なアプリケーションサーバに転送される。
【００３０】
例えば、標準のイーサネット（登録商標）スイッチまたは負荷バランシングスイッチのみならず、１０００Ｂａｓｅ−Ｔ（銅）ギガビット負荷バランシングイーサネット（登録商標）スイッチ、Ｅｘｔｒｅｍｅ Ｎｅｔｗｏｒｋ Ｓｕｍｍｉｔ ７Ｉ、Ｆｏｕｎｄｒｙ Ｆａｓｔ Ｉｒｏｎ ＩＩ、Ｎｏｒｔｅｌ Ｎｅｔｗｏｒｋｓ Ａｌｔｅｒｏｎ ＡＣＥｓｗｉｔｃｈ １８０、Ｆ５ Ｂｉｇ−Ｉｐのような、種々の負荷バランシングスイッチ１２５が使用できることが認識される。知的分散型ファイルシステムは、例えば“ｊｕｍｂｏ”イーサネット（登録商標）フレームのような大きなフレームをサポートするスイッチを利用する。加えて、負荷バランシングスイッチ１２５は、他の市販品及び／又は独自仕様の製品のみならず、Ｆｏｕｎｄｒｙ ＮｅｔｗｏｒｋのＳｅｒｖｅｒＩｒｏｎ ｓｗｉｔｃｈｅ、ＡｓａｎｔｅのＩｎｓｔｒａＳｗｉｔｃｈ ６２００ ｓｗｉｔｃｈｓ、ＡｓａｎｔｅのＨｏｔＳｔａｃｋ、ＣｉｓｃｏのＣａｔａｌｙｓｔ ｓｗｉｔｃｈｓを用いて実施されてもよい。しかしながら、当業者であれば、広範囲のスイッチコンポーネント１２５が使用でき、または他の技術が使用できることを認識するであろう。さらに、スイッチコンポーネント１２５は、種々のネットワークフレームサイズを伝送するように構成されてもよいことが認識される。
【００３１】
重要度の高いファイルは、一つまたはそれ以上のスマート記憶ユニットへのアクセスを妨げる、ディスク、マザーボード、ＣＰＵ、オペレーティングシステム、または他のハードウェアまたはソフトウェアの故障が生じた場合に高い回復レートをデータに提供する高度のエラー訂正パラメータで記憶されてもよい。もし、何らかのデータが欠落し又は失われれば、スマート記憶ユニット１１４は、他の場所からデータを得るため、またはデータを再生成するために、メタデータにおけるミラーリング情報または冗長情報を使用してもよい。高度に需要があるファイルは、一様に高いスループットを提供するために追加のスマート記憶ユニット１１４にわたってリアルタイムでミラーされてもよい。
【００３２】
本知的分散型ファイルシステム１１０の一実施形態において、メタデータのデータ構造は、そのメタデータのデータ構造に対応するディレクトリの任意の子孫を含んでそれが参照するデータと少なくとも同じ保護を備える。メタデータのデータ構造におけるデータの紛失(loss)は、そのメタデータのデータ構造なしでデータを取得することは困難であるので、知的分散型ファイルシステムを阻害する。知的分散型ファイルシステム１１０において、メタデータのデータ構造の代わりのコピーは、必要な保護を提供するのに要するのと同じくらいの多くのロケーションにおいてミラーされてもよい。従って、パリティ保護を備えるファイルは、少なくとも同一またはより大きなパリティ保護で記憶され、そして２回ミラーされたファイルは、少なくとも２箇所のロケーションでミラーされたそのメタデータ構造を備えてもよい。
【００３３】
図１は、知的分散型ファイルシステム１１０の一実施形態を図解するが、他の実施形態が使用されてもよいことが認識される。例えば、アプリケーションサーバのような追加のサーバが、スイッチコンポーネント１２５と通信してもよい。これらのアプリケーションサーバは、例えば、オーディオストリームサーバ、ビデオストリームサーバ、イメージプロセッシングサーバ、データベースサーバ、等々を含んでもよい。さらに、スイッチコンポーネント１２５と通信する、ワークステーションのような追加の装置が存在してもよい。加えて、図１は、４つのスマート記憶ユニット１１４と共に動作する知的分散型ファイルシステム１１０を図解するが、その知的分散型ファイルシステム１１０は、異なる数のスマート記憶ユニット１１４と動作してもよい。
【００３４】
用語“リモート”は、装置、コンポーネント、及び／又はローカルに記憶されないモジュールをも含み、それはローカルバスを介してアクセスできないことが認識される。従って、リモート装置は、物理的に同一のルームに位置されると共にスイッチまたはローカルエリアネットワークを介して接続された装置を含んでもよい。他の状況において、リモート装置は、また、例えば異なるロケーション、カントリー、等々の地理的に離れた地域に位置されてもよい。
【００３５】
また、種々のタイプのデータが知的分散型ファイルシステム１１０を用いて記憶されてもよいことが認識される。例えば、知的分散型ファイルシステム１１０は、例えば、ビデオオンデマンド、オンラインミュージックシステム、ウェブサイトミラーリング、大きなデータベース、大きなグラフィックスファイル、ＣＡＤ／ＣＡＭデザイン、ソフトウェアアップデート、企業プレゼンテーション、保険金請求ファイル、医療用画像ファイル、企業ドキュメント記憶、等々のような、大きなファイルアプリケーションで使用されてもよい。
【００３６】
図２は、ウェブサイトユーザ１３０がオンデマンドデジタルビデオを見るためにリクエストをサブミットした環境の例を図解する。イベントＡにおいてユーザ１３０は、インターネット１４５を介して、映画のコピー、mymovie.movieを見ることを要求するウェブサイトにリクエストを送信する。このリクエストは、ウェブサイトのサーバ１２０によって受信され、そしてサーバ１２０は、ファイルが、/movies/comedy/mymovie.movieに位置されていると決定する。イベントＢにおいて、知的分散型ファイルシステム１１０のスイッチコンポーネント１２５は、知的分散型ファイルシステム１１０に接続するためのリクエストを見つけ、そして、標準の負荷バランシング技術を用いて、スマート記憶ユニット０のような利用可能なスマート記憶ユニット１１４にこのリクエストを転送する。イベントＣにおいて、スマート記憶ユニット０は、ファイル/DFSR/movies/comedy/mymovie.movieについてのリクエストを受信し、そして、サブディレクトリmoviesについてのメタデータのデータ構造がスマート記憶ユニット２で記憶されていることを、そのルートメタデータのデータ構造（ルートディレクトリ/DFSR）から決定する。イベントＤにおいて、スマート記憶ユニット０は、サブディレクトリcomedyについてメタデータのデータ構造のロケーションを要求するスマート記憶ユニット２にリクエストを送信する。イベントＧにおいて、スマート記憶ユニット０は、ファイルmymovie.movieについてのメタデータのデータ構造がスマート記憶ユニット０で記憶されている情報を受信する。スマート記憶ユニット０は、それから、ローカル記憶からファイルmymovie.movieについてのメタデータのデータ構造を取得する。このメタデータのデータ構造から、スマート記憶ユニット０は、ファイルにおけるデータの各ブロックのロケーションを記憶するmymovie.movieについてのデータロケーションテーブルを取得する。スマート記憶ユニット０は、それから、データロケーションテーブル情報を使用して、ローカルに記憶されたブロックを取得し且つ他のスマート記憶ユニットで記憶されたデータについてのリクエストを送信することを開始する。
【００３７】
ファイルのデータまたはデータの一部が取得された後に、そのファイルデータは、リクエストするサーバ１２０に送信されて、リクエストするユーザ１３０に転送される。一つの例において、ファイルデータは、データがいつどのようにユーザ１３０に送信されるかを統制するビデオストリーミングサーバに送られてもよい。いくつかの実施形態において、リクエストの待ち時間(latency)を低減するためにリクエストされたときにより多くのデータを取得する先見読み出し技術(read ahead techniques)を利用することは有利であろうことが認識される。
【００３８】
ＩＶ．知的ファイルシステム構造
表１は、物理的記憶装置をアクセスするためにファイルリクエストが処理されるファイルシステムレイヤのセット例の一実施形態を例示する。代表的なファイルシステムレイヤは、ユーザレイヤ、バーチャルファイルシステムレイヤ、ローカルファイルシステムレイヤ、ローカルファイル記憶レイヤ、および記憶装置レイヤを含む。
【００３９】
【表１】
ファイルリクエストの一つのタイプにおいて、リクエストは、例えば、マイクロソフトウィンドウズ（登録商標）ファイルシェアリングサーバプロトコルを実装するユニックス上で使用されるＳＭＢＤ、または、ＦＴＰＤＤ、ＨＴＴＰ（アパッチウェブサーバ）のような、ファイルシェアリングのためのユーザレベルのプロトコルアプリケーションを介して受信される。ユーザレベルプロトコルアプリケーションは、例えば、libc,Ｃランタイムライブラリファンクションコールに対してファンクションコールさせることによるような、カーネルレベルオープン、リード、シーク、ライト、またはクローズシステムコールを実施する。
【００４１】
システムコールは、バーチャルファイルシステム（“ＶＦＳ”）に受け渡され、それはバッファキャッシュ(buffer cache)を保持する。バッファキャッシュは、例えば、下層のファイルシステムレイヤから受信されたメタデータのデータ構造またはデータを記憶するために使用されるキャッシュであって使用頻度が最も低いキャッシュ（“ＬＲＵ”）であってもよい。
【００４２】
次のレイヤは、ファイルシステムの階層的ネーミングシステムを保持するローカルファイルシステムレイヤである。ローカルファイルシステムレイヤは、メタデータのデータ構造検索および管理を処理する。例えば、ユニックスベースのファイルシステムのような或るシステムにおいては、メタデータのデータ構造は、ファイルアクセス許可、データブロックロケーション、およびリファレンスカウントについての情報を含むファイル抽象化(file abstraction)である。ファイルがそのネームによって一旦開かれると、他のファイルオペレーションは、特定のファイルについてメタデータ構造を確認するユニークな識別子によってファイルを参照する。このアプローチの便益は、単一ファイルが、多くの異なるネームを有し、単一ファイルが異なるパスを介してアクセスされ、そして新たなファイルが、例えば“ｍｖ”コマンドのような標準のユーザレベルのユーティリティによって実際のファイルデータを上書きすることなく、ＶＦＳネームスペースの古いファイルの上にコピーされ得ることである。これらの便益は、コンテンツ配信およびウェブホスティングのような環境においてはなおさら有益である。なぜなら、コンテンツは、現行のコンテンツの供給を混乱させることなく、適切にアップデートされ得るからである。メタデータのデータ構造内のリファレンスカウントは、システムが、一旦全てのオープンファイルハンドルが閉じられれば、データブロックを無効にすることのみを可能にする。
【００４３】
第４レイヤは、“バッファリクエストからブロックリクエスト”の翻訳(translation)を処理するローカルファイルストアレイヤ(Local File Store layer)であり、データバッファは管理(management)をリクエストする。例えば、ローカルファイルストアレイヤは、ブロック割り当てスキーム(block allocation schemes)を使用して、リーディングについての検索スキームをブロックするのみならず、ライトおよびリードについてのスループットを改善し且つ最小化する。
【００４４】
最後のレイヤは、ファイルシステムによって使用されるディスクハードウェアの特定のもののためのデバイスドライバを努める記憶装置レイヤである。例えば、もし物理的な記憶装置がＡＴＡディスクであれば、記憶装置レイヤはＡＴＡディスクドライバである。
【００４５】
Ｖ．スマート記憶ユニット
一実施形態において、スマート記憶ユニット１１４は、プラグアンドプレイの、高密度な、ラックに実装可能な装置であり、それは、高スループットデータ配信のために最適化されている。スマート記憶ユニットは、単一のバーチャルファイルシステムを提供するために他の種々のスマート記憶ユニットと通信するように構成されている。より多くの記憶スペースが必要とされるほど、または、もし一つまたはそれ以上のスマート記憶ユニットが故障すれば、システム全体をダウンさせる必要なく、またはサービスの中断を生じることなく、追加のスマート記憶ユニットがインストールされ得る。
【００４６】
本明細書で用いられるように、モジュールなる用語は、ハードウェアまたはファームウェアで具現されたロジックを指し、またはソフトウェア命令の集まりを指し、あるいは入力点(entry point)および出力点(exit point)を備え、例えば、ＣまたはＣ＋＋のようなプログラミング言語で記述されている。ソフトウェアモジュールは、実行可能ファイルに準拠しまたはリンクされ、動的リンクライブラリにインストールされ、またはＢＡＳＩＣ，ＰｅｒｌまたはＰｙｔｈｏｎのようなインタプリタ型のプログラミング言語で記述されてもよい。ソフトウェアモジュールは、他のモジュールまたはそれら自体からコール可能であってもよく、及び／又は検出されたイベントまたは割り込みに応答して呼び出されても良いことが評価されるであろう。ソフトウェア命令は、ＥＰＲＯＭのようなファームウェアに組み入れられても良い。ハードウェアモジュールは、ゲートおよびフリップフロップのような結合されたロジックユニットから構成されてもよく、及び／又はプログラマブルゲートアレイまたはプロセッサのようなプログラマブルユニットから構成されてもよい。モジュールは、本明細書では、好ましくは、ソフトウェアのジュールとして実施されるが、ハードウェアまたはファームウェアで表現されてもよい。
【００４７】
図３は、管理モジュール３２０、処理モジュール３３０、キャッシュ３４０、スタック３５０、および記憶装置３６０を備えるスマート記憶ユニット１１４の一実施形態を図解する。代表的なスマート記憶ユニット１１４は、図１に図解されるように送信および受信するためにスイッチコンポーネント１２５と通信するように構成されてもよい。
【００４８】
Ａ．管理モジュール
一実施形態において、スマート記憶ユニットは、例えば、インストール、パラメータ設定、知的分散型ファイルシステムのモニタリング、知的分散型ファイルシステム１１０上で発生するイベントのロギング(logging)、およびアップグレードのような管理タスクを実施するための管理モジュール３２０を備える。
【００４９】
Ｂ．処理モジュール
代表的な処理モジュール３３０は、データファイルに対するリクエストを受信し、上記リクエストされたデータについてのローカル(local)及び／又はリモート(remote)で記憶されたメタデータを読み出し、且つ上記リクエストされたデータファイルの上記ローカル及び／又はリモートで記憶されたデータブロックを読み出すように構成されてもよい。加えて、処理モジュール３３０は、また、一つまたはそれ以上のリクエストされたデータブロックが壊れ又は失われるイベントにおいてデータ回復(data recovery)およびエラー訂正を実施する。
【００５０】
一実施形態において、処理モジュール３３０は、ファイルリクエストに応答する５つのモジュール、ブロック割り当て管理モジュール３３１、ブロックキャッシュモジュール３３３、ローカルブロック管理モジュール３３５、リモートブロック管理モジュール３３７およびブロック装置モジュール３３９を備える。
【００５１】
１．ブロック割り当て管理モジュール
ブロック割り当て管理モジュール３３１は、ブロックをどこに割り当てるかを決定し、リードリクエストに応答してそのブロックの場所を見つけ、そして装置故障の復旧を実施する。そのブロックを割り付けるべき場所についての情報は、デフォルトパラメータとして設定されたポリシー(policy)、グラフィカルユーザインターフェイスまたはシェルインターフェイスシステム管理者によって設定されたポリシー、またはこれらの組み合わせによって決定されてもよい。一実施形態において、ブロック割り当て管理３３１は、ローカルファイルシステムレイヤに駐在し、そしてＴＣＰ／ＩＰおよびイーサネット（登録商標）のような、及び／又はバークレイソフトウェアデザインユニバーサルファイルシステム（“ＢＳＤ ＵＦＳ”）の代わりに、標準のネットワーキングソフトウェアレイヤとともに動作する。
代表的なブロック割り当て管理３３１は、３つのサブモジュールと４つの故障回復モジュールを備える。
【００５２】
ａ．ブロックリクエスト翻訳モジュール
ブロックリクエスト翻訳モジュールは、入り来るリードリクエストを受信し、ネーム検索(name lookup)を実施し、適切な装置を見つけ出し、そしてその装置から出を取り出して、そのリクエストをかなえる。もし、データが直接的に利用可能であれば、ブロックリクエスト翻訳モジュールは、データのブロックがローカル記憶装置または他のスマート記憶ユニットの記憶装置に記憶されているかどうかにより、ローカルブロック管理モジュールまたはリモートブロック管理モジュールに送信する。
【００５３】
一実施形態において、ブロックリクエスト翻訳モジュールは、“知的分散型ファイルシステム処理−ネーム検索の処理”と題されたセクションにおいて後述されるネーム検索処理を備える。
【００５４】
ブロックリクエスト翻訳モジュールは、また、装置故障に応答する。例えば、もし装置がダウンすると、ブロックリクエスト翻訳モジュールは、例えばパリティ情報を用いて、データを再構成するために使用されるローカルおよびリモートデータブロックをリクエストしてもよい。従って、そのデータは、たとえリードが実施されなくても、発生されてもよい。加えて、ブロックリクエスト翻訳モジュールは、故障回復モジュールが、パリティまたは他のエラー若しくはロス訂正データを用いてデータを再生成し、そして知的分散型ファイルシステムにおける自由スペースにわたってロス訂正データを再分散化(re-stripe)するように、故障回復モジュールと通信してもよい。他の実施形態において、ブロックリクエスト翻訳モジュールは、壊れた(corrupt)又は失われた(missing)データのコピーを一掃してもよい。
【００５５】
ｂ．フォワード割り当てモジュール
フォワード割り当てモジュールは、例えば冗長性、スペース、および性能のようなファクタに基づき、ライトリクエストについてどの装置のブロックが使用されるべきかを決定する。これらのパラメータは、システム管理者によって設定され、知的分散型ファイルシステム１１０に組み入れられた情報から導出され、知的分散型ファイルシステム１１０にロジックとして組み入れられてもよき、またはその組み合わせであってもよい。フォワード割り当てモジュール１１０は、知的分散型ファイルシステムを使用する他のスマート記憶ユニットから統計データ(statistics)を受信し、そしてそれらの統計データを、新たに入ってくるデータを置くのにどこが最良のロケーションであるかを決定するために使用する。統計データは、例えば、ＣＰＵ稼働率、ネットワーク稼働率、およびディスク稼働率の計量(measurement)を含んで集められる。
【００５６】
フォワード割り当てモジュールは、また、リモートスマート記憶ユニットの応答時間に基づきリモート風呂管理モジュールから待ち時間(latency)を受信する。もし、装置間の待ち時間は、他のスマート記憶ユニットに比較してハイレベルに達すれば、割り当てスキームは、できれば、冗長性の設定に基づき、遅いスマート記憶ユニットを十分に活用しない他のスマート記憶ユニットに有利に働くように調節されてもよい。一つの有利な例において、知的分散型ファイルシステムは、データのブロックを一つのスマート記憶ユニットから他のスマート記憶ユニットに移動させ、その結果、対応するメタデータ構造をアップデートする。待ち時間状況は、ロギングシステム(logging system)を通して記録され、そしてシステム管理者に報告される。遅いリンク状況は、例えば、悪いネットワークカード、間違った双方向の流通(incorrect duplex negotiation)、または比較的頻繁にリードまたはライトされる装置データである。
【００５７】
データを記憶する場所を決定するために種々の方策が用いられる。これらの方策は、システムの管理者によって設定されたパラメータとの整合性、選択された冗長性レベルの合致、及び／又は性能の改善のような、システムの目標値によって調整されてもよい。以下は、データを記憶するためにフォワード割り当てモジュールによって採用される少しばかりの方策例を提供する。多種多様の方策が、以下に述べられるものに加え、またはそれらと共に使用される。
【００５８】
フォワード割り当てモジュールは、複数のスマート記憶ユニットにわたるストライピングデータについて割り当てスキームを備えてもよい。ストライピングデータは、代表的にはハイエンドのＲＡＩＤ記憶装置で使用される共通技術であるが、マルチプルディスクと共にシングルユーザのワークステーションマシンにおいて採用されてもよい。ストライピングデータは、単に、ファイルのデータの異なる部分が、異なる記憶装置またはディスク上に存続(live)及び／又は記憶(store)されることを意味する。ストライピングデータの利点は、リードリクエストが複数のディスク上に位置されたブロックにまたがるとき、各ディスクはデータ読み出しの総スループットに関与することである。一般のシステムでは、データのストライピングは、ソフトウェア装置レイヤで行われる。即ち、ファイルシステムは、データのストライピングに関する情報を持たない。ファイルシステムの支配下にあるソフトウェアレイヤのみがこの構造を理解する。ハードウェアのある特殊なものでは、このストライピングは、実際のハードウェアレイヤでソフトウェア装置レイヤの下でも行われる。知的分散型ファイルシステム１１０、ファイルシステム自体がデータのストライピングを処理する。この実施は、より大きな柔軟性をストライピング構成に提供する。例として、代表的なＲＡＩＤ技術は、全てのディスクが同じサイズでなければならず、且つ同じ性能特性を有していなければならないという制限がある。これらの制約は、異なる装置に一様に分散されることを保証するために必要である。ＲＡＩＤについての更に詳細な説明については、「“The RAID book”, Paul Massiglia, 第６版(1997)を参照されたい。それは、引用することによりこの明細書に組み込まれる。
【００５９】
知的分散型ファイルシステム１１０について、異なるディスクおよびディスクサイズは、種々のスマート記憶ユニット１１４で使用されてもよく、そしてファイルストライピングに関与する。フォワード割り当てモジュールは、ディスク装置情報についてルートメタデータのデータ構造において検索し、そして性能メトリックまたはプリセットルールを用いてファイルデータが分散されるべきスマート記憶ユニットの数を計算する。フォワード割り当てモジュールは、それから、ファイルのデータブロックをスマート記憶ユニットのセットに割り当てる。
【００６０】
フォワード割り当てモジュールは、また、パリティまたは他のエラー若しくはロス訂正保護のために割り当てスキーム(allocation scheme)を備えてもよい。ほとんどのＲＡＩＤシステムにおいては、ファイルストライピングが使用されるとき、パリティ保護は、また、一つを除いて全てのディスクがデータ記憶のために用いられるように使用される。最後のディスクは、純粋にパリティ情報のために使用される。このパリティ情報は、代表的には、全てのデータディスクにわたってデータの各ブロックのビット単位のｏｒ（“ＸＯＲ”）をとることにより計算される。このパリティ情報は、ディスク故障が発生したときにデータ回復を実施するために使用される。失われたデータは、残りのディスクのデータブロックおよびパリティ情報のビット単位のＸＯＲをとることから再計算される。代表的なＲＡＩＤシステムにおいて、データは、失われたデータを再構築するために交換ディスクがアレイに挿入されるまでは回復できない。
【００６１】
知的分散型ファイルシステム１１０に関し、失われたデータは、再計算され、そして残りのスマート記憶ユニットの他の部分上の自由スペースに再書込みされる。なぜなら、パリティ保護は、ソフトウェア装置レイヤの代わりにファイルシステムレイヤで行われるからである。もし、データを再書込みするための十分な自由スペースが残されていなければ、パリティデータは、再計算されたデータで上書きされてもよく、そして冗長性が元のレベルよりも下に落ちたという事実が記録され、及び／又はシステム管理者に報告されてもよい。
【００６２】
フォワード割り当てモジュールは、また、データのミラーリングのための割り当てスキームを備え、それは、異なるスマート記憶ユニット上で利用可能なデータの複数のコピーを作成している。フォワード割り当てモジュールは、記憶スペース、ネットワーク稼働率、及び／又はＣＰＵ稼働率の観点から最も使用されないスマート記憶ユニットを用いてスマート記憶ユニットにわたってデータのブロックのロケーションを負荷バランス(load balance)するために割り当てスキームを使用してもよい。ミラーリングは、更なる性能および更なる耐故障性を提供する。もし、ミラーリングがコンテンツの或るものについてリクエストされると、フォワード割り当てモジュールは、ミラーされたデータのみならず、元のデータについてもスペースを割り当てる。もし、１より大きな耐故障性のレベルがリクエストされると、フォワード割り当ては、耐故障性カウントにより、スマート記憶ユニット、またはスマート記憶ユニットのサブセットをロジカルに分割し、そして分散化(striped)されたデータのミラーを作成する。例えば、もし、１０個のスマート記憶ユニット１１４が知的分散型ファイルシステム１１０に存在し，且つ２の耐故障性がリクエストされると、フォワード割り当て器は、知的分散型ファイルシステムを、それぞれが５個のスマート記憶ユニットの二つのセクションに分割し、各セクションにおいて４個のスマート記憶ユニットにわたってデータを分散化(stripe)し、そしてパリティディスクとして各セクションから５個目のスマート記憶ユニットを使用する。スマート記憶ユニットのこの分割は、アレイミラー分割(array mirror split)と称される。
【００６３】
ｃ．故障回復モジュール
故障回復モジュールは、装置故障のためにもはや利用できないデータを回復するために知的分散型ファイルシステム１１０をリアルタイムで再構成する。故障回復モジュールは、性能を維持しながらサービスを中断することなく再構成を実施し、そして短時間でデータを所望の冗長レベルに戻す。
【００６４】
上述したように、リモートブロック管理モジュール３３７は、故障を検出し、そしてこのような故障の通知を故障回復モジュールに受け渡す。初期の故障については、故障回復モジュールは、システム管理者によってリクエストされたとき、または知的分散型ファイルシステム１１０によって設定されたとき、冗長パラメータ(redundancy parameter)に合致しない任意のブロックを見つけ出す(locate)。
【００６５】
第１に、パリティ情報から再生成できるデータは再生成され、そしてリクエストが、新たなデータに対するスペースを割り当てるためにフォワード割り当てモジュールに送信される。フォワード割り当て器は、ＣＰＵおよびネットワーク稼働率をモニタし、そしてＣＰＵおよびネットワーク稼働率が所定の目標に到達すると積極的に作動を始める。この所定の目標は、システム管理者によって設定され、または、例えばコンピュータプロセッサのようなファクタに従ってプリセットされてもよい。一旦目標が達成されると、故障回復モジュールは、スマート記憶ユニットの性能への影響を低減するために、目標の時間に達成されるレートで有利にデータを再計算する。
【００６６】
もし、最近故障した装置がオンラインに復帰すると、故障回復モジュールは、データの完全性を確認し、且つ任意の不一致を修正するために、回復した装置のリモートブロック管理モジュール３３７と通信する。
【００６７】
知的分散型ファイルシステム１１０は、また、ホットスタンバイ装置の包含をサポートしてもよい。ホットスタンバイ装置は、目下のところ何のデータ記憶も行わない休止(idle)している記憶装置であるが、装置故障時に使用される。このような状況においては、故障回復モジュールは、ホットスタンバイ装置のリモート風呂管理モジュール３３７と通信することにより、ホットスタンバイ装置を用いて、失われたデータを再構築してもよい。
【００６８】
２．ブロックキャッシュモジュール
ブロックキャッシュモジュール３３３は、データブロックのキャッシング、ネーム検索、およびメタデータのデータ構造を管理する。一実施形態において、ブロックキャッシュモジュール３３は、ＢＳＤバーチャルファイルシステムのバッファキャッシュと共に又はその代わりに動作する。
【００６９】
ブロックキャッシュモジュール３３３は、使用頻度が最も低い(Least Recently Used)キャッシングアルゴリズムを用いてデータブロックおよびメタデータのデータブロックをキャッシュしてもよいが、例えばフリケンシーキャッシング(frequency cashing)のような種々のキャッシングアルゴリズムを使用してもよい。ブロックキャッシュモジュール３３は、どれが最もよく実行するかによってどのブロックキャッシングアルゴリズムを使用すべきかを決定してもよく、または一実施形態においては、アルゴリズムはデフォルトとして設定されてもよい。
【００７０】
最も使用頻度が低いキャッシング（“ＬＲＵ”）は、ほとんどのシステムで使用されている代表的なキャッシングスキームである。ＬＲＵは、一旦データがアクセスされると、それは再びアクセスされる可能性が最も高いという原理に基づいている。従って、データは、最も長い時間アクセスされなかったデータが捨てられるというような、その最近の使用順に記憶される。
【００７１】
フリケンシーキャッシングは、最も頻繁にアクセスされたデータを記憶する。ディスクのライトは、時間が集中した動作であるため、追加の性能(performance)は、メタデータのデータ構造におけるアクセス頻度を追跡し、且つアクセス頻度に基づきキャッシングすることにより得られる。
【００７２】
加えて、ブロックキャッシュモジュール３３３は、“オンデマンド(on demand)”プロトコルまたは“先読み(read ahead)”プロトコルを利用してもよい。ここで、より多くのデータがリクエストされるよりも必要とされる。ブロックキャッシュモジュール３３３は、データのセットについてのリクエストを送信してもよく、そしてまた、データのセットの前にある程度のデータをリクエストしてもよい。例えば、ブロックキャッシュモジュール３３は、１パケットの先読み、２パケットの先読み、１０パケットの先読み、２０パケットの先読み、等々といったような先読みを実施する。他の実施形態において、ブロックキャッシュモジュール３３３は、リクエストの待ち時間に基づき先読み技術を利用してもよい。例えば、ブロックキャッシュモジュール３３３は、Ｋパケットの先読みを実施してもよく、ここでＫはリンクの待ち時間およびリードレートを用いて計算されたものである。ブロックキャッシュモジュール３３３は、また、先読みデータのサイズを決定するためにＣＰＵおよびネットワークの稼働率に基づき他のアルゴリズムを使用してもよい。さらにまた、ブロックキャッシュモジュールは、セットキャッシングプロトコルを利用してもよく、またはシステムの性能レベルに応じるためにキャッシングプロトコルを変えても良い。
【００７３】
キャッシュ３４０は、キャッシュブロックサイズを異なる量に増やすために修正され、または、一般マルチユーザオペレーティングシステムに提供されるデフォルトサイズを用いて実施されるが、システム性能に大きな影響を与えることはない。このような修正は、例えば、記憶されるデータのタイプ、処理速度、知的分散型ファイルシステムにおけるスマート記憶ユニットの数、および使用される保護スキームのようなファクタによる種々の性能テスト決定されてもよい。
【００７４】
３．ローカルブロック管理モジュール
ローカルブロック管理モジュール３３５は、記憶装置３６０上にローカルに記憶されたデータブロックの検索(retrieval)、記憶(storage)、および割り当て(allocation)を管理する。ローカルブロック管理モジュール３３５は、例えば、ネットワークカードのような、記憶装置３６０の他の部分にデータをディスクから移動させるために、ゼロコピーファイルリードを実施し、これにより性能を改善する。ローカルブロック管理モジュール３３５は、また、性能を上げるために、使用される記憶装置３６０に基づく修正を実施する。一実施形態において、ローカルブロック管理モジュール３３５は、ローカルファイル記憶レイヤに駐在し、そしてフリーＢＳＤファストファイルシステムと共に及び／又はその代わりに動作してもよい。
【００７５】
４．リモートブロック管理モジュール
リモートブロック管理モジュール３３７は、例えばブロックリクエスト、ブロック応答、およびリモート装置故障の検出を含む装置間の通信を管理する。一実施形態において、リモートブロック管理モジュール３３７は、ローカルファイルシステムレイヤに駐在する。
【００７６】
一実施形態において、スマート記憶ユニット１１４は、リモートブロック管理モジュール３３７を介して知的分散型ファイルシステム１１０における他のスマート記憶ユニット１１４と接続され、及び／又はそれと通信してもよい。
【００７７】
リモートブロック管理モジュール３３７は、ＴＣＰのようなコネクションを介してスマート記憶ユニット１１４が互いにトークすることを可能にしてもよい。一実施形態において、各スマート記憶ユニット間には少なくとも２つのＴＣＰコネクションが存在し、一つはデータ伝送のためのものであり、もう一つはメッセージ伝送のためのものである。この二重チャンネルＴＣＰ通信アーキテクチャの利点は、データブロックがページサイズの倍単位で送信される限り、データは、ＤＭＡ転送により直接的にネットワークインターフェイスカードからシステムメモリに、そしてＤＭＡ転送によりシステムメモリからシステムの他の部分（あるいは再びネットワークインターフェイスカード）に、システムメモリの一部分から他の部分にデータがコピーされる必要なく、送信されてもよいことである。これは、ＣＰＵが、データパケットがデータヘッダを含んでいないのでそれらを分析することに関与する必要がなく、または、情報が制御チャンネル上で伝送されるのでこの情報を確認することに関与する必要がないからである。高性能サーバおよびオペレーションシステムにおいて、システムメモリの一部分から他の部分へのメモリコピーは、システム性能に関して重度の制限になる。
【００７８】
一実施形態において、リモートブロック管理モジュール３３７は、種々の他のタイプのメッセージのみならず、例えば、データブロックアクセスメッセージ（例えば、READ,READ_RESPONSE,WRITE,およびWRITE_RESPONSE）、メタデータアクセスメッセージ（例えば、GET_INODE,GET_INODE_RESPONSE,SET_ADDRESS,GET_ADDRESS,およびINVALIDATE_INODE）、ディレクトリメッセージ（例えば、ADD_DIRおよびREMOVE_DIR）、ステータスメッセージのようなメッセージを利用するメッセージング通信を用いて通信する。
【００７９】
二重チャンネルプロトコルを上述したが、他の通信プロトコルが、スマート記憶ユニット１１４間の通信を可能するために使用されてもよい。
【００８０】
５．ブロック装置モジュール
ブロック装置モジュール３３９は、ファイルシステムによって使用されるディスクハードウェアの特定の一部(piece)のためのデバイスドライバを務める。例えば、もし物理的記憶装置がＡＴＡディスクであれば、ブロックデバイスモジュール３３９はＡＴＡディスクドライバを務める。
【００８１】
Ｃ．キャッシュ
キャッシュメモリまたはキャッシュ３４０は、例えば、１Ｇ ＲＡＭキャッシュのような本技術分野で知られている種々のプロダクトを用いることにより実施されてもよい。図３において図解されているキャッシュ３４０は、一定時間内に最近アクセスされた又はアクセスされるデータのブロックを記憶してもよい。キャッシュ３４０は、種々の他のタイプの装置のみならず、スタティックＲＡＭ装置、ダイナミックＲＡＭ装置、内部キャッシュ、ディスクキャッシュのような高速記憶機構を用いて実施されてもよい。代表的には、データは、不揮発性記憶装置をアクセスするのに要する時間よりも速くキャッシュ３４０からアクセスされる。キャッシュ３４０はデータを記憶し、もしスマート記憶ユニット１１４が記憶装置３６０からデータをアクセスする必要があれば、データが既に読み出されたかを知るために最初にキャッシュ３４０がチェックされる。従って、キャッシュ３４０の使用は、データブロックの読み出しにおいてスマート記憶ユニットの性能を改善する。
【００８２】
Ｄ．ネットワークスタック
一実施形態において、スマート記憶ユニット３１０は、また、例えば、ＴＣＰ／ＩＰのようなプロトコルを用いて、入ってくるメッセージおよび出て行くメッセージトラヒックを処理するネットワークスタック３５０を備える。しかしながら、他のプロトコルまたはデータ構造がスタック３５０を実施するために使用されてもよいことが認識される。
【００８３】
Ｅ．記憶装置
記憶装置３６０は、データブロックを記憶するために使用される不揮発性記憶装置である。記憶装置３６０は、例えば、４ １．２５ＧＢ ＡＴＡ１００装置、ＳＣＳＩ装置等のような本技術分野において知られている種々のプロダクトを用いて実施されてもよい。加えて、記憶装置３６０のサイズは、知的分散型ファイルシステムにおける全てのスマート記憶ユニット１１４について同一であってもよく、またはそれは異なるスマート記憶ユニット１１４についてサイズを変えるものであってもよい。
【００８４】
Ｆ．システム情報
一実施形態において、スマート記憶ユニット１１４は、スマート記憶ユニット１１４が他のスマート記憶ユニット１１４と通信することを可能にするコンピュータ上で動作する。コンピュータは、例えば、ペンティアムプロセッサ、ペンティアムIIプロセッサ、ペンティアムプロプロセッサ、ペンティアムIVプロセッサ、ｘｘ８６プロセッサ、アルファプロセッサ等のような一つまたはそれ以上のマイクロプロセッサを用いた汎用のコンピュータであってもよい。
【００８５】
一実施形態において、プロセッサユニットは、オープンソースのＦｒｅｅＢＳＤオペレーティングシステムを稼動させ、そしてファイルのオープニング、ライティング、およびクロージングのような標準オペレーティングシステムファンクションを実施する。他のオペレーティングシステムは、例えば、マイクロソフト（登録商標）ウィンドウズ（登録商標）３．Ｘ、マイクロソフト（登録商標）ウィンドウズ（登録商標）ＮＴ、マイクロソフト（登録商標）ウィンドウズ（登録商標）ＣＥ、マイクロソフト（登録商標）ウィンドウズ（登録商標）ＭＥ、Palm Pilot OS、アップル（登録商標）ＭａｃＯＳ（登録商標）、ディスクオペレーティングシステム（ＤＯＳ）、ＵＮＩＸ（登録商標）、ＩＲＩＸ、Solaris、SunOS、FreeBSD、リナックス（登録商標）、ＩＢＭ（登録商標）ＯＳ／２オペレーティングシステムのようなものであってもよいことが認識される。
【００８６】
一実施形態において、コンピュータは、例えば、イーサネット（登録商標）（ＩＥＥＥ８０２．３）、トークンリング（ＩＥＥＥ ８０２．５）、ファイバー分散データリンクインターフェイス（ＦＤＤＩ）、または非同期転送モード（ＡＴＭ）のようなネットワークの接続性を備える。さらに、コンピュータは、例えば、NFS v2/v3 over UDP/TCP、マイクロソフト（登録商標）ＣＩＦＳ、ＨＴＴＰ 1.0、ＨＴＴＰ 1.1、ＤＡＦＳ、ＦＴＰ等のような種々のネットワークプロトコルをサポートする。
【００８７】
一実施形態において、スマート記憶ユニット１１４は、ジャンボ９Ｋイーサネット（登録商標）フレームをサポートする１０００／１００ネットワークインターフェイスカードのみならず、シングルまたはデュアルＣＰＵ ２Ｕラック実装可能な構成、マルチプルＡＴＡ１００インターフェイスを備える。しかしながら、種々の構成が使用されてもよいことが認識される。
【００８８】
知的分散型ファイルシステムデータ構造
図４は、知的分散型ファイルシステムで使用されるディレクトリ構造の例を図解する。この例において、ROOTディレクトリは、“DFSR”と名づけられ、そしてサブディレクトリIMPORTANT、TEMP、およびUSERを備える。IMPORTANTサブディレクトリは、サブディレクトリPASSWORDSおよびCREDITCARDを備える。ファイルUSER.TXTおよびADMIN.TXTは、PASSWORDSサブディレクトリに記憶される。従って、USER.TXTファイルのアドレスは、
/DFSR/IMPORTANT/PASSWORDS/USER.TXT
である。
【００８９】
ディレクトリおよびファイルについての情報またはメタデータは、知的分散型ファイルシステム１１０によって記憶され且つ維持される。
【００９０】
Ａ．メタデータ構造
図５は、メタデータを記憶するためのデータ構造５１０の例を図解する。代表的なデータ構造５１０は、以下の情報を記憶する。
【００９１】
【表２】
データ構造５１０の例は、メタデータを記憶するためのデータ構造５１０の一実施形態を図解することが認識され、そして種々の実施が本発明に従って使用されてもよい。例えば、データ構造５１０は、異なるフィールドを備えても良く、そのフィールドは異なるタイプでもよく、そのフィールドはグループ化されて別々に記憶される、等々である。
【００９３】
図６Ａ，６Ｂ，６Ｃおよび６Ｄは、データロケーションテーブルのいくつかのタイプについてデータロケーションテーブル構造の例を提供し、それはそれぞれタイプ０、タイプ１、タイプ２、およびタイプ３である。図６Ａにおいて、タイプ０データロケーションテーブルは、データロケーションテーブルにおけるエントリが、データブロックが記憶されたロケーションを示すデバイス／ブロックナンバーペアを備えることを意味する２４のダイレクトブロックエントリを備える。図６Ｂにおいて、タイプ１データロケーションテーブルは、１５のダイレクトブロックエントリ(direct block entry)、３つのシングルインダイレクトエントリ(single-indirect entry)、３つのダブルインダイレクトエントリ(double-indirect entry)、および３つのトリプルインダイレクトエントリ(triple-indirect entry)を備える。シングルインダイレクトエントリについてのエントリは、ダイレクトエントリの追加のデータロケーションテーブルが記憶されているロケーションを示す。ダブルインダイレクトエントリについてのエントリは、データロケーションテーブルが記憶されたロケーションを示し、ここでのデータロケーションテーブルは、シングルインダイレクトエントリを備える。トリプルインダイレクトエントリについてのエントリは、データロケーションテーブルが記憶されたロケーションを示し、ここでのデータロケーションテーブルは、ダブルインダイレクトエントリを備える。
【００９４】
任意のブロックが任意の数の装置にわたってミラーされてもよいので、メタデータのデータ構造５１０は、複数のロケーションを表現するのに十分柔軟性があり、そして一定のスペース内でのダイレクトな指標付け(indexing)によってもたらされる高速アクセスをさらに提供する。従って、タイプは、使用されるべきデータロケーションテーブルのタイプを示すためにメタデータのデータ構造５１０と有利に関連している。メタデータのデータ構造５１０の一実施形態において、例えば２４のポインタのような２４のデータエントリのための余地が存在してもよい。
【００９５】
タイプ０は、データファイルが小さいとき；データロケーションアドレスがダイレクトエントリとして記憶されているときに使用される。従って、タイプ０のメタデータのデータ構造は、２４のダイレクトエントリを備える。タイプ１は、２度までのミラー（３つのファイルコピー）および大きなファイルをサポートするために使用される。タイプ１は、１５のダイレクトエントリ、３つのシングルインダイレクトエントリ、３つのダブルインダイレクトエントリ、および３つのトリプルインダイレクトエントリを使用する。タイプ３のデータロケーションテーブルは、ディスクアドレスの全てがトリプルインダイレクトエントリとして記憶されるように、更なるミラーリングを可能にする。結果として、最大で２４までの完全なファイルが記憶されてもよい。
【００９６】
種々のデータロケーションテーブルが使用されることが認識され、そして図６Ａ，６Ｂ，６Ｃ，６Ｄは実施形態の例を図解する。他の実施形態において、例えば、データロケーションテーブルは、ダイレクトおよびインダイレクトエントリの異なる混合体を備えてもよい。さらに、他の実施形態において、データロケーションテーブルは、テーブルにおける各エントリについてエントリのタイプを指定するエントリフィールドを備えてもよい。タイプは、例えば、他のもの（例えば、クワドラプルインダイレクトなど）のみならず、上述したもの（例えば、ダイレクト、シングルインダイレクト、ダブルインダイレクト、トリプルインダイレクト）を含んでも良い。加えて、データロケーションテーブルは、Ｘレベルまでのデータロケーションテーブルのより深いネスティング(nesting)を備えてもよい。ここでＸは整数である。
【００９７】
１．ディレクトリメタデータ
図７Ａは、ディレクトリPASSWORDSについてのメタデータのサンプルセットを図解する。図７Ａにおいて、データ構造は、PASSWORDSディレクトリについての情報を記憶する。ディレクトリは、２度ミラーされる（合計３つのコピー）。ディレクトリ構造は比較的小さいので（例えば、とれはブロック内に収まる）、使用される３つのダイレクトポインタのみが存在し、各コピーについては一つである。メタデータのサンプルセットは、使用されないブロックエントリ７３０のみならず、デバイス／ブロックナンバーペアを用いてデータブロックのロケーションを示すダイレクトエントリ７２０を備えるデータロケーションテーブル７１０を備える。
【００９８】
２．ファイルメタデータ
図７Ｂは、ファイルUSER.TXTについてのメタデータのサンプルセットを図解する。図７Ｂにおいて、データ構造は、USER.TXTファイルについての情報を記憶する。USER.TXTファイルデータについてデータブロックのそれぞれの一つのコピーが存在し、そしてデータは、３＋１パリティスキームを用いて保護されている。USER.TXTについてのコンテンツデータは、サイズが４５Ｋであり且つブロックサイズが８Ｋであり、従って全く使用されない６番目のデータブロックと共に６個のデータブロックが存在する。データロケーションテーブル７１０は、６個のデータのブロックが記憶７２０されたロケーションを示し、ここでデータのブロックは装置ナンバーおよびブロックナンバーによって参照され、そこでは最初のエントリが最初のデータブロックに対応する。さらに、コンテンツデータのためのパリティ情報のロケーションはパリティマップ７４０に記憶され、そのロケーションは、“パリティマップポインタ”のようなデータ構造の最後のロケーションによって指定される。USER.TXTファイルは、このように３＋１パリティスキームを用いて記憶され、どの３個のデータのブロックについても、パリティデータのブロックが記憶される。この３＋１パリティスキームには６個のブロックが存在するので、２つのパリティデータのブロックが存在する（６を３で除算して、最も近い整数にまるめ）。パリティマップは、両方のパリティデータのブロックが記憶されたロケーションを示し、ここでパリティデータのブロックは、装置ナンバーおよびブロックナンバーによって参照され、そしてそこでは、最初のエントリが最初のパリティデータのブロックに対応する。
【００９９】
Ｂ．データロケーションテーブルデータ構造
知的分散型ファイルシステム１１０は、データがどのように記憶されるかについての柔軟性のみならず、多種多様なデータファイルについての記憶を提供してもよい。データファイルのミラーリングおよび冗長性は、知的分散型ファイルシステム１１０が異なるファイルのための冗長パラメータを変えることをサポートすることを可能にするファイルシステムレベルで実施される。例えば、いくつかのディレクトリは、ミラーされてもよく、保護されたパリティであってもよく、または全く保護されなくてもよい。
【０１００】
図８Ａ，８Ｂおよび８Ｃは、変化する保護タイプおよびレベルのデータファイルについてのデータロケーション情報を記憶するために使用されてもよい。図８Ａ，８Ｂおよび８Ｃは、種々のデータロケーションテーブルを図解するために示され、そして種々の異なるフォーマット及び／又は構造が使用されてもよいことが認識される。
【０１０１】
図８Ａは、対応するファイルのデータの各ブロックがどこに記憶されている場所を示すサンプルデータロケーションテーブル８１０を図解する。図７Ｂにおけるもののような、ファイルについての対応するメタデータは示されていないが、データロケーションテーブル８１０がメタデータのセットに対応することが認識される。代表的なデータロケーションテーブル８１０はダイレクトエントリおよびインダイレクトエントリの両方を備える。
【０１０２】
ダイレクトエントリは、装置ＩＤ／ブロックペアを含む。装置ＩＤは、データが記憶されるスマート記憶ユニットを示し、そしてオフセットまたはブロックアドレスは、データが記憶される記憶装置上のロケーションを示す。データロケーションテーブルにおける一つのサンプルエントリは、
エントリ 装置 ブロック
１ ７ １２７
【０１０３】
サンプルデータロケーションテーブル８１０は、また、データロケーションテーブルがより大きなデータのセットのためのデータロケーションを追跡することを可能にする追加のデータロケーションテーブルを指すインダイレクトエントリを備える。インダイレクトエントリのレベルが理論上は制限されない一方で、レベルは、スループットレートを改善するために有利に制限されてもよい。例えば、データロケーションテーブルは、多くてもダブルインダイレクトエントリまたはトリプルインダイレクトエントリを許容(allow)することに限られてもよい。代表的なデータロケーションテーブル８１０は、インダイレクトエントリの二つのレベルを図解する。
【０１０４】
さらに、データロケーションテーブルの最後のエントリは、パリティマップ（もしあれば）のアドレスを記憶するために取っておかれる。他の例において、パリティマップのアドレスは、例えば、メタデータのデータ構造におけるエントリのような他のロケーションに記憶されてもよい。もし、データのセットが、パリティ保護を備えなければ、アドレス値は、ＮＵＬＬのような標準値に設定されてもよい。
【０１０５】
図８Ｂは、二つの追加のロケーションにおけるミラーされたデータについてのデータロケーションテーブルを図解する。データロケーションテーブルは、データの各コピーについてブロックまたはオフセットアドレスおよび装置ＩＤを備える。本例において、データロケーションテーブル、ミラーされたロケーションは、ブロック毎のベース(block-by-block basis)で選択されている。例えば、特定のスマート記憶ユニットをミラーするために一つまたはそれ以上のスマート記憶ユニットを選択するような他のスキームが使用されてもよい。図８Ｂにおけるデータロケーションテーブルはダイレクトエントリのみを備えるが、インダイレクトエントリを使用してもよいことが認識される。
【０１０６】
一実施形態において、ファイルのためのミラーリング情報は、ファイルの対応するメタデータ構造に記憶されてもよい。この情報は、各コピーのためのデータロケーションテーブルのみならず、例えば、データのコピーの数を記憶してもよい。データロケーションテーブルがシングルデータ構造として記憶されてもよく、及び／又は、データロケーションテーブルの個々のコピーが異なるロケーションに記憶されてもよいことが認識される。
【０１０７】
ミラーされたデータを備える図８Ｂのサンプルデータロケーションテーブルは、パリティ保護を備えないが、データロケーションテーブルは、パリティ情報を備えても良い。
【０１０８】
図８Ｃは、パリティマップを備えたデータロケーションテーブルを図解する。代表的なデータロケーションテーブルにおいて、データは３＋１パリティスキームを用いて保護されており、即ちパリティデータのセットは３つのデータブロックのどれからも生成される。データを生成するための本技術分野で知られた技術が使用されてもよく、例えば、パリティブロックを生成するために、ビット毎、バイト毎、またはブロック毎のベースで、データのブロックを一緒にＸＯＲすることによるような技術がある。
【０１０９】
代表的なデータロケーションテーブルは、２１のデータブロック（ブロック０からブロック２０）からなるデータファイルについての情報を提供する。パリティスキームは３＋１であるため、パリティブロックは、３つのデータブロックの各セットについて生成される。表３は、図８Ｃに示されたいくつかのパリティブロックといくつかのデータブロックとの間の対応を図解している。
【０１１０】
【表３】
サンプルデータロケーションテーブルは、パリティマップまたはロケーションテーブルを備える。代表的なパリティマップにおいて、データおよびパリティマップを生成するために使用されるブロックエントリのセット間に１対１マッピングが存在する。他の実施形態において、パリティマップは、また、パリティマップは、また、装置故障のためにそのダイレクトロケーションのいずれにおいても利用できないイベントにおいて、データを再生成するためにどのブロックが一緒にＸＯＲされたパリティであるかを、装置およびブロックナンバーによって特定する可変サイズのエントリを備える。他の実施形態において、パリティ生成スキームは、プリセットされ、データを再生成するために一緒にＸＯＲされるべきブロックを特定することなく、パリティデータの一致およびロケーションが知的分散型ファイルシステム１１０によって決定されてもよい。
【０１１２】
一実施形態において、パリティマップは、例えば、メタデータのデータ構造に含まれるよりも、むしろメタデータのデータ構造の最後のエントリにおけるように、メタデータのデータ構造によって指示されてもよい。このマップは、メタデータ構造にダイレクトに含まれる代わりに指摘されてもよく、なぜならば、その使用は、故障したスマート記憶ユニット１１４のまれな場合に必要とされるのみだからである。パリティマップは、また、スマート記憶ユニット１１４が、データを再構成している間に一度パリティマップを横断(traverse)すること、および横断されるに従ってパリティマップを分析することを可能にするパリティ再結合ブロックを表すために可変サイズのエントリを使用してもよい。或る状況において、エントリを読み出し且つ分析するための計算およびＩ／Ｏ時間は、パリティ計算時間に比較すれば無視できる。
【０１１３】
パリティロケーション情報を備えた図８Ｃのサンプルデータロケーションテーブル８１０は、ミラーリング情報またはインダイレクトエントリを備えないが、一つまたは両方がパリティロケーション情報とともに使用されてもよい。さらに、他のデータ構造が使用されてもよいことが認識され、且つデータロケーションテーブルデータ構造は本発明の一実施形態を図解するためにのみ示される。
【０１１４】
Ｃ．サンプルデータ
図９は、サンプルデータロケーションテーブル９１０およびパリティマップ９２０、およびデータが記憶される対応する装置を図解する。図９の例は、同一のファイルからのデータについて、データが、装置上の変化するロケーションにどのように記憶され、データの“ストライプ(stripe)”が各装置上の異なるオフセットアドレスにわたって記憶され、そしてパリティデータが種々の装置に記憶されるかを示す。他の実施形態において、データは、各装置上の同一のオフセットアドレスに記憶されてもよい。
【０１１５】
例えば、最初のストライプについてのパリティデータは、ロケーション４００で装置３上に記憶され、そしてロケーション１００で装置０上に記憶されたデータブロック０、ロケーション２００で装置１上に記憶されたデータブロック１、ロケーション３００で装置２上に記憶されたデータブロック２に関係する。２番目のストライプについてのパリティデータは、ロケーション６００で装置２上に記憶され、そして、ロケーション３００で装置０上に記憶されたデータブロック３、ロケーション８００で装置４上に記憶されたデータブロック４、およびロケーション７００で装置１上に記憶されたデータブロック５に関係する。
【０１１６】
いくつかの実施形態において、個々の装置は、どこに、及び／又は、どのようにロケーションをディスク上の実際のロケーションにマッピングするかを決定する。例えば、もし、装置０が４つの物理的ハードウェアディスクを備え且つ各ディスクが１００ブロックのための記憶容量を備えるならば、装置０は、記憶のためにロケーション０からロケーション３９９までを許可する。ロケーションをどのようにブロックにマッピングするかを決定するために使用されるガイドラインの一つのサンプルセットは次のようである。
テ゛ィスクナンハ゛ー＝（ロケーション／テ゛ィスクごとのフ゛ロックナンハ゛ー）のフロア(floor)
テ゛ィスク上のフ゛ロック＝ロケーションＭＯＤテ゛ィスクごとのフ゛ロックナンハ゛ー
【０１１７】
ＭＯＤは割り算の余りをとるモジュラス演算子であることに注意されたい。上記のガイドラインは、ロケーションをディスクおよびディスクブロックにマッピングするために使用されるガイドラインの例にすぎず、そして多くの他のガイドラインまたはスキームが使用できることが理解される。例えば、一実施形態は、各ブロックを表すブロックレンジのリンクされたリクエストとを利用し、そして横断(traversal)を管理してもよい。リンクされたリクエストとは、マルチプルサイズのディスク(multiple sized disk)を可能にする利点がある。
【０１１８】
データおよびパリティ情報の記憶の柔軟性のために、新たなスマート記憶ユニットが付け加えられに従い、新たなデータが新たなスマート記憶ユニットに記憶され、及び／又は、システムを中断することなく、既存のデータが新たなスマート記憶ユニットに移動され（例えば、既存のユニット上のデータを削除する前にコピーを作成することにより）てもよい。加えて、データブロックまたは全体ファイルが、高いリクエスト量(high request volume)、ディスク故障、冗長性またはパリティパラメータにおける変化、等々に応答してリアルタイムに移動またはコピーされてもよい。
【０１１９】
ＶＩＩ．知的分散型ファイルシステム処理
Ａ．データの読み出し(Retrieving Data)
図１０は、データを読み出すためのフローチャート（“データ読み出し処理”）の一実施形態を図解する。例えば、ディレクトリメタデータ、ファイルメタデータ、コンテンツデータ等の種々のデータタイプが取得されてもよい。
【０１２０】
スタートステートから始めると、データ読み出し処理は、データが記憶されたロケーションを受信する（ブロック１０１０）。一実施形態において、ロケーションは、スマート記憶ユニットＩＤおよびオフセットまたはブロックアドレスを用いて指示されてもよい。他の実施形態において、記憶装置のＩＤが使用されてもよいのに対し、他の実施形態においては、テーブルは他のＩＤにマッピングする等々のために使用されてもよい。
【０１２１】
次に、データ読み出し処理は、データがローカルに記憶されているかどうかを決定する（ブロック１０２０）。もし、データがローカルに記憶されていれば、データ読み出し処理は、ローカル記憶からデータを読み出す（ブロック１０３０）。一実施形態において、データ読み出し処理は最初にキャッシュをチェックし、そしてもしデータがそこに存在しなければ、記憶装置をチェックする。他の実施形態において、データ読み出し処理は、記憶装置のみをチェックしてもよい。
【０１２２】
もし、データがローカルに記憶されていなければ、データ読み出し処理は、データについてのリクエストを、データが記憶されたスマート記憶ユニットに送信する（ブロック１０４０）。一実施形態において、リクエストは、図１に示されるスイッチコンポーネント１２５を介して送信される。そしてデータ受信処理はリクエストされたデータを受信する（ブロック１０５０）。
【０１２３】
データ読み出し処理は、リクエストされたデータを収集し、そしてそのデータを戻す（ブロック１０６０）。いくつかの実施形態において、データは、データの全セットが収集された後に戻される。他の実施形態において、データの一部分またはセットは、データがローカル記憶から読み出され、または他のスマート記憶ユニットから受信されるにつれて戻されてもよい。一部分は、ファイルロケーションテーブルに従って発生順(sequential order)に戻されてもよく、またはそれらは読み出されまたは受信されるにつれて戻されても良い。データが戻された後は、データ読み出し処理は終了ステートに進む。
【０１２４】
図１０は、データ読み出し処理の一実施形態を図解し、そして他の実施形態が使用され得ることが理解される。一実施形態において、例えば、並列処理、パイプラインまたは非同期Ｉ／Ｏのような技術または技術の組み合わせを用いてマルチプル読み出しデータ処理によってデータが読み出されるように、一つ以上のデータ読み出し処理が同時に使用されてもよい。
【０１２５】
Ｂ．ネーム検索処理
図１１は、ネーム検索のための処理（“ネーム検索処理”）の一実施形態を図解する。スタートステートから始めると、ネーム検索処置は、ファイルネームを受信し（ブロック１１１０）、ルートディレクトリのメタデータを読み出し、そしてそのルートメタデータのロケーションをCURRENTとして設定する（ブロック１１２０）。一実施形態において、ルートディレクトリのデータは、図５のデータ構造のようなデータ構造に記憶されるが、種々のデータ構造がルートディレクトリのメタデータを記憶するために使用されてもよい。さらにまた、いくつかの実施形態において、ルートディレクトリのメタデータは、各スマート記憶ユニット１１４がルートディレクトリのメタデータと同一または類似のコピーを備えるように、各スマート記憶ユニット１１４で記憶されてもよい。他の実施形態において、ルートディレクトリのメタデータは、知的分散型ファイルシステム１１０における他のロケーションに記憶されてもよく、またはファイルリクエストと共にスマート記憶ユニット１１４に送信されてもよい。例えば、ミューテックス(mutexes)及び／又はセマフォ(semaphores)等によってロックすることのような、データの複数コピーの完全性を保証するための公知の技術が使用されてもよい。
【０１２６】
そして、ネーム検索処置は、ファイルのネームの一部である次のトークン(token)を読み出しても良い（ブロック１１３０）。そして、ネーム検索処置は、CURRENTのためのデータを記憶するスマート記憶ユニット１１４からのトークンのメタデータのロケーションのアドレスをリクエストする（ブロック１１４０）。このリクエストはローカルまたはリモートであってもよい。そして、ネーム検索処理は、戻されたアドレスをCURRENTとして設定し（ブロック１１５０）、そして他のトークンが存在するかどうかを決定する（ブロック１１６０）。ここでトークンはディレクトリ階層における単一のレベルを表す。もし、他のトークンが存在しなければ、ネーム検索処理は、参照値をCURRENTに戻し（ブロック１１７０）、そしてエンドステートに進む。
【０１２７】
ネーム検索処理の他の実施が使用されてもよいことが認識される。例えば、ネーム検索処置は、ファイルのメタデータのデータを読み出しても良い。加えて、一旦リクエストされたデータが見つかると、ネーム検索処理は、データがローカルに記憶されているのか、他のスマート記憶ユニットで記憶されているのかを決定する。もし、データがローカルに記憶されていれば、ネーム検索処理は、リードリクエストをスマート記憶ユニット１１４のローカルブロック管理モジュール３３５に送信してもよく、もしデータが他のスマート記憶ユニット上に記憶されていれば、ネーム検索処理は、リモートスマート記憶ユニット１１４のリモートブロック管理モジュール３３７にリードリクエストを送信してもよい。
【０１２８】
Ｃ．ファイルリクエスト処理
図１２は、ファイルリクエストを処理するためのフローチャートの一実施形態を図解する（“ファイルリクエスト処置”）。スタートステートから始めると、ファイルリクエスト処理は、ファイルを読み出すためのリクエストを受信する（ブロック１２１０）。一実施形態において、ファイルは、ロケーションおよびファイルネームを含むファイルのフルパスネームを用いて指示される。他の実施形態において、パスは、相対パス及び／又は他のデータ構造であってもよく、及び／又は、テーブルのような他のデータ構造は、ファイルのアドレスについての情報を記憶するために使用されてもよい。次に、ファイルリクエストは、図１１に図解されるようなネーム検索処置を実施して（ブロック１２２０）、ファイルのメタデータのデータ構造のロケーションを決定する。
【０１２９】
そして、ファイルリクエスト処理は、上述した図１０に示されるようなファイル検索処理を用いてファイルのメタデータを読み出す（ブロック１２３０）。ただし、他のファイル読み出し処理が使用されてもよい。一実施形態において、ファイルのメタデータは、ファイルにおけるデータの各ブロックが知的分散型ファイルシステムの全体を通して記憶されるロケーションへのアクセスを提供するデータロケーションテーブルを備えてもよい。
【０１３０】
そして、ファイルにおけるデータの各ブロックについて（ブロック１２４０，１２７０）、ファイルリクエスト処理は、ファイルのメタデータにおいてそれを探すことによりデータブロックのロケーションを獲得し（ブロック１２６０）、上述した図１０に示されるようなファイル読み出し処理を用いてデータブロックを読み出す（ブロック１２６０）。ただし、他のファイル読み出し処理が使用されてもよい。
【０１３１】
そして、ファイルリクエスト処理は、ファイルデータを戻し（ブロック１２８０）、そしてエンドステートに進む。いくつかの実施形態において、ファイルは、データの全セットが収集された後に戻される。他の実施形態において、一つまたはそれ以上のデータのブロックは、データが読み出されるときに戻されても良い。一部分は、ファイルロケーションテーブルに従い発生順に戻されてもよく、または、それらは、それらが読み出しまたは受信されるときに戻されてもよい。一実施形態において、ファイルリクエスト処理は、ストリーミングサーバがデータブロックを順序付ける(order)ように、データブロックを順番及び／又は他のモジュールに置いてもよい。データが戻された後は、データ読み出し処理はエンドステートに進む。
【０１３２】
図１２は、ファイルリクエスト処理の一実施形態を図解し、そして他の実施形態が使用されてもよいことが認識される。例えば、ファイルリクエスト処理は、図１１に示されるものよりも異なるネーム検索処理を用いてファイルのロケーションを決定してもよい。他の実施形態において、一つよりも多くのデータ読み出し処理は同時に使用されて、例えば、並列処理、パイプライン、または非同期Ｉ／Ｏのような技術または技術の組み合わせを用いて並列にマルチプルデータ読み出し処理によってデータが読み出されることを可能にするデータブロックを読み出してもよい。
【０１３３】
Ｄ．パリティ発生処理
図１３は、パリティ情報を発生するためのフローチャートの一実施形態を図解する（“パリティ発生処理”）。スタートステートから始めると、パリティ発生処理は、データのセットに関係するパリティスキーム情報を受信する（ブロック１３１０）。データのセットは、ファイルデータ、ファイルメタデータ、ディレクトリメタデータ、ファイルのサブセットなどを表してもよい。パリティ発生処理は、データのセットに関係するデータロケーション情報を受信する（ブロック１３２０）。次に、パリティデータの各セットについて（ブロック１３３０，１３７０）、パリティ発生処置は、データのセットを読み出す（ブロック１３４０）。例えば、もし、パリティが３＋１であれば、パリティ発生処理は、図１０に示されるようなデータ読み出し処理を用いて、最初の３つのデータのブロックを読み出す。次に、パリティ発生処理は、ビット毎、バイト毎、ブロック毎のベースでデータのＸＯＲ演算を実施するようにして、データのセットについてパリティデータを発生する。（ブロック１３５０）。そして、パリティ発生処理は、バッファにデータを記憶し、そしてデータのセットについてのパリティ情報が発生されるとブロック１３３０に戻る。パリティ情報が発生された後、パリティ発生処理は、パリティデータを記憶すべき場所を決定する（ブロック１３８０）。パリティ発生処理は、輪番パリティスキーム(rotating parity scheme)を使用してもよい。ここで、データの一連の各ストリップは、その輪番(rotation)における次の装置上に記憶される。パリティ発生処理は、パリティ情報がデータ情報と同時に失われていないことを装置故障のイベントにおいて保証するために現在のストライプについてデータを保持している装置のいずれよりむしろ異なる装置上にパリティブロックを割り当てる。パリティ発生処理は、また、パリティ記憶を考慮されることからいくつかの装置をふるい落とすために、記憶容量、ＣＰＵ稼働率、およびネットワーク稼働率のような他のファクタを考慮に入れてもよい。そして、パリティ発生処理は、割り当てられたスペースにバッファされたデータを記憶し（ブロック１３９０）、パリティデータのロケーションをパリティマップに記録し（ブロック１３９５）、そしてエンドステートに戻る。
【０１３４】
図１３は、パリティ発生処理の一実施形態を図解し、そして他の実施形態が使用されてもよいことが認識される。例えば、パリティ発生は、データのブロックを並列に読み出してもよく、そして並列に又は公知のパイプライン或いは非同期Ｉ／Ｏ技術を用いてパリティ情報を発生してもよい。さらに、パリティ発生処理は、テンポラリバッファに書き込むことなくパリティ情報のロケーションおよびパリティ情報を記憶してもよく、または、パリティ発生処理は、パリティデータまたはポインタをパリティデータに戻してもよい。
【０１３５】
Ｅ．データ回復処理
図１４は、失われた又は壊れたデータを回復するためのフローチャートの一実施形態を図解する（“データ回復処理”）。スタートステートから始めると、データ回復処置は、使用されたパリティスキームに関する情報を受信する（ブロック１４１０）。そして、データ回復処理は、故障した又は壊れたディスク又はデータについての情報を受信する（ブロック１４２０）。次に、データ回復処理は、失われた又は壊れたデータが割り当てられたパリティブロックグループについてのアドレス情報を受信する（ブロック１４３０）。そして、データ回復処理は、利用可能なスマート記憶ユニットからデータブロックを読み出す（ブロック１４４０）。データは、図１０のようなデータ読み出し処理を用いて読み出されてもよい。データ回復処理は、パリティスキームに従ってブロックをＸＯＲしてその結果をバッファに記憶するようにして、エラー訂正を実施する（ブロック１４５０）。バッファにあるデータは失われたデータを表す。そして、データ回復処理は、バッファにあるデータを戻し（ブロック１４７０）、そしてエンドステートに進む。
【０１３６】
ＶＩＩＩ．結論
本発明のいくらかの実施形態が説明されたが、これらの実施形態は、単なる例の目的にすぎず、且つ本発明の適用範囲を制限することを意図するものではない。従って、本発明の広がりおよび適用範囲は、特許請求の範囲およびその均等物に従って規定されるべきである。
【図面の簡単な説明】
【０１３７】
【図１】本発明の一実施形態のハイレベルブロックダイアグラムを図解する図である。
【図２】図１に図解されたコンポーネント間でのデータフローの一例を図解する図である。
【図３】スマート記憶ユニットの一例のハイレベルブロックダイアグラムを図解する図である。
【図４】ファイルディレクトリの一例を図解する図である。
【図５】メタデータ構造の一実施形態を図解する図である。
【図６Ａ】データロケーションテーブル構造の一実施形態を図示する図である。
【図６Ｂ】データロケーションテーブル構造の追加の実施形態を図解する図である。
【図６Ｃ】データロケーションテーブル構造の追加の実施形態を図解する図である。
【図６Ｄ】データロケーションテーブル構造の追加の実施形態を図解する図である。
【図７Ａ】ディレクトリ用のメタデータ構造の一実施形態を図解する図である。
【図７Ｂ】ファイル用のメタデータ構造の一実施形態を図解する図である。
【図８Ａ】データロケーションテーブルの一実施形態を図解する図である。
【図８Ｂ】データロケーションテーブルの追加の一実施形態を図解する図である。
【図８Ｃ】データロケーションテーブルの追加の一実施形態を図解する図である。
【図９】対応するサンプルデータを有するファイルのメタデータ構造の一例を図解する図である。
【図１０】データを取得するためのフローチャートの一実施形態を図解する図である。
【図１１】ネームレゾリューションを実施するためのフローチャートの一実施形態を図解する図である。
【図１２】ファイルを取得するためのフローチャートの一実施形態を図解する図である。
【図１３】パリティ情報を生成するためのフローチャートの一実施形態を図解する図である。
【図１４】エラー訂正を実施するためのフローチャートの一実施形態を図解する図である。
Claims (42)
- 複数の知的記憶装置と通信する分散型ファイルシステムであって、メッセージングシステムを備え、メタデータが、パリティデータブロック、コンテンツデータブロック、およびデータブロックのロケーションを備えるような分散型ファイルシステム上に記憶されたディレクトリおよびファイルについての前記メタデータを記憶し且つ管理するように構成された分散型ファイルシステム。
- 前記分散型ファイルシステム内の冗長性および反復の異なるレベルを提供するように更に構成され、ファイルまたはディレクトリについての前記反復および冗長情報は、前記ファイルまたはディレクトリの対応するメタデータと共に記憶されることを特徴とする請求項１記載の分散型ファイルシステム。
- 前記冗長情報はパリティ情報を備えることを特徴とする請求項２記載の分散型ファイルシステム。
- 前記パリティ情報は、パリティデータブロックおよび前記パリティデータブロックのロケーションを備えると共に、前記メタデータは前記パリティデータブロックのロケーションについての情報を記憶することを特徴とする請求項３記載の分散型ファイルシステム。
- ファイルまたはディレクトリの冗長パラメータを変更するように更に構成され、前記ファイルまたはディレクトリの対応するメタデータは、前記冗長データのロケーションについての情報を記憶するためにアップデートされることを特徴とする請求項１記載の分散型ファイルシステム。
- 前記複数の知的記憶装置のサブセットの全体にわたってリアルタイムにファイルまたはディレクトリデータのコピーを記憶すると共に、前記コピーされたファイルまたはディレクトリデータのロケーションを前記ファイルまたはディレクトリの対応するメタデータに記憶するように更に構成されたことを特徴とする請求項５記載の分散型ファイルシステム。
- データをリアルタイムに移動するように更に構成され、前記移動されたデータのロケーションは、前記データの対応するメタデータとともに記憶されることを特徴とする請求項１記載の分散型ファイルシステム。
- データをリアルタイムに反復するように更に構成され、前記反復されたデータのロケーションは、前記データの対応するメタデータとともに記憶されることを特徴とする請求項１記載の分散型ファイルシステム。
- 前記データについてのリクエストの高容量(high volume)に応じてデータを反復するように更に構成されたことを特徴とする請求項８記載の分散型ファイルシステム。
- 前記データを記憶するハードウェアの高利用(high utilization)に応じてデータを反復するように更に構成されたことを特徴とする請求項８記載の分散型ファイルシステム。
- ライトリクエストよりも多くのリードリクエストを処理するように更に構成されたことを特徴とする請求項８記載の分散型ファイルシステム。
- ブロックトランザクションを処理するように更に構成されたことを特徴とする請求項８記載の分散型ファイルシステム。
- 複数のモジュラー記憶装置間でデータファイルを記憶するためのバーチャルファイルシステムであって、
複数の記憶装置を備え、
前記記憶装置は、
データブロックを記憶し、
データファイルリードリクエストを受信し、
前記リクエストされたデータに対応するロケーションデータ情報を読み出し、
ローカルに記憶されたデータブロックを読み出し、
前記複数の記憶ユニットからリモートに記憶されたデータブロックをリクエストし、
前記複数の記憶ユニットからリモートに記憶されたデータブロックのコピーを受信し、
前記リクエストされたデータファイルを戻すように構成され、
前記ロケーションデータ情報は、前記リクエストされたデータファイルに対応するデータブロックについての記憶ロケーション情報を備えたバーチャルファイルシステム。 - 前記記憶ユニットは、記憶装置および処理モジュールを備え、前期ローカルに記憶されたデータは、前記記憶装置上に記憶され、且つ前記処理モジュールは、前記記憶装置から前記ローカルに記憶されたデータブロックを読み出すことを特徴とする請求項１３記載のバーチャルファイルシステム。
- スイッチコンポーネントと通信するライトモジュール(write module)を更に備え、前記ライトモジュールは、データファイルライトリクエストを受信すると共に、前記データファイルライトリクエストに対応する複数のデータブロックの記憶ロケーションを決定するように構成されたことを特徴とする請求項１３記載のバーチャルファイルシステム。
- 前記ライトモジュールは、少なくとも二つの前記複数の記憶ユニットの間で前記複数のデータブロックを分散するように更に構成された請求項１５記載のバーチャルファイルシステム。
- 前記データファイルライトリクエストは、ミラー保護情報を備えたことを特徴とする請求項１６記載のバーチャルファイルシステム。
- 前記ライトモジュールは、前記データファイルリクエストに対応するミラーされたデータを分散し、且つ少なくとも二つの前記複数の記憶ユニット間の前記ミラー保護情報に適合するように更に構成されたことを特徴とする請求項１７記載のバーチャルファイルシステム。
- 前記データファイルライトリクエストはパリティ保護情報を備えたことを特徴とする請求項１６記載のバーチャルファイルシステム。
- 前記ライトモジュールは、前記データファイルライトリクエストに対応するパリティデータを分散し、且つ少なくとも二つの前記複数の記憶ユニット間の前記パリティ保護情報に適合するように更に構成されたことを特徴とする請求項１９記載のバーチャルファイルシステム。
- 分散ファイル記憶を提供するために複数のモジュラー記憶ユニットと通信するように構成されたモジュラー記憶ユニットであって、
データのブロックを記憶するように構成された記憶モジュールと、
処理モジュールとを備え、
前記処理モジュールは、
データファイルについてのリクエストを受信し、
前記リクエストされたデータファイルに対応するファイルロケーションデータ構造を読み出し、
前記記憶モジュールから前記ローカルに記憶されたデータブロックを読み出し、
少なくとも一つの前記複数のモジュラー記憶ユニットからリモートに記憶されたデータブロックをリクエストし、
前記リクエストされリモートに記憶されたデータブロックを受信し、
前記リクエストされたデータファイルを戻すように構成され、
前記ファイルロケーションデータ構造は、ローカルに記憶されたデータブロックおよびリモートに記憶されたデータブロックのロケーションのリストを備えたモジュラー記憶ユニット。 - 前記データブロックは少なくとも二つの異なるサイズのものであることを特徴とする請求項２１記載のモジュラー記憶ユニット。
- 前記データブロックは同一サイズであることを特徴とする請求項２１記載のモジュラー記憶ユニット。
- 前記メモリモジュールは、不揮発性記憶装置および揮発性メモリ装置を備えたことを特徴とする請求項２１記載のモジュラー記憶ユニット。
- 前記ローカルに記憶されたデータブロックを読み出すステップは、
前記リクエストされローカルに記憶されたデータブロックについて前記揮発性メモリ装置に問い合わせるステップと、
もし、前記リクエストされたデータブロックが見つからなければ、前記リクエストされローカルに記憶されたブロックについて前記不揮発性メモリ装置に問い合わせるステップとを備えたことを特徴とする請求項２４記載のモジュラー記憶ユニット。 - 前記ローカルに記憶されたデータブロックを読み出すステップは、前記読み出されたローカルに記憶されたデータブロックを、前記揮発性メモリ装置に記憶するステップを備えたことを特徴とする請求項２５記載のモジュラー記憶ユニット。
- 前記処理モジュールは、前記読み出されたローカルに記憶されたデータブロックおよび前記受信されたリモートに記憶されたデータブロックを結合して前記リクエストされたデータファイルを構成するように更に構成されたことを特徴とする請求項２５記載のモジュラー記憶ユニット。
- 前記処理モジュールは、前記記憶モジュールに記憶するためのデータのブロックを受信するように更に構成されたことを特徴とする請求項２２記載のモジュラー記憶ユニット。
- 種々の冗長およびパリティ保護を使用するデータファイルおよびディレクトリについての情報を記憶するためのロケーションデータ構造であって、
前記対応するデータファイル又は前記データディレクトリを備えるメタデータ部分と、
ディレクトリの子についてのロケーションデータ構造情報またはデータファイルコンテンツのロケーションについてのロケーション情報を備えるコンテンツ部分と
を備えたロケーションデータ構造。 - 前記メタデータは、少なくとも、ネーム、アドレス、タイプ、サイズ、セキュリティデータ、ミラーリングデータ、パリティデータ、データサイズ、ブロックサイズ、およびロケーション情報アドレスのうちの一つを備えたことを特徴とする請求項２９記載のロケーションデータ構造。
- ロケーションデータ構造はディレクトリについての情報を備え、且つ前記メタデータは、ミラーリングデータおよびパリティデータを記憶することを特徴とする請求項２９記載のロケーションデータ構造。
- 前記ミラーリングデータは、少なくとも、前記ディレクトリの任意の子孫のミラーリングデータから決定されることを特徴とする請求項３１記載のロケーションデータ構造。
- 前記ミラーリングデータは、少なくとも、前記ディレクトリの任意の子孫の最大ミラーリングと適合(match)することを特徴とする請求項３２記載のロケーションデータ構造。
- 前記パリティデータは、前記ディレクトリの任意の子孫のパリティデータから決定されることを特徴とする請求項３１記載のロケーションデータ構造。
- 前記パリティデータは、少なくとも、前記ディレクトリの任意の子孫の最大パリティ保護と適合(match)することを特徴とする請求項３４記載のロケーションデータ構造。
- 前記ロケーション情報は、前記ディレクトリの前記子孫に対応するロケーションデータ構造のロケーションを備えたことを特徴とする請求項３１記載のロケーションデータ構造。
- ロケーションデータ構造はデータファイルについての情報を記憶することを特徴とする請求項２９記載のロケーションデータ構造。
- 前記ロケーション情報は、前記ファイルの前記データブロックの前記ロケーションを備えたことを特徴とする請求項３７記載のロケーションデータ構造。
- 他のスマート記憶ユニットと通信すると共にファイルについてのリクエストを処理するように構成されたスマート記憶ユニットであって、前記リクエストされたファイルのデータは前記スマート記憶ユニットのサブセット間に分散されたスマート記憶ユニット。
- 前記データは、メタデータおよびコンテンツデータを備えたことを特徴とする請求項３９記載のスマート記憶ユニット。
- 前記データはパリティデータを備えたことを特徴とする請求項３９記載のスマート記憶ユニット。
- 前記データはミラーされたデータを備えたことを特徴とする請求項３９記載のスマート記憶ユニット。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US30980301P | 2001-08-03 | 2001-08-03 | |
| US10/007,003 US7685126B2 (en) | 2001-08-03 | 2001-11-09 | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| PCT/US2002/024728 WO2003012699A1 (en) | 2001-08-03 | 2002-08-02 | Systems and methods providing metadata for tracking of information on a distributed file system of storage devices |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004537813A true JP2004537813A (ja) | 2004-12-16 |
| JP4504677B2 JP4504677B2 (ja) | 2010-07-14 |
Family
ID=26676344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003517804A Expired - Lifetime JP4504677B2 (ja) | 2001-08-03 | 2002-08-02 | 記憶装置から成る分散型ファイルシステム上の情報をトラッキングするためのメタデータを提供するシステムおよび方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (4) | US7685126B2 (ja) |
| EP (2) | EP2330518A3 (ja) |
| JP (1) | JP4504677B2 (ja) |
| CN (2) | CN100437559C (ja) |
| WO (1) | WO2003012699A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007537501A (ja) * | 2003-12-02 | 2007-12-20 | スピンネイカー・ネットワークス・インコーポレイテッド | ストライピングを用いたデータ記憶の方法及び装置 |
| JP2012089094A (ja) * | 2010-10-22 | 2012-05-10 | Intec Inc | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム |
| CN111767263A (zh) * | 2020-07-04 | 2020-10-13 | 武汉空心科技有限公司 | 一种工作平台文件存储方法及系统 |
Families Citing this family (505)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7581077B2 (en) | 1997-10-30 | 2009-08-25 | Commvault Systems, Inc. | Method and system for transferring data in a storage operation |
| US6418478B1 (en) * | 1997-10-30 | 2002-07-09 | Commvault Systems, Inc. | Pipelined high speed data transfer mechanism |
| US7035880B1 (en) | 1999-07-14 | 2006-04-25 | Commvault Systems, Inc. | Modular backup and retrieval system used in conjunction with a storage area network |
| US7389311B1 (en) * | 1999-07-15 | 2008-06-17 | Commvault Systems, Inc. | Modular backup and retrieval system |
| US7395282B1 (en) * | 1999-07-15 | 2008-07-01 | Commvault Systems, Inc. | Hierarchical backup and retrieval system |
| US7003641B2 (en) | 2000-01-31 | 2006-02-21 | Commvault Systems, Inc. | Logical view with granular access to exchange data managed by a modular data and storage management system |
| US6658436B2 (en) | 2000-01-31 | 2003-12-02 | Commvault Systems, Inc. | Logical view and access to data managed by a modular data and storage management system |
| US7155481B2 (en) | 2000-01-31 | 2006-12-26 | Commvault Systems, Inc. | Email attachment management in a computer system |
| US8935307B1 (en) | 2000-09-12 | 2015-01-13 | Hewlett-Packard Development Company, L.P. | Independent data access in a segmented file system |
| US7406484B1 (en) | 2000-09-12 | 2008-07-29 | Tbrix, Inc. | Storage allocation in a distributed segmented file system |
| US7836017B1 (en) | 2000-09-12 | 2010-11-16 | Hewlett-Packard Development Company, L.P. | File replication in a distributed segmented file system |
| US20040236798A1 (en) * | 2001-09-11 | 2004-11-25 | Sudhir Srinivasan | Migration of control in a distributed segmented file system |
| US6782389B1 (en) * | 2000-09-12 | 2004-08-24 | Ibrix, Inc. | Distributing files across multiple, permissibly heterogeneous, storage devices |
| US20060288080A1 (en) * | 2000-09-12 | 2006-12-21 | Ibrix, Inc. | Balanced computer architecture |
| US7788335B2 (en) * | 2001-01-11 | 2010-08-31 | F5 Networks, Inc. | Aggregated opportunistic lock and aggregated implicit lock management for locking aggregated files in a switched file system |
| US20040133606A1 (en) * | 2003-01-02 | 2004-07-08 | Z-Force Communications, Inc. | Directory aggregation for files distributed over a plurality of servers in a switched file system |
| US7512673B2 (en) | 2001-01-11 | 2009-03-31 | Attune Systems, Inc. | Rule based aggregation of files and transactions in a switched file system |
| US8195760B2 (en) * | 2001-01-11 | 2012-06-05 | F5 Networks, Inc. | File aggregation in a switched file system |
| US8239354B2 (en) * | 2005-03-03 | 2012-08-07 | F5 Networks, Inc. | System and method for managing small-size files in an aggregated file system |
| US7509322B2 (en) | 2001-01-11 | 2009-03-24 | F5 Networks, Inc. | Aggregated lock management for locking aggregated files in a switched file system |
| US7383288B2 (en) | 2001-01-11 | 2008-06-03 | Attune Systems, Inc. | Metadata based file switch and switched file system |
| WO2002056181A2 (en) * | 2001-01-11 | 2002-07-18 | Force Communications Inc Z | File switch and switched file system |
| US7146524B2 (en) | 2001-08-03 | 2006-12-05 | Isilon Systems, Inc. | Systems and methods for providing a distributed file system incorporating a virtual hot spare |
| US7685126B2 (en) * | 2001-08-03 | 2010-03-23 | Isilon Systems, Inc. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| US20030079016A1 (en) * | 2001-10-23 | 2003-04-24 | Sheng (Ted) Tai Tsao | Using NAS appliance to build a non-conventional distributed video server |
| JP2003162439A (ja) * | 2001-11-22 | 2003-06-06 | Hitachi Ltd | ストレージシステム及びその制御方法 |
| JP4250914B2 (ja) * | 2002-06-03 | 2009-04-08 | 株式会社日立製作所 | 記憶装置システム |
| JP2004013367A (ja) * | 2002-06-05 | 2004-01-15 | Hitachi Ltd | データ記憶サブシステム |
| US7620956B2 (en) * | 2003-06-11 | 2009-11-17 | Symantec Corporation | Portable memory storage devices with application layers |
| US7047321B1 (en) * | 2002-08-26 | 2006-05-16 | Network Appliance, Inc. | Unblocking an operating system thread for managing input/output requests to hardware devices |
| GB2410106B (en) | 2002-09-09 | 2006-09-13 | Commvault Systems Inc | Dynamic storage device pooling in a computer system |
| GB2409553B (en) | 2002-09-16 | 2007-04-04 | Commvault Systems Inc | System and method for optimizing storage operations |
| CN1692356B (zh) | 2002-11-14 | 2014-06-04 | 易斯龙系统公司 | 用于对现存文件重新条带化的方法 |
| US7877511B1 (en) | 2003-01-13 | 2011-01-25 | F5 Networks, Inc. | Method and apparatus for adaptive services networking |
| US8626820B1 (en) | 2003-01-21 | 2014-01-07 | Peer Fusion, Inc. | Peer to peer code generator and decoder for digital systems |
| US8499086B2 (en) * | 2003-01-21 | 2013-07-30 | Dell Products L.P. | Client load distribution |
| US8037264B2 (en) | 2003-01-21 | 2011-10-11 | Dell Products, L.P. | Distributed snapshot process |
| US20040210724A1 (en) * | 2003-01-21 | 2004-10-21 | Equallogic Inc. | Block data migration |
| US9372870B1 (en) * | 2003-01-21 | 2016-06-21 | Peer Fusion, Inc. | Peer to peer code generator and decoder for digital systems and cluster storage system |
| CA2520498C (en) | 2003-04-03 | 2012-09-25 | Commvault Systems, Inc. | System and method for dynamically performing storage operations in a computer network |
| US7454569B2 (en) | 2003-06-25 | 2008-11-18 | Commvault Systems, Inc. | Hierarchical system and method for performing storage operations in a computer network |
| CN100487695C (zh) | 2003-06-30 | 2009-05-13 | 国际商业机器公司 | 在计算机网络中检索电子文档的复制件 |
| US7146461B1 (en) | 2003-07-01 | 2006-12-05 | Veritas Operating Corporation | Automated recovery from data corruption of data volumes in parity RAID storage systems |
| US7181647B2 (en) | 2003-10-15 | 2007-02-20 | International Business Machines Corporation | Error tracking method and system |
| US7155466B2 (en) * | 2003-10-27 | 2006-12-26 | Archivas, Inc. | Policy-based management of a redundant array of independent nodes |
| US7546324B2 (en) * | 2003-11-13 | 2009-06-09 | Commvault Systems, Inc. | Systems and methods for performing storage operations using network attached storage |
| CA2548542C (en) | 2003-11-13 | 2011-08-09 | Commvault Systems, Inc. | System and method for performing a snapshot and for restoring data |
| CA2544063C (en) * | 2003-11-13 | 2013-09-10 | Commvault Systems, Inc. | System and method for combining data streams in pilelined storage operations in a storage network |
| US7917711B2 (en) * | 2003-11-14 | 2011-03-29 | International Business Machines Corporation | System, apparatus, and method for automatic copy function selection |
| US6994572B2 (en) * | 2003-11-26 | 2006-02-07 | International Business Machines Corporation | Apparatus, system, and method for component deactivated interlock |
| US20050138011A1 (en) * | 2003-12-23 | 2005-06-23 | Royer Robert J.Jr. | Meta-data storage and access techniques |
| JP4701618B2 (ja) * | 2004-02-23 | 2011-06-15 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
| US7392261B2 (en) * | 2004-05-20 | 2008-06-24 | International Business Machines Corporation | Method, system, and program for maintaining a namespace of filesets accessible to clients over a network |
| US20050273486A1 (en) * | 2004-06-03 | 2005-12-08 | Keith Robert O Jr | Virtual distributed file system |
| US7685128B2 (en) * | 2004-06-10 | 2010-03-23 | International Business Machines Corporation | Remote access agent for caching in a SAN file system |
| US7096157B2 (en) * | 2004-07-29 | 2006-08-22 | Lenovo (Singapore) Pte. Ltd. | Method and structure for diagnostically testing files in a computer |
| CN101375284B (zh) | 2004-10-25 | 2012-02-22 | 安全第一公司 | 安全数据分析方法和系统 |
| US8238350B2 (en) | 2004-10-29 | 2012-08-07 | Emc Corporation | Message batching with checkpoints systems and methods |
| US8051425B2 (en) * | 2004-10-29 | 2011-11-01 | Emc Corporation | Distributed system with asynchronous execution systems and methods |
| US8055711B2 (en) * | 2004-10-29 | 2011-11-08 | Emc Corporation | Non-blocking commit protocol systems and methods |
| US7975061B1 (en) | 2004-11-05 | 2011-07-05 | Commvault Systems, Inc. | System and method for performing multistream storage operations |
| US7536291B1 (en) | 2004-11-08 | 2009-05-19 | Commvault Systems, Inc. | System and method to support simulated storage operations |
| US8140786B2 (en) | 2006-12-04 | 2012-03-20 | Commvault Systems, Inc. | Systems and methods for creating copies of data, such as archive copies |
| JP2008521139A (ja) * | 2004-11-17 | 2008-06-19 | アバレア， インコーポレイテッド | デジタル資産を管理するシステムおよび方法 |
| US7610307B2 (en) * | 2004-11-30 | 2009-10-27 | Microsoft Corporation | Method and system of detecting file system namespace changes and restoring consistency |
| US7496565B2 (en) * | 2004-11-30 | 2009-02-24 | Microsoft Corporation | Method and system for maintaining namespace consistency with a file system |
| GB2421095A (en) * | 2004-12-10 | 2006-06-14 | Hewlett Packard Development Co | Facilitating access to an electronic datum in a file system |
| US7885970B2 (en) | 2005-01-20 | 2011-02-08 | F5 Networks, Inc. | Scalable system for partitioning and accessing metadata over multiple servers |
| US20060167838A1 (en) * | 2005-01-21 | 2006-07-27 | Z-Force Communications, Inc. | File-based hybrid file storage scheme supporting multiple file switches |
| US7958347B1 (en) | 2005-02-04 | 2011-06-07 | F5 Networks, Inc. | Methods and apparatus for implementing authentication |
| US7809691B1 (en) | 2005-02-22 | 2010-10-05 | Symantec Operating Corporation | System and method of applying incremental changes prior to initialization of a point-in-time copy |
| US8010498B2 (en) * | 2005-04-08 | 2011-08-30 | Microsoft Corporation | Virtually infinite reliable storage across multiple storage devices and storage services |
| US20070028291A1 (en) * | 2005-07-29 | 2007-02-01 | Bit 9, Inc. | Parametric content control in a network security system |
| US7895651B2 (en) * | 2005-07-29 | 2011-02-22 | Bit 9, Inc. | Content tracking in a network security system |
| US8272058B2 (en) * | 2005-07-29 | 2012-09-18 | Bit 9, Inc. | Centralized timed analysis in a network security system |
| US8984636B2 (en) * | 2005-07-29 | 2015-03-17 | Bit9, Inc. | Content extractor and analysis system |
| US8357048B2 (en) * | 2009-09-29 | 2013-01-22 | Cleversafe, Inc. | Interactive gaming utilizing a dispersed storage network |
| US7917474B2 (en) | 2005-10-21 | 2011-03-29 | Isilon Systems, Inc. | Systems and methods for accessing and updating distributed data |
| US7788303B2 (en) | 2005-10-21 | 2010-08-31 | Isilon Systems, Inc. | Systems and methods for distributed system scanning |
| US7386675B2 (en) * | 2005-10-21 | 2008-06-10 | Isilon Systems, Inc. | Systems and methods for using excitement values to predict future access to resources |
| US7551572B2 (en) * | 2005-10-21 | 2009-06-23 | Isilon Systems, Inc. | Systems and methods for providing variable protection |
| US7346720B2 (en) * | 2005-10-21 | 2008-03-18 | Isilon Systems, Inc. | Systems and methods for managing concurrent access requests to a shared resource |
| US7797283B2 (en) | 2005-10-21 | 2010-09-14 | Isilon Systems, Inc. | Systems and methods for maintaining distributed data |
| AU2006350252B2 (en) | 2005-11-18 | 2010-10-14 | Security First Corporation | Secure data parser method and system |
| US7653668B1 (en) * | 2005-11-23 | 2010-01-26 | Symantec Operating Corporation | Fault tolerant multi-stage data replication with relaxed coherency guarantees |
| WO2007062258A2 (en) * | 2005-11-28 | 2007-05-31 | Storagedna, Inc. | Distributed file system with file fragmentation |
| US7636743B2 (en) * | 2005-12-19 | 2009-12-22 | Commvault Systems, Inc. | Pathname translation in a data replication system |
| US7617262B2 (en) | 2005-12-19 | 2009-11-10 | Commvault Systems, Inc. | Systems and methods for monitoring application data in a data replication system |
| US8661216B2 (en) | 2005-12-19 | 2014-02-25 | Commvault Systems, Inc. | Systems and methods for migrating components in a hierarchical storage network |
| CA2632935C (en) | 2005-12-19 | 2014-02-04 | Commvault Systems, Inc. | Systems and methods for performing data replication |
| US7651593B2 (en) * | 2005-12-19 | 2010-01-26 | Commvault Systems, Inc. | Systems and methods for performing data replication |
| US7962709B2 (en) * | 2005-12-19 | 2011-06-14 | Commvault Systems, Inc. | Network redirector systems and methods for performing data replication |
| US7606844B2 (en) | 2005-12-19 | 2009-10-20 | Commvault Systems, Inc. | System and method for performing replication copy storage operations |
| US7848261B2 (en) * | 2006-02-17 | 2010-12-07 | Isilon Systems, Inc. | Systems and methods for providing a quiescing protocol |
| US20070214105A1 (en) * | 2006-03-08 | 2007-09-13 | Omneon Video Networks | Network topology for a scalable data storage system |
| US20070214183A1 (en) * | 2006-03-08 | 2007-09-13 | Omneon Video Networks | Methods for dynamic partitioning of a redundant data fabric |
| US20070226224A1 (en) * | 2006-03-08 | 2007-09-27 | Omneon Video Networks | Data storage system |
| US7756898B2 (en) * | 2006-03-31 | 2010-07-13 | Isilon Systems, Inc. | Systems and methods for notifying listeners of events |
| US8417746B1 (en) | 2006-04-03 | 2013-04-09 | F5 Networks, Inc. | File system management with enhanced searchability |
| US8825508B2 (en) * | 2006-05-02 | 2014-09-02 | Ascom Tateco Ab | Method and apparatus for automated staff assignment |
| US8726242B2 (en) | 2006-07-27 | 2014-05-13 | Commvault Systems, Inc. | Systems and methods for continuous data replication |
| US8539056B2 (en) | 2006-08-02 | 2013-09-17 | Emc Corporation | Systems and methods for configuring multiple network interfaces |
| US7882071B2 (en) | 2006-08-18 | 2011-02-01 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7676691B2 (en) | 2006-08-18 | 2010-03-09 | Isilon Systems, Inc. | Systems and methods for providing nonlinear journaling |
| US7680836B2 (en) * | 2006-08-18 | 2010-03-16 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7899800B2 (en) | 2006-08-18 | 2011-03-01 | Isilon Systems, Inc. | Systems and methods for providing nonlinear journaling |
| US7752402B2 (en) | 2006-08-18 | 2010-07-06 | Isilon Systems, Inc. | Systems and methods for allowing incremental journaling |
| US7822932B2 (en) | 2006-08-18 | 2010-10-26 | Isilon Systems, Inc. | Systems and methods for providing nonlinear journaling |
| US7590652B2 (en) * | 2006-08-18 | 2009-09-15 | Isilon Systems, Inc. | Systems and methods of reverse lookup |
| US7680842B2 (en) * | 2006-08-18 | 2010-03-16 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7953704B2 (en) * | 2006-08-18 | 2011-05-31 | Emc Corporation | Systems and methods for a snapshot of data |
| US8930379B2 (en) | 2006-11-28 | 2015-01-06 | International Business Machines Corporation | Merging distributed mail into a unified folder view |
| US8286029B2 (en) * | 2006-12-21 | 2012-10-09 | Emc Corporation | Systems and methods for managing unavailable storage devices |
| US8719809B2 (en) * | 2006-12-22 | 2014-05-06 | Commvault Systems, Inc. | Point in time rollback and un-installation of software |
| US7593938B2 (en) * | 2006-12-22 | 2009-09-22 | Isilon Systems, Inc. | Systems and methods of directory entry encodings |
| US8312323B2 (en) | 2006-12-22 | 2012-11-13 | Commvault Systems, Inc. | Systems and methods for remote monitoring in a computer network and reporting a failed migration operation without accessing the data being moved |
| US7840537B2 (en) | 2006-12-22 | 2010-11-23 | Commvault Systems, Inc. | System and method for storing redundant information |
| US7509448B2 (en) * | 2007-01-05 | 2009-03-24 | Isilon Systems, Inc. | Systems and methods for managing semantic locks |
| KR20090000228A (ko) * | 2007-02-05 | 2009-01-07 | 삼성전자주식회사 | 무결성 검증이 가능한 컨텐츠 제공 방법 및 컨텐츠 이용방법과 그 장치 |
| JP2008219431A (ja) * | 2007-03-02 | 2008-09-18 | Brother Ind Ltd | データ配信システム及び端末装置及び情報処理方法及びプログラム。 |
| US8290808B2 (en) | 2007-03-09 | 2012-10-16 | Commvault Systems, Inc. | System and method for automating customer-validated statement of work for a data storage environment |
| US9350701B2 (en) * | 2007-03-29 | 2016-05-24 | Bomgar Corporation | Method and apparatus for extending remote network visibility of the push functionality |
| US7991746B2 (en) * | 2007-04-09 | 2011-08-02 | Hewlett-Packard Development Company, L.P. | Storage system and method |
| US7779048B2 (en) * | 2007-04-13 | 2010-08-17 | Isilon Systems, Inc. | Systems and methods of providing possible value ranges |
| US8966080B2 (en) | 2007-04-13 | 2015-02-24 | Emc Corporation | Systems and methods of managing resource utilization on a threaded computer system |
| US7900015B2 (en) * | 2007-04-13 | 2011-03-01 | Isilon Systems, Inc. | Systems and methods of quota accounting |
| WO2008130983A1 (en) * | 2007-04-16 | 2008-10-30 | Attune Systems, Inc. | File aggregation in a switched file system |
| US7853669B2 (en) * | 2007-05-04 | 2010-12-14 | Microsoft Corporation | Mesh-managing data across a distributed set of devices |
| WO2008147973A2 (en) * | 2007-05-25 | 2008-12-04 | Attune Systems, Inc. | Remote file virtualization in a switched file system |
| US7882068B2 (en) | 2007-08-21 | 2011-02-01 | Isilon Systems, Inc. | Systems and methods for adaptive copy on write |
| US7966289B2 (en) | 2007-08-21 | 2011-06-21 | Emc Corporation | Systems and methods for reading objects in a file system |
| US7949692B2 (en) * | 2007-08-21 | 2011-05-24 | Emc Corporation | Systems and methods for portals into snapshot data |
| US8117244B2 (en) | 2007-11-12 | 2012-02-14 | F5 Networks, Inc. | Non-disruptive file migration |
| US20090204705A1 (en) * | 2007-11-12 | 2009-08-13 | Attune Systems, Inc. | On Demand File Virtualization for Server Configuration Management with Limited Interruption |
| US8180747B2 (en) | 2007-11-12 | 2012-05-15 | F5 Networks, Inc. | Load sharing cluster file systems |
| US8548953B2 (en) * | 2007-11-12 | 2013-10-01 | F5 Networks, Inc. | File deduplication using storage tiers |
| US20090204650A1 (en) * | 2007-11-15 | 2009-08-13 | Attune Systems, Inc. | File Deduplication using Copy-on-Write Storage Tiers |
| US8352785B1 (en) | 2007-12-13 | 2013-01-08 | F5 Networks, Inc. | Methods for generating a unified virtual snapshot and systems thereof |
| KR100977159B1 (ko) * | 2007-12-14 | 2010-08-20 | 한국전자통신연구원 | 데이터 서버 주소의 변경과 디스크 이동에 투명한 파일메타데이터 관리 방법 및 시스템 |
| US8108837B2 (en) * | 2007-12-28 | 2012-01-31 | International Business Machines Corporation | Accomodating different resolutions of references to components in composite applications |
| JP4549396B2 (ja) * | 2008-01-18 | 2010-09-22 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
| US8806037B1 (en) * | 2008-02-29 | 2014-08-12 | Netapp, Inc. | Remote support automation for a storage server |
| US9298747B2 (en) * | 2008-03-20 | 2016-03-29 | Microsoft Technology Licensing, Llc | Deployable, consistent, and extensible computing environment platform |
| US9753712B2 (en) * | 2008-03-20 | 2017-09-05 | Microsoft Technology Licensing, Llc | Application management within deployable object hierarchy |
| US8484174B2 (en) | 2008-03-20 | 2013-07-09 | Microsoft Corporation | Computing environment representation |
| US8572033B2 (en) * | 2008-03-20 | 2013-10-29 | Microsoft Corporation | Computing environment configuration |
| US7870345B2 (en) | 2008-03-27 | 2011-01-11 | Isilon Systems, Inc. | Systems and methods for managing stalled storage devices |
| US7949636B2 (en) | 2008-03-27 | 2011-05-24 | Emc Corporation | Systems and methods for a read only mode for a portion of a storage system |
| US7984324B2 (en) * | 2008-03-27 | 2011-07-19 | Emc Corporation | Systems and methods for managing stalled storage devices |
| US7953709B2 (en) * | 2008-03-27 | 2011-05-31 | Emc Corporation | Systems and methods for a read only mode for a portion of a storage system |
| US7999959B2 (en) * | 2008-04-01 | 2011-08-16 | Kabushiki Kaisha Toshiba | System and method for user-specific discovery and initiation of a default document processing device |
| CN101552800A (zh) * | 2008-04-01 | 2009-10-07 | 华为技术有限公司 | 提供媒体内容的方法、装置和系统 |
| US8103628B2 (en) * | 2008-04-09 | 2012-01-24 | Harmonic Inc. | Directed placement of data in a redundant data storage system |
| TWI476610B (zh) * | 2008-04-29 | 2015-03-11 | Maxiscale Inc | 同級間冗餘檔案伺服器系統及方法 |
| CN101577864B (zh) * | 2008-05-08 | 2013-04-17 | 华为技术有限公司 | 数据传输的方法、系统及基站子系统和移动交换中心 |
| US8577845B2 (en) * | 2008-06-13 | 2013-11-05 | Symantec Operating Corporation | Remote, granular restore from full virtual machine backup |
| US8219524B2 (en) * | 2008-06-24 | 2012-07-10 | Commvault Systems, Inc. | Application-aware and remote single instance data management |
| US9098495B2 (en) | 2008-06-24 | 2015-08-04 | Commvault Systems, Inc. | Application-aware and remote single instance data management |
| US8484162B2 (en) | 2008-06-24 | 2013-07-09 | Commvault Systems, Inc. | De-duplication systems and methods for application-specific data |
| US8166263B2 (en) * | 2008-07-03 | 2012-04-24 | Commvault Systems, Inc. | Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices |
| US8549582B1 (en) | 2008-07-11 | 2013-10-01 | F5 Networks, Inc. | Methods for handling a multi-protocol content name and systems thereof |
| US8630987B2 (en) * | 2008-07-16 | 2014-01-14 | Cleversafe, Inc. | System and method for accessing a data object stored in a distributed storage network |
| US8819011B2 (en) * | 2008-07-16 | 2014-08-26 | Cleversafe, Inc. | Command line interpreter for accessing a data object stored in a distributed storage network |
| US8315995B1 (en) * | 2008-09-09 | 2012-11-20 | Peer Fusion, Inc. | Hybrid storage system |
| CA2729078C (en) | 2008-09-26 | 2016-05-24 | Commvault Systems, Inc. | Systems and methods for managing single instancing data |
| US9015181B2 (en) | 2008-09-26 | 2015-04-21 | Commvault Systems, Inc. | Systems and methods for managing single instancing data |
| US8086909B1 (en) | 2008-11-05 | 2011-12-27 | Network Appliance, Inc. | Automatic core file upload |
| US8412677B2 (en) * | 2008-11-26 | 2013-04-02 | Commvault Systems, Inc. | Systems and methods for byte-level or quasi byte-level single instancing |
| US8204859B2 (en) | 2008-12-10 | 2012-06-19 | Commvault Systems, Inc. | Systems and methods for managing replicated database data |
| US9495382B2 (en) * | 2008-12-10 | 2016-11-15 | Commvault Systems, Inc. | Systems and methods for performing discrete data replication |
| US20100153474A1 (en) * | 2008-12-16 | 2010-06-17 | Sandisk Il Ltd. | Discardable files |
| US9015209B2 (en) | 2008-12-16 | 2015-04-21 | Sandisk Il Ltd. | Download management of discardable files |
| US9104686B2 (en) | 2008-12-16 | 2015-08-11 | Sandisk Technologies Inc. | System and method for host management of discardable objects |
| US8849856B2 (en) * | 2008-12-16 | 2014-09-30 | Sandisk Il Ltd. | Discardable files |
| US8375192B2 (en) * | 2008-12-16 | 2013-02-12 | Sandisk Il Ltd. | Discardable files |
| US9020993B2 (en) | 2008-12-16 | 2015-04-28 | Sandisk Il Ltd. | Download management of discardable files |
| US8205060B2 (en) * | 2008-12-16 | 2012-06-19 | Sandisk Il Ltd. | Discardable files |
| CN101465758B (zh) * | 2009-01-14 | 2012-02-01 | 华为技术有限公司 | 设备管理的方法、系统及网管服务器 |
| US9066141B2 (en) * | 2009-01-21 | 2015-06-23 | Juniper Networks, Inc. | Resource allocation and modification using statistical analysis |
| CN101488104B (zh) * | 2009-02-26 | 2011-05-04 | 北京云快线软件服务有限公司 | 一种实现高效安全存储的系统和方法 |
| EP2406737A1 (en) * | 2009-03-10 | 2012-01-18 | IMS Software Services, Ltd. | Systems and methods for address intelligence |
| US20100235329A1 (en) * | 2009-03-10 | 2010-09-16 | Sandisk Il Ltd. | System and method of embedding second content in first content |
| EP2411918B1 (en) * | 2009-03-23 | 2018-07-11 | Riverbed Technology, Inc. | Virtualized data storage system architecture |
| US8401996B2 (en) | 2009-03-30 | 2013-03-19 | Commvault Systems, Inc. | Storing a variable number of instances of data objects |
| US8769049B2 (en) * | 2009-04-24 | 2014-07-01 | Microsoft Corporation | Intelligent tiers of backup data |
| US9087066B2 (en) * | 2009-04-24 | 2015-07-21 | Swish Data Corporation | Virtual disk from network shares and file servers |
| US8769055B2 (en) * | 2009-04-24 | 2014-07-01 | Microsoft Corporation | Distributed backup and versioning |
| US9239840B1 (en) | 2009-04-24 | 2016-01-19 | Swish Data Corporation | Backup media conversion via intelligent virtual appliance adapter |
| US8281227B2 (en) * | 2009-05-18 | 2012-10-02 | Fusion-10, Inc. | Apparatus, system, and method to increase data integrity in a redundant storage system |
| US8578120B2 (en) | 2009-05-22 | 2013-11-05 | Commvault Systems, Inc. | Block-level single instancing |
| US8370302B2 (en) * | 2009-06-02 | 2013-02-05 | Hitachi, Ltd. | Method and apparatus for block based volume backup |
| US8635184B2 (en) * | 2009-06-25 | 2014-01-21 | Emc Corporation | System and method for providing long-term storage for data |
| US8280895B2 (en) * | 2009-07-03 | 2012-10-02 | Barracuda Networks Inc | Multi-streamed method for optimizing data transfer through parallelized interlacing of data based upon sorted characteristics to minimize latencies inherent in the system |
| CN101621405B (zh) * | 2009-07-07 | 2012-02-29 | 中兴通讯股份有限公司 | 分布式管理监控系统及其监控方法、创建方法 |
| US8930306B1 (en) | 2009-07-08 | 2015-01-06 | Commvault Systems, Inc. | Synchronized data deduplication |
| WO2011023134A1 (en) | 2009-08-28 | 2011-03-03 | Beijing Innovation Works Technology Company Limited | Method and system for managing distributed storage system through virtual file system |
| FI126228B (fi) * | 2009-09-16 | 2016-08-31 | Varaani Works Oy | Menetelmä ja tallennuspalvelin tiedon varmentamiseen |
| US9135133B2 (en) * | 2009-09-28 | 2015-09-15 | Softlayer Technologies, Inc. | Metric object tracking system |
| US8351600B2 (en) * | 2009-10-30 | 2013-01-08 | Cleversafe, Inc. | Distributed storage network and method for encrypting and decrypting data using hash functions |
| US8479078B2 (en) * | 2009-10-30 | 2013-07-02 | Cleversafe, Inc. | Distributed storage network for modification of a data object |
| US10721269B1 (en) | 2009-11-06 | 2020-07-21 | F5 Networks, Inc. | Methods and system for returning requests with javascript for clients before passing a request to a server |
| US8266262B2 (en) * | 2009-11-30 | 2012-09-11 | Red Hat, Inc. | Providing network security services for multiple requesters |
| US8909916B2 (en) | 2009-11-30 | 2014-12-09 | Red Hat, Inc. | Using a PKCS module for opening multiple databases |
| US9922063B2 (en) * | 2009-12-29 | 2018-03-20 | International Business Machines Corporation | Secure storage of secret data in a dispersed storage network |
| CN102111425B (zh) * | 2009-12-29 | 2016-03-02 | 北京四达时代软件技术股份有限公司 | 一种业务数据下发方法、装置及系统 |
| CN102130759A (zh) * | 2010-01-13 | 2011-07-20 | 中国移动通信集团公司 | 一种数据采集方法、数据采集机集群及数据采集机 |
| EP2531921B1 (fr) * | 2010-02-01 | 2015-05-13 | Orange | Gestion du lieu de stockage de donnees dans un systeme de stockage distribue |
| US8874523B2 (en) * | 2010-02-09 | 2014-10-28 | Google Inc. | Method and system for providing efficient access to a tape storage system |
| US8204860B1 (en) | 2010-02-09 | 2012-06-19 | F5 Networks, Inc. | Methods and systems for snapshot reconstitution |
| US8862617B2 (en) * | 2010-02-09 | 2014-10-14 | Google Inc. | System and method for replicating objects in a distributed storage system |
| US8380659B2 (en) | 2010-02-09 | 2013-02-19 | Google Inc. | Method and system for efficiently replicating data in non-relational databases |
| US8886602B2 (en) | 2010-02-09 | 2014-11-11 | Google Inc. | Location assignment daemon (LAD) for a distributed storage system |
| US8615485B2 (en) | 2010-02-09 | 2013-12-24 | Google, Inc. | Method and system for managing weakly mutable data in a distributed storage system |
| US8868508B2 (en) | 2010-02-09 | 2014-10-21 | Google Inc. | Storage of data in a distributed storage system |
| US9305069B2 (en) | 2010-02-09 | 2016-04-05 | Google Inc. | Method and system for uploading data into a distributed storage system |
| US9195500B1 (en) | 2010-02-09 | 2015-11-24 | F5 Networks, Inc. | Methods for seamless storage importing and devices thereof |
| US8504670B2 (en) * | 2010-03-23 | 2013-08-06 | Riverbed Technology, Inc. | Virtualized data storage applications and optimizations |
| US8504517B2 (en) | 2010-03-29 | 2013-08-06 | Commvault Systems, Inc. | Systems and methods for selective data replication |
| US8352422B2 (en) | 2010-03-30 | 2013-01-08 | Commvault Systems, Inc. | Data restore systems and methods in a replication environment |
| US8504515B2 (en) | 2010-03-30 | 2013-08-06 | Commvault Systems, Inc. | Stubbing systems and methods in a data replication environment |
| US8725698B2 (en) | 2010-03-30 | 2014-05-13 | Commvault Systems, Inc. | Stub file prioritization in a data replication system |
| EP2561322B1 (en) | 2010-04-20 | 2021-08-04 | Hewlett-Packard Development Company, L.P. | A self-arranging, luminescence-enhancement device for surface-enhanced luminescence |
| US8572038B2 (en) | 2010-05-28 | 2013-10-29 | Commvault Systems, Inc. | Systems and methods for performing data replication |
| US20110302224A1 (en) * | 2010-06-08 | 2011-12-08 | Rahav Yairi | Data storage device with preloaded content |
| US8996803B2 (en) * | 2010-07-02 | 2015-03-31 | Futurewei Technologies, Inc. | Method and apparatus for providing highly-scalable network storage for well-gridded objects |
| US8347100B1 (en) | 2010-07-14 | 2013-01-01 | F5 Networks, Inc. | Methods for DNSSEC proxying and deployment amelioration and systems thereof |
| US8433685B2 (en) * | 2010-08-18 | 2013-04-30 | Hewlett-Packard Development Company, L.P. | Method and system for parity-page distribution among nodes of a multi-node data-storage system |
| US8463802B2 (en) | 2010-08-19 | 2013-06-11 | Sandisk Il Ltd. | Card-based management of discardable files |
| US8549229B2 (en) | 2010-08-19 | 2013-10-01 | Sandisk Il Ltd. | Systems and methods for managing an upload of files in a shared cache storage system |
| US8572340B2 (en) | 2010-09-30 | 2013-10-29 | Commvault Systems, Inc. | Systems and methods for retaining and using data block signatures in data protection operations |
| US8935492B2 (en) | 2010-09-30 | 2015-01-13 | Commvault Systems, Inc. | Archiving data objects using secondary copies |
| US8364652B2 (en) | 2010-09-30 | 2013-01-29 | Commvault Systems, Inc. | Content aligned block-based deduplication |
| US9286298B1 (en) | 2010-10-14 | 2016-03-15 | F5 Networks, Inc. | Methods for enhancing management of backup data sets and devices thereof |
| WO2012054024A1 (en) | 2010-10-20 | 2012-04-26 | Hewlett-Packard Development Company, L.P. | Metallic-nanofinger device for chemical sensing |
| WO2012054027A1 (en) | 2010-10-20 | 2012-04-26 | Hewlett-Packard Development Company, L.P. | Chemical-analysis device integrated with metallic-nanofinger device for chemical sensing |
| US8495108B2 (en) * | 2010-11-30 | 2013-07-23 | International Business Machines Corporation | Virtual node subpool management |
| US8954446B2 (en) | 2010-12-14 | 2015-02-10 | Comm Vault Systems, Inc. | Client-side repository in a networked deduplicated storage system |
| US9020900B2 (en) | 2010-12-14 | 2015-04-28 | Commvault Systems, Inc. | Distributed deduplicated storage system |
| US20130132672A1 (en) * | 2011-01-12 | 2013-05-23 | Panasonic Corporation | Optical disk array device |
| US8745329B2 (en) * | 2011-01-20 | 2014-06-03 | Google Inc. | Storing data across a plurality of storage nodes |
| US9021198B1 (en) | 2011-01-20 | 2015-04-28 | Commvault Systems, Inc. | System and method for sharing SAN storage |
| US8788849B2 (en) | 2011-02-28 | 2014-07-22 | Sandisk Technologies Inc. | Method and apparatus for protecting cached streams |
| US9767098B2 (en) | 2012-08-08 | 2017-09-19 | Amazon Technologies, Inc. | Archival data storage system |
| US9563681B1 (en) | 2012-08-08 | 2017-02-07 | Amazon Technologies, Inc. | Archival data flow management |
| US9213709B2 (en) * | 2012-08-08 | 2015-12-15 | Amazon Technologies, Inc. | Archival data identification |
| US9251097B1 (en) | 2011-03-22 | 2016-02-02 | Amazon Technologies, Inc. | Redundant key management |
| US20120254118A1 (en) * | 2011-03-31 | 2012-10-04 | Microsoft Corporation | Recovery of tenant data across tenant moves |
| US8849880B2 (en) * | 2011-05-18 | 2014-09-30 | Hewlett-Packard Development Company, L.P. | Providing a shadow directory and virtual files to store metadata |
| US8938638B2 (en) * | 2011-06-06 | 2015-01-20 | Microsoft Corporation | Recovery service location for a service |
| US10585766B2 (en) | 2011-06-06 | 2020-03-10 | Microsoft Technology Licensing, Llc | Automatic configuration of a recovery service |
| US8396836B1 (en) | 2011-06-30 | 2013-03-12 | F5 Networks, Inc. | System for mitigating file virtualization storage import latency |
| US8954448B1 (en) | 2011-08-31 | 2015-02-10 | Amazon Technologies, Inc. | Presenting content related to current media consumption |
| US9098399B2 (en) | 2011-08-31 | 2015-08-04 | SMART Storage Systems, Inc. | Electronic system with storage management mechanism and method of operation thereof |
| US9063844B2 (en) | 2011-09-02 | 2015-06-23 | SMART Storage Systems, Inc. | Non-volatile memory management system with time measure mechanism and method of operation thereof |
| US9021319B2 (en) | 2011-09-02 | 2015-04-28 | SMART Storage Systems, Inc. | Non-volatile memory management system with load leveling and method of operation thereof |
| US9021231B2 (en) | 2011-09-02 | 2015-04-28 | SMART Storage Systems, Inc. | Storage control system with write amplification control mechanism and method of operation thereof |
| CN102291466B (zh) * | 2011-09-05 | 2014-02-26 | 浪潮电子信息产业股份有限公司 | 一种优化集群存储网络资源配置的方法 |
| US8463850B1 (en) | 2011-10-26 | 2013-06-11 | F5 Networks, Inc. | System and method of algorithmically generating a server side transaction identifier |
| KR101907067B1 (ko) * | 2011-11-02 | 2018-10-11 | 삼성전자 주식회사 | 요청 패턴을 고려한 분산 스토리지 시스템, 분산 스토리지 관리 장치 및 방법 |
| US9239781B2 (en) | 2012-02-07 | 2016-01-19 | SMART Storage Systems, Inc. | Storage control system with erase block mechanism and method of operation thereof |
| US9330107B1 (en) * | 2012-02-08 | 2016-05-03 | Google Inc. | System and method for storing metadata for a file in a distributed storage system |
| US9020912B1 (en) | 2012-02-20 | 2015-04-28 | F5 Networks, Inc. | Methods for accessing data in a compressed file system and devices thereof |
| US20130232215A1 (en) * | 2012-03-05 | 2013-09-05 | Riverbed Technology, Inc. | Virtualized data storage system architecture using prefetching agent |
| US9471578B2 (en) | 2012-03-07 | 2016-10-18 | Commvault Systems, Inc. | Data storage system utilizing proxy device for storage operations |
| US9298715B2 (en) | 2012-03-07 | 2016-03-29 | Commvault Systems, Inc. | Data storage system utilizing proxy device for storage operations |
| US8554963B1 (en) | 2012-03-23 | 2013-10-08 | DSSD, Inc. | Storage system with multicast DMA and unified address space |
| US8370567B1 (en) * | 2012-03-23 | 2013-02-05 | DSSD, Inc. | Storage system with self describing data |
| US9020890B2 (en) | 2012-03-30 | 2015-04-28 | Commvault Systems, Inc. | Smart archiving and data previewing for mobile devices |
| US9342537B2 (en) | 2012-04-23 | 2016-05-17 | Commvault Systems, Inc. | Integrated snapshot interface for a data storage system |
| US9043274B1 (en) | 2012-05-22 | 2015-05-26 | Shoretel, Inc. | Updating local database and central database |
| US9218374B2 (en) | 2012-06-13 | 2015-12-22 | Commvault Systems, Inc. | Collaborative restore in a networked storage system |
| US10528262B1 (en) * | 2012-07-26 | 2020-01-07 | EMC IP Holding Company LLC | Replication-based federation of scalable data across multiple sites |
| US9904788B2 (en) | 2012-08-08 | 2018-02-27 | Amazon Technologies, Inc. | Redundant key management |
| US8805793B2 (en) | 2012-08-08 | 2014-08-12 | Amazon Technologies, Inc. | Data storage integrity validation |
| US10120579B1 (en) | 2012-08-08 | 2018-11-06 | Amazon Technologies, Inc. | Data storage management for sequentially written media |
| US9652487B1 (en) | 2012-08-08 | 2017-05-16 | Amazon Technologies, Inc. | Programmable checksum calculations on data storage devices |
| CN104603776B (zh) * | 2012-08-08 | 2020-05-12 | 亚马逊技术股份有限公司 | 归档数据存储系统 |
| US9779035B1 (en) | 2012-08-08 | 2017-10-03 | Amazon Technologies, Inc. | Log-based data storage on sequentially written media |
| US9830111B1 (en) | 2012-08-08 | 2017-11-28 | Amazon Technologies, Inc. | Data storage space management |
| US9250811B1 (en) | 2012-08-08 | 2016-02-02 | Amazon Technologies, Inc. | Data write caching for sequentially written media |
| US8959067B1 (en) | 2012-08-08 | 2015-02-17 | Amazon Technologies, Inc. | Data storage inventory indexing |
| US9354683B2 (en) | 2012-08-08 | 2016-05-31 | Amazon Technologies, Inc. | Data storage power management |
| US9092441B1 (en) | 2012-08-08 | 2015-07-28 | Amazon Technologies, Inc. | Archival data organization and management |
| US9225675B2 (en) | 2012-08-08 | 2015-12-29 | Amazon Technologies, Inc. | Data storage application programming interface |
| US8856484B2 (en) * | 2012-08-14 | 2014-10-07 | Infinidat Ltd. | Mass storage system and methods of controlling resources thereof |
| US8903876B2 (en) | 2012-08-15 | 2014-12-02 | Facebook, Inc. | File storage system based on coordinated exhaustible and non-exhaustible storage |
| US10303659B2 (en) * | 2012-08-16 | 2019-05-28 | Empire Technology Development Llc | Storing encoded data files on multiple file servers |
| US8392428B1 (en) | 2012-09-12 | 2013-03-05 | DSSD, Inc. | Method and system for hash fragment representation |
| US9519501B1 (en) | 2012-09-30 | 2016-12-13 | F5 Networks, Inc. | Hardware assisted flow acceleration and L2 SMAC management in a heterogeneous distributed multi-tenant virtualized clustered system |
| US9106721B2 (en) * | 2012-10-02 | 2015-08-11 | Nextbit Systems | Application state synchronization across multiple devices |
| US10057726B2 (en) | 2012-10-02 | 2018-08-21 | Razer (Asia-Pacific) Pte. Ltd. | Managing user data on an electronic device |
| CN102937967B (zh) * | 2012-10-11 | 2018-02-27 | 南京中兴新软件有限责任公司 | 数据冗余实现方法及装置 |
| CN102882983B (zh) * | 2012-10-22 | 2015-06-10 | 南京云创存储科技有限公司 | 一种云存储系统中提升并发访问性能的数据快速存储方法 |
| US9229657B1 (en) | 2012-11-01 | 2016-01-05 | Quantcast Corporation | Redistributing data in a distributed storage system based on attributes of the data |
| US9671962B2 (en) * | 2012-11-30 | 2017-06-06 | Sandisk Technologies Llc | Storage control system with data management mechanism of parity and method of operation thereof |
| CN103002045A (zh) * | 2012-12-18 | 2013-03-27 | 江苏乐买到网络科技有限公司 | 一种web服务系统 |
| US10379988B2 (en) | 2012-12-21 | 2019-08-13 | Commvault Systems, Inc. | Systems and methods for performance monitoring |
| CN103229173B (zh) * | 2012-12-26 | 2016-08-03 | 华为技术有限公司 | 元数据管理方法及系统 |
| US9633022B2 (en) | 2012-12-28 | 2017-04-25 | Commvault Systems, Inc. | Backup and restoration for a deduplicated file system |
| US9727268B2 (en) | 2013-01-08 | 2017-08-08 | Lyve Minds, Inc. | Management of storage in a storage network |
| US9336226B2 (en) | 2013-01-11 | 2016-05-10 | Commvault Systems, Inc. | Criteria-based data synchronization management |
| US9886346B2 (en) | 2013-01-11 | 2018-02-06 | Commvault Systems, Inc. | Single snapshot for multiple agents |
| US9633033B2 (en) | 2013-01-11 | 2017-04-25 | Commvault Systems, Inc. | High availability distributed deduplicated storage system |
| US9123445B2 (en) | 2013-01-22 | 2015-09-01 | SMART Storage Systems, Inc. | Storage control system with data management mechanism and method of operation thereof |
| US9323768B2 (en) | 2013-01-30 | 2016-04-26 | Hewlett Packard Enterprise Development Lp | Anticipatorily retrieving information in response to a query of a directory |
| US9645950B2 (en) * | 2013-01-31 | 2017-05-09 | Vmware, Inc. | Low-cost backup and edge caching using unused disk blocks |
| US9792295B1 (en) | 2013-02-06 | 2017-10-17 | Quantcast Corporation | Distributing data of multiple logically independent file systems in distributed storage systems including physically partitioned disks |
| US9811529B1 (en) * | 2013-02-06 | 2017-11-07 | Quantcast Corporation | Automatically redistributing data of multiple file systems in a distributed storage system |
| US10558581B1 (en) | 2013-02-19 | 2020-02-11 | Amazon Technologies, Inc. | Systems and techniques for data recovery in a keymapless data storage system |
| US10375155B1 (en) | 2013-02-19 | 2019-08-06 | F5 Networks, Inc. | System and method for achieving hardware acceleration for asymmetric flow connections |
| US9329928B2 (en) | 2013-02-20 | 2016-05-03 | Sandisk Enterprise IP LLC. | Bandwidth optimization in a non-volatile memory system |
| US9214965B2 (en) | 2013-02-20 | 2015-12-15 | Sandisk Enterprise Ip Llc | Method and system for improving data integrity in non-volatile storage |
| US9183137B2 (en) | 2013-02-27 | 2015-11-10 | SMART Storage Systems, Inc. | Storage control system with data management mechanism and method of operation thereof |
| US9554418B1 (en) | 2013-02-28 | 2017-01-24 | F5 Networks, Inc. | Device for topology hiding of a visited network |
| US9043780B2 (en) | 2013-03-27 | 2015-05-26 | SMART Storage Systems, Inc. | Electronic system with system modification control mechanism and method of operation thereof |
| US10049037B2 (en) | 2013-04-05 | 2018-08-14 | Sandisk Enterprise Ip Llc | Data management in a storage system |
| US9170941B2 (en) | 2013-04-05 | 2015-10-27 | Sandisk Enterprises IP LLC | Data hardening in a storage system |
| US9543025B2 (en) | 2013-04-11 | 2017-01-10 | Sandisk Technologies Llc | Storage control system with power-off time estimation mechanism and method of operation thereof |
| US10546648B2 (en) | 2013-04-12 | 2020-01-28 | Sandisk Technologies Llc | Storage control system with data management mechanism and method of operation thereof |
| US9329938B2 (en) | 2013-04-16 | 2016-05-03 | International Business Machines Corporation | Essential metadata replication |
| US9423981B2 (en) | 2013-04-16 | 2016-08-23 | International Business Machines Corporation | Logical region allocation with immediate availability |
| US9619404B2 (en) | 2013-04-16 | 2017-04-11 | International Business Machines Corporation | Backup cache with immediate availability |
| US9104332B2 (en) | 2013-04-16 | 2015-08-11 | International Business Machines Corporation | Managing metadata and data for a logical volume in a distributed and declustered system |
| US9104597B2 (en) | 2013-04-16 | 2015-08-11 | International Business Machines Corporation | Destaging cache data using a distributed freezer |
| US9298617B2 (en) | 2013-04-16 | 2016-03-29 | International Business Machines Corporation | Parallel destaging with replicated cache pinning |
| US9298398B2 (en) | 2013-04-16 | 2016-03-29 | International Business Machines Corporation | Fine-grained control of data placement |
| US9898056B2 (en) | 2013-06-19 | 2018-02-20 | Sandisk Technologies Llc | Electronic assembly with thermal channel and method of manufacture thereof |
| US9244519B1 (en) | 2013-06-25 | 2016-01-26 | Smart Storage Systems. Inc. | Storage system with data transfer rate adjustment for power throttling |
| US9367353B1 (en) | 2013-06-25 | 2016-06-14 | Sandisk Technologies Inc. | Storage control system with power throttling mechanism and method of operation thereof |
| US9146850B2 (en) | 2013-08-01 | 2015-09-29 | SMART Storage Systems, Inc. | Data storage system with dynamic read threshold mechanism and method of operation thereof |
| US9431113B2 (en) | 2013-08-07 | 2016-08-30 | Sandisk Technologies Llc | Data storage system with dynamic erase block grouping mechanism and method of operation thereof |
| US9361222B2 (en) | 2013-08-07 | 2016-06-07 | SMART Storage Systems, Inc. | Electronic system with storage drive life estimation mechanism and method of operation thereof |
| US9448946B2 (en) | 2013-08-07 | 2016-09-20 | Sandisk Technologies Llc | Data storage system with stale data mechanism and method of operation thereof |
| US9477679B2 (en) * | 2013-09-20 | 2016-10-25 | Google Inc. | Programmatically choosing preferred storage parameters for files in large-scale distributed storage systems |
| JP2015069215A (ja) * | 2013-09-26 | 2015-04-13 | 富士通株式会社 | 情報処理装置，情報処理システム，制御プログラム及び制御方法 |
| US9767311B2 (en) * | 2013-10-25 | 2017-09-19 | Netapp, Inc. | Stack isolation by a storage network switch |
| WO2015064745A1 (ja) * | 2013-10-31 | 2015-05-07 | 本田技研工業株式会社 | 情報通知装置、情報通知システム、情報通知方法及び情報通知プログラム |
| US9152555B2 (en) | 2013-11-15 | 2015-10-06 | Sandisk Enterprise IP LLC. | Data management with modular erase in a data storage system |
| US20150160864A1 (en) * | 2013-12-09 | 2015-06-11 | Netapp, Inc. | Systems and methods for high availability in multi-node storage networks |
| US9348707B2 (en) | 2013-12-18 | 2016-05-24 | International Business Machines Corporation | Dynamically adjusting the number of replicas of a file according to the probability that the file will be accessed within a distributed file system |
| US9678678B2 (en) * | 2013-12-20 | 2017-06-13 | Lyve Minds, Inc. | Storage network data retrieval |
| CN103647850B (zh) * | 2013-12-25 | 2017-01-25 | 北京京东尚科信息技术有限公司 | 一种分布式版本控制系统的数据处理方法、设备及系统 |
| EP2933733A4 (en) | 2013-12-31 | 2016-05-11 | Huawei Tech Co Ltd | DATA PROCESSING METHOD AND DEVICE IN A DISTRIBUTED FILE STORAGE SYSTEM |
| US10657113B2 (en) * | 2014-01-14 | 2020-05-19 | Baker Hughes, A Ge Company, Llc | Loose coupling of metadata and actual data |
| US10242222B2 (en) | 2014-01-14 | 2019-03-26 | Baker Hughes, A Ge Company, Llc | Compartment-based data security |
| US9753812B2 (en) | 2014-01-24 | 2017-09-05 | Commvault Systems, Inc. | Generating mapping information for single snapshot for multiple applications |
| US9495251B2 (en) | 2014-01-24 | 2016-11-15 | Commvault Systems, Inc. | Snapshot readiness checking and reporting |
| US9632874B2 (en) | 2014-01-24 | 2017-04-25 | Commvault Systems, Inc. | Database application backup in single snapshot for multiple applications |
| US9639426B2 (en) | 2014-01-24 | 2017-05-02 | Commvault Systems, Inc. | Single snapshot for multiple applications |
| US10324897B2 (en) | 2014-01-27 | 2019-06-18 | Commvault Systems, Inc. | Techniques for serving archived electronic mail |
| US9542404B2 (en) * | 2014-02-17 | 2017-01-10 | Netapp, Inc. | Subpartitioning of a namespace region |
| US9633056B2 (en) | 2014-03-17 | 2017-04-25 | Commvault Systems, Inc. | Maintaining a deduplication database |
| US10380072B2 (en) | 2014-03-17 | 2019-08-13 | Commvault Systems, Inc. | Managing deletions from a deduplication database |
| US9772787B2 (en) | 2014-03-31 | 2017-09-26 | Amazon Technologies, Inc. | File storage using variable stripe sizes |
| US9449008B1 (en) | 2014-03-31 | 2016-09-20 | Amazon Technologies, Inc. | Consistent object renaming in distributed systems |
| US9519510B2 (en) | 2014-03-31 | 2016-12-13 | Amazon Technologies, Inc. | Atomic writes for multiple-extent operations |
| US9602424B1 (en) | 2014-03-31 | 2017-03-21 | Amazon Technologies, Inc. | Connection balancing using attempt counts at distributed storage systems |
| US9274710B1 (en) | 2014-03-31 | 2016-03-01 | Amazon Technologies, Inc. | Offset-based congestion control in storage systems |
| US9495478B2 (en) | 2014-03-31 | 2016-11-15 | Amazon Technologies, Inc. | Namespace management in distributed storage systems |
| US9779015B1 (en) | 2014-03-31 | 2017-10-03 | Amazon Technologies, Inc. | Oversubscribed storage extents with on-demand page allocation |
| US9569459B1 (en) | 2014-03-31 | 2017-02-14 | Amazon Technologies, Inc. | Conditional writes at distributed storage services |
| US10372685B2 (en) | 2014-03-31 | 2019-08-06 | Amazon Technologies, Inc. | Scalable file storage service |
| US9294558B1 (en) | 2014-03-31 | 2016-03-22 | Amazon Technologies, Inc. | Connection re-balancing in distributed storage systems |
| US10264071B2 (en) | 2014-03-31 | 2019-04-16 | Amazon Technologies, Inc. | Session management in distributed storage systems |
| US10105593B2 (en) | 2014-04-08 | 2018-10-23 | Razer (Asia-Pacific) Pte. Ltd. | File prefetching for gaming applications accessed by electronic devices |
| US10459892B2 (en) | 2014-04-23 | 2019-10-29 | Qumulo, Inc. | Filesystem hierarchical aggregate metrics |
| US9495293B1 (en) * | 2014-05-05 | 2016-11-15 | EMC IP Holding Company, LLC | Zone consistency |
| US10523753B2 (en) | 2014-05-06 | 2019-12-31 | Western Digital Technologies, Inc. | Broadcast data operations in distributed file systems |
| US9852138B2 (en) * | 2014-06-30 | 2017-12-26 | EMC IP Holding Company LLC | Content fabric for a distributed file system |
| US10162836B1 (en) * | 2014-06-30 | 2018-12-25 | EMC IP Holding Company LLC | Parallel file system with striped metadata |
| US11838851B1 (en) | 2014-07-15 | 2023-12-05 | F5, Inc. | Methods for managing L7 traffic classification and devices thereof |
| US9852026B2 (en) | 2014-08-06 | 2017-12-26 | Commvault Systems, Inc. | Efficient application recovery in an information management system based on a pseudo-storage-device driver |
| US11249858B2 (en) | 2014-08-06 | 2022-02-15 | Commvault Systems, Inc. | Point-in-time backups of a production application made accessible over fibre channel and/or ISCSI as data sources to a remote application by representing the backups as pseudo-disks operating apart from the production application and its host |
| CN104166583B (zh) * | 2014-08-11 | 2017-08-04 | 香港理工大学深圳研究院 | 一种基于移动设备虚拟化环境的数据存储方法及装置 |
| US9378149B1 (en) | 2014-08-29 | 2016-06-28 | Emc Corporation | Method and system for tracking modification times of data in a storage system |
| US9774672B2 (en) | 2014-09-03 | 2017-09-26 | Commvault Systems, Inc. | Consolidated processing of storage-array commands by a snapshot-control media agent |
| US10042716B2 (en) | 2014-09-03 | 2018-08-07 | Commvault Systems, Inc. | Consolidated processing of storage-array commands using a forwarder media agent in conjunction with a snapshot-control media agent |
| CN104317526A (zh) * | 2014-09-25 | 2015-01-28 | 天津大学 | 一种基于磁盘存储系统的科学数据存储方法 |
| US9575673B2 (en) | 2014-10-29 | 2017-02-21 | Commvault Systems, Inc. | Accessing a file system using tiered deduplication |
| US9448731B2 (en) | 2014-11-14 | 2016-09-20 | Commvault Systems, Inc. | Unified snapshot storage management |
| US9648105B2 (en) | 2014-11-14 | 2017-05-09 | Commvault Systems, Inc. | Unified snapshot storage management, using an enhanced storage manager and enhanced media agents |
| US10182013B1 (en) | 2014-12-01 | 2019-01-15 | F5 Networks, Inc. | Methods for managing progressive image delivery and devices thereof |
| US9652471B1 (en) | 2014-12-15 | 2017-05-16 | Amazon Technologies, Inc. | Intelligent file system with transparent storage tiering |
| US9471229B2 (en) | 2014-12-15 | 2016-10-18 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Scaling performance for raid storage controllers by predictively caching data for host write requests |
| CN104504349B (zh) * | 2014-12-19 | 2017-06-20 | 武汉长江通信智联技术有限公司 | 一种录像数据安全存储装置及方法 |
| US9836480B2 (en) | 2015-01-12 | 2017-12-05 | Qumulo, Inc. | Filesystem capacity and performance metrics and visualizations |
| US11132336B2 (en) | 2015-01-12 | 2021-09-28 | Qumulo, Inc. | Filesystem hierarchical capacity quantity and aggregate metrics |
| US9898213B2 (en) | 2015-01-23 | 2018-02-20 | Commvault Systems, Inc. | Scalable auxiliary copy processing using media agent resources |
| US9904481B2 (en) | 2015-01-23 | 2018-02-27 | Commvault Systems, Inc. | Scalable auxiliary copy processing in a storage management system using media agent resources |
| US10614050B2 (en) * | 2015-01-25 | 2020-04-07 | Iguazio Systems, Ltd. | Managing object requests via multiple indexes |
| US11895138B1 (en) | 2015-02-02 | 2024-02-06 | F5, Inc. | Methods for improving web scanner accuracy and devices thereof |
| CN104573571B (zh) * | 2015-02-04 | 2017-09-19 | 郑州信大捷安信息技术股份有限公司 | 一种智能卡安全文件系统的生成方法 |
| US10108624B1 (en) * | 2015-02-04 | 2018-10-23 | Amazon Technologies, Inc. | Concurrent directory move operations using ranking rules |
| US10127234B1 (en) | 2015-03-27 | 2018-11-13 | Amazon Technologies, Inc. | Proactive optimizations at multi-tier file systems |
| US10834065B1 (en) | 2015-03-31 | 2020-11-10 | F5 Networks, Inc. | Methods for SSL protected NTLM re-authentication and devices thereof |
| US10339106B2 (en) | 2015-04-09 | 2019-07-02 | Commvault Systems, Inc. | Highly reusable deduplication database after disaster recovery |
| US10229262B2 (en) | 2015-04-20 | 2019-03-12 | Bomgar Corporation | Systems, methods, and apparatuses for credential handling |
| US10397233B2 (en) | 2015-04-20 | 2019-08-27 | Bomgar Corporation | Method and apparatus for credential handling |
| US9860317B1 (en) | 2015-04-30 | 2018-01-02 | Amazon Technologies, Inc. | Throughput throttling for distributed file storage services with varying connection characteristics |
| US10346367B1 (en) | 2015-04-30 | 2019-07-09 | Amazon Technologies, Inc. | Load shedding techniques for distributed services with persistent client connections to ensure quality of service |
| US20160335198A1 (en) * | 2015-05-12 | 2016-11-17 | Apple Inc. | Methods and system for maintaining an indirection system for a mass storage device |
| US10324914B2 (en) | 2015-05-20 | 2019-06-18 | Commvalut Systems, Inc. | Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files |
| US20160350391A1 (en) | 2015-05-26 | 2016-12-01 | Commvault Systems, Inc. | Replication using deduplicated secondary copy data |
| US10078553B2 (en) * | 2015-06-18 | 2018-09-18 | International Business Machines Corporation | Point in time copy technique using a block level of granularity |
| US10705909B2 (en) * | 2015-06-25 | 2020-07-07 | International Business Machines Corporation | File level defined de-clustered redundant array of independent storage devices solution |
| US9766825B2 (en) | 2015-07-22 | 2017-09-19 | Commvault Systems, Inc. | Browse and restore for block-level backups |
| CN105005622B (zh) * | 2015-07-24 | 2018-12-07 | 肖华 | 一种高速存储高真连帧查询数的方法和其图像输出方法 |
| US11386060B1 (en) | 2015-09-23 | 2022-07-12 | Amazon Technologies, Inc. | Techniques for verifiably processing data in distributed computing systems |
| US10459891B2 (en) | 2015-09-30 | 2019-10-29 | Western Digital Technologies, Inc. | Replicating data across data storage devices of a logical volume |
| CN108369588B (zh) * | 2015-10-15 | 2023-01-20 | 甲骨文国际公司 | 数据库级别自动存储管理 |
| US9665446B1 (en) | 2015-12-29 | 2017-05-30 | International Business Machines Corporation | Fully distributed intelligent rebuild |
| US20170192868A1 (en) | 2015-12-30 | 2017-07-06 | Commvault Systems, Inc. | User interface for identifying a location of a failed secondary storage device |
| KR102528557B1 (ko) | 2016-01-12 | 2023-05-04 | 삼성전자주식회사 | 다중 연결 포트를 갖는 반도체 장치, 메모리 시스템의 동작 방법 및 스토리지 시스템의 통신 방법 |
| US10404698B1 (en) | 2016-01-15 | 2019-09-03 | F5 Networks, Inc. | Methods for adaptive organization of web application access points in webtops and devices thereof |
| US10797888B1 (en) | 2016-01-20 | 2020-10-06 | F5 Networks, Inc. | Methods for secured SCEP enrollment for client devices and devices thereof |
| US10296368B2 (en) | 2016-03-09 | 2019-05-21 | Commvault Systems, Inc. | Hypervisor-independent block-level live browse for access to backed up virtual machine (VM) data and hypervisor-free file-level recovery (block-level pseudo-mount) |
| US10503753B2 (en) | 2016-03-10 | 2019-12-10 | Commvault Systems, Inc. | Snapshot replication operations based on incremental block change tracking |
| US10140312B2 (en) | 2016-03-25 | 2018-11-27 | Amazon Technologies, Inc. | Low latency distributed storage service |
| US10474636B2 (en) | 2016-03-25 | 2019-11-12 | Amazon Technologies, Inc. | Block allocation for low latency file systems |
| US10545927B2 (en) | 2016-03-25 | 2020-01-28 | Amazon Technologies, Inc. | File system mode switching in a distributed storage service |
| KR102610846B1 (ko) * | 2016-05-13 | 2023-12-07 | 한국전자통신연구원 | 고속 분산 저장 장치 및 방법 |
| CN107247714B (zh) * | 2016-06-01 | 2018-02-27 | 国家电网公司 | 一种基于分布式存储技术的小文件存取系统的存取方法 |
| US10719499B2 (en) * | 2016-06-06 | 2020-07-21 | INTERNATIONAL BUSINESS MACHINES CORPORATIOb | Establishing distributed consensus via alternate voting strategies in a dispersed storage network |
| US10417094B1 (en) | 2016-07-13 | 2019-09-17 | Peer Fusion, Inc. | Hyper storage cluster |
| FR3056052B1 (fr) * | 2016-09-09 | 2019-11-01 | Slat | Commutateur reseau et systeme de gestion associe |
| US10412198B1 (en) | 2016-10-27 | 2019-09-10 | F5 Networks, Inc. | Methods for improved transmission control protocol (TCP) performance visibility and devices thereof |
| US10095729B2 (en) | 2016-12-09 | 2018-10-09 | Qumulo, Inc. | Managing storage quotas in a shared storage system |
| US10346355B2 (en) * | 2016-12-23 | 2019-07-09 | Qumulo, Inc. | Filesystem block sampling to identify user consumption of storage resources |
| US10078552B2 (en) * | 2016-12-29 | 2018-09-18 | Western Digital Technologies, Inc. | Hierarchic storage policy for distributed object storage systems |
| US11089100B2 (en) * | 2017-01-12 | 2021-08-10 | Vivint, Inc. | Link-server caching |
| US10620860B2 (en) * | 2017-02-13 | 2020-04-14 | Oracle International Corporation | System for storing data in tape volume containers |
| US10740193B2 (en) | 2017-02-27 | 2020-08-11 | Commvault Systems, Inc. | Hypervisor-independent reference copies of virtual machine payload data based on block-level pseudo-mount |
| US11010261B2 (en) | 2017-03-31 | 2021-05-18 | Commvault Systems, Inc. | Dynamically allocating streams during restoration of data |
| US10567492B1 (en) | 2017-05-11 | 2020-02-18 | F5 Networks, Inc. | Methods for load balancing in a federated identity environment and devices thereof |
| CN106993057A (zh) * | 2017-05-24 | 2017-07-28 | 郑州云海信息技术有限公司 | 一种管理文件资源共享的方法及装置 |
| US10664352B2 (en) | 2017-06-14 | 2020-05-26 | Commvault Systems, Inc. | Live browsing of backed up data residing on cloned disks |
| US10394634B2 (en) * | 2017-06-30 | 2019-08-27 | Intel Corporation | Drive-based storage scrubbing |
| US10503587B2 (en) | 2017-06-30 | 2019-12-10 | Intel Corporation | Scrubbing disaggregated storage |
| US11341103B2 (en) * | 2017-08-04 | 2022-05-24 | International Business Machines Corporation | Replicating and migrating files to secondary storage sites |
| CN111966540B (zh) * | 2017-09-22 | 2024-03-01 | 成都华为技术有限公司 | 存储介质的管理方法、装置及可读存储介质 |
| US11354247B2 (en) | 2017-11-10 | 2022-06-07 | Smart IOPS, Inc. | Devices, systems, and methods for configuring a storage device with cache |
| US10394474B2 (en) | 2017-11-10 | 2019-08-27 | Smart IOPS, Inc. | Devices, systems, and methods for reconfiguring storage devices with applications |
| US10812590B2 (en) | 2017-11-17 | 2020-10-20 | Bank Of America Corporation | System for generating distributed cloud data storage on disparate devices |
| US11223689B1 (en) | 2018-01-05 | 2022-01-11 | F5 Networks, Inc. | Methods for multipath transmission control protocol (MPTCP) based session migration and devices thereof |
| US10732885B2 (en) | 2018-02-14 | 2020-08-04 | Commvault Systems, Inc. | Block-level live browsing and private writable snapshots using an ISCSI server |
| US10833943B1 (en) | 2018-03-01 | 2020-11-10 | F5 Networks, Inc. | Methods for service chaining and devices thereof |
| CN110413208B (zh) | 2018-04-28 | 2023-05-30 | 伊姆西Ip控股有限责任公司 | 用于管理存储系统的方法、设备和计算机程序产品 |
| CN108965378B (zh) * | 2018-05-29 | 2021-08-10 | 郑州云海信息技术有限公司 | 一种io模式识别方法、系统、设备及计算机存储介质 |
| US10671370B2 (en) * | 2018-05-30 | 2020-06-02 | Red Hat, Inc. | Distributing file system states |
| US11360936B2 (en) | 2018-06-08 | 2022-06-14 | Qumulo, Inc. | Managing per object snapshot coverage in filesystems |
| US11169961B2 (en) * | 2018-06-29 | 2021-11-09 | Weka.IO Ltd. | Data migration in a distributive file system |
| CN109344012B (zh) * | 2018-09-14 | 2022-04-12 | 新华三技术有限公司成都分公司 | 数据重构控制方法、装置和设备 |
| US11010258B2 (en) | 2018-11-27 | 2021-05-18 | Commvault Systems, Inc. | Generating backup copies through interoperability between components of a data storage management system and appliances for data storage and deduplication |
| US11698727B2 (en) | 2018-12-14 | 2023-07-11 | Commvault Systems, Inc. | Performing secondary copy operations based on deduplication performance |
| US10534758B1 (en) | 2018-12-20 | 2020-01-14 | Qumulo, Inc. | File system cache tiers |
| US10614033B1 (en) | 2019-01-30 | 2020-04-07 | Qumulo, Inc. | Client aware pre-fetch policy scoring system |
| US11151092B2 (en) | 2019-01-30 | 2021-10-19 | Qumulo, Inc. | Data replication in distributed file systems |
| CN111506450B (zh) * | 2019-01-31 | 2024-01-02 | 伊姆西Ip控股有限责任公司 | 用于数据处理的方法、设备和计算机程序产品 |
| CN109756581B (zh) * | 2019-03-06 | 2021-11-09 | 珠海金山网络游戏科技有限公司 | 一种文件传输系统及方法、一种计算设备及存储介质 |
| US20200327017A1 (en) | 2019-04-10 | 2020-10-15 | Commvault Systems, Inc. | Restore using deduplicated secondary copy data |
| US11463264B2 (en) | 2019-05-08 | 2022-10-04 | Commvault Systems, Inc. | Use of data block signatures for monitoring in an information management system |
| CN110263061A (zh) * | 2019-06-17 | 2019-09-20 | 郑州阿帕斯科技有限公司 | 一种数据查询方法及系统 |
| US11042318B2 (en) | 2019-07-29 | 2021-06-22 | Commvault Systems, Inc. | Block-level data replication |
| US11907114B2 (en) | 2019-08-18 | 2024-02-20 | Smart IOPS, Inc. | Devices, systems, and methods for dynamically remapping memory addresses |
| US11580030B2 (en) | 2019-08-18 | 2023-02-14 | Smart IOPS, Inc. | Devices, systems, and methods of logical-to-physical address mapping |
| US10725977B1 (en) | 2019-10-21 | 2020-07-28 | Qumulo, Inc. | Managing file system state during replication jobs |
| US11599283B2 (en) | 2019-10-29 | 2023-03-07 | Western Digital Technologies, Inc. | Power reduction in distributed storage systems |
| US10803026B1 (en) | 2019-11-01 | 2020-10-13 | Capital One Services, Llc | Dynamic directory recommendation and management |
| US20210173811A1 (en) | 2019-12-04 | 2021-06-10 | Commvault Systems, Inc. | Optimizing the restoration of deduplicated data stored in multi-node replicated file systems |
| CN112947847B (zh) * | 2019-12-11 | 2023-12-29 | 伊姆西Ip控股有限责任公司 | 用于存储数据的方法、设备和计算机程序产品 |
| CN111046014A (zh) * | 2019-12-24 | 2020-04-21 | 广州众鑫达科技有限公司 | 文件分布式存储系统、方法、装置及电子设备 |
| US20210224233A1 (en) * | 2020-01-21 | 2021-07-22 | Nutanix, Inc. | Method using access information in a distributed file server virtual machine (fsvm) architecture, including web access |
| US10795796B1 (en) | 2020-01-24 | 2020-10-06 | Qumulo, Inc. | Predictive performance analysis for file systems |
| US10860372B1 (en) | 2020-01-24 | 2020-12-08 | Qumulo, Inc. | Managing throughput fairness and quality of service in file systems |
| US11151001B2 (en) | 2020-01-28 | 2021-10-19 | Qumulo, Inc. | Recovery checkpoints for distributed file systems |
| US10860414B1 (en) | 2020-01-31 | 2020-12-08 | Qumulo, Inc. | Change notification in distributed file systems |
| US20230053087A1 (en) * | 2020-02-03 | 2023-02-16 | Samsung Electronics Co., Ltd. | Data management system and method of controlling |
| US10936551B1 (en) | 2020-03-30 | 2021-03-02 | Qumulo, Inc. | Aggregating alternate data stream metrics for file systems |
| CN111444219A (zh) * | 2020-03-30 | 2020-07-24 | 深圳天岳创新科技有限公司 | 一种基于分布式的数据处理方法、装置和电子设备 |
| US10936538B1 (en) | 2020-03-30 | 2021-03-02 | Qumulo, Inc. | Fair sampling of alternate data stream metrics for file systems |
| US11687424B2 (en) | 2020-05-28 | 2023-06-27 | Commvault Systems, Inc. | Automated media agent state management |
| CN111796972B (zh) * | 2020-06-30 | 2022-11-04 | 苏州三六零智能安全科技有限公司 | 文件热修复方法、装置、设备及存储介质 |
| US11526612B2 (en) | 2020-09-22 | 2022-12-13 | International Business Machines Corporation | Computer file metadata segmentation security system |
| US11775481B2 (en) | 2020-09-30 | 2023-10-03 | Qumulo, Inc. | User interfaces for managing distributed file systems |
| US11755503B2 (en) | 2020-10-29 | 2023-09-12 | Storj Labs International Sezc | Persisting directory onto remote storage nodes and smart downloader/uploader based on speed of peers |
| US11157458B1 (en) | 2021-01-28 | 2021-10-26 | Qumulo, Inc. | Replicating files in distributed file systems using object-based data storage |
| US11461241B2 (en) | 2021-03-03 | 2022-10-04 | Qumulo, Inc. | Storage tier management for file systems |
| US11567660B2 (en) | 2021-03-16 | 2023-01-31 | Qumulo, Inc. | Managing cloud storage for distributed file systems |
| US11132126B1 (en) | 2021-03-16 | 2021-09-28 | Qumulo, Inc. | Backup services for distributed file systems in cloud computing environments |
| US11892983B2 (en) | 2021-04-29 | 2024-02-06 | EMC IP Holding Company LLC | Methods and systems for seamless tiering in a distributed storage system |
| US11669255B2 (en) | 2021-06-30 | 2023-06-06 | Qumulo, Inc. | Distributed resource caching by reallocation of storage caching using tokens and agents with non-depleted cache allocations |
| US11593223B1 (en) | 2021-09-02 | 2023-02-28 | Commvault Systems, Inc. | Using resource pool administrative entities in a data storage management system to provide shared infrastructure to tenants |
| US11294604B1 (en) | 2021-10-22 | 2022-04-05 | Qumulo, Inc. | Serverless disk drives based on cloud storage |
| US11922071B2 (en) | 2021-10-27 | 2024-03-05 | EMC IP Holding Company LLC | Methods and systems for storing data in a distributed system using offload components and a GPU module |
| US20230127387A1 (en) * | 2021-10-27 | 2023-04-27 | EMC IP Holding Company LLC | Methods and systems for seamlessly provisioning client application nodes in a distributed system |
| US11677633B2 (en) | 2021-10-27 | 2023-06-13 | EMC IP Holding Company LLC | Methods and systems for distributing topology information to client nodes |
| US11762682B2 (en) | 2021-10-27 | 2023-09-19 | EMC IP Holding Company LLC | Methods and systems for storing data in a distributed system using offload components with advanced data services |
| US11354273B1 (en) | 2021-11-18 | 2022-06-07 | Qumulo, Inc. | Managing usable storage space in distributed file systems |
| US11599508B1 (en) | 2022-01-31 | 2023-03-07 | Qumulo, Inc. | Integrating distributed file systems with object stores |
| US11809285B2 (en) | 2022-02-09 | 2023-11-07 | Commvault Systems, Inc. | Protecting a management database of a data storage management system to meet a recovery point objective (RPO) |
| US11722150B1 (en) | 2022-09-28 | 2023-08-08 | Qumulo, Inc. | Error resistant write-ahead log |
| US11729269B1 (en) | 2022-10-26 | 2023-08-15 | Qumulo, Inc. | Bandwidth management in distributed file systems |
| CN116431596B (zh) * | 2023-06-12 | 2023-09-01 | 青岛诺亚信息技术有限公司 | 一种面向案卷级的、跨平台的分布式文件系统及实现方法 |
| US11921677B1 (en) | 2023-11-07 | 2024-03-05 | Qumulo, Inc. | Sharing namespaces across file system clusters |
| US11934660B1 (en) | 2023-11-07 | 2024-03-19 | Qumulo, Inc. | Tiered data storage with ephemeral and persistent tiers |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08511369A (ja) * | 1993-06-03 | 1996-11-26 | ネットワーク・アプライアンス・コーポレイション | レードディスクサブシステムを備えた、ファイルシステムのファイル割り当て方法 |
Family Cites Families (346)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5163131A (en) * | 1989-09-08 | 1992-11-10 | Auspex Systems, Inc. | Parallel i/o network file server architecture |
| US5181162A (en) | 1989-12-06 | 1993-01-19 | Eastman Kodak Company | Document management and production system |
| JPH04211844A (ja) | 1990-01-19 | 1992-08-03 | Texas Instr Inc <Ti> | ファイルシステムディフラグメント化装置及び方法 |
| US5230047A (en) | 1990-04-16 | 1993-07-20 | International Business Machines Corporation | Method for balancing of distributed tree file structures in parallel computing systems to enable recovery after a failure |
| DE69017198T2 (de) | 1990-05-15 | 1995-08-17 | Ibm | Hybrides Vermittlungssystem für einen Kommunikationsknoten. |
| JPH0731582B2 (ja) | 1990-06-21 | 1995-04-10 | インターナショナル・ビジネス・マシーンズ・コーポレイション | パリティ保護データを回復するための方法および装置 |
| US5212784A (en) | 1990-10-22 | 1993-05-18 | Delphi Data, A Division Of Sparks Industries, Inc. | Automated concurrent data backup system |
| US5329626A (en) | 1990-10-23 | 1994-07-12 | Digital Equipment Corporation | System for distributed computation processing includes dynamic assignment of predicates to define interdependencies |
| DE69131551T2 (de) | 1990-11-09 | 2000-02-17 | Emc Corp | Logische Aufteilung eines Speichersystems mit redundanter Matrix |
| US5734826A (en) * | 1991-03-29 | 1998-03-31 | International Business Machines Corporation | Variable cyclic redundancy coding method and apparatus for use in a multistage network |
| US5258984A (en) | 1991-06-13 | 1993-11-02 | International Business Machines Corporation | Method and means for distributed sparing in DASD arrays |
| JP3160106B2 (ja) | 1991-12-23 | 2001-04-23 | ヒュンダイ エレクトロニクス アメリカ | ディスクアレーの区分け方法 |
| US5359594A (en) | 1992-05-15 | 1994-10-25 | International Business Machines Corporation | Power-saving full duplex nodal communications systems |
| US5469562A (en) * | 1992-06-26 | 1995-11-21 | Digital Equipment Corporation | Durable atomic storage update manager |
| US5403639A (en) * | 1992-09-02 | 1995-04-04 | Storage Technology Corporation | File server having snapshot application data groups |
| GB2270821A (en) * | 1992-09-19 | 1994-03-23 | Ibm | Message transmission in a computer network |
| DE69322057T2 (de) | 1992-10-24 | 1999-06-10 | Int Computers Ltd | Verteiltes Datenverarbeitungssystem |
| US5423046A (en) | 1992-12-17 | 1995-06-06 | International Business Machines Corporation | High capacity data storage system using disk array |
| US5649200A (en) | 1993-01-08 | 1997-07-15 | Atria Software, Inc. | Dynamic rule-based version control system |
| US5548724A (en) * | 1993-03-22 | 1996-08-20 | Hitachi, Ltd. | File server system and file access control method of the same |
| US5596744A (en) * | 1993-05-20 | 1997-01-21 | Hughes Aircraft Company | Apparatus and method for providing users with transparent integrated access to heterogeneous database management systems |
| US6138126A (en) | 1995-05-31 | 2000-10-24 | Network Appliance, Inc. | Method for allocating files in a file system integrated with a raid disk sub-system |
| US5963962A (en) | 1995-05-31 | 1999-10-05 | Network Appliance, Inc. | Write anywhere file-system layout |
| US5548795A (en) | 1994-03-28 | 1996-08-20 | Quantum Corporation | Method for determining command execution dependencies within command queue reordering process |
| US5434994A (en) * | 1994-05-23 | 1995-07-18 | International Business Machines Corporation | System and method for maintaining replicated data coherency in a data processing system |
| EP0684716B1 (en) * | 1994-05-25 | 2002-02-27 | International Business Machines Corporation | A data communication network and method for operating said network |
| US5657439A (en) | 1994-08-23 | 1997-08-12 | International Business Machines Corporation | Distributed subsystem sparing |
| US5694593A (en) | 1994-10-05 | 1997-12-02 | Northeastern University | Distributed computer database system and method |
| EP0709779B1 (en) * | 1994-10-31 | 2001-05-30 | International Business Machines Corporation | Virtual shared disks with application-transparent recovery |
| US6108759A (en) | 1995-02-23 | 2000-08-22 | Powerquest Corporation | Manipulation of partitions holding advanced file systems |
| JP3358687B2 (ja) | 1995-03-13 | 2002-12-24 | 株式会社日立製作所 | ディスクアレイ装置 |
| US5696895A (en) | 1995-05-19 | 1997-12-09 | Compaq Computer Corporation | Fault tolerant multiple network servers |
| US5612865A (en) | 1995-06-01 | 1997-03-18 | Ncr Corporation | Dynamic hashing method for optimal distribution of locks within a clustered system |
| US5787267A (en) | 1995-06-07 | 1998-07-28 | Monolithic System Technology, Inc. | Caching method and circuit for a memory system with circuit module architecture |
| US5680621A (en) | 1995-06-07 | 1997-10-21 | International Business Machines Corporation | System and method for domained incremental changes storage and retrieval |
| JP3512910B2 (ja) | 1995-07-06 | 2004-03-31 | 株式会社東芝 | 分散計算機システムにおける記憶空間管理方法、計算機及びデータ転送方法 |
| US5875456A (en) * | 1995-08-17 | 1999-02-23 | Nstor Corporation | Storage device array and methods for striping and unstriping data and for adding and removing disks online to/from a raid storage array |
| US5870757A (en) | 1995-09-11 | 1999-02-09 | Sun Microsystems, Inc. | Single transaction technique for a journaling file system of a computer operating system |
| US5774643A (en) | 1995-10-13 | 1998-06-30 | Digital Equipment Corporation | Enhanced raid write hole protection and recovery |
| US5778395A (en) | 1995-10-23 | 1998-07-07 | Stac, Inc. | System for backing up files from disk volumes on multiple nodes of a computer network |
| US5862312A (en) | 1995-10-24 | 1999-01-19 | Seachange Technology, Inc. | Loosely coupled mass storage computer cluster |
| US6449730B2 (en) | 1995-10-24 | 2002-09-10 | Seachange Technology, Inc. | Loosely coupled mass storage computer cluster |
| US6567926B2 (en) | 1995-10-24 | 2003-05-20 | Seachange International, Inc. | Loosely coupled mass storage computer cluster |
| US5805578A (en) | 1995-10-27 | 1998-09-08 | International Business Machines Corporation | Automatic reconfiguration of multipoint communication channels |
| US5799305A (en) | 1995-11-02 | 1998-08-25 | Informix Software, Inc. | Method of commitment in a distributed database transaction |
| JPH103421A (ja) * | 1995-11-20 | 1998-01-06 | Matsushita Electric Ind Co Ltd | 仮想ファイル管理システム |
| US5761659A (en) * | 1996-02-29 | 1998-06-02 | Sun Microsystems, Inc. | Method, product, and structure for flexible range locking of read and write requests using shared and exclusive locks, flags, sub-locks, and counters |
| GB9605473D0 (en) | 1996-03-15 | 1996-05-15 | Int Computers Ltd | Parallel searching technique |
| US6117181A (en) | 1996-03-22 | 2000-09-12 | Sun Microsystems, Inc. | Synchronization mechanism for distributed hardware simulation |
| US5884098A (en) * | 1996-04-18 | 1999-03-16 | Emc Corporation | RAID controller system utilizing front end and back end caching systems including communication path connecting two caching systems and synchronizing allocation of blocks in caching systems |
| US5806065A (en) | 1996-05-06 | 1998-09-08 | Microsoft Corporation | Data system with distributed tree indexes and method for maintaining the indexes |
| US5884324A (en) * | 1996-07-23 | 1999-03-16 | International Business Machines Corporation | Agent for replicating data based on a client defined replication period |
| US5917998A (en) | 1996-07-26 | 1999-06-29 | International Business Machines Corporation | Method and apparatus for establishing and maintaining the status of membership sets used in mirrored read and write input/output without logging |
| US6044367A (en) | 1996-08-02 | 2000-03-28 | Hewlett-Packard Company | Distributed I/O store |
| US5878410A (en) | 1996-09-13 | 1999-03-02 | Microsoft Corporation | File system sort order indexes |
| US5805900A (en) * | 1996-09-26 | 1998-09-08 | International Business Machines Corporation | Method and apparatus for serializing resource access requests in a multisystem complex |
| US5884046A (en) | 1996-10-23 | 1999-03-16 | Pluris, Inc. | Apparatus and method for sharing data and routing messages between a plurality of workstations in a local area network |
| US6202085B1 (en) * | 1996-12-06 | 2001-03-13 | Microsoft Corportion | System and method for incremental change synchronization between multiple copies of data |
| US5822790A (en) | 1997-02-07 | 1998-10-13 | Sun Microsystems, Inc. | Voting data prefetch engine |
| US6070172A (en) | 1997-03-06 | 2000-05-30 | Oracle Corporation | On-line free space defragmentation of a contiguous-file file system |
| US5890147A (en) | 1997-03-07 | 1999-03-30 | Microsoft Corporation | Scope testing of documents in a search engine using document to folder mapping |
| US5943690A (en) | 1997-04-07 | 1999-08-24 | Sony Corporation | Data storage apparatus and method allocating sets of data |
| US5878414A (en) | 1997-06-06 | 1999-03-02 | International Business Machines Corp. | Constructing a transaction serialization order based on parallel or distributed database log files |
| US6393483B1 (en) | 1997-06-30 | 2002-05-21 | Adaptec, Inc. | Method and apparatus for network interface card load balancing and port aggregation |
| US5963963A (en) * | 1997-07-11 | 1999-10-05 | International Business Machines Corporation | Parallel file system and buffer management arbitration |
| US6032216A (en) * | 1997-07-11 | 2000-02-29 | International Business Machines Corporation | Parallel file system with method using tokens for locking modes |
| US6209059B1 (en) * | 1997-09-25 | 2001-03-27 | Emc Corporation | Method and apparatus for the on-line reconfiguration of the logical volumes of a data storage system |
| US5983232A (en) | 1997-09-29 | 1999-11-09 | Triada, Ltd. | Virtual structured information system |
| US6014669A (en) * | 1997-10-01 | 2000-01-11 | Sun Microsystems, Inc. | Highly-available distributed cluster configuration database |
| US5933834A (en) | 1997-10-16 | 1999-08-03 | International Business Machines Incorporated | System and method for re-striping a set of objects onto an exploded array of storage units in a computer system |
| US6442533B1 (en) | 1997-10-29 | 2002-08-27 | William H. Hinkle | Multi-processing financial transaction processing system |
| US6219693B1 (en) | 1997-11-04 | 2001-04-17 | Adaptec, Inc. | File array storage architecture having file system distributed across a data processing platform |
| US6055543A (en) | 1997-11-21 | 2000-04-25 | Verano | File wrapper containing cataloging information for content searching across multiple platforms |
| US5966707A (en) | 1997-12-02 | 1999-10-12 | International Business Machines Corporation | Method for managing a plurality of data processes residing in heterogeneous data repositories |
| US6081883A (en) | 1997-12-05 | 2000-06-27 | Auspex Systems, Incorporated | Processing system with dynamically allocatable buffer memory |
| US6029168A (en) | 1998-01-23 | 2000-02-22 | Tricord Systems, Inc. | Decentralized file mapping in a striped network file system in a distributed computing environment |
| US6173374B1 (en) | 1998-02-11 | 2001-01-09 | Lsi Logic Corporation | System and method for peer-to-peer accelerated I/O shipping between host bus adapters in clustered computer network |
| JP3930138B2 (ja) * | 1998-02-27 | 2007-06-13 | 株式会社東芝 | 情報解析方法および情報解析プログラムを記憶した媒体 |
| US6226377B1 (en) | 1998-03-06 | 2001-05-01 | Avaya Technology Corp. | Prioritized transaction server allocation |
| US6055564A (en) | 1998-03-11 | 2000-04-25 | Hewlett Packard Company | Admission control where priority indicator is used to discriminate between messages |
| US6421781B1 (en) * | 1998-04-30 | 2002-07-16 | Openwave Systems Inc. | Method and apparatus for maintaining security in a push server |
| US6122754A (en) | 1998-05-22 | 2000-09-19 | International Business Machines Corporation | Method and system for data recovery using a distributed and scalable data structure |
| JP4234233B2 (ja) | 1998-05-27 | 2009-03-04 | 富士通株式会社 | 情報記憶装置及びプログラムが記憶された記録媒体 |
| US6247108B1 (en) | 1998-06-03 | 2001-06-12 | Lucent Technologies Inc. | Memory management during processing of binary decision diagrams in a computer system |
| JP2000065718A (ja) * | 1998-06-09 | 2000-03-03 | Seiko Instruments Inc | 走査型プロ―ブ顕微鏡（ｓｐｍ）プロ―ブ及びｓｐｍ装置 |
| US6463442B1 (en) | 1998-06-30 | 2002-10-08 | Microsoft Corporation | Container independent data binding system |
| US6631411B1 (en) | 1998-10-12 | 2003-10-07 | Freshwater Software, Inc. | Apparatus and method for monitoring a chain of electronic transactions |
| US6862635B1 (en) | 1998-11-13 | 2005-03-01 | Cray Inc. | Synchronization techniques in a multithreaded environment |
| US6385626B1 (en) | 1998-11-19 | 2002-05-07 | Emc Corporation | Method and apparatus for identifying changes to a logical object based on changes to the logical object at physical level |
| US6279007B1 (en) | 1998-11-30 | 2001-08-21 | Microsoft Corporation | Architecture for managing query friendly hierarchical values |
| US6408313B1 (en) | 1998-12-16 | 2002-06-18 | Microsoft Corporation | Dynamic memory allocation based on free memory size |
| US6434574B1 (en) | 1998-12-17 | 2002-08-13 | Apple Computer, Inc. | System and method for storing and retrieving filenames and files in computer memory using multiple encodings |
| US6457139B1 (en) | 1998-12-30 | 2002-09-24 | Emc Corporation | Method and apparatus for providing a host computer with information relating to the mapping of logical volumes within an intelligent storage system |
| US6922708B1 (en) | 1999-02-18 | 2005-07-26 | Oracle International Corporation | File system that supports transactions |
| US6334168B1 (en) | 1999-02-19 | 2001-12-25 | International Business Machines Corporation | Method and system for updating data in a data storage system |
| US6321345B1 (en) | 1999-03-01 | 2001-11-20 | Seachange Systems, Inc. | Slow response in redundant arrays of inexpensive disks |
| TW418360B (en) | 1999-03-02 | 2001-01-11 | Via Tech Inc | Memory access controller |
| US6502174B1 (en) * | 1999-03-03 | 2002-12-31 | International Business Machines Corporation | Method and system for managing meta data |
| US6725392B1 (en) | 1999-03-03 | 2004-04-20 | Adaptec, Inc. | Controller fault recovery system for a distributed file system |
| US6353823B1 (en) | 1999-03-08 | 2002-03-05 | Intel Corporation | Method and system for using associative metadata |
| US6658554B1 (en) | 1999-03-09 | 2003-12-02 | Wisconsin Alumni Res Found | Electronic processor providing direct data transfer between linked data consuming instructions |
| US6523130B1 (en) | 1999-03-11 | 2003-02-18 | Microsoft Corporation | Storage system having error detection and recovery |
| US6671704B1 (en) | 1999-03-11 | 2003-12-30 | Hewlett-Packard Development Company, L.P. | Method and apparatus for handling failures of resource managers in a clustered environment |
| EP1181652B1 (en) * | 1999-03-25 | 2009-07-01 | Microsoft Corporation | Extended file system |
| US6907011B1 (en) | 1999-03-30 | 2005-06-14 | International Business Machines Corporation | Quiescent reconfiguration of a routing network |
| US6801949B1 (en) | 1999-04-12 | 2004-10-05 | Rainfinity, Inc. | Distributed server cluster with graphical user interface |
| US6496842B1 (en) | 1999-05-28 | 2002-12-17 | Survol Interactive Technologies | Navigating heirarchically organized information |
| US6405219B2 (en) | 1999-06-22 | 2002-06-11 | F5 Networks, Inc. | Method and system for automatically updating the version of a set of files stored on content servers |
| US6453389B1 (en) | 1999-06-25 | 2002-09-17 | Hewlett-Packard Company | Optimizing computer performance by using data compression principles to minimize a loss function |
| US6415259B1 (en) | 1999-07-15 | 2002-07-02 | American Management Systems, Inc. | Automatic work progress tracking and optimizing engine for a telecommunications customer care and billing system |
| US7206805B1 (en) | 1999-09-09 | 2007-04-17 | Oracle International Corporation | Asynchronous transcription object management system |
| US7290056B1 (en) | 1999-09-09 | 2007-10-30 | Oracle International Corporation | Monitoring latency of a network to manage termination of distributed transactions |
| US6895482B1 (en) | 1999-09-10 | 2005-05-17 | International Business Machines Corporation | Reordering and flushing commands in a computer memory subsystem |
| US20020029200A1 (en) * | 1999-09-10 | 2002-03-07 | Charles Dulin | System and method for providing certificate validation and other services |
| US6662184B1 (en) | 1999-09-23 | 2003-12-09 | International Business Machines Corporation | Lock-free wild card search data structure and method |
| US7069320B1 (en) | 1999-10-04 | 2006-06-27 | International Business Machines Corporation | Reconfiguring a network by utilizing a predetermined length quiescent state |
| US6549513B1 (en) | 1999-10-12 | 2003-04-15 | Alcatel | Method and apparatus for fast distributed restoration of a communication network |
| US6571244B1 (en) | 1999-10-28 | 2003-05-27 | Microsoft Corporation | Run formation in large scale sorting using batched replacement selection |
| AU1450901A (en) * | 1999-11-01 | 2001-05-14 | Mangosoft Corporation | Internet-based shared file service with native pc client access and semantics |
| US6584581B1 (en) | 1999-12-06 | 2003-06-24 | Ab Initio Software Corporation | Continuous flow checkpointing data processing |
| US6567894B1 (en) | 1999-12-08 | 2003-05-20 | International Business Machines Corporation | Method and apparatus to prefetch sequential pages in a multi-stream environment |
| US6546443B1 (en) * | 1999-12-15 | 2003-04-08 | Microsoft Corporation | Concurrency-safe reader-writer lock with time out support |
| US6848029B2 (en) | 2000-01-03 | 2005-01-25 | Dirk Coldewey | Method and apparatus for prefetching recursive data structures |
| US6748429B1 (en) | 2000-01-10 | 2004-06-08 | Sun Microsystems, Inc. | Method to dynamically change cluster or distributed system configuration |
| GB2358557B (en) | 2000-01-18 | 2002-05-08 | Motorola Ltd | Digital communications system |
| US7213063B2 (en) | 2000-01-18 | 2007-05-01 | Lucent Technologies Inc. | Method, apparatus and system for maintaining connections between computers using connection-oriented protocols |
| US6594660B1 (en) * | 2000-01-24 | 2003-07-15 | Microsoft Corporation | Share latch clearing |
| US6526478B1 (en) | 2000-02-02 | 2003-02-25 | Lsi Logic Corporation | Raid LUN creation using proportional disk mapping |
| US20020163889A1 (en) | 2000-02-02 | 2002-11-07 | Yechiam Yemini | Method and apparatus for providing services on a dynamically addressed network |
| EP1133101A1 (en) * | 2000-03-07 | 2001-09-12 | BRITISH TELECOMMUNICATIONS public limited company | Data distribution |
| US6917942B1 (en) | 2000-03-15 | 2005-07-12 | International Business Machines Corporation | System for dynamically evaluating locks in a distributed data storage system |
| US20020049778A1 (en) * | 2000-03-31 | 2002-04-25 | Bell Peter W. | System and method of information outsourcing |
| EP1285371A4 (en) | 2000-04-03 | 2003-04-16 | Pugliese Company | SYSTEM AND METHOD FOR DISPLAYING AND SELLING GOODS AND SERVICES |
| US6598174B1 (en) * | 2000-04-26 | 2003-07-22 | Dell Products L.P. | Method and apparatus for storage unit replacement in non-redundant array |
| US6735678B2 (en) | 2000-05-24 | 2004-05-11 | Seagate Technology Llc | Method and apparatus for disc drive defragmentation |
| US6922696B1 (en) | 2000-05-31 | 2005-07-26 | Sri International | Lattice-based security classification system and method |
| JP3230677B1 (ja) | 2000-06-01 | 2001-11-19 | 日本インターシステムズ株式会社 | 自動集計方法、自動集計装置および記録媒体 |
| US6742020B1 (en) | 2000-06-08 | 2004-05-25 | Hewlett-Packard Development Company, L.P. | System and method for managing data flow and measuring service in a storage network |
| US6898607B2 (en) | 2000-07-11 | 2005-05-24 | Sony Corporation | Proposed syntax for a synchronized commands execution |
| US6618798B1 (en) | 2000-07-11 | 2003-09-09 | International Business Machines Corporation | Method, system, program, and data structures for mapping logical units to a storage space comprises of at least one array of storage units |
| TW594563B (en) | 2000-07-19 | 2004-06-21 | Micro Star Int Co Ltd | Programming method and equipment of programmable apparatus for circuit board without power supplying |
| US7007097B1 (en) | 2000-07-20 | 2006-02-28 | Silicon Graphics, Inc. | Method and system for covering multiple resourcces with a single credit in a computer system |
| US7216132B1 (en) | 2000-08-16 | 2007-05-08 | Sparta Systems, Inc. | System and method for automated process control |
| US6977908B2 (en) | 2000-08-25 | 2005-12-20 | Hewlett-Packard Development Company, L.P. | Method and apparatus for discovering computer systems in a distributed multi-system cluster |
| US6732125B1 (en) | 2000-09-08 | 2004-05-04 | Storage Technology Corporation | Self archiving log structured volume with intrinsic data protection |
| US6671772B1 (en) * | 2000-09-20 | 2003-12-30 | Robert E. Cousins | Hierarchical file system structure for enhancing disk transfer efficiency |
| JP2002108573A (ja) | 2000-09-28 | 2002-04-12 | Nec Corp | ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体 |
| US6970939B2 (en) | 2000-10-26 | 2005-11-29 | Intel Corporation | Method and apparatus for large payload distribution in a network |
| US6687805B1 (en) * | 2000-10-30 | 2004-02-03 | Hewlett-Packard Development Company, L.P. | Method and system for logical-object-to-physical-location translation and physical separation of logical objects |
| US7313614B2 (en) | 2000-11-02 | 2007-12-25 | Sun Microsystems, Inc. | Switching system |
| US6671686B2 (en) | 2000-11-02 | 2003-12-30 | Guy Pardon | Decentralized, distributed internet data management |
| US7200606B2 (en) | 2000-11-07 | 2007-04-03 | The Regents Of The University Of California | Method and system for selecting documents by measuring document quality |
| US6499091B1 (en) | 2000-11-13 | 2002-12-24 | Lsi Logic Corporation | System and method for synchronizing data mirrored by storage subsystems |
| US6594744B1 (en) | 2000-12-11 | 2003-07-15 | Lsi Logic Corporation | Managing a snapshot volume or one or more checkpoint volumes with multiple point-in-time images in a single repository |
| US6856591B1 (en) * | 2000-12-15 | 2005-02-15 | Cisco Technology, Inc. | Method and system for high reliability cluster management |
| JP2002202936A (ja) | 2000-12-18 | 2002-07-19 | Kizna Corp | 情報収集サーバ及び情報収集方法並びに記録媒体 |
| US20020078161A1 (en) | 2000-12-19 | 2002-06-20 | Philips Electronics North America Corporation | UPnP enabling device for heterogeneous networks of slave devices |
| US6785678B2 (en) * | 2000-12-21 | 2004-08-31 | Emc Corporation | Method of improving the availability of a computer clustering system through the use of a network medium link state function |
| US6990611B2 (en) | 2000-12-29 | 2006-01-24 | Dot Hill Systems Corp. | Recovering data from arrays of storage devices after certain failures |
| US20020087366A1 (en) | 2000-12-30 | 2002-07-04 | Collier Timothy R. | Tentative-hold-based protocol for distributed transaction processing |
| MY147018A (en) | 2001-01-04 | 2012-10-15 | Thomson Licensing Sa | A method and apparatus for acquiring media services available from content aggregators |
| US6594655B2 (en) | 2001-01-04 | 2003-07-15 | Ezchip Technologies Ltd. | Wildcards in radix- search tree structures |
| US6907520B2 (en) | 2001-01-11 | 2005-06-14 | Sun Microsystems, Inc. | Threshold-based load address prediction and new thread identification in a multithreaded microprocessor |
| US20020124137A1 (en) | 2001-01-29 | 2002-09-05 | Ulrich Thomas R. | Enhancing disk array performance via variable parity based load balancing |
| US20020138559A1 (en) | 2001-01-29 | 2002-09-26 | Ulrich Thomas R. | Dynamically distributed file system |
| US20020169827A1 (en) | 2001-01-29 | 2002-11-14 | Ulrich Thomas R. | Hot adding file system processors |
| US20020191311A1 (en) | 2001-01-29 | 2002-12-19 | Ulrich Thomas R. | Dynamically scalable disk array |
| US6990547B2 (en) | 2001-01-29 | 2006-01-24 | Adaptec, Inc. | Replacing file system processors by hot swapping |
| US20020161846A1 (en) | 2001-01-29 | 2002-10-31 | Ulrich Thomas R. | Data path controller architecture |
| US6990667B2 (en) | 2001-01-29 | 2006-01-24 | Adaptec, Inc. | Server-independent object positioning for load balancing drives and servers |
| US7054927B2 (en) | 2001-01-29 | 2006-05-30 | Adaptec, Inc. | File system metadata describing server directory information |
| US6862692B2 (en) | 2001-01-29 | 2005-03-01 | Adaptec, Inc. | Dynamic redistribution of parity groups |
| FR2820843B1 (fr) | 2001-02-09 | 2003-05-30 | Thomson Csf | Systeme de protection contre la copie d'informations pour la creation d'un disque optique protege et procede de protection correspondant |
| AU2002250146A1 (en) | 2001-02-28 | 2002-09-19 | Wily Technology, Inc. | Detecting a stalled routine |
| US6895534B2 (en) | 2001-04-23 | 2005-05-17 | Hewlett-Packard Development Company, L.P. | Systems and methods for providing automated diagnostic services for a cluster computer system |
| US20020158900A1 (en) | 2001-04-30 | 2002-10-31 | Hsieh Vivian G. | Graphical user interfaces for network management automated provisioning environment |
| US20030005159A1 (en) | 2001-06-07 | 2003-01-02 | International Business Machines Corporation | Method and system for generating and serving multilingual web pages |
| US20040189682A1 (en) | 2001-12-26 | 2004-09-30 | Lidror Troyansky | Method and a system for embedding textual forensic information |
| US7295755B2 (en) | 2001-06-22 | 2007-11-13 | Thomson Licensing | Method and apparatus for simplifying the access of metadata |
| US7181746B2 (en) * | 2001-06-29 | 2007-02-20 | Intel Corporation | Initialization, reconfiguration, and shut down of a module function |
| US6877107B2 (en) * | 2001-07-05 | 2005-04-05 | Softwired Ag | Method for ensuring operation during node failures and network partitions in a clustered message passing server |
| US7546354B1 (en) | 2001-07-06 | 2009-06-09 | Emc Corporation | Dynamic network based storage with high availability |
| US7146524B2 (en) * | 2001-08-03 | 2006-12-05 | Isilon Systems, Inc. | Systems and methods for providing a distributed file system incorporating a virtual hot spare |
| US7685126B2 (en) | 2001-08-03 | 2010-03-23 | Isilon Systems, Inc. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| US6929013B2 (en) | 2001-08-14 | 2005-08-16 | R. J. Reynolds Tobacco Company | Wrapping materials for smoking articles |
| US20030061491A1 (en) * | 2001-09-21 | 2003-03-27 | Sun Microsystems, Inc. | System and method for the allocation of network storage |
| US6920494B2 (en) | 2001-10-05 | 2005-07-19 | International Business Machines Corporation | Storage area network methods and apparatus with virtual SAN recognition |
| US6954877B2 (en) | 2001-11-29 | 2005-10-11 | Agami Systems, Inc. | Fault tolerance using logical checkpointing in computing systems |
| US7184421B1 (en) | 2001-12-21 | 2007-02-27 | Itt Manufacturing Enterprises, Inc. | Method and apparatus for on demand multicast and unicast using controlled flood multicast communications |
| US7055058B2 (en) | 2001-12-26 | 2006-05-30 | Boon Storage Technologies, Inc. | Self-healing log-structured RAID |
| US7433948B2 (en) | 2002-01-23 | 2008-10-07 | Cisco Technology, Inc. | Methods and apparatus for implementing virtualization of storage within a storage area network |
| US6859696B2 (en) | 2001-12-27 | 2005-02-22 | Caterpillar Inc | System and method for monitoring machine status |
| US6990604B2 (en) | 2001-12-28 | 2006-01-24 | Storage Technology Corporation | Virtual storage status coalescing with a plurality of physical storage devices |
| US7073115B2 (en) | 2001-12-28 | 2006-07-04 | Network Appliance, Inc. | Correcting multiple block data loss in a storage array using a combination of a single diagonal parity group and multiple row parity groups |
| US6898587B2 (en) | 2002-01-18 | 2005-05-24 | Bea Systems, Inc. | System and method for performing commutative operations in data access systems |
| US7742504B2 (en) | 2002-01-24 | 2010-06-22 | University Of Southern California | Continuous media system |
| US20030149750A1 (en) | 2002-02-07 | 2003-08-07 | Franzenburg Alan M. | Distributed storage array |
| US7113938B2 (en) | 2002-02-14 | 2006-09-26 | Gravic, Inc. | Method of increasing system availability by splitting a system |
| US7216135B2 (en) | 2002-02-15 | 2007-05-08 | International Business Machines Corporation | File system for providing access to a snapshot dataset where disk address in the inode is equal to a ditto address for indicating that the disk address is invalid disk address |
| US6829617B2 (en) | 2002-02-15 | 2004-12-07 | International Business Machines Corporation | Providing a snapshot of a subset of a file system |
| US6940966B2 (en) | 2002-02-21 | 2005-09-06 | Vtech Telecommunications, Ltd. | Method and apparatus for detection of a telephone CPE alerting signal |
| US20030163726A1 (en) | 2002-02-27 | 2003-08-28 | Kidd Taylor W. | Method and apparatus for providing a hierarchical security profile object |
| US7177295B1 (en) | 2002-03-08 | 2007-02-13 | Scientific Research Corporation | Wireless routing protocol for ad-hoc networks |
| US7240235B2 (en) | 2002-03-13 | 2007-07-03 | Intel Corporation | Journaling technique for write transactions to mass storage |
| US7143307B1 (en) * | 2002-03-15 | 2006-11-28 | Network Appliance, Inc. | Remote disaster recovery and data migration using virtual appliance migration |
| US7043485B2 (en) | 2002-03-19 | 2006-05-09 | Network Appliance, Inc. | System and method for storage of snapshot metadata in a remote file |
| US7010553B2 (en) | 2002-03-19 | 2006-03-07 | Network Appliance, Inc. | System and method for redirecting access to a remote mirrored snapshot |
| US7225204B2 (en) | 2002-03-19 | 2007-05-29 | Network Appliance, Inc. | System and method for asynchronous mirroring of snapshots at a destination using a purgatory directory and inode mapping |
| CN1286012C (zh) | 2002-03-20 | 2006-11-22 | 联想(北京)有限公司 | 计算机硬盘内信息恢复和备份的实现方法 |
| US6934878B2 (en) * | 2002-03-22 | 2005-08-23 | Intel Corporation | Failure detection and failure handling in cluster controller networks |
| US7631066B1 (en) | 2002-03-25 | 2009-12-08 | Symantec Operating Corporation | System and method for preventing data corruption in computer system clusters |
| GB2387087A (en) | 2002-03-25 | 2003-10-01 | Sony Uk Ltd | System |
| JP3848198B2 (ja) | 2002-03-29 | 2006-11-22 | 株式会社東芝 | ネームサーバ、ネットワーク・システム、逆引き要求処理方法、正引き要求処理方法及び通信制御方法 |
| US7058639B1 (en) | 2002-04-08 | 2006-06-06 | Oracle International Corporation | Use of dynamic multi-level hash table for managing hierarchically structured information |
| US6904430B1 (en) | 2002-04-26 | 2005-06-07 | Microsoft Corporation | Method and system for efficiently identifying differences between large files |
| US6954435B2 (en) | 2002-04-29 | 2005-10-11 | Harris Corporation | Determining quality of service (QoS) routing for mobile ad hoc networks |
| US7249118B2 (en) | 2002-05-17 | 2007-07-24 | Aleri, Inc. | Database system and methods |
| US8549114B2 (en) | 2002-06-12 | 2013-10-01 | Bladelogic, Inc. | Method and system for model-based heterogeneous server configuration management |
| US7043567B2 (en) | 2002-07-22 | 2006-05-09 | Seagate Technology Llc | Method and apparatus for determining the order of execution of queued commands in a data storage system |
| US7047243B2 (en) | 2002-08-05 | 2006-05-16 | Microsoft Corporation | Coordinating transactional web services |
| US7051155B2 (en) | 2002-08-05 | 2006-05-23 | Sun Microsystems, Inc. | Method and system for striping data to accommodate integrity metadata |
| US7370064B2 (en) | 2002-08-06 | 2008-05-06 | Yousefi Zadeh Homayoun | Database remote replication for back-end tier of multi-tier computer systems |
| US7877425B2 (en) | 2002-09-05 | 2011-01-25 | Hiroyuki Yasoshima | Method for managing file using network structure, operation object display limiting program, and recording medium |
| WO2004027649A1 (en) | 2002-09-18 | 2004-04-01 | Netezza Corporation | Asymmetric streaming record data processor method and apparatus |
| US7103597B2 (en) | 2002-10-03 | 2006-09-05 | Mcgoveran David O | Adaptive transaction manager for complex transactions and business process |
| US7111305B2 (en) | 2002-10-31 | 2006-09-19 | Sun Microsystems, Inc. | Facilitating event notification through use of an inverse mapping structure for subset determination |
| CN1692356B (zh) | 2002-11-14 | 2014-06-04 | 易斯龙系统公司 | 用于对现存文件重新条带化的方法 |
| US7412433B2 (en) | 2002-11-19 | 2008-08-12 | International Business Machines Corporation | Hierarchical storage management using dynamic tables of contents and sets of tables of contents |
| AU2003282361A1 (en) | 2002-11-20 | 2004-06-15 | Filesx Ltd. | Fast backup storage and fast recovery of data (fbsrd) |
| EP1555615A1 (en) | 2002-11-25 | 2005-07-20 | Matsushita Electric Industrial Co., Ltd. | File management device, file management method, file management program, and recording medium |
| US7552445B2 (en) | 2002-12-13 | 2009-06-23 | Savvis Communications Corporation | Systems and methods for monitoring events from multiple brokers |
| US7752226B1 (en) | 2002-12-20 | 2010-07-06 | Symantec Operating Corporation | Reverse pathname lookup by inode identifier |
| US7007044B1 (en) | 2002-12-26 | 2006-02-28 | Storage Technology Corporation | Storage backup system for backing up data written to a primary storage device to multiple virtual mirrors using a reconciliation process that reflects the changing state of the primary storage device over time |
| US8250202B2 (en) | 2003-01-04 | 2012-08-21 | International Business Machines Corporation | Distributed notification and action mechanism for mirroring-related events |
| US7512701B2 (en) | 2003-01-16 | 2009-03-31 | Hewlett-Packard Development Company, L.P. | System and method for efficiently replicating a file among a plurality of recipients in a reliable manner |
| WO2004066650A1 (en) | 2003-01-20 | 2004-08-05 | Sk Telecom Co., Ltd | Method for controlling a media message upload through a wireless communication network |
| JP4077329B2 (ja) | 2003-01-31 | 2008-04-16 | 株式会社東芝 | トランザクション処理システム、並行制御方法及びプログラム |
| US20040158549A1 (en) | 2003-02-07 | 2004-08-12 | Vladimir Matena | Method and apparatus for online transaction processing |
| US7509378B2 (en) | 2003-03-11 | 2009-03-24 | Bea Systems, Inc. | System and method for message ordering in a message oriented network |
| US7337290B2 (en) * | 2003-04-03 | 2008-02-26 | Oracle International Corporation | Deadlock resolution through lock requeing |
| US7496574B2 (en) | 2003-05-01 | 2009-02-24 | International Business Machines Corporation | Managing locks and transactions |
| US7228299B1 (en) | 2003-05-02 | 2007-06-05 | Veritas Operating Corporation | System and method for performing file lookups based on tags |
| JP3973597B2 (ja) | 2003-05-14 | 2007-09-12 | 株式会社ソニー・コンピュータエンタテインメント | プリフェッチ命令制御方法、プリフェッチ命令制御装置、キャッシュメモリ制御装置、オブジェクトコードの生成方法および装置 |
| US7673307B2 (en) | 2003-05-29 | 2010-03-02 | International Business Machines Corporation | Managing transactions in a messaging system |
| US7152182B2 (en) | 2003-06-06 | 2006-12-19 | Hewlett-Packard Development Company, L.P. | Data redundancy system and method |
| US20050010592A1 (en) * | 2003-07-08 | 2005-01-13 | John Guthrie | Method and system for taking a data snapshot |
| US7831693B2 (en) * | 2003-08-18 | 2010-11-09 | Oracle America, Inc. | Structured methodology and design patterns for web services |
| US7257257B2 (en) | 2003-08-19 | 2007-08-14 | Intel Corporation | Method and apparatus for differential, bandwidth-efficient and storage-efficient backups |
| JP4460251B2 (ja) | 2003-09-19 | 2010-05-12 | 株式会社エヌ・ティ・ティ・ドコモ | 構造化文書署名装置、構造化文書適応化装置及び構造化文書検証装置。 |
| US7409587B2 (en) * | 2004-08-24 | 2008-08-05 | Symantec Operating Corporation | Recovering from storage transaction failures using checkpoints |
| US7865485B2 (en) | 2003-09-23 | 2011-01-04 | Emc Corporation | Multi-threaded write interface and methods for increasing the single file read and write throughput of a file server |
| US7269588B1 (en) | 2003-09-24 | 2007-09-11 | Oracle International Corporation | Neighborhood locking technique for increasing concurrency among transactions |
| US7194487B1 (en) * | 2003-10-16 | 2007-03-20 | Veritas Operating Corporation | System and method for recording the order of a change caused by restoring a primary volume during ongoing replication of the primary volume |
| US7225210B2 (en) | 2003-11-20 | 2007-05-29 | Overland Storage, Inc. | Block level data snapshot system and method |
| US7380073B2 (en) * | 2003-11-26 | 2008-05-27 | Sas Institute Inc. | Computer-implemented system and method for lock handling |
| CA2452251C (en) | 2003-12-04 | 2010-02-09 | Timothy R. Jewell | Data backup system and method |
| US20050125456A1 (en) | 2003-12-09 | 2005-06-09 | Junichi Hara | File migration method based on access history |
| US8244903B2 (en) | 2003-12-22 | 2012-08-14 | Emc Corporation | Data streaming and backup systems having multiple concurrent read threads for improved small file performance |
| US7181556B2 (en) | 2003-12-23 | 2007-02-20 | Arm Limited | Transaction request servicing mechanism |
| US7287076B2 (en) | 2003-12-29 | 2007-10-23 | Microsoft Corporation | Performing threshold based connection status responses |
| JP2005196467A (ja) | 2004-01-07 | 2005-07-21 | Hitachi Ltd | ストレージシステム、ストレージシステムの制御方法、及びストレージ制御装置 |
| US7265692B2 (en) | 2004-01-29 | 2007-09-04 | Hewlett-Packard Development Company, L.P. | Data compression system based on tree models |
| US7383276B2 (en) | 2004-01-30 | 2008-06-03 | Microsoft Corporation | Concurrency control for B-trees with node deletion |
| US7296139B1 (en) | 2004-01-30 | 2007-11-13 | Nvidia Corporation | In-memory table structure for virtual address translation system with translation units of variable range size |
| US7440966B2 (en) | 2004-02-12 | 2008-10-21 | International Business Machines Corporation | Method and apparatus for file system snapshot persistence |
| JP4489455B2 (ja) | 2004-02-16 | 2010-06-23 | 株式会社日立製作所 | ディスク制御装置及びディスク制御装置の制御方法 |
| US20050193389A1 (en) | 2004-02-26 | 2005-09-01 | Murphy Robert J. | System and method for a user-configurable, removable media-based, multi-package installer |
| US7318134B1 (en) | 2004-03-16 | 2008-01-08 | Emc Corporation | Continuous data backup using distributed journaling |
| US7428539B2 (en) * | 2004-06-21 | 2008-09-23 | Microsoft Corporation | Method, system, and apparatus for managing access to a data object |
| US7707195B2 (en) | 2004-06-29 | 2010-04-27 | Microsoft Corporation | Allocation locks and their use |
| US7472129B2 (en) | 2004-06-29 | 2008-12-30 | Microsoft Corporation | Lossless recovery for computer systems with map assisted state transfer |
| US7404192B2 (en) | 2004-08-03 | 2008-07-22 | International Business Machines Corporation | Apparatus, system, and method for isolating a storage application from a network interface driver |
| US20060047713A1 (en) * | 2004-08-03 | 2006-03-02 | Wisdomforce Technologies, Inc. | System and method for database replication by interception of in memory transactional change records |
| US7404179B2 (en) | 2004-09-16 | 2008-07-22 | International Business Machines Corporation | Fast source file to line number table association |
| US7716262B2 (en) | 2004-09-30 | 2010-05-11 | Emc Corporation | Index processing |
| JP2006107151A (ja) | 2004-10-06 | 2006-04-20 | Hitachi Ltd | ストレージシステム及びストレージシステムの通信パス制御方法 |
| US8059562B2 (en) | 2004-10-18 | 2011-11-15 | Nokia Corporation | Listener mechanism in a distributed network system |
| US8051425B2 (en) * | 2004-10-29 | 2011-11-01 | Emc Corporation | Distributed system with asynchronous execution systems and methods |
| US8055711B2 (en) | 2004-10-29 | 2011-11-08 | Emc Corporation | Non-blocking commit protocol systems and methods |
| US8238350B2 (en) | 2004-10-29 | 2012-08-07 | Emc Corporation | Message batching with checkpoints systems and methods |
| US7770150B2 (en) | 2004-12-15 | 2010-08-03 | International Business Machines Corporation | Apparatus, system, and method for sharing and accessing data by scopes |
| US7921076B2 (en) | 2004-12-15 | 2011-04-05 | Oracle International Corporation | Performing an action in response to a file system event |
| US7877466B2 (en) * | 2005-01-11 | 2011-01-25 | Cisco Technology, Inc. | Network topology based storage allocation for virtualization |
| US7603502B2 (en) * | 2005-04-12 | 2009-10-13 | Microsoft Corporation | Resource accessing with locking |
| US7562188B2 (en) | 2005-06-17 | 2009-07-14 | Intel Corporation | RAID power safe apparatus, systems, and methods |
| US7540027B2 (en) | 2005-06-23 | 2009-05-26 | International Business Machines Corporation | Method/system to speed up antivirus scans using a journal file system |
| US7577258B2 (en) | 2005-06-30 | 2009-08-18 | Intel Corporation | Apparatus and method for group session key and establishment using a certified migration key |
| US7716171B2 (en) | 2005-08-18 | 2010-05-11 | Emc Corporation | Snapshot indexing |
| US7533298B2 (en) | 2005-09-07 | 2009-05-12 | Lsi Corporation | Write journaling using battery backed cache |
| US7707193B2 (en) | 2005-09-22 | 2010-04-27 | Netapp, Inc. | System and method for verifying and restoring the consistency of inode to pathname mappings in a filesystem |
| US7788303B2 (en) * | 2005-10-21 | 2010-08-31 | Isilon Systems, Inc. | Systems and methods for distributed system scanning |
| US7346720B2 (en) * | 2005-10-21 | 2008-03-18 | Isilon Systems, Inc. | Systems and methods for managing concurrent access requests to a shared resource |
| US7797283B2 (en) * | 2005-10-21 | 2010-09-14 | Isilon Systems, Inc. | Systems and methods for maintaining distributed data |
| US7551572B2 (en) * | 2005-10-21 | 2009-06-23 | Isilon Systems, Inc. | Systems and methods for providing variable protection |
| US7386675B2 (en) * | 2005-10-21 | 2008-06-10 | Isilon Systems, Inc. | Systems and methods for using excitement values to predict future access to resources |
| US7917474B2 (en) * | 2005-10-21 | 2011-03-29 | Isilon Systems, Inc. | Systems and methods for accessing and updating distributed data |
| US7356643B2 (en) | 2005-10-26 | 2008-04-08 | International Business Machines Corporation | System, method and program for managing storage |
| US7665123B1 (en) * | 2005-12-01 | 2010-02-16 | Symantec Corporation | Method and apparatus for detecting hidden rootkits |
| US7546412B2 (en) | 2005-12-02 | 2009-06-09 | International Business Machines Corporation | Apparatus, system, and method for global metadata copy repair |
| US7606844B2 (en) * | 2005-12-19 | 2009-10-20 | Commvault Systems, Inc. | System and method for performing replication copy storage operations |
| US7734603B1 (en) | 2006-01-26 | 2010-06-08 | Netapp, Inc. | Content addressable storage array element |
| JP4800046B2 (ja) | 2006-01-31 | 2011-10-26 | 株式会社日立製作所 | ストレージシステム |
| US7848261B2 (en) | 2006-02-17 | 2010-12-07 | Isilon Systems, Inc. | Systems and methods for providing a quiescing protocol |
| US7684126B2 (en) * | 2006-02-24 | 2010-03-23 | 3M Innovative Properties Company | Fresnel field lens |
| US7756898B2 (en) | 2006-03-31 | 2010-07-13 | Isilon Systems, Inc. | Systems and methods for notifying listeners of events |
| US20070244877A1 (en) | 2006-04-12 | 2007-10-18 | Battelle Memorial Institute | Tracking methods for computer-readable files |
| US8548947B2 (en) | 2006-04-28 | 2013-10-01 | Hewlett-Packard Development Company, L.P. | Systems and methods for file maintenance |
| US7689597B1 (en) * | 2006-05-02 | 2010-03-30 | Emc Corporation | Mirrored storage architecture using continuous data protection techniques |
| US7565575B2 (en) | 2006-05-30 | 2009-07-21 | Oracle International Corporation | Selecting optimal repair strategy for mirrored files |
| US8271452B2 (en) | 2006-06-12 | 2012-09-18 | Rainstor Limited | Method, system, and database archive for enhancing database archiving |
| GB2439578B (en) | 2006-06-30 | 2011-11-09 | Data Equation Ltd | Data processing |
| US8539056B2 (en) | 2006-08-02 | 2013-09-17 | Emc Corporation | Systems and methods for configuring multiple network interfaces |
| US8015162B2 (en) | 2006-08-04 | 2011-09-06 | Google Inc. | Detecting duplicate and near-duplicate files |
| US20080034004A1 (en) | 2006-08-04 | 2008-02-07 | Pavel Cisler | System for electronic backup |
| US7899800B2 (en) | 2006-08-18 | 2011-03-01 | Isilon Systems, Inc. | Systems and methods for providing nonlinear journaling |
| US7953704B2 (en) | 2006-08-18 | 2011-05-31 | Emc Corporation | Systems and methods for a snapshot of data |
| US7590652B2 (en) | 2006-08-18 | 2009-09-15 | Isilon Systems, Inc. | Systems and methods of reverse lookup |
| US7752402B2 (en) | 2006-08-18 | 2010-07-06 | Isilon Systems, Inc. | Systems and methods for allowing incremental journaling |
| US7680842B2 (en) | 2006-08-18 | 2010-03-16 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7680836B2 (en) | 2006-08-18 | 2010-03-16 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7882071B2 (en) | 2006-08-18 | 2011-02-01 | Isilon Systems, Inc. | Systems and methods for a snapshot of data |
| US7676691B2 (en) | 2006-08-18 | 2010-03-09 | Isilon Systems, Inc. | Systems and methods for providing nonlinear journaling |
| US7822932B2 (en) | 2006-08-18 | 2010-10-26 | Isilon Systems, Inc. | Systems and methods for providing nonlinear journaling |
| JP4890160B2 (ja) * | 2006-09-06 | 2012-03-07 | 株式会社日立製作所 | ストレージシステム及びバックアップ／リカバリ方法 |
| US7797323B1 (en) | 2006-10-11 | 2010-09-14 | Hewlett-Packard Development Company, L.P. | Producing representative hashes for segments of a file |
| CA2668968C (en) * | 2006-11-22 | 2014-01-21 | Basf Se | Liquid water based agrochemical formulations |
| US8402201B2 (en) | 2006-12-06 | 2013-03-19 | Fusion-Io, Inc. | Apparatus, system, and method for storage space recovery in solid-state storage |
| US20080155191A1 (en) | 2006-12-21 | 2008-06-26 | Anderson Robert J | Systems and methods for providing heterogeneous storage systems |
| US8286029B2 (en) | 2006-12-21 | 2012-10-09 | Emc Corporation | Systems and methods for managing unavailable storage devices |
| US7593938B2 (en) | 2006-12-22 | 2009-09-22 | Isilon Systems, Inc. | Systems and methods of directory entry encodings |
| US7509448B2 (en) | 2007-01-05 | 2009-03-24 | Isilon Systems, Inc. | Systems and methods for managing semantic locks |
| US20080168209A1 (en) | 2007-01-09 | 2008-07-10 | Ibm Corporation | Data protection via software configuration of multiple disk drives |
| US7900015B2 (en) * | 2007-04-13 | 2011-03-01 | Isilon Systems, Inc. | Systems and methods of quota accounting |
| US8966080B2 (en) | 2007-04-13 | 2015-02-24 | Emc Corporation | Systems and methods of managing resource utilization on a threaded computer system |
| US7779048B2 (en) | 2007-04-13 | 2010-08-17 | Isilon Systems, Inc. | Systems and methods of providing possible value ranges |
| US7882068B2 (en) | 2007-08-21 | 2011-02-01 | Isilon Systems, Inc. | Systems and methods for adaptive copy on write |
| US7966289B2 (en) | 2007-08-21 | 2011-06-21 | Emc Corporation | Systems and methods for reading objects in a file system |
| US7949692B2 (en) | 2007-08-21 | 2011-05-24 | Emc Corporation | Systems and methods for portals into snapshot data |
| US7783666B1 (en) | 2007-09-26 | 2010-08-24 | Netapp, Inc. | Controlling access to storage resources by using access pattern based quotas |
| US7783601B2 (en) | 2007-11-08 | 2010-08-24 | Oracle International Corporation | Replicating and sharing data between heterogeneous data systems |
| US7840536B1 (en) | 2007-12-26 | 2010-11-23 | Emc (Benelux) B.V., S.A.R.L. | Methods and apparatus for dynamic journal expansion |
| US7870345B2 (en) | 2008-03-27 | 2011-01-11 | Isilon Systems, Inc. | Systems and methods for managing stalled storage devices |
| US7953709B2 (en) | 2008-03-27 | 2011-05-31 | Emc Corporation | Systems and methods for a read only mode for a portion of a storage system |
| US7984324B2 (en) | 2008-03-27 | 2011-07-19 | Emc Corporation | Systems and methods for managing stalled storage devices |
| US7949636B2 (en) | 2008-03-27 | 2011-05-24 | Emc Corporation | Systems and methods for a read only mode for a portion of a storage system |
| US8527726B2 (en) | 2008-11-13 | 2013-09-03 | International Business Machines Corporation | Tiled storage array with systolic move-to-front reorganization |
-
2001
- 2001-11-09 US US10/007,003 patent/US7685126B2/en not_active Expired - Lifetime
-
2002
- 2002-08-02 CN CNB028166655A patent/CN100437559C/zh not_active Expired - Lifetime
- 2002-08-02 CN CN200810173557XA patent/CN101515273B/zh not_active Expired - Lifetime
- 2002-08-02 WO PCT/US2002/024728 patent/WO2003012699A1/en active Application Filing
- 2002-08-02 EP EP20110153041 patent/EP2330518A3/en not_active Withdrawn
- 2002-08-02 EP EP02756944A patent/EP1421520A4/en not_active Ceased
- 2002-08-02 JP JP2003517804A patent/JP4504677B2/ja not_active Expired - Lifetime
-
2007
- 2007-07-19 US US11/880,462 patent/US7743033B2/en not_active Expired - Lifetime
-
2010
- 2010-03-19 US US12/728,081 patent/US8706755B2/en not_active Expired - Lifetime
- 2010-05-25 US US12/787,297 patent/US8112395B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08511369A (ja) * | 1993-06-03 | 1996-11-26 | ネットワーク・アプライアンス・コーポレイション | レードディスクサブシステムを備えた、ファイルシステムのファイル割り当て方法 |
Non-Patent Citations (7)
| Title |
|---|
| CSNG199800637006, 青木 久幸, "並列ファイルシステムＭＦＳ", 情報処理学会研究報告, 19960826, Ｖｏｌ．９６ Ｎｏ．７９, ｐ．３１〜３６, JP, 社団法人情報処理学会 * |
| CSNG200000397002, 山下 洋史, "ＲＡＩＤ型ファイルシステムＶＡＦＳ／ＨＲの開発", 情報処理学会研究報告, 19940916, Ｖｏｌ．９４ Ｎｏ．８０, ｐ．９〜１６, JP, 社団法人情報処理学会 * |
| CSNH200000049007, 新開 慶武, "クラスタファイルシステム：ＨＡＭＦＳ", ＦＵＪＩＴＳＵ, 19990709, ＶＯＬ．５０ Ｎｏ．４, ｐ．２１０〜２１４, JP, 富士通株式会社 * |
| JPN6008045392, 山下 洋史, "ＲＡＩＤ型ファイルシステムＶＡＦＳ／ＨＲの開発", 情報処理学会研究報告, 19940916, Ｖｏｌ．９４ Ｎｏ．８０, ｐ．９〜１６, JP, 社団法人情報処理学会 * |
| JPN6008045396, Ａｎｄｒｅｗ Ｓ．Ｔａｎｅｎｂａｕｍ, ＭＩＮＩＸオペレーティング・システム, 19890421, 第１版, ｐ．３２８，５０５, JP * |
| JPN6009047667, 青木 久幸, "並列ファイルシステムＭＦＳ", 情報処理学会研究報告, 19960826, Ｖｏｌ．９６ Ｎｏ．７９, ｐ．３１〜３６, JP, 社団法人情報処理学会 * |
| JPN6009047668, 新開 慶武, "クラスタファイルシステム：ＨＡＭＦＳ", ＦＵＪＩＴＳＵ, 19990709, ＶＯＬ．５０ Ｎｏ．４, ｐ．２１０〜２１４, JP, 富士通株式会社 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007537501A (ja) * | 2003-12-02 | 2007-12-20 | スピンネイカー・ネットワークス・インコーポレイテッド | ストライピングを用いたデータ記憶の方法及び装置 |
| JP2012089094A (ja) * | 2010-10-22 | 2012-05-10 | Intec Inc | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム |
| CN111767263A (zh) * | 2020-07-04 | 2020-10-13 | 武汉空心科技有限公司 | 一种工作平台文件存储方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100437559C (zh) | 2008-11-26 |
| CN101515273B (zh) | 2011-05-11 |
| US20100257219A1 (en) | 2010-10-07 |
| US8112395B2 (en) | 2012-02-07 |
| EP2330518A3 (en) | 2012-10-31 |
| EP1421520A4 (en) | 2008-11-12 |
| US20100235413A1 (en) | 2010-09-16 |
| WO2003012699A8 (en) | 2003-08-14 |
| EP2330518A2 (en) | 2011-06-08 |
| EP1421520A1 (en) | 2004-05-26 |
| US20080021907A1 (en) | 2008-01-24 |
| US7743033B2 (en) | 2010-06-22 |
| US20030033308A1 (en) | 2003-02-13 |
| JP4504677B2 (ja) | 2010-07-14 |
| US8706755B2 (en) | 2014-04-22 |
| US7685126B2 (en) | 2010-03-23 |
| WO2003012699A1 (en) | 2003-02-13 |
| CN1547714A (zh) | 2004-11-17 |
| CN101515273A (zh) | 2009-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4504677B2 (ja) | 記憶装置から成る分散型ファイルシステム上の情報をトラッキングするためのメタデータを提供するシステムおよび方法 | |
| US7509524B2 (en) | Systems and methods for a distributed file system with data recovery | |
| JP4464279B2 (ja) | 分散ファイルシステムにおけるファイルの再ストライピングのためのシステム及び方法 | |
| US11200332B2 (en) | Passive distribution of encryption keys for distributed data stores | |
| JP4759574B2 (ja) | ネットワークパケットキャプチャ分散ストレージシステムの方法及び機器 | |
| CN110209535B (zh) | 用于分布式数据库系统的快速崩溃恢复 | |
| JP5210176B2 (ja) | 複数のノードを有するストレージ・システムの保護管理方法 | |
| US10210167B1 (en) | Multi-level page caching for distributed object store | |
| US7673098B2 (en) | System and method for synchronizing mirrored and striped disk writes | |
| US10893106B1 (en) | Global namespace in a cloud-based data storage system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081114 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081121 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090206 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091215 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4504677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |