JP2017504880A - 分散データグリッドにおいて永続性パーティションリカバリをサポートするためのシステムおよび方法 - Google Patents

分散データグリッドにおいて永続性パーティションリカバリをサポートするためのシステムおよび方法 Download PDF

Info

Publication number
JP2017504880A
JP2017504880A JP2016538743A JP2016538743A JP2017504880A JP 2017504880 A JP2017504880 A JP 2017504880A JP 2016538743 A JP2016538743 A JP 2016538743A JP 2016538743 A JP2016538743 A JP 2016538743A JP 2017504880 A JP2017504880 A JP 2017504880A
Authority
JP
Japan
Prior art keywords
data grid
distributed data
distributed
members
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016538743A
Other languages
English (en)
Other versions
JP2017504880A5 (ja
JP6491210B2 (ja
Inventor
リー，ロバート・エイチ
ハウズ，ジェイソン・ジョン
ファルコ，マーク・エイ
グレイザー，ジーン
Original Assignee
オラクル・インターナショナル・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オラクル・インターナショナル・コーポレイション filed Critical オラクル・インターナショナル・コーポレイション
Publication of JP2017504880A publication Critical patent/JP2017504880A/ja
Publication of JP2017504880A5 publication Critical patent/JP2017504880A5/ja
Application granted granted Critical
Publication of JP6491210B2 publication Critical patent/JP6491210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/142—Reconfiguring to eliminate the error
    • G06F11/1425—Reconfiguring to eliminate the error by reconfiguration of node membership
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1438—Restarting or rejuvenating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1479—Generic software techniques for error detection or fault masking
    • G06F11/1482—Generic software techniques for error detection or fault masking by means of middleware or OS functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1858—Parallel file systems, i.e. file systems supporting multiple processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1865—Transactional file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/505—Clust

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

システムおよび方法は、分散データグリッドにおいて永続性をサポートし得る。分散データグリッドにおける複数のメンバーは、永続ストレージにおいて１つ以上のキャッシュサービスに関連付けられる複数のパーティションを永続化し得る。さらに、分散データグリッドにおけるメンバーであり得るコーディネータは、分散データグリッドにおける複数のメンバー間でパーティションオーナーシップのビューを同期し得るとともに、どのパーティションが分散データグリッドにおけるどのメンバーからリカバリされ得るかについての分散コンセンサスを形成する。

Description

著作権表示
この特許文書の開示の一部は、著作権の保護下にある内容を含む。著作権所有者は、特許商標庁の特許ファイルまたはレコードに現れるので、誰でも当該特許文書または特許開示を複製することについて異議はないが、そうでなければ如何なる場合でもすべての著作権を留保する。
発明の分野
本発明は一般にコンピュータシステムに関し、特に、分散データグリッドにおいて永続性（persistence）をサポートすることに関する。
背景
現代のコンピューティングシステム、特に大組織およびエンタープライズによって使用されるコンピューティングシステムは、サイズおよび複雑性が増加し続けている。特に、インターネットアプリケーションのような領域では、何百万ものユーザが当該アプリケーションに同時にアクセスすることが可能であるべきであるとの期待が存在し、これは、実際上、ユーザによって生成および消費されるコンテンツの量とそのコンテンツに伴うトランザクションとの指数関数的な増加に結びつく。また、そのようなアクティビティにより、データベースおよびメタデータストアへのトランザクションコールの数が対応して増加することになり、当該需要に対応するキャパシティが限られることになる。これは、本発明の実施形態が対応することが意図される一般的な領域である。
概要
本願明細書において、分散データグリッドにおいて永続性をサポートし得るシステムおよび方法が記載される。分散データグリッドにおける複数のメンバーは、永続ストレージにおいて１つ以上のキャッシュサービスに関連付けられる複数のパーティションを永続化し得る。さらに、分散データグリッドにおけるメンバーであり得るコーディネータは、分散データグリッドにおける複数のメンバー間でパーティションオーナーシップのビューを同期し得るとともに、どのパーティションが分散データグリッドにおけるどのメンバーからリカバリされ得るかについての分散コンセンサスを、同期されたビューに基づき形成する。
一実施形態に従うと、１つ以上のコミュニケーションチャンネルに相互接続される複数のサーバノードを含む分散データグリッドに使用されるコーディネータが提供され、分散データグリッドにおける複数のメンバーは、永続ストレージにおいて１つ以上のキャッシュサービスに関連付けられる複数のパーティションを永続化しており、上記コーディネータは、分散データグリッドにおける複数のメンバーの間でパーティションオーナーシップのビューを同期するように構成される同期ユニットと、どのパーティションが分散データグリッドにおけるどのメンバーからリカバリされるかについての分散コンセンサスを形成するように構成される形成ユニットとを含む。
一実施形態において、複数の分散ローカルディスクが永続ストレージに含まれており、分散データグリッドにおける各メンバーは、１つ以上の分散ローカルディスクに対するビジビリティのみを有する。
一実施形態において、コーディネータは分散データグリッドにおけるメンバーである。
一実施形態において、コーディネータはさらに、分散データグリッドにおける複数のメンバーから、複数の永続化されたパーティションについての情報を受け取るように構成される受取ユニットを含む。
一実施形態において、すべての永続化されたパーティションがリカバリに先立って可視であることを保証するために、リカバリクォーラムが使用される。
一実施形態において、永続ストレージは、１つ以上のストレージエリアネットワーク（ＳＡＮ）を含み、１つ以上のＳＡＮは、分散データグリッドにおいて複数のメンバーによって共有されること、複数のストレージ位置にて複数のメンバーによって共有されること、および、１つ以上のローカルディスクを有するハイブリッドな展開において複数のメンバーによって共有されることのうち少なくともいずれかである。
一実施形態において、コーディネータは、分散コンセンサスに基づいて、分散データグリッドにおいて各メンバーについてパーティションリカバリ割当を決定するように構成される決定ユニットをさらに含む。
一実施形態において、決定ユニットは、パーティションリカバリ割当を決定するプラグ可能パーティション割当ストラテジーコンポーネントである。
一実施形態において、コーディネータは、分散データグリッドにおいて各メンバーにパーティションリカバリ割当を提供するように構成される提供ユニットをさらに含み、上記各メンバーは、分散データグリッドに関連付けられる永続ストレージから１つ以上のパーティションをリカバリするよう動作する。
本発明のさまざまな実施形態に従ったデータグリッドクラスタの図である。 本発明の実施形態に従った、分散データグリッドにおける永続性をサポートすることについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおいて永続性をサポートするために、共有されるストレージを使用することについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおいて永続性をサポートするために分散ローカルディスクを使用することについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおいて分散永続ストアのリカバリ（distributed persistent store recovery）をサポートすることについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおける永続ストアのリカバリをコーディネートすることについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおいて一貫したパーティションリカバリをサポートすることについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおける分散永続ストアのリカバリをサポートするための例示的なフローチャートを示す図である。 本発明の実施形態に従った、分散データグリッドにおける永続ストアバージョニングをサポートすることについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおける永続ストアのインテグリティをサポートすることについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおいて永続化パーティションをリストアすることについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおける永続ストアのバージョニングおよびインテグリティをサポートするための例示的なフローチャートを示す図である。 本発明の実施形態に従った、分散データグリッドにおける実行中のシステムの永続スナップショットを提供することについての図を示す図である。 本発明の実施形態に従った、分散データグリッドにおける実行中のシステムの永続スナップショットを提供するための例示的なフローチャートを示す図である。 本発明のある実施形態に従ったコーディネータ１５００の簡略ブロック図である。 本発明の実施形態の機能的構成を示す図である。 本発明の実施形態を実現するためのコンピュータシステムの図である。
詳細な説明
本願明細書において、分散データグリッドにおいて永続性をサポートし得るシステムおよび方法が記載される。
分散データグリッド
ある実施形態に従うと、本願明細書において「データグリッドクラスタ」または「データグリッド」と称されるものは、分散化またはクラスタ化された環境内において情報および演算のような関連するオペレーションを管理するために一緒に作動する複数のコンピュータサーバを含むシステムである。データグリッドクラスタは、これらのサーバにわたって共有されるアプリケーションオブジェクトおよびデータを管理するために使用され得る。好ましくは、データグリッドクラスタは、低い応答時間、高いスループット、予測可能なスケーラビリティ、連続的な可用性、および情報信頼性を有するべきである。これらの能力の結果、データグリッドクラスタは、計算集中的である、ステートフルな中間層アプリケーションにおける使用に良好に好適である。たとえばオラクルコヒーレンスデータグリッドクラスタ（Oracle Coherence data grid cluster）といったデータグリッドクラスタのいくつかの例は、より高い性能を達成するために情報をインメモリで格納し得るとともに、複数のサーバにわたって同期される当該情報のコピーを保つ際に冗長性を用い得、これにより、サーバの故障の場合にシステムの回復性とデータの可用性とを保証する。たとえば、コヒーレンスは、信頼性があり、非常にスケーラブルなピアツーピアクラスタリングプロトコル上で、複製および分散（パーティション化）されたデータ管理およびキャッシングサービスを提供する。
インメモリデータグリッドは、共に作動する多くのサーバ上にデータを分散することによってデータストレージおよび管理能力を提供し得る。データグリッドは、アプリケーションサーバと同じ層において実行されるか、または、アプリケーションサーバ内において実行されるミドルウェアであり得る。データグリッドは、データの管理および処理を提供し得、さらに、データがグリッドにおいて位置するところに処理をプッシュし得る。さらに、インメモリデータグリッドは、サーバが作動しなくなるかまたはネットワークから切断される場合に、自動的かつトランスピアレントにフェイルオーバーし、そのクラスタデータ管理サービスを再分散することによって単一障害点（single points of failure）を除去し得る。新しいサーバが追加されるか、または、フェイルしたサーバが再起動されると、当該サーバは自動的にクラスタに加わり、サービスはそれに戻るようにフェイルオーバーされ得、トランスピアレントにクラスタロードを再分散する。データグリッドはさらに、ネットワークレベルのフォールトトレランス機能と、トランスピアレントなソフトリスタート（soft restart）能力とを含み得る。
実施形態に従うと、データグリッドクラスタの機能は、異なるクラスタサービスの使用に基づく。クラスタサービスは、ルートクラスタサービス、パーティション化されたキャッシュサービス、および、プロキシサービスを含み得る。データグリッドクラスタ内では、各クラスタノードは、クラスタサービスを提供および消費する両方の点において多くのクラスタサービスに参加し得る。各クラスタサービスは、データグリッドクラスタ内のサービスを一意に識別するサービス名と、クラスタサービスが行なうことが可能であることを定義するサービスタイプとを有する。データグリッドクラスタにおいて各クラスタノード上で実行されるルートクラスタサービス以外に、各サービスタイプの複数の名称付けされたインスタンス（multiple named instances）が存在し得る。サービスは、ユーザによって構成されるか、または、サービスのデフォルトセットとしてデータグリッドクラスタによって提供されるかのいずれかであり得る。
図１は、本発明のさまざまな実施形態に従ったデータグリッドクラスタの図である。図１に示されるように、たとえばオラクルコヒーレンスデータグリッドといったデータグリッドクラスタ１００は、さまざまなクラスタサービス１１１〜１１６が実行されるクラスタノード１０１〜１０６のような複数のクラスタメンバー（またはサーバノード）を含む。さらに、キャッシュコンフィギュレーションファイル１１０は、データグリッドクラスタ１００を構成するために使用され得る。
キャッシュコンテンツの永続ストレージ
本発明の実施形態に従うと、分散データグリッドは、異なるタイプのキャッシュコンテンツのためのリカバリ可能な永続ストレージを提供し得、分散データグリッドがシャットダウンされた後のデータ損失を防止し得る。
図２は、本発明の実施形態に従った、分散データグリッドにおける永続性をサポートすることについての図を示す。図２に示されるように、分散データグリッド２００は、インメモリデータストア２０２にさまざまなタイプのキャッシュコンテンツ２１１〜２１３を含み得る。さらに、分散データグリッド２００は、永続ストレージ２０３においてキャッシュコンテンツ２１１〜２１３を永続するために永続レイヤー２０１を使用し得る。
永続レイヤー２０１は、永続ストレージ２０３が異なる物理トポロジーを使用することを可能にする。たとえば、永続レイヤー２０１は、分散データグリッド２００における全メンバーが同じビジビリティ（visibility）を共有し得る、ストレージエリアネットワーク（ＳＡＮ：storage area network）２２１のような中央位置にキャッシュコンテンツを格納し得る。代替的には、永続レイヤー２０１は、分散データグリッド２００のメンバーがローカルビジビリティのみを有する異なるローカルディスク２２２にキャッシュコンテンツを格納し得る。
さらに、永続レイヤー２０１は物理トポロジー（たとえばＳＡＮ２２１または分散ローカルディスク２２２）の選択に対して非依存（agnostic）であり得る。たとえば、分散データグリッド２００は、複数のＳＡＮまたは複数のＳＡＮマウントポイントを活用し得る。さらに、分散データグリッド２００は、複数のメンバーによって共有されない複数のＳＡＮを含む物理トポロジーを活用し得る。代替的には、物理トポロジーは、ストレージ位置をエクスポートする複数のＳＡＮを含むか、または、ローカルディスクおよびＳＡＮのハイブリッドな展開（hybrid deployment）を含み得る。
さらに、永続レイヤー２０１は、永続化されるデータ／メタデータのパーティションワイドのアトミック性（partition-wide atomicity）をサポートし得、分散データグリッド２００の再起動の後にトランザクションの保証を提供し得る。さらに、永続レイヤー２０１は性能インパクトを最小化し、かつ、分散データグリッド２００を再起動するために必要とされるリカバリ時間を低減し得る。
図３は、本発明の実施形態に従った、分散データグリッドにおいて永続性をサポートするために、共有されるストレージを使用することについての図を示す。図３に示されるように、複数のメンバー（たとえばマシンＡ３１１〜Ｃ３１３上のメンバー３０１〜３０５）を含む分散データグリッド３００は、さまざまなキャッシュサービス３２０をサポートし得る。
さらに、分散データグリッド３００は、中央位置においてキャッシュサービス３２０のためのキャッシュコンテンツを格納するために、ストレージエリアネットワーク（ＳＡＮ）３１０のような共有された永続ストレージを使用し得る。図３に示されるように、マシンＡ３１１〜Ｃ３１３上の異なるメンバー３０１〜３０５は、同じビジビリティを共有し得、すべてがＳＡＮ３１０において永続化パーティション３２２にアクセスを有し得る。
したがって、分散データグリッド３００がシャットダウンの後に再起動される場合に、システムは永続化されたキャッシュコンテンツをリカバリし、データ損失を防止し得る。
図４は、本発明の実施形態に従った、分散データグリッドにおいて永続性をサポートするために分散ローカルディスクを使用することについての図を示す。図４に示されるように、複数のメンバー（たとえばマシンＡ４１１〜Ｃ４１３上のメンバー４０１〜４０５）を含む分散データグリッド４００は、さまざまなキャッシュサービス４２０をサポートし得る。
さらに、分散データグリッド４００は、キャッシュサービス４２０のためのキャッシュコンテンツを異なるマシン上のローカルディスクへ格納し得る。たとえば、メンバー４０１〜４０２は、関連するキャッシュコンテンツをマシンＡ４１１上のローカルディスクＡ４３１へ格納し得る（たとえば永続化パーティション４２１）。さらに、メンバー４０３〜４０４は、関連するキャッシュコンテンツをマシンＢ４１２上のローカルディスクＢ４３２に格納し得（たとえば永続化パーティション４２２）、また、マシンＣ４１３は、関連するキャッシュコンテンツをマシンＣ４１３上のローカルディスクＣ４３３へ格納し得る（たとえば永続化パーティション４２３）。
したがって、分散データグリッド４００は、分散した態様でさまざまなタイプのキャッシュコンテンツの自動的なリカバリをサポートし得るとともに、分散データグリッド４００の再起動の間にデータ損失を防止し得る。
分散永続ストアのリカバリ
本発明の実施形態に従うと、分散データグリッドは、分散した態様で永続ストアのリカバリをサポートし得る。
図５は、本発明の実施形態に従った、分散データグリッドにおいて分散永続ストアのリカバリ（distributed persistent store recovery）をサポートすることについての図を示す。図５に示されるように、分散データグリッド５００は、たとえばメンバー５０１〜５０５のような複数のメンバーを含み得、たとえばローカルディスクＡ５１１〜Ｃ５１３のような分散ローカルディスクを使用してキャッシュコンテンツを永続し得る。
さらに、分散データグリッド５００における各メンバーは、ローカルディスクにおいて永続化されるパーティションに対してのみビジビリティを有し得る。たとえば、メンバー５０１およびメンバー５０２は、ローカルディスクＡ５１１における永続化パーティション５２１のみを認識し得、メンバー５０３およびメンバー５０４は、ローカルディスクＢ５１２における永続化パーティション５２２のみを認識し得、また、メンバー５０５は、ローカルディスクＣ５１３における永続化パーティション５２３のみを認識し得る。
本発明の実施形態に従うと、分散データグリッド５００は、異なるローカルディスクＡ５１１〜Ｃ５１３上において永続化パーティション５２１〜５２３をディスカバリ（discover）するよう内部プロトコルを使用し得る。たとえば、ディスカバリプロトコルは、クラスタコールドスタート／再起動シナリオおよび複数ノード障害シナリオ（たとえば、パーティションのプライマリオーナーの損失および／またはパーティションの１つ以上のバックアップオーナーの損失を伴う）の両方の間、永続ストアのリカバリをサポートする。
図５に示されるように、分散データグリッド５００は、コーディネータメンバー５１０のようなコーディネータを使用して、分散データグリッド５００においてさまざまな永続化パーティション５２１〜５２３のリカバリをコーディネートし得る。コーディネータメンバー５１０は、永続化パーティション５２１〜５２３の完全なリストを得るために、分散データグリッド５００における他のメンバー５０１〜５０５に分散クエリーを送信し得る。
したがって、本開示の実施形態に従うと、メンバー（５０１〜５０５，５１０）は、分散データグリッドの要素である。分散データグリッドの複数のメンバーのうちの１つのメンバー５１０は、分散データグリッドにおけるさまざまな永続化パーティションのリカバリのための情報を扱うコーディネータとして作動し得る。情報を扱うことは、分散データグリッドにおける複数のメンバーの間でパーティションオーナーシップのビューを同期することと、複数の永続化パーティションに関する情報を分散データグリッドにおける複数のメンバーから受け取ることとを含み得る。ある局面において、コーディネータは、「コーディネータメンバー」５１０と称され得る。
本発明の実施形態に従うと、コーディネータメンバー５１０は、パーティションリカバリ割当５４０を決定するために、プラグ可能パーティション割当ストラテジーコンポーネント（pluggable partition assignment strategy component）５２０を使用し得る。たとえば、システムは、パーティションのリストを下まで見て、どのメンバーがパーティションのバージョンを見ることができるか調べる。その後、システムは、同期されたパーティションオーナーシップビュー５３０に基づいて、どのメンバーを使用してどのパーティションをリカバリするべきかを決定し得る。
さらに、システムは、分散データグリッド５００に永続サポートを追加することにより引き起こされる性能インパクトを最小化し得る。たとえば、システムは、永続ストアに対する書込オペレーションを実現するために、分散データグリッド５００において非同期メッセージプロセスを使用し得る。さらに、システムは、複数の入力／出力（Ｉ／Ｏ）オペレーションを同時に行なうことを可能にする。
さらに、コーディネータメンバー５１０は、リカバリを実行するために、性能ボトルネックを作り出す傾向があり得る分散データグリッド５００における１つまたはいくつかのメンバーのみの使用を回避し得る。
さらに、システムは、リカバリによるデータ損失を防止するために、すべての永続化パーティションがリカバリに先立って可視であることを保証するためにリカバリクォーラム（recovery quorum）を使用し得る。
分散データグリッド５００においてサービスレベルクォーラムをサポートするさまざまな実施形態の付加的な説明は、２０１２年１月１７日に出願された、本願明細書において参照により援用される「データグリッドクラスタにおいてサービスレベルクォーラムをサポートするためのシステムおよび方法（SYSTEM AND METHOD FOR SUPPORTING SERVICE LEVEL QUORUM IN A DATA GRID CLUSTER）」という名称を有する米国特許出願番号第１３／３５２，２０３号（代理人管理番号ＯＲＡＣＬ−０５１３１ＵＳ２）において提供される。
したがって、分散データグリッド５００は、分散データグリッド５００の再起動の間に、永続キャッシュコンテンツのリカバリを分散した態様で自動的に実行し得る。
図６は、本発明の実施形態に従った、分散データグリッドにおける永続ストアのリカバリをコーディネートすることについての図を示す。図６に示されるように、分散データグリッド６００におけるコーディネータメンバー６１０は、分散ローカルディスクからの永続化パーティションのリカバリをコーディネートすることができる。たとえば、コーディネータメンバー６１０は、ローカルディスク６３０から永続化パーティションをリカバリするためにメンバー６２０に指示を与え得る。
ステップ６０１では、コーディネータメンバー６１０は、永続化パーティションのリストアの準備をするようメンバー６２０（および同時に分散データグリッド６００におけるすべての他のメンバー）に指示を与え得る。その後、ステップ６０２において、（恐らく分散データグリッド６００における他の各メンバーとともに）メンバー６２０は、コーディネータメンバー６１０にローカルパーティションオーナーシップを提供し得る。
ステップ６０３では、コーディネータメンバー６１０は、分散データグリッド６００における異なるメンバーからパーティションオーナーシップ情報を得た後、全体的なパーティションオーナーシップのビューを同期し得る。
さらに、ステップ６０４において、コーディネータメンバー６１０は、全体的なパーティションオーナーシップのビューに基づいて、永続化パーティションのリカバリの準備をするようにメンバー６２０に指示を与え得る。ステップ６０５では、メンバー６２０は、ローカルディスク６３０における永続化パーティションをチェックし得る。その後、ステップ６０６では、メンバー６２０は、ローカルディスク６３０における永続化パーティション（たとえば永続化パーティションＩＤ）をコーディネータメンバー６１０に報告し得る。
ステップ６０７では、コーディネータメンバー６１０は、分散データグリッド６００における異なるメンバーから永続化パーティションに関する情報を得た後、リカバリ割当を決定するといったように、リカバリ処理をどのように構成するかについて決定を行ない得る。
その後、ステップ６０８では、コーディネータメンバー６１０は、分散データグリッド６００における各メンバーにパーティションリカバリ割当（たとえばリカバリパーティションＩＤ）を提供し得る。最後に、ステップ６０９では、分散データグリッド６００における異なるメンバー（メンバー６２０を含む）が、受け取られたパーティションリカバリ割当に基づいて、永続化パーティションのリカバリを行ない得る。
図７は、本発明の実施形態に従った、分散データグリッドにおいて一貫したパーティションリカバリをサポートすることについての図を示す。図７に示されるように、分散データグリッド７００はたとえばメンバー７０１〜７０５といった複数のメンバーを含み得、当該複数のメンバーの各々は、ローカルディスクにおいて永続化されたパーティションに対してのみビジビリティを有し得る。
さらに、コーディネータメンバー７１０は、分散ローカルディスクＡ７１１〜Ｃ７１３からさまざまな永続化パーティション７２１〜７２３のリカバリをコーディネートし得る。さらに、コーディネータメンバー７１０は、どのメンバーを使用してどのパーティションをリカバリするべきかを決定するよう、プラグ可能パーティション割当ストラテジーコンポーネント７２０を使用し得る。
本発明の実施形態に従うと、分散データグリッド７００におけるマシンが失われると、システムは、インメモリバックアップをインメモリプライマリにプロモートし得る。このプロセスの一部として、システムは新しい永続化パーティションをディスク上に作成し得るとともに、メモリにおけるデータから他のメンバー上に１つ以上のインメモリバックアップを作成し得る。
さらに、２つ以上（バックアップカウントに依存する）のメンバープロセスが同時に消えることによりインメモリデータ損失が発生すると、システムは、ディスクに対するビジビリティを有するメンバーが存在する場合、ディスク上の永続バージョンから新しいインメモリプライマリをリカバリし得る。
図７に示されるように、ローカルディスクＡ７１１に関連付けられるマシンが失われると、永続化パーティション７２１は利用不可能になり得る。そのような場合、分散データグリッド７００は自身をリバランスし得る。たとえば、分散データグリッド７００は、ローカルディスクＢ７１２またはローカルディスクＣ７１３のいずれかに永続化されるバックアップパーティションをプライマリパーティションとしてプロモートし得る。
本発明の実施形態に従うと、分散データグリッド７００は、システムが常に、最も新しい有効なパーティションをリストアすることを保証し得る。たとえば、ローカルディスクＢ７１２における永続化パーティション７２２は、ローカルディスクＡ７１１における永続化パーティション７２１が正しく更新され得ないか、または、パーティションの以前のオーナーの消滅により古いバージョンのパーティションが存在するので、より新しいバージョンのパーティションを含み得る。
本発明の実施形態に従うと、分散データグリッド７００は、永続化パーティション７２１〜７２３のディスカバリおよび／またはリカバリをサポートするためにリカバリクォーラムを使用し得る。リカバリクォーラムを使用することにより、永続性からのリカバリが阻止（gated）または保護され得る。したがって、分散データグリッド７００は、失われたメンバーの数がインメモリ冗長性ターゲットを超える場合であってもデータが失われないことを保証し得る。
さらに、分散データグリッド７００は、すべての永続化パーティションがリカバリに先立って可視であることを保証し得る。たとえば、リカバリクォーラムは、（ローカルディスクおよび／またはクラスタ内のＳＡＮのような）可能なストレージ位置のすべてに対するビジビリティを保証するように構成され得る。さらに、分散データグリッド７００は永続ストアから親のないパーティション（orphaned partition）をリカバリし得、それらを空のパーティションとして割り当て得る。
さらに、分散データグリッド７００は、リカバリクォーラムに基づいて異なるリカバリポリシーを確立し得る。たとえば、分散データグリッド７００は、キャパシティに集中するＳＡＮ／共有ストレージポリシーを確立し得る。さらに、分散データグリッド７００は、すべてのストレージ位置が到達可能であることを保証する分散／シェアードナッシングストレージポリシー（distributed/shared-nothing storage policies）を確立し得る。さらに、分散データグリッド７００は、構成されたメンバーシップサイズおよびホストリストに基づいてさまざまなポリシーを確立し得る。
本発明の実施形態に従うと、システムは、分散データグリッド７００におけるさまざまなメンバー７０１〜７０５が規則的な態様でシャットダウン（および／または再起動）されることを可能にするとともに、サービスまたは全クラスタのグレースフルな中断／再開を可能にする。さらに、システムは、分散データグリッドのシャットダウンの間にパーティショントランスファーおよび永続ストアの移動を防止し得る。たとえば、休止されたサービス／クラスタは、新メンバーに加わり得ず、バックアップからパーティションをリストアし得ず、永続ストアから親のないパーティションをリカバリし得ず、空の親のないパーティションを割り当て得ず、パーティション分散を実行し得ない。
図８は、本発明の実施形態に従った、分散データグリッドにおける分散永続ストアのリカバリをサポートするための例示的なフローチャートを示す。図８に示されるように、ステップ８０１では、システムは、分散データグリッドにおける複数のメンバーが、１つ以上のキャッシュサービスに関連付けられる複数のパーティションを永続ストレージに永続することを可能にする。その後、ステップ８０２では、コーディネータは、分散データグリッドにおいて、複数のメンバーの間でパーティションオーナーシップのビューを同期し得る。さらに、ステップ８０３では、分散データグリッドは、同期されたビューに基づいて、分散データグリッドにおいてどのメンバーからどのパーティションがリカバリされ得るかについての分散コンセンサス（distributed consensus）を形成し得る。分散コンセンサスは、問題を解決するように協働するクラスタノード１０１〜１０６のような複数のクラスタメンバー（またはサーバノード）の間で到達される合意（agreement）である。
永続ストアバージョニングおよびインテグリティ
図９は、本発明の実施形態に従った、分散データグリッドにおける永続ストアバージョニングをサポートすることについての図を示す。図９に示されるように、分散データグリッド９００は、異なるキャッシュサービスをサポートするよう、インメモリデータストア９２０においてさまざまなパーティション（たとえばパーティション９０１）を使用し得る。
さらに、分散データグリッド９００は、分散ローカルディスク９１０にパーティション９０１を永続するために永続ストア（たとえば永続化パーティション９１１）を使用し得る。
システムは、分散ローカルディスク９１０における各永続化パーティションについて、一意識別子（unique identifier；ＩＤ）または一意バージョン番号９０６を提供し得る。図９に示されるように、分散データグリッド９００におけるメンバー９０２は、永続化パーティション９１１について、グローバル一意識別子（ＧＵＩＤ： globally unique identifier）９２１を生成し得る。ＧＵＩＤ９２１は、特別なネーミングフォーマットを使用してさまざまなタイプの情報を含み得る。
たとえば、ＧＵＩＤ９２１は少なくとも、パーティション番号（またはパーティションＩＤ９０３）と、パーティション９０１に関連付けられるパーティションバージョン番号９１１とを含み得る。さらに、ＧＵＩＤ９２１は、メンバー９０２がＧＵＩＤ９２１を生成することを示すメンバーＩＤ９０４を含み得る。
さらに、ＧＵＩＤ９２１は、パーティション９０１が最初に永続化される時間を示すタイムスタンプ９０５のような他の情報を含み得る。タイムスタンプ９０５は、グローバルウォールクロックではなく、論理時間のスタンプ（たとえば各パーティションについてのベクトルクロックのスタンプ）である。したがって、システムは、如何なる種類の障害またはトランスファーシナリオに直面した場合でも、ＧＵＩＤスタンプが単調に前進することを保証し得る。
本発明の実施形態に従うと、分散データグリッド９００は、単調増加するオーダで、各永続化パーティションについてバージョン番号９１０を維持し得る。したがって、システムは、分散データグリッド９００における任意のメンバーまたはオーナーシップの変更でのデータ変異（data mutation）を説明し得る（account for）。
図１０は、本発明の実施形態に従った、分散データグリッドにおける永続ストアのインテグリティをサポートすることについての図を示す。図１０に示されるように、分散データグリッド１０００における永続ストア１００１は、キャッシュＩＤ１０２１〜１１２３に各々が関連付けられる異なるキャッシュＡ１０１１〜Ｃ１０１３からのキャッシュコンテンツを含み得る。
さらに、システムは、永続ストア１００１にシールオペレーション（seal operation）１００２を適用し得る。シールオペレーション１００２は、永続ストア１００１が完全に初期化されるとともにリカバリされる資格があることを保証し得る。
さらに、システムは、永続ストア１００１に対して確認オペレーション１００３を適用し得る。確認オペレーション１００３は、永続ストア１００１がシールされたかどうかチェックし得る。たとえば、システムは、永続ストア１００１がシールされていない場合、永続ストア１００１におけるキャッシュコンテンツが有効ではないことを決定し得る。
したがって、システムは、分散データグリッド１０００が常に有効な永続化パーティションをリストアし、かつ、カスケードクラスタ障害により引き起こされ得る部分的なコピーをリカバリすることを回避することを保証し得る。
図１１は、本発明の実施形態に従った、分散データグリッドにおいて永続化パーティションをリストアすることについての図を示す。図１１に示されるように、分散データグリッド１１００は、分散ローカルディスク１１１０においてさまざまな永続化パーティション１１１１〜１１１３を格納し得る。
分散ローカルディスク１１１０に格納された各永続化パーティション１１１１〜１１１３は、たとえばＧＵＩＤ１１４１〜１１４３といったグローバル一意識別子（ＧＵＩＤ）に関連付けられ得る。ＧＵＩＤ１１４１〜１１４３は、少なくともパーティション番号（すなわちパーティションｉｄ）およびバージョン番号を含む異なるタイプの情報を含み得る。
本発明の実施形態に従うと、分散データグリッド１１００におけるメンバー１１０１〜１１０２は、分散ローカルディスク１１１０における永続化パーティション１０１１〜１０１３に対する異なるビジビリティを有し得る。システムは、どのメンバーが特定の永続化パーティション１１１１〜１１１３に対してビジビリティを有し得ることについての情報を含むＧＵＩＤ１１４１〜１１４３を構成し得る。
さらに、分散ローカルディスク１１１０におけるカスケード障害の結果、同じ永続化パーティション１０１１〜１０１３の複数バージョンが、分散データグリッド１１００の異なるメンバー１１０１〜１１０２上に存在し得る。これらの異なるバージョンを明確にするために、分散データグリッド１１００におけるメンバー１１０１〜１１０２の各々は、発見される永続化パーティションの各々について、（パーティション番号および他の情報を含み得る）ＧＵＩＤ１１４１〜１１４３を報告し得る。本発明の実施形態に従うと、パーティションについて最も新しいＧＵＩＤの存在を報告するメンバーのみがリカバリのために考慮され得る。
図１１に示されるように、分散データグリッド１１００における各メンバー１１０１〜１１０２は、ローカルビジビリティに基づいて、分散ローカルディスク１１１０から、利用可能なＧＵＩＤのリスト１１２１〜１１２２を収集し得る。その後、各メンバー１１０１〜１１０２は、利用可能なＧＵＩＤのリスト１１２１〜１１２２を分散データグリッド１１００におけるレゾルバ１１０３に提供（または登録）し得、レゾルバ１１０３は、ＧＵＩＤ１１４１〜１１４３においてエンコードされたパーティション番号およびバージョン情報に基づいて、異なるパーティションについて最新のＧＵＩＤ１１３０を決定し得る。
さらに、システムの分散的な性質により、分散ローカルディスク１１１０は、同じパーティションの複数の異なるバージョンを含み得る。言いかえれば、レゾルバ１１０３は、同じパーティション番号および異なるバージョン番号を含む複数のＧＵＩＤを受け取り得る。
そのような場合、レゾルバ１１０３は、同じパーティションに関連付けられる各ＧＵＩＤからバージョン番号を取得し得るとともに、どのＧＵＩＤが最も新しいバージョン番号を有しているかを判定し得る。さらに、分散データグリッド１１００は、シールオペレーションおよび確認オペレーションの実行に基づいて、最も新しいバージョン番号を有する永続化パーティションが有効であることを保証し得る。
さらに、レゾルバ１１０３は、ＧＵＩＤ１１４１〜１１４３においてエンコードされたメンバーＩＤ情報に基づいて、分散データグリッド１１００におけるどのメンバー１１０１〜１１０２が特定の永続化パーティション１１１１〜１１１３をリカバリすることを担うかを決定し得る。
その後、レゾルバ１１０３は、最新のＧＵＩＤのリスト１１３１〜１１３２を含み得るパーティションリカバリ割当を各異なるメンバー１１０１〜１１０２に提供し得る。したがって、メンバー１１０１〜１１０２は、永続化パーティション１１１１〜１１１３をリストアする実際の動作を行ない得る。
したがって、システムは、分散データグリッド１１００が常に任意の永続化パーティションの最新の有効なバージョンをリストアし、かつ、カスケードクラスタ障害により引き起こされ得る部分的なコピーをリカバリすることを回避し得ることを保証し得る。
図１２は、本発明の実施形態に従った、分散データグリッドにおける永続ストアのバージョニングおよびインテグリティをサポートするための例示的なフローチャートを示す。図１２に示されるように、ステップ１２０１では、システムは、分散データグリッドの１つ以上のメンバーから複数の識別子（たとえばＧＵＩＤ）を受け取り得、上記の各識別子は、分散データグリッドについて永続ストレージにおける永続化パーティションに関連付けられる。その後、ステップ１２０２では、システムは、各パーティションについて識別子を選択し得、各選択された識別子は、パーティションの最も新しい有効なバージョンに関連付けられる。さらに、ステップ１２０３では、システムは、選択された識別子に関連付けられる永続化パーティションから上記パーティションをリカバリすることを担う、分散データグリッドにおけるメンバーを決定し得る。
実行中のシステムの永続スナップショット
図１３は、本発明の実施形態に従った、分散データグリッドにおける実行中のシステムの永続スナップショットを提供することについての図を示す。図１３に示されるように、分散データグリッド１３００は、インメモリデータストア１３０２を使用して、さまざまなキャッシュサービス１３２０をサポートし得る。
さらに、システムは、オンデマンドで任意の特定の時に、キャッシュサービス１３２０をサポートする、インメモリデータストア１３０２上にて実行中のシステムのスナップショット１３０１を取得するよう、ユーザが管理ツール１３１０を使用することを可能にする。たとえば、スナップショット１３０１は、実行中のシステムのバックアップを一晩のうちに作成するように使用され得る。
本発明の実施形態に従うと、システムは、スナップショット１３０１を取る前に、キャッシュサービス１３２０を停止し得る。したがって、システムは、スナップショット１３０１を取るために時間において一貫したポイントを提供し得る。その後、スナップショット１３０１が取られた後、キャッシュサービス１３２０が再開され得る。
さらに、スナップショット１３０１は、各パーティション化されたキャッシュサービス１３２０の一貫したビューを提供し得る。たとえば、スナップショット１３０１は、当該パーティション化されたキャッシュサービス１３２０についてのメタデータ１３１１およびキャッシュデータ１３１２を含む、実行中のシステムの状態情報のカタログを提供し得る。さらに、システムは、中央位置（たとえばＳＡＮ１３２１）または分散ローカルディスク１３２２のいずれかにスナップショット１３０１を格納し得る。
さらに、スナップショット１３０１におけるさまざまなアーティファクトが作成され分散ローカルディスク１３２２に格納される場合、システムは、分散ローカルディスク１３２２からスナップショット１３０１の永続状態情報を抽出するよう、プラグ可能（またはポータブル）アーカイバ１３０３を使用し得るとともに、監査または他の目的に使用可能である単一のアーカイブユニット１３３０を作成し得る。
したがって、システムは、連続的な態様で分散データグリッド１３００にキャッシュコンテンツを永続する代わりに、分散データグリッド１３００においてパーティション化されたキャッシュサービスの状態について、ユーザがスナップショットを取ることを可能にする。
図１４は、本発明の実施形態に従った、分散データグリッドにおける実行中のシステムの永続スナップショットを提供するための例示的なフローチャートを示す。図１４に示されるように、ステップ１４０１では、システムは、分散データグリッドにおいて、１つ以上のキャッシュサービスが複数のクラスタメンバー上で実行されることを可能にする。その後、ステップ１４０２では、システムは、分散データグリッドにおける複数のクラスタメンバーから、上記１つ以上のキャッシュサービスに関連付けられる状態情報のカタログを収集し得る。さらに、ステップ１４０３では、システムは、分散データグリッド上で実行される上記１つ以上のキャッシュサービスについてのスナップショットを作成し得る。
図１５は、本発明のある実施形態に従って使用され得るコーディネータ１５００の簡略ブロック図である。コーディネータ１５００のブロックは、本発明の原理を実施するために、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せによって実現され得る。当業者であれば、図１５に記載されるブロックは、上述のように、本発明の原理を実現するために、組み合されてもよく、またはサブブロックへと分離されてもよいということが理解される。したがって、本願明細書における記載は、本願明細書において記載される機能ブロックの任意の可能な組合せ、分離、またはさらなる定義をサポートし得る。
図１５において、以前に記載された任意の分散データグリッドのような分散データグリッドのために使用され得るコーディネータ１５００が示される。分散データグリッドは、１つ以上のコミュニケーションチャンネルに相互接続される複数のサーバノードを含み得、当該分散データグリッドにおける複数のメンバーが、永続ストレージにおける１つ以上のキャッシュサービスに関連付けられる複数のパーティションを永続化する。
示されるように、コーディネータは、分散データグリッドにおける複数のメンバーの間でパーティションオーナーシップのビューを同期するように構成され得る同期ユニット１５０１と、分散データグリッドにおいてどのパーティションがどのメンバーからリカバリされるかについての分散コンセンサスを形成するように構成され得る形成ユニット１５０３とを含み得る。一実施形態において、各ユニットは、コンピュータプログラム命令を読み出すことにより対応するプロセスを実行するプロセッサとして実現され得る。
一実施形態において、複数の分散ローカルディスクが永続ストレージに含まれ得、分散データグリッドにおける各メンバーは、１つ以上の分散ローカルディスクに対するビジビリティのみを有し得る。
一実施形態において、コーディネータ１５００は、当該分散データグリッドにおけるメンバーであり得る。
一実施形態において、コーディネータ１５００はさらに、上記複数の永続化されたパーティションについての情報を分散データグリッドにおける複数のメンバーから受け取るように構成される受取ユニット（１５０５）を含み得る。
一実施形態において、リカバリクォーラムは、すべての永続化されたパーティションがリカバリに先立って可視であることを保証するために使用され得る。
一実施形態において、永続ストレージは、１つ以上のストレージエリアネットワーク（ＳＡＮ）を含み得、上記１つ以上のＳＡＮは、分散データグリッドにおいて複数のメンバーによって共有されること、複数のストレージ位置にて複数のメンバーによって共有されること、および、１つ以上のローカルディスクを有するハイブリッドな展開において複数のメンバーによって共有されることのうち少なくともいずれかである。
一実施形態において、コーディネータ１５００は、分散コンセンサスに基づいて、分散データグリッドにおける各メンバーについてパーティションリカバリ割当を決定するように構成され得る決定ユニット１５０７を含み得る。
一実施形態において、決定ユニット１５０７は、図５に示されるようなプラグ可能パーティション割当ストラテジーコンポーネント５２０のような、パーティションリカバリ割当を決定するプラグ可能パーティション割当ストラテジーコンポーネントであり得る。
一実施形態において、コーディネータは、分散データグリッドにおける各メンバーにパーティションリカバリ割当を提供するように構成され得る提供ユニット１５０９をさらに含み、各メンバーは、分散データグリッドに関連付けられる永続ストレージから１つ以上のパーティションをリカバリするよう動作する。
当業者は、コーディネータ１５００は、以前の例示的な実施形態において記載されたコーディネータ５１０、６１０および７１０の例示的な実現例であるということを理解し得る。当業者はさらに、本発明の原理に従って、上述したようなオペレーションのいずれかまたはその組合せを実行するよう、コーディネータ１５００およびそのコンポーネントが所望のように修正され得るということを理解し得る。
図１６を参照して、本発明の実施形態に従ったシステム１６００が示される。図１６は、システム１６００によって実現される機能的な構成の図を示す。システム１６００は、永続ストレージ１６１０、マネージャ１６２０、複数のメンバー１６３０、コーディネータ１６４０、およびコンセンサス形成部１６５０を含む。
永続ストレージ１６１０は、１つ以上のキャッシュサービスに関連付けられる複数のパーティションを格納する。マネージャ１６２０は、分散データグリッドにおける複数のメンバー１６３０が、永続ストレージ１６１０において１つ以上のキャッシュサービスに関連付けられる複数のパーティションを管理することを可能にする。コーディネータ１６４０は、分散データグリッドにおける複数のメンバー１６３０の間でパーティションオーナーシップのビューを同期する。コンセンサス形成部１６５０は、どのパーティションが分散データグリッドにおけるどのメンバーからリカバリされるかについての分散コンセンサスを、同期されたビューに基づいて形成する。
図１７は、周知のハードウェア要素を含むコンピュータシステム１７００の図を示す。すなわち、コンピュータシステム１７００は、中央処理装置（ＣＰＵ）１７１０、マウス１７２０、キーボード１７３０、ランダムアクセスメモリ（ＲＡＭ）１７４０、ハードディスク１７５０、ディスクドライブ１７６０、通信インターフェイス（Ｉ／Ｆ）１７７０、およびモニタ１７８０を含む。コンピュータシステム１７００は、複数のメンバー１６３０のうちのメンバーであり得る。
ある局面において、マネージャ１６２０、コーディネータ１６４０およびコンセンサス形成部１６５０は、ＣＰＵ１７１０によって実現される。さらなる局面では、マネージャ１６２０、コーディネータ１６４０およびコンセンサス形成部１６５０が実現されるように、１つより多いプロセッサが使用され得る。すなわち、マネージャ１６２０、コーディネータ１６４０およびコンセンサス形成部１６５０のうちのいずれかは互いから物理的に遠隔である。
さらに別の局面において、システム１６００は、マネージャ１６２０、コーディネータ１６４０および／またはコンセンサス形成部１６５０として機能する複数のハードワイヤード回路を使用することにより実現され得る。
本発明は、１つ以上のプロセッサ、メモリ、および／または本開示の教示に従ってプログラムされたコンピュータ読取可能な記録媒体を含む１つ以上の従来の汎用または専用デジタルコンピュータ、コンピューティングデバイス、マシン、またはマイクロプロセッサを用いて簡便に実施され得る。ソフトウェア技術の当業者には明らかであるように、適切なソフトウェアコーディングは、熟練したプログラマによって本開示の教示に基づき容易に用意され得る。
いくつかの実施形態では、本発明は、本発明の処理のいずれかを実行するようコンピュータをプログラムするのに用いられ得る命令を格納したストレージ媒体またはコンピュータ読取可能媒体であるコンピュータプログラムプロダクトを含む。当該記憶媒体は、フロッピーディスク（登録商標）、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、および光磁気ディスクを含む任意のタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ素子、磁気または光学カード、ナノシステム（分子メモリＩＣを含む）、または命令および／またはデータを格納するのに好適な任意のタイプの媒体もしくは装置を含み得るが、これらに限定されない。
本発明の上記の記載は、例示および説明目的で与えられている。網羅的であることまたは開示されたそのものの形態に本発明を限定することを意図したものではない。当業者にとっては、多くの修正例および変形例が明確であろう。上記修正例および変形例は、記載された機能の任意の関連する組合せを含む。上記の実施形態は、本発明の原理およびその実際的な適用を最もよく説明するために選択および記載されたものであり、これにより他の当業者が、特定の使用に好適なさまざまな修正例を考慮して、さまざまな実施形態について本発明を理解するのが可能になる。本発明の範囲は、添付の特許請求の範囲およびそれらの均等物によって定義されることが意図される。

Claims (31)

  1. 分散データグリッドにおいて永続性をサポートするための方法であって、
    前記分散データグリッドにおける複数のメンバーが、永続ストレージにおいて１つ以上のキャッシュサービスに関連付けられる複数のパーティションを永続化することを可能にすることと、
    コーディネータを介して、前記分散データグリッドにおける前記複数のメンバーの間でパーティションオーナーシップのビューを同期することと、
    同期された前記ビューに基づいて、どのパーティションが前記分散データグリッドにおけるどのメンバーからリカバリされるかについての分散コンセンサスを形成することとを含む、方法。
  2. 前記永続ストレージに複数の分散ローカルディスクを含むことをさらに含み、前記分散データグリッドにおける各メンバーは、前記分散ローカルディスクのうちの１つ以上に対するビジビリティのみを有する、請求項１に記載の方法。
  3. 前記コーディネータは前記分散データグリッドにおけるメンバーである、請求項１または２に記載の方法。
  4. 前記分散データグリッドにおける前記複数のメンバーから前記コーディネータを介して、前記複数の永続化されたパーティションについての情報を受け取ることをさらに含む、先行する請求項のいずれかに記載の方法。
  5. すべての永続化されたパーティションがリカバリに先立って可視であることを保証するためにリカバリクォーラムを使用することをさらに含む、先行する請求項のいずれかに記載の方法。
  6. 前記永続ストレージにおいて１つ以上のストレージエリアネットワーク（ＳＡＮ）を含むことをさらに含み、前記１つ以上のＳＡＮは、
    前記分散データグリッドにおいて複数のメンバーによって共有されること、
    複数のストレージ位置にて複数のメンバーによって共有されること、および／または、
    １つ以上のローカルディスクを有するハイブリッドな展開において複数のメンバーによって共有されることのうち少なくともいずれかである、先行する請求項のいずれかに記載の方法。
  7. 前記分散コンセンサスに基づいて、前記分散データグリッドにおいて各メンバーについてパーティションリカバリ割当を決定することをさらに含む、先行する請求項のいずれかに記載の方法。
  8. 前記パーティションリカバリ割当を決定するためにプラグ可能パーティション割当ストラテジーを使用することをさらに含む、請求項７に記載の方法。
  9. 前記分散データグリッドにおいて各メンバーに前記パーティションリカバリ割当を提供することをさらに含む、請求項７または８に記載の方法。
  10. 前記分散データグリッドに関連付けられる前記永続ストレージから１つ以上のパーティションを前記各メンバーを介して受け取ることをさらに含む、請求項７〜９のいずれか１項に記載の方法。
  11. コンピュータシステムによって実行されると、前記コンピュータシステムに先行する請求項のいずれかに記載の方法を実行させる、マシン読み取り可能な形式のプログラム命令を含むコンピュータプログラム。
  12. マシン読み取り可能なストレージ媒体に格納される、請求項１１に記載のコンピュータプログラムを含むコンピュータプログラムプロダクト。
  13. 実行されると、システムに、請求項１〜１０のいずれか１項に記載の方法のステップを実行させる命令が格納される、一時的でないマシン読み取り可能なストレージ媒体。
  14. 分散データグリッドにおいて永続性をサポートするためのシステムであって、
    １つ以上のマイクロプロセッサと、
    前記１つ以上のマイクロプロセッサ上で実行される分散データグリッドとを含み、前記分散データグリッドは、１つ以上のコミュニケーションチャンネルに相互接続される複数のサーバノードを含み、
    前記分散データグリッドは、
    前記分散データグリッドにおける複数のメンバーが、永続ストレージにおいて１つ以上のキャッシュサービスに関連付けられる複数のパーティションを永続化することを可能にすることと、
    コーディネータを介して、前記分散データグリッドにおける前記複数のメンバーの間でパーティションオーナーシップのビューを同期することと、
    同期された前記ビューに基づいて、どのパーティションが前記分散データグリッドにおけるどのメンバーからリカバリされるかについての分散コンセンサスを形成することとを含むステップを実行するよう動作する、システム。
  15. 複数の分散ローカルディスクが前記永続ストレージに含まれており、前記分散データグリッドにおける各メンバーは、前記分散ローカルディスクのうちの１つ以上に対するビジビリティのみを有する、請求項１４に記載のシステム。
  16. 前記コーディネータは前記分散データグリッドにおけるメンバーである、請求項１４または１５に記載のシステム。
  17. 前記コーディネータは、前記分散データグリッドにおける前記複数のメンバーから前記複数の永続化されたパーティションについての情報を受け取る、請求項１４〜１６のいずれか１項に記載のシステム。
  18. 前記分散データグリッドは、すべての永続化されたパーティションがリカバリに先立って可視であることを保証するためにリカバリクォーラムを使用するよう動作する、請求項１４〜１７のいずれか１項に記載のシステム。
  19. 前記永続ストレージは、１つ以上のストレージエリアネットワーク（ＳＡＮ）を含み、前記１つ以上のＳＡＮは、
    前記分散データグリッドにおいて複数のメンバーによって共有されること、
    複数のストレージ位置にて複数のメンバーによって共有されること、および／または、
    １つ以上のローカルディスクを有するハイブリッドな展開において複数のメンバーによって共有されることのうち少なくともいずれかである、請求項１４〜１８のいずれか１項に記載のシステム。
  20. 前記分散データグリッドは、前記分散コンセンサスに基づいて、前記分散データグリッドにおいて各メンバーについてパーティションリカバリ割当を決定するよう動作する、請求項１４〜１９のいずれか１項に記載のシステム。
  21. 前記分散データグリッドは、前記パーティションリカバリ割当を決定するためにプラグ可能パーティション割当ストラテジーを使用するよう動作する、請求項２０に記載のシステム。
  22. 前記分散データグリッドは、前記分散データグリッドにおける各メンバーに前記パーティションリカバリ割当を提供するために動作し、前記各メンバーは、前記分散データグリッドに関連付けられる前記永続ストレージから１つ以上のパーティションをリカバリするよう動作する、請求項２０または２１に記載のシステム。
  23. １つ以上のコミュニケーションチャンネルと相互接続される複数のサーバノードを含む分散データグリッドに使用されるコーディネータ（１５００）であって、前記分散データグリッドにおける複数のメンバーが、永続ストレージにおいて１つ以上のキャッシュサービスに関連付けられる複数のパーティションを永続化しており、前記コーディネータは、
    前記分散データグリッドにおける前記複数のメンバーの間でパーティションオーナーシップのビューを同期するように構成される同期ユニット（１５０１）と、
    どのパーティションが前記分散データグリッドにおけるどのメンバーからリカバリされるかについての分散コンセンサスを形成するように構成される形成ユニット（１５０３）とを含む、コーディネータ。
  24. 複数の分散ローカルディスクが前記永続ストレージに含まれており、前記分散データグリッドにおける各メンバーは、１つ以上の分散ローカルディスクに対するビジビリティのみを有する、請求項２３に記載のコーディネータ。
  25. 前記コーディネータは前記分散データグリッドにおけるメンバーである、請求項２３に記載のコーディネータ。
  26. 前記コーディネータはさらに、前記分散データグリッドにおける前記複数のメンバーから、前記複数の永続化されたパーティションについての情報を受け取るように構成される受取ユニット（１５０５）を含む、請求項２３に記載のコーディネータ。
  27. すべての永続化されたパーティションがリカバリに先立って可視であることを保証するために、リカバリクォーラムが使用される、請求項２３に記載のコーディネータ。
  28. 前記永続ストレージは、１つ以上のストレージエリアネットワーク（ＳＡＮ）を含み、前記１つ以上のＳＡＮは、
    前記分散データグリッドにおいて複数のメンバーによって共有されること、
    複数のストレージ位置にて複数のメンバーによって共有されること、および、
    １つ以上のローカルディスクを有するハイブリッドな展開において複数のメンバーによって共有されることのうち少なくともいずれかである、請求項２３に記載のコーディネータ。
  29. 前記分散コンセンサスに基づいて、前記分散データグリッドにおいて各メンバーについてパーティションリカバリ割当を決定するように構成される決定ユニット（１５０７）をさらに含む、請求項２３に記載のコーディネータ。
  30. 決定ユニット（１５０７）は、前記パーティションリカバリ割当を決定するプラグ可能パーティション割当ストラテジーコンポーネント（５２０）である、請求項２９に記載のコーディネータ。
  31. 前記分散データグリッドにおいて各メンバーに前記パーティションリカバリ割当を提供するように構成される提供ユニット（１５０９）をさらに含み、前記各メンバーは、前記分散データグリッドに関連付けられる前記永続ストレージから１つ以上のパーティションをリカバリするよう動作する、請求項２９に記載のコーディネータ。
JP2016538743A 2013-12-13 2014-12-05 分散データグリッドにおいて永続性パーティションリカバリをサポートするためのシステムおよび方法 Active JP6491210B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361915912P 2013-12-13 2013-12-13
US61/915,912 2013-12-13
US14/271,142 US10706021B2 (en) 2012-01-17 2014-05-06 System and method for supporting persistence partition discovery in a distributed data grid
US14/271,142 2014-05-06
PCT/US2014/068898 WO2015088916A1 (en) 2013-12-13 2014-12-05 System and method for supporting persistence partition recovery in a distributed data grid

Publications (3)

Publication Number Publication Date
JP2017504880A true JP2017504880A (ja) 2017-02-09
JP2017504880A5 JP2017504880A5 (ja) 2017-12-21
JP6491210B2 JP6491210B2 (ja) 2019-03-27

Family

ID=53368673

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016538743A Active JP6491210B2 (ja) 2013-12-13 2014-12-05 分散データグリッドにおいて永続性パーティションリカバリをサポートするためのシステムおよび方法
JP2016537499A Active JP6483699B2 (ja) 2013-12-13 2014-12-05 分散データグリッドにおいて永続ストアのバージョニングおよびインテグリティをサポートするためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016537499A Active JP6483699B2 (ja) 2013-12-13 2014-12-05 分散データグリッドにおいて永続ストアのバージョニングおよびインテグリティをサポートするためのシステムおよび方法

Country Status (5)

Country Link
US (4) US10706021B2 (ja)
EP (2) EP3080698A1 (ja)
JP (2) JP6491210B2 (ja)
CN (2) CN105830033B (ja)
WO (2) WO2015088916A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11229229B2 (en) 2016-06-14 2022-01-25 Purecircle Usa Inc. Steviol glycosides compositions, production methods and uses

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341252B2 (en) 2015-09-30 2019-07-02 Veritas Technologies Llc Partition arbitration optimization
US10191817B2 (en) * 2015-12-28 2019-01-29 Veritas Technologies Llc Systems and methods for backing up large distributed scale-out data systems
CN107885671B (zh) * 2016-09-30 2021-09-14 华为技术有限公司 一种非易失性内存的持久化方法和计算设备
US11550820B2 (en) * 2017-04-28 2023-01-10 Oracle International Corporation System and method for partition-scoped snapshot creation in a distributed data computing environment
US10769019B2 (en) * 2017-07-19 2020-09-08 Oracle International Corporation System and method for data recovery in a distributed data computing environment implementing active persistence
CN110764940A (zh) * 2018-07-26 2020-02-07 北京国双科技有限公司 分布式系统服务异常的处理方法及装置
US11100086B2 (en) * 2018-09-25 2021-08-24 Wandisco, Inc. Methods, devices and systems for real-time checking of data consistency in a distributed heterogenous storage system
CN111352878B (zh) * 2018-12-21 2021-08-27 达发科技(苏州)有限公司 数字信号处理系统及方法
CN109947375B (zh) * 2019-04-04 2021-05-14 江南大学 一种基于分区处理共识算法的分布式存储系统优化方法
CN110309128B (zh) * 2019-07-05 2020-07-17 广东铭太信息科技有限公司 Oracle备份文件自动导入装置及其实现方法、利用该装置进行备份文件导入的方法
CN110795605B (zh) * 2020-01-03 2020-05-12 北京东方通科技股份有限公司 一种基于分布式内存网格的数据存储系统
US11438224B1 (en) 2022-01-14 2022-09-06 Bank Of America Corporation Systems and methods for synchronizing configurations across multiple computing clusters
US20240152429A1 (en) * 2022-11-04 2024-05-09 Microsoft Technology Licensing, Llc Recoverable Processes
CN116361389B (zh) * 2023-03-17 2024-03-08 国网江苏省电力有限公司营销服务中心 一种基于国网营销采集系统的数据同步链路方法及系统
CN117827699B (zh) * 2023-12-27 2024-09-24 中电云计算技术有限公司 并行读cache持久化方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553389B1 (en) * 1999-09-13 2003-04-22 Hewlett-Packard Company Resource availability determination mechanism for distributed data storage system
US20110071981A1 (en) * 2009-09-18 2011-03-24 Sourav Ghosh Automated integrated high availability of the in-memory database cache and the backend enterprise database
US20120297056A1 (en) * 2011-05-16 2012-11-22 Oracle International Corporation Extensible centralized dynamic resource distribution in a clustered data grid

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5819272A (en) 1996-07-12 1998-10-06 Microsoft Corporation Record tracking in database replication
US5784569A (en) 1996-09-23 1998-07-21 Silicon Graphics, Inc. Guaranteed bandwidth allocation method in a computer system for input/output data transfers
US5940367A (en) 1996-11-06 1999-08-17 Pluris, Inc. Fault-tolerant butterfly switch
US6233601B1 (en) 1996-11-14 2001-05-15 Mitsubishi Electric Research Laboratories, Inc. Itinerary based agent mobility including mobility of executable code
US6125368A (en) 1997-02-28 2000-09-26 Oracle Corporation Fault-tolerant timestamp generation for multi-node parallel databases
US5933818A (en) 1997-06-02 1999-08-03 Electronic Data Systems Corporation Autonomous knowledge discovery system and method
US5991894A (en) 1997-06-06 1999-11-23 The Chinese University Of Hong Kong Progressive redundancy transmission
US5999712A (en) 1997-10-21 1999-12-07 Sun Microsystems, Inc. Determining cluster membership in a distributed computer system
US6605120B1 (en) 1998-12-10 2003-08-12 International Business Machines Corporation Filter definition for distribution mechanism for filtering, formatting and reuse of web based content
US6453426B1 (en) 1999-03-26 2002-09-17 Microsoft Corporation Separately storing core boot data and cluster configuration data in a server cluster
US6693874B1 (en) 1999-05-26 2004-02-17 Siemens Information & Communication Networks, Inc. System and method for enabling fault tolerant H.323 systems
US7020695B1 (en) 1999-05-28 2006-03-28 Oracle International Corporation Using a cluster-wide shared repository to provide the latest consistent definition of the cluster (avoiding the partition-in time problem)
US6871222B1 (en) 1999-05-28 2005-03-22 Oracle International Corporation Quorumless cluster using disk-based messaging
US6487622B1 (en) 1999-10-28 2002-11-26 Ncr Corporation Quorum arbitrator for a high availability system
WO2001082678A2 (en) 2000-05-02 2001-11-08 Sun Microsystems, Inc. Cluster membership monitor
US20020035559A1 (en) 2000-06-26 2002-03-21 Crowe William L. System and method for a decision engine and architecture for providing high-performance data querying operations
US6915391B2 (en) 2000-12-15 2005-07-05 International Business Machines Corporation Support for single-node quorum in a two-node nodeset for a shared disk parallel file system
JP4637382B2 (ja) * 2001-02-13 2011-02-23 サイボウズ株式会社 データバックアップシステム
US7792977B1 (en) 2001-02-28 2010-09-07 Oracle International Corporation Method for fencing shared resources from cluster nodes
US20040179471A1 (en) 2001-03-07 2004-09-16 Adisak Mekkittikul Bi-directional flow-switched ring
US20020169738A1 (en) 2001-05-10 2002-11-14 Giel Peter Van Method and system for auditing an enterprise configuration
US7113980B2 (en) 2001-09-06 2006-09-26 Bea Systems, Inc. Exactly once JMS communication
US7376953B2 (en) 2001-10-29 2008-05-20 Hewlett-Packard Development Company, L.P. Apparatus and method for routing a transaction to a server
US6904448B2 (en) 2001-12-20 2005-06-07 International Business Machines Corporation Dynamic quorum adjustment
US20030187927A1 (en) 2002-02-22 2003-10-02 Winchell David F. Clustering infrastructure system and method
US7139925B2 (en) 2002-04-29 2006-11-21 Sun Microsystems, Inc. System and method for dynamic cluster adjustment to node failures in a distributed data system
US6952758B2 (en) 2002-07-31 2005-10-04 International Business Machines Corporation Method and system for providing consistent data modification information to clients in a storage system
US7206836B2 (en) 2002-09-23 2007-04-17 Sun Microsystems, Inc. System and method for reforming a distributed data system cluster after temporary node failures or restarts
US20040153558A1 (en) 2002-10-31 2004-08-05 Mesut Gunduc System and method for providing java based high availability clustering framework
US7451359B1 (en) 2002-11-27 2008-11-11 Oracle International Corp. Heartbeat mechanism for cluster systems
US7127577B2 (en) * 2003-01-21 2006-10-24 Equallogic Inc. Distributed snapshot process
KR100553920B1 (ko) 2003-02-13 2006-02-24 인터내셔널 비지네스 머신즈 코포레이션 컴퓨터 클러스터 운영 방법
US7376754B2 (en) 2003-02-27 2008-05-20 Bea Systems, Inc. System and method for communications between servers in a cluster
US20040176968A1 (en) 2003-03-07 2004-09-09 Microsoft Corporation Systems and methods for dynamically configuring business processes
US7958026B2 (en) 2003-04-29 2011-06-07 Oracle International Corporation Hierarchical transaction filtering
US20050021737A1 (en) 2003-05-01 2005-01-27 Ellison Carl M. Liveness protocol
US20040267897A1 (en) 2003-06-24 2004-12-30 Sychron Inc. Distributed System Providing Scalable Methodology for Real-Time Control of Server Pools and Data Centers
JP5068000B2 (ja) 2003-07-31 2012-11-07 富士通株式会社 Ｘｍｌドリブンアーキテクチャにおける情報処理方法及びプログラム
US8234517B2 (en) * 2003-08-01 2012-07-31 Oracle International Corporation Parallel recovery by non-failed nodes
US7551552B2 (en) 2003-10-17 2009-06-23 Microsoft Corporation Method for providing guaranteed distributed failure notification
US7260698B2 (en) 2003-10-30 2007-08-21 International Business Machines Corporation Method and system for page initialization using off-level worker thread
US7464378B1 (en) 2003-12-04 2008-12-09 Symantec Operating Corporation System and method for allowing multiple sub-clusters to survive a cluster partition
US7406464B2 (en) 2003-12-08 2008-07-29 Ebay Inc. Custom caching
US7299378B2 (en) 2004-01-15 2007-11-20 Oracle International Corporation Geographically distributed clusters
US7712077B2 (en) 2004-02-27 2010-05-04 International Business Machines Corporation Method and system for instantiating components conforming to the “COM” specification in custom contexts
US7428733B2 (en) 2004-05-13 2008-09-23 Bea Systems, Inc. System and method for custom module creation and deployment
US7386753B2 (en) 2004-09-02 2008-06-10 International Business Machines Corporation Subscription-based management and distribution of member-specific state data in a distributed computing system
US7640339B1 (en) 2005-02-14 2009-12-29 Sun Microsystems, Inc. Method and apparatus for monitoring a node in a distributed system
US7530059B2 (en) 2005-02-18 2009-05-05 International Business Machines Corporation Method for inlining native functions into compiled java code
US7613774B1 (en) 2005-03-01 2009-11-03 Sun Microsystems, Inc. Chaperones in a distributed system
US7979457B1 (en) 2005-03-02 2011-07-12 Kayak Software Corporation Efficient search of supplier servers based on stored search results
US7698390B1 (en) 2005-03-29 2010-04-13 Oracle America, Inc. Pluggable device specific components and interfaces supported by cluster devices and systems and methods for implementing the same
US7739677B1 (en) 2005-05-27 2010-06-15 Symantec Operating Corporation System and method to prevent data corruption due to split brain in shared data clusters
US7870230B2 (en) 2005-07-15 2011-01-11 International Business Machines Corporation Policy-based cluster quorum determination
US7720971B2 (en) 2005-09-12 2010-05-18 Microsoft Corporation Arbitrating an appropriate back-end server to receive channels of a client session
US20070118693A1 (en) 2005-11-19 2007-05-24 International Business Machines Cor Method, apparatus and computer program product for cache restoration in a storage system
US7882079B2 (en) 2005-11-30 2011-02-01 Oracle International Corporation Database system configured for automatic failover with user-limited data loss
US7627584B2 (en) 2005-11-30 2009-12-01 Oracle International Corporation Database system configured for automatic failover with no data loss
US7756924B2 (en) 2005-12-21 2010-07-13 Microsoft Corporation Peer communities
JP2007219609A (ja) 2006-02-14 2007-08-30 Hitachi Ltd スナップショット管理装置及び方法
US8413209B2 (en) 2006-03-27 2013-04-02 Telecom Italia S.P.A. System for enforcing security policies on mobile communications devices
US7676628B1 (en) * 2006-03-31 2010-03-09 Emc Corporation Methods, systems, and computer program products for providing access to shared storage by computing grids and clusters with large numbers of nodes
US8570857B2 (en) 2006-04-07 2013-10-29 At&T Intellectual Property I, Lp Resilient IP ring protocol and architecture
US7975288B2 (en) 2006-05-02 2011-07-05 Oracle International Corporation Method and apparatus for imposing quorum-based access control in a computer system
US20070271584A1 (en) 2006-05-16 2007-11-22 Microsoft Corporation System for submitting and processing content including content for on-line media console
US7953861B2 (en) 2006-08-10 2011-05-31 International Business Machines Corporation Managing session state for web applications
US8775402B2 (en) 2006-08-15 2014-07-08 Georgia State University Research Foundation, Inc. Trusted query network systems and methods
US20080077622A1 (en) * 2006-09-22 2008-03-27 Keith Robert O Method of and apparatus for managing data utilizing configurable policies and schedules
US7814248B2 (en) 2006-12-07 2010-10-12 Integrated Device Technology, Inc. Common access ring/sub-ring system
US9111276B2 (en) 2006-12-08 2015-08-18 Sap Se Secure execution environments for process models
US8104080B2 (en) 2007-01-26 2012-01-24 Microsoft Corporation Universal schema for representing management policy
US9026655B2 (en) 2007-01-31 2015-05-05 Oracle America, Inc. Method and system for load balancing
JP5036041B2 (ja) 2007-04-25 2012-09-26 アズビル株式会社 Ｒｓｔｐ処理方式
US8745584B2 (en) 2007-05-03 2014-06-03 International Business Machines Corporation Dependency injection by static code generation
US20080281959A1 (en) 2007-05-10 2008-11-13 Alan Robertson Managing addition and removal of nodes in a network
US20100312861A1 (en) 2007-11-30 2010-12-09 Johan Kolhi Method, network, and node for distributing electronic content in a content distribution network
US8397227B2 (en) 2007-12-04 2013-03-12 International Business Machines Corporation Automatic deployment of Java classes using byte code instrumentation
US8401994B2 (en) * 2009-09-18 2013-03-19 Oracle International Corporation Distributed consistent grid of in-memory database caches
US20090228321A1 (en) 2008-03-04 2009-09-10 Oracle International Corporation Accessing an Enterprise Calendar and Scheduling Group Meetings Using a Mobile Device
US7990850B2 (en) 2008-04-11 2011-08-02 Extreme Networks, Inc. Redundant Ethernet automatic protection switching access to virtual private LAN services
US20090265449A1 (en) 2008-04-22 2009-10-22 Hewlett-Packard Development Company, L.P. Method of Computer Clustering
US7543046B1 (en) 2008-05-30 2009-06-02 International Business Machines Corporation Method for managing cluster node-specific quorum roles
US8719803B2 (en) 2008-06-04 2014-05-06 Microsoft Corporation Controlling parallelization of recursion using pluggable policies
JP5557840B2 (ja) * 2008-10-03 2014-07-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 分散データベースの監視メカニズム
JP5425448B2 (ja) * 2008-11-27 2014-02-26 インターナショナル・ビジネス・マシーンズ・コーポレーション データベース・システム、サーバ、更新方法およびプログラム
US8402464B2 (en) 2008-12-01 2013-03-19 Oracle America, Inc. System and method for managing contention in transactional memory using global execution data
US7917596B2 (en) 2009-01-07 2011-03-29 Oracle International Corporation Super master
US8595714B1 (en) 2009-03-04 2013-11-26 Amazon Technologies, Inc. User controlled environment updates in server cluster
US8626552B2 (en) 2009-03-26 2014-01-07 International Business Machines Corporation Quorum management of appointment scheduling
US8209307B2 (en) 2009-03-31 2012-06-26 Commvault Systems, Inc. Systems and methods for data migration in a clustered file system
US20100268571A1 (en) 2009-04-16 2010-10-21 Mitel Networks Corporation System and method for determining availibility of a group to communicate with a user
GB2472620B (en) * 2009-08-12 2016-05-18 Cloudtran Inc Distributed transaction processing
CN101997823B (zh) * 2009-08-17 2013-10-02 联想(北京)有限公司 一种分布式文件系统及其数据访问方法
US8108734B2 (en) 2009-11-02 2012-01-31 International Business Machines Corporation Intelligent rolling upgrade for data storage systems
US8578038B2 (en) 2009-11-30 2013-11-05 Nokia Corporation Method and apparatus for providing access to social content
US9135268B2 (en) 2009-12-30 2015-09-15 Symantec Corporation Locating the latest version of replicated data files
US9286369B2 (en) 2009-12-30 2016-03-15 Symantec Corporation Data replication across enterprise boundaries
US8417899B2 (en) 2010-01-21 2013-04-09 Oracle America, Inc. System and method for controlling access to shared storage device
US8700842B2 (en) 2010-04-12 2014-04-15 Sandisk Enterprise Ip Llc Minimizing write operations to a flash memory-based object store
JP5691306B2 (ja) * 2010-09-03 2015-04-01 日本電気株式会社 情報処理システム
US8600944B2 (en) * 2010-09-24 2013-12-03 Hitachi Data Systems Corporation System and method for managing integrity in a distributed database
US8639758B2 (en) 2010-11-09 2014-01-28 Genesys Telecommunications Laboratories, Inc. System for determining presence of and authorizing a quorum to transact business over a network
US9558256B2 (en) 2010-11-16 2017-01-31 Linkedin Corporation Middleware data log system
US20120158650A1 (en) 2010-12-16 2012-06-21 Sybase, Inc. Distributed data cache database architecture
US9355145B2 (en) 2011-01-25 2016-05-31 Hewlett Packard Enterprise Development Lp User defined function classification in analytical data processing systems
US9262229B2 (en) 2011-01-28 2016-02-16 Oracle International Corporation System and method for supporting service level quorum in a data grid cluster
US20120254118A1 (en) 2011-03-31 2012-10-04 Microsoft Corporation Recovery of tenant data across tenant moves
WO2013018808A1 (ja) 2011-08-02 2013-02-07 日本電気株式会社 分散ストレージシステムおよび方法
US8584136B2 (en) 2011-08-15 2013-11-12 Sap Ag Context-aware request dispatching in clustered environments
US8868546B2 (en) * 2011-09-15 2014-10-21 Oracle International Corporation Query explain plan in a distributed data management system
US9621409B2 (en) * 2011-09-15 2017-04-11 Oracle International Corporation System and method for handling storage events in a distributed data grid
EP2829976A4 (en) 2012-03-22 2015-11-11 Nec Corp DISTRIBUTED STORAGE SYSTEM, STORAGE CONTROL METHOD, AND PROGRAM
US9311014B2 (en) 2012-11-29 2016-04-12 Infinidat Ltd. Storage system and methods of mapping addresses of snapshot families
US20140278573A1 (en) * 2013-03-15 2014-09-18 State Farm Mutual Automobile Insurance Company Systems and methods for initiating insurance processing using ingested data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553389B1 (en) * 1999-09-13 2003-04-22 Hewlett-Packard Company Resource availability determination mechanism for distributed data storage system
US20110071981A1 (en) * 2009-09-18 2011-03-24 Sourav Ghosh Automated integrated high availability of the in-memory database cache and the backend enterprise database
US20120297056A1 (en) * 2011-05-16 2012-11-22 Oracle International Corporation Extensible centralized dynamic resource distribution in a clustered data grid

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11229229B2 (en) 2016-06-14 2022-01-25 Purecircle Usa Inc. Steviol glycosides compositions, production methods and uses
US11647773B2 (en) 2016-06-14 2023-05-16 Purecircle Usa Inc. Production methods for steviol glycosides compositions

Also Published As

Publication number Publication date
WO2015088918A1 (en) 2015-06-18
EP3080698A1 (en) 2016-10-19
US20190121790A1 (en) 2019-04-25
CN105814544B (zh) 2020-03-24
CN105814544A (zh) 2016-07-27
US20150169598A1 (en) 2015-06-18
JP2016540312A (ja) 2016-12-22
US10176184B2 (en) 2019-01-08
CN105830033A (zh) 2016-08-03
US20150169653A1 (en) 2015-06-18
US20150169718A1 (en) 2015-06-18
CN105830033B (zh) 2020-03-24
JP6491210B2 (ja) 2019-03-27
WO2015088916A1 (en) 2015-06-18
EP3080697A1 (en) 2016-10-19
US10706021B2 (en) 2020-07-07
US10817478B2 (en) 2020-10-27
JP6483699B2 (ja) 2019-03-13

Similar Documents

Publication Publication Date Title
JP6491210B2 (ja) 分散データグリッドにおいて永続性パーティションリカバリをサポートするためのシステムおよび方法
US11288248B2 (en) Performing file system operations in a distributed key-value store
US11360854B2 (en) Storage cluster configuration change method, storage cluster, and computer system
US9703853B2 (en) System and method for supporting partition level journaling for synchronizing data in a distributed data grid
WO2016070375A1 (zh) 一种分布式存储复制系统和方法
US8954391B2 (en) System and method for supporting transient partition consistency in a distributed data grid
CN101136728A (zh) 群集系统和用于备份群集系统中的副本的方法
US20150169236A1 (en) System and method for supporting memory allocation control with push-back in a distributed data grid
WO2007028249A1 (en) Method and apparatus for sequencing transactions globally in a distributed database cluster with collision monitoring
JP2015162092A (ja) クラスタシステムのサーバ装置およびそのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190228

R150 Certificate of patent or registration of utility model

Ref document number: 6491210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250