JP2014513852A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2014513852A5 JP2014513852A5 JP2014511463A JP2014511463A JP2014513852A5 JP 2014513852 A5 JP2014513852 A5 JP 2014513852A5 JP 2014511463 A JP2014511463 A JP 2014511463A JP 2014511463 A JP2014511463 A JP 2014511463A JP 2014513852 A5 JP2014513852 A5 JP 2014513852A5
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- cluster
- computer
- distributed
- coordinator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005192 partition Methods 0.000 claims 16
- 238000004590 computer program Methods 0.000 claims 1
Claims (15)
- 拡張可能な集中型の動的なリソース分散を提供するためにコンピュータで実現される方法であって、前記方法は、
コンピュータノードのクラスタに亘って分散しているデータセットの複数のパーティションを記憶することと、
前記クラスタのグローバル状態を示す情報を収集し、前記グローバル状態へのアクセスを提供する中央分散コーディネータとなる前記コンピュータノードの1つを指定することと、
前記コンピュータノードの間での前記パーティションの分散に対して変更を加えるべきであるかどうかを判断するために、定期的に、分散コーディネータによるクラスタのグローバル状態を分析することと、
前記パーティションの分散に対する前記変更に基づいて、前記分散コーディネータによって、新たな分散プランを生成し、コンピュータノードのクラスタ中のすべてのコンピュータノードに、前記分散プランへのアクセスを提供することと、
前記新たな分散プランを実施するために前記コンピュータノードに関連付けられた個々のパーティション転送をどのように実行するかをクラスタ内の各コンピュータノードによって独立して判断するための分散アルゴリズムを使用することとを含む、方法。 - 前記パーティションの分散に対して変更を加えるべきであるかどうかを判断するために、定期的に、分散コーディネータによるクラスタのグローバル状態を分析することは、
前記分散コーディネータによってプラガブルな分散ロジックモジュールを呼び出すことを含み、前記プラガブルな分散ロジックモジュールは、コンピュータノードのクラスタの間で前記パーティションを分散するために利用されるアルゴリズムを調節するためにランタイムで切り替えられ得る、請求項1に記載の方法。 - 分散アルゴリズムを使用することは、さらに、
送信ノードと受信ノードとの間の直接的な非同期通信の結果として、コンピュータノードのクラスタにおける2つのコンピュータノード間で二地点間での個々のパーティションの転送を実行することを含み、前記分散コーディネータは前記パーティションの転送の命令に関与しない、請求項1または2に記載の方法。 - 前記クラスタのグローバル状態は、クラスタ内の各コンピュータノードに対して前記パーティションのうちどれが割り当てられるかを示す情報を含む、請求項1〜3のいずれか1項に記載の方法。
- 前記クラスタのグローバル状態は、クラスタ内の各コンピュータノードに対する現在の処理負荷を示す情報を含み、現在の処理負荷は、前記分散コーディネータにランタイムフィードバックの統計を定期的に送信する前記各コンピュータノードによって決定される、請求項1〜4のいずれか1項に記載の方法。
- 前記クラスタのグローバル状態は、クラスタ内の各コンピュータノードのメモリ容量とプロセッサ容量とを示す情報を含む、請求項1〜5のいずれか1項に記載の方法。
- 前記複数のパーティションは、さらに、基本パーティションの組とバックアップパーティションの組とを有し、分散コーディネータは、各基本パーティションが当該基本パーティションに関連付けられたバックアップパーティションとは異なる物理的ノード上に位置されることを確実にする、請求項1〜6のいずれか1項に記載の方法。
- 分散コーディネータによって生成された新たな分散プランは、所与の各コンピュータノ
ード毎に限られた数のコンピュータノード、前記所与のコンピュータノード上に位置する基本パーティションに関連付けられたバックアップパーティションを含むことを許される制限を課す、請求項7に記載の方法。 - 前記分散コーディネータは、前記クラスタ内のコンピュータノードの間での前記パーティションの分散のための単一の調節点を提供する、請求項1〜8のいずれか1項に記載の方法。
- 前記新しい分散プランは、特定のパーティションが前記クラスタ内の指定されたコンピュータノード上に位置することを特定する、請求項1〜9のいずれか1項に記載の方法。
- 1つ以上のコンピュータによって実行されると前記1つ以上のコンピュータに請求項1〜10のいずれか1項に記載の方法を実行させる命令を含む、コンピュータプログラム。
- 請求項1〜10のいずれか1項に記載の方法のすべてのステップを実行するように構成された1つ以上のコンピュータを含む装置。
- 拡張可能な集中型の動的なリソース分散を提供するためのシステムであって、前記システムは、
データセットの複数のパーティションを記憶しているコンピュータノードのクラスタを含み、前記パーティションは、コンピュータノードの前記クラスタに亘って分散しており、さらに、
コンピュータノードから選択された分散コーディネータを含み、前記分散コーディネータは、前記クラスタのグローバル状態を示す情報を収集し、前記コンピュータノードの間での前記パーティションの分散に対して変更を加えるべきであるかどうかを判断するために、定期的にグローバル状態を分析し、前記変更に基づいて新たな分散プランを生成し、コンピュータノードのクラスタ内のすべてのコンピュータノードに前記分散プランへのアクセスを提供し、
コンピュータノードの前記クラスタは、前記分散コーディネータによって生成された前記新たな分散プランを実行するために前記コンピュータノードに関連付けられた個々のパーティション転送をどのように実行するかをクラスタ内の各コンピュータノードによって独立して判断するための分散アルゴリズムを使用する、システム。 - 拡張可能な集中型の動的なリソース分散を提供するための方法であって、前記方法は、
コンピュータノードのクラスタに亘って分散しているデータセットの複数のパーティションを記憶することと、
前記コンピュータノードの間での前記パーティションの分散に対して変更を加えるべきであるかどうかを判断するために、定期的に、分散コーディネータによるクラスタのグローバル状態を分析することととを含み、前記分散コーディネータは前記コンピュータノードの中の1つであり、さらに、
前記パーティションの分散に対する前記変更に基づいて、前記分散コーディネータによって、新たな分散プランを生成し、コンピュータノードのクラスタの全体に、前記分散プランへのアクセスを提供することと、
前記新たな分散プランを実施するために前記コンピュータノードに関連付けられた個々のパーティション転送をどのように実行するかをクラスタ内の各コンピュータノードによって独立して判断するための分散アルゴリズムを使用することとを含む、方法。 - プロセッサに、以下のステップの組を実行させるためのプログラムであって、前記ステップの組は、
コンピュータノードのクラスタに亘って分散しているデータセットの複数のパーティションを記憶することと、
前記コンピュータノードの間での前記パーティションの分散に対して変更を加えるべきであるかどうかを判断するために、定期的に、分散コーディネータによるクラスタのグローバル状態を分析することととを含み、前記分散コーディネータは前記コンピュータノードの中の1つであり、
前記パーティションの分散に対する前記変更に基づいて、前記分散コーディネータによって、新たな分散プランを生成し、コンピュータノードのクラスタの全体に、前記分散プランへのアクセスを提供することと、
前記新たな分散プランを実施するために前記コンピュータノードに関連付けられた個々のパーティション転送をどのように実行するかをクラスタ内の各コンピュータノードによって独立して判断するために分散アルゴリズムを使用することとを含む、プログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161486701P | 2011-05-16 | 2011-05-16 | |
US61/486,701 | 2011-05-16 | ||
US13/239,253 | 2011-09-21 | ||
US13/239,253 US9703610B2 (en) | 2011-05-16 | 2011-09-21 | Extensible centralized dynamic resource distribution in a clustered data grid |
PCT/US2012/037997 WO2012158718A1 (en) | 2011-05-16 | 2012-05-15 | Extensible centralized dynamic resource distribution in a clustered data grid |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014513852A JP2014513852A (ja) | 2014-06-05 |
JP2014513852A5 true JP2014513852A5 (ja) | 2015-06-18 |
JP5998206B2 JP5998206B2 (ja) | 2016-09-28 |
Family
ID=47175797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014511463A Active JP5998206B2 (ja) | 2011-05-16 | 2012-05-15 | クラスタデータグリッドにおける拡張可能な中央集中型動的リソース分散 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9703610B2 (ja) |
EP (1) | EP2710470B1 (ja) |
JP (1) | JP5998206B2 (ja) |
CN (1) | CN103534687B (ja) |
WO (1) | WO2012158718A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9262229B2 (en) | 2011-01-28 | 2016-02-16 | Oracle International Corporation | System and method for supporting service level quorum in a data grid cluster |
US10706021B2 (en) * | 2012-01-17 | 2020-07-07 | Oracle International Corporation | System and method for supporting persistence partition discovery in a distributed data grid |
US10394611B2 (en) * | 2012-11-26 | 2019-08-27 | Amazon Technologies, Inc. | Scaling computing clusters in a distributed computing system |
US9607071B2 (en) * | 2014-03-07 | 2017-03-28 | Adobe Systems Incorporated | Managing a distributed database across a plurality of clusters |
US9448843B2 (en) | 2014-03-26 | 2016-09-20 | International Business Machines Corporation | Allocating a global resource to consumers across different regions of a distributed grid environment based on use data and demand data of each consumer |
US10243869B2 (en) * | 2014-05-21 | 2019-03-26 | Oracle International Corporation | System and method for providing a distributed queue in a distributed data grid |
US10664495B2 (en) | 2014-09-25 | 2020-05-26 | Oracle International Corporation | System and method for supporting data grid snapshot and federation |
US10102086B2 (en) * | 2014-12-19 | 2018-10-16 | Futurewei Technologies, Inc. | Replicated database distribution for workload balancing after cluster reconfiguration |
US10798146B2 (en) | 2015-07-01 | 2020-10-06 | Oracle International Corporation | System and method for universal timeout in a distributed computing environment |
US11163498B2 (en) | 2015-07-01 | 2021-11-02 | Oracle International Corporation | System and method for rare copy-on-write in a distributed computing environment |
US10585599B2 (en) | 2015-07-01 | 2020-03-10 | Oracle International Corporation | System and method for distributed persistent store archival and retrieval in a distributed computing environment |
US10860378B2 (en) | 2015-07-01 | 2020-12-08 | Oracle International Corporation | System and method for association aware executor service in a distributed computing environment |
US10402469B2 (en) * | 2015-10-16 | 2019-09-03 | Google Llc | Systems and methods of distributed optimization |
US10558637B2 (en) * | 2015-12-17 | 2020-02-11 | Sap Se | Modularized data distribution plan generation |
CN107526533B (zh) * | 2016-06-21 | 2020-08-11 | 伊姆西Ip控股有限责任公司 | 存储管理方法及设备 |
US11550820B2 (en) | 2017-04-28 | 2023-01-10 | Oracle International Corporation | System and method for partition-scoped snapshot creation in a distributed data computing environment |
US10769019B2 (en) | 2017-07-19 | 2020-09-08 | Oracle International Corporation | System and method for data recovery in a distributed data computing environment implementing active persistence |
US10862965B2 (en) | 2017-10-01 | 2020-12-08 | Oracle International Corporation | System and method for topics implementation in a distributed data computing environment |
CN109067649B (zh) * | 2018-07-31 | 2021-06-22 | 平安科技(深圳)有限公司 | 节点处理方法及装置、存储介质和电子设备 |
CN110855737B (zh) * | 2019-09-24 | 2020-11-06 | 中国科学院软件研究所 | 一种一致性级别可控的自适应数据同步方法和系统 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7020697B1 (en) * | 1999-10-01 | 2006-03-28 | Accenture Llp | Architectures for netcentric computing systems |
US20020055972A1 (en) * | 2000-05-08 | 2002-05-09 | Weinman Joseph Bernard | Dynamic content distribution and data continuity architecture |
JP4087097B2 (ja) * | 2001-11-12 | 2008-05-14 | 株式会社日立製作所 | データベース管理システム情報を考慮したデータ再配置方法およびデータ再配置を行う計算機システム |
US7080221B1 (en) * | 2003-04-23 | 2006-07-18 | Emc Corporation | Method and apparatus for managing migration of data in a clustered computer system environment |
US7698428B2 (en) * | 2003-12-15 | 2010-04-13 | International Business Machines Corporation | Apparatus, system, and method for grid based data storage |
JP4677412B2 (ja) * | 2004-11-08 | 2011-04-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 複数のクライアントにまたがってデータをバックアップするための方法 |
US7756842B2 (en) * | 2004-11-17 | 2010-07-13 | Iron Mountain Incorporated | Systems and methods for tracking replication of digital assets |
JP4670042B2 (ja) * | 2005-01-13 | 2011-04-13 | ブラザー工業株式会社 | ノード装置、ノード装置情報更新方法、及びノード装置情報更新プログラム |
US7941401B2 (en) * | 2005-05-09 | 2011-05-10 | Gemstone Systems, Inc. | Distributed data management system |
JP4757165B2 (ja) * | 2006-10-04 | 2011-08-24 | 株式会社日立製作所 | 計算機システム、データ移行監視方法及びデータ移行監視プログラム |
JPWO2008056507A1 (ja) * | 2006-11-09 | 2010-02-25 | コニカミノルタホールディングス株式会社 | 情報の管理方法及び情報処理装置 |
TWI402698B (zh) | 2007-05-24 | 2013-07-21 | Via Tech Inc | 資料分散存取方法與系統 |
US7779074B2 (en) * | 2007-11-19 | 2010-08-17 | Red Hat, Inc. | Dynamic data partitioning of data across a cluster in a distributed-tree structure |
US8103628B2 (en) * | 2008-04-09 | 2012-01-24 | Harmonic Inc. | Directed placement of data in a redundant data storage system |
CN101442435B (zh) | 2008-12-25 | 2012-04-04 | 华为技术有限公司 | 分布式系统的业务数据管理方法、装置及分布式系统 |
JP2010277517A (ja) * | 2009-06-01 | 2010-12-09 | Ricoh Co Ltd | ファイル管理サーバ、ファイル管理システム、ファイル管理プログラム、及びファイル管理方法 |
US8417899B2 (en) * | 2010-01-21 | 2013-04-09 | Oracle America, Inc. | System and method for controlling access to shared storage device |
CA2794339C (en) * | 2010-03-26 | 2017-02-21 | Carbonite, Inc. | Transfer of user data between logical data sites |
EP2385680B1 (en) * | 2010-05-06 | 2012-10-03 | Voddler Sweden AB | Content delivery over a peer-to-peer network |
CN102014137A (zh) | 2010-12-13 | 2011-04-13 | 哈尔滨工业大学 | 一种基于hla的通用分布式数据记录装置和方法 |
US20120254118A1 (en) * | 2011-03-31 | 2012-10-04 | Microsoft Corporation | Recovery of tenant data across tenant moves |
-
2011
- 2011-09-21 US US13/239,253 patent/US9703610B2/en active Active
-
2012
- 2012-05-15 WO PCT/US2012/037997 patent/WO2012158718A1/en active Application Filing
- 2012-05-15 CN CN201280023355.1A patent/CN103534687B/zh active Active
- 2012-05-15 EP EP12724458.0A patent/EP2710470B1/en active Active
- 2012-05-15 JP JP2014511463A patent/JP5998206B2/ja active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014513852A5 (ja) | ||
Krause et al. | JURECA: general-purpose supercomputer at Jülich supercomputing centre | |
JP5998206B2 (ja) | クラスタデータグリッドにおける拡張可能な中央集中型動的リソース分散 | |
CN105912396B (zh) | 用于动态地分配可配置计算资源的资源的技术 | |
KR102701129B1 (ko) | 총체적 글로벌 성능 및 전력 관리 | |
EP4340331A3 (en) | Replicated database distribution for workload balancing after cluster reconfiguration | |
Dhurandher et al. | A cluster-based load balancing algorithm in cloud computing | |
Zhao et al. | A data placement strategy for data-intensive scientific workflows in cloud | |
Li et al. | An effective scheduling strategy based on hypergraph partition in geographically distributed datacenters | |
Lei et al. | CREST: Towards fast speculation of straggler tasks in MapReduce | |
Chen et al. | Tology-aware optimal data placement algorithm for network traffic optimization | |
Zhao et al. | A data placement algorithm for data intensive applications in cloud | |
CN102831102A (zh) | 一种在计算机集群上进行矩阵乘积运算的方法和系统 | |
Sitaram et al. | Energy efficient data center management under availability constraints | |
Yang et al. | K-Means Method for Grouping in Hybrid MapReduce Cluster. | |
Biswas et al. | A novel resource aware scheduling with multi-criteria for heterogeneous computing systems | |
Adam et al. | Constructing performance-predictable clusters with performance-varying resources of clouds | |
Niu et al. | An adaptive efficiency-fairness meta-scheduler for data-intensive computing | |
Zareian et al. | K-Feed-a data-oriented approach to application performance management in cloud | |
Sharma et al. | Dynamic load balancing algorithm for heterogeneous multi-core processors cluster | |
Malathy et al. | Performance improvement in cloud computing using resource clustering | |
Roman et al. | Understanding spark performance in hybrid and multi-site clouds | |
Jena et al. | Improving quality of service constraints of Cloud data centers | |
Sahana et al. | Weight based Load Balancing in Kubernetes using AWS | |
Gu et al. | The implementation of MapReduce scheduling algorithm based on priority |