JP2016526735A - 仮想ハドゥープマネジャ - Google Patents
仮想ハドゥープマネジャ Download PDFInfo
- Publication number
- JP2016526735A JP2016526735A JP2016524367A JP2016524367A JP2016526735A JP 2016526735 A JP2016526735 A JP 2016526735A JP 2016524367 A JP2016524367 A JP 2016524367A JP 2016524367 A JP2016524367 A JP 2016524367A JP 2016526735 A JP2016526735 A JP 2016526735A
- Authority
- JP
- Japan
- Prior art keywords
- resource
- host
- cluster
- contention
- metric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 25
- 230000009467 reduction Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000282813 Aepyceros melampus Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
図4は、本開示の一実施形態による、分散計算の複数の仮想クラスタ134−1、134−2(クラスタ134と総称される)として動作するように構成された仮想ハドゥープマネジャ132を有する仮想計算システム400を示すブロック図である。仮想計算システム400は、ホスト108内の他の非ハドゥープ関連作業負荷を実行する他の非ハドゥープ関連VM(ホスト108−N上で実行するVM410により表される)を含み得ることを認識すべきである。分散計算アプリケーション124は単一エンティティとして描写されるが、仮想クラスタ134は、同じ分散計算アプリケーションの異なるバージョンのものであり得る、または異なる分散計算フレームワークを纏めたものであり得ることを認識すべきである。
・特定のVM内で活発に使用されているマシンページ番号(MPN)の数に基づきハイパーバイザにより推定される活発に使用されるメモリの量を示す「活性メモリ」メトリック。
・特定のVMに対して許容されたMPNの数に基づき特定のVMに対して許容されたマシンメモリまたは「物理的」メモリの量を示す「許容メモリ」メトリック。
・VM(活性/非活性MPNを含む)により使用されているMPNの数(共有MPNを除く)に基づく特定のVMにより消費されるゲスト物理メモリの量を示す「消費メモリ」メトリック。
・バルーニングを介しVMから現在再要求されているゲスト物理メモリの量を示すバルーン目標サイズを含む「メモリバルーニング(Memory Ballooning)」メトリック。
・スワッピングに利用可能なメモリの量を示すVMスワップファイルの目標サイズを含む「ホストスワップ(Host Swap)」メトリック。
・仮想マシンが準備できていたが、物理的CPU上で実行されるようにスケジュールできなかった時間の百分率(または時間のサイクル)を示すCPUレディメトリック。
・活発に使用される仮想CPUの量を全利用可能CPUの百分率として示すCPU使用率メトリック。
・VMがその仮想マシンまたは他の仮想マシンに代わってシステムサービスを行うために中断された時間量を示すCPUオーバーラップメトリック。
・その他のメトリック。
Claims (20)
- 仮想計算環境内のマルチテナント分散計算アプリケーションを実行する方法であって、
仮想計算環境内で実行している複数の計算クラスタからクラスタ関連メトリックを受信することであって、各計算クラスタが作業負荷スケジューラと複数のワーカノードとを含むことと、
前記仮想計算環境の性能に関連付けられた資源関連メトリックを受信することであって、前記資源関連メトリックがメモリ関連メトリックおよびCPU関連メトリックのうちの少なくとも1つを含むことと、
前記受信したクラスタ関連メトリックおよび資源関連メトリックに基づいて、ホストの計算資源について前記複数の計算クラスタ間の資源競合の状態を判断すること、
前記資源競合の状態を判断することに応じて、前記ホスト上で少なくとも部分的に実行している前記複数の計算クラスタのうちの少なくとも1つを縮小すること、
資源競合が前記ホスト上に存在しないと判断することに応じて、前記ホスト上で少なくとも部分的に実行していて保留中作業を有する前記複数の計算クラスタのうちの少なくとも1つを拡大すること
を備える方法。 - 前記資源競合は、前記ホスト上で実行している仮想マシンの未使用ゲストメモリの量を超える当該仮想マシンのメモリ再利用の量に基づいて判断される、請求項1に記載の方法。
- 前記資源競合は、前記仮想計算環境内の仮想マシンが使用可能状態であったが、物理的CPU上で実行されるようにスケジュールできなかった時間のサイクルを示すCPUレディメトリックに基づいて、および前記仮想計算環境内の仮想マシンが当該仮想マシンに代わってシステムサービスを行うために中断された時間のサイクルを示すCPUオーバーラップメトリックに基づいて判断される、請求項1に記載の方法。
- 初期期間内に電源が入れられたVMに関連付けられた前記資源関連メトリックの一部が前記資源競合の状態を判断することから無視される、請求項1に記載の方法。
- 前記ホスト上で少なくとも部分的に実行している前記複数の計算クラスタのうちの少なくとも1つを縮小することはさらに、メモリ競合VMとCPU競合VMとの両方が前記ホスト上に存在すると判断することに応じて、前記メモリ競合VMを選択することを含む、請求項1に記載の方法。
- 前記ホスト上で少なくとも部分的に実行している前記複数の計算クラスタのうちの少なくとも1つを縮小することはさらに、VM上で実行しているタスクトラッカーノードの委託を解除して、前記VMの電源を切ることを含み、
前記ホスト上で少なくとも部分的に実行していて保留中作業を有する前記複数の計算クラスタのうちの少なくとも1つを拡大することはさらに、前記ホスト上で実行しているVMの電源を入れて、前記VM上で実行するためにタスクトラッカーを再委託することを含む、請求項1に記載の方法。 - 前記資源競合の状態は、前記受信したクラスタ関連メトリックおよび資源関連メトリックに基づき制御理論ベースアルゴリズムに従って判断される、請求項1に記載の方法。
- 第2の組のクラスタ関連メトリックおよび資源関連メトリックを受信すること、
前記第2の組のクラスタ関連メトリックおよび資源関連メトリックに基づいて、および以前の動作サイクル中に受信したクラスタ関連メトリックおよび資源関連メトリックに基づいて、以後の動作サイクル中に資源競合の第2の状態を判断すること
をさらに備える請求項7に記載の方法。 - 前記仮想計算環境の性能に関連付けられた前記受信した資源関連メトリックに基づいて1つまたは複数の移動平均を生成すること、
以後の動作サイクル中に受信した第2の組の資源関連メトリックを当該第2の組の資源関連メトリックが前記移動平均に比べて異常であると判断することに応じて無視すること
をさらに備える請求項1に記載の方法。 - プロセッサにより実行可能なコンピュータソフトウェアを格納した非一時的コンピュータ可読記憶媒体であって、
前記コンピュータソフトウェアは、仮想計算環境内のマルチテナント分散計算アプリケーションを実行するための方法を具現化するものであり、当該方法は、
仮想計算環境内で実行している複数の計算クラスタからクラスタ関連メトリックを受信することであって、各計算クラスタが作業負荷スケジューラと複数のワーカノードとを含むことと、
前記仮想計算環境の性能に関連付けられた資源関連メトリックを受信することであって、前記資源関連メトリックがメモリ関連メトリックおよびCPU関連メトリックのうちの少なくとも1つを含むことと、
前記受信したクラスタ関連メトリックおよび資源関連メトリックに基づいて、ホストの計算資源について前記複数の計算クラスタ間の資源競合の状態を判断すること、
前記資源競合の状態を判断することに応じて、前記ホスト上で少なくとも部分的に実行している前記複数の計算クラスタのうちの少なくとも1つを縮小すること、
資源競合が前記ホスト上に存在しないと判断することに応じて、前記ホスト上で少なくとも部分的に実行していて保留中作業を有する前記複数の計算クラスタのうちの少なくとも1つを拡大すること
を含む、非一時的コンピュータ可読記憶媒体。 - 前記資源競合は、前記ホスト上で実行している仮想マシンの未使用ゲストメモリの量を超える当該仮想マシンのメモリ再利用の量に基づいて判断される、請求項10に記載の非一時的コンピュータ可読記憶媒体。
- 前記資源競合は、前記仮想計算環境内の仮想マシンが使用可能状態であったが、物理的CPU上で実行されるようにスケジュールできなかった時間のサイクルを示すCPUレディメトリックに基づいて、および前記仮想計算環境内の仮想マシンが当該仮想マシンに代わってシステムサービスを行うために中断された時間のサイクルを示すCPUオーバーラップメトリックに基づいて判断される、請求項10に記載の非一時的コンピュータ可読記憶媒体。
- 初期期間内に電源が入れられたVMに関連付けられた前記資源関連メトリックの一部が前記資源競合の状態を判断することから無視される、請求項10に記載の非一時的コンピュータ可読記憶媒体。
- 前記ホスト上で少なくとも部分的に実行している前記複数の計算クラスタのうちの少なくとも1つを縮小することはさらに、メモリ競合VMとCPU競合VMとの両方が前記ホスト上に存在すると判断することに応じて、前記メモリ競合VMを選択することを含む、請求項10に記載の非一時的コンピュータ可読記憶媒体。
- 前記ホスト上で少なくとも部分的に実行している前記複数の計算クラスタのうちの少なくとも1つを縮小することはさらに、VM上で実行しているタスクトラッカーノードの委託を解除して、前記VMの電源を切ることを含み、
前記ホスト上で少なくとも部分的に実行していて保留中作業を有する前記複数の計算クラスタのうちの少なくとも1つを拡大することはさらに、前記ホスト上で実行しているVMの電源を入れて、前記VM上で実行するためにタスクトラッカーを再委託することを含む、請求項10に記載の非一時的コンピュータ可読記憶媒体。 - 前記資源競合の状態は、前記受信したクラスタ関連メトリックおよび資源関連メトリックに基づき制御理論ベースアルゴリズムに従って判断される、請求項10に記載の非一時的コンピュータ可読記憶媒体。
- 前記方法はさらに、
第2の組のクラスタ関連メトリックおよび資源関連メトリックを受信すること、
前記第2の組のクラスタ関連メトリックおよび資源関連メトリックに基づいて、および以前の動作サイクル中に受信したクラスタ関連メトリックおよび資源関連メトリックに基づいて、以後の動作サイクル中に資源競合の第2の状態を判断すること
を含む、請求項16に記載の非一時的コンピュータ可読記憶媒体。 - 前記方法はさらに、
前記仮想計算環境の性能に関連付けられた前記受信した資源関連メトリックに基づいて1つまたは複数の移動平均を生成すること、
以後の動作サイクル中に受信した第2の組の資源関連メトリックを当該第2の組の資源関連メトリックが前記移動平均に比べて異常であると判断することに応じて無視すること
を含む、請求項10に記載の非一時的コンピュータ可読記憶媒体。 - 仮想計算環境内の分散計算アプリケーションを実行するためのシステムであって、ホストコンピュータシステムが、
メモリデバイスと、
プロセッサであって、
仮想計算環境内で実行している複数の計算クラスタからのクラスタ関連メトリックを受信するステップであって、各計算クラスタが作業負荷スケジューラと複数のワーカノードとを含むステップと、
前記仮想計算環境の性能に関連付けられた資源関連メトリックを受信するステップであって、前記資源関連メトリックがメモリ関連メトリックおよびCPU関連メトリックのうちの少なくとも1つを含むステップと、
前記受信したクラスタ関連メトリックおよび資源関連メトリックに基づいて、ホストの計算資源について前記複数の計算クラスタ間の資源競合の状態を判断するステップと、
前記資源競合の状態を判断することに応じて、前記ホスト上で少なくとも部分的に実行している前記複数の計算クラスタのうちの少なくとも1つを縮小するステップと、
資源競合が前記ホスト上に存在しないと判断することに応じて、前記ホスト上で少なくとも部分的に実行していて保留中作業を有する前記複数の計算クラスタのうちの少なくとも1つを拡大するステップと
を行うようにプログラムされたプロセッサと
を備える、システム。 - 前記資源競合の状態は、前記受信したクラスタ関連メトリックおよび資源関連メトリックに基づき制御理論ベースアルゴリズムに従って判断される、請求項19に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361869521P | 2013-08-23 | 2013-08-23 | |
US61/869,521 | 2013-08-23 | ||
US14/311,755 US9727355B2 (en) | 2013-08-23 | 2014-06-23 | Virtual Hadoop manager |
US14/311,755 | 2014-06-23 | ||
PCT/US2014/045377 WO2015026446A1 (en) | 2013-08-23 | 2014-07-03 | Virtual hadoop manager |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016526735A true JP2016526735A (ja) | 2016-09-05 |
JP6219512B2 JP6219512B2 (ja) | 2017-10-25 |
Family
ID=52481603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016524367A Active JP6219512B2 (ja) | 2013-08-23 | 2014-07-03 | 仮想ハドゥープマネジャ |
Country Status (5)
Country | Link |
---|---|
US (1) | US9727355B2 (ja) |
EP (1) | EP3036625B1 (ja) |
JP (1) | JP6219512B2 (ja) |
AU (1) | AU2014309371B2 (ja) |
WO (1) | WO2015026446A1 (ja) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8793684B2 (en) * | 2011-03-16 | 2014-07-29 | International Business Machines Corporation | Optimized deployment and replication of virtual machines |
US9223598B1 (en) | 2012-11-26 | 2015-12-29 | Parallels IP Holdings GmbH | Displaying guest operating system statistics in host task manager |
CN104516773B (zh) * | 2013-09-29 | 2018-04-20 | 国际商业机器公司 | 用于物理机的数据分配方法和数据分配装置 |
CN104598304B (zh) * | 2013-10-31 | 2018-03-13 | 国际商业机器公司 | 用于作业执行中的调度的方法和装置 |
US9766940B2 (en) * | 2014-02-10 | 2017-09-19 | International Business Machines Corporation | Enabling dynamic job configuration in mapreduce |
US9817721B1 (en) * | 2014-03-14 | 2017-11-14 | Sanmina Corporation | High availability management techniques for cluster resources |
US9052938B1 (en) * | 2014-04-15 | 2015-06-09 | Splunk Inc. | Correlation and associated display of virtual machine data and storage performance data |
US10659523B1 (en) * | 2014-05-23 | 2020-05-19 | Amazon Technologies, Inc. | Isolating compute clusters created for a customer |
US10346188B1 (en) * | 2014-06-13 | 2019-07-09 | Veritas Technologies Llc | Booting virtual machine instances in a distributed data processing architecture |
US9910888B2 (en) * | 2014-10-01 | 2018-03-06 | Red Hat, Inc. | Map-reduce job virtualization |
US9411628B2 (en) * | 2014-11-13 | 2016-08-09 | Microsoft Technology Licensing, Llc | Virtual machine cluster backup in a multi-node environment |
US20160157254A1 (en) * | 2014-11-26 | 2016-06-02 | Samsung Electronics Co., Ltd. | Methods and apparatus for control information resource allocation for d2d communications |
US10776404B2 (en) * | 2015-04-06 | 2020-09-15 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct computational frameworks |
US10706970B1 (en) | 2015-04-06 | 2020-07-07 | EMC IP Holding Company LLC | Distributed data analytics |
US10425350B1 (en) | 2015-04-06 | 2019-09-24 | EMC IP Holding Company LLC | Distributed catalog service for data processing platform |
US10541936B1 (en) * | 2015-04-06 | 2020-01-21 | EMC IP Holding Company LLC | Method and system for distributed analysis |
US10511659B1 (en) * | 2015-04-06 | 2019-12-17 | EMC IP Holding Company LLC | Global benchmarking and statistical analysis at scale |
US10791063B1 (en) | 2015-04-06 | 2020-09-29 | EMC IP Holding Company LLC | Scalable edge computing using devices with limited resources |
US10541938B1 (en) | 2015-04-06 | 2020-01-21 | EMC IP Holding Company LLC | Integration of distributed data processing platform with one or more distinct supporting platforms |
US10277668B1 (en) | 2015-04-06 | 2019-04-30 | EMC IP Holding Company LLC | Beacon-based distributed data processing platform |
US10515097B2 (en) * | 2015-04-06 | 2019-12-24 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10860622B1 (en) | 2015-04-06 | 2020-12-08 | EMC IP Holding Company LLC | Scalable recursive computation for pattern identification across distributed data processing nodes |
US9848041B2 (en) | 2015-05-01 | 2017-12-19 | Amazon Technologies, Inc. | Automatic scaling of resource instance groups within compute clusters |
US10356167B1 (en) * | 2015-06-09 | 2019-07-16 | Hortonworks, Inc. | Workload profiling |
US9961068B2 (en) | 2015-07-21 | 2018-05-01 | Bank Of America Corporation | Single sign-on for interconnected computer systems |
IN2015CH04995A (ja) * | 2015-09-18 | 2015-10-09 | Wipro Ltd | |
US10530892B2 (en) | 2015-09-28 | 2020-01-07 | Microsoft Technology Licensing, Llc | Processing request for multi-versioned service |
US10268714B2 (en) | 2015-10-30 | 2019-04-23 | International Business Machines Corporation | Data processing in distributed computing |
US9727353B2 (en) | 2015-10-30 | 2017-08-08 | International Business Machines Corporation | Simultaneously capturing status information for multiple operating modes |
CN106681823A (zh) * | 2015-11-05 | 2017-05-17 | 田文洪 | 一种处理MapReduce数据倾斜的负载均衡方法 |
JP6129290B1 (ja) * | 2015-12-24 | 2017-05-17 | 財團法人工業技術研究院Industrial Technology Research Institute | 分散計算におけるアプリケーションパラメータ設定およびシステム仕様設定を推奨する方法およびシステム |
US10656861B1 (en) | 2015-12-29 | 2020-05-19 | EMC IP Holding Company LLC | Scalable distributed in-memory computation |
CN107122371A (zh) * | 2016-02-25 | 2017-09-01 | 伊姆西公司 | 用于数据处理的方法和装置 |
CN116743440A (zh) | 2016-05-23 | 2023-09-12 | 摩根大通国家银行 | 用于多租户hadoop集群的安全设计和架构 |
US11070628B1 (en) | 2016-05-26 | 2021-07-20 | Nutanix, Inc. | Efficient scaling of computing resources by accessing distributed storage targets |
US10305747B2 (en) * | 2016-06-23 | 2019-05-28 | Sap Se | Container-based multi-tenant computing infrastructure |
US10034407B2 (en) * | 2016-07-22 | 2018-07-24 | Intel Corporation | Storage sled for a data center |
CN108132775B (zh) * | 2016-11-30 | 2021-04-09 | 新华三技术有限公司 | 一种租户管理系统及方法 |
US10305970B2 (en) | 2016-12-13 | 2019-05-28 | International Business Machines Corporation | Self-recoverable multitenant distributed clustered systems |
US10466910B1 (en) * | 2016-12-30 | 2019-11-05 | EMC IP Holding Company LLC | Dynamic resource partitioning |
US10331479B2 (en) | 2017-01-13 | 2019-06-25 | Microsoft Technology Licensing, Llc | Computing on transient resources |
US11030241B2 (en) * | 2017-03-07 | 2021-06-08 | Imperva, Inc. | Query usage based organization for very large databases |
CN109308209A (zh) * | 2017-07-27 | 2019-02-05 | 润泽科技发展有限公司 | 一种大数据虚拟化操作方法 |
US11687654B2 (en) * | 2017-09-15 | 2023-06-27 | Intel Corporation | Providing isolation in virtualized systems using trust domains |
US10467112B2 (en) | 2017-11-09 | 2019-11-05 | Bank Of America Corporation | Distributed data monitoring device |
US10437643B2 (en) | 2017-11-10 | 2019-10-08 | Bank Of America Corporation | Independent storage and processing of data with centralized event control |
US10331484B2 (en) | 2017-11-14 | 2019-06-25 | Bank Of America Corporation | Distributed data platform resource allocator |
CN108874640B (zh) * | 2018-05-07 | 2022-09-30 | 北京京东尚科信息技术有限公司 | 一种集群性能的评估方法和装置 |
US10990450B2 (en) * | 2018-07-23 | 2021-04-27 | Vmware, Inc. | Automatic cluster consolidation for efficient resource management |
US10922142B2 (en) | 2018-10-31 | 2021-02-16 | Nutanix, Inc. | Multi-stage IOPS allocation |
KR102153689B1 (ko) * | 2018-12-20 | 2020-09-08 | 아주대학교산학협력단 | 대용량 클러스터에서 컴퓨팅 작업을 고속으로 처리하는 동적 스케줄링 방법 |
US11194632B2 (en) | 2019-06-18 | 2021-12-07 | Nutanix, Inc. | Deploying microservices into virtualized computing systems |
US11106509B2 (en) | 2019-11-18 | 2021-08-31 | Bank Of America Corporation | Cluster tuner |
US11429441B2 (en) | 2019-11-18 | 2022-08-30 | Bank Of America Corporation | Workflow simulator |
CN113553143B (zh) * | 2021-09-18 | 2022-01-07 | 云宏信息科技股份有限公司 | 虚拟化资源池的异构方法、可读存储介质及虚拟化平台 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100387A (ja) * | 2003-09-02 | 2005-04-14 | Toshiba Corp | 計算機システム及びクラスタシステム用プログラム |
JP2011090594A (ja) * | 2009-10-26 | 2011-05-06 | Hitachi Ltd | サーバ管理装置およびサーバ管理方法 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7747422B1 (en) * | 1999-10-13 | 2010-06-29 | Elizabeth Sisley | Using constraint-based heuristics to satisfice static software partitioning and allocation of heterogeneous distributed systems |
US7412492B1 (en) * | 2001-09-12 | 2008-08-12 | Vmware, Inc. | Proportional share resource allocation with reduction of unproductive resource consumption |
US20050050200A1 (en) | 2003-09-02 | 2005-03-03 | Kabushiki Kaisha Toshiba | Computer system and cluster system program |
US8091088B2 (en) * | 2005-02-22 | 2012-01-03 | Microsoft Corporation | Method and system for hierarchical resource management involving hard and soft resource limits |
US8667500B1 (en) * | 2006-10-17 | 2014-03-04 | Vmware, Inc. | Use of dynamic entitlement and adaptive threshold for cluster process balancing |
US7827358B2 (en) * | 2007-01-07 | 2010-11-02 | Apple Inc. | Memory management methods and systems |
US9588821B2 (en) * | 2007-06-22 | 2017-03-07 | Red Hat, Inc. | Automatic determination of required resource allocation of virtual machines |
US9141435B2 (en) | 2007-07-30 | 2015-09-22 | Sybase, Inc. | System and methodology providing workload management in database cluster |
US20110055838A1 (en) * | 2009-08-28 | 2011-03-03 | Moyes William A | Optimized thread scheduling via hardware performance monitoring |
US9037717B2 (en) * | 2009-09-21 | 2015-05-19 | International Business Machines Corporation | Virtual machine demand estimation |
US8631403B2 (en) * | 2010-01-04 | 2014-01-14 | Vmware, Inc. | Method and system for managing tasks by dynamically scaling centralized virtual center in virtual infrastructure |
US8392930B2 (en) * | 2010-03-11 | 2013-03-05 | Microsoft Corporation | Resource contention log navigation with thread view and resource view pivoting via user selections |
US9389926B2 (en) * | 2010-05-05 | 2016-07-12 | Red Hat, Inc. | Distributed resource contention detection |
US8260840B1 (en) * | 2010-06-28 | 2012-09-04 | Amazon Technologies, Inc. | Dynamic scaling of a cluster of computing nodes used for distributed execution of a program |
US8719415B1 (en) * | 2010-06-28 | 2014-05-06 | Amazon Technologies, Inc. | Use of temporarily available computing nodes for dynamic scaling of a cluster |
US8892827B2 (en) * | 2011-01-07 | 2014-11-18 | Apple Inc. | Cooperative memory management |
US8843933B1 (en) * | 2011-05-25 | 2014-09-23 | Vmware, Inc. | System and method for managing a virtualized computing environment |
US8661136B2 (en) | 2011-10-17 | 2014-02-25 | Yahoo! Inc. | Method and system for work load balancing |
US8756609B2 (en) * | 2011-12-30 | 2014-06-17 | International Business Machines Corporation | Dynamically scaling multi-tier applications vertically and horizontally in a cloud environment |
US8732291B2 (en) * | 2012-01-13 | 2014-05-20 | Accenture Global Services Limited | Performance interference model for managing consolidated workloads in QOS-aware clouds |
US9110728B2 (en) * | 2012-01-31 | 2015-08-18 | Vmware, Inc. | Elastic allocation of computing resources to software applications |
US9286120B2 (en) * | 2012-06-08 | 2016-03-15 | Apple Inc. | Resource management with dynamic resource budgeting |
US9396008B2 (en) * | 2012-07-13 | 2016-07-19 | Ca, Inc. | System and method for continuous optimization of computing systems with automated assignment of virtual machines and physical machines to hosts |
US9104498B2 (en) * | 2012-07-31 | 2015-08-11 | Hewlett-Packard Development Company, L.P. | Maximizing server utilization within a datacenter |
US20140047342A1 (en) * | 2012-08-07 | 2014-02-13 | Advanced Micro Devices, Inc. | System and method for allocating a cluster of nodes for a cloud computing system based on hardware characteristics |
US8825550B2 (en) * | 2012-08-23 | 2014-09-02 | Amazon Technologies, Inc. | Scaling a virtual machine instance |
US20140059008A1 (en) * | 2012-08-25 | 2014-02-27 | Vmware, Inc. | Resource allocation analyses on hypothetical distributed computer systems |
US9135048B2 (en) * | 2012-09-20 | 2015-09-15 | Amazon Technologies, Inc. | Automated profiling of resource usage |
US9304803B2 (en) * | 2012-11-12 | 2016-04-05 | Vmware, Inc. | Cooperative application workload scheduling for a consolidated virtual environment |
US9128739B1 (en) * | 2012-12-31 | 2015-09-08 | Emc Corporation | Determining instances to maintain on at least one cloud responsive to an evaluation of performance characteristics |
US9183016B2 (en) * | 2013-02-27 | 2015-11-10 | Vmware, Inc. | Adaptive task scheduling of Hadoop in a virtualized environment |
-
2014
- 2014-06-23 US US14/311,755 patent/US9727355B2/en active Active
- 2014-07-03 EP EP14741769.5A patent/EP3036625B1/en active Active
- 2014-07-03 AU AU2014309371A patent/AU2014309371B2/en active Active
- 2014-07-03 WO PCT/US2014/045377 patent/WO2015026446A1/en active Application Filing
- 2014-07-03 JP JP2016524367A patent/JP6219512B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100387A (ja) * | 2003-09-02 | 2005-04-14 | Toshiba Corp | 計算機システム及びクラスタシステム用プログラム |
JP2011090594A (ja) * | 2009-10-26 | 2011-05-06 | Hitachi Ltd | サーバ管理装置およびサーバ管理方法 |
Also Published As
Publication number | Publication date |
---|---|
AU2014309371B2 (en) | 2017-03-30 |
US20150058843A1 (en) | 2015-02-26 |
EP3036625B1 (en) | 2018-12-05 |
EP3036625A1 (en) | 2016-06-29 |
WO2015026446A1 (en) | 2015-02-26 |
US9727355B2 (en) | 2017-08-08 |
JP6219512B2 (ja) | 2017-10-25 |
AU2014309371A1 (en) | 2016-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6219512B2 (ja) | 仮想ハドゥープマネジャ | |
US9977689B2 (en) | Dynamic scaling of management infrastructure in virtual environments | |
US9304803B2 (en) | Cooperative application workload scheduling for a consolidated virtual environment | |
US9483187B2 (en) | Quality of service implementation in a networked storage system with hierarchical schedulers | |
JP5577412B2 (ja) | 計算機システム、マイグレーション方法及び管理サーバ | |
US9081621B2 (en) | Efficient input/output-aware multi-processor virtual machine scheduling | |
CN104508634B (zh) | 虚拟机的动态资源分配 | |
US9582221B2 (en) | Virtualization-aware data locality in distributed data processing | |
US9086922B2 (en) | Opportunistically scheduling and adjusting time slices | |
US20140245298A1 (en) | Adaptive Task Scheduling of Hadoop in a Virtualized Environment | |
US8332611B2 (en) | Method and system for managing memory | |
US20150120928A1 (en) | Container virtual machines for hadoop | |
WO2013145288A1 (ja) | 情報処理装置、仮想マシン停止方法およびプログラム | |
US20180139100A1 (en) | Storage-aware dynamic placement of virtual machines | |
US20170017511A1 (en) | Method for memory management in virtual machines, and corresponding system and computer program product | |
US20160196157A1 (en) | Information processing system, management device, and method of controlling information processing system | |
US20150378782A1 (en) | Scheduling of tasks on idle processors without context switching | |
US20190235902A1 (en) | Bully vm detection in a hyperconverged system | |
US20140281346A1 (en) | Managing cpu resources for high availability micro-partitions | |
US10095533B1 (en) | Method and apparatus for monitoring and automatically reserving computer resources for operating an application within a computer environment | |
US20180136958A1 (en) | Storage-aware dynamic placement of virtual machines | |
Zhang et al. | CloudGC: Recycling idle virtual machines in the cloud | |
JP5905412B2 (ja) | 仮想計算機システム及びプロセッサ性能測定方法 | |
Subbiah | CloneScale: Distributed Resource Scaling for Virtualized Cloud Systems. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6219512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |