JP2021503640A - 複製されたタスク結果を使用してコンピュータクラスタを管理すること - Google Patents
複製されたタスク結果を使用してコンピュータクラスタを管理すること Download PDFInfo
- Publication number
- JP2021503640A JP2021503640A JP2020522052A JP2020522052A JP2021503640A JP 2021503640 A JP2021503640 A JP 2021503640A JP 2020522052 A JP2020522052 A JP 2020522052A JP 2020522052 A JP2020522052 A JP 2020522052A JP 2021503640 A JP2021503640 A JP 2021503640A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- data
- time interval
- processing nodes
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 667
- 238000000034 method Methods 0.000 claims abstract description 169
- 230000004044 response Effects 0.000 claims abstract description 154
- 230000010076 replication Effects 0.000 claims abstract description 78
- 230000002688 persistence Effects 0.000 claims description 142
- 230000008569 process Effects 0.000 claims description 104
- 238000013500 data storage Methods 0.000 claims description 72
- 238000004364 calculation method Methods 0.000 claims description 52
- 238000003860 storage Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 21
- 230000003362 replicative effect Effects 0.000 claims description 2
- 230000002459 sustained effect Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 81
- 239000000872 buffer Substances 0.000 description 46
- 230000002085 persistent effect Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1474—Saving, restoring, recovering or retrying in transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1492—Generic software techniques for error detection or fault masking by run-time replication performed by the application software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/108—Transfer of content, software, digital rights or licenses
- G06F21/1088—Transfer of content, software, digital rights or licenses by using transactions with atomicity, consistency, or isolation and durability [ACID] properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
- G06F9/467—Transactional memory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
- Computer And Data Communications (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
- Hardware Redundancy (AREA)
- Electrotherapy Devices (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
Description
本出願は、参照のためその全体を本明細書に援用する2017年10月31日出願の米国特許出願第62/579,225号明細書からの優先権を主張する。
データストレージ216へ接続された任意選択的開発環境218であって、開発環境218は、グラフコンポーネントを処理するグラフを介し1つ又は複数の入力データセットから1つ又は複数の出力データセットへ流れるデータに対し行われるグラフベース計算を実施するデータフローグラフに関連するデータ処理アプリケーションを構築するように構成され、データフローグラフはデータストレージ216内のデータ構造により規定され、多くのノードを有するデータフローグラフはデータ構造により規定され、1つ又は複数のリンクにより接続されるグラフコンポーネントを表し、上記リンクはデータ構造により規定され、グラフコンポーネント間のデータフローを表す、開発環境218と;
データストレージ216へ接続され、1つ又は複数のコンピュータ上でホストされる実行環境212であって、実行環境212は、データフローグラフを規定する格納されたデータ構造を読み出すようにそして前処理モジュール206によりデータフローグラフへ割り当てられるグラフコンポーネントの計算を行うためのコンピュータ資源(処理など)を割り振るように構成された前処理モジュール206を含む、実行環境212と、を含み、
実行環境204は、グラフベース計算が実行されるように、割り当てられた計算又は処理の実行をスケジューリング及び制御するための実行モジュール212を含む、実行環境212を含む。すなわち、実行モジュールは、データソース202からデータを読み取るように、そしてデータフローグラフの形式で表現された実行可能コンピュータプログラムを使用してデータを処理するように構成される。
ごく一般的には、実行モジュール212を使用してデータを処理するためのいくつかのコンピュータプログラム(本明細書では「アプリケーション」とも呼ばれる)は、コンピュータクラスタへアクセスするためにアプリケーションが使用するコールクラスタコンポーネントを含む。例えば、図2を参照すると、パイプラインデータ処理に対する手法では、コールクラスタコンポーネント110は、その一部分であるアプリケーション(例えばデータフローグラフ又は他の形式のグラフベースプログラム仕様)内のコンポーネントからコールクラスタコンポーネント110において受信された記録103を処理するためにコンピュータクラスタ120のコンポーネントと相互作用し、対応結果105をその一部分であるアプリケーションの1つ又は複数の他のコンポーネントへ送信する。入力レコード103毎に、コールクラスタコンポーネント110は、要求113(例えばデータ処理タスクを実行するための要求)をクラスタ120へ送信し、しばらくして、当該要求113に対する応答115をクラスタ120から受信する。応答115の受信後しばらくして、コールクラスタコンポーネント110は、通常は要求を処理した結果がクラスタ120内で適切に持続性があると知られた後、応答115に対応する結果105を送信する。
図5〜12を参照すると、コールクラスタコンポーネント110及びクラスタ120の通常動作の一例が示されている。図5では、入力レコード103がコールクラスタコンポーネント110に到達し、コールクラスタコンポーネント110は入力レコード103の要求113を形成する。コールクラスタコンポーネント110は要求113と一意的要求識別子ridとを関連付け、これをコールクラスタコンポーネント110の再生バッファ112内に格納する。
図4の状態遷移図は通常動作を表すが、ワーカー間のメッセージが成功裡に受信されないということ(うまく受信されないということ)が頻繁ではないがあり得る。さらに、ワーカーがその揮発性メモリを失った後に再始動すること又はワーカーが要求をさらに処理しないように完全に失敗することがあり得る(すなわち、主要役割又はバックアップ役割のいずれかにおいて)。本明細書において説明されるデータ処理システムのいくつかの実施形態がこのセクションにおいて説明されたロールバックシナリオのすべてを実現するということに注意すべきである。データ処理システムの他の実施形態がこのセクションにおいて説明されたロールバックシナリオのすべてではないが1つ又は複数を実現し得るということにも留意すべきである。
成功裡に受信されなかったいくつかのワーカー間メッセージであって時間teに関連付けられたメッセージが存在するということをクラスタが判定する状況を最初に考察する。一般的に、ルートは、時間がteに先立つ時間tr(すなわち、tr<te、例えばtr=te−1)へ「ロールバック」されなければならないということをすべてのワーカーに通知する。このようなロールバックによってすら、コールクラスタコンポーネント110により提供される結果は、あたかもロールバックが発生しなかったかのようにアプリケーション又はグラフへ提供され、ワーカー間に分配されたデータへの更新はコールクラスタコンポーネントにより提供された結果と整合したままである。特に、結果は、多くのノード(例えばワーカー)において格納される(例えば、複製又は保持される)までコールクラスタコンポーネント110からアプリケーション又はグラフへリリースされなく、これにより、結果が決して呼び出されることなく無効になるということを保証する。別の言い方をすると、発生するいかなるロールバックも、結果がコールクラスタコンポーネント110によりアプリケーション又はグラフへ提供されるのに先立って必ず発生する。
第2の状況では、以前の要求の要求時間taはロールバック時間trより大きい(すなわち、tr<ta)が、要求は実行を開始し、主要ワーカーにおいて実行を完了しなかった(すなわち、要求は主要ワーカーにおいて状態B(恐らく、部分応答115が計算される)にあり、要求はバックアップワーカーにおいて状態Fにある)。この場合、実行は終了され、部分応答115は主要ワーカー及びバックアップワーカーにおいて廃棄され(又は、実行は完了することが許可され、応答は廃棄され)、コールクラスタコンポーネント110は要求113をクラスタ120へ再送信する。主要ワーカーとバックアップワーカーとにおいて格納された要求は状態Aと状態Fとへそれぞれ戻る。主要ワーカーは、あたかも要求が主要ワーカーにおいて実行を開始していなかったかのようなやり方と同じやり方で要求をバックアップワーカーに通知する。
第3の状況では、以前の要求の要求時間taは再びロールバック時間trより大きい。しかし、この場合、我々は、実行は時間tb(すなわち、tr<ta<tb)において完了したということと応答はバックアップワーカーにおいて複製されコールクラスタコンポーネント110において受信されたということとを仮定する。すなわち、要求113はコールクラスタコンポーネント110において状態Bにあり、要求は主要ワーカー150aにおいて状態Cにあり、要求113はバックアップワーカー150bにおいて状態Gにある。第2の状況と同様に進行中の実行の実行を単に終了する必要があるのではなく、主要及びバックアップワーカーにおいて格納されていた応答115が除去される。図4を参照して上に導入されたように、時間tbにおいて生成された応答は、特定時間及びその後の時間におけるすべての更新がデータ構造から除去され得るようなやり方で、時間tbに関連付けられた改版されたデータ構造内に格納される。この状態では、時間trより遅く更新されたすべてのデータ版を除去することにより、時間tbにおいてなされた図示された要求の更新は必ず除去され、要求は、実行を待つtcの要求時間を有する主要ワーカーにおいて状態Aへ戻され、主要ワーカーからの応答を待つバックアップワーカーにおいて状態Fへ戻された。コールクラスタコンポーネントにおいて、応答は廃棄され、要求は状態Aへ戻される。
第4の状況では、ロールバック時間trはオリジナル要求時間taにおける又はその後(すなわち、ta≦tr)のものであり、オリジナル要求は実行を開始していない。要求は、クラスタ120へ再送信され、主要ワーカーとバックアップワーカーとにおけるオリジナル要求(すなわち、{rid,ta})の後の実行のための待ち行列に入れられる。主要ワーカーはオリジナル要求を実行し、応答(すなわち、{rid,tb})を生成する。次に、主要ワーカーは、再送信された要求(すなわち、{rid,tc})の実行を開始することに進むが、再送信された要求のridに関連付けられた応答が既に存在していることを検知し、再送信された要求の実行を見送る。
第5の状況では、ロールバック時間trはオリジナル要求時間taにおける又はその後のものであり(すなわち、ta≦tr)、オリジナル要求は実行を開始したが、主要ワーカーにおいて実行を完了していない(すなわち、要求は主要ワーカーにおいて状態Bにあり、要求はバックアップワーカーにおいて状態Fにある)。この状況では、実行は主要ワーカー及びバックアップワーカーにおいて終了される(又は完了することを許容され、応答は廃棄される)(すなわち、主要及びバックアップワーカーにおいて格納された要求は状態A、Fへそれぞれ戻る)。
第6の状況では、ロールバック時間trは要求時間ta又はその後のものであり、要求はまた、時間tbにおいて、またロールバック時間又はその前(すなわち、ta≦tb≦tr)に実行を完了した。応答がコールクラスタコンポーネント110へ成功裡に提供されれば(すなわち、この要求はコールクラスタコンポーネントにおいて状態Bにある)、ロールバック要求は、要求を再送信させないし、またエスクローバッファ114からのいかなる応答の除去も引き起こさない。すなわち、taに関連付けられたいかなる要求とtbに関連付けられたいかなる応答も不変なままにされる。
第7の状況では、ロールバック時間trは要求時間taにおける又はその後のものであり、要求はロールバック時間後の時間tb(すなわち、ta≦tr<tb)において実行を完了しており、ワーカー間の応答の複製は成功しなかったかもしれない。ワーカーはtr後の時間を有するすべての応答115を廃棄する。バックアップワーカーにおいて格納された要求113は状態Fへ戻り、主要ワーカーにおいて格納された要求113は状態Bへ戻る。コールクラスタコンポーネント110は、エスクローバッファ114内のすべての応答115を廃棄し、再生バッファ112内に格納された要求113を状態Aへ戻し、要求113を、要求を再処理するクラスタ120へ再送信する。
最後に、第8の状況では、主要ワーカーが失われる(lost)(例えば、失敗することが知られる)と要求を処理するワーカーが存在する。ごく一般的には、失われた主要ワーカーが応答を提供するのを待っているバックアップワーカー(すなわち、バックアップワーカーは状態Fにある)におけるいかなる要求によっても、バックアップワーカーは主要ワーカーとなるように促される。例えば、当該ワーカーからのメッセージに対する返答を受信しないことにより、ワーカーが失われたことを検知すると、ルート140は、最後に複製された時間に等しい時間tr(すなわち、tr=T2)へのロールバックを開始する。バックアップワーカーは、失われたワーカーに対処するための新しい区画情報を伴い得る時間trへのロールバック要求を受信すると、バックアップワーカーは、資源が要求を実行するのを待っている状態Aへ要求の状態を変更することにより新しい主要ワーカーとして働き始める。
次にルート140の動作に移ると、上に紹介したように、ルートは現在の作業時間(間隔)T1 144を定期的にインクリメントする。一般的に、作業時間を更新する際、ルートは一組の時間(T1,T2,T3)144〜146をすべてのワーカーへ分配(例えば同報通信)する。それに応じて、ワーカーは、それに基づきT2及び/又はT3時間を更新し得る情報をルートへ提供する。
より一般的には、ta<trである上記ロールバックシナリオ4〜8では、要求を再送信する際、コールクラスタコンポーネント110は、オリジナル要求が時間taにおいて送信されたということに気付かない(またそれに注意も行わない)。一方、クラスタ120は、ロールバックするべきかどうかを判定するために当該時間を使用するのでオリジナル要求の要求時間を考慮する必要がある。したがって、コールクラスタコンポーネント110が、ta<tr<tcとなるように要求(要求識別子ridを有する)をクラスタ120へ再送信すると、要求は、主要ワーカー150aにおいて受信され、時間tcに関連付けられる。主要ワーカー150aは要求をバックアップワーカー150bへ転送する。この状況では、主要ワーカーは再送信された要求(すなわち、{rid,tc})を実行する前にオリジナル要求(すなわち、{rid,ta})を実行し得る。再送信された要求(すなわち、{rid,tc}を実行することに進むと、主要ワーカー150aは、オリジナル要求(すなわち、{rid,ta})の応答が既に保持されているので、再送信された要求を複製として処理することになる。
上述のコンピュータクラスタ管理手法は、例えば、好適なソフトウェア指示を実行するプログラム可能コンピュータシステムを使用して実施されてもよいし、フィールドプログラマブルゲートアレイ(FPGA)などの好適なハードウェアにおいて又はいくつかのハイブリッド形態で実施されてもよい。例えば、プログラム手法では、ソフトウェアは、それぞれが少なくとも1つのプロセッサ、少なくとも1つのデータストレージシステム(揮発性及び/又は不揮発性メモリ及び/又はストレージ要素を含む)、少なくとも1つのユーザインターフェース(少なくとも1つの入力デバイス又はポートを使用することにより入力を受信するための、及び少なくとも1つの出力デバイス又はポートを使用することにより出力を提供するための)を含む1つ又は複数のプログラムされた又はプログラム可能なコンピュータシステム(分散クライアント/サーバ又はグリッドなどの様々なアーキテクチャのものであり得る)上で実行する1つ又は複数のコンピュータプログラム内の手順を含み得る。ソフトウェアは、例えばデータフローグラフの設計、構成、及び実行に関係するサービスを提供するより大きなプログラムの1つ又は複数のモジュールを含み得る。プログラムのモジュール(例えばデータフローグラフの要素)は、データレポジトリ内に格納されたデータモデルに準拠するデータ構造又は他の編成されたデータとして実装され得る。
Claims (30)
- 複数の処理ノードを含む分散データ処理システムにおいてタスクを処理する方法であって、
前記複数の処理ノードのうちの2又は3以上を使用して複数の組のタスクを処理する工程であって、各組のタスクは対応する一組の結果を生成するように構成されるとともに複数の時間間隔のうちの対応する時間間隔に関連付けられる、前記処理する工程と、
前記複数の処理ノードのうちの第1の処理ノードにおいて複数のカウンタを保持する工程であって、前記複数のカウンタは:
前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、
前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって(1)当該時間間隔に関連するすべてのタスク、又は(2)当該時間間隔に関連するすべての対応結果、の少なくとも1つが前記複数の処理ノードのうちの複数の処理ノードにおいて複製される、前記複製カウンタと、を含む、前記保持する工程と、
前記作業カウンタ及び前記複製カウンタを含むメッセージを前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ提供する工程と、を含む、前記方法。 - 前記処理は、前記複数の処理ノードの主要処理ノードにおいて少なくともいくつかのタスクに関連する計算を行う工程と、前記複数の処理ノードのうちの1又は2以上のバックアップ処理ノードにおいて前記少なくともいくつかのタスクのレプリカに関連する計算を行う工程とを含む、請求項1に記載の方法。
- 前記主要処理ノードにおいて第1のタスクに関連付けられた計算を行う工程は前記主要処理ノードにおいて第1の結果を生成する工程を含み、
前記バックアップ処理ノードにおいて前記第1のタスクのレプリカに関連する計算を行う工程は前記バックアップ処理ノードにおいて前記第1の結果を生成する工程を含む、請求項1又は2に記載の方法。 - 前記主要処理ノードにおいて実行される前記第1のタスクに関連する前記計算と、前記バックアップ処理ノードにおいて実行される前記第1のタスクの前記レプリカに関連する計算との両方は、前記第1のタスクと前記第1のタスクの前記レプリカとの両方が持続的に格納されたということを示すコミット操作後に開始する、請求項1乃至3のいずれか一項に記載の方法。
- 前記第1の結果は、前記主要処理ノードと前記バックアップ処理ノードとにおいて複製されたオリジナルデータの修正版を含む、請求項1乃至3のいずれか一項に記載の方法。
- 前記主要処理ノードにおいて実行される前記第1のタスクに関連する前記計算は、前記バックアップ処理ノードにおいて実行される前記第1のタスクの前記レプリカに関連する前記計算と同一である、請求項1乃至3のいずれか一項に記載の方法。
- 前記主要処理ノードにおいて実行される前記第1のタスクに関連する前記計算と前記バックアップ処理ノードにおいて実行される前記第1のタスクの前記レプリカに関連する前記計算は決定論的であり、前記複数の処理ノードのうちのどれが前記計算を行うかに依存しない、請求項6に記載の方法。
- 前記複製カウンタは、当該時間間隔に関連するすべてのタスクと当該時間間隔に関するすべての対応結果とが前記複数の処理ノードのうちの複数の処理ノードにおいて複製される前記複数の時間間隔のうちの1つの時間間隔を示す、請求項2に記載の方法。
- 前記処理は、前記タスクのレプリカがバックアップ処理ノードにおいて実行されない状態である間に、前記複数の処理ノードの主要処理ノードにおいて少なくともいくつかのタスクに関連する計算を行う工程と、計算が前記主要処理ノードから前記バックアップ処理ノードに対して実行されたタスクに対応する結果を送信する工程とを含む、請求項1乃至8のいずれか一項に記載の方法。
- 第1のタスクに関連する計算を前記主要処理ノードにおいて実行する工程は第1の結果を生成する工程を含み、前記第1の結果は、前記第1のタスクが前記主要処理ノードにおいて完了された後に前記主要処理ノードから前記バックアップ処理ノードに送信される、請求項9に記載の方法。
- 前記第1の結果は、前記主要処理ノードと前記バックアップ処理ノードとにおいて複製されたオリジナルデータの修正版を含む、請求項9乃至10のいずれか一項に記載の方法。
- 前記複製カウンタは、当該時間間隔に関連するすべてのタスクと当該時間間隔に関連するすべての対応結果とが前記複数の処理ノードのうちの複数の処理ノードにおいて複製される前記複数の時間間隔のうちの1つの時間間隔を示す、請求項9に記載の方法。
- 複数のノードを含む分散データ処理システムにおいてタスクを処理するためのコンピュータ可読媒体上に非一時的形式で格納されたソフトウェアであって、請求項1乃至12のいずれか一項に記載の工程のすべてをコンピュータシステムに実行させるための命令を含む、前記ソフトウェア。
- それぞれが少なくとも1つのプロセッサを含む複数の処理ノードを含む分散データ処理システムと;
前記複数の処理ノードの処理ノード間で情報を送受信するための前記複数の処理ノードを接続する通信媒体とを含む、データを処理するための装置であって、前記分散データ処理システムは:
前記複数の処理ノードのうちの2又は3以上を使用して、それぞれが対応する一組の結果を生成するように構成された複数の組のタスクであって複数の時間間隔のうちの対応する時間間隔に関連付けられた複数の組のタスクを処理し、
前記複数の処理ノードのうちの第1の処理ノードにおいて複数のカウンタを保持し、前記複数のカウンタは:
前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって(1)当該時間間隔に関連するすべてのタスク又は(2)当該時間間隔に関連するすべての対応結果、の少なくとも1つが前記複数の処理ノードのうちの複数の処理ノードにおいて複製される、前記複製カウンタとを含み、
前記分散データ処理システムは、前記作業カウンタ及び前記複製カウンタを含むメッセージを前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ提供するように構成される、前記装置。 - 複数の処理ノードを含む分散データ処理システムにおいてタスクを処理するためのコンピュータシステムであって、
前記複数の処理ノードのうちの2又は3以上を使用して、それぞれが対応する一組の結果を生成するように構成された複数の組のタスクであって複数の時間間隔のうちの対応する時間間隔に関連付けられた複数の組のタスクを処理する手段と、
複数の処理ノードのうちの第1の処理ノードにおいて複数のカウンタを保持する手段であって、前記複数のカウンタは:
前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、
前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって(1)当該時間間隔に関連するすべてのタスク又は(2)当該時間間隔に関連するすべての対応結果の少なくとも1つが前記複数の処理ノードのうちの複数の処理ノードにおいて複製される複製カウンタと、を含む、前記保持する手段と
前記作業カウンタ及び前記複製カウンタを含むメッセージを前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ提供する手段と、を含む、前記コンピュータシステム。 - 複数の処理ノードを含む分散データ処理システムを管理する方法であって、
複数のデータストレージを前記システム内に保持する工程であって、前記複数のデータストレージの各データストレージは、前記複数の処理ノードのうちの対応処理ノードに関連付けられ、かつ複数の永続性レベルのうちの1つの永続性レベルに関連付けられ、前記複数の永続性レベルは第1の永続性レベルと前記第1の永続性レベルと比較して大きなレベルの永続性を有する第2の永続性レベルとを含む、前記保持する工程と;
前記複数の処理ノードのうちの2又は3以上の処理ノードを使用して複数の組のデータユニットを処理する工程であって、各組のデータユニットの各データユニットは複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組のデータユニットは前記複数の時間間隔のうちの第1の時間間隔に関連する第1組のデータユニットを含み、前記処理は、特定の永続性レベル毎に、前記第1の時間間隔に関連するすべての組のデータユニットが当該特定の永続性レベルで格納されるということを示すために関連する指標を更新する工程を含む、前記処理する工程と;
前記複数の処理ノードのうちの2又は3以上を使用して複数の組の要求を処理する工程であって、各組の要求の各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、かつ前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組の要求は前記複数の時間間隔のうちの第2の時間間隔に関連する第1組の要求を含む、前記処理する工程と;
前記複数の処理ノードのうちの第1の処理ノードにおいて複数のカウンタを保持する工程であって、前記複数のカウンタは、前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって当該時間間隔に関連するすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製される複製カウンタとを含む、前記保持する工程と;
前記作業カウンタの前記値及び前記複製カウンタの前記値を含む第1のメッセージを前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ第1の時間に提供する工程と、を含む、前記方法。 - 前記複数のカウンタはさらに、前記複数の時間間隔のうちの1つの時間間隔を示す持続性カウンタであって、当該時間間隔に関連するすべての要求が前記複数の処理ノードのうちの少なくとも1つの処理ノードに関連する持続性ストレージ内に格納される前記持続性カウンタを含む、請求項16に記載の方法。
- 前記第1組のデータユニットのデータユニット毎に、前記複数の処理ノードのそれぞれの処理ノードに関連する前記複数のデータストレージのうちのいくつかのデータストレージ内に前記データユニットを格納する工程は、前記第1のレベルの永続性に関連する前記複数のデータストレージのうちのいくつかのデータストレージ内に前記データユニットを格納する工程と前記第2のレベルの永続性に関連する前記複数のデータストレージのうちの1又は2以上のデータストレージ内に前記データユニットを格納する工程とを含む、請求項16に記載の方法。
- 複数の処理ノードを含む分散データ処理システムを管理するためのコンピュータ可読媒体上に非一時的形式で格納されたソフトウェアであって、
前記ソフトウェアは、コンピュータシステムに:
複数のデータストレージを前記システム内に保持することであって、前記複数のデータストレージの各データストレージは、前記複数の処理ノードのうちの対応処理ノードに関連付けられ、複数の永続性レベルのうちの1つの永続性レベルに関連付けられ、前記複数の永続性レベルは第1の永続性レベルと前記第1の永続性レベルと比較して大きなレベルの永続性を有する第2の永続性レベルとを含む、前記保持することと;
前記複数の処理ノードのうちの2つ又は3以上の処理ノードを使用して複数の組のデータユニットを処理することであって、各組のデータユニットの各データユニットは複数の時間間隔のうちの対応時間間隔に関連付けられ、かつ前記複数の組のデータユニットは前記複数の時間間隔のうちの第1の時間間隔に関連する第1組のデータユニットを含み、前記処理は、特定の永続性レベル毎に、前記第1の時間間隔に関連するすべての組のデータユニットが当該特定の永続性レベルで格納されるということを示すために関連する指標を更新する工程を含む、処理することと;
前記複数の処理ノードのうちの2又は3以上を使用して複数の組のタスクを処理することであって、各組の要求の各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、かつ前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組の要求は前記複数の時間間隔のうちの第2の時間間隔に関連する第1組の要求を含む、前記処理することと;
前記複数の処理ノードのうちの第1の処理ノードにおいて複数のカウンタを保持することであって、前記複数のカウンタは:前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって当該時間間隔に関連するすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製される、前記複製カウンタとを含む、前記保持することと;
前記作業カウンタの前記値及び前記複製カウンタの前記値を含む第1のメッセージを、第1の時間に前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ提供することと、を実行するための命令を含む、前記ソフトウェア。 - それぞれが少なくとも1つのプロセッサを含む複数の処理ノードを含む分散データ処理システムと;
前記複数の処理ノードの処理ノード間で情報を送受信するための前記複数の処理ノードを接続する通信媒体と、を含む装置であって、前記分散データ処理システムは:
複数のデータストレージを前記システム内に保持することであって、前記複数のデータストレージの各データストレージは、前記複数の処理ノードのうちの対応処理ノードに関連付けられ、複数の永続性レベルのうちの1つの永続性レベルに関連付けられ、前記複数の永続性レベルは第1の永続性レベルと前記第1の永続性レベルと比較して大きなレベルの永続性を有する第2の永続性レベルとを含む、前記保持することと;
前記複数の処理ノードのうちの2又は3以上の処理ノードを使用して複数の組のデータユニットを処理することであって、各組のデータユニットの各データユニットは複数の時間間隔のうちの対応時間間隔に関連付けられ、かつ前記複数の組のデータユニットは前記複数の時間間隔のうちの第1の時間間隔に関連する第1組のデータユニットを含み、前記処理は、特定の永続性レベル毎に、前記第1の時間間隔に関連するすべての組のデータユニットが当該特定の永続性レベルで格納されるということを示すために関連する指標を更新する工程を含む、前記処理することと;
前記複数の処理ノードのうちの2又は3以上を使用して複数の組のタスクを処理することであって、各組の要求の各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、かつ前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組の要求は前記複数の時間間隔のうちの第2の時間間隔に関連する第1組の要求を含む、前記処理することと;
前記複数の処理ノードのうちの第1の処理ノードにおいて複数のカウンタを保持することであって、前記複数のカウンタは:前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって当該時間間隔に関連するすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製される、前記複製カウンタとを含む、前記保持することと;
前記作業カウンタの前記値及び前記複製カウンタの前記値を含む第1のメッセージを前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ第1の時間に提供することと、を行うように構成される、前記装置。 - 複数の処理ノードを含む分散データ処理システムを管理する方法であって、
前記分散データ処理システムと通信する分散データ処理システムインターフェースコンポーネントにおいて入力データを受信する工程と、
前記受信された入力データを前記分散データ処理システムへ提供する工程であって、前記分散データ処理システムは複数の時間間隔のうちの第1の時間間隔に関連する指標を前記入力データへ割り当てる、前記提供する工程と、
前記分散データ処理システムからの前記入力データに関連する結果データを前記分散データ処理システムインターフェースコンポーネントにおいて受信する工程であって、前記結果データは前記第1の時間間隔に関連する指標を含む、前記受信する工程と、
前記複数の時間間隔のうちの第2の時間間隔に関連する指標を前記複数の処理ノードのうちの第1の処理ノードにおいて決定する工程と、
前記第2の時間間隔に関連する前記指標と前記結果データ内に含まれる前記第1の時間間隔に関連する前記指標とを前記分散データ処理システムインターフェースコンポーネントにおいて比較し、前記第2の時間間隔に関連する前記指標が前記第1の時間間隔と同一である又はそれより遅い時間間隔に対応すれば、前記分散データ処理システムインターフェースコンポーネントから前記結果データをリリースする工程と、
複数のデータストレージを前記システム内に保持する工程であって、前記複数のデータストレージの各データストレージは、前記複数の処理ノードのうちの対応処理ノードに関連付けられ、複数の永続性レベルのうちの1つの永続性レベルに関連付けられ、前記複数の永続性レベルは第1の永続性レベルと前記第1の永続性レベルと比較して大きなレベルの永続性を有する第2の永続性レベルとを含む、前記保持する工程と、
前記複数の処理ノードのうちの2又は3以上の処理ノードを使用して複数の組のデータユニットを処理する工程であって、各組のデータユニットの各データユニットは前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組のデータユニットは前記複数の時間間隔のうちの第3の時間間隔に関連する第1組のデータユニットを含み、前記処理は、特定の永続性レベル毎に、前記第3の時間間隔に関連するすべての組のデータユニットが当該特定の永続性レベルで格納されるということを示すために関連する指標を更新する工程を含む、前記処理する工程とを含む、前記方法。 - 前記第1組のデータユニットのデータユニット毎に、前記複数の処理ノードのそれぞれの処理ノードに関連する前記複数のデータストレージのうちのいくつかのデータストレージ内に前記データユニットを格納する工程は、前記第1のレベルの永続性に関連する前記複数のデータストレージのうちのいくつかのデータストレージ内に前記データユニットを格納する工程と、前記第2のレベルの永続性に関連する前記複数のデータストレージのうちの1又は2以上のデータストレージ内に前記データユニットを格納する工程とを含む、請求項21に記載の方法。
- 前記第2の時間間隔に関連する前記指標は、前記分散データ処理システムインターフェースコンポーネントへ提供される、請求項21に記載の方法。
- 複数の処理ノードを含む分散データ処理システムを管理するためのコンピュータ可読媒体上に非一時的形式で格納されたソフトウェアであって、前記ソフトウェアは、コンピュータシステムに:
前記分散データ処理システムと通信する分散データ処理システムインターフェースコンポーネントにおいて入力データを受信することと、
前記受信された入力データを前記分散データ処理システムへ提供することであって、前記分散データ処理システムは複数の時間間隔のうちの第1の時間間隔に関連する指標を入力データへ割り当てる、前記提供することと、
前記分散データ処理システムからの前記入力データに関連する結果データを前記分散データ処理システムインターフェースコンポーネントにおいて受信することとであって、前記結果データは第1の時間間隔に関連する指標を含む、前記受信することと、
前記複数の時間間隔のうちの第2の時間間隔に関連する指標を前記複数の処理ノードのうちの第1の処理ノードにおいて決定することと、
前記第2の時間間隔に関連する前記指標と前記結果データ内に含まれる第1の時間間隔に関連する前記指標とを前記分散データ処理システムインターフェースコンポーネントにおいて比較し、前記第2の時間間隔に関連する前記指標が前記第1の時間間隔と同一である又はそれより遅い時間間隔に対応すれば、前記分散データ処理システムインターフェースコンポーネントから前記結果データをリリースすることと、
複数のデータストレージを前記システム内に保持することであって、前記複数のデータストレージの各データストレージは、前記複数の処理ノードのうちの対応処理ノードに関連付けられ、複数の永続性レベルのうちの1つの永続性レベルに関連付けられ、前記複数の永続性レベルは第1の永続性レベルと前記第1の永続性レベルと比較して大きなレベルの永続性を有する第2の永続性レベルとを含む、前記保持することと、
前記複数の処理ノードのうちの2つ以上の処理ノードを使用して複数の組のデータユニットを処理することであって、各組のデータユニットの各データユニットは前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組のデータユニットは前記複数の時間間隔のうちの第3の時間間隔に関連する第1組のデータユニットを含み、前記処理は、特定の永続性レベル毎に、前記第3の時間間隔に関連するすべての組のデータユニットが当該特定の永続性レベルで格納されるということを示すために関連する指標を更新する工程を含む、前記処理すること、とを実行させるための命令を含む、前記ソフトウェア。 - それぞれが少なくとも1つのプロセッサを含む複数の処理ノードを含む分散データ処理システムと;
前記複数の処理ノードの処理ノード間で情報を送受信するための前記複数の処理ノードを接続する通信媒体と、を含む装置であって、前記分散データ処理システムは:
前記分散データ処理システムと通信する分散データ処理システムインターフェースコンポーネントにおいて入力データを受信することと、
前記受信された入力データを前記分散データ処理システムへ提供することであって、前記分散データ処理システムは複数の時間間隔のうちの第1の時間間隔に関連する指標を入力データへ割り当てる、前記提供することと、
前記分散データ処理システムからの前記入力データに関連する結果データを前記分散データ処理システムインターフェースコンポーネントにおいて受信することとであって、前記結果データは第1の時間間隔に関連する指標を含む、前記受信することと、
前記複数の時間間隔のうちの第2の時間間隔に関連する指標を前記複数の処理ノードのうちの第1の処理ノードにおいて決定することと、
前記第2の時間間隔に関連する前記指標と前記結果データ内に含まれる第1の時間間隔に関連する前記指標とを前記分散データ処理システムインターフェースコンポーネントにおいて比較し、前記第2の時間間隔に関連する前記指標が前記第1の時間間隔と同一である又はそれより遅い時間間隔に対応すれば、前記分散データ処理システムインターフェースコンポーネントから前記結果データをリリースすることと、
複数のデータストレージを前記システム内に保持することであって、前記複数のデータストレージの各データストレージは、前記複数の処理ノードのうちの対応処理ノードに関連付けられ、複数の永続性レベルのうちの1つの永続性レベルに関連付けられ、前記複数の永続性レベルは第1の永続性レベルと前記第1の永続性レベルと比べて大きなレベルの永続性を有する第2の永続性レベルとを含む、前記保持することと、
前記複数の処理ノードのうちの2又は3以上の処理ノードを使用して複数の組のデータユニットを処理することであって、各組のデータユニットの各データユニットは前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組のデータユニットは前記複数の時間間隔のうちの第3の時間間隔に関連する第1組のデータユニットを含み、前記処理は、特定の永続性レベル毎に、前記第3の時間間隔に関連するすべての組のデータユニットが当該特定の永続性レベルで格納されるということを示すために関連する指標を更新する工程を含む、前記処理すること、とを行わせる、前記装置。 - 複数の処理ノードを含む分散データ処理システムを管理する方法であって、
前記分散データ処理システムと通信する分散データ処理システムインターフェースコンポーネントにおいて入力データを受信する工程と、
前記受信された入力データを前記分散データ処理システムへ提供する工程であって、前記分散データ処理システムは複数の時間間隔のうちの第1の時間間隔に関連する指標を前記入力データへ割り当てる、前記提供する工程と、
前記分散データ処理システムからの前記入力データに関連する結果データ前記を分散データ処理システムインターフェースコンポーネントにおいて受信する工程であって、前記結果データは前記第1の時間間隔に関連する指標を含む、前記受信する工程と、
前記複数の時間間隔のうちの第2の時間間隔に関連する指標を前記複数の処理ノードのうちの第1の処理ノードにおいて決定する工程と、
前記第2の時間間隔に関連する前記指標と前記結果データ内に含まれる前記第1の時間間隔に関連する前記指標とを前記分散データ処理システムインターフェースコンポーネントにおいて比較し、前記第2の時間間隔に関連する前記指標が前記第1の時間間隔と同一である又はそれより遅い時間間隔に対応すれば、前記分散データ処理システムインターフェースコンポーネントから前記結果データをリリースする工程と、
前記複数の処理ノードのうちの2又は3以上を使用して複数の組のタスクを処理する工程であって、各組の要求の各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、かつ前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組の要求は前記複数の時間間隔のうちの第3の時間間隔に関連する第1組の要求を含む、前記処理する工程と;
前記複数の処理ノードの前記第1の処理ノードにおいて前記複数のカウンタを保持する工程であって、前記複数のカウンタは、前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって当該時間間隔に関連するすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製される複製カウンタとを含む、前記保持する工程と、
前記作業カウンタの前記値及び前記複製カウンタの前記値を含む第1のメッセージを前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ第1の時間に提供する工程と、を含む、前記方法。 - 前記第2の時間間隔に関連する前記指標は、前記分散データ処理システムインターフェースコンポーネントへ提供される、請求項26に記載の方法。
- 前記複数のカウンタはさらに、前記複数の時間間隔のうちの1つの時間間隔を示す持続性カウンタであって当該時間間隔に関連するすべての要求が前記複数の処理ノードのうちの少なくとも1つの処理ノードに関連する持続性ストレージ内に格納される持続性カウンタを含む、請求項26に記載の方法。
- 複数の処理ノードを含む分散データ処理システムを管理するためのコンピュータ可読媒体上に非一時的形式で格納されたソフトウェアであって、前記ソフトウェアは、コンピュータシステムに:
前記分散データ処理システムと通信する分散データ処理システムインターフェースコンポーネントにおいて入力データを受信することと、
前記受信された入力データを前記分散データ処理システムへ提供することであって、前記分散データ処理システムは複数の時間間隔のうちの第1の時間間隔に関連する指標を入力データへ割り当てる、前記提供することと、
前記分散データ処理システムからの前記入力データに関連する結果データを前記分散データ処理システムインターフェースコンポーネントにおいて受信することとであって、前記結果データは第1の時間間隔に関連する指標を含む、前記受信することと、
前記複数の時間間隔のうちの第2の時間間隔に関連する指標を前記複数の処理ノードのうちの第1の処理ノードにおいて決定することと、
前記第2の時間間隔に関連する前記指標と前記結果データ内に含まれる第1の時間間隔に関連する前記指標とを前記分散データ処理システムインターフェースコンポーネントにおいて比較し、前記第2の時間間隔に関連する前記指標が前記第1の時間間隔と同一である又はそれより遅い時間間隔に対応すれば、前記分散データ処理システムインターフェースコンポーネントから前記結果データをリリースすることと、
前記複数の処理ノードのうちの2又は3以上を使用して複数の組のタスクを処理することであって、各組の要求の各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、かつ前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組の要求は前記複数の時間間隔のうちの第3の時間間隔に関連する第1組の要求を含む、前記処理することと、
前記複数の処理ノードの前記第1の処理ノードにおいて複数のカウンタを保持することであって、前記複数のカウンタは、前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって当該時間間隔に関連するすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製される複製カウンタとを含む、前記保持することと、
前記作業カウンタの前記値及び前記複製カウンタの前記値を含む第1のメッセージを前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ第1の時間に提供することと、を実行させるための命令を含む、前記ソフトウェア。 - それぞれが少なくとも1つのプロセッサを含む複数の処理ノードを含む分散データ処理システムと、
前記複数の処理ノードの処理ノード間で情報を送受信するための前記複数の処理ノードを接続する通信媒体と、を含む装置であって、前記分散データ処理システムは、
前記分散データ処理システムと通信する分散データ処理システムインターフェースコンポーネントにおいて入力データを受信することと、
前記受信された入力データを前記分散データ処理システムへ提供することであって、前記分散データ処理システムは複数の時間間隔のうちの第1の時間間隔に関連する指標を入力データへ割り当てる、前記提供することと、
前記分散データ処理システムからの前記入力データに関連する結果データを前記分散データ処理システムインターフェースコンポーネントにおいて受信することとであって、前記結果データは第1の時間間隔に関連する指標を含む、前記受信することと、
前記複数の時間間隔のうちの第2の時間間隔に関連する指標を前記複数の処理ノードのうちの第1の処理ノードにおいて決定することと、
前記第2の時間間隔に関連する前記指標と前記結果データ内に含まれる第1の時間間隔に関連する前記指標とを前記分散データ処理システムインターフェースコンポーネントにおいて比較し、前記第2の時間間隔に関連する前記指標が前記第1の時間間隔と同一である又はそれより遅い時間間隔に対応すれば、前記分散データ処理システムインターフェースコンポーネントから前記結果データをリリースすることと、
前記複数の処理ノードのうちの2又は3以上を使用して複数の組のタスクを処理することであって、各組の要求の各要求は、前記複数の処理ノードのうちの1つの処理ノードにおいて状態更新を引き起こすように構成され、かつ前記複数の時間間隔のうちの対応時間間隔に関連付けられ、前記複数の組の要求は前記複数の時間間隔のうちの第3の時間間隔に関連する第1組の要求を含む、前記処理することと;
前記複数の処理ノードの前記第1の処理ノードにおいて複数のカウンタを保持することであって、前記複数のカウンタは、前記分散データ処理システム内の前記複数の時間間隔のうちの現在の時間間隔を示す作業カウンタと、前記複数の時間間隔のうちの1つの時間間隔を示す複製カウンタであって当該時間間隔に関連するすべての要求が前記複数の処理ノードの複数の処理ノードにおいて複製される複製カウンタとを含む、前記保持することと;
前記作業カウンタの前記値及び前記複製カウンタの前記値を含む第1のメッセージを前記複数の処理ノードのうちの前記第1の処理ノードから他の処理ノードへ第1の時間に提供することを行うように構成される、前記装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023068386A JP2023093614A (ja) | 2017-10-31 | 2023-04-19 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762579225P | 2017-10-31 | 2017-10-31 | |
US62/579,225 | 2017-10-31 | ||
PCT/US2018/058249 WO2019089619A1 (en) | 2017-10-31 | 2018-10-30 | Managing a computing cluster using replicated task results |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023068386A Division JP2023093614A (ja) | 2017-10-31 | 2023-04-19 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021503640A true JP2021503640A (ja) | 2021-02-12 |
Family
ID=64277932
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521954A Active JP7038204B2 (ja) | 2017-10-31 | 2018-10-30 | 永続性レベル表示器を使用してコンピュータクラスタを管理すること |
JP2020522052A Pending JP2021503640A (ja) | 2017-10-31 | 2018-10-30 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
JP2020521999A Active JP7203102B2 (ja) | 2017-10-31 | 2018-10-30 | コンピュータクラスタインターフェースを管理すること |
JP2020522044A Active JP6931745B2 (ja) | 2017-10-31 | 2018-10-30 | 状態更新の一貫性に基づきコンピュータクラスタを管理すること |
JP2020521944A Active JP7314127B2 (ja) | 2017-10-31 | 2018-10-30 | 時間間隔カウンタを使用してコンピュータクラスタを管理すること |
JP2023068386A Pending JP2023093614A (ja) | 2017-10-31 | 2023-04-19 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521954A Active JP7038204B2 (ja) | 2017-10-31 | 2018-10-30 | 永続性レベル表示器を使用してコンピュータクラスタを管理すること |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521999A Active JP7203102B2 (ja) | 2017-10-31 | 2018-10-30 | コンピュータクラスタインターフェースを管理すること |
JP2020522044A Active JP6931745B2 (ja) | 2017-10-31 | 2018-10-30 | 状態更新の一貫性に基づきコンピュータクラスタを管理すること |
JP2020521944A Active JP7314127B2 (ja) | 2017-10-31 | 2018-10-30 | 時間間隔カウンタを使用してコンピュータクラスタを管理すること |
JP2023068386A Pending JP2023093614A (ja) | 2017-10-31 | 2023-04-19 | 複製されたタスク結果を使用してコンピュータクラスタを管理すること |
Country Status (9)
Country | Link |
---|---|
US (6) | US10558493B2 (ja) |
EP (5) | EP3704580A1 (ja) |
JP (6) | JP7038204B2 (ja) |
KR (5) | KR102372540B1 (ja) |
CN (5) | CN111316240B (ja) |
AU (6) | AU2018357856B2 (ja) |
CA (5) | CA3078478C (ja) |
SG (5) | SG11202003048QA (ja) |
WO (5) | WO2019089619A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10789274B2 (en) * | 2018-02-27 | 2020-09-29 | Sap Se | Replicating data in a multi-cloud environment |
US10938750B2 (en) * | 2019-03-18 | 2021-03-02 | Advanced New Technologies Co., Ltd. | Consensus system downtime recovery |
PL3580913T3 (pl) | 2019-03-18 | 2021-06-28 | Advanced New Technologies Co., Ltd. | Przywracanie systemu konsensusu po przestoju |
SG11201908387SA (en) | 2019-03-18 | 2019-10-30 | Alibaba Group Holding Ltd | Consensus system downtime recovery |
CN111208949B (zh) * | 2020-01-13 | 2020-12-25 | 上海依图网络科技有限公司 | 一种确定分布式存储系统中的数据回滚时段的方法 |
KR102357314B1 (ko) * | 2020-10-28 | 2022-02-07 | 주식회사 마크베이스 | 센서 데이터 복제 방법을 수행하는 클라우드 시스템 |
CN112965858B (zh) * | 2021-03-04 | 2023-07-18 | 电信科学技术第五研究所有限公司 | 一种组网分布式存储数据冲突处理的实现方法 |
US11886920B2 (en) * | 2021-03-19 | 2024-01-30 | Shopify Inc. | Methods and apparatus for load sharing between primary and secondary computing environments based on expected completion latency differences |
US11514080B1 (en) * | 2022-05-31 | 2022-11-29 | Snowflake Inc. | Cross domain transactions |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009123055A (ja) * | 2007-11-16 | 2009-06-04 | Hitachi Ltd | ストレージシステム及びリモートコピー制御方法 |
US20110251997A1 (en) * | 2010-04-12 | 2011-10-13 | Microsoft Corporation | Logical replication in clustered database system with adaptive cloning |
US20120159236A1 (en) * | 2010-06-30 | 2012-06-21 | International Business Machines Corporation | Holistic task scheduling for distributed computing |
JP2012129857A (ja) * | 2010-12-16 | 2012-07-05 | Hitachi Ltd | データ処理システム、およびデータ順序保証方法 |
JP2015525419A (ja) * | 2012-06-18 | 2015-09-03 | アクテフィオ,インク. | 高度データ管理仮想化システム |
JP2016174268A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社日立製作所 | ネットワークシステム、ネットワークシステムの制御方法、通信装置、及びプログラム |
US20160306554A1 (en) * | 2015-04-17 | 2016-10-20 | Emc Corporation | Data storage management |
US9621401B1 (en) * | 2013-08-08 | 2017-04-11 | The Boeing Company | Performing dynamic data analysis within a dynamic network |
US20170177658A1 (en) * | 2015-12-18 | 2017-06-22 | Sap Se | Table replication in a database environment |
JP2017527216A (ja) * | 2014-09-03 | 2017-09-14 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 選択されたネットワークトラフィックの収集と分析 |
Family Cites Families (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0413698B1 (en) * | 1989-03-14 | 1994-08-17 | BELL TELEPHONE MANUFACTURING COMPANY Naamloze Vennootschap | Communication switching system |
JP3407358B2 (ja) * | 1993-11-05 | 2003-05-19 | 富士通株式会社 | バリア同期における非同期通信完了保証方法 |
US5966072A (en) * | 1996-07-02 | 1999-10-12 | Ab Initio Software Corporation | Executing computations expressed as graphs |
CA2213213A1 (en) * | 1996-08-26 | 1998-02-26 | Tandem Computers Incorporated | Method and apparatus for performing efficient corba transactions |
GB2335518A (en) | 1998-03-18 | 1999-09-22 | Ibm | Triggering event causes creation of Coordinator transaction state object |
US6615225B1 (en) * | 2000-04-27 | 2003-09-02 | International Business Machines Corporation | System and method for relating files in a distributed data storage environment |
US7103664B1 (en) | 2000-05-31 | 2006-09-05 | International Business Machines Corporation | Method, system and program products for ordering lists of service addresses to provide load balancing of a clustered environment |
US6990606B2 (en) * | 2000-07-28 | 2006-01-24 | International Business Machines Corporation | Cascading failover of a data management application for shared disk file systems in loosely coupled node clusters |
JP2002163239A (ja) * | 2000-11-22 | 2002-06-07 | Toshiba Corp | マルチプロセッサシステムおよびその制御方法 |
US20030023775A1 (en) * | 2001-07-13 | 2003-01-30 | International Business Machines Corporation | Efficient notification of multiple message completions in message passing multi-node data processing systems |
JP4133068B2 (ja) | 2002-07-23 | 2008-08-13 | 株式会社日立製作所 | 計算機システム |
US7167850B2 (en) | 2002-10-10 | 2007-01-23 | Ab Initio Software Corporation | Startup and control of graph-based computation |
US20040254964A1 (en) | 2003-06-12 | 2004-12-16 | Shoji Kodama | Data replication with rollback |
JP2005078461A (ja) * | 2003-09-01 | 2005-03-24 | Ricoh Co Ltd | 分散画像処理ネットワークシステム |
CN1938984B (zh) * | 2004-03-31 | 2010-05-26 | Lg电子株式会社 | 用于网络层的数据处理方法 |
CA2484694A1 (en) | 2004-10-14 | 2006-04-14 | Alcatel | Database ram cache |
US7778984B2 (en) * | 2004-11-19 | 2010-08-17 | Microsoft Corporation | System and method for a distributed object store |
CA2596719A1 (en) * | 2005-02-24 | 2006-08-31 | Xeround Systems Ltd. | Method and apparatus for distributed data management in a switching network |
US7716630B2 (en) | 2005-06-27 | 2010-05-11 | Ab Initio Technology Llc | Managing parameters for graph-based computations |
US7848261B2 (en) * | 2006-02-17 | 2010-12-07 | Isilon Systems, Inc. | Systems and methods for providing a quiescing protocol |
GB0613192D0 (en) * | 2006-07-01 | 2006-08-09 | Ibm | Methods, apparatus and computer programs for managing persistence |
US8086805B2 (en) * | 2006-10-05 | 2011-12-27 | Waratek Pty Ltd. | Advanced contention detection |
US8880480B2 (en) | 2007-01-03 | 2014-11-04 | Oracle International Corporation | Method and apparatus for data rollback |
JP2009151376A (ja) | 2007-12-18 | 2009-07-09 | Ntt Docomo Inc | 分散処理方法、計算機管理装置及び分散処理システム |
US20100332718A1 (en) * | 2009-06-26 | 2010-12-30 | Micron Technology, Inc. | System and method for providing configurable latency and/or density in memory devices |
US8275964B2 (en) * | 2010-01-08 | 2012-09-25 | International Business Machines Corporation | Hardware support for collecting performance counters directly to memory |
US9081501B2 (en) * | 2010-01-08 | 2015-07-14 | International Business Machines Corporation | Multi-petascale highly efficient parallel supercomputer |
US8555018B1 (en) | 2010-03-11 | 2013-10-08 | Amazon Technologies, Inc. | Techniques for storing data |
CN102421110B (zh) * | 2010-09-27 | 2014-11-05 | 中国移动通信集团四川有限公司 | 端到端关联的实现方法和装置 |
EP2633398B1 (en) * | 2010-10-25 | 2020-05-27 | Ab Initio Technology LLC | Managing data set objects in a dataflow graph that represents a computer program |
JP5146523B2 (ja) * | 2010-11-26 | 2013-02-20 | 株式会社デンソー | 車両用挙動データ記録装置 |
US9053073B1 (en) * | 2011-04-18 | 2015-06-09 | American Megatrends, Inc. | Use of timestamp logic in synchronous replication |
US8918362B2 (en) | 2011-05-23 | 2014-12-23 | Microsoft Corporation | Replication processes in a distributed storage environment |
US8935493B1 (en) | 2011-06-30 | 2015-01-13 | Emc Corporation | Performing data storage optimizations across multiple data storage systems |
US9965381B1 (en) | 2011-06-30 | 2018-05-08 | EMC IP Holding Company LLC | Indentifying data for placement in a storage system |
EP2555129B1 (en) | 2011-08-03 | 2019-02-06 | Amadeus S.A.S. | Method and system to maintain strong consistency of distributed replicated contents in a client/server system |
JP5548829B2 (ja) | 2011-09-28 | 2014-07-16 | 株式会社日立製作所 | 計算機システム、データ管理方法及びデータ管理プログラム |
CN102339315B (zh) * | 2011-09-30 | 2014-11-19 | 亿赞普(北京)科技有限公司 | 一种广告数据的索引更新方法和系统 |
US9246996B1 (en) | 2012-05-07 | 2016-01-26 | Amazon Technologies, Inc. | Data volume placement techniques |
US10387448B2 (en) | 2012-05-15 | 2019-08-20 | Splunk Inc. | Replication of summary data in a clustered computing environment |
EP2667541B1 (en) * | 2012-05-23 | 2015-08-05 | Alcatel Lucent | Connectivity service orchestrator |
US9223626B2 (en) * | 2012-08-30 | 2015-12-29 | International Business Machines Corporation | Task execution and management in a clustered computing environment |
CA2790479C (en) * | 2012-09-24 | 2020-12-15 | Ibm Canada Limited - Ibm Canada Limitee | Partitioning a search space for distributed crawling |
US8972491B2 (en) | 2012-10-05 | 2015-03-03 | Microsoft Technology Licensing, Llc | Consistency-based service-level agreements in cloud storage environments |
US9373074B2 (en) | 2012-10-09 | 2016-06-21 | Qualcomm Incorporated | Method and apparatus for time management and scheduling for sychronous processing on a cluster of processing nodes |
WO2014077918A1 (en) * | 2012-11-19 | 2014-05-22 | Board Of Regents, The University Of Texas System | Robustness in a scalable block storage system |
US9449039B2 (en) * | 2012-11-26 | 2016-09-20 | Amazon Technologies, Inc. | Automatic repair of corrupted blocks in a database |
US9002805B1 (en) | 2012-12-14 | 2015-04-07 | Amazon Technologies, Inc. | Conditional storage object deletion |
US11086898B2 (en) * | 2013-03-13 | 2021-08-10 | Amazon Technologies, Inc. | Token-based admission control for replicated writes |
US10225136B2 (en) | 2013-04-30 | 2019-03-05 | Splunk Inc. | Processing of log data and performance data obtained via an application programming interface (API) |
US9208032B1 (en) * | 2013-05-15 | 2015-12-08 | Amazon Technologies, Inc. | Managing contingency capacity of pooled resources in multiple availability zones |
EP3379415B1 (en) * | 2013-05-17 | 2019-11-06 | Ab Initio Technology LLC | Managing memory and storage space for a data operation |
US9384227B1 (en) * | 2013-06-04 | 2016-07-05 | Amazon Technologies, Inc. | Database system providing skew metrics across a key space |
US9298651B2 (en) * | 2013-06-24 | 2016-03-29 | International Business Machines Corporation | Continuous in-memory accumulation of hardware performance counter data |
CN103649901A (zh) | 2013-07-26 | 2014-03-19 | 华为技术有限公司 | 数据发送方法、数据接收方法和存储设备 |
US20150157880A1 (en) | 2013-12-05 | 2015-06-11 | Image Owl Inc. | Cloud-based adaptive quality assurance facilities |
US9183148B2 (en) * | 2013-12-12 | 2015-11-10 | International Business Machines Corporation | Efficient distributed cache consistency |
US10474493B2 (en) | 2014-02-28 | 2019-11-12 | Red Hat, Inc. | Systems and methods for semi-durable transaction log storage in two-phase commit protocol transaction processing |
JP5865424B2 (ja) | 2014-04-25 | 2016-02-17 | 株式会社日立製作所 | メッセージシステムおよびデータストアサーバ |
US10803012B1 (en) | 2014-05-09 | 2020-10-13 | Amazon Technologies, Inc. | Variable data replication for storage systems implementing quorum-based durability schemes |
US10409920B1 (en) * | 2014-05-23 | 2019-09-10 | EMC IP Holding Company LLC | Data services for tiered memory |
US9525599B1 (en) | 2014-06-24 | 2016-12-20 | Google Inc. | Modeling distributed systems |
US20160048408A1 (en) | 2014-08-13 | 2016-02-18 | OneCloud Labs, Inc. | Replication of virtualized infrastructure within distributed computing environments |
WO2016024986A1 (en) * | 2014-08-15 | 2016-02-18 | Hewlett-Packard Development Company, L.P. | Three phase commit for a distributed file system |
US9256761B1 (en) | 2014-08-18 | 2016-02-09 | Yp Llc | Data storage service for personalization system |
EP3189422A1 (en) | 2014-09-02 | 2017-07-12 | AB Initio Technology LLC | Executing graph-based program specifications |
US10303795B2 (en) | 2014-09-10 | 2019-05-28 | Amazon Technologies, Inc. | Read descriptors at heterogeneous storage systems |
WO2016044763A1 (en) | 2014-09-19 | 2016-03-24 | Amazon Technologies, Inc. | Automated configuration of log-coordinated storage groups |
US10373247B2 (en) | 2014-09-19 | 2019-08-06 | Amazon Technologies, Inc. | Lifecycle transitions in log-coordinated data stores |
US10025802B2 (en) | 2014-09-19 | 2018-07-17 | Amazon Technologies, Inc. | Automated configuration of log-coordinated storage groups |
US9799017B1 (en) * | 2014-09-19 | 2017-10-24 | Amazon Technologies, Inc. | Cross-data-store operations in log-coordinated storage systems |
EP3210119B1 (en) | 2014-10-20 | 2022-03-30 | AB Initio Technology LLC | Recovery and fault-tolerance under computational indeterminism |
US9892180B2 (en) * | 2014-11-21 | 2018-02-13 | International Business Machines Corporation | Data transfer between multiple databases |
US10095425B1 (en) | 2014-12-30 | 2018-10-09 | EMC IP Holding Company LLC | Techniques for storing data |
US9886347B2 (en) | 2015-01-08 | 2018-02-06 | International Business Machines Corporation | Data replication in a database management system |
US20180024853A1 (en) | 2015-02-17 | 2018-01-25 | Coho Data, Inc. | Methods, systems, devices and appliances relating to virtualized application-layer space for data processing in data storage systems |
US9891973B2 (en) | 2015-02-18 | 2018-02-13 | Seagate Technology Llc | Data storage system durability using hardware failure risk indicators |
CN107534584B (zh) | 2015-02-27 | 2020-12-01 | 加拿大皇家银行 | 通过网络化计算资源对数据进行协调处理 |
WO2016166844A1 (ja) | 2015-04-15 | 2016-10-20 | 株式会社日立製作所 | 分散処理システム、タスク処理方法、記憶媒体 |
US20160306581A1 (en) | 2015-04-15 | 2016-10-20 | Intermodal Data, Inc. | Automated configuration of storage pools methods and apparatus |
US10140149B1 (en) * | 2015-05-19 | 2018-11-27 | Pure Storage, Inc. | Transactional commits with hardware assists in remote memory |
US9778883B2 (en) | 2015-06-23 | 2017-10-03 | Netapp, Inc. | Methods and systems for resource management in a networked storage environment |
US10650024B2 (en) * | 2015-07-30 | 2020-05-12 | Google Llc | System and method of replicating data in a distributed system |
US9753813B1 (en) | 2015-09-25 | 2017-09-05 | Amazon Technologies, Inc. | Data replication snapshots for persistent storage using operation numbers |
CA3001987A1 (en) * | 2015-09-28 | 2017-04-06 | Walmart Apollo, Llc | Cloud based session management system |
US9672082B2 (en) * | 2015-10-21 | 2017-06-06 | Oracle International Corporation | Guaranteeing the event order for multi-stage processing in distributed systems |
US10567500B1 (en) | 2015-12-21 | 2020-02-18 | Amazon Technologies, Inc. | Continuous backup of data in a distributed data store |
CN108475218B (zh) * | 2016-01-14 | 2022-03-22 | 起元技术有限责任公司 | 可恢复流处理 |
US20170212891A1 (en) * | 2016-01-25 | 2017-07-27 | Netapp, Inc. | Scheduling technique to smooth metadata processing latency |
US10237149B1 (en) * | 2016-03-21 | 2019-03-19 | EMC IP Holding Company LLC | Application-level monitoring and profiling services in computing environments |
US10474636B2 (en) * | 2016-03-25 | 2019-11-12 | Amazon Technologies, Inc. | Block allocation for low latency file systems |
US10469582B2 (en) | 2016-04-13 | 2019-11-05 | Netapp, Inc. | Methods and systems for managing provisioning requests in a networked storage environment |
CN107302469B (zh) * | 2016-04-14 | 2020-03-31 | 北京京东尚科信息技术有限公司 | 分布式服务集群系统数据更新的监控装置及方法 |
US10158743B2 (en) | 2016-06-12 | 2018-12-18 | International Business Machines Corporation | Compute node cluster management |
CN106201338B (zh) * | 2016-06-28 | 2019-10-22 | 华为技术有限公司 | 数据存储方法及装置 |
US10650017B1 (en) | 2016-08-29 | 2020-05-12 | Amazon Technologies, Inc. | Tiered storage for data processing |
US10810103B2 (en) | 2016-12-14 | 2020-10-20 | Vmware, Inc. | Method and system for identifying event-message transactions |
US11307998B2 (en) * | 2017-01-09 | 2022-04-19 | Pure Storage, Inc. | Storage efficiency of encrypted host system data |
US10423609B1 (en) * | 2017-03-29 | 2019-09-24 | Amazon Technologies, Inc. | Consistent snapshot points in a distributed storage service |
US11010193B2 (en) | 2017-04-17 | 2021-05-18 | Microsoft Technology Licensing, Llc | Efficient queue management for cluster scheduling |
US10613791B2 (en) * | 2017-06-12 | 2020-04-07 | Pure Storage, Inc. | Portable snapshot replication between storage systems |
US10387673B2 (en) * | 2017-06-30 | 2019-08-20 | Microsoft Technology Licensing, Llc | Fully managed account level blob data encryption in a distributed storage environment |
US10425473B1 (en) * | 2017-07-03 | 2019-09-24 | Pure Storage, Inc. | Stateful connection reset in a storage cluster with a stateless load balancer |
US20190102262A1 (en) | 2017-09-29 | 2019-04-04 | Intel Corporation | Automated continuous checkpointing |
US10862965B2 (en) * | 2017-10-01 | 2020-12-08 | Oracle International Corporation | System and method for topics implementation in a distributed data computing environment |
-
2018
- 2018-10-30 AU AU2018357856A patent/AU2018357856B2/en active Active
- 2018-10-30 US US16/175,133 patent/US10558493B2/en active Active
- 2018-10-30 SG SG11202003048QA patent/SG11202003048QA/en unknown
- 2018-10-30 SG SG11202002986TA patent/SG11202002986TA/en unknown
- 2018-10-30 JP JP2020521954A patent/JP7038204B2/ja active Active
- 2018-10-30 CN CN201880071329.3A patent/CN111316240B/zh active Active
- 2018-10-30 EP EP18803840.0A patent/EP3704580A1/en active Pending
- 2018-10-30 KR KR1020207014638A patent/KR102372540B1/ko active IP Right Grant
- 2018-10-30 SG SG11202003045VA patent/SG11202003045VA/en unknown
- 2018-10-30 AU AU2018359385A patent/AU2018359385B2/en active Active
- 2018-10-30 CA CA3078478A patent/CA3078478C/en active Active
- 2018-10-30 JP JP2020522052A patent/JP2021503640A/ja active Pending
- 2018-10-30 WO PCT/US2018/058249 patent/WO2019089619A1/en unknown
- 2018-10-30 SG SG11202003041YA patent/SG11202003041YA/en unknown
- 2018-10-30 CA CA3078469A patent/CA3078469C/en active Active
- 2018-10-30 AU AU2018359380A patent/AU2018359380B2/en active Active
- 2018-10-30 JP JP2020521999A patent/JP7203102B2/ja active Active
- 2018-10-30 WO PCT/US2018/058225 patent/WO2019089606A1/en unknown
- 2018-10-30 WO PCT/US2018/058220 patent/WO2019089601A1/en unknown
- 2018-10-30 US US16/175,276 patent/US11288284B2/en active Active
- 2018-10-30 CN CN201880071284.XA patent/CN111295643B/zh active Active
- 2018-10-30 US US16/175,487 patent/US11281693B2/en active Active
- 2018-10-30 AU AU2018359378A patent/AU2018359378B2/en active Active
- 2018-10-30 KR KR1020207014895A patent/KR102444421B1/ko active IP Right Grant
- 2018-10-30 CA CA3078482A patent/CA3078482C/en active Active
- 2018-10-30 EP EP18801247.0A patent/EP3704576A1/en active Pending
- 2018-10-30 US US16/175,454 patent/US11269918B2/en active Active
- 2018-10-30 EP EP18804787.2A patent/EP3704578A1/en active Pending
- 2018-10-30 JP JP2020522044A patent/JP6931745B2/ja active Active
- 2018-10-30 CN CN201880071419.2A patent/CN111316243B/zh active Active
- 2018-10-30 US US16/175,408 patent/US11074240B2/en active Active
- 2018-10-30 KR KR1020207014637A patent/KR102402150B1/ko active IP Right Grant
- 2018-10-30 WO PCT/US2018/058218 patent/WO2019089599A1/en unknown
- 2018-10-30 KR KR1020207015042A patent/KR102442431B1/ko active IP Right Grant
- 2018-10-30 EP EP18804790.6A patent/EP3704579B1/en active Active
- 2018-10-30 CA CA3078476A patent/CA3078476C/en active Active
- 2018-10-30 WO PCT/US2018/058211 patent/WO2019089593A1/en unknown
- 2018-10-30 KR KR1020207015393A patent/KR102396002B1/ko active IP Right Grant
- 2018-10-30 CN CN201880071269.5A patent/CN111373373B/zh active Active
- 2018-10-30 CA CA3078483A patent/CA3078483C/en active Active
- 2018-10-30 SG SG11202002998QA patent/SG11202002998QA/en unknown
- 2018-10-30 EP EP18801250.4A patent/EP3704577A1/en active Pending
- 2018-10-30 JP JP2020521944A patent/JP7314127B2/ja active Active
- 2018-10-30 CN CN201880071520.8A patent/CN111316241B/zh active Active
- 2018-10-30 US US16/175,363 patent/US10949414B2/en active Active
- 2018-10-30 AU AU2018357870A patent/AU2018357870B2/en active Active
-
2021
- 2021-12-02 AU AU2021277733A patent/AU2021277733B2/en active Active
-
2023
- 2023-04-19 JP JP2023068386A patent/JP2023093614A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009123055A (ja) * | 2007-11-16 | 2009-06-04 | Hitachi Ltd | ストレージシステム及びリモートコピー制御方法 |
US20110251997A1 (en) * | 2010-04-12 | 2011-10-13 | Microsoft Corporation | Logical replication in clustered database system with adaptive cloning |
US20120159236A1 (en) * | 2010-06-30 | 2012-06-21 | International Business Machines Corporation | Holistic task scheduling for distributed computing |
JP2012129857A (ja) * | 2010-12-16 | 2012-07-05 | Hitachi Ltd | データ処理システム、およびデータ順序保証方法 |
JP2015525419A (ja) * | 2012-06-18 | 2015-09-03 | アクテフィオ,インク. | 高度データ管理仮想化システム |
US9621401B1 (en) * | 2013-08-08 | 2017-04-11 | The Boeing Company | Performing dynamic data analysis within a dynamic network |
JP2017527216A (ja) * | 2014-09-03 | 2017-09-14 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 選択されたネットワークトラフィックの収集と分析 |
JP2016174268A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社日立製作所 | ネットワークシステム、ネットワークシステムの制御方法、通信装置、及びプログラム |
US20160306554A1 (en) * | 2015-04-17 | 2016-10-20 | Emc Corporation | Data storage management |
US20170177658A1 (en) * | 2015-12-18 | 2017-06-22 | Sap Se | Table replication in a database environment |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6931745B2 (ja) | 状態更新の一貫性に基づきコンピュータクラスタを管理すること | |
JP2021501399A6 (ja) | 永続性レベル表示器を使用してコンピュータクラスタを管理すること | |
JP2021501398A6 (ja) | 時間間隔カウンタを使用してコンピュータクラスタを管理すること | |
JP2021501400A6 (ja) | コンピュータクラスタインターフェースを管理すること |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210802 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230419 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230428 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230519 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230721 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240412 |