JP2012242972A - 集約システム及び方法及び資源管理ノード及び計算ノード及び集約処理プログラム - Google Patents
集約システム及び方法及び資源管理ノード及び計算ノード及び集約処理プログラム Download PDFInfo
- Publication number
- JP2012242972A JP2012242972A JP2011110843A JP2011110843A JP2012242972A JP 2012242972 A JP2012242972 A JP 2012242972A JP 2011110843 A JP2011110843 A JP 2011110843A JP 2011110843 A JP2011110843 A JP 2011110843A JP 2012242972 A JP2012242972 A JP 2012242972A
- Authority
- JP
- Japan
- Prior art keywords
- calculation
- node
- calculation result
- task
- resource management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】 本発明は、資源管理ノードで集約処理を検出し、該集約処理を行うタスクを抽出し、タスクの入力データを有する計算ノードから取得したハッシュ値と実行ファイルを検索キーとして過去の計算結果を検索し、該当する計算結果がある場合は、該計算結果を保持する計算ノードで処理が終了したと見做して計算処理をスキップし、該当する計算結果がない場合は、タスクを実行する計算ノードを決定し、タスクを実行させる。計算ノードでは、資源管理ノードから割り当てられたタスクを実行し、該タスクの計算結果を一時記憶手段に格納する。ジョブが終了すると、検索キーに基づいて検索し、計算結果を保持している計算ノードから計算結果を取得して、該計算ノードと関連付けて該計算結果記憶手段に格納する。
【選択図】 図6
Description
前記資源管理ノードは、
ジョブの実行ファイルから集約処理を検出し、該集約処理を行うタスクを抽出する集約処理検出手段と、
前記タスクの入力データを有する計算ノードに対して該入力データのハッシュ値の計算を要求し、実行ファイルと共に取得するハッシュ値取得手段と、
前記ハッシュ値と実行ファイルを検索キーとして過去の計算結果が格納されている計算結果記憶手段を検索し、該当する計算結果がある場合は、該計算結果を保持する計算ノードで処理が終了したと見做して計算処理をスキップし、該当する計算結果がない場合は、タスクを実行する計算ノードを決定し、タスクを実行させるタスク管理手段と、
ジョブが終了すると、前記検索キーに基づいて前記計算結果記憶手段を検索し、計算結果を保持している計算ノードを特定し、該計算ノードから取得した計算結果を取得して、該計算ノードと関連付けて該計算結果記憶手段に格納する計算結果格納手段と、
を有し、
前記計算ノードは、
前記資源管理ノードからの要求により、前記入力データのハッシュ値を求めるハッシュ値計算手段と、
前記資源管理ノードから割り当てられた前記タスクを実行し、該タスクの計算結果を実行ファイル、入力データを関連付けて一時記憶手段に格納するタスク実行手段と、
前記ジョブが終了した時点で、前記資源管理ノードから要求があると、前記一時記憶手段から計算結果を読み出して該資源管理ノードに転送するデータ転送手段と、
を有することを特徴とする。
前記資源管理ノードから集約処理の入力要求があると、当該計算ノードと同じ物理計算機内のデータノードから計算結果を取得し、集約処理の計算結果があることを該資源管理ノードに通知する手段を含み、
前記資源管理ノードにおいて、
前記計算ノードから計算結果があることが通知されると、集約処理が終了したものと判断する手段を含む。
前記タスクを実行した計算ノード以外の計算ノードの計算結果を前記データノードに転送するデータ格納手段を有し、
前記計算ノードと同じ物理計算機内のデータノードは、
データを格納するデータ記憶手段と、
前記資源管理ノードから転送された計算結果を前記データ記憶手段に格納する手段と、を有する。
(1)検索エンジンの更新が高速に行えるようになる;
(2)ユーザへのレコメンデーションが高速に更新できるようになる;
(3)ログ解析を高速に行うことができる。
2 計算結果一時記憶部
10 資源管理ノード
11 集約処理検出部
12 タスク管理部
13 検索部
14 ノード管理DB
20 物理計算機
21 計算ノード
22 データノード
211 ハッシュ計算部
221 データ記憶部
222 ハッシュ計算部
Claims (10)
- 分散並列処理において、複数の計算ノードと、過去に行ったジョブの入力の一部を変更し、再度同じジョブを行う場合に、該複数の計算ノードから実行結果を入力して受け取り計算を行う資源管理ノードを有する集約処理システムであって、
前記資源管理ノードは、
ジョブの実行ファイルから集約処理を検出し、該集約処理を行うタスクを抽出する集約処理検出手段と、
前記タスクの入力データを有する計算ノードに対して該入力データのハッシュ値の計算を要求し、実行ファイルと共に取得するハッシュ値取得手段と、
前記ハッシュ値と実行ファイルを検索キーとして過去の計算結果が格納されている計算結果記憶手段を検索し、該当する計算結果がある場合は、該計算結果を保持する計算ノードで処理が終了したと見做して計算処理をスキップし、該当する計算結果がない場合は、タスクを実行する計算ノードを決定し、タスクを実行させるタスク管理手段と、
ジョブが終了すると、前記検索キーに基づいて前記計算結果記憶手段を検索し、計算結果を保持している計算ノードを特定し、該計算ノードから取得した計算結果を取得して、該計算ノードと関連付けて該計算結果記憶手段に格納する計算結果格納手段と、
を有し、
前記計算ノードは、
前記資源管理ノードからの要求により、前記入力データのハッシュ値を求めるハッシュ値計算手段と、
前記資源管理ノードから割り当てられた前記タスクを実行し、該タスクの計算結果を実行ファイル、入力データを関連付けて一時記憶手段に格納するタスク実行手段と、
前記ジョブが終了した時点で、前記資源管理ノードから要求があると、前記一時記憶手段から計算結果を読み出して該資源管理ノードに転送するデータ転送手段と、
を有することを特徴とする集約処理システム。 - 前記計算ノードは、
前記資源管理ノードから集約処理の入力要求があると、当該計算ノードと同じ物理計算機内のデータノードから計算結果を取得し、集約処理の計算結果があることを該資源管理ノードに通知する手段を含み、
前記資源管理ノードは、
前記計算ノードから計算結果があることが通知されると、集約処理が終了したものと判断する手段を含む
請求項1記載の集約処理システム。 - 前記資源管理ノードは、
前記タスクを実行した計算ノード以外の計算ノードの計算結果を前記データノードに転送するデータ格納手段を有し、
前記計算ノードと同じ物理計算機内のデータノードは、
データを格納するデータ記憶手段と、
前記資源管理ノードから転送された計算結果を前記データ記憶手段に格納する手段と、
を有する請求項1記載の集約処理システム。 - 分散並列処理において、複数の計算ノードと、過去に行ったジョブの入力の一部を変更し、再度同じジョブを行う場合に、該複数の計算ノードから実行結果を入力して受け取り計算を行う資源管理ノードを有するシステムにおける集約処理方法であって、
前記資源管理ノードの集約処理検出手段が、ジョブの実行ファイルから集約処理を検出し、該集約処理を行うタスクを抽出する集約処理検出ステップと、
前記資源管理ノードのハッシュ値取得手段が、前記タスクの入力データを有する計算ノードに対して該入力データのハッシュ値の計算を要求するハッシュ値要求ステップと、
前記計算ノードのハッシュ値計算手段が、前記入力データのハッシュ値を求めるハッシュ値計算ステップと、
前記資源管理ノードの前記ハッシュ値取得手段が、前記計算ノードから取得したハッシュ値を実行ファイルと共に取得するハッシュ値取得ステップと、
前記資源管理ノードのタスク管理手段が、前記ハッシュ値と実行ファイルを検索キーとして過去の計算結果が格納されている計算結果記憶手段を検索し、該当する計算結果がある場合は、該計算結果を保持する計算ノードで処理が終了したと見做して計算処理をスキップし、該当する計算結果がない場合は、タスクを実行する計算ノードを決定し、タスクを実行させるタスク管理ステップと、
前記計算ノードのタスク実行手段が、前記資源管理ノードから割り当てられた前記タスクを実行し、該タスクの計算結果を実行ファイル、入力データを関連付けて一時記憶手段に格納するタスク実行ステップと、
前記資源管理ノードの計算結果格納手段が、ジョブが終了すると、前記検索キーに基づいて前記計算結果記憶手段を検索し、計算結果を保持している計算ノードを特定し、該計算ノードに計算結果を要求する計算結果要求ステップと、
前記計算ノードのデータ転送手段が、前記一時記憶手段から計算結果を読み出して前記資源管理ノードに転送するデータ転送ステップと、
前記資源管理ノードの計算結果格納手段が、前記計算ノードから取得した計算結果を取得して、該計算ノードと関連付けて該計算結果記憶手段に格納する計算結果格納ステップと、
を行うことを特徴とする集約処理方法。 - 前記計算ノードにおいて、
前記資源管理ノードから集約処理の入力要求があると、当該計算ノードと同じ物理計算機内のデータノードから計算結果を取得し、集約処理の計算結果があることを該資源管理ノードに通知し、
前記資源管理ノードにおいて、
前記計算ノードから計算結果があることが通知されると、集約処理が終了したものと判断する
請求項4記載の集約処理方法。 - 前記資源管理ノードにおいて、
前記タスクを実行した計算ノード以外の計算ノードの計算結果を前記データノードに転送し、
前記計算ノードと同じ物理計算機内のデータノードにおいて、
前記資源管理ノードから転送された計算結果をデータ記憶手段に格納する
請求項4記載の集約処理方法。 - 分散並列処理において、過去に行ったジョブの入力の一部を変更し、再度同じジョブを行う場合に、複数の計算ノードから実行結果を入力して受け取り計算を行う資源管理ノードであって、
ジョブの実行ファイルから集約処理を検出し、該集約処理を行うタスクを抽出する集約処理検出手段と、
前記タスクの入力データを有する計算ノードに対して該入力データのハッシュ値の計算を要求し、実行ファイルと共に取得するハッシュ値取得手段と、
前記ハッシュ値と実行ファイルを検索キーとして過去の計算結果が格納されている計算結果記憶手段を検索し、該当する計算結果がある場合は、該計算結果を保持する計算ノードで処理が終了したと見做して計算処理をスキップし、該当する計算結果がない場合は、タスクを実行する計算ノードを決定し、タスクを実行させるタスク管理手段と、
ジョブが終了すると、前記検索キーに基づいて前記計算結果記憶手段を検索し、計算結果を保持している計算ノードを特定し、該計算ノードから取得した計算結果を取得して、該計算ノードと関連付けて該計算結果記憶手段に格納する計算結果格納手段と、
前記タスクを実行した計算ノード以外の計算ノードの計算結果を前記データノードに転送するデータ格納手段と、
を有することを特徴とする資源管理ノード。 - 分散並列処理において、過去に行ったジョブの入力の一部を変更し、再度同じジョブを行う場合に、資源管理ノードからのタスク割り当てによりタスクを実行する計算ノードであって、
前記資源管理ノードからの要求により、前記入力データのハッシュ値を求めるハッシュ値計算手段と、
前記資源管理ノードから割り当てられた前記タスクを実行し、該タスクの計算結果を実行ファイル、入力データを関連付けて一時記憶手段に格納するタスク実行手段と、
前記ジョブが終了した時点で、前記資源管理ノードから要求があると、前記一時記憶手段から計算結果を読み出して該資源管理ノードに転送するデータ転送手段と、
を有することを特徴とする計算ノード。 - コンピュータを、
請求項7記載の資源管理ノードの各手段として機能させるための集約処理プログラム。 - コンピュータを、
請求項8記載の計算ノードの各手段として機能させるための集約処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011110843A JP2012242972A (ja) | 2011-05-17 | 2011-05-17 | 集約システム及び方法及び資源管理ノード及び計算ノード及び集約処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011110843A JP2012242972A (ja) | 2011-05-17 | 2011-05-17 | 集約システム及び方法及び資源管理ノード及び計算ノード及び集約処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012242972A true JP2012242972A (ja) | 2012-12-10 |
Family
ID=47464647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011110843A Pending JP2012242972A (ja) | 2011-05-17 | 2011-05-17 | 集約システム及び方法及び資源管理ノード及び計算ノード及び集約処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012242972A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10105420A (ja) * | 1996-09-25 | 1998-04-24 | Hitachi Ltd | リモートプロシジャコール処理方式 |
JP2004062608A (ja) * | 2002-07-30 | 2004-02-26 | Dainippon Printing Co Ltd | 並列処理システム、サーバ、並列処理方法、プログラム、及び、記録媒体 |
JP2009087190A (ja) * | 2007-10-02 | 2009-04-23 | Nec Corp | ストリームデータ解析高速化装置、方法およびプログラム |
JP2010505201A (ja) * | 2006-09-29 | 2010-02-18 | マイクロソフト コーポレーション | セキュア・ピアツーピア・キャッシュ共有 |
JP2010092222A (ja) * | 2008-10-07 | 2010-04-22 | Internatl Business Mach Corp <Ibm> | 更新頻度に基づくキャッシュ機構 |
-
2011
- 2011-05-17 JP JP2011110843A patent/JP2012242972A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10105420A (ja) * | 1996-09-25 | 1998-04-24 | Hitachi Ltd | リモートプロシジャコール処理方式 |
JP2004062608A (ja) * | 2002-07-30 | 2004-02-26 | Dainippon Printing Co Ltd | 並列処理システム、サーバ、並列処理方法、プログラム、及び、記録媒体 |
JP2010505201A (ja) * | 2006-09-29 | 2010-02-18 | マイクロソフト コーポレーション | セキュア・ピアツーピア・キャッシュ共有 |
JP2009087190A (ja) * | 2007-10-02 | 2009-04-23 | Nec Corp | ストリームデータ解析高速化装置、方法およびプログラム |
JP2010092222A (ja) * | 2008-10-07 | 2010-04-22 | Internatl Business Mach Corp <Ibm> | 更新頻度に基づくキャッシュ機構 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9996394B2 (en) | Scheduling accelerator tasks on accelerators using graphs | |
US9747086B2 (en) | Transmission point pattern extraction from executable code in message passing environments | |
US10503905B1 (en) | Data lineage management | |
US8510751B2 (en) | Optimizing workflow engines | |
US9575813B2 (en) | Pattern matching process scheduler with upstream optimization | |
JP6427592B2 (ja) | データ型に関連するデータプロファイリング操作の管理 | |
JP2012160013A (ja) | データ分析及び機械学習処理装置及び方法及びプログラム | |
US20240232722A1 (en) | Handling system-characteristics drift in machine learning applications | |
JP2012242975A (ja) | 分散並列処理キャッシュ装置及び方法及び資源管理ノード及びプログラム | |
Thomas et al. | Survey on MapReduce scheduling algorithms | |
US10599472B2 (en) | Information processing apparatus, stage-out processing method and recording medium recording job management program | |
Kim et al. | Optimal Model Partitioning with Low-Overhead Profiling on the PIM-based Platform for Deep Learning Inference | |
JP2012242972A (ja) | 集約システム及び方法及び資源管理ノード及び計算ノード及び集約処理プログラム | |
JP2011186853A (ja) | データ処理装置及びシステム及び方法及びプログラム | |
Yang et al. | Demonstration on unblocking checkpoint for fault-tolerance in pregel-like systems | |
US20120284315A1 (en) | Optimization of non-deterministic computational paths | |
WO2024156113A1 (en) | Runtime error attribution for database queries specified using a declarative database query language | |
US20240256550A1 (en) | Dictionary Filtering and Evaluation in Columnar Databases | |
JP5501288B2 (ja) | 投機的実行装置及び方法及びプログラム | |
US20240256549A1 (en) | Evaluating Expressions Over Dictionary Data | |
JP2014507734A (ja) | 分散計算方法及び分散計算システム | |
Mestre | Leveraging the entity matching performance through adaptive indexing and efficient parallelization | |
Saxena et al. | Enhancing Redundant Content Elimination Algorithm Using Processing Power of Multi-Core Architecture | |
JP2020003945A (ja) | 計算機システム及びデータ管理方法 | |
JP5554731B2 (ja) | 情報更新装置及び情報更新方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130806 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140701 |