JP2017162209A - 分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置 - Google Patents
分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置 Download PDFInfo
- Publication number
- JP2017162209A JP2017162209A JP2016046241A JP2016046241A JP2017162209A JP 2017162209 A JP2017162209 A JP 2017162209A JP 2016046241 A JP2016046241 A JP 2016046241A JP 2016046241 A JP2016046241 A JP 2016046241A JP 2017162209 A JP2017162209 A JP 2017162209A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- partial
- distributed
- distributed processing
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5013—Request control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。最初に、ドライバに対する注意喚起の制御を行う分散処理実行管理プログラムについて説明する。図14は、分散処理実行管理プログラムを実行するコンピュータの構成の一例を示す説明図である。
10 管理サーバ
11 ノード
20 マスタ部
21 管理部
30 ワーカ部
40 収集部
41 推定部
42 判断部
Claims (6)
- コンピュータに、
処理対象ジョブを分散して部分処理する複数のノードそれぞれから、前記部分処理の処理結果を収集し、
収集された前記部分処理の処理結果に基づき、前記部分処理に対応する全体処理の処理結果である全体処理結果を推定し、
推定された全体処理結果に応じて、前記全体処理に対応する他の部分処理の実行継続可否を判断する、
処理を実行させることを特徴とする分散処理実行管理プログラム。 - 前記収集する処理は、前記複数のノードにより保持された前記部分処理の処理結果、または、前記複数のノードでそれぞれ実行されるプロセスにより生成される、前記部分処理の処理結果を収集する
ことを特徴とする請求項1に記載の分散処理実行管理プログラム。 - 前記判断する処理は、要求される所定の性能条件を満たすことが推定される場合、または、前記性能条件を満たさないことが推定される場合、前記全体処理に対応する他の部分処理の実行を不要と判断する
ことを特徴とする請求項1または2に記載の分散処理実行管理プログラム。 - 前記収集する処理は、機械学習での予測モデルの処理パラメータの組み合わせごとにジョブを分けて前記複数のノードで分散して部分処理される当該部分処理の処理結果を前記複数のノードそれぞれから収集し、
前記推定する処理は、収集された前記部分処理の処理結果に基づき、前記部分処理に対応するジョブの予測モデルでの予測精度を推定し、
前記判断する処理は、推定された予測精度が、第1の予測精度を満たす場合、または、前記第1の予測精度より低い第2の予測精度を満たさない場合、予測精度を推定したジョブの残りの部分処理の実行を不要と判断する
ことを特徴とする請求項1〜3の何れか1つに記載の分散処理実行管理プログラム。 - コンピュータが、
処理対象ジョブを分散して部分処理する複数のノードそれぞれから、前記部分処理の処理結果を収集し、
収集された前記部分処理の処理結果に基づき、前記部分処理に対応する全体処理の処理結果である全体処理結果を推定し、
推定された全体処理結果に応じて、前記全体処理に対応する他の部分処理の実行継続可否を判断する、
処理を実行することを特徴とする分散処理実行管理方法。 - 処理対象ジョブを分散して部分処理する複数のノードそれぞれから、前記部分処理の処理結果を収集する収集部と、
前記収集部により収集された前記部分処理の処理結果に基づき、前記部分処理に対応する全体処理の処理結果である全体処理結果を推定する推定部と、
前記推定部により推定された全体処理結果に応じて、前記全体処理に対応する他の部分処理の実行継続可否を判断する判断部と、
を有することを特徴とする分散処理実行管理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016046241A JP6620609B2 (ja) | 2016-03-09 | 2016-03-09 | 分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置 |
US15/452,059 US20170262310A1 (en) | 2016-03-09 | 2017-03-07 | Method for executing and managing distributed processing, and control apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016046241A JP6620609B2 (ja) | 2016-03-09 | 2016-03-09 | 分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017162209A true JP2017162209A (ja) | 2017-09-14 |
JP6620609B2 JP6620609B2 (ja) | 2019-12-18 |
Family
ID=59786483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016046241A Active JP6620609B2 (ja) | 2016-03-09 | 2016-03-09 | 分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170262310A1 (ja) |
JP (1) | JP6620609B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109656922A (zh) * | 2018-12-19 | 2019-04-19 | 国网北京市电力公司 | 数据处理方法及装置 |
WO2021085188A1 (ja) * | 2019-10-29 | 2021-05-06 | ソニー株式会社 | バイアス調整装置、情報処理装置、情報処理方法及び情報処理プログラム |
WO2021187305A1 (ja) * | 2020-03-17 | 2021-09-23 | 日本電気株式会社 | 情報処理システム、情報処理方法及び記録媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086140A (zh) * | 2018-08-21 | 2018-12-25 | 上海点融信息科技有限责任公司 | 在区块链中进行数据处理的方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009003594A (ja) * | 2007-06-20 | 2009-01-08 | Internatl Business Mach Corp <Ibm> | 情報システムに発生したイベントのパターンを検出する技術 |
JP2011527030A (ja) * | 2008-07-02 | 2011-10-20 | グーグル・インコーポレーテッド | 並列認識タスクを用いた音声認識 |
JP2012022558A (ja) * | 2010-07-15 | 2012-02-02 | Hitachi Ltd | 分散計算システム |
JP2018521391A (ja) * | 2015-05-18 | 2018-08-02 | ゼットティーイー コーポレイション | ビッグデータの計算方法及びシステム、プログラムならびに記録媒体 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6681383B1 (en) * | 2000-04-04 | 2004-01-20 | Sosy, Inc. | Automatic software production system |
US9600776B1 (en) * | 2013-11-22 | 2017-03-21 | Groupon, Inc. | Automated adaptive data analysis using dynamic data quality assessment |
US10037366B2 (en) * | 2014-02-07 | 2018-07-31 | Microsoft Technology Licensing, Llc | End to end validation of data transformation accuracy |
CN106796587B (zh) * | 2014-04-30 | 2020-11-13 | 皮沃塔尔软件公司 | 用于验证分析结果的方法和系统 |
US9959154B2 (en) * | 2016-02-16 | 2018-05-01 | International Business Machines Corporation | Identifying defunct nodes in data processing systems |
-
2016
- 2016-03-09 JP JP2016046241A patent/JP6620609B2/ja active Active
-
2017
- 2017-03-07 US US15/452,059 patent/US20170262310A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009003594A (ja) * | 2007-06-20 | 2009-01-08 | Internatl Business Mach Corp <Ibm> | 情報システムに発生したイベントのパターンを検出する技術 |
JP2011527030A (ja) * | 2008-07-02 | 2011-10-20 | グーグル・インコーポレーテッド | 並列認識タスクを用いた音声認識 |
JP2012022558A (ja) * | 2010-07-15 | 2012-02-02 | Hitachi Ltd | 分散計算システム |
JP2018521391A (ja) * | 2015-05-18 | 2018-08-02 | ゼットティーイー コーポレイション | ビッグデータの計算方法及びシステム、プログラムならびに記録媒体 |
Non-Patent Citations (2)
Title |
---|
小林健一,浦晃,上田晴康: "サブサンプリングを用いた高時間効率な学習アルゴリズム選択", 電子情報通信学会技術研究報告, vol. Vol.115,No.224,(PRMU2015-67〜91), JPN6019039799, 7 September 2015 (2015-09-07), JP, pages 39 - 46, ISSN: 0004135115 * |
浦晃,小林健一,上田晴康: "サブサンプリングを利用した探索領域の限定による機械学習のハイパーパラメータ調整", 電子情報通信学会技術研究報告, vol. Vol.115,No.224,(PRMU2015-67〜91), JPN6019039800, 7 September 2015 (2015-09-07), JP, pages 47 - 54, ISSN: 0004135116 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109656922A (zh) * | 2018-12-19 | 2019-04-19 | 国网北京市电力公司 | 数据处理方法及装置 |
WO2021085188A1 (ja) * | 2019-10-29 | 2021-05-06 | ソニー株式会社 | バイアス調整装置、情報処理装置、情報処理方法及び情報処理プログラム |
WO2021187305A1 (ja) * | 2020-03-17 | 2021-09-23 | 日本電気株式会社 | 情報処理システム、情報処理方法及び記録媒体 |
US11907172B2 (en) | 2020-03-17 | 2024-02-20 | Nec Corporation | Information processing system, information processing method, and recording medium |
JP7464108B2 (ja) | 2020-03-17 | 2024-04-09 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6620609B2 (ja) | 2019-12-18 |
US20170262310A1 (en) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yan et al. | Tr-spark: Transient computing for big data analytics | |
JP4308241B2 (ja) | ジョブ実行方法、ジョブ実行システム及びジョブ実行プログラム | |
JP6219512B2 (ja) | 仮想ハドゥープマネジャ | |
US8694644B2 (en) | Network-aware coordination of virtual machine migrations in enterprise data centers and clouds | |
CN106874084B (zh) | 一种分布式工作流调度的方法、装置及计算机设备 | |
US9477460B2 (en) | Non-transitory computer-readable storage medium for selective application of update programs dependent upon a load of a virtual machine and related apparatus and method | |
WO2012056596A1 (ja) | 計算機システム及び処理制御方法 | |
JP6620609B2 (ja) | 分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置 | |
KR101471749B1 (ko) | 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법 | |
JP7035858B2 (ja) | マイグレーション管理プログラム、マイグレーション方法およびマイグレーションシステム | |
Stavrinides et al. | The impact of checkpointing interval selection on the scheduling performance of real‐time fine‐grained parallel applications in SaaS clouds under various failure probabilities | |
Baresi et al. | Fine-grained dynamic resource allocation for big-data applications | |
JP5867238B2 (ja) | オートスケーリング方法,オートスケーリングプログラムおよびコンピュータノード | |
US9740530B2 (en) | Decreasing the priority of a user based on an allocation ratio | |
JP2013210833A (ja) | ジョブ管理装置、ジョブ管理方法、及びプログラム | |
JP2011192049A (ja) | 仮想マシンシステム、自動マイグレーション方法および自動マイグレーションプログラム | |
JP2012181578A (ja) | 更新制御装置及びプログラム | |
JP6239400B2 (ja) | 制御装置 | |
Ibrahim et al. | Improving mapreduce performance with progress and feedback based speculative execution | |
CN112580816A (zh) | 机器学习训练资源管理 | |
US20220229689A1 (en) | Virtualization platform control device, virtualization platform control method, and virtualization platform control program | |
KR102002246B1 (ko) | 빅데이터 처리를 위한 자원 분배 방법 및 장치 | |
Marinho et al. | LABAREDA: a predictive and elastic load balancing service for cloud-replicated databases | |
Wang et al. | Remediating overload in over-subscribed computing environments | |
JP2014206805A (ja) | 制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6620609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |