JP2011028464A - バッチ処理多重化方法 - Google Patents
バッチ処理多重化方法 Download PDFInfo
- Publication number
- JP2011028464A JP2011028464A JP2009172674A JP2009172674A JP2011028464A JP 2011028464 A JP2011028464 A JP 2011028464A JP 2009172674 A JP2009172674 A JP 2009172674A JP 2009172674 A JP2009172674 A JP 2009172674A JP 2011028464 A JP2011028464 A JP 2011028464A
- Authority
- JP
- Japan
- Prior art keywords
- job
- multiplicity
- node
- batch
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
Abstract
【解決手段】バッチジョブを複数のノードにおいて実行される際に、ジョブ管理ノード102は、ジョブ実行ノード103、104、105の状況(ノードの性能および負荷状況)やバッチジョブの入力ファイルの状況に基づいて多重度を設定し、バッチジョブを多重化処理する。
【選択図】図1
Description
Claims (6)
- 分散配置された複数のノードを用いたバッチジョブの実行におけるジョブの実行多重度決定を行うバッチ処理多重化方法において、
前記バッチジョブを構成するジョブグループごとに実行するノードグループの選択を利用者から受け付け、
選択されたノードグループを構成するノードの状況もしくは前記バッチジョブの入力ファイル状況を検知し、
前記された前記ノードの状況もしくは前記バッチジョブの入力ファイル状況を用いて、前記バッチジョブを処理する前記ノードグループを構成するノードの数を示す実行多重度数を決定し、
決定された前記実行多重度数に従った数のノードを、前記ノードグループから選択し、
選択された前記ノードにおいて前記バッチジョブを多重化処理することを特徴とするバッチ処理多重化方法。 - 請求項1に記載のバッチ処理多重化方法において、
前記ノードの状況は、前記ノードの性能および負荷状況であることを特徴とするのバッチ処理多重化方法。 - 請求項2に記載のバッチ処理多重化方法において、
前記多重度数の決定は、前記利用者により選択された多重度決定方式を用いて、前記実行多重度数を決定することを特徴とするバッチ処理多重化方法。 - 請求項3に記載のバッチ処理多重化方法において、
前記多重度決定方式は、前記ノードの性能および負荷状況から最適な多重度を計算するサブジョブ同期方式と前記バッチジョブのファイルの配置から最適な多重度を決定するサブジョブ並列方式のいずれか一方が前記利用者から選択され、
前記実行多重度数の決定を、選択された多重度決定方法に従って実行することを特徴とするバッチ処理多重化方法。 - 請求項4に記載のバッチ処理多重化方法において、
前記サブジョブ同期方式が選択された場合、前記実行多重度数の決定を、仮多重度を仮定し、仮定された前記仮多重度に基づいて多重度を決定することを特徴とするバッチ処理多重化方法。 - 請求項4または5のいずれかに記載のバッチ処理多重化方法において、
前記サブジョブ並列方式における多重度は入力ファイルの分割数と同値であり、前記入力ファイルが配置されているノード上で当該ファイルを処理するジョブを実行することを特徴とするバッチ処理多重化方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009172674A JP4797095B2 (ja) | 2009-07-24 | 2009-07-24 | バッチ処理多重化方法 |
US12/841,961 US20110131579A1 (en) | 2009-07-24 | 2010-07-22 | Batch job multiplex processing method |
CN2010102368039A CN101963923A (zh) | 2009-07-24 | 2010-07-23 | 批量处理多重化方法 |
KR1020100071372A KR101171543B1 (ko) | 2009-07-24 | 2010-07-23 | 배치 처리 다중화 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009172674A JP4797095B2 (ja) | 2009-07-24 | 2009-07-24 | バッチ処理多重化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011028464A true JP2011028464A (ja) | 2011-02-10 |
JP4797095B2 JP4797095B2 (ja) | 2011-10-19 |
Family
ID=43516802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009172674A Expired - Fee Related JP4797095B2 (ja) | 2009-07-24 | 2009-07-24 | バッチ処理多重化方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110131579A1 (ja) |
JP (1) | JP4797095B2 (ja) |
KR (1) | KR101171543B1 (ja) |
CN (1) | CN101963923A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102497415A (zh) * | 2011-03-22 | 2012-06-13 | 苏州阔地网络科技有限公司 | 一种文件批量处理的传输控制方法及系统 |
US9244721B2 (en) | 2011-11-24 | 2016-01-26 | Hitachi, Ltd. | Computer system and divided job processing method and program |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5388134B2 (ja) * | 2010-08-06 | 2014-01-15 | 株式会社日立製作所 | 計算機システム、及び、移動データ決定方法 |
US8640137B1 (en) * | 2010-08-30 | 2014-01-28 | Adobe Systems Incorporated | Methods and apparatus for resource management in cluster computing |
CN102226890B (zh) * | 2011-06-10 | 2013-03-20 | 中国工商银行股份有限公司 | 一种主机批量作业数据监控方法及装置 |
JP2013047892A (ja) * | 2011-08-29 | 2013-03-07 | Fujitsu Ltd | 情報処理装置、スケジューリング方法およびプログラム |
US10296380B1 (en) * | 2016-09-19 | 2019-05-21 | Amazon Technologies, Inc. | Distributed computing with adaptive parallelization |
CN109766168B (zh) * | 2017-11-09 | 2023-01-17 | 阿里巴巴集团控股有限公司 | 任务调度方法和装置、存储介质以及计算设备 |
JP6996341B2 (ja) * | 2018-02-27 | 2022-01-17 | 日本電信電話株式会社 | 見積り装置および見積り方法 |
US11347564B2 (en) * | 2019-04-24 | 2022-05-31 | Red Hat, Inc. | Synchronizing batch job status across nodes on a clustered system |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0340034A (ja) * | 1989-07-06 | 1991-02-20 | Fujitsu Ltd | プロセスの実行多重度制御処理装置 |
JPH07200496A (ja) * | 1993-12-28 | 1995-08-04 | Fujitsu Ltd | プロセッサ割当て方式 |
JPH10334063A (ja) * | 1997-05-27 | 1998-12-18 | Nec Corp | 並列計算における動的負荷分散方法、動的負荷分散装置及び動的負荷分散プログラムを記録した記録媒体 |
JPH1153325A (ja) * | 1997-07-31 | 1999-02-26 | Hitachi Ltd | 負荷分散方法 |
JPH1165862A (ja) * | 1997-08-14 | 1999-03-09 | Nec Corp | マルチプロセッサ資源分割管理方式 |
JP2001160040A (ja) * | 1999-12-01 | 2001-06-12 | Nec Corp | サーバ多重度制御装置、サーバ多重度制御方法およびサーバ多重度制御プログラムを記録した記録媒体 |
JP2002014829A (ja) * | 2000-06-30 | 2002-01-18 | Japan Research Institute Ltd | 並列処理制御システム,方法および並列処理制御のためのプログラムを格納した媒体 |
JP2004038226A (ja) * | 2002-06-28 | 2004-02-05 | Hitachi Ltd | Pcクラスタおよびその中間ソフトウエア |
JP2005234637A (ja) * | 2004-02-17 | 2005-09-02 | Hitachi Ltd | 計算機リソース管理方法及び実施装置並びに処理プログラム |
JP2006209165A (ja) * | 2005-01-25 | 2006-08-10 | Hitachi Ltd | 同時実行多重度調整システム及び方法 |
JP2006236123A (ja) * | 2005-02-25 | 2006-09-07 | Fujitsu Ltd | ジョブ分散プログラム、ジョブ分散方法およびジョブ分散装置 |
JP2006252163A (ja) * | 2005-03-10 | 2006-09-21 | Fujitsu Ltd | 負荷制御装置および負荷制御プログラム |
JP2007249445A (ja) * | 2006-03-15 | 2007-09-27 | Hitachi Ltd | クラスタシステムの負荷分散制御方法およびその装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6393455B1 (en) * | 1997-03-28 | 2002-05-21 | International Business Machines Corp. | Workload management method to enhance shared resource access in a multisystem environment |
US6609131B1 (en) * | 1999-09-27 | 2003-08-19 | Oracle International Corporation | Parallel partition-wise joins |
US8335909B2 (en) * | 2004-04-15 | 2012-12-18 | Raytheon Company | Coupling processors to each other for high performance computing (HPC) |
JP2007249491A (ja) * | 2006-03-15 | 2007-09-27 | Fujitsu Ltd | マルチサーバ環境においてバッチジョブを分散させるプログラム、装置、および方法 |
JP2008226181A (ja) * | 2007-03-15 | 2008-09-25 | Fujitsu Ltd | 並列実行プログラム、該プログラムを記録した記録媒体、並列実行装置および並列実行方法 |
US8990820B2 (en) * | 2008-12-19 | 2015-03-24 | Microsoft Corporation | Runtime task with inherited dependencies for batch processing |
-
2009
- 2009-07-24 JP JP2009172674A patent/JP4797095B2/ja not_active Expired - Fee Related
-
2010
- 2010-07-22 US US12/841,961 patent/US20110131579A1/en not_active Abandoned
- 2010-07-23 KR KR1020100071372A patent/KR101171543B1/ko active IP Right Grant
- 2010-07-23 CN CN2010102368039A patent/CN101963923A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0340034A (ja) * | 1989-07-06 | 1991-02-20 | Fujitsu Ltd | プロセスの実行多重度制御処理装置 |
JPH07200496A (ja) * | 1993-12-28 | 1995-08-04 | Fujitsu Ltd | プロセッサ割当て方式 |
JPH10334063A (ja) * | 1997-05-27 | 1998-12-18 | Nec Corp | 並列計算における動的負荷分散方法、動的負荷分散装置及び動的負荷分散プログラムを記録した記録媒体 |
JPH1153325A (ja) * | 1997-07-31 | 1999-02-26 | Hitachi Ltd | 負荷分散方法 |
JPH1165862A (ja) * | 1997-08-14 | 1999-03-09 | Nec Corp | マルチプロセッサ資源分割管理方式 |
JP2001160040A (ja) * | 1999-12-01 | 2001-06-12 | Nec Corp | サーバ多重度制御装置、サーバ多重度制御方法およびサーバ多重度制御プログラムを記録した記録媒体 |
JP2002014829A (ja) * | 2000-06-30 | 2002-01-18 | Japan Research Institute Ltd | 並列処理制御システム,方法および並列処理制御のためのプログラムを格納した媒体 |
JP2004038226A (ja) * | 2002-06-28 | 2004-02-05 | Hitachi Ltd | Pcクラスタおよびその中間ソフトウエア |
JP2005234637A (ja) * | 2004-02-17 | 2005-09-02 | Hitachi Ltd | 計算機リソース管理方法及び実施装置並びに処理プログラム |
JP2006209165A (ja) * | 2005-01-25 | 2006-08-10 | Hitachi Ltd | 同時実行多重度調整システム及び方法 |
JP2006236123A (ja) * | 2005-02-25 | 2006-09-07 | Fujitsu Ltd | ジョブ分散プログラム、ジョブ分散方法およびジョブ分散装置 |
JP2006252163A (ja) * | 2005-03-10 | 2006-09-21 | Fujitsu Ltd | 負荷制御装置および負荷制御プログラム |
JP2007249445A (ja) * | 2006-03-15 | 2007-09-27 | Hitachi Ltd | クラスタシステムの負荷分散制御方法およびその装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102497415A (zh) * | 2011-03-22 | 2012-06-13 | 苏州阔地网络科技有限公司 | 一种文件批量处理的传输控制方法及系统 |
US9244721B2 (en) | 2011-11-24 | 2016-01-26 | Hitachi, Ltd. | Computer system and divided job processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP4797095B2 (ja) | 2011-10-19 |
CN101963923A (zh) | 2011-02-02 |
KR20110010577A (ko) | 2011-02-01 |
KR101171543B1 (ko) | 2012-08-06 |
US20110131579A1 (en) | 2011-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4797095B2 (ja) | バッチ処理多重化方法 | |
CN113238838B (zh) | 一种任务调度方法、装置及计算机可读存储介质 | |
US8250574B2 (en) | Virtual machine management via use of table in which virtual machine information is registered on a time basis | |
US20150295970A1 (en) | Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system | |
WO2020211579A1 (zh) | 一种基于分布式批量处理系统的处理方法、装置及系统 | |
US8893148B2 (en) | Performing setup operations for receiving different amounts of data while processors are performing message passing interface tasks | |
WO2010082244A1 (ja) | 情報処理装置および情報処理方法 | |
WO2012056596A1 (ja) | 計算機システム及び処理制御方法 | |
US20130061018A1 (en) | Memory access method for parallel computing | |
JP5880542B2 (ja) | マルチコアプロセッサシステムおよびスケジューリング方法 | |
CN109783255B (zh) | 数据解析分发装置及高并发数据处理方法 | |
CN103399800A (zh) | 基于Linux并行计算平台的动态负载均衡方法 | |
US11438271B2 (en) | Method, electronic device and computer program product of load balancing | |
US8775767B2 (en) | Method and system for allocating memory to a pipeline | |
JP2007310749A (ja) | サーバリソース提供システム及びサーバリソース提供方法 | |
CN111104218B (zh) | 存储系统数据同步方法、装置、设备及可读存储介质 | |
JP2008158687A (ja) | 帯域制御プログラム及びマルチプロセッサシステム | |
CN111143063A (zh) | 任务的资源预约方法及装置 | |
CN111158896A (zh) | 一种分布式进程调度方法及系统 | |
CN114579309A (zh) | 一种数据处理方法和装置 | |
JP5417626B2 (ja) | 管理計算機、ジョブスケジューリング方法及びジョブスケジューリングプログラム | |
Zhang et al. | An integrated resource management and scheduling system for grid data streaming applications | |
CN111176848A (zh) | 集群任务的处理方法、装置、设备和存储介质 | |
JP2001282560A (ja) | 仮想計算機制御方法及びその実施装置並びにその処理プログラムを記録した記録媒体 | |
JP5441179B2 (ja) | ジョブ実行管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110420 Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4797095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |