JP2016091555A - データステージング管理システム - Google Patents
データステージング管理システム Download PDFInfo
- Publication number
- JP2016091555A JP2016091555A JP2015213421A JP2015213421A JP2016091555A JP 2016091555 A JP2016091555 A JP 2016091555A JP 2015213421 A JP2015213421 A JP 2015213421A JP 2015213421 A JP2015213421 A JP 2015213421A JP 2016091555 A JP2016091555 A JP 2016091555A
- Authority
- JP
- Japan
- Prior art keywords
- data
- stage
- staging
- data staging
- job
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
(d)変更された目標ファイル及びディレクトリを転送するために、「notstarted」が設定される。
(g)DSMSは、バッチジョブスクリプトを検索し、データステージングの開始時間の後に変更されるファイル又はディレクトリを設定する。
(h)(g)に基づき、DSMSは(g)の合計サイズを計算する。
(i)変更されたファイル又はディレクトリはこの段階で未だ転送されていないので、「0」が設定される。
(j)変更されたファイル又はディレクトリはこの段階で未だ転送されていないので、(h)と同じ値が設定される。
[ステップ4−2]データステージング管理テーブル44から、DSMS42は、各「Predicted time」の和を計算し、それを「Total predicted time」属性の値に設定する。
ここで、小数は切り上げられる(したがって、例えば1.333は2になる)。上式は、データステージインとデータステージアウトの両方に適用される。
(Multiplicity for asynchronous short−term data staging processing)=19200[秒]/1400[秒]=1.33...=2
[ステップ4−7]「Multiplicity for asynchronous short−term data staging processing」に従って、DSMS42は、「Asynchronous short−term staging processing」リストの各エントリを、データステージングリスト46の中に、非同期短期ステージング処理として1列に並べる。
[ステップ9]バッチジョブを開始するための処理である。
(b)「stage−out」が設定される。
(c)初期値「000」が初期値として設定される。
(d)データステージングはこの段階で未だ開始されていないので、「notstarted」が設定される。
(g)DSMSはバッチジョブスクリプトを調べ、もしあれば目標データステージングファイル又はディレクトリを入れる。
(h)(g)に基づき、DSMSはデ―タステージング目標の合計サイズを計算し、値を設定する。
(i)この段階でデータステージング目標が転送されていないので、「0」が設定される。
(j)この段階でデータステージング目標が転送されていないので、(h)と同じ値が設定される。
データステージングジョブが完了すると(残り0バイト)、ジョブは、データステージングリスト46から削除できる。
10 HPCシステム
11 ヘッドノード
110 ジョブスケジューラ
110a プリプロセッサ
110b ポストプロセッサ
12 コンピューティングノード
20 一時記憶
22 入力
23 出力
30 永久記憶
32 入力
33 出力
40 データステージング管理サーバ
42 データステージング管理システム(DSMS)
44 データステージング管理テーブル
46 データステージングリスト
5 ネットワーク
Claims (14)
- コンピューティングシステムにおいてバッチジョブを実行するときデータステージングを管理する方法であって、各々のバッチジョブについて、
データステージインのための少なくとも1つのソースファイル及びデータステージアウトのための少なくとも1つの目標ファイルを識別するステップと、
データステージイン及びデータステージアウトで転送されるべきデータの量を決定し、前記のデータ転送を完了するための所要時間を推定するステップと、
前記バッチジョブの第1のデータステージング処理として、前記の推定した所要時間に基づき非同期又は同期データステージインを設定し、前記バッチジョブの第2のデータステージング処理として、非同期データステージアウトを設定するステップと、
前記ソースファイルからのデータステージインを実行し、前記バッチジョブを実行するためにリソースを割り当てるステップと、
前記バッチジョブを実行して結果を生成するステップと、
前記目標ファイルへの前記結果のデータステージアウトを実行するステップと、
を有する方法。 - データステージインの前記推定した所要時間に従って、前記第1のデータステージング処理を非同期短期又は非同期長期データステージインとして分類するステップと、
データステージアウトの前記推定した所要時間に従って、前記第2のデータステージング処理を非同期短期又は非同期長期データステージアウトとして分類するステップと、
を更に有する請求項1に記載の方法。 - 非同期又は同期データステージインを設定する前記ステップは、前記推定した所要時間を閾値と比較することにより行われ、リソースを割り当てる前記ステップは、前記データ転送を完了するための残り時間が前記閾値の範囲内になると実行される、請求項1又は2に記載の方法。
- データステージイン及び/又はデータステージアウトの最大時間を設定するステップと、
前記最大時間に基づきデータステージイン又はデータステージアウトの多重度を計算するステップと、
前記多重度に等しい数のデータステージング処理を有し、複数のバッチジョブのデータステージイン又はデータステージアウトを同時に実行するステップと、
を更に有する請求項1、2又は3に記載の方法。 - 前記設定するステップは、各データステージング処理及び各々の状態を記録するデータステージング管理テーブルを形成するステップを有する、請求項1乃至4のいずれか一項に記載の方法。
- データステージインを実行している間、前記ソースファイルがデータステージインの開始から変更されたか否かを調べ、変更された場合、追加データステージング処理として前記テーブルにインクリメンタルデータステージインを設定するステップ、
を更に有する請求項5に記載の方法。 - 前記データステージング管理テーブルは、データステージング処理の各々について、
前記データステージング処理が設定される前記バッチジョブの識別子と、
前記データステージング処理がデータステージインかデータステージアウトかの指示と、
場合によっては各々のソースファイル又は目標ファイルの位置と、
転送されるべきデータの量と、
を含む初期情報を有する、請求項5又は6に記載の方法。 - 前記初期情報は、前記識別するステップ及び推定するステップを実行するためにバッチジョブスクリプトを分析することにより得られる、請求項7に記載の方法。
- 前記データステージング管理テーブルは、データステージング処理の各々について、
前記データステージング処理がインクリメンタルデータステージインか否かの指示と、
前記データステージング処理が開始していない、実行中である、又は完了したかと、
データステージング処理の開始時間と、
データステージング処理の終了時間と、
今までに転送されたデータ量及び/又は転送されるべき残りデータ量と、
前記データステージング処理のための前記推定した所要時間と、
を含む更なる情報を有する、請求項7に記載の方法。 - 前記データステージング管理テーブルに基づき、複数のバッチジョブのデータステージイン又はデータステージアウトをスケジューリングするためにデータステージングリストを構築するステップと、
を更に有する請求項5乃至9のいずれか一項に記載の方法。 - バッチジョブを実行するコンピュータシステムにおいてデータステージングを管理するデータステージングマネジャであって、前記データステージングマネジャは、各々のバッチジョブについて、
データステージインのための少なくとも1つのソースファイル及びデータステージアウトのための少なくとも1つの目標ファイルを識別し、
データステージイン及びデータステージアウトで転送されるべきデータの量を決定し、前記のデータ転送を完了するための所要時間を推定し、
前記バッチジョブの第1のデータステージング処理として、前記の推定した所要時間に基づき非同期又は同期データステージインを設定し、前記バッチジョブの第2のデータステージング処理として、非同期データステージアウトを設定し、
前記ソースファイルからのデータステージインを実行し、
前記バッチジョブへのリソースを割り当て及び前記バッチジョブの実行を開始するために、前記コンピュータシステムのジョブスケジューラと通信し、
前記目標ファイルへの前記結果のデータステージアウトを実行する、
よう構成されるデータステージングマネジャ。 - 前記コンピュータシステムの前記ジョブスケジューラにインストールされたプリプロセッサ及びポストプロセッサに結合されるデータステージング管理サーバを有し、前記プリプロセッサは前記ジョブスケジューラにより受信されたバッチジョブスクリプトを分析するよう構成される、請求項11に記載のデータステージングマネジャ。
- 前記データステージング管理サーバは、データステージング管理テーブルを有し、該データステージング管理テーブルは、データステージング処理の各々について、
前記データステージング処理が設定される前記バッチジョブの識別子と、
前記データステージング処理がデータステージインか又はデータステージアウトかの指示と、
場合によっては、各々のソースファイル又は目標ファイルの位置と、
転送すべきデータ量と、
前記データステージング処理がインクリメンタルデータステージインか否かの指示と、
前記データステージング処理が開始していない、実行中である、又は完了したかと、
データステージング処理の開始時間と、
データステージング処理の終了時間と、
今までに転送されたデータの量及び/又は転送されるべき残りデータ量と、
前記推定した所要時間と、
を記録する、請求項12に記載のデータステージングマネジャ。 - コンピュータシステムの中のサーバにより実行されると、請求項1乃至10のいずれか一項に記載の方法を実行するコンピュータ可読命令を含むコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14192070.2 | 2014-11-06 | ||
EP14192070.2A EP3018581B1 (en) | 2014-11-06 | 2014-11-06 | Data staging management system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016091555A true JP2016091555A (ja) | 2016-05-23 |
JP6686371B2 JP6686371B2 (ja) | 2020-04-22 |
Family
ID=51897121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015213421A Active JP6686371B2 (ja) | 2014-11-06 | 2015-10-29 | データステージング管理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10013288B2 (ja) |
EP (1) | EP3018581B1 (ja) |
JP (1) | JP6686371B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11314752B2 (en) | 2017-06-06 | 2022-04-26 | Hitachi, Ltd. | Computer system and data analysis method |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107450970B (zh) * | 2016-05-30 | 2020-07-03 | 京瓷办公信息系统株式会社 | 能够根据处理器的利用优先级来利用硬件的电子设备 |
US10503718B2 (en) * | 2016-07-06 | 2019-12-10 | Micro Focus Llc | Parallel transfers of electronic data |
CN107784016B (zh) * | 2016-08-30 | 2019-02-15 | 北京京东尚科信息技术有限公司 | 数据同步控制装置和数据同步系统及方法 |
CN112685167A (zh) * | 2019-10-17 | 2021-04-20 | 伊姆西Ip控股有限责任公司 | 资源使用方法、电子设备和计算机程序产品 |
CN112906368B (zh) * | 2021-02-19 | 2022-09-02 | 北京百度网讯科技有限公司 | 行业文本增量方法、相关装置及计算机程序产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04290116A (ja) * | 1991-03-19 | 1992-10-14 | Hitachi Ltd | ステージング方法 |
JPH0612360A (ja) * | 1992-06-26 | 1994-01-21 | Nec Corp | 拡張記憶装置の入出力制御方式 |
JPH0675785A (ja) * | 1992-06-29 | 1994-03-18 | Fujitsu Ltd | プレステージング処理方法、バッファ管理方法及びファイルシステム |
JP2012118746A (ja) * | 2010-11-30 | 2012-06-21 | Fuji Xerox Co Ltd | 印刷文書処理システム、キャッシュ装置及びプログラム |
JP2013205891A (ja) * | 2012-03-27 | 2013-10-07 | Fujitsu Ltd | 並列計算機、並列計算機の制御方法及び制御プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3618552B2 (ja) * | 1998-06-30 | 2005-02-09 | 富士通株式会社 | 記憶装置 |
JP2003091424A (ja) * | 2001-09-18 | 2003-03-28 | Matsushita Electric Ind Co Ltd | 分散処理システムおよびジョブ分散処理方法 |
US7448022B1 (en) * | 2004-02-10 | 2008-11-04 | Prasad Ram | Dynamic software composition in a component-based software system |
US7673305B2 (en) * | 2006-10-23 | 2010-03-02 | Hewlett-Packard Development Company, L.P. | System and method of expediting certain jobs in a computer processing system |
JP4935595B2 (ja) * | 2007-09-21 | 2012-05-23 | 富士通株式会社 | ジョブ管理方法、ジョブ管理装置およびジョブ管理プログラム |
US20100299447A1 (en) * | 2009-05-25 | 2010-11-25 | Nilesh Anant Salvi | Data Replication |
US8578289B2 (en) * | 2010-01-28 | 2013-11-05 | Ebay Inc. | Application module for managing jobs asynchronously |
CN103354925B (zh) * | 2011-01-31 | 2016-03-02 | 三菱电机株式会社 | 存储器控制器和存储器访问方法 |
US8984125B2 (en) * | 2012-08-16 | 2015-03-17 | Fujitsu Limited | Computer program, method, and information processing apparatus for analyzing performance of computer system |
US9411657B2 (en) * | 2012-11-09 | 2016-08-09 | Hewlett Packard Enterprise Development Lp | Load-balanced sparse array processing |
US9323588B2 (en) * | 2013-03-14 | 2016-04-26 | Comcast Cable Communications, Llc | Service platform architecture |
-
2014
- 2014-11-06 EP EP14192070.2A patent/EP3018581B1/en active Active
-
2015
- 2015-10-29 JP JP2015213421A patent/JP6686371B2/ja active Active
- 2015-10-30 US US14/927,630 patent/US10013288B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04290116A (ja) * | 1991-03-19 | 1992-10-14 | Hitachi Ltd | ステージング方法 |
JPH0612360A (ja) * | 1992-06-26 | 1994-01-21 | Nec Corp | 拡張記憶装置の入出力制御方式 |
JPH0675785A (ja) * | 1992-06-29 | 1994-03-18 | Fujitsu Ltd | プレステージング処理方法、バッファ管理方法及びファイルシステム |
JP2012118746A (ja) * | 2010-11-30 | 2012-06-21 | Fuji Xerox Co Ltd | 印刷文書処理システム、キャッシュ装置及びプログラム |
JP2013205891A (ja) * | 2012-03-27 | 2013-10-07 | Fujitsu Ltd | 並列計算機、並列計算機の制御方法及び制御プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11314752B2 (en) | 2017-06-06 | 2022-04-26 | Hitachi, Ltd. | Computer system and data analysis method |
Also Published As
Publication number | Publication date |
---|---|
US10013288B2 (en) | 2018-07-03 |
EP3018581A1 (en) | 2016-05-11 |
EP3018581B1 (en) | 2017-03-08 |
US20160132357A1 (en) | 2016-05-12 |
JP6686371B2 (ja) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6686371B2 (ja) | データステージング管理システム | |
US10146580B2 (en) | Lazy persistent storage volume provisioning | |
US20190324819A1 (en) | Distributed-system task assignment method and apparatus | |
US10585691B2 (en) | Distribution system, computer, and arrangement method for virtual machine | |
US8893133B2 (en) | Dynamic test scheduling by ordering tasks for performance based on similarities between the tasks | |
US8117641B2 (en) | Control device and control method for information system | |
US7987467B2 (en) | Scale across in a grid computing environment | |
US10310900B2 (en) | Operating programs on a computer cluster | |
US20160210175A1 (en) | Method of allocating physical computing resource of computer system | |
Chang et al. | Effective modeling approach for IaaS data center performance analysis under heterogeneous workload | |
WO2016061935A1 (zh) | 一种资源调度方法、装置及计算机存储介质 | |
CN110661842A (zh) | 一种资源的调度管理方法、电子设备和存储介质 | |
US20160019090A1 (en) | Data processing control method, computer-readable recording medium, and data processing control device | |
EP3537281A1 (en) | Storage controller and io request processing method | |
CN111190691A (zh) | 适用于虚拟机的自动迁移方法、系统、装置及存储介质 | |
US10579419B2 (en) | Data analysis in storage system | |
JP2017091330A (ja) | 計算機システム及び計算機システムのタスク実行方法 | |
JP2017191387A (ja) | データ処理プログラム、データ処理方法およびデータ処理装置 | |
WO2020031675A1 (ja) | スケジューリング装置、スケジューリングシステム、スケジューリング方法、プログラム及び非一時的コンピュータ可読媒体 | |
CN108984105B (zh) | 对网络存储设备中的复制任务进行分配的方法和设备 | |
WO2013114830A1 (ja) | プロセス予測実行装置及びプロセス予測実行方法 | |
CN112685334A (zh) | 一种分块缓存数据的方法、装置及存储介质 | |
CN114157569A (zh) | 集群系统及其构建方法和构建装置 | |
CN111741097B (zh) | 一种租户独占节点的方法、计算机设备及存储介质 | |
US20160011891A1 (en) | Engine for Virtual Machine Resources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6686371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |