JP2020087060A - ジョブスケジューリング装置、管理システム、及びスケジューリング方法 - Google Patents
ジョブスケジューリング装置、管理システム、及びスケジューリング方法 Download PDFInfo
- Publication number
- JP2020087060A JP2020087060A JP2018221832A JP2018221832A JP2020087060A JP 2020087060 A JP2020087060 A JP 2020087060A JP 2018221832 A JP2018221832 A JP 2018221832A JP 2018221832 A JP2018221832 A JP 2018221832A JP 2020087060 A JP2020087060 A JP 2020087060A
- Authority
- JP
- Japan
- Prior art keywords
- job
- data
- ssd
- amount
- insufficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000013403 standard screening design Methods 0.000 claims abstract description 219
- 238000013523 data management Methods 0.000 claims abstract description 35
- 238000007726 management method Methods 0.000 claims description 83
- 238000004364 calculation method Methods 0.000 claims description 72
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 230000010354 integration Effects 0.000 description 6
- 230000002950 deficient Effects 0.000 description 4
- 238000004092 self-diagnosis Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Images
Abstract
Description
以下、図面を参照して本発明の実施の形態について説明する。図1を用いて実施の形態1にかかるジョブスケジューリング装置10の構成例について説明する。ジョブスケジューリング装置10は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。ジョブスケジューリング装置10は、サーバ装置等であってもよい。
続いて、図2を用いて実施の形態2にかかる計算機システムの構成例について説明する。図2の計算機システムは、SSD寿命管理装置100、管理テーブル記憶装置200、ジョブスケジューリング装置10、及び複数の計算ノード410を有している。SSD寿命管理装置100、管理テーブル記憶装置200、ジョブスケジューリング装置10、及び複数の計算ノード410は、LAN(Local Area Network)を構成している。言い換えると、SSD寿命管理装置100、管理テーブル記憶装置200、ジョブスケジューリング装置300、及び複数の計算ノード410は、LANもしくはIPネットワークを介して通信を行う。
(条件1)SSD寿命管理テーブル211に記録された全てのジョブの書き込み数の平均値より、要求されたジョブの予想書き込み数が大きい場合、要求されたジョブを高負荷ジョブとする。
(条件2)高負荷ジョブは、目標書き込み数に対する不足分が大きい順に選択された複数の計算ノードのうちのいずれかの計算ノードに割り当てられる。選択される複数の計算ノードは、全待機ジョブ(全実行待ちジョブ)の総実行予定時間に占める高負荷ジョブの割合に応じて定まる。
(条件3)目標書き込み数に対する不足分が全SSDにおける不足分の平均値より小さいSSDは、高負荷ジョブの割当先の対象外とする。
(条件4)他のジョブを実行中の計算ノードを割当先の対象外とする。
(付記1)
各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量、から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得するデータ管理部と、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する決定部と、を備えるジョブスケジューリング装置。
(付記2)
前記決定部は、
それぞれのSSDの不足データ量の差が小さくなるように、前記ジョブを実行する計算ノードを決定する、請求項1に記載のジョブスケジューリング装置。
(付記3)
前記決定部は、
前記不足データ量が大きい順に選択された所定の数のSSDのうち、データの書き込みが実行されているSSD以外のSSDを搭載している計算ノードの中から前記ジョブを実行する計算ノードを決定する、請求項1又は2に記載のジョブスケジューリング装置。
(付記4)
前記決定部は、
前記ジョブが実行された場合に書き込まれるデータ量を予測し、予測された前記データ量が所定の値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、請求項1乃至3のいずれか1項に記載のジョブスケジューリング装置。
(付記5)
前記データ管理部は、
所定期間内に実行された全てのジョブに関連付けられた、ユーザ識別情報、ジョブ識別情報、及びそれぞれのジョブにおいて過去に書き込まれたデータ量をさらに取得し、
前記決定部は、
ジョブの実行を要求したユーザのユーザ識別情報及び当該ジョブのジョブ識別情報が一致するジョブにおいて過去に書き込まれたデータ量を、前記ジョブが実行された場合に書き込まれるデータ量と予測する、請求項4に記載のジョブスケジューリング装置。
(付記6)
前記決定部は、
予測された前記データ量が、所定期間内に実行された全てのジョブが書き込んだデータ量の平均値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、請求項4又は5に記載のジョブスケジューリング装置。
(付記7)
各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量と、前記SSDへ書き込まれたデータの実績データ量と、前記目標書き込みデータ量及び前記実績データ量から算出される目標書き込みデータ量に対する不足データ量と、を管理するデータ管理装置と、
ジョブの実行が要求された場合、複数のSSDの中から、前記データ管理装置から取得したそれぞれのSSDの前記不足データ量、に基づいて前記ジョブを実行する計算ノードを決定するジョブスケジューリング装置と、を備える管理システム。
(付記8)
前記ジョブスケジューリング装置は、
それぞれのSSDの不足データ量の差が小さくなるように、前記ジョブを実行する計算ノードを決定する、請求項7に記載の管理システム。
(付記9)
前記データ管理装置は、
所定期間内に実行された全てのジョブに関連付けられた、ユーザ識別情報、ジョブ識別情報、及びそれぞれのジョブにおいて過去に書き込まれたデータ量をさらに管理する、請求項7又は8に記載の管理システム。
(付記10)
各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得し、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、スケジューリング方法。
(付記11)
各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得し、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定することをコンピュータに実行させるプログラム。
11 データ管理部
12 決定部
100 SSD寿命管理装置
110 目標書き込み回数設定部
111 SSD情報取得部
112 目標書き込み回数計算部
120 ジョブ実行書き込み数管理部
121 ジョブスケジューリング装置制御部
122 書き込み数取得部
123 ジョブ実行書き込み数計算部
124 ジョブ情報統合部
200 管理テーブル記憶装置
210 ジョブ履歴テーブル
211 SSD寿命管理テーブル
300 ジョブスケジューリング装置
400 ラック
410 計算ノード
411 SSD
Claims (10)
- 各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量、から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得するデータ管理部と、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する決定部と、を備えるジョブスケジューリング装置。 - 前記決定部は、
それぞれのSSDの不足データ量の差が小さくなるように、前記ジョブを実行する計算ノードを決定する、請求項1に記載のジョブスケジューリング装置。 - 前記決定部は、
前記不足データ量が大きい順に選択された所定の数のSSDのうち、データの書き込みが実行されているSSD以外のSSDを搭載している計算ノードの中から前記ジョブを実行する計算ノードを決定する、請求項1又は2に記載のジョブスケジューリング装置。 - 前記決定部は、
前記ジョブが実行された場合に書き込まれるデータ量を予測し、予測された前記データ量が所定の値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、請求項1乃至3のいずれか1項に記載のジョブスケジューリング装置。 - 前記データ管理部は、
所定期間内に実行された全てのジョブに関連付けられた、ユーザ識別情報、ジョブ識別情報、及びそれぞれのジョブにおいて過去に書き込まれたデータ量をさらに取得し、
前記決定部は、
ジョブの実行を要求したユーザのユーザ識別情報及び当該ジョブのジョブ識別情報が一致するジョブにおいて過去に書き込まれたデータ量を、前記ジョブが実行された場合に書き込まれるデータ量と予測する、請求項4に記載のジョブスケジューリング装置。 - 前記決定部は、
予測された前記データ量が、所定期間内に実行された全てのジョブが書き込んだデータ量の平均値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、請求項4又は5に記載のジョブスケジューリング装置。 - 各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量と、前記SSDへ書き込まれたデータの実績データ量と、前記目標書き込みデータ量及び前記実績データ量から算出される目標書き込みデータ量に対する不足データ量と、を管理するデータ管理装置と、
ジョブの実行が要求された場合、複数のSSDの中から、前記データ管理装置から取得したそれぞれのSSDの前記不足データ量、に基づいて前記ジョブを実行する計算ノードを決定するジョブスケジューリング装置と、を備える管理システム。 - 前記ジョブスケジューリング装置は、
それぞれのSSDの不足データ量の差が小さくなるように、前記ジョブを実行する計算ノードを決定する、請求項7に記載の管理システム。 - 前記データ管理装置は、
所定期間内に実行された全てのジョブに関連付けられた、ユーザ識別情報、ジョブ識別情報、及びそれぞれのジョブにおいて過去に書き込まれたデータ量をさらに管理する、請求項7又は8に記載の管理システム。 - 各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得し、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、スケジューリング方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018221832A JP7259288B2 (ja) | 2018-11-28 | 2018-11-28 | ジョブスケジューリング装置、管理システム、及びスケジューリング方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018221832A JP7259288B2 (ja) | 2018-11-28 | 2018-11-28 | ジョブスケジューリング装置、管理システム、及びスケジューリング方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020087060A true JP2020087060A (ja) | 2020-06-04 |
JP7259288B2 JP7259288B2 (ja) | 2023-04-18 |
Family
ID=70908289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018221832A Active JP7259288B2 (ja) | 2018-11-28 | 2018-11-28 | ジョブスケジューリング装置、管理システム、及びスケジューリング方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7259288B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1027167A (ja) * | 1996-07-12 | 1998-01-27 | Hitachi Ltd | 並列計算機の負荷分散方法 |
JP2002024194A (ja) * | 2000-07-05 | 2002-01-25 | Matsushita Electric Ind Co Ltd | ジョブ分散処理方法および分散処理システム |
JP2002297401A (ja) * | 2001-03-30 | 2002-10-11 | Fujitsu Ltd | ジョブ制御プログラム、その記録媒体、ジョブ制御装置及び出力ファイル容量算出方法 |
JP2006285317A (ja) * | 2005-03-31 | 2006-10-19 | Tokyo Electric Power Co Inc:The | 負荷判定システム、負荷分散システムおよび異常検出システム |
WO2015083225A1 (ja) * | 2013-12-02 | 2015-06-11 | 富士通株式会社 | 情報処理装置、ストレージ、及びアクセス制御方法 |
WO2015087651A1 (ja) * | 2013-12-12 | 2015-06-18 | 株式会社フィックスターズ | メモリの使用可能期間を延ばすための装置、プログラム、記録媒体および方法 |
WO2018029820A1 (ja) * | 2016-08-10 | 2018-02-15 | 株式会社日立製作所 | 計算機システム |
CN108196959A (zh) * | 2018-02-07 | 2018-06-22 | 聚好看科技股份有限公司 | Etl系统的资源管理方法及装置 |
-
2018
- 2018-11-28 JP JP2018221832A patent/JP7259288B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1027167A (ja) * | 1996-07-12 | 1998-01-27 | Hitachi Ltd | 並列計算機の負荷分散方法 |
JP2002024194A (ja) * | 2000-07-05 | 2002-01-25 | Matsushita Electric Ind Co Ltd | ジョブ分散処理方法および分散処理システム |
JP2002297401A (ja) * | 2001-03-30 | 2002-10-11 | Fujitsu Ltd | ジョブ制御プログラム、その記録媒体、ジョブ制御装置及び出力ファイル容量算出方法 |
JP2006285317A (ja) * | 2005-03-31 | 2006-10-19 | Tokyo Electric Power Co Inc:The | 負荷判定システム、負荷分散システムおよび異常検出システム |
WO2015083225A1 (ja) * | 2013-12-02 | 2015-06-11 | 富士通株式会社 | 情報処理装置、ストレージ、及びアクセス制御方法 |
WO2015087651A1 (ja) * | 2013-12-12 | 2015-06-18 | 株式会社フィックスターズ | メモリの使用可能期間を延ばすための装置、プログラム、記録媒体および方法 |
WO2018029820A1 (ja) * | 2016-08-10 | 2018-02-15 | 株式会社日立製作所 | 計算機システム |
CN108196959A (zh) * | 2018-02-07 | 2018-06-22 | 聚好看科技股份有限公司 | Etl系统的资源管理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7259288B2 (ja) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10558517B2 (en) | Proactive cloud orchestration | |
JP5338906B2 (ja) | サーバ管理プログラム、管理サーバ、仮想サーバ配置方法 | |
JP5954074B2 (ja) | 情報処理方法、情報処理装置、及びプログラム。 | |
US9183102B2 (en) | Hardware consumption architecture | |
JP6447329B2 (ja) | 並列計算制御装置、並列計算システムおよびマイグレーション時間推定プログラム | |
JP6260407B2 (ja) | ストレージ管理装置、性能調整方法及び性能調整プログラム | |
CN111818159B (zh) | 数据处理节点的管理方法、装置、设备及存储介质 | |
JP2008112293A (ja) | 管理計算機及び電源制御方法並びに計算機システム | |
JP2021056955A (ja) | 分散型ストレージシステム及びデータ移動方法 | |
US20150317556A1 (en) | Adaptive quick response controlling system for software defined storage system for improving performance parameter | |
US10002025B2 (en) | Computer system and load leveling program | |
WO2019056771A1 (zh) | 分布式存储系统升级管理的方法、装置及分布式存储系统 | |
JP2012194892A (ja) | ソフトウェア更新装置、ソフトウェア更新方法、及びソフトウェア更新プログラム | |
Dieye et al. | On achieving high data availability in heterogeneous cloud storage systems | |
JP5257709B2 (ja) | 仮想計算機の移動方法、仮想計算機システム及び管理サーバ | |
JP2020087060A (ja) | ジョブスケジューリング装置、管理システム、及びスケジューリング方法 | |
WO2018193556A1 (ja) | 記憶ドライブの環境温度の制御方法 | |
JP6273732B2 (ja) | 情報処理引き継ぎ制御装置、情報処理引き継ぎ制御方法、及び、情報処理引き継ぎ制御プログラム | |
JP2011253475A (ja) | 計算機システム | |
WO2013175540A1 (ja) | 情報処理システム | |
US11953978B2 (en) | Method and system for performing service remediation in a distributed multi-tiered computing environment | |
JP5543653B2 (ja) | 管理計算機 | |
US20230333967A1 (en) | Method and system for performing root cause analysis associated with service impairments in a distributed multi-tiered computing environment | |
US20240126446A1 (en) | Management of multi-type storage including hyperconverged storage | |
US20230333908A1 (en) | Method and system for managing resource buffers in a distributed multi-tiered computing environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7259288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |