JP2018156142A - 並列処理装置、ステージアウト処理方法、およびジョブ管理プログラム - Google Patents
並列処理装置、ステージアウト処理方法、およびジョブ管理プログラム Download PDFInfo
- Publication number
- JP2018156142A JP2018156142A JP2017050025A JP2017050025A JP2018156142A JP 2018156142 A JP2018156142 A JP 2018156142A JP 2017050025 A JP2017050025 A JP 2017050025A JP 2017050025 A JP2017050025 A JP 2017050025A JP 2018156142 A JP2018156142 A JP 2018156142A
- Authority
- JP
- Japan
- Prior art keywords
- job
- execution
- staging
- metadata
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
図5は、ジョブ管理サーバjmsの機能構成例を示す説明図である。ジョブスケジューラ402は、メタデータサーバ負荷管理部501と、ステージングバッファサーバ負荷管理部502と、ステージング処理スケジューリング部503とを有する。ステージング処理スケジューリング部503は、算出部511と、取得部512と、決定部513と、生成部514とを有する。
メタデータサーバmdsは、第1のジョブに関するファイルに対するメタデータ処理を実行する際に、第1のジョブに関するファイルに対するメタデータ処理より前に実行すべきメタデータ処理の有無を確認する要求を、ジョブ管理サーバjmsに送信する。そして、ジョブ管理サーバjmsは、前述した要求を受け付けたとする。この場合、ジョブ管理サーバjmsは、ステージングでのメタデータ更新順序制約管理表526を参照して、第1のジョブに関するファイルに対するメタデータ処理より前に実行すべきメタデータ処理があるか否か判断する。第1のジョブに関するファイルに対するメタデータ処理より前に実行すべきメタデータ処理があると判断すれば、ジョブ管理サーバjmsは、前に実行すべきメタデータ処理を特定する情報を、メタデータサーバmdsに送信する。前に実行すべきメタデータ処理を特定する情報は、例えば、前に実行すべきメタデータ処理のジョブIDである。そして、メタデータサーバmdsは、前に実行すべきメタデータ処理を特定する情報を受け付けた場合、前に実行すべきメタデータ処理を、第1のジョブに関するファイルに対するメタデータ処理より前に実行する。
次に、ジョブ投入時からステージングバッファサーバstgへステージング処理を依頼するまでの一連の処理について、図8〜図10を用いて説明する。図8では、前述した一連の処理について、並列処理システム200全体のシーケンスを示す。また、図9、図10では、図8で示す一連の処理を、図2で示した装置ごと、ジョブ管理サーバjmsに関しては図4で示した機能部ごとの処理の順序に並べ替え、かつ、データへのアクセスを示す。
メタデータサーバ負荷管理部501の処理について説明する。ステップSmdsl1の処理として、メタデータサーバ負荷管理部501は、設定ファイル527等から、メタデータサーバmdsの一覧を取得する。次に、ステップSmdsl2の処理として、メタデータサーバ負荷管理部501は、ステップSmdsl1の処理で取得した各メタデータサーバmdsの負荷状況を取得する。メタデータサーバ負荷管理部501は、取得した情報を、メタデータサーバ負荷管理表523に保存する。そして、ステップSmdsl3の処理として、メタデータサーバ負荷管理部501は、代表ステージングサーバrsに問い合わせ、ステージング対象のファイルを処理するメタデータサーバmdsを取得する。
次に、ステージングバッファサーバ負荷管理部502の処理について説明する。ステップSstgl1の処理として、ステージングバッファサーバ負荷管理部502は、設定ファイル527等から、ステージングバッファサーバstgの一覧を取得する。次に、ステップSstgl2の処理として、ステージングバッファサーバ負荷管理部502は、ステップSstgl1の処理で取得した各ステージングバッファサーバstgに問い合わせ、ステージングバッファサーバstgの負荷状況を取得する。そして、ステージングバッファサーバ負荷管理部502は、取得した情報を、ステージングバッファサーバ負荷管理表524に保存する。
次に、ステージング処理スケジューリング部503の処理について説明する。ステップSss1の処理として、ステージング処理スケジューリング部503は、ユーザから指示された実行時間と、ジョブごとの資源予約管理表521とに基づいて、投入されたジョブのプロセッサと、該当のプロセッサの使用時間および終了時間を決定する。そして、ステージング処理スケジューリング部503は、決定した内容で、ジョブごとの資源予約管理表521を更新する。
次に、ステージングバッファサーバstgの処理について説明する。ステップSstg1の処理について、ステージングバッファサーバstgは、自身のCPU使用率やディスクI/O量を取得し、取得した情報をステージングバッファサーバ負荷状況413に保存する。図16を用いて、ステージングバッファサーバ負荷状況413を説明する。
次に、メタデータサーバmdsの処理について説明する。ステップSmds1の処理として、各メタデータサーバmdsは、代表ステージングサーバrsからの問い合わせに応じて、自サーバの性能値と、ファイルの識別子とを通知する。
順序制約がある場合の処理は、メタデータ処理間で使用するファイルに依存関係のあるファイルを扱う場合に発生する。例えば、メタデータ処理に含まれるステージング処理Aとステージング処理Bの2つのステージング処理があるとして、本来であればステージング処理Aが実行された後に、ステージング処理Bの順番で実行される場合を想定する。このように想定される例としては、ステージング処理Bでアクセスするファイルの中に、ステージング処理Aのファイルパスが含まれているとすると、ステージング処理B実行前にステージング処理Aを実行することになる。順序制約がある場合の一連の処理のフローチャートについて、図18を用いて説明する。
前記複数のノードのうちのジョブのスケジューリング処理を実行する特定のノードは、
前記複数のノードのうちのいずれかが第1のジョブを実行する際に、前記ジョブの実行時間を記録した実行履歴を参照して、前記第1のジョブの実行が終了する実行終了時刻を算出し、
前記複数のノードのうちのファイルのメタデータにアクセスするメタデータ処理を実行するメタデータ処理実行ノードの負荷を管理する負荷管理ノードから、算出した前記実行終了時刻における前記メタデータ処理実行ノードの負荷量を取得し、
取得した前記負荷量が所定の閾値以上である場合、2つの記憶領域の間でファイルを移動するステージングによって発生する前記メタデータ処理を実行するステージング実行ノードに、前記第1のジョブの実行結果を有するファイルに対するステージングによって発生する前記メタデータ処理を前記第1のジョブの実行終了時に実行させるスケジュールデータを生成する、
ことを特徴とする並列処理装置。
前記特定のノードは、
複数のファイルの各ファイルに対してステージングを実行する予定時刻を示す予定情報を参照して、算出した前記実行終了時刻に実行されるステージングの対象となるファイルの数を特定し、
前記負荷管理ノードに、特定した前記ファイルの数を送信し、
前記負荷管理ノードは、
前記負荷情報を参照して得られた前記ファイルの数に対応する前記メタデータ処理実行ノードの負荷量を、前記特定のノードに送信し、
前記特定のノードは、
受信した前記メタデータ処理実行ノードの負荷量を、前記実行終了時刻における前記メタデータ処理実行ノードの負荷量として取得する、
ことを特徴とする付記1に記載の並列処理装置。
前記特定のノードは、
前記第1のジョブを実行する際に、前記実行履歴を参照して、前記第1のジョブの実行結果を有するファイルに対するステージングの実行開始時刻と、当該ステージングの実行終了時刻とを算出し、
前記予定情報を参照して、算出した前記実行開始時刻から前記実行終了時刻までの間に実行されるステージングの対象となるファイルの数を特定し、
前記負荷管理ノードに、特定した前記ファイルの数と、前記実行開始時刻から前記実行終了時刻までの時間の長さを示す情報とを送信し、
前記負荷管理ノードは、
前記負荷情報を参照して、前記時間の長さに基づき算出した前記ファイルの数に対応する前記メタデータ処理実行ノードの単位時間当たりの負荷量を、前記特定のノードに送信し、
前記特定のノードは、
取得した前記単位時間当たりの負荷量が所定の閾値以上である場合、前記スケジュールデータを生成する、
ことを特徴とする付記2に記載の並列処理装置。
前記複数のノードのうちのいずれかが前記第1のジョブを実行する前に、前記ジョブがノードの使用を開始する時刻を示す情報に基づいて、前記第1のジョブの実行が開始する実行開始時刻を算出し、
前記負荷管理ノードから、算出した前記実行開始時刻における前記メタデータ処理実行ノードの負荷量を取得し、
取得した前記負荷量が所定の閾値以上である場合、前記ステージング実行ノードに、前記第1のジョブが参照するファイルまたは前記第1のジョブが更新するファイルに対するステージングによって発生する前記メタデータ処理を前記第1のジョブの実行開始時に実行させるスケジュールデータを生成する、
ことを特徴とする付記1〜3のいずれか一つに記載の並列処理装置。
前記メタデータ処理実行ノードは、
前記第1のジョブに関するファイルに対するメタデータ処理を実行する際に、前記第1のジョブに関するファイルに対するメタデータ処理より前に実行すべきメタデータ処理の有無を確認する要求を、前記特定のノードに送信し、
前記特定のノードは、
前記要求を受け付けた場合、前記順序情報を参照して、前記第1のジョブに関するファイルに対するメタデータ処理より前に実行すべきメタデータ処理がある場合、前記前に実行すべきメタデータ処理を特定する情報を、前記メタデータ処理実行ノードに送信し、
前記メタデータ処理実行ノードは、
前記前に実行すべきメタデータ処理を特定する情報を受け付けた場合、前記前に実行すべきメタデータ処理を、前記第1のジョブに関するファイルに対するメタデータ処理より前に実行する、
ことを特徴とする付記1〜4のいずれか一つに記載の並列処理装置。
前記特定のノードは、
取得した前記負荷量が所定の閾値以上である場合、前記複数の候補ノードの各候補ノードの負荷を管理する負荷管理ノードから、算出した前記実行終了時刻における前記各候補ノードの負荷量を取得し、
取得した前記各候補ノードの負荷量に基づいて、前記複数の候補ノードから前記ステージング実行ノードを決定する、
ことを特徴とする付記1〜5のいずれか一つに記載の並列処理装置。
前記複数のノードのうちのジョブのスケジューリング処理を実行する特定のノードが、
前記複数のノードのうちのいずれかが第1のジョブを実行する際に、前記ジョブの実行時間を記録した実行履歴を参照して、前記第1のジョブの実行が終了する実行終了時刻を算出し、
前記複数のノードのうちのファイルのメタデータにアクセスするメタデータ処理を実行するメタデータ処理実行ノードの負荷を管理する負荷管理ノードから、算出した前記実行終了時刻における前記メタデータ処理実行ノードの負荷量を取得し、
取得した前記負荷量が所定の閾値以上である場合、2つの記憶領域の間でファイルを移動するステージングによって発生する前記メタデータ処理を実行するステージング実行ノードに、前記第1のジョブの実行結果を有するファイルに対するステージングによって発生する前記メタデータ処理を前記第1のジョブの実行終了時に実行させるスケジュールデータを生成する、
処理を実行することを特徴とするステージアウト処理方法。
前記複数のノードのうちのジョブのスケジューリング処理を実行する特定のノードに、
前記複数のノードのうちのいずれかが第1のジョブを実行する際に、前記ジョブの実行時間を記録した実行履歴を参照して、前記第1のジョブの実行が終了する実行終了時刻を算出し、
前記複数のノードのうちのファイルのメタデータにアクセスするメタデータ処理を実行するメタデータ処理実行ノードの負荷を管理する負荷管理ノードから、算出した前記実行終了時刻における前記メタデータ処理実行ノードの負荷量を取得し、
取得した前記負荷量が所定の閾値以上である場合、2つの記憶領域の間でファイルを移動するステージングによって発生する前記メタデータ処理を実行するステージング実行ノードに、前記第1のジョブの実行結果を有するファイルに対するステージングによって発生する前記メタデータ処理を前記第1のジョブの実行終了時に実行させるスケジュールデータを生成する、
処理を実行させることを特徴とするジョブ管理プログラム。
411 メタデータサーバ負荷状況
412 ステージングバッファ
413 ステージングバッファサーバ負荷状況
414 先行要求待ちメタデータ要求キュー
415 メタデータサーバ性能情報
501 メタデータサーバ負荷管理部
502 ステージングバッファサーバ負荷管理部
503 ステージング処理スケジューリング部
511 算出部
512 取得部
513 決定部
514 生成部
520 記憶部
521 ジョブごとの資源予約管理表
522 ステージング予定表
523 メタデータサーバ負荷管理表
524 ステージングバッファサーバ負荷管理表
525 過去に実行されたジョブ情報DB
526 ステージングでのメタデータ更新順序制約管理表
Claims (7)
- プロセッサとメモリとを有する複数のノードを有する並列処理装置であって、
前記複数のノードのうちのジョブのスケジューリング処理を実行する特定のノードは、
前記複数のノードのうちのいずれかが第1のジョブを実行する際に、前記ジョブの実行時間を記録した実行履歴を参照して、前記第1のジョブの実行が終了する実行終了時刻を算出し、
前記複数のノードのうちのファイルのメタデータにアクセスするメタデータ処理を実行するメタデータ処理実行ノードの負荷を管理する負荷管理ノードから、算出した前記実行終了時刻における前記メタデータ処理実行ノードの負荷量を取得し、
取得した前記負荷量が所定の閾値以上である場合、2つの記憶領域の間でファイルを移動するステージングによって発生する前記メタデータ処理を実行するステージング実行ノードに、前記第1のジョブの実行結果を有するファイルに対するステージングによって発生する前記メタデータ処理を前記第1のジョブの実行終了時に実行させるスケジュールデータを生成する、
ことを特徴とする並列処理装置。 - 前記負荷管理ノードは、前記メタデータ処理の対象となるファイルの数に対応する前記メタデータ処理実行ノードの負荷量を示す負荷情報を有しており、
前記特定のノードは、
複数のファイルの各ファイルに対してステージングを実行する予定時刻を示す予定情報を参照して、算出した前記実行終了時刻に実行されるステージングの対象となるファイルの数を特定し、
前記負荷管理ノードに、特定した前記ファイルの数を送信し、
前記負荷管理ノードは、
前記負荷情報を参照して得られた前記ファイルの数に対応する前記メタデータ処理実行ノードの負荷量を、前記特定のノードに送信し、
前記特定のノードは、
受信した前記メタデータ処理実行ノードの負荷量を、前記実行終了時刻における前記メタデータ処理実行ノードの負荷量として取得する、
ことを特徴とする請求項1に記載の並列処理装置。 - 前記実行履歴は、前記ジョブの実行を開始した時刻と、前記ジョブの実行結果を有するファイルに対するステージングを開始した実行開始時刻と、当該ファイルに対するステージングの実行終了時刻とを含み、
前記特定のノードは、
前記第1のジョブを実行する際に、前記実行履歴を参照して、前記第1のジョブの実行結果を有するファイルに対するステージングの実行開始時刻と、当該ステージングの実行終了時刻とを算出し、
前記予定情報を参照して、算出した前記実行開始時刻から前記実行終了時刻までの間に実行されるステージングの対象となるファイルの数を特定し、
前記負荷管理ノードに、特定した前記ファイルの数と、前記実行開始時刻から前記実行終了時刻までの時間の長さを示す情報とを送信し、
前記負荷管理ノードは、
前記負荷情報を参照して、前記時間の長さに基づき算出した前記ファイルの数に対応する前記メタデータ処理実行ノードの単位時間当たりの負荷量を、前記特定のノードに送信し、
前記特定のノードは、
取得した前記単位時間当たりの負荷量が所定の閾値以上である場合、前記スケジュールデータを生成する、
ことを特徴とする請求項2に記載の並列処理装置。 - 前記特定のノードは、
前記複数のノードのうちのいずれかが前記第1のジョブを実行する前に、前記ジョブがノードの使用を開始する時刻を示す情報に基づいて、前記第1のジョブの実行が開始する実行開始時刻を算出し、
前記負荷管理ノードから、算出した前記実行開始時刻における前記メタデータ処理実行ノードの負荷量を取得し、
取得した前記負荷量が所定の閾値以上である場合、前記ステージング実行ノードに、前記第1のジョブが参照するファイルまたは前記第1のジョブが更新するファイルに対するステージングによって発生する前記メタデータ処理を前記第1のジョブの実行開始時に実行させるスケジュールデータを生成する、
ことを特徴とする請求項1〜3のいずれか一つに記載の並列処理装置。 - 前記特定のノードは、ジョブに関するファイルに対する前記メタデータ処理を実行する順序を示す順序情報を有し、
前記メタデータ処理実行ノードは、
前記第1のジョブに関するファイルに対するメタデータ処理を実行する際に、前記第1のジョブに関するファイルに対するメタデータ処理より前に実行すべきメタデータ処理の有無を確認する要求を、前記特定のノードに送信し、
前記特定のノードは、
前記要求を受け付けた場合、前記順序情報を参照して、前記第1のジョブに関するファイルに対するメタデータ処理より前に実行すべきメタデータ処理がある場合、前記前に実行すべきメタデータ処理を特定する情報を、前記メタデータ処理実行ノードに送信し、
前記メタデータ処理実行ノードは、
前記前に実行すべきメタデータ処理を特定する情報を受け付けた場合、前記前に実行すべきメタデータ処理を、前記第1のジョブに関するファイルに対するメタデータ処理より前に実行する、
ことを特徴とする請求項1〜4のいずれか一つに記載の並列処理装置。 - プロセッサとメモリとを有する複数のノードを有する並列処理装置のステージアウト処理方法であって、
前記複数のノードのうちのジョブのスケジューリング処理を実行する特定のノードが、
前記複数のノードのうちのいずれかが第1のジョブを実行する際に、前記ジョブの実行時間を記録した実行履歴を参照して、前記第1のジョブの実行が終了する実行終了時刻を算出し、
前記複数のノードのうちのファイルのメタデータにアクセスするメタデータ処理を実行するメタデータ処理実行ノードの負荷を管理する負荷管理ノードから、算出した前記実行終了時刻における前記メタデータ処理実行ノードの負荷量を取得し、
取得した前記負荷量が所定の閾値以上である場合、2つの記憶領域の間でファイルを移動するステージングによって発生する前記メタデータ処理を実行するステージング実行ノードに、前記第1のジョブの実行結果を有するファイルに対するステージングによって発生する前記メタデータ処理を前記第1のジョブの実行終了時に実行させるスケジュールデータを生成する、
処理を実行することを特徴とするステージアウト処理方法。 - プロセッサとメモリとを有する複数のノードを有する並列処理装置のジョブ管理プログラムであって、
前記複数のノードのうちのジョブのスケジューリング処理を実行する特定のノードに、
前記複数のノードのうちのいずれかが第1のジョブを実行する際に、前記ジョブの実行時間を記録した実行履歴を参照して、前記第1のジョブの実行が終了する実行終了時刻を算出し、
前記複数のノードのうちのファイルのメタデータにアクセスするメタデータ処理を実行するメタデータ処理実行ノードの負荷を管理する負荷管理ノードから、算出した前記実行終了時刻における前記メタデータ処理実行ノードの負荷量を取得し、
取得した前記負荷量が所定の閾値以上である場合、2つの記憶領域の間でファイルを移動するステージングによって発生する前記メタデータ処理を実行するステージング実行ノードに、前記第1のジョブの実行結果を有するファイルに対するステージングによって発生する前記メタデータ処理を前記第1のジョブの実行終了時に実行させるスケジュールデータを生成する、
処理を実行させることを特徴とするジョブ管理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017050025A JP6819378B2 (ja) | 2017-03-15 | 2017-03-15 | 並列処理装置、ステージアウト処理方法、およびジョブ管理プログラム |
US15/898,274 US10599472B2 (en) | 2017-03-15 | 2018-02-16 | Information processing apparatus, stage-out processing method and recording medium recording job management program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017050025A JP6819378B2 (ja) | 2017-03-15 | 2017-03-15 | 並列処理装置、ステージアウト処理方法、およびジョブ管理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018156142A true JP2018156142A (ja) | 2018-10-04 |
JP6819378B2 JP6819378B2 (ja) | 2021-01-27 |
Family
ID=63520071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017050025A Active JP6819378B2 (ja) | 2017-03-15 | 2017-03-15 | 並列処理装置、ステージアウト処理方法、およびジョブ管理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10599472B2 (ja) |
JP (1) | JP6819378B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10968610B2 (en) | 2018-06-05 | 2021-04-06 | Rose Elizabeth Modica | Faucet insulation apparatus |
CN110716808B (zh) * | 2019-10-15 | 2023-10-31 | 腾讯科技(深圳)有限公司 | 业务处理方法、装置、计算机设备和存储介质 |
US11816132B2 (en) * | 2021-04-20 | 2023-11-14 | Vesoft Inc. | Method and system for optimizing data storage of query statistics of graph database |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60157642A (ja) | 1984-01-27 | 1985-08-17 | Hitachi Ltd | 自動フアイルステ−ジング方式 |
WO2006100752A1 (ja) | 2005-03-22 | 2006-09-28 | Fujitsu Limited | 分散処理管理装置、分散処理管理方法、分散処理管理プログラム |
JP2011186810A (ja) | 2010-03-09 | 2011-09-22 | Fujitsu Ltd | 負荷分散装置、負荷分散方法及び負荷分散プログラム |
US9038088B2 (en) * | 2011-03-10 | 2015-05-19 | Nec Laboratories America, Inc. | Load balancing on hetrogenous processing cluster based on exceeded load imbalance factor threshold determined by total completion time of multiple processing phases |
US10108458B2 (en) * | 2017-02-28 | 2018-10-23 | Huawei Technologies Canada Co., Ltd. | System and method for scheduling jobs in distributed datacenters |
-
2017
- 2017-03-15 JP JP2017050025A patent/JP6819378B2/ja active Active
-
2018
- 2018-02-16 US US15/898,274 patent/US10599472B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6819378B2 (ja) | 2021-01-27 |
US20180267831A1 (en) | 2018-09-20 |
US10599472B2 (en) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yan et al. | Tr-spark: Transient computing for big data analytics | |
JP7409622B2 (ja) | 計算機システム及び方法 | |
US10831387B1 (en) | Snapshot reservations in a distributed storage system | |
JP5191062B2 (ja) | ストレージ制御システム、ストレージ制御システムに関する操作方法、データ・キャリア及びコンピュータ・プログラム | |
US7739377B2 (en) | Performing inventory scan to determine presence of prerequisite resources | |
US20180144272A1 (en) | Parallel processing apparatus and method of estimating power consumption of jobs | |
US20150134795A1 (en) | Data stream ingestion and persistence techniques | |
US20070024898A1 (en) | System and method for executing job step, and computer product | |
JP5245711B2 (ja) | 分散データ処理システム、分散データ処理方法および分散データ処理用プログラム | |
US8458396B2 (en) | Sharing resources within a robotic media library amongst a plurality of connected servers | |
US10013288B2 (en) | Data staging management system | |
US10198365B2 (en) | Information processing system, method and medium | |
JP2018156142A (ja) | 並列処理装置、ステージアウト処理方法、およびジョブ管理プログラム | |
US10057338B2 (en) | Data distribution apparatus, data distribution method, and data distribution program for parallel computing processing system | |
US10437494B2 (en) | Storage control apparatus and method of controlling a storage apparatus based on prediction of storage access | |
JP6293709B2 (ja) | ストレージシステムおよびストレージシステム用プログラム | |
US20130332932A1 (en) | Command control method | |
US20080082982A1 (en) | Method, system and computer program for translating resource relationship requirements for jobs into queries on a relational database | |
JP2017191387A (ja) | データ処理プログラム、データ処理方法およびデータ処理装置 | |
KR20170102725A (ko) | 데이터 관리 시스템 및 방법 | |
WO2015075803A1 (ja) | 情報処理装置、方法、プログラム及び記録媒体 | |
JP2009037544A (ja) | データベース処理方法、その実施システム及びプログラム | |
CN110019031B (zh) | 一种文件创建方法及文件管理装置 | |
US20160364817A1 (en) | System, Method, and Apparatus for Utilizing Multi-Processing to Optimize Calculations of Licensable Properties | |
JP2016062535A (ja) | 情報処理システム、情報処理システムの制御方法及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6819378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |