JP2013190888A - Computer resource management method - Google Patents

Computer resource management method Download PDF

Info

Publication number
JP2013190888A
JP2013190888A JP2012055250A JP2012055250A JP2013190888A JP 2013190888 A JP2013190888 A JP 2013190888A JP 2012055250 A JP2012055250 A JP 2012055250A JP 2012055250 A JP2012055250 A JP 2012055250A JP 2013190888 A JP2013190888 A JP 2013190888A
Authority
JP
Japan
Prior art keywords
sla
resource
computer
batch job
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012055250A
Other languages
Japanese (ja)
Inventor
Seiyap Thleerat
スリーラット セーイヤップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2012055250A priority Critical patent/JP2013190888A/en
Publication of JP2013190888A publication Critical patent/JP2013190888A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To solve the problem in which an SLA (Service Level Agreement) level regulated in a conventional technology is two-dimensional, service which is offered under cloud environment, etc. is often more quantitatively determined, and it is difficult to perform allocation processing of computing resources in a computer on which actually conferred SLA quantitative information is more certainly reflected.SOLUTION: In the present invention, in order to solve the above problem, resource utilization time is more exactly calculated to schedule time zones and resource amounts required for exiting resource provision service while utilizing quantitative information and past processing information on an SLA. This scheduling system is calculated so as to utilize resources to the maximum according to an SLA conference content, and thus simply grasps amounts and time zones of unused resources, and supports simpler determination of propriety of responses to new service, etc. in a short period.

Description

本発明は、コンピュータリソースの管理に関し、その中でも特に、いわゆるクラウド環境における管理に関する。   The present invention relates to management of computer resources, and more particularly to management in a so-called cloud environment.

現在、コンピュータシステムでの情報処理量は増加しており、これに伴いリソース管理が必要になってきている。このような背景において、リソース管理に関し、特許文献1が提案されている。特許文献1では、リソース不足状態の発生を監視するリソース監視手段、リソース不足が発生されている場合のリソース回収処理手段及びSLA情報のレベル(HIGH,LOW)に基づいて必要なリソースを割当てる割当手段を開示されてる。このように特許文献1では、システムに使われている性能状態の監視技術及びリソース過不足の判断技術が開示されている。   Currently, the amount of information processing in computer systems is increasing, and with this, resource management is becoming necessary. In such a background, Patent Document 1 has been proposed regarding resource management. In Patent Document 1, resource monitoring means for monitoring occurrence of a resource shortage state, resource collection processing means when resource shortage has occurred, and assignment means for assigning necessary resources based on the levels (HIGH, LOW) of SLA information Is disclosed. Thus, Patent Document 1 discloses a performance state monitoring technique and a resource excess / deficiency judgment technique used in the system.

特開2008−293283号公報JP 2008-293283 A

ただし、上記のシステムで定義されているSLAのレベルは「HIGH」、「LOW」のみで区別されているため、クラウド環境などで提供されているサービスはより定量的が決められることが多く、実際に協議されているSLA(Service Level Agreement)定量的な情報をより確実に反映され、コンピューティングリソースの割当処理を行うことが難しい。   However, since the SLA levels defined in the above system are distinguished only by “HIGH” and “LOW”, the services provided in the cloud environment etc. are often determined more quantitatively. SLA (Service Level Agreement) quantitative information that is negotiated in the past is more reliably reflected, and it is difficult to perform computing resource allocation processing.

また、上記のシステムではリソース利用要求が発生されてから、リソース過不足を計算し計算された結果に応じリソース回収及びリソース割当を実行されているため、随時に新しいリソース提供サービスの要求に対して既存リソースで対応可否または追加必要なリソース量及び時間帯を判断することに関しては、上記のリソース割当システムを用いて他システムとの連携で検討すること必要となり対応期間の長期化になる可能性がある。よりスピーディ及びより的確に対応できるようにすることが課題となっている。   In addition, since the above system calculates resource excess and deficiency after resource generation request is generated and resource collection and resource allocation are executed according to the calculated result, it can respond to new resource provision service requests as needed. Regarding the determination of availability and additional required resource amount and time zone with existing resources, it is necessary to study in cooperation with other systems using the above resource allocation system, and the response period may be prolonged. is there. It is an issue to be able to respond more quickly and more accurately.

本発明では、上記の課題を解決するためにSLAの定量的な情報及び過去処理情報を活かしながら、リソース利用時間をより的確に計算し既存リース提供サービスに必要な時間帯及びリソース量をスケジューリング化する。本スケジューリングシステムはSLA協議内容に応じてリソースを最大限に活用できるように計算されているため、未使用リソース量及び時間帯を簡単に把握でき、新規サービスなどを対応可否がより簡単かつ短期間で判断することを支援する。   In the present invention, in order to solve the above-mentioned problem, while utilizing the SLA quantitative information and past processing information, the resource usage time is more accurately calculated, and the time zone and the amount of resources necessary for the existing lease providing service are scheduled. To do. Since this scheduling system is calculated so that resources can be utilized to the maximum according to the contents of the SLA discussion, it is possible to easily grasp the amount of unused resources and the time zone, and to support new services more easily and in a short period of time. To help you make decisions.

また、本発明は、クラウド環境でのバッチジョブ処理時間の過去統計データを重回帰分析法に基づいて求められたバッチジョブ実行予測時間の数式にSLAで定められたバッチジョブ完了時間を考慮したパラメタ設定可能な定数を加えて、クラウドサービスで提供されるコンピューティングリソースをより柔軟的かつ効率的に割当し、随時新規バッチジョブ処理サービスの要求があった場合にも提供可否・リソース追加要否及びリソース追加タイミングを容易に判断することを支援するものでもある。   In addition, the present invention is a parameter that takes into account the batch job completion time determined by the SLA to the formula of the estimated batch job execution time obtained from the past statistical data of the batch job processing time in the cloud environment based on the multiple regression analysis method. Add configurable constants to allocate computing resources provided by the cloud service more flexibly and efficiently, and if there is a request for a new batch job processing service from time to time It also supports easy determination of resource addition timing.

本発明によれば、特に、クラウドで提供されているバッチジョブ実行サービスのSLA内容(バッチジョブ実行完了時間)を確実に保証できるように必要な計算コア数と実行開始すべき時間・スケジューリングが求められる。数字化されたSLA内容をリソース利用量の計算数式に反映されていることでSLA保証率とリソース活用効率を両面を考慮できるようになる。   According to the present invention, in particular, the required number of calculation cores and the time / scheduling to start execution are required so that the SLA contents (batch job execution completion time) of the batch job execution service provided in the cloud can be reliably guaranteed. It is done. By reflecting the digitized SLA content in the calculation formula for resource usage, both SLA guarantee rate and resource utilization efficiency can be considered.

本発明の一実施形態におけるSLAの概要を示す図。The figure which shows the outline | summary of SLA in one Embodiment of this invention. 本発明の一実施形態のシステム構成図。The system block diagram of one Embodiment of this invention. 本発明の一実施形態の処理内容を示す概要フローチャート。The outline | summary flowchart which shows the processing content of one Embodiment of this invention. 本発明の一実施形態のS25の詳細処理内容を示すフローチャート。The flowchart which shows the detailed processing content of S25 of one Embodiment of this invention. 本発明の一実施形態のS27の詳細処理内容を示すフローチャート。The flowchart which shows the detailed processing content of S27 of one Embodiment of this invention. 本発明の一実施形態のS28の詳細処理内容を示すフローチャート。The flowchart which shows the detailed processing content of S28 of one Embodiment of this invention. 本発明の一実施形態のS29の詳細処理内容を示すフローチャート。The flowchart which shows the detailed processing content of S29 of one Embodiment of this invention. 本発明の一実施形態のS276の詳細処理内容を示すフローチャート。The flowchart which shows the detailed processing content of S276 of one Embodiment of this invention. 本発明の一実施形態で用いるデータテーブル(データベース)を示す図。The figure which shows the data table (database) used by one Embodiment of this invention.

以下、本発明の一実施形態について、図面を用いて説明する。
まず、前提として、図1にSLAとシステムでの負荷(コア数)の関係を示す概念図を示す。つまり、サービスA、Bについて、その処理時間(提供時間)を短くしようとすると、必要となるコア数が増加し、負荷も増えることになる。このように、サービスについて変動が起こると、コア数(システム)負荷もそれに合せて変動し、SLAを維持できるかが問題になってくる。この点を解消するために、本実施形態では、図2に示すシステムバッチ処理情報取得システム10、バッチ処理時間予測システム20およびリソーススケジューリングシステム30を用いて、その処理時間等を予測し、SLAを維持できるか判断する。さらには、SLAを維持できるように制御するものである。以下、その詳細を説明する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
First, as a premise, FIG. 1 shows a conceptual diagram showing the relationship between the SLA and the load (number of cores) in the system. In other words, for services A and B, if the processing time (provision time) is to be shortened, the number of cores required increases and the load also increases. As described above, when the service changes, the number of cores (system) load also changes accordingly, and it becomes a problem whether the SLA can be maintained. In order to solve this point, in this embodiment, the system batch processing information acquisition system 10, the batch processing time prediction system 20 and the resource scheduling system 30 shown in FIG. Determine if it can be maintained. Furthermore, control is performed so that the SLA can be maintained. Details will be described below.

まず、前提処理として、図9に示す各種データを、図1に示す各DBに格納する。例えば、バッチ処理データ登録を行う。これは、バッチ処理情報システム(10)が、クラウドでのバッチ処理を実行監視ソフトウエアを用いて以下の統計データ取得し、BatchProcessedTbl(T1000)に保存する。その内容は、バッチジョブ(件数)、バッチジョブのデータ量(GB)、実行リソースのメモリ量(GB)、CPU性能(GHz)、バッチジョブ再開できるまでのMTTR、バッチジョブ開始時間、および、バッチジョブ完了時間からなる。これらのデータは、あるバッチジョブ処理については、以下の数値を取ることもある。
バッチジョブ(件数)= 100件
バッチジョブのデータ量(GB)= 120GB
実行リソースのメモリ量(GB)= 3.5GB
CPU性能(GHz)= 100GHz
つまり、図9に示すテーブルT1000に、バッチジョブの件数、データ量、処理CPU及び処理用のメモリ量がそれぞれ100,120,3.5,100と登録される。
First, as precondition processing, various data shown in FIG. 9 are stored in each DB shown in FIG. For example, batch processing data registration is performed. The batch processing information system (10) acquires the following statistical data using execution monitoring software for batch processing in the cloud, and stores it in BatchProcessedTbl (T1000). The contents are: batch job (number), batch job data amount (GB), execution resource memory amount (GB), CPU performance (GHz), MTTR until batch job can be resumed, batch job start time, and batch Consists of job completion time. These data may take the following numerical values for a batch job process.
Batch job (number) = 100 cases Batch job data volume (GB) = 120GB
Execution resource memory (GB) = 3.5 GB
CPU performance (GHz) = 100GHz
That is, the number of batch jobs, the data amount, the processing CPU, and the processing memory amount are registered as 100, 120, 3.5, and 100 in the table T1000 shown in FIG.

バッチジョブ処理にかかっていた時間を以下の方式(数1)で求められた結果をT1000に「処理時間」項目に登録する。エラーが発生されシステム再開までのMTTRを考慮する必要があるため、以下の数式で計算する。
処理時間=バッチジョブ完了時間−バッチジョブ開始時間−MTTR…(数1)
次に、図3以降のフローチャートを用いて、処理の内容を説明する。まず、S21において、バッチ処理データ取得する。これは、上述したテーブルに登録したデータを取得lする。つまり、保存されたバッチ処理統計データを取得するプロセスになるが、過去データ中にシステムダウンなど原因によってバッチ処理時間のデータが平常時と異質を持っているため、重回帰分析には不適切なデータとしてT1000の「除外フラグ」が「ON」(S2762)になっているデータ列を取り除く必要があるため、本処理は以下のデータを取得する。 そして、T1000の「除外フラグ」が「ON」以外のデータから「バッチジョブの件数、バッチジョブのデータ量、CPU性能、リソースのメモリ量」のデータを抽出する。
The result obtained for the batch job processing by the following method (Equation 1) is registered in the “processing time” item in T1000. Since it is necessary to consider MTTR from when an error occurs until the system restarts, the following formula is used.
Processing time = Batch job completion time-Batch job start time-MTTR (Equation 1)
Next, the contents of the processing will be described with reference to the flowcharts in FIG. First, in S21, batch processing data is acquired. This obtains the data registered in the table described above. In other words, it is a process to obtain the stored batch processing statistical data, but the batch processing time data in the past data is different from normal due to system down or other reasons, so it is not suitable for multiple regression analysis. Since it is necessary to remove the data string in which the “exclusion flag” of T1000 is “ON” (S2762) as data, this processing acquires the following data. Then, data of “number of batch jobs, amount of batch job data, CPU performance, amount of resource memory” is extracted from data other than the “exclusion flag” of T1000 being “ON”.

次に、S22において、関数の相関値の計算を行なう。ここでは、バッチ処理時間を予測するための数式を求めるために、バッチ処理ジョブの量を示すバッチジョブの件数とバッチジョブのデータ量及びコンピュータの実行能力を示すCPU性能と性能に関わる提供されているリソースのメモリ量を活用し重回帰分析を行う。   Next, in S22, the correlation value of the function is calculated. Here, in order to obtain a formula for predicting the batch processing time, the number of batch jobs indicating the amount of batch processing jobs, the amount of batch job data, and the CPU performance and performance indicating the execution capability of the computer are provided. Multiple regression analysis is performed using the amount of memory of resources.

重回帰分析の多重共線性(ある独立変数が残りの変数によってほとんど説明されてしまう状態)を防ぐために、重回帰分析を実行する前に上記に抽出されたデータ(重回帰分析では独立変数と呼ぶ)の相関関係を公知のPearson相関ツール(201)を使うことによって計算する。   In order to prevent the multiple collinearity of multiple regression analysis (a state where an independent variable is almost explained by the remaining variables), the data extracted above before performing multiple regression analysis (called independent variables in multiple regression analysis) ) Is calculated by using a known Pearson correlation tool (201).

ここで、計算された相関値を0.8以上の変数ペア(S23)があった場合、重回帰解析に1つの変数だけ使うため使わない変数を判定するS24に進める。各変数ペアの相関値が0.8以下なるまで23を続けるが、0.8以下になったらS25の重回帰解析に進む。S24では、他関数との相関値の合計を高いほうの変数をT2000に「0」と登録する。   Here, if there is a variable pair (S23) having a calculated correlation value of 0.8 or more, the process proceeds to S24 in which a variable that is not used because only one variable is used in the multiple regression analysis is determined. 23 is continued until the correlation value of each variable pair becomes 0.8 or less, but when it becomes 0.8 or less, the process proceeds to the multiple regression analysis of S25. In S24, the variable whose sum of correlation values with other functions is higher is registered as “0” in T2000.

次に、S25において、重回帰分析処理を行う。ここでは、T2000に登録された係数が0以外の変数「バッチジョブの件数、データ量、処理CPU及び処理用のメモリ量」それぞれの組合せと「処理時間」を用いて重回帰分析を行う。つまり、図4に示す以下の処理を行う。   Next, in S25, a multiple regression analysis process is performed. Here, multiple regression analysis is performed using combinations of “variables of batch jobs, number of data, amount of processing CPU, amount of memory for processing” and “processing time” whose coefficients registered in T2000 are other than 0. That is, the following processing shown in FIG. 4 is performed.

(1)前処理で保存された「バッチジョブの件数、データ量、処理CPU及び処理用のメモリ量」の係数データを取得する(S251)。
(2)T2000の係数が「0」であるかを判定して(S252)、「0」以外の変数を数えていく(S253)
(3)組合せパターンを計算ツール(S201)で計算する(S254)。これは、現在知られている公知の技術で実現かのうであり、その詳細は省く。
(4)各パターンに対して、T2000の「数式ID」に連番をR001から登録しておく。前処理のデータより、「バッチデータ量」と「メモリ量」の係数が「0」になっているため「バッチジョブ件数」と「CPU」の以下の組合せパターンをT2000登録する。
(ア)バッチジョブ件数のみの変数パターンにR001を「数式ID」に登録
(イ)CPU変数パターンにR002を登録
(ウ)バッチ件数とCPU のパターンにR003を「数式ID」に登録
(5)公知計算ツール(201)を利用して前処理の組合せパターンに対するモデル(数式)を求める(S255)。
(1) The coefficient data of “number of batch jobs, amount of data, processing CPU and amount of memory for processing” stored in the preprocessing is acquired (S251).
(2) Determine whether the coefficient of T2000 is “0” (S252) and count variables other than “0” (S253)
(3) The combination pattern is calculated with the calculation tool (S201) (S254). This is achieved by a currently known technique, and details thereof are omitted.
(4) For each pattern, a serial number is registered from “R001” in “Formula ID” of T2000. Since the coefficient of “batch data amount” and “memory amount” is “0” from the preprocess data, the following combination pattern of “number of batch jobs” and “CPU” is registered in T2000.
(A) Register R001 to “Formula ID” for the variable pattern of batch job count only (b) Register R002 to CPU variable pattern (c) Register R003 to “Formula ID” for batch number and CPU pattern (5) A model (formula) for the combination pattern of the preprocessing is obtained using the known calculation tool (201) (S255).

次に、S26において、重回帰結果登録処理を実行する。つまり、各々のパターンに対して求められたデータ(S255)をT2000の該当項目に登録する。S26の登録内容は、以下になる。
(ア)回帰決定係数及び調整済み決定係数(モデルの説明力を表す):「説明力」
(イ)偏回帰係数(各変数の影響力を表す):「各変数の係数」
(ウ)有意確立(各変数の影響力が統計的に有意であるのか検定する):「有意水準」
(エ)従属変数の平均値:「平均値」
(オ)従属変数の標準偏差値:「標準偏差値」
(カ)モデルの定数:「定数」。
Next, in S26, a multiple regression result registration process is executed. That is, the data (S255) obtained for each pattern is registered in the corresponding item of T2000. The registered contents of S26 are as follows.
(A) Regression coefficient of determination and adjusted coefficient of determination (representing the explanatory power of the model): “Explanatory power”
(A) Partial regression coefficient (represents the influence of each variable): "Coefficient of each variable"
(C) Significance establishment (test whether the influence of each variable is statistically significant): “significance level”
(D) Average value of the dependent variable: “Average value”
(E) Standard deviation value of the dependent variable: “Standard deviation value”
(F) Model constant: “Constant”.

次に、S27において、適用モデル決定処理を行う。本処理では、前処理に求められた数式を設定されたパラメータ(説明力及び有意水準)と比べて、バッチ処理時間の予測するための適用数式を決定する。本システムは柔軟性を持たせるため、標準の説明力と有意水準のデフォールト値以外にユーザ設定機能を提供する。   Next, in S27, an application model determination process is performed. In this process, the mathematical formula obtained in the pre-processing is compared with the set parameters (explanatory power and significance level) to determine an applied mathematical formula for predicting the batch processing time. In order to be flexible, this system provides user setting functions in addition to the standard explanatory power and the default value of significance level.

ModelParameterTbl(T3000)の「説明力」と「有意水準」にデフォールト値が「50%」と「5%」それぞれ登録されている(重回帰分析に一般的に使われている数字)。ユーザがパラメータ登録プログラム(202)を使うことによって各自の基準に応じた上記のパラメータとSLA_IDを登録する。   Default values of “50%” and “5%” are registered in “Explanatory power” and “Significance level” of ModelParameterTbl (T3000), respectively (numbers commonly used for multiple regression analysis). By using the parameter registration program (202), the user registers the above parameters and SLA_ID according to their own standards.

本処理フローの詳細は、図5に示すように以下のとおりになる。
(1)T3000から「説明確立」と「有意水準」の値を抽出する。S271
(2)T2000から同じ日付の数式を「説明力」の一番高い数式データを抽出する。S272
(3)設定パラメータと比較する。S273
(4)パラメタ条件を満たす数式をT3000の「数式ID」に登録する。S274
(5)上記パラメタ設定値に満たさない場合、次の説明力の高い数式データを抽出する。S275
(6)上記パラメタ設定値に満たす数式がない場合は、統計データの外れ値処理に進む。S276。
The details of this processing flow are as follows as shown in FIG.
(1) Extract “Establishment explanation” and “Significance level” values from T3000. S271
(2) Extract mathematical formula data with the highest “explanatory power” from T2000 from the same date. S272
(3) Compare with the set parameter. S273
(4) Register the mathematical formula that satisfies the parameter in the “Mathematical Formula ID” of T3000. S274
(5) If the parameter setting value is not satisfied, the following mathematical data with high explanatory power is extracted. S275
(6) If there is no mathematical expression satisfying the parameter setting value, the process proceeds to statistical data outlier processing. S276.

次に、S28において、SLA対応調整処理を行う。本処理では、SLAで合意された内容(T4000に登録されている内容)に応じてバッチ処理時間予測数式を最適化する。この内容は、図6に示すように以下のとおりになる。   Next, in S28, SLA correspondence adjustment processing is performed. In this process, the batch processing time prediction formula is optimized according to the contents agreed in the SLA (the contents registered in T4000). As shown in FIG. 6, the contents are as follows.

202を使って各々のバッチ処理サービスのSLA内容をBatchSLATbl(T4000)の以下の項目に登録する。S281
SLA_ID
バッチ完了時間
バッチ完了遵守率
バッチ完了時刻
次に、前処理に重回帰分析によって求められた数式(T3000)は正規分布の性質を持っているため、この数式を利用して予測されたバッチ処理時間を確率的に示すことも可能である。ここで、バッチジョブ完了時間内で100%保証しようとしたら、正規分布の確立が100%になるように計算することが可能であるが、計算リソースの効率的に割当にならないためSLAで定義されているSLA完了時間の遵守率を保証しながら、いかにリソース適用効率を向上させることが課題となっている。
Use 202 to register the SLA contents of each batch processing service in the following items of BatchSLATbl (T4000). S281
SLA_ID
Batch Completion Time Batch Completion Rate Batch Completion Time Next, the formula (T3000) obtained by multiple regression analysis in the pre-processing has the characteristics of normal distribution, so the batch processing time predicted using this formula Can also be shown stochastically. Here, if it is attempted to guarantee 100% within the batch job completion time, it is possible to calculate so that the normal distribution is established to 100%, but it is defined in the SLA because it does not allocate computational resources efficiently. The challenge is how to improve the efficiency of resource application while guaranteeing compliance with the SLA completion time.

そこで、本処理では、バッチジョブ完了遵守率を保証できる処理予測数式の求め方を以下に示す方法で行う。
(1)T4000から「SLA_ID」と「遵守率」を取得する。S281
(2)T3000の該当「SLA_ID」をキーとして「数式ID」を取得する。S282
(3)「数式ID」をキーとしてT2000の「平均値」、「標準偏差」を取得する。S283
(3)表計算ツールで用いられるような計算機能を用いて、遵守率、平均値、標準偏差の値を求める。S284
(4)S284から求められた数字をEstimationTbl(T5000)の「定数」に登録する。S285。
Therefore, in this process, a method for obtaining a process prediction formula that can guarantee the batch job completion compliance rate is performed by the following method.
(1) Obtain “SLA_ID” and “compliance rate” from T4000. S281
(2) “Formula ID” is acquired using the corresponding “SLA_ID” of T3000 as a key. S282
(3) The “average value” and “standard deviation” of T2000 are acquired using “formula ID” as a key. S283
(3) Using a calculation function such as that used in a spreadsheet tool, determine the compliance rate, average value, and standard deviation value. S284
(4) The number obtained from S284 is registered in the “constant” of the EstimationTbl (T5000). S285.

次に、S29の処理であるバッチ処理時間・コア計算を、図7を用いて説明する。
202を用いてバッチ処理パラメータ(バッチジョブ件数、データ量、メモリ量、CPU)をT5000の該当SLAに登録する。S291
・T5000のSLA_IDから前処理で登録された数式情報をT5000の定数、T2000の係数及び定数を取得する。S292
・S292で得られた数式をT5000のパラメタデータで計算する。S293
・S293の計算結果をT5000「処理予測時間」に登録する。S294
T4000からSLA_IDの「バッチ完了時間」を取得する。S295
・そして、「バッチ完了時間」295を満たすために最低のコア数を計算する。S296
・S295の計算結果をT5000の「コア数」に登録する。S297。
Next, the batch processing time / core calculation which is the processing of S29 will be described with reference to FIG.
Use 202 to register the batch processing parameters (number of batch jobs, data amount, memory amount, CPU) in the corresponding SLA of T5000. S291
-Obtain T5000 constants, T2000 coefficients, and constants from the pre-processed mathematical formula information from SLA_ID of T5000. S292
・ Calculate the mathematical formula obtained in S292 with T5000 parameter data. S293
・ Register the calculation result of S293 in T5000 “Predicted processing time”. S294
Get “Batch completion time” of SLA_ID from T4000. S295
And then calculate the minimum number of cores to satisfy “batch completion time” 295. S296
・ Register the calculation result of S295 in “Number of cores” of T5000. S297.

S276において、外れ値除外処理を実行する。この内容は、図8に示すとおりであり、以下のとおり処理する。
・計算ツールの2014を利用して変数の散布図を作成する。S2761
・散布図データから外れ値の確認及び原因調査を実施する。S2762
・T1000の該当データの「除外フラグ」を「ON」と登録する。S2763
・T1000の「除外グラグ」が「ON」以外のデータで20システムをスタートする。S2764
この結果、リソース割当支援システム30と連携して、リソースの割り当てを行う。その内容は、以下に示すとおりである。
In S276, outlier exclusion processing is executed. This content is as shown in FIG. 8 and is processed as follows.
・ Create a scatter plot of variables using the 2014 calculation tool. S2761
・ Check outliers from scatter plot data and investigate the cause. S2762
・ Register “Exclusion flag” of the corresponding data of T1000 as “ON”. S2763
Start 20 systems with data other than “ON” for “Exclusion Gragg” of T1000. S2764
As a result, resources are allocated in cooperation with the resource allocation support system 30. The contents are as follows.

20で計算されたバッチ処理時間をコア数との組合せでリソース割当を効率的に実施可能になる。   Resource allocation can be performed efficiently by combining the batch processing time calculated in 20 with the number of cores.

各サービスのバッチ処理の条件である(1)必要な最低計算リソースのコア数、(2)開始時刻、(3)終了時刻の範囲以内でスケジューリングに柔軟に調整することができる。
・リソース利用状況を示すグラフを使うことによってリソース割当が安易に把握することができる以外にも新しいサービスを追加する際、当初のスケジューリングを動かすだけで対応できるか、またはサービス提供するのにリソースの追加が必要となるか迅速に判断することが可能になる。
Scheduling can be flexibly adjusted within the range of (1) the required number of cores of the minimum calculation resource, (2) start time, and (3) end time, which are the conditions for batch processing of each service.
-In addition to being able to grasp resource allocation easily by using a graph showing the resource usage status, when adding a new service, it can be handled simply by moving the initial scheduling, or the resource allocation to provide the service It becomes possible to quickly determine whether an addition is necessary.

10…バッチ処理情報取得システム10、20…バッチ処理時間予測システム、30…リソーススケジューリングシステム DESCRIPTION OF SYMBOLS 10 ... Batch processing information acquisition system 10, 20 ... Batch processing time prediction system, 30 ... Resource scheduling system

Claims (3)

所定のサービスを実現する情報処理を実行するコンピュータのリソースを管理するコンピュータリソース管理方法において、
前記情報処理におけるバッチジョブ処理時間を特定し、
前記バッチジョブ処理時間から重回帰分析法に基づいてバッチジョブ実行予測時間を示す数式に対して、前記サービスにおけるSLAで定められたバッチジョブ完了時間に関するパラメータを反映して、バッチジョブ実行予測時間を算出し、
算出されたバッチジョブ実行予測時間に応じて、当該バッチジョブ実行予測時間に関するバッチジョブを実行するため前記コンピュータで割り当てるリソースを特定するリソース割り当て処理を実行することを特徴とするコンピュータリソース管理方法。
In a computer resource management method for managing resources of a computer that executes information processing for realizing a predetermined service,
Identify batch job processing time in the information processing,
The batch job execution prediction time is calculated by reflecting the parameter related to the batch job completion time determined by the SLA in the service to the formula indicating the batch job execution prediction time based on the multiple regression analysis method from the batch job processing time. Calculate
A computer resource management method comprising: executing a resource allocation process for identifying a resource to be allocated by the computer in order to execute a batch job related to the estimated batch job execution time according to the calculated estimated batch job execution time.
請求項1に記載のコンピュータリソース管理方法において、
前記リソース割り当て処理の結果に応じて、リソース追加要否およびリソース追加タイミングを判定することを特徴とするコンピュータリソース管理方法。
The computer resource management method according to claim 1,
A computer resource management method characterized by determining whether or not to add a resource and a resource addition timing according to a result of the resource allocation process.
請求項1または2のいずれかに記載のコンピュータリソース管理方法において、
前記コンピュータは、クラウドコンピューティングを実現するコンピュータであることを特徴とするコンピュータリソース管理方法。
The computer resource management method according to claim 1 or 2,
A computer resource management method, wherein the computer is a computer that realizes cloud computing.
JP2012055250A 2012-03-13 2012-03-13 Computer resource management method Pending JP2013190888A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012055250A JP2013190888A (en) 2012-03-13 2012-03-13 Computer resource management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012055250A JP2013190888A (en) 2012-03-13 2012-03-13 Computer resource management method

Publications (1)

Publication Number Publication Date
JP2013190888A true JP2013190888A (en) 2013-09-26

Family

ID=49391088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012055250A Pending JP2013190888A (en) 2012-03-13 2012-03-13 Computer resource management method

Country Status (1)

Country Link
JP (1) JP2013190888A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016200912A (en) * 2015-04-08 2016-12-01 富士通株式会社 Computer system, computer, job execution time prediction method and job execution time prediction program
US9940157B2 (en) 2015-06-10 2018-04-10 Fujitsu Limited Computer readable medium, method, and management device for determining whether a virtual machine can be constructed within a time period determined based on historical data
CN111782909A (en) * 2020-07-01 2020-10-16 中国银行股份有限公司 Method and device for recording metadata, electronic equipment and computer-readable storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016200912A (en) * 2015-04-08 2016-12-01 富士通株式会社 Computer system, computer, job execution time prediction method and job execution time prediction program
US9940157B2 (en) 2015-06-10 2018-04-10 Fujitsu Limited Computer readable medium, method, and management device for determining whether a virtual machine can be constructed within a time period determined based on historical data
CN111782909A (en) * 2020-07-01 2020-10-16 中国银行股份有限公司 Method and device for recording metadata, electronic equipment and computer-readable storage medium

Similar Documents

Publication Publication Date Title
Yin et al. Tasks scheduling and resource allocation in fog computing based on containers for smart manufacturing
Beloglazov et al. Optimal online deterministic algorithms and adaptive heuristics for energy and performance efficient dynamic consolidation of virtual machines in cloud data centers
CN109479024B (en) System and method for ensuring quality of service for computing workflows
US9575810B2 (en) Load balancing using improved component capacity estimation
US7937473B2 (en) Resource-amount calculation system, and method and program thereof
Bansal et al. Cost performance of QoS Driven task scheduling in cloud computing
US8635625B2 (en) Power-aware workload allocation in performance-managed computing environments
US8024737B2 (en) Method and a system that enables the calculation of resource requirements for a composite application
WO2021159638A1 (en) Method, apparatus and device for scheduling cluster queue resources, and storage medium
US9037880B2 (en) Method and system for automated application layer power management solution for serverside applications
Herbst et al. Ready for rain? A view from SPEC research on the future of cloud metrics
Batista et al. Performance evaluation of resource management in cloud computing environments
US8468530B2 (en) Determining and describing available resources and capabilities to match jobs to endpoints
Mekala et al. A DRL-based service offloading approach using DAG for edge computational orchestration
JP6953800B2 (en) Systems, controllers, methods, and programs for running simulation jobs
CN106557369A (en) A kind of management method and system of multithreading
Singh et al. Energy based efficient resource scheduling: a step towards green computing
Ding et al. Adaptive virtual machine consolidation framework based on performance-to-power ratio in cloud data centers
Bansal et al. Task scheduling algorithms with multiple factor in cloud computing environment
KR20140117905A (en) Virtual machine allcoation of cloud service for fuzzy logic driven virtual machine resource evaluation apparatus and method
US9851988B1 (en) Recommending computer sizes for automatically scalable computer groups
CN103870324A (en) Efficient execution of human machine interface applications in a heterogeneous multiprocessor environment
JP6981427B2 (en) Analysis node, resource management method and resource management program
JP2013190888A (en) Computer resource management method
JP2007241667A (en) Business flow control system, business flow control method, and control program