JP2022023420A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP2022023420A
JP2022023420A JP2020126357A JP2020126357A JP2022023420A JP 2022023420 A JP2022023420 A JP 2022023420A JP 2020126357 A JP2020126357 A JP 2020126357A JP 2020126357 A JP2020126357 A JP 2020126357A JP 2022023420 A JP2022023420 A JP 2022023420A
Authority
JP
Japan
Prior art keywords
cluster
samples
clusters
power consumption
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020126357A
Other languages
English (en)
Inventor
エンジ クレシュパ
Kreshpa Enxhi
成人 鈴木
Shigeto Suzuki
靖文 坂井
Yasubumi Sakai
崇 白石
Takashi Shiraishi
拓司 山本
Takuji Yamamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020126357A priority Critical patent/JP2022023420A/ja
Priority to US17/228,532 priority patent/US20220027758A1/en
Publication of JP2022023420A publication Critical patent/JP2022023420A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G06F9/4893—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues taking into account power or heat criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

【課題】消費電力予測モデルの生成に使用する訓練データの品質を向上させる。【解決手段】それぞれ消費電力の時系列の測定値を含む複数のサンプルに対して第１のクラスタリングを実行することで、複数の第１のクラスタを生成する。複数の第１のクラスタを、サンプル間の相関値の分散が第１の閾値未満であることと相関値の平均が第２の閾値を超えることの少なくとも一方を含む判定条件を満たす第２のクラスタと、判定条件を満たさない第３のクラスタとに分類する。第３のクラスタに含まれるサンプルに対して第２のクラスタリングを実行することで、第３のクラスタを複数の第４のクラスタに分割する。第２のクラスタと複数の第４のクラスタの少なくとも一部とに基づいて、消費電力を予測するためのモデルの生成に使用する訓練データを生成する。【選択図】図１

Description

本発明は情報処理装置、情報処理方法および情報処理プログラムに関する。
ＨＰＣ（High Performance Computing）システムなどの大規模情報処理システムは、全体として非常に大きな電力を消費することがある。そのため、運用コストや環境負荷の観点から、大規模情報処理システムは、単位時間当たりの全体の消費電力が閾値を超えないという運用目標を設定していることがある。一方、大規模情報処理システムは、複数のジョブを並列に実行する。それら複数のジョブの間では、プロセッサ使用率、ストレージアクセス頻度、通信頻度などのリソース使用パターンが異なることがある。そのため、単位時間当たりの消費電力がジョブによって異なることがある。
そこで、大規模情報処理システムは、ジョブ毎に消費電力を予測し、ジョブ毎の消費電力の予測値を合算して全体の消費電力を予測することがある。全体の消費電力がこのままでは閾値を超える可能性があると予測した場合、大規模情報処理システムは、消費電力を考慮してジョブのスケジューリングを行うことがある。例えば、大規模情報処理システムは、消費電力が大きい一部のジョブを中断することがある。
なお、ニューラルネットワークを用いて太陽光発電の発電量を予測する予測装置が提案されている。提案の予測装置は、訓練データを複数のクラスタに分割し、クラスタ毎に機械学習によってニューラルネットワークを生成する。予測装置は、入力データを受け付けると、入力データに最も近似するクラスタを特定し、特定したクラスタに対応するニューラルネットワークを用いて発電量を予測する。
また、ＨＰＣシステムの合計消費電量が基準量を超えないように、各ジョブの消費電力の上限および各ジョブが使用するノードのプロセッサ周波数を制御するジョブスケジューラが提案されている。また、機械装置が実行したプロセスの種類を推定する管理装置が提案されている。提案の管理装置は、機械装置の消費電力の時間変化を示す時系列データを取得し、時系列データを複数のクラスの何れか１つに分類する。管理装置は、分類先のクラスに応じて、機械装置で実行されたプロセスの種類を推定する。
特開２０１３－７４６９５号公報 国際公開第２０１６／０２８３７１号 国際公開第２０１９／１６７６７６号
深層学習によって生成される多層ニューラルネットワークなど、機械学習によって生成されるモデルを用いて、ジョブの消費電力を予測する方法が考えられる。消費電力予測モデルを生成する機械学習には、過去に実行されたジョブの消費電力の時間変化を示すサンプルを訓練データとして使用することが考えられる。
ただし、大規模情報処理システムからは大量のサンプルが収集される一方、それら大量のサンプルの中には類似する消費電力を示すサンプルも含まれている。このため、収集される全てのサンプルを訓練データとして使用することは非効率である。そこで、サンプルの集合に対してクラスタリングを行い、クラスタリングの結果に基づいて、訓練データのサイズを削減する方法が考えられる。しかし、ｋ平均法などの一般的なクラスタリングアルゴリズムでは、消費電力の時間変化を示すサンプルの分類精度が高くないことがある。その結果、訓練データの品質が低くなり、訓練データから生成される消費電力予測モデルの予測精度が低くなることがあるという問題がある。
１つの側面では、本発明は、消費電力予測モデルの生成に使用する訓練データの品質を向上させる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
１つの態様では、記憶部と処理部とを有する情報処理装置が提供される。記憶部は、それぞれ消費電力の時系列の測定値を含む複数のサンプルを記憶する。処理部は、複数のサンプルに対して第１のクラスタリングを実行することで、それぞれ２以上のサンプルを含む複数の第１のクラスタを生成する。処理部は、複数の第１のクラスタを、２以上のサンプル間の相関値の分散が第１の閾値未満であることと相関値の平均が第２の閾値を超えることの少なくとも一方を含む判定条件を満たす第２のクラスタと、判定条件を満たさない第３のクラスタとに分類する。処理部は、第３のクラスタに含まれる２以上のサンプルに対して第２のクラスタリングを実行することで、第３のクラスタを複数の第４のクラスタに分割する。処理部は、第２のクラスタと複数の第４のクラスタの少なくとも一部とに基づいて、消費電力を予測するためのモデルの生成に使用する訓練データを生成する。
また、１つの態様では、コンピュータが実行する情報処理方法が提供される。また、１つの態様では、コンピュータに実行させる情報処理プログラムが提供される。
１つの側面では、消費電力予測モデルの生成に使用する訓練データの品質が向上する。
第１の実施の形態の情報処理装置を説明するための図である。 第２の実施の形態の情報処理システムの例を示す図である。 機械学習装置のハードウェア例を示すブロック図である。 ジョブの消費電力の予測と実績の例を示すグラフである。 モデルによる消費電力の予測例を示す図である。 クラスタリングによる訓練データの削減例を示す図である。 不良クラスタの再分割の例を示す図である。 訓練データの生成例を示す図である。 相関テーブルの例を示す図である。 相関値の標準偏差によるクラスタの分類例を示すグラフである。 相関値の平均によるクラスタの分類例を示すグラフである。 機械学習装置の機能例を示すブロック図である。 消費電力テーブルの例を示す図である。 機械学習の手順例を示すフローチャートである。 訓練データ生成の手順例を示すフローチャートである。
以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。
図１は、第１の実施の形態の情報処理装置を説明するための図である。
第１の実施の形態の情報処理装置１０は、機械学習に用いられる訓練データを生成する。情報処理装置１０が、訓練データを用いて機械学習を実行してモデルを生成してもよい。また、情報処理装置１０が、生成されたモデルを用いて予測を実行してもよい。機械学習によって、消費電力を予測するためのモデルが生成される。
モデルは、深層学習によって生成される多層ニューラルネットワークであってもよい。生成されるモデルは、ＨＰＣシステムなどの大規模情報処理システムで実行されるジョブの消費電力を予測するためのモデルであってもよい。生成されるモデルが、大規模情報処理システムのジョブのスケジューリングに使用されてもよい。また、生成されるモデルは、直前期間の消費電力の実績から将来の消費電力を予測するためのモデルであってもよい。情報処理装置１０は、クライアント装置でもよいしサーバ装置でもよい。また、情報処理装置１０が、コンピュータや機械学習装置などと呼ばれてもよい。
情報処理装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよい。また、記憶部１１は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。処理部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。複数のプロセッサの集合が、「マルチプロセッサ」または単に「プロセッサ」と呼ばれることがある。
記憶部１１は、複数のサンプルを含むサンプル集合１３を記憶する。各サンプルは、消費電力の時系列の測定値を含む。サンプルが消費電力信号と呼ばれてもよい。各サンプルは、例えば、５分間隔で測定された消費電力の測定値の列である。異なるサンプルは、例えば、ＨＰＣシステムで過去に実行された異なるジョブの消費電力を示す。ジョブの消費電力は、例えば、ジョブが使用した計算ノード１台当たりの平均消費電力である。ジョブの消費電力は、プロセッサ使用率、ストレージアクセス頻度、通信頻度などのリソース使用パターンの影響を受ける。よって、演算内容によって消費電力が変化する。
処理部１２は、サンプル集合１３から訓練データ１６を生成する。まず、処理部１２は、サンプル集合１３に対して第１のクラスタリングを実行する。第１のクラスタリングには、ｋ平均法（k-means）や混合ガウスモデル（ＧＭＭ：Gaussian Mixture Model）など、様々なクラスタリングアルゴリズムを使用できる。第１のクラスタリングにより、処理部１２は、それぞれ２以上のサンプルを含む複数の第１のクラスタを生成する。例えば、処理部１２は、クラスタ１４ａ，１４ｂを生成する。クラスタ１４ａは、サンプル＃１，＃２，＃３を含む。クラスタ１４ｂは、サンプル＃４，＃５，＃６，＃７を含む。
次に、処理部１２は、複数の第１のクラスタを、判定条件１５を満たす第２のクラスタと、判定条件１５を満たさない第３のクラスタとに分類する。判定条件１５は、分散条件と平均条件の少なくとも一方を含む。判定条件１５は、分散条件を満たすかまたは平均条件を満たすこと（ＯＲ条件）であってもよいし、分散条件を満たしかつ平均条件を満たすこと（ＡＮＤ条件）であってもよい。分散条件は、同一クラスタ内のサンプル間の相関値の分散が第１の閾値未満であることである。平均条件は、同一クラスタ内のサンプル間の相関値の平均が第２の閾値を超えることである。
相関値は、例えば、複数の第１のクラスタそれぞれについて、そのクラスタ内のサンプルのペア毎に網羅的に算出される。相関値は、２つのサンプルの間の相関を示す指標値である。例えば、相関値は、２つの時系列の測定値の間の相互相関である。相関値が大きいほど、２つのサンプルが類似していることを示しており、消費電力の時間変化が類似することを意味する。相関値が小さいほど、２つのサンプルが類似していないことを示しており、消費電力の時間変化が類似しないことを意味する。
分散の閾値および平均の閾値は、固定値でもよいし、ユーザから指定されてもよい。また、分散の閾値は、複数の第１のクラスタに対して算出された分散の分布に基づいて相対的に決定されてもよい。同様に、平均の閾値は、複数の第１のクラスタに対して算出された平均の分布に基づいて相対的に決定されてもよい。なお、「分散」は、統計理論上の狭義の分散でもよいし、標準偏差など分布の広さを示す他の指標で表現されてもよい。
例えば、クラスタ１４ａが判定条件１５を満たし、クラスタ１４ｂが判定条件１５を満たさない。そこで、処理部１２は、クラスタ１４ａを第２のクラスタに分類し、クラスタ１４ｂを第３のクラスタに分類する。クラスタ１４ａでは、サンプル＃１，＃２，＃３の時系列の測定値が互いに類似している。一方、クラスタ１４ｂでは、サンプル＃４，＃５，＃６，＃７の時系列の測定値が互いに類似しているとは言えない。第２のクラスタが良クラスタと呼ばれてもよく、第３のクラスタが不良クラスタと呼ばれてもよい。
次に、処理部１２は、第３のクラスタに対して第２のクラスタリングを実行する。第２のクラスタリングには、第１のクラスタリングと同じクラスタリングアルゴリズムを使用してもよいし、異なるクラスタリングアルゴリズムを使用してもよい。第２のクラスタリングにより、処理部１２は、各第３のクラスタを複数の第４のクラスタに分割する。例えば、処理部１２は、クラスタ１４ｂをクラスタ１４ｃ，１４ｄに分割する。クラスタ１４ｃは、サンプル＃４，＃５を含む。クラスタ１４ｄは、サンプル＃６，＃７を含む。
クラスタ１４ｃに属するサンプル＃４，＃５の間の類似度は高いことが期待される。よって、クラスタ１４ｃの相関値の分散はクラスタ１４ｂよりも小さく、クラスタ１４ｃの相関値の平均はクラスタ１４ｂよりも大きいことが期待される。同様に、クラスタ１４ｄに属するサンプル＃６，＃７の間の類似度は高いことが期待される。よって、クラスタ１４ｄの相関値の分散はクラスタ１４ｂよりも小さく、クラスタ１４ｄの相関値の平均はクラスタ１４ｂよりも大きいことが期待される。
そして、処理部１２は、第１のクラスタリングによって生成された第２のクラスタと、第２のクラスタリングによって生成された複数の第４のクラスタの少なくとも一部とを用いて、訓練データ１６を生成する。このとき、処理部１２は、複数の第４のクラスタのうち判定条件１５を満たす第４のクラスタを使用してもよい。例えば、処理部１２は、クラスタ１４ａとクラスタ１４ｃとに基づいて、訓練データ１６を生成する。訓練データ１６は、消費電力を予測するためのモデルを生成する機械学習に使用される。
訓練データ１６の生成では、例えば、処理部１２は、着目するクラスタそれぞれから代表サンプルを抽出する。１個のクラスタにつき１個の代表サンプルが抽出されてもよい。代表サンプルは、着目するクラスタに属する２以上のサンプルの消費電力の時間変化の傾向を表しており、それら２以上のサンプルを近似する。代表サンプルは、着目するクラスタに属する２以上のサンプルのうちの何れか１つであってもよいし、それら２以上のサンプルから算出される新たなサンプルであってもよい。
代表サンプルは、クラスタの重心と呼ばれてもよい。例えば、代表サンプルは、着目するクラスタに含まれる２以上のサンプルの平均であってもよく、そのクラスタの分布の中心であってもよい。その場合、代表サンプルの各時刻の測定値は、それら２以上のサンプルの各時刻の測定値の平均である。また、代表サンプルは、着目するクラスタに含まれる２以上のサンプルのうち、平均に最も近いサンプルであってもよく、そのクラスタの分布の中心に最も近いサンプルであってもよい。
処理部１２は、例えば、抽出した代表サンプルを訓練データ１６に加える。訓練データ１６は、上記の方法で抽出された代表サンプルのみを含んでもよい。訓練データ１６のサイズ（サンプル数）は、サンプル集合１３よりも小さいことが期待される。
第１の実施の形態の情報処理装置１０によれば、サンプル集合１３に対して第１段階のクラスタリングが実行される。第１段階のクラスタリングによって生成された複数のクラスタが、サンプル間の相関に基づいて、サンプルの分布が狭い良クラスタとサンプルの分布が広い不良クラスタとに分類される。不良クラスタに対して第２段階のクラスタリングが実行され、不良クラスタが複数のクラスタに細分化される。そして、第１段階のクラスタリングおよび第２段階のクラスタリングの結果から、訓練データ１６が生成される。
第２段階のクラスタリングを行わない場合、サンプルの分布が広い不良クラスタが使用される可能性がある。例えば、不良クラスタから、そのクラスタに属するサンプルを近似しているとは言えない不適切な代表サンプルが抽出される可能性がある。その結果、訓練データ１６の品質が低下し、訓練データ１６から生成されるモデルの予測精度が低下するおそれがある。これに対して、第２段階のクラスタリングを行うことで、訓練データ１６の品質が向上し、訓練データ１６から生成されるモデルの予測精度が向上する。
［第２の実施の形態］
次に、第２の実施の形態を説明する。
図２は、第２の実施の形態の情報処理システムの例を示す図である。
第２の実施の形態の情報処理システムは、ＨＰＣシステム３１、ジョブスケジューラ３２および機械学習装置１００を含む。ＨＰＣシステム３１、ジョブスケジューラ３２および機械学習装置１００は、ネットワーク３０に接続されている。ネットワーク３０は、ＬＡＮ（Local Area Network）などのローカルネットワークを含んでもよく、インターネットなどの広域ネットワークを含んでもよい。
ＨＰＣシステム３１は、多量の計算リソースをもつ大規模情報処理システムである。ＨＣＰシステム３１は、ジョブスケジューラ３２から指示されるスケジュールに従って、複数のジョブを並列に実行する。ＨＰＣシステム３１は、コンピュータである複数の計算ノードを含む。各計算ノードは、プロセッサ、メモリおよび通信インタフェースを有し、プログラムを実行する。複数の計算ノードは、ネットワークで接続されている。ネットワークは、例えば、メッシュ型やトーラス型などの相互結合網である。
ジョブは、１以上のプロセスを含む。各プロセスは、ユーザが作成したプログラムに基づいて起動される。ジョブが２以上のプロセスを含む場合、それら２以上のプロセスは異なる計算ノードによって並列に実行される。１つのジョブは、１以上の計算ノードを使用する。ジョブが使用する計算ノードの個数は、ユーザから指定される。ＨＰＣシステム３１は、計算ノードの内部または外部に、消費電力を測定するセンサデバイスをもつ。消費電力は、プロセッサ、メモリ、通信インタフェースなどのハードウェアの使用に起因して変動する。ＨＰＣシステム３１は、各計算ノードの消費電力を継続的に（例えば、５分間隔で）測定し、消費電力の測定値をジョブスケジューラ３２に報告する。
ジョブスケジューラ３２は、ジョブスケジューリングを行うサーバコンピュータである。ジョブスケジューラ３２は、ユーザからジョブ実行要求を受け付ける。ジョブスケジューラ３２は、各ジョブにＨＰＣシステム３１の計算ノードを割り当て、ＨＰＣシステム３１にジョブのプログラムの実行を指示する。計算ノードの不足により全てのジョブを並列に実行できない場合、ジョブスケジューラ３２は、複数のジョブの実行順序を決定し、一部のジョブを待機させて実行開始を遅延させる。
また、ジョブスケジューラ３２は、ＨＰＣシステム３１の全体消費電力が契約電力量を超えないように、消費電力を考慮したジョブスケジューリングを行う。ジョブスケジューラ３２は、機械学習装置１００から消費電力予測モデルを取得する。また、ジョブスケジューラ３２は、ＨＰＣシステム３１から消費電力情報を収集し、実行中のジョブそれぞれの消費電力を算出する。ジョブの消費電力として、例えば、計算ノード１台当たりの平均消費電力が算出される。ジョブスケジューラ３２は、ジョブのこれまでの消費電力を消費電力予測モデルに入力し、今後（例えば、現時刻から３０分間）の消費電力を予測する。
ジョブスケジューラ３２は、各ジョブの消費電力の予測値に基づいて、ＨＰＣシステム３１の今後の全体消費電力を予測する。全体消費電力の予測値が契約電力量を超える場合、ジョブスケジューラ３２は、全体消費電力を契約電力量以下に抑えるための対応策を実行する。例えば、ジョブスケジューラ３２は、一部のジョブを中断させる。例えば、ジョブスケジューラ３２は、一部のジョブのプロセスを３０分間停止させる。中断するジョブは、例えば、消費電力の大きいジョブである。
機械学習装置１００は、機械学習によって消費電力予測モデルを生成するコンピュータである。機械学習装置１００は、クライアント装置でもよいしサーバ装置でもよい。機械学習装置１００は、第１の実施の形態の情報処理装置１０に対応する。機械学習装置１００は、ジョブスケジューラ３２から、過去に実行されたジョブの消費電力の時間変化を示すサンプルを収集する。機械学習装置１００は、収集したサンプルから訓練データを生成し、訓練データを用いて消費電力予測モデルを生成する。
第２の実施の形態の消費電力予測モデルは、多層ニューラルネットワークである。消費電力予測モデルは、消費電力の測定値の列を入力データとして受け付け、消費電力の予測値の列を出力データとして出力する。機械学習装置１００は、生成した消費電力予測モデルをジョブスケジューラ３２に提供する。
図３は、機械学習装置のハードウェア例を示すブロック図である。
機械学習装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像インタフェース１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。機械学習装置１００が有するこれらのユニットは、バスに接続されている。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。ＨＰＣシステム３１に含まれるノードやジョブスケジューラ３２が、同様のハードウェアを用いて実現されてもよい。
ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。ＣＰＵ１０１は複数のプロセッサコアを備えてもよく、機械学習装置１００は複数のプロセッサを備えてもよい。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムやＣＰＵ１０１が演算に使用するデータを一時的に記憶する揮発性半導体メモリである。機械学習装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数のメモリを備えてもよい。
ＨＤＤ１０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性ストレージである。機械学習装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）など他の種類のストレージを備えてもよく、複数のストレージを備えてもよい。
画像インタフェース１０４は、ＣＰＵ１０１からの命令に従って、機械学習装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１として、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイ、プロジェクタなど、任意の種類の表示装置を使用することができる。機械学習装置１００に、プリンタなど表示装置１１１以外の出力デバイスが接続されてもよい。
入力インタフェース１０５は、機械学習装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２として、マウス、タッチパネル、タッチパッド、キーボードなど、任意の種類の入力デバイスを使用することができる。機械学習装置１００に複数種類の入力デバイスが接続されてもよい。
媒体リーダ１０６は、記録媒体１１３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体１１３として、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、半導体メモリなど、任意の種類の記録媒体を使用することができる。媒体リーダ１０６は、例えば、記録媒体１１３から読み取ったプログラムやデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、例えば、ＣＰＵ１０１によって実行される。なお、記録媒体１１３は可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体１１３やＨＤＤ１０３を、コンピュータ読み取り可能な記録媒体と言うことがある。
通信インタフェース１０７は、ネットワーク３０に接続され、ネットワーク３０を介してジョブスケジューラ３２と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。
次に、ジョブの消費電力の予測について説明する。
図４は、ジョブの消費電力の予測と実績の例を示すグラフである。
曲線４１は、あるジョブの消費電力の実績を示す消費電力信号である。曲線４２は、消費電力予測モデルによって算出される消費電力の予測を示す消費電力信号である。曲線４１，４２が示す消費電力は、例えば、ジョブが使用する計算ノード１台当たりの平均消費電力である。ジョブの総消費電力は、例えば、曲線４１，４２が示す消費電力に計算ノードの台数を乗じた量になる。消費電力の実績は、５分間隔で測定される。よって、曲線４１は、５分間隔の測定値の列で表現される。また、消費電力の予測は、５分間隔で算出される。よって、曲線４２は、５分間隔の予測値の列で表現される。消費電力の予測の対象となるジョブの実行時間は、最短で３５分、最長で１４４０分（２４時間）である。よって、１つのジョブの消費電力の測定値の個数は、最小で７個、最大で２８８個である。
消費電力予測モデルの精度は、曲線４１が示す消費電力の実績と曲線４２が示す消費電力の予測との間の誤差によって評価される。誤差の指標として、例えば、二乗平均平方根誤差（ＲＭＳＥ：Root Mean Squared Error）が使用される。ジョブ毎にＲＭＳＥが算出される。予測対象のジョブがｎ個存在する場合、消費電力予測モデルの精度は、ｎ個のジョブのＲＭＳＥの平均である全体ＲＭＳＥによって評価される。全体ＲＭＳＥが小さいほどモデル精度が高く、全体ＲＭＳＥが大きいほどモデル精度が低いことを意味する。
全体ＲＭＳＥは、数式（１）によって算出される。数式（１）において、ｎはジョブ数、ｊはジョブ番号、Ｔは測定点（測定時刻）の個数、ｔは測定点の番号、ｙは消費電力の測定値、ｙ＾は消費電力の予測値である。例えば、Ｔ＝２８８である。
Figure 2022023420000002
ＨＰＣシステム３１の所有者は、電力会社と大口電力供給契約を締結している。大口電力供給契約では、契約電力量が設定される。電力会社は、３０分毎にＨＰＣシステム３１の平均消費電力を算出する。ＨＰＣシステム３１の所有者が電力会社に支払う電気料金は、原則として固定料金である。ただし、３０分間の平均消費電力が契約電力量を超えることがあると、ペナルティとして高額な追加料金が発生する。そこで、ジョブスケジューラ３２は、ＨＰＣシステム３１の運用コストを下げるため、消費電量が契約電力量を超えないようにジョブスケジューリングを行う。
図５は、モデルによる消費電力の予測例を示す図である。
モデル５０は、機械学習装置１００によって生成される消費電力予測モデルである。モデル５０として再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）が使用される。再帰型ニューラルネットワークは、時系列の測定値を受け付け、時系列の予測値を出力する。再帰型ニューラルネットワークは、出力に近いノードから入力に近いノードに戻るフィードバックパスをもつ。これにより、再帰型ニューラルネットワークは、内部状態を保持する。内部状態が存在するため、時刻ｔの出力は、時刻ｔの入力だけでなく時刻ｔ－１以前の入力にも依存する。再帰型ニューラルネットワークの一例として、ＬＳＴＭ（Long Short Term Memory）やＧＲＵ（Gated Recurrent Unit）が挙げられる。
モデル５０の使用フェーズでは、モデル５０に、実行中のジョブのこれまでの消費電力の測定値の列が入力される。そして、モデル５０から、実行中のジョブの今後の消費電力の予測値の列が出力される。曲線４３は、消費電力の時系列の測定値を示す入力信号である。曲線４４は、消費電力の時系列の予測値を示す出力信号である。例えば、モデル５０は、３０分以上の期間の時系列の測定値、すなわち、６個以上の測定値を受け付ける。モデル５０は、ジョブの実行開始から現在までの全ての測定値を受け付けてもよいし、直近の３０分の測定値のみを受け付けてもよい。そして、モデル５０は、入力期間に続く３０分の期間の時系列の予測値、すなわち、６個の予測値を出力する。
モデル５０の学習フェーズでは、曲線４３に相当する時系列の測定値および曲線４４に相当する時系列の測定値を含むサンプルが収集される。機械学習において、曲線４３に相当する時系列の測定値が入力データとして使用され、曲線４４に相当する時系列の測定値が教師データとして使用される。収集されたサンプルを用いて、誤差逆伝播法により、モデル５０に含まれるパラメータの値が最適化される。
機械学習装置１００は、サンプルに含まれる３０分以上の期間の時系列の測定値、すなわち、６個以上の測定値をモデル５０に入力する。モデル５０から、入力期間に続く３０分の期間の時系列の予測値、すなわち、６個の予測値が出力される。機械学習装置１００は、モデル５０から出力された時系列の予測値と、サンプルに含まれる入力期間に続く３０分の期間の時系列の測定値との間の誤差を算出する。機械学習装置１００は、誤差が小さくなるように、モデル５０に含まれるパラメータの値を更新する。
次に、消費電力予測モデルの生成に使用する訓練データについて説明する。ＨＰＣシステム３１は多数のジョブを実行するため、ＨＰＣシステム３１からはジョブの消費電力の時間変化を示すサンプルが大量に収集される。一方、それら多数のサンプルの中には、消費電力の時間変化が類似するサンプルが存在する。このため、ＨＰＣシステム３１から収集される全てのサンプルを訓練データとして採用すると、訓練データが冗長になり、訓練データのサイズが肥大化する。その結果、機械学習の実行時間が無駄に長くなるなど、機械学習が非効率になる。そこで、機械学習装置１００は、訓練データを削減する。
図６は、クラスタリングによる訓練データの削減例を示す図である。
サンプル集合６１は、ＨＰＣシステム３１から収集されたサンプルの集合である。サンプル集合６１の各サンプルは、ジョブの消費電力の時間変化を表す。サンプル集合６１には、実行時間が異なるジョブのサンプルが混在している。機械学習装置１００は、クラスタリングアルゴリズムにより、サンプル集合６１を、それぞれ２以上のサンプルを含む複数のクラスタに分割する。クラスタリングアルゴリズムとして、例えば、ｋ平均法が用いられる。消費電力の時間変化が類似するサンプルが、同一のクラスタに分類されることが期待される。また、クラスタリングを通じて、実行時間が大きく異なるジョブのサンプルが、異なるクラスタに分類されることが期待される。
ここでは、機械学習装置１００は、サンプル集合６１を、クラスタ６２，６３を含む複数のクラスタに分割する。すると、機械学習装置１００は、１つのクラスタにつき、そのクラスタに属する２以上のサンプルを代表する１つの代表サンプルを抽出する。代表サンプルは、そのクラスタの重心に相当するサンプルである。例えば、代表サンプルは、そのクラスタに属するサンプルの各時刻の測定値を平均化して算出される平均サンプルである。平均サンプルは、測定値の列をベクトルとみなしたときの平均ベクトルである。
ここでは、機械学習装置１００は、クラスタ６２から代表サンプル６６を抽出し、クラスタ６３から代表サンプル６７を抽出する。機械学習装置１００は、複数のクラスタそれぞれから抽出した代表サンプルの集合を、訓練データとして使用する。ここでは、代表サンプル６６，６７が訓練データに採用される。これにより、クラスタの個数に相当する代表サンプルを含む訓練データが生成される。よって、訓練データの冗長性が抑制され、サンプル集合６１よりもサイズの小さい訓練データが生成される。
しかし、時系列データを含むサンプルに対してｋ平均法などの一般的なクラスタリングアルゴリズムを実行すると、一部のクラスタがサンプルの分布の広いクラスタになってしまうことがある。サンプルの分布の広いクラスタは、消費電力の分散が大きいクラスタであり、消費電力の時間変化の類似度が低いサンプルを包含する。例えば、図６のクラスタ６２はサンプル間の類似度が高い良クラスタである一方、図６のクラスタ６３はサンプル間の類似度が低い不良クラスタである。
サンプルの分布の広い不良クラスタから代表サンプルを抽出すると、不良クラスタに属する２以上のサンプルを代表サンプルが十分に近似しているとは言えなくなる。その結果、代表サンプルを含む訓練データの品質が低下し、訓練データから生成される消費電力予測モデルの予測精度が低下することがある。そこで、機械学習装置１００は、クラスタリングとクラスタの評価を再帰的に実行して、訓練データの品質を向上させる。
図７は、不良クラスタの再分割の例を示す図である。
機械学習装置１００は、サンプル集合６１を、クラスタ６２，６３を含む複数のクラスタに分割する。すると、機械学習装置１００は、生成した複数のクラスタを、サンプルの分布が狭い良クラスタとサンプルの分布が広い不良クラスタとに分類する。良クラスタと不良クラスタへの分類には、後述するように、同一クラスタ内でのサンプル間の相互相関に基づく指標が用いられる。サンプル間の相関が高いクラスタが良クラスタであり、サンプル間の相関が低いクラスタが不良クラスタである。ここでは、機械学習装置１００は、クラスタ６２を良クラスタと判定し、クラスタ６３を不良クラスタと判定する。
不良クラスタが存在する場合、機械学習装置１００は、不良クラスタ毎に、その不良クラスタに属する２以上のサンプルに対してクラスタリングを再実行し、その不良クラスタを複数のクラスタに細分化する。不良クラスタを細分化するためのクラスタリングアルゴリズムは、サンプル集合６１のクラスタリングと同じでもよいし異なってもよい。例えば、機械学習装置１００は、ｋ平均法により、クラスタ６３をクラスタ６４とクラスタ６５に分割する。分割後のクラスタ６４，６５のサンプルの分布は、分割前のクラスタ６３のサンプルの分布よりも狭くなっていることが期待される。
機械学習装置１００は、再帰的に、細分化した複数のクラスタを、サンプルの分布が狭い良クラスタとサンプルの分布が広い不良クラスタとに分類する。ここでは、機械学習装置１００は、クラスタ６４を不良クラスタと判定し、クラスタ６５を良クラスタと判定する。そして、機械学習装置１００は、良クラスタのみから代表サンプルを抽出し、不良クラスタから代表サンプルを抽出しない。ここでは、機械学習装置１００は、クラスタ６２から代表サンプル６６を抽出し、クラスタ６５から代表サンプル６８を抽出する。
代表サンプル６６は、クラスタ６２に含まれる２以上のサンプルを十分に近似している。また、代表サンプル６８は、クラスタ６５に含まれる２以上のサンプルを十分に近似している。一方、クラスタ６４から代表サンプルを抽出しても、その代表サンプルはクラスタ６４に含まれる２以上のサンプルを十分に近似しているとは言えないため、クラスタ６４からは代表サンプルが抽出されない。機械学習装置１００は、複数の良クラスタそれぞれから抽出した代表サンプルの集合を、訓練データとして使用する。これにより、訓練データの品質を向上させることができる。
図８は、訓練データの生成例を示す図である。
一例として、機械学習装置１００は、サンプル集合７１を収集する。サンプル集合７１は、サンプルｘ１，ｘ２，…，ｘ２００００という２００００個のサンプルを含む。各サンプルは、１つのジョブの消費電力の時間変化を示す。機械学習装置１００は、第１段階のクラスタリングによって、サンプル集合７１からクラスタ集合７２を生成する。例えば、機械学習装置１００は、ｋ平均法によってクラスタ集合７２を生成する。クラスタ集合７２は、クラスタ＃１，＃２，…，＃１７５という１７５個のクラスタを含む。
機械学習装置１００は、クラスタ集合７２に含まれる各クラスタについてサンプルの分布の良否を評価する。機械学習装置１００は、１７５個のクラスタのうち１５０個のクラスタを良クラスタに分類し、２５個のクラスタを不良クラスタに分類する。例えば、機械学習装置１００は、クラスタ＃１，＃２，…，＃１５０を良クラスタに分類し、クラスタ＃１５１，＃１５２，…，＃１７５を不良クラスタに分類する。
機械学習装置１００は、第２段階のクラスタリングによって、２５個の不良クラスタそれぞれを二分割して、クラスタ集合７３を生成する。例えば、機械学習装置１００は、ｋ平均法によってクラスタ集合７３を生成する。クラスタ集合７３は、クラスタ＃１５１－１，＃１５１－２，＃１５２－１，＃１５２－２，…，＃１７５－１，＃１７５－２という５０個のクラスタを含む。クラスタ＃１５１－１，＃１５１－２は、クラスタ＃１５１から生成される。クラスタ＃１５２－１，＃１５２－２は、クラスタ＃１５２から生成される。クラスタ＃１７５－１，＃１７５－２は、クラスタ＃１７５から生成される。
機械学習装置１００は、クラスタ集合７３に含まれる各クラスタを良クラスタと判定する。機械学習装置１００は、クラスタ集合７２に含まれる１５０個の良クラスタとクラスタ集合７３に含まれる５０個の良クラスタから、１つずつ代表サンプルを抽出する。これにより、機械学習装置１００は、訓練データ７４を生成する。訓練データ７４は、サンプルｙ１，ｙ２，…，ｙ２００という２００個のサンプルを含む。
これにより、訓練データ７４のサイズがサンプル集合７１の１００分の１に削減される。また、訓練データ７４は、サンプル集合７１よりも冗長性が低減されており、多様な消費電力パターンを示すサンプルを含んでいる。また、訓練データ７４の各サンプルは、サンプル集合７１のサブセットを近似している。
次に、良クラスタと不良クラスタの判定について説明する。
図９は、相関テーブルの例を示す図である。
機械学習装置１００は、各クラスタに対して相関テーブル８１を生成する。ここでは、クラスタ＃１が１００個のサンプルを含んでおり、機械学習装置１００がクラスタ＃１の良否を判定する場合を考える。クラスタ＃１に対する相関テーブル８１は、１００個のサンプルに対応する１００個の行および１００個の列を含む行列である。機械学習装置１００は、クラスタ＃１に含まれる１００個のサンプルのうちの２個のサンプル毎に、２個のサンプルの間の消費電力の相関を示す相関値を算出する。相関テーブル８１は、１００個のサンプルの間で網羅的に算出された１００００個の相関値を含む。相関テーブル８１のｉ行ｊ列には、ｉ番目のサンプルとｊ番目のサンプルの間の相関値が登録される。
２つの時系列信号の間の相関値は、相互相関に基づいて算出することができる。一般的に、２つの時系列信号の間の相互相関は、数式（２）のように定義される。数式（２）において、ｆは一方の時系列信号、ｇは他方の時系列信号、ｍは時刻を示すインデックス、ｎは時系列信号ｆと比較される時系列信号ｇのシフト量（遅延量）である。相互相関は、シフト量ｎの関数として規定される。この点、第２の実施の形態では、２つのジョブの消費電力信号の類似度は、ジョブの実行開始時刻を揃えて評価される。このため、機械学習装置１００は、ｎ＝０のときの相互相関を相関値として算出する。よって、２つのサンプルの間の相関値は、数式（３）に従って算出される。
Figure 2022023420000003
Figure 2022023420000004
相関テーブル８１は、クラスタ＃１に含まれる１００個のサンプルの間の相関値の分布を示している。機械学習装置１００は、相関テーブル８１に含まれる１００００個の相関値から、クラスタ＃１のサンプルの分布の広さを示す指標値を算出する。指標値は、相関値の標準偏差と相関値の平均である。
図１０は、相関値の標準偏差によるクラスタの分類例を示すグラフである。
機械学習装置１００は、複数のクラスタそれぞれに対して相関値の標準偏差を算出し、それら複数のクラスタを標準偏差の大きい順にソートする。グラフ８２は、１８個のクラスタの相関値の標準偏差を示す。機械学習装置１００は、各クラスタの標準偏差を閾値と比較する。機械学習装置１００は、標準偏差が閾値以上であるクラスタを不良クラスタと判定する。一方、機械学習装置１００は、標準偏差が閾値未満であるクラスタを、後述する平均条件を満たすことを条件として、良クラスタと判定する。
図１０では、標準偏差の閾値が０．０９である。標準偏差の閾値は、固定値として事前に規定されていてもよいし、ユーザから指定されてもよい。また、不良クラスタの個数（例えば、２５個）または不良クラスタの比率が与えられている場合、機械学習装置１００は、その個数または比率を満たすように閾値を動的に決定してもよい。
図１１は、相関値の平均によるクラスタの分類例を示すグラフである。
機械学習装置１００は、複数のクラスタそれぞれに対して相関値の平均を算出し、それら複数のクラスタを平均の小さい順にソートする。グラフ８３は、１８個のクラスタの相関値の平均を示す。機械学習装置１００は、各クラスタの平均を閾値と比較する。機械学習装置１００は、平均が閾値以下であるクラスタを不良クラスタと判定する。一方、機械学習装置１００は、平均が閾値を超えるクラスタを、図１０で説明した標準偏差条件を満たすことを条件として、良クラスタと判定する。
図１１では、平均の閾値が０．８６である。平均の閾値は、固定値として事前に規定されていてもよいし、ユーザから指定されてもよい。また、不良クラスタの個数（例えば、２５個）または不良クラスタの比率が与えられている場合、機械学習装置１００は、その個数または比率を満たすように閾値を動的に決定してもよい。
なお、第２の実施の形態では、機械学習装置１００は、標準偏差条件と平均条件をＡＮＤ条件として使用し、標準偏差が閾値未満かつ平均が閾値を超えるクラスタを良クラスタと判定している。これに対して、機械学習装置１００は、標準偏差条件と平均条件をＯＲ条件として使用し、標準偏差が閾値未満または平均が閾値を超えるクラスタを良クラスタと判定してもよい。また、機械学習装置１００は、標準偏差条件のみでクラスタを分類してもよいし、平均条件のみでクラスタを分類してもよい。
次に、機械学習装置１００の機能および処理手順について説明する。
図１２は、機械学習装置の機能例を示すブロック図である。
機械学習装置１００は、電力データ記憶部１２１、訓練データ記憶部１２２およびモデル記憶部１２３を有する。これらの記憶部は、例えば、ＲＡＭ１０２またはＨＤＤ１０３の記憶領域を用いて実現される。また、機械学習装置１００は、電力データ受信部１２４、訓練データ生成部１２５、モデル生成部１２６およびモデル送信部１２７を有する。これらの処理部は、例えば、プログラムを用いて実現される。
電力データ記憶部１２１は、電力データとして、ジョブスケジューラ３２から収集されたサンプルを記憶する。各サンプルは、ジョブの消費電力の時系列の測定値を含む。訓練データ記憶部１２２は、機械学習に使用する訓練データを記憶する。モデル記憶部１２３は、機械学習によって訓練データから生成された消費電力予測モデルを記憶する。消費電力予測モデルは、再帰型ニューラルネットワークである。
電力データ受信部１２４は、ジョブスケジューラ３２からサンプルを受信して電力データ記憶部１２１に格納する。訓練データ生成部１２５は、電力データ記憶部１２１に記憶されたサンプル集合を分析して訓練データを生成し、生成した訓練データを訓練データ記憶部１２２に格納する。訓練データに含まれるサンプルの個数、すなわち、訓練データのサイズは、電力データ記憶部１２１に記憶されたサンプル集合よりも小さい。訓練データは、元のサンプル集合よりも冗長性が低減されたデータセットである。
モデル生成部１２６は、訓練データ記憶部１２２に記憶された訓練データを用いて、ジョブのこれまでの消費電力から当該ジョブの今後の消費電力を予測する消費電力予測モデルを生成する。機械学習では、モデル生成部１２６は、訓練データに含まれるサンプルを用いて、再帰型ニューラルネットワークに含まれるパラメータの値を最適化する。ニューラルネットワークのパラメータ最適化には、誤差逆伝播法が用いられる。モデル生成部１２６は、生成した消費電力予測モデルをモデル記憶部１２３に格納する。
モデル送信部１２７は、モデル記憶部１２３に記憶された消費電力予測モデルを、ジョブスケジューラ３２に送信する。これにより、ジョブスケジューラ３２は、消費電力予測モデルを用いて、ＨＰＣシステム３１で実行中のジョブの今後の消費電力を予測し、全体消費電力が契約電力量を超えないようにジョブスケジューリングを行う。
図１３は、消費電力テーブルの例を示す図である。
消費電力テーブル８４は、電力データ記憶部１２１に記憶される。消費電力テーブル８４の１行が１つのサンプルに相当する。消費電力テーブル８４は、サンプル毎に、ジョブＩＤと２８８個の消費電力の測定値とを含む。ジョブＩＤは、ジョブの識別子である。ジョブの消費電力は、５分間隔で測定されている。ジョブの最短実行時間は３５分であり、ジョブの最長実行時間は１４４０分である。２８８個の測定値のうち、ジョブの実行が終了した後の測定値は、０に設定される。
図１４は、機械学習の手順例を示すフローチャートである。
（Ｓ１０）電力データ受信部１２４は、ジョブスケジューラ３２から、ジョブの消費電力の時間変化を示す消費電力データを受信する。
（Ｓ１１）訓練データ生成部１２５は、ステップＳ１０で受信された消費電力データから訓練データを生成する。訓練データ生成の詳細は後述する。なお、訓練データ生成部１２５は、訓練データを表示装置１１１に表示してもよい。また、訓練データ生成部１２５は、訓練データを他の情報処理装置に送信してもよい。
（Ｓ１２）モデル生成部１２６は、ステップＳ１１で生成された訓練データを用いて、機械学習により消費電力予測モデルを生成する。なお、モデル生成部１２６は、消費電力予測モデルを表示装置１１１に表示してもよい。また、モデル生成部１２６は、消費電力予測モデルの予測精度を算出し、予測精度を表示装置１１１に表示してもよい。
（Ｓ１３）モデル送信部１２７は、ステップＳ１２で生成された消費電力予測モデルを、ジョブスケジューラ３２に送信する。
図１５は、訓練データ生成の手順例を示すフローチャートである。
訓練データ生成は、前述のステップＳ１１で実行される。
（Ｓ２０）訓練データ生成部１２５は、ｋ平均法などのクラスタリングアルゴリズムにより、消費電力データのサンプルを複数のクラスタに分類する。
（Ｓ２１）訓練データ生成部１２５は、良否を未判定のクラスタそれぞれについて、クラスタに属するサンプル間で相関値を網羅的に算出し、相関テーブル８１を生成する。
（Ｓ２２）訓練データ生成部１２５は、良否を未判定のクラスタそれぞれについて、ステップＳ２１で生成した相関テーブル８１から、相関値の平均と標準偏差を算出する。
（Ｓ２３）訓練データ生成部１２５は、良否を未判定のクラスタを１つ選択する。
（Ｓ２４）訓練データ生成部１２５は、ステップＳ２３で選択したクラスタについて、ステップＳ２２で算出した標準偏差が閾値未満であるか判断する。標準偏差が閾値未満の場合はステップＳ２５に進み、閾値以上の場合はステップＳ２７に進む。
（Ｓ２５）訓練データ生成部１２５は、ステップＳ２３で選択したクラスタについて、ステップＳ２２で算出した平均が閾値を超えるか判断する。平均が閾値を超える場合はステップＳ２６に進み、閾値以下の場合はステップＳ２７に進む。
（Ｓ２６）訓練データ生成部１２５は、ステップＳ２３で選択したクラスタを良クラスタと判定する。そして、ステップＳ２８に進む。
（Ｓ２７）訓練データ生成部１２５は、ステップＳ２３で選択したクラスタを不良クラスタと判定する。なお、第２の実施の形態では、訓練データ生成部１２５は、標準偏差が閾値未満かつ平均が閾値を超えるクラスタを良クラスタと判定しているが、判定基準を変更してもよい。例えば、訓練データ生成部１２５は、標準偏差が閾値未満のクラスタを良クラスタと判定してもよいし、平均が閾値を超えるクラスタを良クラスタと判定してもよいし、上記の少なくとも一方を満たすクラスタを良クラスタと判定してもよい。
（Ｓ２８）訓練データ生成部１２５は、ステップＳ２３において全てのクラスタを選択したか判断する。全てのクラスタを選択した場合はステップＳ２９に進み、未選択のクラスタがある場合はステップＳ２３に戻る。
（Ｓ２９）訓練データ生成部１２５は、良クラスタの個数が所要量（例えば、２００個）に達したか判断する。所要量は、例えば、ユーザから指定される。所要量に達した場合はステップＳ３１に進み、所要量に達していない場合はステップＳ３０に進む。
（Ｓ３０）訓練データ生成部１２５は、ｋ平均法などのクラスタリングアルゴリズムにより、不良クラスタそれぞれについて、不良クラスタに属するサンプルを更に複数のクラスタに分類する。そして、ステップＳ２１に戻る。
（Ｓ３１）訓練データ生成部１２５は、良クラスタそれぞれから１つの代表サンプルを抽出する。代表サンプルは、良クラスタの重心に相当する。例えば、訓練データ生成部１２５は、各サンプルを測定値のベクトルとみなした場合の平均ベクトルを、代表サンプルとして算出する。訓練データ生成部１２５は、複数の良クラスタに対応する複数の代表サンプルを含む訓練データを生成する。
ここで、機械学習の実行例について説明する。図８で説明したように、機械学習装置１００は、２００００個のサンプルを収集し、サンプル集合を分析して２００個のサンプルを含む訓練データを生成する。ミニバッチサイズは２０である。すなわち、機械学習装置１００は、消費電力予測モデルの誤差を算出してパラメータの値を更新する１回のイテレーションのために、２０個のサンプルを使用する。訓練データは２００個のサンプルを含むため、機械学習装置１００は、異なるサンプルを使用して上記のイテレーションを１０回実行することができる。エポック数は５０である。すなわち、機械学習装置１００は、２００個のサンプルを使用した１０回のイテレーションを、５０セット繰り返す。
この機械学習において、図６の方法で訓練データが生成された場合、例えば、消費電力予測モデルの全体ＲＭＳＥが１．８０になる。一方、図７の改良された方法で訓練データが生成された場合、例えば、消費電力予測モデルの全体ＲＭＳＥが１．６８になる。よって、消費電力予測モデルの誤差が約７％低下する。消費電力予測モデルの予測精度が向上することで、ＨＰＣシステム３１の全体消費電力が予測に反して契約電力量を超えてしまうアクシデントを抑制することができる。誤差が７％低下することにより、例えば、ＨＰＣシステム３１の消費電力が年間５４．４ＭＷ減少する。これにより、ＨＰＣシステム３１の所有者が支払う電気料金が、例えば、年間１００万円減少する。
第２の実施の形態の情報処理システムによれば、ＨＣＰシステム３１からはジョブの消費電力のサンプルが大量に収集されるのに対し、訓練データのサイズが抑制される。よって、機械学習の負荷が軽減され、機械学習の実行時間が短縮される。また、クラスタリングによってサンプル集合が複数のクラスタに分割され、各クラスタから代表サンプルが抽出されて訓練データに使用される。よって、訓練データの冗長性が低減し、訓練データの品質を維持しつつ訓練データのサイズを効率的に削減することができる。
また、クラスタリングによって生成された複数のクラスタそれぞれの良否が判定され、不良クラスタに対してはクラスタリングが再帰的に実行される。そして、良クラスタのみから代表サンプルが抽出される。よって、サンプル集合のサブセットを十分に近似していると言えない不適切な代表サンプルが抽出される可能性を低減でき、訓練データの品質を向上させることができる。その結果、消費電力予測モデルの予測精度が向上する。
また、クラスタ毎にサンプル間の相関値の標準偏差および平均が算出され、相関値の標準偏差および平均に基づいて、サンプルの分布の広さが評価される。よって、クラスタの良否を客観的かつ効率的に判定することが可能となる。また、消費電力予測モデルの予測精度が向上することで、ＨＰＣシステム３１の今後の全体消費電力を精度よく予測することができる。よって、全体消費電力が契約電力量を超えてしまうアクシデントを削減することができ、ＨＰＣシステム３１の電気料金を削減することができる。
１０ 情報処理装置
１１ 記憶部
１２ 処理部
１３ サンプル集合
１４ａ，１４ｂ，１４ｃ，１４ｄ クラスタ
１５ 判定条件
１６ 訓練データ

Claims (9)

  1. それぞれ消費電力の時系列の測定値を含む複数のサンプルを記憶する記憶部と、
    前記複数のサンプルに対して第１のクラスタリングを実行することで、それぞれ２以上のサンプルを含む複数の第１のクラスタを生成し、前記複数の第１のクラスタを、前記２以上のサンプル間の相関値の分散が第１の閾値未満であることと前記相関値の平均が第２の閾値を超えることの少なくとも一方を含む判定条件を満たす第２のクラスタと、前記判定条件を満たさない第３のクラスタとに分類し、前記第３のクラスタに含まれる前記２以上のサンプルに対して第２のクラスタリングを実行することで、前記第３のクラスタを複数の第４のクラスタに分割し、前記第２のクラスタと前記複数の第４のクラスタの少なくとも一部とに基づいて、消費電力を予測するためのモデルの生成に使用する訓練データを生成する処理部と、
    を有する情報処理装置。
  2. 前記判定条件は、前記相関値の分散が前記第１の閾値未満であり、かつ、前記相関値の平均が前記第２の閾値を超えることである、
    請求項１記載の情報処理装置。
  3. 前記複数の第１のクラスタの分類では、前記処理部は、前記複数の第１のクラスタそれぞれについて、前記相関値としてサンプルのペア毎に前記時系列の測定値の相互相関を算出し、前記相互相関の分散および平均の少なくとも一方を算出する、
    請求項１記載の情報処理装置。
  4. 前記訓練データの生成では、前記処理部は、前記第２のクラスタと、前記複数の第４のクラスタのうち前記判定条件を満たす第４のクラスタとを使用する、
    請求項１記載の情報処理装置。
  5. 前記訓練データの生成では、前記処理部は、前記第２のクラスタおよび前記少なくとも一部の第４のクラスタそれぞれから代表サンプルを抽出し、前記複数のサンプルよりも少ない個数の前記代表サンプルを含む前記訓練データを生成する、
    請求項１記載の情報処理装置。
  6. 前記代表サンプルは、同一クラスタ内のサンプルの前記時系列の測定値の平均を示す、
    請求項５記載の情報処理装置。
  7. 前記処理部は更に、前記訓練データに含まれるサンプルの前記時系列の測定値のうち、第１の期間の測定値を入力データとして使用し、前記第１の期間に続く第２の期間の測定値を教師データとして使用することで、前記第１の期間の消費電力から前記第２の期間の消費電力を予測するためのニューラルネットワークを生成する、
    請求項１記載の情報処理装置。
  8. コンピュータが、
    それぞれ消費電力の時系列の測定値を含む複数のサンプルを取得し、
    前記複数のサンプルに対して第１のクラスタリングを実行することで、それぞれ２以上のサンプルを含む複数の第１のクラスタを生成し、
    前記複数の第１のクラスタを、前記２以上のサンプル間の相関値の分散が第１の閾値未満であることと前記相関値の平均が第２の閾値を超えることの少なくとも一方を含む判定条件を満たす第２のクラスタと、前記判定条件を満たさない第３のクラスタとに分類し、
    前記第３のクラスタに含まれる前記２以上のサンプルに対して第２のクラスタリングを実行することで、前記第３のクラスタを複数の第４のクラスタに分割し、
    前記第２のクラスタと前記複数の第４のクラスタの少なくとも一部とに基づいて、消費電力を予測するためのモデルの生成に使用する訓練データを生成する、
    情報処理方法。
  9. コンピュータに、
    それぞれ消費電力の時系列の測定値を含む複数のサンプルを取得し、
    前記複数のサンプルに対して第１のクラスタリングを実行することで、それぞれ２以上のサンプルを含む複数の第１のクラスタを生成し、
    前記複数の第１のクラスタを、前記２以上のサンプル間の相関値の分散が第１の閾値未満であることと前記相関値の平均が第２の閾値を超えることの少なくとも一方を含む判定条件を満たす第２のクラスタと、前記判定条件を満たさない第３のクラスタとに分類し、
    前記第３のクラスタに含まれる前記２以上のサンプルに対して第２のクラスタリングを実行することで、前記第３のクラスタを複数の第４のクラスタに分割し、
    前記第２のクラスタと前記複数の第４のクラスタの少なくとも一部とに基づいて、消費電力を予測するためのモデルの生成に使用する訓練データを生成する、
    処理を実行させる情報処理プログラム。
JP2020126357A 2020-07-27 2020-07-27 情報処理装置、情報処理方法および情報処理プログラム Withdrawn JP2022023420A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020126357A JP2022023420A (ja) 2020-07-27 2020-07-27 情報処理装置、情報処理方法および情報処理プログラム
US17/228,532 US20220027758A1 (en) 2020-07-27 2021-04-12 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020126357A JP2022023420A (ja) 2020-07-27 2020-07-27 情報処理装置、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2022023420A true JP2022023420A (ja) 2022-02-08

Family

ID=79689072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020126357A Withdrawn JP2022023420A (ja) 2020-07-27 2020-07-27 情報処理装置、情報処理方法および情報処理プログラム

Country Status (2)

Country Link
US (1) US20220027758A1 (ja)
JP (1) JP2022023420A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230328121A1 (en) * 2022-04-06 2023-10-12 Cdw Llc Modular Technologies for Servicing Telephony Systems

Also Published As

Publication number Publication date
US20220027758A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
Tran et al. A multivariate fuzzy time series resource forecast model for clouds using LSTM and data correlation analysis
Ïpek et al. Efficiently exploring architectural design spaces via predictive modeling
Mandal et al. Dynamic resource management of heterogeneous mobile platforms via imitation learning
Gupta et al. Resource usage prediction of cloud workloads using deep bidirectional long short term memory networks
Miu et al. Predicting the execution time of workflow activities based on their input features
JP7177350B2 (ja) ジョブ電力予測プログラム、ジョブ電力予測方法、およびジョブ電力予測装置
US11700210B2 (en) Enhanced selection of cloud architecture profiles
US20210359514A1 (en) Information processing apparatus and job scheduling method
Liang et al. Power consumption model based on feature selection and deep learning in cloud computing scenarios
Patel et al. MAG-D: A multivariate attention network based approach for cloud workload forecasting
Dogani et al. Host load prediction in cloud computing with discrete wavelet transformation (dwt) and bidirectional gated recurrent unit (bigru) network
US20230401092A1 (en) Runtime task scheduling using imitation learning for heterogeneous many-core systems
Nadeem et al. Optimizing execution time predictions of scientific workflow applications in the grid through evolutionary programming
Zhang et al. Learning-driven interference-aware workload parallelization for streaming applications in heterogeneous cluster
Patel et al. Deep learning-based multivariate resource utilization prediction for hotspots and coldspots mitigation in green cloud data centers
Shu et al. Resource demand prediction of cloud workloads using an attention-based GRU model
CN108241864A (zh) 基于多变量分组的服务器性能预测方法
JP2022023420A (ja) 情報処理装置、情報処理方法および情報処理プログラム
Dinesh Kumar et al. An efficient proactive VM consolidation technique with improved LSTM network in a cloud environment
Iorio et al. Transfer learning for cross-model regression in performance modeling for the cloud
Wang et al. An Efficient Load Prediction-Driven Scheduling Strategy Model in Container Cloud
Ismaeel et al. Real-time energy-conserving vm-provisioning framework for cloud-data centers
Ni et al. Online performance and power prediction for edge TPU via comprehensive characterization
Abdelhafez et al. Mirage: Machine learning-based modeling of identical replicas of the jetson agx embedded platform
JP2020129180A (ja) ジョブ電力予測プログラム、ジョブ電力予測方法、およびジョブ電力予測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230407

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20240129