JP2023076063A - 制御プログラム、情報処理装置および制御方法 - Google Patents

Abstract

【課題】各ＣＰＵの消費電力のピークが同期することを避け、性能を保持したまま消費電力を平準化する。【解決手段】情報処理装置１０が備える各プロセッサは、各プロセッサの消費電力の同期を検出すると、プロセッサごとに異なる遅延時間となるように自己のプロセッサの遅延時間を計算し、遅延時間に対する過去の時点の消費電力のデータを現在の消費電力のデータとして他のプロセッサに開示し、他のプロセッサに開示した消費電力のデータおよび他のプロセッサによって開示された消費電力のデータを用いて負荷分散を行う。【選択図】図５

Description

本発明は、データ転送を効率化するアーキテクチャを備える制御プログラム等に関する。

１台のＣＰＵ（Central Processing Unit）がシステムの資源を繰り返しアクセスする状況では、消費電力の推移のピーク（山）とボトム（谷）とが交互に発生する。例えば、ストレージのＩＯ（Input Output）処理や、データベースを使った業務の定型バッチ処理等、ループを使って繰り返し同じ処理を行う場合が相当する。

複数のＣＰＵからなる分散処理システムでは、いずれのＣＰＵも負荷が低い場合には、動的な負荷分散がされない。動的な負荷分散がされない場合には、ＣＰＵの処理の割り当てが不均一なため、各ＣＰＵの消費電力のピークとボトムとが揃わず、システム全体の消費電力は、設計時に決められた総消費電力量を超えることはない。図１１は、動的負荷分散がされない場合の消費電力の推移を示す参考図である。図１１に示すように、動的負荷分散がされない場合には、各ＣＰＵの消費電力のピークとボトムとが揃っていない。そして、システム全体の消費電力は、総消費電力量を超えることはない。

これに対して、いずれかのＣＰＵで負荷が高いまたは低い場合には、適当なタイミングでＣＰＵ間の動的な負荷分散がされる。動的な負荷分散がされる場合、ＣＰＵへの処理の割り当ては、実行時に他のＣＰＵの状況を確認して、処理の割り当てを均一化するというようなフィードバックがかかる。この結果、各ＣＰＵの消費電力のピークとボトムとはだんだんと揃っていく。この現象は、同期現象と呼ばれる。図１２は、動的負荷分散がされた場合の消費電力の推移を示す参考図である。図１２上図に示すように、動的負荷分散がされると、各ＣＰＵの消費電力のピークとボトムとは揃っていき、同期現象が発生する。

同期現象が発生すると、各ＣＰＵの消費電力のピークとボトムとが揃うために、ピーク時にはシステム全体の消費電力が設計時に決められた総消費電力量に達する場合がある。かかる場合には、システム全体の消費電力は、設計時に決められた総消費電力量を超えることができないので、システムは、ＣＰＵのクロックを一時的に低下させて性能を低下させる（電力キャッピングという）。図１２下図に示すように、同期現象が発生すると、システム全体の消費電力は、ピークの部分で総消費電力量に達するが、超えることができないので、総消費電力のキャッピングがされる。これにより、ＣＰＵの性能が低下する。

ここで、ＣＰＵの消費電力における１周期のピークとボトムとのタイミング（位相）をずらすことで、電力キャッピングを避けることが考えられる。例えば、システムは、ＣＰＵのクロックをＣＰＵ単位で低下させたり、処理内部に短時間のスリープを挟み込んだりして位相をずらし、電力キャッピングを避ける。ところが、ＣＰＵのクロックをＣＰＵ単位で低下させたり、処理内部に短時間のスリープを挟み込んだりすると、ＣＰＵの性能が低下してしまうことに変わりはない。

また、処理量周期から推測できるタスクの処理量が、タスクキューごとに分散されるように、例えば、同一周期のタスクを同一キューに追加するように格納先のタスクキューを選択し追加することで、タスクキューに入っているタスクと新たにタスクキューに入れるタスクの位相を違えることができる技術が開示されている（例えば、特許文献１参照）。

また、プログラムの実行中に電力モードを変更することにより、プロセッサの性能を制御する技術が開示されている（例えば、特許文献２参照）。

特開２０１１－２２７７０８号公報 特開２０１４－２２５２６３号公報

しかしながら、複数のＣＰＵからなる分散処理システムにおいて、動的な負荷分散がされると、各ＣＰＵの利用率を均一化するが、各ＣＰＵの消費電力のピークが同期してしまい、性能を保持したまま消費電力を平準化できないという問題がある。

例えば、ＣＰＵのクロックをＣＰＵ単位で低下させたり、処理内部に短時間のスリープを挟み込んだりする技術では、各ＣＰＵの消費電力のピークの同期を避けることができるが、性能が低下してしまう。

また、タスクの位相を違える技術では、タスクの処理量の大小を予め見積もることができればタスクの位相を違えることができ、各ＣＰＵの消費電力のピークの同期を避けることができる。ところが、タスクの処理量の大小を予め見積もることができない場合には、各ＣＰＵの消費電力のピークの同期を避けることが難しい。この結果、各ＣＰＵの消費電力のピークが同期してしまい、性能を保持したまま消費電力を平準化できない。

また、電力モードを変更する技術は、そもそもＣＰＵ間の動的な負荷分散に関する技術ではない。

一つの側面では、各ＣＰＵの消費電力のピークが同期することを避け、性能を保持したまま消費電力を平準化することを目的とする。

第１の案では、制御プログラムは、複数の制御部からなる情報処理装置における各制御部の制御プログラムであって、各制御部の消費電力の同期を検出すると、制御部ごとに異なる遅延時間となるように自己の制御部の遅延時間を計算し、前記遅延時間に対する過去の時点の消費電力のデータを現在の消費電力のデータとして他の制御部に開示し、他の制御部に開示した消費電力のデータおよび他の制御部によって開示された消費電力のデータを用いて負荷分散を行う、処理をコンピュータに実行させる。

一実施態様によれば、各ＣＰＵの消費電力のピークが同期することを避け、性能を保持したまま消費電力を平準化することができる。

図１は、コンピュータシステムのハードウェア構成図である。 図２は、プロセッサの構成の一例を示す図である。 図３は、実施例に係る情報処理装置の機能構成の一例を示す図である。 図４は、仮想消費電力情報の一例を示す図である。 図５は、実施例に係る監視制御の流れの一例を示す図である。 図６は、実施例に係る同期緩和制御処理のフローチャートの一例を示す図である。 図７は、位相移動制御処理のフローチャートの一例を示す図である。 図８は、位相移動制御処理のフローチャートの別の例を示す図である。 図９は、負荷分散処理のフローチャートの一例を示す図である。 図１０は、実施例に係る制御処理の効果を示す図である。 図１１は、動的負荷分散がされない場合の消費電力の推移を示す参考図である。 図１２は、動的負荷分散がされた場合の消費電力の推移を示す参考図である。

以下に、本発明にかかる制御プログラム、情報処理装置および制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

図１は、コンピュータシステムのハードウェア構成図である。コンピュータシステム１は、情報処理装置１０、ドライブ装置２０および表示装置３０を有する。

情報処理装置１０は、プロセッサ１１および１２、メモリ１３、ネットワークデバイス１４、ストレージデバイス１５、ＳＳＤ（Solid State Drive）１６、並びに、ＨＤＤ（Hard Disk Drive）１７を有する。プロセッサ１１および１２、メモリ１３、ネットワークデバイス１４、ストレージデバイス１５、ドライブ装置２０、並びに、表示装置３０は、バス４０により相互に接続される。

また、プロセッサ１１および１２は、それぞれ複数のコアを有する。プロセッサ１１および１２は、プログラムをメモリ１３上に展開して実行する。プログラムを実行するにあたり、プログラムに含まれるスレッドをプロセッサ１１および１２のそれぞれのコアが実行する。

プロセッサ１１および１２は、プログラムを実行することでアプリケーションを動作させる。そして、プロセッサ１１および１２は、アプリケーションを動作させることで、ネットワークデバイス１４によりネットワークスイッチ２を介して外部との通信を行わせる。また、プロセッサ１１および１２は、アプリケーションを動作させることで、ストレージデバイス１５によりＳＳＤ１６およびＨＤＤ１７に対するデータの読み書きを行うデータ転送を行う。本実施例における、プロセッサ１１および１２による、ネットワークデバイス１４またはストレージデバイス１５を用いたデータの転送処理の制御については後で詳細に説明する。ここで、図１では、プロセッサ１１および１２を２台記載したが、プロセッサの数は単一でなければ特に制限はない。

ネットワークデバイス１４は、InfiniBand等の高速ＩＯデバイスである。ネットワークデバイス１４は、ネットワークスイッチ２と接続される。ネットワークデバイス１４は、プロセッサ１１または１２からの指示を受けて、ネットワークスイッチ２を介して外部装置との間でデータの送受信を行う。

ＳＳＤ１６およびＨＤＤ１７は、大容量の補助記憶装置である。ＳＳＤ１６およびＨＤＤ１７は、各種プログラムやデータを格納する。

ストレージデバイス１５は、ＮＶＭｅ等の高速ＩＯデバイスである。ストレージデバイス１５は、ＳＳＤ１６およびＨＤＤ１７に接続される。ストレージデバイス１５は、プロセッサ１１または１２からの指示を受けて、ＳＳＤ１６およびＨＤＤ１７に対するデータの読み出しおよび書き込みを実行する。

ドライブ装置２０は、例えば磁気ディスクや光ディスク等の着脱可能な可搬型記憶媒体が挿入され、挿入された可搬型記憶媒体に対してデータの書き込みや読み出しを行なう。

表示装置３０は、プロセッサ１１および１２から送信された画像を表示する。利用者は、表示装置３０を確認することで、情報を受け取ることが可能である。

ここで、プロセッサ１１，１２の構成の一例を、図２を参照して説明する。図２は、プロセッサの構成の一例を示す図である。図２に示すように、１つのＣＰＵソケット＃１に２個のプロセッサ１１ａ，１１ｂが搭載されている。また、１つのＣＰＵソケット＃２に２個のプロセッサ１２ａ，１２ｂが搭載されている。すなわち、マルチソケットおよびマルチコアが実現される。

図３は、実施例に係る情報処理装置の機能構成の一例を示す図である。実施例に係る情報処理装置１０は、マルチプロセッサにおいて、負荷分散の時に発生する同期現象を緩和する制御を行う。すなわち、負荷分散がされると、各プロセッサ（ＣＰＵ）の消費電力のピークとボトムとは揃っていき、同期現象が発生する。同期現象が発生すると、各ＣＰＵの消費電力のピークとボトムとが揃うために、ピーク時にはシステム全体の消費電力が設計時に決められた総消費電力量に達する場合がある。かかる場合には、システム全体の消費電力は、設計時に決められた総消費電力量を超えることができないので、情報処理装置１０は、ＣＰＵのクロックを一時的に低下させて性能を低下させる電力キャッピングを行ってしまう。そこで、情報処理装置１０は、電力キャッピングを行わなわないで各ＣＰＵの消費電力の同期を緩和すべく、各ＣＰＵの消費電力の位相をずらすように制御する。

ここで、負荷分散の時に発生する同期現象について説明する。多数の振動子が相互に接続され、振動のスピードが互いに影響を及ぼし合う場合、振動子の同期現象が発生することが広く自然現象で見られる。同期現象を説明する数学モデルとして、蔵本モデルがよく知られている。なお、蔵本モデルについての文献として、例えば、[Y.Kuramoto 75]Y.Kuramoto.;In International Symposium on Mathematical Problems in Theoretical Physics, volume 39 of Lecture Notes in Physics, page 420.Springer, New York,(1975).、[Y.Kuramoto 84]Y.Kuramoto.: Chemical Oscillations,Waves, and Turbulence. Springer, Berlin,(1984).や、[長崎２０１６]長崎ら、完全二部グラフ構造上での爆発的同期転移の解析、2016年度人口知能学会全国大会が挙げられる。

実施例では、ＣＰＵの電力変動を振動子としてＣＰＵの電力変動を蔵本モデルに当てはめることで、各プロセッサ１１，１２が、同期の状況をモニタリングし、同期現象を検出する。そして、各プロセッサ１１，１２が同期現象を検出すると、所定の計算に基づいて算出した遅延時間に対応する過去の時点の消費電力のデータを現在の消費電力のデータとして他のプロセッサに開示する。そして、各プロセッサ１１，１２は、開示された各プロセッサの消費電力のデータを用いて動的な負荷分散を行うようにする。この結果、情報処理装置１０は、参照させる消費電力のデータを意図的にずらしたデータで動的な負荷分散を行うことができ、消費電力のピークをずらすことができ、性能を保持したまま消費電力を平準化できる。

情報処理装置１０は、制御部１１－１，１１－２および記憶部１３－１，１３－２を有する。なお、制御部１１－１、１１－２は、それぞれ図１に示すプロセッサ１１、１２に対応する。また、記憶部１３－１，１３－２は、図１に示すメモリ１３に対応する。

制御部１１－１は、情報処理装置１０全体を司る処理部であり、監視制御部１１１、同期緩和制御部１１２および負荷分散部１１３を有する。記憶部１３－１は、ＦＩＦＯ（First In First Out）バッファ１３１および仮想消費電力情報１３２を有する。なお、制御部１１－２は、制御部１１－１と同様の機能を有するので、その説明を省略する。また、記憶部１３－２は、記憶部１３－１と同様の機能を有するので、その説明を省略する。

ＦＩＦＯバッファ１３１は、サイクリックバッファであり、各時点のプロセッサ１１（ＣＰＵ）にかかる消費電力の値を記憶する。なお、記憶する時点は、例えば３０分単位でも良く、１時間単位でも良く、予め決定されていれば良い。

仮想消費電力情報１３２は、現在の消費電力として開示する消費電力の情報である。なお、仮想消費電力情報１３２は、監視制御部１１１によって設定される。

ここで、仮想消費電力情報１３２の一例を、図４を参照して説明する。図４は、仮想消費電力情報の一例を示す図である。図４に示すように、仮想消費電力情報１３２は、消費電力現在値、仮想周波数および仮想位相を対応付けて記憶する。消費電力現在値は、他のプロセッサに現在の消費電力の値として開示する仮想的な現在値である。消費電力現在値は、自己のプロセッサが所定の計算をもとに算出した遅延時間に対する過去の時点の消費電力値である。所定の計算は、同期緩和制御部１１２によって実施される。仮想周波数は、消費電力現在値を計算した時点の消費電力の周波数である。仮想位相は、消費電力現在値を計算した時点の消費電力の位相である。

図３に戻って、監視制御部１１１は、各プロセッサの消費電力のデータを監視する。例えば、監視制御部１１１は、所定の時間ごとに、自己のプロセッサ（ＣＰＵ）にかかる消費電力値をＦＩＦＯバッファ１３１に保存する。そして、監視制御部１１１は、ＦＩＦＯバッファ１３１に保存された消費電力値をローパスフィルタに通す。ローパスフィルタは、移動平均をとるためである。移動平均をとるのは、１つの値が異常値であったときの影響を回避するためである。すなわち、監視制御部１１１は、遅延時間が初期値を示す０である場合には、ＦＩＦＯバッファ１３１に保存された消費電力値について、最新の消費電力値から直近の期間までの消費電力値の移動平均を算出する。また、監視制御部１１１は、後述する同期緩和制御部１１２によって遅延時間が設定された場合には、遅延時間に対応する過去の時点の消費電力値から直近の期間までの消費電力値の移動平均を算出する。そして、監視制御部１１１は、算出した移動平均を消費電力の現在値として、仮想消費電力情報１３２の消費電力現在値に保存する。そして、監視制御部１１１は、所定の時間ごとにまたは他のプロセッサの要求に応じて、仮想消費電力情報１３２に保存した消費電力現在値を他のプロセッサに開示する。

また、監視制御部１１１は、三角関数近似機構を有し、フーリエ変換を行って、消費電力現在値を算出した時点の消費電力の周波数および位相を算出する。そして、監視制御部１１１は、消費電力の周波数および位相を、仮想消費電力情報１３２の仮想周波数および仮想位相に保存する。

同期緩和制御部１１２は、各プロセッサの消費電力が同期していることを検出すると、所定の計算をもとに算出した遅延時間を計算する。言い換えれば、同期緩和制御部１１２は、プロセッサごとに異なる遅延時間となるように、自己のプロセッサの遅延時間を計算する。例えば、同期緩和制御部１１２は、各プロセッサの電力変動を振動子と見立てた場合の各プロセッサの消費電力の周波数および位相を収集する。各プロセッサの消費電力の周波数および位相は、各プロセッサの監視制御部１１１によって非同期に計算される。そして、同期緩和制御部１１２は、各プロセッサの消費電力の周波数および位相から秩序変数ηを計算する。ここでいう秩序変数ηは、同期の度合いを表す変数であり、蔵本モデルの秩序変数ηに対応する。秩序変数ηは、複素平面上の半径「１」の単位円内部の１点であり、秩序変数距離｜η｜は原点０からの距離である。秩序変数距離｜η｜が１に近い程強く同期していることを意味し、０に近い程無秩序であることを意味する。同期緩和制御部１１２は、秩序変数距離｜η｜が予め定めた同期か否かを識別する同期閾値ｐと比較することで、同期中であるか否かを判定する。

そして、同期緩和制御部１１２は、同期中であると判定した場合には、位相移動制御を実施する。位相移動制御とは、自己のプロセッサおよび他のプロセッサの消費電力が同一の位相（局面）であると仮定し、他のプロセッサと同じ位相になることを避けるために、位相を移動させる制御のことをいう。つまり、位相移動制御は、自己のプロセッサにおける現在の消費電力値を位相差分過去の値とする。一例として、位相移動制御は、１サイクルを示す３６０度をプロセッサの数で均等分割し、分割した区画（位相）を乱数で選択する。別の例として、位相移動制御は、１サイクルを示す３６０度をプロセッサの数で均等分割し、分割した区画（位相）の中で自己のプロセッサの番号に対応する区画（位相）を選択する。そして、位相移動制御は、選択した区画（位相）の位相差を時間に換算して、過去の時間差（遅延時間）δを計算する。そして、位相移動制御は、計算した遅延時間δを監視制御部１１１に設定する。この後、監視制御部１１１は、設定された遅延時間δ分過去の時点の消費電力値から直近の期間の消費電力値の移動平均を現在の消費電力値として他のプロセッサに公開する。

ここで、基盤となる蔵本モデルについて説明する。蔵本モデルでは、全ての振動子が互いに接続する全結合グラフを前提とし、各振動子ｉの運動は、以下の式（１）で与えられる。なお、式（１）のＫは結合強度、Ｎは個数、ω_ｉは固有振動数である。

そして、秩序変数ηと距離ｒは以下の式（２）で定まる。

Ｎが十分大きいとき、結合強度に閾値Ｋｃが存在し、Ｋ≧Ｋｃのとき、常に同期現象が発生し、ｋ＜Ｋｃのときは同期しない。ここでいうＫｃは、以下の式（３）で定まる。

なお、同期緩和制御部１１２は、自己のプロセッサの消費電力の固有振動数および位相をそれぞれωｉ、θｉに当てはめ、他のプロセッサの消費電力の位相をθｊに当てはめ、秩序変数ηを計算すれば良い。固有振動数は、他の振動子（他のプロセッサ）の影響が全くない場合の自己のプロセッサｉの振動数である。但し、実際には、お互いに影響し合っているので、自己のプロセッサｉの固有振動数は、ある時点の振動数となる。そして、蔵本モデルでは、秩序変数ηが１に近いときには、Ｋ≧Ｋｃという関係が成立（蔵本移転が発生）しており、秩序変数ηが０に近いときには、Ｋ＜Ｋｃという関係が成立している。そこで、同期緩和制御部１１２は、秩序変数距離｜η｜が予め定めた同期か否かを識別する同期閾値ｐ以上であれば同期状態と判定し、秩序変数距離｜η｜が同期閾値ｐ未満であれば非同期状態と判定する。

負荷分散部１１３は、各プロセッサに記憶される仮想消費電力情報１３２における各消費電力現在値に従って動的な負荷分散を実行する。例えば、負荷分散部１１３は、動的な負荷分散の方式として、ランダムアルゴリズムで定められた２つのプロセッサ間で負荷（タスク）のサイズを均一化する方式を適用すれば良い。かかる方式には、ワークスチーリング法や、ワークシェアリング法等があるが、事前に計画した負荷分散を行う静的負荷分散以外であればどのようなものでも良い。一例として、複数のプロセッサ間での負荷分散を向上させる特開２０２０－１４４７３７が挙げられる。

図５は、実施例に係る監視制御の流れの一例を示す図である。図５に示すように、監視制御部１１１は、所定の時間ごとに、消費電力モニタデバイス１１１ａから消費電力値を読み出し、ＦＩＦＯバッファ１３１に保存する（Ｓ１００）。なお、消費電力モニタデバイス１１１ａは、ハードウェアに限定されず、ソフトウェアであっても良い。ＦＩＦＯバッファ１３１は、時刻および消費電力値のデータをＦＩＦＯ順に蓄積する。

監視制御部１１１は、ＦＩＦＯバッファ１３１に保存された、読み出しインデックスから直近の期間までの消費電力値を、ローパスフィルタ１１１ｂに通し、移動平均をとる。例えば、遅延時間設定値δが初期値を示す０である場合には、ＦＩＦＯバッファ１３１の読み出しインデックスが最新の位置を示すので、ローパスフィルタ１１１ｂは、読み出しインデックスが示す最新の消費電力値から直近の期間の消費電力値の移動平均を算出する（Ｓ１１０）。また、遅延時間設定値δが設定されると、監視制御部１１１は、遅延時間設定値δに対応する読み出しインデックスを再設定する（Ｓ１１１）。そして、ローパスフィルタ１１１ｂは、再設定した読み出しインデックスから直近の期間までの消費電力値の移動平均を算出する（Ｓ１１０）。すなわち、監視制御部１１１は、遅延時間に対応する過去の時点の消費電力値から過去に向かう直近の期間の消費電力値の移動平均を算出する。

そして、監視制御部１１１は、所定の時間ごとにまたは他のプロセッサの要求に応じて、読み出しインデックスに対応する移動平均を、仮想消費電力情報１３２の消費電力現在値に書き出す（Ｓ１２０）。また、監視制御部１１１は、三角関数近似機構１１１ｃを用いて、消費電力現在値を算出した時点の消費電力の周波数および位相を算出し、仮想消費電力情報１３２の仮想周波数および仮想位相に保存する（Ｓ１３０）。そして、監視制御部１１１は、仮想消費電力情報１３２に保存した消費電力現在値を他のプロセッサに開示する（Ｓ１４０）。

これにより、負荷分散部１１３が、各プロセッサによって開示される各消費電力現在値に従って動的な負荷分散を実行することで、各プロセッサの消費電力の位相をずらすことができる。つまり、監視制御部１１１が、各プロセッサごとに異なる遅延時間をもとにした過去のある時点の消費電力のデータを互いに交換することで、情報処理装置１０は、負荷分散による各プロセッサの消費電力のピークが同期することを避けることができる。

図６は、実施例に係る同期緩和制御処理のフローチャートの一例を示す図である。なお、同期緩和制御部１１２は、所定のタイミングで、自己のプロセッサおよび他のプロセッサに対して最新の消費電力情報を要求する。図６に示すように、同期緩和制御部１１２は、全プロセッサから最新の消費電力情報（位相、周波数）を収集する（ステップＳ１１）。

そして、同期緩和制御部１１２は、収集した全プロセッサからの消費電力情報（位相、周波数）を用いて、秩序変数ηを計算する（ステップＳ１２）。例えば、同期緩和制御部１１２は、全プロセッサの消費電力情報（位相、周波数）を式（１）および式（２）に当てはめて、秩序変数ηを計算する。

そして、同期緩和制御部１１２は、秩序変数距離｜η｜が同期閾値ｐ以上であるか否かを判定する（ステップＳ１３）。秩序変数距離｜η｜が同期閾値ｐ以上であると判定した場合には（ステップＳ１３；Ｙｅｓ）、同期緩和制御部１１２は、同期状態であると判断し、位相移動制御処理を実行する（ステップＳ１４）。なお、位相移動制御処理のフローチャートは、後述する。そして、同期緩和制御部１１２は、ステップＳ１５に移行する。

一方、秩序変数距離｜η｜が同期閾値ｐ以上でないと判定した場合には（ステップＳ１３；Ｎｏ）、同期緩和制御部１１２は、非同期状態であると判断し、ステップＳ１５に移行する。

ステップＳ１５において、同期緩和制御部１１２は、同期緩和制御を終了するか否かを判定する（ステップＳ１５）。例えば、同期緩和制御部１１２は、同期緩和制御の実行を終了するための操作が行われたり、終了の割り込みがあったりした場合には、同期緩和制御を終了すると判定する。同期緩和制御を終了しないと判定した場合には（ステップＳ１５；Ｎｏ）、同期緩和制御部１１２は、ステップＳ１１に移行する。

一方、同期緩和制御を終了すると判定した場合には（ステップＳ１５；Ｙｅｓ）、同期緩和制御部１１２は、同期緩和制御処理を終了する。

図７は、位相移動制御処理のフローチャートの一例を示す図である。図７に示すように、位相移動制御処理は、自己の消費電力の仮想周波数をｆに設定する（ステップＳ２１）。例えば、位相移動制御処理は、自己の仮想消費電力情報１３２に記憶された仮想周波数をｆにコピーする。

そして、位相移動制御処理は、仮想周波数ｆを以下の式に代入して遅延時間δを計算する（ステップＳ２２）。すなわち、位相移動制御処理は、１サイクルを示す３６０度を全プロセッサ（ＣＰＵ）数Ｎで均等分割し、分割した区画（位相）を乱数で選択する。なお、以下の式のＮは、全プロセッサ（ＣＰＵ）の数である。また、ｒａｎｄ（０，Ｎ）は、下限「０」から上限「Ｎ」までの間での一様乱数を算出する関数である。
δ＝（１／ｆ）×（ｒａｎｄ（０，Ｎ）／Ｎ）

そして、位相移動制御処理は、計算した遅延時間δを自己の遅延時間設定値に設定する（ステップＳ２３）。例えば、例えば、位相移動制御処理は、遅延時間δを自己の遅延時間設定値にコピーする。この後、位相移動制御処理は、遅延時間設定値δを監視制御部１１１に設定する。

図８は、位相移動制御処理のフローチャート別の例を示す図である。図８に示すように、位相移動制御処理は、自己の消費電力の仮想周波数をｆに設定する（ステップＳ３１）。例えば、位相移動制御処理は、自己の仮想消費電力情報１３２に記憶された仮想周波数をｆにコピーする。

そして、位相移動制御処理は、仮想周波数ｆを以下の式に代入して遅延時間δを計算する（ステップＳ３２）。すなわち、位相移動制御は、１サイクルを示す３６０度を全ＣＰＵ数Ｎで均等分割し、分割した区画（位相）の中で自己のプロセッサに対応するＩＤ（ＣＰＵＩＤ）に対応する区画（位相）を選択する。なお、以下の式のＮは、全プロセッサ（ＣＰＵ）の数である。
δ＝（１／ｆ）×（ＣＰＵＩＤ／Ｎ）

そして、位相移動制御処理は、計算した遅延時間δを自己の遅延時間設定値に設定する（ステップＳ３３）。例えば、例えば、位相移動制御処理は、遅延時間δを自己の遅延時間設定値にコピーする。この後、位相移動制御処理は、遅延時間設定値δを監視制御部１１１に設定する。

この後、位相移動制御処理は、遅延時間設定値δを監視制御部１１１に設定する。そして、監視制御部１１１は、各プロセッサごとに異なる遅延時間設定値であって自己のプロセッサの遅延時間設定値δをもとにした過去のある時点の消費電力のデータ（消費電力現在値）を公開する。

図９は、実施例に係る負荷分散処理のフローチャートの一例を示す図である。なお、負荷分散部１１３は、例えば、自己の消費電力現在値が開示されたタイミングで負荷分散処理を実行する。図９に示すように、負荷分散部１１３は、全プロセッサから最新の消費電力情報（消費電力現在値）を収集する（ステップＳ４１）。そして、負荷分散部１１３は、収集した全プロセッサの消費電力現在値を従って動的な負荷分散を実行する（ステップＳ４２）。

これにより、負荷分散部１１３は、各プロセッサによって開示される各消費電力現在値に従って動的な負荷分散を実行することで、各プロセッサの消費電力の位相をずらすことができる。つまり、監視制御部１１１が、各プロセッサごとに異なる遅延時間をもとにした過去のある時点の消費電力のデータを互いに交換することで、情報処理装置１０は、負荷分散による各プロセッサの消費電力のピークが同期することを避けることができる。

図１０は、実施例に係る情報処理装置による制御処理の効果を示す図である。なお、図１０では、情報処理装置１０が、３台のＣＰＵ（プロセッサ）を備えている場合である。図１０上図に示すように、各ＣＰＵは、３台のＣＰＵの消費電力の同期を検出すると、現在の消費電力値を、各ＣＰＵごとに異なる遅延時間をもとにした過去の時点の消費電力値として他のＣＰＵに公開する。このため、各ＣＰＵは、公開された消費電力値に従って動的な負荷分散を実行することで、ピークが重複していた位相を重複しないようにずらすことができる。ここでは、３台のＣＰＵでは、それぞれの消費電力のピークが少しずつズレている。

この結果、情報処理装置１０は、システムとしてＣＰＵのクロックを一時的に低下させて性能を低下させたり（電力のキャッピング）、負荷分散の処理を変えたりせず従来のままで、自律的に且つ非同期に位相をずらすことができる。この結果、情報処理装置１０は、各ＣＰＵの消費電力のピークが同期することを避け、性能を保持したまま消費電力を平準化することができる。図１０下図に示すように、情報処理装置１０は、各ＣＰＵにおける消費電力の位相のズレによって、全体の消費電力が総消費電力量に達せず、性能を保持したまま消費電力を平準化することができる。

［実施例の効果］
上記実施例によれば、情報処理装置１０は、複数の制御部１１－１，１１－２からなる。制御部１１－１は、各制御部１１－１，１１－２の消費電力の同期を検出すると、制御部１１－１，１１－２ごとに異なる遅延時間となるように自己の制御部１１－１の遅延時間を計算する。制御部１１－１は、遅延時間に対する過去の時点の消費電力のデータを現在の消費電力のデータとして他の制御部１１－２に開示する。制御部１１－１は、他の制御部１１－２に開示した消費電力のデータおよび他の制御部１１－２によって開示された消費電力のデータを用いて負荷分散を行う。これにより、情報処理装置１０は、異なる遅延時間に対する時点の消費電力のデータを用いた負荷分散により各制御部１１－１，１１－２の消費電力のピークが同期することを避けることができ、消費電力を平準化することができる。

また、上記実施例によれば、制御部１１－１は、消費電力における周期の１サイクルを複数の制御部１１－１，１１－２の数で均等に分割し、分割した区画の中から乱数に基づいて自己の制御部１１－１の区画を選択し、選択した区画に対応する遅延時間を算出する。これにより、情報処理装置１０は、制御部１１－１，１１－２ごとに異なる遅延時間を確実に算出できる。

また、上記実施例によれば、制御部１１－１は、消費電力における周期の１サイクルを複数の制御部１１－１，１１－２の数で均等に分割し、分割した区画の中から制御部１１－１，１１－２ごとに割り当てられた識別番号に基づいて自己の制御部１１－１の区画を選択し、選択した区画に対応する遅延時間を算出する。これにより、情報処理装置１０は、制御部１１－１，１１－２ごとに異なる遅延時間を確実に算出できる。

また、上記実施例によれば、制御部１１－１は、遅延時間に対する過去の時点の消費電力のデータから直近の期間までの消費電力のデータの移動平均を現在の消費電力のデータとして他の制御部１１－２に開示する。これにより、制御部１１－１は、１個の消費電力のデータが異常なデータであったときの影響を回避でき、正常なデータを他の制御部１１－２に開示することができる。

また、上記実施例によれば、制御部１１－１は、各制御部１１－１，１１－２の消費電力に関わるデータを蔵本モデルに入力して秩序変数を出力し、秩序変数を用いて各制御部１１－１，１１－２の消費電力の同期を検出する。これにより、制御部１１－１は、蔵本モデルを利用して、消費電力の同期を検出できる。

［その他］
なお、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

１ コンピュータシステム
２ ネットワークスイッチ
１０ 情報処理装置
１１，１２ プロセッサ
１１ａ，１１ｂ，１２ａ，１２ｂ プロセッサ
１１－１，１１－２ 制御部
１３－１，１３－２ 記憶部
１３ メモリ
１４ ネットワークデバイス
１５ ストレージデバイス
１６ ＳＳＤ
１７ ＨＤＤ
２０ ドライブ装置
３０ 表示装置
４０ バス
１１１ 監視制御部
１１２ 同期緩和制御部
１１３ 負荷分散部
１３１ ＦＩＦＯバッファ
１３２ 仮想消費電力情報

Claims (7)

1. 複数の制御部からなる情報処理装置における各制御部の制御プログラムであって、
   各制御部の消費電力の同期を検出すると、制御部ごとに異なる遅延時間となるように自己の制御部の遅延時間を計算し、
   前記遅延時間に対する過去の時点の消費電力のデータを現在の消費電力のデータとして他の制御部に開示し、
   他の制御部に開示した消費電力のデータおよび他の制御部によって開示された消費電力のデータを用いて負荷分散を行う
   処理をコンピュータに実行させることを特徴とする制御プログラム。
2. 前記遅延時間を計算する処理は、消費電力における周期の１サイクルを前記複数の制御部の数で均等に分割し、分割した区画の中から乱数に基づいて自己の制御部の区画を選択し、選択した区画に対応する遅延時間を算出する
   ことを特徴とする請求項１に記載の制御プログラム。
3. 前記遅延時間を計算する処理は、消費電力における周期の１サイクルを前記複数の制御部の数で均等に分割し、分割した区画の中から制御部ごとに割り当てられた識別番号に基づいて自己の制御部の区画を選択し、選択した区画に対応する遅延時間を算出する
   ことを特徴とする請求項１に記載の制御プログラム。
4. 前記他の制御部に開示する処理は、前記遅延時間に対する過去の時点の消費電力のデータから直近の期間までの消費電力のデータの移動平均を現在の消費電力のデータとして他の制御部に開示する
   ことを特徴とする請求項１に記載の制御プログラム。
5. 各制御部の消費電力に関わるデータを蔵本モデルに入力して秩序変数を出力し、前記秩序変数を用いて各制御部の消費電力の同期を検出する
   ことを特徴とする請求項１に記載の制御プログラム。
6. 複数の制御部からなる情報処理装置であって、
   各制御部は、
   各制御部の消費電力の同期を検出すると、制御部ごとに異なる遅延時間となるように自己の制御部の遅延時間を計算する計算部と、
   前記遅延時間に対する過去の時点の消費電力のデータを現在の消費電力のデータとして他の制御部に開示する開示部と、
   他の制御部に開示した消費電力のデータおよび他の制御部によって開示された消費電力のデータを用いて負荷分散を行う負荷分散部と、
   を有することを特徴とする情報処理装置。
7. 複数の制御部からなる情報処理装置における各制御部の制御方法であって、
   各制御部の消費電力の同期を検出すると、制御部ごとに異なる遅延時間となるように自己の制御部の遅延時間を計算し、
   前記遅延時間に対する過去の時点の消費電力のデータを現在の消費電力のデータとして他の制御部に開示し、
   他の制御部に開示した消費電力のデータおよび他の制御部によって開示された消費電力のデータを用いて負荷分散を行う
   処理をコンピュータが実行することを特徴とする制御方法。

Images