JP2011013764A - 消費電力管理方法、消費電力管理システムおよびプログラム - Google Patents

Abstract

【課題】予測される消費電力が不足しているとき、サーバ間で電力を融通することによって、サーバシステムのサービス品質を維持することを目的とする。
【解決手段】複数のサーバ１０１が接続されているサーバシステム１の消費電力を管理する消費電力管理装置１１１による消費電力管理方法であって、消費電力管理装置１１１が、第１のサーバ１０１を起動した際に、サーバシステム１全体の消費電力が予め定められている閾値より大きくなると予測される場合、サーバシステム１内における他のサーバ１０１である第２のサーバ１０１の動作レベルを落とすことにより生じる余剰電力を、第１のサーバ１０１に供給することを特徴とする。
【選択図】図１

Description

本発明は、消費電力管理方法、消費電力管理システムおよびプログラムの技術に関する。

サーバシステムでは、サーバがジョブを実行する。さらに、サーバシステムは、優先度の高い順にジョブを実行し、適切なサービス品質を提供する必要がある。優先度の順にジョブを実行できない場合、ジョブの締切時刻までに実行が終了しないなどの弊害により、サービス品質が維持できない。
サーバはブレーカに接続し、ブレーカの定格電力以下で動作する。さらに、サーバは複数の動作レベルのうち一つで動作し、この動作レベルを変更することにより、消費電力を減少又は増加させることができる。ここで動作レベルとは、プロセッサの稼働率に伴うプロセッサ周波数のレベルである。

このとき、ブレーカ設備のコストを削減するため、複数サーバを同一ブレーカに接続すると、ブレーカの定格電力を超える可能性がある。そこで、従来では、複数のサーバを同一ブレーカに接続し、ブレーカに接続されているサーバの消費電力の上限値を設定し、それを超えないよう各サーバの動作レベルを設定し運用する「キャッピング」を行うことで、サーバ合計の消費電力が定格電力を超えないように、同一ブレーカに接続するサーバを増やしている。通常、このような上限値はサーバごとではなく、１台以上のサーバを装備したラック又はシャーシ単位で消費電力の上限値を決めている。

しかし、通常運用時を超える量の優先度の高いジョブ、つまり飛び込みジョブが発生し、サーバの消費電力が増加し、シャーシにおける消費電力の上限値を超えてしまう場合、サーバシステムは、この飛び込みジョブを実行することができない。このため、一時的に別のシャーシのサーバの消費電力を削減し、消費電力増加分を融通する必要がある。

このような問題に対し、例えば、特許文献１〜特許文献３及び非特許文献１に記載の技術が開示されている。
特許文献１には、負荷装置のうち、最も末端に接続されたものの中で、最もアイドルタイムの長いものの動作モードを省電力モードに切り替えるように制御する技術が開示されている。
特許文献２には、ＣＰＵ（Central Processing Unit）の稼働率と動作周波数（以下、周波数と記載）切り替え頻度を監視し、稼働率が高すぎる場合、もしくは周波数の切り替え頻度が高すぎる場合に周波数を切り替える技術が開示されている。
特許文献３には、ＣＰＵの現在の稼動率と複数の閾値を比較し、さらにＣＰＵの現在の周波数と、下限値及び上限値とを比較し、ＣＰＵ周波数を変更する技術が開示されている。
非特許文献１には、サーバの追加起動時にシャーシの消費電力上限値を超える場合、シャーシの消費電力の上限値を変更する技術が開示されている。

特開２０００−２６７７６６号公報 特許第２７６６１７０号明細書 特開２００８−２１７６２８号公報

"NEC（登録商標） SIGMABLADEの電力制御テクノロジー"、[online]、２００７年１２月３日、アイティメディア株式会社、［平成２１年３月３日検索］、インターネット、<URL:http://www.itmedia.co.jp/enterprise/articles/0712/03/news006.html>

しかしながら、特許文献１〜特許文献３に記載の技術では、優先度の高いジョブを実行中のサーバが、プロセッサの周波数を下げられてしまう場合があり、結果としてジョブの終了が遅延してしまい、サービス品質を維持できないという問題がある。
また、非特許文献１に記載の技術では、飛び込みジョブ及び実行中のジョブの優先度のどちらが高いかを判断しないため、誤って優先度の高いジョブを実行するサーバの消費電力を削減してしまい、結果としてジョブの終了が遅延する可能性がある。そのため、サーバシステムのサービス品質を維持できないという問題がある。

本発明は、このような課題を鑑みてなされたものであり、消費電力管理されている計算機群の消費電力が不足すると予測されるときでも、システムのサービス品質を維持することを目的とする。

前記課題を解決するため、本発明の一の手段は、複数の計算機が接続されているシステムの消費電力を管理する消費電力管理装置による消費電力管理方法であって、前記計算機には、それぞれ動作レベルが設定されており、前記消費電力管理装置が、前記計算機のうちの第１の計算機を起動した際に、システムの消費電力が予め定められている閾値より大きくなると予測される場合、前記システム内における稼働中の他の計算機である第２の計算機の前記動作レベルを落とすことにより生じる余剰電力を、前記第１の計算機に供給することを特徴とする。

また、本発明の他の手段は、複数の計算機が接続されているシステムの消費電力を管理する消費電力管理装置による消費電力管理方法であって、前記システムには、同一のキャッピング値が設定されている計算機の集合であるキャッピングセグメントが存在し、前記消費電力管理装置が、前記計算機のうちの第１の計算機を起動した際に、システムの消費電力がキャッピング値より大きくなると予測される場合、前記キャッピング値を変更することにより生じる余剰電力を、前記第１の計算機に供給することを特徴とする。
その他の解決手段については、実施形態中で後記する。

本発明によれば、消費電力管理されている計算機群の消費電力が不足すると予測されるときでも、システムのサービス品質を維持することができる。

本実施形態に係るサーバシステムの構成の一例を示すブロック図である。 本実施形態に係るジョブ管理情報の一例を示す図である。 本実施形態に係る電力管理構成情報の一例を示す図である。 本実施形態に係る電力融通制御プランの一例を示す図である。 本実施形態に係る入力パラメータの一例を示す図である。 本実施形態に係る電力融通処理の手順を示すフローチャートである。 ステップＳ１０６の同一キャッピングセグメント内の電力融通判定処理の手順を示すフローチャートである。 ステップＳ１０９の同一電力ドメイン内の電力融通判定処理の手順を示すフローチャートである。 ステップＳ１０８の電力融通制御プランの実行処理の手順を示すフローチャートである。

次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。

《システム構成》
図１は、本実施形態に係るサーバシステムの構成の一例を示すブロック図である。
サーバシステム１（システム）は、計算機であるサーバ１０１ａ（１０１）、サーバ１０１ｂ（１０１）、サーバ１０１ｃ（１０１）、各サーバ１０１の消費電力を管理・制御する消費電力管理装置１１１及び管理端末１３０を含む。
サーバ１０１ａ、サーバ１０１ｂ及びサーバ１０１ｃには、ジョブ処理プロセスが稼働し、図示しないホストサーバからのジョブ処理要求に応じてジョブ処理が実行される。本実施形態のサーバシステム１は、図１に示すように、３台のサーバ１０１を含んでいるが、２台以上のサーバ１０１を含むように構成してもよい。また、サーバ１０１ａ、サーバ１０１ｂ及びサーバ１０１ｃはクラスタ構成となっている。
各サーバ１０１は、共通のブレーカ１０６を介して外部電力供給装置１０５から電力を供給されている。また、各サーバ１０１と、消費電力管理装置１１１とは、ＬＡＮ（Local Area Network）などのネットワーク１４０で互いに接続されている。なお、各サーバ１０１は、通常のＰＣ（Personal Computer）でもよいし、ブレードサーバであってもよい。

消費電力管理装置１１１は、図１に示すように、各サーバ１０１の外部に配置されたハードウェアとして構成されているが、各サーバ１０１のいずれかの内部に含まれる構成としてもよい。また、消費電力管理装置１１１をハードウェアとしてではなく、当該機能を提供するプログラムとして実現し、いずれかのサーバ１０１の内部で実行されるようにしてもよい。
また、本実施形態のサーバシステム１は、図１に示すように、消費電力管理装置１１１を１つ含んでいるが、複数の消費電力管理装置１１１を含むように構成してもよい。この場合には、消費電力管理装置１１１のいずれか又はすべてがサーバ１０１からのイベント通知に基づいて、本実施形態に係るサーバ消費電力制御処理を実行する。

管理端末１３０は、消費電力管理装置１１１に接続され、消費電力管理装置１１１を管理する。具体的には、管理者１３１によるパラメータの入力を受け付け、入力パラメータ１３２として消費電力管理装置１１１に送信する。

次に、本実施形態のサーバシステム１を構成する各部の詳細について説明する。
各サーバ１０１は、プロセッサ１０２、主記憶装置１０３を含む。
図示しない不揮発性記憶装置に格納されているプログラムが主記憶装置１０３に展開され、プロセッサ１０２によってこのプログラムが実行されることにより、ジョブが実行される。

消費電力管理装置１１１は、管理者１３１によって管理端末１３０から入力された入力パラメータ１３２を受信し、この入力パラメータ１３２を基にジョブ管理情報１２１もしくは電力管理構成情報１２２に変更を加える。消費電力管理装置１１１は、プロセッサ１１２、ＲＡＭ（Random Access memory）などの主記憶装置１１３を備える。
主記憶装置１１３には、図示しない不揮発性記憶装置に格納されているプログラムが展開され、プロセッサ１１２によってこのプログラム実行されることにより、消費電力制御部１２０が具現化されている。
消費電力制御部１２０は、外部電力供給装置１０５から入力される消費電力情報や、管理端末１３０から入力される入力パラメータ１３２などを、ジョブ管理情報１２１や、電力管理構成情報１２２として格納する。さらに、消費電力制御部１２０は、キャッピング値制御要求を外部電力供給装置１０５に送信する。

消費電力管理装置１１１の主記憶装置１１３には、ジョブ管理情報１２１、電力管理構成情報１２２、電力融通制御プラン１２３などが図示しない不揮発性記憶装置から展開されている。
ジョブ管理情報１２１には、サーバシステム１において処理した、もしくは処理予定のジョブの状態情報などが格納されている。なお、ジョブ管理情報１２１の詳細については、図２にて後記する。
電力管理構成情報１２２には、サーバシステム１に含まれる各サーバ１０１の状態を含む情報などが格納されている。電力管理構成情報１２２の詳細については、図３にて後記する。
電力融通制御プラン１２３には、サーバシステム１において電力融通のために各サーバ１０１が実行する制御処理の内容が格納されている。電力融通制御プラン１２３の詳細については、図４にて後記する。

ここで、図１を参照しながら、本実施形態におけるサーバ１０１間の接続について説明する。
次に、消費電力管理装置１１１に含まれる各構成の関連について説明する。消費電力管理装置１１１には、前記したように、消費電力制御部１２０、ジョブ管理情報１２１、電力管理構成情報１２２が含まれる。
消費電力制御部１２０は、サーバ１０１から送信された消費電力情報を受信し、電力管理構成情報１２２に格納する。
なお、消費電力制御部１２０は、前記したように、プログラムなどのソフトウェアで実装されてもよいし、ハードウェアで実装されていてもよい。

《ジョブ管理情報》
図２は、本実施形態に係るジョブ管理情報の一例を示す図である。
ジョブ管理情報１２１には、各ジョブの状態を含む情報が含まれている。ジョブ管理情報１２１は、初期設定が「データ無し」であり、消費電力制御部１２０によって各サーバ１０１から入力されたジョブ情報、もしくは管理端末１３０から入力された入力パラメータ１３２を格納されることで更新される。

ジョブ管理情報１２１には、ジョブ名、状態、稼動サーバ名、優先度、終了予定時刻、締切時刻、動作レベル下限値、及び消費電力下限値の各情報がジョブ毎に格納されている。ジョブ管理情報１２１には、この他に動作レベル上限値などが格納されてもよい。
ジョブ名は、管理対象のジョブを一意に識別する識別子である。状態は、ジョブ名によって識別されるジョブの状態である。具体的には、ジョブがサーバ１０１において実行中であることを示す「実行中」や、ジョブがサーバ１０１において実行されていないことを示す「実行待ち」などの値が設定される。

稼動サーバ名は、該当するジョブが実行されている、もしくは実行される予定のサーバ１０１の識別子である。
優先度は、該当するジョブに設定されている優先度である。優先度の高い（数値の高い）ジョブほど、優先的に実行される。
優先度は、管理者１３１によって入力される入力パラメータに基づき変更される。また優先度は、消費電力制御部１２０をプロセッサ１１２で実行中に、後記する締切時刻と終了予定時刻を比較した結果を基に変更も可能である。つまり、締切時刻と終了予定時刻の間に十分余裕があるジョブの優先度を下げるよう変更してもよい。

終了予定時刻は、該当するジョブ（実行中）の終了予定時刻である。締切時刻は、該当するジョブが終了しなければならない時刻である。つまり、締切時刻を過ぎると、該当するジョブは強制終了させられる。
動作レベル下限値は、稼動サーバ名によって識別されるサーバ１０１が動作するレベル（動作レベル）の下限である。前記したように、動作レベルとは、プロセッサの稼働率に伴うプロセッサ周波数のレベルである。なお、図２における「２／５」や、「３／５」は、全５段階のうち、レベルが「２」や、「３」であることを示している。つまり、動作レベル下限値は、プロセッサの動作レベルがこの値以下にはならないことを示している。
消費電力下限値は、稼動サーバ名によって識別されるサーバ１０１が消費する電力の下限値である。

《電力管理構成情報》
図３は、本実施形態に係る電力管理構成情報の一例を示す図である。
電力管理構成情報１２２には、各サーバ１０１の電源状態を含む情報が格納されている。電力管理構成情報１２２は、初期設定が「データ無し」であり、消費電力制御部１２０によってサーバ１０１から入力された消費電力情報を格納されることで更新される。

電力管理構成情報１２２は、サーバ名、電源状態、キャッピング機能有無、動作レベル、キャッピングセグメント名、最大供給電力値、キャッピング値、消費電力値、電力ドメイン名及び定格電力値の各情報がサーバ１０１毎に格納されている。
サーバ名は、サーバシステム１に含まれるサーバ１０１を一意に識別する識別子である。
電源状態は、該当するサーバ１０１の電源の状態である。具体的には、「Ｏｎ」や「Ｏｆｆ」などの値が設定される。

キャッピング機能有無は、該当するサーバ１０１におけるキャッピング機能の有無を表す。具体的には、「有り」もしくは「無し」の値が設定される。
動作レベルは、該当するサーバ１０１の現在の動作レベルである。動作レベルについては前記したので、ここでは説明を省略する。
キャッピングセグメント名は、キャッピングセグメントの識別子である。キャッピングセグメントとは、同一のキャッピング値が設定されているサーバ１０１群のことである。図３の例では、サーバ「Ｓ２」と、サーバ「Ｓ３」とが同一のキャッピングセグメントに属し、サーバ「Ｓ１」は、サーバ「Ｓ２」及びサーバ「Ｓ３」とは異なるキャッピングセグメントに属していることを示す。

最大供給電力値は、キャッピングセグメント毎に設定される電力値であり、サーバシステム１内における電力設計上、そのキャッピングセグメントに供給してもブレーカが落ちない電力値である。これは、後記するキャッピング値を変更する際におけるキャッピング値の上限値でもある。
キャッピング値は、閾値の１つであり、キャッピングセグメント名によって識別されるキャッピングセグメントが設定している消費電力の上限値である。消費電力制御部１２０は、該当するキャッピングセグメントに属するサーバ１０１の消費電力の総和が、このキャッピング値を超えないようにキャッピング制御を行う。

消費電力値は、同一のキャッピングセグメントに属するサーバ１０１で現在消費されている電力値の合計値である。つまり、消費電力制御部１２０は、サーバ１０１の消費電力を監視しており、サーバ１０１の消費電力をキャッピングセグメント毎に加算した値を電力管理構成情報１２２の消費電力値に格納する。
電力ドメイン名は、同一のブレーカ１０６に接続されているサーバ１０１のグループを示す電力ドメインの識別子である。図３の例では、サーバ「Ｓ１」と、サーバ「Ｓ２」と、サーバ「Ｓ３」とが同一の電力ドメインに属していることを示す。
定格電力値は、閾値の１つであり、電力ドメイン毎に設定される電力値であり、例えば、該当する電力ドメインに属するキャッピングセグメントにおける最大供給電力値の総和である。

なお、本実施形態では、１つのキャッピングセグメントは、１つの電力ドメインに属しているが、１つのキャッピングセグメントが、複数の電力ドメインに属す場合もある。

《電力融通制御プラン》
図４は、本実施形態に係る電力融通制御プランの一例を示す図である。
電力融通制御プラン１２３は、後記する図６〜図９に示す処理を行った結果、消費電力制御部１２０が出力する情報である。
また、電力融通制御プラン１２３は、電力融通時の各サーバ１０１の制御内容が含まれる。
そして、電力融通制御プラン１２３は、電力を融通する際の制御内容の情報が制御対象サーバ毎に格納されている。
制御対象サーバ名は、電力融通の制御対象となるサーバ１０１の識別子である。
制御内容は、制御対象サーバ名に該当するサーバ１０１のプロセッサによって実行すべき電力融通の制御内容（実行内容）である。

《入力パラメータ》
図５は、本実施形態に係る入力パラメータの一例を示す図である。
前記したように、消費電力制御部１２０は、入力パラメータ１３２に基づきジョブ管理情報１２１もしくは電力管理構成情報１２２に変更を加える。この入力パラメータ１３２は、消費電力制御部１２０が各情報１２１，１２２に加える変更の内容が含まれる。入力パラメータ１３２は、管理者１３１からの入力に基づいて管理端末１３０が生成する。
入力パラメータ１３２は、変更情報名、変更条件及び変更内容の各情報が含まれる。
変更情報名は、変更を加える情報名である。具体的には、ジョブ管理情報１２１や、電力管理構成情報１２２などが指定される。
変更条件は、変更情報名によって指定される情報において、データの変更を加える箇所を指定する情報である。
変更内容は、変更情報名によって識別される情報の中で、変更条件に該当する箇所に加える変更の内容である。
図５の例では、ジョブ管理情報１２１におけるジョブ名が「Ｊｏｂ−１」であるジョブの締切時刻を「ＸＸ：ＸＸ」に変更することとなる。

《フローチャート》
本実施形態において、サーバシステム１でキャッピング値を変更し電力を融通する処理の手順を、図６〜図９を参照して説明する。

図６は、本実施形態に係る電力融通処理の手順を示すフローチャートである。
以下、サーバ状態変更が発生したサーバ１０１に接続された消費電力管理装置１１１で実行される処理について説明する。具体的には、サーバシステム１において、これまで電源がＯＦＦとなっていたサーバ１０１が起動（追加起動）されたときの処理について説明する。

まず、消費電力管理装置１１１は、追加起動したサーバ１０１から送信されるサーバ追加起動要求を受信する（Ｓ１０１）。
次に、消費電力制御部１２０は、サーバ追加起動に伴う電力ドメイン内の消費電力の増加量を見積もる（Ｓ１０２）。前記したように動作レベルがプロセッサの稼働率に伴うものであるため、サーバ１０１の消費電力は、動作レベルによって決定できる。また、サーバ１０１起動時の動作レベルは、ジョブ管理情報１２１で設定されている優先度と、予め対応付けられているものとする。具体的には、消費電力制御部１２０は、ジョブ管理情報１２１の稼働サーバ名の欄を参照して、追加起動するサーバ１０１で実行されるジョブの優先度を取得する。そして、消費電力制御部１２０は、図示しない優先度−消費電力値対応情報から、追加起動するサーバ１０１の消費電力値を見積もる。

次に、消費電力制御部１２０は、ステップＳ１０２において見積もった消費電力値が、追加起動するサーバ１０１の属する電力ドメインの定格電力値を超えたか否かを判定する。（Ｓ１０３）。具体的には、消費電力制御部１２０は、電力管理構成情報１２２の消費電力値の電力ドメインにおける総和が、電力管理構成情報１２２の定格電力値より大きいか否かを判定する。
ステップＳ１０３の結果、消費電力値が定格電力値を超えた場合（Ｓ１０３→Ｙｅｓ）、外部供給電力装置１０５が供給できる電力を超えているため、消費電力制御部１２０は、サーバ追加起動要求を却下する（Ｓ１１１）旨の情報を管理端末１３０に表示させ、サーバ１０１の追加起動を行わせない。消費電力制御部１２０は、サーバ追加起動要求を却下する旨の情報を管理端末１３０に表示させなくてもよい。

ステップＳ１０３の結果、消費電力値が定格電力値を超えない場合（Ｓ１０３→Ｎｏ）、消費電力制御部１２０は、電力管理構成情報１２２を参照して、追加起動するサーバ１０１が属するキャッピングセグメントの消費電力値が、キャッピング値を超えるか否か（より大きいか否か）を判定する（Ｓ１０４）。
ステップＳ１０４の結果、キャッピング値を超えない場合（Ｓ１０４→Ｎｏ）、サーバ１０１の起動に電力的な問題がないので、消費電力制御部１２０は、サーバ追加起動要求を承認する（Ｓ１０５）旨の情報を管理端末１３０に表示させ、管理者１３１が表示内容を承認する旨の情報を入力することで、消費電力管理装置１１１は、追加起動するサーバ１０１の起動を承認する。なお、サーバ追加起動要求を承認する旨の情報を管理端末１３０に表示させなくてもよい。

ステップＳ１０４の結果、キャッピング値を超える場合（Ｓ１０４→Ｙｅｓ）、消費電力制御部１２０は、同一キャッピングセグメント内でのサーバ１０１間の電力融通を試みる処理を行う（Ｓ１０６）。ステップＳ１０６の処理は、図７を参照して後記する。
そして、消費電力制御部１２０は、ステップＳ１０６の結果、同一キャッピングセグメント内での電力融通が成功したか否かを判定する（Ｓ１０７）。
ステップＳ１０７の結果、同一キャッピングセグメント内での電力融通に成功した場合（Ｓ１０７→Ｙｅｓ）、キャッピングセグメント内での電力融通を行う電力融通制御プラン１２３を生成し、管理端末１３０に表示させた後、管理者１３１によって電力融通制御プラン１２３が承認されると、この電力融通制御プラン１２３の内容を実行し、サーバ追加起動要求を承認する（Ｓ１０８）。ステップＳ１０８の処理は、図９を参照して後記する。なお、消費電力制御部１２０は、電力融通制御プラン１２３を生成し、管理端末１３０に表示させずに電力融通制御プラン１２３の内容を実行してもよい。

ステップＳ１０７の結果、同一キャッピングセグメント内での電力融通に失敗した場合（Ｓ１０７→Ｎｏ）、消費電力制御部１２０は、同一電力ドメイン内での電力融通を試みる処理を行う（Ｓ１０９）。ステップＳ１０９の処理は、図８を参照して後記する。
そして、消費電力制御部１２０は、ステップＳ１０９の結果、同一電力ドメイン内での電力融通が成功したか否かを判定する（Ｓ１１０）。
ステップＳ１１０の結果、同一電力ドメイン内での電力融通に成功した場合（Ｓ１０７→Ｙｅｓ）、消費電力制御部１２０は、電力ドメイン内での電力融通を行う電力融通制御プラン１２３を生成し、この電力融通制御プラン１２３を管理端末１３０に表示させた後、ユーザによって電力融通制御プラン１２３が承認されると、この電力融通制御プラン１２３の内容を実行し、サーバ追加起動要求を承認する（Ｓ１０８）。なお、消費電力制御部１２０は、電力融通制御プラン１２３を管理端末１３０に表示させずに、電力融通制御プラン１２３の内容を実行してもよい。

ステップＳ１１０の結果、同一電力ドメイン内での電力融通に失敗した場合（Ｓ１１０→Ｎｏ）、消費電力制御部１２０は、サーバ追加起動要求を却下する（Ｓ１１１）旨の情報を管理端末１３０に表示させ、サーバ１０１の追加起動を行わせない。なお、消費電力制御部１２０は、サーバ追加起動要求を却下する旨の情報を管理端末１３０に表示させなくてもよい。

図６に示すような電力融通処理により、消費電力制御部１２０はサーバ１０１からのサーバ追加起動要求に対して、各サーバ１０１の消費電力を基に、サーバ追加起動要求の承認もしくは却下を決定することができる。

（Ｓ１０６の詳細）
図７は、ステップＳ１０６の同一キャッピングセグメント内の電力融通判定処理の手順を示すフローチャートである。
まず、消費電力制御部１２０は、ジョブ管理情報１２１を参照して、追加起動するサーバ１０１が属するキャッピングセグメント内で、追加起動するサーバ１０１で動作するジョブより優先度が低いジョブを特定する（Ｓ２０１）。ここで、追加起動するサーバ１０１で動作するジョブより優先度の低いジョブが見つからない場合、図６のステップＳ１０６の結果として「失敗」を出力する。

次に、消費電力制御部１２０は、ジョブ管理情報１２１を参照して、ステップＳ２０１において特定したジョブが稼動するサーバ１０１のうち、動作レベルが動作レベル下限値（下限値）でないサーバ１０１を特定する（Ｓ２０２）。
そして、消費電力制御部１２０は、ステップＳ２０２において特定したサーバ１０１のうち、以下に説明するステップＳ２０４〜Ｓ２０７の処理が未処理のサーバ１０１について、稼動するジョブの優先度が最も低いサーバ１０１の動作レベルを動作レベル下限値（下限値）に設定した場合の余剰電力を求める（Ｓ２０３）。このステップＳ２０３を補足説明すると、消費電力管理装置１１１は、過去の実績から、各サーバ１０１が動作レベルを動作レベル下限値まで落としたときの消費電力に関する情報を予め有している。消費電力制御部１２０は、この情報を用いて、ステップＳ２０２で特定したサーバ１０１の動作レベルを動作レベル下限値まで落とした際の電力管理構成情報１２２の消費電力値を算出する。そして、消費電力制御部１２０は、算出した消費電力と、電力管理構成情報１２２におけるキャッピング値の差から余剰電力を求める

次に、消費電力制御部１２０は、ステップＳ２０３で求めた余剰電力の総和が、図６のステップＳ１０２で求めた消費電力増加量以上であるか否かを判定する（Ｓ２０４）。ここで、余剰電力の総和を用いるのは、ステップＳ２０４，Ｓ２０６が実行される毎に、ステップＳ２０３で余剰電力が算出されるためである。
ステップＳ２０４の結果、余剰電力の総和が消費電力増加量以上である場合（Ｓ２０４→Ｙｅｓ）、消費電力制御部１２０は、電力融通が可能と判断し、動作レベル制御案を電力融通制御プラン１２３として保存し（Ｓ２０５）、図６のステップＳ１０６の結果として「成功」を出力する。具体的に、動作レベル制御案は、ステップＳ２０３において余剰電力を求めたサーバ１０１すべてで、動作レベルを動作レベル下限値に設定し、余剰電力の総和を追加起動サーバ１０１に融通するという制御案である。なお、ステップＳ１０６のフローチャートにおいて、ステップＳ２０３を少なくとも１回、ステップＳ２０４が「ｙｅｓ」になるまで繰り返して行われるが、ステップＳ２０５の電力融通制御プラン１２３は、ステップＳ２０３で動作レベルを下限に設定されたサーバ１０１の動作レベルを実際に低下させるというプランになる。

ステップＳ２０４の結果、余剰電力の総和が消費電力増加量より小さい場合（Ｓ２０４→Ｎｏ）、消費電力制御部１２０は、ジョブ管理情報１２１を参照して、次に優先度が低く、動作レベルが動作レベル下限値（下限値）でないサーバ１０１が残っているか否かを判定する（Ｓ２０６）。
ステップＳ２０６の結果、動作レベルが動作レベル下限値でないサーバ１０１が残っている場合（Ｓ２０６→Ｙｅｓ）、消費電力制御部１２０は、ステップＳ２０３へ処理を戻し、このサーバ１０１の動作レベルを動作レベル下限値まで落としたときの余剰電力を求める。
ステップＳ２０６の結果、動作レベルが動作レベル下限値でないサーバ１０１が残っていない場合（Ｓ２０６→Ｎｏ）、消費電力制御部１２０は、同一キャッピングセグメント内での電力融通が不可能と判断し（Ｓ２０７）、図６のステップＳ１０６の結果として「失敗」を出力する。
図７の電力融通判定処理により、消費電力制御部１２０は、消費電力増加量を同一キャッピングセグメント内の１台以上のサーバ１０１から融通することが可能か不可能かを判断し、可能である場合に制御案を電力融通制御プラン１２３に保存することができる。

（Ｓ１０９の詳細）
図８は、ステップＳ１０９の同一電力ドメイン内の電力融通判定処理の手順を示すフローチャートである。
まず、消費電力制御部１２０は、電力管理構成情報１２２を参照して、追加起動するサーバ１０１が属する同一電力ドメイン内の各キャッピングセグメントの余剰電力を取得する（Ｓ３０１）。各キャッピングセグメントの余剰電力は、各キャッピングセグメントでキャッピング値から消費電力値を減算して取得する。図７のステップＳ２０３とは異なり、動作レベルの制御を伴うことなく融通できる電力値を取得するものである。なお、ここで、処理対象となるキャッピングセグメントは、追加起動するサーバ１０１が属さないキャッピングセグメントが対象となる。

そして、消費電力制御部１２０は、取得した余剰電力毎に、図６のステップＳ１０２で求めた消費電力増加量との比較を行い、消費電力増加量が確保できるキャッピングセグメントがあるか否かを判定する（Ｓ３０２）。つまり、消費電力制御部１２０は、余剰電力が消費電力増加量以上であるキャッピングセグメントが存在するか否かを判定する。
ステップＳ３０２の結果、消費電力増加量が確保できるキャッピングセグメントがある場合（Ｓ３０２→Ｙｅｓ）、消費電力制御部１２０は、電力融通が可能と判断し、動作レベル制御案を電力融通制御プラン１２３として保存し（Ｓ３０３）、図６のステップＳ１０９の結果として「成功」を出力する。この動作レベル制御案は、電力に余裕のあるキャッピングセグメントのキャッピング値のみを設定変更するだけで、動作レベルの制御を伴うことなく電力を融通するというプランである。つまり、電力に余裕のあるキャッピングセグメントのキャッピング値を変更し、その結果生じる余剰電力を追加起動サーバ１０１に融通するというプランである。同一キャッピングセグメント内で電力融通可能なすべてのサーバ１０１の動作レベルを動作レベル下限値まで落とした結果生じる余剰電力の総和を融通するという、図７のステップＳ２０５の説明での動作レベル制御案とは異なる。

ステップＳ３０２の結果、消費電力増加量が確保できるキャッピングセグメントがない場合（Ｓ３０２→Ｎｏ）、消費電力制御部１２０は、電力融通の可能性を未確認（つまり、ステップＳ３０５〜Ｓ３１０の処理が未処理）のキャッピングセグメントのうち、ステップＳ３０１で求めた余剰電力が最大のものを取得する（Ｓ３０４）。
次に、消費電力制御部１２０は、ジョブ管理情報１２１を参照して、ステップＳ３０４において取得したキャッピングセグメント内で、追加起動するサーバ１０１で動作するジョブより優先度が低いジョブを特定する（Ｓ３０５）。
そして、消費電力制御部１２０は、ステップＳ３０５で特定したジョブのうち、動作レベルが動作レベル下限値（下限値）でないジョブを特定する。そして、特定したジョブのうち、最も優先度が低いジョブについて、動作レベルを動作レベル下限値（下限値）に設定した場合の余剰電力を求める（Ｓ３０６）。余剰電力の求め方は、図７のステップＳ２０３と同様であるため、説明を省略する。

そして、消費電力制御部１２０は、ステップＳ３０６で求めた余剰電力の総和が、図６のステップＳ１０２で見積もった消費電力増加量以上であるか否かを判定することにより、余剰電力で消費電力増加量が確保できるか否かを判定する（Ｓ３０７）。ここで、余剰電力の総和としたのは、後記するステップＳ３０８，Ｓ３０９で「Ｙｅｓ」が判定されたときに算出される余剰電力を加算する必要があるためである。
ステップＳ３０７の結果、消費電力増加量が確保できる場合（Ｓ３０７→Ｙｅｓ）、消費電力制御部１２０は、ステップＳ３０３へ処理を進め、電力融通が可能と判断し、動作レベル制御案を電力融通制御プラン１２３として保存し、図６のステップＳ１０９の結果として「成功」を出力する。

ステップＳ３０７の結果、消費電力増加量が確保できない場合（Ｓ３０７→Ｎｏ）、消費電力制御部１２０は、ジョブ管理情報１２１を参照して、処理対象となっているキャッピングセグメント内でステップＳ３０６，Ｓ３０７の処理が未処理で、かつ次に優先度が低く、動作レベルが動作レベル下限値（下限値）でないジョブがあるか否かを判定する。すなわち、消費電力制御部１２０は、動作レベルが動作レベル下限値（下限値）でない、低優先ジョブがあるか否かを判定する（Ｓ３０８）。
動作レベルが動作レベル下限値（下限値）でない低優先ジョブがある場合（Ｓ３０８→Ｙｅｓ）、消費電力制御部１２０は、ステップＳ３０６へ処理を戻す。

動作レベルが動作レベル下限値（下限値）でない低優先ジョブがない場合（Ｓ３０８→Ｎｏ）、消費電力制御部１２０は、電力融通可能性を未確認（Ｓ３０４〜Ｓ３０９の処理が未処理）であるキャッピングセグメントがあるか否かを判定する（Ｓ３０９）。
ステップＳ３０９の結果、電力融通可能性を未確認であるキャッピングセグメントがある場合（Ｓ３０９→Ｙｅｓ）、消費電力制御部１２０は、ステップＳ３０４へ処理を戻し、該当するキャッピングセグメントについてステップＳ３０４〜Ｓ３０９の処理を繰り返す。

ステップＳ３０９の結果、電力融通可能性を未確認であるキャッピングセグメントがない場合（Ｓ３０９→Ｎｏ）、消費電力制御部１２０は、電力融通が不可能と判断し（Ｓ３１０）、図６のステップＳ１０９の結果として「失敗」を出力する。

図８の電力融通判定処理により、プロセッサ１１２は、消費電力増加量を同一電力ドメイン内のいずれかのキャッピングセグメント内の１台以上のサーバ１０１から融通することが可能か不可能かを判断し、可能である場合に制御案を電力融通制御プラン１２３に保存することができる。

（Ｓ１０８の詳細）
図９は、ステップＳ１０８の電力融通制御プランの実行処理の手順を示すフローチャートである。
消費電力制御部１２０は、まず生成された電力融通制御プラン１２３を取得する（Ｓ４０１）。
そして、消費電力制御部１２０は、取得した電力融通制御プラン１２３に記述されている電力融通がキャッピングセグメント内の融通であるか否かを判定する（Ｓ４０２）。ステップＳ４０２の処理は、消費電力制御部１２０が、電力管理構成情報１２２を参照し、図４の電力融通制御プラン１２３の制御対象サーバ名が、追加起動するサーバ１０１が属するキャッピングセグメントと同一のキャッピングセグメントに属しているか否かを判定することによって行われる。

ステップＳ４０２の結果、キャッピングセグメント内の融通である場合（Ｓ４０２→Ｙｅｓ）、電力融通制御プラン１２３の制御内容に「サーバの動作レベルを下限値に設定する」と記載されているサーバ１０１（動作レベル下降対象サーバ）の動作レベルを動作レベル下限値（下限値）に設定する（Ｓ４０３）。

ステップＳ４０２の結果、キャッピングセグメント間の融通である場合（Ｓ４０２→Ｎｏ）、まず、消費電力制御部１２０は、電力融通制御プラン１２３の制御内容に「サーバの動作レベルを下限値に設定する」と記載されているサーバ１０１（電力融通元キャッピングセグメント内の動作レベル下降対象サーバ）の動作レベルを動作レベル下限値（下限値）に設定する（Ｓ４０４）。
次に、消費電力制御部１２０は、電力管理構成情報１２２における電力融通元キャッピングセグメントのキャッピング値を融通する電力分低減する（Ｓ４０５）。
そして、消費電力制御部１２０は、電力融通先キャッピングセグメントのキャッピング値を融通する電力分増加する（Ｓ４０６）。

以上説明した本実施形態では、消費電力管理装置１１１は、プロセッサ１１２で消費電力制御部１２０を実行することにより、サーバ１０１を追加起動することによって生じる飛び込みジョブによる消費電力増加量を見積もる。さらに、消費電力管理装置１１１は、消費電力がキャッピング値を超える場合、ジョブの優先度を元に、同一キャッピングセグメント、もしくは同一電力ドメインの別のキャッピングセグメントの１台以上のサーバ１０１から融通することが可能か不可能かを判断し、可能である場合には電力融通制御プラン１２３を保存する。このときに、飛び込みジョブより優先度の低いジョブを実行するサーバ１０１を融通元として選択する。さらに、消費電力管理装置１１１は、電力融通制御プラン１２３を取得し、融通元と融通先のキャッピングセグメントに対して、サーバ１０１の動作レベル変更とキャッピング値変更を実行し、電力を融通する。これにより、消費電力管理装置１１１は、キャッピングセグメント内のサーバ１０１の消費電力がキャッピング値を超える場合でも、他のキャッピングセグメントのキャッピング値を変更し、電力融通を受けられるため、優先度の高い飛び込みジョブを実行することができる。

なお、本実施形態の図７では、消費電力制御部１２０がステップＳ２０３で求めた余剰電力を一回一回加算する毎にステップＳ２０４の判定を行っているが、これに限らず、以下の処理を行ってもよい。すなわち、消費電力制御部１２０は、ステップＳ２０１で特定した追加起動するサーバ１０１で実行されるジョブより優先度の低いジョブを特定した後、この特定したジョブが動作するすべてのサーバ１０１の動作レベルを動作レベル下限値まで落とした余剰電力を求める。そして、消費電力制御部１２０は、求めた余剰電力をすべて加算した値が、図６のステップＳ１０２で算出した消費電力増加量以上であれば、ステップＳ２０５の処理を行い、消費電力増加量より小さければステップＳ２０７の処理を行うようにしてもよい。
このようにすることで、処理数の削減が可能となる。

本実施形態によれば、効果は以下の３つある。
１．サーバ１０１の追加起動などにより、優先度が高い飛び込みジョブが発生しても、優先度の低いジョブを実行するサーバの消費電力を削減し、優先度の高いジョブを実行するサーバを追加起動し優先的に実行することができる。
２．ジョブの締切時刻に基づいて優先度を決定することにより、締切時刻が近いジョブを実行するサーバ１０１に電力を融通し、ジョブごとに決められた締切時刻までに実行を終了することができる。
３．通常運用時を超える優先度の高いジョブを実行しながらも、必要な消費電力を優先度の低いジョブから電力を融通することで、サーバシステム１全体の消費電力を定格電力以下に抑えることができる。

１ サーバシステム
１０１，１０１ａ，１０１ｂ，１０１ｃ サーバ（計算機）
１０２，１１２ プロセッサ
１０３，１１３ 主記憶装置
１０５ 外部電力供給装置
１０６ ブレーカ
１２０ 消費電力制御部
１２１ ジョブ管理情報
１２２ 電力管理構成情報
１２３ 電力融通制御プラン
１３０ 管理端末
１３２ 入力パラメータ

Claims (16)

1. 複数の計算機が接続されているシステムの消費電力を管理する消費電力管理装置による消費電力管理方法であって、
   前記計算機には、それぞれ動作レベルが設定されており、
   前記消費電力管理装置が、
   前記計算機のうちの第１の計算機を起動した際に、システムの消費電力が予め定められている閾値より大きくなると予測される場合、
   前記システム内における稼働中の他の計算機である第２の計算機の前記動作レベルを落とすことにより生じる余剰電力を、前記第１の計算機に供給する
   ことを特徴とする消費電力管理方法。
2. 前記システムには、同一のキャッピング値が設定されている計算機の集合であるキャッピングセグメントが存在し、
   前記閾値は、前記キャッピング値であり、
   前記第２の計算機は、前記第１の計算機が存在するキャッピングセグメント内の少なくとも１つの計算機である
   ことを特徴とする請求項１に記載の消費電力管理方法。
3. 前記システムは、
   同一のキャッピング値が設定されている計算機の集合であるキャッピングセグメントと、
   ブレーカによって電力管理が行われている計算機の集合である電力ドメインと、
   が存在し、
   前記消費電力管理装置が、
   前記第１の計算機が存在する第１のキャッピングセグメント内から前記第２の計算機を選択した際に、
   前記第２の計算機からの電力供給では、前記第１の計算機が起動することによる前記システム内の消費電力増加量を賄えない場合、
   前記第１の計算機が存在する前記電力ドメインにおいて、前記第１のキャッピングセグメント以外のキャッピングセグメントである第２のキャッピングセグメントから、前記第２の計算機を選択する
   ことを特徴とする請求項１に記載の消費電力管理方法。
4. 複数の計算機が接続されているシステムの消費電力を管理する消費電力管理装置による消費電力管理方法であって、
   前記システムには、同一のキャッピング値が設定されている計算機の集合であるキャッピングセグメントが存在し、
   前記消費電力管理装置が、
   前記計算機のうちの第１の計算機を起動した際に、システムの消費電力がキャッピング値より大きくなると予測される場合、
   前記キャッピング値を変更することにより生じる余剰電力を、前記第１の計算機に供給する
   ことを特徴とする消費電力管理方法。
5. 前記余剰電力に加えて、前記システム内における稼働中の他の計算機である第２の計算機の前記動作レベルを落とすことにより、さらに余剰電力を確保する
   ことを特徴とする請求項４に記載の消費電力管理方法。
6. 前記消費電力管理装置が、
   前記キャッピングセグメント毎の消費電力を監視しており、
   前記キャッピング値から、対応するキャッピングセグメントにおける消費電力を減算した値を、さらに前記余剰電力とし、
   前記算出した余剰電力が、前記第１の計算機の起動にともなう前記システムの消費電力増加量以上である場合、
   前記余剰電力を、前記第１の計算機に供給する
   ことを特徴とする請求項４に記載の消費電力管理方法。
7. 前記消費電力管理装置が、
   前記余剰電力を前記起動する計算機に供給した場合、前記第１の計算機の起動にともなう前記システムの消費電力増加量に達しているか否かを判定し、
   前記起動する計算機の動作電力に達していない場合、さらに前記動作レベルを落とした第２の計算機とは別の第２の計算機の動作レベルを落とした際に生じる余剰電力を、前記起動する第１の計算機に、さらに供給することを、
   前記供給される余剰電力の総和が、前記起動する計算機の動作電力に達するまで、動作レベルを落とす第２の計算機の数を順次増加しつつ繰り返す
   ことを特徴とする請求項１または請求項５に記載の消費電力管理方法。
8. 前記システム内の計算機で実行されるジョブには優先度が設定されており、
   前記消費電力管理装置が、
   前記第１の計算機で実行されるジョブより、前記優先度の低いジョブを実行している計算機の動作レベルを落とす
   ことを特徴とする請求項１または請求項５に記載の消費電力管理方法。
9. 前記計算機毎に動作レベルの下限値である動作レベル下限値が設定されており、
   前記消費電力管理装置が、
   前記余剰電力を算出する際、前記第２の計算機の動作レベルを動作レベル下限値まで落としたときの余剰電力を算出する
   ことを特徴とする請求項１または請求項５に記載の消費電力管理方法。
10. 前記消費電力管理装置が、
    前記第１の計算機が起動することによる前記システム内の消費電力増加量を、前記第１の計算機で実行されるジョブの優先度に基づいて、算出する
    ことを特徴する請求項１または請求項４に記載の消費電力管理方法。
11. 前記計算機は、ブレードサーバである
    ことを特徴とする請求項１または請求項４に記載の消費電力管理方法。
12. 複数の計算機と、当該複数の計算機の消費電力を管理する消費電力管理装置と、を有する消費電力管理システムであって、
    前記計算機には、それぞれ動作レベルが設定されており、
    前記消費電力管理装置は、
    前記計算機のうちの第１の計算機を起動した際に、消費電力管理システムの消費電力が予め定められている閾値より大きくなると予測される場合、
    前記消費電力管理システム内における稼働中の他の計算機である第２の計算機の前記動作レベルを落とすことにより生じる余剰電力を、前記第１の計算機に供給する
    ことを特徴とする消費電力管理システム。
13. 前記消費電力管理システムには、同一のキャッピング値が設定されている計算機の集合であるキャッピングセグメントが存在し、
    前記閾値は、前記キャッピング値であり、
    前記第２の計算機は、前記第１の計算機が存在するキャッピングセグメント内の少なくとも１つの計算機である
    ことを特徴とする請求項１２に記載の消費電力管理システム。
14. 前記消費電力管理装置は、
    前記余剰電力を前記起動する計算機に供給した場合、前記第１の計算機の起動にともなう前記消費電力管理システムの消費電力増加量に達しているか否かを判定し、
    前記起動する計算機の動作電力に達していない場合、さらに前期動作レベルを落とした第２の計算機とは別の第２の計算機の動作レベルを落とした際に生じる余剰電力を、前記起動する第１の計算機に、さらに供給することを、
    前記供給される余剰電力の総和が、前記起動する計算機の動作電力に達するまで、動作レベルを落とす第２の計算機の数を順次増加しつつ繰り返す
    ことを特徴とする請求項１２に記載の消費電力管理システム。
15. 前記消費電力管理システム内の計算機で実行されるジョブには優先度が設定されており、
    前記消費電力管理装置が、
    前記第１の計算機で実行されるジョブより、前記優先度の低いジョブを実行している計算機の動作レベルを落とす
    ことを特徴とする請求項１２に記載の消費電力管理システム。
16. 請求項１から請求項１１に記載の消費電力管理方法をコンピュータに実行させることを特徴とするプログラム。
    

Images