JP2023166907A - データセンタにおける運用計画作成装置及び運用計画作成方法 - Google Patents

Abstract

【課題】データセンタ事業者と利用者との間での協調運用計画作成作業の高速化と最適化を図る。【解決手段】データセンタにおける運用計画作成方法であって、運用計画サーバ６０は、作成されたワークロード（ＷＬ）の運用計画を作成又は変更する際にＤＣ利用者９８に与えられた消費パターンへの対応コストを算出し、対応コストを含むコスト等の指標を最大化、あるいは最小化する最適化式を作成する。この際、利用者からの過去の応答履歴にある消費パターンについて、消費パターンを一定のルールで変動させたものを該当する対応コストで利用可能になるように最適化式の解を求めることで、利用者ごとの消費パターンとデータセンタの事業者が保持する機器の運用計画案を作成する。運用計画サーバ６０はＷＬ実行管理サーバ７０に運用計画案の実行の可否を確認し、実行の指示を行う。【選択図】 図１

Description

本発明は、データセンタ内の交渉を含む運用計画を高速に作成する階層的運用計画最適化技術を用いた運用計画作成装置及び運用計画作成方法に関する。

気候変動への対策として、エネルギーの有効活用と共に再生可能エネルギーの導入が急速に進んでいる。再生エネルギーは気象条件よって出力が変動するため、電力消費に合わせて発電量を調整することが困難な場合がある。そのため、蓄電池の活用や、需要変動等の調整力を活用して、需要と供給を一致させる対応をとることが重要である。送配電事業者、マイクログリッドオペレーターや電力小売が、電力の安定供給やインバランスの回避を目的としてこれらの調整力を求めると共に、需要家や分散エネルギーリソース（Distributed Energy Resources: 以下、「ＤＥＲ」と称する）事業者は、調整力の提供による利益や、脱炭素化のための再生エネルギーの利用を求めており、これらの事業者間での電力融通を行う協調運用が求められている。

電力エネルギーの大きな需要家の一つであるデータセンタ（Data Center: 以下、「ＤＣ」と称することもある）は、消費電力が大きく、サーバで実行されるワークロード（Workload: 以下、「ＷＬ」または「ジョブ」と称することもある）の実行時刻、実行拠点を変動させる（以下、「ＷＬシフト」と称することもある）による需要変動が可能である点から、協調運用に有望である。一方で、データセンタ（ＤＣ）において実行されるワークロードはＤＣ事業者自身のワークロードを実行する他に、ＤＣ事業者とは別事業者であるＤＣ利用者のワークロードを実施する。自社利用以外の形態においては、ＤＣ利用者のワークロードが多くを占め、ＤＣ事業者はそれらを直接制御できない。データセンタの調整力の有効活用のためには、ＤＣ事業者、ＤＣ利用者間での協調運用が求められる。

コスト面や電力供給の安定性といった観点で、ＤＣ事業者、ＤＣ利用者間における最適な協調運用計画を作成することで、データセンタの効率的な協調運用が期待できる。ただし、協調運用計画の作成の際に、各事業者の所持する機器情報、その運用情報を公開することはプライバシー上好ましくないため、各ＤＣ事業者の機器情報を公開せずに運用計画を最適化することが求められる。特許文献１では、配電系統運用事業者と分散エネルギーリソース（ＤＥＲ）を所持するＤＥＲ事業者等との間での協調運用計画の作成に関して、全体のエネルギーコストを最小化する問題を、配電系統運用事業者が各事業者の発電量を決定に相当する主問題と、各事業者が所持する機器の制御を決定に相当する従属問題に分解し、発電量、エネルギーコストといった情報をやり取りしながら、交互に解き合うことで繰り返すことで全体最適な運用計画を作成する手法が公開されている。

特開２０２１－１３６７５７号公報

特許文献１では、配電系統運用事業者とＤＥＲ事業者、ＤＣ事業者とＤＣ利用者といった片方の運用計画が他方の運用計画の一部になるような、二階層の関係を持つ事業者間で運用計画の最適化が可能である。ただし、ＤＣ事業者は、自身の運用計画の一部であるＤＣ利用者（データセンタ内）と、自身の運用計画が相手の運用計画の一部になるような送配電事業者や電力小売事業者（データセンタ外）といった、三回層の関係を持つ事業者間で協調した運用計画を立てる必要がある。データセンタ外との協調運用計画最適化において、データセンタの運用計画について再計画が繰り返し求められるため、データセンタ外からの再計画要求に対して、データセンタ内の協調運用計画最適化は高速に実施される必要がある。

本発明は、このような背景に鑑みてなされたものであり、その目的は、データセンタの運用計画制御部と、データセンタの利用者との協調運用計画最適化において、高速に計画、再計画することが可能な運用計画作成装置と、運用計画作成方法を提供することである。

上記課題を解決するために本発明は、ワークロードを実行する複数のサーバ装置と、サーバ装置のそれぞれに設けられたワークロード実行管理サーバと、実行管理サーバに接続される運用計画サーバを有し、ネットワークを介して複数の利用者がサーバ装置を使用するデータセンタに適用される。ワークロード実行管理サーバは、データセンタの利用者のワークロード（ＷＬ）実行を管理し、与えられた各タイムブロックでの消費電力（以下、消費パターン）への対応コストを算出するコスト算出部を有する。運用計画サーバは、利用者の消費パターンを記憶し、対応コストを含むコスト等の指標を最大化、あるいは最小化する最適化問題を作成する運用計画最適化問題作成部と、利用者からの応答履歴にある消費パターンについて、その消費パターンを一定のルールで変動させたものを該当する対応コストで利用可能になるようにする最適化式更新部と、更新された最適化式の解を求めることで利用者ごとの消費パターンと事業者が保持する機器の運用計画案を作成する運用計画案算出部を備えるように構成される。これらコスト算出部、協調運用計画最適化問題作成部、最適化式更新部、運用計画案算出部は、ワークロード実行管理サーバ又は運用計画サーバの有するプロセッサがそれらの機能を達成するための特定のコンピュータプログラムを実行することによってソフトウェアにより実現できる。

本発明の別の特徴によれば、運用計画サーバは、利用者の消費パターンに対し、事前に登録された該当する利用者の消費パターンベースラインを比較し、それぞれの消費パターンにおいて、各タイムブロックにおける実行待ちジョブキューの量に対応する消費電力の下限を算出し、利用者から消費パターンと対応コストを受け取る度に、その消費パターンから算出されたジョブキューについて、その実行を早めることで実現可能な消費パターン（以下、早期実行パターン）について、該当する対応コストで利用可能になるようにすべてのユーザーに対する運用計画最適化式を更新する。

本発明のさらに別の特徴によれば、運用計画サーバは、作成されたワークロードの運用計画を作成又は変更する際に、サーバ装置の利用者ごとの消費パターンとその対応コストを算出し、サーバ装置の利用者の消費パターンを考慮した対応コストの指標を最大化、あるいは最小化する最適化式を作成し、利用者からの過去の応答履歴にある消費パターンについて、消費パターンを一定のルールで変動させたものを該当する対応コストで利用可能になるようにする最適化式を更新し、更新された最適化式の解を求めることで、利用者ごとの消費パターンとデータセンタの事業者が保持する機器の運用計画を作成する。

本発明により、運用計画サーバが、ワークロード（ＷＬ）実行管理サーバと各データセンタ（ＤＣ）利用者の消費パターンについて交渉を行いながら運用計画を作成することで、データセンタ利用者の個別のワークロード情報をデータセンタ事業者に公開することなく、データセンタの消費電力を目標に近づくよう調整した協調運用計画を作成できる。また、この調整を行うために、データセンタ利用者に支払う対応コストを含むデータセンタ事業者が支払う総コストを最小に抑えることが可能になる。さらに、交渉の際に、過去に提案した消費パターンにおいて実行が遅延していたジョブの早期実行を考慮することで、全体の交渉回数を削減し、高速に再計画を行うことができる。

上記した以外の構成及び効果等は、以下の実施形態の説明により明らかにされる。

本実施形態に係る運用計画作成システムの構成の一例を示す図である。 図１の運用計画サーバ６０が備えるハードウェア及び機能の一例を説明する図である。 図２の利用者管理テーブル１００の一例を示す図である。 図２の応答結果管理テーブル２００の一例を示す図である。 図２の消費パターンベースライン管理テーブル３００の一例を示す図である。 図２のＷＬ実行管理サーバ７０が備えるハードウェア及び機能の一例を説明する図である。 図６のＷＬ管理テーブル５００の一例を示す図である。 図６の応答履歴テーブル６００の一例を示す図である。 ＤＣ利用者の消費パターンの一例を示す図である。 早期実行による消費パターンの変動とコスト同一視の一例を示す図である。 協調運用計画第１作成処理の一例を説明する図である。 図１１の協調運用計画最適化問題作成処理の詳細を説明するフローチャートである。 図１１のジョブキュー算出処理の詳細を説明するフローチャートである 図１１の最適化式更新（早期実行パターンの同一コスト化）処理の詳細を説明するフローチャートである。 図１１の対応コスト算出処理の詳細を説明するフローチャートである。 ＤＣ事業者に対する管理画面の一例を示す図である。 ＤＣ利用者に対する管理画面の一例を示す図である。 協調運用計画第２作成処理の一例を説明する図である。

図１は、本実施形態に係る運用計画作成システム１の構成の全体構成の一例を示す図である。本発明の運用計画作成システム１は、データセンタ２０と、ネットワーク５を介して接続される統合ＤＣ管理システム９０を含んで構成される。電力小売事業者２よりデータセンタ２０に必要な電力が供給される。本実施形態に係る運用計画作成装置は、データセンタ２０上に設置される。データセンタ２０は、運用計画サーバ６０と、ＤＣ利用者（Ａ、Ｂ、ＤＣ事業者）ごとにＷＬ実行管理サーバ７０を備える。また、ＤＣ事業者、ＤＣ利用者ごとにサーバ装置８１、ストレージ装置８２、及び、ＮＷ（ネットワーク）機器８３をそれぞれ１つ又は複数準備される。サーバ装置８１は、ＤＣ利用者のワークロードを実行するための機器であり、ＷＬ実行管理サーバ７０はサーバ装置８１におけるワークロードの実行を管理する機器である。ＮＷ機器８３は、ネットワークスイッチ等を含む公知の機器である。これらの設備や機器は、サーバ装置８１で実行されるワークロード（ＷＬ）に比した電力を消費しつつ稼働する。

ＤＣ事業者用端末９５は、データセンタ２０を管理するＤＣ事業者９６が利用する情報処理装置である。ＤＣ利用者用端末９７は、データセンタ２０を利用するＤＣ利用者９８が利用する情報処理装置である。ここでは、ＤＣ利用者９８を一人しか図示していないが、実際には多数の利用者が存在し、それぞれが使用する複数のＤＣ利用者用端末９７がネットワーク６に接続される。

統合ＤＣ管理システム９０は、計画閲覧用サーバ９１を一つの要素として備える。計画閲覧用サーバ９１は、ユーザー（ＤＣ利用者等）からのアクセスに対し、運用計画サーバ６０、ＷＬ実行管理サーバ７０の必要な情報をネットワーク５、６を介して取得し、ＤＣ利用者端末９８にて計画閲覧用の画面を提示する。利用者端末９８は、計画閲覧用の画面から、ユーザーからの入力指示を受けて、前記統合ＤＣ管理システム９０やデータセンタ２０側に伝達することができる。統合ＤＣ管理システム９０は、例えば、ＳａａＳ（Software as a Service）として、ＤＣ事業者９６とＤＣ利用者９８に提供される。すなわち、統合ＤＣ管理システム９０は、ＤＣ事業者用端末９５及びＤＣ利用者端末９７から、ネットワーク６経由でアクセスされる。

電力小売事業者２からの電力は、第２のデータセンタ（ＤＣ２）２１、ＤＥＲ事業者４０、一般需要家５０に供給される。第２のデータセンタ２１は、第１のデータセンタ（ＤＣ１）と同様の構成で実現できる。尚、図１では、電力小売事業者２からの電力供給を受けるデータセンタとして、２０と２１の２つだけを図示しているが、実際には多数のデータセンタが存在する。需給調整サーバ１０は電力小売事業者２内に設置されるコンピュータであり、需要予測に基づき電力の運用計画を作成し、需要の調整が必要になった際には、データセンタ２０、２１、ＤＥＲ事業者４０、一般需要家５０に運用計画の再計画を依頼することにより、電力融通を行う。

運用計画サーバ６０は、データセンタ２０内での各サーバの運用計画を立案する。即ち、運用計画サーバ６０は、計画対象の時間帯をいくつかのタイムブロックに分割し、各タイムブロックでの、ＤＣ事業者９６の所有機器の制御パラメタと、各ＤＣ利用者９８による消費電力を決定する。本実施形態では、タイムブロックの長さとして、３０分単位の運用計画作成を行う。尚、タイムブロックは３０分単位でなく、それよりも長い単位又は短い単位であっても良く、例えば１時間単位であっても良い。

ＷＬ実行管理サーバ７０は、運用計画サーバ６０によって決定される各タイムブロックでの消費電力（以下、消費パターン）を実現するためのワークロード実行計画を作成し、その消費パターンを実現するのに必要なコスト（以下、対応コスト）を算出する。運用計画サーバ６０とＷＬ実行管理サーバ７０は、消費パターンと対応コストのやり取りを行い、ＤＣ事業者が定める指標（例として、総コスト）を最大化あるいは最小化する運用計画を作成する。

図２は、運用計画サーバ６０が備えるハードウェア及び機能の一例を説明する図である。運用計画サーバ６０は、処理装置６１と、メモリ６２と、記憶装置６３と、通信装置６４を含んで構成される。処理装置６１には、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）等のプロセッサが含まれ、記憶装置６３に格納された種々のプログラムを実行することにより、本実施例による運用計画作成方法を実施する。メモリ６２は、主記憶装置と呼ばれるもので、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。記憶装置６３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの補助的な記憶装置である。通信装置６４は、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、又は、シリアル通信モジュール等の公知のネットワーク用インターフェースを用いて構成される。

運用計画サーバ６０の記憶装置６３には、協調運用計画最適化問題作成プログラム６５、ジョブキュー算出プログラム６６、運用計画案算出プログラム６７、最適化式更新プログラム６８の各プログラムが格納される。記憶装置６３にはここで示したプログラム以外にも、他のプログラムも格納される。記憶装置６３には、ＤＣ利用者管理テーブル１００、応答結果管理テーブル２００、消費パターンベースライン管理テーブル３００が格納され、処理装置６１によって実行される各プログラム（６５～６８）により参照され、更新される。

協調運用計画最適化問題作成プログラム６５は、ＤＣ事業者９６が所持する各機器の制御と各ＤＣ利用者９８の消費パターンを変数として用いて、各ＤＣ利用者９８の消費パターンの対応コストを含むコスト等の指標を最大化、あるいは最小化する最適化問題を作成する。協調運用計画最適化問題作成プログラム６５を実行させることで達成される機能が、本発明の「協調運用計画最適化問題作成部」に対応する。

ジョブキュー算出プログラム６６は、ＤＣ利用者９８の消費パターンに対し、消費パターンベースライン管理テーブル３００に登録された該当するデータセンタの利用者の消費パターンを比較し、それぞれの消費パターンにおいて、各タイムブロックにおける実行待ちジョブキューの量に対応する消費電力の下限を算出する。ジョブキュー算出プログラム６６を実行させることで達成される機能が、本発明の「ジョブキュー算出部」に対応する。

最適化式更新プログラム６８は、ＤＣ利用者９８から消費パターンと対応コストを受け取る度に、ジョブキュー算出プログラム６６で算出されたジョブキューについて、その実行を早めることで実現可能な消費パターン（以下、早期実行パターン）について、該当する対応コストで利用可能になるよう運用計画最適化式を更新する。最適化式更新プログラム６８を実行させることで達成される機能が、本発明の「最適化式更新部」に対応する。

運用計画案算出プログラム６７は、協調運用計画最適化問題作成プログラム６５で作成され、最適化式更新プログラム６８で更新される最適化問題を解き、その最適解として得られる、ＤＣ事業者９６の機器の制御計画とＤＣ利用者９８ごとの消費パターンを出力する。運用計画案算出プログラム６７を実行させることで達成される機能が、本発明の「運用計画案算出部」に対応する。なお、図２で示す運用計画サーバ６０は、マウスやキーボード等で構成される入力装置と、液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイ等で構成される出力装置を備えていても良い。

次に、運用計画サーバ６０が記憶する各情報の詳細を説明する。

（利用者一覧テーブル）
図３は、利用者一覧テーブル１００の一例を示す図であり、各ＤＣ利用者９８のＩＤ情報と運用計画最適化に応答可能か否かが格納される。利用者一覧テーブル１００は、ＤＣ利用者９８の名前（利用者名１０１）と、利用者の識別情報（利用者ＩＤ１０２）と、利用者名１０１及び利用者ＩＤ１０２で特定されるＤＣ利用者９８が、協調運用計画作成時に応答することが可能か不可かを示す情報１０３によって、１つのレコードが構成される。図３の例では、利用者ＩＤ１０２が１である利用者Ａが、協調運用計画作成時に応答可能であることが格納され、利用者ＩＤ１０２が２である利用者Ｂが、協調運用計画作成時に応答不可能であることが格納されている。

（応答結果管理テーブル）
応答結果管理テーブル２００は、ＷＬ実行管理サーバからの各応答と算出したジョブキューを記憶したテーブルである。図４は、応答結果管理テーブル２００の一例を示す図である。応答結果管理テーブル２００は、ＤＣ利用者９８の識別情報が設定される利用者ＩＤ２０１（図３の利用者一覧テーブル１００の利用者ＩＤ１０２に対応）で示すＤＣ利用者９８ごとに、応答に対して一意の識別情報をそれぞれ設定する。例えば、利用者ＩＤ２０１が“１”のＤＣ利用者９８から、２つの応答を得る場合は、応答ＩＤ２０２として、“１”、“２”が付与される。対応コスト２０３は、利用者ＩＤ２０１に対する応答ＩＤ２０２の応答に要する費用を格納したものである。ここでは、１回の費用が、５００円、１０００円であることが格納される。反映済フラグ２０４は、応答の情報が最適化式へ反映されたか否かの結果を格納する。

反映済２０４の欄以降は、応答における消費パターンから算出される消費電力２１０と、ジョブキュー算出プログラム６６で算出されたジョブキューの実行にて算出される消費電力２２０が格納される。ここでは、カラム２１０、２２０が時間帯に分けられて複数設けられる。例えば先頭の列、即ち利用者ＩＤ“１”、応答ＩＤ“１”では、０：００～０：３０での消費パターンの処理実行に要する消費電力２１０が２ｋＷｈ、同時間内におけるジョブキューの処理実行に要する消費電力２２０が２ｋＷｈであることを示し、０：３０～１：３０での消費パターンの処理実行に要する消費電力２１０が３ｋＷｈ、同時間内におけるジョブキューの処理実行に要する消費電力２２０が３ｋＷｈであることを示している。

同様にして、同じ利用者ＩＤ２０１の別の応答ＩＤ２０２に関する消費電力２２０、２３０も格納される。さらに、別の利用者ＩＤ２０１のすべての応答ＩＤ２０２に関する消費電力２２０、２３０もそれぞれ格納される。利用者ＩＤ２０１が“１”、応答ＩＤ２０２が“２”の列では、消費電力２１０、２２０が算出されているが、それらは反映済フラグ２０４がＦａｌｓｅであるため、反映されていないことを示している。このように応答結果管理テーブル２００は各項目を有する１以上のレコードで構成される。

（消費パターンベースライン管理テーブル）
消費パターンベースライン管理テーブル３００は、各ＤＣ利用者９８のＩＤ情報と運用計画最適化に応答可能か否かを記憶したテーブルである。図５は、消費パターンベースライン管理テーブルの一例を示す図である。消費パターンベースライン管理テーブル３００は、ＤＣ利用者９８の識別情報が設定される利用者ＩＤ３０１（利用者一覧テーブル１００の利用者ＩＤ１０２に対応）、そのＤＣ利用者９８が自身の都合のみを考慮したワークロード実行計画における消費パターン３１０の各項目を有する１以上のレコードで構成される。消費パターンベースライン管理テーブル３００では、利用者ＩＤ“１”のＤＣ利用者９８は、いつもの消費パターンによると０：００～０：３０の消費電力が２ｋＷｈ、０：３０～１：００の消費電力が３ｋＷｈ、１：００～１：３０の消費電力が２ｋＷｈ、１：３０～２：００の消費電力が３ｋＷｈであることを示している。尚、消費パターン３１０でのワークロード実行計画においては、ワークロードの実行が可能になると直ちに実行しても良いし、ジョブキューに入れてワークロードの実行を遅らせても良い。

図６は、ＷＬ実行管理サーバ７０が備えるハードウェア及び機能の一例を説明する図である。ＷＬ実行管理サーバ７０は、ＣＰＵ、ＤＳＰ、ＧＰＵ、ＦＰＧ等の処理装置７１（プロセッサ）と、ＲＯＭ、ＲＡＭ等のメモリ（主記憶装置）７２と、ＨＤＤ、ＳＳＤなどの記憶装置７３と、ＮＩＣ、無線通信モジュール、ＵＳＢモジュール、又はシリアル通信モジュール等で構成される通信装置７４とを備える。処理装置７１は、記憶装置７３に格納された種々のプログラムを実行することにより、ワークロードの実行管理を行う。ここでは図示していないが、ＷＬ実行管理サーバ７０には、マウスやキーボード等の入力装置と、ディスプレイ等の出力装置を備えても良い。記憶装置７３には、対応コスト算出プログラム７５、ＷＬ制御計画実行プログラム７６を含む複数の図示しないプログラムが格納される。また、様々なプログラムの実行時に参照、変更されるＷＬ管理テーブル５００、応答履歴テーブル６００を含む各情報を管理している。

対応コスト算出プログラム７５は、消費パターンを入力として受け取り、ワークロード実行計画を作成し、その消費パターンを実現するためにＤＣ利用者９８にワークロード計画、ジョブ実行計画の変更を要求するために支払うコストを算出する。対応コスト算出プログラム７５を実行させることで達成される機能が、本発明の「コスト算出部」に対応する。ＷＬ制御計画実行プログラム７６は、ワークロード実行計画に基づいて、ワークロードの実行をリアルタイムに制御する。ＷＬ制御計画実行プログラム７６を実行させることで達成される機能が、本発明の「ＷＬ制御計画実行部」に対応する。

次に、ＷＬ実行管理サーバ７０が記憶する各情報の詳細を説明する。

（ＷＬ管理テーブル）
ＷＬ管理テーブル５００は、各ワークロードの情報を記憶したテーブルである。図７は、ＷＬ管理テーブルの一例を示す図である。ＷＬ管理テーブル７００は、ワークロードの識別情報が設定されるワークロードＩＤ５０１、そのワークロードが実行されることによって消費されることが予想される電力の消費電力（見積）５０２、そのワークロードの実行を遅延させる期限を示す実行期限５０３、実行を遅らせることによるＤＣ利用者９８が被る損失に応じてＤＣ事業者９６に請求する実行遅延コスト５０４が格納される。図７で示すようにＷＬ管理テーブル７００には、ワークロードＩＤ５０１で識別される１以上のレコードで構成される。

実行遅延コスト５０４は、一例として、ワークロードを即時実行しない場合の遅延コスト、実行期限から遅れる際の遅延コストで表される。この遅延コストは、協調運用計画最適化問題を解くための数式にて用いられる値であって、その単位は、円（￥）である。尚、単位は円だけに限られずに、その他の形式であっても、実行時刻に対し実行遅延コストが定義される単調増加な関数で表せるものであれば良い。ＷＬ管理テーブル７００の各列に記録されるレコードは、定期実行されるワークロードや事前登録されたワークロードといった、事前に情報が得られているものの他に、ウェブサイトのアクセス等に起因するワークロードといった、事前に正確なワークロード情報が得られないものについての予測に基づいて生成されたものが含まれる。

（応答履歴テーブル）
応答履歴管理テーブル６００は、ＷＬ（ワークロード）実行管理サーバ７０が運用計画サーバ６０に送信した応答とその応答におけるワークロードの実行計画を記憶したテーブルである。図８は、応答履歴管理テーブル６００の一例を示す図である。実行管理サーバ７０が運用計画サーバ６０に応答を送信すると、その応答に対して一意の識別情報、即ち、応答ＩＤ６０１が設定される。応答履歴管理テーブル６００には、応答ＩＤ６０１で識別される１以上のレコードで構成され、それぞれのレコードに、応答における対応コスト６０２、応答における消費電力６１０、消費電力を実現する際に各タイムブロックで実行するワークロードＩＤを示す実行ＷＬ６２０の各項目を有する。例えば、応答ＩＤ３０１が“１”のレコードでは、実行管理サーバ７０が運用計画サーバ６０に対して、運用計画を実行ＷＬ６２０（０：００～０：３０までは実行ワークロードが“１、３”、０：００～０：３０までは実行ワークロードが“２、４、６、７、９”）のように変更した際の消費電力６１０が、それぞれ１Ｋｗｈ、５Ｋｗｈとなることが示され、その実行計画の変更のためにＤＣ利用者９８に支払われるコスト６０２が４００円であることが記録される。同様にして複数の応答の履歴が応答履歴テーブル６００に格納される。尚、応答ＩＤ６０１のコストが“Ｉｎｆ￥”と表示されているのは、コストが無限大で実行不可能という意味であり、実行ワークロードが“Ｎ／Ａ（Not Applicable）”と格納され、消費電力６１０にはそれぞれ０ｋＷｈと格納される。

以上に説明した運用計画サーバ６０、ＷＬ実行管理サーバ７０の機能は、処理装置６１、７１が、補助記憶装置６３、７３に格納されているプログラムを読み出して処理装置６１、７１が実行することにより実現される。また上記のプログラムは、例えば、可搬型の記録媒体に記録して配布することができるし、ネットワークを介してプログラム配布サーバからダウンロードさせることもできる。なお、各サーバ６０、７０は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであっても良い。また、各情報処理装置によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現しても良い。

次に、図９の消費パターン７００を用いて、ＤＣ利用者９８の消費パターンの一例を説明する。消費パターン７００は、ＤＣ利用者９８の識別情報が設定される利用者ＩＤ７０１（利用者一覧テーブル１００の利用者ＩＤ１０２に対応）、運用計画の対象期間のタイムブロックごとのＤＣ利用者９８の消費電力量を時間毎に格納したものである。ここでは時間毎の消費電力７１０、７１１、７１２、７１３・・・で構成される。図７では、０：００～２：００までの消費電力だけが示されているが、それ以上の時間帯、好ましくは、２４時間分の消費パターンが格納される。運用計画作成時には、この消費パターン７００を実行ワークロード案として運用計画サーバ６０からＷＬ実行管理サーバ７０に送信され、ＷＬ実行管理サーバ７０は、その消費パターンの実現のために要する対応コストを返信する。運用計画作成が完了し、各ＤＣ利用者９８の消費パターンが確定すると、ＤＣ利用者９８は、ＤＣ事業者９６から前記対応コストを受け取る代わりに、その消費パターンを実現するべく、計画されたワークロードの実行に責任を負うことになる。

次に、ワークロードの早期実行と対応コストの同一視について説明する。消費パターンＡが、消費パターンＢの早期実行パターンにあたるとは、消費パターンＢでのワークロード実行計画に対し、消費パターンＡを実現し、なおかつ全ワークロードについて、消費パターンＢのワークロード実行計画での実行時刻よりも早く実行するワークロード実行計画が存在することを意味する。その判定は、消費パターンＡと消費パターンＢと消費パターンＢにおけるジョブキューを用いて判定される。以下、判定の条件を示す。

（１）消費パターンのうち、ジョブキューの減少量に相当する（ジョブキューから取り出して実行した分の）消費電力をバッチジョブ分、その他をインタラクティブジョブ分とする。全タイムブロックについて、消費パターンＡの消費電力が、消費パターンＢのインタラクティブジョブ分の消費電力を上回っているか判定する。これにより、消費パターンＡにおいて、インタラクティブジョブについては同様の時刻に実行できることが確認できる。

（２）各時刻ｔについて、「消費パターンＡにおける開始時刻から時刻ｔまでの消費電力の総和」が、「消費パターンＢにおける開始時刻から時刻ｔまでの消費電力の総和」よりも大きく、「消費パターンＢにおける開始時刻から時刻ｔまでの消費電力とジョブキューの和の総和」よりも小さいことを確認する。これにより、各時刻までに実行できるワークロードの総量が消費パターンＢに比べ消費パターンＡの方が大きいこと、消費パターンＡがワークロードの実行時刻を変更することで実現可能であることが確認できる。

以上の条件（１）、（２）を合わせることで、消費パターンＢのワークロード実行計画を用いて、インタラクティブジョブの実行はそのまま、バッチジョブの実行時刻を早めることで消費パターンＡが実現可能であることが確認できる。

図１０は、早期実行による消費パターン変動とコスト同一視の一例を示す図である。この例を用いて早期実行にあたるかの判定と、コスト同一視を説明する。（ａ）～（ｅ）に示す枠内の消費パターンと、ジョブキーの横軸は、時間枠であり、例えば、ｔ＝１～６が、継続する時間の３０分の区間を示す。例えば、時間ｔ＝１は、０：００～０：３０であり、時間ｔ＝２は０：３０～１：００、時間ｔ＝３は１：００～１：３０であり、同様に時間ｔ＝６は２：３０～３：００に相当する。現在、図１に示したＷＬ実行管理サーバ７０は、運用計画サーバ６０（参照）から、応答１（１２０１）の消費パターンとジョブキュー、応答２（１２０２）の消費パターンとジョブキューが得られているとする。

消費パターン１（１２０３）は、応答１（１２０１）のうち時間ｔ＝６で実行されるバッチジョブと、最後まで実行されていないバッチジョブを時間ｔ＝５に実行するパターンであり、これは、条件（１）、（２）を満たしている。従って点線１２１１で示したように消費パターン１（１２０３）は、応答１（１２０１）の早期実行パターンに該当する。

一方、応答２（１２０２）と消費パターン１（１２０３）を比較すると、条件（２）を満たさないため、消費パターン１（１２０３）は応答２（１２０２）の早期実行パターンに当たらない。実際、時間ｔ＝４で実行されるバッチジョブの実行を遅らせなければ、消費パターン１は実現できない。ここで、消費パターン１（１２０３）は条件を満たす中で最も安価な応答１の早期実行パターンとみなし、その対応のためにワークロード事業者９６側がワークロード使用者９８に対して支払う費用と、それに対応する消費電力の加算分の合計が５０００円で実行可能とみなされる。

消費パターン２（１２０４）は、応答１（１２０１）、応答２（１２０２）について、双方とも条件（１）、（２）を満たしている。ここで、消費パターン２は、矢印１２１２、１２１３に示すように、条件を満たす中で最も安価な応答２（１２０２）の早期実行パターンとみなし、そのコスト１０００円で実行可能とみなされる。

消費パターン３（１２０５）は、応答１（１２０１）、応答２（１２０２）について、条件（１）を満たしていない。実際、時間ｔ＝５の消費電力が、応答１（１２０１）、応答２（１２０２）の時間ｔ＝５のインタラクティブジョブ分の消費電力を共に下回っており、インタラクティブジョブが実行できていない。従って、消費パターン３（１２０５）は、応答１（１２０１）、応答２（１２０２）の早期実行パターンに該当しないことになる。尚、ベースラインは一意に定まるものではなくて、応答１、応答２、応答３…とそれぞれについてチェックするものである。消費パターン３は条件を満たすものが存在しないため、どの応答とも同一視されず、あらかじめ定義された新規探索コスト（ｃｏｓｔ_{ｓｅａｒｃｈ}）や、推定されたコスト等で実行可能とみなされる。

次に、協調運用計画作成時の需給調整サーバ１０、運用計画サーバ６０、ＷＬ実行管理サーバ７０が実行する処理について説明する。

＜協調運用計画第１作成処理＞
図１１は、協調運用計画第１作成処理の一例を説明する図である。この処理は、例えば、時間間隔（例えば、毎日午前０時）又は、関連する事業者が要求した場合に開始される。この処理では、データセンタ２０の需給調整サーバ１０からの要求によって、データセンタ２０側で協調運用計画が再計画される。需給調整サーバ１０からの再計画要求を受けたデータセンタ２０側では、複数のＷＬ実行管理サーバ７０と運用計画サーバ６０のやり取りを介して協調運用計画の再作成が行われる。

まず、運用計画サーバ６０は、各事業者のＷＬ実行管理サーバ７０にベースラインとなる消費パターンの作成要求を送信する（ｓ１）。ＷＬ実行管理サーバ７０は、この作成要求を受信すると、運用計画サーバ６０に、自身の都合のみを考慮してワークロードを実行する際の電力の消費量を求め、図９に示した消費パターン７００を送信する（ｓ２）。運用計画サーバ６０は、受信した消費パターン７００（図９参照）を消費パターンベースライン管理テーブル３００（図２参照）に登録する。

次に、運用計画サーバ６０は、需給調整計画サーバ１０からの再計画要求を受信する（ｓ３）と、ＷＬ実行管理サーバ７０と協調して一連の運用計画作成処理を開始する。ここで、再計画要求の一例としては、デマンドレスポンス要求や、電力価格の変動があげられる。

運用計画サーバ６０は、協調運用計画最適化問題作成処理ｓ１１を実行する。ここでは、データセンタ２０が所持する各機器（図１の８１、８２、８３等）の制御と、ＤＣ利用者９８ごとの消費パターン７００（図９参照）と、その消費パターン７００が応答履歴管理テーブルの各応答についてその早期実行パターンにあたるかを変数として示したものを情報として含む。運用計画サーバ６０は、これらの情報を用いて各ＤＣ利用者９８の消費パターンの対応コストを含むコスト等の指標を最大化、あるいは最小化する最適化問題を作成する協調運用計画最適化問題作成処理ｓ１１を実行する。

運用計画サーバ６０は、ｓ１１にて作成された最適化問題を解き、その最適解として、運用計画案作成処理ｓ１２を実行する。運用計画案作成処理ｓ１２では、ＤＣ事業者９６の使用機器の制御計画案と各ＤＣ利用者９８の消費パターン案を考慮して、過去のどの応答の早期実行パターンにあたるか、もしくは過去のいずれの応答の早期実行パターンにもあたらないかを出力する。早期実行パターンの判定は、最適化式更新処理ｓ１５で導入されるバイナリ変数を参照することで容易に実施できる。

運用計画サーバ６０は、運用計画案作成処理ｓ１２の出力に基づき、ＤＣ利用者９８の計画が過去の応答のいずれかの早期実行パターンとみなせるかを、全利用者に対して順次判定する（ｓ１３）。少なくとも一つの利用者が過去のいずれの応答の早期実行パターンにもあたらない場合は（ｓ１３でＮＯの場合）、運用計画サーバ６０は運用計画案作成処理ｓ１２の出力の一つである各ＤＣ利用者９８の消費パターン７００を対応するＤＣ利用者９８のＷＬ実行管理サーバ７０に送信する（ｓ４）。この際、送信する消費パターンが過去の応答のいずれかの早期実行パターンにあたっているＤＣ利用者９８については、応答結果管理テーブル２００から対応する応答ＩＤを合わせて送信する。その後、ｓ２１からの一連の処理（対応コスト算出）が実行される。一方、全利用者が過去の応答のいずれかの早期実行パターンとみなせる場合は（ｓ１３がすべてＹＥＳ）、運用計画サーバ６０は、ｓ６からの一連の処理を実行する。

運用計画サーバ６０から消費パターン７００を受信したＷＬ実行管理サーバ７０は、対応コスト算出処理ｓ２１を実行する。対応コスト算出処理ｓ２１では、運用計画サーバ６０から受信した消費パターン７００（応答ＩＤ含む）を入力として、ワークロード実行計画を作成し、その消費パターンを実現するためにＤＣ利用者９８に要求する対応コストを算出する。また、ＷＬ実行管理サーバ７０は、受信した消費パターン７００とｓ２１で算出した対応コストに一意の識別情報を付与して、運用計画サーバ６０に応答を送信する。運用計画サーバ６０は、受信した内容を、応答履歴テーブル６００に追加する（ｓ５）。

運用計画サーバ６０は、受信したＤＣ利用者９８の消費パターンに対してジョブキュー算出処理ｓ１４を実行する。ジョブキュー算出処理ｓ１４では、消費パターンベースライン管理テーブル３００（図２参照）に登録された該当する利用者の消費パターンを比較し、それぞれの消費パターンにおいて、各タイムブロックにおける実行待ちワークロードの量に対応する消費電力の下限を算出する。次に、運用計画サーバ６０は、最適化式更新処理ｓ１５を実行する。最適化式更新処理ｓ１５では、応答結果管理テーブル２００（図２参照）に登録された新規レコードごとに、その実行を早めることで実現可能な消費パターン（以下、早期実行パターン）について、該当する対応コストで利用可能になるよう運用計画最適化式を更新する。

次に、運用計画サーバ６０は、終了条件を満たした運用計画を電力小売事業者２の需給調整サーバ１０に送信する（ｓ６）。運用計画サーバ６０は、各ＤＣ利用者９８のＷＬ実行管理サーバ７０に、終了条件を満たした運用計画における確定消費パターンとして送信する（ｓ７）。ＷＬ実行管理サーバ７０は、受信した確定消費パターンに基づき、その消費パターンを満たすようにワークロードの実行を制御する（ｓ２２）。

需給調整サーバ１０は、受信した計画について、需給調整の目的を満たしていれば（ｓ９でＹＥＳの場合）、処理を終了し、そうでなければ（ｓ９でＮＯの場合）、需給調整の目的を達成すべく、再度、再計画要求を送信するため、ｓ３に戻り、ｓ３以降の処理を実行させる。

次に、図１１のうち、ｓ１１、ｓ１４、ｓ１５、ｓ２１の各処理の詳細を説明する。

＜協調運用計画最適化問題作成処理＞
図１２は、図１１で示した協調運用計画最適化問題処理ｓ１１の詳細手順を説明するフローチャートである。まず、協調運用計画最適化問題プログラム６５（図２参照）は、以下のｓ２０１、ｓ２０２の処理を全ＤＣ利用者９８に対してＳ２０１とＳ２０２のステップを繰り返し実行する。

最初に、ＤＣ利用者９８の消費パターンを扱うため、各タイムブロックの消費電力を表す変数を導入する（ｓ２０１）。導入された変数に対し、上限、下限の制約を追加する （ｓ２０２）。これらの制約はＤＣ利用者９８が利用する機器の最大出力等から設定しても良いし、ＤＣ利用者９８から情報が提供される場合はそれを利用しても良い。次に、ＤＣ事業者９６がＤＣ利用者９８でもある場合には、ＤＣ事業者９６自身で実行するワークロードがあれば、その情報を反映する（ｓ２０４）。処理装置６１はｓ２０４において、ＤＣ事業者９６のＷＬ実行管理サーバ７０のＷＬ管理テーブル５００から、ワークロードの実行時刻を変数として追加し、その実行時刻に対応するＷＬ実行遅延コストを目的に追加する。

次に、処理装置６１はＤＣ事業者９６の制御可能な全機器について、その機器が可能な行動とそのコストを反映する（ｓ２０５）。ここで追加される変数として、その機器が各タイムブロックで消費する電力の他に、機器の電源ＯＮ／ＯＦＦといった制御のためのパラメタも含まれうる。ここでの処理は、データセンタの所持する機器から事前に変数、制約等を作成しておき、反映させることができる。次に、処理装置６１は需給調整サーバから受信した、電力価格、ＤＲ要求等の情報を反映し、データセンタ２０全体の消費パターンについて、制約を追加し、電力コストを目的に追加する（ｓ２０６）。

次に、応答結果管理テーブルの各レコードについて、反映済を“Ｆａｌｓｅ”に変更する（ｓ２０７）。最後に、最適化式更新（早期実行パターンの同一コスト化）処理（ｓ１５）を実行することで協調運用計画の最適化問題作成処理を終了する。最適化式更新処理ｓ１５は、図１１で示したｓ１１及び、図１４で後述するｓ１５と同一である。なお、ここで説明した協調運用計画最適化問題作成方法の手順は一例であり、協調運用計画最適化問題作成プログラム６５は、例えば、再生エネルギー利用率といった指標を最大化にするような処理を行うように作成されても良い。

＜ジョブキュー算出処理＞
図１３は、図１１で示したジョブキュー算出処理ｓ１４の詳細手順を説明するフローチャートである。図１３の処理は、運用計画サーバ６０の処理装置６０が、図２で示したジョブキュー算出プログラム６６を実行することで行う。まず、ジョブキュー算出プログラム６６は、新たに受信した応答のうち未処理のものを一つ選択する（ｓ３０１）。次に、影響度算出プログラム６６は、ｓ３０１で選択した応答について、消費パターンベースライン管理テーブル３００からその応答に対応するＤＣ利用者９８の消費パターンベースラインを取り出し、その差分（Ｘ_{ｄｉｆｆ，ｔ}）を求める（ｓ３０２）。

次に、ジョブキュー算出プログラム６６は、消費パターンベースラインでのキューの下限（Ｑ_ｂｔ）と新たに受信した応答でのキューの下限（Ｑ_ｓｔ）を、以下のｓ３０４処理を時刻０から繰り返すことで算出する（ｓ３０３）。
ｃ ＝ ｍｉｎ（Ｑ_ｂｔ ＋ Ｘ_{ｄｉｆｆ，ｔ}、Ｑ_ｓｔ）とし、
Ｑ_ｂｔ＋１＝Ｑ_ｂｔ ＋ Ｘ_{ｄｉｆｆ，ｔ} ＋ ｃ、Ｑ_ｓｔ＋１ ＝ Ｑ_ｓｔ ＋ ｃ
と代入する（ｓ３０４）。この処理は、消費パターンの変動がワークロードの実行を遅延させジョブキューに入れる、あるいはジョブキューからワークロードを取り出し早期実行する、という二つの操作のいずれかに起因すると仮定し、その二つの操作がベースライン側で行われたか、新たに受信した応答側で行われたかの計４パターンについて、新たに受信した応答でのジョブキューの量が最も少なくなるパターンを選択することに相当する。

次に、新たに受信した応答の利用者ＩＤ、応答ＩＤ、コスト、消費パターンと算出したジョブキューを、反映カラムをＦａｌｓｅとして、応答結果管理テーブルに追加する（ｓ３０５）。次に、ジョブキュー算出プログラム６６は、ｓ３０１～ｓ３０５の処理を全ての応答について実行したか否かを確認する（ｓ３０６）。ｓ３０１～ｓ３０５の処理を全ての応答について実行した場合は（ｓ３０６でＹｅｓの場合）、処理装置６１（図２参照）は、ジョブキュー算出処理ｓ１４を終了する。ｓ３０１～ｓ３０５の処理を実行してない応答がある場合は（ｓ３０７：Ｎｏ）、ジョブキュー算出プログラム６６は、その応答を選択すべくｓ３０１の処理に戻り、Ｓ３０１～Ｓ３０６の処理を繰り返す。

＜最適化式更新処理＞
図１４は、図１１で示した最適化式更新処理ｓ１５の詳細手順を説明するフローチャートである。まず、図２で示した最適化式更新プログラム６８は、応答結果管理テーブル２００から、反映済カラムが“Ｆａｌｓｅ”になっているレコードを一つ選択する（ｓ４０１）。次に、最適化式更新プログラム６８は、ｓ４０１で選択したレコードについて、その最適化式中の該レコードの利用者ＩＤ３０１（図５参照）の消費パターンが該レコードの消費パターンの早期実行パターンにあたるかを判定するバイナリ変数ｆｌｇ_ｉ，ｊを導入する（ｓ４０２）。

次に、該レコードの消費パターンとジョブキューから、ｆｌｇ_ｉ，ｊ＝１であれば、最適化式中の該レコードの利用者ＩＤの消費パターンが該レコードの消費パターンの早期実行パターンである、という関係が成り立つように制約を追加する（ｓ４０３）。一例としては、以下の処理を実行する。

（１）該レコードの消費パターンのうち、ジョブキューの量が減少量に相当する（ジョブキューから取り出して実行した分の）消費電力をバッチジョブ分、その他をインタラクティブジョブ分とする。各時刻の「最適化式中の消費パターン」が「インタラクティブ分＊ｆｌｇ_ｉ，ｊ」よりも大きいという制約を追加する。ここで“＊”は、乗算を示す記号である。

（２）全時刻について、「その時刻までの最適化式中の消費パターンの総和」が「その時刻までの該レコードの消費パターンの総和＊ｆｌｇ_ｉ，ｊ」よりも大きいという制約を追加する。

以上を実行することで、図１０の合致判定が可能になる。

次に、ｆｌｇ_ｉ，ｊ＝１であれば対応するコストを払うことでその消費パターンが利用できるように目的に追加する（ｓ４０４）。一例としては、以下の処理を実行する。
（ａ）該レコードのコストをｃｏｓｔとして目的に「ｃｏｓｔ＊ｆｌｇ_ｉ，ｊ」を追加する。
（ｂ）該レコードの利用者ＩＤについて、どの応答の消費パターンの早期実行パターンにも当たらないことを表すバイナリ変数ｆｌｇ_ｉが導入されていなければ、ｆｌｇ_ｉを導入し、新規探索のためのコストをｃｏｓｔ_{ｓｅａｒｃｈ}とし、目的に「ｃｏｓｔ_{ｓｅａｒｃｈ}＊ｆｌｇ_ｉ」を追加する。
（ｃ）該レコードの利用者ＩＤについて、関連するフラグがちょうど一つだけ立つように、「関連するフラグの総和」＝１という制約を追加する。

以上を実行することで図１０の各消費パターンのコストが求められる。

次に、応答結果管理テーブル２００の該レコードの反映済カラム２０４をＴｒｕｅに変更する（ｓ４０５）。次に、最適化式更新プログラム６８は、応答結果管理テーブル２００の全レコードが反映済みであるか確認する。全レコードが反映済みである場合は（ｓ４０６でＹｅｓの場合）、最適化式更新処理ｓ１５は終了する。反映済みでないレコードがある場合は（ｓ４０６でＮｏの場合）、最適化式更新プログラム６８は、そのレコードを選択すべくｓ４０１～ｓ４０５の処理を繰り返す。尚、ここで説明した最適化式更新方法は一例であり、最適化式更新処理プログラム６８は、同様の効果を生むような、制約と目的を追加するものであっても良い。また、ここで説明した新規探索コストは一例であり、例のようにあらかじめ定義した定数を利用するものや、応答回数に応じて変動させるもの、応答結果管理テーブル２００のレコードに応じて対応コストを推定するものであっても良い。

＜対応コスト算出処理＞
図１５は、対応コスト算出処理ｓ２１の処理の詳細を説明するフローチャートである。まず、対応コスト算出プログラム７５は、受信した消費パターンについて、過去の応答の早期実行パターンであるかの情報が提供されているかを判定する（ｓ５０１）。消費パターンがその早期実行パターンになる応答ＩＤが提供されている場合は（ｓ５０１でＹｅｓの場合）、簡易的にコストを算出するため、ｓ５１１以降の処理を実行する。応答ＩＤが提供されていない場合は（ｓ５０１でＮｏの場合）、消費パターンに合わせたワークロード実行計画を作成するため、ｓ５５１以降の処理を実行する。

次にｓ５１１～ｓ５１３の一連の処理を説明する。図６で示した対応コスト算出プログラム７５は、応答ＩＤが提供されている場合、応答履歴テーブル６００（図８参照）から該当する応答ＩＤ６０１のレコードを取り出し、その消費パターンを比較することで、消費電力の（移動元時刻、移動先時刻）を算出する（ｓ５１１）。次に、移動元時刻のうち、移動先時刻における実行によるコストダウンが最も大きいバッチジョブを求め、それを移動させる（ｓ５１２）。最後に、ｓ５１２によるバッチジョブの移動によるコスト変化の総和と応答履歴テーブル６００の該当レコードのコスト６００の値から対応コストを算出して処理を終了する（ｓ５１３）。

続いて、ｓ５５１～ｓ５５３の一連の処理を説明する。対応コスト算出プログラム７５は、応答ＩＤが提供されていない場合、ワークロード実行計画最適化を実施する。図７で示したＷＬ管理テーブル５００から、各ワークロードの実行時刻を変数として追加し、その実行時刻５０３に対応する実行遅延コスト５０４から電力コストを目的に追加する（ｓ５５１）。次に対応コスト算出プログラム７５は、消費パターン案を満たすように各タイムブロックの実行ＷＬの消費電力の総和に制約を追加する（ｓ５５２）。最後に、対応コスト算出プログラム７５は、作成した最適化問題を解き、最適値として対応コストを、最適解として各タイムブロックの実行ＷＬを取得する（ｓ５５３）。この際、実行可能な解が見つからない場合は、対応不可であることを意図して、対応コスト“ｉｎｆ”を取得する。なお、ここで説明した対応コスト算出方法は一例であり、対応コスト算出プログラム７５は、対応コストとワークロード実行計画が得られるものであればよく、例えば、再生エネルギー利用率といった指標を考慮して対応コストを算出しても良いし、最適化によらない手法であっても良い。

（ＤＣ事業者への管理画面）
図１６は、ＤＣ事業者用端末９５（図１参照）に表示されるＤＣ事業者９６向けの管理画面の一例を示す図である。ＤＣ事業者管理画面１０００は、作成されたワークロード実行計画についての各ＤＣ利用者９８の消費パターン表示欄１０２０と、計画実行にかかるコスト表示欄１０３０とを備える。消費パターン表示欄１０２０には、現在の運用計画におけるＤＣ事業者９６と各ＤＣ利用者９８の消費パターン１０２１～１０２３が表示される。横軸は時間であり、縦軸はコスト（単位￥）である。コスト表示欄１０３０では、各ＤＣ利用者への対応コストの総和とＤＣ事業者の制御コストと電力コストを合計した総和１０３１と、各ＤＣ利用者９８ごとの対応コストと、消費パターンベースラインからの変動量１０３２が表示される。

（ＤＣ利用者への管理画面）
図１７は、ＤＣ利用者用端末９７（図１参照）に表示されるＤＣ利用者９８向けの管理画面の一例を示す図である。ＤＣ利用者管理画面１１００は、作成された計画についてのＷＬ（ワークロード）実行計画表示欄１１２０と、計画作成時の応答履歴表示欄１１３０とを備える。ＷＬ実行計画表示欄１１２０には、現在のワークロード実行計画における各タイムブロックでのインタラクティブジョブ実行量１１２１とバッチジョブ実行量１１２２が表示される。縦軸は実行されるジョブの量であり、横軸は運用計画作成を行う時間帯、ここでは１２：００～１５：００までの時間を３０分ごとに区切った６つのブロックである。図１７では、インタラクティブジョブを白抜きの棒グラフで示し、バッチジョブを、インタラクティブジョブの上側にて黒塗り棒グラフで示している。縦軸はジョブを実行するのに要する電力（ｋＷｈ）である。ここでは、時間１２：３０～１４：３０までの間にバッチジョブが実行され、特に、１３：００～１４：００に実行予定のバッチジョブの量が多いことを読み取ることができる。

応答履歴表示欄１１３０では、現在のワークロード実行計画に対して、ＤＣ事業者から受け取った対応コスト１１３１と、協調運用計画作成時に提示された消費パターンとそれに対して算出した対応コストの一覧１１３２が表示される。ここでは、最適な協調運用計画作成の際に、番号１～３の消費パターンを受け取ったことが表示され、一番下端に示す３番目のレコード１１３４に示す消費パターンが採用されたことを示している。そして、レコード１１３４に示す対応コスト５０００￥が、説明欄１１３１にて表示されている。

＜再生可能エネルギー調達計画第２作成処理＞
図１８は、協調運用計画第２作成処理の一例を説明する図である。この処理は、例えば、時間間隔（例えば、毎日午前０時）又は、関連する事業者が要求した場合に開始される。

まず、運用計画サーバ６０は、各事業者のＷＬ実行管理サーバ７０にベースラインとなる消費パターンの作成要求を送信する（ｓ１）。ＷＬ実行管理サーバ７０は、この作成要求を受信すると、運用計画サーバ６０に、自身の都合のみを考慮してワークロードを実行する際の消費パターン７００を送信する（ｓ２）。運用計画サーバ６０は受信した消費パターンを、図５にて示した消費パターンベースライン管理テーブル３００に登録する。

次に、運用計画サーバ６０は、各事業者のＷＬ実行管理サーバに消費パターン変動案の作成要求を送信する（ｓ９）。ＷＬ実行管理サーバ７０は、この作成要求を受信すると、自身のＷＬ管理テーブル５００（図６参照）から、実現可能な消費パターンを複数生成する（ｓ２３）。一例として、各ワークロードをその実行期限内でランダムに割り振った際の消費パターンとして生成することができる。

次に、ＷＬ実行管理サーバ７０は、ｓ２３で生成した各消費パターンを入力として、ワークロード実行計画を作成し、その消費パターンを実現するためにＤＣ利用者に要求する対応コストを算出する対応コスト算出処理ｓ２１を実行する。対応コスト算出処理ｓ２１は、図１５にて示した手順で実行され、ＷＬ実行管理サーバ７０は各消費パターンとｓ２１で算出した対応コストに一意の識別情報を付与して、運用計画サーバ６０に応答を送信すると同時に、応答履歴テーブル６００（図６参照）にその情報を追加する（ｓ５）。

次に、各ＷＬ実行管理サーバ７０から応答を受信した運用計画サーバ６０は、ジョブキュー算出処理（ｓ１４）を実行する。ジョブキュー算出処理（ｓ１４）は、図１３にて示した手順で実行される。以上のようにしてワークロード実行計画が作成され、その計画に従ってジョブが実行されるが、協調運転によるワークロード実行計画の再計画の必要が発生した際には、需給調整計画サーバ１０は各運用計画サーバ６０に対してワークロード実行計画の再計画を要求する（ｓ３）。

運用計画サーバ６０は、需給調整計画サーバ１０からの再計画要求を受信すると（ｓ３）、ＷＬ実行管理サーバ７０と協調して一連の運用計画作成処理を開始する。ここで、再計画要求の一例としては、デマンドレスポンス要求や、電力価格の変動に伴う見直し要求があげられる。運用計画サーバ６０は、ＤＣ事業者９６が所持する各機器の制御とＤＣ利用者９８ごとの消費パターンとその消費パターンが応答履歴管理テーブル６００（図８参照）の各応答についてその早期実行パターンにあたるかを変数として含み、各ＤＣ利用者９８の消費パターンの対応コストを含むコスト等の指標を最大化、あるいは最小化する最適化問題を作成する協調運用計画最適化問題作成処理ｓ１１を実行する。協調運用計画最適化問題作成処理ｓ１１は、図１２のフローチャートで示した手順で行われる。

運用計画サーバ６０は、ｓ１１にて作成された最適化問題を解き、その最適解として、ＤＣ事業者９６の使用する機器の制御計画案、各ＤＣ利用者９８の消費パターン案、過去のどの応答の早期実行パターンにあたるか、もしくは過去のいずれの応答の早期実行パターンにもあたらないかを出力する運用計画案作成処理ｓ１２を実行する。ただし、＜再生可能エネルギー調達計画第２作成処理＞では、再計画時に新たな探索を実施しないため、ｃｏｓｔ_{ｓｅａｒｃｈ}をｉｎｆに設定し、過去のいずれかの応答の早期実行パターンに該当するように強制させる。

運用計画サーバ６０は、終了条件を満たした運用計画を需給調整サーバ１０に送信する（ｓ６）と共に、各ＤＣ利用者９８のＷＬ実行管理サーバ７０に、終了条件を満たした運用計画における確定消費パターンとして送信する（ｓ７）。需給調整サーバ１０は受信した運用計画について、需給調整の目的を満たしていれば（ｓ９でＹＥＳの場合）、処理を終了し、そうでなければ（ｓ９でＮＯの場合）、需給調整の目的を達成すべく、再度、再計画要求を送信するため、ｓ３に戻り、ｓ３以降の処理を再実行させる。各々のＷＬ実行管理サーバ７０は、ｓ７において受信した確定消費パターンに基づき、その消費パターンを満たすようにワークロードの実行を制御する（ｓ２２）。

以上、本発明の実施形態によれば、再生エネルギー導入による需給不一致対応の場合等において、ＤＣ事業者９６間の電力融通が容易になる。また、ユーザー企業（ＤＣ利用者９８）にとっても、運用計画を再生エネルギー供給量など外部要因に合わせて運用計画を作成できる。さらに、運用計画の最適化を行う際に、ＤＣ事業者９６側でユーザー企業（ＤＣ利用者９８）がどれだけ運用計画を変更できるのかを見積もりながら消費パターンの変更を提案するので、ＤＣ事業者９６とＤＣ利用者９８の間で、消費パターンとコストの調整のループを回す回数を減らすことができる。

本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、本実施形態の各装置が備える各機能の一部は他の装置に設けてもよいし、別装置が備える機能を同一の装置に設けても良い。さらに、本実施形態で説明したプログラムの構成は一例であり、例えば、プログラムの一部を他のプログラムに組み込み、又は複数のプログラムを一つのプログラムとして構成しても良い。

１ 運用計画作成システム
２ 電力小売事業者
１０ 需給調整サーバ
２０ データセンタ
４０ ＤＥＲ事業者
５０ 一般事業者
６０ 運用計画サーバ
７０ ＷＬ実行管理サーバ
８１ サーバ装置
９０ 統合ＤＣ管理システム
９１ 計画閲覧用サーバ
９５ ＤＣ事業者用端末
９６ ＤＣ事業者
９７ ＤＣ利用者用端末
９８ ＤＣ利用者

Claims (15)

1. 利用者のワークロードを実行する複数のサーバ装置と、前記サーバ装置のそれぞれに設けられたワークロード実行管理サーバと、前記ワークロード実行管理サーバに接続される運用計画サーバを有するデータセンタにおける運用計画作成装置であって、
   前記ワークロード実行管理サーバは、前記利用者の前記ワークロードの実行を管理し、与えられた消費パターンへの対応コストを算出するコスト算出部を有し、
   前記運用計画サーバは、
   前記利用者の消費パターンを考慮した前記対応コストの指標を最大化、あるいは最小化する最適化問題を作成する協調運用計画最適化問題作成部と、
   前記利用者からの過去の応答履歴にある消費パターンについて、前記消費パターンを一定のルールで変動させたものを該当する対応コストで利用可能になるようにする最適化式更新部と、
   更新された最適化式の解を求めることで、前記利用者ごとの消費パターンとデータセンタ事業者が保持する機器の運用計画の案を作成する運用計画案算出部を備える、
   ことを特徴とするデータセンタにおける運用計画作成装置。
2. 前記運用計画サーバは、さらに、
   前記利用者の消費パターンに対し、事前に登録された該当する利用者の消費パターンベースラインを比較し、それぞれの消費パターンにおいて、各タイムブロックにおける実行待ちジョブキューの量に対応する消費電力の下限を算出するジョブキュー算出部を備え、
   前記最適化式更新部は、前記利用者から消費パターンと対応コストを受け取る度に、その消費パターンから算出されたジョブキューについて、その実行を早めることで実現可能なパターンを早期実行パターンとして、該当する対応コストで利用可能になるよう運用計画最適化式を更新することを特徴とする請求項１に記載の運用計画作成装置。
3. 前記運用計画サーバは、前記利用者のワークロード情報やその予測情報を保持する管理テーブルを有し、
   前記協調運用計画最適化問題作成部は、前記データセンタ事業者から提示された消費パターンについて、ワークロードの実行遅延によるコストや必要エネルギーコストを評価し、対応するために必要なコストを算出することを特徴とする請求項２に記載の運用計画作成装置。
4. 前記運用計画案算出部が算出したそれぞれの前記利用者の消費パターンが、過去に応答ずみの消費パターンの早期実行パターンである場合には、該当する消費パターンと算出したジョブキューを前記ワークロード実行管理サーバに提供することで、前記コスト算出部における計算を簡略化させることを特徴とする請求項３に記載の運用計画作成装置。
5. 前記協調運用計画最適化問題作成部は、前記データセンタと、他のデータセンタ事業者と、他の分散エネルギーリソース事業者間での電力融通を計画する需給調整サーバを有する電力小売事業者からの要請に従って電力融通計画の最適化を実行し、
   前記最適化の実行時には、前記電力融通の調整を達成するための終了条件を満たすまで繰り返して前記データセンタ内の運用計画を再作成することを特徴とする請求項４に記載の運用計画作成装置。
6. 前記ワークロード実行管理サーバには、前記運用計画に基づいて各前記利用者のワークロード実行を制御するワークロード制御計画実行部を備えることを特徴とする請求項２に記載の運用計画作成装置。
7. 前記運用計画サーバからの再計画依頼時に、前記利用者の対応コスト算出部が利用できない、あるいは応答速度が十分ではない場合に、前記運用計画案算出部は、
   前記事前に登録された複数の消費パターンとその対応コストから、登録された消費パターンにおいて算出されたジョブキューを早期実行することで実現可能な消費パターンのみを探索範囲として最適な運用計画案を作成することを特徴とする請求項６に記載の運用計画作成装置。
8. ワークロードを実行する複数のサーバ装置と、前記サーバ装置のそれぞれに設けられたワークロード実行管理サーバと、前記ワークロード実行管理サーバに接続される運用計画サーバを有するデータセンタにおける運用計画作成方法であって、
   前記運用計画サーバは、作成されたワークロードの運用計画を作成又は変更する際に
   前記サーバ装置の利用者ごとの消費パターンとその対応コストを算出し、
   前記サーバ装置の利用者の前記消費パターンを考慮した前記対応コストの指標を最大化、あるいは最小化する最適化式を作成し、
   前記利用者からの過去の応答履歴にある消費パターンについて、前記消費パターンを一定のルールで変動させたものを該当する対応コストで利用可能になるようにする前記最適化式を更新し、
   更新された前記最適化式の解を求めることで、前記利用者ごとの消費パターンと前記データセンタの事業者が保持する機器の運用計画を作成することを特徴とするデータセンタにおける運用計画作成方法。
9. 前記ワークロード実行管理サーバは、
   前記利用者の消費パターンに対し、事前に登録された該当する利用者の消費パターンベースラインを比較し、
   それぞれの消費パターンにおいて、各タイムブロックにおける実行待ちジョブキューの量に対応する消費電力の下限を算出して、前記運用計画サーバに送信し、
   前記ワークロード実行管理サーバから消費パターンと対応コストを受け取る度に前記運用計画サーバは、前記利用者の消費パターンから算出されたジョブキューについて、その実行を早めることで実現可能な早期実行消費パターンについて、該当する対応コストで利用可能になるよう運用計画最適化式を更新することを特徴とする請求項８に記載の運用計画作成方法。
10. 前記ワークロード実行管理サーバは、
    前記利用者のワークロード情報やその予測情報を保持し、前記運用計画サーバから提示された消費パターンについて、ワークロードの実行遅延によるコストや必要エネルギーコストを評価し、対応するために必要なコストを算出して、前記運用計画サーバに前記早期実行消費パターンを提示することを特徴とする請求項９に記載の運用計画作成方法。
11. 前記運用計画サーバが算出したそれぞれの前記利用者の消費パターンが、過去に応答ずみの消費パターンの早期実行パターンである場合には該当する消費パターンと算出したジョブキューを前記ワークロード実行管理サーバに提供することで、対応コストの算出における計算を簡略化させることを特徴とする請求項１０に記載の運用計画作成方法。
12. 前記データセンタと、他のデータセンタ事業者と、他の分散エネルギーリソース事業者間での電力融通を計画する需給調整サーバを有する電力小売事業者からの要請に従って、前記運用計画サーバは電力融通計画の最適化を実行し、
    最適化された前記電力融通計画を複数の前記ワークロード実行管理サーバに順次送信し、
    複数の前記ワークロード実行管理サーバからの対応コストを受信して、対応コストを最小にし、
    前記電力融通の調整を達成するための終了条件を満たすまで繰り返して前記データセンタ内の運用計画を再作成することを特徴とする請求項１１に記載の運用計画作成方法。
13. 前記ワークロード実行管理サーバには、前記運用計画に基づいて各前記利用者のワークロード実行を制御することを特徴とする請求項１２に記載の運用計画作成方法。
14. 前記運用計画サーバからの再計画依頼時に、前記利用者の対応コスト算出部が利用できない、あるいは応答速度が十分ではない場合に、事前に登録された複数の消費パターンとその対応コストから、登録された消費パターンにおいて算出されたジョブキューを早期実行することで実現可能な消費パターンのみを探索範囲として最適な運用計画を作成することを特徴とする請求項１３に記載の運用計画作成方法。
15. 請求項１から７のいずれか一項に記載の前記運用計画作成装置と、前記運用計画作成装置とネットワークを介して接続された計画閲覧用サーバを有し、
    前記計画閲覧用サーバは、前記利用者からの要求に従って前記運用計画作成装置にて作成された前記運用計画を前記ネットワークを介して提供し、前記利用者からの前記運用計画に対する入力を受け付けることを特徴とするデータセンタにおける運用計画最適化システム。

Images