JP2017089941A

JP2017089941A - データセンタシステム、データセンタシステムの制御方法及びプログラム

Info

Publication number: JP2017089941A
Application number: JP2015217880A
Authority: JP
Inventors: 聡稲野; Satoshi Inano; 児玉　宏喜; Hiroki Kodama; 宏喜児玉; 成人鈴木; Shigeto Suzuki; 杉本　利夫; Toshio Sugimoto; 利夫杉本
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2015-11-05
Filing date: 2015-11-05
Publication date: 2017-05-25
Anticipated expiration: 2035-11-05
Also published as: JP6710938B2; US20190150327A1; US10993354B2; US20170135250A1

Abstract

【課題】データセンタシステム、データセンタシステムの制御方法及びプログラムにおいて、消費電力を低減することを目的とする。
【解決手段】電子装置と前記電子装置を冷却する空調機とを備えたデータセンタと、前記データセンタに供給する冷却水を送風により冷却する第１の冷却部と、前記冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置と、前記冷却装置を制御する制御装置とを有し、前記制御装置は、前記データセンタの外部の温度センサから外部温度情報を取得する温度情報取得部と、前記外部温度情報に前記第１の冷却部の冷却能力に基づく冷却温度差を加算し、前記冷却装置に設定する提供冷却水温情報を算出する算出部と、前記提供冷却水温情報を前記冷却装置に設定する設定部とを備えるように構成する。
【選択図】図１

Description

本発明は、データセンタシステム、データセンタシステムの制御方法及びプログラムに関する。

データセンタ内は、サーバなどのＩＣＴ（Information and Communication Technology）機器の動作温度仕様に対して、十分な温度マージンを確保した一定温度に冷却されている。一般的に、サーバなどの安定稼働を優先した冷却を行うため、温度マージンは比較的大きく設定されている。

従来の間接空調型データセンタでは、屋外のチラーで一定温度の冷却水を生成してデータセンタの空調機へ循環する。チラーは、冷却水をフリークーリングにより冷却するフリークーリング部と、冷却水を熱交換により冷却する冷却コンプレッサとを有する。空調機は、データセンタ内に設けた温度センサが検出する温度と、例えば空調機の吹き出し部分に設けた温度センサが検出する温度とが一定の設定温度となるように、空調機の送風ファンの風量などを制御する。チラーは、外気湿球温度が上昇し、外気湿球温度と設定温度との関係でフリークーリング部による排熱効率が著しく低下すると、冷却コンプレッサを稼働させて冷却水を一定温度に保つ。冷却コンプレッサの消費電力はフリークーリング部の消費電力と比較すると多いので、冷却コンプレッサが稼働される時間が長い程、チラーは排熱により多くの電力を必要とする。

特開２０１４−１２９９３７号公報

従来の間接空調型データセンタでは、チラーが生成する冷却水を常に一定温度に保つため、外気湿球温度が上昇し、外気湿球温度と設定温度との関係で冷却コンプレッサの稼働時間が長くなる程チラーの消費電力が多くなるため、データセンタシステム全体の消費電力を低減することは難しい。

そこで、本発明は、消費電力を低減できるデータセンタシステム、データセンタシステムの制御方法及びプログラムを提供することを目的とする。

本発明の一側面によれば、電子装置と前記電子装置を冷却する空調機とを備えたデータセンタと、前記データセンタに供給する冷却水を送風により冷却する第１の冷却部と、前記冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置と、前記冷却装置を制御する制御装置とを有し、前記制御装置は、前記データセンタの外部の温度センサから外部温度情報を取得する温度情報取得部と、前記外部温度情報に前記第１の冷却部の冷却能力に基づく冷却温度差を加算し、前記冷却装置に設定する提供冷却水温情報を算出する算出部と、前記提供冷却水温情報を前記冷却装置に設定する設定部とを備えたデータセンタシステムが提供される。

一態様によれば、データセンタシステムの消費電力を低減できる。

一実施例におけるデータセンタシステムの一例を示す図である。冷却装置の一例を制御装置と共に示す図である。冷却水温の設定処理の第１の例を説明するフローチャートである。制御装置のソフトウェア構成の一例を示す機能ブロック図である。チラー及びサーバの消費電力の一例を示す図である。データセンタシステムの消費電力の推移の一例を示す図である。冷却水温の設定処理の第１の例をより詳細に説明するフローチャートである。図７の冷却水温の設定処理による合計電力の一例を示す図である。図７の冷却水温の設定処理による冷却水温の設定の一例を示す図である。計測結果とシミュレーション結果の一例を示す図である。冷却水温の設定処理の第２の例を説明するフローチャートである。制御装置のソフトウェア構成の他の例を示す機能ブロック図である。

開示のデータセンタシステムは、データセンタに供給する冷却水をフリークーリングにより冷却する第１の冷却部と、冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置と、冷却装置を制御する制御装置とを有する。制御装置は、データセンタの外部温度情報を取得する温度情報取得部と、外部温度情報に第１の冷却部の冷却能力に基づく冷却温度差を加算して冷却装置に設定する提供冷却水温情報を算出する算出部と、提供冷却水温情報を冷却装置に設定する設定部とを備える。

以下に、開示のデータセンタシステム、データセンタシステムの制御方法及びプログラムの各実施例を図面と共に説明する。

図１は、一実施例におけるデータセンタシステムの一例を示す図である。図１に示すデータセンタシステム１は、制御装置１１、チラー１２、及びデータセンタ１３を有する。制御装置１１及びチラー１２は、屋外に設けられている。温度センサ２１は、外気湿球温度を検出可能な位置に配置され、検出した外気湿球温度情報を制御装置１１に入力する。外部湿球温度情報は、データセンタ１３の外部温度情報の一例である。電力センサ２２は、チラー１２の消費電力を検出し、検出したチラー電力情報を制御装置１１に入力する。水温センサ２３は、チラー１２が生成する冷却水の温度（以下、「冷却水温」とも言う）を検出可能な位置に配置され、検出した冷却水温情報を制御装置１１に入力する温度センサの一例である。

制御装置１１は、例えば汎用のコンピュータで形成可能であり、この例ではＣＰＵ（Central Processing Unit）などのプロセッサ１１１と、メモリなどの記憶装置１１２とを含む。プロセッサ１１１は、記憶装置１１２に記憶されたプログラムを実行することで、後述するように、チラー１２に冷却水温を設定する冷却水温の設定処理などを行う。プロセッサ１１１は、後述する設定情報、水温センサ２３からの冷却水温情報、電力センサ２２からのチラー電力情報、及び電力センサ２４からのサーバ電力情報に基づきチラー１２を制御するための提供冷却水温情報を出力する。後述する設定情報は、予めデフォルトで設定された情報であっても良い。記憶装置１１２は、プロセッサ１１１が実行するプログラムに加え、プログラムが用いるパラメータや、プロセッサ１１１が実行する演算処理の中間結果などの各種データを記憶する。

チラー１２は、冷却装置の一例であり、この例ではフリークーリング部１２１と、冷却コンプレッサ１２２と、送水ポンプ１２３とを含む。フリークーリング部１２１は、送風（以下、「フリークーリング」とも言う）により冷却水を冷却する第１の冷却部の一例である。フリークーリング部１２１は、冷却用送風機などを含む周知のクーリングタワーなどで形成可能である。冷却コンプレッサ１２２は、熱交換により冷却水を冷却する第２の冷却部の一例である。冷却コンプレッサ１２２は、熱交換機、排熱用送風機などを含む周知のコンプレッサなどで形成可能である。冷却コンプレッサ１２２の消費電力は、フリークーリング部１２１の消費電力と比較して多い。フリークーリング部１２１及び冷却コンプレッサ１２２が生成した冷却水は、データセンタ１３内の空調機１３２に供給される。チラー１２が生成して空調機１３２に供給する冷却水温は、制御装置１１からチラー１２に入力される提供冷却水温情報に基づいて制御される。送水ポンプ１２３は、データセンタ１３から戻される冷却水をフリークーリング部１２１及び冷却コンプレッサ１２２へ戻す周知の構成を有する。

データセンタ１３は、複数の区画１３１を有し、各区画１３１は、空調機１３２とラック群１３３とを含む。空調機１３２は、例えば送風ファン、熱交換機、及び空調機１３２を制御する制御部などを含む周知の構成を有する。ラック群１３３は、複数のラックを有し、各ラックには、一又は複数のサーバ１３４が設けられている。サーバ１３４は、ＩＣＴ機器などの電子装置の一例である。空調機１３２から送出される冷気は、ラック群１３３に供給され、ラック群１３３内のサーバ１３４を冷却する。区画１３１内の冷気の温度は、ラック群１３３内のサーバ１３４の発熱などに応じて上昇し、暖気となって空調機１３２へ循環する。暖気により温度が上昇した冷却水は、送水ポンプ１２３により循環されて空調機１３２からチラー１２に供給される。電力センサ２４は、ラック群１３３におけるサーバ１３４の消費電力を検出し、検出したサーバ電力情報を制御装置１１に入力する。

図２は、冷却装置の一例を制御装置と共に示す図である。冷却装置の一例であるチラー１２は、フリークーリング部１２１の送出側に設けられたバルブ１２４−１と、冷却コンプレッサ１２２の送出側に設けられたバルブ１２４−２と、フリークーリング部１２１の入力側に設けられたバルブ１２５−１と、冷却コンプレッサ１２２の入力側に設けられたバルブ１２５−２とを含む。フリークーリング部１２１及び冷却コンプレッサ１２２は、制御装置１１からの稼働信号に応答して稼働される。フリークーリング部１２１及び冷却コンプレッサ１２２から供給される冷却水は、制御装置１１からの開度信号により開度を制御されたバルブ１２４−１，１２４−２を介して空調機１３２に供給される。一方、空調機１３２に供給された冷却水は、制御装置１１からの送水量信号により送水量を制御された送水ポンプ１２３によりチラー１２側へ戻される。具体的には、送水ポンプ１２３からの冷却水は、送水ポンプ１２３により、制御装置１１からの開度信号により開度を制御されたバルブ１２５−１，１２５−２を介してフリークーリング部１２１及び冷却コンプレッサ１２２へ戻されてチラー１２内を循環する。

図３は、冷却水温の設定処理の第１の例を説明するフローチャートである。図３に示す設定処理は、プロセッサ１１１により実行される。冷却水温の設定処理が開始されると、プロセッサ１１１は、ステップＳ１において、温度センサ２１が検出した外気湿球温度情報を取得する。プロセッサ１１１は、ステップＳ２において、チラー１２が提供するべき提供冷却水温を、取得した外気湿球温度情報と、フリークーリングの外気湿球温度に対する冷却温度差（即ち、フリークーリング部１２１の冷却能力に基づく冷却温度差）との和から算出する。フリークーリングの外気湿球温度に対する冷却温度差は、チラー１２内のフリークーリング部１２１によるフリークーリング動作のみの排熱で外気に対して冷却可能な温度差（例えば、５℃以上）であり、チラー１２（即ち、フリークーリング部１２１）毎に異なる。プロセッサ１１１は、ステップＳ３において、ステップＳ２で算出された提供冷却水温が、最高提供冷却水温未満であるか否かを判定し、判定結果がＹＥＳであると処理はステップＳ４へ進み、判定結果がＮＯであると処理は後述するステップＳ８へ進む。

ここで、最高提供冷却水温とは、データセンタ１３内のサーバ１３４の動作温度仕様で規定された動作温度範囲の上限から、データセンタ１３内の送風後温度上昇分（例えば、２℃〜５℃程度）と、データセンタ１３内の構造などによる温度の不均一分布などに対応するための温度マージン（例えば２℃）との和を減算した、動作温度仕様で規定された動作温度範囲の上限に依存する値である。送風後温度上昇分とは、データセンタ１３内の空調機１３２での熱交換残分や、データセンタ１３内の冷気搬送中の温度上昇などによる、提供冷却水温の上昇分である。チラー１２からデータセンタ１３に供給される提供冷却水温が例えば１８℃であっても、空調機１３２の吹き出し部分での冷気温度は例えば２１℃であり、データセンタ１３内の冷気搬送中の温度上昇中の温度上昇により、冷気温度（または、冷却提供温度）は例えば２２．５℃に上昇する。従って、最高提供冷却水温とは、データセンタ１３内の冷却提供温度がサーバ１３４の動作温度仕様で規定された動作温度範囲の上限となる値である。

プロセッサ１１１は、ステップＳ４において、ステップＳ２で算出された提供冷却水温が、最低提供冷却水温未満であるか否かを判定し、判定結果がＹＥＳであると処理はステップＳ５へ進む、判定結果がＮＯであると処理はステップＳ６へ進む。ここで、最低提供冷却水温とは、チラー１２のフリークーリング部１２１によるフリークーリングの動作下限温度、データセンタ１３内のサーバ１３４の動作温度仕様で規定された動作温度範囲の下限などにより決まる、フリークーリング（即ち、送風）による動作下限温度に依存する値である。プロセッサ１１１は、ステップＳ５において、提供冷却水温情報によりチラー１２に最低提供冷却水温を設定し、処理はステップＳ７へ進む。また、プロセッサ１１１は、ステップＳ６において、提供冷却水温情報によりチラー１２にステップＳ２で算出された提供冷却水温を設定し、処理はステップＳ７へ進む。プロセッサ１１１は、ステップＳ７において、フリークーリング部１２１のフリークーリング動作により冷却水を提供するモードを設定する。

最低提供冷却水温をＴ_Ｌ、チラー１２に設定される提供冷却水温をＴ_Ｓ、サーバ１３４の動作温度仕様で規定される動作温度範囲の上限をＴ_Ｕ、送風温度上昇分をＴ_Ｒ、温度マージンをＴ_Ｍで表すと、以下の関係が成立する。

Ｔ_Ｌ≦Ｔ_Ｓ≦｛Ｔ_Ｕ−（Ｔ_Ｒ＋Ｔ_Ｍ）｝
一方、プロセッサ１１１は、ステップＳ８において、電力センサ２４が検出したサーバ１３４の消費電力（以下、「サーバ電力情報」とも言う）と、電力センサ２２が検出したチラー１２の消費電力（以下、「チラー電力情報」とも言う）とを取得する。プロセッサ１１１は、ステップＳ９において、取得したサーバ電力情報及びチラー電力情報に基づき、データセンタシステム１のサーバ１３４とチラー１２が消費する合計電力情報が最小となる提供冷却水温を、提供冷却水温情報によりチラー１２に設定する。プロセッサ１１１は、ステップＳ１０において、冷却コンプレッサ１２２の冷却コンプレッサ動作により冷却水を提供するモードを設定する。

ステップＳ７またはステップＳ１０の後、処理はステップＳ１１へ進む。プロセッサ１１１は、ステップＳ１１において、冷却水温の設定処理を実行する動作間隔を調整し、処理はステップＳ１へ戻る。

図４は、制御装置のソフトウェア構成の一例を示す機能ブロック図である。図４において、制御装置１１は、外気湿球温度情報取得部３１、提供冷却水温算出部３２、サーバ電力情報取得部３３、チラー電力情報取得部３４、設定部３５、初期値リスト３６、及びレジスタ３７を有する。外気湿球温度情報取得部３１、提供冷却水温算出部３２、サーバ電力情報取得部３３、チラー電力情報取得部３４、及び設定部３５の機能は、プロセッサ１１１により提供可能である。一方、初期値リスト３６及びレジスタ３７の機能は、記憶装置１１２により提供可能である。

外気湿球温度情報取得部３１は、温度センサ２１が検出した外気湿球温度情報を取得して提供冷却水温算出部３２に供給する、ステップＳ１の処理を実行する。提供冷却水温算出部３２は、外気湿球温度情報と、設定情報に含まれる、チラー１２のフリークーリング部１２１による冷却温度差との和から提供冷却水温を算出する、ステップＳ２の処理を実行する。サーバ電力情報取得部３３は、第１のセンサの一例である電力センサ２４が検出したサーバ電力情報を設定部３５に供給する、ステップＳ８の処理の一部を実行する。チラー電力情報取得部３４は、第２のセンサの一例である電力センサ２２が検出したチラー電力情報を設定部３５に供給する、ステップＳ８の処理の一部を実行する。

設定部３５には、サーバ電力情報及びチラー電力情報に加え、各種設定情報が供給され、提供冷却水温を判定すると共に提供冷却水温を設定する、ステップＳ３〜Ｓ６，Ｓ９の処理を実行する。設定情報は、例えば冷却温度差、サーバ１３４の動作温度仕様で規定された動作温度範囲の上限、最高提供冷却水温、最低提供冷却水温、提供冷却水温の初期値、冷却水温の設定処理を実行する動作間隔及び後述する１設定水温、チラー１２の冷却動作の制御不感範囲などを含む。最高提供冷却水温は、動作温度範囲の上限から算出できるので、設定情報には最高提供冷却水温は含めず、設定部３５において動作温度範囲の上限から算出しても良い。提供冷却水温の初期値とは、提供冷却水温が、最高提供冷却水温以上の場合のサーバ電力に対する提供冷却水温の初期値である。この例では、提供冷却水温の初期値は、設定部３５からアクセス可能に初期値リスト３６に保持される。

レジスタ３７は、設定部３５が提供冷却水温を判定したり、提供冷却水温を設定する際に用いるデータを保持する。レジスタ３７は、例えば前回の冷却水温の設定処理で設定した前回の提供冷却水温情報、前回の冷却水温の設定処理で求めたサーバ１３４とチラー１２が消費する前回の合計電力情報、冷却水温の設定処理で求めた提供冷却水温の変化方向情報（上げる方向または下げる方向の情報）などを保持する。

設定部３５は、提供冷却水温が、最高提供冷却水温以上の場合は、サーバ電力情報及びチラー電力情報に基づき、データセンタシステム１のサーバ１３４とチラー１２が消費する合計電力情報が最小となる提供冷却水温を、提供冷却水温情報によりチラー１２に設定する、ステップＳ９の処理を実行する。一方、提供冷却水温が、最高提供冷却水温未満、且つ、最低提供冷却水温未満の場合は、提供冷却水温情報によりチラー１２に最低提供冷却水温を設定する、ステップＳ５の処理を実行する。また、提供冷却水温が、最高提供冷却水温未満、且つ、最低提供冷却水温以上の場合は、提供冷却水温情報によりチラー１２にステップＳ２で算出された提供冷却水温を設定する、ステップＳ６の処理を実行する。

図５は、チラー及びサーバの消費電力の一例を示す図である。図５中、左側の縦軸はチラー電力を任意単位で示し、右側の縦軸はサーバ電力を任意単位で示し、横軸は温度を示す。一点鎖線はチラー電力、二点鎖線はサーバ電力、太い実線はチラー電力とサーバ電力の合計である合計電力を示す。図５において、（ａ）はサーバなどの動作温度仕様にかかわらず、且つ、外気湿球温度の影響を受けるチラーの動作を考慮せずにチラーが生成する冷却水を常に一定温度に保つ比較例の消費電力の一例を示し、（ｂ）は上記実施例における消費電力の一例を示す。

比較例の場合、図５の（ａ）に示すように、チラー電力と合計電力とは、いずれも外気湿球温度の上昇に伴い急激に増加する。この例では、サーバ電力は、サーバ内のＣＰＵなどの非稼働時の消費電力を示しており、ＣＰＵなどの非稼働時でもサーバに設けられたファンなどが常に稼働しているため、サーバ電力は略一定である。

これに対し、上記実施例の場合、（ｂ）に示すように、チラー電力と合計電力とは、いずれも外気湿球温度の上昇に伴い緩やかに増加する。この例では、サーバ電力は、サーバ内のＣＰＵなどの非稼働時の消費電力を示しており、ＣＰＵなどの非稼働時でもサーバに設けられたファンなどが稼働しているが、外気湿球温度との連動（または、関連付け）により合計電力を抑えるような制御が行われる。このため、外気湿球温度と連動させてサーバに設けられたファンなどの動作を制御することで、サーバ電力は外気湿球温度の上昇に伴い緩やかに増加する。従って、本実施例によれば、合計電力の急激な増加や合計電力の増大を抑えて、データセンタシステム全体を消電力化することができる。

図６は、データセンタシステムの消費電力の推移の一例を示す図である。図６中、右側の縦軸は外気湿球温度及び冷却水温、左側の縦軸は合計電力、横軸は時間（例えば、１日分）を示す。破線は外気湿球温度、実線は冷却水温、ハッチングは合計電力を示す。図６において、（ａ）はチラーが生成する冷却水を常に一定温度（この例では１８℃）に保つ上記比較例の合計電力の推移の一例を示し、（ｂ）は最高冷却水温（この例では３０℃）を設定した場合の上記実施例における合計電力の推移の一例を示す。

比較例の場合、合計電力は外気湿球温度の１日の変化に応じて大きく増減するため、図６の（ａ）に示すように多い。これに対し、上記実施例の場合、外気湿球温度との連動により合計電力を抑えているため、比較例と比較すると、合計電力の外気湿球温度の１日の変化に応じた増減は小さく、図６の（ｂ）に示すように、合計電力は比較例と比較すると少ない。

図７は、冷却水温の設定処理の第１の例をより詳細に説明するフローチャートである。図７に示す設定処理は、プロセッサ１１１により実行される。この例では、提供冷却水温が、最高提供冷却水温以上の場合、チラー電力とサーバ電力との合計である合計電力を最小に抑える。冷却水温の設定処理が開始されると、プロセッサ１１１は、ステップＳ２１において、提供冷却水温が、サーバ１３４の動作温度仕様で規定された動作温度範囲の上限に依存する、最高提供冷却水温以上での動作が、連続１回目の動作であるか否かを判定し、判定結果がＹＥＳであると処理はステップＳ２２へ進み判定結果がＮＯであると処理は後述するステップＳ２５へ進む。プロセッサ１１１は、ステップＳ２２において、電力センサ２４から取得したサーバ電力情報に基づいて、初期値リスト３６に含まれる提供冷却水温の初期値を取得する。プロセッサ１１１は、ステップＳ２３において、提供冷却水温の初期値を示す提供冷却水温情報を出力してチラー１２に設定する。プロセッサ１１１は、ステップＳ２４において、出力した提供冷却水温情報が表す提供冷却水温の初期値を、レジスタ３７内に前回の提供冷却水温情報として保持すると共に、レジスタ３７内に保持された提供冷却水温の変化方向情報を下げる方向に設定し、処理は終了する。例えば、サーバ電力が１３０ｋｗを超える場合の提供冷却水温の初期値は２３℃、サーバ電力が１１０ｋｗ〜１３０ｋｗの場合の提供冷却水温の初期値は２５℃、サーバ電力が１１０ｋｗ未満の場合の提供冷却水温の初期値は２７℃に設定しても良い。

一方、プロセッサ１１１は、ステップＳ２５において、提供冷却水温が最高提供冷却水温以上での動作が、連続２回目の動作であるか否かを判定し、判定結果がＹＥＳであると処理はステップＳ２６へ進み判定結果がＮＯであると処理は後述するステップＳ２８へ進む。プロセッサ１１１は、ステップＳ２６において、電力センサ２２から取得されたチラー電力情報と、電力センサ２４から取得したサーバ電力情報とを合計して合計電力情報を算出し、レジスタ３７内に前回の合計電力情報として保持する。プロセッサ１１１は、ステップＳ２７において、レジスタ３７に保持された前回の提供冷却水温情報を設定情報に含まれる１設定水温分下げた値を示す提供冷却水温情報を出力してチラー１２に設定し、処理は終了する。ここで、１設定水温とは、水温を上げたり下げたりする単位（例えば、１℃）であり、任意に設定可能である。

また、プロセッサ１１１は、ステップＳ２８において、電力センサ２２から取得されたチラー電力情報と、電力センサ２４から取得したサーバ電力情報とを合計して合計電力情報を算出する。プロセッサ１１１は、ステップＳ２９において、算出された（即ち、今回の）合計電力情報と、レジスタ３７内に保持された前回の合計電力情報とを比較する。
比較の結果、今回の合計電力情報が前回の合計電力情報より減少しており、且つ、前回の合計電力情報から設定情報に含まれる制御不感範囲（例えば、０．５ｋＷ）を減算した値が今回の合計電力情報より大きい場合、処理はステップＳ３０へ進む。比較の結果、今回の合計電力情報が前回の合計電力情報より増加しており、且つ、前回の合計電力情報から設定情報に含まれる制御不感範囲を加算した値が今回の合計電力情報より小さい場合、処理はステップＳ３３へ進む。さらに、比較の結果、制御不感範囲にある場合、即ち、前回の合計電力情報から設定情報に含まれる制御不感範囲を減算した値が今回の合計電力情報以下であり、且つ、前回の合計電力情報から設定情報に含まれる制御不感範囲を加算した値以下である場合、処理は終了する。

プロセッサ１１１は、ステップＳ３０において、レジスタ３７内に保持された提供冷却水温の変化方向情報が下げる方向であるか、或いは、上げる方向であるかを判定し、下げる方向であると処理はステップＳ３１へ進み、上げる方向であると処理はステップＳ３２へ進む。プロセッサ１１１は、ステップＳ３１において、レジスタ３７に保持された前回の提供冷却水温情報を設定情報に含まれる１設定水温分下げた値を示す提供冷却水温情報を出力してチラー１２に設定し、処理は終了する。一方、プロセッサ１１１は、ステップＳ３２において、レジスタ３７に保持された前回の提供冷却水温情報を設定情報に含まれる１設定水温分上げた値を示す提供冷却水温情報を出力してチラー１２に設定し、処理は終了する。

プロセッサ１１１は、ステップＳ３３において、レジスタ３７内に保持された提供冷却水温の変化方向情報が下げる方向であるか、或いは、上げる方向であるかを判定し、下げる方向であると処理はステップＳ３４へ進み、上げる方向であると処理はステップＳ３６へ進む。プロセッサ１１１は、ステップＳ３４において、レジスタ３７に保持された前回の提供冷却水温情報を設定情報に含まれる１設定水温分上げた値を示す提供冷却水温情報を出力してチラー１２に設定する、また、プロセッサ１１１は、ステップＳ３５において、レジスタ３７内に保持された提供冷却水温の変化方向情報を上げる方向に設定し、処理は終了する。一方、プロセッサ１１１は、ステップＳ３６において、レジスタ３７に保持された前回の提供冷却水温情報を設定情報に含まれる１設定水温分下げた値を示す提供冷却水温情報を出力してチラー１２に設定する、また、プロセッサ１１１は、ステップＳ３７において、レジスタ３７内に保持された提供冷却水温の変化方向情報を下げる方向に設定し、処理は終了する。

このように、設定部３５は、提供冷却水温情報が、最高提供冷却水温未満であるか否かを判定し、最高提供冷却水温以上である場合、チラー電力情報とサーバ電力情報との和である合計電力情報が最小となる提供冷却水温情報をチラー１２に新たに設定する。また、設定部３５は、提供冷却水温情報がサーバ１３４の最高提供冷却水温未満である場合、提供冷却水温情報がチラー１２の最低提供冷却水温未満であるか否かを判定し、提供冷却水温情報が最低提供冷却水温未満である場合、最低提供冷却水温を提供冷却水温情報としてチラー１２に新たに設定する。

図７に示す例では、制御不感範囲を設けているため、フリークーリング動作と冷却コンプレッサ動作とが頻繁に切り替わる制御動作を抑制し、動作を安定化できる。

図８は、図７の冷却水温の設定処理による合計電力の一例を示す図である。図８において、左側の縦軸は提供冷却水温情報によりチラー１２に設定される提供冷却水温設定を示し、右側の縦軸は合計電力を任意単位で示し、横軸は時間を任意単位で示す。図８中、提供冷却水温設定は一点鎖線で示し、合計電力は二点鎖線で示し、太い破線は算出される提供冷却水温を示し、細い破線は最高提供冷却水温を示す。図８は、設定情報に含まれる動作間隔が例えば１０分であり、１設定水温が１℃の場合を示す。例えば、図８において、ｔ１はフリークーリング動作から冷却コンプレッサ動作へ遷移する状態、ｔ２は１設定水温に相当する冷却水温の変化、ｔ３は合計電力が減少して提供冷却水温を１設定水温下げた状態、ｔ４は合計電力が変化せず提供冷却水温を変更しない状態を示す。また、図８において、ｔ５は合計電力が減少して提供冷却水温を１設定水温下げる状態、ｔ６は合計電力が増加して提供冷却水温を１設定水温下げる状態、ｔ７は冷却水温が低く、合計電力が増加し、提供冷却水温の変化方向が上げる方向となり、且つ、提供冷却水温を１設定水温上げる状態を示す。

次に、外気湿球温度に対する提供冷却水温設定の関係の一例を説明する。この例では、サーバ１３４の動作温度仕様で規定された動作温度範囲の上限は３５℃であり、送風後温度上昇分は３℃であり、温度マージンは２℃であり、フリークーリングの外気湿球温度に対する冷却温度差は５℃であり、フリークーリングの動作下限である温度最低提供冷却水温は１０℃であり、外気湿球温度が２５℃以下でフリークーリング動作による排熱を行い、外気湿球温度が２５℃以上で冷却コンプレッサ動作を行うものとする。また、提供冷却水温が、最高提供冷却水温以上の場合、図７に示すように、チラー電力とサーバ電力との合計である合計電力を最小に抑える冷却水温の設定処理を行うものとする。

図９は、図７の冷却水温の設定処理による冷却水温の設定の一例を示す図である。図９中、縦軸は提供冷却水温設定を示し、横軸は外気湿球温度を示す。外気湿球温度が例えば０℃〜２５℃までの領域では、図８中Ｃ_ｆで示すようにフリークーリング動作による排熱が行われ、外気湿球温度が２５℃以上の領域では、図８中Ｃ_ｃで示すように冷却コンプレッサ動作による排熱が行われる。外気湿球温度が２５℃以上の領域では、外気湿球温度に基づいて合計電力が最小となる提供冷却水温を設定するため、サーバ１３４が稼働してサーバ電力が小さい場合も大きい場合も、サーバ１３４を適切に冷却し、且つ、データセンタシステム１の消費電力を低減することができる。

図１０は、計測結果とシミュレーション結果の一例を示す図である。図１０中、左側の縦軸は平均月間合計電力及び平均月間チラー電力を任意単位で示し、右側の縦軸は平均月間電力使用効率（ＰＵＥ：Power Usage Effectiveness）を示し、横軸は時間を示す。計測結果は、チラーが生成する冷却水を常に一定温度（この例では１８℃）に保つ上記比較例の測定結果を示す。また、シミュレーション結果は、上記実施例において、図９の場合と同様の条件下で算出したシミュレーション結果を示す。図８の右側に示す注釈において、「計）」は比較例の測定結果、「外連）」は上記実施例のシミュレーション結果を表す。図９において、矢印Ｅ１は、外気湿球温度と連動させてチラー電力を抑制することにより得られる平均月間チラー電力の引き下げ効果を表しており、矢印Ｅ２は、外気湿球温度と連動させて合計電力を抑制することにより得られる平均月間合計電力の引き下げ効果を表している。図１０に示す結果から、上記実施例によれば、上記比較例と比べた場合、平均年間合計電力が約７％〜約１１％削減され、平均年間チラー電力が約１１％〜約３６％削減され、平均年間ＰＵＥが約０．１％〜約５％向上されることが確認された。

図１１は、冷却水温の設定処理の第２の例を説明するフローチャートである。図１１中、図３と同一ステップには同一符号を付し、その説明は省略する。図１１に示す例では、ステップＳ３の判定結果がＹＥＳであると、処理はステップＳ４１へ進む。図１１において、プロセッサ１１１は、ステップＳ４１において、前回の提供冷却水温が最高提供冷却水温以上での動作であるか否かを判定し、判定結果がＹＥＳであると処理はステップＳ４２へ進み、判定結果がＮＯであると処理はステップＳ４へ進む。プロセッサ１１１は、ステップＳ４２において、算出された提供冷却水温が、最高提供冷却水温から動作不感値を減算した値未満であるか否かを判定し、判定結果がＹＥＳであると処理はステップＳ４３へ進み、判定結果がＮＯであると、提供冷却水温が最高提供冷却水温以上での動作を継続するため、処理はステップＳ８へ進む。プロセッサ１１１は、ステップＳ４３において、後述する図１２に示すレジスタ３７Ａに保持されている、前回の提供冷却水温が最高提供冷却水温以上での動作をクリアし、処理はステップＳ４へ進む。なお、動作不感値とは、最高提供冷却水温以上での動作中に算出された提供冷却水温に対し、ある範囲内では最高提供冷却水温以上での動作の継続を判定するための値であり、例えば０．５℃である。

図１１に示す例では、動作不感値を設けているため、提供冷却水温が最高提供冷却水温以上での動作を行う場合、最高提供冷却水温以上での動作を継続する動作と継続しない動作とが頻繁に切り替わる制御動作を抑制し、動作を安定化できる。

図１２は、制御装置のソフトウェア構成の他の例を示す機能ブロック図である。図１２中、図４と同一部分には同一符号を付し、その説明は省略する。図１２に示す例は、設定情報に上記の動作不感値が含まれ、レジスタ３７Ａが前回の提供冷却水温が最高提供冷却水温以上での動作を保持する点を除けば、図４のソフトウェア構成と同じである。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
電子装置と前記電子装置を冷却する空調機とを備えたデータセンタと、
前記データセンタに供給する冷却水を送風により冷却する第１の冷却部と、前記冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置と、
前記冷却装置を制御する制御装置とを有し、
前記制御装置は、
前記データセンタの外部の温度センサから外部温度情報を取得する温度情報取得部と、
前記外部温度情報に前記第１の冷却部の冷却能力に基づく冷却温度差を加算し、前記冷却装置に設定する提供冷却水温情報を算出する算出部と、
前記提供冷却水温情報を前記冷却装置に設定する設定部とを備えたことを特徴とする、データセンタシステム。
（付記２）
前記制御装置はさらに、
前記電子装置の第１の電力センサから前記電子装置の第１の電力情報を取得する第１の電力情報取得部と、
前記冷却装置の第２の電力センサから前記冷却装置の第２の電力情報を取得する第２の電力情報取得部とを備え、
前記設定部は、前記提供冷却水温情報が、前記電子装置の動作温度範囲の上限に依存する最高提供冷却水温未満であるか否かを判定し、前記提供冷却水温情報が前記最高提供冷却水温以上である場合、前記第１の電力情報と前記第２の電力情報との和である合計電力情報が最小となる提供冷却水温情報を前記冷却装置に新たに設定することを特徴とする、付記１記載のデータセンタシステム。
（付記３）
前記設定部は、前記提供冷却水温情報が前記電子装置の動作温度範囲の上限に依存する最高提供冷却水温未満である場合、前記提供冷却水温情報が、前記冷却装置の送風による動作下限温度に依存する最低提供冷却水温未満であるか否かを判定し、前記提供冷却水温情報が前記最低提供冷却水温未満である場合、前記最低提供冷却水温を前記提供冷却水温情報として前記冷却装置に新たに設定することを特徴とする、付記２記載のデータセンタシステム。
（付記４）
前記最高提供冷却水温は、前記電子装置の動作温度仕様で規定された動作温度範囲の上限から、前記データセンタ内の送風後温度上昇分と、前記データセンタ内の構造による温度の不均一分布に対応するための温度マージンとの和を減算した値であることを特徴とする、付記２または３記載のデータセンタシステム。
（付記５）
前記最低提供冷却水温は、前記第１の冷却部の送風による動作下限温度、及び、前記データセンタ内の前記動作温度仕様で規定された前記動作温度範囲の下限により決まる値であることを特徴とする、付記３記載のデータセンタシステム。
（付記６）
前記設定部は、今回の合計電力情報と、レジスタ内に保持された前回の合計電力情報とを比較した結果、前記前回の合計電力情報から制御不感範囲を減算した値が前記今回の合計電力情報以下であり、且つ、前回の合計電力情報から前記制御不感範囲を加算した値以下である場合、前記第１の冷却部の動作と前記第２の冷却部の動作とが切り替わる制御動作を抑制することを特徴とする、付記２乃至５のいずれか１項記載のデータセンタシステム。
（付記７）
前記設定部は、前回の提供冷却水温情報が前記最高提供冷却水温以上での動作である場合、前記提供冷却水温情報が、前記最高提供冷却水温から動作不感値を減算した値未満であるか否かを判定し、前記最高提供冷却水温から前記動作不感値を減算した前記値未満であると、前記最高提供冷却水温以上での動作を停止することを特徴とする、付記２乃至５のいずれか１項記載のデータセンタシステム。
（付記８）
電子装置と前記電子装置を冷却する空調機とを備えたデータセンタを有するデータセンタシステムの制御方法であって、
制御装置が、前記データセンタに供給する冷却水を送風により冷却する第１の冷却部と、前記冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置を制御し、
前記制御装置の制御は、
前記データセンタの外部の温度センサから外部温度情報を取得し、
前記外部温度情報に前記第１の冷却部の冷却能力に基づく冷却温度差を加算して、前記冷却装置に設定する提供冷却水温情報を算出し、
前記提供冷却水温情報を前記冷却装置に設定する
処理を含むことを特徴とする、データセンタシステムの制御方法。
（付記９）
前記制御装置の制御はさらに、
前記電子装置の第１の電力センサから前記電子装置の第１の電力情報を取得し、
前記冷却装置の第２の電力センサから前記冷却装置の第２の電力情報を取得する
処理を含み、
前記設定する処理は、前記提供冷却水温情報が、前記電子装置の動作温度範囲の上限に依存する最高提供冷却水温未満であるか否かを判定し、前記提供冷却水温情報が前記最高提供冷却水温以上である場合、前記第１の電力情報と前記第２の電力情報との和である合計電力情報が最小となる提供冷却水温情報を前記冷却装置に新たに設定することを特徴とする、付記８記載のデータセンタシステムの制御方法。
（付記１０）
前記設定する処理は、前記提供冷却水温情報が前記電子装置の動作温度範囲の上限に依存する最高提供冷却水温未満である場合、前記提供冷却水温情報が、前記冷却装置（１２）の送風による動作下限温度に依存する最低提供冷却水温未満であるか否かを判定し、前記提供冷却水温情報が前記最低提供冷却水温未満である場合、前記最低提供冷却水温を前記提供冷却水温情報として前記冷却装置に新たに設定することを特徴とする、付記９記載のデータセンタシステムの制御方法。
（付記１１）
前記最高提供冷却水温は、前記電子装置の動作温度仕様で規定された動作温度範囲の上限から、前記データセンタ内の送風後温度上昇分と、前記データセンタ内の構造による温度の不均一分布に対応するための温度マージンとの和を減算した値であることを特徴とする、付記９または１０記載のデータセンタシステムの制御方法。
（付記１２）
前記最低提供冷却水温は、前記第１の冷却部の送風による動作下限温度、及び、前記データセンタ内の前記動作温度仕様で規定された前記動作温度範囲の下限により決まる値であることを特徴とする、付記１０記載のデータセンタシステムの制御方法。
（付記１３）
前記設定する処理は、今回の合計電力情報と、レジスタ内に保持された前回の合計電力情報とを比較した結果、前記前回の合計電力情報から制御不感範囲を減算した値が前記今回の合計電力情報以下であり、且つ、前回の合計電力情報から前記制御不感範囲を加算した値以下である場合、前記第１の冷却部の動作と前記第２の冷却部の動作とが切り替わる制御動作を抑制することを特徴とする、付記９乃至１２のいずれか１項記載のデータセンタシステムの制御方法。
（付記１４）
前記設定する処理は、前回の提供冷却水温情報が前記最高提供冷却水温以上での動作である場合、前記提供冷却水温情報が、前記最高提供冷却水温から動作不感値を減算した値未満であるか否かを判定し、前記最高提供冷却水温から前記動作不感値を減算した前記値未満であると、前記最高提供冷却水温以上での動作を停止することを特徴とする、付記９乃至１２のいずれか１項記載のデータセンタシステムの制御方法。
（付記１５）
コンピュータに、電子装置と前記電子装置を冷却する空調機とを備えたデータセンタを有するデータセンタシステムを制御させるプログラムであって、
前記データセンタに供給する冷却水を送風により冷却する第１の冷却部と、前記冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置を制御する処理を前記コンピュータに実行させ、
前記制御する処理は、
前記データセンタの外部の温度センサから外部温度情報を取得し、
前記外部温度情報に前記第１の冷却部の冷却能力に基づく冷却温度差を加算して、前記冷却装置に設定する提供冷却水温情報を算出し、
前記提供冷却水温情報を前記冷却装置に設定する
ことを特徴とする、プログラム。
（付記１６）
前記制御する処理はさらに、
前記電子装置の第１の電力センサから前記電子装置の第１の電力情報を取得し、
前記冷却装置の第２の電力センサから前記冷却装置の第２の電力情報を取得し、
前記設定は、
前記提供冷却水温情報が、前記電子装置の動作温度範囲の上限に依存する最高提供冷却水温未満であるか否かを判定し、前記提供冷却水温情報が前記最高提供冷却水温以上である場合、前記第１の電力情報と前記第２の電力情報との和である合計電力情報が最小となる提供冷却水温情報を前記冷却装置に新たに設定することを特徴とする、付記１５記載のプログラム。
（付記１７）
前記設定は、
前記提供冷却水温情報が前記電子装置の動作温度範囲の上限に依存する最高提供冷却水温未満である場合、前記提供冷却水温情報が、前記冷却装置の送風による動作下限温度に依存する最低提供冷却水温未満であるか否かを判定し、前記提供冷却水温情報が前記最低提供冷却水温未満である場合、前記最低提供冷却水温を前記提供冷却水温情報として前記冷却装置に新たに設定することを特徴とする、付記１６記載のプログラム。
（付記１８）
前記最高提供冷却水温は、前記電子装置の動作温度仕様で規定された動作温度範囲の上限から、前記データセンタ内の送風後温度上昇分と、前記データセンタ内の構造による温度の不均一分布に対応するための温度マージンとの和を減算した値であることを特徴とする、付記１６または１７記載のプログラム。
（付記１９）
前記最低提供冷却水温は、前記第１の冷却部の送風による動作下限温度、及び、前記データセンタ内の前記動作温度仕様で規定された前記動作温度範囲の下限により決まる値であることを特徴とする、付記１７記載のプログラム。
（付記２０）
前記設定は、今回の合計電力情報と、レジスタ内に保持された前回の合計電力情報とを比較した結果、前記前回の合計電力情報から制御不感範囲を減算した値が前記今回の合計電力情報以下であり、且つ、前回の合計電力情報から前記制御不感範囲を加算した値以下である場合、前記第１の冷却部の動作と前記第２の冷却部の動作とが切り替わる制御動作を抑制することを特徴とする、付記１６乃至１９のいずれか１項記載のプログラム。
（付記２１）
前記設定は、前回の提供冷却水温情報が前記最高提供冷却水温以上での動作である場合、前記提供冷却水温情報が、前記最高提供冷却水温から動作不感値を減算した値未満であるか否かを判定し、前記最高提供冷却水温から前記動作不感値を減算した前記値未満であると、前記最高提供冷却水温以上での動作を停止することを特徴とする、付記１６乃至１９のいずれか１項記載のプログラム。

以上、開示のデータセンタシステム、データセンタシステムの制御方法及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

１データセンタシステム
１１制御装置
１２チラー
１３データセンタ
２１温度センサ
２２，２４電力センサ
２３水温センサ
３１外気湿球温度情報取得部
３２提供冷却水温算出部
３３サーバ電力情報取得部
３４チラー電力情報取得部
３５設定部
３６初期値リスト
３７，３７Ａレジスタ
１１１プロセッサ
１１２記憶装置
１２１フリークーリング部
１２２冷却コンプレッサ
１３１区画
１３２空調機
１３３ラック群
１３４サーバ

Claims

電子装置と前記電子装置を冷却する空調機とを備えたデータセンタと、
前記データセンタに供給する冷却水を送風により冷却する第１の冷却部と、前記冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置と、
前記冷却装置を制御する制御装置とを有し、
前記制御装置は、
前記データセンタの外部の温度センサから外部温度情報を取得する温度情報取得部と、
前記外部温度情報に前記第１の冷却部の冷却能力に基づく冷却温度差を加算し、前記冷却装置に設定する提供冷却水温情報を算出する算出部と、
前記提供冷却水温情報を前記冷却装置に設定する設定部とを備えたことを特徴とする、データセンタシステム。
前記制御装置はさらに、
前記電子装置の第１の電力センサから前記電子装置の第１の電力情報を取得する第１の電力情報取得部と、
前記冷却装置の第２の電力センサから前記冷却装置の第２の電力情報を取得する第２の電力情報取得部とを備え、
前記設定部は、前記提供冷却水温情報が、前記電子装置の動作温度範囲の上限に依存する最高提供冷却水温未満であるか否かを判定し、前記提供冷却水温情報が前記最高提供冷却水温以上である場合、前記第１の電力情報と前記第２の電力情報との和である合計電力情報が最小となる提供冷却水温情報を前記冷却装置に新たに設定することを特徴とする、請求項１記載のデータセンタシステム。
前記設定部は、前記提供冷却水温情報が前記電子装置の動作温度範囲の上限に依存する最高提供冷却水温未満である場合、前記提供冷却水温情報が、前記冷却装置の送風による動作下限温度に依存する最低提供冷却水温未満であるか否かを判定し、前記提供冷却水温情報が前記最低提供冷却水温未満である場合、前記最低提供冷却水温を前記提供冷却水温情報として前記冷却装置に新たに設定することを特徴とする、請求項２記載のデータセンタシステム。
電子装置と前記電子装置を冷却する空調機とを備えたデータセンタを有するデータセンタシステムの制御方法であって、
制御装置が、前記データセンタに供給する冷却水を送風により冷却する第１の冷却部と、前記冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置を制御し、
前記制御装置の制御は、
前記データセンタの外部の温度センサから外部温度情報を取得し、
前記外部温度情報に前記第１の冷却部の冷却能力に基づく冷却温度差を加算して、前記冷却装置に設定する提供冷却水温情報を算出し、
前記提供冷却水温情報を前記冷却装置に設定する
処理を含むことを特徴とする、データセンタシステムの制御方法。
コンピュータに、電子装置と前記電子装置を冷却する空調機とを備えたデータセンタを有するデータセンタシステムを制御させるプログラムであって、
前記データセンタに供給する冷却水を送風により冷却する第１の冷却部と、前記冷却水を熱交換により冷却する第２の冷却部とを備えた冷却装置を制御する処理を前記コンピュータに実行させ、
前記制御する処理は、
前記データセンタの外部の温度センサから外部温度情報を取得し、
前記外部温度情報に前記第１の冷却部の冷却能力に基づく冷却温度差を加算して、前記冷却装置に設定する提供冷却水温情報を算出し、
前記提供冷却水温情報を前記冷却装置に設定する
ことを特徴とする、プログラム。