JP2015161451A - データセンタ、データセンタの制御方法及び制御プログラム - Google Patents

データセンタ、データセンタの制御方法及び制御プログラム Download PDF

Info

Publication number
JP2015161451A
JP2015161451A JP2014036979A JP2014036979A JP2015161451A JP 2015161451 A JP2015161451 A JP 2015161451A JP 2014036979 A JP2014036979 A JP 2014036979A JP 2014036979 A JP2014036979 A JP 2014036979A JP 2015161451 A JP2015161451 A JP 2015161451A
Authority
JP
Japan
Prior art keywords
cooling device
air volume
power consumption
fan
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014036979A
Other languages
English (en)
Other versions
JP6417672B2 (ja
Inventor
児玉　宏喜
Hiroki Kodama
宏喜 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014036979A priority Critical patent/JP6417672B2/ja
Priority to US14/550,009 priority patent/US9851781B2/en
Publication of JP2015161451A publication Critical patent/JP2015161451A/ja
Application granted granted Critical
Publication of JP6417672B2 publication Critical patent/JP6417672B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G05D23/19—Control of temperature characterised by the use of electric means
    • G05D23/1927—Control of temperature characterised by the use of electric means using a plurality of sensors
    • G05D23/193—Control of temperature characterised by the use of electric means using a plurality of sensors sensing the temperaure in different places in thermal relationship with one or more spaces
    • G05D23/1932—Control of temperature characterised by the use of electric means using a plurality of sensors sensing the temperaure in different places in thermal relationship with one or more spaces to control the temperature of a plurality of spaces
    • G05D23/1934—Control of temperature characterised by the use of electric means using a plurality of sensors sensing the temperaure in different places in thermal relationship with one or more spaces to control the temperature of a plurality of spaces each space being provided with one sensor acting on one or more control means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G06F1/206—Cooling means comprising thermal management
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20836—Thermal management, e.g. server temperature control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Thermal Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Air Conditioning Control Device (AREA)
  • Cooling Or The Like Of Electrical Apparatus (AREA)
  • Central Air Conditioning (AREA)
  • Ventilation (AREA)

Abstract

【課題】 情報処理装置を適切に冷却しつつ、消費電力を低減することが可能なデータセンタ等の提供。
【解決手段】 データセンタは、ファンをそれぞれ内蔵する複数の情報処理装置と、前記複数の情報処理装置のそれぞれの所定部の温度が所定温度になるように前記ファンのそれぞれを制御するファン制御装置と、前記複数の情報処理装置に対して風を供給する冷却ファンと、冷気を生成する冷却器とを備える冷却装置と、前記冷却装置の風量を所定量変化させたときの前記冷却装置における消費電力の変化量と前記複数の情報処理装置における消費電力の変化量との比較結果に基づいて、前記冷却装置の風量を制御する冷却装置制御装置とを含む。
【選択図】 図４

Description

本開示は、データセンタ、データセンタの制御方法及び制御プログラムに関する。
従来から、電子機器収容用ラックと、ラックが設置されている室内に設置され、該室内の温度を制御する主空調機と、ラック内に設けられ、排気用ファンへの電源供給を制御する制御回路とを有する空気調和システムが知られている（例えば、特許文献１参照）。制御回路は、排気用ファンの動作情報、又は、ラックに収容された電子機器の消費電力に関する情報を主空調機に送出し、主空調機は受信した情報に基づいて出力を制御する。
特開2004-286365号公報
ところで、データセンタにおいては、情報処理装置の内蔵ファン及び冷却装置により情報処理装置を適切に冷却しつつ、情報処理装置及び冷却装置の各消費電力を足し合わせた消費電力（データセンタの消費電力）を低減することが有用となる。
そこで、開示の技術は、情報処理装置を適切に冷却しつつ、消費電力を低減することが可能なデータセンタ等の提供を目的とする。
本開示の一局面によれば、ファンをそれぞれ内蔵する複数の情報処理装置と、
前記複数の情報処理装置のそれぞれの所定部の温度が所定温度になるように前記ファンのそれぞれを制御するファン制御装置と、
前記複数の情報処理装置に対して風を供給する冷却ファンと、冷気を生成する冷却器とを備える冷却装置と、
前記冷却装置の風量を所定量変化させたときの前記冷却装置における消費電力の変化量と前記複数の情報処理装置における消費電力の変化量との比較結果に基づいて、前記冷却装置の風量を制御する冷却装置制御装置とを含む、データセンタが提供される。
本開示の技術によれば、情報処理装置を適切に冷却しつつ、総消費電力を低減することが可能なデータセンタ等が得られる。
コンテナ型データセンタの一例を概略的に示す斜視図。 モジュラー型データセンタの一例を概略的に上面視で示す図。 サーバの一例を示す上面図。 データセンタの制御系の一例を示す図。 サーバのファン制御装置により実行される処理の一例を示すフローチャート。 目標ＣＰＵ温度の設定方法の一例の説明図。 空調ファンの風量とサーバ内の各部品の温度との関係を示す図（その１）。 空調ファンの風量とサーバ内の各部品の温度との関係を示す図（その２）。 環境温度とサーバ内蔵ファンのデューティとの関係を示す図。 空調ファンの風量と空調機消費電力との関係を示す図。 管理マネージャにより実行される処理の一例を示すフローチャート。 管理マネージャにより実行される処理の他の一例を示すフローチャート。
以下、添付図面を参照しながら各実施例について詳細に説明する。
図１は、コンテナ型データセンタの一例を概略的に示す斜視図である。コンテナ型データセンタ１は、コンテナ２を含み、コンテナ２には、外気の吸気口２０と、排気口２２とが形成される。吸気口２０及び排気口２２の各位置は任意であるが、図１に示す例では、コンテナ２における互いに対向する側面に形成される。コンテナ２には、他の吸気口２１が形成されてもよい。
コンテナ２内には、ラック３０、及び、冷却装置４０が配置される。ラック３０には、サーバ（情報処理装置の一例）５０が収容される。ラック３０は、典型的には、１つのコンテナ２に対して複数個設けられる。また、サーバ５０は、１つのラック３０に対して複数個設けられる。
冷却装置４０は、冷気を生成する冷却器４２と、コンテナファン（冷却ファンの一例）４４とを含む。冷却器４２による冷気の生成原理は任意であり、例えば気化式であってよい。冷却器４２及びコンテナファン４４の各数は、任意である。冷却装置４０は、例えば図1に示すように、コンテナ２内におけるラック３０よりも吸気口２０に近い側に配置される。コンテナファン４４は、作動時、図１にて矢印Ｐ１に示すように、吸気口２０を介して外気をコンテナ２内に導入する。このようにして導入された外気は、冷却器４２により冷却される。冷却器４２により冷却された外気は、コンテナファン４４の作用により、図１にて矢印Ｐ２に示すように、ラック３０へと流れる。これにより、ラック３０内に収容された各サーバ５０が冷却される。各サーバ５０の冷却に供された外気は、コンテナファン４４の作用により、図１にて矢印Ｐ３に示すように、排気口２２を介してコンテナ２外へと排出される。このようにして、ラック３０内に収容された各サーバ５０の冷却が実現される。尚、冷却装置４０により生成される全体としての風量は、コンテナファン４４の回転数（駆動デューティ）によって決まる。
尚、図１に示すコンテナ型データセンタ１は、あくまで一例であり、冷却装置４０やラック３０の位置等は任意である。
図２は、モジュラー型データセンタの一例を概略的に上面視で示す図である。図２には、モジュラー型データセンタ内における空気の流れが模式的に矢印で示されている。
モジュラー型データセンタ１Ａは、ラック３０と、冷却装置４０Ｂとを含む。ラック３０には、同様に、サーバ（図示せず）が収容される。
冷却装置４０Ｂは、冷却器４２Ｂ（図４参照）と、空調ファン４４Ｂ（冷却ファンの一例、図４参照）とを備える空調機の形態であり、冷却装置４０と同様、冷気を含む風をラック３０に送ることができる。例えば、冷却器４２Ｂは、冷気を生成するためのコンプレッサを含む。図２に示す例は、８ラック単位のモジュラー型データセンタ１Ａであり、冷却装置４０Ｂは、４つのラック３０に対して１つ設定されている。但し、冷却装置４０Ｂ及びラック３０の各数や配置態様は任意である。
モジュラー型データセンタ１Ａは、ラック３０の各列間に、コールドアイル６２とホットアイル６４とを交互に含む。図２に示す例では、第１のラック列３０１と第２のラック列３０２との間にコールドアイル６２が形成され、第２のラック列３０２と第３のラック列３０３との間にホットアイル６４が形成されている。コールドアイル６２には、図２にて矢印で模式的に示すように、第１のラック列３０１内の冷却装置４０Ｂから冷気が送られると共に、第２のラック列３０２内の冷却装置４０Ｂから冷気が送られる。コールドアイル６２内の空気は、第１のラック列３０１及び第２のラック列３０２内の各サーバの冷却に利用される。ホットアイル６４には、図２にて矢印で模式的に示すように、第２のラック列３０２内のサーバの冷却に供された空気が送られると共に、第３のラック列３０３内のサーバの冷却に供された空気が送られる。尚、ホットアイル６４内の空気は、モジュラー型データセンタ１Ａの外部へと排出されてもよい。
図３は、サーバ５０の一例を示す上面図である。図３には、内部構成が分かるように、ケースを開けた状態でサーバ５０が示されている。図３では、１つのサーバ５０について代表的に示しているが、他のサーバ５０についても同様であってよい。
サーバ５０は、ＣＰＵ５２と、サーバ内蔵ファン５４と、ＰＤＵ（Power Distribution Unit）５６と、環境温度センサ５９とを含む。
ＣＰＵ５２は、ＣＰＵ５２の温度（以下、「ＣＰＵ温度」という）を測定するＣＰＵ温度センサ５８（図４参照）を内蔵する。図３に示す例では、１つのサーバ５０に対してＣＰＵ５２は２個実装されているが、ＣＰＵ５２の数は任意である。サーバ内蔵ファン５４は、サーバ５０内の電子部品（例えば、ＣＰＵ５２、ＰＤＵ５６等）の冷却のために設けられる。
サーバ内蔵ファン５４は、典型的には、図３に示すように、複数個設けられる。サーバ内蔵ファン５４は、サーバ５０内の任意の位置に設けられてよい。
ＰＤＵ５６は、サーバ５０内の各種負荷（ＣＰＵ５２、サーバ内蔵ファン５４等）の電源として機能する。ＰＤＵ５６は、サーバ５０の消費電力（以下、「サーバ消費電力」ともいう）を計測する消費電力計５７（図４参照）を内蔵する。消費電力計５７は、ＰＤＵ５６からの各種負荷への供給電流を検出する電流センサと、供給電圧を検出する電圧センサとを含んでよい。この場合、サーバ消費電力は、電流値と電圧値の積に基づいて算出される。
環境温度センサ５９は、環境温度を測定する。環境温度センサ５９は、サーバ５０における吸気側に配置されてよい。
図４は、データセンタの制御系の一例を示す図である。以下では、一例として、データセンタは、図２に示したモジュラー型データセンタ１Ａであるとする。コンテナ型データセンタ１の場合は、以下の説明において、「冷却装置４０Ｂ」を「冷却装置４０」に読み替え、「冷却器４２Ｂ」を「冷却器４２」に読み替え、「空調ファン４４Ｂ」を「コンテナファン４４」に読み替えればよい。
モジュラー型データセンタ１Ａの制御系は、図４に示すように、管理マネージャ（冷却装置制御装置の一例）１００と、サーバ５０内のファン制御装置５６と、冷却装置４０Ｂ内の空調制御装置４６とを含む。
ファン制御装置５６は、図４に示すように、モジュラー型データセンタ１Ａ内の複数のサーバ５０のそれぞれに設けられる。但し、ファン制御装置５６は、モジュラー型データセンタ１Ａ内の複数のサーバ５０に対して共通に１つだけ設けられてもよい。
空調制御装置４６は、図４に示すように、モジュラー型データセンタ１Ａ内の複数の冷却装置４０Ｂのそれぞれに設けられる。但し、空調制御装置４６は、モジュラー型データセンタ１Ａ内の複数の冷却装置４０Ｂに対して共通に１つだけ設けられてもよい。
管理マネージャ１００は、コンピューターにより実現されてよい。管理マネージャ１００は、モジュラー型データセンタ１Ａ内に配置されてもよいし、モジュラー型データセンタ１Ａ外に配置されてもよい。
管理マネージャ１００は、例えば、図４に示すように、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、入力部１０７を含む。制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して管理マネージャ１００にインストールされる。インストールされた所定のプログラムは、管理マネージャ１００により実行可能となる。ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器（例えば、サーバ５０等）と管理マネージャ１００とのインターフェースである。入力部１０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやスライスパット等を有する。尚、図４に示す例において、以下で説明する図１１等に示す処理は、プログラムを管理マネージャ１００に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を管理マネージャ１００に読み取らせて、以下で説明する図１１等に示す処理を実現させることも可能である。なお、記録媒体１０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。なお、記録媒体１０５には、搬送波は含まれない。
管理マネージャ１００は、各サーバ５０と例えばＩＰＭＩ（Intelligent Platform Management Interface）に基づいて通信可能である。管理マネージャ１００は、各サーバ５０から消費電力を表す情報（以下、「サーバ消費電力情報」という）等を取得する。また、管理マネージャ１００は、各サーバ５０に目標ＣＰＵ温度を通知してもよい。
管理マネージャ１００は、各冷却装置４０Ｂと例えばＴＣＰ（Transmission Control Protocol）に基づいて通信可能である。管理マネージャ１００は、各冷却装置４０Ｂから消費電力（以下、「空調機消費電力」ともいう）を表す情報（以下、「空調機消費電力情報」という）等を取得する。各冷却装置４０Ｂは、消費電力計４８を備える。消費電力計４８は、冷却装置４０Ｂにより消費される消費電力を計測する。消費電力計４８は、冷却装置４０Ｂ内の各種負荷（空調ファン４４Ｂ、冷却器４２Ｂ等）への供給電流を検出する電流センサと、供給電圧を検出する電圧センサとを含んでよい。この場合、空調機消費電力は、電流値と電圧値の積に基づいて算出される。また、管理マネージャ１００は、各冷却装置４０Ｂに空調ファン４４Ｂの制御目標値を通知する。制御目標値は、風量に関連する任意の物理量に関する目標値であってよく、例えば風量自体であってもよいし、ファン回転数、デューティ等に関する目標値であってよい。
図５は、サーバ５０のファン制御装置５６により実行される処理の一例を示すフローチャートである。ここでは、１つのサーバ５０における処理について説明するが、他のサーバ５０の処理についても同様であってよい。図５に示す処理は、例えば、サーバ５０の電源オン時に起動され、その後、所定周期毎に繰り返し実行される。
ステップ５００では、目標ＣＰＵ温度を管理マネージャ１００から受信する。目標ＣＰＵ温度は、ＣＰＵ温度の許容上限値以下の温度範囲内で設定される。目標ＣＰＵ温度の設定方法の例については後述する。
ステップ５０２では、ＣＰＵ温度センサ５８の検出結果に基づくＣＰＵ温度と目標ＣＰＵ温度との間の偏差に応じて、目標ＣＰＵ温度が実現されるように各サーバ内蔵ファン５４の制御目標値を決定し、各サーバ内蔵ファン５４を制御する。制御目標値は、各サーバ内蔵ファン５４間で異なる値であってもよいが、典型的には、各サーバ内蔵ファン５４間で同一である。このようにして、ＣＰＵ温度と目標ＣＰＵ温度との間の偏差に応じて各サーバ内蔵ファン５４がフィードバック制御される。フィードバック制御の態様は、任意であり、例えばＰＩ（Proportional Integral）制御であってもよいし、ＰＩＤ（Proportional Integral Derivative）制御、モデル制御等であってよい。サーバ内蔵ファン５４の制御目標値は、風量に関連する任意の物理量に関する目標値であってよく、例えば風量自体であってもよいし、ファン回転数、デューティ等に関する目標値であってよい。
尚、ステップ５０２において、サーバ５０がアイドル状態である場合等、サーバ内蔵ファン５４の風量を最小にしても、ＣＰＵ温度が目標ＣＰＵ温度よりも小さくなる場合がある。この場合は、ファン制御装置５６は、サーバ内蔵ファン５４の風量が最小値（例えば０）になるようにサーバ内蔵ファン５４の目標値を決定することになる。
ステップ５０４では、消費電力計５７の検出結果に基づいて、現在のサーバ５０の消費電力を表すサーバ消費電力情報を生成し、管理マネージャ１００に送信する。尚、図５に示す例では、サーバ消費電力情報は、所定周期毎に管理マネージャ１００に送信されるが、複数の周期毎に管理マネージャ１００に送信されてもよいし、管理マネージャ１００からの要求に応じて管理マネージャ１００に送信されてもよい。
ステップ５０２及びステップ５０４の各処理は、サーバ５０の電源がオン状態である間、所定周期毎に繰り返される。
尚、図５に示すのステップ５０２の処理に関して、サーバ５０内にＣＰＵ５２が複数個存在する場合は、各サーバ内蔵ファン５４は、各ＣＰＵ温度が目標ＣＰＵ温度になるように制御されてよい。目標ＣＰＵ温度は、ＣＰＵ５２毎に異なってもよいし（図６を参照して後述）、同一であってもよい。或いは、各サーバ内蔵ファン５４は、各ＣＰＵ温度のうちの最も高いＣＰＵ温度が目標ＣＰＵ温度になるように制御されてよい。
図６は、目標ＣＰＵ温度の設定方法の一例の説明図である。図６において、（Ａ）は、１つのサーバ５０におけるＣＰＵ５２のＣＰＵ温度とＣＰＵ５２の消費電力（ＣＰＵ消費電力）との関係を示す図であり、（Ｂ）は、ＣＰＵ温度とサーバ内蔵ファン５４の消費電力（ファン消費電力）との関係を示す図である。また、（Ｃ）は、ＣＰＵ温度とサーバ消費電力との関係を示す図である。
ＣＰＵ５２は、負荷をかけると電力を消費するが、ＣＰＵ温度が高温になると、ＣＰＵ５２の回路にはリーク電流が生じる。リーク電流とＣＰＵ温度の関係は、ＣＰＵ５２の回路とＣＰＵ５２の種類によって決まり、リーク電流はＣＰＵ温度に比例する。従って、ＣＰＵ消費電力は、図６（Ａ）に示すように、ＣＰＵ温度の増加と共に線形的に増加する。
一方、サーバ内蔵ファン５４の回転数とサーバ内蔵ファン５４の消費電力の関係は、サーバ内蔵ファン５４の回転数が増加するにつれ、内蔵ファン５４の消費電力が指数関数的に増加する。また、サーバ内蔵ファン５４の回転数を下げていくと，ＣＰＵ５２を冷却するための風量が少なくなるため、ＣＰＵ温度が上昇していく。従って、ＣＰＵ温度とファン消費電力の関係は、図６（Ｂ）に示すように、指数関数の関係となる。
ここで、簡易的に、ＣＰＵ消費電力とファン消費電力の合計をサーバ消費電力であるとすると、サーバ消費電力とＣＰＵ温度との関係は、図６（Ｃ）のようになる。即ち、図６（Ｃ）に示す曲線は、図６（Ａ）に示す曲線と図６（Ｂ）に示す曲線の和に対応する。図６（Ｃ）に示すように、サーバ消費電力は、特定のＣＰＵ温度Ｔｔにて極小値となる。従って、このＣＰＵ温度Ｔｔを目標ＣＰＵ温度として設定することとしてよい。これにより、サーバ５０単位でサーバ消費電力が最小となるような制御を実現することができる。
尚、図６に示す特性は、１つのＣＰＵ５２の特性、及び、１つのサーバ内蔵ファン５４の特性に関する。実際には、サーバ５０は、上述の如く、複数のＣＰＵ５２及び複数のサーバ内蔵ファン５４を含みうるので、その場合、各特性を足し合わせることで、図６（Ｃ）に示すようなサーバ消費電力とＣＰＵ温度の関係が得られる。この場合も、同様に極小値が現れるので、その極小値を目標ＣＰＵ温度として設定すればよい。
尚、上述の極小値となるＣＰＵ温度Ｔｔは、設計段階で試験等により既知となる。しかしながら、サーバ５０の固体差や経年的な特性変化を考慮して、極小値となるＣＰＵ温度Ｔｔは、サーバ５０毎に導出されてよく、及び／又は、定期的に更新されてよい。例えば、設計段階で得られたＣＰＵ温度Ｔｔに対して±３℃以内で目標ＣＰＵ温度を変化させ、各目標ＣＰＵ温度におけるサーバ消費電力を比較し、サーバ消費電力が最小となるときの目標ＣＰＵ温度を使用すればよい。この場合、ＣＰＵ５２毎に目標ＣＰＵ温度が異なりうる。また、上述の極小値となるＣＰＵ温度Ｔｔは、環境温度に応じて異なるので、環境温度に応じて予め導出されてよい。この場合、図５のステップ５００では、環境温度に応じた目標ＣＰＵ温度が管理マネージャ１００から受信されることになる。
図７は、空調ファン４４Ｂの風量とサーバ５０内の各部品の温度との関係を示す図である。図７において、（Ａ）は、サーバ内蔵ファン５４が４０％のデューティで駆動されている場合を示し、（Ｂ）は、サーバ内蔵ファン５４が６０％のデューティで駆動されている場合を示す。また、（Ｃ）は、サーバ内蔵ファン５４が８０％のデューティで駆動されている場合を示す。測定された各部品の温度は、２つのＣＰＵ５２のそれぞれの温度、及び、システムボードの温度である。
図７に示すように、ＣＰＵ温度及びシステムボードの温度は、空調ファン４４Ｂの風量が増加すると低下することが分かる。また、温度低下幅は、サーバ内蔵ファン５４のデューティが小さいほど（回転数が低いほど）大きくなることが分かる。
図８は、空調ファン４４Ｂの風量とサーバ５０内の各部品の温度との関係を示す図である。図８において、（Ａ）は、環境温度が２５度の場合を示し、（Ｂ）は、環境温度が３０度の場合を示す。また、図８は、サーバ内蔵ファン５４が６０％のデューティで駆動されているときの上記関係を示す。尚、図７は、環境温度が１８度の場合のデータであり、図７（Ｂ）は、図８（Ａ）及び図８（Ｂ）と環境温度違いのデータとなる。
図８に示すように、サーバ内蔵ファン５４が１００％以下の６０％のデューティで駆動されているときでも、空調ファン４４Ｂの風量が増加することで、ＣＰＵ温度の許容上限値Ｔｕ未満にＣＰＵ温度を抑えることができることが分かる。
図９は、環境温度とサーバ内蔵ファン５４のデューティとの関係を示す図である。図９には、空調ファン４４Ｂの風量が２５００ｍ３／ｈの場合と、６０００ｍ３／ｈの場合と、１００００ｍ３／ｈの場合の３通りについて示されている。図９は、ＣＰＵ５２の負荷率を１００％として、ＣＰＵ温度が許容上限値Ｔｕ（ここでは８９度）以下になるときの上記関係を示す。
図９に示すように、例えば、環境温度１８度では、空調ファン４４Ｂの風量が２５００ｍ３／ｈや６０００ｍ３／ｈの場合にはサーバ内蔵ファン５４のデューティは約６０％となる。他方、環境温度１８度では、空調ファン４４Ｂの風量が１００００ｍ３／ｈの場合にはサーバ内蔵ファン５４のデューティは約４０％となる。これから、空調ファン４４Ｂの風量を増加することで、ＣＰＵ温度を許容上限値Ｔｕ以下に維持しつつ、サーバ内蔵ファン５４のデューティを低減することが可能であることが分かる。
同様に、例えば、環境温度３０度では、空調ファン４４Ｂの風量が２５００ｍ３／ｈの場合にはサーバ内蔵ファン５４のデューティは約８０％となる。他方、環境温度３０度では、空調ファン４４Ｂの風量が１００００ｍ３／ｈや６０００ｍ３／ｈの場合にはサーバ内蔵ファン５４のデューティは約６０％となる。これから、空調ファン４４Ｂの風量を増加することで、ＣＰＵ温度を許容上限値Ｔｕ以下に維持しつつ、サーバ内蔵ファン５４のデューティを低減することが可能であることが分かる。
図１０は、空調ファン４４Ｂの風量と冷却装置４０Ｂの消費電力（空調機消費電力）との関係を示す図である。図１０においては、環境温度が１８度の場合と、環境温度が２５度の場合と、環境温度が３０度の場合の３通りについて示されている。
図１０に示すように、空調機消費電力は、空調ファン４４Ｂの風量が増加するにつれて増加することが分かる。尚、図１０に示す例では、最大消費電力と最小消費電力との差分は、約２ｋＷとなっている。
図７乃至図１０に示すように、空調ファン４４Ｂの風量を増加することで、ＣＰＵ温度を許容上限値Ｔｕ以下に維持しつつ、サーバ内蔵ファン５４のデューティを低減することが可能である。これは、空調ファン４４Ｂの風量を増加することで、ＣＰＵ温度を目標ＣＰＵ温度に維持しつつ、サーバ内蔵ファン５４のデューティを低減することが可能であることを意味する。このとき、空調ファン４４Ｂの風量の増加に起因した空調機消費電力の増分よりも、空調ファン４４Ｂの風量の増加によるサーバ消費電力の低減分の合計が大きければ、モジュラー型データセンタ１Ａ全体として消費電力を低減することができる。以下、このような知見に基づいて実行される管理マネージャ１００の処理について説明する。
図１１は、管理マネージャ１００により実行される処理の一例を示すフローチャートである。図１１に示す処理は、例えば、モジュラー型データセンタ１Ａの稼動開始時に起動され、その後の稼働中に、所定周期毎に繰り返し実行される。尚、以下の処理は、モジュラー型データセンタ１Ａ内の複数の冷却装置４０Ｂに対して一括して実行される処理である。即ち、複数の冷却装置４０Ｂは、各冷却装置４０Ｂ内の空調ファン４４Ｂの風量が同一になるように制御されるものとする。
ステップ１１００では、モジュラー型データセンタ１Ａ内の各冷却装置４０Ｂの制御目標値（例えば、目標風量）を所定の初期値に設定する。ここでは、所定の初期値は、空調ファン４４Ｂの消費電力が略最小となるときの最小風量である。例えば、図１０に示したように、例えば環境温度が３０度のときは、空調ファン４４Ｂの風量が約４０００ｍ３／ｈまでは空調ファン４４Ｂの消費電力は略最小値となる。従って、この場合、所定の初期値は、４０００ｍ３／ｈに設定される。尚、図１０からも分かるように、所定の初期値は、環境温度に応じて可変されてもよい。或いは、簡易的に、所定の初期値は、２５００ｍ３／ｈといった固定値であってもよい。
ステップ１１０２では、空調機消費電力情報をモジュラー型データセンタ１Ａ内の各冷却装置４０Ｂからそれぞれ取得する。
ステップ１１０４では、サーバ消費電力情報をモジュラー型データセンタ１Ａ内の各サーバ５０からそれぞれ取得する。
ステップ１１０６では、上記ステップ１１０２及びステップ１１０４で取得した各情報に基づいて、現在のモジュラー型データセンタ１Ａの消費電力を算出する。モジュラー型データセンタ１Ａの消費電力は、空調機消費電力とサーバ消費電力の合計として算出されてよい。
ステップ１１０８では、モジュラー型データセンタ１Ａ内の各冷却装置４０Ｂの制御目標値を所定量ΔＶ増加する。所定量ΔＶは、小さいほど精度良く最適値（モジュラー型データセンタ１Ａの消費電力が極小値となる各冷却装置４０Ｂの制御目標値）を求めることができる反面、処理負荷が高くなる。従って、所定量ΔＶは、必要とされる精度と処理負荷との関係で適宜決定されてよい。所定量ΔＶは、例えば５００ｍ３／ｈであってよい。このようにして変更された制御目標値は、各冷却装置４０Ｂに送信される。これを受けて、各冷却装置４０Ｂの空調制御装置４６は、変更された制御目標値が実現されるように、対応する空調ファン４４Ｂを制御する。尚、この制御態様は、任意であるが、サーバ内蔵ファン５４と同様のフィードバック制御等であってよい。
ここで、ステップ１１０８の処理が実行されると、各冷却装置４０Ｂの空調ファン４４Ｂの風量が増加するので、モジュラー型データセンタ１Ａ内の各サーバ内蔵ファン５４のデューティが低減される傾向となる。即ち、図７等に示したように、冷却装置４０Ｂの空調ファン４４Ｂの風量が増加すると、ＣＰＵ温度が低下する傾向となるので、その分だけ、各サーバ内蔵ファン５４の風量が低下する傾向となる。このような各サーバ内蔵ファン５４の風量の低減は、図５に示した処理により実現されることになる。即ち、各サーバ内蔵ファン５４は、ＣＰＵ温度が目標ＣＰＵ温度となるようにフィードバック制御されているので、ＣＰＵ温度が空調ファン４４Ｂの風量増加に起因して低下傾向となると、各サーバ内蔵ファン５４の風量が低下傾向となる。尚、実際には、各冷却装置４０Ｂの空調ファン４４Ｂの風量が増加しても、モジュラー型データセンタ１Ａ内の各サーバ内蔵ファン５４のデューティが低減されない場合もありうる。これは、例えば環境温度及び／又は負荷率が高く、空調ファン４４Ｂの風量を増加してもＣＰＵ温度が有意に低下しない場合等がありうるためである。
ステップ１１１０では、上記ステップ１１０８による空調ファン４４Ｂの風量増加後の空調機消費電力情報をモジュラー型データセンタ１Ａ内の各冷却装置４０Ｂからそれぞれ取得する。
ステップ１１１２では、上記ステップ１１０８による空調ファン４４Ｂの風量増加後のサーバ消費電力情報をモジュラー型データセンタ１Ａ内の各サーバ５０からそれぞれ取得する。
ステップ１１１４では、上記ステップ１１１０で取得した空調機消費電力情報（今回値と前回値との差）に基づいて、上記ステップ１１０８による空調ファン４４Ｂの風量増加に起因した空調機消費電力の増加量ΔＷｆ２を算出する。尚、増加量ΔＷｆ２は、各冷却装置４０Ｂにおいて同一であると仮定して、特定の１つの冷却装置４０Ｂに対する増加量ΔＷｆ２のみを算出してもよい。この場合、空調機消費電力情報の取得は、当該特定の１つの冷却装置４０Ｂから得られればよい。
ステップ１１１６では、上記ステップ１１１２で取得したサーバ消費電力情報（今回値と前回値との差）に基づいて、上記ステップ１１０８による空調ファン４４Ｂの風量増加に起因したサーバ消費電力の減少量ΔＷｆ１を算出する。減少量ΔＷｆ１は、好ましくは、各サーバ５０毎に算出される。
ステップ１１１８では、各サーバ５０におけるサーバ消費電力の減少量ΔＷｆ１の合計（＝ΔＷｆ１total）が、各冷却装置４０Ｂの空調機消費電力の増加量ΔＷｆ２の合計（＝ΔＷｆ２total）よりも大きいか否かを判定する。ΔＷｆ１totalがΔＷｆ２totalよりも大きい場合は、ステップ１１０８に戻り、ステップ１１０８からの処理を繰り返す。他方、ΔＷｆ１totalがΔＷｆ２total以下である場合は、ステップ１１２０に進む。
このようにして、ΔＷｆ１totalがΔＷｆ２total以下となるまで、空調ファン４４Ｂの風量が所定量ΔＶずつ増加されていく。ΔＷｆ１totalがΔＷｆ２totalよりも大きいことは、空調ファン４４Ｂの風量の増加によりモジュラー型データセンタ１Ａの消費電力が低減されたことを意味する。従って、空調ファン４４Ｂの風量を所定量ΔＶ増加していきながら、モジュラー型データセンタ１Ａの消費電力が極小値となるときの最適値(空調ファン４４Ｂの風量の最適値)が探索されていることになる。
ステップ１１２０では、モジュラー型データセンタ１Ａ内の各冷却装置４０Ｂの制御目標値を所定量ΔＶ減少する。即ち、上記ステップ１１０８の処理をキャンセルする。これは、ΔＷｆ１totalがΔＷｆ２total以下となることは、空調ファン４４Ｂの風量の増加前がモジュラー型データセンタ１Ａの消費電力が極小値であったことを意味するためである。これにより、モジュラー型データセンタ１Ａの消費電力が極小値となる状態に戻すことができる。
ステップ１１２２では、モジュラー型データセンタ１Ａ内のサーバ稼動数に変化があったか否かを判定する。サーバ稼動数は、所定負荷率以上で稼動しているサーバ５０の数であってもよい。サーバ稼動数が変化すると、モジュラー型データセンタ１Ａの消費電力が極小値となるときの空調ファン４４Ｂの風量が変化しうるためである。モジュラー型データセンタ１Ａ内のサーバ稼動数に変化があった場合には、再び最適値を探索すべく、ステップ１１００に戻り、ステップ１１００からの処理を行う。他方、サーバ稼動数に変化がない場合は、空調ファン４４Ｂの風量を変化させず、現状を維持する。
図１１に示す処理によれば、各冷却装置４０Ｂの空調ファン４４Ｂの制御目標値を増加させながら、モジュラー型データセンタ１Ａの消費電力が極小値となる制御目標値を求めることができる。これにより、モジュラー型データセンタ１Ａの消費電力が極小値となるように、各冷却装置４０Ｂの空調ファン４４Ｂの風量を設定することができる。この結果、ＣＰＵ温度を適切な温度（本例の場合、目標ＣＰＵ温度）に維持しつつ、モジュラー型データセンタ１Ａの消費電力を低減することが可能となる。
尚、図１１に示す処理は、前提として、図５に示した処理によりＣＰＵ温度が目標ＣＰＵ温度又はそれ以下となるように正常に制御されている状況下で実行される。従って、例えば、各サーバ内蔵ファン５４のデューティが１００％となっている状態でＣＰＵ温度が目標ＣＰＵ温度を有意に超えてしまう場合は、図１１に示す処理は中断されてよい。換言すると、サーバ５０のファン制御装置５６は、各サーバ内蔵ファン５４のデューティを１００％にしてもＣＰＵ温度が目標ＣＰＵ温度を有意に越える場合は、管理マネージャ１００に空調ファン４４Ｂの風量の増加を要求してよい。この場合、管理マネージャ１００は、図１１に示す処理を中断し、各冷却装置４０Ｂの空調ファン４４Ｂの制御目標値を直ちに増加することとしてよい。或いは、図１１に示す処理の中断は、各サーバ内蔵ファン５４のデューティが１００％となっている状態でＣＰＵ温度が許容上限値Ｔｕ（図８（Ｂ）参照）に対して所定マージン以下になった場合に実行されてもよい。即ち、ファン制御装置５６は、各サーバ内蔵ファン５４のデューティを１００％にしてもＣＰＵ温度が許容上限値Ｔｕに対して所定マージン以下になった場合は、管理マネージャ１００に空調ファン４４Ｂの風量の増加を要求してよい。この場合、同様に、管理マネージャ１００は、図１１に示す処理を中断し、各冷却装置４０Ｂの空調ファン４４Ｂの制御目標値を直ちに増加することとしてよい。
尚、図１１に示す例では、ステップ１１１８の処理において、上述の如く、空調ファン４４Ｂの風量増加後のサーバ消費電力の減少量ΔＷｆ１の合計と、空調ファン４４Ｂの風量増加後の空調機消費電力の増加量ΔＷｆ２の合計とを比較している。しかしながら、等価的に、ステップ１１１８の処理において、空調ファン４４Ｂの風量増加前のモジュラー型データセンタ１Ａの消費電力と、空調ファン４４Ｂの風量増加後のモジュラー型データセンタ１Ａの消費電力とを比較してもよい。この場合、空調ファン４４Ｂの風量増加後のモジュラー型データセンタ１Ａの消費電力が風量増加前の同消費電力よりも小さい場合は、ステップ１１０８の処理に戻り、それ以外の場合は、ステップ１１２０に進むこととしてよい。
また、図１１に示す例では、ステップ１１２２において、上述の如く、サーバ稼動数の変化を判定し、サーバ稼動数の変化があった場合に、ステップ１１００に戻ることとしている。しかしながら、他の条件でステップ１１００に戻ることとしてもよい。例えば、ステップ１１２０の処理を行ってから所定時間（例えば、５分）経過した場合に、ステップ１１００に戻ることとしてもよい。或いは、ステップ１１２０の処理後、モジュラー型データセンタ１Ａの消費電力が極小値となるときの最適値に変動を引き起こす他の変化（例えば、環境温度の有意な変化等）が発生した場合に、ステップ１１００に戻ることとしてもよい。
また、図１１に示す処理は、特にサーバ５０の稼動数が多いときに好適となる。これは、サーバ５０の稼動数が多いほど、各冷却装置４０Ｂの風量増加時における各サーバ５０におけるサーバ消費電力の減少量ΔＷｆ１の合計（＝ΔＷｆ１total）が大きくなる傾向があるためである。従って、図１１に示す処理は、サーバ稼動数が所定数以上であるときに実行されることとしてもよい。
図１２は、管理マネージャ１００により実行される処理の他の一例を示すフローチャートである。図１２に示す処理は、例えば、モジュラー型データセンタ１Ａの稼動開始時に起動され、その後の稼働中に、所定周期毎に繰り返し実行される。尚、以下の処理は、モジュラー型データセンタ１Ａ内の複数の冷却装置４０Ｂに対して一括して実行される処理である。即ち、複数の冷却装置４０Ｂは、各冷却装置４０Ｂ内の空調ファン４４Ｂの風量が同一になるように制御されるものとする。
図１２に示す処理は、図１１に示した処理に対して、以下の点で異なる。図１１に示した例では、ステップ１１００における所定の初期値は空調ファン４４Ｂの最小風量に対応し、空調ファン４４Ｂの風量を徐々に増加させながら、モジュラー型データセンタ１Ａの消費電力が極小値となるときの最適値を探索している。これに対して、図１２に示す処理では、所定の初期値は空調ファン４４Ｂの最大風量に対応し、空調ファン４４Ｂの風量を徐々に減少させながら、モジュラー型データセンタ１Ａの消費電力が極小値となるときの最適値を探索する。
図１２に示す処理において、ステップ１２０２乃至ステップ１２０６は、図１１に示したステップ１１０２乃至ステップ１１０６とそれぞれ同一である。また、図１２に示す処理において、ステップ１２１０、ステップ１２１２及びステップ１２２２は、図１１に示したステップ１１１０、ステップ１１１２及びステップ１１２２とそれぞれ同一である。以下、図１２に示す処理に特有の構成について説明する。
ステップ１２００では、モジュラー型データセンタ１Ａ内の各冷却装置４０Ｂの制御目標値（例えば、目標風量）を所定の初期値に設定する。ここでは、所定の初期値は、空調ファン４４Ｂの最大風量である。例えば、所定の初期値は、１００００ｍ３／ｈに設定される。
ステップ１２０８では、モジュラー型データセンタ１Ａ内の各冷却装置４０Ｂの制御目標値を所定量ΔＶ低減する。所定量ΔＶは、例えば５００ｍ３／ｈであってよい。このようにして変更された制御目標値は、各冷却装置４０Ｂに送信される。これを受けて、各冷却装置４０Ｂの空調制御装置４６は、変更された制御目標値が実現されるように、対応する空調ファン４４Ｂを制御する。
ここで、ステップ１２０８の処理が実行されると、各冷却装置４０Ｂの空調ファン４４Ｂの風量が減少するので、モジュラー型データセンタ１Ａ内の各サーバ内蔵ファン５４のデューティが増加される傾向となる。即ち、図７等に示したように、冷却装置４０Ｂの空調ファン４４Ｂの風量が減少すると、ＣＰＵ温度が増加する傾向となるので、その分だけ、各サーバ内蔵ファン５４の風量が増加する傾向となる。このような各サーバ内蔵ファン５４の風量の増加は、図５に示した処理により実現されることになる。即ち、各サーバ内蔵ファン５４は、ＣＰＵ温度が目標ＣＰＵ温度となるようにフィードバック制御されているので、ＣＰＵ温度が空調ファン４４Ｂの風量減少に起因して増加傾向となると、各サーバ内蔵ファン５４の風量は増加傾向となる。尚、実際には、各冷却装置４０Ｂの空調ファン４４Ｂの風量が減少しても、モジュラー型データセンタ１Ａ内の各サーバ内蔵ファン５４のデューティが増加されない場合もありうる。これは、例えば環境温度及び／又は負荷率が低く、空調ファン４４Ｂの風量を減少してもＣＰＵ温度が有意に増加しない場合等がありうるためである。
ステップ１２１４では、上記ステップ１２１０で取得した空調機消費電力情報（今回値と前回値との差）に基づいて、上記ステップ１２０８による空調ファン４４Ｂの風量減少に起因した空調機消費電力の減少量ΔＷｆ４を算出する。尚、減少量ΔＷｆ４は、各冷却装置４０Ｂにおいて同一であると仮定して、特定の１つの冷却装置４０Ｂに対する減少量ΔＷｆ４のみを算出してもよい。この場合、空調機消費電力情報の取得は、当該特定の１つの冷却装置４０Ｂから得られればよい。
ステップ１２１６では、上記ステップ１２１２で取得したサーバ消費電力情報（今回値と前回値との差）に基づいて、上記ステップ１２１６による空調ファン４４Ｂの風量減少に起因したサーバ消費電力の増加量ΔＷｆ３を算出する。増加量ΔＷｆ３は、好ましくは、各サーバ５０毎に算出される。
ステップ１２１８では、各冷却装置４０Ｂの空調機消費電力の減少量ΔＷｆ４の合計（＝ΔＷｆ４total）が、各サーバ５０におけるサーバ消費電力の増加量ΔＷｆ３の合計（＝ΔＷｆ３total）よりも大きいか否かを判定する。ΔＷｆ４totalがΔＷｆ３totalよりも大きい場合は、ステップ１２０８に戻り、ステップ１２０８からの処理を繰り返す。他方、ΔＷｆ４totalがΔＷｆ３total以下である場合は、ステップ１２２０に進む。
このようにして、ΔＷｆ４totalがΔＷｆ３total以下となるまで、空調ファン４４Ｂの風量が所定量ΔＶずつ減少されていく。ΔＷｆ４totalがΔＷｆ３totalよりも大きいことは、空調ファン４４Ｂの風量の減少によりモジュラー型データセンタ１Ａの消費電力が低減されたことを意味する。従って、空調ファン４４Ｂの風量を所定量ΔＶ減少していきながら、モジュラー型データセンタ１Ａの消費電力が極小値となるときの最適値(空調ファン４４Ｂの風量の最適値)が探索されていることになる。
ステップ１２２０では、モジュラー型データセンタ１Ａ内の各冷却装置４０Ｂの制御目標値を所定量ΔＶ増加する。即ち、上記ステップ１２０８の処理をキャンセルする。これは、ΔＷｆ４totalがΔＷｆ３total以下となることは、空調ファン４４Ｂの風量の減少前がモジュラー型データセンタ１Ａの消費電力が極小値であったことを意味するためである。これにより、モジュラー型データセンタ１Ａの消費電力が極小値となる状態に戻すことができる。
図１２に示す処理によれば、図１１に示した処理と実質的に同様の効果が得られる。即ち、図１２に示す処理によれば、各冷却装置４０Ｂの空調ファン４４Ｂの制御目標値を減少させながら、モジュラー型データセンタ１Ａの消費電力が極小値となる制御目標値を求めることができる。これにより、モジュラー型データセンタ１Ａの消費電力が極小値となるように、各冷却装置４０Ｂの空調ファン４４Ｂの風量を設定することができる。この結果、ＣＰＵ温度を適切な温度（本例の場合、目標ＣＰＵ温度）に維持しつつ、モジュラー型データセンタ１Ａの消費電力を低減することが可能となる。
尚、図１２に示す処理の考え方は、図１１に示した処理の考え方と組み合わせることができる。例えば、ステップ１２２２で肯定判定された場合は、ステップ１２００に戻るのではなく、ステップ１２０８に戻ることととしてもよい。この結果、ステップ１２１８で肯定判定された場合は、ステップ１２０８に戻る一方、ステップ１２１８で否定判定された場合は、図１１のステップ１１０８に進み、ステップ１１０８からの処理を行うこととしてもよい。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
例えば、上述した実施例では、サーバ内蔵ファン５４はＣＰＵ温度が目標ＣＰＵ温度になるように制御されているが、サーバ５０内の他の部位の温度が所定の目標温度になるように制御されてもよい。
また、上述した実施例では、各冷却装置４０Ｂの空調ファン４４Ｂは、共通の制御目標値により一括的に制御されているが、各冷却装置４０Ｂの空調ファン４４Ｂは、個別の制御目標値により独立して制御されてもよい。この場合、図１１の処理では、管理マネージャ１００は、ステップ１１００、ステップ１１０８等において個別の制御目標値を設定すればよい。
また、上述した実施例において、各冷却装置４０Ｂにおける冷却器４２Ｂの制御方法については任意である。例えば、冷却器４２Ｂは、環境温度等に基づいて制御されてもよい。
また、上述した実施例において、管理マネージャ１００の機能の一部又は全部は、他の制御装置（例えば、空調制御装置４６やファン制御装置５６）により実現されてもよい。また、他の制御装置（例えば、空調制御装置４６やファン制御装置５６）の一部又は全部が管理マネージャ１００により実現されてもよい。
また、上述した実施例では、ラック３０にはサーバ５０が収容されているが、他の情報処理装置が収容されてもよい。
なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
ファンをそれぞれ内蔵する複数の情報処理装置と、
前記複数の情報処理装置のそれぞれの所定部の温度が所定温度になるように前記ファンのそれぞれを制御するファン制御装置と、
前記複数の情報処理装置に対して風を供給する冷却ファンと、冷気を生成する冷却器とを備える冷却装置と、
前記冷却装置の風量を所定量変化させたときの前記冷却装置における消費電力の変化量と前記複数の情報処理装置における消費電力の変化量との比較結果に基づいて、前記冷却装置の風量を制御する冷却装置制御装置とを含む、データセンタ。
（付記２）
前記冷却装置制御装置は、前記冷却装置の風量を所定量増加させ、増加後の前記冷却装置における消費電力の増加量が、同増加後の前記複数の情報処理装置における消費電力の減少量の合計よりも小さい場合は、前記冷却装置の風量を更に増加させる、付記１に記載のデータセンタ。
（付記３）
前記冷却装置制御装置は、前記冷却装置の風量を所定量減少させ、減少後の前記冷却装置における消費電力の減少量が、同減少後の前記複数の情報処理装置における消費電力の増加量の合計よりも大きい場合は、前記冷却装置の風量を更に減少させる、付記１又は２に記載のデータセンタ。
（付記４）
前記冷却装置制御装置は、前記冷却装置の風量を所定量増加させ、増加後の前記冷却装置における消費電力の増加量が、同増加後の前記複数の情報処理装置における消費電力の減少量の合計以上である場合は、前記冷却装置の風量を前記所定量だけ減少させる、付記２に記載のデータセンタ。
（付記５）
前記冷却装置制御装置は、前記冷却装置の風量を所定量減少させ、減少後の前記冷却装置における消費電力の減少量が、同減少後の前記複数の情報処理装置における消費電力の増加量の合計以下である場合は、前記冷却装置の風量を前記所定量だけ増加させる、付記３記載のデータセンタ。
（付記６）
前記冷却装置は、複数個あり、
前記冷却装置制御装置は、前記複数の冷却装置の風量を所定量変化させたときの前記複数の冷却装置における消費電力の変化量の合計と前記複数の情報処理装置における消費電力の変化量の合計との比較結果に基づいて、前記冷却装置の風量を制御する、付記１に記載のデータセンタ。
（付記７）
前記冷却装置は、空調機である、付記１〜６のうちのいずれか１項に記載のデータセンタ。
（付記８）
前記冷却装置の風量が前記所定量変化された場合、前記ファン制御装置は、その変化前後において、前記複数の情報処理装置のそれぞれの前記所定部の温度が前記所定温度になるように前記ファンのそれぞれをフィードバック制御する、付記１〜７のうちのいずれか１項に記載のデータセンタ。
（付記９）
前記所定部の温度は、ＣＰＵ温度である、付記１〜８のうちのいずれか１項に記載のデータセンタ。
（付記１０）
コンテナ型データセンタ又はモジュラー型データセンタである付記１〜９のうちのいずれか１項に記載のデータセンタ。
（付記１１）
それぞれの所定部の温度が所定温度になるように制御されるファンをそれぞれ内蔵する複数の情報処理装置と、前記複数の情報処理装置に対して風を供給する冷却ファン及び冷気を生成する冷却器を備える冷却装置とを含むデータセンタの制御方法であって、
前記複数の情報処理装置に対して前記冷却装置から第１所定風量の風を供給し、
前記第１所定風量の風を供給しているときの前記複数の情報処理装置の消費電力を表す情報と前記冷却装置の消費電力を表す情報とを取得し、
前記複数の情報処理装置に対して、前記冷却装置から前記第１所定風量とは異なる第２所定風量の風を供給し、
前記第２所定風量の風を供給しているときの前記複数の情報処理装置の消費電力を表す情報と前記冷却装置の消費電力を表す情報とを取得し、
前記第１所定風量の風を供給しているときの各消費電力を表す情報と、前記第２所定風量の風を供給しているときの各消費電力を表す情報とに基づいて、前記第１所定風量から前記第２所定風量に風量を変化させたときの前記冷却装置における消費電力の変化量と前記複数の情報処理装置における消費電力の変化量とを比較し、
前記比較の結果に基づいて、前記冷却装置の風量を決定することを含む、データセンタの制御方法。
（付記１２）
それぞれの所定部の温度が所定温度になるように制御されるファンをそれぞれ内蔵する複数の情報処理装置に対して、冷却ファン及び冷却器を備える冷却装置から第１所定風量の風を供給する指示を生成し、
前記第１所定風量の風を供給しているときの前記複数の情報処理装置の消費電力を表す情報と前記冷却装置の消費電力を表す情報とを取得し、
前記複数の情報処理装置に対して、前記冷却装置から前記第１所定風量とは異なる第２所定風量の風を供給する指示を生成し、
前記第２所定風量の風を供給しているときの前記複数の情報処理装置の消費電力を表す情報と前記冷却装置の消費電力を表す情報とを取得し、
前記第１所定風量の風を供給しているときの各消費電力を表す情報と、前記第２所定風量の風を供給しているときの各消費電力を表す情報とに基づいて、前記第１所定風量から前記第２所定風量に風量を変化させたときの前記冷却装置における消費電力の変化量と前記複数の情報処理装置における消費電力の変化量とを比較し、
前記比較の結果に基づいて、前記冷却装置の風量を決定する、
処理をコンピューターに実行させる制御プログラム。
１ コンテナ型データセンタ
１Ａ モジュラー型データセンタ
２ コンテナ
４０，４０Ｂ 冷却装置
４２，４２Ｂ 冷却器
４４ コンテナファン
４４Ｂ 空調ファン
４６ 空調制御装置
４８ 消費電力計
５０ サーバ
５４ サーバ内蔵ファン
５６ ファン制御装置
５７ 消費電力計
５８ ＣＰＵ温度センサ
１００ 管理マネージャ

Claims (5)

  1. ファンをそれぞれ内蔵する複数の情報処理装置と、
    前記複数の情報処理装置のそれぞれの所定部の温度が所定温度になるように前記ファンのそれぞれを制御するファン制御装置と、
    前記複数の情報処理装置に対して風を供給する冷却ファンと、冷気を生成する冷却器とを備える冷却装置と、
    前記冷却装置の風量を所定量変化させたときの前記冷却装置における消費電力の変化量と前記複数の情報処理装置における消費電力の変化量との比較結果に基づいて、前記冷却装置の風量を制御する冷却装置制御装置とを含む、データセンタ。
  2. 前記冷却装置制御装置は、前記冷却装置の風量を所定量増加させ、増加後の前記冷却装置における消費電力の増加量が、同増加後の前記複数の情報処理装置における消費電力の減少量の合計よりも小さい場合は、前記冷却装置の風量を更に増加させる、請求項１に記載のデータセンタ。
  3. 前記冷却装置制御装置は、前記冷却装置の風量を所定量減少させ、減少後の前記冷却装置における消費電力の減少量が、同減少後の前記複数の情報処理装置における消費電力の増加量の合計よりも大きい場合は、前記冷却装置の風量を更に減少させる、請求項１又は２に記載のデータセンタ。
  4. それぞれの所定部の温度が所定温度になるように制御されるファンをそれぞれ内蔵する複数の情報処理装置と、前記複数の情報処理装置に対して風を供給する冷却ファン及び冷気を生成する冷却器を備える冷却装置とを含むデータセンタの制御方法であって、
    前記複数の情報処理装置に対して前記冷却装置から第１所定風量の風を供給し、
    前記第１所定風量の風を供給しているときの前記複数の情報処理装置の消費電力を表す情報と前記冷却装置の消費電力を表す情報とを取得し、
    前記複数の情報処理装置に対して、前記冷却装置から前記第１所定風量とは異なる第２所定風量の風を供給し、
    前記第２所定風量の風を供給しているときの前記複数の情報処理装置の消費電力を表す情報と前記冷却装置の消費電力を表す情報とを取得し、
    前記第１所定風量の風を供給しているときの各消費電力を表す情報と、前記第２所定風量の風を供給しているときの各消費電力を表す情報とに基づいて、前記第１所定風量から前記第２所定風量に風量を変化させたときの前記冷却装置における消費電力の変化量と前記複数の情報処理装置における消費電力の変化量とを比較し、
    前記比較の結果に基づいて、前記冷却装置の風量を決定することを含む、データセンタの制御方法。
  5. それぞれの所定部の温度が所定温度になるように制御されるファンをそれぞれ内蔵する複数の情報処理装置に対して、冷却ファン及び冷却器を備える冷却装置から第１所定風量の風を供給する指示を生成し、
    前記第１所定風量の風を供給しているときの前記複数の情報処理装置の消費電力を表す情報と前記冷却装置の消費電力を表す情報とを取得し、
    前記複数の情報処理装置に対して、前記冷却装置から前記第１所定風量とは異なる第２所定風量の風を供給する指示を生成し、
    前記第２所定風量の風を供給しているときの前記複数の情報処理装置の消費電力を表す情報と前記冷却装置の消費電力を表す情報とを取得し、
    前記第１所定風量の風を供給しているときの各消費電力を表す情報と、前記第２所定風量の風を供給しているときの各消費電力を表す情報とに基づいて、前記第１所定風量から前記第２所定風量に風量を変化させたときの前記冷却装置における消費電力の変化量と前記複数の情報処理装置における消費電力の変化量とを比較し、
    前記比較の結果に基づいて、前記冷却装置の風量を決定する、
    処理をコンピューターに実行させる制御プログラム。
JP2014036979A 2014-02-27 2014-02-27 データセンタ、データセンタの制御方法及び制御プログラム Active JP6417672B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014036979A JP6417672B2 (ja) 2014-02-27 2014-02-27 データセンタ、データセンタの制御方法及び制御プログラム
US14/550,009 US9851781B2 (en) 2014-02-27 2014-11-21 System, control method of system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014036979A JP6417672B2 (ja) 2014-02-27 2014-02-27 データセンタ、データセンタの制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2015161451A true JP2015161451A (ja) 2015-09-07
JP6417672B2 JP6417672B2 (ja) 2018-11-07

Family

ID=53882137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014036979A Active JP6417672B2 (ja) 2014-02-27 2014-02-27 データセンタ、データセンタの制御方法及び制御プログラム

Country Status (2)

Country Link
US (1) US9851781B2 (ja)
JP (1) JP6417672B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111076390A (zh) * 2019-12-31 2020-04-28 北京世纪互联宽带数据中心有限公司 一种精密空调运行管理方法及装置
WO2021181521A1 (ja) * 2020-03-10 2021-09-16 富士通株式会社 管理装置，コンピュータシステム，温度制御プログラムおよび温度制御方法
JP7423556B2 (ja) 2018-08-28 2024-01-29 インテル コーポレイション システム冷却オーバーヘッドの観点からのプロセッサ電力最適化

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11076509B2 (en) 2017-01-24 2021-07-27 The Research Foundation for the State University Control systems and prediction methods for it cooling performance in containment
US10314206B1 (en) * 2018-04-25 2019-06-04 Dell Products, L.P. Modulating AHU VS RAM air cooling, based on vehicular velocity
US11036265B2 (en) * 2018-04-25 2021-06-15 Dell Products, L.P. Velocity-based power capping for a server cooled by air flow induced from a moving vehicle
US10440863B1 (en) * 2018-04-25 2019-10-08 Dell Products, L.P. System and method to enable large-scale data computation during transportation
US10299412B1 (en) * 2018-08-02 2019-05-21 Core Scientific, Inc. System and method for cooling computing devices within a facility
US10908658B2 (en) 2018-08-02 2021-02-02 Core Scientific, Inc. System and method for cooling computing devices within a facility
CN112186586A (zh) * 2020-09-04 2021-01-05 三峡电能(广东)有限公司 一种基于可视化精细管理的智能配电设备
US11516942B1 (en) 2020-10-16 2022-11-29 Core Scientific, Inc. Helical-configured shelving for cooling computing devices
US10959349B1 (en) 2020-11-02 2021-03-23 Core Scientific, Inc. Dynamic aisles for computing devices
US11812588B2 (en) 2020-11-02 2023-11-07 Core Scientific Operating Company Managing airflow for computing devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6325446A (ja) * 1986-07-18 1988-02-02 Nippon Telegr & Teleph Corp <Ntt> 空気調和機の制御方法
JP2005202971A (ja) * 2004-01-16 2005-07-28 Standard Microsystems Corp ゾーンのオートファン組合せ
JP2010270937A (ja) * 2009-05-19 2010-12-02 Fujitsu Ltd 空調制御システム、空調制御方法および空調制御プログラム
JP2012053678A (ja) * 2010-09-01 2012-03-15 Fujitsu Ltd ファン制御プログラム、ファン制御方法及び情報処理装置
US20120245738A1 (en) * 2011-03-23 2012-09-27 International Business Machines Corporation Minimizing Aggregate Power from HVAC Cooling and IT Equipment in a Data Center
JP2013204932A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd 空調制御システム及び空調制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286365A (ja) 2003-03-24 2004-10-14 Ntt Power & Building Facilities Inc 電子機器収容用ラック、空気調和システム、これに用いる制御ボックス及び空気調和システムの制御方法
US20080288193A1 (en) * 2007-05-17 2008-11-20 International Business Machines Corporation Techniques for Analyzing Data Center Energy Utilization Practices
CA2731994C (en) * 2008-08-11 2018-03-06 Green Revolution Cooling, Inc. Liquid submerged, horizontal computer server rack and systems and methods of cooling such a server rack
US20100032142A1 (en) * 2008-08-11 2010-02-11 Sun Microsystems, Inc. Liquid cooled rack with optimized air flow rate and liquid coolant flow
JP2010108324A (ja) 2008-10-31 2010-05-13 Hitachi Ltd 物理計算機及び冷却装置の制御方法及びサーバシステム
US20110016893A1 (en) * 2009-07-23 2011-01-27 Warwick Graham Andrew Dawes Redundant Cooling Method and System
JP5197675B2 (ja) * 2010-05-14 2013-05-15 株式会社東芝 空調システム
US20120241140A1 (en) * 2011-03-25 2012-09-27 Macdonald Mark Apparatus, system and method for airflow monitoring and thermal management in a computing device
US10180665B2 (en) * 2011-09-16 2019-01-15 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Fluid-cooled computer system with proactive cooling control using power consumption trend analysis
US8857204B2 (en) * 2011-09-23 2014-10-14 R4 Ventures Llc Real time individual electronic enclosure cooling system
JP5684685B2 (ja) * 2011-09-29 2015-03-18 株式会社日立製作所 電子機器の冷却システム
US20130098593A1 (en) * 2011-10-19 2013-04-25 International Business Machines Corporation Independent computer system zone cooling responsive to zone power consumption
US20140060798A1 (en) * 2012-08-31 2014-03-06 International Business Machines Corporation Configuring A Liquid Cooling System Associated With Electrical Computing Racks
EP2895972B1 (en) * 2012-09-12 2021-09-15 Tata Consultancy Services Limited Method for efficient designing and operating cooling infrastructure in a data center
US20140181539A1 (en) * 2012-12-21 2014-06-26 Advanced Micro Devices, Inc. System for adaptive -power consumption design in ultrathin computing devices
US20140334091A1 (en) * 2013-05-07 2014-11-13 Nvidia Corporation Counter rotating blower with individual controllable fan speeds
US9603282B2 (en) * 2014-01-03 2017-03-21 Microsoft Technology Licensing, Llc Datacenter and cooling control fault-tolerance using compute resources

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6325446A (ja) * 1986-07-18 1988-02-02 Nippon Telegr & Teleph Corp <Ntt> 空気調和機の制御方法
JP2005202971A (ja) * 2004-01-16 2005-07-28 Standard Microsystems Corp ゾーンのオートファン組合せ
JP2010270937A (ja) * 2009-05-19 2010-12-02 Fujitsu Ltd 空調制御システム、空調制御方法および空調制御プログラム
JP2012053678A (ja) * 2010-09-01 2012-03-15 Fujitsu Ltd ファン制御プログラム、ファン制御方法及び情報処理装置
US20120245738A1 (en) * 2011-03-23 2012-09-27 International Business Machines Corporation Minimizing Aggregate Power from HVAC Cooling and IT Equipment in a Data Center
JP2013204932A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd 空調制御システム及び空調制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423556B2 (ja) 2018-08-28 2024-01-29 インテル コーポレイション システム冷却オーバーヘッドの観点からのプロセッサ電力最適化
CN111076390A (zh) * 2019-12-31 2020-04-28 北京世纪互联宽带数据中心有限公司 一种精密空调运行管理方法及装置
WO2021181521A1 (ja) * 2020-03-10 2021-09-16 富士通株式会社 管理装置，コンピュータシステム，温度制御プログラムおよび温度制御方法

Also Published As

Publication number Publication date
US20150241888A1 (en) 2015-08-27
JP6417672B2 (ja) 2018-11-07
US9851781B2 (en) 2017-12-26

Similar Documents

Publication Publication Date Title
JP6417672B2 (ja) データセンタ、データセンタの制御方法及び制御プログラム
US6886353B2 (en) Cooling system
US9020656B2 (en) Information handling system thermal control by energy conservation
US6868683B2 (en) Cooling of data centers
US10180665B2 (en) Fluid-cooled computer system with proactive cooling control using power consumption trend analysis
US8909384B1 (en) Computing apparatus operable under multiple operational policies
US7991515B2 (en) Computer cooling system with preferential cooling device selection
US20040268166A1 (en) Controlling power consumption of at least one computer system
US6574104B2 (en) Smart cooling of data centers
JP6123806B2 (ja) モジュール型データセンタとその制御方法
US8065537B2 (en) Adjusting cap settings of electronic devices according to measured workloads
US20030193777A1 (en) Data center energy management system
US9732972B2 (en) Information processing device and controlling method
US20080140259A1 (en) Energy efficient CRAC unit operation using heat transfer levels
Zhang et al. On demand cooling with real time thermal information
US10678313B2 (en) Impedance-based cooling controls

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180924

R150 Certificate of patent or registration of utility model

Ref document number: 6417672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150