JP2011514594A - データ・センタ、データ・センタのための可変流コンピュータ冷却システム、および動作方法 - Google Patents

Abstract

【課題】 補助機器のために必要な電力が低減され炭素排出が削減されたデータ・センタを提供する。
【解決手段】 本明細書において開示されるのは、複数の液体冷却コンピュータ・システムを有するデータ・センタである。このコンピュータ・システムの各々はプロセッサを含み、これは、このプロセッサの直接液体冷却を行うことができるコールド・プレートに結合されている。コールド・プレートは、更に、プロセッサの異なる部分に適合された冷却材流を供給するように配置され、これによって、より高い温度の領域が、より大きい冷却材流量を受けるようになっている。流量は、異なるアクティビティ・レベルを反映するように可変に調節される。コンピュータ・システムから出る冷却材温度を最大とすることによって、システムは、周囲空気の自由冷却温度を利用し、冷却機の必要をなくすことができる。更に、地域暖房システムに結合されたデータ・センタが提供され、コンピュータ・システムから抽出された熱を用いて、炭素排出を相殺し、データ・センタの所有権の全コストを削減する。
【選択図】 図１

Description

本開示は、液体冷却されたコンピュータを有するデータ・センタに関し、具体的には、所望のプロセッサ・チップ温度を維持しながら冷却材出力温度を最大とする冷却システムを有するデータ・センタに関する。

データ・センタは、多数のコンピュータ・システムを収容する設備である。これらのコンピュータ・システムは、ユーザにコンピュータ処理サービスを提供するように配列されている。典型的に、コンピュータ・システムは、個々のコンピュータをユーザおよび他のコンピュータに電気的に接続するラック内に配列されている。標準的なサイズのラックは、４０から８０までのコンピュータ・システムを収容することができる。コンピュータ・システムは、１つ以上のプロセッサ、マイクロ・コントローラ、半導体、メモリ・デバイス等を含む多数のコンポーネントを含む場合がある。各データ・センタは、同時に動作するコンピュータ・システムの多数のラックを有することができる。

動作中、コンピュータ・システムは著しい量の熱エネルギーを発生する。典型的に、各コンピュータ・システムは、２００Ｗから２５０Ｗのオーダーの熱を発生する場合がある。一般に、ＣＭＯＳベースの半導体等の半導体は、より低温で動作させた場合に性能が高速となると共に電力利用が低減する。従って、信頼性および性能の理由のために、データ・センタは、コンピュータ・システムが発生する熱を放散させるための大規模な冷却システムを含む。更に、ラックは通常、冷却および空気調整によって適正な環境条件を維持する特別設計の部屋の中に配置される。コンピュータ・システムの冷却は、コンピュータ・システムを覆うように冷たい調整した空気を移動させることによって達成される。次いで、この空気を部屋から除去し、後で用いるために再調整する。データ・センタのための冷却システムは、多数のコンポーネントを含む場合がある。これらのコンポーネントには、１つ以上の冷却機、加湿器、空調コンプレッサ、コンデンサ、ファン、およびポンプが含まれる。

データ・センタは、費用対効果の高いコンピューティング機構と考えられる。なぜなら、多数のユーザ間で共用されるデータ・センタ内のコンピュータ・センタは、２５％のオーダーという著しく高い利用率を有するからである。この利用は、典型的に１から３％の利用率を有する分散型パーソナル・コンピュータおよびサーバよりもはるかに高い。しかしながら、典型的なデータ・センタは、電気的効率がわずか３０％である。なぜなら、データ・センタが用いる電力の残りの７０％は、動作のために必要な補助機器によって消費されるからである。データ・センタにおいて用いられるコンピュータ・システムは高速で動作し続けるので、対応して生成される熱エネルギーも大きくなる。従って、データ・センタの動作のために必要な冷却システムおよび出力調整によって、データ・センタが用いる電力のますます大きな部分が消費し続けられることになる。

データ・センタにおいて用いられる冷却システムは、最高限度または最悪の場合の状況下で実行するようなサイズになっている。典型的に、データ・センタは、１０％未満の時間だけ最大動作条件において動作する。従って、大部分の時間は、冷却システムは充分に利用されないが、それでも大量の電力を消費している。冷却システムのサイズは、例えばプロセッサ等のコンピュータ・システム・コンポーネントと空気との間の熱抵抗によって、更に複雑化する。適切な性能を与えるために、冷却システムは、コンピュータ・プロセッサと冷却空気との間で６０℃の温度勾配（temperature gradient）を与えるように空気を冷却する必要がある。従って、データ・センタがコンピュータ・プロセッサを７５℃と８５℃との間で動作させたい場合には、冷却システムは最大２５℃で空気を供給する必要がある。データ・センタ内での空気流通が非効率的であるため、調整システムのための動作点は、通常、著しく低くする必要がある。

既存のデータ・センタ冷却システムが複雑なものである結果として、データ・センタは相当な電力要件を有する。最近の研究では、小さいデータ・センタからの無駄なエネルギーは、１年当たりほぼ３２５０ＭＷｈの化石燃料および６３０トンの二酸化炭素と同等であると見積もられている。温室効果ガスの排出削減に役立てるために結ばれた条約を考慮して、いくつかの国は、一酸化炭素を排出する生産者に対する課税方式を導入している。これらの税金は、二酸化炭素１トン当たり８５ドルという高額に及ぶ場合がある。従って、排出に対する課税は、データ・センタの経済的な存立可能性に対して大きな影響を与える恐れがある。

データ・センタのための既存の冷却システムは、それらが意図する目的について適切なものであるが、補助機器のために必要な電力が低減されると共に炭素排出が削減されるかまたはゼロになったデータ・センタを有することは望ましい。

複数のコンピュータ・システムを有するデータ・センタが提供される。コンピュータ・システムの各々は、少なくとも１つのプロセッサと、複数の電気コンポーネントと、パワー・エレクトロニクス素子と、を有する。複数のコンピュータ・システムに関連付けられたプロセッサの各々に、液体冷却ループが流体的に結合されている。液体冷却ループは、液体冷却材を含む。液体冷却ループに第１の複数の冷却材制御デバイスが結合されており、第１の複数の冷却材制御デバイスの各々は、プロセッサに関連付けられるとともに、プロセッサに対する冷却材の流れを制御するように配置されている。更に、液体冷却ループには熱交換器が結合されている。

また、第１の側および第２の側を有するプロセッサを有するコンピュータ・システムも提供される。プロセッサには電子コンポーネント群が電気的に結合されている。プロセッサおよび電子コンポーネント群に電力を供給するように、パワー・コンバータが電気的に結合されている。プロセッサ、電子コンポーネント群、およびパワー・コンバータに、液体冷却ループが熱的に結合されている。コールド・プレートが、プロセッサに熱的に結合され、液体冷却ループに流体的に結合されている。コールド・プレートは、第１の直径を有する第１の複数のノズルおよび第２の直径を有する第２の複数のノズルを含む。第１の複数のノズルおよび第２の複数のノズルは、プロセッサの第１の側を液体冷却ループに直接流体的に結合する。

また、コンピュータ冷却システムを動作させる方法も提供される。この方法は、プロセッサの電力マップを求めるステップを含み、この電力マップは、第１の熱束の第１の部分および第２の熱束の第２の部分を含む。第１の流量および第３の温度で、冷却材を第１の部分に流す。また、第２の流量および第３の温度で、冷却材を第２の部分に流す。次いで、冷却材をプロセッサにより第４の温度に加熱する。次いで、冷却材を第４の温度でメモリ・コンポーネントに流す。次いで、冷却材をメモリ・コンポーネントにより第５の温度に加熱する。次いで、冷却材を第５の温度でパワー・コンバータおよび他の電子コンポーネントに流す。最後に、冷却材をパラー・コンバータおよび他の電子コンポーネントにより第６の温度に加熱する。

例示的な実施形態のデータ・センタの概略図である。 図１のデータ・センタにおいて用いられる液体冷却プロセッサの側面図である。 図１のデータ・センタにおいて用いられる液体冷却プロセッサの側面図である。 図２および図３のプロセッサと共に用いられるコールド・プレートの斜視図である。 図２および図３のプロセッサのための電力マップの図である。 図２および図３のプロセッサと共に用いられる例示的な実施形態のコールド・プレート底面図である。 図２および図３の液体冷却プロセッサの一実施形態の概略図である。 図２および図３のプロセッサを通る冷却材流の一実施形態の概略図である。 図２および図３のプロセッサを通る冷却材流の代替的な実施形態の概略図である。 伝導ヒート・コレクタを用いたコンピュータ・システム冷却システムの側面図である。 コンプライアントな（compliant）ヒート・コレクタを用いた代替的な実施形態のコンピュータ冷却システムの側面図である。 液体冷却伝導コレクタを用いた別の代替的な実施形態のコンピュータ冷却システムの側面図である。 冷却の相対コスト対冷却材温度を示すグラフである。 全炭素排出を最小限に抑えるように地域暖房システムに結合されたデータ・センタの概略図である。

本発明を記載する文脈において（特に以下の特許請求の範囲の文脈において）、「１つの（ａ）（ａｎ）」および「その（ｔｈｅ）」および同様の参照の使用は、本明細書において特に指示しない限り、または文脈によって明らかに否定されない限り、単数形および複数形の双方を包含すると解釈されるものである。ある量と関連付けて用いられる「約」という修飾語は、言及した値を含み、文脈によって決定する意味を有する（例えば、これは、特定量の測定に関連した誤差の程度を含む）。本明細書において開示する全ての範囲は、終点を含み、終点は相互に独立して組み合わせることができる。

ここで図１を参照すると、データ・センタ２０の例示的な図が示されている。データ・センタ２０は、コンピュータ処理サービスを提供するように配列された複数のコンピュータ・システム２２を含む。コンピュータ・システムの各々は、１つ以上のプロセッサ２４と、例えば、コンピュータ・データ・センタ・システムにおいて一般に用いられるランダム・アクセス・メモリまたは読み取り専用メモリ等の関連付けられた電子コンポーネント２６と、を含む。各コンピュータ・システム２２は更に、パワー・エレクトロニクス・モジュール２８を含み、これは、コンピュータ・システム２２が必要とする電気的特徴を有するように入力電力を調整するｄｃ−ｄｃ電力コンバータ等のコンポーネントを提供する。

図１には４つのみのコンピュータ・システム２２が図示されているが、データ・センタ２０は、例えば１００個までのラックを有し、各ラック内に４０のコンピュータ・システム２２を収容する等、いかなる数のコンピュータ・システム２２も有することができることは認められよう。更に、本明細書における記述では単一のプロセッサを示すが、コンピュータ・システム２２は多数のプロセッサを含むことができる。また、コンピュータ・システム２２は、多チップ・モジュール（「ＭＣＭ：multiple chip module」）を含む場合がある。ＭＣＭは、多数の集積回路を含む電子パッケージであり、これらの集積回路は、システムが単一の集積回路として動作することができるように共にパッケージ化されている。

以下で更に詳細に論じるが、コンピュータ・システム２２の各々は、液体冷却システム３０に結合されている。冷却システム３０は、例えば水、グリコール、または水およびグリコールの混合物のような液体冷却材を、コンピュータ・システム２２の各々へと運ぶ。一実施形態においては、冷却システム３０は、コンピュータ・システム２２内に入り、プロセッサ２４のコンポーネントを最初に冷却する。プロセッサ２４を冷却した後、メモリ・チップ２６が冷却される。最後に、ＤＣ−ＤＣコンバータ２８を含む他の電子コンポーネントが冷却される。この実施形態では、熱の変動に対する許容度が最も低いコンポーネント（例えばプロセッサ・チップ）を最初に冷却し、熱の変動に対する許容度が最も高いコンポーネント（例えば電力コンバータ）を最後に冷却する。このように、冷却システム３０は、各コンピュータ・システム２２からの冷却材の出力温度を最大とするようなサイズになっている。これは、冷却システム３０の効率を高めるのに有利であり、発生した熱エネルギーを更に利用する機会を提供する。冷却材の最大の温度を保証するために、各コンピュータ・システムの出口において制御可能バルブ（１２６）を用い、コンピュータ・システムがオフに切り替えられた場合はこれを閉じ、コンピュータ・システムが全出力で動作する場合はこれを完全に開く。

冷却ループは、更に、冷却材によって吸収された熱エネルギーを除去するための手段を提供する熱交換器３２を含む。以下で更に詳細に論じるが、液体冷却システム３０を用いることによって、冷却材とプロセッサ２４との間の熱勾配を小さくすることができる。この熱勾配の低減によって、二次的な冷却を行う必要がなくなり、周囲空気を用いて熱エネルギーを除去することができる。熱交換器３２は単一のコンポーネントとして図示するが、これは、限定ではないが例えばルーフ・クーラ、パッシブ・ラジエータ、冷却塔、または管形熱交換器等のいくつかのデバイスから成るものとすることも可能であることは認められよう。

図２および図３に、例示的な実施形態の液体冷却プロセッサ２４が図示されている。この実施形態において、プロセッサ・チップ３４は第１の面４０および第２の面４２を有する。第１の面４０は、コールド・プレート３６と接触し、熱的に連通している。コールド・プレート３６は、図２および図３において、直接プロセッサ・チップ裏面コールド・プレート（direct processor chip backsidecold plate）として図示されている。図２に示すように、プロセッサ・チップ３４とプロセッサ・チップ・キャップ４７との間に熱インタフェース５１を配置可能であることは、当業者には既知である。あるいは、図３に示すように、２つの熱インタフェース４９、５１を用いることも可能である。図３の実施形態においては、コールド・プレート３６とプロセッサ・チップ・キャップ４７との間に、第１の熱インタフェース４９が配置されている。プロセッサ・チップ３４とプロセッサ・チップ・キャップ４７との間に、第２の熱インタフェース５１が配置されている。プロセッサ・チップ３４の第２の側またはアクティブ側４２は、複数のはんだボール４４によって、パッケージ基板３８から横方向に離間している。コールド・プレート３６と基板パッケージ３８との間に、プロセッサ・チップ３４に隣接して、スペーサ４６が位置付けられている。また、図２および図３に示すものと同様のコールド・プレート機構を、メモリ・チップ２６およびパワー・エレクトロニクス・コンポーネント２８を冷却するために用いることも可能である。

コールド・プレート３６は、液体冷却システム３０から冷却材を受け取るように流体的に結合された入口４８を含む。冷却材は、コールド・プレート３６内に入り、内側部分５０に分散する。内側部分５０によって、冷却材は流れることができ、プロセッサ・チップ３４の第１の側４０が冷却される。図４に示すように、コールド・プレート３６は、コールド・プレート３６の上面上に任意に位置付けられる多数の入口４８を含むことができる。また、内側部分５０は、熱エネルギーの移動および冷却材の均一な分散を助けるためのフィンまたは仕切り部分を任意に含むことができる。

ここで図２から図７を参照して、プロセッサ・チップ３４の液体冷却について説明する。プロセッサ・チップ３４は動作中に熱を発生し、この熱は放散させる必要がある。プロセッサ・チップ３４は、約６５℃から８５℃の温度に維持することが望ましい。熱循環は半導体およびそれらの関連する電気的接続に損傷を与える恐れがあるので、チップを一定の温度近くに維持することが更に望ましい。以下で論じるように、プロセッサ・チップ３４と冷却材との間の熱抵抗が低いので、プロセッサ・チップ３４に対する冷却材の直接可変流衝突により、チップ上の異なる位置間の熱勾配は３℃未満のレベルまで低減する。チップと冷却水との間の熱勾配は小さいので、コンピュータ・システム２２がシャットダウンされた場合であっても、冷却システム３０によってコンピュータ・システム２２をほぼ一定の温度に維持することができる。更に、熱勾配を小さく維持することによって、プロセッサおよび他の電子コンポーネントの熱循環が最小限に抑えられ、信頼性が向上する。

プロセッサ・チップ３４の温度を一定かつ均一に保持するための努力は、プロセッサ・チップ３４の特徴によって妨げられる。動作中、プロセッサ・チップ３４は局所的なホット・スポット５４を生じる。図５に、均一な熱除去における、例示的な負荷についての温度プロファイルを示すプロセッサ・チップの電力マップを示す。図示した勾配線は、温度のトポグラフィ曲線を表す。これらの局所的なホット・スポット５４により、プロセッサ・チップ３４の動作は更に複雑になる。なぜなら、プロセッサ・チップ３４は、温度によって異なる速度で動作するトランジスタ（図示せず）を含むからである。異なる速度で動作するトランジスタを有することによって、プロセッサ・チップ３４は通常、動作を適正に実行するために同期ステップを行わなければならない。

例示的な実施形態においては、コールド・プレート３６は、複数の冷却材ノズル５２を含む。これらのノズルは、内側部分からプロセッサ・チップ第１の側４０まで冷却材を誘導し、内側部分５０へと流体を戻す。冷却システム３０の効率を高め、プロセッサ・チップ３４全体の温度差を最小限に抑えるために、ノズル５２は、第１の直径を有する第１の複数のノズル５４および第２の直径を有する第２の複数のノズル５６を含む。第２の複数のノズル５６の直径は、第１の複数のノズル５４のものよりも大きく、冷却材の流量を大きくすることができる。例示的な実施形態では、ノズル５２、５６を、０．１ｍｍから０．５ｍｍだけ離間させる。一般に、プロセッサ・チップ３４の厚さが小さくなると、ノズル間の距離も小さくならなければならない。

図６に示すように、第２の複数のノズル５６は、プロセッサ・チップ３４上のホット・スポット５４に隣接して位置付けられるように、コールド・プレート３６に配置されている。コールド・プレート３６は、冷却材制御デバイスとして機能し、第２の複数のノズル５６をホット・スポット５４の領域に配置することによって、高いレベルの熱束を放散することができる。このため、より均一な接合温度を達成することができる。一定の冷却材流量を用いた場合（例えば全てのノズルが同一の直径を有する）、プロセッサ・チップ３４を冷却するために、１．６４ １／ｍｉｎの冷却材流量が必要であった。異なるノズル直径を用いてホット・スポット５６の位置で流量を増大させることによって、冷却材の流量は、同等のレベルの冷却について０．２０ １／ｍｉｎに低減した。更に、ノズルを出る冷却材間の勾配が小さかったので、入口４８と出口５８との間の冷却材の温度上昇は、１．０℃から８．１℃に上昇した。

図７に、代替的な実施形態のノズル機構を示す。この実施形態において、ノズルは、入口ノズルおよび戻りノズルを有する階層マニホルドに配列されている。冷却材は、入口６０を介して内側部分５０から出て、ここで二次的な入口６２、６４、６８に分かれる。これらの入口６２、６４、６８は異なる直径を有するので、各二次的入口を介した流量が異なることになる。二次的入口６２、６４、６８の各々は、流れをノズル７０、７２、７４に更に分け、これらによって冷却材はプロセッサ・チップ３４の第１の側４０に向かう。１組の戻りチャネル７８、８０、８２が、加熱された冷却材を二次的戻りチャネル８４、８６、８８に、更に出口９０へと戻し、これによって加熱された冷却材は内側部分５０に戻される。

最も大きい流量Ｖ₂を有するノズル７４をホット・スポット５６に対して配置することによって、ノズル７４からの冷却材は、他のノズル７２、７８が冷却するもっと小さい熱束領域よりも大きい熱移動Ｑ₂を提供する。流量をＶ₂＞Ｖ₃＞Ｖ₁のように配置することによって、Ｑ₂＞Ｑ₃＞Ｑ₁であっても各接合温度が同様となることは認められよう。更に、流量が異なるので、各二次的戻りチャネル８４、８６、８８を出る冷却材間の温度差が小さくなり、エクセルギー（exergy）効率が向上する。

図８から図９に、異なる流量を有することの効果を更に示す。これらの図は、Ｑ₃＞Ｑ₂＞Ｑ₁である場合のプロセッサ・チップ３４の表面上の温度勾配を概略的に示す。冷却材の流量の各レベルはＶ₃＞Ｖ₂＞Ｖ₁である。大きい流量は、高い予想負荷条件を有する静的領域に誘導される。この配置の結果、より大きい流量Ｖ₃は、より大きい熱エネルギーを吸収するが、冷却材の既存の温度は、より小さい流量Ｖ₁に近いかまたはこれと同一のままである。換言すると、冷却材容量の単位当たりの熱移動は、プロセッサ・チップ３４の表面全体で同一のままである。

図９は、アクティブまたはパッシブ比例バルブ９２、９４、９６を利用した異なる実施形態を示す。比例バルブの使用によって、プロセッサ・チップ３４に対する冷却材の流量を動的に変更することができる。従って、負荷条件が変化し、プロセッサ・チップ３４の異なる領域がアクティブになると、それに対応して冷却材の流量を変更することができる。流量の変更は、多数の方法で達成することができる。例えば、冷却システムにおけるコントローラが１組の電力マップを含み、予想動作条件のもとでの温度勾配および局所的ホット・スポットを示すことができる。コントローラがプロセッサ・チップ３４の動作の変化を検出すると、コントローラは、新しい負荷条件に関連した電力マップを用いる。例示的な実施形態においては、コントローラは、プロセッサ・チップ３４の温度分布および所望の冷却材流量のデータを与える少なくとも１００の電力マップを含む。代替的な実施形態では、コントローラは、ピーク負荷性能に対して１つおよびオフ・ピーク性能に対して１つの２つの電力マップを含む。

プロセッサ・チップ３４に対する冷却材の流量を可変とすることによって、必要な冷却材の流量が小さくなる。これは、コンピュータ・システム２２およびデータ・センタ２０の動作において有利である。流量が小さくなると、ポンプ出力が節約され、エクセルギーが保存され、より均一なチップ温度が可能となる。認められるように、チップ温度がより均一になると、プロセッサ・チップの熱循環が低減し、プロセッサ・チップ３４のトランジスタ間の速度差が最小限に抑えられる。例示的な実施形態においては、プロセッサ・チップ３４の温度は、＋／−３℃の一定の温度に維持される。これは、供給電圧の低下、および、指数的な温度依存性を有する漏れ電流の低減を可能とすることにおいて、更に有利である。

プロセッサ２４に加えて、コンピュータ・システム２２内の他のコンポーネントも、発生した熱を放散させるために冷却する必要がある。これらのコンポーネントの１つは、プロセッサ２４の動作をサポートする補助電気コンポーネント・グループ２６である。一般に、補助電気コンポーネント２６の接合温度限界は、プロセッサ２４のものよりも高く、より小さい熱束を有する。例えば、プロセッサは８５℃において３００Ｗ／ｃｍ²までの局所熱束を有するが、ＤＣ−ＤＣコンバータは、２０Ｗ／ｃｍ²において最大温度は１１５℃である。これらの熱特徴を利用することによって、冷却システム３０は、コンピュータ・システム２２からの出力冷却材温度を最大限にするように連続的に熱エネルギーを除去するように配置することができる。

図１０に、コンピュータ・システム２２内の熱冷却ループ９２の一実施形態を示す。この実施形態においては、プロセッサ３４が、上述した冷却システム３０によって液体冷却される。プロセッサ・チップ３４とは反対側で、コールド・プレート３６に伝導コレクタ９４が結合されている。伝導コレクタは、熱的に伝導性の金属等、いかなる適切な材料とすることも可能である。伝導コレクタ９４は、補助電気コンポーネント９８上のヒート・シンクと熱的に連通して結合された第２の部分９６を有する。伝導コレクタ９４は、更に、別の補助電気コンポーネント１０４上のヒート・シンク１０２に結合された第３の部分１００を有する。コールド・プレート３６と伝導コレクタ９４との間に、熱グリース等の任意の熱インタフェース材料１０６を配置することができる。

伝導コレクタ９４は、コールド・プレート３６と接触しているため、補助電気コンポーネント９８、１０４からコールド・プレート３６に熱エネルギーを移動させる。伝導コレクタ９４は、プロセッサ・チップ３４の液体冷却よりも効率が低いので、冷却プレート３６の裏面への熱移動は、冷却プレートとプロセッサ・チップとの間のものよりも小さい。この機構によって、プロセッサ・チップ３４を一定の温度に維持しながら、補助電気コンポーネント２６に対する適切な冷却を行うことができる。図１０は、伝導コレクタ９４を２つの補助コンポーネント９８、１０４に結合されているものとして図示するが、この実施形態はそのように限定されず、伝導コレクタは冷却を必要とする全ての補助電気コンポーネントと熱的に連通するように拡張可能であることは認められよう。

図１１に、代替的な実施形態の熱冷却ループ９２を示す。この実施形態では、伝導コレクタ９４が、上述したコールド・プレート３６に結合されて、熱的に連通している。伝導コレクタ９４は、プロセッサ２４および電気コンポーネント２６が搭載された基板１０８の平面に対して平行に平面的に構成されている。伝導コレクタの下側から延出しているのは、コンプライアントなヒート・コレクタ１１０である。ヒート・コレクタ１１０は、電気コンポーネント１１２の各々に熱的に連通するように延出する。ヒート・コレクタ１１０は、コンポーネントの異なる表面高に適合することができると共に電気コンポーネント１１２から伝導コレクタ９４まで熱エネルギーを伝導することができる、例えば金属フィン、金属発泡樹脂製品、またはばねを含むいずれかの適切な材料とすれば良い。ヒート・コレクタ１１０を伝導コレクタ９４に結合して、実用性および保守性を容易にすることが可能であることは認められよう。

図１２は、別の代替的な実施形態の熱冷却ループ９２を示す。この実施形態では、伝導コレクタ９４およびヒート・コレクタ１１０が、図１１を参照して上述したように配置されている。冷却システム３０は、プロセッサ２４を越えて、ヒート・コレクタ１１０に接触し熱的に連通するように延出する。そして、液体冷却材は、伝導コレクタ９４を流れて戻り、出口１１４を介して出る。液体冷却システム３０をヒート・コレクタ１１０内に延出させることによって、電気コンポーネントから冷却材に対する熱抵抗は小さくなり、これによって冷却材温度が高くなる。

図１および図１２に示した実施形態は、プロセッサ２４および電気コンポーネント２６の連続的な冷却を行う。図１に示すように、次いで冷却材システム３０はパワー・エレクトロニクス素子２８と熱的に連通する。この連続的な機構によって、コンピュータ・システム２２の効率的な冷却が可能となると共に、冷却材に望ましい出口温度が与えられる。例示的な実施形態においては、冷却材は、プロセッサ・チップ３４の接合温度よりも２８℃低い温度で、このコンピュータ・システム２２内に入る。従って、接合温度が８０℃であることが望ましい場合、冷却材は５７℃で入れば良い。この結果、冷却材は、プロセッサ２４、電気コンポーネント２６、およびパワー・エレクトロニクス素子２８から熱エネルギーを吸収した後、プロセッサがアイドルである場合には５７℃の出口温度を有し、プロセッサ２４が全出力で動作する場合には６５℃の出口温度を有する。低い冷却材出力温度を避けるため、プロセッサがオフに切り替えられた場合または最大限に抑制された場合、バルブによって流量を激減させる。自由冷却温度としても知られる平均周囲温度は３０℃未満であるので、冷却材からの熱エネルギーは、例えばルーフ・クーラ等のクーラを用いて除去することができ、従来技術によって必要であった冷却機は除くことができる。図１３に示すように、自由冷却温度は、北極の気候における約１７℃と赤道上の気候における３３℃との間で変動する。このため、例示的な実施形態における冷却材の出口温度は、実質的にいかなる環境においても冷却機なしで冷却することができる。暑い季節中および日中のピーク温度は図１３に与えた平均値よりも高い可能性があるが、５７℃という冷却材出力温度によって、５５℃という例外的な周囲温度における自由冷却も可能となる。

自由冷却温度とコンピュータ・システムからの冷却材の出力温度とのこの温度差によって、以前は無駄な熱であったエネルギーを更に利用する機会が得られる。従来技術のデータ・センタ冷却システムにおいては、発生した熱の使用は、商業的な見地から説得力のあるものではなかった。なぜなら、空気冷却システムの出力流体温度は、プロセスまたは住宅用暖房に用いるために充分な品質ではなかったからである（例えば流体温度が低すぎた）。典型的に、従来技術のシステムは、無駄な熱の温度を有用な温度まで上昇させるために、例えば熱ポンプ等の補助デバイスを必要とした。従来技術におけるこの追加の必要な電気エネルギーが、その効率および商業的な実行可能性を低下させた。しかしながら、冷却材間の温度差が２０℃または自由冷却温度よりも高い場合、追加の電気エネルギーの必要なく、発生した熱を捕獲して更に利用することができる。

大都市領域において、中央ボイラー・システムを用いて周囲領域における多数の設備または住居のための熱を発生させることは、珍しいことではない。この暖房システムは、地域暖房またはテレヒーティング（teleheating）と呼ばれることがある。絶縁パイプを介して温水を移送し、この温水を購入する加入者の建物まで送る。中央位置から暖房目的で温水を購入することは、分散型暖房機構よりも、エネルギー源の効率が高く、利用が大規模になることは認められよう。以下で論じるように、中央熱源の使用によって、炭素排出を相殺する機会も提供される。

図１４に、プロセス・ヒートとしての再利用、商業用暖房、または住居用暖房のために、データ・センタ２０から熱を捕獲するための例示的な実施形態のシステムを示す。この実施形態では、データ・センタ２０は複数のコンピュータ・システム２２を含み、これらは、プロセッサ２４、電気コンポーネント２６、およびパワー・エレクトロニクス素子２８を含む。液体冷却材システム１１６は、例えば水等の冷却材を熱交換器１１８およびコンピュータ・システム２２を介して循環させ、ここで冷却材が熱エネルギーを吸収する。熱交換器１１８から熱エネルギーを受けるために、地域暖房システム１２０が結合されている。地域暖房システム１２０は、住居用建物、商業用建物、工業用建物、またはそれらの組み合わせから成る場合があることは認められよう。

冷却システム１１６は、更に、冷却材制御デバイス１２４、１２６、１２８、１３０を含む。冷却材制御デバイスは、冷却システム１１６を介した冷却材の流量を変更することができる比例バルブ等のバルブとすることができる。例示的な実施形態では、冷却材制御デバイスは、コントローラ１２２に信号を送信することができる。冷却材制御デバイスは、更に、コントローラから信号を受信し、デバイス動作の状態を変更し、コントローラ１２２からの信号の受信に応答して、例えば冷却材の流量を変更することができる。冷却材制御デバイス１２４は、熱交換器１１８とコンピュータ・システム２２との間に配置されている。冷却材制御デバイス１２４によって、コントローラ１２２は、冷却システム１１６の全体的な流量を調節することができる。冷却材制御デバイス１２６、１２８、１３０は、個々のコンピュータ・システム２２の入口への冷却材の流れを制御するように配置されている。

コントローラ１２２は、冷却システム１１６の動作および地域暖房システム１２０からの需要を監視するように電気的に結合されている。コントローラ１２２は、データおよび命令を受け取り、命令を実行してデータを処理し、結果を提示することができる適切な電子デバイスである。コントローラ１２２は、１つ以上のプロセッサを含むことができる。コントローラ１２２は、ユーザ・インタフェースを介して、または、限定ではないが、電子データ・カード、音声活性化手段、手動動作可能選択および制御手段、放射波長および電子または電気転送等の他の手段によって、命令を受け取ることができる。従って、コントローラ３２は、マイクロプロセッサ、マイクロコンピュータ、ミニコンピュータ、光コンピュータ、ボード・コンピュータ、ＣＩＳＣ（complex instruction set computer）、ＡＳＩＣ（特定用途向け集積回路）、ＲＩＳＣ（reduced instruction set computer）、アナログ・コンピュータ、デジタル・コンピュータ、分子コンピュータ、量子コンピュータ、セル式コンピュータ、超伝導コンピュータ、スーパーコンピュータ、固体コンピュータ、シングルボード・コンピュータ、バッファ・コンピュータ、コンピュータ・ネットワーク、デスクトップ・コンピュータ、ラップトップ・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、または前述のもののいずれかのハイブリッドとすることができる。

コントローラ１２２は、例えば温度センサ等のセンサによって提供されたアナログ値または電流レベルを、コンピュータ・システム２２によって発生した熱、または地域暖房システム１２０からの戻り水温を示すデジタル信号に変換することができる。あるいは、センサがデジタル信号をコントローラ１２２に供給するように構成することができ、または、アナログ−デジタル（Ａ／Ｄ）コンバータをセンサとコントローラ１２２との間に結合して、センサが供給するアナログ信号をコントローラ１２２による処理のためにデジタル信号に変換することも可能である。コントローラ１２２は、冷却システム１１６を制御するための様々なプロセスに対する入力としてデジタル信号を用いる。デジタル信号は、限定ではないが、冷却材デバイス１２４、１２６、１２８、１３０等を介した流量を含む、１つ以上の冷却システム１１６のデータを表す。

コントローラ１２２は、データ伝送媒体１３４を介して、データ・センタ２０の１つ以上のコンポーネントに動作的に結合されている。データ伝送媒体１３４は、限定ではないが、ソリッド・コア配線、ツイスト・ペア配線、同軸ケーブル、および光ファイバ・ケーブルを含む。また、データ伝送媒体１３４は、限定ではないが、無線、電波、および赤外線信号伝送システムを含む。コントローラ１２２は、Ｉ２Ｃ（Inter-Integrated Circuit）、ＳＰＩ（Serial Peripheral Interface）、ＳＭＢｕｓ（System Management Bus）、ＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）、ＲＳ−２３２、ＭｏｄＢｕｓ、または本明細書において開示した目的に適した他のいずれかの通信プロトコル等、周知のコンピュータ通信プロトコルを用いてデータ伝送媒体１３４上で通信を行う。

一般に、コントローラ１２２は、例えば温度センサ等のセンサ、および、例えばかかる冷却材デバイス１２４等のデバイスから、データを受け取る。また、コントローラ１２２は、センサからのデータを、所望の冷却材出口温度等の所定の動作パラメータと比較する目的で、実行可能命令セットからいくつかの命令を与えられる。コントローラ１２２は、例えば冷却材制御デバイス１２４を動作させるための動作信号を供給する。また、コントローラ１２２は、例えば地域暖房システム１２０から、このシステムに対するユーザからの熱需要が増えているかまたは減っているかを示すデータを受け取る。コントローラ１２２は、動作パラメータを、所定の変動（例えば冷却材の温度、プロセッサ動作状態、熱需要）と比較し、所定の変動を超えている場合は、外部デバイスに対する警告またはメッセージを示すために使用可能な信号を発生する。更に、この信号は、他の制御方法を開始して、冷却材制御デバイス１２４の動作状態を変更して変動外の動作パラメータを補償する等、冷却システム１１６の動作を適合させることができる。

コントローラ１２２は、ランダム・アクセス・メモリ（ＲＡＭ）デバイス、不揮発性メモリ（ＮＶＭ）デバイス、読み取り専用メモリ（ＲＯＭ）デバイス、１つ以上の入出力（Ｉ／Ｏ）コントローラ、およびデータ・インタフェース・デバイスに結合されたプロセッサを含む。また、Ｉ／Ｏコントローラは、１つ以上のアナログ−デジタル（Ａ／Ｄ）コンバータに結合することができ、これがセンサからアナログ・データ信号を受信する。

データ・インタフェース・デバイスは、コントローラ１２２と、例えばコンピュータ、ラップトップ、またはコンピュータ・ネットワーク等の外部デバイスとの間の通信を、例えば外部デバイスによってサポートされた、限定ではないがＵＳＢ（ユニバーサル・シリアル・バス）またはＪＴＡＧ（joint test action group）等のデータ通信プロトコルにおいて、提供する。ＲＯＭデバイスは、開始パラメータを含む例えば主機能ファームウェアのようなアプリケーション・コード、およびブート・コードを、プロセッサのために記憶する。また、アプリケーション・コードはプログラム命令を含み、これによってプロセッサは、動作の開始および停止、冷却材制御デバイス１２４、１２６、１２８、１３０の変更、センによる測定およびデータ信号発生等の所定の動作パラメータの監視を含む、いずれかの動作制御方法を実行する。

ＮＶＭデバイスは、ＥＰＲＯＭ（電気的消去可能書き込み可能ＲＯＭ）チップ、フラッシュ・メモリ・チップ、ディスク・ドライブ等の不揮発性メモリのいずれかの形態である。ＮＶＭデバイスに記憶されているのは、アプリケーション・コードのための様々な動作パラメータである。様々な動作パラメータは、ローカルに、ユーザ・インタフェース（図示せず）を用いて、またはデータ・インタフェースを介して遠隔で、ＮＶＭデバイスに入力することができる。アプリケーション・コードは、ＲＯＭデバイスでなくＮＶＭデバイスに記憶可能であることは認められよう。

また、コントローラ１０４は、アプリケーション・コードにおいて具現化された動作制御方法を含む。これらの方法は、典型的にソフトウェアの形態でプロセッサ１０４によって実行されるように記述されたコンピュータ命令において具現化される。ソフトウェアは、限定ではないが、機械言語、アセンブリ言語、ＶＨＤＬ（Verilogハードウェア記述言語）、ＶＨＳＩＣ ＨＤＬ（超高速ＩＣハードウェア記述言語）、フォートラン（Fortran： formula translation）、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ Ｃ＋＋、Ｊａｖａ、ＡＬＧＯＬ（アルゴリズム言語）、ベーシック（BASIC）、ビジュアル・ベーシック、ＡｃｔｉｖｅＸ、ＨＴＭＬ（HyperText Markup Language）、および前述のもののいずれかの組み合わせまたは少なくとも１つの派生物を含むいずれかの言語において符号化することができる。更に、オペレータは、スプレッドシードまたはデータベース等の既存のソフトウェア・アプリケーションを用い、アルゴリズムに列挙された変数に共に様々なセルを相関付けることができる。更に、ソフトウェアは、他のソフトウェアとは独立したものとするか、または統合型ソフトウェアの形態等、他のソフトウェアに依存したものとすることができる。

動作中、コントローラ１２２は、通常動作のために、特にコンピュータ・システム２２および地域暖房システム１２０に対する冷却材の流れを制御するために、必要な信号を受信する。入力は、コンピュータ・システム内に配置された温度センサ、冷却材制御デバイス１２４、１２６、１２８、１３０の動作状態、および地域暖房システム１２０からの熱需要を含む。これらの入力に基づいて、コントローラ１２２は、冷却材制御デバイス１２４、１２６、１２８、１３０に信号を供給する。一実施形態においては、液体冷却システム１１６は、充分に低いプロセッサ・チップ３４の温度を維持しながら、コンピュータ・システムを出る冷却材の温度を最大限にするように動作する。一実施形態では、プロセッサ・チップ３４は７５℃の温度に維持され、出口冷却材温度は５５℃である。別の実施形態では、コントローラ１２２は、コンピュータ・システムを出る冷却材の温度を、周囲温度よりも少なくとも２０℃高いが概ね６５℃以下に維持するように、液体冷却システム１１６を動作させる。比較的大きい乾燥ルーフ・クーラでは、冷却材から空気に熱を移すことを可能とするためには、典型的に５℃の温度勾配が必要であることは認められよう。２０℃の温度勾配が利用可能である場合には、ルーフ・クーラのサイズをもっと小さくすることができる。

コントローラ１２２は、更に、冷却材制御デバイス１２４、１２６、１２８、１３０の各々を独立して動作させて、コンピュータ・システム２２の個々の動作状態に対応させることができる。このようにして、コントローラ１２２は、コンピュータ・システム２２の各々を出る冷却材の温度を最大とすることができる。この実施形態は、コンピュータ・システム２２から熱エネルギーを抽出し、この熱エネルギーを、住居、商業用設備のための熱源として、またはプロセス・ヒートとして利用することによって、データ・センタ２０のエクセルギーを最大限にする利点が得られる。例示的な実施形態においては、データ・センタは、コンピュータ・システムが発生した熱を再使用する（repurposing）ことによって、１年当たり３６０トンの二酸化炭素排出を相殺する。熱エネルギーの販売、および炭素排出の相殺によって、データ・センタの動作コストまたは所有権の全コストを最大５０％まで削減することができる。

本明細書において開示したいくつかの実施形態の機能は、ソフトウェア、ファームウェア、ハードウェア、またはそれらの何らかの組み合わせにおいて実施することができる。一例として、開示した実施形態の１つ以上の態様は、例えばコンピュータ使用可能媒体を有する製造品（例えば１つ以上のコンピュータ・プログラム）に含むことができる。この媒体には、例えば、本発明の機能を提供し容易にするためのコンピュータ読み取り可能プログラム・コード手段が具現化されている。製造品は、コンピュータ・システムの一部として含ませることができ、または別個に販売することができる。

更に、機械によって読み取り可能であり、この機械によって実行可能な命令の少なくとも１つのプログラムを有形に（tangibly）具現化して開示した実施形態の機能を実行する、少なくとも１つのプログラム記憶デバイスを提供することができる。

本明細書において示した図面は、単なる例である。本発明の精神から逸脱することなく、これらの図面または本明細書において記載したステップ（または動作）に、多くの変形を実施することができる。例えば、ステップを異なる順序で実行することができ、またはステップを追加、消去、または変更することも可能である。これらの変形は全て、特許請求する本発明の一部と考えられる。

本発明について例示的な実施形態に関連付けて説明したが、本発明の範囲から逸脱することなく、様々な変更を行うことができ、その要素の代わりに均等物を使用することが可能であることは、当業者には理解されよう。更に、本発明の不可欠な範囲から逸脱することなく、本発明の教示に対して多くの変更を行って特定の状況または材料に適合させることができる。従って、本発明は、本発明を実行するために考えられる最良の形態として開示したような特定の実施形態に限定されないことが意図される。

Claims (20)

1. データ・センタであって、
   複数のコンピュータ・システムであって、各々が、少なくとも１つのプロセッサと、複数のメモリ・コンポーネントと、複数の電力コンバータと、他の電子コンポーネントと、を有する、複数のコンピュータ・システムと、
   前記複数のコンピュータ・システムに関連付けられた前記プロセッサの各々に流体的に結合された液体冷却ループであって、液体冷却材を含む液体冷却ループと、
   前記液体冷却ループに結合された第１の複数の冷却材制御デバイスであって、各々が、前記複数のコンピュータ・システムに関連付けられた前記プロセッサに関連付けられるとともに、前記プロセッサに対する冷却材の流れを制御するように配置された、第１の複数の冷却材制御デバイスと、
   前記液体冷却ループに結合された熱交換器と、
   を含む、データ・センタ。
2. 前記熱交換器に結合された地域暖房システムを更に含む、請求項１に記載のデータ・センタ。
3. 前記冷却材が第１の温度で前記コンピュータ・システム内に入り、第２の温度で前記コンピュータ・システムから出るものであり、前記第２の温度が周囲空気温度よりも５℃以上高い、請求項１に記載のデータ・センタ。
4. 前記複数のコンピュータに関連付けられた前記プロセッサの各々が第３の温度で動作し、前記プロセッサ上の最も暑い点と最も冷たい点との間の温度勾配が３℃以下である、請求項３に記載のデータ・センタ。
5. 前記複数のコンピュータ・システムに関連付けられた前記プロセッサの各々が、第４の温度で動作する第１の部分と第５の温度で動作する第２の部分とを含み、前記第１の複数の冷却材制御デバイスが前記プロセッサに流体的に結合されて、前記冷却材を第１の流量で前記第１のプロセッサ部分に供給し、第２の流量で第２のプロセッサ部分に供給する、請求項４に記載のデータ・センタ。
6. 前記液体冷却ループに結合された第２の複数の冷却材制御デバイスを更に含み、前記第２の冷却材制御デバイスが、前記複数のコンピュータ・システムの１つに対する冷却材の流れを制御するように配置されている、請求項５に記載のデータ・センタ。
7. 前記複数のコンピュータ・システムの各々が、前記液体冷却ループに熱的に結合された熱冷却ループを含み、前記熱冷却ループが、前記プロセッサ、前記メモリ・コンポーネント、および前記他の電子コンポーネントから熱エネルギーを連続的に除去するように配置されている、請求項６に記載のデータ・センタ。
8. 前記第１の複数の冷却材制御デバイスの各々が、前記第１の流量および前記第２の流量を供給して、前記第４の温度と前記第５の温度との間で３℃以下の温度差を維持するように配置されている、請求項５に記載のデータ・センタ。
9. 前記複数のコンピュータ・システムおよび前記第１の複数の冷却材制御デバイスに電気的に結合されたコントローラを更に含み、前記コントローラが、前記コンピュータ・システムの１つに関連付けられた前記プロセッサにおける温度の変更を指示する前記コンピュータ・システムからの信号に応じて、前記コンピュータ・システムに対する流量を変更するように、実行可能コンピュータ命令に応答する、請求項１に記載のデータ・センタ。
10. 前記複数のコンピュータ・システムおよび前記第１の複数の冷却材制御デバイスに電気的に結合されたコントローラを更に含み、前記コントローラが、前記コンピュータ・システムの１つからの前記冷却材の温度の変更に応じて、前記コンピュータ・システムに対する流量を変更するように、実行可能コンピュータ命令に応答する、請求項１に記載のデータ・センタ。
11. 前記複数のコンピュータ・システムおよび前記第１の複数の冷却材制御デバイスに電気的に結合されたコントローラを更に含み、前記コントローラが、前記地域暖房システムからの信号に応じて、前記コンピュータ・システムの１つに対する流量を変更するように、実行可能コンピュータ命令に応答する、請求項２に記載のデータ・センタ。
12. コンピュータ・システムであって、
    第１の側および第２の側を有するプロセッサと、
    前記プロセッサに電気的に結合されたメモリ・コンポーネント群と、
    前記プロセッサおよび前記メモリ・コンポーネント群に電力を供給するように電気的に結合されたパワー・エレクトロニクス・モジュールと、
    前記プロセッサ、前記メモリ・コンポーネント群、および前記パワー・エレクトロニクス・モジュール、および他の電子コンポーネントに熱的に結合された液体冷却ループと、
    前記プロセッサに熱的に結合されると共に前記液体冷却ループに流体的に結合されたコールド・プレートであって、第１の直径を有する第１の複数のノズルおよび第２の直径を有する第２の複数のノズルを含み、前記第１の複数のノズルおよび前記第２の複数のノズルが前記プロセッサの第１の側を前記液体冷却ループに直接流体的に結合する、コールド・プレートと、
    を含む、コンピュータ・システム。
13. 前記プロセッサの第１の側が、第１の電力密度で動作する第１の部分および第２の電力密度で動作する第２の部分を含む、請求項１２に記載のコンピュータ・システム。
14. 前記第１の複数のノズルが前記第１の部分に隣接して位置付けられ、前記第２の複数のノズルが前記第２の部分に隣接して位置付けられている、請求項１３に記載のコンピュータ・システム。
15. 伝導コレクタを更に含み、前記伝導コレクタが、前記プロセッサとは反対側で前記コールド・プレートに熱的に結合された第１の部分および前記メモリ・コンポーネント群に隣接して配置された第２の部分を有する、請求項１４に記載のコンピュータ・システム。
16. 前記伝導コレクタおよび前記パワー・エレクトロニクス・モジュールおよび他の電子コンポーネント間に結合されたヒート・コレクタを更に含む、請求項１５に記載のコンピュータ・システム。
17. 前記ヒート・コレクタが、コンプライアントな金属フィン、金属発泡樹脂製品、またはばねから成る群から選択される、請求項１６に記載のコンピュータ・システム。
18. 前記伝導コレクタが、前記プロセッサの下流で前記液体冷却ループに流体的に結合されている、請求項１４に記載のコンピュータ・システム。
19. コンピュータ冷却システムを動作させる方法であって、
    プロセッサの電力マップを求めるステップであって、前記電力マップが、第１の温度の第１の部分および第２の温度の第２の部分を含む、ステップと、
    第１の流量および第３の温度で冷却材を前記第１の部分に流すステップと、
    第２の流量および前記第３の温度で前記冷却材を前記第２の部分に流すステップと、
    前記冷却材を前記プロセッサにより第４の温度に加熱するステップと、
    前記第４の温度で前記冷却材をメモリ・コンポーネントに流すステップと、
    前記冷却材を前記メモリ・コンポーネントにより第５の温度に加熱するステップと、
    前記第５の温度で前記冷却材をパワー・エレクトロニクス・モジュールおよび他の電子コンポーネントに流すステップと、
    前記冷却材を前記パラー・エレクトロニクス・モジュールおよび他の電子コンポーネントにより第６の温度に加熱するステップと、
    を含む、方法。
20. 前記第６の温度の前記冷却材から熱エネルギーを地域暖房システムに移すステップを更に含む、請求項１９に記載のコンピュータ冷却システムを動作させる方法。

Images