JP2011518395A - 配列接続された電子装置の液体浸漬冷却用ケース及びラックシステム - Google Patents

Abstract

ラックシステムに接続された複数のケースを用いた多数の並列な電子装置を冷却するのに適した液体浸漬冷却システムである。本システムは、電子発熱部品を用い、かつ並列システムに接続されたサーバーコンピュータ及び他の装置における発熱部品を冷却する。本システムは、内部空間を有する筐体と、前記内部空間内の誘電性冷却液と、前記空間内に配置され、前記誘電性冷却液に浸漬される発熱電子部品とを備える。前記ラックシステムは、複数のケースに液体を移動させるためにマニホールドシステムと、複数のケース／電子装置と電気的に係合するために入出力コネクタを含む。前記ラックシステムは、液体をラックに注入する／ラックから汲み出す、また液体を外部の熱交換器、ヒートポンプ、または他の放熱／熱回収装置に注入する／汲み出すポンプシステムに接続されていてもよい。

Description

本願は、ハードコア・コンピュータ・インク（HARDCORE COMPUTER, INC）の名で出願されたＰＣＴ国際出願であって、２００８年８月４日に出願された米国仮出願第６１／０８５９３４号及び２００８年４月２１日に出願された第６１／０４６５４０号の優先権を主張する。

本開示は、液体浸漬冷却電子アレイシステム（liquid submersion-cooled electronic array system）に関し、特に液体浸漬冷却電子装置、例えば、個別のケースに入れられた多数の個別のロジックボード、または１つのケースにおいて一まとまりにされたロジックボードをラックシステムに収納可能なコンピュータサーバーに用いられるケースに関する。

コンピュータ産業が直面している大きな問題は熱である。部品が動作する温度が高いほど、部品は故障し易くなる。高温状態で動作する電子機器は、より低い動作温度に維持された部品よりも寿命が短い。概して、動作の温度が高いほど、部品の寿命が短くなるということが言える。また、高温は破局故障の原因にはならないものの、データ処理エラーを引き起こし得る。高温での動作は電力変動の原因となることがあり、それらのエラーを中央処理装置（ＣＰＵ）、またはロジックボード上のデータ管理が取り扱われる任意の箇所で引き起こす。処理能力を高めながら廃熱を削減する取り組みにもかかわらず、市場で新たに発売されるＣＰＵ及びグラフィックス・プロセシング・ユニット（ＧＰＵ）のそれぞれは、最後に発売されたものよりも高温で動作する。電力の供給及び信号処理を取り扱うのに必要な電源装置やロジックボード部品も、世代が新しくなる度に一層多くの熱を発している。

コンピュータシステムを冷却するために、冷却システムで液体を用いることが知られている。公知なコンピュータ部品の冷却方法の1つでは閉ループ２相システム（closed-loop, 2-phase system）が用いられる。蒸気が冷却チャンバに至る管を通り、その蒸気が液体の状態に戻り、さらなる冷却のためにその液体がチップに至る管によって戻される。他の公知な液体冷却システムでは、液体がＣＰＵ上のホットプレートを通るように内部ポンプによって動かされ、そして熱せられた液体が、液体を受動的に冷却するフィン付塔に注入され、それをプレートに戻す。

固定設置される大規模スーパーコンピュータの場合、スーパーコンピュータの能動処理部品を不活性の誘電性流体に浸漬することが知られている。多くの場合、流体が能動部品内を流れることが可能となっており、その後流体は、主チャンバに戻される前に流体が冷却される外部の熱交換器に注入される。

コンピュータ部品を冷却する従来の取り組みにもかかわらず、冷却システムへのさらなる改良が不可欠である。

コンピュータシステムや、電子発熱部品を用いる他のシステムにおける発熱部品の冷却を含む多数の電子装置の冷却に適した、個別に収容された液体浸漬冷却システムを説明する。ここで説明する概念を適用可能な電子装置の例としては、ブレードサーバーを含むサーバー；ディスクアレイ／ストレージシステム；ストレージエリアネットワーク；ネットワークに接続されたストレージ；ストレージ通信システム；ワークステーション；ルーター；電気通信インフラ／スイッチ；有線、光学及び無線通信装置；セル処理装置；プリンタ；電源装置；ディスプレイ；光学装置；手持ち式のシステムを含む計測システム；軍事用電子機器等が挙げられるが、これらに限定されない。

電子機器は、内部空間を有するケースを備えてもよい。誘電性冷却液が内部空間に含まれ、発熱電子部品が空間内に配置され、誘電性冷却液に浸漬されているか、または誘電性冷却液が部品一面に向けて送り出される。

電子装置がコンピュータ、例えば、サーバーコンピュータの場合、１つのロジックボードまたは複数のロジックボードが内部空間内に配置されている。ロジックボードは、ＣＰＵまたはＧＰＵ等の少なくとも１つのプロセッサを含む多数の発熱電子部品を備える。それに加えて、例えば、ＲＡＭ、電源装置、ドーターカードや、固体ドライブまたは機械式ハードディスク等の記憶ドライブといったコンピュータの他の発熱部品を冷却液に浸漬することもできる。

一実施形態において、電子部品を実際に冷却液に浸漬する必要はない。その代わりに、冷却液を電子部品に「注ぐ」、またそれ以外では電子部品一面に向けて送り出してもよい。重力により液体が部品上を下向きに流れるのが助けられ、その後液体が液だめで回収され、そこで液体は、電子部品に最終的に戻されるように放熱／熱回収装置に注入される。この実施形態はケース内の冷却液の量を減らし、それにより重量及びコストが削減され得る。

コンピュータロジックボード、ドーターカード、電源装置、及び他の能動電子部品を収容するケースは、液密内部空間の範囲を定める複数の壁を備える。必要に応じて、1つ以上の壁が透明、半透明、または不透明材料であってもよい。脱着可能型、または固定型であり得る蓋により、内部空間、例えば同空間の上部が閉じられる。蓋は、複数の壁と液密封止を形成し、一実施形態において、蓋は、自身に固定され、内部空間に配置されたロジックボードに接続してロジックボードとケースの外部との間に電気接続を提供するように構成された封止電子コネクタを備える。

一実施形態において、ロジックボード部品の交換や、液体を内部空間に流し戻すことが可能となるように、内部空間からロジックボードを持ち上げた時に、ロジックボードを持ち上げた位置で保持するための機構を設けることもできる。

上記の内部空間を有する上記のケースを、同様の内部空間を有する他のケースと並べて、サーバー、（ディスクドライブを含む）ストレージシステム、ルーター、通信装置や他の電子機器に搭載されたロジックボードに用いることが可能なケースの配列（array of cases）を形成してもよい。

図１は、電子システム及び冷却システムと一体化されたケースの配列を示す。 図２は、脱着可能な蓋が開いた位置にある個別のケースを示す。 図３は、ケースの配列を保持するラックシステムを示す。 図４は、ロジックボード、ビデオ／ドーターボード、電源ユニット、天板、及びラックの入出力バスと係合する外部入出力コネクタを有するケースを示す。 図５は、誘電性流体が充填されたケース及びラックマニホールドの急速着脱式バルブ（quick-disconnect valve）に係合する急速着脱式バルブを示す。 図６は、ケースの配列、外部ポンプ及び放熱／熱回収装置を含む冷却システムを示す。 図７は、並べて用いることが可能なケースの別の実施形態を示す側面図である。 図８は、ケースのさらに別の実施形態の側面図である。 図９は、ケースのさらに別の実施形態の側面図である。 図１０は、人間工学的な取っ手を有するケースの前面図である。 図１１は、縦に積み重ねられたケースの配列の前面図である。 図１２〜図１４は、異なる種類の発熱電子機器を収納したケースの側面図である。 図１５は、ケースの配列と共に使用可能な冷媒分配システムの一例を示す。 図１６は、誘電性冷却液の冷却に流体冷却ループを用いた場合を示す。 図１７は、複数のロジックボードが収納されたケースの他の実施形態の前面図である。 図１８は、ケースが横向きになっているラックシステムの他の実施形態の前面図である。 図１９Ａ、図１９Ｂ、及び図１９Ｃはそれぞれ、ロジックボード上の特定のターゲット熱だまりを冷却する対流（directed-flow）ヒートシンクと分散プレナムとの集合体の等角図、上壁を取り除いた状態の上面図、及び側面図である。

コンピュータサーバーシステムや、発熱電子部品を用いる他のシステムにおける発熱部品の冷却を含む多数のアレイベース（array-based）の電子装置の冷却に適した液体浸漬冷却システムを説明する。コンピュータサーバーシステムの場合、液体浸漬冷却システムは、例えば、３２〜６４個、またはそれ以上のプロセッサコアロジックボード（processor core logic boards）（８個のソケット×８個のコア＝６４個のプロセッサ）の生成が可能であるスケーラブルアーキテクチャを有するコンピュータの配列を作成することを可能にする。配列を形成するケースシステムにおけるこれらのロジックボードを相互接続して、１つ以上の超並列スーパーコンピュータを形成することができる。

ここで説明する概念を適用可能な電子装置の例としては、ブレードサーバーを含むサーバー；ディスクアレイ／ストレージシステム；ストレージエリアネットワーク；ネットワークに接続されたストレージ；ストレージ通信システム；ワークステーション；ルーター；電気通信インフラ／スイッチ；有線、光学及び無線通信装置；セル処理装置；プリンタ；電源装置；ディスプレイ；光学装置；手持ち式のシステムを含む計測システム；軍事用電子機器等が挙げられるが、これらに限定されない。ここでは、数多くの概念を多数のコンピュータサーバーに適用されるものとして記載及び説明するが、ここで説明する概念は他の電子装置にも同様に用いり得ることが理解されるだろう。

図１、図２、図３、図４及び図５は、液体浸漬冷却システムを用いるアレイベースのサーバーコンピュータシステム１０の一実施形態を示す。システム１０は、それぞれが自己完結型のコンピュータシステム、例えば、コンピュータロジックボード、ドーターカード、電源装置、他の受動電子コンピュータ部品や、冷却システムを収納する複数の独立したケース１２を備える。

各ケース１２の全ての電子・熱能動素子が誘電性冷却液に浸漬され、誘電性冷却液は電子・熱能動素子と直接接触する。従って、各ケースは、冷却液とコンピュータシステムとを収容するタンクを形成する。この種の没入型冷却システムに使用可能な誘電性液体としては、
・３Ｍ^TM（登録商標）ＮＯＶＥＣ^TM（登録商標）のような加工流体、
・鉱油
・シリコーン油
・大豆系油を含む天然エステル系油
・合成エステル系油
が挙げられるが、これらに限定されない。これらの誘電性流体の多くは、コンピュータ部品の火を消す能力も有している。誘電性及び難燃性の流体にコンピュータ部品を浸漬することにより、コンピュータ部品の故障による発火の可能性を最小限に抑える。より高い沸点とともにより大きな伝熱能力を有する他の誘電性流体を用いることができる。これらの冷却液が、システムに含まれる部品によって生成される熱の量に対処するのに十分な高い伝熱能力を有している場合は、状況を変える必要はない。

図２及び図４を参照すると、各ケース１２は、コンピュータロジック１６のコネクタ側に取り付けられる蓋１４を備えており、ロジックボード入出力（ＩＯ）接続、ドーターカード入出力、及び電力をケース１２に出し入れすることができる。ケース蓋１４を開き、取り付けられたロジックボードや電子機器を持ち上げてケースから取り出すことによって、ロジックボード１６に搭載されているドーターカード、付加的なプロセッサ、電源カードやメモリカード等の部品をケース１２に取り付けたり、または取り外したりすることができる。ロジックボード１６の端部を、ケース１２の反対の内壁に形成された溝に摺動可能に配置して、ロジックボードのケースへの挿入またはケースからの取り外しを容易にすることができる。それに加えて、機械式ハードディスクを、そのハードディスクからケースの外部に至るハードディスク通気孔にエアラインを接続したケース１２に配置することができる。

図２、図４、及び図５に示す例において、ケース１２の後部（使用時にケースが一定方向に向けられている場合）は蓋１４によって閉じられている。ケース１２の内部にアクセスするには、蓋１４が上部で配置されるように、取っ手の端部を下向きにしてケースを一定方向にむける。そして、蓋１４を取り外し、取り付けられたロジックボード１６を持ち上げてケースから出すことができる。蓋１４の他の向きも可能である。例えば、蓋はケース１２の上部（使用時にケースが一定方向に向けられている場合）を、またはケースのどの側面を閉じることもできる。

一実施形態において、内部または外部のポンプシステムを用いて、ケースの上部から温かい液体を汲み上げて、それを外部の熱交換器、ヒートポンプ、または他の放熱／熱回収装置に通してもよい。他の実施形態において、流れは対流式、または重力によるものであってもよく、ポンプの必要性を回避できる。液体の流れは、ポンプ、対流、及び重力の様々な組み合わせによるものであってもよい。

実施形態の一例を図６に示し、配列されたケース１２が示される。ケースが流出マニホールド２０と、ケース１２から液体を汲み出して放熱または熱回収装置２４に注入する外部ポンプ２２とに接続されており、冷却された液体をケースに送り戻すために、冷却された液体は流入マニホールド２６に向けて送り出される。

必要に応じて、２つ以上の放熱／熱回収装置を用いることができ、放熱と熱回収との組み合わせを用いることができる。それに加えて、必要に応じてポンプを各ケース１２の内部に配置することができる。

図１５は、ケース１２の配列に接続されて、ケースに冷媒液を分配し、ケースから冷媒を受け取る冷媒分配システム３０の他の例を示す。図示したシステム３０は、放熱または熱回収装置３２と、冷媒供給路３４と、冷媒戻り路３６とを備える。冷媒は、放熱または熱回収装置３２の一部である好適なポンプ、または図６のシステムと同様の外部のポンプによって汲み出される。システム３０は、例えば、冷媒液が供給される第１のケース１２から冷媒が最後に戻されることから、各ケースへの／からの冷媒液の流路が同じ長さとなる２管路リバースリターン方式（two-pipe reverse return system）であってもよい。２管路リバースリターン方式の利点は、ケース全体に渡って圧力低下が均等になるという点である。

放熱または熱回収装置は、放熱、または熱せられた液体から熱を回収することを可能にするのに適した装置であれば、どのようなものであってもよい。例えば、装置はラジエータ等の放熱用の平易な熱交換器であってもよい。空気または液体を熱交換媒体として用いることができる。それに加えて、熱交換器を地下に配置して、比較的涼しい地面で液体を冷却することもできる。外部熱交換器は、液体が空間に再度供給される前に許容可能な温度に冷却することができる限り、数多くの異なる構成を取ることができる。放熱装置の例としては、冷却スタック、蒸発やイングラウンドループ（in-ground loop）が挙げられるが、これらに限定されない。

熱交換器を用いた液体の冷却は、
・一般的な冷凍システムの場合と同様にコンプレッサ
・ペルチェ効果冷却
・ファンまたは他の通風機構を用いたラジエータ面の能動空冷
・出来る限り大きい範囲の熱伝導熱交換面を低い周囲温度にさらすことによる受動冷却
といった幾つかの手段の内の１つによって実現することができる。放熱または熱回収装置は、回収した熱を周囲環境の暖房に用いる熱回収装置であってもよい。例えば、熱回収装置は、回収した熱を建物の暖房に用いる建物または部屋暖房システムの一部であってもよい。熱回収装置の例としてはインフロアヒーター（in-floor heater）や地熱発電が挙げられるが、これらに限定されない。

一実施形態において、ケースが部屋内で収容される一方、ポンプ及び放熱または熱回収装置が部屋の外に配置される。冷却に液体を用い、そして熱せられた液体が部屋の外に汲み出されることから、ケース内の電子機器による部屋の加熱が最小限に抑えられる。これは部屋の内部で必要となる空調の量を減らし、電気の使用と部屋の中で多数のケースを維持するためのコストを削減する。

誘電性冷却液は、放熱または熱回収システムで用いる唯一の液体である必要はない。図１６に示す実施形態では、水冷ループ４０を用いてケース１２の誘電性冷媒を冷却する。誘電性冷媒は、熱交換器４２を介してループ内を循環する。水冷ループ４０も熱交換器４２を通っており、そこで熱を交換して誘電性冷媒を冷却する。ポンプ４４や対流を介して、及び／または重力によって循環可能なループ４０内の水は、その後放熱または熱回収装置４６に向けて送り出される。

ケース１２は、図３に示すようにラックシステム５０を用いて配列接続され、図２及び図５に示すようにケース１２の後部に配置された急速着脱式バルブ５２を介して流入口及び流出口マニホールドに接続される。一方のバルブ５２がケースへの冷媒の流入口５２ａとして機能するのに対して、他方のバルブ５２は、ケースからの冷媒の流出口５２ｂとして機能し、バルブが開放していない限り、流入口５２ａ及び流出口５２ｂを介して液体が流れるのをバルブが防止している。バルブ５２は、図３に示すラックシステム５０の後部に配置された流入口５３ａ及び流出口５３ｂマニホールドに係合する。ケース１２に至る流入口及び流出口マニホールド５３ａ、５３ｂの流れ経路においても、例えばバルブ５２に係合する急速着脱式バルブが用いられている。そのため、ケース５２側のバルブ５２とマニホールド５３ａ、５３ｂ側のバルブが、ケースの設置と同時に自動的に開放し、ケースの取り外しと同時に自動的に閉鎖する。急速着脱式バルブは、ホットスワップ可能なシステムアーキテクチャ（hot swappable system architecture）を用いた故障したサーバーコンピュータの交換を可能にする。

ラックシステム５０は、フレーム５４と、フレーム５４の後部で流入口マニホールド５３ａに接続された冷媒戻り路５６と、流出口マニホールド５３ｂに接続された冷媒排出線５８とを備える。ケース１２のそれぞれはフレーム５４に搭載可能であり、ケースを所望の配列構成に保持する。図３に示すフレーム５４は、フレーム５４に挿入され、間隔を置いて垂直に配置される３段のケースを保持可能なように図示されている。各ケース１２は、ケースの摺動挿入及び取り外しを容易にする手段を備えていてもよい。例えば、各ケースの底面に、フレーム５４へのケースの出し入れを容易にする軸受け機構を設けてもよい。

図２及び図４は、ビデオ／ドーターボード６２、電源装置６４、及び（分散プリナム７４の裏に配置された）プロセッサを含む、ロジックボードに搭載された冷却を必要とする数多くの能動コンピュータ部品を示す。ある実施形態において、ポンプをロジックボード１６、または蓋１４の内側に搭載してもよい。天板７０が蓋１４の下面に接続され、蓋１４の後部に外部入出力コネクタ７２が配置されている。外部入出力コネクタ７２は、図３に示すラックシステム５０上の入出力バス７３と係合する。各ケース１２は、冷却を必要とする能動コンピュータ部品の全てを収納するのに十分な大きさを有している。液体戻り路、及び／または図７を参照して後述するように、冷却液を特定の高温領域、例えばＣＰＵ一面に向けて送り出すのに用いられる分散プリナム７４のためにスペースを空けておく必要があることもある。

図２及び図４に示すように、蓋１４はケース１２に液密及び気密封止をもたらすだけではなく、外部部品入出力、ストレージ入出力、及び電力をケース１２に通しコンピュータロジックボード１６やその部品に送る／送り出すことを可能にするパススルーコネクタ７２も含んでいる。蓋１４は、ケースを封止するガスケットを有する。蓋１４は、冷媒をケースに充填するための充填口も含み得る。

図４を参照して、サーバーロジックボード１６は、入出力・電力コネクタが同じものを有していない点を除けば、本質的にまた機能的に現行のサーバー規格のボードと同様である。その代わりに、ロジックボード１６の上端部に、例えば、パススルーコネクタ７２と係合する接点である連続した導電性パッドを設けてもよい。他には、液密バス型パススルーコネクタを用いて入出力及び電力をケース１２に通してもよい。

複数のロジックボードまたは他の回路基板を用いて、さらなる計算機能力のために、または１つのケース内に複数のコンピュータを収容することができるように追加のプロセッサ、または他の部品を積み重ねることができるようにしてもよい。例えば、図１７は、ケース１２と同様に構成されているが、複数のロジックボード５０１を収容したケース５００を示す。

説明した冷却システムは、数多くのサーバーコンピュータシステムを１つのケース内（図１７）で、またはサーバー若しくはワークステーションラックシステムを形成するために相互接続され得る個別のケース内（図１〜図６）で冷却することを可能にする。

図４を参照して、現行のサーバー規格のボードにおいてそうであるように、ドーターカード６２がロジックボード１６に接続されている。ドーターカードは、ケースの外部に対してＩＯパススルーを要求するビデオカードや、他のＰＣＩまたはＰＣＩＥカードを含み得る。これらのドーターカードは、外部入出力接続を可能にするために、液密及び気密ガスケットを必要とする。

現行のサーバー設計とは異なり、電源装置６４もドーターカードであってもよく、その場合は電源装置からロジックボードへの配線が必要なくなる。電源装置をロジックボード１６と直接一体化してもよい。外部の交流（ＡＣ）または直流（ＤＣ）との接続により、パススルーコネクタ７２を介し、液密及び気密ガスケットを用いて、液体をケース内に充填し得る。

ポンプシステムを用いる場合は、外に搭載して、全てのケース１２の配列を支えることが好ましい。ポンプシステムは、ケース１２の内部からケース外部の放熱／熱回収装置に温かい液体を循環させるために用いられる。それに加えて、外部のハードディスクの冷却プレートを介して液体を循環させてもよい。もしサーバーコンピュータがＯＦＦであっても、液体を循環させるためにポンプシステムをＯＮにするようにポンプシステムを配線することができる。あるいは、サーバーコンピュータがＯＮの時だけポンプシステムをＯＮにするように配線することができる。サーバーコンピュータの電源を切った後、ケース１２内の液体は、浸漬された部品からの余熱を取り除くのに十分な熱容量を有している。これにより、電源を落とした後に熱による被害が起きないようにする。また、もしフローセンサ、またはポンプモニタが、冷媒の流れが停止したことや、または最低限必要な速度を下回ったことを示す場合、浸漬された部品に被害が出るよりもはるか前に、サーバーコンピュータの制御されたシャットダウンを完了させることができる。この実施形態は、空冷に依拠するサーバーコンピュータの破局故障に繋がるポンプシステムの故障の可能性を回避する。

ハードディスクまたは他の内部ストレージシステムも浸漬することができる。通気孔を必要とする現行のプラターベースの機械式ストレージシステムの場合、通気孔の上にエアラインを固定することで、ケースの外部とオープンエア接続を可能にする。ディスクの残りの部分は、気体及び液体不浸透性になるように封止される。

プロセッサは、一般的なメーカー規定（vendor-specified）のソケットを介してロジックボード１６に搭載されている。いくつかの例では、一般的なメーカー規定の温度にするためにプロセッサを十分に冷却する上で、プロセッサにヒートシンクや他の機器を取り付ける必要がないことが実験によって示された。しかしながら、ハイパワープロセッサ用に、またはプロセッサをオーバークロックするために、より低い動作温度またはより高いレベルの伝熱が必要な場合は、プロセッサからの熱を伝導する露出表面領域を大きく増やすヒートシンクを用いることができる。

ケース１２をアレイラック５０から取り外す場合、電力（ＡＣまたはＤＣ）がケース１２の外部コネクタ７２から切り離され、電気回路が開き、電力（ＡＣまたはＤＣ）がケース１２の内部空間から切り離される。

蓋１４は、空間に冷却液を加える開口部も含むことができる。開口部は、液体を加える時に取り外される脱着可能なキャップによって閉じられている。図３に示すように、蓋は、所定位置で蓋を固定し、ラックシステム５０にケースを固定するロック機構を含んでいてもよい。

このように、サーバーロジックボード集合体は脱着可能であり、蓋が上向きに持ち上げれた場合にサーバーロジックボード集合体を空間から持ち上げれるように内部空間に配置されている。

各ケース１２の内部空間には、浸漬したい部品を浸漬するのに十分な誘電性冷却液が含有されてなければならない。例えば、内部空間が実質的に冷却液で充填され、それによりロジックボード１６上の発熱部品の全てが浸漬される。冷却システムは、熱された誘電性液体を空間の内部から、急速着脱式バルブ５２を介して液体が冷却される熱交換器、ヒートポンプ、または他の熱解離／熱回収装置に送り出すように設計されている。冷却された液体は、ラックシステム５０及び流入口５２ａ及び流出口５２ｂを介して各ケースに戻される。

図７は、並べて用いることが可能なケース１００を示す。ケース１００はバックプレーン入出力ボード１０２に電気的に接続されるように設計されている。ケース１００は、冷却液に浸漬された様々な発熱電子部品を搭載した回路基板１０６、例えばロジックボードをその内部に有する液密筐体１０４を備える。蓋１０８により筐体１０４の後部が閉じられる。蓋１０８は、筐体の内部にアクセスできるように取り外し可能であっても、筐体を永久的に閉じるために取り外し不可能であってもよい。

液体流入口１１０が筐体の後ろ側の底部付近に形成され、液体流出口１１２が後ろ側の上部付近から伸びている。この流入口と流出口の配置によって、底面の近くに冷却された液体が導入される。液体は熱されるにつれて上昇していくため、熱された液体を流出口１１２から排出することができる。流入口１１０及び流出口１１２は急速接続式（quick-connect）バルブを備えている。それらのバルブは、バックプレーンボード１０２を通って伸びたマニホールド流入口１２０とマニホールド流出口１２２のそれぞれに接続されると同時に自動的に開放するように設計されている。流入口１２０は流入口マニホールド（図６参照）から伸びており、流出口１２２は流出口マニホールド（図６）に接続されており、流入口１２０及び流出口１２２も、接続されると同時に自動的に開放する急速接続式バルブを備えている。

入出力コネクタ１１４は筐体の後ろ側から伸びている。コネクタ１１４が筐体の後壁を通って伸び、回路基板１０６に接続されている。入出力コネクタ１１４は、バックプレーン入出力ボード１０２のコネクタ１１６と電気的に接続されて、回路基板に／から入力及び出力を送り出し、そして必要に応じて電力を筐体に送るように設計されている。同様のコネクタ１１６が、ケース１００の配列のそれぞれのコネクタ１１４に接続されるために設けられている。

甚大な熱が存在する領域では、液体対流（directed liquid flow）を用いて局所冷却をもたらすことができる。特に、図７に示すように、液体対流冷却集合体１３０が流入口に接続されている。集合体１３０は、流入口１１０と連通したマニホールド１３２と、ＣＰＵ等の回路基板１０６上の特定のターゲット熱だまりに向けて液体を送り出すためにマニホールドから伸びた複数の管１３４とを備える。管１３４の端部は、所望の熱だまり付近に位置しているか、または管１３４を分散プレナム７４と同様の分散プレナム１３６に接続して、ターゲット熱だまりへの戻り液の流れを導くのに役立てることができる。

図１９Ａ〜図１９Ｃは、対流ヒートシンクと分散プレナムの集合体７００の一例の詳細を示す。集合体７００は、好適な材料、例えばプラスチックまたは金属からなる構造体であり、外周側壁７１０と上壁７１２とを有する分散プレナム筐体７０２を備える。筐体７０２の内部に冷媒を導くために、管１３４と同様の流入管７０１が外周側壁７１０の１つに設けられた流入口７１４に接続されている。図示した流入口７１４は１つであるが、複数の流入口を設けて、それぞれを流入管７０１に接続してもよい。流入口、及び流入口に接続される管の数は、ターゲット熱だまりの冷却のニーズによって異なり得る。

筐体７０２は、ヒートシンク７０３が搭載されたＧＰＵまたはＣＰＵ７０６等の特定のターゲット熱だまりを密に覆う。ＣＰＵ７０６は、回路基板７０８上のソケット７０７に搭載されている。ヒートシンク７０３は、例えば、ＣＰＵ７０６との係合部から上壁７１２に向かって上向きに伸びた複数のフィン７０４を備えてもよい。フィン７０４は、ＣＰＵとの熱交換を最適にするために大きな表面積を有する。冷却液との直接接触を介してＣＰＵから熱を取り除くために大きな表面積を有するようヒートシンクのフィンを機械加工、削り出し、成形、またはその他の場合はそのように形成してもよい。図示した例において、フィン７０４は概して矢印で示す冷媒の流れ方向と平行に配向されている。流れを混ぜる、または分割するために、フィン７０４の間に間隙７０５を設けてもよい。

開口部７１８が筐体７０２の一方側に形成されており、冷媒を内部空間から流出させることが可能となっている。冷媒は、フィン及びＣＰＵとの熱交換を介して熱せられることから、筐体７０２の内部から冷媒を排出させることが可能な場所であれば、開口部７１８をどこに設けてもよい。熱せられた冷媒は、筐体７０２を離れた後、ケースの上部に向かって上向きに上昇するか、若しくはプレナム集合体に供給するポンプによって形成された圧により、開口部７１８が対向する任意の方向に放出される。図示した実施形態では、流入口７１４と対向する周囲側壁７１０に形成された間隙によって開口部が形成されている。２個以上の開口部を設けてもよく、熱せられた冷媒を筐体７０２から排出して、ケースの上部に向かって上向きに上昇させる、または強制流れ方向に排出することができるように、開口部を筐体７０２の任意の好適な場所に設けることができる。

それに加えて、筐体７０２は、冷媒が筐体に入り、フィン７０４の領域全体を流れるように複数の方向に流れることを可能にするエキスパンジョンチャンバ７１６を、流入口７１４付近に規定する。

使用の際、管７０１を介したマニホールドからの対流、または揚水源からの直接流が、プレナム筐体７０２によって規定される限定空間に収容されている。この限定空間は、ＣＰＵや、ＣＰＵに接続されたヒートシンクフィン７０４を密に覆う。プレナム筐体７０２は液体流を収容しており、ヒートシンクの表面全体に渡り、液体が混合流、また特定条件下では乱流となるようにする。これは、ＣＰＵ、ＧＰＵ、ノースブリッジ、サウスブリッジ及び／または他と比べて実質的な量の熱を生成する電子システムにおいて用いられるその他の部品といった高温部品をより効率的に冷却するために、熱交換を最適にするのに役立つ。ＣＰＵ及びフィンと接触した後、液体は開口部７１８を介してプレナム筐体７０２から出て行く。

プレナム筐体７０２は、ＣＰＵ及びフィン上に液密空間を形成する必要はなく、図示した例でも液密空間は形成されていない。これは、厳密な製造許容差の必要性を解消するのに役立つ。液体がＣＰＵ及びフィンの上を流れることから、プレナム筐体７０２は、液体の収容を助けるように構成されなければならない。流れの収容量またはその程度は、流れの収容とその結果生じる冷却効率性の増加をどれだけ達成することを希望するかによって異なり得る。

ケース１００は、ラックの上棚１４０ａと下棚１４０ｂとの間の空間にスライドして挿入されるように設計されている。同様に設計された他のケースが、ケース１００に隣接して、棚１４０ａ、１４０ｂの間に配置され得る。ケース１００の挿入及び取り外しを容易にするために、取っ手１４２を筐体１０４に形成してもよい。それに加えて、ケース１００をラック内の所定位置で保持するためにヒンジロック１４４ａ、１４４ｂをケース１００及び／または棚１４０ａ、１４０ｂに設けてもよい。

図８は、垂直上方移動を介して、電気及び液体接続を実現するように設計されたケース２００を示す。ケース２００は、該して図７のケース１００と同様であって、冷却液に浸漬された様々な発熱電子部品を搭載した回路基板を内部に有する液密筐体を備えている。ケース２００は、上棚２０４に搭載された上面２０２に接続されるように設計されている。上面２０２は、ケース筐体の上部から伸びた入出力コネクタ２０８に接続される入出力コネクタ２０６を有し、コネクタ２０８は筐体の上部を通って伸び、筐体内部の回路基板に接続されている。

それに加えて、液体流入口２１０及び液体流出口２１２が筐体の底面に形成されている。流入口２１０及び流出口２１２は急速接続式バルブを備えている、同バルブは、垂直可動ベース２２０を通って伸びたマニホールド流入口２１４及びマニホールド流出口２１６のそれぞれに接続されると同時に自動的に開放するように設計されている。流入口２１４及び流出口２１６も、接続と同時に自動的に開放する急速接続式バルブを備えている。

ベース２２０を垂直に動かすために、レバーシステムがベースと係合している。レバーシステムはレバー２２４を備える。レバー２２４はベース２２０付近に旋回可能に接続され、レバー２２４を旋回すると、ベースが上向きに動くようにベース２２０と係合している。ベースが上向きに移動すると、流入口２１０とマニホールド流入口２１４、流出口２１２とマニホールド流出口２１６との間で流体係合（fluid engagement）が得られ、入出力コネクタ２０６と２０８との間で電気接続が得られる。

図９は、図７のケース１００と同様のケース３００を示し、液体流入口３１７線及び液体流出口３１８線にそれぞれ接続された液体流入口３０２及び液体流出口３０４をケース筐体の後ろ側に備える。バックプレーン入出力ボード３０６は、入出力コネクタ３０８を備える。上面３１０は、ケース筐体の上部を通って伸び、かつケース筐体内の回路基板と係合する入出力コネクタ３１４に接続された入出力コネクタ３１２を有するケース３００の上部に接続されている。上面３１０は、入出力コネクタ３０８に接続されるように設計された入出力コネクタ３１８を含む付属の屈曲部３１６を有する。

ケース３００も、ケースを所定位置に出し入れ可能にするテレスコープ型軸受けスライド（telescoping bearing slide）３２０に搭載してもよい。スライド３２０は下棚３２２に固定され、第１のスライド部３２４と、第１のスライド部３２４に比べて摺動可能な第２のスライド部３２６とを備える。

図１０は、実現可能なケースのデザインの前面図であり、ケース筐体３５０は、前から後ろにかけて外向きに傾斜した側壁を有する。そのため、筐体は前よりも後ろの方が広い。それに加えて、筐体の前部は、上から下にかけて三日月状に湾曲し、おおむね砂時計状の取っ手３５２が形成されており、それを保持してケースをラックに容易に挿入するまた取り外すことができる。

図１１は、縦の段４０４ａ、４０４ｂ、４０４ｃにおいて積み重ねられたケース４０２の配列４００を示す。段４０４ａ〜４０４ｃのそれぞれは、並んで配置された複数のケース４０２を含む。重力によって液体をケース４０２に供給するために、液体吸込貯蔵タンク４０６がアレイ４００の上部に配置されている。放熱装置４０８が、ケースから液体が出された後にそれを冷却するために用いるためにアレイの底部に設けられている。放熱装置４０８は、冷却液が通過するラジエータと、液体を冷却するためにラジエータ全体に送風するファンを備えてもよい。

図１１の配置では、個々のケースに冷却液を供給し、ケースから下の放熱装置４０８に液体を放出するのに重力を用いている。ポンプ４１０を設けて、液体を汲み上げて吸込貯蔵タンク４０６に戻す、または液体を吸込貯蔵タンク４０６に届ける前に外部の放熱装置に注入する。重力のみに依拠するよりも、任意のポンプ４１２を設けて、液体をタンク４０６からケースに注入することもできる。

図１１に示すように、複数の縦の段にケースを並べて配置（水平配列とも呼ぶ）する代わりに、個々のケースを横向きしてケースを積み重ねてもよい。これは垂直配列とも呼ばれる。例えば、図１８は、ラック６０１において積み重ねられた複数の横向きのケース６０２を備える配列６００を示す。ケース６０２は、近隣のケースと密接していてもよく、または各ケースの間に間隙を設けてもよい。また、ケース６０２を、図１１で説明した縦の段と同様に個別の段に分けることもできる。

上述の実施形態では、サーバー電子機器を収容したサーバーケースを参照した。しかしながら、ここで説明した概念は、他の発熱電子機器を収容する他の電子アレイにも適用可能である。例えば、図１２は複数の電源装置４５２を収容する電力またはバッテリーケース４５０を示す。ここで説明する配列された複数のケース４５０により、比較的コンパクトな空間で甚大な電力リソースを提供することができる。図１３は、複数のストレージエリアネットワーク装置またはネットワークに接続されたストレージ装置、複数のルーター、もしくは通信電子機器などの装置４６２を収容可能なケース４６０を示す。これはテラバイト以上のデータを1つのボード上のフラッシュストレージに置くことを可能にする。図１４は、１つ以上の電源ユニット４７２が、プロセッサまたはメモリ等の複数の装置４７４と共にボード上に配置されたケース４７０を示す。電源ユニット４７２がケースの内にあるため、外部の供給源からケース内に直流電力を通す必要がなくなる。交流電力をケース内に通して、ケースの内で必要な直流電力に変換してもよい。

冷却液として用いられる誘電性液体は、上述の誘電性液体のどれであってもよい。必要に応じて、着色剤を誘電性液体に加えて液体に特定の色を持たせることができる。着色剤は紫外線（ＵＶ）活性のものであってもよい。これは、流体に特定の色を発光させるためにＵＶ光と合わせて用いることができる。

入出力接続は、電気入力及び／または出力をケースに送る及び／またはケースから出すことが可能などのような種類の入出力接続であってもよい。入出力接続の例としては、ファイバーチャンネル、イサーネット、シリアル接続ＳＣＳＩ（ＳＡＳ）、シリアルＡＴＡ接続（ＳＡＴＡ）、ＵＳＢ、ビデオ、無線（ＷＩＦＩ、ＲＦネットワーク）、温度または他の環境モニタリングが挙げられるが、これらに限定されない。

本発明は、その趣旨を逸脱しない範囲で、上記以外の形態としても実施が可能である。本出願に開示された実施形態は一例であって、これらに限定はされない。本発明の範囲は、上述の明細書よりも、添付されている請求の範囲の記載を優先して解釈され、請求の範囲と均等の範囲内での全ての変更は、請求の範囲に含まれるものである。

Claims (20)

1. 配列された複数のサーバーコンピュータケースであって、それぞれが
   液密内部空間の範囲を定める蓋を含む複数の壁と、
   前記内部空間に配置されたサーバーロジックボードと、
   前記サーバーロジックボードに配置された複数の発熱コンピュータ部品と、
   前記内部空間内に配置され、前記複数の発熱コンピュータ部品が浸漬される誘電性冷却液と、
   前記壁の１つを通って伸び、前記サーバーロジックボード上の前記コンピュータ部品に電気的に接続された封止電気コネクタとを備えたサーバーコンピュータケースと、
   前記複数のサーバーコンピュータケースの配列が並べられたラックシステムとを備える液体浸漬冷却サーバーコンピュータアレイ。
2. 前記複数のサーバーコンピュータケースは、前記ラックシステムで水平に配列されている、または垂直に配列されている請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
3. 前記サーバーコンピュータケースは、前記ラックシステムから個別に取り外しが可能である請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
4. 前記サーバーコンピュータケースのそれぞれは、液体流入口と液体流出口とを備え、前記液体流入口と前記液体流出口のそれぞれは、前記液体流入口及び前記液体流出口を介した液体の流れを制御する急速着脱式バルブを備え、
   前記ラックシステムは、前記ケースのそれぞれが前記ラックシステムに設置された時に、前記ケースのそれぞれの前記液体流入口と係合する流入口マニホールドと、前記液体流出口と係合する流出口マニホールドとを備え、前記流入口マニホールドと前記流出口マニホールドのそれぞれは急速着脱式バルブを備える、請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
5. 前記ラックシステムは複数の入出力コネクタを備え、前記封止電気コネクタは前記入出力コネクタと係合するように配置されている請求項４に記載の液体浸漬冷却サーバーコンピュータアレイ。
6. 前記ラックシステムは、前記ケースの前記ラックシステムへの設置を導くトラック機構を備える請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
7. 前記ケースを前記ラックシステムに固定するロック機構をさらに備える請求項1に記載の液体浸漬冷却サーバーコンピュータアレイ。
8. 前記ラックシステムは、液体貯蔵タンクと、ポンプと、放熱装置とを備える請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
9. 前記封止電気コネクタは、前記蓋を通って伸びており、前記蓋は脱着可能に前記ケースに接続されている請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
10. 前記配列は、放熱装置または熱回収装置を備える冷媒液システムに接続されている請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
11. 前記サーバーロジックボードに配置された前記発熱コンピュータ部品の１つの上に配置された分散プレナムをさらに備える請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
12. 前記分散プレナムに覆われ、前記発熱コンピュータ部品の１つに接続されたヒートシンクをさらに備える請求項１１に記載の液体浸漬冷却サーバーコンピュータアレイ。
13. 前記ケースと連通した液体冷媒流路を備え、前記液体冷媒流路は、前記流路を流れる液体冷媒を冷却する水冷ループと熱交換関係にある請求項１に記載の液体浸漬冷却サーバーコンピュータアレイ。
14. 液密内部空間の範囲を定める筐体と、
    前記筐体の壁にある液体流入口であって、前記液体流入口を介した液体の流れを制御する急速接続式バルブを備える液体流入口と、
    前記筐体の壁にある液体流出口であって、前記液体流出口を介した液体の流れを制御する急速接続式バルブを備える液体流出口と、
    前記筐体の前記内部空間に配置され、発熱電子装置が配置された回路基板と、
    前記筐体の壁を通って伸び、前記回路基板の前記電子装置に電気的に接続された封止入出力コネクタとを備える液体冷却電子アレイ用ケース。
15. 前記液体流入口及び前記液体流出口は、前記筐体の後壁または前記筐体の底壁にある請求項１４に記載のケース。
16. 前記発熱電子装置は、サーバー電子機器、電力またはバッテリー装置、メモリ記憶装置、ルーター、通信電子機器、またはプロセッサを含む請求項１４に記載のケース。
17. 前記封止入出力コネクタは、前記筐体の後壁または前記筐体の上壁を通って伸びている請求項１４に記載のケース。
18. 前記内部空間内に配置された複数の回路基板を備える請求項１６に記載のケース。
19. 前記回路基板に配置された前記発熱装置の１つの上に配置された分散プレナムをさらに備える請求項１６に記載のケース。
20. 前記分散プレナムに覆われ、前記発熱装置の１つに接続されたヒートシンクをさらに備える請求項１９に記載のケース。

Images