JP2022084812A - 冷却システム、電子ラックおよび方法 - Google Patents

Abstract

【課題】データセンターに対する効率的かつロバストなシステム設計及び熱電冷却を用いた制御方法を提供する。【解決手段】データセンターシステム３００において、冷却システムは、基板管理コントローラ（ＢＭＣ）、熱電冷却（ＴＥＣ）コントローラ及び冷却分配ユニット（ＣＤＵ）コントローラを備える。ＢＭＣは、電子装置によって消費される電力を表す第１の電力値を得るために冷却システムを監視し、第１の電力値に基づいて制御ルックアップテーブルにおいてルックアップ動作を行い、ルックアップ動作に基づいて第１のＴＥＣ電流及び第１のポンプ速度を決定する。ＴＥＣコントローラは、ＴＥＣ素子内に第１のＴＥＣ電流を流すために電子装置に取り付けられたＴＥＣ素子を制御する。ＣＤＵコントローラは、第１のポンプ速度に応じて、ＣＤＵの流体ポンプのポンプ速度を設定する。【選択図】図３

Description

本発明の実施形態は、概して、データセンターに関するものである。より詳細には、本発明の実施形態は、効率的かつロバストなシステム設計および熱電冷却を用いた制御方法に関するものである。

熱の除去は、コンピュータシステムやデータセンターの設計において重要な要素である。サーバに搭載される高性能プロセッサなどの高性能電子部品の数は着実に増加しており、その結果、サーバの通常の動作中に発生および放散される熱量が増加している。データセンター内において使用されるサーバの信頼性は、サーバの動作環境の温度が時間経過とともに上昇する場合には低下する。適切な熱環境を維持することは、データセンター内におけるこれらのサーバの正常な動作、およびサーバの性能および寿命に重要である。特に高性能なサーバを冷却する場合には、より効果的かつ効率的な熱除去解決策が必要である。

近年、浸漬型冷却技術が注目されている。流体の選択、情報技術（ＩＴ）側の設計、材料の互換性、試験および検証などに多くの努力が払われている。ほとんどの解決策では、既存の冷却インフラ（冷却水／冷水）またはシステムを利用している。いくつかの解決策では、冷却液分配ユニット（ＣＤＵ）を使用して、外部冷却ループと内部浸漬型冷却液ループとを形成している。外部冷却ループは、任意の形式の既存のデータセンター冷却インフラに適応することができる。これらの解決策では、浸漬冷却の利点が十分に生かされていない可能性がある。

また、最近では熱電冷却（ＴＥＣ）技術にも注目が集まっている。熱電冷却には、独自のＣＯＰ（性能係数）の最適化手法がある。最大化されたＣＯＰは、ＴＥＣ素子の特定の冷却電力容量に対する電力オーバーヘッドを最小化する。浸漬型冷却のＩＴ機器にＴＥＣ素子を組み込む場合には、ＴＥＣの電力オーバーヘッドおよび流体ポンプの電力を含めた冷却電力消費量計算全体の最適化に取り組む必要がある。

浸漬型冷却システムの有望な適用の一つに、屋外のエッジ演算装置がある。しかし、天候はシステムの動作に影響を与える。例えば、寒冷地では、演算チップが機能するための最低温度限界を下回る可能性がある。

流体ポンプが故障すると、ＩＴ機器はシャットダウンする前に一定の動作を実行する。これらの動作は、メモリにデータをバックアップしたり、作業負荷を転送したりすることを含んでいる。同時に、これらの動作の間、誘電体液の温度は上昇し続ける。よりロバストな浸漬型冷却システムを実現するためには、ＩＴ機器をシャットダウンするまでの時間を十分に確保することが重要である。

本発明の一態様は、電子装置により消費される電力を表す第１の電力値を決定し、該第１の電力値に基づいて制御ルックアップテーブルにおいてルックアップ動作を実行し、該ルックアップ動作に基づいて第１の熱電冷却（ＴＥＣ）電流および第１のポンプ速度を決定するように構成された基板管理コントローラ（ＢＭＣ）と、前記電子装置に取り付けられたＴＥＣ素子を制御して、該ＴＥＣ素子内に前記第１のＴＥＣ電流を流すＴＥＣコントローラと、冷却分配ユニット（ＣＤＵ）コントローラとを備え、該ＣＤＵコントローラが、前記第１のポンプ速度に応じて、ＣＤＵの流体ポンプのポンプ速度を設定し、前記ＣＤＵが前記電子装置に液体冷却を提供する冷却システムである。

本実施形態は、限定するものではなく例示として、同様の参照符号が同様の要素を示す添付図面の図に示されている。
一実施形態に係る熱電冷却を備えるデータセンターシステムの一例を示すブロック図である。。 別の実施形態に係る熱電冷却を備えるデータセンターシステムの一部の例を示すブロック図である。 一実施形態に係る熱電冷却を備えるデータセンターシステムの一例を示すブロック図である。 一実施形態に係るＴＥＣ素子の電流に対するＴＥＣ電力オーバーヘッドのグラフを示す図である。 他の実施形態に係る熱電冷却システムを備えるデータセンターシステムの変形例を示すブロック図である。 一実施形態に係る熱電冷却システムのための方法の一例であるフローチャートを示す図である。 別の実施形態に係る加熱モード下の熱電冷却システムのための方法の変形例であるフローチャートを示す図である。

本発明の様々な実施形態および態様が、以下に説明する詳細を参照して説明され、添付の図面は様々な実施形態を説明する。
以下の説明および図面は、本発明を例示するものであり、本発明を限定するものとして解釈されるべきではない。本発明の様々な実施形態を完全に理解するために、多数の具体的な詳細が記載されている。しかし、特定の一例では、本発明の実施形態の簡潔な議論を提供するために、周知または従来の事項の詳細については記載していない。

本明細書における「一実施形態」または「実施形態」への言及は、実施形態に関連して記載された特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。本明細書の様々な場所で「一実施形態において」という表現が登場するが、必ずしもすべてが同じ実施形態を指すわけではない。

ＩＴハードウェア産業は、ビジネスの競争力、サービスの品質および可用性に重要な役割を果たし、また、インフラのＴＣＯにも大きな役割を果たすなど、多くの理由から重要な市場である。ＩＴハードウェアは、組織の利益と密接な関係がある。
これは、インターネット大手、クラウドコンピューティングサービスプロバイダ、その他のＩＴハードウェアプラットフォームおよびインフラを構築、運用、計算、保管および管理する高性能演算およびＡＩコンピューティング関連のビジネスサービスユーザおよびプロバイダのコア能力の一つである。
ハイパースケールオーナーの大半は、これらのハードウェアシステムのフルスタックをカスタマイズしている。
例えば、急速に成長しているクラウドコンピューティングビジネスにおいては、演算および記憶用のハードウェアシステム、クラスタおよびインフラの性能およびコスト（資本コストと運用コストの両方）は、全て、サービスプロバイダに、個々の要望に最も適したカスタマイズされたシステムを構築することを要求している。
このような市場では、継続的な改革が求められる。効率的なシステムの設計と運用は、長期にわたって多くの側面においてサービスプロバイダに利益をもたらす。このためには、より高い耐障害性、効率性、費用対効果の高い解決策や構造を継続的に開発することが重要である。

本開示では、浸漬型冷却システムについて説明する。
一実施形態において、浸漬槽は、誘電性流体、ＩＴ機器（グラフィック／汎用処理装置（ＧＰＵ）またはＧＰＵカード、ＧＰＵ基板）、ＩＴ機器に組み込まれた熱電冷却（ＴＥＣ）素子およびＴＥＣコントローラにより構成される。
一実施形態において、冷却分配ユニット（ＣＤＵ）は、浸漬槽の外部に配置され、流体ポンプ、熱交換器およびＣＤＵコントローラを備える。
一実施形態において、冷却システムは、演算チップの電力をリアルタイムに監視することに基づいて、ポンプ速度およびＴＥＣ電流をリアルタイムに最適化してシステムの冷却電力消費を最小化することができる。

一実施形態において、システムは、ＴＥＣ素子を介して下で機能することができる。例えば、この浸漬型システムがエッジ演算装置として使用される場合には、誘電性流体の温度が非常に低く、演算チップが起動できない場合がある。このような場合において、ＴＥＣ素子は、一実施形態によれば、追加の加熱源を必要とせずに、加熱モードで動作するように制御することができる。
一実施形態において、ＴＥＣ素子がヒートポンプとして機能し、エネルギを液体（低温）からチップ（高温）に移動させることで、チップを所望の温度に予熱することができる。

一実施形態において、このシステムは、ポンプが故障したときにＴＥＣ素子を介して自己保護を行うことができる。
一実施形態において、ポンプが故障すると、流体はそれ以上外力によって駆動されなくなる。例えば、チップが発熱し続けると、流体の温度は上昇し続ける。そのため、一実施形態において、短時間で流体が非常に高温になる場合がある。この場合、ＩＴ機器はデータのバックアップおよび作業負荷の転送を終了することができず、代わりにシャットダウンしてしまう。
一実施形態において、より高い電流により、コントローラが、ＴＥＣ素子に、より高い流体温度のチップを冷却させることができ、これにより、システムがシャットダウンする前に必要な動作を終えるためのより大きな時間的余裕が得られる。

一実施形態において、データセンターシステムは、１以上のサーバを備える複数の電子ラックと、サーバに液体冷却を提供するために電子ラックに結合された冷却システムとを備える。
一実施形態において、冷却システムは、基板管理コントローラ（ＢＭＣ）、熱電冷却（ＴＥＣ）コントローラ、および冷却分配ユニット（ＣＤＵ）コントローラを備える。

一実施形態において、ＢＭＣは、電子装置によって消費される電力を表す第１の電力値を取得するために、冷却システムを監視するように構成される。
一実施形態において、ＢＭＣは、第１の電力値に基づいて、制御ルックアップテーブル内においてルックアップ動作を実行するように構成される。
一実施形態において、ＢＭＣは、ルックアップ動作に基づいて、第１の熱電冷却（ＴＥＣ）電流および第１のポンプ速度を決定するように構成される。

一実施形態において、ＴＥＣコントローラは、ＢＭＣから第１の制御信号を受信して、電子装置に取り付けられたＴＥＣ素子を制御し、第１のＴＥＣ電流がＴＥＣ素子内を流れるように構成される。
一実施形態において、ＣＤＵコントローラは、ＢＭＣから第２の制御信号を受信して、第１のポンプ速度に従ってＣＤＵの流体ポンプのポンプ速度を構成するように構成される。

一実施形態において、制御ルックアップテーブルは、多数のエントリを備え、各エントリは、特定の電力値を、その特定の電力値に対応する最適ＴＥＣ電流および最適ポンプ速度に写像させる。
一実施形態において、冷却システムは、電子装置を収容する浸漬槽と、浸漬槽内部に収容された冷却流体に沈められたＴＥＣ素子とをさらに備える。
一実施形態において、ＣＤＵは、浸漬槽の外部に配置される。

一実施形態において、ＢＭＣは、第１の電力値を得るために、所定の期間、冷却システムを監視するように構成される。
一実施形態において、第１のＴＥＣ電流および第１のポンプ速度は、電子装置の熱的要求を満たしつつ、冷却システムの電力消費が最小になるように、ルックアップ動作に基づいて決定される。

一実施形態において、ＴＥＣコントローラは、冷却流体の流体温度が第１の所定の温度閾値を下回ったときに、ＴＥＣ素子内において第１の方向にＴＥＣ電流を流すように構成され、これにより、ＴＥＣ素子を加熱モードで動作させる。
一実施形態において、ＴＥＣコントローラは、流体温度が第２の所定の温度閾値を超えて上昇したときに、ＴＥＣ素子内の第２の方向にＴＥＣ電流を流すように構成され、これにより、ＴＥＣ素子を冷却モードで動作させる。

図１は、一実施形態に係るデータセンターシステムを示すブロック図である。
図１に示されるように、データセンター浸漬型冷却システム１００は、浸漬冷却を有するデータセンターシステムとして言及される。
一実施形態において、データセンター浸漬型冷却システム１００は、外部冷却ユニット１０２に結合されたデータセンターまたはデータセンターユニット１０１を備える。
外部冷却ユニット１０２は、間接蒸発式冷却（ＩＤＥＣ）ユニットであってもよい。
外部冷却ユニット１０２は、熱交換器１０５を備え、熱交換器１０５は、液液式の熱交換器であってもよいし、気液式の熱交換器であってもよい。典型的には、熱交換器１０５は、主ループ１０６と二次ループ１０７とを備える。
主ループ１０６は、外部空気や外部液体などの外部冷却材を循環させるために利用される。
二次ループ１０７は、内部の冷却流体を循環させて、主ループ１０６の外部冷却材と熱交換するために利用される。

一実施形態において、データセンター１０１は、内部冷却流体、すなわち浸漬冷却流体によって満たされた浸漬槽１０３を備える。
本実施形態においては１つの浸漬槽１０３が示されているが、複数の浸漬槽１０３をデータセンター１０１が備えていてもよい。
浸漬槽１０３は、１以上のサーバシステム１０４を収容し、各サーバシステム１０４は、１以上のＩＴ部品（例えば、プロセッサ、メモリ、記憶装置）を備える。
サーバシステムは、内部冷却流体に浸されている。内部冷却流体は、サーバシステム１０４から熱を引き出すように設計された熱伝導性の誘電性液体である。このような冷却技術は、浸漬冷却と呼ばれる。

サーバ浸漬冷却は、コンピュータ部品またはサーバが熱伝導性の誘電性液体に浸漬されることによるコンピュータ冷却方法である。例えば、浸漬冷却に適した一般的な誘電体は、典型的にはオイルベースのものである。サーバの浸漬冷却は、ＰＵＥに関わらずエネルギ負荷を大幅に削減できるため、グリーンデータセンターの一般的なサーバ冷却の解決策になる可能性がある。また、浸漬冷却によって冷却されるサーバおよび他のＩＴハードウェアは、ファンを必要とせず、したがって、ファンを取り除くことができる。

一実施形態において、図１に示されるように、データセンター１０１は、外部冷却ユニット１０２の熱交換器１０５の二次側に結合されて二次ループ１０７を形成する液体供給ライン１１１および液体戻りライン１１２を備える。
さらに、液体供給ライン１１１は、浸漬槽１０３の取入口に結合され、液体戻りライン１１２は、浸漬槽１０３の排出口に結合される。
液体供給ライン１１１は、熱交換器１０５から冷却流体を受け取り、冷却流体を浸漬槽１０３に分配するように構成されている。
液体戻りライン１１２は、サーバシステム１０４から熱交換された熱を運ぶ冷却流体を浸漬槽１０３から受け取り、熱交換のために冷却流体を熱交換器１０５に戻すように構成されている。

さらに、冷却流体を二次ループ内に流すためにポンプで送って循環させるために、流体ポンプ１１５が液体戻りライン１１２上に配置されてもよい。さらに、システム内（冗長目的のために、主液体供給ライン１１１上または主液体戻りライン１１２上）に複数のポンプを設計してもよい。なお、データセンター１０１内に複数の浸漬槽がある場合には、浸漬槽と冷却システム１０２の熱交換器１０５とを連結するために、複数対の液体供給ラインおよび液体戻りラインが存在する。従来の冷却システムとは異なり、液体供給ライン１１１、浸漬槽１０３、および液体戻りライン１１２を経由する二次ループ１０７は、間にＣＤＵを使用しない単一の熱伝達ループである。
典型的には、ＣＤＵは、その中に主ループと二次ループとを有する熱交換器を備え、冷却ユニット１０２と浸漬槽１０３との間に複数のループを形成する。
また、流体ポンプ１１５は、液体供給ライン１１１に配置されていてもよいし、代わりに、１つが液体供給ライン１１１に配置され、もう１つが液体戻りライン１１２に配置された複数の流体ポンプがあってもよい。

図２は、別の実施形態に係る熱電冷却を備えるデータセンターシステム２００の一例を示すブロック図である。
例えば、図２は、前側から見たシステム設計図である。
熱電冷却システム２００は、図１に示されるように、データセンター１０１の冷却システム１００の一部として利用されてもよい。
例えば、全体システム２００が、図１に示されるように、浸漬槽内の冷却材に浸されていてもよい。
一実施形態において、ＴＥＣ素子は、演算チップとヒートシンクとの間に配置される。例えば、ＴＩＭ２０５，２０９の間に配置されたＴＥＣ素子アレイ２０７を備えるＴＥＣ素子は、ヒートシンクベース２１１上に配置されたヒートシンクフィン２１１を備えるヒートシンクと、プリント回路基板（ＰＣＢ）２０１上に配置されたパッケージ２０３の一部である演算装置との間に配置される。
一実施形態において、ＴＥＣコントローラは、パッケージ２０３の側方のプリント回路基板２０１上に配置され、ワイヤ２１７を介してＴＥＣ素子アレイ２０７と接続されている。ＴＥＣコントローラ２１５は、ＴＥＣ素子アレイ２０７内を流れる電流を制御するように構成されている。
ＴＥＣ素子アレイ２０７内の電流の流れる方向によって、ＴＥＣ素子アレイ２０７の動作モードが、加熱モードまたは冷却モードのいずれかに決定する。加熱モードで動作するときには、ＴＥＣ素子アレイ２０７は、パッケージ２０３を予熱するように構成され、冷却モードで動作するときには、ＴＥＣ素子アレイ２０７は、パッケージ２０３に冷却を行うように構成される。

図３は、一実施形態に係る浸漬冷却を備えたデータセンターシステム３００の一例を示すブロック図である。
図３は、一実施形態に係る浸漬冷却およびＴＥＣ素子を備えるＧＰＵ演算システムの構成を示す。
なお、データ処理加速装置の一例としてＧＰＵを利用しているが、他の形式のデータ処理ロジックも適用可能である。
一実施形態において、このデザインはＩＴ機器と高く組み合わせられたデザインである。例えば、いくつかの基本断面が、図２に示されるように同じであることがわかる。

一実施形態において、浸漬槽（浸漬冷却槽）３０１は、誘電性液体３０５、ＩＴ機器（ＧＰＵカード、ＧＰＵ基板）３０３、ＩＴ機器３０３に組み込まれている熱電冷却（ＴＥＣ）素子３０９ａ，３０９ｂ，３０９ｃ，３０９ｄおよびＴＥＣコントローラ３１１を備えている。
一実施形態において、ＣＤＵ３２１は、浸漬槽３０１の外部に配置され、流体ポンプ３２７、熱交換器３２５、およびＣＤＵコントローラ３２３を備えている。
一実施形態において、熱交換器３２５は、水などの施設冷却液３２９を用いて、熱交換機能を果たすことができる。
一実施形態において、ＣＤＵ３２１は、流体口３１５，３１９を介して浸漬槽３０１と接続されている。
一実施形態において、誘電性液体３０５は、流体口３１９から多孔質板３１７を通過して流れ、流体口３１５を通って浸漬槽から流出する。

一実施形態において、基板管理コントローラ（ＢＭＣ）３０７は、ＧＰＵ電力／温度／流体入口温度（温度センサ３１３は、多孔質板３１７の近くに配置されている）を読み取ることができ、内蔵されたＴＥＣコントローラ３１１およびＣＤＵコントローラ３２３に制御信号を送ることができる。
一実施形態において、ＢＭＣ３０７は、例えば、適切な電流センサおよび電圧センサを用いて、プロセッサによって引き出される電流およびプロセッサに印加される電圧を決定することによって、プロセッサの電力消費を決定することができる。すなわち、プロセッサの電力消費は、電力＝電流＊電圧として計算することができる。電力消費は、所定の制御ルックアップテーブルにおけるルックアップ動作のインデックスとして利用することができ、これにより、ＴＥＣ素子３０９ａ，３０９ｂ，３０９ｃ，３０９ｄ（まとめてＴＥＣ素子３０９と呼ぶ）に印加する最適ＴＥＣ電流と、ポンプ３２７のポンプ速度を制御する最適ポンプ速度とが決定される。制御ルックアップテーブルおよびルックアップ動作に関する詳細な情報については、さらに以下で詳述する。

一実施形態において、内蔵されたＴＥＣコントローラ３１１は、各ＴＥＣ素子３０９ａ，３０９ｂ，３０９ｃ，３０９ｄに電流を供給する。
一実施形態において、ＴＥＣコントローラ３１１は、基板管理コントローラ（ＢＭＣ）３０７から制御信号を受信して、電流を調節することができる。
一実施形態において、ＣＤＵコントローラ３２３は、流体ポンプ３２７に制御信号を送信してポンプ速度を変更することができる。
ＢＭＣ３０７は、その時点におけるチップの電力消費を考慮して、制御ルックアップテーブルのルックアップ動作により得られた最適ＴＥＣ電流に基づいて、ＴＥＣ素子３０９ａ，３０９ｂ，３０９ｃ，３０９ｄに特定の方向（例えば、加熱モードまたは冷却モード）に電流を流すように、ＴＥＣコントローラ３１１に指示する。同様に、ＢＭＣ３０７は、ルックアップ動作によって得られた最適ポンプ速度に基づいて、流体ポンプ３２７のポンプ速度を設定するように、ＣＤＵコントローラ３１２（またはポンプコントローラ）に指示する。その結果、冷却システム（例えば、ＴＥＣ素子およびＣＤＵ）は、電子装置に十分な冷却（および／または加熱）を提供しつつ、最小（または最適）の電力を消費する。

一実施形態において、システムの支配方程式は、以下の式（１），式（２），式（３）に示される。

例えば、上記のシステム仕様には、ＴＥＣ装置において直列に接続されたＴＥＣ素子の数ｎ、ＴＥＣ素子の材料定数１，α（ゼーベック係数、熱電変換機構に関係する）、ＴＥＣ素子の材料定数２、Ｋ（熱コンダクタンス）、ＴＥＣ素子の材料定数３、Ｒ（電気抵抗）、チップの上部のヒートシンクの熱抵抗の基準値

が含まれる。
さらに、上記のシステム仕様は、動作条件が流体入口温度Ｔ_{ｌｉｑｕｉｄ,ｉｎ}であり、作業負荷がチップ発生電力Ｑ_０であり、制御パラメータが、ポンプ速度ｖ_ｐｕｍｐおよびＴＥＣ電流Ｉを含み、決定される（未知の）システムパラメータとして、ＴＥＣ電力オーバーヘッドＱ’（ＴＥＣが機能しているときに必要な追加電力）、チップケース温度Ｔ_ｃａｓｅ、およびヒートシンクのベース温度Ｔ_ｈｓ,ｂが含まれる。

上記３つの支配方程式の式（１）、式（２）および式（３）に３つの未知のパラメータが存在するので、与えられた流体入口温度Ｔ_{ｌｉｑｕｉｄ,ｉｎ}を用いて、ＴＥＣ電力オーバーヘッドＱ’、チップケース温度Ｔ_ｃａｓｅを計算することができる。
これらの確定関係は、ｆ_１およびｆ_２を用いて表すことができる。
Ｑ’＝ｆ_１（Ｑ_０，Ｉ，ｖ_ｐｕｍｐ）、および、
Ｔ_ｃａｓｅ＝ｆ_２（Ｑ_０，Ｉ，ｖ_ｐｕｍｐ）
なお、ＴＥＣが冷却モードの場合には、Ｔ_ｈｓ,ｂ＞Ｔ_ｃａｓｅを実用的な動作条件と考えている。特定の構成の浸漬型冷却システムに対して、設計構成の一部として流体入口温度が所定の範囲内に維持されることに注意する。流体入口温度は、通常は、動作中に大きく変化することはなく、また変化すべきではない。目的としては、最適ＴＥＣ電流および流体ポンプの最適ポンプ速度を見出すことにより、冷却システムが、冷却流体の流体温度を所定の範囲内に維持しながら、最小限の電力消費となることである。

一実施形態において、システム全体の冷却電力消費Ｑ_{ｃｏｏｌｉｎｇ}は、ＴＥＣ電力オーバーヘッドおよびポンプ電力からなり、以下の式（４）で示される。
Ｑ_{ｃｏｏｌｉｎｇ}＝Ｑ’＋Ｐ_ｐｕｍｐ＝ｆ_１（Ｑ_０，Ｉ，ｖ_ｐｕｍｐ）＋βｖ^３ _ｐｕｍｐ …式（４）

一実施形態において、最適化の説明を、「最適ＴＥＣ電流および最適ポンプ速度が、流体温度とチップの作業負荷の条件下において、浸漬型冷却システムの冷却電力消費を最小値にすることができることである」と表現することができる。すなわち、所定の流体温度および所定のチップ消費電力に対して、熱的要求（例えば、設計上の特定の範囲内の流体温度）を満足しつつ、冷却システムによる電力消費が最小となるような最適ＴＥＣ電流および最適ポンプ速度を、上記の式を用いて導き出すことができる。
一実施形態において、数学的に、最適化は以下のように示される。すなわち、

の関係を満たしつつ、トータルの冷却電力消費Ｑ_{ｃｏｏｌｉｎｇ}が最小になるように（Ｉ，ｖ_ｐｕｍｐ）の最適なシステム動作設定を見出すことである。

最初に、ＢＭＣは、１分などの一定期間にわたって、チップ電力Ｑ_０を監視する。最適ＴＥＣ電流およびポンプ速度を決定するためのチップ電力は、一定期間にわたって測定された平均化されたチップ電力に基づいて決定することができる。また、ある時点におけるチップ電力は、チップによって引き出された電流とチップに印加された電圧とに基づいて決定することができる。

ＢＭＣは、ＢＭＣのメモリ上にあらかじめ定義されている制御ルックアップテーブル内のＱ_０の値を検索し、最適ＴＥＣ電流Ｉ^＊および最適ポンプ速度ｖ^＊ _ｐｕｍｐを決定することができる。例えば、Ｑ_０＝４００Ｗ、Ｉ^＊＝１Ａ、そして、ｖ^＊ _ｐｕｍｐ＝１０００ＲＰＭである。

ＢＭＣは、ルックアップ動作に基づいて、ＴＥＣコントローラに制御信号（例えば、電流、電圧）を送信する。一方、ＢＭＣは、ＣＤＵコントローラに制御信号（例えば、電流、電圧）を送り、ＣＤＵコントローラは流体ポンプに制御信号を送る。これに応答して、ＴＥＣコントローラは電流を生成し、ＴＥＣ装置はＩ^＊で動作し、流体ポンプは速度ｖ^＊ _ｐｕｍｐで動作する。上記の動作は反復して行われてもよい。

図４は、一実施形態に係るＴＥＣ素子の電流に対するＴＥＣ電力オーバーヘッドのグラフを示す図である。
例えば、動作１においては、システムは、単一の値のチップ電力Ｑ_０に対する最適制御パラメータを決定する。
図４においては、Ｑ’対Ｉは、図４の曲線のような傾向がある。
一実施形態において、図４はＴＥＣ電力オーバーヘッドとＴＥＣ電流との関係を示している。
一実施形態において、Ｑ’の傾向を分析して、簡単に説明することができる。
例えば、式（３）を再度示すと以下のようになる。
Ｑ’＝ｎαＩ（Ｔ_ｈｓ,ｂ－Ｔ_ｃａｓｅ）＋Ｉ^２Ｒ

一実施形態では、ＩがＩ_ｍｉｎ（Ｉ_ｍｉｎ＞０）に近い場合には、（Ｔ_ｈｓ,ｂ－Ｔ_ｃａｓｅ）が大きいことによって、第１項が大きくなると考えられる。本実施形態では、ＩがＩ_ｍａｘに近い場合に、第２項が大きくなると考えられる。すなわち、Ｑ’の傾向は、最初は減少し、次に増加する。

一実施形態において、１つのポンプ速度ｖ_{ｐｕｍｐ，１}に対して、Ｑ’の極小値に対するＩ^＊ _１を得ることができる。
一実施形態において、システムは、ｖ_{ｐｕｍｐ，ｍｉｎ}とｖ_{ｐｕｍｐ，ｍａｘ}との間のいくつかのポンプ速度（例えば、ｖ_{ｐｕｍｐ，１}＝１０００ＲＰＭ、ｖ_{ｐｕｍｐ，２}＝１５００ＲＰＭ、ｖ_{ｐｕｍｐ，３}＝２０００ＲＰＭ）を選択して、以下のように特定のＩ^＊値を生成することができる。

一実施形態において、チップ電力のリアルタイム値は、
Ｑ_０；（Ｉ^＊ _１，ｖ_{ｐｕｍｐ，１}）；（Ｉ^＊ _２，ｖ_{ｐｕｍｐ，２}）；（Ｉ^＊ _３，ｖ_{ｐｕｍｐ，３}）
である。

一実施形態において、式（４）に（Ｉ^＊ _ｉ，ｖ_{ｐｕｍｐ，ｉ}）を代入し、対応する各冷却電力消費Ｑ_{ｃｏｏｌｉｎｇ}を比較して、システムは、Ｑ_{ｃｏｏｌｉｎｇ}の最小値をグローバルミニマムとして選択することができる。
このように、チップ電力Ｑ_０の下で、システムは、大域的最小値として、Ｑ_{ｃｏｏｌｉｎｇ}の最小値を選択することができる。したがって、大域的最小のＱ_{ｃｏｏｌｉｎｇ}に対する制御パラメータ（Ｉ^＊，ｖ^＊ _ｐｕｍｐ）が、実施形態に従って定義される。

動作２において、システムは、Ｑ_０の値を変更し、動作１を繰り返すことができる。

動作３において、システムは、以下の形式の「制御ルックアップテーブル」を生成することができる。

一実施形態において、テーブルのサイズＮは、ＢＭＣにおける許容メモリ空間に依存する。
一実施形態において、動作条件Ｔ_{ｌｉｑｕｉｄ,ｉｎ}（流体入口温度）が変化した場合、制御ルックアップテーブルを再定義する必要がある。
一実施形態において、ルックアップテーブルは、多数のエントリを備え、各エントリは、特定のＱ_０に対応する。
各エントリは、特定のＱ_０を、最適ＴＥＣ電流および最適ポンプ速度に写像する。
各ルックアップテーブルは、特定の事前定義された冷却システムのために訓練され、構築される。典型的には、冷却システムは、冷却流体の流体温度を所定の範囲内に維持するように設計されている。ＴＥＣおよびＣＤＵ（例えば、ポンプ）の電力消費は、維持すべき流体温度に比例する。したがって、制御ルックアップテーブルは、正常動作中に流体温度が大きく変化しないことを前提に、流体温度の特定の範囲に関連付けられている。

一実施形態では、システムは、様々な液体冷却要件（例えば、異なる流体温度）のための万能システムとして構成されてもよい。その結果、システムは、それぞれが温度範囲の異なる１つに対応する複数の制御ルックアップテーブルのリストを維持する。制御ルックアップテーブルは、同様の冷却システム環境の下で訓練され、構成されてもよい。正常動作時には、特定の流体温度（例えば、入口において測定された温度）に依存して、制御ルックアップテーブルのリストから適切な１つの制御ルックアップテーブルが選択される。

動作中、システムは、例えば、チップによって引き出された電流および電圧に基づいて、チップ電力消費Ｑ_０を決定することができる。電力消費を表すチップ電力値に基づいて、チップ電力値に一致するエントリを探し出し、一致するエントリから最適ＴＥＣ電流および最適ポンプ速度を得るために、ルックアップ動作が行われる。

図５は、一実施形態に係る屋外のエッジ演算のための熱電冷却を備えるデータセンターシステム４００の一例を示すブロック図である。
図５は、一実施形態に係る屋外のエッジ演算のための浸漬冷却とＴＥＣ素子とを備えるＧＰＵ演算システムの構成を示す図である。
一実施形態において、このデザインは、ＩＴ機器を用いて高く組み合わせられたデザインである。例えば、図２に示されるように、いくつかの基本断面は同じであることがわかる。

一実施形態において、浸漬槽（浸漬冷却槽）４０１は、誘電性流体（液体および／または空気）４０５、ＩＴ機器（ＧＰＵカード、ＧＰＵ基板）４０３、熱電冷却（ＴＥＣ）素子４０９ａ，４０９ｂ，４０９ｃ，４０９ｄ、およびＩＴ機器４０３に組み込まれているＴＥＣコントローラ４１１を備える。
一実施形態において、ＣＤＵ４２１は、浸漬槽４０１の外側に配置され、流体ポンプ４２７、液体－空気熱交換器４２５、およびＣＤＵコントローラ４２３を備えている。
一実施形態において、液体－空気熱交換器４２５は、液体、空気、またはこれらの組み合わせを使用して、熱交換機能を実行することができる。
一実施形態において、ＣＤＵ４２１は、流体口４１５，４１９を介して浸漬槽４０１と接続されている。
一実施形態において、誘電性流体４０５は、流体口４１９から多孔質板４１７を通過して流れ、流体口４１５を介して浸漬槽４０１から出る。

一実施形態において、基板管理コントローラ（ＢＭＣ）４０７は、ＧＰＵ電力／温度／流体入口温度（温度センサ４１３は、多孔質板４１７の近くに配置されている）を読み取ることができ、内蔵されたＴＥＣコントローラ４１１およびＣＤＵコントローラ４２３に制御信号を送ることができる。

一実施形態において、内蔵されたＴＥＣコントローラ４１１は、各ＴＥＣ素子４０９ａ，４０９ｂ，４０９ｃ，４０９ｄに電流を供給する。例えば、ＴＥＣ素子４０９ａ，４０９ｂ，４０９ｃ，４０９ｄは、電流がないと機能しない。
一実施形態において、熱電冷却コントローラ４１１は、基板管理コントローラ（ＢＭＣ）４０７から制御信号を受信して、電流を調節することができる。
一実施形態において、ＣＤＵコントローラ４２３は、流体ポンプ４２７に制御信号を送信して、ポンプ速度を変更することができる。

一実施形態において、浸漬型冷却システム４００は、ＴＥＣ素子４０９ａ，４０９ｂ，４０９ｃ，４０９ｄを介して加熱モードで動作する。例えば、この浸漬型システム４００がエッジ演算装置として使用される場合には、誘電性流体４０５の温度が非常に低くなり、演算チップが起動できなくなることがある。一実施形態において、この条件において、ＴＥＣ素子４０９ａ，４０９ｂ，４０９ｃ，４０９ｄは、加熱モードで動作するように制御され得るが、追加の加熱源を必要としない。

さらに、一実施形態において、ＴＥＣ素子４０９ａ，４０９ｂ，４０９ｃ，４０９ｄの電圧および電流は、加熱モードの下で反転させることができる。
例えば、ＴＥＣ素子４０９ａ，４０９ｂ，４０９ｃ，４０９ｄは、チップが所望の温度に予熱されるように、液体（低い温度）からチップ（高い温度）にエネルギを移動させるヒートポンプとして動作することができる。
一実施形態において、チップが起動できるようになった後、ＴＥＣが加熱モードでの動作を停止する。

一実施形態において、浸漬型冷却システムは、ポンプが故障したときにＴＥＣ素子によって自己保護を行うことができる。例えば、ポンプが故障すると、流体は、外力によってそれ以上駆動されなくなる。
一実施形態において、チップが熱を発生し続けると、流体の温度は上昇し続ける。一実施形態において、流体が急速に高温になるため、ＩＴ機器は、シャットダウンする前に、データのバックアップや作業負荷の転送を終えることができないことがある。一実施形態において、ＴＥＣ電流を大きくすることにより、流体の温度が高いときにＴＥＣコントローラがＴＥＣ素子によってチップを冷却させることができ、システムは、シャットダウンする前に、必要な動作を終えるための時間的余裕を得ることができる。

一実施形態において、試運転時に熱抵抗値

を求める手順は、以下のようにして求めることができる。
まず、ヒートシンクベースの温度を測定するために、ヒートシンクベースとＴＥＣ素子との間に熱電対を配置する。次に、ポンプの最大速度ｖ_{ｐｕｍｐ，ｍａｘ}を設定する。ＴＥＣ電流を遮断し、ＴＥＣ素子が機能しないようにする。
その後、サーバの電源を入れ、チップ電力

（ＴＥＣ素子のないシステムがこの電力を消費できる限り）を用いた作業負荷をかける。
例えば、システムが定常状態になると、システムはヒートシンクベースの温度

を読み取って、下式を算出する。

図６は、本願発明の実施形態に係る冷却システムの例示的な冷却方法５００のフローチャートを示す図である。
例えば、図６は、冷却電力消費を最小化するための浸漬型ＴＥＣ冷却システムの制御方法を示す。

動作５０１において、ＢＭＣは、一実施形態における監視間隔で、リアルタイムのチップ温度を監視する。
一実施形態において、ＢＭＣは、電子装置に液体冷却を提供する冷却流体の流体温度に基づいて、電子装置によって消費される電力を表す第１の電力値を決定するように構成される。
一実施形態において、浸漬槽は、電子装置と、浸漬槽内に収容された冷却流体に沈められたＴＥＣ素子とを備える。
一実施形態において、ＣＤＵは、浸漬槽の外側に配置される。

動作５０３において、冷却システムは、一実施形態に従って、予め定義された制御ルックアップテーブル内のチップ電力値を検索することができる。例えば、事前定義された制御ルックアップテーブルは、ＢＭＣのメモリに格納される。
一実施形態において、ＢＭＣは、第１の流体温度に基づいて、第１の制御ルックアップテーブルにおいてルックアップ動作を行うように構成される。
一実施形態において、第１の制御ルックアップテーブルは、第１の電力値に対応している。
一実施形態において、第１の制御ルックアップテーブルは、複数の制御ルックアップテーブルの１つであり、各制御ルックアップテーブルは、特定の電力値に対応する。
一実施形態において、冷却システムは、第１の電力値に基づいて、複数の制御ルックアップテーブルから第１の制御ルックアップテーブルを選択する。

動作５０５において、冷却システムは、一実施形態に従って、最適ＴＥＣ電流および最適ポンプ速度を決定することができる。例えば、ＢＭＣは、ルックアップ動作に基づいて、最適ＴＥＣ電流および最適ポンプ速度を決定するように構成される。一実施形態において、最適ＴＥＣ電流および最適ポンプ速度は、電子装置の熱的要求を満たしつつ、冷却システムの電力消費が最小になるように、ルックアップ動作に基づいて決定される。

動作５０７において、ＢＭＣは、一実施形態に従って、ＴＥＣコントローラに制御信号を送信する。
一実施形態において、ＢＭＣは、ＣＤＵコントローラに制御信号を送る。
一実施形態において、ＣＤＵコントローラは、流体ポンプに制御信号を送る。
一実施形態において、ＢＭＣは、所定の時間内に測定される流体温度に基づいて、第１の電力値を決定するように構成される。

動作５０９において、ＴＥＣコントローラは、電流を生成し、ＴＥＣ素子は、一実施形態に従って、最適な電流で動作する。
一実施形態において、流体ポンプは、最適な速度で動作する。例えば、ＴＥＣコントローラは、ＢＭＣから第１の制御信号を受信し、電子装置に取り付けられたＴＥＣ素子を制御して、第１のＴＥＣ電流をＴＥＣ素子内に流す。
一施形態において、ＣＤＵコントローラは、ＢＭＣから第２の制御信号を受信して、第１のポンプ速度に応じてＣＤＵの流体ポンプのポンプ速度を構成することができる。
一実施形態において、ＴＥＣコントローラは、流体温度が第２の所定の温度閾値を超えて上昇したときに、ＴＥＣ電流をＴＥＣ素子内で第２の方向に流すように構成され、これにより、ＴＥＣ素子が冷却モードで動作する。

動作５１１において、冷却システムは、一実施形態に従って、冷却システムがシャットダウンすべきか否かを判定することができる。シャットダウンしない場合には、システムは、実施形態に従って動作５０１からの工程を繰り返す。シャットダウンする場合には、全ての工程を終了する。

図７は、本願発明の一実施形態係よる冷却システムの例示的な冷却方法６００のフローチャートを示す図である。
例えば、図７は、寒冷時にＴＥＣ冷却システムを起動するための制御方法を示している。

動作６０１において、ＢＭＣは、一実施形態に従った監視間隔でリアルタイムのチップ温度を監視する。
動作６０３において、システムは、一実施形態に従って、電圧を反転させるためにＴＥＣコントローラに制御信号を送信する。例えば、ＴＥＣコントローラは、流体温度が第１の所定の温度閾値を下回った場合に、ＴＥＣ電流をＴＥＣ素子内の第１の方向に流すように構成されており、これにより、ＴＥＣ素子が加熱モードで動作するようになる。
一実施形態において、ＢＭＣは流体ポンプに制御信号を送り、ポンプ速度を最低にする。

動作６０５において、ＴＥＣコントローラは、一実施形態において、流体ポンプが最低速度で動作する最大値の反転電流を生成する。
動作６０７において、ＢＭＣは、ＢＭＣの読み取りから、チップ温度が下限値を超えているか否かを判定する。チップ温度が下限値を超えていない場合には、動作６０９に移行し、ＢＭＣは監視間隔でリアルタイムのチップ温度を監視する。ステップ６０７においてチップ温度が下限値を超えた場合には、ステップ６１１に移行し、ＢＭＣはＴＥＣコントローラに制御信号を送信し、ＴＥＣ電圧はゼロになり、ＴＥＣは加熱モードを終了する。

上述の明細書において、本発明の実施形態は、特定の例示的な実施形態を参照して説明されている。以下の特許請求の範囲に記載された本発明の広範な精神および範囲から逸脱することなく、それらに様々な変更を加えることができることは明らかである。したがって、本明細書および図面は、制限的な意味ではなく、例示的な意味でみなされるべきである。

Claims (20)

1. 電子装置により消費される電力を表す第１の電力値を決定し、該第１の電力値に基づいて制御ルックアップテーブルにおいてルックアップ動作を実行し、該ルックアップ動作に基づいて第１の熱電冷却（ＴＥＣ）電流および第１のポンプ速度を決定するように構成された基板管理コントローラ（ＢＭＣ）と、
   前記電子装置に取り付けられたＴＥＣ素子を制御して、該ＴＥＣ素子内に前記第１のＴＥＣ電流を流すＴＥＣコントローラと、
   冷却分配ユニット（ＣＤＵ）コントローラとを備え、
   該ＣＤＵコントローラが、前記第１のポンプ速度に応じて、ＣＤＵの流体ポンプのポンプ速度を設定し、前記ＣＤＵが前記電子装置に液体冷却を提供する冷却システム。
2. 前記制御ルックアップテーブルが、複数のエントリを備え、
   各該エントリが、特定の電力値を、該特定の電力値に対応する最適ＴＥＣ電流および最適ポンプ速度に写像する請求項１に記載の冷却システム。
3. 前記制御ルックアップテーブルが、複数の冷却システムの事前の動作統計データに基づいて生成され、各冷却システムによる電力消費が最小になるような液冷を提供するための最適ＴＥＣ電流および最適ポンプ速度を決定する請求項１に記載の冷却システム。
4. 前記電子装置を収容する浸漬槽をさらに備え、
   前記ＴＥＣ素子が前記浸漬槽の中に収容された冷却流体に浸漬される請求項１に記載の冷却システム。
5. 前記ＣＤＵが前記浸漬槽の外部に配置されている請求項４に記載の冷却システム。
6. 前記ＢＭＣが、前記第１の電力値を得るために、前記電子装置の動作を所定の期間監視するように構成されている請求項１に記載の冷却システム。
7. 前記第１のＴＥＣ電流および前記第１のポンプ速度が、前記電子装置の熱的要求を満たしつつ、前記冷却システムの電力消費が最小になるように、前記ルックアップテーブルのルックアップ動作に基づいて決定される請求項１に記載の冷却システム。
8. 前記ＴＥＣコントローラが、液体冷却の流体の流体温度が第１の所定の温度閾値を下回ったときに、前記ＴＥＣ素子内の第１の方向にＴＥＣ電流を流すように構成され、前記ＴＥＣ素子を加熱モードで動作させる請求項１に記載の冷却システム。
9. 前記ＴＥＣコントローラが、液体冷却の流体の流体温度が第２の所定の温度閾値を超えて上昇したときに、前記ＴＥＣ電流を前記ＴＥＣ素子内の第２の方向に流すように構成され、前記ＴＥＣ素子を冷却モードで動作させる請求項８に記載の冷却システム。
10. データセンターの電子ラックであって、
    １以上のサーバとして動作する１以上の電子装置と、
    該１以上の電子装置に結合される冷却システムとを備え、
    該冷却システムが、
    前記電子装置によって消費される電力を表す第１の電力値を決定し、該第１の電力値に基づいて制御ルックアップテーブルにおいてルックアップ動作を実行し、該ルックアップ動作に基づいて第１の熱電冷却（ＴＥＣ）電流および第１のポンプ速度を決定するように構成された基板管理コントローラ（ＢＭＣ）と、
    ＴＥＣ素子内に前記第１のＴＥＣ電流を流すために、前記電子装置に取り付けられた熱電冷却素子を制御するＴＥＣコントローラと、
    前記第１のポンプ速度に応じて流体ポンプのポンプ速度を設定する冷却分配ユニット（ＣＤＵ）とを備え、
    該ＣＤＵが、前記電子装置に液体冷却を供給する電子ラック。
11. 前記制御ルックアップテーブルが複数のエントリを備え、
    各該エントリが、特定の電力値を、該特定の電力値に対応する最適ＴＥＣ電流および最適ポンプ速度に写像する請求項１０に記載の電子ラック。
12. 前記制御ルックアップテーブルは、複数の冷却システムの事前の動作統計データに基づいて生成され、各前記冷却システムによる電力消費が最小になるような液冷を提供するための前記最適ＴＥＣ電流および前記最適ポンプ速度を決定することを含む請求項１１に記載の電子ラック。
13. 前記電子装置を収容する浸漬槽をさらに備え、
    前記ＴＥＣ素子が前記浸漬槽の中に収容された冷却流体内に浸漬される請求項１０に記載の電子ラック。
14. 前記ＣＤＵが、前記浸漬槽の外部に配置される請求項１３に記載の電子ラック。
15. 前記ＢＭＣが、前記第１の電力値を得るために、前記電子装置の動作を所定の期間監視するように構成されている請求項１０に記載の電子ラック。
16. 前記第１のＴＥＣ電流および前記第１のポンプ速度が、前記電子装置の熱的要求を満たしつつ、前記冷却システムの電力消費が最小になるように、前記ルックアップ動作に基づいて決定される請求項１０に記載の電子ラック。
17. 前記ＴＥＣコントローラが、液体冷却の流体の流体温度が第１の所定の温度閾値を下回ったときに、前記ＴＥＣ素子内の第１の方向にＴＥＣ電流を流すように構成され、前記ＴＥＣ素子を加熱モードで動作させる請求項１０に記載の電子ラック。
18. 前記ＴＥＣコントローラが、液体冷却の流体の流体温度が第２の所定の温度閾値を超えて上昇したときに、前記ＴＥＣ電流を前記ＴＥＣ素子内の第２の方向に流すように構成され、前記ＴＥＣ素子を冷却モードで動作させる請求項１７に記載の電子ラック。
19. 液冷を提供する方法であって、
    電子装置によって消費される電力を表す第１の電力値を決定し、
    該第１の電力値に基づいて制御ルックアップテーブルにおいてルックアップ動作を実行し、
    該ルックアップ動作に基づいて第１の熱電冷却（ＴＥＣ）電流および第１のポンプ速度を決定し、
    前記第１のＴＥＣ電流をＴＥＣ素子内に流し、
    前記第１のポンプ速度に応じて冷却分配ユニット（ＣＤＵ）の流体ポンプのポンプ速度を設定し、
    該ＣＤＵが、前記電子装置に液冷を提供する方法。
20. 前記制御ルックアップテーブルが複数のエントリを備え、
    各該エントリが、特定の電力値を、該特定の電力値に対応する最適ＴＥＣ電流および最適ポンプ速度に写像する請求項１９に記載の方法。
    

Images