DE102021103491A1

DE102021103491A1 - Universelles steckbares kühlsystem für rechenzentren

Info

Publication number: DE102021103491A1
Application number: DE102021103491.4A
Authority: DE
Inventors: Ali Heydari
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2020-02-21
Filing date: 2021-02-15
Publication date: 2021-08-26
Also published as: GB202102337D0; GB202211405D0; US11212943B2; US20220046826A1; GB2609095A; CN113301770A; GB2593972A; US20210267096A1; GB2593972B

Abstract

Ein Kühlsystem für Rechenzentren ist offenbart. Das System umfasst einen ersten Kühlkreislauf mit einem Wärmetauscher, um Wärme mit einem zweiten Kühlkreislauf auszutauschen. Der zweite Kühlkreislauf umfasst einen Kälteverteiler (CDU), um Wärme zwischen dem zweiten Kühlkreislauf und einem primären Kühlkreislauf auszutauschen.

Description

TECHNISCHES GEBIET DER ERFINDUNG
Mindestens eine Ausführungsform betrifft Kühlsysteme für ein Rechenzentrum. In mindestens einer Ausführungsform umfasst ein Kühlsystem einen ersten Kühlkreislauf mit einem Wärmetauscher, um Wärme mit einen zweiten Kühlkreislauf auszutauschen, und der zweite Kühlkreislauf umfasst einen Kälteverteiler (Cooling Distribution Unit - CDU), um Wärme zwischen dem zweiten Kühlkreislauf und einem primären Kühlkreislauf auszutauschen, gemäß verschiedenen in dieser Erfindung beschriebenen neuen Techniken.
HINTERGRUND DER ERFINDUNG
Kühlsysteme von Rechenzentren verwenden typischerweise Lüfter, um Luft durch Serverkomponenten zirkulieren zu lassen. Bestimmte Superrechner oder andere Hochleistungsrechner können statt Luftkühlsystemen Wasser- oder andere Kühlsysteme verwenden, um Wärme von den Serverkomponenten oder Racks des Rechenzentrums in einen Bereich außerhalb des Rechenzentrums abführen. Die Kühlsysteme können ein Kühlaggregat innerhalb des Rechenzentrums umfassen. Der Bereich außerhalb des Rechenzentrums kann ein Kühlturm sein, welcher erhitztes Kühlmittel aus dem Rechenzentrum aufnimmt und die Wärme durch Zwangsluft oder andere Hilfsmittel an die Umgebung (oder ein externes Kühlmedium) abgibt, bevor das abgekühlte Kühlmittel wieder in das Rechenzentrum zurückgeführt wird. In einem Beispiel bilden Kühlaggregat und Kühlturm zusammen eine Kühlanlage mit Pumpen. Luftkühlsysteme führen nicht genügend Wärme ab, um eine effektive bzw. effiziente Kühlung in Rechenzentren zu unterstützen, und Flüssigkeitskühlsysteme können Serverkomponenten oder Racks durch elektrische Kurzschlüsse, Überflutung oder andere Probleme erheblich beschädigen.
Figurenliste
Verschiedene Ausführungsformen gemäß der Erfindung werden mit Bezug auf die Zeichnungen beschrieben:

1 ist ein Blockdiagramm eines Beispiel-Rechenzentrums mit einem Kühlsystem, welches die in mindestens einer Ausführungsform beschriebenen Verbesserungen aufweist,
2 ist ein Blockdiagramm eines weiteren Beispiel-Rechenzentrums mit einem verbesserten Kühlsystem, welches einen ersten Kühlkreislauf zusätzlich zu einem primären und einem zweiten Kühlkreislauf, wie in mindestens einer Ausführungsform beschrieben, enthält,
3A, 3B sind verschiedene Ansichten von Beispiel-Racks, welche gemäß mindestens einer Ausführungsform mindestens einen Abschnitt des in 2 dargestellten ersten Kühlkreislaufs enthalten,
3C, 3D sind Detailansichten von Kühlverteilern und Kopplung zwischen den Kühlverteilern und Trays oder Platten, welche zumindest einen Teil des in 2 dargestellten ersten Kühlkreislaufs gemäß mindestens einer Ausführungsform bilden können,
4 ist ein Funktionsschema, das einen Teil der internen Rack-Komponenten eines Beispiel-Server-Trays oder einer Beispiel-Kühlplatte und eine Beispiel-Rechnerkomponente zur Kühlung unter Verwendung des Beispiel-Kühlsystems gemäß mindestens einer Ausführungsform veranschaulicht,
5 ist eine Prozessabfolge von Schritten, die für ein Verfahren zur Verwendung oder Herstellung des Kühlsystems der 2-4 gemäß mindestens einer Ausführungsform bereitgestellt ist, und
6 ist ein Beispiel-Rechenzentrum, in welchem mindestens eine Ausführungsform gemäß 2-5 verwendet werden kann.

DETAILLIERTE BBESCHREIBUNG DER ERFINDUNG
Luftkühlung von High-Density-Servern ist ineffizient und ineffektiv angesichts der hohen Kühlanforderungen, die von den heutigen Rechnerkomponenten ausgehen. Daher strebt die vorliegende Erfindung Perspektiven für flüssige Kühlmittel (oder Betriebskühlflüssigkeit) und zugehörige Systeme zum Kühlen von Rechnerkomponenten, wie beispielsweise eines Grafikprozessors (GPU), einer Zentraleinheit (CPU) oder Schaltgliedern, an. Diese Rechnerkomponenten werden in Servern verwendet, die in Server-Trays auf Racks in einem Rechenzentrum montiert sind. Da die Rechnerkomponenten durch den technischen Fortschritt miniaturisiert sind, nehmen die Server-Trays und die Racks immer mehr Rechnerkomponenten auf und erfordern daher im Vergleich zu früheren Systemen eine erhöhte Wärmeabfuhr pro Bauteil. Ein Problem, das in der vorliegenden Erfindung behoben wird, ist der Mangel an Universalität, die auf Anforderungen in flüssigkeitsgekühlten Systemen angewendet werden kann, wie zum Beispiel Festlegen einer zu verwendenden Kühlflüssigkeit oder eines Kühlmittels, Festlegen der das Kühlmedium kontaktierenden Materialien (wie Ventile, Schläuche, Kühlverteiler usw.), um Flüssigkeitskühlung zu ermöglichen, und Festlegen der Position der für die Flüssigkeitskühlsysteme erforderlichen Schlauchverbindungen innerhalb eines Servers, eines Racks und des Rechenzentrums. Solche Anforderungen verkomplizieren Design, Wartungsfreundlichkeit und Zuverlässigkeit der flüssigkeitsgekühlten Rechnerkomponenten und elektrischen Komponenten in den Rechenzentren.
Die vorliegende Erfindung greift das oben genannte Problem und andere Fragestellungen in einem Kühlsystem mit komplett intern enthaltener Flüssigkeit für elektrische Komponenten und Rechnerkomponenten eines flüssigkeitsgekühlten Rechenzentrums auf. In mindestens einer Ausführungsform ermöglicht die vorliegende Erfindung ein universelles integriertes steckbares Mezzanin-Modul, welches gemäß den erforderlichen Rack- oder Server-Tray-Spezifikationen robust gebaut ist und welches ein einzelnes Modul sein kann, das ein universelles Kühlmittel enthalten kann. Die Erfindung stellt Beispiele für Verbindungen, Verteiler, Schlauchverbindungen und Wärmeübertragungssysteme für die Realisierbarkeit des universellen integrierten steckbaren Mezzanin-Moduls bereit, welches zwischen mindestens einem vorhandenen Kühlkreislauf mit einem zusätzlichen Kühlkreislauf in Betrieb ist, der auch dann aufrechterhalten wird, wenn Rechnerkomponenten oder elektrische Komponenten in einem Server-Tray oder Rack ausgetauscht werden. In einem Beispiel handelt es sich bei dem zusätzlichen Kühlkreislauf um einen universellen Kühlkreislauf mit einem universellen Kühlmittel, welcher für den Betrieb bei einer Kombination verschiedener Anforderungen an die Wärmeabführung (beispielsweise von Komponentenherstellern angegeben) ausgelegt ist und einen Wärmetauscher zur Wärmeübertragung an den mindestens einen vorhandenen Kühlkreislauf aufweist, welcher wiederum einen Kälteverteiler zur Übertragung von Wärme an einen Kreislauf verwendet, der aus dem Rechenzentrum heraus in einen Kühlturm führt. Kühlplatten für einphasige oder mehrphasige Kühlung können mit Kopplern weiter eingerichtet werden oder durch das steckbare Mezzanin-Modul, ermöglicht durch Koppler am Modul, verwendet oder ersetzt werden. Die Koppler ermöglichen beispielsweise steckbaren Kühlplattenköpfen, Kühlflüssigkeit bzw. Kühlmittel auf die an den flüssigkeitsgekühlten Elektronikkomponenten installierten Wärmeübertragungselemente zu übertragen. Dieser zusätzliche Kühlkreislauf ist über einen Indirekt-Kontakt-Wärmetauscher mit dem Rack verbunden oder kann sich innerhalb des Racks oder eines Server-Trays befinden.
In mindestens einer Ausführungsform ermöglicht die vorliegende Erfindung ein Kühlsystem ohne sichtbare Flüssigkeitskühlleitungen. Stattdessen können die flexiblen Verbindungen in die steckbare Flüssigkeitskühleinheit integriert sein. Eine Schnappverbindung ist über Rack-Kühlverteiler zur Kopplung mit Reihen- oder Raumverteilern vorgesehen. Ferner kann eine ähnliche Schnappverbindung auf Server-Trays zur Kopplung an die Rack-Kühlverteiler und zur Bereitstellung von Kühlmittel an Rechnerkomponenten wie GPUs, CPUs, Schalter oder andere wärmeerzeugende Bauteile vorgesehen sein. Das Server-Tray- und/oder die Rack-Kühlverteiler werden als Teil des zusätzlichen Kühlkreislaufs (oder universellen Kühlkreislaufs), welcher ein universelles Kühlmittel enthält, ermöglicht. Das Server-Tray kann als Mezzanin-Modul mit einer Vielzahl von darauf aufgebrachten Modulen für die Wärmeableitung durch Flüssigkeitskühlung ausgebildet sein, um die Wärme von den Rechner- und Elektronikkomponenten weiter abzuleiten. Da sich das Kühlmittel im Inneren des steckbaren Moduls befindet (entweder ein oder mehrere der Server-Trays und der Rack-Kühlverteiler) und das steckbare Modul Teil des universellen Kühlkreislaufs ist, der einen geschlossenen Kreislauf darstellt, kann Wärmeaustausch von dem universellen Kühlkreislauf zu einem zweiten Kühlkreislauf durch einen Indirekt-Kontakt-Wärmetauscher ermöglicht werden. In einem solchen System entfallen die Anforderungen an systemspezifisches, Kühlmittel kontaktierendes Material.
1 ist ein Blockdiagramm eines Beispiel-Rechenzentrums 100, umfassend ein Kühlsystem, welches die in mindestens einer Ausführungsform beschriebenen Verbesserungen aufweist. Das Rechenzentrum 100 kann einen oder mehrere Räume 102 mit Racks 110 und Zusatzgeräten zur Unterbringung eines oder mehrerer Server auf einem oder mehreren Server-Trays umfassen. Das Rechenzentrum 100 wird von einem Kühlturm 104 unterstützt, welcher sich außerhalb des Rechenzentrums 100 befindet. Der Kühlturm 104 leitet Wärme aus dem Inneren des Rechenzentrums 100 ab, indem er auf einen primären Kühlkreislauf 106 einwirkt. Außerdem wird ein Kälteverteiler (CDU) 112 zwischen dem primären Kühlkreislauf 106 und einem zweiten Kühlkreislauf 108 eingesetzt, um Wärmeabführung aus dem zweiten Kühlkreislauf 108 in den primären Kühlkreislauf 106 zu ermöglichen. Der zweite Kühlkreislauf 108 ist in der Lage, bei Bedarf auf verschiedene Schlauchverbindungen entlang der Strecke bis in das Server-Tray zuzugreifen. Die Kreisläufe 106, 108 sind als Strichzeichnungen dargestellt, aber eine fachkompetente Person würden erkennen, dass eine oder mehrere Installationsmöglichkeiten genutzt werden können. In einem Fall können flexible Polyvinylchlorid (PVC)-Schläuche zusammen mit zugehörigen Installationen verwendet werden, um die Flüssigkeit in jedem der Kreisläufe 106, 108 zu transportieren. Andere flexible Schlauchmaterialien können mindestens eines oder mehrere der folgenden Materialien enthalten: Polytetrafluorethylen (PTFE), Ethylen-Propylen-Dien-Monomer (EPDM), Nitrilkautschuk (NBR), fluoriertes Ethylen-Propylen (FEP), Fluorelastomer (FKM), Polyurethan und Nylon. Eine oder mehrere Kühlmittelpumpen können z. B. zur Aufrechterhaltung von Druckunterschieden innerhalb der Kreisläufe 106, 108 eingesetzt werden, um den Transport des Kühlmittels zu ermöglichen.
In mindestens einer Ausführungsform kann das Kühlmittel in dem primären Kühlkreislauf 106 und in dem zweiten Kühlkreislauf 108 eines oder mehrere der folgenden Kühlmittel sein: eine dielektrische Flüssigkeit allein (z. B. ohne Wasser für die Zwecke dieser Erfindung) oder ein Wasser in Kombination mit einem Zusatz, der mindestens eine dielektrische Flüssigkeit enthält, wie beispielsweise eine oder mehrere der folgenden Flüssigkeiten: entionisiertes Wasser, Ethylenglykol und Propylenglykol. In mindestens einer Ausführungsform hat jeder des primären und zweiten Kühlkreislaufs im Betrieb sein eigenes Kühlmittel. In einer Ausbildung kann das Kühlmittel in den zweiten Kühlkreisläufen für die Komponenten im Server-Tray bzw. den Racks 110 proprietär sein. In so einem Fall kann es erforderlich sein, das Kühlmittel im zweiten Kühlkreislauf 108 zu wechseln, wenn Komponenten aus dem Rack 110 abgeschaltet bzw. ausgetauscht werden. Der Kälteverteiler 112 ist in der Lage, die Kühlmittel in den Kreisläufen 106, 108 unabhängig voneinander oder gleichzeitig in technisch ausgefeilter Weise zu steuern. So kann der Kälteverteiler beispielsweise eingestellt sein, den Durchflussstrom so zu steuern, dass das/die Kühlmittel zweckmäßig verteilt wird/werden, um die in den Racks 110 erzeugte Wärme abzuführen. Des Weiteren sind mehr flexible Schlauchverbindungen 114 von dem zweiten Kühlkreislauf 108 zum Eintritt in jedes Server-Tray vorgesehen, um die elektrischen Komponenten und/oder Rechnerkomponenten mit Kühlmittel zu versorgen. In der vorliegenden Erfindung werden die elektrischen Komponenten und/oder Rechnerkomponenten austauschbar verwendet, um die wärmeerzeugenden Bauteile zu bezeichnen, die von dem erfindungsgemäßen Kühlsystem für Rechenzentren profitieren. Die Verbindungsleitungen 118, die Teil des zweiten Kühlkreislaufs 108 sind, können als Raumverteiler bezeichnet werden. Getrennt davon können die Verbindungsleitungen 116, die sich von der Verbindungsleitung 118 aus erstrecken, ebenfalls Teil des zweiten Kühlkreislaufs 108 sein, können aber als Reihenverteiler bezeichnet werden. Die Verbindungsleitungen 114 führen in die Racks als Teil des zweiten Kühlkreislaufs 108, können aber als Rack-Kühlverteiler bezeichnet werden. Ferner erstrecken sich die Reihenverteiler 116 zu allen Racks entlang einer Reihe im Rechenzentrum 100. Die Verbindungsleitungen des zweiten Kühlkreislaufs 108, einschließlich der Verteiler 118, 116 und 114, können durch mindestens eine Ausführungsform der vorliegenden Erfindung verbessert werden. Ein optionales Kälteaggregat 120 kann in dem primären Kühlkreislauf innerhalb des Rechenzentrums 102 vorgesehen sein, um die Kühlung vor dem Kühlturm zu unterstützen. Sofern zusätzliche Kreisläufe im primären Steuerkreis vorhanden sind, würde eine fachkompetente Person beim Lesen der vorliegenden Erfindung erkennen, dass die zusätzlichen Kreisläufe eine Kühlung außerhalb des Racks und außerhalb des zweiten Kühlkreislaufs bereitstellen; und sie können für diese Erfindung mit dem primären Kühlkreislauf zusammengefasst werden.
In mindestens einer Ausführungsform kann im Betrieb die in den Server-Trays der Racks 110 erzeugte Wärme an ein Kühlmittel übertragen werden, das die Racks 110 über die flexiblen Verbindungsleitungen des Reihenverteilers 114 des zweiten Kühlkreislaufs 108 verlässt. Dementsprechend strömt das zweite Kühlmittel (in dem zweiten Kühlkreislauf 108) von dem Kälteverteiler 112 zur Kühlung der Racks 110 in Richtung der Racks 110. Das zweite Kühlmittel von dem Kälteverteiler 112 strömt von einer Seite des Raumverteilers mit Verbindungsleitungen 118 zu einer Seite des Racks 110 über Reihenverteiler 116 und durch eine Seite des Server-Trays über Verbindungsleitungen 114. Verbrauchtes zweites Kühlmittel (oder austretendes zweites Kühlmittel, das die Wärme von den Rechnerkomponenten aufgenommen hat) tritt aus einer anderen Seite des Server-Trays aus (z. B. tritt es auf der linken Seite des Racks ein und tritt auf der rechten Seite des Racks für das Server-Tray aus, nachdem es einen Kreislauf durch das Server-Tray oder durch Komponenten auf dem Server-Tray durchlaufen hat). Das verbrauchte zweite Kühlmittel, das aus dem Server-Tray bzw. dem Rack 110 austritt, tritt aus einer anderen Seite (z. B. der Ausgangsseite) der Verbindungsleitungen 114 aus und strömt zu einer parallelen, aber ebenfalls ausgehenden Seite des Reihenverteilers 116. Vom Reihenverteiler 116 strömt das verbrauchte zweite Kühlmittel in einem parallelen Abschnitt des Raumverteilers, 118 in entgegengesetzter Richtung zum ankommenden zweiten Kühlmittel (das auch das erneuerte zweite Kühlmittel sein kann), und in Richtung des Kälteverteilers 112. In dem Kälteverteiler 112 tauscht das verbrauchte zweite Kühlmittel in mindestens einer Ausführungsform seine Wärme mit einem primären Kühlmittel im primären Kühlkreislauf 106 aus. Das verbrauchte zweite Kühlmittel ist erneuert (ist z. B. relativ im Vergleich zur Temperaturstufe des verbrauchten zweiten Kühlmittels abgekühlt) und steht für die Rückführung zu den Rechnerkomponenten durch den zweiten Kühlkreislauf 108 bereit. Verschiedene Fluss- und Temperatursteuerungsfunktionen im Kälteverteiler 112 ermöglichen die Steuerung der aus dem verbrauchten zweiten Kühlmittel ausgetauschten Wärme oder ermöglichen die Steuerung des Flusses des erneuerten zweiten Kühlmittels in den und aus dem Kälteverteiler 112. Der Kälteverteiler 112 ist ebenso in der Lage, einen Fluss des primären Kühlmittels im primären Kühlkreislauf 106 zu steuern. So ist es möglich, dass das erneuerte zweite Kühlmittel vollständig oder auch nicht vollständig auf seine voreingestellte Temperatureigenschaften abgekühlt sein kann, bevor es zu den Racks 110 geführt wird.
2 zeigt ein Blockdiagramm eines Beispiel-Rechenzentrums 200 mit einem verbesserten Kühlsystem, umfassend, wie in mindestens einer Ausführungsform beschrieben, einen ersten Kühlkreislauf 216A; 216B; 216C zusätzlich zu einem primären 206 und einem zweiten 208 Kühlkreislauf. Ferner kann der erste Kühlkreislauf 216A; 216B; 216C ein universelles Kühlmittel enthalten, das sich von den im primären und im zweiten Kühlkreislauf verwendeten Kühlmitteln unterscheidet. In einem Beispiel kann das Kühlmittel in dem ersten Kühlkreislauf 216A; 216B; 216C Wasser oder eine dielektrische Flüssigkeit sein, die sich von der dielektrischen Flüssigkeit des primären und des zweiten Kühlkreislaufs unterscheidet. Die unterschiedlichen Bezugszeichen A-C für den ersten Kühlkreislauf 216 dienen der Bereitstellung verschiedener Ausführungsformen, die in beliebiger Weise kombiniert werden können, was von einer fachkompetenten Person, die diese Erfindung liest, gewürdigt werden wird. Beispielsweise können mehrere erste Kühlkreisläufe über dem zweiten und dem primären Kühlkreislauf vorgesehen sein. Alternativ kann nur einer der drei verschiedenen ersten Kühlkreisläufe 216A-C zu einem beliebigen Zeitpunkt verwendet werden.
In mindestens einer Ausführungsform umfasst der erste Kühlkreislauf 216A; 216B; 216C einen Wärmetauscher 218A; 218B; 218C. Der Wärmetauscher 218A; 218B; 218C ist ein passives wärmetauschendes Bauteil, das nicht zur Steuerung von Fluss und Temperatur des Kühlmittels eingestellt werden kann. Obwohl der Wärmetauscher eine Pumpe umfassen kann, verfügt er über keine intelligenten Steuerungsfunktionen. In der vorliegenden Erfindung ist ein Verweis auf einen Wärmetauscher, sofern nicht anders angegeben, ein Verweis auf einen passiven Wärmetauscher. In einer besonderen Ausführungsform kann ein Wärmetauscher mit einer begrenzten intelligenten Steuerung versehen sein, wie beispielsweise variable Auslasspumpen; in diesem Fall unterscheidet sich dieser alternative Wärmetauscher von einem passiven Wärmetauscher und kann in bestimmten Ausführungsformen, die einen aktiven Wärmetauscher erfordern, eingesetzt werden.
In mindestens einer Ausführungsform umfasst der erste Kühlkreislauf 216A-C den Wärmetauscher für einen effizienten und effektiven Betrieb, der die Universalität der Erfindung unterstützt. Wie zuvor angemerkt, kann in mindestens einer Ausführungsform, die sich hinsichtlich des Wärmetauschers (bzw. passiven Wärmetauschers) unterscheidet, der erste Kühlkreislauf den aktiven Wärmetauscher für verschiedene Operationen und nicht nur für die vom passiven Wärmetauscher angebotene Universalität umfassen. Nichtsdestoweniger können die Anforderungen der Anwendung und das Verständnis der auf Universalität basierenden Anforderungen eine Auswahl zwischen den beiden ermöglichen. Im Vergleich zum Wärmetauscher, ob aktiv oder passiv, ist ein Kälteverteiler 212 in der Lage, Fluss und Temperatur des Kühlmittels zwischen dem zweiten und dem primären Kühlkreislauf 208, 206 zu steuern und zu überwachen. Ein Wärmetauscher, ob aktiv oder passiv, kann von dem Kälteverteiler dadurch unterschieden werden, dass der Wärmetauscher beispielsweise nicht in der Lage ist, alle Funktionen eines Kälteverteilers in einem anderen als dem ersten Kühlkreislauf auszuführen. Weiterhin kann sich der erste Kühlkreislauf auf der Raum-Ebene (z. B. über Raumverteiler 216A), auf der Reihen-Ebene (z. B. Reihenverteiler 216B) oder auf der Rack- oder Server-Ebene über Verbindungsleitungen 214 oder Verteiler 216C befinden.
In mindestens einer Ausführungsform kann das Rechenzentrum 200, wie im Fall des Rechenzentrums 100 von 1, einen oder mehrere Räumen 202 mit Racks 210 und Zusatzeinrichtungen umfassen, um einen oder mehrere Server auf einem oder mehreren Server-Trays aufzunehmen. Das Rechenzentrum 200 wird von einem Kühlturm 204 (oder einer Kühlanlage) unterstützt, welcher/welche sich außerhalb des Rechenzentrums 200 befindet. Der Kühlturm 204 führt die Wärme aus dem Inneren des Rechenzentrums 200 ab, indem er auf einen primären Kühlkreislauf 206 einwirkt. Zudem wird eine Kälteverteiler 212 zwischen dem primären Kühlkreislauf 206 und einem zweiten Kühlkreislauf 208 eingesetzt, um die Abführung der Wärme aus dem zweiten Kühlkreislauf 208 in den primären Kühlkreislauf 206 zu ermöglichen. Der zweite Kühlkreislauf 208 kann Zugang zu verschiedenen Verbindungsleitungen haben, um eine Schnittstelle mit mindestens einem Wärmetauscher 218A; 218B; 218C des ersten Kühlkreislaufs 216A; 216B; 216C zu bilden. Der erste Kühlkreislauf 216A; 216B; 216C hat bei Bedarf Zugang zu den Verbindungsleitungen über die gesamte Strecke bis in das Server-Tray.
In mindestens einer Ausführungsform kann im Betrieb die in den Server-Trays der Racks 210 erzeugte Wärme an ein Kühlmittel übertragen werden, das die Racks 210 über flexible Verbindungsleitungen 214 oder Verteiler 216C zum Reihenverteiler 216A des ersten Kühlkreislaufs verlässt. Entsprechend strömt das Kühlmittel vom Kälteverteiler 212 in Richtung der Racks 210. Das Kühlmittel vom Kälteverteiler 212 gelangt von einer Seite des Raumverteilers 208 über Wärmetauscher 218A zum ersten Kühlkreislauf 216A. In einer anderen Ausbildung, in der sich der erste Kühlkreislauf auf der Reihen-Ebene befindet, gelangt das Kühlmittel vom Kälteverteiler 212 von einer Seite des Raumverteilers 208, 216A über Wärmetauscher 218B zum ersten Kühlkreislauf 216B. In noch einer anderen Ausbildung, in der sich der erste Kühlkreislauf auf der Rack-Ebene befindet, gelangt das Kühlmittel vom Kälteverteiler 212 von einer Seite des Raumverteilers 208, 216A, 216B über Wärmetauscher 218C zum ersten Kühlkreislauf 216C. In einer weiteren Ausbildung kann der Wärmetauscher 218C auf der Rack-Ebene als Mezzanin-Modul oder anderswo innerhalb des Racks angeordnet sein. Mögliche Positionen für die Montage des Wärmetauschers 218C innerhalb des Racks werden durch die Diskussion und Darstellungen der 3A-D unterstützt.
In mindestens einer Ausführungsform tauscht im weiteren Verlauf des Betriebs das Kühlmittel in der Verbindungsleitung 208 (des zweiten Kühlkreislaufs) Wärme am Wärmetauscher 218A (erster Kühlkreislauf auf Raum-Ebene), am Wärmetauscher 218B (erster Kühlkreislauf auf Reihen-Ebene) oder am Wärmetauscher 218C (erster Kühlkreislauf auf Rack-Ebene) aus. Erstes oder universelles Kühlmittel strömt dann, wie bereits erwähnt, in dem ersten Kühlkreislauf auf Raum-, Reihen- oder Rack-Ebene zu den Server-Trays. In einem Beispiel strömt das universelle Kühlmittel des ersten Kühlkreislaufs durch den Verteiler auf Raum-Ebene 216A des ersten Kühlkreislaufs auf Raum-Ebene. Das universelle Kühlmittel strömt weiter zum Rack 210 über den Reihenverteiler 216B (immer noch unter der Annahme des ersten Kühlkreislaufs auf Raum-Ebene). Dann strömt das universelle Kühlmittel vom Reihenverteiler 216B über Verbindungsleitungen 214 zu einer Seite des Server-Trays.
In mindestens einer Ausführungsform tritt verbrauchtes universelles Kühlmittel (oder austretendes universelles Kühlmittel, das die Wärme der Rechnerkomponenten führt) auf einer anderen Seite des Server-Trays aus (z. B. tritt es auf der linken Seite des Racks ein und tritt auf der rechten Seite des Racks für das Server-Tray aus, nachdem es einen ersten Kreislauf durch das Server-Tray oder durch Bauteile auf dem Server-Tray durchlaufen hat). Das verbrauchte universelle Kühlmittel, das aus dem Server-Tray bzw. dem Rack 210 austritt, kommt aus einer anderen Seite (z. B. der Ausgangsseite) der Verbindungsleitungen 214 und bewegt sich zu einer parallelen, aber ebenfalls ausgehenden Seite des Reihenverteilers 216C. Es wird zwar auf ein verbrauchtes universelles Kühlmittel verwiesen, aber eine fachkompetente Person würde wissen, dass das verbrauchte universelle Kühlmittel immer noch in der Lage sein kann, weitere Wärme von anderen Bauteilen aufzunehmen, während es durch das Rack fließt. Dies kann ebenso bei Kühlmitteln des primären und zweiten Kühlkreislaufs der Fall sein. Immer noch unter der Annahme einer Anwendung des ersten Kühlkreislaufs auf Raum-Ebene strömt das verbrauchte universelle Kühlmittel vom Reihenverteiler 216C in einem parallelen Abschnitt des Raumverteilers 216A, in entgegengesetzte Richtung zum ankommenden Kühlmittel, und in Richtung des Wärmetauschers 218A, um seine Wärme mit dem zweiten Kühlkreislauf 208 auszutauschen. Sobald Wärme von dem verbrauchten universellen Kühlmittel an ein zweites Kühlmittel des zweiten Kühlkreislaufs 208 übertragen ist, ist das universelle Kühlmittel erneuert (zumindest relativ zur Temperatur des austretenden universellen Kühlmittels gekühlt) und wird im ersten Kühlkreislauf auf Raum-Ebene zu den Server-Trays zurückgeführt.
In mindestens einer Ausführungsform ist jedoch das zweite Kühlmittel des zweiten Kühlkreislaufs 208 erwärmt und wird als verbrauchtes zweites Kühlmittel betrachtet, wenn es zum Kälteverteiler 112 strömt. Dieses verbrauchte zweite Kühlmittel des zweiten Kühlkreislaufs 208 tauscht seine Wärme mit einem primären Kühlmittel des primären Kühlkreislaufs 206 aus. Das verbrauchte zweite Kühlmittel ist somit erneuert (z. B. relativ zu seiner Temperaturstufe als verbrauchtes zweites Kühlmittel gekühlt) und steht bereit, um über den zweiten Kühlkreislauf 208 zum Wärmetauscher 218A (oder zum Wärmetauscher 218B einer ersten Kühlkreislaufausbildung auf Reihen-Ebene oder zu einem Wärmetauscher 218C einer ersten Kühlkreislaufausbildung auf Rack-Ebene) zurückgeführt zu werden. Verschiedene Fluss- und Temperatursteuerungsfunktionen im Kälteverteiler 212 ermöglichen die Steuerung der aus dem verbrauchten zweiten Kühlmittel ausgetauschten Wärme oder des Anteils der ausgetauschten Wärme (z. B. durch Steuerung des Flusses des verbrauchten zweiten Kühlmittels im Verhältnis zum Fluss des primären Kühlmittels, das zur Kühlung des verbrauchten zweiten Kühlmittels vorgesehen ist). Darüber hinaus kann der Kälteverteiler 212 auch die Strömung des erneuerten zweiten Kühlmittels in und aus dem Kälteverteiler 212 steuern, um eine langsamere oder schnellere Abführung der Wärme aus dem zweiten Kühlmittel zu ermöglichen. Alternativ oder gleichzeitig ist es in mindestens einer Ausführungsform möglich, Strömung und Temperatur des zweiten Kühlmittels zu steuern, indem der Fluss des primären Kühlmittels des primären Kühlkreislaufs 206 gesteuert wird. Beispielsweise führt eine schnellere Zirkulation des primären Kühlmittels mehr Wärme aus dem verbrauchten zweiten Kühlmittel des zweiten Kühlkreislaufs 208 ab. Somit kann das erneuerte zweite Kühlmittel vollständig oder auch nicht vollständig auf seine Standardtemperatureigenschaften abgekühlt sein, bevor es zu den Racks 210 weitergeleitet wird.
3A, 3B zeigen verschiedene Ansichten von Beispiel-Racks 300A, 300B, die mindestens einen Abschnitt des in 2 bezeichneten ersten Kühlkreislaufs gemäß mindestens einer Ausführungsform enthalten. In mindestens einer Ausführungsform mit einem ersten Kühlkreislauf auf Raum-, Reihen- oder Rack-Ebene kann das erste Kühlmittel die gesamte Strecke durch das Server-Tray oder das Rack passieren, bevor es als verbrauchtes erstes Kühlmittel vorliegt. Da der erste Kühlkreislauf ein universelles Kühlmittel verwendet, kann es jedoch erforderlich sein, die verschiedenen Rechnerkomponenten jedes Racks auf einer breiten Ebene zu bestimmen, um die geeignete Topologie des einzusetzenden Kühlsystems festzulegen. Wenn zum Beispiel der Raum des Rechenzentrums in allen Racks ähnliche Bauteile aufweist, kann ein erstes Kühlsystem auf Raum-Ebene zweckdienlich sein. Wenn der Raum des Rechenzentrums über eine Reihe von Racks ähnliche Bauteile aufweist, kann ein erster Kühlkreislauf auf Rack-Ebene zweckdienlich sein. Wenn der Rechenzentrumsraum zumindest in einem Rack ähnliche Bauteile aufweist, dann kann der erste Kühlkreislauf auf Rack-Ebene zweckdienlich sein.
In einem Beispiel können das Rack 300A von 3A und das Rack 300B von 3B eine Vorderansicht bzw. eine Hinteransicht ein- und desselben Racks sein. Um jedoch zu verdeutlichen, dass verschiedene Arten von Racks für die Arbeit mit der vorliegenden Erfindung in Frage kommen, zeigen die Racks 300A, 300B in der Hinter- und der Vorderansicht nicht alle dieselben Features. Beispielsweise ist das Mezzanin-Modul 302 in der Hinteransicht von Rack 300B nicht dargestellt. Das Mezzanin-Modul kann den Wärmetauscher (z. B. den Wärmetauscher 218C) umfassen. Eine Fronttür 306 ist für das Rack 300A in 3A dargestellt, aber eine Tür muss für das Rack nicht erforderlich sein. Alternativ kann eine Ausbildung der vorliegenden Erfindung im Interesse der Aufrechterhaltung einer konstanten oder richtigen Referenztemperatur eine Tür sowohl am vorderen als auch am hinteren Ende des Racks verwenden, um einen Kühleffekt beizubehalten. Das Rack 300A; 300B kann vollständig umschlossen sein oder eine Rahmenstruktur sein, die stabil genug ist, um beispielsweise verschiedene eingeschobene Trays oder Platten zu tragen. In einem Beispiel sind Schienen oder Führungen 316 zur Aufnahme von Trays oder Platten vorgesehen. Der erste Kühlkreislauf kann einen Kreislauf innerhalb des Racks 300A; 300B umfassen. In einem Beispiel ist ein erster Hauptkoppler 308 an der Rückseite des Racks 300A an einem ersten Rack-Kühlverteiler 304A vorgesehen, um das erste Kühlmittel aufzunehmen, und ein zweiter Hauptkoppler 310 ist an einem zweiten Rack-Kühlverteiler 304B vorgesehen, um das erste Kühlmittel nach seinem Verbrauch (z. B. durch Wärmeabsorption von den Rechnerkomponenten des Server-Trays im Rack 300A; 300B) zurückzuführen.
Wenngleich in mindestens einer Ausführungsform, wie die in 2 dargestellte Ausführungsform, der Rack-Kühlverteiler extern angeordnet ist (z. B. dargestellt als Mehrfachverbindungsleitung 214 mit Einlass für erneuertes oder abgekühltes Kühlmittel und Auslass für verbrauchtes Kühlmittel), können die Rack-Kühlverteiler auch intern im Rack angeordnet sein. Die Beispiel-Racks 300A; 300B zeigen solche internen Rack-Kühlverteiler. Die vorliegende Erfindung ist sowohl für die flexiblen Verbindungsleitungen 214 als auch für die Rack-Kühlverteiler in 3A, 3B anwendbar. Das erste Kühlmittel durchläuft die Rack-Kühlverteiler 304A (seitlicher Rack-Kühlverteiler), 304D (unterer Rack-Kühlverteiler) und 304B (seitlicher Rack-Kühlverteiler). Das erste Kühlmittel kann aus dem Rack über den zweiten Hauptkoppler 310 auf der Rückseite des Racks 300A; 300B austreten. Darüber hinaus können weitere Strecken einschließlich eines oberen Rack-Kühlverteilers 304C vorgesehen sein.
In mindestens einer Ausführungsform kann ein Mezzanin-Modul 302 vorgesehen sein, welches in den Schienen oder Führungen 316 auf der obersten oder einer anderen Ebene des Racks 300A; 300B gleitet. Das Mezzanin-Modul kann eine Kühlplatte oder weitere Koppler umfassen, um das erste Kühlmittel innerhalb des Racks 300A; 300B zu verteilen. In mindestens einer Ausführungsform ist das Mezzanin-Modul das einzige Modul des Racks, das das erste Kühlmittel erhält. In einer solchen Ausführungsform kann das Mezzanin-Modul mit seiner Kühlplatte ausgelegt sein, dem gesamten Rack Wärme zu entziehen und die Wärme über das erste Kühlmittel aus dem Rack abzuführen. Ferner fungieren erste Koppler 312, welche entlang des seitlichen Rack-Kühlverteilers 304A dargestellt sind, als Kühlmitteleinlassventile für angekoppelte Server-Trays. Zweite Koppler 314, welche entlang des seitlichen Rack-Kühlverteilers 304B dargestellt sind, fungieren als Ausgangsventile für die Server-Trays, sobald sie an die Ventile gekoppelt sind. So tritt im Betrieb als Abschnitt des ersten Kühlkreislaufs das erste oder universelle Kühlmittel über den ersten Hauptkoppler 308 in das Rack 300A; 300B ein, durchläuft ein angeschlossenes Server-Tray, den unteren Rack-Kühlverteiler 304D und/oder das Mezzanin-Modul 302 und tritt über den zweiten Hauptkoppler 310 aus.
3C, 3D sind Detailansichten von Verteilern 300C und Kopplung 300D zwischen den Verteilern und Trays bzw. Platten, welche gemäß mindestens einer Ausführungsform mindestens einen Abschnitt des ersten Kühlkreislaufs bilden können, auf den in 2 verwiesen wird. Bei den Verteilern 300C kann es sich um seitliche, untere oder obere Rack-Kühlverteiler handeln, die in den Beispiel-Racks 300A; 300B von 3A, 3B dargestellt sind. Jeder der dargestellten Verteiler 304A; 304B kann Verteilerkopppler (entweder als Einlass oder als Auslass) 312, 314 umfassen. Hauptkoppler 308A, 310A sind ebenfalls mit Verweis auf die Koppler 308, 310 der Beispiel-Racks 300A; 300B der 3A, 3B abgebildet. Die Hauptkoppler 308A, 310A sind als Schraubkoppler dargestellt, können aber auch ähnlich wie die dargestellten Koppler in 3D Press-fit-Koppler sein. Die Verteilerkoppler 312, 314 können mit Gegenkopplern von Server-Trays oder -platten pressgepasst sein. In mindestens einer Ausführungsform sind die Verteiler 304A, 304B an den hinteren Teil der Beispiel-Racks 300A; 300B von 3A, 3B befestigt. Die Verteiler sind auch ausgelegt, in Position zu bleiben, wenn die Trays oder Platten entlang der Schienen oder Führungen, wie in den Beispiel-Racks 300A; 300B von 3A, 3B dargestellt, eingesetzt werden. Wenn die Gegenkoppler der Trays oder Platten gegen die Verteilerkoppler 312, 314 gepresst werden, wird eine leckdichte Presss-fit-Passung erzielt. Dann ermöglicht der erste Kühlkreislauf den Fluss des ersten oder universellen Kühlmittels vom Hauptkopplereinlass 308A zu den Verteilerkopplereinlässen 312, durch einen Server bzw. ein Tray, der/das gegen den jeweiligen der Verteilerkopplereinlässe 312 pressgepasst ist, aus dem Verteilerkopplerauslass 314 und aus dem Hauptkopplerauslass 310A. Des Weiteren ist der Hauptkopplerauslass 310A so dargestellt, dass er einen Seitenkoppler aufweist, der verwendet werden kann, um eine Verbindung zu einem benachbarten Rack herzustellen oder um eine Verbindung zu einem Hauptkopplereinlass 308A über den oberen Rack-Kühlverteiler bereitzustellen. Die zusätzlichen Rack-Kühlverteiler können beispielsweise genutzt werden, um einen Druckaufbau innerhalb des ersten Kühlkreislaufs zu verhindern.
3D zeigt die Kopplung 300D zwischen den Verteilern und Trays bzw. Platten, die gemäß zumindest einer Ausführungsform zumindest einen Abschnitt des ersten Kühlkreislaufs, auf den sich 2 bezieht, bilden können. Die Koppler 308A, 310A, 312, 314, 318 können eingebaute Rückschlagfunktionen enthalten. Dies ermöglicht einen Flüssigkeitsfluss in eine Richtung, so dass keine Leckage auftritt, wenn zum Beispiel die Kopplung 300D entfernt wird. Dies ermöglicht ebenso, dass die Kopplung 300D einen sofortigen Fluss des ersten oder universellen Kühlmittels von den Reihenverteilern in den Rack-Kühlverteiler und weiter zu den Server-Trays, den Kühlplatten oder den Mezzanin-Modulen bewirkt. Alternativ enthalten die Koppler ein Absperrventil, das aktiviert werden kann, um den Fluss vor der Entnahme der Trays oder Platten aus dem Rack zu blockieren. In mindestens einer Ausführungsform zeigt 3D Verteiler 304B, 304B mit einem Haupteinlasskoppler 308B und einem Hauptauslasskoppler 310B. Die Hauptkoppler 308B, 310B unterscheiden sich jedoch von den Hauptkopplern 308A, 308B durch Anforderungen, die sich von Press-fit-Passung geringfügig unterscheiden. Beispielsweise können die Hauptkoppler 308B, 310B eine Twist-fit-Passung erfordern, da diese Koppler Kühlmittel aus einem vorhandenen Leitungssystem aufnehmen können. Somit kann die vorliegende Erfindung vorhandene Racks modifizieren, um innerhalb der bestehenden Rechenzentrumsarchitektur zu funktionieren:
3D zeigt ebenso Verteilerkoppler 318 eines Trays, einer Kühlplatte oder eines Mezzanin-Moduls. Das Tray, die Kühlplatte oder ein Mezzanin-Modul 310 kann schmale, umschlossene Kanäle 316 umfassen, um Flüssigkeit vom Einlassverteiler 304A in einen Kreislauf von einem Einlassgegenkoppler 318A zu einem Auslassgegenkoppler 318B zu führen und schließlich über Auslassverteiler 304B abzugehen. Die umschlossenen Kanäle ermöglichen die erfindungsgemäßen No-Drip- und Schnellverbindungsfunktionen der vorliegenden Erfindung durch die Press-fit-Verbindungen. Wenn ein Server-Tray 310 für den Einsatz mit dem Rack der vorliegenden Erfindung bereit ist, wird das Server-Tray 310 in den zuvor erwähnten Schienen bzw. Führungen des Racks ausgerichtet und in das Rack eingeschoben. Die Gegenkoppler 318A, 318B werden ebenfalls mit den Einlass- und Auslassverteilerkopplern 312, 314 der Rack-Kühlverteiler 304A, 304B ausgerichtet. Interne Gummi- oder Silikondichtungen können zusammen mit Rippen (dargestellt durch gestrichelte Linien innerhalb der Gegenkoppler 318A, 318B) hinter den Nuten an den Press-fit-Einlass- und Press-fit-Auslassverteilerkopplern 312, 314 einrasten. Rückschlagventile, zugehörig zu jedem Verteilerkoppler und Gegenkoppler, werden geöffnet und Kühlmittel strömt in das Server-Tray 310.
4 ist ein Funktionsschema, das Teile der internen Rack-Komponenten 400 einschließlich eines Beispiel-Server-Trays oder einer Beispiel-Kühlplatte 402, 432 und eine Beispiel-Rechnerkomponente 412; 416 zur Kühlung der Rechnerkomponenten 412; 416 unter Verwendung des Beispiel-Kühlsystems gemäß mindestens einer Ausführungsform darstellt. In mindestens einer Ausführungsform können die Rechnerkomponenten eine Leiterplatte oder Baugruppe 412 mit Anschlüssen 426 oder eine einzelne Rechnerkomponente 416, wie beispielsweise eine GPU, sein. Die Leiterplatte 412 kann einen Bereich 428 für eine zusätzliche Rechnerkomponente aufweisen, wie beispielsweise eine oder mehrere GPUs oder CPUs 416. Ferner umfasst das Beispiel-Server-Tray oder die Beispiel-Kühlplatte einen oder mehrere Teile eines unteren Abschnitts 402 und einen oberen Abschnitt 432. Wenn ausgewählte Schaltkreiskomponenten flüssigkeitsgekühlt sind, können Einlass- und Auslasskoppler 422, 424 an der zusätzlichen Rechnerkomponente 416 vorhanden sein. Die Einlass- und Auslasskoppler 422, 424 ermöglichen die Verteilung von Kühlmittel aus dem ersten Kühlkreislauf über Einlass- und Auslass-Gegenkoppler 408, 406 des Server-Trays oder der Kühlplatte 402. Die zusätzliche Rechnerkomponente kann im vorgesehenen Bereich 428 auf die Leiterplatte oder Baugruppe 412 aufgesteckt und gesichert werden. Die Leiterplatte oder Baugruppe 412 kann selbst einen Einlasskoppler 420 und einen Auslasskoppler 418 zur Aufnahme und Rückführung von Kühlmittel aus dem ersten Kühlkreislauf umfassen. Als solche kann die zusätzliche Rechnerkomponente 416 mit den Gegenkopplern 408, 406 gekoppelt sein oder mit den Einlass- oder Auslasskopplern 420, 418 der Leiterplatte oder Baugruppe 412 gekoppelt sein.
In mindestens einer Ausführungsform kann das Server-Tray oder die Kühlplatte, entweder am unteren Abschnitt 402 oder am oberen Abschnitt 432, einen umschlossenen Kanal 404; 436 (auch den in 3D dargestellten Kanal 316), der schleifenförmig angeordnet durch das Tray oder die Platte läuft, aufweisen. Der umschlossene Kanal 436 des oberen Abschnitts 432 ist über Server-Tray-Koppler (oder Gegenkoppler) 442, 434 an den Rack-Kühlverteiler gekoppelt. Darüber hinaus kann der umschlossene Kanal 436 ein Schlauch innerhalb der Server-Tray-Kupplung sein, der über die Server-Koppler 438, 440 an den Rack-Kühlverteiler und den Kopplern der Rechnerkomponenten 422, 424 gekoppelt ist. Der umschlossene Kanal kann sich nur im oberen Abschnitt 432 befinden und von den Lüftern 430 im oberen Abschnitt statt im unteren Abschnitt 402 unterstützt werden, kann aber auch in beiden Teilen vorhanden sein. Der umschlossene Kanal eines der beiden Abschnitte des Server-Trays oder der Kühlplatte kann für Kühlung sorgen, ohne weitere Leitungsverbindungen zu den Rechnerkomponenten oder den zusätzlichen Rechnerkomponenten zu erfordern, und zwar über die Koppler an der Kopplung im oberen Abschnitt direkt zu den Kopplern an der Rechnerkomponente oder den zusätzlichen Rechnerkomponenten. Allerdings können sowohl der umschlossene Kanal als auch die weitere Kopplung zu den Rechnerkomponenten und zusätzlichen Rechnerkomponenten gleichzeitig vorhanden sein. Lüfter 430 können vorhanden sein, wenn das Tray 402 eine Kühlplatte ist. Die Lüfter 430 können für eine zusätzliche erzwungene Luftzirkulation für das Kühlmittel sorgen. Das Tray weist einen Leerraum 410 zur Aufnahme der Anschlüsse 426 auf.
5 ist eine Prozessabfolge 500 von Schritten, die für ein Verfahren zur Verwendung oder Herstellung des Kühlsystems der 2-4 gemäß mindestens einer Ausführungsform verfügbar sind. In mindestens einer Ausführungsform des Prozesses 500 stellt ein Teilprozess 502 ein Kühlsystem mit einem primären Kühlkreislauf bereit, der sich teilweise außerhalb des Rechenzentrums erstreckt. Der Teilprozess 504 stellt einen zweiten Kühlkreislauf bereit, der den Kälteverteiler enthält. Der Kälteverteiler wird zum Wärmeaustausch zwischen dem zweiten Kühlkreislauf und dem primären Kühlkreislauf verwendet. Über Teilprozess 506 kann festgestellt werden, dass ein Rack mit Server-Trays unter Verwendung des Kühlsystems des primären und des zweiten Kühlkreislaufs gekühlt werden muss. Wenn beispielsweise festgestellt wird, dass eine Rechnerkomponente ausgetauscht wurde und ein proprietäres Kühlmittel für eine neue Rechnerkomponente erforderlich ist, kann dieser Prozess stattdessen über Teilprozess 508 einen ersten Kühlkreislauf mit einem Wärmetauscher bereitstellen. Der Wärmetauscher wird genutzt, um dem Rack des Rechenzentrums Wärme zu entziehen und die Wärme an den primären Kühlkreislauf zu übertragen. Der Prozess 500 kann mit jedem Rack oder Server-Tray mit proprietären Rechnerkomponenten verwendet werden, zumindest wenn im Teilprozess 506 festgestellt wird, dass eine Änderung stattgefunden hat, oder dass das bestehende Kühlsystem von Teilprozess 504 beibehalten werden kann, wenn keine Änderung bezüglich der Komponenten stattgefunden hat. Alternativ kann der Prozess 500 auf jedes Rechenzentrum angewendet werden, um ein bestehendes Kühlsystem auf Universalität auszulegen.
RECHENZENTRUM
6 zeigt ein Beispiel-Rechenzentrum 600, in welchem mindestens eine Ausführungsform aus 2-5 verwendet werden kann. In mindestens einer Ausführungsform umfasst das Rechenzentrum 600 eine Rechenzentrum-Infrastrukturebene 610, eine Rahmenebene 620, eine Softwareebene 630 und eine Anwendungsebene 640. In mindestens einer Ausführungsform, wie in Bezug auf 2 beschrieben, können Funktionen in Komponenten 204-218C innerhalb des Beispiel-Rechenzentrums 600 oder in Kollaboration mit diesem ausgeführt werden. In mindestens einer Ausführungsform können die Infrastrukturebene 610, die Rahmenebene 620, die Softwareebene 630 und die Anwendungsebene 640 teilweise oder vollständig über Rechnerkomponenten auf Server-Trays bereitgestellt werden, die sich in Racks 210 des Rechenzentrums 200 befinden. Dies befähigt die erfindungsgemäßen Kühlsysteme, die Rechnerkomponenten in effizienter und effektiver Weise zu kühlen, reduziert die Wahrscheinlichkeit von Leckagen und ermöglicht den Austausch der Rechnerkomponenten ohne Ausfallzeiten dank des universellen Kühlmittels, das im ersten Kühlkreislauf 216A; 216B; 216C verwendet wird.
In mindestens einer Ausführungsform, wie in 6 dargestellt, kann die Rechenzentrum-Infrastrukturebene 610 einen Ressourcen-Orchestrator 612, gruppierte Rechnerressourcen 614 und Knotenrechnerressourcen (Knoten-C.R.s) 616(1)-616(N) umfassen, wobei „N“ eine beliebige positive ganze Zahl darstellt. In mindestens einer Ausführungsform können die Knoten-C.R.s 616(1)-616(N) eine beliebige Anzahl an Zentraleinheiten (CPUs) oder andere Prozessoren (einschließlich Beschleuniger, feldprogrammierbare Gate-Arrays (FPGAs), Grafikprozessoren usw.), Speicherbausteine (z. B. dynamischer Festwertspeicher), Speichergeräte (z. B. Solid-State- oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabegeräte (NW I/O), Netzwerk-Switches, virtuelle Maschinen (VM), Leistungsmodule und Kühlmodule usw. umfassen ohne auf diese beschränkt zu sein. In mindestens einer Ausführungsform kann/können ein oder mehrere Knoten-C.R.s unter den Knoten-C.R.s 616(1)-616(N) ein Server sein, der ein oder mehrere der oben genannten Rechnerressourcen aufweist. Als solche können diese Komponenten 616(1)-616(N) zusätzliche Rechnerkomponenten darstellen, die das universelle Kühlmittel als Teil des ersten Kühlkreislaufs empfangen können.
In mindestens einer Ausführungsform können gruppierte Rechnerressourcen 614 separate Gruppierungen von Knoten-C.R.s umfassen, die in einem oder mehreren Racks (nicht dargestellt) untergebracht sind, oder vielen Racks, die in Rechenzentren an verschiedenen geografischen Standorten untergebracht sind (ebenfalls nicht dargestellt). Separate Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechnerressourcen 614 können gruppierte Computer-, Netzwerk-, Speicherbaustein- oder Speicherressourcen umfassen, die zur Unterstützung einer oder mehrerer Arbeitslasten konfiguriert oder zugewiesen sein können. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s mit CPUs oder Prozessoren in einem oder mehreren Racks gruppiert sein, um Rechnerressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform kann/können ein oder mehrere Racks auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination enthalten.
In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 612 einen oder mehrere Knoten-C.R.s 616(1)-616(N) und/oder gruppierte Rechnerressourcen 614 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 612 eine Managementeinheit für eine Software-Design-Infrastruktur (SDI) für das Rechenzentrum 600 umfassen. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator Hardware, Software oder eine Kombination von ihnen umfassen.
In mindestens einer Ausführungsform, wie in 6 gezeigt, umfasst die Rahmenebene 620 einen Job-Planer 622, einen Konfigurationsmanager 624, einen Ressourcenmanager 626 und ein verteiltes Dateisystem 628. In mindestens einer Ausführungsform kann die Rahmenebene 620 einen Rahmen zur Unterstützung der Software 632 der Softwareebene 630 und/oder einer oder mehrerer Anwendungen 642 der Anwendungsebene 640 enthalten. In mindestens einer Ausführungsform können die Software 632 bzw. die Anwendung/en 642 webbasierte Dienstsoftware bzw. -anwendungen umfassen, wie beispielsweise solche, die von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. Ohne darauf beschränkt zu sein kann die Rahmenebene 620 in mindestens einer Ausführungsform eine Art freier und Open-Source-Software-Webanwendungsrahmen sein, wie z. B. Apache SparkTM (nachstehend Spark), der ein verteiltes Dateisystem 628 für die Verarbeitung großer Datenmengen (z. B. Big Data) nutzen kann. In mindestens einer Ausführungsform kann der Job-Planer 622 einen Spark-Treiber umfassen, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Ebenen des Rechenzentrums 600 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsmanager 624 in der Lage sein, zur Unterstützung der Verarbeitung großer Datenmengen verschiedene Ebenen zu konfigurieren, z. B. Softwareebene 630 und Rahmenebene 620, einschließlich Spark und verteilten Dateisystems 628. In mindestens einer Ausführungsform kann der Ressourcenmanager 626 in der Lage sein, geclusterte oder gruppierte Rechnerressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 628 und des Job-Planers 622 erfasst oder zugeordnet sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Rechnerressourcen die gruppierte Rechnerressource 614 auf der Rechenzentrum-Infrastrukturebene 610 umfassen. In mindestens einer Ausführungsform kann der Ressourcenmanager 626 mit dem Ressourcen-Orchestrator 612 koordiniert werden, um diese erfassten bzw. zugeordneten Rechnerressourcen zu verwalten.
In mindestens einer Ausführungsform kann die in der Softwareebene 630 enthaltene Software 632 Software umfassen, die von zumindest Teilen der Knoten-C.R.s 616(1)-616(N), gruppierten Rechnerressourcen 614 und/oder dem verteilten Dateisystem 628 der Rahmenebene 620 verwendet wird. Eine oder mehrere Arten von Software können Suchsoftware für Internetseiten, E-Mail-Virenscansoftware, Datenbanksoftware und Software zum Streamen von Videoinhalten umfassen ohne auf diese beschränkt zu sein.
In mindestens einer Ausführungsform kann/können die in der Anwendungsebene 640 enthaltene/n Anwendung/en 642 eine oder mehrere Arten von Anwendungen umfassen, die von mindestens Teilen der Knoten-C.R.s 616(1)-616(N), gruppierten Rechnerressourcen 614 und/oder dem verteilten Dateisystem 628 der Rahmenebene 620 verwendet werden. Ohne darauf beschränkt zu sein können eine oder mehrere Arten von Anwendungen eine beliebige Anzahl von Genomik-Anwendungen, eine kognitive Rechenanwendung und eine Anwendung für maschinelles Lernen umfassen, einschließlich Trainings- oder Inferenzsoftware, Rahmen-Software für maschinelles Lernen (z. B. PyTorch, TensorFlow, Caffe usw.) oder andere Anwendungen für maschinelles Lernen, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden.
In mindestens einer Ausführungsform kann das Rechenzentrum 600 Zentraleinheiten, anwendungsspezifische integrierte Schaltungen (ASICs), Grafikprozessoren, feldprogrammierbare Gate-Arrays oder andere Hardware verwenden, um Training und/oder Inferenz unter Verwendung der oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst konfiguriert sein, um Benutzern Training oder Inferenz von Informationen zu ermöglichen, wie z. B. Bilderkennung, Spracherkennung oder andere Dienste der künstlichen Intelligenz.
Andere Variationen sind im Sinne der vorliegenden Erfindung. Obwohl offenbarte Techniken disponiert für verschiedene Modifikationen und alternative Konstruktionen sind, sind bestimmte veranschaulichte Ausführungsformen von ihnen in Zeichnungen dargestellt und wurden oben detailliert beschrieben. Es versteht sich, dass nicht die Beschränkung der Erfindung auf eine bestimmte offengelegte Form oder bestimmte offengelegte Formen beabsichtigt ist, sondern im Gegenteil die Absicht darin besteht, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die, wie in den beigefügten Ansprüchen definiert, dem Gedanken und Umfang der Erfindung entsprechen.
Die Verwendung der Termini „ein/eine“ und „der/die/das“ und ähnlicher Bezeichnungen im Zusammenhang mit der Beschreibung erfindungsgemäßer Ausführungsformen (insbesondere im Zusammenhang mit den folgenden Ansprüchen) ist so auszulegen, dass - sofern hier nicht anders angegeben oder durch den Kontext eindeutig widerlegt - sowohl Einzahl als auch Mehrzahl umfasst sind und nicht ein Terminus definiert ist. Die Termini „einschließlich“, „mit“, „haben“, „umfassen“, „aufwcisen“ und „enthalten“ sind, sofern nicht anders angegeben, als offene Termini zu verstehen (im Sinne von „einschließlich, aber nicht beschränkt auf“). Der Terminus „verbunden“ ist, wenn er nicht modifiziert ist und sich auf physische Verbindungen bezieht, als teilweise oder vollständig darin enthalten, befestigt an oder zusammengefügt zu verstehen, auch dann, wenn sich etwas dazwischen befindet. Sofern nicht anders angegeben dient die Angabe von Wertebereichen lediglich als schnelles Verfahren für den individuellen Verweis auf jeden einzelnen Wert, der in den Bereich fällt, und jeder einzelne Wert wird in die Spezifikation aufgenommen, als ob er hier einzeln aufgeführt wäre. Die Verwendung einer Menge (z. B. einer Menge von Elementen) oder einer Teilmenge ist, sofern nicht anders angegeben oder durch den Kontext widerlegt, als eine nichtleere, eine oder mehrere Elemente umfassende Sammlung zu verstehen. Weiterhin bedeutet eine Teilmenge einer entsprechenden Menge, sofern nicht anders angegeben oder durch den Kontext widerlegt, nicht zwangsläufig eine echte Teilmenge der entsprechenden Menge, sondern Teilmenge und entsprechende Menge können gleich sein.
Konjunktive Formulierungen, zum Beispiel Formulierungen wie „mindestens ein/e/es von A, B, C“ oder „mindestens ein/e/es von A, B und C“ sind, sofern nicht ausdrücklich anders angegeben oder anderweitig eindeutig durch den Kontext widerlegt, ansonsten im Kontext so zu verstehen, dass sie verwendet werden, um darzustellen, dass ein Element, Terminus usw. entweder A oder B oder C oder eine beliebige nichtleere Teilmenge der Menge von A und B und C sein kann. So beziehen sich zum Beispiel im veranschaulichten Beispiel einer Menge mit drei Elementen die konjunktiven Ausdrücke „mindestens ein/e/es von A, B, und C“ und „mindestens ein/e/es von A, B und C“ auf eine der folgenden Mengen: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Eine solche konjunktive Formulierung soll also nicht bedeuten, dass bei bestimmten Ausführungsformen jeweils mindestens ein/e/es von A, mindestens ein/e/es von B und mindestens ein/e/es von C vorhanden sein muss. Zusätzlich, sofern nicht anders angegeben oder durch den Kontext widerlegt, zeigt eine Mehrzahl einen Zustand der Pluralität an (z. B. zeigt eine Mehrzahl von Elementen mehrere Elemente an). Eine Mehrzahl besteht aus mindestens zwei Elementen, kann aber auch aus noch mehr Elementen bestehen, wenn dies entweder explizit oder durch den Kontext angegeben wird. Wenn nicht anders angegeben oder aus dem Kontext klar hervorgeht, bedeutet „basiert“ zumindest „basiert teilweise” und nicht „basiert ausschließlich“.
Die Verwendung eines oder aller Beispiel oder beispielhaften Formulierungen (z. B. „wie“, „wie beispielsweise“) dient lediglich der besseren Veranschaulichung von Ausführungsformen der Erfindung und stellt, sofern nicht anders beansprucht, keine Einschränkung des Umfangs der Erfindung dar. Keine Formulierung in der Beschreibung sollte so ausgelegt werden, dass ein nicht beanspruchtes Element als wesentlich für die Praxis der Erfindung bezeichnet wird.
Alle hier zitierten Verweise, einschließlich Veröffentlichungen, Patentanmeldungen und Patente, werden hiermit durch Verweis in demselben Umfang einbezogen, als ob jeder Verweis einzeln und ausdrücklich als durch Verweis einbezogen angegeben wäre und hier in seiner Gesamtheit wiedergegeben würde.
In der Beschreibung und den Ansprüchen können die Termini „gekoppelt“ und „verbunden“ zusammen mit ihren abgeleiteten Formen verwendet werden. Es versteht sich, dass diese Termini nicht als Synonyme füreinander gedacht sind. Vielmehr kann in bestimmten Beispielen „verbunden“ bzw. „gekoppelt“ verwendet werden, um anzuzeigen, dass zwei oder mehr Elemente in direktem oder indirektem physischen oder elektrischen Kontakt miteinander stehen. „Gekoppelt“ kann auch bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt zueinanderstehen, aber dennoch miteinander kooperieren oder interagieren.
Sofern nicht ausdrücklich anders angegeben, ist klarzustellen, dass sich in der gesamten Spezifikation Verweise auf Verarbeitung, Berechnung, Bestimmung oder ähnliches auf Aktionen und/oder Prozesse eines Computers oder eines Computersystems oder eines ähnlichen elektronischen Rechengeräts beziehen, die Daten, die als physikalische, wie beispielsweise elektronische, Größen in den Registern und/oder Speichern des Computersystems dargestellt werden, manipulieren und/oder in andere Daten umwandeln, die in ähnlicher Weise als physikalische Größen in den Speichern, Registern oder solch anderen Informationsspeicher-, Informationsübertragungs- oder Informationsanzeigegeräten des Computersystems dargestellt werden.
In ähnlicher Weise kann sich ein Prozessor auf ein beliebiges Gerät oder den Teil eines Geräts beziehen, das elektronische Daten aus Registern und/oder Speichern verarbeitet und diese elektronischen Daten in andere elektronische Daten, die in Registern und/oder Speichern gespeichert werden können, umwandelt. Als nicht einschränkende Beispiele kann „Prozessor“ eine CPU oder eine GPU sein. Eine „Computerplattform““ kann einen Prozessor oder mehrere Prozessoren enthalten. Wie hierin verwendet, können „Software“-Prozesse beispielsweise Software- und/oder Hardware-Entitäten, die im Laufe der Zeit Arbeit verrichten, wie beispielsweise Aufgaben, Threads, und intelligente Agenten einschließen. Ebenso kann sich jeder Prozess auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. Die Termini „System“ und „Verfahren“ werden hier insofern austauschbar verwendet, dass ein System eine oder mehrere Verfahren verkörpern kann und Verfahren als ein System betrachtet werden können.
Wenngleich die obige Diskussion Beispielimplementierungen der beschriebenen Techniken darlegt, können auch andere Architekturen zur Implementierung der Funktionalität verwendet werden und sollen in den Bereich dieser Erfindung fallen. Zudem können verschiedene Funktionen und Zuständigkeiten je nach Umständen in unterschiedlicher Weise verteilt und aufgeteilt werden, wenngleich oben spezifische Verteilungen von Zuständigkeiten zu Zwecken der Diskussion definiert sind.
Obwohl der Erfindungsgegenstand in einer Sprache beschrieben wurde, die spezifisch für strukturelle Features und/oder methodologische Vorgänge ist, versteht es sich, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht zwangsweise auf beschriebene spezifische Features oder Vorgänge beschränkt ist. Vielmehr werden spezifische Features und Vorgänge als beispielhafte Formen der Realisierung der Ansprüche offenbart.

Claims

Kühlsystem für Rechenzentren, umfassend: einen ersten Kühlkreislauf, umfassend einen Wärmetauscher zum Austauschen von Wärme mit einem zweiten Kühlkreislauf, welcher einen Kühlverteiler (CDU) zum Austauschen von Wärme zwischen dem zweiten Kühlkreislauf und einem primären Kühlkreislauf umfasst.
Kühlsystem für Rechenzentren nach Anspruch 1, weiterhin umfassend: ein erstes Kühlmittel in dem ersten Kühlkreislauf, wobei das erste Kühlmittel unabhängig von einem zweiten Kühlmittel in dem zweiten Kühlkreislauf und einem dritten Kühlmittel in dem primären Kühlkreislauf ist.
Kühlsystem für Rechenzentren nach Anspruch 1 oder 2, weiterhin umfassend: ein Modul, umfasssend den ersten Kühlkreislauf zur Montage innerhalb eines Racks des Rechenzentrums und umfassend Flüssigkeitskoppler zur Kopplung mit dem zweiten Kühlkreislauf und zur Kopplung mit einem oder mehreren Server-Trays des Racks.
Kühlsystem für Rechenzentren nach einem der vorhergehenden Ansprüche, weiterhin umfassend: die Flüssigkeitskoppler, die ausgelegt sind, mindestens einen Gegenkoppler von dem einen oder den mehreren Server-Trays oder dem zweiten Kühlkreislauf durch eine Schnappverbindung aufzunehmen.
Kühlsystem für Rechenzentren nach einem der vorhergehenden Ansprüche, wobei ein erstes Kühlmittel in dem ersten Kühlkreislauf Wasser ist und wobei ein zweites Kühlmittel in dem zweiten Kühlkreislauf und ein primäres Kühlmittel in den primären Kühlkreisläufen beide eine dielektrische Flüssigkeit allein oder eine dielektrische Flüssigkeit mit einem Wasseranteil sind.
Kühlsystem für Rechenzentren nach einem der vorhergehenden Ansprüche, weiterhin umfassend: eine Kühlplatte zum Einsetzen in ein Rack des Rechenzentrums und zum Koppeln mit dem ersten Kühlkreislauf, um ein Kühlmittel aufzunehmen und eine Strecke für das Kühlmittel für dessen Rückführung in den ersten Kühlkreislauf bereitzustellen.
Kühlsystem für Rechenzentren nach Anspruch 6, weiterhin umfassend: einen Bereich innerhalb der Kühlplatte zur Aufnahme von Rechnerkomponenten des Rechenzentrums oder zur Aufnahme mindestens eines Server-Trays.
Kühlsystem für Rechenzentren nach einem der vorhergehenden Ansprüche, weiterhin umfassend: sekundäre Koppler eines oder mehrerer Server-Trays oder einer Kühlplatte, welches/welche sich in einem Rack des Rechenzentrums befinden, wobei die sekundären Koppler zur Aufnahme von Kühlmittel aus dem ersten Kühlkreislauf, zur Weiterführung des Kühlmittels durch eine oder mehrere Rechnerkomponenten und zur Rückführung des Kühlmittels in den ersten Kühlkreislauf dienen.
Kühlsystem für Rechenzentren nach einem der vorhergehenden Ansprüche, wobei sich der Wärmetauscher extern zu oder intern in einem Rack des Rechenzentrums befindet und wobei der erste Kühlkreislauf ausgelegt ist, Wärme aus dem Inneren des Racks zu dem zweiten Kühlkreislauf außerhalb des Racks abzuführen.
Kühlsystem für Rechenzentren nach einem der vorhergehenden Ansprüche, wobei der primäre Kühlkreislauf das Rechenzentrum zu einem Kühlturm verlässt, um die vom ersten Kühlkreislauf zum zweiten Kühlkreislauf übertragene Wärme abzuführen.
Verfahren zur Kühlung eines Rechenzentrums, umfassend: Bereitstellen eines primären Kühlkreislaufs, welcher sich teilweise extern zu dem Rechenzentrum erstreckt, Bereitstellen eines zweiten Kühlkreislaufs, welcher einen Kühlverteiler (CDU) umfasst, um Wärme zwischen dem zweiten Kühlkreislauf und einem primären Kühlkreislauf auszutauschen, und Bereitstellen eines ersten Kühlkreislaufs, umfassend einen Wärmetauscher, um Wärme aus einem Rack des Rechenzentrums abzuführen und die Wärme an den primären Kühlkreislauf zu übertragen.
Verfahren nach Anspruch 11, weiterhin umfassend: Bereitstellen eines ersten Kühlmittels in dem ersten Kühlkreislauf, wobei das erste Kühlmittel unabhängig von einem zweiten Kühlmittel in dem zweiten Kühlkreislauf und einem dritten Kühlmittel in dem primären Kühlkreislauf ist.
Verfahren nach Anspruch 11 oder 12, weiterhin umfassend: Montieren eines Moduls, umfassend den ersten Kühlkreislauf innerhalb eines Racks des Rechenzentrums, und Koppeln von Flüssigkeitskopplern in dem ersten Kühlkreislauf zur Kopplung mit dem zweiten Kühlkreislauf und zur Kopplung mit einem oder mehreren Server-Trays des Racks.
Verfahren nach einem der Ansprüche 11 bis 13, weiterhin umfassend: Auslegen der Flüssigkeitskoppler zur Aufnahme mindestens eines Gegenkopplers von dem einen oder den mehreren Server-Trays oder des zweiten Kühlkreislaufs durch eine Schnappverbindung.
Verfahren nach einem der Ansprüche 11 bis 14, wobei ein erstes Kühlmittel in dem ersten Kühlkreislauf Wasser ist und ein zweites Kühlmittel in dem zweiten Kühlkreislauf und ein primäres Kühlmittel in den primären Kühlkreisläufen beide eine dielektrische Flüssigkeit allein oder eine dielektrische Flüssigkeit mit einem Wasseranteil sind.
Verfahren nach einem der Ansprüche 11 bis 15, ferner umfassend: Einsetzen einer Kühlplatte in ein Rack des Rechenzentrums, und Koppeln der Kühlplatte mit dem ersten Kühlkreislauf, um ein Kühlmittel aufzunehmen und eine Strecke für das Kühlmittel für dessen Rückführung in den ersten Kühlkreislauf bereitzustellen.
Verfahren nach Anspruch 16, ferner umfassend: Bereitstellen eines Bereichs innerhalb der Kühlplatte zur Aufnahme von Rechnerkomponenten des Rechenzentrums oder zur Aufnahme mindestens eines Server-Trays.
Verfahren nach einem der Ansprüche 11 bis 17, weiterhin umfassend: Befähigen der sekundären Koppler eines oder mehrerer Server-Trays oder einer Kühlplatte, welche sich in einem Rack des Rechenzentrums befinden/befindet, Kühlmittel aus dem ersten Kühlkreislauf aufzunehmen; Befähigen des Kühlmittels, durch eine oder mehrere Rechnerkomponenten des einen oder der mehreren Server-Trays oder der Kühlplatte zu fließen, und Zurückführen des Kühlmittels in den ersten Kühlkreislauf.
Verfahren nach einem der Ansprüche 11 bis 18, weiterhin umfassend: Positionieren des Wärmetauschers extern zu oder intern in einem Rack des Rechenzentrums, und Auslegen des ersten Kühlkreislaufs, Wärme aus dem Inneren des Racks zu dem zweiten Kühlkreislauf außerhalb des Racks abzuleiten.
Verfahren nach einem der Ansprüche 11 bis 19, weiterhin umfassend: Befähigen des primären Kühlkreislaufs, das Rechenzentrum zu einem Kühlturm zu verlassen, wobei der primäre Kühlkreislauf die vom ersten Kühlkreislauf an den zweiten Kühlkreislauf übertragene Wärme abführt.