-
HINTERGRUND
-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft den Aufbau von Datenzentren und genauer energieeffiziente Kühlsysteme in großen Datenzentren.
-
Beschreibung des Standes der Technik
-
Bei Datenzentren handelt es sich um Einrichtungen, die zahlreiche in Form von Elektronikschränken angeordnete Computersysteme beherbergen. Üblicherweise beherbergt ein Datenzentrum eine Anzahl von Elektronikschränken, die in der Größenordnung von einigen Tausend liegt. Jedes Computersystem in einem Schrank kann einen oder mehrere Prozessoren, Speichereinheiten, Steuereinheiten, Leistungswandler und -manipulatoren und andere derartige Elektronikkomponenten beinhalten. Je nach Betriebszustand kann ein Computersystem eine Leistung in der Größenordnung von einigen Hundert bis hin zu mehreren Tausend Watt umsetzen. Daher wird ein erheblicher Kühlaufwand betrieben, um die Elektronikkomponenten innerhalb eines optimalen Betriebstemperaturbereichs zu halten. Die durch Server verursachte Leistungsaufnahme macht einen erheblichen Teil des Gesamtenergieaufkommens der USA aus. Es wurden Flüssigkeitskühllösungen vorgeschlagen wie z.B. das Übertragen von 100% der durch einen Schrank oder mehrere Schränke abgegebenen Wärme auf Wasser, was eine Luft-Klimatisierung entbehrlich macht, das Verwenden gekühlten Wassers des Gebäudes zum Kühlen der Schränke, das Verwenden energieeffizienter Kühler zum Bereitstellen von Kühlmittel mit relativ niedrigerer Temperatur für den oder die Schränke sowie viele andere Flüssigkeitskühllösungen als Mittel zum Verringern der Kühl/Gesamt-Leistungsaufnahme von Datenzentren. Solche Lösungen sind jedoch in ihrer Kühlenergieeffizienz bei Weitem nicht optimal.
-
Des Weiteren beruhen viele Kühlsysteme zumindest teilweise auf Luftkühlung. Kühle Luft wird in Server gepumpt, kühlt Hilfskomponenten und besteht als Warmluft weiter. Ein Wärmetauscher kühlt die Luft, die dann wieder als kühle Luft in den Server eintritt. Obwohl flüssigkeitsgekühlte Komponenten unterkühlt werden können, kann die Temperaturdifferenz zwischen der Temperatur von Kühlmittel, das in den Wärmetauscher eintritt, und der Temperatur der Luft, die den Wärmetauscher verlässt, zu einem begrenzenden Faktor werden. Aus dem Stand der Technik sind einige Ansätze zur Verbesserung bekannt.
-
Insbesondere offenbart die Druckschrift
US 2011/0060470 A1 ein Kühlsystem zum Erleichtern der Kühlung eines flüssigkeitsgekühlten Elektronikschranks, das einen Kühlmitteldurchflussregler, eine modulare Kühleinheit und einen Druckregler umfasst. Die Ablaufsteuerung ist in den Elektronikschrank integriert und steuert den Kühlmittelstrom durch diesen Elektronikmodulträger auf der Grundlage eines wechselnden Kühlbedarfs. Die modulare Kühleinheit umfasst eine einstellbare Kühlmittelpumpe, um die Zufuhr von Kühlmittel zu dem Elektronikschrank zu erleichtern. Der Druckregler ist der Kühleinheit zugeordnet zur Anpassung des Drucks des Kühlmittels an einem Ausgang der Kühleinheit mittels Steuerung der Förderleistung der Pumpe. Entsprechend der Kühlmittelströmung durch den Elektronikmodulträger stellt die Drucksteuerung automatisch die Fördermenge der verstellbaren Pumpe ein, um den Druck an einem Ausgang der Kühleinheit auf einem konstanten Kühlmitteldruck-Sollwert zu halten. Dadurch wird bei ausreichender Kühlung des Elektronikschranks Energie gespart.
-
Weiterhin offenbart die Druckschrift
US 7,117,129 B1 ein allgemeines Verfahren zur Inbetriebnahme von Sensoren. Darin werden zunächst Korrelationsdaten zwischen den Sensoren und einer Mehrzahl von Stellgliedern bestimmt. Aus den Korrelationsdaten werden Korrelationsindizes ermittelt, wobei ein Korrelationsindex für einen Sensor eine Funktion der Vielzahl von Antriebseinstellungen des Stellglieds ist. Zusätzlich ist jeder der Sensoren mindestens einer von mehreren Stellglied-Familien auf der Grundlage der berechneten Korrelationsindizes der Sensoren zugeordnet.
-
Zudem offenbart die Druckschrift
US 7,979,250 B2 ein Verfahren zur Erleichterung der Installation einer oder mehrerer Elektronikschränke in einem Rechenzentrum. Darin wird eine Vielzahl von Thermosimulatoren in der Datenzentrale des Rechenzentrums im Layout eines typischen Rechnerparks angeordnet, wobei jeder thermische Simulator mindestens einen Lufteinlass oder heißen Abluftstrom eines Elektronikschranks simuliert. Nachfolgend werden die Temperaturen innerhalb des thermisch simulierten Datenzentrums an mehreren Orten überwacht. Das Layout wird zugelassen, wenn die gemessenen Temperaturen in akzeptablen Temperaturbereichen liegen. Durch das Ersetzen jedes Thermosimulators mit einem entsprechenden Elektronikschrank in dem zugelassenen Layout wird der Rechnerpark erstellt.
-
Schließlich offenbart die Druckschrift
US 6,574,104 B2 ein Kühlsystem, das dazu eingerichtet ist, einen Kühlfluidstrom auf verschiedene Elektronikschränke innerhalb eines Datenzentrums, basierend auf den erfassten oder erwarteten Temperaturen, an verschiedenen Orten in dem Datenzentrum zu verteilen. Durch eine wesentliche Erhöhung des Kühlfluidstroms zu den Elektronikschränken mit höherer Wärmeleistungsabgabe und/oder eine wesentliche Verringerung des Kühlfluidstroms zu den Elektronikschränken mit geringerer Wärmeleistungsabgabe kann die zum Betrieb des Kühlsystems notwendige Leistung reduziert werden. Anstelle die Kühlsystemgeräte, bspw. Kompressoren, Gebläse, usw., für nahezu einhundert Prozent der erwarteten Bedarfsleistung zu betreiben, reicht deren Betrieb für den tatsächlichen Leistungsbedarf. Zusätzlich können die Elektronikschränke im Rechenzentrum nach ihren erwarteten Wärmeleistungsabgaben angeordnet werden, um dadurch das Aufstellen von Computerraum-Klimaanlage-(CRAC)-Einheiten an verschiedenen Positionen innerhalb des Datenzentrums und damit einen effizienteren Betrieb des Kühlsystems zu ermöglichen. In einer Ausgestaltung kann die Lage der Elektronikschränke durch numerische Modellierung und Metrologie des Kühlfluidflusses durch das Datenzentrum bestimmt werden. Zusätzlich kann die numerische Modellierung verwendet werden, um die Volumenstromrate und die Geschwindigkeit des Kühlfluidflusses durch jeden der Durchlässe zu steuern.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Ein Kühlsteuerungsverfahren beinhaltet: Messen einer Temperatur von Luft, die einem oder mehreren Rechenknoten durch einen Luft-Flüssigkeits-Wärmetauscher bereitgestellt wird; Messen einer Temperatur mindestens einer Komponente des einen oder der mehreren Rechenknoten und Ermitteln einer maximalen Komponententemperatur unter allen derartigen Rechenknoten; Vergleichen der maximalen Komponententemperatur mit einem ersten und einem zweiten Komponententemperaturgrenzwert und Vergleichen der Lufttemperatur mit einem ersten und einem zweiten Luftgrenzwert; und Steuern eines Anteils des Kühlmittelflusses und eines Kühlmitteldurchsatzes zum Luft-Flüssigkeits-Wärmetauscher und dem einen oder den mehreren Rechenknoten auf der Grundlage der Vergleiche.
-
Ein weiteres Kühlsteuerungsverfahren beinhaltet: Messen einer Temperatur von Luft, die einem oder mehreren Rechenknoten durch einen Luft-Flüssigkeits-Wärmetauscher bereitgestellt wird; Messen einer Temperatur mindestens einer Komponente des einen oder der mehreren Rechenknoten und Ermitteln einer maximalen Komponententemperatur unter allen derartigen Rechenknoten; Vergleichen der maximalen Komponententemperatur mit einem ersten und einem zweiten Komponententemperaturgrenzwert und Vergleichen der Lufttemperatur mit einem ersten und einem zweiten Luftgrenzwert; und Steuern eines Anteils des Kühlmittelflusses und eines Kühlmitteldurchsatzes zum Luft-Flüssigkeits-Wärmetauscher und dem einen oder den mehreren Rechenknoten auf der Grundlage der Vergleiche, indem ein oder mehrere Ventile eingestellt werden, die den relativen Durchsatz zwischen dem Luft-Flüssigkeits-Wärmetauscher und dem einen oder den mehreren Rechenknoten steuern.
-
Ein Kühlsystem beinhaltet einen oder mehrere Rechenknoten, wobei jeder Rechenknoten mindestens einen Temperatursensor besitzt, um eine Temperatur interner Komponenten der Rechenknoten zu überwachen; einen Luft-Flüssigkeits-Wärmetauscher, der zur Aufnahme eines Flüssigkühlmittels eingerichtet ist und dem einen oder den mehreren Rechenknoten gekühlte Luft bereitstellen kann; einen Temperatursensor, um eine Temperatur der durch den Luft-Flüssigkeits-Wärmetauscher bereitgestellten Luft zu überwachen; ein Flüssigkeitskühlsystem, das so eingerichtet ist, dass es Komponenten des einen oder der mehreren Rechenknoten flüssiges Kühlmittel bereitstellen kann; ein Ventil, das so eingerichtet ist, dass es den Kühlmittelfluss zum Luft-Flüssigkeits-Wärmetauscher und dem Flüssigkeitskühlsystem auf der Grundlage der Temperatur der internen Komponenten der Rechenknoten und der Temperatur der durch den Luft-Flüssigkeits-Wärmetauscher bereitgestellten Luft steuern kann; und eine Pumpe, die so eingerichtet ist, dass sie dem Flüssigkeitskühlsystem und dem Luft-Flüssigkeits-Wärmetauscher flüssiges Kühlmittel bereitstellen kann, und die eine Pumpstärke aufweist, die auf der Temperatur der internen Komponenten der Rechenknoten und der Temperatur der durch den Luft-Flüssigkeits-Wärmetauscher bereitgestellten Luft beruht;
-
Diese und andere Merkmale und Vorteile werden anhand der folgenden detaillierten Beschreibung veranschaulichender Ausführungsformen davon ersichtlich, die in Verbindung mit den angehängten Zeichnungen zu lesen ist.
-
Figurenliste
-
Die Offenbarung stellt Einzelheiten in der folgenden Beschreibung bevorzugter Ausführungsformen unter Bezugnahme auf die folgenden Figuren bereit, wobei:
- 1 eine Abbildung von Einkreis- und Zweikreiskühlsystemen zeigt;
- 2 eine Abbildung eines beispielhaften schrankinternen Kühlsystems gemäß den vorliegenden Grundgedanken zeigt;
- 3 eine Abbildung eines serverinternen Kühlsystems gemäß den vorliegenden Grundgedanken zeigt;
- 4 eine Abbildung eines beispielhaften schrankinternen Kühlsystems gemäß den vorliegenden Grundgedanken zeigt;
- 5 eine Abbildung eines beispielhaften schrankinternen Kühlsystems gemäß den vorliegenden Grundgedanken zeigt;
- 6 ein Blockschaubild/einen Ablaufplan eines beispielhaften Kühlsteuerungsverfahrens gemäß den vorliegenden Grundgedanken zeigt;
- 7 eine Abbildung eines beispielhaften schrankinternen Kühlsystems gemäß den vorliegenden Grundgedanken zeigt.
-
DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
-
Die vorliegenden Grundgedanken sehen Temperaturmessungen an verschiedenen Stellen innerhalb eines Kühlsystems vor, das flüssigkeits- und luftgestütztes Kühlen kombiniert. Mit diesen Temperaturangaben wird der Kühlmittelfluss durch einen Schrank und durch einzelne Server gesteuert. Indem die Temperaturdifferenz zwischen flüssigem Kühlmittel und der durch die Server strömenden Luft eingestellt wird, kann die Kühleffizienz maximiert werden.
-
Unter Bezugnahme auf die Zeichnungen, in denen gleiche Bezugszeichen für dieselben oder ähnliche Elemente stehen, und zunächst auf 1, wird nun ein beispielhaftes Datenzentrums-Kühlsystem 100 gezeigt. Das Datenzentrum enthält eine Anzahl von Schränken 102, durch die Kühlmittel zirkuliert. Kühlmittel mit niedriger Temperatur 112 tritt in die Schränke 102 ein, nimmt Wärme auf und verlässt die Schränke 102 als Kühlmittel mit hoher Temperatur 114. Obwohl die vorliegende Erfindung hierin in Bezug auf Serverschränke beschrieben ist, wird berücksichtigt, dass jeder beliebige geeignete Aufbau verwendet werden kann. Insbesondere kann jeder Cluster-Aufbau, jede Gruppierung oder jede andere Organisationsform von Rechenknoten, Recheneinheiten oder sonstigen Strukturen unter Verwendung der vorliegenden Grundgedanken gekühlt werden.
-
1 zeigt ein System, das sowohl Flüssigkeits-Luft-Wärmetauscher 104 als auch Flüssigkeits-Flüssigkeits-Wärmetauscher (liquid-to-liquid heat exchangers LLHx) 108 aufweist. Bei einer Flüssigkeits-Luft-Kühlanordnung wird Kühlmittel mit hoher Temperatur 114 direkt zu einem luftseitigen Außentauscher 104, zum Beispiel einem Satz von Kühlrippen, geführt. Jeder geeignete Typ von Wärmetauscher kann anstelle des Flüssigkeits-Luft-Tauschers 104 verwendet werden, wozu auch Trockenkühler, das ein Gebäude versorgende Kühlwasser, ein Kühlturm, ein Nasskühler, das Heizungs- oder Wärmerückgewinnungssystem eines Gebäudes, ein geothermischer Kreislauf oder eine Kombination mehrerer Arten zählen können. Bei einer Flüssigkeits-Flüssigkeits-Kühlanordnung wird Kühlmittel mit hoher Temperatur 114 durch eine paarweise angeordnete Schlange geführt. Ein Wärmetauscher 106 besitzt ein separates Kühlmittelzirkulationssystem, das die paarweise angeordnete Kühlschlange des LLHx 108 versorgt. Das Kühlmittel aus dem Wärmetauscher 106 verringert ohne Vermischen die Temperatur des Kühlmittels mit hoher Temperatur 114, bevor seine Wärme beim Wärmetauscher 106 abgegeben wird. Die LLHx 108 können optional abgeschaltet werden, indem der Fluss von Kühlmittel durch die paarweise angeordnete Kühlschlange gestoppt wird. Zusätzlich können mehrere LLHx 108 entlang eines einzelnen Zweifachkreises angeordnet werden, so dass die externe Wärmeabgabe durch Aktivieren einer geeigneten Anzahl von Wärmetauschern 108 gesteuert werden kann.
-
Eine Wärmeübertragungsrate bei dem Schrank oder den Schränken 102 wird vorherrschend durch den Durchsatz flüssigen Kühlmittels durch ihn oder sie gesteuert. Bei den Außenwärmetauschern 104 und 106 wird die Wärmeübertragungsrate durch den luftseitigen Durchsatz des Außenwärmetauschers und den Durchsatz an flüssigem Kühlmittel durch den Außenwärmetauscher 104 gesteuert. Die Wärmeübertragungsrate stellt eine nichtlineare monoton wachsende Funktion des luftseitigen Durchsatzes und des Durchsatzes an flüssigem Kühlmittel dar. Für jeden gegebenen Wärmetauscheraufbau gibt es eine Grenze für den luftseitigen Durchsatz und den Flüssigkeitsdurchsatz. Diese Grenzen bestimmen die Wärmetauscherauswahl, um die maximalen Kühlanforderungen (das Szenario des schlimmsten Falles) durch eine Sicherheitsreserve einzuhalten. „Szenario des schlimmsten Falles“ bezieht sich hier auf die höchste bei den Schränken zu erwartende Umgebungslufttemperatur sowie Wärmeabgabe und in einem allgemeineren Sinn auf die höchste gleichzeitig auftretende Wärmeabgabe im Datenzentrum. Das „Szenario des schlimmsten Falles“ sollte selten vorkommen und kommt möglicherweise in der gesamten Lebensspanne des Datenzentrums niemals vor.
-
In einigen häufiger vorkommenden Situationen kann ein Elektronikschrank 102 teilweise bestückt sein. Da darüber hinaus das Bereitstellen von Datenzentren häufig dazu verwendet wird, die Leistungsaufnahme von Informationstechnologieanlagen zu verringern (zum Beispiel durch Abschalten von Servern, deren Ressourcen gerade nicht verwendet werden usw.), werden unter Umständen auch abgeschaltete Server innerhalb eines Schrankes 102 gekühlt, die keine Wärme erzeugen. Diese Situationen können während nahezu der gesamten Lebensdauer eines Datenzentrums zu einer höheren Kühlleistungsaufnahme als notwendig führen. Somit können Flüssigkeitskühlungs-Verteilungshardware und - Steuerungen auf der Grundlage von physischer Infrastruktur und Umgebungsbedingungen sowohl innerhalb als auch außerhalb des Datenzentrums genutzt werden, um den Kühlleistungsverbrauch zu optimieren und den Leistungsverbrauch des Datenzentrums weiter zu verringern.
-
Unter Bezugnahme auf 2 wird nun ein System für verwaltetes Kühlen von Servern auf einer schrankinternen Ebene gezeigt. Es wird eine Vielzahl verwalteter Server 204 gezeigt, von denen jeder durch ein Verwaltungsnetzwerk 202 mit einer Hardwareverwaltungskonsole (hardware management console HMC) 206 verbunden ist. Die HMC 206 steuert die Arbeitslastrealisierung in den Servern/Rechenknoten 204 und kann zum Beispiel einen oder mehrere Hypervisor-Rechenknoten beinhalten. Jeder verwaltete Server 204 besitzt eine entsprechende Kühleinheit 208, und die Kühleinheiten 208 werden durch eine Kühlkomponenten-Logiksteuereinheit 212 über ein Kühlungsverwaltungsnetzwerk 210 gesteuert. Zusammen bilden die Kühlkomponenten und -steuerungen ein Kühlsystem 214. Die Logiksteuereinheit 212 empfängt Informationen über Außenumgebungsbedingungen wie beispielsweise Temperaturangaben. Da die Außentemperatur mit der Kühlungseffizienz zusammenhängt, kann die Logiksteuereinheit 212 diese Informationen dazu verwenden, Faktoren wie den Kühlmitteldurchsatz zu steuern.
-
Die vorliegenden Grundgedanken verringern die Leistungsaufnahme für die Kühlung, indem nur denjenigen Komponenten flüssiges Kühlmittel bereitgestellt wird, die Kühlung benötigen. Wenn sich zum Beispiel ein verwalteter Server 204 in abgeschaltetem Zustand befindet, kann diese Statusinformation der Kühllogiksteuereinheit 212 zugeführt werden, die dann Schritte unternimmt, um den Kühlmitteldurchsatz zu diesem Server 204 zu stoppen, ohne den Kühlmittelfluss zu einem anderen Server zu beeinträchtigen. Wenn in einem anderen Beispiel der verwaltete Server 204 eingeschaltet werden muss, kann diese Information ebenfalls der Kühllogiksteuereinheit 212 zugeführt werden, so dass die Kühlung zu diesem Server aktiviert werden kann. Die Kühlung kann des Weiteren an bestimmte Niveaus angepasst werden, die der Arbeitslast bei einem Server 204 entsprechen, wobei höheren Arbeitslasten mehr Kühlung zugeordnet wird. Dieses System wird auf die übergeordnete Ebene und natürlich auch auf die schrankinterne Ebene angewandt.
-
Unter Bezugnahme auf 3 wird nun eine schematische Darstellung eines luft- und flüssigkeitsgekühlten Servers 300 gezeigt. Zusätzlich zu flüssigkeitsgekühlten Komponenten wie beispielsweise CPU-Kühlplatten 302 und Speicherbänken 304 können viele Komponenten in einem Server 300 luftgekühlt werden. Zum Beispiel werden Festplattenlaufwerke 308 häufig luftgekühlt. Darüber hinaus können Speicherbänke 304 durch eine Kombination aus Flüssigkeits- und Luftkühlung gekühlt werden. Kühle Kühlmittelflüssigkeit 312 von einem externen Kühlsystem tritt in den Server 300 ein. Das Kühlmittel 312 tritt in die Speicherbänke 304 und die CPU-Kühlplatten 302 ein, wobei es im Prozess erwärmt und zu warmer Kühlmittelflüssigkeit 314 wird, die den Server 300 verlässt.
-
Ein Luft-Flüssigkeits-Wärmetauscher (air-to-liquid heat exchanger ALHx) 310 kann auf dem Server 300 oder als eine Nebeneinheit an der Seite eines Schrankes 102 montiert sein und ist mit den Kühlmittelleitungen 312 und 314 verbunden. Der ALHx kann in jeder Anordnung mit den Kühlmittelleitungen verbunden sein und je nach gewünschter Lufttemperatur entweder warmes Kühlmittel 314 oder kühles Kühlmittel 314 als Eingabe verwenden. Die Lüfter 306 sorgen für ein Zirkulieren der Luft innerhalb des Servers 300, die zum Beispiel durch die Festplattenlaufwerke 308 und die Speicherbänke 304 erwärmt wird. Die Luft verlässt den Server als warme Luft und wird dann durch den ALHx 310 geleitet, der die Luft kühlt, bevor sie wieder in den Server 310 zurückgeführt wird. Es können beträchtliche Lufttemperaturen innerhalb des Servers 300 auftreten, weshalb mehrere ALHx 310 verwendet werden können, um gleichförmige Bedingungen bereitzustellen.
-
Wie vorstehend festgehalten, kann der ALHx 310 mit den Kühlmittelleitungen 312 und 314 in jeder Anordnung verbunden werden, wobei entweder kühles Kühlmittel oder warmes Kühlmittel als Eingabe verwendet werden kann. In manchen Situationen können die Speicherbänke 304 sowohl flüssigkeitsgekühlt als auch luftgekühlt werden. In diesem Fall geht ein Teil der von den Speicherbänken 304 abgegebenen Wärme auf die Luft über, während ein Teil der Wärme auf das flüssige Kühlmittel übergeht. Dieser Anteil der Wärme hängt von der Luft- und der Flüssigkeitstemperatur ab, denen die Speicherbänke 304 ausgesetzt sind. Somit kann die von den Speicherbänken 304 auf die Luft übergehende Wärme minimiert werden, indem wärmere Luft in den Server 300 eintritt. Dies erhöht die Effizienz der Kühlung auf Schrankebene. Der ALHx 310 kann zudem mit den Kühlmittelleitungen 312 und 314 unter Verwendung von Ventilen verbunden sein, die eine Umkehr des Kühlmittelflusses durch den ALHx 310 erlauben, wobei den Umständen entsprechend warmes Kühlmittel, kühles Kühlmittel oder eine Kombination aus beidem als Eingabe verwendet wird. Die Zufuhr von Kühlmittel in den ALHx 310 kann mittels Ventilen 322 gesteuert werden.
-
Die Flüssigkeitskühlung auf Serverebene kann ebenfalls angepasst werden. Zum Beispiel können die Speicherbänke 304 teilweise bestückt sein und einzelne CPUs 302 variierende Arbeitslasten aufweisen oder vollständig abgeschaltet sein. Einzelne Speichersteckplätze innerhalb der Bänke 304 können selektiv gekühlt werden, je nachdem, ob diese Steckplätze gerade verwendet werden, und die CPU-Kühlplatten 302 können mithilfe von Ventilen 318 entsprechend der CPU-Nutzung eingestellt oder abgeschaltet werden. Die Kühlung für die gesamten Speicherbänke 304 kann mithilfe der Ventile 320 abgeschaltet werden. Die Kühlung innerhalb des Servers 300 kann weiterhin auf der Grundlage direkter Messungen der Umgebungstemperatur z.B. mithilfe eines Temperatursensors 316 gesteuert werden. Der Temperatursensor kann dazu verwendet werden, eine direkte Rückführung z.B. zum ALHx 310 sowie zur externen Kühllogik 212 bereitzustellen, die wiederum die Kühlungseinstellungen entsprechend gewünschter Bedingungen anpassen kann.
-
Unter Bezugnahme auf 4 wird nun eine Ausführungsform eines schrankinternen Kühlsystems gezeigt. Ein Satz von Servern 300 ist parallel mit einer Kühlmitteleinlasssammelkammer 404 und einer Kühlmittelauslasssammelkammer 406 verbunden. Die Einlasssammelkammer 404 empfängt kaltes Eingangskühlmittel 412 von einer Pumpe 401, die von außerhalb des Schrankes 400 gespeist wird. Die Auslasssammelkammer 406 sammelt warmes Kühlmittel 410 von den Servern 300, wodurch der Schrank 400 wie vorstehend z.B. in 1 gezeigt gekühlt wird.
-
Eine ALHx-Nebeneinheit 402 ist mit der Eingangskühlmittelleitung 412 und der Ausgangskühlmittelleitung 410 durch aktiv gesteuerte Drei-Wege-Ventile 408 verbunden. Die Ventile 408 werden dazu verwendet, den Fluss zur Eingangssammelkammer 404 und zur Nebeneinheit 402 zu regulieren. Da sich die Nebeneinheit 402 innerhalb des Schrankes 400 befindet, kann durch Regulieren des Flusses von Kühlmittel zur Nebeneinheit 402 die Temperatur der die Nebeneinheit 402 verlassenden und in die Server 300 eintretenden Schrankumgebungsluft gesteuert werden. Diese Nebeneinheit 402 könnte entweder an die Leitung für kaltes Kühlmittel 412 angeschlossen werden, wobei Kühlmittel vor dem Eintreten in die Einlasssammelkammer 404 durch die Nebeneinheit 402 fließen würde, oder sie könnte an die Leitung für warmes Kühlmittel 410 angeschlossen werden, wobei Kühlmittel nach dem Verlassen der Auslasssammelkammer 406 durch die Nebeneinheit 402 fließen würde. In einer alternativen Ausführungsform könnte Kühlmittel von beiden Kühlmittelleitungen 410 und 412 zugeführt werden. Das Anschließen der Nebeneinheit 402 an die Leitung für kaltes Kühlmittel 412 führt dazu, das kühlere Luft durch die Server 300 strömt und kann in Situationen nützlich sein, in denen luftgekühlte Komponenten, wie beispielsweise die Festplattenlaufwerke 308, zusätzliche Kühlung benötigen. Das Anschließen der Nebeneinheit 402 an die Leitung für warmes Kühlmittel 410 führt dazu, dass wärmere Luft durch die Server 300 strömt, was in Situationen nützlich sein kann, in denen die auf Serverebene auf die Luft übergehende Wärme minimiert und die auf Serverebene auf die Flüssigkeit übergehende Wärme maximiert werden sollte.
-
Unter Bezugnahme auf 5 wird nun eine alternative Ausführungsform eines schrankinternen Kühlsystems 500 gezeigt. Ein flusssteuerndes Drei-Wege-Ventil 502 ist zwischen der Nebeneinheit 402 und der Einlasssammelkammer 404 angeordnet, so dass Flüssigkeit zum einen oder dem anderen geleitet werden und ein relativer Durchsatz gesteuert werden kann. 5 zeigt auch eine Reihe von Temperaturmessungen, mittels derer die Kühleffizienz überwacht und gesteuert werden kann. Insbesondere wird mit Twi die Temperatur des Eingangskühlmittels 412 gemessen, mit Tai wird die Temperatur der durch die Nebeneinheit 402 abgegebenen Luft gemessen, die Temperaturen wichtiger Komponenten innerhalb der Server 300 werden gemessen, und das Maximum dieser Temperaturen wird als TC,max gemessen, mit Two2 wird die Temperatur des durch die Auslasssammelkammer 406 abgegeben Kühlmittels 410 gemessen und mit Two1 wird das durch die Nebeneinheit 402 abgegebene Kühlmittel gemessen.
-
Das Kühlsystem 500 kann optional zwei Zwei-Wege-Ventile 504 und 506 beinhalten. Diese Ventile sorgen für eine genauere Steuerung des Kühlmittelflusses zur Einlasssammelkammer 404 und zur Nebeneinheit 402. Obwohl Einstellungen des Drei-Wege-Ventils 502 und der Pumpe 401 jede Verteilung des Kühlmitteldurchsatzes wiedergeben können, kann dies mit weniger Schritten erreicht werden, indem einfach eines der Zwei-Wege-Ventile 504 und 506 eingestellt wird.
-
Wie für den Fachmann ersichtlich ist, können Aspekte der vorliegenden Erfindung als System, Verfahren, oder Computerprogrammprodukt ausgebildet werden. Dementsprechend können Aspekte der vorliegenden Erfindung in Form einer vollständigen Hardware-Ausführungsform, einer vollständigen Software-Ausführungsform (darunter Firmware, residente Software, Mikrocode usw.) oder in einer Ausführungsform ausgebildet werden, die Software- und Hardware-Aspekte kombiniert, was hierin sämtlich allgemein als „Schaltung“, „Modul“ oder „System“ bezeichnet sein kann. Weiterhin können Aspekte der vorliegenden Erfindung in Form eines Computerprogrammprodukts ausgebildet werden, das in einem oder mehreren computerlesbaren Medien mit darauf befindlichem computerlesbarem Programmcode enthalten sein kann.
-
Jede beliebige Kombination aus einem oder mehreren computerlesbaren Medien kann verwendet werden. Bei dem computerlesbaren Medium kann es sich um ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium handeln. Bei einem computerlesbaren Speichermedium kann es sich zum Beispiel, ohne darauf beschränkt zu sein, um ein System, eine Vorrichtung oder eine Einheit elektronischer, magnetischer, optischer, elektromagnetischer, Infrarot verwendender oder Halbleiter verwendender Art sowie eine beliebige geeignete Kombination des Vorgenannten handeln. Zu spezielleren Beispielen für das computerlesbare Speichermedium kann Folgendes gehören (nicht erschöpfende Liste): eine elektrische Verbindung mit einer oder mehreren Leitungen, eine transportable Computerdiskette, eine Festplatte, ein Speicher mit wahlfreiem Zugriff (random access memory (RAM)), ein Nur-Lese-Speicher (read-only memory (ROM)), ein löschbarer programmierbarer Nur-Lese-Speicher (erasable programmable read-only memory (EPROM) oder Flash-Speicher), ein Lichtwellenleiter, ein transportabler Compact-Disk-Nur-Lese-Speicher (CD-ROM), eine optische Speichereinheit, eine magnetische Speichereinheit oder eine beliebige geeignete Kombination des Vorgenannten. Im Kontext dieses Dokuments kann es sich bei einem computerlesbaren Speichermedium um jedes gegenständliche Medium handeln, das ein Programm zur Verwendung durch oder in Verbindung mit einem System, einer Vorrichtung oder einer Einheit zur Ausführung von Anweisungen beinhalten oder speichern kann.
-
Ein computerlesbares Signalmedium kann ein verbreitetes Datensignal beinhalten, bei dem der computerlesbare Programmcode zum Beispiel in einem Basisband oder als Teil einer Trägerwelle ausgebildet ist. Solch ein verbreitetes Signal kann in jeder beliebigen einer Vielfalt von Formen ausgebildet werden wie beispielsweise, ohne darauf beschränkt zu sein, elektromagnetische, optische oder jede geeignete Kombination davon. Bei einem computerlesbaren Signalmedium kann es sich um ein beliebiges computerlesbares Medium handeln, das kein computerlesbares Speichermedium ist und das ein Programm zur Verwendung durch oder in Verbindung mit einem System, einer Vorrichtung oder einer Einheit zur Ausführung von Anweisungen übertragen, verbreiten oder transportieren kann.
-
Der in einem computerlesbaren Medium enthaltene Programmcode kann mittels eines beliebigen geeigneten Mediums übertragen werden wie beispielsweise, ohne darauf beschränkt zu sein, kabellose, kabelgebundene, Lichtwellenleiterkabel, Hochfrequenz (HF) usw., oder einer beliebigen geeigneten Kombination der zuvor Genannten. Computerprogrammcode zum Ausführen von Operationen für Aspekte der vorliegenden Erfindung kann in jeder Kombination einer oder mehrerer Programmiersprachen, darunter eine objektorientierte Programmiersprache wie Java, Smalltalk, C++ oder Ähnliches und herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen geschrieben sein. Der Programmcode kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. In letzterem Szenario kann der entfernt angeordnete Computer mit dem Computer des Benutzers über jede beliebige Art von Netzwerk, darunter ein Nahbereichsnetzwerk (local area network (LAN)) oder ein Weitbereichsnetzwerk (wide area network (WAN)) verbunden sein, oder es kann eine Verbindung zu einem externen Computer (zum Beispiel mittels eines Internetdienstanbieters über das Internet) hergestellt werden.
-
Aspekte der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf Abbildungen von Ablaufplänen und/oder Blockschaltbildern von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es versteht sich, dass jeder Block der Abbildungen von Ablaufplänen und/oder der Blockschaltbilder sowie Kombinationen von Blöcken in den Abbildungen von Ablaufplänen und/oder den Blockschaltbildern durch Computerprogrammanweisungen realisiert werden kann. Diese Computerprogrammanweisungen können einem Prozessor eines universellen Computers, eines zweckbestimmten Computers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine so zu erzeugen, dass die Anweisungen, die über den Prozessor des Computers oder der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, ein Mittel zum Realisieren der im Block oder in den Blöcken des Ablaufplans und/oder Blockschaltbildes angegebenen Funktionen/Handlungen erzeugen.
-
Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert sein, das einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder andere Einheiten anleiten kann, auf eine bestimmte Weise zu funktionieren, so dass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Herstellungsartikel einschließlich Anweisungen erzeugen, welche die im Block oder in den Blöcken des Ablaufplans und/oder des Blockschaltbildes angegebenen Funktionen/Handlungen ausführen. Die Computerprogrammanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder andere Einheiten geladen werden, um eine Reihe von auf dem Computer, der anderen programmierbaren Vorrichtung oder den anderen Einheiten auszuführenden Operationsschritten hervorzurufen, um einen auf dem Computer realisierten Prozess so zu erzeugen, dass die auf dem Computer oder der anderen programmierbaren Vorrichtung ausgeführten Anweisungen Prozesse zum Realisieren der im Block oder in den Blöcken des Ablaufplans und/oder Blockschaltbildes angegebenen Funktionen/Handlungen bereitstellen.
-
Der Ablaufplan und die Blockschaltbilder in den Figuren veranschaulichen die Architektur, Funktionalität und die Arbeitsweise möglicher Realisierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß vielfältigen Ausführungsformen der vorliegenden Erfindung. In dieser Hinsicht kann jeder Block im Ablaufplan oder den Blockschaltbildern für ein Modul, ein Segment oder einen Codeabschnitt stehen, der eine oder mehrere ausführbare Anweisungen zum Realisieren der angegebenen logischen Funktion oder Funktionen aufweist. Es soll zudem angemerkt werden, dass bei einigen alternativen Realisierungen die im Block angegebenen Funktionen in anderer Reihenfolge als der in den Figuren angegebenen auftreten können. Zum Beispiel können zwei aufeinander folgend abgebildete Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal abhängig von der betreffenden Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es wird ebenfalls angemerkt, dass jeder Block der Blockschaltbilder und/oder Abbildung von Ablaufplänen und Kombinationen von Blöcken in den Blockschaltbildern und/oder Abbildung von Ablaufplänen durch zweckbestimmte hardwaregestützte Systeme oder Kombinationen von zweckbestimmter Hardware und Computeranweisungen realisiert werden kann, welche die angegebenen Funktionen oder Handlungen durchführen.
-
Unter Bezugnahme auf 6 wird nun ein Blockschaubild/ein Ablaufplan eines Verfahrens zum Steuern der Kühlmittel- und Lufttemperatur gezeigt. Dies kann erreicht werden, indem die Position des Ventils 502 eingestellt wird, wodurch der Anteil des durch die Nebeneinheit 402 und die Server 300 fließenden Kühlmittels gesteuert wird. Block 602 beginnt, indem die Pumpe auf die maximale Drehzahl gestellt und das Ventil zu 50% geöffnet wird, wodurch gleichviel Kühlmittel zur Nebeneinheit 402 und zur Einlasssammelkammer 404 geschickt wird. Als Nächstes werden in Block 604 die überwachten Temperaturen geprüft und insbesondere Messungen für Tai , Two1 , Two2 erhalten sowie die maximale Komponententemperatur TC,max ermittelt.
-
Vier festgelegte Temperaturen, Tspec1 , Tspec2 , Tspec3 und Tspec4 werden für den Vergleich verwendet. Diese Werte stehen jeweils für eine Temperaturobergrenze für Serverkomponenten, eine Temperaturobergrenze für Luft, welche die Nebeneinheit 402 verlässt, eine Temperaturuntergrenze für Serverkomponenten und eine Temperaturuntergrenze für Luft, welche die Nebeneinheit 402 verlässt. In Block 606 wird ermittelt, ob die maximale Komponententemperatur TC,max die Temperaturobergrenze für Komponenten überschreitet und ob die gemessene Lufttemperatur Tai die Temperaturobergrenze für Luft überschreitet. Falls ja, wird festgestellt, dass kein ausreichender Kühlmittelfluss zum Schrank 500 vorhanden ist. In Block 608 wird die Drehzahl einer Pumpe 401 erhöht, wodurch der Fluss zum Schrank 500 und anteilsmäßig der Fluss zur Einlasssammelkammer 404 und der Nebeneinheit 402 erhöht wird. In Block 608 kann zudem eine Benachrichtigung hinsichtlich des Status des bestimmten Kühlsystems ausgelöst werden. Dazu kann zum Beispiel eine visuelle Nachricht, wie beispielsweise eine Fehleranzeige auf einem Bildschirm oder eine Anzeigeleuchte oder eine akustische Nachricht wie beispielsweise eine sprachliche Benachrichtigung oder ein Piepcode zählen. Nachdem die Drehzahl der Pumpe in Block 608 erhöht wurde, wird in Block 630 eine Zeitdauer von t Sekunden gewartet, bevor zu Block 604 zurückgekehrt wird. Bei der abgewarteten Zeitdauer kann es sich um jede beliebige Zeitdauer handeln, und sie kann von der Veränderlichkeit der Kühlanforderungen abhängig gemacht werden. Wenn die Server zum Beispiel unter einer konstanten Arbeitslast arbeiten, kann die Wartezeit lang sein. In Datenzentren, in denen die Arbeitslasten mit der Zeit variieren, kann die Wartezeit verkürzt werden, damit schnelle Anpassungen der Kühlparameter möglich sind.
-
In Block 610 wird ermittelt, ob die maximale Komponententemperatur TC,max die Temperaturobergrenze für Komponenten unterschreitet und ob die gemessene Lufttemperatur Tai die Temperaturobergrenze für Luft überschreitet. Falls ja, wird in Block 612 das Ventil 502 so eingestellt, dass der Fluss zur Nebeneinheit 402 erhöht wird. Alternativ dazu kann das Zwei-Wege-Ventil 504 geöffnet werden, wodurch zusätzliches Kühlmittel zur Nebeneinheit 402 fließen kann. Der Änderungsgrad kann auf dem Ausmaß des Überschreitens bei Tai beruhen, oder es kann sich um einen festen Prozentsatz handeln. In Block 612 kann zudem eine Benachrichtigung hinsichtlich des Status des bestimmten Kühlsystems ausgelöst werden, insbesondere ein Benachrichtigen des Administrators, dass zu wenig Kühlmittelfluss zur Nebeneinheit 402 vorhanden ist.
-
In Block 614 wird ermittelt, ob TC,max die Temperaturobergrenze für Komponenten überschreitet und ob die gemessene Lufttemperatur Tai die Temperaturobergrenze für Luft unterschreitet. In diesem Fall kann in Block 616 ein Systemadministrator benachrichtigt werden, dass zu wenig Kühlmittelfluss zu den Servern 300 vorhanden ist. In Block 616 wird zudem der Fluss zu den Servern 300 durch Einstellen des Ventils 502 erhöht. Alternativ dazu kann das Zwei-Wege-Ventil 506 geöffnet werden, wodurch zusätzliches Kühlmittel zu den Servern 300 fließen kann. Der Änderungsgrad kann auf dem Ausmaß des Überschreitens bei TC,max beruhen, oder es kann sich um einen festen Prozentsatz handeln.
-
In Block 618 wird ermittelt, ob TC,max die Temperaturuntergrenze für Komponenten unterschreitet und ob die gemessene Lufttemperatur Tai die Temperaturuntergrenze für Luft unterschreitet. In diesem Fall kann in Block 620 ein Systemadministrator benachrichtigt werden, dass zu viel Kühlmittelfluss zu den Servern 300 vorhanden ist. In Block 620 wird zudem die Drehzahl der Pumpe 401 erhöht, wodurch der Fluss zum Schrank 500 und anteilsmäßig der Fluss zur Einlasssammelkammer 404 und zur Nebeneinheit 402 erhöht wird.
-
In Block 622 wird ermittelt, ob TC,max die Temperaturuntergrenze für Komponenten überschreitet und ob die gemessene Lufttemperatur Tai die Temperaturuntergrenze für Luft unterschreitet. In diesem Fall kann in Block 624 ein Systemadministrator benachrichtigt werden, dass zu viel Kühlmittelfluss zur Nebeneinheit 402 vorhanden ist. In Block 612 wird zudem das Ventil 502 so eingestellt, dass der Fluss zur Nebeneinheit 402 verringert wird. Alternativ dazu kann das Zwei-Wege-Ventil 504 geöffnet werden, wodurch zusätzliches Kühlmittel zur Nebeneinheit 402 fließen kann. Der Änderungsgrad kann auf dem Ausmaß des Unterschreitens bei Tai beruhen, oder es kann sich um einen festen Prozentsatz handeln.
-
In Block 626 wird ermittelt, ob TC,max die Temperaturuntergrenze für Komponenten unterschreitet und ob die gemessene Lufttemperatur Tai die Temperaturuntergrenze für Luft überschreitet. In diesem Fall kann in Block 628 ein Systemadministrator benachrichtigt werden, dass zu viel Kühlmittelfluss zu den Servern 300 vorhanden ist. In Block 612 wird zudem das Ventil 502 so eingestellt, dass der Fluss zu den Servern 300 verringert wird. Alternativ dazu kann das Zwei-Wege-Ventil 506 geöffnet werden, wodurch zusätzliches Kühlmittel zu den Servern 300 fließen kann. Der Änderungsgrad kann auf dem Ausmaß des Unterschreitens bei TC,max beruhen, oder es kann sich um einen festen Prozentsatz handeln.
-
Nach jeder Anpassung wird der Prozess mit Block 630 fortgesetzt, es wird, wie vorstehend beschrieben, t Sekunden lang gewartet und dann zur Wiederholung mit der Verarbeitung zu Block 604 zurückgekehrt. Auf diese Weise können die Kühlparameter, wozu die Drehzahl der Pumpe 402 und der Zustand des Drei-Wege-Ventils 502 und der Zwei-Wege-Ventile 504 und 506 zählen, kontinuierlich angepasst werden.
-
In einer alternativen Ausführungsform können Twi , Two1 oder Two2 anstelle von TC,max verwendet werden. Darüber hinaus können Twi und Two2 zusammen mit dem Durchsatz an flüssigem Kühlmittel durch die Server/Rechenknoten verwendet werden, um die auf Server/Schrank-Ebene auf das flüssige Kühlmittel übergehende Wärmemenge zu messen. Gleichermaßen können Twi und Two1 zusammen mit dem Durchsatz an flüssigem Kühlmittel durch den Nebeneinheit-Luft-Flüssigkeits-Wärmetauscher 402 verwendet werden, um die auf die Luft übergehende Wärmemenge zu messen. Der prozentuale Anteil der Wärmemenge, der auf Server/Schrank-Ebene auf die Flüssigkeit übergeht, hängt von der Temperaturdifferenz zwischen Tai und Twi ab. Je größer Tai relativ zu Twi ist, desto größer ist die auf die Flüssigkeit übertragene Wärmemenge. Unter optimalen Umständen wird Tai um einen maximal möglichen Betrag größer sein als Twi . Es gibt jedoch sowohl für Tai als auch für Twi eine obere sowie eine untere Grenze. Daher können Tai und Twi gesteuert werden, um eine gewünschte Wärmeverteilung auf flüssiges Kühlmittel und auf Luft zu erhalten.
-
Unter Bezugnahme auf 7 wird nun eine alternative Ausführungsform eines schrankinternen Kühlsystems 700 gezeigt. Die Nebeneinheit 402 ist mit der Einlasssammelkammer 404 in Reihe angeordnet, so dass der Eingangskühlmittelfluss 412 von der Pumpe 401 zuerst die Nebeneinheit 402 durchläuft und dann in die Einlasssammelkammer 404 eintritt. Ein Zwei-Wege-Umgehungsventil 702 ist so eingerichtet, dass es für das Kühlmittel eine Umgehung bereitstellen kann, mit der die Nebeneinheit 402 übersprungen werden kann. Das Ventil 702 kann schrittweise angepasst werden, so dass ein Teil des Kühlmittels durch die Nebeneinheit 402 fließt und ein anderer Teil dies nicht tut. Dieses Ventil 702 kann ähnlich der vorstehend in 6 erläuterten Weise eingestellt werden, wobei der relative Fluss auf dieselbe Weise eingestellt werden kann und Änderungen am Drei-Wege-Ventil 502 durch Öffnen und Schließen des Zwei-Wege-Ventils 702 ersetzt werden.
-
Nachdem bevorzugte Ausführungsformen eines Systems und eines Verfahrens zur Steuerung der Kühlmittel- und Umgebungstemperatur für kühlerlose flüssigkeitsgekühlte Datenzentren beschrieben wurden (die veranschaulichend und nicht einschränkend anzusehen sind), wird festgehalten, dass durch den Fachmann Modifikationen und Variationen in Hinblick auf die vorstehenden Lehren vorgenommen werden können. Es ist daher offensichtlich, dass Änderungen an den speziellen offenbarten Ausführungsformen vorgenommen werden können, die innerhalb des Umfangs der Erfindung liegen, wie sie in den angehängten Ansprüchen dargelegt ist.
