-
TECHNISCHES GEBIET
-
Dieses Dokument bezieht sich auf die thermische Überwachung von Computern.
-
HINTERGRUND
-
Der durch den Mikroprozessor verbrauchte Strom wird in Wärme umgewandelt. Ein auf einer Einzel-Hauptplatine bereitgestelltes Paar Mikroprozessoren kann eine Leistung von 200–400 Watt oder mehr aufnehmen. Wenn diese Leistungsaufnahme mit mehreren Tausenden (oder Zehntausenden) multipliziert wird, um die Computer in einem Datenzentrum zu erfassen, so kann das Potential der Wärmeerzeugung gewürdigt werden. Ein Betreiber eines Datenzentrums muss nicht nur den Strom zur Betreibung der Computer bezahlen, sondern er muss auch die Kühlung der Computer bezahlen. Die Kosten der Wärmeableitung können einen bedeutenden Kostenfaktor beim Betrieb von großen Datenzentren darstellen.
-
Außerdem unterliegen Computer-Komponenten, beispielsweise Mikroprozessor, Speicher oder Laufwerk, Störungen, wenn diese Komponenten hohen Temperaturen ausgesetzt werden. Ein Ventilator kann eine stabile Luftdurchströmung durch die Computer-Komponenten bereitstellen, um die Hitze davonzutragen; gleichzeitig können Kühlkörper an einige Komponenten angeschlossen werden, insbesondere an den Mikroprozessor, um die Wärmeübertragung in die Umgebungsluft zu verbessern. Trotz dieser Vorsichtsmaßnahmen können die Computerkomponenten noch immer überhitzen und ausfallen, insbesondere bei einem Betrieb bei hoher Auslastung.
-
ZUSAMMENFASSUNG
-
In einem Punkt umfasst ein Verfahren den Empfang einer indikativen Messung der Temperatur eines Computers und die Kalkulation des Wertes der thermischen Gesundheit für der Computer aufgrund der Messung.
-
Anwendungen der Erfindung können eine oder mehrere der nachfolgenden Merkmale umfassen. Die Kalkulation des Wertes der thermischen Gesundheit kann den Vergleich der Messungen zu gespeicherten Schwellenwerten umfassen. Die Messung kann eine oder mehrere Messungen der Temperatur, der Leistungsaufnahme des Computers, der Auslastung des Computers oder die Drehzahl des Computerlüfters darstellen. Es kann eine Vielzahl von Messungen verschiedener Typen eingehen und die Kalkulation des Wertes der thermischen Gesundheit kann eine Vielzahl von Messungen kombinieren. Die Messung kann eine Temperaturmessung einer oder mehrerer Zentraleinheiten des Computers, des Computer-Laufwerks, des Computer-Speichermoduls, der Computer-Hauptplatine oder die Luft in der Nähe des Computers darstellen. Der Wert der thermischen Gesundheit kann einen dimensionslosen Wert, z. B. eine Zahl, z. B. im Bereich von 0 bis 1 oder im Bereich von 0 bis 10, darstellen. Ein Deskriptor kann für den Wert der thermischen Gesundheit aus einer endlichen Menge an Deskriptoren ausgewählt werden. Die Kalkulation des Wertes der thermischen Gesundheit kann eine Normalisierung für den Plattformtyp des Computers umfassen. Ein Alarm kann generiert werden, wenn der Wert der thermischen Gesundheit einen Schwellenwert überschreitet. Es können eine oder mehrere Funktionen Leistung, Kühlung und Auslastung aufgrund des Wertes der thermischen Gesundheit angepasst werden. Eine indikative Messung der Computertemperatur kann von Jeder der Computerpluralität empfangen werden, und ein Wert der thermischen Gesundheit kann für jede der Computerpluralität kalkuliert werden. Zumindest einige der Computer-Pluralitäten können unterschiedliche Plattformen sein, wobei die Kalkulation des Wertes der thermischen Gesundheit für jeden dieser Computerpluralität derweise normalisiert wird, dass jeder Wert der thermischen Gesundheit innerhalb des gleichen Wertebereichs liegt. Der Wertebereich kann ein Computerverhalten abbilden, dass über unterschiedliche Plattformen einheitlich ist. Die Werte der thermischen Gesundheit können aggregiert werden, z. B. aus den Werten der thermischen Gesundheit der Computerpluralität kann ein Mittelwert gebildet werden, woraus ein Wert der thermischen Gesundheit für die Computerpluralität generiert wird. Die Werte der thermischen Gesundheit können über eine oder mehrere Leistungsdomänen, eine Kühldomäne, eine Logikdomäne und eine physische Standortdomäne aggregiert werden.
-
In einem anderen Aspekt wird ein Computerprogrammprodukt konkret in einem maschinenlesbaren Datenträger verkörpert, das Anweisungen für den Prozessor, diese Verfahren auszuführen, umfasst.
-
Vorteile können eine oder mehrere der nachfolgenden Merkmale umfassen. Ein Betreiber kann mühelos die thermische Gesundheit von Computern in einem Datenzentrum auf unterschiedlichen Aggregationsniveaus auswerten. Der Wert der thermischen Gesundheit kann über einen gewissen Zeitraum überwacht werden, wobei vergangenes Verhalten zur Prognose von künftiger thermischer Gesundheit verwertet werden kann. Korrekturmaßnahmen können getroffen werden, wenn die Variable der thermischen Gesundheit darauf hindeutet, dass die Computer einem Ausfallrisiko ausgesetzt sind, dadurch werden die Zuverlässigkeit verbessert und die Ausfallzeit des Datenzentrums reduziert.
-
Die Details einer oder mehrerer Ausführungsformen sind in den begleitenden Zeichnungen und der nachfolgenden Beschreibung dargelegt. Andere Merkmale, Objekte und Vorteile sind aus der Beschreibung und den Zeichnungen sowie aus den Patentansprüchen ersichtlich.
-
BESCHREIBUNG DER ZEICHNUNGEN
-
1A und 1B sind sektionale Seiten- und Planansichten bzw. Ansichten eines Objekts, das als Datenzentrum betrieben wird.
-
1C ist eine schematische Ansicht von Computers-Komponenten im Datenzentrum.
-
2 ist eine schematische Darstellung von Computern eines Datenzentrums, das zur Bereitstellung von Temperaturinformationen an einen Überwachungscomputer konfiguriert wurde.
-
3 ist ein Ablaufdiagramm, das das Verfahren des Datensammelns von Ausfalltemperaturen für die Computerkomponenten darstellt.
-
4 ist ein Ablaufdiagramm, das das Verfahren der thermischen Überwachung eines Datenleistungszentrums darstellt.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Groß angelegte Internetleistungen und die dafür zur Unterstützung erforderliche massive parallele Computer-Infrastruktur kann die Gestaltung von Computersystemen in der Größe von Lagerhallen, z. B. Datenzentrumsanlagen, bestehend aus Tausenden oder Zehntausenden von Rechenknoten, deren zugeordnete Speicherhierarchie und Verbindungsinfrastruktur, erfordern. Das Datenzentrum kann zahlreiche verschiedene Computerausstattungstypen umfassen, z. B. unterschiedliche Computer-Typen, und jedes Ausstattungsstück ist typisch konstruiert aus einer Vielzahl von kleineren elektronischen Komponenten.
-
Wie oben angeführt, generieren Computerkomponenten Wärme. Thermische Ereignisse, z. B. Situationen, in denen die Temperatur der Computerkomponenten auf eine ausreichende Höhe ansteigt und zu kurzzeitiger Leistungsstörung führt oder langzeitige Zuverlässigkeit reduziert, können durch eine Vielfalt an Faktoren verursacht werden, beispielsweise durch Ausfälle von Kühlanlagen, Einsatz einer zu großen Computeranzahl in unmittelbarer Nähe (sodass die lokal generierte Wärme größer als die lokalen Kühlmöglichkeiten des Kühlsystems ist), übermäßige Auslastung und saisonbedingte Schwankungen.
-
Unterschiedliche Computer können verschiedene Empfindlichkeitsstufen hohen Temperaturen gegenüber aufweisen, z. B. die Temperatur, bei der Komponenten ausfallen, eine Leistungsstörung erleiden oder langfristig an Zuverlässigkeit verlieren; außerdem variiert die Art des Ausfalls von Plattform zu Plattform unterschiedlicher Konfiguration. Außerdem ist davon auszugehen, dass nur Spezialisten die Gefahr verstehen, die für Computer von ursprünglichen Temperaturmessungen ausgehen. Um Temperaturdaten für einen fachunkundigen Betreiber hilfreicher zu gestalten, z. B. zum Zwecke des menschlichen Entscheidungsprozesses in reeller Zeit oder zur Gestaltung von vorprogrammierten Reaktionen, können Temperaturdaten für einen Computer oder eine Computergruppe in einen Wert der thermischen Gesundheit übersetzt werden.
-
Obwohl ein Wert der thermischen Gesundheit für eine einzelne Maschine generiert werden kann, ist thermische Gesundheit insbesondere bei der Auswertung einer großen Anzahl an Maschinen, z. B. eines gesamten Clusters, hilfreich.
-
Der Wert der thermischen Gesundheit kann auf eine Bandbreite hinweisen, z. B. wie „nah“ der Computer oder die Computergruppe bei einer Leistungsstörung liegt. Die gesamte thermische Gesundheit eines Datenzentrums kann durch eine Verteilung anstatt als einzelner Extremfall oder maximaler Wert geregelt werden.
-
Ein exemplarisches Datenzentrum-Objekt wird als Einleitung zu den Themen der thermischen Überwachung beschrieben.
-
1A und 1B sind Seiten- und Planansichten zur Darstellung eines exemplarischen Objekts 10, das als Datenzentrum dient. Das Objekt 10 umfasst einen angefügten Raum 12 und kann im Wesentlichen ein ganzes Gebäude oder aber einen oder mehrere Räume innerhalb eines Gebäudes besetzen. Die Größe des beigefügten Raums 12 reicht zur Installierung von zahlreichen (Dutzenden oder Hunderten oder Tausenden von) Regalen mit Computer-Ausstattung aus; und somit könnten hier Hunderte, Tausende oder Zehntausende von Computern untergebracht werden.
-
Module, z. B. Käfige 20, von auf Regalen montierten Computern werden im Raum in Reihen angeordnet 22, voneinander getrennt durch Zugangsgänge 24. Jeder Käfig 20 kann eine Vielzahl von Regalen 26 umfassen, z. B. von vier bis acht Regale, wobei jedes Regal eine Vielzahl von Computern 28, z. B. Ablagen, umfasst.
-
1C ist eine schematische Ansicht eines Computers vom Regal aus. Im Allgemeinen kann jeder Computer 28 eine Leiterplatte 50 umfassen, beispielsweise eine Hauptplatine, auf der eine Vielfalt an computerverbundenen Komponenten installiert ist, beispielsweise eine Zentraleinheit (CPU) 52, Speicher 54, eine oder mehrere Laufwerke 56, und ein Eingangs-/Ausgangsport 58 zur Verbindung des Computers mit dem Netzwerk anderer Computer im Datenzentrum.
-
Wieder unter Bezug auf 1A und 1B, das Objekt umfasst auch ein Kühlsystem, um Wärme vom Datenzentrum über einen oder mehrere Wärmeaustauschprozesse abzuleiten, z. B. eine Luftkühlanlage zum Einblasen von Kaltluft durch den Raum, oder Kühlschlangen, die ein flüssiges Kühlmittel an den Regalen vorbei tragen, und ein Datenraster 40 (siehe 1C) zur Verbindung mit den auf den Regalen montierten Computern, um Daten zwischen den Computern und dem externen Netzwerk, z. B. dem Internet, zu transportieren.
-
Wie oben erwähnt, können bei Computer-Komponenten, beispielsweise dem Mikroprozessor, Speicher oder Laufwerk, Fehler eintreten, wenn diese hohen Temperaturen ausgesetzt sind. Das Ausfallen einer Komponente umfasst typischerweise eine Vielzahl von Modi, beispielsweise eine erste Temperaturzone, wo die Leistung der Komponente sich verändert (in der Regel reduziert wird), eine höhere zweite Temperaturzone, in der die Fehlerrate der Komponente, z. B. Lese-/Schreibfehler für ein Laufwerk, dramatisch ansteigt, und eine noch höhere dritte Temperaturzone, in der die Komponente komplett ausfällt. Die Temperaturen, bei denen Komponenten die unterschiedlichen Ausfallmodi aufweisen, können unabhängig durch empirische Mittel charakterisiert werden. Allerdings können andere Erwägungen eintreten, die die Leistung beeinträchtigen können, einschließlich Komponenten-Einschaltdauer, Spannung und Herstellungsvarianten.
-
Die Reihenfolge, in der Komponenten in Abhängigkeit von Temperatur ausfallen, kann ähnlich sein oder über unterschiedliche Plattformen variieren, z. B. bei einigen Plattformen kann der Speicher mit dem Temperaturanstieg zuerst ausfallen, gefolgt vom Laufwerk, gefolgt von der Zentraleinheit. Andere Reihenfolgen sind möglich. So kann zum Beispiel auf einigen Plattformen die Leistung der Zentraleinheit äußerst anfällig für Temperaturüberschreitungen sein, gefolgt von Laufwerken und danach vom Speicher. Allerdings variiert die exakte Temperatur, bei der Störungen auftreten, bei Plattformen unterschiedlicher Konfiguration. So werden zum Beispiel bei verschiedenen Modellen von Zentraleinheiten bei verschiedenen Temperaturen Fehler eintreten. Somit kann es durchaus sein, auch wenn Temperaturdaten zur Verfügung stehen, dass die Temperaturdaten an für sich nicht zwingend hilfreiche Informationen über die thermische Gesundheit der Maschine bereitstellen, geschweige denn eine Sammlung von Maschinen mit unterschiedlichen Konfigurationen, wie dies beispielsweise typischerweise in einem Datenzentrum der Fall ist.
-
Somit wäre es, wie oben angegeben, für den menschlichen Betreiber eines Datenzentrums hilfreich, Anzeigen des thermischen Zustandes eines Computers oder einer Gruppe von Computern aufweisen, die keine Kenntnisse einer bestimmten Plattform erfordern, um auswerten zu können, ob der Computer ausfallen wird oder ob eine Ausfallgefahr besteht. Ausfall kann sowohl verminderte Leistung oder irreparablen Schaden oder beides bedeuten, verschiedene Ausfalltypen können verschiedene Gewichtungen bei der Festlegung der thermischen Gesundheit empfangen.
-
Die Tatsache, dass Komponenten dazu tendieren, mit dem Temperaturanstieg der gleichen Reihenfolge an Ausfallmodi begegnen, führt mit dem Temperaturanstieg zu einer bestimmten Sequenz an Fehlermodi. Auf diese Weise wird der Computer mit dem Temperaturanstieg dazu tendieren, durch mehrere Zonen der thermischen „Gesundheit“ durchzugehen, z. B. bei niedrigeren Temperaturen wird der Computer normal funktionieren und kann als „gesund“ betrachtet werden, bei höheren Temperaturen werden bestimmte Fehler auftreten und der Computer könnte als „ungesund“ erachtet werden; sobald aber der Computer komplett ausfällt, könnte dieser als „tot“ erachtet werden. Außerdem könnte der „ungesunde“ Zustand mehrere Niveaus umfassen, weil die Fehler dann häufiger werden oder aber weil Fehler dann bei einer größeren Anzahl an Komponenten auftreten. Außerdem kann es eine „Gefahren-“Phase geben, die anzeigt, dass der Computer bei einem weiteren Temperaturanstieg die „ungesunde“ Phase betritt und bei noch höherer Temperatur eine „kritische“ Phase, die anzeigt, dass der Computer am Rande eines Totalausfalls steht. Es könnte fast jegliche Anzahl an einzigartigen Gesundheitsniveaus definiert werden.
-
Diese allgemeine Anzeige des thermischen Zustandes des Computers kann als „Variable der thermischen Gesundheit“ bezeichnet werden, die einen „Wert der thermischen Gesundheit“ aufweisen kann. Somit ist die Variable der thermischen Gesundheit ein metrischer, typischerweise ein dimensionsloser metrischer, thermischer Zustand eines Einzelcomputers oder eine Aggregation von Computern im Datenzentrum, der aber unabhängig von der besonderen Konfiguration des Computers ist.
-
Die Variable der thermischen Gesundheit kann über Computer unterschiedlicher Konfiguration normalisiert werden. Das heißt, der Wert der thermischen Gesundheit wird für den einzelnen Computer kalkuliert und fällt in eine Skala über mehrere Computer hinweg, z. B. über alle Computer eines Datenzentrums, mindestens mit den Endpunkten der gemeinsamen Skala (und potentiell mindestens einigen Mittelpunkten auf der Skala), die ähnliches Verhalten der Computer darstellen. Solch ein Wert der thermischen Gesundheit kann aus der Kombination von aktuellen Messungen der für die Maschine indikativen Temperatur kalkuliert werden, und der historisch empirischen Messungen von Temperaturen, bei welchen dieses Verhalten auftritt. Da Datenzentren eine heterogene Sammlung von Ausstattungen darstellen, bietet eine Normalisierung über diese Unterschiede hinweg einen verwertbaren Parameter zur Beurteilung der thermischen Gesundheit des gesamten Clusters. Im Wesentlichen sollte die Variable der thermischen Gesundheit die Gesundheit des Computers oder der Computergruppe darstellen, aber unabhängig von den einzelnen Maschinenbesonderheiten sein.
-
In einigen Fällen ist das System nur so gesund wie dessen ungesündeste Komponente. Wenn beispielsweise eine Zentraleinheit „tot“ ist, dann ist der gesamte Computer tot. In einigen Fällen ist die thermische Gesundheit eine Aggregation von einzelnen thermischen Gesundheiten. Thermische Gesundheit auf einem Datenzentrum-Niveau ist beispielsweise eine Aggregation von thermischen Gesundheiten für einzelne Maschinen. In einigen Umsetzungen können die thermischen Gesundheiten aggregiert werden, um die thermische Gesundheit der Aggregation von Computern zu bereitstellen, einfach durch das Zusammenziehen des Durchschnitts der thermischen Gesundheit der einzelnen Computer in der Aggregation.
-
2 ist ein schematisches Diagramm eines Systems zur Festlegung eines Werts der thermischen Gesundheit. Mindestens einige der Computer 28 im Datenzentrum sind mittels eines Netzwerks verbunden, z. B. des Datenrasters 40, an einen Überwachungscomputer 60, beispielsweise einen Universalcomputer, z. B. eine Arbeitsstation.
-
Jeder dieser Computer 28 weist mindestens einen Sensor auf, der die Temperatur mindestens einer der Komponenten misst. So können beispielsweise die Computer 28 Sensoren zum Messen der Temperatur von Zentraleinheit, Speicher, Laufwerk oder Hauptplatine benutzen. Außerdem können die Computer 28 andere indikative Daten der thermischen Gesundheit, beispielsweise Ventilatorgeschwindigkeit kumulieren, die anzeigen würde, wie schwer die Maschine zur eigenen Kühlung arbeitet. Wenn beispielsweise zwei Maschinen die gleiche Temperatur aufweisen, die Ventilatorgeschwindigkeit der ersten Maschine jedoch das Maximum ihres möglichen Werts erreicht, während die Ventilatorgeschwindigkeit der zweiten Maschine einen nominalen Wert aufweist, so würde die thermische Gesundheit für die erste Maschine als etwas schlechter berichtet werden, weil diese Maschine weniger imstande ist, ihre thermische Gesundheit unter ungünstigen Bedingungen aufrecht zu erhalten. Außerdem können Sensoren in den Regalen oder Käfigen zum Messen der Umgebungstemperatur installiert werden, z. B. der Lufttemperatur in der Nähe des Computers 28; diese Daten können dann bei der Festlegung der thermischen Gesundheit verwendet werden. Außerdem können die Computer Daten im Zusammenhang mit deren Leistungsaufnahme und/oder Auslastung sammeln, denn bei Temperatur kann davon ausgegangen werden, dass diese mit Leistung und Auslastung skaliert wird. Der Computer 28 kann thermische Daten von anderen Wärmesensoren auf Ablageniveau empfangen und von anderen Sensoren auf Regal- oder Käfigniveau, z. B. Sensoren zur Überwachung der Kühlinfrastruktur für ein Regal oder einen Käfig, z. B. die die eintretende Lufttemperatur messen (EAT), die austretende Lufttemperatur (LAT), die eintretende Wassertemperatur (EWT) und die austretende Wassertemperatur (LWT).
-
In einigen Umsetzungen kalkuliert jeder Computer seine eigene thermische Gesundheit auf der Grundlage der Besonderheiten seiner einzelnen Komponenten und verfügbaren Daten von Sensoren. In einigen Umsetzungen senden einige oder alle Computer ihre Messungen an einen Überwachungscomputer 60, und der Überwachungscomputer 60 kalkuliert die thermische Gesundheit aufgrund der eingegangenen Daten. Der Überwachungscomputer 60 kann thermische Daten von anderen Wärmesensoren auf Ablageniveau und von anderen Quellen der Hardware-Gesundheitsinformation empfangen. In einigen Umsetzungen werden die von den Computern 28 kalkulierten Werte der thermischen Gesundheit an den Überwachungscomputer 60 gesendet und der Überwachungscomputer kann thermische Gesundheit für Aggregationen der Computer 28 kalkulieren.
-
3 ist ein Ablaufdiagramm, das das Verfahren zur Festlegung der Ausfalltemperaturen eines Computers darstellt. Zunächst wird die Reaktion eines oder mehrerer Computer auf Temperatur, einschließlich der Ausfalltemperatur von Computerkomponenten, empirisch bestimmt (Schritt 102). Ein Testcomputer mit bekannten Komponenten kann beispielsweise in ein Umfeld mit Temperaturkontrolle, z. B. einen Ofen, platziert werden. Der Testcomputer ist in Betrieb, während die Umgebungstemperatur angehoben wird. Die Leistung des Testcomputers wird überwacht, der Testcomputer kann nun z.B. Testroutinen durchlaufen und über Fehler berichten, während Thermoelemente oder andere Sensoren die Temperaturen der Komponenten messen können. Aufgrund dieser Daten können die Temperaturen, bei denen die Komponenten ausfallen, bestimmt werden. Die Daten zur Anzeige der Komponenten und deren Ausfalltemperaturen können in einer Datenbank gespeichert werden (Schritt 104).
-
Für jeden Plattform-Typ kann eine Funktion zur Zuordnung der für diese Plattform verfügbaren Sensoren-Messungen zum Wert der thermischen Gesundheit generiert werden. Diese Funktionen können auch in einer die Plattformen mit den Funktionen verbindenden Datenbank gespeichert werden. Ein im Datenzentrum installierter Computer kann (vor oder nach der Installierung) konfiguriert werden, um eine seiner Plattform entsprechende Funktion einzubeziehen. Die ursprüngliche Entscheidung darüber, was einen „Ausfall“ bei einer bestimmten Komponente oder einem Computer ausmacht, um einen zugeordneten Schwellenwert einzustellen, kann einige Beurteilungen durch den Gestalter des Überwachungssystems der thermischen Gesundheit einbeziehen, aber so lange das Mapping konsistent ist, indem die eine Seite den Bereich für den Wert der thermischen Gesundheit eine gute Leistung darstellen, und die andere Seite einen Fast-Totalausfall darstellt, sollte die Variable der thermischen Gesundheit hilfreiche Informationen bereitstellen. Außerdem kann eine einigermaßen konsistente Regel für ähnliche Komponenten aufgestellt werden, d.h. wir können davon ausgehen, dass wenn unterschiedliche Plattformen den gleichen Wert der thermischen Gesundheit aufweisen, diese den gleichen Leistungsabfall durchmachen. So kann beispielsweise eine bestimmte Fehlerrate (z. B. im Sinne von Fehlern/Sekunde), für einen bestimmten Komponententypen, z. B. für den Speicher, durch den Designer ausgewählt werden, und somit konsistent einen bestimmten Wert der thermischen Gesundheit, z. B. einen Schwellenwert zwischen den verschiedenen gewünschten Deskriptoren, z. B. „gesund“ und „ungesund“, abbilden.
-
4 ist ein Ablaufdiagramm, das das Verfahren zur Festlegung eines Werts der thermischen Gesundheit während des Betriebs eines Datenzentrums darstellt. Einige oder alle Computer senden Daten, die die Temperatur ihrer Komponenten anzeigen, an den Überwachungscomputer (Schritt 110). Für jeden Computer kalkuliert der Überwachungscomputer eine Variable der thermischen Gesundheit aufgrund der eingegangenen Temperaturdaten und der zuvor gemessenen Ausfalltemperaturen für die Komponente im Computer (Schritt 112). In einigen Umsetzungen speichert der Computer die Funktion und kalkuliert seine eigene thermische Gesundheit aufgrund der Besonderheiten seiner einzelnen Komponenten und der verfügbaren Sensoren und sendet danach die kalkulierte thermische Gesundheit an einen Überwachungscomputer.
-
Die Variable der thermischen Gesundheit kann aus Daten aus einer Vielfalt aus Sensoren an jedem Computer kalkuliert werden, einschließlich Temperatursensoren, Ventilatorgeschwindigkeit, Leistung und Auslastung. Um Vergleiche über verschiedene Plattformtypen zu ermöglichen, wird die Variable der thermischen Gesundheit normalisiert, um ähnliche Maschinenverhalten bei ähnlichen thermischen Gesundheitswerten zu signalisieren. Zum Beispiel fallen beim niedrigsten Wert der thermischen Gesundheit, z. B. bei 0, alle Maschinen in die Kategorie einer erheblichen Toleranz zum gefahrlosen Temperaturanstieg, wobei beim höchsten Wert der thermischen Gesundheit, z. B. bei 10, alle Maschinen in die Kategorie der permanenten Schäden fallen. Wie zuvor ausgeführt, stehen die Maschinenverhalten in Beziehung zu zuvor gemessenen Ausfalltemperaturen (Schritt 112).
-
Die kalkulierte Variable der thermischen Gesundheit kann eine dimensionslose Metrik, z. B. eine Zahl, sein. In einigen Umsetzungen weist die Variable der thermischen Gesundheit eine begrenzte geringe Anzahl an möglichen Werten auf. Die Variable der thermischen Gesundheit kann beispielsweise eine ganze Zahl von 0 bis 10 oder von 1 bis 5 sein, z. B. mit niedrigeren Zahlen, die auf eine bessere Gesundheit hindeuten. In einigen Umsetzungen kann die Variable der thermischen Gesundheit eine Zahl mit einer sehr hohen Anzahl an möglichen Werten sein, z. B. vertreten durch ein Wort von Daten im Computer; in solchen Umsetzungen kann der Wert der thermischen Gesundheit eine reelle Zahl sein, z. B. im Bereich von 0 bis 1 oder von 0 bis 10.
-
Die Variable der thermischen Gesundheit kann dem Betreiber angezeigt werden. In einigen Umsetzungen kann die Variable der thermischen Gesundheit mit einer zugeordneten Textbeschreibung angezeigt werden, z. B. „gut“, „Ok“ oder „schlecht“. Andere Deskriptoren können folgende Textbeschreibungen umfassen: „Erhebliche Toleranz“, „Normale Betriebsbedingung“, „Überschreitung der normalen Betriebsbedingung“, „Verminderte Leistung“, „Erhöhte Fehlerrate“, und „Permanente Störung.“ In einigen Umsetzungen wird der numerische Wert nicht angezeigt und es wird nur die Textbeschreibung angezeigt.
-
Wo die Variable der thermischen Gesundheit eine begrenzte geringe Anzahl an möglichen Werten aufweist, könnten die textuellen Beschreibungen auf der Basis 1:1 mit den Werten abgebildet werden, oder der Wert der thermischen Gesundheit könnte selbst eine textuelle Beschreibung sein (eher als eine Zahl). Wo die Variable der thermischen Gesundheit effizient kontinuierlich sein kann, können unterschiedliche Wertebereiche den textuellen Deskriptoren zugeordnet werden. Wenn die Variable der thermischen Gesundheit beispielsweise zwischen 0 und 1 skaliert, dann können Werte von 0 bis 0,75 darauf hinweisen, dass die Maschine innerhalb des erwarteten Temperaturbereichs funktioniert, Werte von 0,75 bis 0,9 können darauf hinweisen, dass die Maschine außerhalb des erwarteten kontrollierbaren Temperaturbereichs funktioniert, Werte von 0,9 bis 1 können darauf hinweisen, dass die Maschine die Drossel- oder die maximal zulässige Temperatur erreicht hat, und ein Wert von 1 weist darauf hin, dass die Maschine die maximal zulässige Temperatur erreicht hat.
-
Im Allgemeinen können die eingegangenen Temperaturdaten zur Kalkulation der Variable der thermischen Gesundheit einer Funktion zugeführt werden, in der die zuvor gemessenen Ausfalltemperaturen der Testcomputer die Schwellenwerte festlegt. Die eingegangenen Temperaturen werden zur Festlegung der Variable der thermischen Gesundheit mit den Schwellenwerten verglichen. Beispielsweise wird durch das Überschreiten jeglicher ersten eingestellten Schwellenwerte die thermische Variable als „ok“ eingestellt, wobei durch das Überschreiten jeglicher zweiten eingestellten Schwellenwerte die thermische Variable als „schlecht“ eingestellt wird. Die Funktion kann ziemlich kompliziert sein, einschließlich der Kalkulation eines Werts von Unterschieden zwischen den Temperaturmessungen und den Schwellenwerten und Abwägung der Unterschiede aufgrund der Komponententypen oder Schwellenwert.
-
Zuzüglich zu den Konstanten in der Funktion (z. B. den empirisch gemessenen Schwellenwerten), die sich von Maschine zu Maschine unterscheiden und von den Toleranzen der Komponenten von bestimmten Maschinen abhängig sind, können die in der Funktion verwendeten Variablen (z. B. der Messungstyp, beispielsweise Temperatur oder Auslastung) und das Verhältnis der Variablen in der Funktion von Maschine zu Maschine variieren, so lange der kalkulierte Wert innerhalb der über mehrere Computer gemeinsamen Skala fällt. So verwenden beispielsweise einige Computer Temperaturmessungen, um den Wert der thermischen Gesundheit zu kalkulieren, und andere Computer verwenden die Auslastung, um den Wert der thermischen Gesundheit zu kalkulieren. So lange die Werte eine gemeinsame Skala anwenden, können diese zur Bestimmung der thermischen Gesundheit des Computer-Aggregats, z. B. durch eine einfache Durchschnittsbildung, aggregiert werden. In einigen Umsetzungen werden einige Computer im Zusammenhang mit der thermischen Gesundheit des Computer-Aggregats mehr gewichtet als andere Computer.
-
In einigen Umsetzungen ist der Wert der thermischen Gesundheit ein numerischer aus anderen numerischen Messungen und empirisch gemessenen Schwellenwerten von Verhalten kalkulierter Wert. In einem Beispiel lautet ein Algorithmus zur Ableitung eines normalisierten dimensionslosen Werts der thermischen Gesundheit zwischen 0 und 1, wobei 0 die maximal mögliche Toleranz bedeutet und 1 anzeigt, dass die Maschine in der oder über der höchsten/schlechtesten Verhaltenszone ist, wie folgt: THV – 1 – [Tzulässig – T]/Mmax wobei THV den Wert der thermischen Gesundheit bedeutet, Tzulässig ist die maximal zulässige Temperatur vor den höchsten/schlechtesten Verhaltensänderungen, T die berichtete Temperatur vom Sensor, und Mmax ist die maximal zulässige erwartete Toleranz, die zur Normalisierung der Ergebnisse zwischen 0 und 1 verwendet wird.
-
Der Überwachungscomputer kommuniziert mit den einzelnen Computern durch das gesamte Datenzentrum. Wahlweise kann der Überwachungscomputer die Daten der thermischen Gesundheit zur weiteren Prozessierung aggregieren, z. B. der Überwachungscomputer kann wahlweise die Variablen der thermischen Gesundheit für eine oder mehrere Computer-Aggregationen kalkulieren (Schritt 114). Der Wert der thermischen Gesundheit der Aggregation kann als Mittelwert der Variablen der thermischen Gesundheit der einzelnen Computer in der Aggregation kalkuliert werden, obwohl andere Techniken, beispielsweise die kumulativen Verteilungsfunktionen oder Effektivwerte anwendbar sind.
-
Die Aggregation kann eine standortbasierte Aggregation sein, d.h. sie basiert auf dem physischen Standort der Computer. So kann beispielsweise der Wert der thermischen Gesundheit für eine Computergruppe innerhalb des jeweiligen Regals, Moduls, Reihe, Clusters oder Datenzentrums bestimmt werden.
-
Die Aggregation kann eine infrastrukturbasierte Aggregation sein, d.h. auf der Basis von Computern, die eine gemeinsame Infrastruktur-Komponente teilen. So könnte beispielsweise der Wert der thermischen Gesundheit für eine Computergruppe innerhalb einer bestimmten Leistung oder Kühldomäne bestimmt werden.
-
Die Aggregation kann eine servicebasierte Aggregation sein, d.h. auf der Basis der von dem Computer im Datenzentrum erbrachten Funktion, oder sogar auf der Basis des Kunden, dem die Computer dienen. So könnte beispielsweise der Wert der thermischen Gesundheit für eine Computergruppe im Datenzentrum bestimmt werden, die Suchergebnissen, E-Mails oder dem Mapping dienen. Die Aggregation kann eine logische Netzwerkgruppierung sein, z. B. auf der Basis von Computern innerhalb einer bestimmten Netzwerkdomäne oder Subdomäne.
-
Die Darstellung der thermischen Gesundheit einer Aggregation als kumulative Verteilungsfunktion, d.h. der Prozentsatz an Computer, die bei oder unter dem jeweiligen Wert der thermischen Gesundheit funktionieren, kann hilfreich sein.
-
Sobald die Variable der thermischen Gesundheit bestimmt wurde, kann sie verwendet werden, z. B. automatisch durch die Kontrollsoftware, um die Leistung der Computer anzupassen und somit einen thermisch bedingten Ausfall zu verhindern. Wenn beispielsweise die Variable der thermischen Gesundheit einen bestimmten Schwellenwert überschreitet oder eine Warnung anzeigt, dann können die Computer in einer Aggregation gedrosselt werden, z. B. durch Umleitung von Anfragen zu anderen Computern, um die Auslastung der Computer in der Aggregation und somit den Stromverbrauch und die Temperatur zu reduzieren. Als ein anderes Beispiel kann die Variable der thermischen Gesundheit zur Kontrolle des Kühlsystems oder anderer Kühlressourcen verwendet werden, z. B. wenn der Wert der thermischen Gesundheit einen bestimmten Schwellenwert überschreitet, dann kann die Geschwindigkeit der Wärmeabfuhr angehoben werden, um die Temperatur der Computer zu senken und die Ausfallgefahr zu reduzieren. Umgekehrt kann das bedeuten, wenn der Wert der thermischen Gesundheit unterhalb eines bestimmten Schwellenwerts liegt, dass die Computer eine bestimmte Toleranz zur Betreibung bei höherer Temperatur aufweisen und dass die Geschwindigkeit der Wärmeabfuhr gesenkt werden kann, um die Kühlungskosten zu reduzieren. In Extremsituationen können Computer automatisch abgeschaltet werden, wenn ein oder mehrere Computer einen kritischen Schwellenwert überschreiten, um permanenten Schaden an den Computerkomponenten zu verhindern.
-
Der Überwachungscomputer kann automatisch einen Alarm generieren, um den Betreiber des Datenzentrums zu alarmieren, wenn eine Variable der thermischen Gesundheit einen Schwellenwert überschreitet, z. B. wenn diese einen voreingestellten Wert überschreitet. Beispielsweise kann der Wert der thermischen Gesundheit eines Regal-Niveaus als Mittelwert der thermischen Gesundheit aller Computer im betreffenden Regal generiert werden. Als Beispiel einer Alarmbedingung kann ein Alarm generiert werden, wenn ein voreingestellter Prozentsatz, z. B. 4% zu 10%, der Regale im Cluster einen Wert der thermischen Gesundheit aufweisen, dass einen voreingestellten Wert überschreitet, z. B. 0,75 auf einer Skala von 0 bis 1. Die Funktion kann eine Sicherheitstoleranz umfassen, sodass wenn einige Temperaturen nahe beim Schwellenwert liegen, die Variable der thermischen Gesundheit eine Warnung anzeigt.
-
Die Variable der thermischen Gesundheit kann auch verwendet werden, um Entscheidungen betreffend die Maschinenplatzierung zu treffen. So kann ein Betreiber beispielsweise durch Vergleich der am Regalniveau aggregierten Werte der thermischen Gesundheit bestimmen, welche Regale eine größere Kapazität aufweisen, um zusätzliche thermische Belastungen zu bewältigen (z. B. in der Annahme, dass Regale mit den niedrigsten Werten der thermischen Gesundheit am besten in der Lage sind, um zusätzliche thermische Belastungen zu bewältigen). Danach können Prioritäten bei der Platzierung von neuen Maschinen in die Regale mit der größeren Kapazität gesetzt werden, um zusätzliche thermische Belastungen zu bewältigen.
-
Die relative Abwägung der Störungskategorien (z. B. verminderte Leistung versus irreparablen Schaden) könnte für oder durch den Kunden eingestellt werden, denn einige Kunden betrachten einen Störungstyp schlimmer als einen anderen.
-
Eine thermische Änderungsquote, z. B. die zeitliche Ableitung aus der thermischen Variable, kann für einen Computer oder eine Aggregation von Computern kalkuliert werden. Eine hohe Änderungsquote kann darauf hindeuten, dass eine Maschine oder eine Gruppe von Maschinen in Schwierigkeiten ist. Diese thermische Änderungsquote kann – wie oben erörtert – für die Variable der thermischen Gesundheit normalisiert werden.
-
Der Wert der thermischen Gesundheit kann kalkuliert werden, auch wenn keine empirischen Messungen auf einer bestimmten Plattform durchgeführt wurden. Angenommen, dass die Merkmale der Plattform gespeichert sind, z. B. der Typ der Zentraleinheit, des Speichers und der Anzahl sowie der Typ von Laufwerken, und angenommen, dass empirische Messungen auf einer ähnlichen Ausstattung durchgeführt wurden, z. B. mit gleichen oder ähnlichen Komponenten, so können ungefähre Ausfalltemperaturen kalkuliert werden. So können beispielsweise Ausfalltemperaturen von den gemessenen Ausfalltemperaturen der anderen Testkomponenten interpoliert werden, z. B. Testkomponenten des gleichen Herstellers.
-
Unterschiedliche Schritte der oben erörterten Verfahren, insbesondere die Kalkulation des Wertes der thermischen Gesundheit, werden von einem Computer ausgeführt. Einige Schritte, beispielsweise das Abschalten von Computern als Reaktion auf erhöhte Gefahrenniveaus der Variable der thermischen Gesundheit, könnten von menschlichen Betreibern ausgeführt werden als Reaktion auf die eingegangene Variable der thermischen Gesundheit, z. B. wenn diese angezeigt wird oder automatisch durch die Kontrollsoftware, z. B. im Überwachungscomputer.
-
Ein Vorteil der thermischen Gesundheit einer Maschine liegt darin, dass normalisierte Werte generiert werden; deshalb braucht der Betreiber oder ein Programmierer, der eine Variable der thermischen Gesundheit verwendende Kontrollsoftware gestaltet, den Plattformtyp nicht zu kennen. Die thermische Gesundheit kann über zahlreiche unterschiedliche Dimensionen aggregiert werden, und zahlreiche unterschiedliche statistische Verfahren können zum Sammeln von Informationen über die Gesundheit der Computer angewandt werden. Außerdem kann die Variable der thermischen Gesundheit nicht nur bei Computern zum Einsatz kommen, sondern auch bei anderer Computerausstattung, die infolge von hohen Temperaturen ausfallen könnte, beispielsweise Netzwerkschalter, Smart-Regale oder Stromversorgungsaggregate.
-
Die Ausführungsformen und alle in dieser Spezifikation beschriebenen funktionellen Arbeitsweisen können in digital elektronischen Schaltungen oder in Computer-Software, -Firmware oder -Hardware implementiert werden, einschließlich der in dieser Spezifikation offengelegten strukturellen Mittel und deren strukturellen Äquivalenten oder in Kombinationen davon. Die Ausführungsformen der Erfindung können als ein oder mehrere Computerprogrammprodukte implementiert werden, d.h. eines oder mehrere Computerprogramme konkret verkörpert in einem Informationsträger, z. B. in einem maschinenlesbaren Datenträger, beispielsweise einem Speicher oder einer Disk, oder in einem verbreiteten Signal, zur Ausführung durch oder zur Kontrolle des Betriebs von Datenverarbeitungsgeräten, z. B. eines programmierbarer Prozessors, eines Computers, oder mehrerer Prozessoren oder Computer.
-
Eine Anzahl an Ausführungsformen der Erfindung wurde beschrieben. Allerdings wird dabei vorausgesetzt, dass unterschiedliche Modifikationen gemacht werden können, ohne von der Reichweite und dem Umfang der Erfindung abzuweichen. Dementsprechend liegen Ausführungsformen innerhalb des Umfangs der nachfolgenden Ansprüche.
