DE202011102654U1

DE202011102654U1 - Arrangement for operating a high-performance computer

Info

Publication number: DE202011102654U1
Application number: DE201120102654
Authority: DE
Original assignee: MEGWARE COMP GmbH; MEGWARE COMPUTER GmbH
Current assignee: MEGWARE COMP GmbH; MEGWARE COMPUTER GmbH
Priority date: 2011-06-06
Filing date: 2011-06-30
Publication date: 2011-08-19
Anticipated expiration: 2021-07-01

Abstract

Anordnung zum Betreiben von Hochleistungsrechnern, umfassend eine Vielzahl von jeweils in Racksystemen untergebrachten Einzelcomputern oder Servern, welche mit einer Flüssigkeitskühlung versehen sind, wobei je Rack des Systems eine Zusatzluftkühlung vorhanden ist, dadurch gekennzeichnet, dass entsprechend den jeweiligen Umweltbedingungen am Betriebsort des Hochleistungsrechners einschließlich der Vorlauftemperatur für die Flüssigkeitskühlung eine optimierte Klimatisierungsbetriebsart gewählt wird, wobei – bis zu einer ersten Vorlauftemperatur VLT1 die Flüssigkeitskühlung der Hotspots der Einzelcomputer oder Server mit einer Umgebungs-Zusatzluftkühlung ergänzt wird, – ab einer zweiten Vorlauftemperatur VLT2 die Flüssigkeitskühlung der Hotspots der Einzelcomputer oder Server mit einer Zusatzluftkühlung ergänzt wird, welche im jeweiligen Rack durch dort vorhandene Luft-Wasser-Wärmetauscher Kühlluft bereitsstellt, deren Temperatur von der Umgebung unabhängig ist, wobei die Ausgänge der Luft-Wasser-Wärmetauscher und der Flüssigkeitskühler auf einen gemeinsamen Wärmetauscher zur freien Rückkühlung oder zur Wärmenutzung führen, und – ab einer dritten Vorlauftemperatur VLT3 die Flüssigkeitskühlung der Hotspots der Einzelcomputer oder Server mit...Arrangement for operating high-performance computers, comprising a large number of individual computers or servers, each housed in rack systems, which are provided with liquid cooling, with additional air cooling being provided for each rack of the system, characterized in that according to the respective environmental conditions at the operating location of the high-performance computer, including the flow temperature An optimized air conditioning operating mode is selected for the liquid cooling, whereby - up to a first flow temperature VLT1, the liquid cooling of the hotspots of the individual computers or servers is supplemented with additional air cooling, - from a second flow temperature VLT2, the liquid cooling of the hotspots of the individual computers or servers with additional air cooling is supplemented, which already provides cooling air in the respective rack through existing air-water heat exchangers, the temperature of which is independent of the environment, with the outputs of the air t-water heat exchanger and the liquid cooler lead to a common heat exchanger for free re-cooling or for heat use, and - from a third flow temperature VLT3, the liquid cooling of the hotspots of the individual computers or servers with ...

Description

Die Erfindung betrifft eine Anordnung zum Betreiben von Hochleistungsrechnern, umfassend eine Vielzahl von jeweils in Racksystemen untergebrachten Einzelcomputern oder Servern, welche mit einer Flüssigkeitskühlung versehen sind, wobei je Rack des Systems eine Zusatzluftkühlung vorhanden ist, gemäß Anspruch 1.The invention relates to an arrangement for operating high-performance computers, comprising a multiplicity of individual computers or servers each accommodated in rack systems, which are provided with liquid cooling, wherein an additional air cooling system is present per rack of the system, according to claim 1.

Aus der DE 103 41 609 A1 ist eine Kühleinrichtung für Rechnereinheiten vorbekannt, die bei der Herstellung von Prozessrechnern unmittelbar einzubauen ist, aber auch so ausgebildet werden kann, dass vorhandene Rechnereinheiten nachrüstbar sind.From the DE 103 41 609 A1 a cooling device for computer units is already known, which is to install directly in the production of process computers, but can also be designed so that existing computer units can be retrofitted.

Gemäß der dortigen Lehre wird auf das Prinzip eines Verdampfer-Wärmetauscher-Prozesses zurückgegriffen, dessen geschaffene Kühleinrichtung den jeweiligen vorherrschenden Betriebsbedingungen in einer Computereinheit Rechnung trägt, wobei die am jeweiligen Arbeitsplatz herrschenden Arbeitsbedingungen berücksichtigt werden. Ein Ziel der dortigen Lösung ist es, den Energieverbrauch zu reduzieren und die Lärmentwicklung zu senken.According to the teaching there, use is made of the principle of an evaporator-heat exchanger process, the cooling device of which takes into account the prevailing operating conditions in a computer unit, taking into account the working conditions prevailing at the respective workstation. One goal of the local solution is to reduce energy consumption and reduce noise.

Hierfür ist die dortige Kühleinrichtung so ausgebildet, dass ein Kühlelement, ein Verdampfer und ein Wärmetauscher sowie ein Kondensator mittels flexibler Schlauchleitungen verbunden sind. Der Verdampfer ist im Inneren des Gehäuses der Rechnereinheit, vorzugsweise in unmittelbarer Nähe des Prozessors vorgesehen, während der Wärmetauscher und der Kondensator außerhalb der Rechnereinheit Platz finden.For this purpose, the local cooling device is designed so that a cooling element, an evaporator and a heat exchanger and a capacitor are connected by means of flexible hose lines. The evaporator is provided inside the housing of the computer unit, preferably in the immediate vicinity of the processor, while the heat exchanger and the capacitor can be accommodated outside the computer unit.

Der Verdampfer wird über eine Bodenplatte direkt auf dem jeweiligen Prozessor angeordnet. Das bei Erwärmung vaporisierte Kältemittel gelangt über eine Steigleitung in den oberhalb und außerhalb des Gehäuses befindlichen Wärmetauscher. Dort wird das Kühlmittel durch Abgabe der Wärme an die kühle Raumluft wieder verflüssigt und läuft schwerkraftbedingt über eine Rücklaufleitung zurück. Voraussetzung einer bestimmungsgemäßen Wirkungsweise der vorgeschlagenen Anordnung ist ein ausreichender Temperaturgradient zwischen der Raumtemperatur und der Verdampfungstemperatur. Höhere Rechnerleistungen, die mit einer höheren Wärmeabgabe in Verbindung stehen, können über eine derartige Anordnung ohne weitere Maßnahmen nicht beherrscht werden.The evaporator is placed on a bottom plate directly on the respective processor. The refrigerant vaporized during heating passes via a riser into the heat exchanger located above and outside the housing. There, the coolant is liquefied by giving off the heat to the cool room air again and runs due to gravity back over a return line. Prerequisite for a proper operation of the proposed arrangement is a sufficient temperature gradient between the room temperature and the evaporation temperature. Higher computer performance, which are associated with a higher heat output, can not be mastered about such an arrangement without further action.

Eine Wasserkühlung für Computer ist beispielsweise aus der DE 20 2004 007 907 U1 oder der DE 20 2006 005 160 U1 vorbekannt. Gemäß der dortigen Ausführungsform weist der Computer einen Rahmen auf, in dem eine Vielzahl von Kühlrippen vorgesehen ist, durch die Kühlwasserzuleitungen und Kühlwasserableitungen führen. Hier ist jeweils eine Wassereintritts- und eine Wasseraustrittsöffnung vorhanden, wobei zwischen den Wasseraustrittsöffnungen der Kühlwasserzuleitungen und den Wassereintrittsöffnungen der Kühlwasserableitungen eine Pumpe vorgesehen ist, die die Kühlwasserzuleitungen und die Kühlwasserableitungen miteinander verbindet, um einen Kühlwasserkreislauf entstehen zu lassen. Eine Kühleinrichtung in Form eines Radiators wird mit Kühlluft beaufschlagt, welche von einem Lüfter bereitgestellt wird. Weiterhin ist eine Kühlplatte vorhanden, die zum Absorbieren der Abwärme des zu kühlenden Gegenstands dient, welche mindestens einen Kühlwasserkanal aufweist.A water cooling system for computers is for example from the DE 20 2004 007 907 U1 or the DE 20 2006 005 160 U1 previously known. According to the local embodiment, the computer has a frame in which a plurality of cooling fins is provided, lead through the cooling water supply lines and cooling water drains. Here, in each case a water inlet and a water outlet opening is present, wherein between the water outlet openings of the cooling water supply lines and the water inlet openings of the cooling water discharge a pump is provided which connects the cooling water supply lines and the cooling water outlets together to create a cooling water circuit. A radiator in the form of a radiator is supplied with cooling air, which is provided by a fan. Furthermore, a cooling plate is provided, which serves to absorb the waste heat of the object to be cooled, which has at least one cooling water channel.

Mit einer derartigen Wasserkühlung kann die Temperatur einer CPU im Bereich der zulässigen Betriebstemperatur gehalten werden. Als nachteilig ist jedoch anzusehen, dass die von der CPU abgeführte Wärmeenergie auf einen Wärmetauscher gelangt, der sich innerhalb des Gehäuse der Rechnereinheit befindet, mit der Notwendigkeit einer ergänzenden Zwangsluftkühlung.With such water cooling, the temperature of a CPU can be kept within the allowable operating temperature. However, it is considered to be disadvantageous that the heat energy dissipated by the CPU reaches a heat exchanger which is located inside the housing of the computer unit, with the necessity of supplementary forced air cooling.

Ein ähnlicher Nachteil ergibt sich bei der Flüssigkeitskühlvorrichtung für mehrere elektronische Bauteile gemäß DE 20 2008 002 575 U1 . Dort sind zwei Flüssigkeitsblöcke über eine Leitung verbunden und mit Kühlflüssigkeit befüllt. An jeden der Flüssigkeitsblöcke kann ein elektronisches Bauteil montiert werden. Eine gemeinsame wärmeabführende Platte erstreckt sind integral von einem der Flüssigkeitsblöcke und reicht zu einem weiteren elektronischen Bauteil. Ein im Kühlkreislauf eingebundener Kühlkörper arbeitet pumpenunterstützt, befindet sich jedoch selbst auf der Platine, die die elektronischen Baugruppen und Bauelemente trägt.A similar disadvantage arises in the liquid cooling apparatus for a plurality of electronic components according to DE 20 2008 002 575 U1 , There are two blocks of liquid connected via a line and filled with coolant. An electronic component can be mounted on each of the liquid blocks. A common heat-dissipating plate extends integrally from one of the liquid blocks and extends to another electronic component. A heat sink integrated in the cooling circuit works pump-supported, but is itself located on the board that carries the electronic components and components.

Gemäß der DE 203 10 237 U1 soll bei einer Vorrichtung zum Kühlen von Elektronikkomponenten in elektronischen Gehäusen auf eine zusätzliche Luftkühlung verzichtet werden. Hierfür ist ein Kamingehäuse gebildet, in dessen Inneren ein schlaufenförmig verlegter Schlauch befindlich ist, der Kühlflüssigkeit führt. Mit Hilfe der Kaminwirkung des oben und unten offenen Gehäuses mit im Inneren befindlichem Schlauchwickel soll eine ausreichende Kühlung des Kühlmittels möglich werden. Allerdings bedarf es auch bei einer derartigen Ausführungsform eines ausreichenden Temperaturgradienten zwischen dem Kühlmedium, d. h. der Kühlflüssigkeit und der Umgebungstemperatur. Mithin dürfte die Leistungsfähigkeit der Kühlvorrichtung nach DE 203 10 237 U1 beschränkt sein.According to the DE 203 10 237 U1 should be dispensed with an apparatus for cooling electronic components in electronic housings on an additional air cooling. For this purpose, a Kamingehäuse is formed, in the interior of which a loop-laid hose is located, which leads coolant. With the help of the chimney effect of the top and bottom open housing with befindlichem inside hose winding a sufficient cooling of the coolant should be possible. However, even with such an embodiment, a sufficient temperature gradient between the cooling medium, ie the cooling liquid and the ambient temperature, is required. Consequently, the performance of the cooling device is expected to diminish DE 203 10 237 U1 be limited.

Aus dem Vorgenannten ist es daher Aufgabe der Erfindung, eine weiterentwickelte Anordnung zum Betreiben von Hochleistungsrechnern, umfassend eine Vielzahl von jeweils in Racksystemen untergebrachten Einzelcomputern oder Servern anzugeben, welche mit einer Flüssigkeitskühlung versehen sind und wobei je Rack des Systems eine Zusatzluftkühlung vorhanden ist. Bei der zu schaffenden Anordnung soll unter allen Betriebsbedingungen eine optimale Kühlung möglich sein, wobei die Zielstellung besteht, den Energiebedarf zur Kühlung bzw. zur Rückkühlung zu minimieren, so dass der Leistungsbedarf von sogenannten Supercomputern reduziert und die entsprechende Energiebilanz verbessert ist.From the foregoing, it is therefore an object of the invention, a further developed arrangement for operating high performance computers, comprising a plurality of each housed in rack systems single computers or servers specify which ones are provided with liquid cooling and where there is additional air cooling per rack of the system. In the case of the arrangement to be created, optimum cooling should be possible under all operating conditions, the objective being to minimize the energy requirement for cooling or for re-cooling, so that the power requirement of so-called supercomputers is reduced and the corresponding energy balance is improved.

Die Lösung der Aufgabe der Erfindung erfolgt durch eine Anordnung zum Betreiben von Hochleistungsrechnern gemäß der Merkmalskombination nach Anspruch 1, wobei die Unteransprüche mindestens zweckmäßige Ausgestaltungen und Weiterbildungen darstellen.The object of the invention is achieved by an arrangement for operating high-performance computers according to the feature combination according to claim 1, wherein the dependent claims represent at least expedient refinements and developments.

Bekanntermaßen ist die optimale Kühlung von Rechnersystemen ein wichtiges Kriterium zur Sicherstellung einer maximalen Rechenleistung. Dies gilt sowohl für Hochleistungsrechner als auch für Web- oder Rendering-Farmen bzw. Systeme zur Server-Virtualisierung.As is known, optimum cooling of computer systems is an important criterion for ensuring maximum computing power. This applies to high-performance computers as well as to web or rendering farms or systems for server virtualization.

Bei bekannten Systemen wird ein großer Anteil der insgesamt zur Verfügung stehenden Energie für die Erzeugung der notwendigen Klimatisierung und Bereitstellung von Kälte verwendet. Einsparungen an Energie und damit eine Verbesserung der Energiebilanz lassen sich dann erreichen, wenn die Abwärme in freier Kühlung rückführbar ist und die Rechnersysteme unter optimalen Umgebungsbedingungen arbeiten.In known systems, a large proportion of the total available energy is used for the generation of the necessary air conditioning and provision of cold. Savings in energy and thus an improvement in the energy balance can be achieved when the waste heat in free cooling is traceable and the computer systems operate under optimum environmental conditions.

Der erfindungsgemäße Ansatz zum Betreiben von Hochleistungsrechnern, umfassend eine Vielzahl von jeweils in Racksystemen untergebrachten Einzelcomputern oder Servern, welche mit einer Flüssigkeitskühlung versehen sind, wobei je Rack des Systems eine Zusatzluftkühlung vorhanden ist, geht davon aus, mit einer Warmwasserkühlung zu arbeiten, welche eine Vorlauftemperatur von 20°C oder mehr aufweist.The inventive approach for operating high performance computers, comprising a plurality of each housed in rack systems single computers or servers, which are provided with a liquid cooling, wherein each rack of the system additional air cooling is present, assumes to work with a hot water cooling, which is a flow temperature of 20 ° C or more.

Durch diese Lösungswege gelingt es, einen Großteil der für die Rückkühlung des Kühlwassers notwendigen Energie einzusparen. Ebenso kann durch Rücklauftemperaturen oberhalb z. B. 35°C eine freie Kühlung genutzt und/oder die Abwärme einer externen Verwendung zugeführt werden.These solutions make it possible to save a large part of the energy required for cooling the cooling water back. Likewise, by return temperatures above z. B. 35 ° C used a free cooling and / or the waste heat to be used externally.

Erfindungsgemäß wird demnach entsprechend den jeweiligen Umweltbedingungen am Betriebsort des Hochleistungsrechners einschließlich der Vorlauftemperatur für die Flüssigkeitskühlung eine optimierte Klimatisierungsbetriebsart gewählt.According to the invention, an optimized climate control mode is accordingly selected according to the respective environmental conditions at the operating location of the high-performance computer including the flow temperature for the liquid cooling.

Bis zu einer ersten Vorlauftemperatur VLT1 wird die an sich bekannte Flüssigkeitskühlung der Hotspots der Einzelcomputer oder Server mit einer Umgebungs-Zusatzluftkühlung ergänzt.Up to a first flow temperature VLT1 the liquid cooling known per se of the hotspots of the individual computers or servers is supplemented with an ambient additional air cooling.

Ab einer zweiten Vorlauftemperatur VLT2 wird die Flüssigkeitskühlung der Hotspots der Einzelcomputer oder Server ebenfalls mit einer Zusatzluftkühlung ergänzt, welche im jeweiligen Rack durch dort vorhandene Luft-Wasser-Wärmetauscher Kühlluft bereitstellt, deren Temperatur von der Umgebung unabhängig ist. Die Ausgänge der Luft-Wasser-Wärmetauscher und der Flüssigkeitskühler gelangen auf einen gemeinsamen Wärmetauscher zur Möglichkeit der freien Rückkühlung und/oder zur Wärmenutzung, z. B. zu Heizungszwecken.From a second flow temperature VLT2, the liquid cooling of the hotspots of the individual computer or server is also supplemented with an additional air cooling, which provides in the respective rack by there existing air-water heat exchanger cooling air, the temperature of which is independent of the environment. The outputs of the air-water heat exchanger and the liquid cooler reach a common heat exchanger for the possibility of free re-cooling and / or heat recovery, eg. B. for heating purposes.

Ab einer dritten Vorlauftemperatur VLT3 wird die Flüssigkeitskühlung der Hotspots der Einzelcomputer oder Server mit einer Zusatzluftkühlung kombiniert, welche neben dem gemeinsamen Wärmetauscher einen mit diesen gekoppelten Adsorber zur Kälteerzeugung aufweist.From a third flow temperature VLT3, the liquid cooling of the hotspots of the individual computers or servers is combined with an additional air cooling, which in addition to the common heat exchanger having a coupled with these adsorber for cooling.

In bevorzugter Ausgestaltung der Erfindung gestalten sich für den Betrieb maßgeblichen Vorlauftemperaturen wie folgt: VLT1 < VLT2 < VLT3.In a preferred embodiment of the invention, flow temperatures that are relevant for operation are as follows: VLT1 <VLT2 <VLT3.

Der Betrieb erfolgt mit der jeweils zur Verfügung stehen maximalen Vorlauftemperatur des Primärkreislaufs, und zwar zum Zweck einer energieoptimalen Arbeitsweise, wobei je nach gegebener Vorlauftemperatur die Leistung der entsprechenden Pumpen der Flüssigkeitskühlung angepasst ist.The operation takes place with the respectively available maximum flow temperature of the primary circuit, for the purpose of an energy-optimal operation, depending on the given flow temperature, the power of the corresponding pump of the liquid cooling is adjusted.

Bei der erfindungsgemäßen Anordnung können Mittel zur Flüssigkeitskühlung ca. 75% des Anteils entstehender Abwärme sowie mit der Luftkühlung der Restanteil der Abwärme aus dem jeweiligen Racksystem abgeführt werden.In the arrangement according to the invention means for liquid cooling about 75% of the proportion of waste heat arising and with the air cooling, the residual portion of the waste heat from the respective rack system can be removed.

Ein weiteres erfindungsgemäßes Merkmal besteht in der Reduzierung der Anzahl der Lüfter je Einzelcomputer oder Server, was zu einer Geräusch- und Energiesenkung führt.Another inventive feature is to reduce the number of fans per single computer or server, which leads to a noise and energy reduction.

Erfindungsgemäß ist die jeweilige Flüssigkeitskühlung als geschlossenes Kreislaufsystem ausgebildet.According to the invention, the respective liquid cooling is designed as a closed circulation system.

Der Betrieb der erfindungsgemäßen Anordnung ist unter Beachtung der Maximaltemperaturen der Einzelcomputer oder Server auf eine möglichst hohe Rücklauftemperatur einstellbar.The operation of the arrangement according to the invention is adjustable to the highest possible return temperature, taking into account the maximum temperatures of the individual computer or server.

Bei einer erfindungsgemäß realisierten ersten Anordnungsvariante wird z. B. mit einer Vorlauftemperatur von bis 12°C gearbeitet. Auch bei dieser recht geringen Vorlauftemperatur ist durch Einsparung eines Großteils der Gehäuselüfter pro Server eine Energiereduzierung bezogen auf den Betrieb des gesamten Hochleistungsrechnersystems gegeben.In an inventively realized first arrangement variant z. B. worked with a flow temperature of up to 12 ° C. Even with this fairly low flow temperature, energy savings are achieved by saving a large part of the case fans per server based on the operation of the entire high-performance computer system.

Bei Vorlauftemperaturen von z. B. 13°C bis ca. 26°C, was einer energiesparenden Kühlung mit wärmerem Wasser entspricht, wobei für die Rückkühlung weniger Energie aufzuwenden ist, lässt sich bereits in nennenswerter Weise Energie einsparen. At flow temperatures of z. B. 13 ° C to about 26 ° C, which corresponds to an energy-saving cooling with warmer water, which is spent for the re-cooling less energy, can be saved in a significant way, energy.

Bei Vorlauftemperaturen von ca. 27°C bis 38°C ergibt sich als Besonderheit eine sehr hohe Rücklauftemperatur von ca. 44°C, so dass im Wesentlichen zu jeder Tages- und Jahreszeit eine freie Kühlung gegen die Außenluft als Rückkühlung einsetzbar ist. Ein Energieeinsatz für die ansonsten notwendige Rückkühlung kann in Fortfall kommen.At flow temperatures of about 27 ° C to 38 ° C results in a special feature, a very high return temperature of about 44 ° C, so that essentially at any time of the day and a free cooling against the outside air is used as a re-cooling. An energy input for the otherwise necessary recooling can be omitted.

Bei Vorlauftemperaturen von ca. 39°C bis 44°C ergibt sich eine Rücklauftemperatur von ca. 50°C, die so hoch ist, dass sich die Abwärme z. B. als Heizungsunterstützung nachnutzen lässt oder als Fernwärme zur Abgabe an einen Energieversorger bereitsteht.At flow temperatures of about 39 ° C to 44 ° C results in a return temperature of about 50 ° C, which is so high that the waste heat z. B. can be used as heating support or as district heating for delivery to an energy supplier ready.

Neben der Energieeinsparung durch weniger Lüfter lässt sich, wie dargelegt, die Abwärme weiter nutzen, so dass sich ein positiver Effekt im Energiehaushalt eines Rechenzentrums ergibt, in dem die erfindungsgemäße Anordnung betrieben wird.In addition to the energy savings through fewer fans can, as explained, continue to use the waste heat, so that there is a positive effect in the energy balance of a data center in which the arrangement according to the invention is operated.

Bei Vorlauftemperaturen von ca. 45°C bis 50°C kann die Rücklauftemperatur durch die Einspeisung der Abwärme des für die Kühlung notwendigen Kühlmittelsystems auf bis zu 65°C erhöht werden, so dass sich aus dieser hochenergetischen Abwärme durch ein Adsorptionsgerät wieder Energie zur Kühlung von weiteren Komponenten gewinnen lässt.At flow temperatures of about 45 ° C to 50 ° C, the return temperature can be increased by feeding the waste heat of the necessary cooling system coolant to up to 65 ° C, so that from this high-energy waste heat through an adsorption again energy for cooling win additional components.

Die Einzelcomputer des Hochleistungsrechners werden primär mit direkter Wasserkühlung und einem kleinen Restanteil Luftkühlung betrieben, wobei die direkte Wasserkühlung dazu dient, den größten Anteil der in den Einzelcomputern oder Servern entstehenden Wärme direkt abzuführen. Da die Abwärme von CPUs und speziellen Chipsätzen jeweils auf einer nur sehr kleinen Fläche entsteht, ist hier eine direkte Wasserkühlung besonders gut geeignet.The individual computers of the high-performance computer are primarily operated with direct water cooling and a small residual amount of air cooling, with direct water cooling serving to dissipate most of the heat generated in the individual computers or servers directly. Since the waste heat from CPUs and special chipsets is created on only a very small area, direct water cooling is particularly well suited here.

Umgebungsbedingungen, die durch eine Wasserkühlung in einem Racksystem entstehen, sind optimal für das Betreiben eines Hochleistungsrechners, wozu vor allem die weitestgehend gleichmäßige Temperatur des Kühlmediums, die optimale Lufttemperatur im Rack bzw. Schrank und die Konfiguration der Server mit möglichst wenigen Luftkühlern gehört.Environmental conditions caused by water cooling in a rack system are optimal for operating a high-performance computer, including, in particular, the largely uniform temperature of the cooling medium, the optimum air temperature in the rack or cabinet and the configuration of the servers with as few air coolers as possible.

Vorstehendes trägt wesentlich dazu bei, dass beim Gesamtsystem eine maximale Rechenleistung erreichbar ist, da Wärme-Hotspots, die bei konventioneller Luftkühlung auftreten, nicht mehr vorhanden sind. Alle für die Funktion maßgeblichen Bauteile befinden sich demnach in einer optimal temperierten Umgebung.The above contributes significantly to the maximum system performance of the overall system, since hot spots that occur during conventional air cooling are no longer present. All relevant components are therefore in an optimally tempered environment.

Bauteile, die aufgrund ihrer Oberflächenbeschaffenheit nicht direkt wassergekühlt werden können und einen kontinuierlichen Luftstrom zur Abführung von Wärme benötigen, werden über eine zusätzliche Luftkühlung bedient.Components that can not be directly water-cooled due to their surface condition and require a continuous flow of air to dissipate heat are operated via additional air cooling.

Bei einer Ausführungsform der Erfindung bestehen für die Luftkühlung drei Varianten, die jeweils von einer gegebenen Vorlauftemperatur des Kühlwassers abhängen.In one embodiment of the invention exist for the air cooling three variants, each of which depends on a given flow temperature of the cooling water.

Bei einer Variante mit einer relativ niedrigen Vorlauftemperatur von bis zu ca. 26°C wird jeweils am oder im Schrank bzw. Rack ein Luft-Wasser-Wärmetauscher integriert, der einen oder gegebenenfalls mehrere Schränke mit der notwendigen Kühlluft versorgt.In a variant with a relatively low flow temperature of up to approx. 26 ° C, an air-water heat exchanger is integrated on or in the cabinet or rack, which supplies one or optionally several cabinets with the necessary cooling air.

Bei einer Ausführungsform ist ein seitlich zwischen zwei Schränken befindlicher Kühlblock mit integrierten Luft-Wasser-Wärmetauschern vorhanden. Alternativ ist es auch möglich, die über die Luft abgeführte Restwärme der Server gegen die Raumluft zu kühlen, sofern der Aufstellungsort über eine geeignete Raumklimatisierung verfügt.In one embodiment, there is a cooling block laterally between two cabinets with integrated air-water heat exchangers. Alternatively, it is also possible to cool the dissipated via the air residual heat of the server against the room air, if the site has a suitable room air conditioning.

Die Zulufttemperatur zu den im Rack befindlichen Servern oder Switches beträgt maximal 29°C bis 30°C und ist ausreichend für eine optimale Kühlung. Da die direkte Wasserkühlung bereits die stärksten Wärme-Hotspots im System entfernt, ist keine starke Luftströmung mehr erforderlich. Die Lüfter in den Servern und im Luft-Wasser-Wärmetauscher können somit in energiesparender Teillast arbeiten.The supply air temperature to the servers or switches in the rack is a maximum of 29 ° C to 30 ° C and is sufficient for optimal cooling. With direct water cooling already removing the strongest heat hotspots in the system, no strong airflow is required. The fans in the servers and in the air-water heat exchanger can thus work in energy-saving part-load.

Bei einer Ausführungsform mit Vorlauftemperaturen von ca. 30°C bis 50°C wird in jedem Rack oder in jedem Schrank ein Kaltlufterzeuger auf Kältemittelbasis integriert, der auch bei höherer Vorlauftemperatur noch Kühlluft mit ca. 25°C erzeugt.In an embodiment with flow temperatures of approx. 30 ° C to 50 ° C, a cold air generator based on refrigerant is integrated in each rack or in each cabinet, which still generates cooling air at approx. 25 ° C even at a higher flow temperature.

Bei dieser Variante können deutlich höhere Kühlwassertemperaturen genutzt werden und es ergibt sich die gewünschte hohe Rücklauftemperatur. Die entstehende Abwärme kann gegen die Außenluft ohne zusätzliche Kälteaggregate frei gekühlt werden.In this variant, significantly higher cooling water temperatures can be used and the desired high return temperature results. The resulting waste heat can be freely cooled against the outside air without additional cooling units.

Bei noch höheren Rücklauftemperaturen kann die Abwärme zur Heizungsunterstützung oder Warmwasserbereitung genutzt werden.At even higher return temperatures, the waste heat can be used for heating support or hot water preparation.

Bei einer maximal möglichen Rücklauftemperatur von ca. 65°C, die sich durch die Einspeisung der Abwärme der Verdichter für das Kältemittel ergibt, kann, wie bereits dargelegt, eine Adsorptionskältemaschine zum Einsatz kommen, die aus der Abwärme Kaltluft oder Kühlwasser für das Rechnersystem oder andere Systeme erzeugt.At a maximum possible return temperature of about 65 ° C, which results from the feeding of the waste heat of the compressor for the refrigerant, as already stated, an adsorption chiller be used, consisting of the Waste heat generated cold air or cooling water for the computer system or other systems.

Zum Betreiben der Kältesysteme ist bei einer Ausführungsform der Erfindung eine Verbundschaltung aus mehreren Einzelverdichtern vorhanden, die kältetechnisch so miteinander verknüpft sind, dass jeder Einzelverdichter durch einen weiteren Verdichter im Havariefall ersetzbar ist. Der Betrieb der Verdichter ist grundsätzlich so steuerungsseitig ausgestaltet, dass alle Verdichter gleichmäßig in Anspruch genommen werden. Eine erfindungsgemäße Sicherheitsbeschaltung zur Vermeidung von Drucküberschreitungen des geschlossenen Kältemittelkreislaufs ist am Kältemittelflüssigkeitssammler montiert. Eine Rückkühlung des Kältemittels erfolgt nach dem Durchlauf des Kühlwassers durch den Server, so dass die Abwärme aus der Rückkühlung des Kältemittels das Kühlwasser weiter erwärmen und damit die Nutzung der Abwärme effektiveren kann.For operating the refrigeration systems, in one embodiment of the invention, a composite circuit consisting of a plurality of individual compressors is present, which are so interconnected in terms of refrigeration that each individual compressor can be replaced by another compressor in the event of an accident. The operation of the compressors is basically designed so control side that all compressors are used evenly. A safety circuit according to the invention for avoiding pressure excesses of the closed refrigerant circuit is mounted on the refrigerant liquid collector. A re-cooling of the refrigerant takes place after the passage of the cooling water through the server, so that the waste heat from the re-cooling of the refrigerant further heat the cooling water and thus the use of waste heat can be more effective.

Um im Servicefall Server mit vorhandener Flüssigkeitskühlung leicht aus dem Racksystem entfernen zu können, werden leckagefreie Verbindungsmittel eingesetzt.In order to be able to easily remove servers with existing liquid cooling from the rack system during servicing, leak-free connection means are used.

Bei einer bevorzugten Ausführungsform wird von einem komplett geschlossenen System ausgegangen, das über einen Wasser-Wasser-Wärmetauscher mit dem vorhandenen Kühlkreislauf verbunden ist. Hierdurch können die Anforderungen an die Kühlwasserqualität gesenkt werden. Das Kühlwasser muss lediglich dazu geeignet sein, die Abwärme während des Durchlaufs durch einen Plattenwärmetauscher aufzunehmen. Erst durch das Trennen von Primär- und Sekundärkreislauf ist die erfindungsgemäße Lösung unter verschiedensten Bedingungen in unterschiedlichen Rechenzentren einsetzbar.In a preferred embodiment, it is assumed that a completely closed system is connected to the existing cooling circuit via a water-water heat exchanger. As a result, the requirements for the cooling water quality can be reduced. The cooling water only has to be suitable for absorbing the waste heat during the passage through a plate heat exchanger. Only through the separation of primary and secondary circuit, the solution according to the invention can be used under different conditions in different data centers.

Auf der Sekundärseite der Wärmetauscher ist die Qualität des Kühlwassers konstant. Um die Wasserdurchströmung in den zu kühlenden Bauelementen auf den entsprechenden Platinen nicht zu gering werden zu lassen, erfolgt eine Wasserverteilung mit einem ständigen gleichmäßigen Treiben des Kreislaufwassers. Durch Beimischen eines gekühlten Wassers in den Kreislauf wird der Massenstrom nicht verändert, sondern lediglich das für die Kühlung benötigte Wasser in den Vorlauf eingespeist, wobei das zurückfließende warme Wasser im selben Anteil über den vorerwähnten Wärmetauscher geführt ist, um der gewünschten Abkühlung zu unterliegen.On the secondary side of the heat exchanger, the quality of the cooling water is constant. In order to make the flow of water in the components to be cooled on the boards not too low, there is a water distribution with a constant steady drift of the circulating water. By mixing a cooled water in the circuit, the mass flow is not changed, but only the water needed for the cooling fed into the flow, the returning warm water is performed in the same proportion on the aforementioned heat exchanger to subject to the desired cooling.

Die beigefügten Figuren von Ausführungsbeispielen der Erfindung zeigen die verschiedenen Betriebsarten, aber auch Austauschstufen der Anordnung zum Betreiben von Hochleistungsrechnern.The accompanying figures of embodiments of the invention show the various modes of operation but also stages of replacement of the arrangement for operating high performance computers.

Gemäß 1 wird von zwei beispielhaften Racksystemen ausgegangen, die eine Vielzahl von Servern und weiteren elektronischen Komponenten aufweisen.According to 1 is based on two exemplary rack systems that have a variety of servers and other electronic components.

Jeder Einzelserver ist mit einer Flüssigkeitskühlung versehen, die zu einem Kreislauf zusammengefasst ist. Der Kühlkreislauf umfasst einen Wasser-Wasser-Wärmetauscher, der üblicherweise gegen die Kühlinstallation des Gebäudes, in dem sich der Hochleistungsrechner befindet, gekühlt wird.Each individual server is provided with a liquid cooling, which is combined into a circuit. The cooling circuit includes a water-water heat exchanger, which is usually cooled against the cooling installation of the building in which the high performance computer is located.

Zusätzlich ist eine Luftkühlung vorhanden, angedeutet durch die Zuluft und Abluft andeutenden Pfeildarstellung.In addition, air cooling is present, indicated by the supply air and exhaust air hinting arrow.

Bei dem Ausführungsbeispiel nach 2 sind zwei Wasserkühlkreisläufe vorhanden, wobei die Möglichkeit besteht, alternativ je einen Kühlkreislauf vorzusehen, der dann kaltes Wasser für die Luft-Wasser-Wärmetauscher (LWWT) bereitstellt.According to the embodiment 2 There are two water cooling circuits, with the option to alternatively provide each a cooling circuit, which then provides cold water for the air-water heat exchanger (LWWT).

Warmwasser der Flüssigkeitskühlung sowie Warmwasser der Luft-Wasser-Wärmetauscher gelangt auf den in den Figuren dargestellten gemeinsamen Wärmetauscher, der wiederum gekühlt wird.Hot water of the liquid cooling and hot water of the air-water heat exchanger reaches the common heat exchanger shown in the figures, which in turn is cooled.

Bei dem Ausführungsbeispiel gemäß 3, das die höchste und maximale Ausbaustufe darstellt, steht der gemeinsame Wärmetauscher, untergebracht im sogenannten Aggregat-Schrank, noch mit einem Adsorber in Verbindung, der einer freien Luftkühlung unterliegt. Hierdurch kann bei entsprechend hohen Rücklauftemperaturen Kälteenergie gewonnen werden.In the embodiment according to 3 , which represents the highest and maximum expansion stage, is the common heat exchanger, housed in the so-called aggregate cabinet, still associated with an adsorber, which is subject to a free air cooling. As a result, cold energy can be obtained at correspondingly high return temperatures.

Bei der Ausführungsform nach 3 ist im Aggregat-Schrank ein Verflüssiger vorhanden, der mit den im jeweiligen Rack befindlichen Luft-Kühlmittel-Verdampfern (LKWT) einen Kühlkreislauf bildet.In the embodiment according to 3 There is a condenser in the unit cabinet, which forms a cooling circuit with the air-refrigerant evaporators (LKWT) in the respective rack.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10341609 A1 [0002]
DE 202004007907 U1 [0006]
DE 202006005160 U1 [0006]
DE 202008002575 U1 [0008]
DE 20310237 U1 [0009, 0009]

Claims

Arrangement for operating high-performance computers, comprising a plurality of each housed in rack systems single computers or servers, which are provided with a liquid cooling, wherein each rack of the system additional air cooling is present, characterized in that according to the respective environmental conditions at the operating site of the high-performance computer including the flow temperature for the liquid cooling an optimized air conditioning mode is selected, wherein - up to a first flow temperature VLT1 the liquid cooling of the hotspots of the individual computer or server is supplemented with an ambient additional air cooling, - from a second flow temperature VLT2 the liquid cooling of the hotspots of individual computers or servers with an additional air cooling is supplemented, which already provides in the respective rack by there existing air-water heat exchanger cooling air, the temperature of which is independent of the environment, where at the outputs of the air-water heat exchanger and the liquid cooler lead to a common heat exchanger for free re-cooling or heat, and - from a third flow temperature VLT3 the liquid cooling of the hotspots of the individual computer or server is combined with an additional air cooling, which in addition to the common heat exchanger having a coupled with this adsorber for cooling.

Arrangement according to claim 1, characterized in that VLT1 <VLT2 <VLT3.

Arrangement according to one of the preceding claims, characterized in that the operation takes place with the respective available maximum flow temperature of the primary circuit for the purpose of an energy-optimal operation, depending on the given flow temperature, the power of the pump is adapted to the liquid cooling.

Arrangement according to one of the preceding claims, characterized in that by means of the liquid cooling, a share of about ≥ 75% resulting waste heat and by means of the air cooling, the residual part of the waste heat from the jweiligen rack system can be discharged.

Arrangement according to one of the preceding claims, characterized in that the number of fans per individual computer or server is reduced.

Arrangement according to one of the preceding claims, characterized in that the respective liquid cooling is designed as a closed loop system.

Arrangement according to one of the preceding claims, characterized in that the operation is adjustable in consideration of the maximum temperatures of the individual computer or server to the highest possible return temperature.

Arrangement according to one of the preceding claims, characterized in that at higher flow temperatures located in the respective rack air-water heat exchangers are replaced by air-refrigerant evaporator heat exchangers or supplemented by such heat exchangers.