DE112021003708T5

DE112021003708T5 - Intelligentes kühlgerät mit mehreren betriebsarten für gestelle in rechenzentren

Info

Publication number: DE112021003708T5
Application number: DE112021003708.0T
Authority: DE
Inventors: Ali Heydari
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2020-07-09
Filing date: 2021-07-01
Publication date: 2023-04-27
Also published as: WO2022010745A1; GB202117889D0; US11829213B2; CN115004871A; GB2601248A; US20220011835A1

Abstract

Ein Kühlsystem für ein Rechenzentrum wird offenbart. Ein Mehrfachmodus-Kühlsubsystem des Kühlsystems hat einen Formfaktor für ein oder mehrere Gestelle des Rechenzentrums, weist zwei oder mehr verschiedene Kühlsysteme auf und ist auf verschiedene Kühlungsanforderungen des Rechenzentrums innerhalb verschiedener Kühlkapazitäten einstellbar, die durch die zwei oder mehr verschiedenen Kühlsysteme geboten werden.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Dies ist eine PCT-Anmeldung der U.S.-Patentanmeldung Nr. 16/925,082 , eingereicht am 9. Juli 2020. Die Offenbarung dieser Anmeldung wird durch Bezugnahme in ihrer Gesamtheit für alle Zwecke hierin einbezogen.
GEBIET
Mindestens eine Ausführungsform bezieht sich auf Kühlsysteme für ein Rechenzentrum. In mindestens einer Ausführungsform hat ein Mehrfachmodus-Kühlsubsystem einen Formfaktor für ein oder mehrere Gestelle des Rechenzentrums, weist zwei oder mehr verschiedene Kühlsysteme auf und ist auf verschiedene Kühlungsanforderungen des Rechenzentrums innerhalb unterschiedlicher Kühlkapazitäten einstellbar, die von den zwei oder mehr verschiedenen Kühlsystemen geboten werden.
HINTERGRUND
Kühlsysteme in Rechenzentren verwenden in der Regel Lüfter, um die Luft durch Serverkomponenten zirkulieren zu lassen. Bestimmte Supercomputer oder andere Hochleistungscomputer können Wasser oder andere Kühlsysteme als Luftkühlsysteme verwenden, um Wärme von den Serverkomponenten oder Gestellen bzw. Racks des Rechenzentrums in einen Bereich außerhalb des Rechenzentrums abzuleiten. Die Kühlsysteme können eine Kältemaschine innerhalb des Bereichs des Rechenzentrums umfassen. Bei dem Bereich außerhalb des Rechenzentrums kann es sich um einen Kühlturm oder einen anderen externen Wärmetauscher handeln, der erhitztes Kühlmittel aus dem Rechenzentrum aufnimmt und die Wärme durch Zwangsluft oder andere Mittel an die Umgebung (oder ein externes Kühlmedium) abgibt, bevor das abgekühlte Kühlmittel wieder in das Rechenzentrum zurückgeführt wird. In einem Beispiel bilden die Kältemaschine und der Kühlturm zusammen eine Kühlanlage mit Pumpen, die auf die von externen Geräten im Rechenzentrum gemessene Temperatur reagieren. Luftkühlsysteme allein ziehen möglicherweise nicht genügend Wärme ab, um eine effektive oder effiziente Kühlung in Rechenzentren zu unterstützen, und Flüssigkeitskühlsysteme sind für die Anforderungen des Rechenzentrums möglicherweise nicht wirtschaftlich.
Figurenliste
Verschiedene Ausführungsformen in Übereinstimmung mit der vorliegenden Offenbarung werden nachstehend unter Bezugnahme auf die Zeichnungen beschrieben, in denen:

1 ein Blockdiagramm eines beispielhaften Rechenzentrums mit einem Kühlsystem ist, das den in mindestens einer Ausführungsform beschriebenen Verbesserungen unterliegt;
2 ein Blockdiagramm ist, das Merkmale eines Kühlsystems auf Rechenzentrumsebene zeigt, das ein Mehrfachmodus-Kühlsubsystem integriert, gemäß mindestens einer Ausführungsform;
3A ein Blockdiagramm ist, das Merkmale auf Gestell- und Server-Ebene eines Kühlsystems veranschaulicht, das ein luftbasiertes Kühlsubsystem des Mehrfachmodus-Kühlsubsystems integriert, gemäß mindestens einer Ausführungsform;
3B ein Blockdiagramm ist, das Merkmale auf Gestell- und Server-Ebene eines Kühlsystems veranschaulicht, das ein flüssigkeitsbasiertes Kühlsubsystem des Mehrfachmodus-Kühlsubsystems integriert, gemäß mindestens einer Ausführungsform;
4A ein Blockdiagramm ist, das Merkmale auf Gestell- und Server-Ebene eines Kühlsystems veranschaulicht, das ein phasenbasiertes Kühlsubsystem des Mehrfachmodus-Kühlsubsystems integriert, gemäß mindestens einer Ausführungsform;
4B ein Blockdiagramm ist, das Merkmale auf Gestell- und Server-Ebene eines Kühlsystems veranschaulicht, das ein dielektrikumbasiertes Kühlsubsystem des Mehrfachmodus-Kühlsubsystems integriert, gemäß mindestens einer Ausführungsform;
5 ein Prozessablauf von Schritten ist, die für ein Verfahren zur Verwendung oder Herstellung des Kühlsystems der 2-4B und 6A-17D verfügbar sind, gemäß mindestens einer Ausführungsform;
6A ein Beispiel für ein Rechenzentrum veranschaulicht, in dem mindestens eine Ausführungsform aus 2-5 verwendet werden kann;
6B, 6C eine Inferenz- und/oder Trainingslogik veranschaulichen, wie sie in 6A und in mindestens einer Ausführungsform der vorliegenden Offenbarung verwendet wird, um ein Mehrfachmodus-Kühlsubsystem zu ermöglichen und/oder zu unterstützen, gemäß verschiedenen Ausführungsformen;
7A ein Blockdiagramm ist, das ein beispielhaftes Computersystem veranschaulicht, das ein System mit miteinander verbundenen Geräten und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor gebildet wird, der Ausführungseinheiten enthalten kann, um eine Anweisung auszuführen, um ein Mehrfachmodus-Kühlsubsystem, wie hierin beschrieben, zu unterstützen und/oder zu ermöglichen, gemäß mindestens einer Ausführungsform;
7B ein Blockdiagramm ist, das ein elektronisches Gerät zur Verwendung eines Prozessors zum Unterstützen und/oder Ermöglichen eines hierin beschriebenen Mehrfachmodus-Kühlsubsystems veranschaulicht, gemäß mindestens einer Ausführungsform;
7C ein Blockdiagramm ist, das ein elektronisches Gerät zur Verwendung eines Prozessors zur Unterstützung und/oder Ermöglichung eines hierin beschriebenen Mehrfachmodus-Kühlsubsystems veranschaulicht, gemäß mindestens einer Ausführungsform;
8 ein weiteres Beispiel für ein Computersystem zeigt, gemäß mindestens einer Ausführungsform, zur Implementierung verschiedener Prozesse und Verfahren für ein Mehrfachmodus-Kühlsubsystem, wie in dieser Offenbarung beschrieben;
9A eine beispielhafte Architektur zeigt, in der GPUs über Hochgeschwindigkeitsverbindungen kommunikativ mit Mehrkernprozessoren gekoppelt sind, um ein Mehrfachmodus-Kühlsubsystem zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der Erfindung;
9B zusätzliche Details für eine (Zwischen-)Verbindung zwischen einem Mehrkernprozessor und einem Grafikbeschleunigungsmodul zeigt, gemäß einer beispielhaften Ausführungsform;
9C eine weitere beispielhafte Ausführungsform veranschaulicht, bei der ein Beschleuniger-Integrationsschaltkreis in einen Prozessor integriert ist, um ein Mehrfachmodus-Kühlsubsystem zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der Erfindung;
9D ein beispielhaftes Beschleunigerintegrations-Slice 990 veranschaulicht zur Ermöglichung und/oder Unterstützung eines Mehrfachmodus-Kühlsubsystems, gemäß mindestens einer Ausführungsform der Erfindung;
9E zusätzliche Details veranschaulicht für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells, um ein Mehrfachmodus-Kühlsubsystem zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der Offenbarung hierin;
9F zusätzliche Details veranschaulicht für eine beispielhafte Ausführungsform eines vereinigten Speichers, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher und GPU-Speicher verwendet wird, um ein Mehrfachmodus-Kühlsubsystem zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der Erfindung;
10A beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren veranschaulicht, gemäß hierin beschriebenen Ausführungsformen für ein Mehrfachmodus-Kühlsubsystem;
10B-10C beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren veranschaulichen, gemäß mindestens einer Ausführungsform, um ein Mehrfachmodus-Kühlsubsystem zu unterstützen und/oder zu ermöglichen;
10D-10E zusätzliche beispielhafte Grafikprozessorlogik veranschaulichen, gemäß mindestens einer Ausführungsform, um ein Mehrfachmodus-Kühlsubsystem zu unterstützen und/oder zu ermöglichen;
11A ein Blockdiagramm ist, das ein Computersystem zur Unterstützung und/oder Ermöglichung eines Mehrfachmodus-Kühlsubsystems veranschaulicht, gemäß mindestens einer Ausführungsform;
11B einen Parallelprozessor veranschaulicht Unterstützung und/oder Ermöglichung eines Mehrfachmodus-Kühlsubsystems, gemäß mindestens einer Ausführungsform;
11C ein Blockdiagramm einer Partitionierungseinheit ist, gemäß mindestens einer Ausführungsform;
11D einen Grafik-Multiprozessor zeigt, der für ein Mehrfachmodus-Kühlsubsystem verwendet wird, gemäß mindestens einer Ausführungsform;
11E einen Grafik-Multiprozessor zeigt, gemäß mindestens einer Ausführungsform;
12A ein Multi-GPU-Rechensystem zeigt, gemäß mindestens einer Ausführungsform;
12B ein Blockdiagramm eines Grafikprozessors ist, gemäß mindestens einer Ausführungsform;
13 ein Blockdiagramm ist, das eine Mikroarchitektur eines Prozessors veranschaulicht, der Logikschaltungen zur Ausführung von Anweisungen beinhalten kann, gemäß mindestens einer Ausführungsform;
14 einen Deep-Learning-Anwendungsprozessor zeigt, gemäß mindestens einer Ausführungsform;
15 ein Blockdiagramm eines neuromorphen Prozessors ist, gemäß mindestens einer Ausführungsform;
16A ein Blockdiagramm eines Verarbeitungssystems ist, gemäß mindestens einer Ausführungsform;
16B ein Blockdiagramm eines Prozessors mit einem oder mehreren Prozessorkernen, einem integrierten Speichercontroller und einem integrierten Grafikprozessor ist, gemäß mindestens einer Ausführungsform;
16C ein Blockdiagramm von Hardware-Logik eines Grafikprozessorkerns ist, gemäß mindestens einer Ausführungsform;
16D-16E eine Thread-Ausführungslogik mit einer Anordnung von Verarbeitungselementen eines Grafikprozessorkerns veranschaulichen, gemäß mindestens einer Ausführungsform;
17A eine Parallelverarbeitungseinheit zeigt, gemäß mindestens einer Ausführungsform;
17B einen allgemeinen Verarbeitungscluster zeigt, gemäß mindestens einer Ausführungsform;
17C eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit zeigt, gemäß mindestens einer Ausführungsform; und
17D einen Streaming-Multiprozessor zeigt, gemäß mindestens einer Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
Die Luftkühlung von High-Density-Servern ist ineffizient und ineffektiv angesichts der hohen Wärmeanforderungen, die durch heutige Computer- bzw. Rechenkomponenten verursacht wird. Die Anforderungen ändern sich jedoch oder neigen dazu, von einem Minimum bis zu einem Maximum an unterschiedlichen Kühlungsanforderungen zu reichen. Die unterschiedlichen Kühlungsanforderungen spiegeln auch unterschiedliche Wärmeeigenschaften des Rechenzentrums wider. In mindestens einer Ausführungsform wird von den Komponenten, Servern und Gestellen bzw. Gestellverteilern erzeugte Wärme kumulativ als eine Wärmeeigenschaft oder ein Kühlungsbedarf bezeichnet, da der Kühlungsbedarf die gesamte Wärmeeigenschaft berücksichtigen muss. In mindestens einer Ausführungsform ist die Wärmeeigenschaft bzw. die Wärmeentwicklung oder der Kühlungsbedarf für ein Kühlsystem die Wärmeeigenschaft bzw. die Wärmeentwicklung oder der Kühlungsbedarf der Komponenten, Server oder Gestellverteiler, die mit dem Kühlsystem verbunden sind, und kann ein Teil der Komponenten, Server und Gestellen in dem Rechenzentrum sein. Aus Gründen der Wirtschaftlichkeit kann die Bereitstellung von Luftkühlung oder Flüssigkeitskühlung allein heutigen Anforderungen an die Kühlung von Rechenzentren nicht gerecht werden. Darüber hinaus ist die Bereitstellung einer Flüssigkeitskühlung, wenn die von einem Server erzeugte Wärme nur ein Minimum der verschiedenen Kühlungsanforderungen ausmacht, mit einer Besteuerung von Komponenten eines Flüssigkeitskühlsystems verbunden und vergeudet außerdem Energie, um das Flüssigkeitskühlsystem zu ermöglichen. Darüber hinaus ist es in einem mobilen Rechenzentrum herausfordernd, die verschiedenen Kühlungsanforderungen zu erfüllen, da nicht genügend Platz für Kühlsysteme vorhanden ist, die eine Vielzahl verschiedener Kühlmedien bereitstellen können.
Als solches sucht die vorliegende Offenbarung nach Perspektiven in einem Kühlsystem für ein Rechenzentrum mit einem Mehrfachmodus-Kühlsubsystem bzw. einem Kühlsystem mit mehreren Betriebsarten in einem Formfaktor für ein oder mehrere Gestelle des Rechenzentrums. Das eine oder die mehreren Gestelle passen in einen Container oder Anhänger, der auch die Servergestelle eines mobilen Rechenzentrums enthält. Das Mehrfachmodus-Kühlsubsystem weist über zwei oder mehr verschiedene Kühlsysteme auf und ist auf unterschiedliche Kühlungsanforderungen des Rechenzentrums innerhalb unterschiedlicher Kühlkapazitäten, die von den zwei oder mehr verschiedenen Kühlsystemen geboten werden, einstellbar. Das Kühlsystem dient zur Kühlung von Rechenkomponenten wie z.B. einer Grafikverarbeitungseinheit (GPU), einer Zentralverarbeitungseinheit (CPU) oder Schaltkomponenten. Diese Rechenkomponenten werden in Servern verwendet, die in Servereinschübe auf Gestellen bzw. Gestellverteilern in einem Rechenzentrum montiert sind. Da die Rechenkomponenten durch technologische Fortschritte miniaturisiert werden, nehmen die Servereinschübe und die Gestelle immer mehr Rechenkomponenten auf, so dass mehr Wärme pro Komponente abgeleitet werden muss als in früheren Systemen. Es ist jedoch auch der Fall, dass Berechnungen und die Beteiligung der Rechenkomponenten an der Ausführung von Funktionen die Ableitung von mehr Wärme verursachen, als wenn die Rechenkomponenten im Leerlauf sind. Ein Problem, das in der vorliegenden Offenbarung angesprochen wird, ist die Unfähigkeit, die unterschiedlichen Kühlungsanforderungen des Rechenzentrums zu erfüllen.
Ein Flüssigkeitskühlsystem in einem Rechenzentrum wird von einer Kühlanlage oder einem Kühlsystem unterstützt, die bzw. das teuer sein kann, weil es mit Überkapazitätsanforderungen ausgelegt ist. Die Überkapazitätsanforderungen können darauf zurückzuführen sein, dass die Wärmeabfuhr aus dem Server, z.B. von einer oder mehreren Komponenten (z.B. GPU, CPU usw.), von den kollektiven Komponenten in den Servergehäusen oder von den kollektiven Komponenten in den Gestellen, nicht angemessen gesteuert wird. Die effiziente Nutzung von Flüssigkeitskühlsystemen mit hoher Wärmekapazität kann durch die vielen Zwischenfunktionen in dem Kühlsystem, wie Flüssigkeitskühler, Pumpen, Kühlmittelverteiler und Wärmetauscher, in den Hintergrund gedrängt werden. Das Mehrfachmodus-Kühlsubsystem eines Rechenzentrumskühlsystems der vorliegenden Offenbarung ist in der Lage, verschiedene Kühlkapazitäten bereitzustellen, um den unterschiedlichen Kühlungsanforderungen gerecht zu werden. Dabei wird Hochtemperatur-Betriebswasser, das als Kühlmittel in den primären und den sekundären Kühlkreisläufen für die flüssigkeitsbasierte Kühlung von Komponenten und Systemen mit hoher Wärmeentwicklung eingesetzt werden kann; ein Kühlmittel für ein phasenbasiertes Kühlsubsystem; ein dielektrikumbasiertes Kühlsubsystem für die Tauchkühlung; und das luftbasierte Kühlsubsystem verwendet, abhängig von den unterschiedlichen Kühlungsanforderungen. Das Mehrfachmodus-Kühlsubsystem ermöglicht das Umschalten zwischen verschiedenen Kühlsystemen, die zur Kappung von Spitzenlasten und zur Ableitung von regelmäßiger bis extremer Wärme aufgrund von Rechenlasten oder Umgebungsbedingungen verwendet werden können.
In mindestens einer Ausführungsform ist eine Verdampferschlange, die einer Kondensatoreinheit zugeordnet ist, außerhalb des Rechenzentrums für ein phasenbasiertes Kühlsubsystem bereitgestellt. Ein Kältemittel wechselt in einem Verdampfer die Phase von flüssig zu dampfförmig, um in Zirkulationsrohren (oder nach Aufnahme von Wärme aus der Umgebung) kühlere Temperaturen zu erreichen, welches die phasenbasierte Kühlung ermöglicht. Sobald der Dampf bei der Ableitung kühlerer Temperaturen (oder der Aufnahme von Wärme) verbraucht ist, wird er komprimiert und in einer Kondensationseinheit zu einer flüssigen Phase kondensiert und zurück zum Verdampfer geleitet. In mindestens einer Ausführungsform befindet sich die Kondensationseinheit so nahe wie möglich an einem sekundären Kühlkreislauf. In mindestens einer Ausführungsform ist der sekundäre Kühlkreislauf für jedes der flüssigkeitsbasierten und der phasenbasierten Kühlsubsysteme in ihren eigenen Rohren und Verteilern benachbart. In mindestens einer Ausführungsform befindet sich die Verflüssigungseinheit auf einer Dachfläche des Rechenzentrums oder eines Containers (eines mobilen Rechenzentrums) und kann direkt auf Raum- oder Reihenverteiler zugreifen, um Kältemittel in einem Kältemittelkühlkreislauf eines phasenbasierten Kühlsubsystems bereitzustellen. In mindestens einer Ausführungsform ermöglicht die Verdampferschlange eine direkte Expansion des Kältemittels für den Kühlkreislauf und koexistiert mit einem sekundären Kühlkreislauf, der Kühlmittel führt und auch als Warmtemperatur-Flüssigkeitskühlsystem bezeichnet wird.
Eine Serverbox bzw. ein Servergehäuse oder ein Servereinschub bzw. ein Server-Tray oder Serverfach kann die oben genannten Rechenkomponenten enthalten, aber mehrere Servergehäuse auf einer Gestell-Ebene oder mehrere Gestelle profitieren von dem Mehrfachmodus-Kühlsubsystem der vorliegenden Offenbarung. Das Mehrfachmodus-Kühlsubsystem ist in der Lage, die unterschiedlichen Kühlungsanforderungen der in einem Gestell oder in mehreren Gestellen eingebauten Kühlsubsysteme als ein Formfaktor des Kühlsystems zu erfüllen. Dadurch entfallen zusätzliche Kosten für den Betrieb einer Rechenzentrums-Kältemaschine mit höherer Effizienz als bei kühleren oder nominalen Umgebungstemperaturen, bei denen ein luftbasiertes Kühlsystem ausreichend ist. In mindestens einer Ausführungsform bilden Miniaturpumpen oder andere Durchflussregelungsvorrichtungen den einen oder die mehreren Durchflussregler, die auf die thermischen Anforderungen mindestens eines oder mehrerer Sensoren im Server oder in den Gestellen für das Mehrfachmodus-Kühlsubsystem reagieren.
1 ist ein Blockdiagramm eines beispielhaften Rechenzentrums 100 mit einem Kühlsystem, das den in mindestens einer Ausführungsform beschriebenen Verbesserungen unterliegt. Das Rechenzentrum 100 kann aus einem oder mehreren Räumen 102 mit Gestellen bzw. Racks 110 und Zusatzgeräten bestehen, um einen oder mehrere Server auf einem oder mehreren Servereinschüben unterzubringen. Das Rechenzentrum 100 wird von einem Kühlturm 104 unterstützt, der sich außerhalb des Rechenzentrums 100 befindet. Der Kühlturm 104 leitet die Wärme aus dem Inneren des Rechenzentrums 100 ab, indem er auf einen primären Kühlkreislauf 106 einwirkt. Außerdem wird zwischen dem primären Kühlkreislauf 106 und einem zweiten oder sekundären Kühlkreislauf 108 eine Kühlverteilungseinheit (CDU; cooling distribution unit) 112 eingesetzt, um die Ableitung der Wärme aus dem zweiten oder sekundären Kühlkreislauf 108 in den primären Kühlkreislauf 106 zu ermöglichen. Der sekundäre Kühlkreislauf 108 ist in der Lage, je nach Bedarf auf verschiedene Leitungen bis in den Servereinschub hinein zuzugreifen. Die Kreisläufe 106, 108 sind als Strichzeichnungen dargestellt, aber der Fachmann wird erkennen, dass eine oder mehrere Rohrleitungsmerkmale verwendet werden können. In einem Fall können flexible Polyvinylchlorid (PVC)-Rohre zusammen mit zugehörigen Rohrleitungen verwendet werden, um das Fluid in jedem der Kreisläufe 106, 108 zu bewegen. In mindestens einer Ausführungsform können eine oder mehrere Kühlmittelpumpen verwendet werden, um Druckunterschiede in den Kreisläufen 106, 108 aufrechtzuerhalten, um die Bewegung des Kühlmittels entsprechend den Temperatursensoren an verschiedenen Stellen zu ermöglichen, einschließlich im Raum, in einem oder mehreren Gestellen 110 und/oder in Serverboxen oder Servereinschüben innerhalb der Gestelle 110.
In mindestens einer Ausführungsform kann das Kühlmittel im primären Kühlkreislauf 106 und im sekundären Kühlkreislauf 108 mindestens aus Wasser und einem Zusatzstoff, z.B. Glykol oder Propylenglykol, bestehen. Im Betrieb hat jeder der primären und sekundären Kühlkreisläufe sein eigenes Kühlmittel. In einem Aspekt kann das Kühlmittel in den sekundären Kühlkreisläufen auf die Anforderungen der Komponenten im Servereinschub oder in den Gestellen 110 abgestimmt sein. Die CDU 112 ist in der Lage, die Kühlmittel in den Kreisläufen 106, 108 unabhängig oder gleichzeitig zu steuern. So kann die CDU beispielsweise die Durchflussmenge so regeln, dass die Kühlmittel in geeigneter Weise verteilt werden, um die in den Gestellen 110 erzeugte Wärme abzuführen. Darüber hinaus sind von dem sekundären Kühlkreislauf 108 flexiblere Schläuche 114 bereitgestellt, die in jeden Servereinschub führen und Kühlmittel zu den elektrischen und/oder Computer-Komponenten leiten. In der vorliegenden Offenbarung werden die elektrischen und/oder Computer-Komponenten austauschbar verwendet, um sich auf die wärmeerzeugenden Komponenten zu beziehen, die von dem vorliegenden Kühlsystem für Rechenzentren profitieren. Die Rohre 118, die Teil des sekundären Kühlkreislaufs 108 sind, können als Raumverteiler bezeichnet werden. Getrennt davon können die Rohre 116, die sich von den Rohren 118 aus erstrecken, ebenfalls Teil des sekundären Kühlkreislaufs 108 sein, können jedoch als Reihenverteiler bezeichnet werden. Die Rohre 114 treten in die Gestelle als Teil des sekundären Kühlkreislaufs 108 ein, können aber als Gestell-Kühlverteiler bezeichnet werden. Außerdem erstrecken sich die Reihenverteiler 116 zu allen Gestellen entlang einer Reihe im Rechenzentrum 100. Die Verrohrung des sekundären Kühlkreislaufs 108, einschließlich der Verteiler 118, 116 und 114, kann durch mindestens eine Ausführungsform der Erfindung verbessert werden. Eine optionale Kältemaschine 120 kann im primären Kühlkreislauf im Rechenzentrum 102 vorgesehen sein, um die Kühlung vor dem Kühlturm zu unterstützen. In dem Maße, in dem zusätzliche Kreisläufe im primären Regelkreis vorhanden sind, wird der Fachmann beim Lesen der Offenbarung erkennen, dass die zusätzlichen Kreisläufe für die Kühlung außerhalb des Gestells und außerhalb des sekundären Kühlkreislaufs sorgen; sie können für diese Erfindung mit dem primären Kühlkreislauf zusammengenommen werden.
In mindestens einer Ausführungsform kann im Betrieb in den Servereinschüben der Gestelle 110 erzeugte Wärme über die flexiblen Schläuche des Reihenverteilers 114 des zweiten Kühlkreislaufs 108 an ein aus den Gestellen 110 austretendes Kühlmittel übertragen werden. Das zweite Kühlmittel (im zweiten Kühlkreislauf 108) von der CDU 112 zur Kühlung der Gestelle 110 bewegt sich zu den Gestellen 110. Das zweite Kühlmittel aus der CDU 112 fließt von einer Seite des Raumverteilers mit Schläuchen 118 zu einer Seite des Gestells 110 über den Reihenverteiler 116 und durch eine Seite des Servereinschubs über Schläuche 114. Das verbrauchte zweite Kühlmittel (oder das austretende zweite Kühlmittel, das die Wärme der Rechenkomponenten transportiert) tritt auf einer anderen Seite des Servereinschubs aus (z. B. tritt es auf der eintrittsseitig linken Seite des Gestells ein und verlässt den Servereinschub auf der rechten Seite des Gestells, nachdem es einen Kreislauf durch den Servereinschub oder durch Komponenten auf dem Servereinschub durchlaufen hat). Das verbrauchte zweite Kühlmittel, das der Servereinschub oder das Gestell 110 verlässt, tritt auf einer anderen Seite (z.B. auf der Austrittsseite) der Rohrleitung 114 aus und bewegt sich zu einer parallelen, aber ebenfalls austretenden Seite des Reihenverteilers 116. Vom Reihenverteiler 116 bewegt sich das verbrauchte zweite Kühlmittel in einem parallelen Abschnitt des Raumverteilers 118 in die entgegengesetzte Richtung wie das einströmende zweite Kühlmittel (das auch das erneuerte zweite Kühlmittel sein kann) und in Richtung der CDU 112.
In mindestens einer Ausführungsform tauscht das verbrauchte zweite Kühlmittel seine Wärme mit einem primären Kühlmittel im primären Kühlkreislauf 106 über die CDU 112 aus. Das verbrauchte zweite Kühlmittel wird erneuert (z.B. relativ abgekühlt im Vergleich zur Temperatur in der Stufe des verbrauchten zweiten Kühlmittels) und ist bereit, durch den zweiten Kühlkreislauf 108 zu den Rechenkomponenten zurückgeleitet zu werden. Verschiedene Durchfluss- und Temperatursteuerungsfunktionen in der CDU 112 ermöglichen die Steuerung der aus dem verbrauchten zweiten Kühlmittel ausgetauschten Wärme oder des Durchflusses des zweiten Kühlmittels in und aus der CDU 112. Die CDU 112 ist auch in der Lage, den Durchfluss des primären Kühlmittels im primären Kühlkreislauf 106 zu steuern. Daher ist es möglich, dass einige Komponenten innerhalb der Server und Gestelle nicht die erforderliche Menge an Kühlmittel erhalten, da der zweite oder sekundäre Kreislauf Kühlmittel mit seinen Standard-Temperatureigenschaften liefert, die zum Teil auf den Temperatursensoren basieren, die sich in den Servern und Gestellen befinden können. Ferner können zusätzliche Kühlkreisläufe vorgesehen sein, um Wärme mit dem sekundären Kühlkreislauf auszutauschen, die jedoch durch die Verwendung eines Kühlmittels ähnlichen Einschränkungen unterliegen wie der primäre oder der sekundäre Kühlkreislauf.
2 ist ein Blockdiagramm, das die Merkmale eines Kühlsystems 200 auf Rechenzentrumsebene veranschaulicht, das gemäß mindestens einer Ausführungsform ein Mehrfachmodus-Kühlsubsystem 206 enthält. Das Kühlsystem 200 ist für ein Rechenzentrum 202 bestimmt. Das Mehrfachmodus-Kühlsubsystem 206 umfasst zwei oder mehr eines luftbasierten Kühlsystems 228, eines flüssigkeitsbasierten Kühlsubsystems 230, eines phasenbasierten Kühlsubsystems 232 oder eines dielektrikumbasierten Kühlsubsystems 234. Das Mehrfachmodus-Kühlsubsystem 206 ist daher für unterschiedliche Kühlkapazitäten ausgelegt, da jedes der Subsysteme 228-234 eine andere Nennkühlkapazität haben kann. In mindestens einer Ausführungsform ist das luftbasierte Kühlsystem 228 für eine erzeugte Wärmeleistung zwischen 10 Kilowatt (KW oder kW) und 30 KW ausgelegt, ist das flüssigkeitsbasierte Kühlsubsystem 230 für eine Leistung zwischen 30 KW und 60 KW ausgelegt, ist das phasenbasierte Kühlsubsystem 234 für eine Leistung zwischen 60 KW und 100 KW ausgelegt und ist das dielektrikumbasierte Kühlsubsystem 232 für eine Leistung zwischen 100 und 450 KW ausgelegt.
In mindestens einer Ausführungsform stammt die erzeugte Wärme aus einer oder mehreren Rechenkomponenten in Servern der Gestelle des Rechenzentrums. Die Leistung ist ein Merkmal eines Kühlsubsystems, das die erzeugte Wärme bewältigen kann (durch Kühlung oder durch Ableitung, in mindestens einer Ausführungsform), wenn sie sich in einem Bereich befindet, der von dem Kühlsubsystem bewältigt werden kann. Verschiedene Kühlmedien sind in der Lage, die erzeugte Wärme je nach der für die verschiedenen Kühlmedien angegebenen Leistung unterschiedlich zu behandeln. Die von einer oder mehreren Rechenkomponenten, Servern oder Gestellen erzeugte Wärme unterscheidet sich von den Nennwerten, die den Kühlsubsystemen für ihre individuelle Fähigkeit zur Bewältigung erzeugter Wärme zugewiesen wurden, und wird als Kühlbedarf bzw. Kühlungsanforderung bezeichnet, der bzw. die von den unterschiedlichen Kühlkapazitäten der Kühlsubsysteme bewältigt werden muss.
In mindestens einer Ausführungsform ist das Mehrfachmodus-Kühlsubsystem 206 aufgrund mindestens der verschiedenen Kühlmedien der verschiedenen Kühlsubsysteme 228-234 darin für unterschiedliche Kühlkapazitäten ausgelegt, so dass das Mehrfachmodus-Kühlsubsystem 206 innerhalb eines Minimums und eines Maximums der verschiedenen Kühlkapazitäten, die von den verschiedenen Kühlsubsystemen 228-234 geboten werden, aus unterschiedliche Kühlungsanforderungen des Rechenzentrums 202 eingestellt werden kann. In mindestens einer Ausführungsform umfassen die verschiedenen Kühlmedien Luft oder Gas, eine oder mehrere verschiedene Arten von Kühlmitteln (einschließlich Wasser und Kühlmittel auf Glykolbasis) und eine oder mehrere verschiedene Arten von Kältemitteln (einschließlich nicht-dielektrische und dielektrische Kältemittel). In mindestens einer Ausführungsform hat das Mehrfachmodus-Kühlsubsystem 206 einen Formfaktor für ein oder mehrere Gestelle 204 des Rechenzentrums. In mindestens einer Ausführungsform hat das Mehrfachmodus-Kühlsubsystem 206 den Formfaktor eines oder mehrerer Gestelle und wird neben einem oder mehreren Servergestellen 204 installiert, um die unterschiedlichen Kühlungsanforderungen von Komponenten und Servern des einen oder der mehreren Servergestelle 204 zu erfüllen.
In mindestens einer Ausführungsform haben das eine oder die mehreren Servergestelle 204 unterschiedliche Kühlungsanforderungen, die zum Teil auf der unterschiedlichen Wärmeerzeugung durch Komponenten von Servergehäusen oder -einschüben 220-226 innerhalb des einen oder der mehreren Servergestelle 204 basieren. In mindestens einer Ausführungsform wird bei mehreren Servergehäusen 220 Nennwärme erzeugt, was etwa 10KW bis 30KW erzeugter Wärme entspricht, und für die das luftbasierte Kühlsubsystem 228 aktiviert wird, um eine luftbasierte Kühlung bereitzustellen, wie durch die Richtungspfeile des Subsystems 228 dargestellt. Das luftbasierte Kühlsubsystem 228 teilt sich die Kühlkomponenten mit dem flüssigkeitsbasierten Kühlsubsystem 230, so dass die den Servergehäusen 220 zugeführte Luft gekühlte Luft ist, die durch einen Wärmetauscher innerhalb des luftbasierten Kühlsubsystems 228 gekühlt werden kann. Der Wärmetauscher innerhalb des luftbasierten Kühlsubsystems 228 ist Teil eines luftbasierten sekundären Kühlkreislaufs 242, der Wärme mit einem kühlmittelbasierten primären Kühlkreislauf 238 austauscht, der einer CDU 236 zugeordnet ist. In mindestens einer Ausführungsform unterstützt eine Kälteanlage, die mindestens aus einer Kältemaschineneinheit 208, einem Kühlturm 212 und einer Pumpe 210 besteht, den kühlmittelbasierten primären Kühlkreislauf 238.
In mindestens einer Ausführungsform umfasst das Kühlsystem der Offenbarung ein kältemittelbasiertes Wärmeübertragungssubsystem, um eines oder mehrere des phasenbasierten Kühlsubsystems 232 und des dielektrikumbasierten Kühlsubsystems 234 zu ermöglichen; und umfasst ein flüssigkeitsbasiertes Wärmeübertragungssubsystem, um eines oder mehrere des luftbasierten Kühlsystems 228 und des flüssigkeitsbasierten Kühlsubsystems 230 zu ermöglichen. In mindestens einer Ausführungsform umfasst das kältemittelbasierte Wärmeübertragungssubsystem mindestens Rohre zur Unterstützung des Kältemittelflusses zu den verschiedenen Kühlsubsystemen und kann eine oder mehrere Verdampferschlangen, Kompressoren, Kondensatoren und Expansionsventile zur Unterstützung der Zirkulation des Kältemittels für die verschiedenen Kühlsubsysteme umfassen. In mindestens einer Ausführungsform ist ein auf Kühlmittel basierendes Wärmeübertragungssubsystem bereitgestellt, um eine ähnliche Zirkulation des Kühlmittels für die verschiedenen Kühlsubsysteme zu erreichen. In mindestens einer Ausführungsform ist ein auf Kühlmittel basierendes Spulensubsystem und ein zugeordnetes Wassersprüh- oder Gebläsekühlsubsystem in dem auf Kühlmittel basierenden Wärmeübertragungssubsystem enthalten. In mindestens einer Ausführungsform wird ein dielektrisches Kältemittel verwendet, um das kältemittelbasierte Kühlsubsystem 232 und das dielektrikumbasierte Kühlsubsystem 234 zu ermöglichen. Dies ermöglicht eine Reduzierung der für das Kühlsystem der vorliegenden Offenbarung erforderlichen Komponenten, unterstützt aber einen breiten Bereich von Kühlkapazitäten, um den unterschiedlichen Kühlungsanforderungen des Systems gerecht zu werden. Ferner unterstützt in mindestens einer Ausführungsform ein kühlmittelbasierter sekundärer Kühlkreislauf 244 das flüssigkeitsbasierte Kühlsubsystem 230.
In mindestens einer Ausführungsform kann als ein Ergebnis mindestens der obigen Konfiguration, obwohl die Servereinschübe 220 durch das luftbasierte Kühlsubsystem 228 luftgekühlt werden, ein Servereinschub 222 über das flüssigkeitsbasierte Kühlsubsystem 230 flüssigkeitsgekühlt werden (unter Verwendung eines Kühlmittels, in mindestens einer Ausführungsform); während ein Servereinschub 224 über das dielektrikumbasierte Kühlsubsystem 234 durch Eintauchen gekühlt werden kann (in mindestens einer Ausführungsform unter Verwendung eines dielektrischen Kältemittels); und ein Servereinschub 226 durch Kältemittel gekühlt werden kann (in mindestens einer Ausführungsform unter Verwendung desselben dielektrischen Kältemittels oder eines separaten Kältemittels). In mindestens einer Ausführungsform sind das Kältemittel und die dielektrikumbasierten Kühlsubsysteme 232, 234 direkt mit mindestens einer Verflüssigungseinheit 214 verbunden, um den Kühlbedarf des Kältemittels über einen Kältemittelkühlkreislauf 240 zu decken.
In mindestens einer Ausführungsform liefert ein Kühlmittelverteiler, wie z.B. eine Kühlmittelverteilungseinheit 236, Kühlmittel für das luftbasierte Kühlsubsystem 228 und das flüssigkeitsbasierte Kühlsubsystem 230. In mindestens einer Ausführungsform kühlt ein primäres Kühlmittel für das flüssigkeitsbasierte Kühlsubsystem 230 ein sekundäres Kühlmittel, das über den kühlmittelbasierten sekundären Kühlkreislauf 244 zirkuliert, um Komponenten innerhalb des kühlmittelgekühlten Servereinschubs 222 zu kühlen. Obwohl der Servereinschub 222 als kühlmittelgekühlter Servereinschub bezeichnet wird, versteht sich, dass die Kühlmittelleitungen allen Servereinschüben 220-226 des Gestells 204 und allen Gestellen des Rechenzentrums 202 über mindestens den Reihenverteiler 216 und die jeweiligen einlassseitigen Gestellverteiler 248 und auslassseitigen Gestellverteiler 246 zur Verfügung stehen.
In mindestens einer Ausführungsform befinden sich die Gestelle 204, 206 (einschließlich eines oder mehrerer Gestelle 206, die das Kühlsubsystem bilden) auf einer erhöhten Plattform oder einem Boden 218, und kann der Reihenverteiler 216 eine Sammlung von Verteilern darin sein, um alle Servereinschübe oder ausgewählte Servereinschübe in den verfügbaren Gestellen Rechenzentrums zu erreichen. Der Reihenverteiler 216 kann oberhalb der Gestelle angeordnet sein, wie in 2 dargestellt. In ähnlicher Weise zirkulieren in mindestens einer Ausführungsform für die kältemittel- und tauchkühlungsbasierten Subsysteme 232, 234 ein oder mehrere dielektrische Kältemittel oder ein normales Kältemittel über einen kältemittelbasierten sekundären Kühlkreislauf 244 (der sich von dem primären Kühlkreislauf 240 aus erstrecken kann), um Komponenten innerhalb des Kältemittels und/oder der tauchgekühlten Servereinschübe 224, 226 zu kühlen. In mindestens einer Ausführungsform werden die Servereinschübe 224, 226 zwar als Kältemittel und/oder die tauchgekühlten Servereinschübe 224, 226 bezeichnet, vorteilhaft sind jedoch die Kältemittelleitungen (oder dielektrischen Kältemittel) für alle Servereinschübe 220-226 des Gestells 204 und für alle Gestelle des Rechenzentrums 202 über mindestens den Reihenverteiler 216 und die jeweiligen einlassseitigen Gestellverteiler 248 und die auslassseitigen Gestellverteiler verfügbar. Der Reihenverteiler und die Gestellverteiler sind als einzelne Leitungen dargestellt, können jedoch eine Sammlung von Verteilern sein, um Kühlmittel, Kältemittel und dielektrische Kältemittel getrennt zu transportieren, um alle Servereinschübe oder ausgewählte Servereinschübe in den verfügbaren Gestellen des Rechenzentrums über einen oder mehrere zugeordnete Durchflussregler zu erreichen. Auf diese Weise können in mindestens einer Ausführungsform alle Servereinschübe separat ein gewünschtes Kühlungsniveau von dem Mehrfachmodus-Kühlsubsystem 206 anfordern (oder einen Bedarf dafür Angaben).
In mindestens einer Ausführungsform hat ein erstes individuelles Kühlsubsystem, wie beispielsweise das kühlmittelbasierte Kühlsubsystem 230, des Mehrfachmodus-Kühlsubsystems 206 zugeordnete erste Kreislaufkomponenten (wie beispielsweise den kühlmittelbasierten sekundären Kühlkreislauf im Reihenverteiler 216 und in den Gestellverteilern 246, 248), um ein erstes Kühlmedium (wie beispielsweise das Kühlmittel) zu mindestens einem ersten Gestellverteiler 204 des Rechenzentrums 202 gemäß einem ersten Wärmemerkmal oder einem Kühlbedarf des mindestens einen ersten Gestells 204 zu führen. In mindestens einer Ausführungsform weist das Mehrfachmodus-Kühlsubsystem 206 zugeordnete Einlass- und Auslassleitungen 250 auf, um ein oder mehrere Kühlmedien in und aus den entsprechenden Verteilern des Reihenverteilers 216 zu zirkulieren. Das erste Wärmemerkmal oder der Kühlbedarf kann eine Temperatur sein, die von einem Sensor erfasst wird, der dem mindestens einen ersten Gestell 204 zugeordnet ist. In mindestens einer Ausführungsform hat das kühlmittelbasierte Kühlsubsystem 230, das das mindestens einen ersten Gestell 204 (oder einen darin befindlichen Server) kühlt, gleichzeitig dem kühlmittelbasierten Kühlsubsystem 232 des Mehrfachmodus-Kühlsubsystems 206 zugeordnete zweite Kreislaufkomponenten (wie beispielsweise einen kühlmittelbasierten zweiten Kühlkreislauf im Reihenverteiler 216 und in Gestellverteilern 246, 248), um ein zweites Kühlmedium (wie beispielsweise ein Kältemittel oder ein dielektrisches Kältemittel) zu mindestens einem zweiten Gestellverteiler des Rechenzentrums zu leiten, je nach einem zweiten Wärmemerkmal oder einem zweiten Kühlbedarf des mindestens einen zweiten Gestells.
Diese Art von unterschiedlichen Kühlmedien für unterschiedliche Anforderungen in Gestellen ist auch möglich, um unterschiedliche Anforderungen an Server innerhalb desselben Gestells zu erfüllen, wie bereits durch das Gestell 204 in 2 dargestellt.
In mindestens einer Ausführungsform liegt das erste Wärmemerkmal oder der erste Kühlbedarf innerhalb eines ersten Schwellenwerts des Minimums der verschiedenen Kühlkapazitäten. In mindestens einer Ausführungsform wird das Minimum der verschiedenen Kühlkapazitäten durch das luftbasierte Kühlsubsystem 228 bereitgestellt. In mindestens einer Ausführungsform liegt das zweite Wärmemerkmal oder die zweite Kühlungsanforderung innerhalb eines zweiten Schwellenwerts für das Maximum der verschiedenen Kühlkapazitäten. In mindestens einer Ausführungsform wird das Maximum der verschiedenen Kühlkapazitäten durch das dielektrikumbasierte Kühlsubsystem 234 bereitgestellt, das ein vollständiges Eintauchen der Rechenkomponenten in ein dielektrisches Medium ermöglicht, um die Rechenkomponenten durch direkte Konvektionskühlung zu kühlen, im Gegensatz zu luft-, kühlmittel- und kältemittelbasierten Medien, mittels durch Strahlungs- und/oder Leitungskühlung arbeiten. In mindestens einer Ausführungsform entziehen Kälteplatten, die mit den Rechenkomponenten verbunden sind, den Rechenkomponenten Wärme und übertragen die Wärme an das Kühlmittel oder Kältemittel, wenn diese Arten von Kühlmedien verwendet werden. In mindestens einer Ausführungsform übertragen die Kälteplatten die Wärme an Luft, die durch die Kälteplatten strömt (entweder mit zugeordneten Rippen oder direkt über die Kälteplatten), wenn das Kühlmedium Luft ist.
In mindestens einer Ausführungsform ermöglichen Einlass- und Auslassleitungen 252 zu den Gestellverteilern 246, 248 des einen oder der mehreren Gestelle 204 den einzelnen Servern 220-226, die mit dem/den Gestellverteiler(n) 246, 248 verbunden sind, unterschiedliche Kühlmedien von den einzelnen Kühlsubsystemen 230-234 des Mehrfachmodus-Kühlsubsystems 206 zu erhalten. In mindestens einer Ausführungsform haben oder unterstützen ein oder mehrere Server 220-224 zwei oder mehr einer Luftverteilungseinheit, einer Kühlmittelverteilungseinheit und einer Kältemittelverteilungseinheit, um unterschiedliche Kühlmedien zu ermöglichen, um die unterschiedlichen Kühlungsanforderungen des einen oder der mehreren Server zu erfüllen. In 3A-4B sind Merkmale solcher Server auf Server-Ebene dargestellt, aber kurz gesagt kann ein Wärmetauscher auf Kühlmittelbasis (eine Kälteplatte auf Kühlmittelbasis oder eine durch Kühlmittelleitungen unterstützte Kälteplatte in mindestens einer Ausführungsform) als eine Kühlmittelverteilungseinheit für den Server 222 verwendet werden; kann ein Wärmetauscher auf Kältemittelbasis (eine Kälteplatte auf Kältemittelbasis oder eine durch Kältemittelleitungen unterstützte Kälteplatte in mindestens einer Ausführungsform) als eine Kältemittelverteilungseinheit für den Server 224 verwendet werden, und können ein oder mehrere Lüfter als eine Luftverteilungseinheit für die Server 220 verwendet werden.
3A ist ein Blockdiagramm, das Merkmale eines Kühlsystems auf Gestell-Ebene 300A und auf Server-Ebene 300B veranschaulicht, das ein luftbasiertes Kühlsubsystem des Kühlsubsystems mit mehreren Betriebsarten gemäß mindestens einer Ausführungsform integriert. In mindestens einer Ausführungsform ist das luftbasierte Kühlsubsystem in der Lage, ein gesamtes Gestell 302 anzusprechen, indem es kalte Luft 310 durch das gesamte Gestell 302 bläst und heiße Luft 312 zirkulieren lässt, die vom gegenüberliegenden Ende des Gestells 302 empfangen wird. In mindestens einer Ausführungsform sind ein oder mehrere Lüfter bzw. Gebläse in einer Leitung oder einem Luftverteiler 318 vorgesehen, um die kalte Luft 314, bei der es sich um die kalte Luft 310 am Eingang des Gestells 302 handeln kann, von dem luftbasierten Kühlsubsystem zu den einzelnen Servern 304 zu leiten. Heiße Luft 316 strömt von einem gegenüberliegenden Ende des Servers 304 aus, um sich mit der aus dem Gestell 302 austretenden heißen Luft 312 zu verbinden. Als solcher ist der Server 304 einer oder mehrere von Servern 306 in dem Gestell 302 und weist eine oder mehrere Komponenten auf, die den Kälteplatten 308A-D zugeordnet sind und ein bestimmtes Nennniveau an Kühlung erfordern. Die Kälteplatten 308A-D können mit Rippen versehen sein, um eine bessere Wärmeableitung zu ermöglichen, damit das Luftkühlmedium vorteilhaft eingesetzt werden kann.
In mindestens einer Ausführungsform handelt es sich bei den den Kälteplatten 308A-D zugeordneten Komponenten um Rechenkomponenten, die zwischen 50 KW und 60 KW Wärme erzeugen, und Sensoren, die dem einen oder den mehreren Servern oder dem gesamten Gestell zugeordnet sind, können dem Mehrfachmodus-Kühlsubsystem die Temperatur (die einen Kühlbedarf repräsentiert) Angaben, das dann das spezifische der Kühlsubsysteme 228-234 bestimmen kann, das für den einen oder die mehreren Server oder das gesamte Gestell aktiviert werden soll. In mindestens einer Ausführungsform kann die Angabe der Temperatur an die Subsysteme 228-234 für die Kühlung gesendet werden, und das Kühlsubsystem, das für eine bestimmte Temperatur entsprechend der erzeugten KW-Wärme (für die bestimmte Temperatur) bestimmt ist, aktiviert sich selbst, um den Server oder die Gestelle zu kühlen. Dies repräsentiert ein verteiltes Steuerungssystem, bei dem die Steuerung der Aktivierung oder Deaktivierung von den Prozessoren der verschiedenen Subsysteme 228-234 gemeinsam genutzt wird. In mindestens einer Ausführungsform kann ein zentralisiertes Steuerungssystem durch einen oder mehrere Prozessoren eines Servers 306 im Servergestell 302 aktiviert werden. Der eine oder die mehreren Prozessoren sind dazu angepasst, die Steuerungsanforderungen für das Mehrfachmodus-Kühlsubsystem zu erfüllen, einschließlich der Verwendung von künstlicher Intelligenz und/oder maschinellem Lernen, um ein lernendes Subsystem zu trainieren, das Temperaturangaben erkennt und die entsprechenden Kühlsubsysteme 228-234 aktiviert oder deaktiviert. Das verteilte Steuersystem kann auch dazu angepasst sein, künstliche Intelligenz und/oder maschinelles Lernen zu verwenden, um ein lernendes Subsystem zu trainieren, wenn auch beispielsweise durch ein verteiltes neuronales Netzwerk.
3B ist ein Blockdiagramm, das Merkmale eines Kühlsystems auf Gestell-Ebene 330A und Server-Ebene 330B zeigt, das ein flüssigkeitsbasiertes Kühlsubsystem des Mehrfachmodus-Kühlsubsystems integriert, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist das flüssigkeitsbasierte Kühlsubsystem ein kühlmittelbasiertes Kühlsubsystem. Die Merkmale auf Gestell-Ebene 330A, die das flüssigkeitsbasierte Kühlsubsystem unterstützen oder enthalten, umfassen ein Gestell 332 mit Einlass- und Auslassverteilern 358A, 358B auf Kühlmittelbasis, denen Einlass- und Auslasskoppler oder -adapter 354, 356 zugeordnet sind, und denen einzelne Durchflussregler 362 (in der Figur sind zwei dargestellt) zugeordnet sind. Die Einlass- und Auslasskoppler oder -adapter 354, 356 empfangen, leiten und senden das Kühlmittel 352 durch einen oder mehrere anfordernde (oder angebende) Server 336; 304. In mindestens einer Ausführungsform können alle Server 336 in dem Gestell 332 durch ihre individuellen Anforderungen (oder Angaben) für denselben Kühlbedarf angesprochen werden, oder können durch eine Anforderung (oder Angabe) des Gestells 332 im Namen seiner Server 336, die durch das flüssigkeitsbasierte Kühlsubsystem angesprochen werden. Erwärmtes Kühlmittel 360 verlässt das Gestell über einen Adapter oder einen Koppler 356. Bei den einzelnen Durchflussreglern 362 kann es sich um Pumpen handeln, die über Eingaben des dezentralen oder zentralen Steuersystems gesteuert (aktiviert, deaktiviert oder in Durchflussposition gehalten) werden (in mindestens einer Ausführungsform). Ferner können in mindestens einer Ausführungsform, wenn das Gestell 332 seine Kühlungsanforderung stellt (oder eine Angabe bereitstelle), alle Durchflussregler 362 gleichzeitig gesteuert werden, um die Kühlungsanforderung zu erfüllen, als ob die Kühlungsanforderung für die Kühlungsanforderungen aller Server 336 zur gleichen Zeit repräsentativ wäre. In mindestens einer Ausführungsform kommt die Anforderung oder die Angabe von einem Sensor, der dem Gestell zugeordnet ist und die Temperatur innerhalb des Gestells misst.
In mindestens einer Ausführungsform erfolgt die Anforderung oder die Angabe von einen Sensor der dem Gestell oder den Servern zugeordnet ist. Es kann einen oder mehrere Sensoren an verschiedenen Stellen des Gestells und an verschiedenen Stellen des Servers geben. In mindestens einer Ausführungsform können die Sensoren in einer verteilten Konfiguration einzelne Anforderungen oder Angaben zur Temperatur senden. In mindestens einer Ausführungsform arbeiten die Sensoren in einer zentralisierten Konfiguration und sind so ausgelegt, dass sie ihre Anforderungen oder Angaben an einen Sensor oder an ein zentrales Kontrollsystem senden, das die Anforderungen oder Angaben zusammenfasst, um eine einzelne Aktion zu bestimmen. In mindestens einer Ausführungsform kann die einmalige Aktion darin bestehen, ein oder mehrere Kühlmittel aus dem Mehrfachmodus-Kühlsubsystem zu senden, um die der einmaligen Aktion zugeordneten Anforderungen oder Angaben zu erfüllen. In mindestens einer Ausführungsform ermöglicht dies dem gegenwärtigen Kühlsystem, Kühlmedien zu senden, die einer höheren Kühlkapazität oder -fähigkeit zugeordnet sind als der Gesamtkühlungsbedarf einiger Server in den Gestellen, da die gesammelten Anforderungen oder Angaben mindestens einige Kühlungsanforderungen enthalten können, die höher sind als der Gesamtkühlungsbedarf.
In mindestens einer Ausführungsform wird ein statistisches Maß für die Betriebsart als ein Aggregat verwendet, um die Anzahl von Servern mit höherem Kühlungsbedarf anzugeben, welche anstelle eines reinen Durchschnitts der Kühlungsanforderungen der Server berücksichtigt werden können. So kann ein Subsystem mit höherer Kühlleistung (z.B. ein Subsystem mit Kühlung auf Kältemittelbasis) aktiviert werden, wenn mindestens 50% der Server eines Gestells einen höheren Kühlbedarf haben. In mindestens einer Ausführungsform kann ein Subsystem mit geringerer Kühlleistung (z.B. ein Subsystem auf Kühlmittelbasis) aktiviert werden, wenn höchstens 50% der Server des Gestells einen höheren Kühlbedarf haben. Wenn jedoch eine Reihe der Server des Gestells nach der Aktivierung des kühlmittelbasierten Kühlsubsystems für das Gestell einen höheren Kühlbedarf anfordern oder Angaben, kann eine höhere Kühlkapazität bereitgestellt werden, um die Lücke zu schließen. In mindestens einer Ausführungsform kann der Wechsel des spezifischen Kühlsubsystems auf eine höhere oder niedrigere Kühlleistung zum Teil auf der Grundlage der Zeit erfolgen, die seit einer ersten Anforderung oder Angabe verstrichen ist, und wenn die erste Anforderung oder Angabe anhält oder einen Anstieg einer zugeordneten Temperatur anzeigt.
In mindestens einer Ausführungsform haben die Server 336 individuelle Verteiler auf Server-Ebene, wie z.B. ein Verteiler 338 in einem Server 334 (auch als ein Servereinschub oder eine Serverbox bzw. ein Servergehäuse bezeichnet). Der Verteiler 338 des Servers 334 enthält einen oder mehrere Durchflussregler 340A, B auf Server-Ebene, um die Kühlungsanforderungen einzelner Komponenten zu erfüllen. Der Serververteiler 338 empfängt Kühlmittel von einem Gestellverteiler 358A (über einen Adapter oder eine Koppler 348) und verteilt das Kühlmittel (oder ein zugeordnetes Kühlmittel auf Server-Ebene, das Wärme mit dem Kühlmittel auf Gestellverteiler-Ebene austauscht) je nach den Anforderungen der Rechenkomponenten, die den Kälteplatten 342A-D zugeordnet sind, über die zugeordneten Kälteplatten 342A-D an die Komponenten. In mindestens einer Ausführungsform kann das verteilte oder zentralisierte Steuersystem, das mit dem Mehrfachmodus-Kühlsubsystem verbunden ist, die Durchflussregler 362 auf Gestellverteiler-Ebene und die Durchflussregler 340A, B auf Server-Ebene steuern, um die Bewegung des Kühlmittels aus dem flüssigkeitsbasierten Kühlsubsystem zu erleichtern. So kann in mindestens einer Ausführungsform ein Sensor auf einer ersten Seite des Servers 334 mit Komponenten, die einem ersten Satz von Kälteplatten 342A, B zugeordnet sind, höhere Kühlungsanforderungen Angaben oder anfordern als ein Sensor auf einer zweiten Seite des Servers 334 mit Komponenten, die einem zweiten Satz von Kälteplatten 342C, D zugeordnet sind. Wird ein Kühlmittel als Kühlmedium verwendet, kann das Kühlmittel über einen Durchflussregler 340A und eine Einlassleitung 344A durch den ersten Satz von Kälteplatten 342A, B und über eine Auslassleitung 346A zurück zum Serververteiler 338 fließen. Das erwärmte Kühlmittel kann den Serververteiler über einen Adapter oder eine Koppler 350 verlassen.
In mindestens einer Ausführungsform umfassen der Serververteiler 338 sowie die Reihenverteiler 358A, B mehrere Subverteiler oder Leitungen und zugeordnete Koppler, um die anderen Kühlmedien, einschließlich des Kältemittels (oder des dielektrischen Kältemittels), zu unterstützen, aber dies wird hier nur für den Teil des Kühlmittels (flüssigkeitsbasierte Medien) dargestellt und diskutiert, der für dieses Merkmal relevant ist. Da in mindestens einer Ausführungsform der Sensor auf der zweiten Seite des Servers 334 mit Komponenten, die dem zweiten Satz von Kälteplatten 342C, D zugeordnet sind, keinen höheren Kühlbedarf anzeigt oder anfordert als der Sensor auf der ersten Seite des Servers 334 mit Komponenten, die dem ersten Satz von Kälteplatten 342A, B zugeordnet sind, bleibt der Durchflussregler 340B geschlossen oder unverändert (falls er zuvor für ein anderes Kühlmedium geöffnet wurde). In der Einlassleitung 344B, dem zweiten Satz von Kälteplatten 342C, D und der Auslassleitung 346B zum Serververteiler 338 werden keine Kühlmittel zugeführt oder verändert.
4A ist ein Blockdiagramm, das Merkmale eines Kühlsystems auf Gestell-Ebene 400A und Server-Ebene 400B veranschaulicht, das ein phasenbasiertes Kühlsubsystem des Mehrfachmodus-Kühlsubsystems integriert, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist das phasenbasierte Kühlsubsystem ein kältemittelbasiertes Kühlsubsystem. Das Gestell 400A, das das phasenbasierte Kühlsubsystem trägt oder enthält, umfasst ein Gestell 402 mit phasenbasierten Einlass- und Auslassverteilern 428A, 428B, denen Einlass- und Auslasskoppler oder - adapter 424, 426 zugeordnet sind, und denen einzelne Durchflussregler 432 (in der Abbildung sind zwei dargestellt) zugeordnet sind. Die Einlass- und Auslasskoppler oder -adapter 424, 426 empfangen, leiten und senden ein Kältemittel 422 durch einen oder mehrere anfordernde (oder angebende) Server 406; 404. In mindestens einer Ausführungsform können alle Server 406 im Gestellverteiler 402 durch ihre individuellen Anforderungen (oder Angaben) für denselben Kühlbedarf angesprochen werden oder durch eine Anforderung (oder Angabe) des Gestells 402 im Namen seiner Server 406, die durch das phasenbasierte Kühlsubsystem angesprochen werden können. Kältemittel in der Flüssigphase kann über den Adapter oder die Koppler 424 in den Gestellverteiler eintreten und Kältemittel in der Dampfphase 430 verlässt das Gestellverteiler über den Adapter oder die Koppler 426. Bei den einzelnen Durchflussreglern 432 kann es sich um Pumpen handeln, die über Eingaben vom dezentralen oder zentralen Steuersystem gesteuert (aktiviert, deaktiviert oder in Durchflussposition gehalten) werden, wie in mindestens einer Ausführungsform unter Bezugnahme auf die , und erläutert. Ferner können in mindestens einer Ausführungsform, wenn das Gestell 402 eine Kühlungsanforderung stellt (oder anzeigt), alle Durchflussregler 432 gleichzeitig gesteuert werden, um die Kühlungsanforderung zu erfüllen, als ob die Kühlungsanforderung für die Kühlungsanforderungen aller Server 406 repräsentativ wäre. In mindestens einer Ausführungsform kommt die Anforderung oder die Angabe von einem Sensor, der dem Gestellverteiler zugeordnet ist und die Temperatur innerhalb des Gestells misst.
In mindestens einer Ausführungsform erfolgt die Anforderung oder die Angabe durch einen Sensor, der dem Gestell oder den Servern zugeordnet ist. Wie in der Ausführungsform von 3B kann es einen oder mehrere Sensoren an verschiedenen Stellen des Gestells und an verschiedenen Stellen des Servers geben. In mindestens einer Ausführungsform können die Sensoren in einer verteilten Konfiguration einzelne Anforderungen oder Angaben zu einer Temperatur senden. In mindestens einer Ausführungsform arbeiten die Sensoren in einer zentralisierten Konfiguration und sind so ausgelegt, dass sie ihre Anforderungen oder Angaben an einen Sensor oder an ein zentrales Kontrollsystem senden, das die Anforderungen oder Angaben aggregiert, um eine einzelne Aktion zu bestimmen. In mindestens einer Ausführungsform kann die einzelne Aktion darin bestehen, ein oder mehrere Kühlmedien aus dem Mehrfachmodus-Kühlsubsystem zu senden, um die der einzelnen Aktion zugeordneten Anforderungen oder Angaben zu erfüllen. In mindestens einer Ausführungsform ermöglicht dies dem gegenwärtigen Kühlsystem, Kühlmedien zu senden, die einer höheren Kühlkapazität oder -fähigkeit zugeordnet sind als der Gesamtkühlungsbedarf einiger Server in den Gestellen, da die aggregierten Anforderungen oder Angaben mindestens einige Kühlungsanforderungen enthalten können, die höher sind als der Gesamtkühlungsbedarf.
In mindestens einer Ausführungsform wird ein modenstatistisches Maß als ein Aggregat verwendet, um die Anzahl der Server mit höherem Kühlungsbedarf anzugeben, die anstelle eines reinen Durchschnitts der Kühlungsanforderungen der Server berücksichtigt werden können. So kann vorteilhaft ein Subsystem, das eine höhere Kühlkapazität oder -leistung (z.B. ein Subsystem mit Eintauchkühlung) bietet, aktiviert werden, wenn mindestens 50% der Server eines Gestells einen höheren Kühlbedarf haben. Allerdings muss der Server, der eine höhere Kühlleistung oder -fähigkeit anfordert, auch das Kühlsubsystem unterstützen, das die höhere Kühlleistung oder -fähigkeit bietet. In mindestens einer Ausführungsform muss ein Server, der die Eintauchkühlung unterstützt, einen abgedichteten Raum aufweisen, in dem ein dielektrisches Kühlmedium, z.B. ein dielektrisches Kältemittel, mit den Komponenten in direkten Kontakt kommen kann. In mindestens einer Ausführungsform kann ein Subsystem mit geringerer Kühlkapazität oder -leistung (wie beispielsweise das Kühlmittel oder ein auf Kühlmittel basierendes Subsystem) aktiviert werden, wenn höchstens 50% der Server des Gestells höhere Kühlungsanforderungen haben. Wenn jedoch eine Reihe der Servern des Gestells einen höheren Kühlbedarf anfordert oder anzeigt, nachdem das kühlmittel- oder kältemittelbasierte Subsystem für das Gestell aktiviert wurde, dann kann eine höhere Kühlkapazität oder -leistung bereitgestellt werden, um die Lücke zu schließen. In mindestens einer Ausführungsform kann der Wechsel des spezifischen Kühlsubsystems auf eine höhere oder niedrigere Kühlleistung oder -fähigkeit zum Teil auf der Grundlage der Zeit erfolgen, die seit einer ersten Anforderung oder Angabe verstrichen ist, und wenn die erste Anforderung oder Angabe andauert oder einen Anstieg der zugeordneten Temperatur anzeigt.
In mindestens einer Ausführungsform haben die Server 406 einzelne Verteiler auf Server-Ebene, wie z. B. den Verteiler 408 in dem Server 404. Der Verteiler 408 des Servers 404 enthält einen oder mehrere Durchflussregler 410A, B auf Server-Ebene, um die Kühlungsanforderungen einzelner Komponenten zu erfüllen. Der Serververteiler 408 empfängt Flüssigphasenkältemittel vom Gestellverteiler 428A (über einen Adapter oder einen Koppler 418) und wird veranlasst, das Kältemittel abhängig von Anforderungen der den Kälteplatten 412A-D zugeordneten Rechenkomponenten über die zugeordneten Kälteplatten 412A-D an die Komponenten zu verteilen. In mindestens einer Ausführungsform kann das verteilte oder zentralisierte Steuersystem, das dem Mehrfachmodus-Kühlsubsystem zugeordnet ist, die Durchflussregler 432 auf Gestellverteiler-Ebene und die Durchflussregler 410A, B auf Server-Ebene steuern, um die Bewegung von Kältemittel aus dem phasenbasierten Kühlsubsystem zu erleichtern. So kann in mindestens einer Ausführungsform ein Sensor auf einer ersten Seite des Servers 404 mit Komponenten, die einem ersten Satz von Kälteplatten 412A, B zugeordnet sind, höhere Kühlungsanforderungen angeben oder anfordern als ein Sensor auf einer zweiten Seite des Servers 404 mit Komponenten, die einem zweiten Satz von Kälteplatten 4122C, D zugeordnet sind. Dann kann, wenn ein Kältemittel als Kühlmedium gesendet wird, das Kältemittel über den Durchflussregler 410A und die Einlassleitung 414A durch den ersten Satz von Kälteplatten 412A, B und über die Auslassleitung 416A zurück zum Serververteiler 408 fließen. Das Kältemittel in der Dampfphase kann den Serververteiler über einen Adapter oder ein Verbindungsstück 420 verlassen.
In mindestens einer Ausführungsform umfassen der Serververteiler 404 sowie die Reihenverteiler 428A, B mehrere Subverteiler oder Leitungen und zugeordnete Koppler, um die anderen Kühlmedien, einschließlich des Kühlmittels (oder des dielektrischen Kühlmittels), zu unterstützen, aber dies wird hier nur für den Teil des Kältemittels (phasenbasiertes Medium) dargestellt und diskutiert, der für dieses Merkmal relevant ist. In mindestens einer Ausführungsform, wenn der Sensor auf der zweiten Seite des Servers 404 mit Komponenten, die dem zweiten Satz von Kälteplatten 412C, D zugeordnet sind, keinen höheren Kühlbedarf angezeigt oder angefordert als der Sensor auf der ersten Seite des Servers 404 mit Komponenten, die dem ersten Satz von Kälteplatten 412A, B zugeordnet sind, bleibt der Durchflussregler 410B geschlossen oder unverändert (falls er zuvor für ein anderes Kühlmedium geöffnet wurde). In der Einlassleitung 414B, dem zweiten Satz von Kälteplatten 412C, D und der Auslassleitung 416B zum Serververteiler 408 keine Änderung an dem Kühlmittel stattfinden oder kein Kühlmedium vorhanden sein.
4B ist ein Blockdiagramm, das Merkmale auf Gestell-Ebene 450A und Server-Ebene 450B eines Kühlsystems veranschaulicht, das ein dielektrikumbasiertes Kühlsubsystem des Mehrfachmodus-Kühlsubsystems integriert, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist das dielektrikumbasierte Kühlsubsystem ein auf Eintauchen basierendes Kühlsubsystem. Das dielektrikumbasierte Kühlsubsystem ermöglicht eine Eintauchkühlung von Rechenkomponenten in einem oder mehreren Servern 456 der Gestelle 452. Die Merkmale der Gestell-Ebene 450A, die das dielektrikumbasierte Kühlsubsystem unterstützen oder integrieren, beinhalten ein Gestell 452 mit Einlass- und Auslassverteilern 478A, 478B auf dielektrischer Basis, denen Einlass- und Auslasskoppler oder -adapter 474, 476 zugeordnet sind, und mit einzelnen Durchflussreglern 482 (in der Abbildung sind zwei dargestellt). Wenn das dielektrische Kühlmedium ein dielektrisches Kältemittel ist, können in mindestens einer Ausführungsform die mit dem kältemittelbasierten Kühlsubsystem verbundenen Kühlkomponenten zur Unterstützung des dielektrikumbasierten Kühlsubsystems verwendet werden. Die Einlass- und Auslasskoppler oder -adapter 474, 476 empfangen, leiten und senden dielektrische Kühlmedien 472 durch einen oder mehrere anfordernde (oder angebende) Server 456; 454.
In mindestens einer Ausführungsform können alle Server 456 in dem Gestell 452 durch ihre individuellen Anforderungen (oder Angaben) für denselben Kühlungsbedarf angesprochen werden, oder durch eine Anforderung (oder Angabe) von dem Gestell 452 im Namen seiner Server 456, die durch das dielektrikumbasierte Kühlsubsystem angesprochen werden können. Das dielektrische Kühlmedium 480 verlässt das Gestell über den Adapter oder den Koppler 476. Die einzelnen Durchflussregler 483 können in mindestens einer Ausführungsform Pumpen sein, die über Eingaben von dem verteilten oder zentralisierten Steuersystem gesteuert (aktiviert, deaktiviert oder in Durchflussposition gehalten) werden. Ferner können in mindestens einer Ausführungsform, wenn das Gestell 452 eine Kühlungsanforderung stellt (oder in mindestens einer Ausführungsform seine Angabe von einem zugeordneten Sensor bereitstelle), alle Durchflussregler 482 gleichzeitig gesteuert werden, um die Kühlungsanforderung zu erfüllen, als ob die Kühlungsanforderung für die Kühlungsanforderungen aller Server 456 zur gleichen Zeit repräsentativ wäre.
In mindestens einer Ausführungsform erfolgt die Anforderung oder die Angabe von einen Sensor, der dem Gestell oder den Servern zugeordnet ist. Es kann einen oder mehrere Sensoren an verschiedenen Stellen des Gestells und an verschiedenen Stellen des Servers geben. In mindestens einer Ausführungsform können die Sensoren in einer verteilten Konfiguration einzelne Anforderungen oder Angaben zur Temperatur senden. In mindestens einer Ausführungsform arbeiten die Sensoren in einer zentralisierten Konfiguration und sind so ausgelegt, dass sie ihre Anforderungen oder Angaben an einen Sensor oder an ein zentralisiertes Kontrollsystem senden, das die Anforderungen oder Angaben aggregiert, um eine einzelne Aktion zu bestimmen. In mindestens einer Ausführungsform kann die einzelne Aktion darin bestehen, ein oder mehrere Kühlmedien aus dem Mehrfachmodus-Kühlsubsystem zu senden, um die der einzelnen Aktion zugeordneten Anforderungen oder Angaben zu erfüllen. In mindestens einer Ausführungsform ermöglicht dies dem gegenwärtigen Kühlsystem, Kühlmedien zu senden, die einer höheren Kühlleistung zugeordnet sind als der Gesamtkühlungsbedarf einiger Server in den Gestellen, da die aggregierten Anforderungen oder Angaben mindestens einige Kühlungsanforderungen enthalten können, die höher sind als der Gesamtkühlungsbedarf.
In mindestens einer Ausführungsform wird ein modenstatistisches Maß als ein Aggregat verwendet, um die Anzahl von Servern mit höherem Kühlungsbedarf anzugeben, was anstelle eines reinen Durchschnitts der Kühlungsanforderungen der Server berücksichtigt werden kann. So kann vorteilhaft ein Subsystem, das eine höhere Kühlleistung (z.B. ein Subsystem mit Eintauchkühlung oder ein kältemittelbasiertes Subsystem) bietet, aktiviert werden, wenn mindestens 50% der Server eines Gestells einen höheren Kühlbedarf haben. In mindestens einer Ausführungsform kann ein Subsystem mit geringerer Kühlleistung (z.B. ein kältemittel- oder ein kühlmittelbasiertes Subsystem) aktiviert werden, wenn höchstens 50% der Server des Gestells einen höheren Kühlbedarf haben. Wenn jedoch eine Reihe der Server des Gestells einen höheren Kühlbedarf anfordert oder anzeigt, nachdem das kältemittel- oder ein kühlmittelbasierte Kühlsubsystem für das Gestell aktiviert ist, dann kann eine höhere Kühlleistung (z.B. von dem dielektrikumbasierten Kühlsubsystem) bereitgestellt werden, um das Defizit auszugleichen, falls die betreffenden Server (und Rechenkomponenten) Eintauchkühlung unterstützen können. In mindestens einer Ausführungsform kann der Wechsel des spezifischen Kühlsubsystems zu einer Kühlung mit höherer oder niedrigerer Leistung zum Teil auf der Grundlage der Zeit erfolgen, die seit einer ersten Anforderung oder Angabe verstrichen ist, und wenn die erste Anforderung oder Angabe anhält oder einen Anstieg der zugeordneten Temperatur anzeigt.
In mindestens einer Ausführungsform haben die Server 456 individuelle Verteiler auf Server-Ebene, wie z.B. einen Verteiler 458 in einem Server 454 (auch als Servereinschub oder Servergehäuse bezeichnet). Da der Server eine spezifische Anpassung erfordert, um Eintauchkühlung zu unterstützen, wie z.B. eine hermetische Versiegelung, in mindestens einer Ausführungsform. Der Verteiler 458 des Servers 454 ist dazu angepasst, das Servergehäuse zur Eintauchkühlung zu fluten. Der Serververteiler 338 empfängt das dielektrikumbasierte Kühlmedium von dem Gestellverteiler 478A (über den Adapter oder Koppler 468) und wird abhängig von Anforderungen der den Kälteplatten 462A-D zugeordneten Rechenkomponenten veranlasst, das dielektrikumbasierte Kühlmedium in den Server 454 zu fluten, so dass die Komponenten direkt in Kontakt mit dem dielektrikumbasierten Kühlmedium sind. In mindestens einer Ausführungsform können die Kälteplatten 462A-D daher entfallen. In mindestens einer Ausführungsform kann das verteilte oder zentralisierte Steuersystem, das dem Mehrfachmodus-Kühlsubsystem zugeordnet ist, die Durchflussregler 482 auf Gestell-Ebene steuern, um die Bewegung von Kühlmedien auf dielektrischer Basis aus dem dielektrikumbasierten Subsystem zu erleichtern. So kann in mindestens einer Ausführungsform ein den Kälteplatten 462A-D zugeordneter Sensor einen höheren Kühlbedarf angeben oder anfordern, als derzeit von einem der Kühlmittel, Kältemittel oder luftbasierten Kühlmedien unterstützt wird. Dann kann das dielektrikumbasierte Kühlmedium über den geeigneten Durchflussregler 482 und über den Einlassadapter oder -koppler 468 zu dem Server 454 und aus dem Auslassadapter oder -koppler 470 fließen. Jeder der Einlass- als auch Auslassadapter oder Auslasskoppler 468, 470 enthalten ein Einwegventil, so dass das dielektrikumbasierte Kühlmedium durch einen Adapter oder Koppler 468 in das Servergehäuse und aus dem anderen Adapter oder Koppler 470 herausfließt.
In mindestens einer Ausführungsform umfassen der Serververteiler 458 sowie der/die Reihenverteiler 478A, B mehrere Subverteiler oder Leitungen und zugeordnete Koppler, um die anderen Kühlmedien zu unterstützen, einschließlich des Kühlmittels und des Kältemittels (falls das dielektrische Kühlmedium nicht dasselbe ist wie das Kältemittel), aber wird hier für den dielektrikumbasierten Kühlmedienteil dargestellt und diskutiert, da es für dieses Merkmal relevant ist. In mindestens einer Ausführungsform kann das dielektrikumbasierte Kühlmedium über den Adapter oder Koppler 474 in den Gestellverteiler eintreten, und verlässt das erwärmte oder verbrauchte dielektrikumbasierte Kühlmedium 480 das Gestell über den Adapter oder Koppler 476.
5 ist ein Prozessablauf von Schritten, die für ein Verfahren 500 zur Verwendung oder Herstellung des Kühlsystems der 2-4B und 6A-17D verfügbar sind, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das Verfahren zum Kühlen eines Rechenzentrums einen Schritt 502 zum Bereitstellen eines Mehrfachmodus-Kühlsubsystems, das für unterschiedliche Kühlkapazitäten ausgelegt ist. In mindestens einer Ausführungsform stellt der Schritt 502 das Mehrfachmodus-Kühlsubsystem mit zwei oder mehr eines luftbasierten Kühlsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrischen Kühlsubsystems oder eines phasenbasierten Kühlsubsystems bereit. Das Mehrfachmodus-Kühlsubsystem ist daher für die verschiedenen Kühlkapazitäten ausgelegt, die zum Teil auf den Leistungen der einzelnen Kühlsubsysteme basieren. Ferner wird das Mehrfachmodus-Kühlsubsystem in einem Formfaktor für ein oder mehrere Gestelle bzw. Racks des Rechenzentrums bereitgestellt. In mindestens einer Ausführungsform hat das Mehrfachmodus-Kühlsubsystem den Formfaktor von einem oder mehreren Gestellen.
In mindestens einer Ausführungsform umfasst das Verfahren 500 einen Schritt 504, der die Einstellung des Mehrfachmodus-Kühlsubsystems so ermöglicht, dass die verschiedenen Kühlsubsysteme innerhalb des Mehrfachmodus-Kühlsubsystems aktiviert und deaktiviert werden können, um unabhängig voneinander oder gleichzeitig miteinander zu arbeiten. In einem Schritt 506 werden von Sensoren, die an verschiedenen Stellen der Server oder der Gestelle angebracht sind, Angaben unterschiedlicher Temperaturen ermittelt. In mindestens einer Ausführungsform ist die Angabe eine Aufforderung an eine empfangende Komponente, z.B. ein verteiltes oder zentralisiertes Steuersystem, auf die unterschiedlichen Temperaturen zu reagieren oder die Überwachung der unterschiedlichen Temperaturen fortzusetzen.
In mindestens einer Ausführungsform ist das verteilte oder zentralisierte Steuersystem in der Lage, über einen Schritt 508 eine Bestimmung durchzuführen, ob die unterschiedlichen Temperaturen unterschiedliche Kühlungsanforderungen innerhalb eines Minimums und eines Maximums der verschiedenen Kühlkapazitäten des Mehrfachmodus-Kühlsubsystems widerspiegeln. Beispielsweise sind in dem verteilten oder zentralisierten Steuersystem anpassbare Temperaturwerte gespeichert, die verschiedenen Temperaturbereichen entsprechen, die jeweils von dem luftbasierten Kühlsystem, dem flüssigkeitsbasierten Kühlsubsystem, dem dielektrikumbasierten Kühlsubsystem oder dem phasenbasierten Kühlsubsystem unterstützt werden können. Die anpassbaren Temperaturwerte spiegeln unterschiedliche Kühlungsfähigkeiten der verschiedenen Kühlsubsysteme wider. Das luftbasierte Kühlsubsystem entspricht dem geringsten Kühlungsbedarf des Rechenzentrums, was auch eine minimale Kühlungsfähigkeit des Mehrfachmodus-Kühlsubsystems widerspiegelt. In mindestens einer Ausführungsform entspricht das dielektrikumbasierte Kühlsubsystem der maximalen Kühlleistung des Mehrfachmodus-Kühlsubsystems. In mindestens einer Ausführungsform, wenn es unwahrscheinlich ist, dass Server das dielektrikumbasierte Kühlsubsystem unterstützen, dann spiegelt ein Kühlsubsystem auf Kältemittelbasis (oder einer anderen Phase) am Ende seiner höchsten Kühlleistung die maximale Kühlleistung des Mehrfachmodus-Kühlsubsystems wider.
In einem Schritt 510 kann, teilweise basierend auf einer positiven Bestimmung aus Schritt 508, dass die unterschiedlichen Temperaturen aus Sensoren in den Servern oder Gestellen unterschiedliche Kühlungsanforderungen innerhalb eines Minimums und eines Maximums der unterschiedlichen Kühlkapazitäten widerspiegeln, das Mehrfachmodus-Kühlsubsystem aktiviert werden. In Schritt 510, als Teil der Aktivierung des Mehrfachmodus-Kühlsubsystems, ist das verteilte oder zentralisierte Steuersystem dazu angepasst, in Übereinstimmung mit den Kühlungsanforderungen der verschiedenen Server oder Gestelle unterschiedliche Kühlmedien von den verschiedenen Kühlsubsystemen bereitzustellen. In mindestens einer Ausführungsform sind in dem verteilten oder zentralisierten Steuersystem anpassbare Werte von Durchflussmengen oder Volumina für die verschiedenen Kühlmedien gespeichert, die bewirken, dass den verschiedenen Kühlsubsystemen zugeordnete Durchflussregler unabhängig oder gleichzeitig aktiviert werden, um den Kühlungsanforderungen der verschiedenen Server oder Gestelle gerecht zu werden. Eine negative Bestimmung aus Schritt 508 ermöglicht eine fortlaufende oder kontinuierliche Überwachung der Sensoren in Schritt 506.
In mindestens einer Ausführungsform erfolgen die Schritte 506-510 als Teil des verteilten Steuersystems über Prozessoren, die jedem Durchflussregler des Mehrfachmodus-Kühlsubsystems zugeordnet sind. Die Schritte 506-510, durchgeführt in einer verteilten Weise, ermöglichen es den Durchflussreglern, die den verschiedenen Kühlsubsystemen des Mehrfachmodus-Kühlsubsystems zugeordnet sind, Eingaben von Temperatursensoren zu erhalten, die den Schritt 508 widerspiegeln, wobei die Sensoren einer oder mehreren Komponenten innerhalb von Servern des einen oder der mehreren Gestelle des Rechenzentrums zugeordnet sind. Die Schritte 506-510, die über das verteilte Steuersystem durchgeführt werden, ermöglichen es den Durchflussreglern, die Bewegung von zwei verschiedenen Kühlmedien zu erleichtern, durch Steuern der Durchflussregler, die den zwei verschiedenen Kühlmedien zugeordnet sind, um die unterschiedlichen Kühlungsanforderungen zu erfüllen.
In mindestens einer Ausführungsform umfasst Schritt 502 ein Bereitstellen des Mehrfachmodus-Kühlsubsystems durch Ermöglichen des phasenbasierten Kühlsubsystems unter Verwendung eines kältemittelbasierten Wärmeübertragungssubsystems und Ermöglichen des flüssigkeitsbasierten Kühlsubsystems und des dielektrikumbasierten Kühlsubsystems unter Verwendung eines flüssigkeitsbasierten Wärmeübertragungssubsystems. In mindestens einer Ausführungsform umfasst Schritt 510 ein Bereitstellen des Mehrfachmodus-Kühlsubsystems durch Ermöglichen des flüssigkeitsbasierten Kühlsubsystems und des dielektrikumbasierten Kühlsubsystems unter Verwendung eines dielektrischen Kühlmittels. In mindestens einer Ausführungsform leiten die Schritte 506-510 ein erstes Kühlmedium zu mindestens einem ersten Gestell des Rechenzentrums gemäß einem ersten Wärmemerkmal oder einem Kühlbedarf des mindestens einen ersten Gestells unter Verwendung eines ersten individuellen Kühlsubsystems des Mehrfachmodus-Kühlsubsystems mit zugeordneten ersten Schleifenkomponenten. Gleichzeitig leiten die Schritte 506-510 auch ein zweites Kühlmedium zu mindestens einem zweiten Gestell des Rechenzentrums gemäß einem zweiten Wärmemerkmal oder einem Kühlbedarf des mindestens einen zweiten Gestells unter Verwendung eines zweiten individuellen Kühlsubsystems des Mehrfachmodus-Kühlsubsystems mit zugeordneten zweiten Schleifenkomponenten.
In mindestens einer Ausführungsform ermöglichen die Schritte 506-510 einem oder mehreren ersten Durchflussreglern, ein erstes Kühlmedium von verschiedenen Kühlmedien, die dem Mehrfachmodus-Kühlsubsystem zugeordnet sind, auf einer ersten Durchflussrate zu halten, die teilweise auf einem ersten Kühlbedarf der verschiedenen Kühlungsanforderungen basiert. Gleichzeitig ermöglichen diese Schritte auch einem oder mehreren zweiten Durchflussreglern, ein zweites Kühlmedium der verschiedenen Kühlmedien so zu modifizieren, dass es mit einer oder mehreren Durchflussraten fließt, basierend teilweise auf einem zweiten Kühlbedarf der verschiedenen Kühlungsanforderungen, die von innerhalb eines oder mehrerer Server des Rechenzentrums erfasst werden.
In mindestens einer Ausführungsform kann ein Durchflussregler auf einer Ausgangsseite der Rohrleitung in einem beliebigen der Rechenzentrumsmerkmale bereitgestellt sein. Ferner kann ein Durchflussregler sowohl auf der Eingangs- als auch auf der Ausgangsseite der Rohrleitung in einem beliebigen der Rechenzentrumsmerkmale bereitgestellt sein. Insoweit führt, wenn sich der Durchflussregler auf der Ausgangsseite befindet, dieser eine Saugwirkung und keine Druckwirkung aus. Wenn zwei Durchflussregler im Tandem arbeiten, gibt es sowohl Saug- als auch Druckaktionen. Die erreichten Durchflussraten können bei Tandem-Durchflussreglern höher sein. Die Konfiguration oder Anpassung der Durchflussregler kann z.B. durch Anforderungen der Komponenten bestimmt sein.
In mindestens einer Ausführungsform erleichtert der kühlmittelbasierte sekundäre Kühlkreislauf der Ausführungsform in 3A eine Default- oder Standardbewegung von Kühlmittel in einem Kühlkreislauf auf Komponentenebene (wie beispielsweise durch die Rohrleitungen 344A, 346A in dem Server 334 ermöglicht), oder von einem zweiten Kühlmittel, falls der sekundäre Kühlkreislauf direkt für eine Komponente verfügbar ist. In mindestens einer Ausführungsform kann ein lernendes Subsystem über den Deep-Learning-Anwendungsprozessor, wie z.B. den Prozessor 1400 in 14, implementiert sein und kann die Neuronen 1502 und deren Komponenten verwenden, die mit Hilfe von Schaltkreisen oder Logik implementiert sind, einschließlich einer oder mehrerer Arithmetik-Logik-Einheiten (ALUs), wie in 15 beschrieben. Als solches enthält das lernende Subsystem mindestens einen Prozessor zum Auswerten von Temperaturen innerhalb von Servern des einen oder der mehreren Gestelle mit Durchflussraten unterschiedlicher Kühlmedien. Das lernende Subsystem stellt auch Ausgaben bereit, die mindestens zwei Temperaturen zugeordnet sind, um die Bewegung von zwei Kühlmedien der verschiedenen Kühlmedien durch Steuern der Durchflussregler, die den beiden Kühlmedien zugeordnet sind, um die unterschiedlichen Kühlungsanforderungen zu erfüllen.
Einmal trainiert wird das lernende Subsystem in der Lage sein, eine oder mehrere Ausgaben mit Anweisungen, die Durchflussraten für die verschiedenen Kühlmedien zugeordnet sind, für die Durchflussregler bereitzustellen. Die Ausgaben werden nach einer Auswertung der zuvor zugeordneten Durchflussraten einzelner Kühlmedien der verschiedenen Kühlmedien und der zuvor zugeordneten Temperaturen bereitgestellt, wie unter Bezugnahme auf 2-5 beschrieben. In mindestens einer Ausführungsform können die Temperaturen, die in dem lernenden Subsystem verwendet werden, ein abgeleiteter Wert aus einem Spannungs- und/oder Stromwert sein, der von einer entsprechenden Komponente, z.B. einem Sensor, ausgegeben wird, aber der Spannungs- und/oder der Stromwert selbst können verwendet werden, um das lernende Subsystem zu trainieren, zusammen mit der erforderlichen Durchflussrate, die für die verschiedenen Kühlmedien erforderlich ist, um zu bewirken, dass eine oder mehrere Rechenkomponenten, Server, Gestelle oder zugeordnete Sensoren die Temperaturen erreichen. Alternativ spiegeln die Temperaturen eine oder mehrere Temperaturen wider, bei denen die erforderlichen Durchflussraten für die Kühlmedien über das hinausgehen, was bereits von den Kühlmedien zur Kühlung der einen oder mehreren Rechenkomponenten, Server, Gestelle oder zugeordneten Sensoren bereitgestellt wird, und können nachfolgende Temperaturen in dem lernenden Subsystem verwendet werden, um die Temperaturen widerzuspiegeln, bei denen die erforderlichen Durchflussraten für die erforderlichen Kühlmedien nicht mehr erforderlich sind.
Alternativ wird in mindestens einer Ausführungsform der Unterschied zwischen den Temperaturen und den nachfolgenden Temperaturen der verschiedenen Kühlmedien aus den verschiedenen Kühlsubsystemen zusammen mit den erforderlichen Durchflussraten verwendet, um das lernende System zu trainieren, damit es erkennt, wann zugeordnete Durchflussregler für die verschiedenen Kühlmedien zu aktivieren und zu deaktivieren sind. Einmal trainiert ist das lernende Subsystem in der Lage, über eine Gerätesteuerung (die hierin auch als ein zentralisiertes oder verteiltes Steuersystem bezeichnet wird), die an anderer Stelle in dieser Offenbarung beschrieben wird, eine oder mehrere Ausgaben bereitzustellen, um die zugeordneten Durchflussregler der verschiedenen Kühlsubsysteme im Ansprechen auf eine Temperatur zu steuern, die von Temperatursensoren empfangen wird, die verschiedenen Komponenten, verschiedenen Servern und verschiedenen Gestellen zugeordnet sind.
Ferner führt das lernende Subsystem ein Modell maschinellen Lernens aus, das Temperaturen verarbeitet, die aus früheren Anwendungen, möglicherweise in einer Testumgebung, gesammelt wurden, um die Temperaturen innerhalb der verschiedenen Server und Gestelle und zugeordnet zu verschiedenen Komponenten zu steuern. Die gesammelten Temperaturen können (a) erreichte Temperaturen für bestimmte Durchflussraten der verschiedenen Kühlmedien; (b) erreichte Temperaturdifferenzen für bestimmte Durchflussraten der verschiedenen Kühlmedien für bestimmte Zeiträume; und (c) Anfangstemperaturen und entsprechende Durchflussraten der verschiedenen Medien, die angewandt werden, um die verschiedenen Server, Gestelle oder Komponenten aufgrund ihrer unterschiedlichen Kühlungsanforderungen im optimalen Betrieb zu halten, beinhalten. In mindestens einer Ausführungsform können die gesammelten Informationen einen Verweis auf ein Kühlmittel- oder einen Kältemitteltyp oder einen Kompatibilitätstyp (wie z.B. einen Server oder ein Gestell mit Tauchkühlungskompatibilität) enthalten, der die Art von erforderlicher oder verfügbarer Kühlung widerspiegelt.
In mindestens einer Ausführungsform können Aspekte der Verarbeitung für das Deep-Learning-Subsystem die gesammelten Informationen verwenden, die entsprechend den Merkmalen verarbeitet werden, die unter Bezugnahme auf 14, 15 diskutiert wurden. In einem Beispiel verwendet die Verarbeitung der Temperaturen mehrere Neuronenebenen des Modells maschinellen Lernens, die mit einem oder mehreren der oben genannten gesammelten Temperaturmerkmale und den entsprechenden Durchflussraten der verschiedenen Kühlmedien geladen werden. Das lernende Subsystem führt ein Training durch, das als eine Auswertung von Temperaturänderungen repräsentiert werden kann, die früheren Durchflussraten (oder Änderungen in Durchflussraten) jedes Kühlmediums gemäß Einstellungen zugeordnet sind, die an einem oder mehreren Durchflussreglern vorgenommen wurden, die den verschiedenen Kühlmedien zugeordnet sind. Die Neuronenebenen können Werte speichern, die dem Bewertungsprozess zugeordnet sind, und können eine Assoziation oder Korrelation zwischen den Temperaturänderungen und den Durchflussraten für jedes der verschiedenen Kühlmedien repräsentieren.
In mindestens einer Ausführungsform ist das lernende Subsystem, einmal trainiert, in der Lage, in der Anwendung Durchflussraten der verschiedenen Medien zu bestimmen, die erforderlich sind, um eine Kühlung auf eine Temperatur (oder eine Änderung, wie z.B. eine Temperatursenkung) zu erreichen, die beispielsweise den Kühlungsanforderungen verschiedener Server, verschiedener Gestelle oder verschiedener Komponenten zugeordnet ist. Da die Kühlungsanforderungen innerhalb der Kühlfähigkeiten des geeigneten Kühlsubsystems liegen müssen, ist das lernende Subsystem in der Lage, auswählen, welches der Kühlsubsysteme zu aktivieren ist, um die von den verschiedenen Servern, den verschiedenen Gestellen oder den verschiedenen Komponenten erfasste Temperatur zu berücksichtigen. Die gesammelten Temperaturen und zuvor zugeordnete Durchflussraten für die verschiedenen Kühlmedien, die zum Erreichen der gesammelten Temperaturen (oder Unterschiede zum Beispiel) verwendet werden, können von dem lernenden Subsystem verwendet werden, um eine oder mehrere Ausgaben bereitzustellen, die erforderlichen Durchflussraten verschiedener Kühlmedien zugeordnet sind, um die unterschiedlichen Kühlungsanforderungen zu erfüllen, die durch eine Temperatur (die eine Reduzierung repräsentiert) als eine aktuelle Temperatur für die verschiedenen Server, die verschiedenen Gestelle oder die verschiedenen Komponenten widergespiegelt werden.
In mindestens einer Ausführungsform besteht ein Ergebnis des lernenden Subsystems darin, dass im Ansprechen auf eine von den verschiedenen Servern, den verschiedenen Gestellen oder den verschiedenen Komponenten erfasste Temperatur eine oder mehrere Ausgaben an die den verschiedenen Kühlsubsystemen zugeordneten Durchflussregler ausgegeben werden, die Durchflussraten der jeweiligen verschiedenen Kühlmedien modifizieren. Die Modifikation der Durchflussraten ermöglicht es, dass ein bestimmter Durchfluss der jeweils verschiedenen Kühlmedien die verschiedenen Server, die verschiedenen Gestelle oder die verschiedenen Komponenten, die gekühlt werden müssen, erreicht. Die modifizierte Durchflussrate kann so lange beibehalten werden, bis die Temperatur in dem zu kühlenden Bereich eine Temperatur erreicht, die der dem lernenden Subsystem bekannten Durchflussrate der Kühlmedien zugeordnet ist. In mindestens einer Ausführungsform kann die modifizierte Durchflussmenge beibehalten werden, bis sich die Temperatur in dem Bereich um einen bestimmten Wert ändert. In mindestens einer Ausführungsform kann die modifizierte Durchflussrate beibehalten werden, bis die Temperatur in dem Bereich eine Nenntemperatur für die verschiedenen Server, die verschiedenen Gestelle, die verschiedenen Komponenten oder die verschiedenen Kühlmedien erreicht.
In mindestens einer Ausführungsform umfasst die Gerätesteuerung (auch als ein zentralisiertes oder verteiltes Steuersystem bezeichnet) mindestens einen Prozessor mit mindestens einer Logikeinheit zum Steuern von Durchflussreglern, die den verschiedenen Kühlsubsystemen zugeordnet sind. In mindestens einer Ausführungsform kann die Gerätesteuerung mindestens einen Prozessor innerhalb des Rechenzentrums sein, wie z.B. der Prozessor 702 in 7A. Der Durchflussregler erleichtert die Bewegung eines jeweiligen Kühlmediums, das einem jeweiligen Kühlsubsystem zugeordnet ist, und erleichtert die Kühlung von Bereichen im Rechenzentrum im Ansprechen auf in dem Bereich erfasste Temperaturen. In mindestens einer Ausführungsform ist der mindestens eine Prozessor ein Prozessorkern eines Mehrkern-Prozessors, wie beispielsweise die Mehrkern-Prozessoren 905, 906 in 9A. In mindestens einer Ausführungsform kann die mindestens eine Logikeinheit dazu angepasst sein, Temperaturwerte von Temperatursensoren zu empfangen, die Servern oder dem einen oder den mehreren Gestellen zugeordnet sind, und dazu angepasst sein, die Bewegung eines ersten individuellen Kühlmittels und eines zweiten individuellen Kühlmittels der mindestens zwei Kühlmittel zu erleichtern.
In mindestens einer Ausführungsform kann ein Prozessor, wie z.B. die Prozessorkerne der Mehrkern-Prozessoren 905, 906 in 9A, ein lernendes Subsystem beinhalten zum Auswerten von Temperaturen von Sensoren an verschiedenen Orten im Rechenzentrum, wie z.B. an verschiedenen Orten, die den Servern oder den Gestellen oder sogar einer Komponente innerhalb des Servers zugeordnet sind, mit Durchflussraten, die mindestens zwei Kühlmedien eines Mehrfachmodus-Kühlsubsystems zugeordnet sind, das zwei oder mehr eines luftbasierten Kühlsubsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrikumbasierten Kühlsubsystems oder eines phasenbasierten Kühlsubsystems aufweist. Das lernende Subsystem stellt eine Ausgabe bereit, z.B. eine Anweisung, die mindestens zwei Temperaturen zugeordnet ist, um die Bewegung von mindestens zwei Kühlmedien zu erleichtern, durch Steuern der Durchflussregler, die den mindestens zwei Kühlmedien zugeordnet sind, um die unterschiedlichen Kühlungsanforderungen zu erfüllen.
In mindestens einer Ausführungsform führt das lernende Subsystem ein Modell maschinellen Lernens aus, um die Temperatur unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens zu verarbeiten, das die Temperaturen aufweist und das zuvor zugeordnete Durchflussraten für die verschiedenen Kühlmedien aufweist. Das Modell maschinellen Lernens kann unter Verwendung der in 15 beschriebenen Neuronenstruktur und des in 14 beschriebenen Deep-Learning-Prozessors implementiert sein. Das Modell maschinellen Lernens stellt die der Durchflussrate zugeordnete Ausgabe aus einer Auswertung der zuvor zugeordneten Durchflussraten an den einen oder die mehreren Durchflussregler bereit. Ferner ermöglicht eine Anweisungsausgabe des Prozessors, wie z.B. ein Anschluss eines Verbindungsbusses oder eine Kugel eines Kugelgitterfelds, die Kommunikation der Ausgabe mit dem einen oder den mehreren Durchflussreglern, um eine erste Durchflussrate eines ersten Kühlmediums der mindestens zwei verschiedenen Kühlmedien zu modifizieren, während eine zweite Durchflussrate eines zweiten individuellen Kühlmediums beibehalten wird.
In mindestens einer Ausführungsform bezieht sich die vorliegende Offenbarung auf mindestens einen Prozessor für ein Kühlsystem oder auf ein System mit dem mindestens einen Prozessor. Der mindestens eine Prozessor enthält mindestens eine Logikeinheit zum Trainieren eines neuronalen Netzwerks mit verborgenen Schichten von Neuronen zum Auswerten von Temperaturen und Durchflussraten, die mindestens zwei Kühlmedien eines Mehrfachmodus-Kühlsubsystems zugeordnet sind, das zwei oder mehr eines luftbasierten Kühlsubsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrikumbasierten Kühlsubsystems oder eines phasenbasierten Kühlsubsystems umfasst. Das Mehrfachmodus-Kühlsubsystem ist für verschiedene Kühlkapazitäten ausgelegt und ist innerhalb eines Minimums und eines Maximums der verschiedenen Kühlkapazitäten auf verschiedene Kühlungsanforderungen des Rechenzentrums einstellbar. Das Kühlsystem hat einen Formfaktor für ein oder mehrere Gestelle eines Rechenzentrums.
Wie an anderer Stelle in dieser Offenbarung und unter Bezugnahme auf 2-5, 14 und 15 beschrieben, kann das Training durch Schichten von Neuronen durchgeführt werden, denen Eingaben der Temperaturen eines oder mehrerer Bereiche in dem Rechenzentrum und zugeordnete Durchflussraten verschiedener Kühlmedien aus einer früheren Anwendung, vielleicht in einer Testumgebung, zur Verfügung gestellt werden. Die Temperaturen können eine Anfangstemperatur (und eine zugeordnete Durchflussrate jedes Kühlmediums, das für die Anfangstemperatur angewendet wird, um die Temperatur auf eine Nenntemperatur des einen oder der mehreren Bereiche zu bringen), eine Endtemperatur (nachdem jedes Kühlmedium angewendet ist, über jedes Kühlmedium, das sich bereits in dem Bereich befindet, für eine Durchflussrate für eine Zeitspanne) und eine Differenz in Temperaturen, die für die Durchflussrate und die Zeitspanne der Anwendung der verschiedenen Kühlmedien erreicht wurde, umfassen. Eines oder mehrere dieser Merkmale können dazu verwendet werden, ein neuronales Netz zu trainieren, um zu bestimmen, wann ein Durchfluss der verschiedenen Kühlmedien anzuwenden ist und/oder wann der Durchfluss der verschiedenen Kühlmedien zur Kühlung zu stoppen ist - wie beispielsweise wenn eine für einen Bereich erfasste Temperatur die Anfangstemperatur erreicht, wenn die für den Bereich erfasste Temperatur die Endtemperatur erreicht und/oder wenn die für den Bereich erfasste Temperatur die für den Bereich geeignete Temperaturdifferenz widerspiegelt (beispielsweise eine Verringerung der Temperatur auf eine Nenntemperatur).
In mindestens einer Ausführungsform umfasst der mindestens eine Prozessor mindestens eine Logikeinheit, die zum Trainieren eines neuronalen Netzes konfiguriert oder angepasst ist und ein Mehrkern-Prozessor ist. In mindestens einer Ausführungsform kann sich die mindestens eine Logikeinheit innerhalb eines Prozessorkerns befinden, der zum Auswerten von Temperaturen und Durchflussraten verwendet werden kann, die mindestens zwei Kühlmedien eines Mehrfachmodus-Kühlsubsystems zugeordnet sind, das zwei oder mehr eines luftbasierten Kühlsubsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrikumbasierten Kühlsubsystems oder eines phasenbasierten Kühlsubsystems aufweist. Das Mehrfachmodus-Kühlsubsystem ist für verschiedene Kühlkapazitäten ausgelegt und ist innerhalb eines Minimums und eines Maximums der verschiedenen Kühlkapazitäten an verschiedene Kühlungsanforderungen des Rechenzentrums einstellbar. Das Kühlsystem hat einen Formfaktor für ein oder mehrere Gestelle eines Rechenzentrums.
In mindestens einer Ausführungsform ermöglicht die vorliegende Offenbarung ein All-in-One-Luft-, Flüssigkeits-, Kälte- und Tauchkühlsystem, das in einem Formfaktor eines einzelnen Servergestells oder mehrerer Gestelle vorliegt und das die erforderliche Kühlung mit einem luftbasierten Kühlsubsystem mit einem Wärmetauscher, der einem Kühlmittel zugeordnet ist, mit einem flüssigkeitsbasierten Warm- oder Kaltwasserkühlsubsystem zur Chipkühlung, mit einem phasenbasierten Kühlsubsystem aus Kühlung und Wärmetauscher und mit einer Taucheinschubkühlung, die ein dielektrikumbasiertes Kühlsubsystem reflektiert, bereitstellt. Das Mehrfachmodus-Kühlsubsystem in einem Gestellverteiler ist Teil eines Kühlsystems, das Kühlung bereitstellen kann, indem es Luft durch gekühlte Wärmetauscher leitet, das aber auch Kühlwasser aus einer primären Flüssigkeitsversorgung bereitstellen kann, und das auch ein Dampfkompressionskühlsystem zur Kältemittelkühlung mit einem zugeordneten Verdampfer-Wärmetauscher für entweder Server- oder Chipkühlung bereitstellen kann. Darüber hinaus kann ein Kühlmittel oder ein Kältemittel mit dielektrischen Eigenschaften entweder von dem flüssigkeitsbasierten Kühlsubsystem oder von dem kältemittelbasierten (oder phasenbasierten) Kühlsubsystem verwendet werden, um Wärmelast von einem Taucheinschub-Kühlserver in einem Gestell zu entfernen.
In mindestens einer Ausführungsform ist die vorliegende Offenbarung daher ein All-in-One-Gestell-Kühlsystem, das Kühlung ausgehend von einem Gestell mit relativ geringer Dichte von etwa 10KW bis zu einer Kühlung höherer Dichte von etwa 30KW unter Verwendung des luftbasierten Kühlsubsystems, von etwa 30KW bis 60KW unter Verwendung eines flüssigkeitsbasierten Kühlsubsystems, von etwa 60KW bis 100kW unter Verwendung des phasenbasierten Kühlsubsystems und von etwa 100KW bis 450KW unter Verwendung des dielektrikumbasierten Kühlsubsystems für Tauchkühlung bereitstellen kann. Das All-in-One-Gestell ist eine All-in-One-Struktur uns spiegelt einen Fußabdruck wider, der in fast allen Rechenzentren eingesetzt werden kann.
RECHENZENTRUM
6A zeigt ein Beispiel für ein Rechenzentrum 600, in dem mindestens eine Ausführungsform aus 2-5 verwendet werden kann. In mindestens einer Ausführungsform umfasst das Rechenzentrum 600 eine Rechenzentrumsinfrastrukturschicht 610, eine Frameworkschicht 620, eine Softwareschicht 630 und eine Anwendungsschicht 640. In mindestens einer Ausführungsform, wie in Bezug auf 2 beschrieben, können die Merkmale in den Komponenten der Kühlsubsysteme des Mehrfachmodus-Kühlsubsystems innerhalb des oder in Zusammenarbeit mit dem beispielhaften Rechenzentrum 600 durchgeführt werden. In mindestens einer Ausführungsform können die Infrastrukturschicht 610, die Frameworkschicht 620, die Softwareschicht 630 und die Anwendungsschicht 640 teilweise oder vollständig über Rechenkomponenten auf Servereinschüben bereitgestellt werden, die sich in Gestellen 210 des Rechenzentrums 200 befinden. Dies ermöglicht es erfindungsgemäßen Kühlsystemen, die Kühlung in effizienter und effektiver Weise auf bestimmte Rechenkomponenten zu richten. Darüber hinaus können Aspekte des Rechenzentrums, einschließlich der Rechenzentrumsinfrastrukturschicht 610, der Frameworkschicht 620, der Softwareschicht 630 und der Anwendungsschicht 640 verwendet werden, um eine kältemittelunterstützte Kühlung zu unterstützen, das zumindest unter Bezugnahme auf die obigen 2 bis 5 diskutiert wurde. Insoweit kann die Diskussion in Bezug auf 6A-17D so verstanden werden, dass sie sich auf die Hardware- und Softwaremerkmale bezieht, die erforderlich sind, um z.B. das Mehrfachmodus-Kühlsubsystem für das Rechenzentrum der 2-5 zu ermöglichen oder zu unterstützen.
In mindestens einer Ausführungsform, wie in 6A, kann die Rechenzentrumsinfrastrukturschicht 610 einen Ressourcen-Orchestrator 612, gruppierte Rechenressourcen 614 und Knoten-Rechenressourcen („Knoten-C.R.s“) 616(1)-616(N) beinhalten, wobei „N“ eine beliebige ganze, positive Zahl repräsentiert. In mindestens einer Ausführungsform können die Knoten-C.R.s 616(1)-616(N) eine beliebige Anzahl von Zentraleinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, feldprogrammierbaren Gate-Arrays (FPGAs), Grafikprozessoren usw.), Speichervorrichtungen (wie z.B. dynamische), Speichervorrichtungen (z.B. dynamischer Festwertspeicher), Speichervorrichtungen (z.B. Festkörper- oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabe-Vorrichtungen („NW E/A“), Netzwerk-Switches, virtuelle Maschinen („VMs“), Stromversorgungsmodule und Kühlmodule, usw. beinhalten, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform können ein oder mehrere Knoten-C.R.s unter den Knoten-C.R.s 616(1)-616(N) ein Server mit einer oder mehreren der vorstehend erwähnten genannten Rechenressourcen sein.
In mindestens einer Ausführungsform können gruppierte Rechenressourcen 614 separate Gruppierungen von Knoten-CRs umfassen, die in einem oder mehreren Gestellen (nicht dargestellt) oder in vielen Gestellen in Rechenzentren an verschiedenen geografischen Standorten (ebenfalls nicht dargestellt) untergebracht sind. Getrennte Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechenressourcen 614 können gruppierte Rechen-, Netzwerk-, Speicher- oder Speicherressourcen umfassen, die zur Unterstützung einer oder mehrerer Arbeitslasten konfiguriert oder zugewiesen sein können. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s mit CPUs oder Prozessoren in einem oder mehreren Gestellen gruppiert sein, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform können ein oder mehrere Gestelle auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination enthalten.
In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 612 einen oder mehrere Knoten-CRs 616(1)-616(N) und/oder gruppierte Rechenressourcen 614 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 612 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 600 umfassen. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator Hardware, Software oder eine Kombination davon umfassen.
In mindestens einer Ausführungsform, wie in 6A gezeigt, umfasst die Framework-Schicht 620 einen Arbeitsplaner 622, einen Konfigurationsverwalter 624, einen Ressourcenverwalter 626 und ein verteiltes Dateisystem 628. In mindestens einer Ausführungsform kann die Framework-Schicht 620 ein Framework zur Unterstützung der Software 632 der Softwareschicht 630 und/oder einer oder mehrerer Anwendung(en) 642 der Anwendungsschicht 640 enthalten. In mindestens einer Ausführungsform können die Software 632 oder die Anwendung(en) 642 jeweils webbasierte Dienstsoftware oder Anwendungen umfassen, wie sie beispielsweise von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann die Framework-Schicht 620 eine Art freies und quelloffenes Software-Webanwendungs-Framework sein, wie z.B. Apache Spark (im Folgenden „Spark“), das ein verteiltes Dateisystem 628 für die Verarbeitung großer Datenmengen (z.B. „Big Data“) nutzen kann, ist aber nicht darauf beschränkt. In mindestens einer Ausführungsform kann der Arbeitsplaner 632 einen Spark-Treiber enthalten, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 600 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsverwalter 624 in der Lage sein, verschiedene Schichten zu konfigurieren, z.B. die Softwareschicht 630 und die Framework-Schicht 620 einschließlich Spark und das verteilte Dateisystem 628 zur Unterstützung der Verarbeitung großer Datenmengen. In mindestens einer Ausführungsform kann der Ressourcenverwalter 626 in der Lage sein, geclusterte oder gruppierte Rechenressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 628 und des Arbeitsplaners 622 auf diese abgebildet oder diesen zugeordnet sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Computerressourcen eine gruppierte Computerressource 614 auf der Rechenzentrumsinfrastrukturebene 610 umfassen. In mindestens einer Ausführungsform kann der Ressourcenverwalter 626 mit dem Ressourcen-Orchestrator 612 koordiniert werden, um diese zugeordneten oder zugewiesenen Computerressourcen zu verwalten.
In mindestens einer Ausführungsform kann die in der Softwareschicht 630 enthaltene Software 632 Software enthalten, die von mindestens Teilen der Knoten C.R.s 616(1)-616(N), den gruppierten Computerressourcen 614 und/oder dem verteilten Dateisystem 628 der Framework-Schicht 620 verwendet wird. Eine oder mehrere Arten von Software können unter anderem Internet-Suchsoftware, E-Mail-Virenscan-Software, Datenbanksoftware und Software für Streaming-Videoinhalte enthalten, sind aber nicht darauf beschränkt.
In mindestens einer Ausführungsform kann (können) die in der Anwendungsschicht 640 enthaltene(n) Anwendung(en) 642 eine oder mehrere Arten von Anwendungen umfassen, die von mindestens Teilen der Knoten C.R.s 616(1)-616(N), gruppierten Rechenressourcen 614 und/oder dem verteilten Dateisystem 628 der Framework-Schicht 620 verwendet werden. Eine oder mehrere Arten von Anwendungen kann/können eine beliebige Anzahl einer Genomanwendung, kognitiven Rechnens und einer Anwendung maschinellen Lernens, einschließlich einer Trainings- oder Inferenzierungs-Software, einer Framework-Software für maschinelles Lernen (z.B. PyTorch, TensorFlow, Caffe usw.) oder anderer Anwendungen maschinellen Lernens, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden, umfassen, sind aber nicht darauf beschränkt.
In mindestens einer Ausführungsform können der Konfigurationsverwalter 624, der Ressourcenverwalter 626 und der Ressourcen-Orchestrator 612 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren, die auf einer beliebigen Menge und Art von Daten basieren, die auf jede technisch mögliche Weise erfasst wurden. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Rechenzentrumsbetreiber des Rechenzentrums 600 davon entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht funktionierende Teile eines Rechenzentrums vermeiden.
In mindestens einer Ausführungsform kann das Rechenzentrum 600 Werkzeuge, Dienste, Software oder andere Ressourcen enthalten, um ein oder mehrere Modelle maschinellen Lernens zu trainieren oder Informationen unter Verwendung eines oder mehrerer Modelle maschinellen Lernens gemäß einer oder mehrerer hierin beschriebener Ausführungsformen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform kann ein Modell maschinellen Lernens trainiert werden, indem Gewichtsparameter gemäß einer neuronalen Netzwerkarchitektur unter Verwendung von Software und Rechenressourcen berechnet werden, die vorstehend in Bezug auf das Datenzentrum 600 beschrieben wurden. In mindestens einer Ausführungsform können trainierte Modelle maschinellen Lernens, die einem oder mehreren neuronalen Netzen entsprechen, verwendet werden, um Informationen abzuleiten oder vorherzusagen, wobei die oben beschriebenen Ressourcen in Bezug auf das Rechenzentrum 600 verwendet werden, indem Gewichtungsparameter verwendet werden, die durch eine oder mehrere hierin beschriebene Trainingstechniken berechnet werden. Wie bereits erörtert, können Deep-Learning-Techniken verwendet werden, um die intelligente Steuerung der Durchflussregler bei der kältemittelunterstützten Kühlung zu unterstützen, indem die Temperaturen im Bereich des Rechenzentrums überwacht werden. Deep Learning kann mit jedem geeigneten Lernnetzwerk und den Rechenkapazitäten des Rechenzentrums 600 weiterentwickelt werden. So kann ein Deep Neural Network (DNN), ein Recurrent Neural Network (RNN) oder ein Convolutional Neural Network (CNN) entweder gleichzeitig oder parallel mit der Hardware im Rechenzentrum unterstützt werden. Sobald ein Netzwerk trainiert und erfolgreich evaluiert wurde, um Daten innerhalb einer Teilmenge oder eines Slice zu erkennen, kann das trainierte Netzwerk ähnliche repräsentative Daten zur Verwendung mit den gesammelten Daten liefern.
In mindestens einer Ausführungsform kann das Rechenzentrum 600 CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um das Training und/oder die Inferenzierung unter Verwendung der oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst konfiguriert werden, um es Benutzern zu ermöglichen, Informationen wie Druck, Durchflussraten, Temperatur und Standortinformationen zu trainieren oder zu inferenzieren, oder andere Dienste der künstlichen Intelligenz zu nutzen.
INFERENZIERUNGS- UND TRAININGSLOGIK
Die Inferenzierungs- und/oder Trainingslogik 615 kann verwendet werden, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in dem System von 6A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hierin beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, eine Hardware-Logik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) wie der Tensorflow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore oder einem Nervana®-Prozessor (z.B. „Lake Crest“) von Intel Corp. verwendet werden.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit CPU-Hardware, GPU-Hardware oder anderer Hardware, wie z.B. FPGAs (Field Programmable Gate Arrays), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Code- und/oder Datenspeichermodule, die zum Speichern von Code (z.B. Graphencode), Gewichtungswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform ist jedes der Code- und/oder Datenspeichermodule mit einer dedizierten Rechenressource verbunden. In mindestens einer Ausführungsform umfasst die dedizierte Rechenressource Rechenhardware, die ferner eine oder mehrere ALUs umfasst, die mathematische Funktionen, wie lineare algebraische Funktionen, nur auf Informationen ausführen, die in Code- und/oder Datenspeichermodulen gespeichert sind, und deren Ergebnisse in einem Aktivierungsspeichermodul der Inferenzierungs- und/oder Trainingslogik 615 gespeichert werden.
6B, 6C zeigt eine Inferenzierungs- und/oder Trainingslogik, wie sie in 6A und in mindestens einer Ausführungsform der Erfindung verwendet wird, gemäß mindestens einer Ausführungsform. Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit mindestens einer Ausführungsform durchzuführen. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6B und/oder 6C beschrieben. Die Inferenzierungs- und/oder Trainingslogik 615 von 6B und 6C unterscheidet sich durch die Verwendung der Arithmetik-Logik-Einheiten (ALUs) 610 gegenüber der Rechenhardware 602, 606. In mindestens einer Ausführungsform enthalten sowohl die Rechenhardware 602 als auch die Rechenhardware 606 eine oder mehrere ALUs, die mathematische Funktionen, wie z.B. lineare algebraische Funktionen, nur auf Informationen ausführen, die in dem Code- und/oder Datenspeicher 601 bzw. in dem Code- und/oder Datenspeicher 605 gespeichert sind, deren Ergebnis im Aktivierungsspeicher 620 gespeichert wird. Als solche können 6B und 6C Alternativen sein und austauschbar verwendet werden, sofern nicht anders angegeben.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Code- und/oder Datenspeicher 601 zum Speichern von Vorwärts- und/oder Ausgabegewicht und/oder Eingangs-/ Ausgangsdaten und/oder anderen Parametern zum Konfigurieren von Neuronen oder Schichten eines neuronalen Netzwerks beinhalten, das zur Inferenzierung in mindestens einer Ausführungsform trainiert und/oder verwendet wird. In zumindest einer Ausführungsform kann die Trainingslogik 615 Code und/oder Datenspeicher 601 beinhalten oder mit diesem gekoppelt sein, um Grafikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welcher Gewichts- und/oder andere Parameterinformationen zu laden sind, um Logik, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (kollektiv Arithmetik-Logik-Einheiten (ALUs)) zu konfigurieren. In zumindest einer Ausführungsform lädt Code, wie beispielsweise Grafikcode, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht. In zumindest einer Ausführungsform speichert der Code- und/oder Datenspeicher 601 Gewichtsparameter und/oder Ein-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das in Verbindung mit mindestens einer Ausführungsform während der Vorwärtspropagation von Ein-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von Aspekten mindestens einer Ausführungsform trainiert oder verwendet wurde. In zumindest einer Ausführungsform kann jeder Abschnitt des Code- und/oder Datenspeichers 601 in anderem On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Caches oder Systemspeichers eines Prozessors, enthalten sein.
In mindestens einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 601 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In mindestens einer Ausführungsform können Code und/oder der Code und/oder Datenspeicher 601 Cache-Speicher, dynamisches RAM („DRAM“), statisches RAM („SRAM“), nichtflüchtiger Speicher (wie beispielsweise Flash-Speicher) oder anderer Speicher sein. In zumindest einer Ausführungsform kann die Wahl, ob Code und/oder der Code und/oder Datenspeicher 601 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speichertyp besteht, von auf dem Chip bzw. on-chip gegenüber nicht auf dem Chip bzw. off-chip verfügbarem Speicher, Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, einen Code- und/oder Datenspeicher 605 beinhalten zum Speichern von Rückwärts- und/oder Ausgangsgewichten und/oder Eingangs-/Ausgangsdaten, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das zur Inferenzierung in mindestens einer Ausführungsform trainiert und/oder verwendet wird. In zumindest einer Ausführungsform speichert der Code- und /oder Datenspeicher 605 Gewichtsparameter und/oder Eingangs-/Ausgangsdaten jeder Schicht eines neuronalen Netzwerks, die in Verbindung mit mindestens einer Ausführungsform während einer Rückwärtspropagation von Eingangs-/Ausgangsdaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von mindestens einer Ausführungsform trainiert oder verwendet werden. In zumindest einer Ausführungsform kann die Trainingslogik 615 den Code und/oder Datenspeicher 605 beinhalten oder mit diesem gekoppelt sein, um Grafikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welchem bzw. welcher Gewichts- und/oder andere Parameterinformationen zum Konfigurieren von Logik einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (kollektiv Arithmetik-Logik-Einheiten (ALUs)) zu laden sind.
In mindestens einer Ausführungsform lädt Code, wie beispielsweise Graphencode, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 605 mit anderem On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, verbunden sein. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 605 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In zumindest einer Ausführungsform kann der Code- und/oder Datenspeicher 605 Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder anderer Speicher sein. In zumindest einer Ausführungsform kann die Wahl, ob der Code- und/oder Datenspeicher 605 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speichertyp besteht, von On-Chip gegenüber Off-Chip verfügbarem Speicher, Latenzanforderungen an durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 separate Speicherstrukturen sein. In zumindest einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 eine kombinierte Speicherstruktur sein. In zumindest einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 teilweise eine gleiche Speicherstruktur und teilweise separate Speicherstrukturen sein. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 601 und des Code- und/oder Datenspeichers 605 mit anderen On-Chip- oder Off-Chip-Datenspeichern, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, kombiniert sein.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, eine oder mehrere Arithmetik-Logik-Einheiten („ALU(s)“) 610, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, beinhalten, um logische und/oder mathematische Operationen durchzuführen, die zumindest teilweise auf Trainings- und/oder Inferenzierungscode (beispielsweise Grafikcode) basieren oder durch diesen angezeigt werden, deren Ergebnis Aktivierungen (z.B. Ausgangswerte von Schichten oder Neuronen innerhalb eines neuronalen Netzwerks), die in einem Aktivierungsspeicher 620 gespeichert sind, erzeugen kann, die Funktionen von Eingangs-/Ausgangs- und/oder Gewichtsparameterdaten sind, die in dem Code und/oder Datenspeicher 601 und/oder dem Code und/oder Datenspeicher 605 gespeichert sind. In zumindest einer Ausführungsform werden in dem Aktivierungsspeicher 620 gespeicherte Aktivierungen in Übereinstimmung mit linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die von den ALU(s) 610 im Ansprechen auf das Ausführen von Anweisungen oder anderem Code durchgeführt wird, wobei Gewichtswerte, die in dem Code und/oder Datenspeicher 605 und/oder dem Datenspeicher 605 gespeichert sind, als Operanden zusammen mit anderen Werten, wie beispielsweise Bias-Werten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, verwendet werden, von welchen beliebige oder alle in dem Code und/oder Datenspeicher 605 oder dem Code und/oder Datenspeicher 601 oder einem anderen Speicher auf oder außerhalb des Chips gespeichert sein können.
In mindestens einer Ausführungsform sind die ALU(s) 610 in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen enthalten, während in einer anderen Ausführungsform die ALU(s) 610 extern zu einem Prozessor oder einem anderen Hardware-Logikgerät oder einer Schaltung sein können, die sie verwenden (z.B. ein Co-Prozessor). In mindestens einer Ausführungsform können die ALUs 610 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Bank von ALUs enthalten sein, auf die die Ausführungseinheiten eines Prozessors zugreifen können, entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlichen Typs (z.B. zentrale Verarbeitungseinheiten, Grafikverarbeitungseinheiten, Festfunktionseinheiten usw.). In mindestens einer Ausführungsform können sich der Code- und/oder Datenspeicher 601, der Code- und/oder Datenspeicher 605 und der Aktivierungsspeicher 620 auf einem gleichen Prozessor oder auf einer anderen Hardware-Logikvorrichtung oder -schaltung liegen, während sie sich in einer anderen Ausführungsform auf verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen oder in einer Kombination aus gleichen und verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen befinden können. In mindestens einer Ausführungsform kann ein beliebiger Teil des Aktivierungsspeichers 620 in anderen On-Chip- oder Off-Chip-Datenspeichern enthalten sein, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors. Ferner kann der Inferenzierungs- und/oder Trainingscode zusammen mit anderem Code gespeichert sein, auf den ein Prozessor oder eine andere Hardware-Logik oder -Schaltung zugreifen kann und der unter Verwendung der Abruf-, Decodier-, Planungs-, Ausführungs-, Ausscheidungs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet wird.
In mindestens einer Ausführungsform kann der Aktivierungsspeicher 620 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann sich der Aktivierungsspeicher 620 vollständig oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen befinden. In mindestens einer Ausführungsform kann die Wahl, ob der Aktivierungsspeicher 620 z. B. innerhalb oder außerhalb eines Prozessors liegt oder DRAM, SRAM, Flash-Speicher oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip im Vergleich zu außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen. In mindestens einer Ausführungsform kann die in 6B dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit einem anwendungsspezifischen integrierten Schaltkreis („ASIC“) verwendet werden, wie z.B. einer TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“) Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 6B dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit Hardware der Zentralverarbeitungseinheit („CPU“), der Grafikverarbeitungseinheit („GPU“) oder anderer Hardware, wie z.B. Field Programmable Gate Arrays („FPGAs“), verwendet werden.
In mindestens einer Ausführungsform, wie in 6C dargestellt, kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Hardware-Logik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die in 6C dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) verwendet werden, wie z.B. der TensorFlow® Processing Unit von Google, einer Inferenzierungsverarbeitungseinheit (IPU) von Graphcore oder einem Nervana® (z.B. „Lake Crest“)-Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 6C veranschaulichte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit Hardware der Zentralverarbeitungseinheit (CPU), der Grafikverarbeitungseinheit (GPU) oder anderer Hardware, wie z.B. FPGAs (Field Programmable Gate Arrays), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, den Code- und/oder Datenspeicher 601 und den Code- und/oder Datenspeicher 605, die zum Speichern von Code (z.B. Graphencode), Gewichtswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform, die in 6C dargestellt ist, ist jeder Code- und/oder Datenspeicher 601 und jeder Code- und/oder Datenspeicher 605 mit einer dedizierten Rechenressource verbunden, wie z.B. Rechenhardware 602 bzw. Rechenhardware 606.
In mindestens einer Ausführungsform entspricht jeder der Code- und/oder Datenspeicher 601 und 605 und die entsprechende Rechenhardware 602 bzw. 606 verschiedenen Schichten eines neuronalen Netzwerks, so dass eine resultierende Aktivierung von einem Speicher-/Rechenpaar 601/602 aus Code- und/oder Datenspeicher 601 und Rechenhardware 602 als Eingabe für ein nächstes Speicher-/Rechenpaar 605/606 aus Code- und/oder Datenspeicher 605 und Rechenhardware 606 bereitgestellt wird, um eine konzeptionelle Organisation eines neuronalen Netzwerks zu spiegeln. In mindestens einer Ausführungsform kann jedes der Speicher-/Rechenpaare 601/602 und 605/606 mehr als einer neuronalen Netzwerkschicht entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher-/Rechenpaare (nicht dargestellt) im Anschluss an oder parallel zu den Speicher-/Rechenpaaren 601/602 und 605/606 in die Inferenzierungs- und/oder Trainingslogik 615 einbezogen sein.
COMPUTERSYSTEME
7A ist ein Blockdiagramm, das ein beispielhaftes Computersystem 700A veranschaulicht, das ein System mit miteinander verbundenen Geräten und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor ausgebildet ist, der Ausführungseinheiten enthalten kann, um eine Anweisung auszuführen, um die intelligente Steuerung der hierin beschriebenen kältemittelunterstützten Kühlung zu unterstützen und/oder zu ermöglichen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Computersystem 700A, ohne darauf beschränkt zu sein, eine Komponente, wie beispielsweise einen Prozessor 702, umfassen, um Ausführungseinheiten einschließlich Logik zur Ausführung von Algorithmen zur Verarbeitung von Daten zu verwenden, gemäß der Erfindung, wie in der hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform kann das Computersystem 700A Prozessoren enthalten, wie z.B. die PEN-TIUMO-Prozessorfamilie, Xeon, Itanium®, XScale und/oder StrongARM, Intel® Core™ oder Intel® Nervana™-Mikroprozessoren, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, technische Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 800 eine Version des Betriebssystems WINDOWS ausführen, das von der Microsoft Corporation in Redmond, Washington, erhältlich ist, obwohl auch andere Betriebssysteme (z.B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.
In mindestens einer Ausführungsform kann das beispielhafte Computersystem 700A eine oder mehrere der Komponenten 110-116 (aus 1) enthalten, um Verarbeitungsaspekte für die intelligente Steuerung für das Mehrfachmodus-Kühlsubsystem zu unterstützen. Aus mindestens diesem Grund zeigt 7A in einer Ausführungsform ein System, das miteinander verbundene Hardwaregeräte oder „Chips“ umfasst, während 7A in anderen Ausführungsformen ein beispielhaftes System auf einem Chip („SoC“) zeigen kann. In mindestens einer Ausführungsform können die Geräte über proprietäre Verbindungen, standardisierte Verbindungen (wie PCIe) oder eine Kombination davon miteinander verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 700B über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden. Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verbunden sind, wie zuvor z.B. mit Bezug auf die erörtert. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6A-C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System von 7A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet wurden.
Ausführungsformen können auch in anderen Geräten wie Handheld-Geräten und eingebetteten Anwendungen verwendet werden. Einige Beispiele für Handheld-Geräte sind Mobiltelefone, Internetprotokollgeräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide-Area-Network-Switches („WAN“) oder jedes andere System umfassen, das eine oder mehrere Anweisungen gemäß mindestens einer Ausführungsform ausführen kann.
In mindestens einer Ausführungsform kann das Computersystem 700A, ohne darauf beschränkt zu sein, einen Prozessor 702 enthalten, der, ohne darauf beschränkt zu sein, eine oder mehrere Ausführungseinheiten 708 enthalten kann, um ein Training und/oder eine Inferenzierung eines Modells maschinellen Lernens gemäß hierin beschriebenen Techniken durchzuführen. In mindestens einer Ausführungsform ist das Computersystem 700A ein Einzelprozessor-Desktop- oder -Serversystem, aber in einer anderen Ausführungsform kann das Computersystem 700A ein Multiprozessorsystem sein. In mindestens einer Ausführungsform kann der Prozessor 702, ohne darauf beschränkt zu sein, einen Mikroprozessor mit komplexem Befehlssatz („CISC“), einen Mikroprozessor mit reduziertem Befehlssatz („RISC“), einen Mikroprozessor mit sehr langem Befehlswort („VLIW”), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder eine beliebige andere Prozessorvorrichtung, wie z.B. einen digitalen Signalprozessor, umfassen. In mindestens einer Ausführungsform kann der Prozessor 702 mit einem Prozessorbus 710 verbunden sein, der Datensignale zwischen dem Prozessor 702 und anderen Komponenten in dem Computersystem 700A übertragen kann.
In mindestens einer Ausführungsform kann der Prozessor 702, ohne darauf beschränkt zu sein, einen internen Cachespeicher der Ebene 1 („L1") („Cache“) 704 enthalten. In mindestens einer Ausführungsform kann der Prozessor 702 einen einzigen internen Cache oder mehrere Ebenen von internem Cache aufweisen. In mindestens einer Ausführungsform kann sich der Cachespeicher außerhalb des Prozessors 702 befinden. Andere Ausführungsformen können auch eine Kombination aus sowohl internen als auch externen Caches enthalten, je nach spezieller Implementierung und Bedürfnissen. In mindestens einer Ausführungsform kann eine Registerdatei 706 verschiedene Datentypen in verschiedenen Registern speichern, darunter, ohne darauf beschränkt zu sein, Ganzzahlregister, Gleitkommaregister, Statusregister und Befehlszeigerregister.
In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 708, einschließlich, ohne darauf beschränkt zu sein, Logik zur Durchführung von Ganzzahl- und Gleitkommaoperationen, ebenfalls in dem Prozessor 702. In mindestens einer Ausführungsform kann der Prozessor 702 auch einen Nur-Lese-Speicher („ROM“) für Mikrocode („ucode“) enthalten, der Mikrocode für bestimmte Makrobefehle speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 708 eine Logik zur Verarbeitung eines gepackten Befehlssatzes 709 enthalten. In mindestens einer Ausführungsform können durch Aufnahme des gepackten Befehlssatzes 709 in den Befehlssatz eines Universalprozessors 702 zusammen mit der zugehörigen Schaltung zur Ausführung von Befehlen Operationen, die von vielen Multimedia-Anwendungen verwendet werden, unter Verwendung gepackter Daten in einem Universalprozessor 702 durchgeführt werden. In einer oder mehreren Ausführungsformen können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem eine volle Breite des Datenbusses eines Prozessors für die Ausführung von Operationen mit gepackten Daten genutzt wird, wodurch eine Notwendigkeit entfällt, kleinere Dateneinheiten über den Prozessor-Datenbus zu übertragen, um eine oder mehrere Operationen mit einem Datenelement nach dem anderen durchzuführen.
In mindestens einer Ausführungsform kann die Ausführungseinheit 708 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikgeräten, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 700A, ohne darauf beschränkt zu sein, einen Speicher 720 enthalten. In mindestens einer Ausführungsform kann der Speicher 720 als ein dynamischer Direktzugriffsspeicher („DRAM“), ein statischer Direktzugriffsspeicher („SRAM“), ein Flash-Speicher oder eine andere Speichervorrichtung implementiert sein. In mindestens einer Ausführungsform kann der Speicher 720 eine oder mehrere Anweisung(en) 719 und/oder Daten 721 speichern, die durch Datensignale repräsentiert werden, die von dem Prozessor 702 ausgeführt werden können.
In mindestens einer Ausführungsform kann ein Systemlogik-Chip mit dem Prozessorbus 710 und dem Speicher 720 gekoppelt sein. In mindestens einer Ausführungsform kann ein Systemlogik-Chip, ohne darauf beschränkt zu sein, einen Speichercontroller-Hub („MCH“, Memory Controller Hub) 716 enthalten, und kann der Prozessor 702 mit dem MCH 716 über den Prozessorbus 710 kommunizieren. In mindestens einer Ausführungsform kann der MCH 716 einen Speicherpfad 718 mit hoher Bandbreite zu dem Speicher 720 für die Befehls- und Datenspeicherung und für die Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH 716 Datensignale zwischen dem Prozessor 702, dem Speicher 720 und anderen Komponenten in dem Computersystem 700 leiten und Datensignale zwischen dem Prozessorbus 710, dem Speicher 720 und einer System-E/A-Schnittstelle 722 überbrücken. In mindestens einer Ausführungsform kann ein Systemlogik-Chip einen Grafikport zur Kopplung mit einem Grafikcontroller bereitstellen. In mindestens einer Ausführungsform kann der MCH 716 über einen Speicherpfad 718 mit hoher Bandbreite mit dem Speicher 720 gekoppelt sein, und kann die Grafik-/Videokarte 712 über eine Accelerated Graphics Port („AGP“)-Verbindung 714 mit dem MCH 716 gekoppelt sein.
In mindestens einer Ausführungsform kann das Computersystem 700A eine System-E/A 722, die ein proprietärer Hub-Schnittstellenbus zum Koppeln des MCH 716 mit einem E/A-Controller-Hub („ICH“) 730 ist, verwenden. In mindestens einer Ausführungsform kann der ICH 730 direkte Verbindungen zu einigen E/A-Geräten über einen lokalen E/A-Bus bereitstellen. In mindestens einer Ausführungsform kann ein lokaler E/A-Bus, ohne darauf beschränkt zu sein, einen Hochgeschwindigkeits-E/A-Bus zur Verbindung von Peripheriegeräten mit dem Speicher 720, dem Chipsatz und dem Prozessor 702 umfassen. Beispiele können, ohne darauf beschränkt zu sein, einen Audiocontroller 729, einen Firmware-Hub („Flash-BIOS“) 728, einen drahtlosen Transceiver 726, einen Datenspeicher 724, einen Legacy-E/A-Controller 723 mit Benutzereingabe- und Tastaturschnittstellen, einen seriellen Erweiterungsport 727, wie beispielsweise ein Universal Serial Bus („USB“), und einen Netzwerkcontroller 734 umfassen. Der Datenspeicher 724 kann ein Festplattenlaufwerk, ein Diskettenlaufwerk, ein CD-ROM-Gerät, eine Flash-Speichervorrichtung oder eine anderen Massenspeichervorrichtung beinhalten.
7B ist ein Blockdiagramm, das ein elektronisches Gerät 700B zur Nutzung eines Prozessors 710 zur Unterstützung und/oder Ermöglichung einer intelligenten Steuerung des hierin beschriebenen Mehrfachmodus-Kühlsubsystems veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das elektronische Gerät 700B zum Beispiel, und ohne Beschränkung darauf, ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Desktop, ein Tablet, ein mobiles Gerät, ein Telefon, ein eingebetteter Computer oder ein anderes geeignetes elektronisches Gerät sein. In mindestens einer Ausführungsform kann das beispielhafte elektronische Gerät 700B eine oder mehrere Komponenten enthalten, die Verarbeitungsaspekte für das Mehrfachmodus-Kühlsubsystem unterstützen.
In mindestens einer Ausführungsform kann das System 700B, ohne darauf beschränkt zu sein, einen Prozessor 710 enthalten, der mit einer beliebigen Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Geräten kommunikativ gekoppelt ist. In mindestens einer Ausführungsform ist der Prozessor 710 über einen Bus oder eine Schnittstelle gekoppelt, wie z.B. einen I²C-Bus, einen Systemverwaltungsbus („SMBus“), einen Low-Pin-Count-Bus (LPC), eine serielle Peripherieschnittstelle („SPI“), einen High-Definition-Audio-Bus („HDA“), einen Serial-Advance-Technology-Attachment-Bus („SATA“), einen Universal-Serial-Bus („USB“) (Versionen 1, 2, 3, usw.) oder einen Universal Asynchronous Receiver/Transmitter-Bus („UART“). In mindestens einer Ausführungsform veranschaulicht 13 ein System, das miteinander verbundene Hardwarevorrichtungen oder „Chips“ enthält, während in anderen Ausführungsformen 7B ein beispielhaftes System on a Chip (SoC) veranschaulichen kann. In mindestens einer Ausführungsform können die in 7B dargestellten Vorrichtungen mit proprietären Interconnects, standardisierten Interconnects (z.B. PCIe) oder einer Kombination davon verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten von 9 über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden.
In mindestens einer Ausführungsform kann 7B eine Anzeige 724, einen berührungsempfindlichen Bildschirm bzw. Touchscreen 725, eine berührungsempfindliche Sensorfläche bzw. ein Touchpad 730, eine Nahfeldkommunikations- bzw. Near Field Communications-Einheit („NFC“) 745, einen Sensor-Hub 740, einen Wärmesensor 746, einen Express-Chipsatz („EC“) 735, ein Trusted Platform Module („TPM“) 738, BIOS/Firmware/Flash-Speicher („BIOS, FW Flash“) 722, einen DSP 760, ein Laufwerk 720 wie beispielsweise eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine Wireless Local Area Network-Einheit („WLAN“) 750, eine Bluetooth-Einheit 752, eine Wireless Wide Area Network-Einheit („WWAN“) 756, eine Global Positioning System (GPS)-Einheit 755, eine Kamera („USB 3.0-Kamera“) 754, wie z.B. eine USB 3.0-Kamera, und/oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 715, die z.B. in einem LPDDR3-Standard implementiert ist, beinhalten. Diese Komponenten können jeweils in jeder geeigneten Weise implementiert sein.
In mindestens einer Ausführungsform können andere Komponenten über die vorstehend diskutierten Komponenten kommunikativ mit dem Prozessor 710 gekoppelt sein. In mindestens einer Ausführungsform können ein Beschleunigungsmesser 741, ein Umgebungslichtsensor („ALS“; Ambient Light Sensor) 742, ein Kompass 743 und ein Gyroskop 744 kommunikativ mit dem Sensor-Hub 740 gekoppelt sein. In mindestens einer Ausführungsform können der Wärmesensor 739, ein Lüfter 737, eine Tastatur 746 und ein Touchpad 730 kommunikativ mit dem EC 735 gekoppelt sein. In mindestens einer Ausführungsform können ein Lautsprecher 763, ein Kopfhörer 764 und ein Mikrofon („mic“) 765 kommunikativ mit einer Audioeinheit („audio codec and dass d amp“, Audio-Kodierer/Dekodierer und Klasse D-Verstärker) 764 gekoppelt sein, die ihrerseits kommunikativ mit dem DSP 760 gekoppelt sein kann. In mindestens einer Ausführungsform kann die Audioeinheit 764 beispielsweise, und ohne darauf beschränkt zu sein, einen Audio-Kodierer/Dekodierer („Codec“) und einen Verstärker der Klasse D umfassen. In mindestens einer Ausführungsform kann die SIM-Karte („SIM“) 757 kommunikativ mit der WWAN-Einheit 756 gekoppelt sein. In mindestens einer Ausführungsform können Komponenten wie die WLAN-Einheit 750 und die Bluetooth-Einheit 752 sowie die WWAN-Einheit 756 in einem Next Generation Form Factor („NGFF“) implementiert sein.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 sind hierin in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik x615 in dem System von 7B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
7C zeigt ein Computersystem 700C gemäß mindestens einer Ausführungsform zur Unterstützung und/oder Ermöglichung der intelligenten Steuerung des hierin beschriebenen Mehrfachmodus-Kühlsubsystems. In mindestens einer Ausführungsform umfasst das Computersystem 700C, ohne Beschränkung darauf, einen Computer 771 und einen USB-Stick 770. In mindestens einer Ausführungsform kann der Computer 771, ohne Beschränkung darauf, eine beliebige Anzahl und einen beliebigen Typ von Prozessor(en) (nicht dargestellt) und einen Speicher (nicht dargestellt) beinhalten. In mindestens einer Ausführungsform beinhaltet der Computer 771, ohne Beschränkung darauf, einen Server, eine Cloud-Instanz, einen Laptop und einen Desktop-Computer.
In mindestens einer Ausführungsform beinhaltet der USB-Stick 770, ohne Beschränkung darauf, eine Verarbeitungseinheit 772, eine USB-Schnittstelle 774 und eine USB-Schnittstellenlogik 773. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 772 ein beliebiges Befehlsausführungssystem, eine beliebige Vorrichtung oder ein beliebiges Gerät sein, das zur Ausführung von Befehlen in der Lage ist. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 772, ohne Beschränkung darauf, eine beliebige Anzahl und einen beliebigen Typ von Verarbeitungskernen (nicht dargestellt) beinhalten. In mindestens einer Ausführungsform beinhaltet die Verarbeitungseinheit oder der Kern 772 eine anwendungsspezifische integrierte Schaltung („ASIC“), die für die Durchführung einer beliebigen Anzahl und Art von Operationen im Zusammenhang mit maschinellem Lernen optimiert ist. Zum Beispiel ist in mindestens einer Ausführungsform der Verarbeitungskern 772 eine Tensorverarbeitungseinheit („TPC“; tensor processing unit), die für die Durchführung von Inferenzierungsoperationen des maschinellen Lernens optimiert ist. In mindestens einer Ausführungsform ist der Verarbeitungskern 772 eine Seh- bzw. Bildverarbeitungseinheit („VPU“; vision processing unit), die für die Durchführung von Inferenzierungsoperationen des maschinellen Sehens und des maschinellen Lernens optimiert ist.
In mindestens einer Ausführungsform kann die USB-Schnittstelle 774 eine beliebige Art von USB-Stecker oder USB-Buchse sein. In mindestens einer Ausführungsform ist die USB-Schnittstelle 774 beispielsweise eine USB 3.0 Typ-C-Buchse für Daten und Strom. In mindestens einer Ausführungsform ist die USB-Schnittstelle 774 ein USB-3.0-Typ-A-Anschluss. In mindestens einer Ausführungsform kann die USB-Schnittstellenlogik 773 eine beliebige Menge und Art von Logik enthalten, die es der Verarbeitungseinheit 772 ermöglicht, über den USB-Anschluss 774 mit Geräten (wie dem Computer 771) zu kommunizieren.
Die Inferenzierungs- und/oder Trainingslogik 615, wie in 6B und 6C beschrieben, wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System 7C für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
8 zeigt ein weiteres Beispiel für ein Computersystem 800 gemäß mindestens einer Ausführungsform zur Implementierung verschiedener Prozesse und Verfahren für das Mehrfachmodus-Kühlsubsystem, das in dieser Offenbarung beschrieben wird. In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, mindestens eine Zentralverarbeitungseinheit („CPU“) 802, die mit einem Kommunikationsbus 810 verbunden ist, der unter Verwendung eines beliebigen geeigneten Protokolls, wie z.B. PCI („Peripheral Component Interconnect“), Peripheral Component Interconnect Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder einem oder mehreren anderen Bus- oder Punkt-zu-Punkt-Kommunikationsprotokoll(en) implementiert ist. In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, einen Hauptspeicher 804 und eine Steuerlogik (z.B. implementiert als Hardware, Software oder einer Kombination davon), und werden Daten in dem Hauptspeicher 804 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. In mindestens einer Ausführungsform stellt ein Netzwerkschnittstellen-Subsystem („Netzwerkschnittstelle“) 822 eine Schnittstelle zu anderen Rechengeräten und Netzwerken bereit, um Daten von dem Computersystem 800 zu empfangen und mit ihm an andere Systeme zu übertragen.
In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, Eingabevorrichtungen 808, ein Parallelverarbeitungssystem 812 und Anzeigevorrichtungen 806, welche mit einer Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), einer Leuchtdioden („LED“)-Anzeige, einer Plasma-Anzeige oder anderen geeigneten Anzeigetechnologien implementiert sein können. In mindestens einer Ausführungsform werden Benutzereingaben von den Eingabevorrichtungen 808, wie beispielsweise Tastatur, Maus, Touchpad, Mikrofon und mehr, empfangen. In mindestens einer Ausführungsform kann jedes von vorangehenden Modulen auf einer einzigen Halbleiterplattform angeordnet sein, um ein Verarbeitungssystem zu bilden.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen assoziiert sind, wie zuvor z.B. mit Bezug auf 6A-C diskutiert. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6A-C bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System von 8 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im von System 8 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
9A zeigt eine beispielhafte Architektur, bei der eine Vielzahl von GPUs 910-913 über Hochgeschwindigkeitsverbindungen 940-943 (wie beispielsweise Busse, Punkt-zu-Punkt-Verbindungen usw.) mit einer Vielzahl von Mehrkernprozessoren 905-906 kommunikativ gekoppelt ist. In einer Ausführungsform unterstützen Hochgeschwindigkeitsverbindungen 940-943 einen Kommunikationsdurchsatz von 4GB/s, 30GB/s, 80GB/s oder mehr. Es können verschiedene Verbindungsprotokolle verwendet werden, einschließlich, aber nicht beschränkt auf, PCIe 4.0 oder 5.0 und NVLink 2.0.
Zusätzlich und in einer Ausführungsform sind zwei oder mehr GPUs 910-913 über Hochgeschwindigkeitsverbindungen 929-930 miteinander verbunden, die mit denselben oder anderen Protokollen/Leitungen als die für Hochgeschwindigkeitsverbindungen 940-943 verwendeten implementiert sein können. Ebenso können zwei oder mehr der Mehrkernprozessoren 905-906 über Hochgeschwindigkeitsverbindungen 928 verbunden sein, welche symmetrische Multiprozessorbusse (SMP) sein können, die mit 20GB/s, 30GB/s, 120GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen den verschiedenen in 9A gezeigten Systemkomponenten über dieselben Protokolle/Leitungen erfolgen (wie beispielsweise über eine gemeinsame Verbindungsstruktur bzw. ein gemeinsames Verbindungs-Fabric).
In einer Ausführungsform ist jeder Mehrkernprozessor 905-906 über Speicherverbindungen 926-927 kommunikativ mit einem Prozessorspeicher 901-902 verbunden, und ist jede GPU 910-913 über GPU-Speicherverbindungen 950-953 kommunikativ mit dem GPU-Speicher 920-923 verbunden. Die Speicherverbindungen 926-927 und 950-953 können gleiche oder unterschiedliche Speicherzugriffstechnologien verwenden. Beispielhaft und, ohne darauf beschränkt zu sein, können die Prozessorspeicher 901-902 und die GPU-Speicher 920-923 flüchtige Speicher wie dynamische Direktzugriffsspeicher (DRAMs) (einschließlich gestapelter DRAMs), Grafik-DDR-SDRAM (GDDR) (wie beispielsweise GDDR5, GDDR6) oder High Bandwidth Memory (HBM) sein und/oder können nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein. In einer Ausführungsform kann ein Teil der Prozessorspeicher 901-902 ein flüchtiger Speicher und ein anderer Teil ein nichtflüchtiger Speicher sein (wie beispielsweise unter Verwendung einer zweistufigen Speicherhierarchie (2LM)).
Wie nachstehend beschrieben, kann, obwohl verschiedene Prozessoren 905-906 und GPUs 910-913 jeweils physisch mit einem bestimmten Speicher 901-902 bzw. 920-923 verbunden sein können, eine einheitliche Speicherarchitektur implementiert sein, in welcher ein und derselbe virtuelle Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) zwischen verschiedenen physische Speichern verteilt ist. In mindestens einer Ausführungsform können die Prozessorspeicher 901-902 jeweils 64 GB Systemspeicheradressraum und die GPU-Speicher 920-923 jeweils 32 GB Systemspeicheradressraum umfassen (resultierend in diesem Beispiel in einem adressierbaren Gesamtspeicher von 256 GB).
Wie andernorts in dieser Offenbarung erläutert, können zumindest Durchflussraten und zugehörige Temperaturen für eine erste Stufe eines intelligenten Lernsystems, wie beispielsweise ein neuronales Netzwerk, eingerichtet sein. Da die erste Stufe die früheren Daten repräsentiert, repräsentiert sie auch eine kleinere Teilmenge der Daten, die zur Verbesserung des Systems durch erneutes Trainieren des Systems verfügbar sein können. Das Testen und Trainieren kann unter Verwendung mehrerer Prozessoreinheiten parallel durchgeführt werden, so dass das intelligente Lernsystem robust ist. Es kann eine Architektur, wie beispielsweise in 9A, verwendet werden. Wenn Konvergenz für das intelligente Lernsystem erreicht ist, werden eine Anzahl von Datenpunkten und die Daten in den Datenpunkten, die zur Erreichung der Konvergenz verwendet wurden, festgehalten. Die Daten und Datenpunkte können verwendet werden, um das Mehrfachmodus-Kühlsubsystem zu steuern, wie z.B. unter Bezugnahme auf 2-5 erläutert.
9B veranschaulicht zusätzliche Details für eine Verbindung zwischen einem Mehrkernprozessor 907 und einem Grafikbeschleunigungsmodul 946, gemäß einer beispielhaften Ausführungsform. Das Grafikbeschleunigungsmodul 946 kann einen oder mehrere GPU-Chips enthalten, die auf einer Leitungskarte integriert sind, die über eine Hochgeschwindigkeitsverbindung 940 mit dem Prozessor 907 verbunden ist. Alternativ kann das Grafikbeschleunigungsmodul 946 auf einem gleichen Gehäuse oder Chip wie der Prozessor 907 integriert sein.
In mindestens einer Ausführungsform umfasst der dargestellte Prozessor 907 eine Vielzahl von Kernen 960A-960D, die jeweils einen Translations-Lookaside-Puffer 961A-961 D und einen oder mehrere Caches 962A-962D aufweisen. In mindestens einer Ausführungsform können die Kerne 960A-960D verschiedene andere Komponenten zur Ausführung von Anweisungen und Verarbeitung von Daten enthalten, die nicht dargestellt sind. Die Caches 962A-962D können Level 1 (L1) und Level 2 (L2) Caches beinhalten. Darüber hinaus können ein oder mehrere gemeinsam genutzte Caches 956 in den Caches 962A-962D enthalten sein und von Gruppen von Kernen 960A-960D gemeinsam genutzt werden. In mindestens einer Ausführungsform beinhaltet eine Ausführungsform des Prozessors 907 beispielsweise 24 Kerne, jeder mit seinem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2- und L3-Caches von zwei benachbarten Kernen gemeinsam genutzt. Prozessor 907 und Grafikbeschleunigungsmodul 946 sind mit dem Systemspeicher 914 verbunden, der die Prozessorspeicher 901-902 aus 9A enthalten kann.
Die Kohärenz wird für Daten und Anweisungen, die in den verschiedenen Caches 962A-962D, 956 und in dem Systemspeicher 914 gespeichert sind, durch Kommunikation zwischen den Kernen über einen Kohärenzbus 964 aufrechterhalten. In mindestens einer Ausführungsform kann jeder Cache über eine ihm zugeordnete Cache-Kohärenzlogik/-schaltung verfügen, um im Ansprechen auf erkannte Lese- oder Schreibvorgänge in bestimmten Cache-Zeilen über den Kohärenzbus 964 zu kommunizieren. In einer Implementierung wird ein Cache-Snooping-Protokoll über den Kohärenzbus 964 implementiert, um Cache-Zugriffe zu snoopen.
In einer Ausführungsform koppelt eine Proxy-Schaltung 925 das Grafikbeschleunigungsmodul 946 kommunikativ an den Kohärenzbus 964, sodass das Grafikbeschleunigungsmodul 946 als Peer der Kerne 960A-960D an einem Cache-Kohärenzprotokoll teilnehmen kann. Insbesondere stellt eine Schnittstelle 935 die Konnektivität zur Proxy-Schaltung 925 über eine Hochgeschwindigkeitsverbindung 940 (z.B. einen PCIe-Bus, NVLink usw.) her, und verbindet eine Schnittstelle 937 das Grafikbeschleunigungsmodul 946 mit der Verbindung 940.
In einer Implementierung stellt eine Beschleuniger-Integrationsschaltung 936 Cache-Verwaltung, Speicherzugriff, Kontextverwaltung und Interrupt-Verwaltungsdienste im Auftrag einer Vielzahl von Grafikverarbeitungs-Engines 931, 932, N des Grafikbeschleunigungsmoduls 946 bereit. Die Grafikverarbeitungs-Engines 931, 932, N können jeweils eine separate Grafikverarbeitungseinheit (GPU) beinhalten. Alternativ können die Grafikverarbeitungs-Engines 931, 932, N verschiedene Typen von Grafikverarbeitungs-Engines innerhalb einer GPU beinhalten, wie beispielsweise Grafikausführungseinheiten, Medienverarbeitungs-Engines (wie beispielsweise Video-Encoder/Decoder), Sampler und Blit-Engines. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 946 eine GPU mit mehreren Grafikverarbeitungs-Engines 931-932, N sein, oder können die Grafikverarbeitungs-Engines 931-932, N einzelne GPUs sein, die auf einem gemeinsamen Gehäuse, einer Leitungskarte oder einem Chip integriert sind. In diesem Fall kann die vorstehende Bestimmung für die Wiederherstellungsparameter und den Wiederherstellungsalgorithmus in den GPUs 931-N von 9B durchgeführt werden.
In einer Ausführungsform enthält die Beschleuniger-Integrationsschaltung 936 eine Speicherverwaltungseinheit (MMU) 939 zur Durchführung verschiedener Speicherverwaltungsfunktionen, wie z.B. Übersetzungen von virtuellem in physischen Speicher (auch als Übersetzungen von effektivem in realen Speicher bezeichnet) und Speicherzugriffsprotokolle für den Zugriff auf den Systemspeicher 914. Die MMU 939 kann auch einen Translations-Lookaside-Puffer (TLB) (nicht dargestellt) zur Zwischenspeicherung von Übersetzungen von virtuellen/effektiven in physische/reale Adressen enthalten. In einer Implementierung speichert ein Cache 938 Befehle und Daten für den effizienten Zugriff durch die Grafikprozessoren 931-932, N. In einer Ausführungsform werden die im Cache 938 und in den Grafikspeichern 933-934, M gespeicherten Daten mit den Core-Caches 962A-962D, 956 und dem Systemspeicher 914 kohärent gehalten. Wie oben erwähnt, kann dies über die Proxy-Schaltung 925 im Namen des Cache 938 und der Speicher 933-934, M erfolgen (z.B. Senden von Aktualisierungen an den Cache 938 in Bezug auf Änderungen/Zugriffe auf Cache-Zeilen in den Prozessor-Caches 962A-962D, 956 und Empfangen von Aktualisierungen vom Cache 938).
Ein Satz von Registern 945 speichert Kontextdaten für Threads, die von den Grafikverarbeitungsmodulen 931-932 ausgeführt werden, N und eine Kontextverwaltungsschaltung 948 verwaltet Thread-Kontexte. In mindestens einer Ausführungsform kann die Kontextverwaltungsschaltung 948 Speicher- und Wiederherstellungsoperationen durchführen, um Kontexte verschiedener Threads während Kontextumschaltungen zu speichern und wiederherzustellen (wie beispielsweise wenn ein erster Thread gespeichert und ein zweiter Thread gespeichert wird, damit ein zweiter Thread von einer Grafikverarbeitungs-Engine ausgeführt werden kann). In mindestens einer Ausführungsform kann bei einer Kontextumschaltung die Kontextverwaltungsschaltung 948 aktuelle Registerwerte in einem bestimmten Bereich im Speicher speichern (wie beispielsweise identifiziert durch einen Kontextzeiger). Sie kann dann die Registerwerte wiederherstellen, wenn sie zu einem Kontext zurückkehrt. In einer Ausführungsform empfängt und verarbeitet eine Interrupt-Verwaltungsschaltung 947 von Systemgeräten empfangene Interrupts.
In einer Implementierung werden virtuelle/effektive Adressen von einer Grafikverarbeitungs-Engine 931 durch die MMU 939 in reale/physische Adressen im Systemspeicher 914 übersetzt. Eine Ausführungsform der Beschleuniger-Integrationsschaltung 936 unterstützt mehrere (wie beispielsweise 4, 8, 16) Grafikbeschleunigermodule 946 und/oder andere Beschleunigergeräte. Das Grafikbeschleunigermodul 946 kann für eine einzelne Anwendung bestimmt sein, die auf dem Prozessor 907 ausgeführt wird, oder es kann von mehreren Anwendungen gemeinsam genutzt werden. In einer Ausführungsform wird eine virtualisierte Grafikausführungsumgebung dargestellt, in der die Ressourcen der Grafikverarbeitungsmodule 931-932, N von mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Ressourcen in „Slices“ unterteilt werden, die verschiedenen VMs und/oder Anwendungen auf der Grundlage von Verarbeitungsanforderungen und Prioritäten, die den VMs und/oder Anwendungen zugeordnet sind, zugewiesen werden.
In mindestens einer Ausführungsform fungiert die Beschleuniger-Integrationsschaltung 936 als Brücke zu einem System für das Grafikbeschleunigungsmodul 946 und bietet Adressübersetzung und Systemspeicher-Cache-Dienste. Darüber hinaus kann die Beschleuniger-Integrationsschaltung 936 Virtualisierungseinrichtungen für einen Host-Prozessor bereitstellen, um die Virtualisierung der Grafikverarbeitungsmodule 931-932, N, Interrupts und die Speicherverwaltung zu verwalten.
Da die Hardware-Ressourcen der Grafikprozessoren 931-932, N explizit auf einen realen Adressraum abgebildet werden, den der Host-Prozessor 907 sieht, kann jeder Host-Prozessor diese Ressourcen direkt mit einem effektiven Adresswert adressieren. Eine Funktion der Beschleuniger-Integrationsschaltung 936 ist in einer Ausführungsform die physische Trennung der Grafikprozessoren 931-932, N, so dass sie einem System als unabhängige Einheiten erscheinen.
In mindestens einer Ausführungsform sind ein oder mehrere Grafikspeicher 933-934, M jeweils mit jeder der Grafikverarbeitungs-Engines 931-932, N gekoppelt. Die Grafikspeicher 933-934, M speichern Befehle und Daten, die von jeder der Grafikverarbeitungs-Engines 931-932, N verarbeitet werden. Die Grafikspeicher 933-934, M können flüchtige Speicher wie DRAMs (einschließlich gestapelter DRAMs), GDDR-Speicher (z.B. GDDR5, GDDR6) oder HBM und/oder nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein.
In einer Ausführungsform werden zur Reduzierung des Datenverkehrs über die Verbindung 940 Biasing-Techniken verwendet, um sicherzustellen, dass in den Grafikspeichern 933-934, M gespeicherte Daten Daten sind, die am häufigsten von den Grafikverarbeitungs-Engines 931-932, N verwendet werden werden und nicht (zumindest nicht häufig) von den Kernen 960A-960D verwendet werden dürfen. In ähnlicher Weise versucht ein Biasing-Mechanismus, Daten, die von Kernen benötigt werden (und nicht von den Grafikverarbeitungs-Engines 931-932, N benötigt werden dürfen), in den Caches 962A-962D, 956 der Kerne und im Systemspeicher 914 zu halten.
9C zeigt eine weitere beispielhafte Ausführungsform, bei der die Beschleuniger-Integrationsschaltung 936 zum Unterstützen und/oder Ermöglichen einer intelligenten Steuerung des Mehrfachmodus-Kühlsubsystems in den Prozessor 907 integriert ist, gemäß mindestens einer Ausführungsform der Offenbarung hierin. In mindestens dieser Ausführungsform kommunizieren die Grafikprozessoren 931-932, N direkt über die Hochgeschwindigkeitsverbindung 940 mit der Beschleuniger-Integrationsschaltung 936 über die Schnittstelle 937 und die Schnittstelle 935 (die wiederum jede Form von Bus- oder Schnittstellenprotokoll verwenden kann). Die Beschleuniger-Integrationsschaltung 936 kann dieselben Operationen ausführen, wie sie in 9B beschrieben sind, jedoch möglicherweise mit einem höheren Durchsatz, da sie sich in unmittelbarer Nähe zum Kohärenzbus 964 und den Caches 962A-962D, 956 befindet. Mindestens eine Ausführungsform unterstützt verschiedene Programmiermodelle, darunter ein Programmiermodell mit dediziertem Prozess (keine Virtualisierung des Grafikbeschleunigungsmoduls) und gemeinsam genutzte Programmiermodelle (mit Virtualisierung), die Programmiermodelle umfassen können, die von der Beschleuniger-Integrationsschaltung 936 gesteuert werden, sowie Programmiermodelle, die vom Grafikbeschleunigungsmodul 946 gesteuert werden.
In mindestens einer Ausführungsform sind die Grafikprozessoren 931-932, N für eine einzelne Anwendung oder einen einzelnen Prozess unter einem einzelnen Betriebssystem vorgesehen. In mindestens einer Ausführungsform kann eine einzelne Anwendung andere Anwendungsanforderungen an die Grafikverarbeitungs-Engines 931-932, N weiterleiten, wodurch eine Virtualisierung innerhalb einer VM/Partition bereitgestellt wird.
In mindestens einer Ausführungsform können die Grafikverarbeitungs-Engines 931-932, N, von mehreren VM-/Anwendungspartitionen gemeinsam genutzt werden. In mindestens einer Ausführungsform können gemeinsam genutzte Modelle einen Systemhypervisor verwenden, um die Grafikverarbeitungs-Engines 931-932, N zu virtualisieren, um den Zugriff durch jedes Betriebssystem zu ermöglichen. Bei Systemen mit einer Partition ohne Hypervisor sind die Grafikverarbeitungseinheiten 931-932, N Eigentum eines Betriebssystems. In mindestens einer Ausführungsform kann ein Betriebssystem die Grafikverarbeitungsmodule 931-932, N virtualisieren, um jedem Prozess oder jeder Anwendung Zugriff zu gewähren.
In mindestens einer Ausführungsform wählt das Grafikbeschleunigungsmodul 946 oder eine einzelne Grafikverarbeitungs-Engine 931-932, N ein Prozesselement mithilfe eines Prozesshandles aus. In mindestens einer Ausführungsform werden Prozesselemente im Systemspeicher 914 gespeichert und sind unter Verwendung der hierin beschriebenen Übersetzungstechniken von effektiven Adressen in reale Adressen adressierbar. In mindestens einer Ausführungsform kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Host-Prozess zur Verfügung gestellt wird, wenn er seinen Kontext bei der Grafikverarbeitungs-Engine 931-932, N registriert (d.h. die Systemsoftware aufruft, um ein Prozesselement zu einer verknüpften Prozesselementliste hinzuzufügen). In mindestens einer Ausführungsform können die unteren 16 Bits eines Prozesshandles ein Offset eines Prozesselements innerhalb einer Prozesselement-Verknüpfungsliste sein.
9D zeigt ein beispielhaftes Beschleunigungs-Integrations-Slice 990 zum Ermöglichen und/oder Unterstützen einer intelligenten Steuerung des Mehrfachmodus-Kühlsubsystems in den Prozessor 907 integriert ist, gemäß mindestens einer Ausführungsform der Offenbarung hierin. Wie hierin verwendet, umfasst ein „Slice“ einen bestimmten Teil der Verarbeitungsressourcen der Beschleuniger-Integrationsschaltung 936. Der anwendungswirksame Adressraum 982 innerhalb des Systemspeichers 914 speichert Prozesselemente 983. In einer Ausführungsform werden Prozesselemente 983 als Reaktion auf GPU-Aufrufe 981 von Anwendungen 980, die auf dem Prozessor 907 ausgeführt werden, gespeichert. Ein Prozesselement 983 enthält den Prozessstatus für die entsprechende Anwendung 980. Ein im Prozesselement 983 enthaltener Arbeits- bzw. Workdeskriptor (WD) 984 kann ein einzelner, von einer Anwendung angeforderter Job bzw. Auftrag sein oder einen Zeiger auf eine Warteschlange von Jobs enthalten. In mindestens einer Ausführungsform ist der WD 984 ein Zeiger auf eine Auftragsanforderungswarteschlange im Adressraum 982 einer Anwendung.
Das Grafikbeschleunigungsmodul 946 und/oder einzelne Grafikverarbeitungs-Engines 931-932, N können von allen oder einer Teilmenge von Prozessen in einem System gemeinsam genutzt werden. In mindestens einer Ausführungsform kann eine Infrastruktur zum Einrichten des Prozessstatus und zum Senden eines WD 984 an ein Grafikbeschleunigungsmodul 946 zum Starten eines Auftrags in einer virtualisierten Umgebung enthalten sein.
In mindestens einer Ausführungsform ist ein Programmiermodell für dedizierte Prozesse implementierungsspezifisch. In diesem Modell besitzt ein einzelner Prozess das Grafikbeschleunigungsmodul 946 oder eine einzelne Grafikverarbeitungs-Engine 931. Da das Grafikbeschleunigungsmodul 946 einem einzelnen Prozess gehört, initialisiert ein Hypervisor die Beschleuniger-Integrationsschaltung 936 für eine besitzende Partition und initialisiert ein Betriebssystem die Beschleuniger-Integrationsschaltung 936 für einen besitzenden Prozess, wenn das Grafikbeschleunigungsmodul 946 zugewiesen wird.
Im Betrieb holt eine WD-Abrufeinheit 991 in dem Beschleunigungs-Integrations-Slice 990 den nächsten WD 984 ab, der eine Anzeige der Arbeit enthält, die von einer oder mehreren Grafikverarbeitungs-Engines des Grafikbeschleunigungsmoduls 946 zu erledigen ist. Die Daten aus dem WD 984 können in Registern 945 gespeichert und von der MMU 939, der Interrupt-Verwaltungsschaltung 947 und/oder der Kontextverwaltungsschaltung 948 verwendet werden, wie dargestellt. In mindestens einer Ausführungsform der MMU 939 enthält eine Segment-/Seiten-Durchlaufschaltung für den Zugriff auf Segment-/Seitentabellen 986 innerhalb des virtuellen OS-Adressraums 985. Die Interrupt-Verwaltungsschaltung 947 kann vom Grafikbeschleunigungsmodul 946 empfangene Interrupt-Ereignisse 992 verarbeiten. Bei der Durchführung von Grafikoperationen wird eine von einer Grafikverarbeitungs-Engine 931-932, N erzeugte effektive Adresse 993 von der MMU 939 in eine reale Adresse übersetzt.

In einer Ausführungsform wird ein gleicher Satz von Registern 945 für jede Grafikverarbeitungs-Engine 931-932, N und/oder jedes Grafikbeschleunigungsmodul 946 dupliziert und kann von einem Hypervisor oder Betriebssystem initialisiert werden. Jedes dieser duplizierten Register kann in einem Beschleunigungs-Integrations-Slice 990 enthalten sein. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, sind in Tabelle 1 gezeigt. Tabelle 1 - Vom Hypervisor initialisierte Register

1	Slice-Steuerregister
2	Zeiger auf Bereich realer Adressen (RA) geplanter Prozesse
3	Autoritätsmasken-Überschreibungsregister
4	Versatz Unterbrechungsvektor-Tabelleneintrag
5	Grenze Unterbrechungsvektor-Tabelleneintrag
6	Statusregister
7	ID der logischen Partition
8	Zeiger auf reale Adresse (RA) des Eintrags für Hypervisorbeschleunigernutzung
9	Speicherbeschreibungsregister

Beispielhafte Register, die von einem Betriebssystem initialisiert werden können, sind in Tabelle 2 gezeigt. Tabelle 2 - Vom Betriebssystem initialisierte Register

1	Prozess- und Thread-Identifikation
2	Zeiger auf effektive Adresse (EA) der Kontext-Speicherung/Wieder-herstellung
3	Zeiger auf virtuelle Adresse (VA) des Eintrags für Beschleunigernutzung
4	Zeiger auf virtuelle Adresse (VA) der Speichersegmenttabelle
5	Autoritätsmaske
6	Arbeitsdeskriptor

In mindestens einer Ausführungsform ist jeder WD 984 spezifisch für ein bestimmtes Grafikbeschleunigungsmodul 946 und/oder die Grafikverarbeitungs-Engines 931-931, N). Er enthält alle Informationen, die von einer Grafikverarbeitungs-Engine 931-931, N benötigt werden, um Arbeit zu verrichten, oder kann er ein Zeiger auf einen Speicherplatz sein, an dem eine Anwendung eine Befehlswarteschlange von zu verrichtender Arbeit eingerichtet hat.
9E veranschaulicht zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells. Diese Ausführungsform umfasst einen realen Hypervisor-Adressraum 998, in dem eine Prozesselementliste 999 gespeichert ist. Der reale Hypervisor-Adressraum 998 ist über einen Hypervisor 996 zugänglich, der die Grafikbeschleunigungsmodul-Engines für das Betriebssystem 995 virtualisiert.
In mindestens einer Ausführungsform ermöglichen gemeinsam genutzte Programmiermodelle, dass alle oder eine Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System ein Grafikbeschleunigungsmodul 946 verwenden. Es gibt zwei Programmiermodelle, bei denen das Grafikbeschleunigungsmodul 946 von mehreren Prozessen und Partitionen gemeinsam genutzt wird: Zeitscheibengeteilt bzw. Time-Sliced Shared und grafikanweisungsgeteilt bzw. Graphics Directed Shared.
In diesem Modell besitzt der Systemhypervisor 996 das Grafikbeschleunigungsmodul 946 und stellt dessen Funktion allen Betriebssystemen 995 zur Verfügung. Damit ein Grafikbeschleunigungsmodul 946 die Virtualisierung durch den Systemhypervisor 996 unterstützen kann, muss das Grafikbeschleunigungsmodul 946 folgendes erfüllen: 1) Eine Auftragsanforderung einer Anwendung muss autonom sein (d.h. der Zustand braucht zwischen Aufträgen nicht aufrechterhalten zu werden), oder das Grafikbeschleunigungsmodul 946 muss einen Mechanismus zum Speichern und Wiederherstellen von Kontexts bereitstellen. 2) Das Grafikbeschleunigungsmodul 946 garantiert, dass die Auftragsanforderung einer Anwendung innerhalb einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Grafikbeschleunigungsmodul 946 stellt eine Möglichkeit bereit, die Verarbeitung eines Auftrags zu unterbrechen. 3) dem Grafikbeschleunigungsmodul 946 muss Fairness zwischen den Prozessen garantiert werden, wenn es in einem weisungsbehafteten, gemeinsam genutzten Programmiermodell arbeitet.
In mindestens einer Ausführungsform muss die Anwendung 980 einen Systemaufruf des Betriebssystems 995 mit einem Typ des Grafikbeschleunigungsmoduls 946-, einem Arbeitsdeskriptor (WD), einem AMR (Authority Mask bzw. Autoritätsmaskenregister)-Wert und einem Zeiger auf den Bereich zur Speicherung/Wiederherstellung von Kontext bzw. CSRP (Context Save/Restore Area Pointer) durchführen. In mindestens einer Ausführungsform beschreibt der Typ des Grafikbeschleunigungsmoduls 946 eine als Ziel gesetzte Beschleunigungsfunktion für einen Systemaufruf. In mindestens einer Ausführungsform kann der Typ des Grafikbeschleunigungsmoduls 946 ein systemspezifischer Wert sein. In mindestens einer Ausführungsform ist der WD speziell für das Grafikbeschleunigungsmodul 946 formatiert und kann in Form eines Grafikbeschleunigungsmodul-1246-Befehls, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer anderen Datenstruktur vorliegen, um die von dem Grafikbeschleunigungsmodul 946 zu verrichtende Arbeit zu beschreiben In einer Ausführungsform ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. In mindestens einer Ausführungsform ist ein Wert, der an ein Betriebssystem übergeben wird, vergleichbar mit einer Anwendung, die ein AMR setzt. Falls die Implementierungen der Beschleuniger-Integrationsschaltung 936 und des Grafikbeschleunigungsmoduls 946 kein User Authority Mask Override Register (UAMOR) unterstützen, kann ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor ein AMR in einem Hypervisor-Aufruf übergeben wird. Der Hypervisor 996 kann in mindestens einer Ausführungsform einen aktuellen AMOR-Wert (Authority Mask Override Register) auf einen AMR-Wert anwenden, bevor ein AMR in dem Prozesselement 983 gesetzt wird. In mindestens einer Ausführungsform ist CSRP eines der Register 945, die eine effektive Adresse eines Bereichs im Adressraum 982 einer Anwendung für das Grafikbeschleunigungsmodul 946 zum Speichern und Wiederherstellen des Kontextstatus enthalten. Dieser Zeiger wird in mindestens einer Ausführungsform verwendet, falls kein Zustand zwischen Aufträgen gespeichert werden muss oder wenn ein Auftrag vorzeitig beendet wird. In mindestens einer Ausführungsform kann der Kontext-Speicher-/Wiederherstellungs-Bereich verankerter Systemspeicher sein.

Bei Empfangen eines Systemaufrufs kann das Betriebssystem 995 überprüfen, ob die Anwendung 980 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 946 erhalten hat. Das Betriebssystem 995 ruft dann den Hypervisor 996 mit den in Tabelle 3 gezeigten Informationen auf. Tabelle 3 -BS zu Hypervisor Aufrufparameter

1	Arbeitsdeskriptor (WD)
2	Autoritätsmaskenregister (AMR)-Wert (potenziell maskiert)
3	Zeiger auf effektive Adresse (EA) des Kontext-Speicher-/Wieder-herstellungs-Bereichs (CSRP)
4	Prozess-ID (PID) und optional Thread-ID (TID)
5	Zeiger auf virtuelle Adresse (VA) des Beschleunigernutzungseintrags (AURP)
6	Virtuelle Adresse des Speichersegmenttabellenzeigers (SSTP)
7	Logische Unterbrechungsdienstnummer (LISN)

Bei Empfangen eines Hypervisor-Aufrufs überprüft der Hypervisor 996, ob das Betriebssystem 995 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 946 erhalten hat. Der Hypervisor 996 setzt dann das Prozesselement 983 in eine verknüpfte Prozesselementliste für einen entsprechenden Grafikbeschleunigungsmodultyp 946. Ein Prozesselement kann die in Tabelle 4 gezeigten Informationen enthalten. Tabelle 4 -Prozesselementinformationen

1	Arbeitsdeskriptor (WD)
2	Autoritätsmaskenregister (AMR)-Wert (potenziell maskiert)
3	Zeiger auf effektive Adresse (EA) des Kontext-Speicher-/Wieder-herstellungs-Bereichs (CSRP)
4	Prozess-ID (PID) und optional Thread-ID (TID)
5	Zeiger auf virtuelle Adresse (VA) des Beschleunigernutzungseintrags (AURP)
6	Virtuelle Adresse des Speichersegmenttabellenzeigers (SSTP)
7	Dienstnummer logische Unterbrechung (LISN)
8	Unterbrechungsvektortabelle, abgeleitet aus Hypervisor-Aufrufparametern
9	Statusregister (SR)-Wert
10	ID logische Partition (LPID)
11	Zeiger auf reale Adresse (RA) des Eintrags für Hypervisor-Beschleunigernutzung
12	Speicherdeskriptorregister (SDR)

In mindestens einer Ausführungsform initialisiert der Hypervisor eine Vielzahl von Registern 945 des Beschleunigungs-Integrations-Slice 990.
Wie in 9F dargestellt, wird in mindestens einer Ausführungsform ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 901-902 und GPU-Speicher 920-923 verwendet wird. In dieser Implementierung nutzen Operationen, die auf den GPUs 910-913 ausgeführt werden, denselben virtuellen/effektiven Speicheradressraum, um auf die Prozessorspeicher 901-902 zuzugreifen und umgekehrt, was die Programmierbarkeit vereinfacht. In einer Ausführungsform wird ein erster Teil eines virtuellen/effektiven Adressraums dem Prozessorspeicher 901 zugewiesen, ein zweiter Teil dem zweiten Prozessorspeicher 902, ein dritter Teil dem GPU-Speicher 920 usw. In mindestens einer Ausführungsform wird dadurch ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 901-902 und GPU-Speicher 920-923 verteilt, so dass jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer virtuellen Adresse zugreifen kann, die auf diesen Speicher abgebildet bzw. gemappt ist.
In einer Ausführungsform stellt die Bias/Kohärenz-Verwaltungsschaltung 994A-994E in einer oder mehreren MMUs 939A-939E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Host-Prozessoren (z.B. 905) und GPUs 910-913 sicher und implementiert Bias-Techniken, die physische Speicher anzeigen, in denen bestimmte Datentypen zu speichern sind. Während mehrere Instanzen der Bias/Kohärenz-Verwaltungsschaltung 994A-994E in 9F dargestellt sind, können Bias/Kohärenz-Schaltkreise in einer MMU eines oder mehrerer Host-Prozessoren 905 und/oder in der Beschleuniger-Integrationsschaltung 936 implementiert sein.
In einer Ausführungsform kann GPU-angeschlossener Speicher 920-923 als Teil des Systemspeichers abgebildet werden und kann auf ihn mit der SVM (Shared Virtual Memory)-Technologie zugegriffen werden, ohne dass Leistungsnachteile auftreten, die mit der vollständigen System-Cache-Kohärenz verbunden sind. In mindestens einer Ausführungsform bietet die Möglichkeit des Zugriffs auf GPU-angeschlossenen Speicher 920-923 als Systemspeicher ohne lästigen Cache-Kohärenz-Overhead eine vorteilhafte Betriebsumgebung für GPU-Offload. Diese Anordnung ermöglicht es der Software des Host-Prozessors 905, Operanden einzurichten und auf Berechnungsergebnisse zuzugreifen, ohne den Overhead traditioneller E/A-DMA-Datenkopien. Solche traditionellen Kopien beinhalten Treiberaufrufe, Interrupts und Memory-Mapped-E/A-Zugriffe (MMIO), die alle im Vergleich zu einfachen Speicherzugriffen ineffizient sind. In mindestens einer Ausführungsform kann die Fähigkeit, auf GPU-verbundenen Speicher 920-923 ohne Cache-Kohärenz-Overhead zuzugreifen, für die Ausführungszeit einer ausgelagerten Berechnung entscheidend sein. In Fällen mit erheblichem Streaming-Schreibspeicherverkehr kann der Cache-Kohärenz-Overhead beispielsweise die effektive Schreibbandbreite einer GPU 910-913 erheblich reduzieren. In mindestens einer Ausführungsform können die Effizienz der Operandeneinrichtung, die Effizienz des Ergebniszugriffs und die Effizienz der GPU-Berechnung eine Rolle bei der Bestimmung der Effektivität eines GPU-Offloads spielen.
In mindestens einer Ausführungsform wird die Auswahl von GPU-Bias und Host-Prozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. Es kann z.B. eine Bias-Tabelle verwendet werden, die eine seitengranulare Struktur sein kann (in mindestens einer Ausführungsform kann dies mit einer Granularität einer Speicherseite gesteuert wird), die 1 oder 2 Bits pro GPU-angeschlossener Speicherseite umfasst. In mindestens einer Ausführungsform kann eine Bias-Tabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU-angeschlossener Speicher 920-923 implementiert sein, mit oder ohne Bias-Cache in der GPU 910-913 (wie beispielsweise um häufig/kürzlich verwendete Einträge einer Bias-Tabelle zu cachen). Alternativ kann auch eine gesamte Bias-Tabelle in einer GPU verwaltet werden.
In mindestens einer Ausführungsform wird vor einem tatsächlichen Zugriff auf einen GPU-Speicher auf einen Bias-Tabelleneintrag zugegriffen, der jedem Zugriff auf GPU-angeschlossenen Speicher 920-923 zugeordnet ist, was die folgenden Vorgänge bewirkt. Zunächst werden lokale Anforderungen von GPUs 910-913, die ihre Seite im GPU-Bias finden, direkt an einen entsprechenden GPU-Speicher 920-923 weitergeleitet. Lokale Anforderungen von einer GPU, die ihre Seite im Host-Bias finden, werden an den Prozessor 905 weitergeleitet (wie beispielsweise über eine Hochgeschwindigkeitsverbindung wie oben beschrieben). In einer Ausführungsform schließen Anforderungen vom Prozessor 905, die eine angeforderte Seite im Host-Prozessor-Bias finden, eine Anforderung wie ein normales Speicherlesen ab. Alternativ können Anforderungen, die an eine Seite mit GPU-Bias gerichtet sind, an die GPU 910-913 weitergeleitet werden. In mindestens einer Ausführungsform kann eine GPU dann eine Seite in einen Host-Prozessor-Bias überführen, wenn sie eine Seite gerade nicht verwendet. In mindestens einer Ausführungsform kann der Bias-Zustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwareunterstützten softwarebasierten Mechanismus oder, für eine begrenzte Anzahl von Fällen, einen rein hardwarebasierten Mechanismus geändert werden.
Ein Mechanismus zum Ändern des Bias-Zustands verwendet einen API-Aufruf (wie beispielsweise OpenCL), der wiederum den Gerätetreiber eines Grafikprozessors aufruft, der wiederum eine Nachricht an einen Grafikprozessor sendet (oder einen Befehlsdeskriptor in die Warteschlange stellt) und ihn anweist, einen Bias-Zustand zu ändern und bei einigen Übergängen einen Cache-Flushing-Vorgang in einem Host durchzuführen. In mindestens einer Ausführungsform wird der Cache-Flushing-Vorgang für einen Übergang vom Bias des Host-Prozessors 905 zum Bias der GPU verwendet, aber nicht für einen entgegengesetzten Übergang.
In einer Ausführungsform wird die Cache-Kohärenz aufrechterhalten, indem GPU-basierte Seiten vom Host-Prozessor 905 vorübergehend nicht gecacht werden können. Um auf diese Seiten zuzugreifen, kann der Prozessor 905 den Zugriff von der GPU 910 anfordern, die den Zugriff möglicherweise nicht sofort gewährt. Um die Kommunikation zwischen Prozessor 905 und GPU 910 zu reduzieren, ist es daher vorteilhaft, sicherzustellen, dass Seiten mit GPU-Bias diejenigen sind, die von einer GPU, aber nicht vom Host-Prozessor 905 benötigt werden und umgekehrt.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um eine oder mehrere Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben.
10A veranschaulicht beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden können, gemäß verschiedenen hierin beschriebenen Ausführungsformen, zum Unterstützen und/oder Ermöglichen des Mehrfachmodus-Kühlsubsystems. Zusätzlich zu dem, was dargestellt ist, können andere Logik und Schaltungen in mindestens einer Ausführungsform enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Universal-Prozessorkerne.
10A ist ein Blockdiagramm, das eine beispielhafte integrierte System-auf-einem-Chip-Schaltung 1000A veranschaulicht, die unter Verwendung eines oder mehrerer IP-Kerne gemäß mindestens einer Ausführungsform hergestellt werden kann. In mindestens einer Ausführungsform enthält die integrierte Schaltung 1000A einen oder mehrere Anwendungsprozessor(en) 1005 (z.B. CPUs), mindestens einen Grafikprozessor 1010 und kann zusätzlich einen Bildprozessor 1015 und/oder einen Videoprozessor 1020 enthalten, von denen jeder ein modularer IP-Kern sein kann. In mindestens einer Ausführungsform enthält der integrierte Schaltkreis 1000 eine Peripherie- oder Buslogik einschließlich eines USB-Controllers 1025, eines UART-Controllers 1030, eines SPI/SDIO-Controllers 1035 und eines I2S/I2C-Controllers 1040. In mindestens einer Ausführungsform kann die integrierte Schaltung 1000 eine Anzeigevorrichtung 1045 enthalten, die mit einem oder mehreren HDMI-Controllern (High-Definition Multimedia Interface) 1050 und einer MIPI-Anzeigeschnittstelle 1055 (Mobile Industry Processor Interface) verbunden ist. In mindestens einer Ausführungsform kann der Speicher durch ein Flash-Speicher-Subsystem 1060 bereitgestellt werden, das einen Flash-Speicher und einen Flash-Speicher-Controller enthält. In mindestens einer Ausführungsform kann die Speicherschnittstelle über einen Speicher-Controller 1065 für den Zugriff auf SDRAM- oder SRAM-Speichervorrichtungen bereitgestellt werden. In mindestens einer Ausführungsform enthalten einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Engine 1070.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in der integrierten Schaltung 1000A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
10B-10C zeigen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden können, gemäß verschiedenen hierin beschriebenen Ausführungsformen, um das Mehrfachmodus-Kühlsubsystem zu unterstützen und/oder zu ermöglichen. Zusätzlich zu dem, was dargestellt ist, können andere Logik und Schaltungen in mindestens einer Ausführungsform enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Universal-Prozessorkerne.
10B-10C sind Blockdiagramme, die beispielhafte Grafikprozessoren zur Verwendung in einem SoC veranschaulichen, gemäß hierin beschriebenen Ausführungsformen, um das Mehrfachmodus-Kühlsubsystem zu unterstützen und/oder zu ermöglichen, wie hierin beschrieben. In einem Beispiel können die Grafikprozessoren in der intelligenten Steuerung des Mehrfachmodus-Kühlsubsystems aufgrund existierender Mathematik-Engines, die zu einer schnelleren Verarbeitung von mehrstufigen neuronalen Netzwerken in der Lage sind, verwendet werden. 10B veranschaulicht einen beispielhaften Grafikprozessor 1010 eines integrierten System-on-Chip-Schaltkreises, der gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann. 10C zeigt einen weiteren beispielhaften Grafikprozessor 1040 eines integrierten System-on-Chip-Schaltkreises, der unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessor 1010 aus 10A ein stromsparender Grafikprozessorkern. In mindestens einer Ausführungsform ist der Grafikprozessor 1040 von 10C ein Grafikprozessorkern mit höherer Leistung. In mindestens einer Ausführungsform kann jeder der Grafikprozessoren 1010, 1040 eine Variante des Grafikprozessors 1010 von 10A sein.
In mindestens einer Ausführungsform umfasst der Grafikprozessor 1010 einen Vertex-Prozessor 1005 und einen oder mehrere Fragment-Prozessor(en) 1015A-1015N (wie beispielsweise 1015A, 1015B, 1015C, 1015D bis 1015N-1 und 1015N). In mindestens einer Ausführungsform kann der Grafikprozessor 1010 verschiedene Shader-Programme über eine separate Logik ausführen, so dass der Vertex-Prozessor 1005 für die Ausführung von Operationen für Vertex-Shader-Programme optimiert ist, während ein oder mehrere Fragment-Prozessor(en) 1015A-1015N Fragment- (wie beispielsweise Pixel-) Shading-Operationen für Fragment- oder Pixel-Shader-Programme ausführen. In mindestens einer Ausführungsform führt der Vertex-Prozessor 1005 eine Vertex-Verarbeitungsstufe einer 3D-Grafikpipeline aus und erzeugt Primitive und Vertexdaten. In mindestens einer Ausführungsform verwenden Fragmentprozessor(en) 1015A-1015N die vom Vertexprozessor 1005 erzeugten Primitiv- und Vertexdaten, um einen Frame-Puffer zu erzeugen, der auf einer Anzeigevorrichtung angezeigt wird. In mindestens einer Ausführungsform ist/sind der/die Fragmentprozessor(en) 1015A-1015N für die Ausführung von Fragment-Shader-Programmen optimiert, wie sie in einer OpenGL-API vorgesehen sind, die zur Durchführung ähnlicher Operationen wie ein Pixel-Shader-Programm verwendet werden kann, wie es in einer Direct 3D-API vorgesehen ist.
In mindestens einer Ausführungsform enthält der Grafikprozessor 1010 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 1020A-1020B, Cache(s) 1025A-1025B und Schaltungsverbindung(en) 1030A-1030B. In mindestens einer Ausführungsform sorgen eine oder mehrere MMU(s) 1020A-1020B für die Zuordnung von virtuellen zu physischen Adressen für den Grafikprozessor 1010, einschließlich für den Vertex-Prozessor 1005 und/oder den/die Fragment-Prozessor(en) 1015A-1015N, die auf im Speicher gespeicherte Vertex- oder Bild/Textur-Daten verweisen können, zusätzlich zu den in einem oder mehreren Cache(s) 1025A-1025B gespeicherten Vertex- oder Bild/Textur-Daten. In mindestens einer Ausführungsform können eine oder mehrere MMU(s) 1020A-10020B mit anderen MMUs innerhalb des Systems synchronisiert werden, einschließlich einer oder mehrerer MMUs, die einem oder mehreren Anwendungsprozessor(en) 1005, Bildprozessoren 1015 und/oder Videoprozessoren 1020 von 10A zugeordnet sind, so dass jeder Prozessor 1005-1020 an einem gemeinsam genutzten oder vereinheitlichten virtuellen Speichersystem teilnehmen kann. In mindestens einer Ausführungsform ermöglichen eine oder mehrere Schaltungsverbindung(en) 1030A-1030B dem Grafikprozessor 1010 eine Schnittstelle zu anderen IP-Kernen innerhalb des SoC, entweder über einen internen Bus des SoC oder über eine direkte Verbindung.
In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 eine oder mehrere MMU(s) 1020A-1020B, Cache(s) 1025A-1025B und Schaltkreisverbindung(en) 1030A-1030B des Grafikprozessors 1010 von 10A. In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 einen oder mehrere Shader-Kern(e) 1055A-1055N (z.B. 1055A, 1055B, 1055C, 1055D, 1055E, 1055F bis 1055N-1 und 1055N), der eine einheitliche Shader-Kern-Architektur bereitstellt, bei der ein einziger Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Rechen-Shadern. In mindestens einer Ausführungsform kann eine Anzahl von Shader-Kernen variieren. In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 einen Inter-Core-Task-Verwalter 1045, der als Thread-Versender fungiert, um Ausführungs-Threads an einen oder mehrere Shader-Kerne 1055A-1055N zu verteilen, sowie eine Kachelungs- bzw. Tiling-Einheit 1058, um Kachelungs- bzw. Tiling-Operationen für kachelbasiertes Rendering zu beschleunigen, bei denen Rendering-Operationen für eine Szene im Bildraum unterteilt werden, um beispielsweise die lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Verwendung interner Caches zu optimieren.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in der integrierten Schaltung 10A und/oder 10B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
10D-10E veranschaulichen zusätzliche beispielhafte Grafikprozessorlogik, gemäß hierin beschriebenen Ausführungsformen, um das Mehrfachmodus-Kühlsubsystem zu unterstützen und/oder zu ermöglichen. 10D veranschaulicht einen Grafikkern 1000D, der in mindestens einer Ausführungsform im Grafikprozessor 1010 von 10A enthalten sein kann und in mindestens einer Ausführungsform ein einheitlicher Shader-Kern 1055A-1055N wie in 10C sein kann. 10B zeigt eine hochparallele Mehrzweck-Grafikverarbeitungseinheit 1030, die für den Einsatz auf einem Multi-Chip-Modul in mindestens einer Ausführungsform geeignet ist.
In mindestens einer Ausführungsform kann der Grafikkern 1000D mehrere Slices 1001 A-1001 N oder Partitionen für jeden Kern enthalten, und kann ein Grafikprozessor mehrere Instanzen des Grafikkerns 1000D enthalten. Die Slices 1001A-1001N können eine Unterstützungslogik enthalten, die einen lokalen Befehlscache 1004A-1004N, einen Thread-Planer bzw. Thread-Scheduler 1006A-1006N, einen Thread-Versender bzw. Thread-Dispatcher 1008A-1008N und einen Satz von Registern 1010A-1010N umfasst. In mindestens einer Ausführungsform können die Slices 1001A-1001N einen Satz zusätzlicher Funktionseinheiten (AFUs 1012A-1012N), Gleitkommaeinheiten (FPU 1014A-1014N), Ganzzahl-Arithmetik-Logikeinheiten (ALUs 1016-1016N), Adressberechnungseinheiten (ACU 1013A-1013N), Gleitkommaeinheiten mit doppelter Genauigkeit (DPFPU 1015A-1015N) und Matrixverarbeitungseinheiten (MPU 1017A-1017N) enthalten.
In mindestens einer Ausführungsform können die FPUs 1014A-1014N Gleitkommaoperationen mit einfacher Genauigkeit (32 Bit) und halber Genauigkeit (16 Bit) durchführen, während die DPFPUs 1015A-1015N Gleitkommaoperationen mit doppelter Genauigkeit (64 Bit) durchführen. In mindestens einer Ausführungsform können die ALUs 1016A-1016N Ganzzahl- bzw. Integer-Operationen mit variabler Präzision bei 8-Bit-, 16-Bit- und 32-Bit-Präzision durchführen und für Operationen mit gemischter Präzision konfiguriert sein. In mindestens einer Ausführungsform können die MPUs 1017A-1017N auch für Matrixoperationen mit gemischter Genauigkeit konfiguriert sein, einschließlich Gleitkomma- und 8-Bit-Ganzzahl-Operationen mit halber Genauigkeit. In mindestens einer Ausführungsform können die MPUs 1017A-1017N eine Vielzahl von Matrixoperationen durchführen, um Anwendungs-Frameworks für maschinelles Lernen zu beschleunigen, einschließlich der Unterstützung für eine beschleunigte allgemeine Matrix-zu-Matrix-Multiplikation (GEMM; general matrix to matrix multiplication). In mindestens einer Ausführungsform können die AFUs 1012A-1012N zusätzliche logische Operationen durchführen, die nicht von Gleitkomma- oder Ganzzahl-Einheiten unterstützt werden, einschließlich trigonometrischer Operationen (wie beispielsweise Sinus, Cosinus usw.).
Wie andernorts in dieser Offenbarung diskutiert, kann die Inferenzierungs- und/oder Trainingslogik 615 (referenziert zumindest in 6B, 6C) verwendet werden, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in dem Grafikkern 1000D für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet wurden.
11A ist ein Blockdiagramm, das ein Rechensystem 1100A veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das Rechensystem 1100A ein Verarbeitungssubsystem 1101 mit einem oder mehreren Prozessor(en) 1102 und einem Systemspeicher 1104, die über einen Verbindungspfad kommunizieren, der einen Speicher-Hub 1105 enthalten kann. In mindestens einer Ausführungsform kann der Speicher-Hub 1105 eine separate Komponente innerhalb einer Chipsatzkomponente sein oder in einen oder mehrere Prozessor(en) 1102 integriert sein. In mindestens einer Ausführungsform ist der Speicher-Hub 1105 über eine Kommunikationsverbindung 1106 mit einem E/A-Subsystem 1111 gekoppelt. In mindestens einer Ausführungsform umfasst das E/A-Subsystem 1111 einen E/A-Hub 1107, der es dem Rechensystem 1100 ermöglichen kann, Eingaben von einem oder mehreren Eingabegerät(en) 1108 zu empfangen. In mindestens einer Ausführungsform kann der E/A-Hub 1107 einen Anzeige-Controller, der in einem oder mehreren Prozessor(en) 1102 enthalten sein kann, in die Lage versetzen, Ausgaben an eine oder mehrere Anzeigevorrichtung(en) 1110A zu liefern. In mindestens einer Ausführungsform kann eine oder mehrere Anzeigevorrichtung(en) 1110A, die mit dem E/A-Hub 1107 gekoppelt sind, eine lokale, interne oder eingebettete Anzeigevorrichtung umfassen.
In mindestens einer Ausführungsform umfasst das Verarbeitungssubsystem 1101 einen oder mehrere parallele(n) Prozessor(en) 1112, der/die über einen Bus oder eine andere Kommunikationsverbindung 1113 mit dem Speicher-Hub 1105 verbunden ist/sind. In mindestens einer Ausführungsform kann die Kommunikationsverbindung 1113 eine beliebige Anzahl von standardbasierten Kommunikationsverbindungstechnologien oder -protokollen sein, wie z.B., aber nicht beschränkt auf, PCI Express, oder sie kann eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einer Ausführungsform bilden ein oder mehrere parallele(r) Prozessor(en) 1112 ein rechnerisch fokussiertes Parallel- oder Vektorverarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern umfassen kann, wie z.B. einen MIC (Many Integrated Core)-Prozessor. In mindestens einer Ausführungsform bilden ein oder mehrere Parallelprozessor(en) 1112 ein Grafikverarbeitungs-Subsystem, das Pixel an eine oder mehrere Anzeigevorrichtung(en) 1110A ausgeben kann, die über den E/A-Hub 1107 gekoppelt sind. In mindestens einer Ausführungsform können ein oder mehrere Parallelprozessor(en) 1112 auch einen Anzeige-Controller und eine Anzeige-Schnittstelle (nicht dargestellt) enthalten, um eine direkte Verbindung zu einer oder mehreren Anzeigevorrichtung(en) 1110B zu ermöglichen.
In mindestens einer Ausführungsform kann eine Systemspeichereinheit 1114 mit dem E/A-Hub 1107 verbunden sein, um einen Speichermechanismus für das Computersystem 1100 bereitzustellen. In mindestens einer Ausführungsform kann ein E/A-Switch 1116 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, der Verbindungen zwischen dem E/A-Hub 1107 und anderen Komponenten ermöglicht, wie z. B. einem Netzwerkadapter 1118 und/oder einem drahtlosen Netzwerkadapter 1119, der in eine oder mehrere Plattformen integriert werden kann, und verschiedenen anderen Geräten, die über ein oder mehrere Add-in-Geräte 1120 hinzugefügt werden können. In mindestens einer Ausführungsform kann der Netzwerkadapter 1118 ein Ethernet-Adapter oder ein anderer kabelgebundener Netzwerkadapter sein. In mindestens einer Ausführungsform kann der drahtlose Netzwerkadapter 1119 ein oder mehrere Wi-Fi-, Bluetooth-, Near Field Communication (NFC)- oder andere Netzwerkgeräte umfassen, die ein oder mehrere drahtlose Funkvorrichtungen enthalten.
In mindestens einer Ausführungsform kann das Computersystem 1100 weitere, nicht explizit dargestellte Komponenten enthalten, einschließlich USB- oder andere Anschlussverbindungen, optische Speicherlaufwerke, Videoaufnahmegeräte und so weiter, die ebenfalls an den E/A-Hub 1107 angeschlossen sein können. In mindestens einer Ausführungsform können Kommunikationspfade, die verschiedene Komponenten in 11 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle, z.B. auf PCI (Peripheral Component Interconnect) basierende Protokolle (wie beispielsweise PCI-Express) oder andere Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder Protokolle, z.B. NV-Link High-Speed-Interconnect oder Interconnect-Protokolle, implementiert sein.
In mindestens einer Ausführungsform enthalten ein oder mehrere Parallelprozessor(en) 1112 Schaltungen, die für die Grafik- und Videoverarbeitung optimiert sind, z.B. Videoausgangsschaltungen, und bilden eine Grafikverarbeitungseinheit (GPU). In mindestens einer Ausführungsform enthalten ein oder mehrere Parallelprozessor(en) 1112 Schaltungen, die für die allgemeine Verarbeitung optimiert sind. In mindestens einer Ausführungsform können Komponenten des Rechensystems 1100A mit einem oder mehreren anderen Systemelementen auf einer einzigen integrierten Schaltung integriert sein. In mindestens einer Ausführungsform können in mindestens einer Ausführungsform ein oder mehrere Parallelprozessor(en) 1112, Speicher-Hub 1105, Prozessor(en) 1102 und E/A-Hub 1107 in einen integrierten System-on-Chip (SoC)-Schaltkreis integriert werden. In mindestens einer Ausführungsform können die Komponenten des Rechensystems 1100A in ein einziges Gehäuse integriert werden, um eine System-in-Package (SIP)-Konfiguration zu bilden. In mindestens einer Ausführungsform kann mindestens ein Teil der Komponenten des Rechensystems 1100A in ein Multi-Chip-Modul (MCM) integriert sein, das mit anderen Multi-Chip-Modulen zu einem modularen Rechensystem zusammengeschaltet sein kann.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System 11A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
PROZESSOREN
11B veranschaulicht einen Parallelprozessor 1100B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können verschiedene Komponenten des Parallelprozessors 1100B unter Verwendung eines oder mehrerer integrierter Schaltkreisbausteine, wie z.B. programmierbare Prozessoren, anwendungsspezifische integrierte Schaltkreise (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), implementiert sein. In mindestens einer Ausführungsform ist der dargestellte Parallelprozessor 1100B eine Variante von einem oder mehreren Parallelprozessoren 1112, die in 11B gemäß einer beispielhaften Ausführungsform dargestellt sind.
In mindestens einer Ausführungsform enthält der Parallelprozessor 1100B eine Parallelverarbeitungseinheit 1102. In mindestens einer Ausführungsform umfasst die Parallelverarbeitungseinheit 1102 eine E/A-Einheit 1104, die die Kommunikation mit anderen Geräten ermöglicht, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 1102. In mindestens einer Ausführungsform kann die E/A-Einheit 1104 direkt mit anderen Geräten verbunden sein. In mindestens einer Ausführungsform ist die E/A-Einheit 1104 über eine Hub- oder Switch-Schnittstelle, wie z.B. den Speicher-Hub 1105, mit anderen Geräten verbunden. In mindestens einer Ausführungsform bilden die Verbindungen zwischen dem Speicher-Hub 1105 und der E/A-Einheit 1104 eine Kommunikationsverbindung 1113. In mindestens einer Ausführungsform ist die E/A-Einheit 1104 mit einer Host-Schnittstelle 1106 und einer Speicherkreuzschiene 1116 verbunden, wobei die Host-Schnittstelle 1106 Befehle zur Durchführung von Verarbeitungsoperationen und die Speicherkreuzschiene 1116 Befehle zur Durchführung von Speicheroperationen empfängt.
In mindestens einer Ausführungsform kann die Host-Schnittstelle 1106, wenn sie einen Befehlspuffer über die E/A-Einheit 1104 empfängt, Arbeitsoperationen zur Ausführung dieser Befehle an ein Frontend 1108 leiten. In mindestens einer Ausführungsform ist das Frontend 1108 mit einem Planer bzw. Planer 1110 gekoppelt, der so konfiguriert ist, dass er Befehle oder andere Arbeitselemente an ein Verarbeitungscluster-Array 1112 verteilt. In mindestens einer Ausführungsform stellt der Planer 1110 sicher, dass das Verarbeitungscluster-Array 1112 richtig konfiguriert ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an das Verarbeitungscluster-Array 1112 verteilt werden. In mindestens einer Ausführungsform ist der Planer 1110 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. In mindestens einer Ausführungsform ist der in einem Mikrocontroller implementierte Planer 1110 so konfigurierbar, dass er komplexe Scheduling- und Arbeitsverteilungsoperationen mit grober und feiner Granularität durchführen kann, was eine schnelle Präemption und Kontextumschaltung von Threads ermöglicht, die auf dem Verarbeitungs-Array 1112 ausgeführt werden. In mindestens einer Ausführungsform kann die Host-Software Arbeitslasten für die Planung auf dem Verarbeitungs-Array 1112 über eine von mehreren Grafikverarbeitungs-Doorbells nachweisen. In mindestens einer Ausführungsform können die Arbeitslasten dann automatisch über das Verarbeitungs-Array 1112 durch die Logik des Planers 1110 in einem Mikrocontroller mit dem Planer 1110 verteilt werden.
In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 bis zu „N“ Verarbeitungscluster umfassen (wie beispielsweise Cluster 1114A, Cluster 1114B bis Cluster 1114N). In mindestens einer Ausführungsform kann jeder Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 eine große Anzahl gleichzeitiger Threads ausführen. In mindestens einer Ausführungsform kann der Planer 1110 den Clustern 1114A-1114N des Verarbeitungscluster-Arrays 1112 Arbeit zuweisen, indem er verschiedene Scheduling- und/oder Arbeitsverteilungsalgorithmen verwendet, die in Abhängigkeit von der Arbeitslast variieren können, die für jede Art von Programm oder Berechnung entsteht. In mindestens einer Ausführungsform kann das Planen dynamisch durch den Planer 1110 gehandhabt werden oder teilweise durch Compilerlogik während der Kompilierung von Programmlogik unterstützt werden, die für die Ausführung durch das Verarbeitungscluster-Array 1112 konfiguriert ist. In mindestens einer Ausführungsform können verschiedene Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 für die Verarbeitung verschiedener Programmtypen oder für die Durchführung verschiedener Berechnungsarten zugewiesen werden.
In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 so konfiguriert sein, dass es verschiedene Arten von parallelen Verarbeitungsoperationen durchführt. In mindestens einer Ausführungsform ist das Verarbeitungs-Cluster-Array 1112 so konfiguriert, dass es parallele Universal-Rechenoperationen durchführt. In mindestens einer Ausführungsform kann das Verarbeitungs-Cluster-Array 1112 eine Logik zur Ausführung von Verarbeitungsaufgaben enthalten, einschließlich der Filterung von Video- und/oder Audiodaten, der Durchführung von Modellierungsoperationen, einschließlich physischer Operationen, und der Durchführung von Datentransformationen.
In mindestens einer Ausführungsform ist das Verarbeitungscluster-Array 1112 so konfiguriert, dass es parallele Grafikverarbeitungsoperationen durchführt. In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 zusätzliche Logik enthalten, um die Ausführung solcher Grafikverarbeitungsoperationen zu unterstützen, einschließlich, aber nicht beschränkt auf, Texturabtastlogik, um Texturoperationen durchzuführen, sowie Tesselationslogik und andere Vertex-Verarbeitungslogik. In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 so konfiguriert sein, dass es grafikverarbeitungsbezogene Shader-Programme ausführt, wie z.B. Vertex-Shader, Tessellierungs-Shader, Geometrie-Shader und Pixel-Shader, ist aber nicht darauf beschränkt. In mindestens einer Ausführungsform kann die Parallelverarbeitungseinheit 1102 Daten aus dem Systemspeicher über die E/A-Einheit 1104 zur Verarbeitung übertragen. In mindestens einer Ausführungsform können die übertragenen Daten während der Verarbeitung im On-Chip-Speicher (wie beispielsweise im Parallelprozessorspeicher 1122) gespeichert und dann in den Systemspeicher zurückgeschrieben werden.
In mindestens einer Ausführungsform kann dann, wenn die Parallelverarbeitungseinheit 1102 zur Durchführung der Grafikverarbeitung verwendet wird, der Planer 1110 so konfiguriert sein, dass er eine Verarbeitungslast in annähernd gleich große Aufgaben aufteilt, um eine bessere Verteilung der Grafikverarbeitungsvorgänge auf mehrere Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 zu ermöglichen. In mindestens einer Ausführungsform können Teile des Verarbeitungscluster-Arrays 1112 so konfiguriert sein, dass sie verschiedene Arten der Verarbeitung durchführen. In mindestens einer Ausführungsform kann ein erster Teil so konfiguriert sein, dass er Vertex-Shading und Topologieerzeugung durchführt, kann ein zweiter Teil so konfiguriert sein, dass er Tesselation und Geometrie-Shading durchführt, und kann ein dritter Teil so konfiguriert sein, dass er Pixel-Shading oder andere Bildschirmraumoperationen durchführt, um ein gerendertes Bild für die Anzeige zu erzeugen, falls eine Simulation einer Ventilsteuerung für das Mehrfachmodus-Kühlsubsystem erforderlich ist. In mindestens einer Ausführungsform können Zwischendaten, die von einem oder mehreren der Cluster 1114A-1114N erzeugt werden, in Puffern gespeichert werden, damit Zwischendaten zwischen den Clustern 1114A-1114N zur weiteren Verarbeitung übertragen werden können.
In mindestens einer Ausführungsform kann das Verarbeitungs-Cluster-Array 1112 Verarbeitungsaufgaben empfangen, die über den Planer 1110 auszuführen sind, der Befehle zur Definition von Verarbeitungsaufgaben vom Frontend 1108 empfängt. In mindestens einer Ausführungsform können die Verarbeitungsaufgaben Indizes der zu verarbeitenden Daten enthalten, wie beispielsweise Oberflächen-(Patch-)Daten, Primitivdaten, Vertexdaten und/oder Pixeldaten, sowie Zustandsparameter und Befehle, die definieren, wie die Daten zu verarbeiten sind (wie beispielsweise welches Programm auszuführen ist). In mindestens einer Ausführungsform kann der Planer 1110 so konfiguriert sein, dass er den Aufgaben entsprechende Indizes abruft oder Indizes vom Frontend 1108 empfängt. In mindestens einer Ausführungsform kann das Frontend 1108 so konfiguriert sein, dass es sicherstellt, dass das Verarbeitungscluster-Array 1112 in einen gültigen Zustand versetzt wird, bevor eine durch eingehende Befehlspuffer (wie beispielsweise Batch-Puffer, Push-Puffer usw.) spezifizierte Arbeitslast initiiert wird.
In mindestens einer Ausführungsform kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 1102 mit dem Parallelprozessorspeicher 1122 gekoppelt sein. In mindestens einer Ausführungsform kann auf den Parallelprozessorspeicher 1122 über die Speicherkreuzschiene 1116 zugegriffen werden, die Speicheranforderungen von der Verarbeitungsclusteranordnung 1112 sowie der E/A-Einheit 1104 empfangen kann. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 über eine Speicherschnittstelle 1118 auf den parallelen Prozessorspeicher 1122 zugreifen. In mindestens einer Ausführungsform kann die Speicherschnittstelle 1118 mehrere Partitionseinheiten (wie beispielsweise Partitionseinheit 1120A, Partitionseinheit 1120B bis Partitionseinheit 1120N) umfassen, die jeweils mit einem Teil (z.B. Speichereinheit) des Parallelprozessorspeichers 1122 gekoppelt sein können. In mindestens einer Ausführungsform ist eine Anzahl von Partitionseinheiten 1120A-1120N so konfiguriert, dass sie gleich einer Anzahl von Speichereinheiten ist, so dass eine erste Partitionseinheit 1120A eine entsprechende erste Speichereinheit 1124A hat, eine zweite Partitionseinheit 1120B eine entsprechende Speichereinheit 1124B hat und eine N-te Partitionseinheit 1120N eine entsprechende N-te Speichereinheit 1124N hat. In mindestens einer Ausführungsform kann die Anzahl der Partitionseinheiten 1120A-1120N nicht gleich der Anzahl der Speichereinheiten sein.
In mindestens einer Ausführungsform können die Speichereinheiten 1124A-1124N verschiedene Arten von Speichervorrichtungen enthalten, einschließlich dynamischem Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchronem Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR). In mindestens einer Ausführungsform können die Speichereinheiten 1124A-1124N auch 3D-Stapelspeicher enthalten, einschließlich, aber nicht beschränkt auf HBM (High Bandwidth Memory)-Speicher. In mindestens einer Ausführungsform können Rendering-Ziele, wie z.B. Frame-Puffer oder Textur-Maps, über die Speichereinheiten 1124A-1124N hinweg gespeichert werden, so dass die Partitionseinheiten 1120A-1120N Teile jedes Rendering-Ziels parallel schreiben können, um die verfügbare Bandbreite des Parallelprozessorspeichers 1122 effizient zu nutzen. In mindestens einer Ausführungsform kann eine lokale Instanz des parallelen Prozessorspeichers 1122 zugunsten eines einheitlichen Speicherdesigns ausgeschlossen werden, das den Systemspeicher in Verbindung mit dem lokalen Cache-Speicher nutzt.
In mindestens einer Ausführungsform kann jeder der Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 Daten verarbeiten, die in eine beliebige der Speichereinheiten 1124A-1124N innerhalb des Parallelprozessorspeichers 1122 geschrieben werden. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 so konfiguriert sein, dass sie eine Ausgabe jedes Clusters 1114A-1114N an eine beliebige Partitionseinheit 1120A-1120N oder an einen anderen Cluster 1114A-1114N überträgt, der zusätzliche Verarbeitungsoperationen an einer Ausgabe durchführen kann. In mindestens einer Ausführungsform kann jeder Cluster 1114A-1114N über die Speicherkreuzschiene 1116 mit der Speicherschnittstelle 1118 kommunizieren, um von verschiedenen externen Speichervorrichtungen zu lesen oder in diese zu schreiben. In mindestens einer Ausführungsform hat die Speicherkreuzschiene 1116 eine Verbindung zur Speicherschnittstelle 1118, um mit der E/A-Einheit 1104 zu kommunizieren, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 1122, wodurch die Verarbeitungseinheiten innerhalb der verschiedenen Verarbeitungscluster 1114A-1114N mit dem Systemspeicher oder einem anderen Speicher kommunizieren können, der nicht lokal zur Parallelverarbeitungseinheit 1102 gehört. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 virtuelle Kanäle verwenden, um Verkehrsströme zwischen Clustern 1114A-1114N und Partitionseinheiten 1120A-1120N zu trennen.
In mindestens einer Ausführungsform können mehrere Instanzen der Parallelverarbeitungseinheit 1102 auf einer einzigen Zusatzsteckkarte bzw. Add-in-Karte bereitgestellt sein, oder können mehrere Add-in-Karten miteinander verbunden sein. In mindestens einer Ausführungsform können verschiedene Instanzen der Parallelverarbeitungseinheit 1102 so konfiguriert sein, dass sie auch dann zusammenarbeiten, wenn die verschiedenen Instanzen eine unterschiedliche Anzahl von Prozessorkernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Zum Beispiel können in mindestens einer Ausführungsform einige Instanzen der Parallelverarbeitungseinheit 1102 im Vergleich zu anderen Instanzen Gleitkommaeinheiten mit höherer Präzision enthalten. In mindestens einer Ausführungsform können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 1102 oder des Parallelprozessors 1100 enthalten, in einer Vielzahl von Konfigurationen und Formfaktoren implementiert sein, einschließlich, aber nicht beschränkt auf Desktop-, Laptop- oder Handheld-Personal Computer, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme.
11C ist ein Blockdiagramm einer Partitionseinheit 1120 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Partitionseinheit 1120 eine Instanz einer der Partitionseinheiten 1120A-1120N aus 11B. In mindestens einer Ausführungsform umfasst die Partitionseinheit 1120 einen L2-Cache 1121, eine Bildpufferschnittstelle 1125 und eine Rasteroperationseinheit („ROP“) 1126. Der L2-Cache 1121 ist ein Lese-/Schreib-Cache, der so konfiguriert ist, dass er von der Speicherkreuzschiene 1116 und der ROP 1126 empfangene Lade- und Speicheroperationen durchführt. In mindestens einer Ausführungsform werden Lesefehler und dringende Rückschreibanforderungen vom L2-Cache 1121 an die Frame-Puffer-Schnittstelle 1125 zur Verarbeitung ausgegeben. In mindestens einer Ausführungsform können Aktualisierungen auch über die Frame-Puffer-Schnittstelle 1125 zur Verarbeitung an einen Frame-Puffer gesendet werden. In mindestens einer Ausführungsform ist die Frame-Puffer-Schnittstelle 1125 mit einer der Speichereinheiten im parallelen Prozessorspeicher verbunden, z.B. mit den Speichereinheiten 1124A-1124N von 11B (wie beispielsweise im parallelen Prozessorspeicher 1122).
In mindestens einer Ausführungsform ist ROP 1126 eine Verarbeitungseinheit, die Rasteroperationen wie Schablone, Z-Test, Überblendung usw. durchführt. In mindestens einer Ausführungsform gibt die ROP 1126 dann verarbeitete Grafikdaten aus, die im Grafikspeicher abgelegt sind. In mindestens einer Ausführungsform enthält die ROP 1126 eine Komprimierungslogik zur Komprimierung von Tiefen- oder Farbdaten, die in den Speicher geschrieben werden, und zur Dekomprimierung von Tiefen- oder Farbdaten, die aus dem Speicher gelesen werden. In mindestens einer Ausführungsform kann die Kompressionslogik eine verlustfreie Kompressionslogik sein, die einen oder mehrere von mehreren Kompressionsalgorithmen verwendet. Die Komprimierungslogik, die von der ROP 1126 ausgeführt wird, kann je nach statistischen Eigenschaften der zu komprimierenden Daten variieren. In mindestens einer Ausführungsform wird die Delta-Farbkomprimierung für Tiefen- und Farbdaten auf einer Kachelbasis durchgeführt.
In mindestens einer Ausführungsform ist die ROP 1126 in jedem Verarbeitungscluster (wie beispielsweise Cluster 1114A-1114N von 11B) statt in der Partitionseinheit 1120 enthalten. In mindestens einer Ausführungsform werden Lese- und Schreibanforderungen für Pixeldaten über die Speicherkreuzschiene 1116 anstelle von Pixelfragmentdaten übertragen. In mindestens einer Ausführungsform können verarbeitete Grafikdaten auf einer Anzeigevorrichtung angezeigt werden, wie z.B. einer von einer oder mehreren Anzeigevorrichtungen 1110 von 11, zur weiteren Verarbeitung durch Prozessor(en) 1102 weitergeleitet werden oder zur weiteren Verarbeitung durch eine der Verarbeitungseinheiten innerhalb des Parallelprozessors 1100B von 11B weitergeleitet werden.
11D ist ein Blockdiagramm eines Verarbeitungsclusters 1114 innerhalb einer Parallelverarbeitungseinheit, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist ein Verarbeitungscluster eine Instanz von einem der Verarbeitungscluster 1114A-1114N aus 11B. In mindestens einer Ausführungsform kann einer oder mehrere der Verarbeitungscluster 1114 so konfiguriert sein, dass viele Threads parallel ausgeführt werden, wobei sich „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingangsdaten ausgeführt wird. In mindestens einer Ausführungsform werden SIMD (Single-Instruction, Multiple-Data)-Befehlsausgabeverfahren verwendet, um die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Befehlseinheiten bereitzustellen. In mindestens einer Ausführungsform werden SIMT (Single-Instruction, Multiple-Thread)-Techniken verwendet, um die parallele Ausführung einer großen Anzahl von synchronisierten Threads zu unterstützen, wobei eine gemeinsame Befehlseinheit verwendet wird, die so konfiguriert ist, dass sie Befehle an einen Satz von Verarbeitungs-Engines innerhalb jedes der Verarbeitungscluster ausgibt.
In mindestens einer Ausführungsform kann der Betrieb des Verarbeitungsclusters 1114 über einen Pipeline-Verwalter 1132 gesteuert werden, der die Verarbeitungsaufgaben auf die parallelen SIMT-Prozessoren verteilt. In mindestens einer Ausführungsform empfängt der Pipeline-Verwalter 1132 Anweisungen vom Planer 1110 von 11B und verwaltet die Ausführung dieser Anweisungen über einen Grafik-Multiprozessor 1134 und/oder eine Textureinheit 1136. In mindestens einer Ausführungsform ist der Grafikmultiprozessor 1134 eine beispielhafte Instanz eines SIMT-Parallelprozessors. In mindestens einer Ausführungsform können jedoch verschiedene Typen von SIMT-Parallelprozessoren mit unterschiedlichen Architekturen im Verarbeitungscluster 1114 enthalten sein. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Grafik-Multiprozessors 1134 in einem Verarbeitungscluster 1114 enthalten sein. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 1134 Daten verarbeiten und eine Datenkreuzschiene 1140 kann verwendet werden, um verarbeitete Daten an eines von mehreren möglichen Zielen, einschließlich anderer Shader-Einheiten, zu verteilen. In mindestens einer Ausführungsform kann der Pipeline-Verwalter 1132 die Verteilung verarbeiteter Daten erleichtern, indem er Ziele für verarbeitete Daten angibt, die über die Datenkreuzschiene 1140 zu verteilen sind.
In mindestens einer Ausführungsform kann jeder Grafik-Multiprozessor 1134 innerhalb des Verarbeitungsclusters 1114 einen identischen Satz funktionaler Ausführungslogik enthalten (wie beispielsweise arithmetische Logikeinheiten, Ladespeichereinheiten usw.). In mindestens einer Ausführungsform kann die funktionale Ausführungslogik in einer Pipeline konfiguriert sein, in der neue Befehle ausgegeben werden können, bevor vorherige Befehle abgeschlossen sind. In mindestens einer Ausführungsform unterstützt die funktionale Ausführungslogik eine Vielzahl von Operationen, darunter Ganzzahl- und Gleitkommaarithmetik, Vergleichsoperationen, boolesche Operationen, Bitverschiebung und die Berechnung verschiedener algebraischer Funktionen. In mindestens einer Ausführungsform kann dieselbe Hardware mit funktionalen Einheiten genutzt werden, um verschiedene Operationen auszuführen, und es kann eine beliebige Kombination von funktionalen Einheiten vorhanden sein.
In mindestens einer Ausführungsform bilden die an den Verarbeitungscluster 1114 übertragenen Anweisungen einen Thread. In mindestens einer Ausführungsform ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungs-Engines ausgeführt werden, eine Thread-Gruppe. In mindestens einer Ausführungsform führt die Thread-Gruppe ein Programm auf unterschiedlichen Eingabedaten aus. In mindestens einer Ausführungsform kann jeder Thread innerhalb einer Thread-Gruppe einer anderen Verarbeitungs-Engine innerhalb eines Grafik-Multiprozessors 1134 zugewiesen sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe weniger Threads umfassen als die Anzahl der Verarbeitungsmodule innerhalb des Grafik-Multiprozessors 1134. Wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungs-Engines umfasst, können in mindestens einer Ausführungsform eine oder mehrere Verarbeitungs-Engines während der Zyklen, in denen diese Thread-Gruppe verarbeitet wird, im Leerlauf sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe auch mehr Threads als eine Anzahl von Verarbeitungsmodulen innerhalb des Grafik-Multiprozessors 1134 umfassen. In mindestens einer Ausführungsform kann die Verarbeitung über aufeinanderfolgende Taktzyklen erfolgen, wenn eine Thread-Gruppe mehr Threads als Verarbeitungsmodule innerhalb des Grafik-Multiprozessors 1134 umfasst. In mindestens einer Ausführungsform können mehrere Thread-Gruppen gleichzeitig auf einem Grafik-Multiprozessor 1134 ausgeführt werden.
In mindestens einer Ausführungsform enthält der Grafik-Multiprozessor 1134 einen internen Cache-Speicher, um Lade- und Speicheroperationen durchzuführen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 auf einen internen Cache verzichten und einen Cache-Speicher (wie beispielsweise L1-Cache 1148) innerhalb des Verarbeitungsclusters 1114 verwenden. In mindestens einer Ausführungsform hat jeder Grafik-Multiprozessor 1134 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten (wie beispielsweise Partitionseinheiten 1120A-1120N von 11B), die von allen Verarbeitungsclustern 1114 gemeinsam genutzt werden und zur Datenübertragung zwischen Threads verwendet werden können. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 auch auf den globalen Off-Chip-Speicher zugreifen, der einen oder mehrere lokale parallele Prozessorspeicher und/oder Systemspeicher umfassen kann. In mindestens einer Ausführungsform kann jeder Speicher außerhalb der Parallelverarbeitungseinheit 1102 als globaler Speicher verwendet werden. In mindestens einer Ausführungsform umfasst der Verarbeitungscluster 1114 mehrere Instanzen des Grafik-Multiprozessors 1134, die sich gemeinsame Anweisungen und Daten teilen können, die im L1-Cache 1148 gespeichert sein können.
In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 1114 eine Speicherverwaltungseinheit („MMU“) 1145 enthalten, die so konfiguriert ist, dass sie virtuelle Adressen auf physische Adressen abbildet. In mindestens einer Ausführungsform können sich eine oder mehrere Instanzen der MMU 1145 innerhalb der Speicherschnittstelle 1118von 11B befinden. In mindestens einer Ausführungsform enthält die MMU 1145 einen Satz von Seitentabelleneinträgen (PTEs), die zur Abbildung einer virtuellen Adresse auf eine physische Adresse einer Kachel verwendet werden, und in mindestens einer Ausführungsform einen Cache-Zeilenindex. In mindestens einer Ausführungsform kann die MMU 1145 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches enthalten, die sich im Grafik-Multiprozessor 1134 oder im L1-Cache oder im Verarbeitungscluster 1114 befinden können. In mindestens einer Ausführungsform wird die physische Adresse verarbeitet, um die Zugriffslokalität der Oberflächendaten zu verteilen, um ein effizientes Request Interleaving zwischen den Partitionseinheiten zu ermöglichen. In mindestens einer Ausführungsform kann der Cache-Zeilenindex verwendet werden, um zu bestimmen, ob eine Anforderung für eine Cache-Zeile ein Treffer bzw. Hit oder ein Fehlschlag bzw. Miss ist.
In mindestens einer Ausführungsform kann ein Verarbeitungscluster 1114 so konfiguriert sein, dass jeder Grafikmultiprozessor 1134 mit einer Textureinheit 1136 gekoppelt ist, um Texturabbildungsoperationen durchzuführen, wie beispielsweise Bestimmen von Texturabtastpositionen, Lesen von Texturdaten und Filtern von Texturdaten. In mindestens einer Ausführungsform werden die Texturdaten aus einem internen Textur-L1-Cache (nicht dargestellt) oder aus einem L1-Cache innerhalb des Grafik-Multiprozessors 1134 gelesen und je nach Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder dem Systemspeicher abgerufen. In mindestens einer Ausführungsform gibt jeder Grafikmultiprozessor 1134 verarbeitete Aufgaben an die Datenkreuzschiene 1140 aus, um die verarbeitete(n) Aufgabe(n) einem anderen Verarbeitungscluster 1114 zur weiteren Verarbeitung zur Verfügung zu stellen oder um die verarbeitete(n) Aufgabe(n) über die Speicherkreuzschiene 1116 in einem L2-Cache, lokalen Parallelprozessorspeicher oder Systemspeicher zu speichern. In mindestens einer Ausführungsform ist eine preROP 1142 (Pre-Raster Operations Unit) so konfiguriert, dass sie Daten vom Grafik-Multiprozessor 1134 empfängt und Daten an ROP-Einheiten weiterleitet, die sich bei den hierin beschriebenen Partitionseinheiten befinden können (wie beispielsweise die Partitionseinheiten 1120A-1720N von 11B). In mindestens einer Ausführungsform kann die PreROP-Einheit 1142 Optimierungen für die Farbüberblendung durchführen, Pixelfarbdaten organisieren und Adressübersetzungen vornehmen.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafikverarbeitungscluster 1114 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, neuronalen Netzwerkfunktionen und/oder -architekturen oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
11E zeigt einen Grafik-Multiprozessor 1134 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafik-Multiprozessor 1134 mit dem Pipeline-Verwalter 1132 des Verarbeitungsclusters 1114 gekoppelt. In mindestens einer Ausführungsform verfügt der Grafik-Multiprozessor 1134 über eine Ausführungspipeline, die unter anderem einen Befehlscache 1152, eine Befehlseinheit 1154, eine Adressabbildungseinheit 1156, eine Registerdatei 1158, einen oder mehrere GPGPU (General Purpose Graphics Processing Unit)-Kerne 1162 und eine oder mehrere Lade-/Speicher-Einheiten 1166 umfasst. Die GPGPU-Kern(e) 1162 und die Lade-/Speicher-Einheit(en) 1166 sind über eine Speicher- und Cache-Verbindung 1168 mit dem Cache-Speicher 1172 und dem gemeinsamen Speicher 1170 gekoppelt.
In mindestens einer Ausführungsform erhält der Befehls-Cache 1152 einen Strom von auszuführenden Befehlen vom Pipeline-Verwalter 1132. In mindestens einer Ausführungsform werden die Befehle im Befehlscache 1152 zwischengespeichert und von der Befehlseinheit 1154 zur Ausführung weitergeleitet. In mindestens einer Ausführungsform kann die Befehlseinheit 1154 Befehle als Thread-Gruppen (z.B. Warps) versenden, wobei jede Thread-Gruppe einer anderen Ausführungseinheit innerhalb des/der GPGPU-Kerns/Kerne 1162 zugewiesen ist. In mindestens einer Ausführungsform kann eine Anweisung auf einen lokalen, gemeinsam genutzten oder globalen Adressraum zugreifen, indem sie eine Adresse innerhalb eines einheitlichen Adressraums angibt. In mindestens einer Ausführungsform kann die Adressabbildungseinheit 1156 verwendet werden, um Adressen in einem vereinheitlichten Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf die die Lade-/ Speicher-Einheit(en) 1166 zugreifen können.
In mindestens einer Ausführungsform stellt die Registerdatei 1158 einen Satz von Registern für Funktionseinheiten des Grafik-Multiprozessors 1134 bereit. In mindestens einer Ausführungsform stellt die Registerdatei 1158 einen temporären Speicher für Operanden bereit, der mit Datenpfaden von Funktionseinheiten (wie beispielsweise GPGPU-Kerne 1162, Lade-/Speichereinheiten 1166) des Grafik-Multiprozessors 1134 verbunden ist. In mindestens einer Ausführungsform ist die Registerdatei 1158 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein dedizierter Teil der Registerdatei 1158 zugewiesen ist. In mindestens einer Ausführungsform ist die Registerdatei 1158 zwischen verschiedenen Warps aufgeteilt, die vom Grafik-Multiprozessor 1134 ausgeführt werden.
In mindestens einer Ausführungsform können die GPGPU-Kerne 1162 jeweils Gleitkommaeinheiten (FPUs) und/oder Ganzzahl-Arithmetik-Logikeinheiten (ALUs) enthalten, die zur Ausführung von Befehlen des Grafik-Multiprozessors 1134 verwendet werden. Die GPGPU-Kerne 1162 können in ihrer Architektur ähnlich sein oder sich unterscheiden. In mindestens einer Ausführungsform umfasst ein erster Teil der GPGPU-Kerne 1162 eine FPU mit einfacher Genauigkeit und eine Ganzzahl-ALU, während ein zweiter Teil der GPGPU-Kerne eine FPU mit doppelter Genauigkeit umfasst. In mindestens einer Ausführungsform können die FPUs den IEEE 754-2008-Standard für Gleitkommaarithmetik implementieren oder Gleitkommaarithmetik mit variabler Genauigkeit ermöglichen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 zusätzlich eine oder mehrere Festfunktions- oder Sonderfunktionseinheiten enthalten, um spezifische Funktionen wie Kopierrechteck- oder Pixel-Blending-Operationen durchzuführen. In mindestens einer Ausführungsform können einer oder mehrere der GPGPU-Kerne auch eine Logik mit fester Funktion oder Sonderfunktion enthalten.
In mindestens einer Ausführungsform enthalten die GPGPU-Kerne 1162 SIMD-Logik, die in der Lage ist, einen einzigen Befehl auf mehreren Datensätzen auszuführen. In mindestens einer Ausführungsform können die GPGPU-Kerne 1162 physisch SIMD4-, SIMD8- und SIMD16-Anweisungen und logisch SIMD1-, SIMD2- und SIMD32-Anweisungen ausführen. In mindestens einer Ausführungsform können SIMD-Anweisungen für die GPGPU-Kerne zur Kompilierzeit von einem Shader-Compiler generiert werden oder automatisch generiert werden, wenn Programme ausgeführt werden, die für Single Program Multiple Data (SPMD) oder SIMT-Architekturen geschrieben und kompiliert wurden. In mindestens einer Ausführungsform können mehrere Threads eines für ein SIMT-Ausführungsmodell konfigurierten Programms über eine einzige SIMD-Anweisung ausgeführt werden. In mindestens einer Ausführungsform können acht SIMT-Threads, die gleiche oder ähnliche Operationen ausführen, parallel über eine einzige SIMD8-Logikeinheit ausgeführt werden.
In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 1168 ein Verbindungsnetzwerk, das jede Funktionseinheit des Grafik-Multiprozessors 1134 mit der Registerdatei 1158 und dem gemeinsamen Speicher 1170 verbindet. In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 1168 eine Kreuzschienenverbindung, die es der Lade-/Speicher-Einheit 1166 ermöglicht, Lade- und Speicher-Operationen zwischen dem gemeinsamen Speicher 1170 und der Registerdatei 1158 durchzuführen. In mindestens einer Ausführungsform kann die Registerdatei 1158 mit der gleichen Frequenz wie die GPGPU-Kerne 1162 arbeiten, so dass die Datenübertragung zwischen den GPGPU-Kernen 1162 und der Registerdatei 1158 eine sehr geringe Latenzzeit aufweist. In mindestens einer Ausführungsform kann der gemeinsame Speicher 1170 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Grafik-Multiprozessors 1134 ausgeführt werden. In mindestens einer Ausführungsform kann der Cache-Speicher 1172 z.B. als Daten-Cache verwendet werden, um Texturdaten zu cachen, die zwischen Funktionseinheiten und der Textureinheit 1136 kommuniziert werden. In mindestens einer Ausführungsform kann der gemeinsame Speicher 1170 auch als programm verwalteter Cache verwendet werden. In mindestens einer Ausführungsform können Threads, die auf den GPGPU-Kernen 1162 ausgeführt werden, zusätzlich zu den automatisch zwischengespeicherten Daten, die im Cache-Speicher 1172 gespeichert sind, programmatisch Daten im gemeinsamen Speicher speichern.
In mindestens einer Ausführungsform ist ein Parallelprozessor oder eine GPGPU, wie hierin beschrieben, kommunikativ mit Host-/Prozessor-Kernen gekoppelt, um Grafikoperationen, Operationen des maschinellen Lernens, Musteranalyseoperationen und verschiedene Universal-GPU-Funktionen (GPGPU) zu beschleunigen. In mindestens einer Ausführungsform kann die GPU mit dem Host-Prozessor/den Prozessorkernen über einen Bus oder eine andere Verbindung (wie beispielsweise eine Hochgeschwindigkeitsverbindung wie PCIe oder NVLink) kommunikativ gekoppelt sein. In mindestens einer Ausführungsform kann die GPU auf demselben Gehäuse oder Chip wie die Kerne integriert sein und mit den Kernen über einen internen Prozessorbus/Interconnect (In mindestens einer Ausführungsform innerhalb des Gehäuses oder Chips) kommunikativ verbunden sein. In mindestens einer Ausführungsform können die Prozessorkerne unabhängig von der Art und Weise, wie die GPU angeschlossen ist, der GPU Arbeit in Form von Sequenzen von Befehlen/Anweisungen zuweisen, die in einem Arbeitsdeskriptor enthalten sind. In mindestens einer Ausführungsform verwendet die GPU dann eine dedizierte Schaltung/Logik zur effizienten Verarbeitung dieser Anweisungen/Befehle.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafik-Multiprozessor 1134 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
12A veranschaulicht ein Multi-GPU-Computersystem 1200A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das Multi-GPU-Computersystem 1200A einen Prozessor 1202 umfassen, der über einen Host-Schnittstellenschalter 1204 mit mehreren Universal-Grafikverarbeitungseinheiten (GPGPUs) 1206A-D verbunden ist. In mindestens einer Ausführungsform ist der Host-Schnittstellenschalter 1204 eine PCI-Express-Switch-Vorrichtung, die den Prozessor 1202 mit einem PCI-Express-Bus koppelt, über den der Prozessor 1202 mit den GPGPUs 1206A-D kommunizieren kann. Die GPGPUs 1206A-D können über eine Reihe von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verbindungen 1216 miteinander verbunden sein. In mindestens einer Ausführungsform sind die GPU-zu-GPU-Verbindungen 1216 mit jeder der GPGPUs 1206A-D über eine dedizierte GPU-Verbindung verbunden. In mindestens einer Ausführungsform ermöglichen die P2P-GPU-Verbindungen 1216 eine direkte Kommunikation zwischen jeder der GPGPUs 1206A-D, ohne dass eine Kommunikation über den Host-Schnittstellenbus 1204 erforderlich ist, an den der Prozessor 1202 angeschlossen ist. In mindestens einer Ausführungsform, bei der der GPU-zu-GPU-Verkehr zu P2P-GPU-Verbindungen 1216 geleitet wird, bleibt der Host-Schnittstellenbus 1204 für den Systemspeicherzugriff oder für die Kommunikation mit anderen Instanzen des Multi-GPU-Computersystems 1200A verfügbar, zum Beispiel über ein oder mehrere Netzwerkgeräte. Während in mindestens einer Ausführungsform die GPGPUs 1206A-D über den Host-Schnittstellenschalter 1204 mit dem Prozessor 1202 verbunden sind, enthält der Prozessor 1202 in mindestens einer Ausführungsform eine direkte Unterstützung für P2P-GPU-Verbindungen 1216 und kann sich direkt mit den GPGPUs 1206A-D verbinden.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Multi-GPU-Computersystem 1200A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
12B ist ein Blockdiagramm eines Grafikprozessors 1200B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B eine Ringverbindung 1202, ein Pipeline-Frontend 1204, eine Media-Engine 1237 und Grafikkerne 1280A-1280N. In mindestens einer Ausführungsform verbindet die Ringverbindung 1202 den Grafikprozessor 1200B mit anderen Verarbeitungseinheiten, einschließlich anderer Grafikprozessoren oder eines oder mehrerer Mehrzweckprozessorkerne. In mindestens einer Ausführungsform ist der Grafikprozessor 1200B einer von vielen Prozessoren, die in ein Multi-Core-Verarbeitungssystem integriert sind.
In mindestens einer Ausführungsform empfängt der Grafikprozessor 1200B Stapel von Befehlen über die Ringverbindung 1202. In mindestens einer Ausführungsform werden die eingehenden Befehle von einem Befehlsstreamer 1203 im Pipeline-Frontend 1204 interpretiert. In mindestens einer Ausführungsform enthält der Grafikprozessor 1200B eine skalierbare Ausführungslogik, um die 3D-Geometrieverarbeitung und die Medienverarbeitung über Grafikkern(e) 1280A-1280N durchzuführen. In mindestens einer Ausführungsform liefert der Befehlsstreamer 1203 für 3D-Geometrieverarbeitungsbefehle Befehle an die Geometrie-Pipeline 1236. In mindestens einer Ausführungsform liefert der Befehlsstreamer 1203 für mindestens einige Medienverarbeitungsbefehle Befehle an ein Video-Frontend 1234, das mit einer Medien-Engine 1237 gekoppelt ist. In mindestens einer Ausführungsform umfasst die Medien-Engine 1237 eine Video Quality Engine (VQE) 1230 für die Video- und Bildnachbearbeitung und eine Multi-Format-Encoder/Decoder-Engine (MFX) 1233, um eine hardwarebeschleunigte Kodierung und Dekodierung von Mediendaten bereitzustellen. In mindestens einer Ausführungsform erzeugen die Geometrie-Pipeline 1236 und die Medien-Engine 1237 jeweils Ausführungsthreads für Thread-Ausführungsressourcen, die von mindestens einem Grafikkern 1280A bereitgestellt werden.
In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B skalierbare Thread-Ausführungsressourcen mit modularen Kernen 1280A-1280N (manchmal als Kern-Slices bezeichnet), die jeweils mehrere Sub-Kerne 1250A-1250N, 1260A-1260N (manchmal als Kern-Sub-Slices bezeichnet) aufweisen. In mindestens einer Ausführungsform kann der Grafikprozessor 1200B eine beliebige Anzahl von Grafikkernen 1280A bis 1280N haben. In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B einen Grafikkern 1280A mit mindestens einem ersten Sub-Kern 1250A und einem zweiten Sub-Kern 1260A. In mindestens einer Ausführungsform ist der Grafikprozessor 1200B ein Niedrigleistungsprozessor mit einem einzigen Sub-Kern (wie beispielsweise 1250A). In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B mehrere Grafikkerne 1280A-1280N, von denen jeder einen Satz von ersten Sub-Kernen 1250A-1250N und einen Satz von zweiten Sub-Kernen 1260A-1260N umfasst. In mindestens einer Ausführungsform enthält jeder Sub-Kern in den ersten Sub-Kernen 1250A-1250N mindestens einen ersten Satz von Ausführungseinheiten 1252A-1252N und Medien-/Texturabtaster 1254A-1254N. In mindestens einer Ausführungsform enthält jeder Sub-Kern in zweiten Sub-Kernen 1260A-1260N mindestens einen zweiten Satz von Ausführungseinheiten 1262A-1262N und Abtastern bzw. Samplern 1264A-1264N. In mindestens einer Ausführungsform teilt sich jeder Sub-Kern 1250A-1250N, 1260A-1260N einen Satz von gemeinsam genutzten Ressourcen 1270A-1270N. In mindestens einer Ausführungsform umfassen die gemeinsam genutzten Ressourcen einen gemeinsam genutzten Cache-Speicher und eine Pixel-Operationslogik.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafikprozessor 1200B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
13 ist ein Blockdiagramm, das die Mikroarchitektur eines Prozessors 1300 veranschaulicht, der gemäß mindestens einer Ausführungsform Logikschaltungen zur Ausführung von Befehlen enthalten kann. In mindestens einer Ausführungsform kann der Prozessor 1300 Befehle ausführen, einschließlich x86-Befehle, ARM-Befehle, spezielle Befehle für anwendungsspezifische integrierte Schaltungen (ASICs) usw. In mindestens einer Ausführungsform kann der Prozessor 1300 Register zum Speichern gepackter Daten enthalten, wie z.B. 64 Bit breite MMXTM-Register in Mikroprozessoren, die mit der MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. In mindestens einer Ausführungsform können MMX-Register, die sowohl in Ganzzahl- als auch in Gleitkommaform verfügbar sind, mit gepackten Datenelementen arbeiten, die Einzelbefehl-, Mehrfachdaten-(„SIMD“) und Streaming-SIMD-Erweiterungsbefehle („SSE“) begleiten. In mindestens einer Ausführungsform können 128 Bit breite XMM-Register, die sich auf die SSE2-, SSE3-, SSE4-, AVX- oder darüber hinausgehende Technologie beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden enthalten. In mindestens einer Ausführungsform kann der Prozessor 1300 Befehle zur Beschleunigung von Algorithmen für maschinelles Lernen oder Deep Learning, Training oder Inferenzierung ausführen.
In mindestens einer Ausführungsform enthält der Prozessor 1300 ein In-Order-Front-End („Front-End“) 1301 zum Abrufen von auszuführenden Befehlen und zur Vorbereitung von Befehlen, die später in der Prozessor-Pipeline zu verwenden sind. In mindestens einer Ausführungsform kann das Frontend 1301 mehrere Einheiten umfassen. In mindestens einer Ausführungsform holt ein Befehls-Prefetcher 1326 Befehle aus dem Speicher und leitet sie an einen Befehlsdecoder 1328 weiter, der wiederum Befehle dekodiert oder interpretiert. In mindestens einer Ausführungsform dekodiert der Befehlsdecoder 1328 in mindestens einer Ausführungsform einen empfangenen Befehl in eine oder mehrere Operationen, die als „Mikrobefehle“ oder „Mikrooperationen“ (auch „Mikro-Ops“ oder „Uops“ genannt) bezeichnet werden und von der Maschine ausgeführt werden können. In mindestens einer Ausführungsform zerlegt der Befehlsdecoder 1328 den Befehl in einen Op-Code und entsprechende Daten- und Steuerfelder, die von der Mikroarchitektur verwendet werden können, um Operationen auszuführen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Trace-Cache 1330 dekodierte Uops in programmgeordnete Sequenzen oder Traces in einer Uop-Warteschlange 1334 zur Ausführung zusammenstellen. Wenn in mindestens einer Ausführungsform der Trace-Cache 1330 auf eine komplexe Anweisung stößt, stellt ein Mikrocode-ROM 1332 die zur Ausführung der Operation erforderlichen Uops bereit.
In mindestens einer Ausführungsform können einige Befehle in ein einziges Mikro-OP umgewandelt werden, während andere mehrere Mikro-OPs benötigen, um den vollen Betrieb abzuschließen. In mindestens einer Ausführungsform kann der Befehlsdecoder 1328 auf das Mikrocode-ROM 1332 zugreifen, wenn mehr als vier Mikro-OPs für die Ausführung eines Befehls erforderlich sind, um den Befehl auszuführen. In mindestens einer Ausführungsform kann ein Befehl in eine kleine Anzahl von Mikro-Ops zur Verarbeitung im Befehlsdecoder 1328 dekodiert werden. In mindestens einer Ausführungsform kann ein Befehl im Mikrocode-ROM 1332 gespeichert werden, falls eine Anzahl von Mikro-OPs zur Ausführung der Operation benötigt wird. In mindestens einer Ausführungsform bezieht sich der Trace-Cache 1330 auf ein programmierbares Logik-Array („PLA“) als Einstiegspunkt, um einen korrekten Mikrobefehlszeiger zum Lesen von Mikrocode-Sequenzen zu bestimmen, um einen oder mehrere Befehle aus dem Mikrocode-ROM 1332 gemäß mindestens einer Ausführungsform zu vervollständigen. In mindestens einer Ausführungsform kann das Frontend 1301 der Maschine, nachdem das Mikrocode-ROM 1332 die Sequenzierung von Mikrobefehlen für einen Befehl beendet hat, das Abrufen von Mikrobefehlen aus dem Trace-Cache 1330 wieder aufnehmen.
In mindestens einer Ausführungsform kann die Out-of-Order-Execution-Engine („Out-of-Order-Engine“) 1303 Anweisungen für die Ausführung vorbereiten. In mindestens einer Ausführungsform verfügt die Logik für die Ausführung außerhalb der Reihenfolge über eine Reihe von Puffern, um den Fluss der Anweisungen zu glätten und neu zu ordnen, um die Leistung zu optimieren, während sie die Pipeline hinunterlaufen und für die Ausführung geplant werden. In mindestens einer Ausführungsform umfasst die Ausführungs-Engine 1303, ohne darauf beschränkt zu sein, einen Allokator/Register-Umbenenner 1340, eine Speicher-Uop-Warteschlange 1342, eine Ganzzahl/Gleitkomma-Uop-Warteschlange 1344, einen Speicher-Planer 1346, einen schnellen Planer bzw. Planer 1302, einen langsamen/allgemeinen Gleitkomma-Planer („slow/general FP scheduler“) 1304 und einen einfachen Gleitkomma-Planer („simple FP scheduler“) 1306. In mindestens einer Ausführungsform werden der schnelle Planer 1302, der langsame/allgemeine Gleitkomma-Planer 1304 und der einfache Gleitkomma-Planer 1306 hierin auch gemeinsam als „Uop-Planer 1302, 1304, 1306“ bezeichnet. In mindestens einer Ausführungsform weist der Allokator/Register-Umbenenner 1340 Maschinenpuffer und Ressourcen zu, die jede Uop für ihre Ausführung benötigt. In mindestens einer Ausführungsform benennt der Allokator/Register Umbenenner 1340 logische Register auf Einträge in einer Registerdatei um. In mindestens einer Ausführungsform weist der Allokator/Register-Umbenenner 1340 auch einen Eintrag für jede Uop in einer von zwei Uop-Warteschlangen zu, der Speicher-Uop-Warteschlange 1342 für Speicheroperationen und der Ganzzahl-/Gleitkomma-Uop-Warteschlange 1344 für Nicht-Speicheroperationen, und zwar vor dem Speicher-Planer 1346 und den Uop-Planern 1302, 1304, 1306. In mindestens einer Ausführungsform bestimmen die Uop-Planer 1302, 1304, 1306, wann ein Uop zur Ausführung bereit ist, basierend auf der Bereitschaft ihrer abhängigen Eingangsregister-Operandenquellen und der Verfügbarkeit der Ausführungsressourcen, die Uops benötigen, um ihre Operation abzuschließen. In mindestens einer Ausführungsform kann der schnelle Planer 1302 in jeder Hälfte des Haupttaktzyklus einen Zeitplan erstellen, während der langsame/allgemeine Gleitkomma-Planer 1304 und der einfache Gleitkomma-Planer 1306 einmal pro Hauptprozessortaktzyklus einen Zeitplan erstellen können. In mindestens einer Ausführungsform vermitteln die Uop-Planer 1302, 1304, 1306 für Versende-Ports, um Uops zur Ausführung einzuplanen.
In mindestens einer Ausführungsform umfasst der Ausführungsblock 1311, ohne darauf beschränkt zu sein, eine Integer-Registerdatei/ein Bypass-Netzwerk 1308, eine Gleitkommaregisterdatei/ein Bypass-Netzwerk („FP-Registerdatei/Bypass-Netzwerk“) 1310, Adressgenerierungseinheiten („AGUs“) 1312 und 1314, schnelle arithmetische Logikeinheiten (ALUs) („fast ALUs“) 1316 und 1318, eine langsame arithmetische Logikeinheit („slow ALU“) 1320, eine Gleitkomma-ALU („FP“) 1322 und eine Gleitkomma-Bewegungseinheit („FP move“) 1324. In mindestens einer Ausführungsform werden das Ganzzahl-Registerdatei/Bypass-Netzwerk 1308 und die Gleitkomma-Registerdatei /das Bypass-Netzwerk 1310 hierin auch als „Registerdateien 1308, 1310“ bezeichnet. In mindestens einer Ausführungsform werden die AGUs 1312 und 1314, die schnellen ALUs 1316 und 1318, die langsame ALU 1320, die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 hierin auch als „Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322 und 1324“ bezeichnet. In mindestens einer Ausführungsform kann der Ausführungsblock b11, ohne darauf beschränkt zu sein, eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Bypass-Netzwerken, Adressgenerierungseinheiten und Ausführungseinheiten in beliebiger Kombination enthalten.
In mindestens einer Ausführungsform können die Registerdateien 1308, 1310 zwischen den Uop-Planern 1302, 1304, 1306 und den Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322 und 1324 angeordnet sein. In mindestens einer Ausführungsform führt das Integer-Registerdatei/Bypass-Netzwerk 1308 Integer-Operationen aus. In mindestens einer Ausführungsform führt die Gleitkommaregisterdatei/das Bypass-Netzwerk 1310 Gleitkommaoperationen durch. In mindestens einer Ausführungsform kann jede der Registerdateien 1308, 1310, ohne darauf beschränkt zu sein, ein Bypass-Netzwerk enthalten, das gerade abgeschlossene Ergebnisse, die noch nicht in die Registerdatei geschrieben wurden, umgehen oder an neue abhängige Uops weiterleiten kann. In mindestens einer Ausführungsform können die Registerdateien 1308, 1310 Daten miteinander kommunizieren. In mindestens einer Ausführungsform kann das Integer-Registerdatei/Bypass-Netzwerk 1308, ohne darauf beschränkt zu sein, zwei separate Registerdateien umfassen, eine Registerdatei für Daten niedriger Ordnung mit 32 Bits und eine zweite Registerdatei für Daten hoher Ordnung mit 32 Bits. In mindestens einer Ausführungsform kann das Fließkomma-Registerdatei/Bypass-Netzwerk 1310, ohne darauf beschränkt zu sein, 128 Bit breite Einträge enthalten, da Fließkomma-Befehle typischerweise Operanden mit einer Breite von 64 bis 128 Bit haben.
In mindestens einer Ausführungsform können die Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322, 1324 Anweisungen ausführen. In mindestens einer Ausführungsform speichern Registerdateien 1308, 1310 Ganzzahl- und Gleitkommadaten-Operandenwerte, die für die Ausführung von Mikrobefehlen erforderlich sind. In mindestens einer Ausführungsform kann der Prozessor 1300, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Kombination von Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322, 1324 enthalten. In mindestens einer Ausführungsform können die Fließkomma-ALU 1322 und die Fließkomma-Bewegungseinheit 1324 Fließkomma-, MMX-, SIMD-, AVX- und SSE- oder andere Operationen ausführen, einschließlich spezialisierter Befehle maschinellen Lernens. In mindestens einer Ausführungsform kann die Gleitkomma-ALU 1322, ohne darauf beschränkt zu sein, einen 64-Bit-mal-64-Bit-Gleitkomma-Teiler enthalten, um die Mikrooperationen Dividieren, Quadratwurzel und Rest auszuführen. In mindestens einer Ausführungsform können Befehle, die einen Gleitkommawert beinhalten, mit Gleitkomma-Hardware verarbeitet werden. In mindestens einer Ausführungsform können ALU-Operationen an schnelle ALUs 1316, 1318 weitergegeben werden. In mindestens einer Ausführungsform können schnelle ALUS 1316, 1318 schnelle Operationen mit einer effektiven Latenzzeit von einem halben Taktzyklus ausführen. In mindestens einer Ausführungsform gehen die meisten komplexen ganzzahligen Operationen an die langsame ALU 1320, da die langsame ALU 1320, ohne darauf beschränkt zu sein, ganzzahlige Ausführungshardware für Operationen mit langer Latenzzeit enthalten kann, wie z.B. einen Multiplizierer, Verschiebungen, Flag-Logik und Verzweigungsverarbeitung. In mindestens einer Ausführungsform können Speicherlade-/Speicheroperationen von AGUS 1312, 1314 ausgeführt werden. In mindestens einer Ausführungsform können die schnelle ALU 1316, die schnelle ALU 1318 und die langsame ALU 1320 Ganzzahloperationen an 64-Bit-Datenoperanden durchführen. In mindestens einer Ausführungsform können die schnelle ALU 1316, die schnelle ALU 1318 und die langsame ALU 1320 so implementiert sein, dass sie eine Vielzahl von Datenbitgrößen unterstützen, einschließlich sechzehn, zweiunddreißig, 128, 126, usw. In mindestens einer Ausführungsform können die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 implementiert sein, um eine Reihe von Operanden mit Bits unterschiedlicher Breite zu unterstützen. In mindestens einer Ausführungsform können die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 mit 128 Bit breiten gepackten Datenoperanden in Verbindung mit SIMD- und Multimedia-Befehlen arbeiten.
In mindestens einer Ausführungsform leiten die Uop-Planer 1302, 1304, 1306 abhängige Operationen ein, bevor die Ausführung der übergeordneten Last beendet ist. Da in mindestens einer Ausführungsform Uops spekulativ geplant und im Prozessor 1300 ausgeführt werden können, kann der Prozessor 1300 auch Logik zur Behandlung von Speicherfehlern enthalten. In mindestens einer Ausführungsform kann es, wenn eine Datenlast im Daten-Cache fehlschlägt, abhängige Operationen in der Pipeline geben, die den Planer mit vorübergehend falschen Daten verlassen haben. In mindestens einer Ausführungsform verfolgt ein Wiedergabemechanismus Anweisungen, die falsche Daten verwenden, und führt sie erneut aus. In mindestens einer Ausführungsform müssen abhängige Operationen möglicherweise erneut abgespielt werden, während unabhängige Operationen zu Ende geführt werden können. In mindestens einer Ausführungsform können Planer und Wiedergabemechanismus mindestens einer Ausführungsform eines Prozessors auch dafür ausgelegt sein, Befehlssequenzen für Textstring-Vergleichsoperationen abzufangen.
In mindestens einer Ausführungsform kann sich „Register“ auf prozessorinterne Speicherplätze beziehen, die als Teil von Befehlen verwendet werden können, um Operanden zu identifizieren. In mindestens einer Ausführungsform kann es sich bei Registern um solche handeln, die von außerhalb des Prozessors (aus der Sicht eines Programmierers) nutzbar sein können. In mindestens einer Ausführungsform können die Register nicht auf einen bestimmten Schaltungstyp beschränkt sein. Vielmehr kann ein Register in mindestens einer Ausführungsform Daten speichern, Daten bereitstellen und die hierin beschriebenen Funktionen ausführen. In mindestens einer Ausführungsform können die hierin beschriebenen Register durch Schaltungen innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert sein, wie z.B. dedizierte physische Register, dynamisch zugewiesene physische Register unter Verwendung von Registerumbenennung, Kombinationen aus dedizierten und dynamisch zugewiesenen physischen Registern usw. In mindestens einer Ausführungsform speichern Integer-Register 32-Bit-Integer-Daten. Eine Registerdatei von mindestens einer Ausführungsform enthält auch acht Multimedia-SIMD-Register für gepackte Daten.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die gesamte Inferenzierungs- und/oder Trainingslogik 615 in den Ausführungsblock 1311 und andere gezeigte oder nicht gezeigte Speicher oder Register integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenzverfahren eine oder mehrere der im Ausführungsblock 1311 dargestellten ALUs verwenden. Darüber hinaus können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Ausführungsblocks 1311 konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
14 veranschaulicht einen Deep-Learning-Anwendungsprozessor 1400, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet der Deep-Learning-Anwendungsprozessor 1400 Anweisungen, die dann, wenn sie vom Deep-Learning-Anwendungsprozessor 1400 ausgeführt werden, den Deep-Learning-Anwendungsprozessor 1400 veranlassen, einige oder alle der in dieser Erfindung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist der Deep-Learning-Anwendungsprozessor 1400 eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einer Ausführungsform führt der Anwendungsprozessor 1400 Matrixmultiplikationsoperationen entweder „fest verdrahtet“ in Hardware als Ergebnis der Ausführung einer oder mehrerer Anweisungen oder beides durch. In mindestens einer Ausführungsform umfasst der Deep-Learning-Anwendungsprozessor 1400, ohne darauf beschränkt zu sein, Verarbeitungscluster 1410(1)-1410(12), Inter-Chip-Verbindungen („ICLs“) 1420(1)-1420(12), Inter-Chip-Controller („ICCs“) 1430(1)-1430(2), Speicher-Controller („Mem Ctrlrs“) 1442(1)-1442(4), physische Speicherschichten mit hoher Bandbreite („HBM PHY“) 1444(1)-1444(4), eine Verwaltungs-Controller-Zentraleinheit („Management-Controller-CPU“) 1450, ein Seriell-Peripherie-Schnittstellen, Inter-Integrierte Schaltung und Universal-Eingabe-/Ausgabe-Block („SPI, I2C, GPIO“), einen Peripheral-Component-Interconnect-Express-Controller und Direct-Memory-Access-Block („PCIe-Controller und DMA“) 1470 und einen sechzehnspurigen Peripheral-Component-Interconnect-Express-Port („PCI Express x 16“) 1480.
In mindestens einer Ausführungsform können die Verarbeitungscluster 1410 Deep-Learning-Operationen durchführen, einschließlich Inferenzierungs- oder Vorhersageoperationen auf der Grundlage von Gewichtungsparametern, die mit einem oder mehreren Trainingsverfahren berechnet wurden, einschließlich der hierin beschriebenen Verfahren. In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 1410, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Art von Prozessoren umfassen. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 1400 eine beliebige Anzahl und Art von Verarbeitungsclustern 1400 umfassen. In mindestens einer Ausführungsform sind die Inter-Chip-Verbindungen 1420 bi-direktional. In mindestens einer Ausführungsform ermöglichen die Inter-Chip-Verbindungen 1420 und der Inter-Chip-Controller 1430 mehreren Deep-Learning-Anwendungsprozessoren 1400 den Austausch von Informationen, einschließlich Aktivierungsinformationen, die aus der Ausführung eines oder mehrerer Algorithmen maschinellen Lernens resultieren, die in einem oder mehreren neuronalen Netzwerken verkörpert sind. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 1400 eine beliebige Anzahl (einschließlich Null) und einen beliebigen Typ von ICLs 1420 und ICCs 1430 enthalten.
In mindestens einer Ausführungsform stellen HBM2s 1440 insgesamt 32 Gigabyte (GB) Speicher zur Verfügung. Ein HBM2 1440(i) ist sowohl dem Speicher-Controller 1442(i) als auch dem HBM PHY 1444(i) zugeordnet. In mindestens einer Ausführungsform kann eine beliebige Anzahl von HBM2s 1440 einen beliebigen Typ und eine beliebige Gesamtmenge an Speicher mit hoher Bandbreite bereitstellen und kann mit einer beliebigen Anzahl (einschließlich Null) und einem beliebigen Typ von Speicher-Controllern 1442 und HBM PHYs 1444 verbunden sein. In mindestens einer Ausführungsform können SPI, I2C, GPIO 1460, PCIe-Controller und DMA 1470 und/oder PCIe 1480 durch eine beliebige Anzahl und einen beliebigen Typ von Blöcken ersetzt sein, die eine beliebige Anzahl und einen beliebigen Typ von Kommunikationsstandards in einer beliebigen technisch machbaren Weise ermöglichen.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 1400 verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die dem Deep-Learning-Anwendungsprozessor 1400 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 1400 verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (z.B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder vom Deep-Learning-Anwendungsprozessor 1400 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der Prozessor 1400 verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
15 ist ein Blockdiagramm eines neuromorphen Prozessors 1500, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500 eine oder mehrere Eingaben von Quellen außerhalb des neuromorphen Prozessors 1500 empfangen. In mindestens einer Ausführungsform können diese Eingaben an ein oder mehrere Neuronen 1502 innerhalb des neuromorphen Prozessors 1500 übertragen werden. In mindestens einer Ausführungsform können die Neuronen 1502 und ihre Komponenten unter Verwendung von Schaltungen oder Logik, einschließlich einer oder mehrerer arithmetischer Logikeinheiten (ALUs), implementiert sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, Tausende oder Millionen von Instanzen von Neuronen 1502 umfassen, aber jede geeignete Anzahl von Neuronen 1502 kann verwendet werden. In mindestens einer Ausführungsform kann jede Instanz von Neuron 1502 einen Neuroneneingang 1504 und einen Neuronenausgang 1506 umfassen. In mindestens einer Ausführungsform können die Neuronen 1502 Ausgänge erzeugen, die an Eingänge anderer Instanzen von Neuronen 1502 übertragen werden können. Zum Beispiel können in mindestens einer Ausführungsform die Neuroneneingänge 1504 und die Neuronenausgänge 1506 über Synapsen 1508 miteinander verbunden sein.
In mindestens einer Ausführungsform können Neuronen 1502 und Synapsen 1508 so miteinander verbunden sein, dass der neuromorphe Prozessor 1500 arbeitet, um vom neuromorphen Prozessor 1500 empfangene Informationen zu verarbeiten oder zu analysieren. In mindestens einer Ausführungsform können die Neuronen 1502 einen Ausgangsimpuls (oder „Feuer“ oder „Spike“) senden, wenn die über den Neuroneneingang 1504 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einer Ausführungsform können die Neuronen 1502 die an den Neuroneneingängen 1504 empfangenen Signale summieren oder integrieren. Zum Beispiel können in mindestens einer Ausführungsform Neuronen 1502 als undichte Integrations- und Feuerneuronen implementiert sein, wobei dann, wenn eine Summe (als „Membranpotential“ bezeichnet) einen Schwellenwert überschreitet, das Neuron 1502 eine Ausgabe (oder „Feuer“) unter Verwendung einer Übertragungsfunktion wie einer Sigmoid- oder Schwellenfunktion erzeugen kann. In mindestens einer Ausführungsform kann ein leckbehaftetes Integrations- und Feuer-Neuron die an den Neuroneneingängen 1504 empfangenen Signale zu einem Membranpotential summieren und auch einen Abklingfaktor (oder Leck) anwenden, um ein Membranpotential zu reduzieren. In mindestens einer Ausführungsform kann ein undichtes Integrier-und-Feuer-Neuron feuern, wenn mehrere Eingangssignale an den Neuroneneingängen 1504 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (In mindestens einer Ausführungsform ist dies bevor ein Membranpotenzial zu niedrig abfällt, um zu feuern). In mindestens einer Ausführungsform können Neuronen 1502 unter Verwendung von Schaltungen oder Logik implementiert sein, die Eingaben empfangen, Eingaben in ein Membranpotenzial integrieren und ein Membranpotenzial abklingen lassen. In mindestens einer Ausführungsform können die Eingänge gemittelt werden, oder es kann jede andere geeignete Übertragungsfunktion verwendet werden. Darüber hinaus können die Neuronen 1502 in mindestens einer Ausführungsform, ohne darauf beschränkt zu sein, Komparatorschaltungen oder Logik enthalten, die einen Ausgangs-Spike am Neuronenausgang 1506 erzeugen, wenn das Ergebnis der Anwendung einer Übertragungsfunktion auf den Neuroneneingang 1504 einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann das Neuron 1502, sobald es feuert, zuvor empfangene Eingangsinformationen ignorieren, indem es z.B. ein Membranpotenzial auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einer Ausführungsform kann das Neuron 1502, sobald das Membranpotenzial auf 0 zurückgesetzt wurde, nach einer geeigneten Zeitspanne (oder Refraktärzeit) den normalen Betrieb wieder aufnehmen.
In mindestens einer Ausführungsform können die Neuronen 1502 durch Synapsen 1508 miteinander verbunden sein. In mindestens einer Ausführungsform können Synapsen 1508 dazu dienen, Signale von einem Ausgang eines ersten Neurons 1502 zu einem Eingang eines zweiten Neurons 1502 zu übertragen. In mindestens einer Ausführungsform können die Neuronen 1502 Informationen über mehr als eine Instanz der Synapse 1508 übertragen. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Neuronenausgangs 1506 über eine Instanz der Synapse 1508 mit einer Instanz des Neuroneneingangs 1504 im selben Neuron 1502 verbunden sein. In mindestens einer Ausführungsform kann eine Instanz des Neurons 1502, die eine Ausgabe erzeugt, die über eine Instanz der Synapse 1508 übertragen werden soll, als „präsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 1508 bezeichnet werden. In mindestens einer Ausführungsform kann eine Instanz des Neurons 1502, die eine über eine Instanz der Synapse 1508 übertragene Eingabe empfängt, als „postsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 1508 bezeichnet werden. Da eine Instanz des Neurons 1502 Eingaben von einer oder mehreren Instanzen der Synapse 1508 empfangen und auch Ausgaben über eine oder mehrere Instanzen der Synapse 1508 übertragen kann, kann eine einzelne Instanz des Neurons 1502 daher sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Instanzen der Synapsen 1508 sein, in mindestens einer Ausführungsform.
In mindestens einer Ausführungsform können die Neuronen 1502 in einer oder mehreren Schichten organisiert sein. Jede Instanz des Neurons 1502 kann einen Neuronenausgang 1506 haben, der sich über eine oder mehrere Synapsen 1508 zu einem oder mehreren Neuroneneingängen 1504 auffächern kann. In mindestens einer Ausführungsform können die Neuronenausgänge 1506 der Neuronen 1502 in einer ersten Schicht 1510 mit Neuroneneingängen 1504 der Neuronen 1502 in einer zweiten Schicht 1512 verbunden sein. In mindestens einer Ausführungsform kann die Schicht 1510 als „Feed-Forward-Schicht“ bezeichnet sein. In mindestens einer Ausführungsform kann sich jede Instanz eines Neurons 1502 in einer Instanz der ersten Schicht 1510 zu jeder Instanz eines Neurons 1502 in der zweiten Schicht 1512 auffächern. In mindestens einer Ausführungsform kann die erste Schicht 1510 als „vollständig verbundene Vorwärtsschicht“ bezeichnet sein. In mindestens einer Ausführungsform kann sich jede Instanz des Neurons 1502 in einer Instanz der zweiten Schicht 1512 auf weniger als alle Instanzen des Neurons 1502 in einer dritten Schicht 1514 auffächern. In mindestens einer Ausführungsform kann die zweite Schicht 1512 als „spärlich verknüpfte Vorwärtskopplungsschicht“ bezeichnet sein. In mindestens einer Ausführungsform können sich Neuronen 1502 in der zweiten Schicht 1512 zu Neuronen 1502 in mehreren anderen Schichten auffächern, einschließlich zu Neuronen 1502 in (derselben) zweiten Schicht 1512. In mindestens einer Ausführungsform kann die zweite Schicht 1512 als „rekurrente Schicht“ bezeichnet sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, jede geeignete Kombination von rekurrenten Schichten und Vorwärtsschichten umfassen, einschließlich, ohne darauf beschränkt zu sein, sowohl spärlich verbundene Vorwärtsschichten als auch vollständig verbundene Vorwärtsschichten.
In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, eine rekonfigurierbare Verbindungsarchitektur oder dedizierte fest verdrahtete Verbindungen enthalten, um die Synapse 1508 mit den Neuronen 1502 zu verbinden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, eine Schaltung oder Logik enthalten, die es ermöglicht, Synapsen je nach Bedarf auf der Grundlage der Topologie des neuronalen Netzwerks und des Neuronen-Fan-In/Out verschiedenen Neuronen 1502 zuzuordnen. In mindestens einer Ausführungsform können Synapsen 1508 mit Neuronen 1502 unter Verwendung einer Verbindungsstruktur, wie Network-on-Chip, oder mit dedizierten Verbindungen verbunden sein. In mindestens einer Ausführungsform können die Synapsenverbindungen und ihre Komponenten mithilfe von Schaltkreisen oder Logik implementiert sein.
16A ist ein Blockdiagramm eines Verarbeitungssystems, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das System 1600A einen oder mehrere Prozessoren 1602 und einen oder mehrere Grafikprozessoren 1608 und kann ein Einzelprozessor-Desktop-System, ein Multiprozessor-Workstation-System oder ein Server-System mit einer großen Anzahl von Prozessoren 1602 oder Prozessorkernen 1607 sein. In mindestens einer Ausführungsform ist das System 1600A eine Verarbeitungsplattform, die in einen integrierten System-on-a-Chip-Schaltkreis (SoC) zur Verwendung in mobilen, tragbaren oder eingebetteten Geräten integriert ist.
In mindestens einer Ausführungsform kann das System 1600A eine serverbasierte Spielplattform, eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine Handheld-Spielkonsole oder eine Online-Spielkonsole umfassen oder darin integriert sein. In mindestens einer Ausführungsform ist das System 1600A ein Mobiltelefon, ein Smartphone, ein Tablet-Computergerät oder ein mobiles Internetgerät. In mindestens einer Ausführungsform kann das Verarbeitungssystem 1600A auch ein Wearable-Gerät umfassen, mit diesem gekoppelt oder in dieses integriert sein, wie z.B. ein Wearable-Gerät für eine intelligente Uhr, eine intelligente Brille, ein Augmented-Reality-Gerät oder ein Virtual-Reality-Gerät. In mindestens einer Ausführungsform ist das Verarbeitungssystem 1600A ein Fernseh- oder Set-Top-Box-Gerät mit einem oder mehreren Prozessoren 1602 und einer grafischen Oberfläche, die von einem oder mehreren Grafikprozessoren 1608 erzeugt wird.
In mindestens einer Ausführungsform umfassen ein oder mehrere Prozessoren 1602 jeweils einen oder mehrere Prozessorkerne 1607 zur Verarbeitung von Befehlen, die bei ihrer Ausführung Operationen für System- und Anwendersoftware durchführen. In mindestens einer Ausführungsform ist jeder von einem oder mehreren Prozessorkernen 1607 so konfiguriert, dass er einen bestimmten Befehlssatz 1609 verarbeitet. In mindestens einer Ausführungsform kann der Befehlssatz 1609 Complex Instruction Set Computing (CISC), Reduced Instruction Set Computing (RISC) oder Rechnen über ein Very Long Instruction Word (VLIW) ermöglichen. In mindestens einer Ausführungsform können die Prozessorkerne 1607 jeweils einen anderen Befehlssatz 1609 verarbeiten, der Anweisungen enthalten kann, um die Emulation anderer Befehlssätze zu erleichtern. In mindestens einer Ausführungsform kann der Prozessorkern 1607 auch andere Verarbeitungsgeräte enthalten, z.B. einen digitalen Signalprozessor (DSP).
In mindestens einer Ausführungsform enthält der Prozessor 1602 einen Cache-Speicher 1604. In mindestens einer Ausführungsform kann der Prozessor 1602 einen einzigen internen Cache-Speicher oder mehrere Ebenen von internen Cache-Speichern aufweisen. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 1602 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 1602 auch einen externen Cache (wie beispielsweise einen Level-3 (L3)-Cache oder Last Level Cache (LLC)) (nicht dargestellt), der unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 1607 gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist zusätzlich eine Registerdatei 1606 im Prozessor 1602 enthalten, die verschiedene Arten von Registern zum Speichern unterschiedlicher Datentypen (wie beispielsweise Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister) enthalten kann. In mindestens einer Ausführungsform kann die Registerdatei 1606 Universalregister oder andere Register enthalten.
In mindestens einer Ausführungsform sind ein oder mehrere Prozessor(en) 1602 mit einem oder mehreren Schnittstellenbus(en) 1610 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen dem Prozessor 1602 und anderen Komponenten im System 1600A zu übertragen. In mindestens einer Ausführungsform kann der Schnittstellenbus 1610 ein Prozessorbus sein, wie z.B. eine Version eines Direct Media Interface (DMI)-Busses. In mindestens einer Ausführungsform ist die Schnittstelle 1610 nicht auf einen DMI-Bus beschränkt und kann einen oder mehrere Peripheral Component Interconnect-Busse (wie beispielsweise PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen umfassen. In mindestens einer Ausführungsform umfassen der/die Prozessor(en) 1602 einen integrierten Speicher-Controller 1616 und einen Plattform-Controller-Hub 1630. In mindestens einer Ausführungsform ermöglicht der Speicher-Controller 1616 die Kommunikation zwischen einer Speichervorrichtung und anderen Komponenten des Systems 1600A, während der Plattform-Controller-Hub (PCH) 1630 Verbindungen zu E/A-Geräten über einen lokalen E/A-Bus bereitstellt.
In mindestens einer Ausführungsform kann die Speichervorrichtung 1620 ein dynamischer Direktzugriffsspeicher (DRAM), ein statischer Direktzugriffsspeicher (SRAM), ein Flash-Speicher, ein Phasenwechsel-Speicher oder eine andere Speichervorrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. In mindestens einer Ausführungsform kann die Speichervorrichtung 1620 als Systemspeicher für das System 1600A arbeiten, um Daten 1622 und Anweisungen 1621 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 1602 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform ist die Speichersteuerung 1616 auch mit einem, In mindestens einer Ausführungsform, externen Grafikprozessor 1612 gekoppelt, der mit einem oder mehreren Grafikprozessoren 1608 in den Prozessoren 1602 kommunizieren kann, um Grafik- und Medienoperationen durchzuführen. In mindestens einer Ausführungsform kann eine Anzeigevorrichtung 1611 an den/die Prozessor(en) 1602 angeschlossen sein. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1611 eine oder mehrere interne Anzeigevorrichtungen, wie in einem mobilen elektronischen Gerät oder einem Laptop, oder eine externe Anzeigevorrichtung, die über eine Anzeigeschnittstelle (wie beispielsweise DisplayPort usw.) angeschlossen ist, umfassen. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1611 eine kopfmontierte Anzeige (HMD) umfassen, wie z.B. eine stereoskopische Anzeigevorrichtung zur Verwendung in Virtual-Reality-Anwendungen (VR) oder Augmented-Reality-Anwendungen (AR).
In mindestens einer Ausführungsform ermöglicht der Plattform-Controller-Hub 1630 die Verbindung von Peripheriegeräten mit der Speichervorrichtung 1620 und dem Prozessor 1602 über einen Hochgeschwindigkeits-E/A-Bus. In mindestens einer Ausführungsform gehören zu den E/A-Peripheriegeräten unter anderem ein Audio-Controller 1646, ein Netzwerk-Controller 1634, eine Firmware-Schnittstelle 1628, ein drahtloser Transceiver 1626, Berührungssensoren 1625 und eine Datenspeichervorrichtung 1624 (wie beispielsweise Festplattenlaufwerk, Flash-Speicher usw.). In mindestens einer Ausführungsform kann die Datenspeichervorrichtung 1624 über eine Speicherschnittstelle (wie beispielsweise SATA) oder über einen Peripheriebus, wie z.B. einen Peripheral Component Interconnect Bus (wie beispielsweise PCI, PCI Express), angeschlossen sein. In mindestens einer Ausführungsform können die Berührungssensoren 1625 Touchscreen-Sensoren, Drucksensoren oder Fingerabdrucksensoren umfassen. In mindestens einer Ausführungsform kann der drahtlose Transceiver 1626 ein Wi-Fi-Transceiver, ein Bluetooth-Transceiver oder ein Mobilfunk-Transceiver sein, wie z.B. ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 1628 die Kommunikation mit der System-Firmware und kann z.B. eine einheitliche erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einer Ausführungsform kann der Netzwerk-Controller 1634 eine Netzwerkverbindung mit einem kabelgebundenen Netzwerk ermöglichen. In mindestens einer Ausführungsform koppelt ein Hochleistungs-Netzwerk-Controller (nicht dargestellt) mit dem Schnittstellenbus 1610. In mindestens einer Ausführungsform ist der Audio-Controller 1646 ein Mehrkanal-High-Definition-Audio-Controller. In mindestens einer Ausführungsform enthält das System 1600 einen optionalen Legacy-E/A-Controller 1640 zur Kopplung von Legacy-Geräten (wie beispielsweise Personal System 2 (PS/2)) mit dem System. In mindestens einer Ausführungsform kann der Plattform-Controller-Hub 1630 auch mit einem oder mehreren Universal Serial Bus (USB)-Controllern 1642 verbunden sein, die Eingabegeräte wie Tastatur- und Mauskombinationen 1643, eine Kamera 1644 oder andere USB-Eingabegeräte verbinden.
In mindestens einer Ausführungsform kann eine Instanz des Speicher-Controllers 1616 und des Plattform-Controller-Hubs 1630 in einen diskreten externen Grafikprozessor, wie den externen Grafikprozessor 1612, integriert sein. In mindestens einer Ausführungsform können Plattform-Controller-Hub 1630 und/oder Speicher-Controller 1616 extern zu einem oder mehreren Prozessor(en) 1602 sein. In mindestens einer Ausführungsform kann das System 1600 beispielsweise einen externen Speicher-Controller 1616 und einen Plattform-Controller-Hub 1630 enthalten, der als Speicher-Controller-Hub und Peripherie-Controller-Hub innerhalb eines System-Chipsatzes konfiguriert sein kann, der mit dem/den Prozessor(en) 1602 in Verbindung steht.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Grafikprozessor 1600A integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die im Grafikprozessor 1612 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 1600A konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16B ist ein Blockdiagramm eines Prozessors 1600B mit einem oder mehreren Prozessorkernen 1602A-2402N, einem integrierten Speichercontroller 1614 und einem integrierten Grafikprozessor 1608, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 1600B zusätzliche Kerne bis zu und einschließlich des zusätzlichen Kerns 1602N enthalten, der durch gestrichelte, linierte Kästen dargestellt ist. In mindestens einer Ausführungsform enthält jeder der Prozessorkerne 1602A-2402N eine oder mehrere interne Cache-Einheiten 1604A-2404N. In mindestens einer Ausführungsform hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 1606.
In mindestens einer Ausführungsform stellen die internen Cache-Einheiten 1604A-1604N und die gemeinsam genutzten Cache-Einheiten 1606 eine Cache-Speicherhierarchie innerhalb des Prozessors 1600 dar. In mindestens einer Ausführungsform können die Cache-Speichereinheiten 1604A-1604N mindestens eine Ebene von Befehls- und Daten-Cache innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen von gemeinsam genutztem Mid-Level-Cache, wie z.B. eine Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, umfassen, wobei die höchste Cache-Ebene vor dem externen Speicher als LLC klassifiziert ist. In mindestens einer Ausführungsform hält die Cache-Kohärenzlogik die Kohärenz zwischen verschiedenen Cache-Einheiten 1606 und 1604A-1604N aufrecht.
In mindestens einer Ausführungsform kann der Prozessor 1600B auch einen Satz von einer oder mehreren Bus-Controller-Einheiten 1616 und einen Systemagenten-Kern 1610 enthalten. In mindestens einer Ausführungsform verwalten eine oder mehrere Bus-Controller-Einheiten 1616 einen Satz von Peripherie-Bussen, wie einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einer Ausführungsform bietet der Systemagentenkern 1610 Verwaltungsfunktionen für verschiedene Prozessorkomponenten. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 einen oder mehrere integrierte Speicher-Controller 1614, um den Zugriff auf verschiedene externe Speichervorrichtungen (nicht gezeigt) zu verwalten.
In mindestens einer Ausführungsform umfassen einer oder mehrere der Prozessorkerne 1602A-1602N Unterstützung für gleichzeitiges Multithreading. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 Komponenten zum Koordinieren und Betreiben der Kerne 1602A-1602N während der Multithreading-Verarbeitung. In mindestens einer Ausführungsform kann der Systemagentenkern 1610 zusätzlich eine Leistungssteuerungseinheit (PCU) enthalten, die Logik und Komponenten zur Regelung eines oder mehrerer Leistungszustände der Prozessorkerne 1602A-1602N und des Grafikprozessors 1608 umfasst.
In mindestens einer Ausführungsform enthält der Prozessor 1600B zusätzlich den Grafikprozessor 1608 zur Ausführung von Grafikverarbeitungsoperationen. In mindestens einer Ausführungsform koppelt der Grafikprozessor 1608 mit gemeinsam genutzten Cache-Einheiten 1606 und dem Systemagenten-Kern 1610, einschließlich eines oder mehrerer integrierter Speicher-Controller 1614. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 auch einen Anzeige-Controller 1611, um die Ausgabe des Grafikprozessors an ein oder mehrere gekoppelte Anzeigen zu steuern. In mindestens einer Ausführungsform kann der Anzeige-Controller 1611 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Grafikprozessor 1608 gekoppelt ist, oder kann in den Grafikprozessor 1608 integriert sein.
In mindestens einer Ausführungsform wird eine ringbasierte Verbindungseinheit 1612 verwendet, um interne Komponenten des Prozessors 1600B zu verbinden. In mindestens einer Ausführungsform kann auch eine alternative Verbindungseinheit verwendet werden, wie z.B. eine Punkt-zu-Punkt-Verbindung, eine geschaltete Verbindung oder andere Techniken. In mindestens einer Ausführungsform ist der Grafikprozessor 1608 über eine E/A-Verbindung 1613 mit der Ringverbindung 1612 gekoppelt.
In mindestens einer Ausführungsform stellt die E/A-Verbindung 1613 mindestens eine von mehreren Arten von E/A-Verbindungen dar, einschließlich einer On-Package-E/A-Verbindung, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 1618, z.B. einem eDRAM-Modul, ermöglicht. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 1602A-1602N und der Grafikprozessor 1608 eingebettete Speichermodule 1618 als gemeinsamen Last Level Cache.
In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N in Bezug auf die Befehlssatzarchitektur (ISA) heterogen, wobei einer oder mehrere der Prozessorkerne 1602A-1602N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 1602A-1602N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen anderen Befehlssatz ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N in Bezug auf die Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einer relativ höheren Leistungsaufnahme mit einem oder mehreren Kernen mit einer niedrigeren Leistungsaufnahme gekoppelt sind. In mindestens einer Ausführungsform kann der Prozessor 1600B auf einem oder mehreren Chips oder als integrierte SoC-Schaltung implementiert sein.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Prozessor 1600B integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der ALUs verwenden, die im Grafikprozessor 1612, in den Grafikkernen 1602A-1602N oder in anderen Komponenten in 16 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert sein, die ALUs des Grafikprozessors 1600B konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16C ist ein Blockdiagramm von Hardwarelogik eines Grafikprozessorkerns 1600C, gemäß mindestens einer hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessorkern 1600C in einem Grafikkern-Array enthalten. In mindestens einer Ausführungsform kann der Grafikprozessorkern 1600C, der manchmal auch als Kern- bzw. Core Slice bezeichnet wird, ein oder mehrere Grafikkerne innerhalb eines modularen Grafikprozessors sein. In mindestens einer Ausführungsform ist der Grafikprozessorkern 1600C beispielhaft für ein Grafikkern-Slice, und kann ein Grafikprozessor, wie hierin beschrieben, mehrere Grafikkern-Slices enthalten, die auf den angestrebten Energie- und Leistungsumfängen basieren. In mindestens einer Ausführungsform kann jeder Grafikkern 1600C einen festen Funktionsblock 1630 enthalten, der mit mehreren Sub-Kernen 1601A-1601F gekoppelt ist, die auch als Sub-Slices bezeichnet werden und modulare Blöcke von Mehrzweck- und fester Funktionslogik enthalten.
In mindestens einer Ausführungsform umfasst der Festfunktionsblock 1630 eine Geometrie/Festfunktions-Pipeline 1636, die von allen Sub-Kernen im Grafikprozessor 1600C gemeinsam genutzt werden kann, z.B. in Grafikprozessor-Implementierungen mit geringerer Leistung und/oder geringerem Energieverbrauch. In mindestens einer Ausführungsform umfasst die Geometrie-/Festfunktionspipeline 1636 eine 3D-Festfunktionspipeline, eine Video-Frontend-Einheit, einen Thread-Spawner und Thread-Versender sowie einen Unified-Return-Puffer-Verwalter, der Unified-Return-Puffer verwaltet.
In mindestens einer festen Ausführungsform umfasst der Funktionsblock 1630 auch eine Grafik-SoC-Schnittstelle 1637, einen Grafik-Mikrocontroller 1638 und eine Medien-Pipeline 1639. In mindestens einer festen Ausführungsform stellt die Grafik-SoC-Schnittstelle 1637 eine Schnittstelle zwischen dem Grafikkern 1600C und anderen Prozessorkernen innerhalb einer integrierten System-on-Chip-Schaltung bereit. In mindestens einer Ausführungsform ist der Grafik-Mikrocontroller 1638 ein programmierbarer Subprozessor, der so konfiguriert sein kann, dass er verschiedene Funktionen des Grafikprozessors 1600C verwaltet, einschließlich Thread-Versendung, Planung und Präemption. In mindestens einer Ausführungsform enthält die Medien-Pipeline 1639 eine Logik zur Erleichterung der Dekodierung, Kodierung, Vorverarbeitung und/oder Nachbearbeitung von Multimediadaten, einschließlich Bild- und Videodaten. In mindestens einer Ausführungsform implementiert die Medien-Pipeline 1639 Medienoperationen über Anforderungen an die Rechen- oder Abtastlogik innerhalb der Sub-Kerne 1601-1601F.
In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 1637 dem Grafikkern 1600C die Kommunikation mit Mehrzweck-Anwendungsprozessor-kernen (wie beispielsweise CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen wie einem gemeinsam genutzten Cache-Speicher der letzten Ebene, System-RAM und/oder eingebettetem On-Chip- oder On-Package-DRAM. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 1637 auch die Kommunikation mit Geräten mit fester Funktion innerhalb eines SoCs ermöglichen, wie z.B. Kamera-Bildgebungspipelines, und sie ermöglicht die Verwendung und/oder implementiert globale Speicheratomare, die von Grafikkern 1600C und CPUs innerhalb eines SoCs gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 1637 auch Energieverwaltungssteuerungen für den Grafikkern 1600C implementieren und eine Schnittstelle zwischen einer Taktdomäne des Grafikkerns 1600C und anderen Taktdomänen innerhalb eines SoCs ermöglichen. In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 1637 den Empfang von Befehlspuffern von einem Befehlsstreamer und einem globalen Thread-Versender, die so konfiguriert sind, dass sie Befehle und Anweisungen für jeden von einem oder mehreren Grafikkernen innerhalb eines Grafikprozessors bereitstellen. In mindestens einer Ausführungsform können Befehle und Anweisungen an die Medienpipeline 1639 gesendet werden, wenn Medienoperationen durchzuführen sind, oder an eine Geometrie- und Festfunktionspipeline (wie beispielsweise Geometrie- und Festfunktionspipeline 1636, Geometrie- und Festfunktionspipeline 1614), wenn Grafikverarbeitungsoperationen durchzuführen sind.
In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 so konfiguriert sein, dass er verschiedene Planungs- und Verwaltungsaufgaben für den Grafikkern 1600C durchführt. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 die Planung von Grafik- und/oder Rechenlasten auf verschiedenen parallelen Grafik-Engines in den Arrays 1602A-1602F, 1604A-1604F der Ausführungseinheiten (EU) in den Sub-Kernen 1601A-1601F durchführen. In mindestens einer Ausführungsform kann Host-Software, die auf einem CPU-Kern eines SoCs mit Grafikkern 1600C ausgeführt wird, Arbeitslasten an eine von mehreren Grafikprozessor-Doorbells übermitteln, die einen Planungsvorgang auf einer geeigneten Grafik-Engine aufruft. In mindestens einer Ausführungsform umfassen die Planungsvorgänge ein Bestimmen, welche Arbeitslast als Nächstes auszuführen ist, das Übermitteln einer Arbeitslast an einen Befehlsstreamer, das Vorziehen vorhandener Arbeitslasten, die auf einer Engine laufen, das Überwachen des Fortschritts einer Arbeitslast und das Benachrichtigen der Host-Software, wenn eine Arbeitslast abgeschlossen ist. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 auch Stromsparzustände oder Leerlaufzustände für den Grafikkern 1600C erleichtern, indem er dem Grafikkern 1600C die Möglichkeit bietet, unabhängig von einem Betriebssystem und/oder einer Grafiktreibersoftware auf einem System Register innerhalb des Grafikkerns 1600 über Stromsparzustandsübergänge zu speichern und wiederherzustellen.
In mindestens einer Ausführungsform kann der Grafikkern 1600C mehr oder weniger als die dargestellten Sub-Kerne 1601A-1601F aufweisen, bis hin zu N modularen Sub-Kernen. Für jeden Satz von N Sub-Kernen kann der Grafikkern 1600C in mindestens einer Ausführungsform auch eine gemeinsam genutzte Funktionslogik 1610, einen gemeinsam genutzten und/oder Cache-Speicher 1612, eine Geometrie-/ Festfunktionspipeline 1614 sowie eine zusätzliche Festfunktionslogik 1616 zur Beschleunigung verschiedener Grafik- und Rechenverarbeitungsvorgänge umfassen. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 1610 Logikeinheiten (wie beispielsweise Sampler-, Mathematik- und/oder Inter-Thread-Kommunikationslogik) umfassen, die von allen N Sub-Kernen innerhalb des Grafikkerns 1600C gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann der feste, gemeinsam genutzte und/oder Cache-Speicher 1612 ein Cache der letzten Ebene für die N Sub-Kerne 1601A-1601F innerhalb des Grafikkerns 1600C sein und kann auch als gemeinsam genutzter Speicher dienen, auf den mehrere Sub-Kernen zugreifen können. In mindestens einer Ausführungsform kann die Geometrie-/Festfunktionspipeline 1614 anstelle der Geometrie-/Festfunktionspipeline 1636 innerhalb des Festfunktionsblocks 1630 enthalten sein und kann gleiche oder ähnliche Logikeinheiten umfassen.
In mindestens einer Ausführungsform enthält der Grafikkern 1600C zusätzliche Festfunktionslogik 1616, die verschiedene Festfunktions-Beschleunigungslogik zur Verwendung durch den Grafikkern 1600C enthalten kann. In mindestens einer Ausführungsform umfasst die zusätzliche Festfunktionslogik 1616 eine zusätzliche Geometrie-Pipeline für die Verwendung in positionsabhängigem Shading. Bei positionsabhängigem Shading gibt es mindestens zwei Geometrie-Pipelines, nämlich eine vollständige Geometrie-Pipeline innerhalb der Geometrie/Festfunktions-Pipeline 1616, 1636, und eine Cull-Pipeline, bei der es sich um eine zusätzliche Geometrie-Pipeline handelt, die in der zusätzlichen Festfunktionslogik 1616 enthalten sein kann. In mindestens einer Ausführungsform ist die Cull-Pipeline eine abgespeckte Version der vollständigen Geometrie-Pipeline. In mindestens einer Ausführungsform können eine vollständige Pipeline und eine Cull-Pipeline unterschiedliche Instanzen einer Anwendung ausführen, wobei jede Instanz einen separaten Kontext hat. In mindestens einer Ausführungsform kann das positionsabhängige Shading lange Cull-Läufe von verworfenen Dreiecken ausblenden, wodurch das Shading in einigen Fällen früher abgeschlossen werden kann. In mindestens einer Ausführungsform kann die Cull-Pipeline-Logik innerhalb der zusätzlichen festen Funktionslogik 1616 Positions-Shader parallel zu einer Hauptanwendung ausführen und generiert kritische Ergebnisse schneller als eine vollständige Pipeline, da die Cull-Pipeline das Positionsattribut der Vertices abruft und schattiert, ohne eine Rasterung und ein Rendering der Pixel in einen Frame-Puffer durchzuführen. In mindestens einer Ausführungsform kann die Cull-Pipeline die generierten kritischen Ergebnisse verwenden, um Sichtbarkeitsinformationen für alle Dreiecke zu berechnen, ohne Rücksicht darauf, ob diese Dreiecke gecullt sind. In mindestens einer Ausführungsform kann die Cull-Pipeline (die in diesem Fall als Replay-Pipeline bezeichnet werden kann) die Sichtbarkeitsinformationen verwenden, um gecullte Dreiecke zu überspringen und nur sichtbare Dreiecke zu schattieren, die schließlich an eine Rasterisierungsphase übergeben werden.
In mindestens einer Ausführungsform kann die zusätzliche Festfunktionslogik 1616 auch eine Logik zur Beschleunigung des maschinellen Lernens enthalten, z.B. eine Festfunktionslogik zur Matrixmultiplikation, für Implementierungen, die Optimierungen für das Training oder die Inferenzierung des maschinellen Lernens beinhalten.
In mindestens einer Ausführungsform enthält jeder Grafik-Sub-Kern 1601A-1601F einen Satz von Ausführungsressourcen, die verwendet werden können, um Grafik-, Medien- und Rechenoperationen als Reaktion auf Anforderungen von Grafik-Pipeline-, Medien-Pipeline- oder Shader-Programmen durchzuführen. In mindestens einer Ausführungsform umfassen die Grafik-Subkerne 1601A-1601F mehrere EU-Arrays 1602A-1602F, 1604A-1604F, Thread-Versende- und Inter-Thread-Kommunikationslogik (TD/IC) 1603A-1603F, einen 3D-Sampler bzw. Abtaster (z.B. Textur) 1605A-1605F, einen Media-Sampler 1606A-1606F, einen Shader-Prozessor 1607A-1607F und einen gemeinsamen lokalen Speicher (SLM) 1608A-1608F. Die EU-Arrays 1602A-1602F, 1604A-1604F enthalten jeweils mehrere Ausführungseinheiten, bei denen es sich um Universal-Grafikverarbeitungseinheiten handelt, die in der Lage sind, Gleitkomma- und Ganzzahl-/Festkomma-Logikoperationen im Dienste einer Grafik-, Medien- oder Rechenoperation durchzuführen, einschließlich Grafik-, Medien- oder Rechenshaderprogrammen. In mindestens einer Ausführungsform führt die TD/IC-Logik 1603A-1603F lokale Thread-Versende- und Thread-Steuerungsoperationen für Ausführungseinheiten innerhalb eines Sub-Kerns durch und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Sub-Kerns ausgeführt werden. In mindestens einer Ausführungsform kann der 3D-Sampler 1605A-1605F Textur- oder andere 3D-Grafikdaten in den Speicher einlesen. In mindestens einer Ausführungsform kann der 3D-Sampler Texturdaten auf der Grundlage eines konfigurierten Abtaststatus und eines Texturformats, das mit einer bestimmten Textur verbunden ist, unterschiedlich lesen. In mindestens einer Ausführungsform kann der Media-Sampler 1606A-1606F ähnliche Lesevorgänge auf der Grundlage eines Typs und Formats durchführen, die mit den Mediendaten verbunden sind. In mindestens einer Ausführungsform kann jeder Grafik-Subkern 1601A-1601F abwechselnd einen vereinheitlichten 3D- und Medien-Sampler enthalten. In mindestens einer Ausführungsform können Threads, die auf Ausführungseinheiten in jedem der Sub-Kerne 1601A-1601F ausgeführt werden, den gemeinsamen lokalen Speicher 1608A-1608F in jedem Sub-Kern nutzen, damit Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, einen gemeinsamen Pool von On-Chip-Speicher nutzen können.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6BA und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Grafikprozessor 1610 integriert sein. Beispielsweise können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der ALUs verwenden, die im Grafikprozessor 1012, im Grafik-Mikrocontroller 1638, in der Geometrie- und Festfunktionspipeline 1614 und 1636 oder in einer anderen Logik in 16B enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 1600C konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16D-16E veranschaulichen die Thread-Ausführungslogik 1600D einschließlich eines Arrays von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform. 16D veranschaulicht mindestens eine Ausführungsform, in der die Thread-Ausführungslogik 1600D verwendet wird. 16E veranschaulicht beispielhafte interne Details einer Ausführungseinheit, gemäß mindestens einer Ausführungsform.
Wie in 16D dargestellt, umfasst die Thread-Ausführungslogik 1600D in mindestens einer Ausführungsform einen Shader-Prozessor 1602, einen Thread-Versender 1604, einen Befehls-Cache 1606, ein skalierbares Ausführungseinheiten-Array mit einer Vielzahl von Ausführungseinheiten 1608A-1608N, einen oder mehrere Abtaster bzw. Sampler 1610, einen Daten-Cache 1612 und einen Datenport 1614. In mindestens einer Ausführungsform kann ein skalierbares Ausführungseinheiten-Array dynamisch skalieren, indem es eine oder mehrere Ausführungseinheiten (wie beispielsweise eine der Ausführungseinheiten 1608A, 1608B, 1608C, 1608D bis 1608N-1 und 1608N) basierend auf den Rechenanforderungen einer Arbeitslast aktiviert oder deaktiviert. In mindestens einer Ausführungsform sind die skalierbaren Ausführungseinheiten über eine Verbindungsstruktur miteinander verbunden, die mit jeder Ausführungseinheit verbunden ist. In mindestens einer Ausführungsform umfasst die Thread-Ausführungslogik 1600D eine oder mehrere Verbindungen zum Speicher, z.B. zum Systemspeicher oder zum Cache-Speicher, über einen oder mehrere der folgenden Elemente: Befehlscache 1606, Datenport 1614, Sampler 1610 und Ausführungseinheiten 1608A-1608N. In mindestens einer Ausführungsform ist jede Ausführungseinheit (wie beispielsweise 1608A) eine eigenständige programmierbare Mehrzweck-Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und dabei mehrere Datenelemente parallel für jeden Thread zu verarbeiten. In mindestens einer Ausführungsform ist die Anordnung der Ausführungseinheiten 1608A-1608N skalierbar, um eine beliebige Anzahl einzelner Ausführungseinheiten zu umfassen.
In mindestens einer Ausführungsform werden die Ausführungseinheiten 1608A-1608N hauptsächlich zur Ausführung von Shader-Programmen verwendet. In mindestens einer Ausführungsform kann der Shader-Prozessor 1602 verschiedene Shader-Programme verarbeiten und Ausführungs-Threads, die den Shader-Programmen zugeordnet sind, über einen Thread-Versender 1604 verteilen. In mindestens einer Ausführungsform enthält der Thread-Versender 1604 eine Logik zur Vermittlung von Thread-Initiierungsanforderungen von Grafik- und Medienpipelines und zur Instanziierung angeforderter Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 1608A-1608N. In mindestens einer Ausführungsform kann eine Geometrie-Pipeline beispielsweise Vertex-, Tessellierungs- oder Geometrie-Shader zur Verarbeitung an die Thread-Ausführungslogik weiterleiten. In mindestens einer Ausführungsform kann der Thread-Versender 1604 auch Laufzeit-Thread-Spawning-Anforderungen von ausführenden Shader-Programmen verarbeiten.
In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 1608A-1608N einen Befehlssatz, der native Unterstützung für viele Standard-3D-Grafik-Shader-Befehle enthält, sodass Shader-Programme aus Grafikbibliotheken (wie beispielsweise Direct 3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten die Vertex- und Geometrieverarbeitung (wie beispielsweise Vertex-Programme, Geometrie-Programme, Vertex-Shader), die Pixelverarbeitung (wie beispielsweise Pixel-Shader, Fragment-Shader) und die Universalverarbeitung (wie beispielsweise Compute- und Media-Shader). In mindestens einer Ausführungsform ist jede der Ausführungseinheiten 1608A-1608N, die eine oder mehrere arithmetische Logikeinheiten (ALUs) enthalten, zur SIMD-Ausführung (Single Instruction Multiple Data) fähig, und ermöglicht der Multi-Thread-Betrieb eine effiziente Ausführungsumgebung trotz höherer Latenz bei Speicherzugriffen. In mindestens einer Ausführungsform hat jeder Hardware-Thread innerhalb jeder Ausführungseinheit eine dedizierte Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Zustand. In mindestens einer Ausführungsform erfolgt die Ausführung mit mehreren Pipelines pro Takt, die Integer-, Gleitkommaoperationen mit einfacher und doppelter Genauigkeit, SIMD-Verzweigungsfähigkeit, logische Operationen, transzendentale Operationen und andere verschiedene Operationen ausführen können. In mindestens einer Ausführungsform bewirkt die Abhängigkeitslogik in den Ausführungseinheiten 1608A-1608N, dass ein wartender Thread in den Ruhezustand versetzt wird, bis die angeforderten Daten zurückgegeben wurden, während er auf Daten aus dem Speicher oder eine der gemeinsam genutzten Funktionen wartet. In mindestens einer Ausführungsform können, während ein wartender Thread schläft, Hardware-Ressourcen für die Verarbeitung anderer Threads verwendet werden. In mindestens einer Ausführungsform kann eine Ausführungseinheit während einer Verzögerung, die mit einer Vertex-Shader-Operation verbunden ist, Operationen für einen Pixel-Shader, Fragment-Shader oder eine andere Art von Shader-Programm, einschließlich eines anderen Vertex-Shaders, durchführen.
In mindestens einer Ausführungsform arbeitet jede Ausführungseinheit in den Ausführungseinheiten 1608A-1608N auf Arrays von Datenelementen. In mindestens einer Ausführungsform ist eine Anzahl von Datenelementen die „Ausführungsgröße“ oder die Anzahl der Kanäle für einen Befehl. In mindestens einer Ausführungsform ist ein Ausführungskanal eine logische Ausführungseinheit für den Datenelementzugriff, die Maskierung und die Flusssteuerung innerhalb von Anweisungen. In mindestens einer Ausführungsform kann die Anzahl der Kanäle unabhängig von der Anzahl der physischen Arithmetic Logic Units (ALUs) oder Floating Point Units (FPUs) für einen bestimmten Grafikprozessor sein. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 1608A-1608N Ganzzahl- und Gleitkomma-Datentypen.
In mindestens einer Ausführungsform enthält ein Befehlssatz der Ausführungseinheit SIMD-Befehle. In mindestens einer Ausführungsform können verschiedene Datenelemente als gepackter Datentyp in einem Register gespeichert werden und wird eine Ausführungseinheit verschiedene Elemente basierend auf der Datengröße der Elemente verarbeiten. In mindestens einer Ausführungsform werden bei der Bearbeitung eines 256 Bit breiten Vektors 256 Bits eines Vektors in einem Register gespeichert und bearbeitet eine Ausführungseinheit einen Vektor als vier separate gepackte 64-Bit-Datenelemente (Datenelemente der Größe Quad-Word (QW)), acht separate gepackte 32-Bit-Datenelemente (Datenelemente der Größe Double Word (DW)), sechzehn separate gepackte 16-Bit-Datenelemente (Datenelemente der Größe Word (W)) oder zweiunddreißig separate 8-Bit-Datenelemente (Datenelemente der Größe Byte (B)). In mindestens einer Ausführungsform sind jedoch auch andere Vektorbreiten und Registergrößen möglich.
In mindestens einer Ausführungsform können eine oder mehrere Ausführungseinheiten zu einer fusionierten Ausführungseinheit 1609A-1609N zusammengefasst sein, die eine gemeinsame Thread-Steuerungslogik (1607A-1607N) für die fusionierten EUs aufweist. In mindestens einer Ausführungsform können mehrere EUs zu einer EU-Gruppe fusioniert sein. In mindestens einer Ausführungsform kann jede EU in einer fusionierten EU-Gruppe so konfiguriert sein, dass sie einen separaten SIMD-Hardware-Thread ausführt. Die Anzahl der EUs in einer fusionierten EU-Gruppe kann je nach Ausführungsform variieren. In mindestens einer Ausführungsform können verschiedene SIMD-Breiten pro EU ausgeführt werden, einschließlich, aber nicht beschränkt auf, SIMD8, SIMD16 und SIMD32. In mindestens einer Ausführungsform umfasst jede fusionierte Grafikausführungseinheit 1609A-1609N mindestens zwei Ausführungseinheiten. In mindestens einer Ausführungsform enthält die fusionierte Ausführungseinheit 1609A eine erste EU 1608A, eine zweite EU 1608B und eine Thread-Steuerlogik 1607A, die der ersten EU 1608A und der zweiten EU 1608B gemeinsam ist. In mindestens einer Ausführungsform steuert die Thread-Steuerlogik 1607A Threads, die auf der fusionierten Grafikausführungseinheit 1609A ausgeführt werden, so dass jede EU innerhalb der fusionierten Ausführungseinheiten 1609A-1609N unter Verwendung eines gemeinsamen Befehlszeigerregisters ausgeführt werden kann.
In mindestens einer Ausführungsform sind ein oder mehrere interne Befehlscaches (wie beispielsweise 1606) in der Thread-Ausführungslogik 1600D enthalten, um Thread-Befehle für Ausführungseinheiten zu cachen. In mindestens einer Ausführungsform sind ein oder mehrere Daten-Caches (wie beispielsweise 1612) enthalten, um Thread-Daten während der Thread-Ausführung zu cachen. In mindestens einer Ausführungsform ist ein Sampler 1610 enthalten, um Textursampling für 3D-Operationen und Mediensampling für Medienoperationen bereitzustellen. In mindestens einer Ausführungsform umfasst der Sampler 1610 eine spezielle Textur- oder Mediensampling-Funktionalität, um Textur- oder Mediendaten während eines Sampling-Prozesses zu verarbeiten, bevor die gesampelten Daten an eine Ausführungseinheit geliefert werden.
In mindestens einer Ausführungsform senden Grafik- und Medienpipelines während der Ausführung Thread-Initiierungsanforderungen an die Thread-Ausführungslogik 1600D über die Thread-Spawning- und Versende-Logik. In mindestens einer Ausführungsform wird, sobald eine Gruppe geometrischer Objekte verarbeitet und in Pixeldaten gerastert wurde, die Pixelprozessorlogik (wie beispielsweise Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 1602 aufgerufen, um weitere Ausgabeinformationen zu berechnen und zu veranlassen, dass die Ergebnisse in Ausgabeflächen (wie beispielsweise Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) geschrieben werden. In mindestens einer Ausführungsform berechnet ein Pixel-Shader oder Fragment-Shader die Werte verschiedener Vertexattribute, die über ein gerastertes Objekt zu interpolieren sind. In mindestens einer Ausführungsform führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 1602 dann ein über die Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. In mindestens einer Ausführungsform verteilt der Shader-Prozessor 1602 zur Ausführung eines Shader-Programms Threads über den Thread-Versender 1604 an eine Ausführungseinheit (wie beispielsweise 1608A). In mindestens einer Ausführungsform verwendet der Shader-Prozessor 1602 die Texturabtastlogik im Abtaster 1610, um auf Texturdaten in den im Speicher gespeicherten Texturkarten zuzugreifen. In mindestens einer Ausführungsform werden durch arithmetische Operationen an Texturdaten und Eingangsgeometriedaten Pixelfarbdaten für jedes geometrische Fragment berechnet oder ein oder mehrere Pixel von der weiteren Verarbeitung ausgeschlossen.
In mindestens einer Ausführungsform stellt ein Datenport 1614 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 1600D bereit, um verarbeitete Daten zur weiteren Verarbeitung auf einer Grafikprozessor-Ausgabepipeline in den Speicher auszugeben. In mindestens einer Ausführungsform umfasst der Datenport 1614 einen oder mehrere Cache-Speicher (wie beispielsweise den Daten-Cache 1612) oder ist mit diesen gekoppelt, um Daten für den Speicherzugriff über einen Datenport zu cachen.
Wie in 16E dargestellt, kann eine Grafikausführungseinheit 1608 in mindestens einer Ausführungsform eine Anweisungsabrufeinheit 1637, ein allgemeines Registerdateiarray (GRF) 1624, ein architektonisches Registerdateiarray (ARF) 1626, einen Thread-Vermittler 1622, eine Sendeeinheit 1630, eine Verzweigungseinheit 1632, einen Satz SIMD-Gleitkommaeinheiten (FPUs) 1634 und in mindestens einer Ausführungsform einen Satz dedizierter Ganzzahl-SIMD-ALUs 1635 enthalten. In mindestens einer Ausführungsform enthalten GRF 1624 und ARF 1626 einen Satz allgemeiner Registerdateien und Architekturregisterdateien, die mit jedem gleichzeitigen Hardware-Thread verbunden sind, der in der Grafikausführungseinheit 1608 aktiv sein kann. In mindestens einer Ausführungsform wird der Architekturzustand pro Thread in der ARF 1626 verwaltet, während die während der Thread-Ausführung verwendeten Daten in der GRF 1624 gespeichert werden. In mindestens einer Ausführungsform kann der Ausführungsstatus jedes Threads, einschließlich der Befehlszeiger für jeden Thread, in Thread-spezifischen Registern im ARF 1626 gehalten werden.
In mindestens einer Ausführungsform hat die Grafikausführungseinheit 1608 eine Architektur, die eine Kombination aus Simultaneous Multi-Threading (SMT) und feinkörnigem Interleaved Multi-Threading (IMT) ist. In mindestens einer Ausführungsform hat die Architektur eine modulare Konfiguration, die zur Entwurfszeit auf der Grundlage einer Sollanzahl gleichzeitiger Threads und der Anzahl von Registern pro Ausführungseinheit fein abgestimmt werden kann, wobei die Ressourcen der Ausführungseinheit auf die Logik aufgeteilt werden, die zur Ausführung mehrerer gleichzeitiger Threads verwendet wird.
In mindestens einer Ausführungsform kann die Grafikausführungseinheit 1608 mehrere Befehle gemeinsam ausgeben, die jeweils unterschiedliche Befehle sein können. In mindestens einer Ausführungsform kann der Thread-Vermittler 1622 des Threads der Grafikausführungseinheit 1608 Anweisungen an eine der Sendeeinheiten 1630, Verzweigungseinheiten 1642 oder SIMD-FPU(s) 1634 zur Ausführung weiterleiten. In mindestens einer Ausführungsform kann jeder Ausführungs-Thread auf 128 Universalregister innerhalb des GRF 1624 zugreifen, wobei jedes Register 32 Byte speichern kann, die als SIMD-8-Element-Vektor von 32-Bit-Datenelementen zugänglich sind. In mindestens einer Ausführungsform hat jeder Ausführungseinheitsthread Zugriff auf 4 KByte innerhalb des GRF 1624, obwohl Ausführungsformen nicht so begrenzt sind und in anderen Ausführungsformen mehr oder weniger Registerressourcen bereitgestellt werden können. In mindestens einer Ausführungsform können bis zu sieben Threads gleichzeitig ausgeführt werden, wobei die Anzahl der Threads pro Ausführungseinheit je nach Ausführungsform auch variieren kann. In mindestens einer Ausführungsform, in der sieben Threads auf 4 KByte zugreifen können, kann der GRF 1624 insgesamt 15 KByte speichern. In mindestens einer Ausführungsform können flexible Adressierungsmodi erlauben, dass Register gemeinsam adressiert werden, um effektiv breitere Register zu bilden oder um geschichtete [engl.: strided] ]rechteckige Blockdatenstrukturen darzustellen.
In mindestens einer Ausführungsform werden Speicheroperationen, Abtaster- bzw. Sampler-Operationen und andere Systemkommunikationen mit längerer Latenz über „Sende“-Befehle abgewickelt, die von der Message-Passing-Sendeeinheit 1630 ausgeführt werden. In mindestens einer Ausführungsform werden Verzweigungsbefehle an eine dedizierte Verzweigungseinheit 1632 weitergeleitet, um SIMD-Divergenz und eventuelle Konvergenz zu erleichtern.
In mindestens einer Ausführungsform enthält die Grafikausführungseinheit 1608 eine oder mehrere SIMD-Gleitkommaeinheiten (FPU(s)) 1634 zur Durchführung von Gleitkommaoperationen. In mindestens einer Ausführungsform unterstützen die FPU(s) 1634 auch Ganzzahlberechnungen. In mindestens einer Ausführungsform kann (können) die FPU(s) 1634 bis zu M Anzahl von 32-Bit-Gleitkomma- (oder Ganzzahl-) Operationen SIMD ausführen, oder bis zu 2M 16-Bit-Ganzzahl- oder 16-Bit-GleitkommaOperationen SIMD ausführen. In mindestens einer Ausführungsform stellt mindestens eine der FPU(s) erweiterte mathematische Fähigkeiten bereit, um transzendentale mathematische Funktionen mit hohem Durchsatz und 64-Bit-Gleitkommaoperationen mit doppelter Genauigkeit zu unterstützen. In mindestens einer Ausführungsform ist auch ein Satz von 8-Bit-Ganzzahl-SIMD-ALUs 1635 vorhanden, die speziell für die Durchführung von Operationen im Zusammenhang mit maschinellen Lernberechnungen optimiert sein können.
In mindestens einer Ausführungsform können Arrays aus mehreren Instanzen der Grafikausführungseinheit 1608 in einer Gruppierung von Grafiksubkernen (wie beispielsweise einem Sub-Slice) instanziiert werden. In mindestens einer Ausführungsform kann die Ausführungseinheit 1608 Anweisungen über eine Vielzahl von Ausführungskanälen ausführen. In mindestens einer Ausführungsform wird jeder Thread, der auf der Grafikausführungseinheit 1608 ausgeführt wird, auf einem anderen Kanal ausgeführt.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit den 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in die Ausführungslogik 1600D integriert sein. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs der Ausführungslogik 1600D konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
17A zeigt eine Parallelverarbeitungseinheit („PPU“) 1700A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die PPU 1700A mit maschinenlesbarem Code konfiguriert, der dann, wenn er von der PPU 1700A ausgeführt wird, die PPU 1700A veranlasst, einige oder alle der in dieser Erfindung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist die PPU 1700A ein Multi-Thread-Prozessor, der auf einem oder mehreren integrierten Schaltkreisen implementiert ist und der Multithreading als eine Technik zum Verbergen von Latenzzeiten verwendet, die dafür ausgelegt ist, computerlesbare Befehle (auch als maschinenlesbare Befehle oder einfach Befehle bezeichnet) auf mehreren Threads parallel zu verarbeiten. In mindestens einer Ausführungsform bezieht sich ein Thread auf einen Ausführungsthread und ist eine Instanziierung eines Satzes von Anweisungen, die zur Ausführung durch die PPU 1700A konfiguriert sind. In mindestens einer Ausführungsform ist die PPU 1700A eine Grafikverarbeitungseinheit („GPU“), die so konfiguriert ist, dass sie eine Grafik-Rendering-Pipeline zur Verarbeitung dreidimensionaler („3D“) Grafikdaten implementiert, um zweidimensionale („2D“) Bilddaten für die Anzeige auf einer Anzeigevorrichtung, wie z.B. einer Flüssigkristallanzeigevorrichtung („LCD“), zu erzeugen. In mindestens einer Ausführungsform wird die PPU 1700A verwendet, um Berechnungen wie lineare Algebra-Operationen und Machine-Learning-Operationen durchzuführen. 17A zeigt ein Beispiel für einen Parallelprozessor nur zur Veranschaulichung, das als nicht beschränktes Beispiel für Prozessorarchitekturen zu verstehen ist, die im Rahmen dieser Erfindung in Betracht gezogen werden, und dahingehend, dass jeder geeignete Prozessor zur Ergänzung und/oder zum Ersatz desselben verwendet werden kann.
In mindestens einer Ausführungsform sind eine oder mehrere PPUs 1700A so konfiguriert, dass sie High Performance Computing („HPC“), Rechenzentren und Anwendungen maschinellen Lernens beschleunigen. In mindestens einer Ausführungsform ist die PPU 1700A so konfiguriert, dass sie Deep-Learning-Systeme und -Anwendungen beschleunigt, einschließlich der folgenden, nicht beschränkenden Beispiele: autonome Fahrzeugplattformen, Deep Learning, hochpräzise Sprach-, Bild- und Texterkennungssysteme, intelligente Videoanalyse, molekulare Simulationen, Arzneimittelentdeckung, Krankheitsdiagnose, Wettervorhersage, Big-Data-Analyse, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotik, Fabrikautomatisierung, Echtzeit-Sprachübersetzung, Online-Suchoptimierung und personalisierte Benutzerempfehlungen und mehr.
In mindestens einer Ausführungsform umfasst die PPU 1700A, ohne darauf beschränkt zu sein, eine Eingabe/Ausgabe-Einheit 1706, eine Frontend-Einheit 1710, eine Planer-Einheit 1712, eine Arbeitsverteilungseinheit 1714, einen Hub 1716, eine Querschiene bzw. Crossbar („Xbar“) 1720, einen oder mehrere Universalverarbeitungscluster („GPCs“) 1718 und eine oder mehrere Partitionseinheiten („Speicherpartitionseinheiten“) 1722. In mindestens einer Ausführungsform ist die PPU 1700A mit einem Host-Prozessor oder anderen PPUs 1700A über eine oder mehrere Hochgeschwindigkeits-GPU-Verbindungen („GPU-Verbindungen“) 1708 verbunden. In mindestens einer Ausführungsform ist die PPU 1700A über einen Interconnect 1702 mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einer Ausführungsform ist die PPU 1700A mit einem lokalen Speicher verbunden, der eine oder mehrere Speichervorrichtungen („Speicher“) 1704 umfasst. In mindestens einer Ausführungsform umfassen die Speichervorrichtungen 1704, ohne darauf beschränkt zu sein, eine oder mehrere dynamische Direktzugriffsspeicher („DRAM“)-Vorrichtungen. In mindestens einer Ausführungsform sind eine oder mehrere DRAM-Vorrichtungen als Subsysteme mit hohem Bandbreitenspeicher („HBM“) konfiguriert und/oder konfigurierbar, wobei mehrere DRAM-Chips in jeder Vorrichtung gestapelt sind.
In mindestens einer Ausführungsform kann sich die Hochgeschwindigkeits-GPU-Verbindung 1708 auf eine drahtbasierte Mehrspur- bzw. Multi-Lane-Kommunikationsverbindung beziehen, die von Systemen zur Skalierung verwendet wird und eine oder mehrere PPUs 1700A in Kombination mit einer oder mehreren Zentraleinheiten („CPUs“) umfasst, die Cache-Kohärenz zwischen PPUs 1700A und CPUs sowie CPU-Mastering unterstützt. In mindestens einer Ausführungsform werden Daten und/oder Befehle über die Hochgeschwindigkeits-GPU-Verbindung 1708 durch den Hub 1716 zu/von anderen Einheiten der PPU 1700A übertragen, wie z.B. einer oder mehreren Kopier-Engines, Video-Encodern, Video-Decodern, Leistungsverwaltungseinheiten und anderen Komponenten, die in 17A möglicherweise nicht explizit dargestellt sind.
In mindestens einer Ausführungsform ist die E/A-Einheit 1706 so konfiguriert, dass sie Kommunikationen (wie beispielsweise Befehle, Daten) von einem Host-Prozessor (in 17A nicht dargestellt) über den Systembus 1702 sendet und empfängt. In mindestens einer Ausführungsform kommuniziert die E/A-Einheit 1706 mit dem Host-Prozessor direkt über den Systembus 1702 oder über ein oder mehrere Zwischenvorrichtungen wie z.B. eine Speicherbrücke. In mindestens einer Ausführungsform kann die E/A-Einheit 1706 über den Systembus 1702 mit einem oder mehreren anderen Prozessoren kommunizieren, z.B. mit einer oder mehreren der PPUs 1700A. In mindestens einer Ausführungsform implementiert die E/A-Einheit 1706 eine Peripheral Component Interconnect Express („PCIe“)-Schnittstelle für die Kommunikation über einen PCIe-Bus. In mindestens einer Ausführungsform implementiert die E/A-Einheit 1706 Schnittstellen für die Kommunikation mit externen Geräten.
In mindestens einer Ausführungsform dekodiert die E/A-Einheit 1706 Pakete, die über den Systembus 1702 empfangen werden. In mindestens einer Ausführungsform stellen mindestens einige Pakete Befehle dar, die so konfiguriert sind, dass sie die PPU 1700A veranlassen, verschiedene Operationen durchzuführen. In mindestens einer Ausführungsform sendet die E/A-Einheit 1706 dekodierte Befehle an verschiedene andere Einheiten der PPU 1700A, wie von den Befehlen vorgegeben. In mindestens einer Ausführungsform werden Befehle an die Front-End-Einheit 1710 und/oder an den Hub 1716 oder andere Einheiten der PPU 1700A, wie eine oder mehrere Kopier-Engines, einen Video-Encoder, einen Video-Decoder, eine Leistungsverwaltungseinheit usw., übertragen (in 17A nicht explizit dargestellt). In mindestens einer Ausführungsform ist die E/A-Einheit 1706 so konfiguriert, dass sie die Kommunikation zwischen und unter verschiedenen logischen Einheiten der PPU 1700A leitet.
In mindestens einer Ausführungsform kodiert ein vom Host-Prozessor ausgeführtes Programm einen Befehlsstrom in einen Puffer, der der PPU 1700A Arbeitslasten zur Verarbeitung bereitstellt. In mindestens einer Ausführungsform umfasst eine Arbeitslast Anweisungen und Daten, die von diesen Anweisungen zu verarbeiten sind. In mindestens einer Ausführungsform ist der Puffer ein Bereich in einem Speicher, auf den sowohl der Host-Prozessor als auch die PPU 1700A zugreifen können (wie beispielsweise Lesen/Schreiben) - eine Host-Schnittstelleneinheit kann so konfiguriert sein, dass sie auf den Puffer in einem Systemspeicher zugreift, der mit dem Systembus 1702 verbunden ist, und zwar über Speicheranforderungen, die von der E/A-Einheit 1706 über den Systembus 1702 übertragen werden. In mindestens einer Ausführungsform schreibt der Host-Prozessor einen Befehlsstrom in den Puffer und überträgt dann einen Zeiger auf den Beginn des Befehlsstroms an die PPU 1700A, so dass die Front-end-Einheit 1710 Zeiger auf einen oder mehrere Befehlsströme empfängt und einen oder mehrere Befehlsströme verwaltet, Befehle aus den Befehlsströmen liest und Befehle an verschiedene Einheiten der PPU 1700A weiterleitet.
In mindestens einer Ausführungsform ist die Frontend-Einheit 1710 mit der Planer-Einheit 1712 gekoppelt, die verschiedene GPCs 1718 zur Verarbeitung von Aufgaben konfiguriert, die durch einen oder mehrere Befehlsströme definiert sind. In mindestens einer Ausführungsform ist die Planer-Einheit 1712 so konfiguriert, dass sie Zustandsinformationen in Bezug auf verschiedene Aufgaben nachverfolgt, die von der Planer-Einheit 1712 verwaltet werden, wobei die Zustandsinformationen angeben können, welchem der GPCs 1718 eine Aufgabe zugewiesen ist, ob die Aufgabe aktiv oder inaktiv ist, welche Prioritätsstufe der Aufgabe zugeordnet ist und so weiter. In mindestens einer Ausführungsform verwaltet die Planer-Einheit 1712 die Ausführung einer Vielzahl von Aufgaben auf einem oder mehreren GPCs 1718.
In mindestens einer Ausführungsform ist die Planer-Einheit 1712 mit der Arbeitsverteilungseinheit 1714 gekoppelt, die so konfiguriert ist, dass sie Aufgaben zur Ausführung auf den GPCs 1718 verteilt. In mindestens einer Ausführungsform nachverfolgt die Arbeitsverteilungseinheit 1714 eine Anzahl geplanter Aufgaben, die von der Planer-Einheit 1712 empfangen wurden, und verwaltet die Arbeitsverteilungseinheit 1714 einen Pool ausstehender Aufgaben und einen Pool aktiver Aufgaben für jeden der GPCs 1718. In mindestens einer Ausführungsform umfasst der Pool anstehender Aufgaben eine Anzahl von Slots (wie beispielsweise 32 Slots), die Aufgaben enthalten, die zur Verarbeitung durch einen bestimmten GPC 1718 zugewiesen sind; der Pool aktiver Aufgaben kann eine Anzahl von Slots (wie beispielsweise 4 Slots) für Aufgaben umfassen, die aktiv von den GPCs 1718 verarbeitet werden, so dass dann, wenn einer der GPCs 1718 die Ausführung einer Aufgabe abschließt, diese Aufgabe aus dem Pool aktiver Aufgaben für den GPC 1718 entfernt wird und eine der anderen Aufgaben aus dem Pool anstehender Aufgaben ausgewählt und zur Ausführung auf dem GPC 1718 eingeplant wird. In mindestens einer Ausführungsform wird dann, wenn eine aktive Aufgabe auf dem GPC 1718 im Leerlauf ist, z.B. während auf die Auflösung einer Datenabhängigkeit gewartet wird, die aktive Aufgabe aus dem GPC 1718 entfernt und in den Pool ausstehender zurückgeführt, während eine andere Aufgabe im Pool ausstehender Aufgaben ausgewählt und für die Ausführung auf dem GPC 1718 eingeplant wird.
In mindestens einer Ausführungsform kommuniziert die Arbeitsverteilungseinheit 1714 mit einem oder mehreren GPCs 1718 über XBar 1720. In mindestens einer Ausführungsform ist die XBar 1720 ein Verbindungsnetzwerk, das viele Einheiten der PPU 1700A mit anderen Einheiten der PPU 1700A koppelt und so konfiguriert sein kann, dass die Arbeitsverteilungseinheit 1714 mit einem bestimmten GPC 1718 gekoppelt wird. In mindestens einer Ausführungsform können auch eine oder mehrere andere Einheiten der PPU 1700A über den Hub 1716 mit der XBar 1720 verbunden sein.
In mindestens einer Ausführungsform werden Aufgaben von der Planer-Einheit 1712 verwaltet und von der Arbeitsverteilungseinheit 1714 an einen der GPCs 1718 weitergeleitet. Der GPC 1718 ist so konfiguriert, dass er eine Aufgabe verarbeitet und Ergebnisse erzeugt. In mindestens einer Ausführungsform können die Ergebnisse von anderen Aufgaben innerhalb des GPC 1718 verbraucht, über die XBar 1720 an einen anderen GPC 1718 weitergeleitet oder im Speicher 1704 gespeichert werden. In mindestens einer Ausführungsform können Ergebnisse in den Speicher 1704 über Partitionseinheiten 1722 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 1704 implementieren. In mindestens einer Ausführungsform können die Ergebnisse über die Hochgeschwindigkeits-GPU-Verbindung 1708 an eine andere PPU 1704 oder CPU übertragen werden. In mindestens einer Ausführungsform umfasst die PPU 1700A, ohne darauf beschränkt zu sein, eine Anzahl U von Partitionseinheiten 1722, die der Anzahl von separaten und unterschiedlichen Speichervorrichtungen 1704 entspricht, die mit der PPU 1700A verbunden sind.
In mindestens einer Ausführungsform wird die Partitionseinheit 1722 weiter unten in Verbindung mit 17C genauer beschrieben.
In mindestens einer Ausführungsform führt ein Host-Prozessor einen Treiberkern aus, der eine Anwendungsprogrammierschnittstelle („API“) implementiert, die es einer oder mehreren auf dem Host-Prozessor ausgeführten Anwendungen ermöglicht, Operationen zur Ausführung auf der PPU 1700A zu planen. In mindestens einer Ausführungsform werden mehrere Rechenanwendungen gleichzeitig von der PPU 1700A ausgeführt und stellt die PPU 1700A Isolierung, Dienstgüte („QoS“) und unabhängige Adressräume für mehrere Rechenanwendungen bereit. In mindestens einer Ausführungsform generiert eine Anwendung Anweisungen (wie beispielsweise in Form von API-Aufrufen), die den Treiberkern veranlassen, eine oder mehrere Aufgaben zur Ausführung durch die PPU 1700A zu generieren, und gibt der Treiberkern Aufgaben an einen oder mehrere Streams aus, die von der PPU 1700A verarbeitet werden. In mindestens einer Ausführungsform umfasst jede Aufgabe eine oder mehrere Gruppen von zusammenhängenden Threads, die als Warp bezeichnet werden können. In mindestens einer Ausführungsform umfasst ein Warp eine Vielzahl von zusammenhängenden Threads (wie beispielsweise 32 Threads), die parallel ausgeführt werden können. In mindestens einer Ausführungsform können sich zusammenarbeitende Threads auf eine Vielzahl von Threads beziehen, die Anweisungen zur Ausführung von Aufgaben enthalten und Daten über einen gemeinsamen Speicher austauschen. In mindestens einer Ausführungsform werden Threads und kooperierende Threads gemäß mindestens einer Ausführungsform in Verbindung mit 17C ausführlicher beschrieben.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungs-prozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um der PPU 1700A bereitgestellte Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird die PPU 1700A zum Ableiten oder Vorhersagen von Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks) verwendet, das von einem anderen Prozessor oder System oder von der PPU 1700A trainiert wurde. In mindestens einer Ausführungsform kann die PPU 1700A verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
17B zeigt einen Universalverarbeitungscluster („GPC“) 1700B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der GPC 1700B der GPC 1418 aus 17A. In mindestens einer Ausführungsform umfasst jeder GPC 1700B, ohne darauf beschränkt zu sein, eine Anzahl von Hardware-Einheiten zur Verarbeitung von Aufgaben, und umfasst jeder GPC 1700, ohne darauf beschränkt zu sein, einen Pipeline-Verwalter 1702, eine Pre-Raster-Operationseinheit („PROP“) 1704, eine Raster-Engine 1708, eine Arbeitsverteilungskreuzschiene („WDX“) 1716, eine Speicherverwaltungseinheit („MMU“) 1718, einen oder mehrere Datenverarbeitungscluster („DPCs“) 1706 und jede geeignete Kombination von Teilen.
In mindestens einer Ausführungsform wird der Betrieb des GPC 1700B vom Pipeline-Verwalter 1702 gesteuert. In mindestens einer Ausführungsform verwaltet der Pipeline-Verwalter 1702 die Konfiguration eines oder mehrerer DPCs 1706 zur Verarbeitung von Aufgaben, die dem GPC 1700B zugewiesen sind. In mindestens einer Ausführungsform konfiguriert der Pipeline-Verwalter 1702 mindestens einen des einen oder der mehreren DPCs 1706, um mindestens einen Teil einer Grafik-Rendering-Pipeline zu implementieren. In mindestens einer Ausführungsform ist der DPC 1706 so konfiguriert, dass er ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 1714 ausführt. In mindestens einer Ausführungsform ist der Pipeline-Verwalter 1702 so konfiguriert, dass er von einer Arbeitsverteilungseinheit empfangene Pakete an geeignete logische Einheiten innerhalb des GPC 1700B weiterleitet, wobei einige Pakete an Hardwareeinheiten mit fester Funktion in der PROP 1704 und/oder in der Raster-Engine 1708 weitergeleitet werden können, während andere Pakete an DPCs 1706 zur Verarbeitung durch eine Primitiv-Engine 1712 oder den SM 1714 weitergeleitet werden können. In mindestens einer Ausführungsform konfiguriert der Pipeline-Verwalter 1702 mindestens einen der DPCs 1706 zur Implementierung eines neuronalen Netzwerkmodells und/oder einer Rechenpipeline.
In mindestens einer Ausführungsform ist die PROP-Einheit 1704 so konfiguriert, dass sie die von der Raster-Engine 1708 und den DPCs 1706 erzeugten Daten an eine Einheit für Rasteroperationen („ROP“) in der Partitionseinheit 1422 weiterleitet, die oben in Verbindung mit 14 näher beschrieben ist. In mindestens einer Ausführungsform ist die PROP-Einheit 1704 so konfiguriert, dass sie Optimierungen für die Farbmischung durchführt, Pixeldaten organisiert, Adressübersetzungen durchführt und mehr. In mindestens einer Ausführungsform umfasst die Raster-Engine 1708, ohne darauf beschränkt zu sein, eine Reihe von Hardwareeinheiten mit fester Funktion, die zur Durchführung verschiedener Rasteroperationen konfiguriert sind, und umfasst die Raster-Engine 1708, ohne darauf beschränkt zu sein, eine Setup-Engine, eine Grobraster-Engine, eine Culling-Engine, eine Clipping-Engine, eine Feinraster-Engine, eine Kachelkoaleszenz-Engine und jede geeignete Kombination davon. In mindestens einer Ausführungsform empfängt die Setup-Engine transformierte Vertices und erzeugt Ebenengleichungen, die mit der durch die Vertices definierten geometrischen Grundstruktur verbunden sind; die Ebenengleichungen werden an die Grobraster-Engine übertragen, um Abdeckungsinformationen (wie beispielsweise eine x-, y-Abdeckungsmaske für eine Kachel) für die Grundstruktur zu erzeugen; die Ausgabe der Grobraster-Engine wird an die Culling-Engine übertragen, wo Fragmente, die mit dem Primitiv verbunden sind und einen z-Test nicht bestehen, aussortiert werden, und an eine Clipping-Engine übertragen, wo Fragmente, die außerhalb eines Sichtkegelstumpfs liegen, abgeschnitten werden. In mindestens einer Ausführungsform werden Fragmente, die das Clipping und Culling überstehen, an eine Feinraster-Engine weitergeleitet, um Attribute für Pixelfragmente auf der Grundlage von Ebenengleichungen zu erzeugen, die von der Setup-Engine generiert wurden. In mindestens einer Ausführungsform umfasst die Ausgabe der Raster-Engine 1708 Fragmente, die von einer geeigneten Einheit verarbeitet werden, z.B. von einem Fragment-Shader, der in dem DPC 1706 implementiert ist.
In mindestens einer Ausführungsform umfasst jeder DPC 1706, der im GPC 1700B enthalten ist, ohne darauf beschränkt zu sein, einen M-Pipe-Controller („MPC“) 1710, eine Primitiv-Engine 1712, einen oder mehrere SMs 1714 und jede geeignete Kombination davon. In mindestens einer Ausführungsform steuert der MPC 1710 den Betrieb des DPC 1706, indem er die vom Pipeline-Verwalter 1702 empfangenen Pakete an die entsprechenden Einheiten in dem DPC 1706 weiterleitet. In mindestens einer Ausführungsform werden Pakete, die einem Vertex zugeordnet sind, an die Primitiv-Engine 1712 weitergeleitet, die so konfiguriert ist, dass sie Vertexattribute, die dem Vertex zugeordnet sind, aus dem Speicher abruft; im Gegensatz dazu können Pakete, die einem Shader-Programm zugeordnet sind, an den SM 1714 übertragen werden.
In mindestens einer Ausführungsform umfasst der SM 1714, ohne darauf beschränkt zu sein, einen programmierbaren Streaming-Prozessor, der so konfiguriert ist, dass er Aufgaben verarbeitet, die durch eine Anzahl von Threads dargestellt werden. In mindestens einer Ausführungsform ist der SM 1714 mit mehreren Threads ausgestattet und so konfiguriert, dass er mehrere Threads (wie beispielsweise 32 Threads) aus einer bestimmten Gruppe von Threads gleichzeitig ausführt und eine SIMD („Single-Instruction, Multiple-Data“)-Architektur implementiert, bei der jeder Thread in einer Gruppe von Threads (wie beispielsweise einem Warp) so konfiguriert ist, dass er einen anderen Datensatz auf der Grundlage desselben Satzes von Anweisungen verarbeitet. In mindestens einer Ausführungsform führen alle Threads in einer Gruppe von Threads dieselben Anweisungen aus. In mindestens einer Ausführungsform implementiert der SM 1714 eine Single-Instruction, Multiple Thread („SIMT“)-Architektur, bei der jeder Thread in einer Gruppe von Threads so konfiguriert ist, dass er einen anderen Satz von Daten auf der Grundlage desselben Satzes von Anweisungen verarbeitet, wobei jedoch einzelne Threads in der Gruppe von Threads während der Ausführung divergieren dürfen. In mindestens einer Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden Warp beibehalten, wodurch Gleichzeitigkeit zwischen Warps und serielle Ausführung innerhalb von Warps ermöglicht wird, wenn Threads innerhalb von Warp divergieren. In einer anderen Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden einzelnen Thread beibehalten, wodurch gleiche Gleichzeitigkeit zwischen allen Threads innerhalb und zwischen Warps ermöglicht wird. In mindestens einer Ausführungsform wird der Ausführungsstatus für jeden einzelnen Thread beibehalten, und Threads, die dieselben Anweisungen ausführen, können zur besseren Effizienz zusammengeführt und parallel ausgeführt werden. Mindestens eine Ausführungsform des SM 1714 wird nachstehend ausführlicher beschrieben.
In mindestens einer Ausführungsform stellt die MMU 1718 eine Schnittstelle zwischen dem GPC 1700B und der Speicherpartitionseinheit (wie beispielsweise der Partitionierungseinheit 1422 in 17A) bereit, und sorgt die MMU 1718 für die Übersetzung virtueller Adressen in physische Adressen, den Speicherschutz und die Arbitrierung von Speicheranforderungen. In mindestens einer Ausführungsform bietet die MMU 1718 einen oder mehrere Übersetzungs-Lookaside-Puffer („TLBs“) zur Durchführung der Übersetzung virtueller Adressen in physische Adressen im Speicher.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um die dem GPC 1700B bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der GPC 1700B verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks) abzuleiten oder vorherzusagen, das von einem anderen Prozessor oder System oder von dem GPC 1700B trainiert wurde. In mindestens einer Ausführungsform kann der GPC 1700B verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
17C veranschaulicht eine Speicherpartitionseinheit 1700C einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst die Speicherpartitionseinheit 1700C, ohne darauf beschränkt zu sein, eine Raster Operations („ROP“)-Einheit 1702, einen Level Two („L2“)-Cache 1704, eine Speicherschnittstelle 1706 und eine beliebige geeignete Kombination davon. In mindestens einer Ausführungsform ist die Speicherschnittstelle 1706 mit dem Speicher gekoppelt. In mindestens einer Ausführungsform kann die Speicherschnittstelle 1706 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliche Implementierungen für die Hochgeschwindigkeitsdatenübertragung implementieren. In mindestens einer Ausführungsform umfasst die PPU U Speicherschnittstellen 1706, eine Speicherschnittstelle 1706 pro Paar von Partitionseinheiten 1700C, wobei jedes Paar von Partitionseinheiten 1700C mit einer entsprechenden Speichervorrichtung verbunden ist. In mindestens einer Ausführungsform kann die PPU beispielsweise mit bis zu Y Speichervorrichtungen verbunden sein, z.B. mit Speicherstapeln mit hoher Bandbreite oder mit einem synchronen dynamischen Direktzugriffsspeicher für Grafikkarten mit doppelter Datenrate, Version 5 („GDDR5 SDRAM“).
In mindestens einer Ausführungsform implementiert die Speicherschnittstelle 1706 eine Speicherschnittstelle der zweiten Generation mit hoher Bandbreite („HBM2“), und Y ist gleich der Hälfte von U. In mindestens einer Ausführungsform befinden sich die HBM2-Speicherstapel auf demselben physischen Gehäuse wie die PPU, was im Vergleich zu GDDR5-SDRAM-Systemen erhebliche Energie- und Flächeneinsparungen ermöglicht. In mindestens einer Ausführungsform umfasst jeder HBM2-Stapel, ohne darauf beschränkt zu sein, vier Speicherchips und Y ist gleich 4, wobei jeder HBM2-Stapel zwei 128-Bit-Kanäle pro Chip für insgesamt 8 Kanäle und eine Datenbusbreite von 1024 Bit umfasst. In mindestens einer Ausführungsform unterstützt der Speicher den Single-Error Correcting Double-Error Detecting („SECDED“) Error Correction Code („ECC“) zum Schutz der Daten. In mindestens einer Ausführungsform bietet ECC eine höhere Zuverlässigkeit für Datenverarbeitungsanwendungen, die empfindlich auf Datenverfälschungen reagieren.
In mindestens einer Ausführungsform implementiert die PPU eine mehrstufige Speicherhierarchie. In mindestens einer Ausführungsform unterstützt die Speicherpartitionseinheit 1700C einen vereinheitlichten Speicher, um einen einzigen vereinheitlichten virtuellen Adressraum für den Speicher der Zentraleinheit („CPU“) und der PPU bereitzustellen, wodurch die gemeinsame Nutzung von Daten zwischen virtuellen Speichersystemen ermöglicht wird. In mindestens einer Ausführungsform wird die Häufigkeit von Zugriffen einer PPU auf Speicher, der sich auf anderen Prozessoren befindet, verfolgt, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU verschoben werden, die häufiger auf Seiten zugreift. In mindestens einer Ausführungsform unterstützt die Hochgeschwindigkeits-GPU-Verbindung 1708 Adressübersetzungsdienste, die es der PPU ermöglichen, direkt auf die Seitentabellen einer CPU zuzugreifen und der PPU vollen Zugriff auf den CPU-Speicher zu ermöglichen.
In mindestens einer Ausführungsform übertragen Kopier-Engines bzw. Kopiermodule Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. In mindestens einer Ausführungsform können Kopier-Engines Seitenfehler für Adressen erzeugen, die nicht in Seitentabellen abgebildet sind, und bedient die Speicherpartitionseinheit 1700C dann Seitenfehler, indem sie Adressen in die Seitentabelle abbildet, woraufhin die Kopier-Engine die Übertragung durchführt. In mindestens einer Ausführungsform wird der Speicher für mehrere Kopier-Engine-Operationen zwischen mehreren Prozessoren gepinnt (in mindestens einer Ausführungsform, ist nicht auslagerbar), wodurch der verfügbare Speicher erheblich reduziert wird. In mindestens einer Ausführungsform können mit Hardware-Seitenfehlern Adressen an Kopier-Engines weitergegeben werden, ohne Rücksicht darauf, ob Speicherseiten resident sind, und ist der Kopiervorgang transparent.
Daten aus dem Speicher 1704 von 17A oder einem anderen Systemspeicher werden von der Speicherpartitionseinheit 1700C abgerufen und im L2-Cache 1704 gespeichert, der sich gemäß mindestens einer Ausführungsform auf dem Chip befindet und von verschiedenen GPCs gemeinsam genutzt wird. Jede Speicherpartitionseinheit 1700C umfasst in mindestens einer Ausführungsform, ohne darauf beschränkt zu sein, mindestens einen Teil des L2-Cache, der einer entsprechenden Speichervorrichtung zugeordnet ist. In mindestens einer Ausführungsform sind Caches der unteren Ebene in verschiedenen Einheiten innerhalb der GPCs implementiert. In mindestens einer Ausführungsform kann jeder der SMs 1714 einen Cache der Ebene 1 („L1") implementieren, wobei der L1-Cache ein privater Speicher ist, der einem bestimmten SM 1714 zugeordnet ist, und Daten aus dem L2-Cache 1704 abgerufen und in jedem der L1-Caches zur Verarbeitung in Funktionseinheiten der SMs 1714 gespeichert werden. In mindestens einer Ausführungsform ist der L2-Cache 1704 mit der Speicherschnittstelle 1706 und der XBar 1720 gekoppelt.
Die ROP-Einheit 1702 führt in mindestens einer Ausführungsform Grafikrasteroperationen durch, die sich auf die Pixelfarbe beziehen, wie z.B. Farbkompression, Pixelüberblendung und mehr. In mindestens einer Ausführungsform implementiert die ROP-Einheit 1702 eine Tiefenprüfung in Verbindung mit der Raster-Engine 1708, wobei sie eine Tiefe für eine Abtastposition, die einem Pixelfragment zugeordnet ist, von der Culling-Engine der Raster-Engine 1708 empfängt. In mindestens einer Ausführungsform wird die Tiefe gegen eine entsprechende Tiefe in einem Tiefenpuffer für eine dem Fragment zugeordnete Abtaststelle getestet. In mindestens einer Ausführungsform aktualisiert die ROP-Einheit 1702 den Tiefenpuffer und überträgt das Ergebnis des Tiefentests an die Raster-Engine 1708, wenn das Fragment den Tiefentest für die Abtastposition besteht. Die Anzahl der Partitionseinheiten 1700C kann sich von der Anzahl der GPCs unterscheiden, so dass jede ROP-Einheit 1702 in mindestens einer Ausführungsform mit jedem der GPCs gekoppelt sein kann. In mindestens einer Ausführungsform verfolgt die ROP-Einheit 1702 die von verschiedenen GPCs empfangenen Pakete und bestimmt, an welchen ein von der ROP-Einheit 1702 erzeugtes Ergebnis über die XBar 1720 weitergeleitet wird.
17D veranschaulicht einen Streaming-Multiprozessor („SM“) 1700D, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der SM 1700D der SM 1714 aus 17B. In mindestens einer Ausführungsform umfasst der SM 1700D, ohne darauf beschränkt zu sein, einen Befehls-Cache 1702; eine oder mehrere Planer-Einheiten 1704; eine Registerdatei 1708; einen oder mehrere Verarbeitungskerne („Kerne“ bzw. „Cores“) 1710; eine oder mehrere Spezialfunktionseinheiten („SFUs“) 1712; eine oder mehrere Lade-/Speichereinheiten („LSUs“) 1714; ein Verbindungsnetzwerk 1716; einen gemeinsamen Speicher/L1-Cache 1718; und jede geeignete Kombination davon. In mindestens einer Ausführungsform verteilt eine Arbeitsverteilungseinheit Aufgaben zur Ausführung auf Universalverarbeitungsclustern („GPCs“) von Parallelverarbeitungseinheiten („PPUs“), und wird jede Aufgabe einem bestimmten Datenverarbeitungscluster („DPC“) innerhalb eines GPCs zugewiesen, und wenn die Aufgabe mit einem Shader-Programm verbunden ist, wird die Aufgabe einem der SMs 1700D zugewiesen. In mindestens einer Ausführungsform empfängt die Planer-Einheit 1704 Aufgaben von der Arbeitsverteilungseinheit und verwaltet die Befehlsplanung für einen oder mehrere Thread-Blöcke, die den SM 1700D zugewiesen sind. In mindestens einer Ausführungsform plant die Planer-Einheit 1704 Thread-Blöcke für die Ausführung als Warps von parallelen Threads, wobei jedem Thread-Block mindestens ein Warp zugewiesen wird. In mindestens einer Ausführungsform führt jeder Warp Threads aus. In mindestens einer Ausführungsform verwaltet die Planer-Einheit 1704 eine Vielzahl verschiedener Thread-Blöcke, indem sie verschiedenen Thread-Blöcken Warps zuweist und dann Anweisungen von einer Vielzahl verschiedener kooperativer Gruppen an verschiedene Funktionseinheiten (wie beispielsweise Verarbeitungskerne 1710, SFUs 1712 und LSUs 1714) während jedes Taktzyklus versendet.
In mindestens einer Ausführungsform können sich kooperative Gruppen bzw. Cooperative Groups auf ein Programmiermodell zum Organisieren von Gruppen kommunizierender Threads beziehen, das es Entwicklern erlaubt, die Granularität auszudrücken, mit der Threads kommunizieren, und so den Ausdruck reichhaltigerer, effizienterer paralleler Zerlegungen ermöglicht. In mindestens einer Ausführungsform unterstützen kooperative Start-APIs die Synchronisierung zwischen Thread-Blöcken zur Ausführung paralleler Algorithmen. In mindestens einer Ausführungsform stellen Anwendungen Programmiermodelle ein einziges, einfaches Konstrukt zur Synchronisierung kooperierender Threads bereit: eine Barriere über alle Threads eines Thread-Blocks (wie beispielsweise die Funktion syncthreads()). In mindestens einer Ausführungsform können Programmierer jedoch Gruppen von Threads mit einer kleineren Granularität als der des Thread-Blocks definieren und innerhalb der definierten Gruppen synchronisieren, um eine höhere Leistung, Designflexibilität und Software-Wiederverwendung in Form von kollektiven gruppenweiten Funktionsschnittstellen zu ermöglichen. In mindestens einer Ausführungsform ermöglicht Cooperative Groups Programmierern, Gruppen von Threads explizit auf Sub-Block- (in mindestens einer Ausführungsform, so klein wie ein einzelner Thread) und Multi-Block-Granularität zu definieren und kollektive Operationen wie Synchronisation auf Threads in einer kooperativen Gruppe durchzuführen. In mindestens einer Ausführungsform unterstützt das Programmiermodell eine saubere Komposition über Software-Grenzen hinweg, so dass Bibliotheken und Utility-Funktionen innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne Annahmen über Konvergenz treffen zu müssen. In mindestens einer Ausführungsform ermöglichen die Primitive für kooperative Gruppen neue Muster der kooperativen Parallelität, einschließlich, aber nicht beschränkt auf Producer-Consumer-Parallelität, opportunistische Parallelität und globale Synchronisierung über ein gesamtes Gitter von Thread-Blöcken.
In mindestens einer Ausführungsform ist eine Versende-Einheit 1706 so konfiguriert, dass sie Befehle an eine oder mehrere Funktionseinheiten sendet, und umfasst die Planer-Einheit 1704, ohne darauf beschränkt zu sein, zwei Versende-Einheiten 1706, die es ermöglichen, dass zwei verschiedene Befehle aus derselben Warp während jedes Taktzyklus versendet werden. In mindestens einer Ausführungsform umfasst jede Planer-Einheit 1704 eine einzelne Versende-Einheit 1706 oder zusätzliche Versende-Einheiten 1706.
In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, die Registerdatei 1708, die einen Satz von Registern für Funktionseinheiten des SM 1700D bereitstellt. In mindestens einer Ausführungsform ist die Registerdatei 1708 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein bestimmter Teil der Registerdatei 1708 zugewiesen ist. In mindestens einer Ausführungsform ist die Registerdatei 1708 zwischen verschiedenen Warps aufgeteilt, die vom SM 1700D ausgeführt werden, und stellt die Registerdatei 1708 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten verbunden sind. In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, eine Vielzahl von L Verarbeitungskernen 1710. In mindestens einer Ausführungsform umfasst der SM 1700D, ohne darauf beschränkt zu sein, eine große Anzahl (wie beispielsweise 128 oder mehr) von verschiedenen Verarbeitungskernen 1710. In mindestens einer Ausführungsform umfasst jeder Verarbeitungskern 1710, ohne darauf beschränkt zu sein, eine vollpipelinierte, einfachpräzise, doppeltpräzise und/oder gemischtpräzise Verarbeitungseinheit, die, ohne darauf beschränkt zu sein, eine arithmetische Gleitkomma-Logikeinheit und eine arithmetische Ganzzahl-Logikeinheit umfasst. In mindestens einer Ausführungsform implementieren die Gleitkomma-Arithmetik-Logikeinheiten den Standard IEEE 754-2008 für Gleitkomma-Arithmetik. In mindestens einer Ausführungsform umfassen die Verarbeitungskerne 1710, ohne darauf beschränkt zu sein, 64 Gleitkomma-Kerne mit einfacher Genauigkeit (32 Bit), 64 Ganzzahl-Kerne, 32 Gleitkomma-Kerne mit doppelter Genauigkeit (64 Bit) und 8 Tensor-Kerne.
Tensorkerne sind so konfiguriert, dass sie gemäß mindestens einer Ausführungsform Matrixoperationen durchführen. In mindestens einer Ausführungsform sind ein oder mehrere Tensorkerne in den Verarbeitungskernen 1710 enthalten. In mindestens einer Ausführungsform sind die Tensorkerne so konfiguriert, dass sie Deep-Learning-Matrixarithmetik durchführen, wie z.B. Faltungsoperationen für das Training und die Inferenzierung neuronaler Netze. In mindestens einer Ausführungsform arbeitet jeder Tensorkern mit einer 4x4-Matrix und führt eine Matrixmultiplikations- und Akkumulationsoperation D = A X B + C durch, wobei A, B, C und D 4x4-Matrizen sind.
In mindestens einer Ausführungsform sind die Matrixmultiplikationseingänge A und B 16-Bit-Gleitkommamatrizen und die Akkumulationsmatrizen C und D 16-Bit-Gleitkomma- oder 32-Bit-Gleitkommamatrizen. In mindestens einer Ausführungsform arbeiten Tensorkerne auf 16-Bit-Gleitkomma-Eingangsdaten mit 32-Bit-Gleitkomma-Akkumulation. In mindestens einer Ausführungsform verwendet die 16-Bit-Gleitkommamultiplikation 64 Operationen und ergibt ein Produkt mit voller Genauigkeit, das dann mit 32-Bit-Gleitkommaaddition mit anderen Zwischenprodukten für eine 4x4x4-Matrixmultiplikation akkumuliert wird. In mindestens einer Ausführungsform werden Tensor-Kerne verwendet, um viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die aus diesen kleineren Elementen aufgebaut sind. In mindestens einer Ausführungsform stellt eine API, wie z.B. die CUDA 9 C++ API, spezialisierte Operationen zum Laden, Multiplizieren und Akkumulieren von Matrizen und zum Speichern von Matrizen zur Verfügung, um Tensorkerne von einem CUDA-C++ Programm effizient zu nutzen. In mindestens einer Ausführungsform wird auf CUDA-Ebene bei der Schnittstelle auf Warp-Ebene von Matrizen der Größe 16x16 ausgegangen, die alle 32 Threads des Warp überspannen.
In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, M SFUs 1712, die spezielle Funktionen ausführen (wie beispielsweise Attribut-auswertung, reziproke Quadratwurzel usw.). In mindestens einer Ausführungsform umfassen die SFUs 1712, ohne darauf beschränkt zu sein, eine Baumdurchlaufeinheit bzw. Tree Traversal Unit, die zum Traversieren einer hierarchischen Baumdatenstruktur konfiguriert ist. In mindestens einer Ausführungsform umfassen die SFUs 1712, ohne darauf beschränkt zu sein, eine Textureinheit, die so konfiguriert ist, dass sie Texturabbildungsfilterungsoperationen durchführt. In mindestens einer Ausführungsform sind die Textureinheiten so konfiguriert, dass sie Texturkarten bzw. Texture-Maps (wie beispielsweise ein 2D-Array von Texeln) aus dem Speicher laden und Texture-Maps abtasten, um abgetastete Texturwerte zur Verwendung in Shader-Programmen zu erzeugen, die von dem SM 1700D ausgeführt werden. In mindestens einer Ausführungsform werden die Texture-Maps im gemeinsamen Speicher/L1-Cache 1718 gespeichert. In mindestens einer Ausführungsform implementieren Textureinheiten Texturoperationen wie Filteroperationen unter Verwendung von Mip-Maps (wie beispielsweise Textur-Maps mit unterschiedlichen Detailstufen). In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, zwei Textureinheiten.
Jeder SM 1700 umfasst, ohne darauf beschränkt zu sein, N LSUs 1714, die in mindestens einer Ausführungsform Lade- und Speicheroperationen zwischen gemeinsamem Speicher/L1-Cache 1718 und Registerdatei 1708 implementieren. Jeder SM 1700D umfasst, ohne darauf beschränkt zu sein, ein Verbindungsnetzwerk 1716, das in mindestens einer Ausführungsform jede der Funktionseinheiten mit der Registerdatei 1708 und die LSU 1714 mit der Registerdatei 1708 und dem gemeinsamen Speicher/L1-Cache 1718 verbindet. In mindestens einer Ausführungsform ist das Verbindungsnetzwerk 1716 eine Kreuzschiene, die so konfiguriert sein kann, dass sie jede der Funktionseinheiten mit jedem der Register in der Registerdatei 1708 verbindet und LSUs 1714 mit der Registerdatei 1708 und Speicherplätzen im gemeinsamen Speicher/L1-Cache 1718 verbindet.
In mindestens einer Ausführungsform ist der gemeinsam genutzte Speicher/L1-Cache 1718 ein Array von On-Chip-Speicher, der die Datenspeicherung und die Kommunikation zwischen dem SM 1700D und der Primitiv-Engine und zwischen Threads in dem SM 1700D ermöglicht. In mindestens einer Ausführungsform umfasst der gemeinsam genutzte Speicher/L1-Cache 1718, ohne darauf beschränkt zu sein, 128 KB Speicherkapazität und befindet sich im Pfad vom SM 1700D zur Partitionseinheit. In mindestens einer Ausführungsform wird der gemeinsame Speicher/L1-Cache 1718 zum Zwischenspeichern bzw. Cachen von Lese- und Schreibvorgängen verwendet. In mindestens einer Ausführungsform sind einer oder mehrere von gemeinsamem Speicher/L1-Cache 1718, L2-Cache und Arbeitsspeicher Sicherungsspeicher.
Die Kombination von Daten-Cache und Shared-Memory-Funktionalität in einem einzigen Speicherblock bietet in mindestens einer Ausführungsform eine verbesserte Leistung für beide Arten von Speicherzugriffen. In mindestens einer Ausführungsform wird die Kapazität von Programmen, die den gemeinsam genutzten Speicher nicht verwenden, als Cache genutzt oder ist für diese nutzbar, z.B. wenn der gemeinsam genutzte Speicher so konfiguriert ist, dass er die Hälfte der Kapazität nutzt, können Textur- und Lade-/Speicheroperationen die verbleibende Kapazität nutzen. Durch die Integration in den gemeinsam genutzten Speicher/L1-Cache 1718 kann der gemeinsam genutzte Speicher/L1-Cache 1718 gemäß mindestens einer Ausführungsform als durchsatzstarke Leitung für Streaming-Daten fungieren und gleichzeitig einen Zugriff mit hoher Bandbreite und niedriger Latenz auf häufig wiederverwendete Daten ermöglichen. In mindestens einer Ausführungsform kann bei der Konfiguration für parallele Universalberechnungen eine einfachere Konfiguration im Vergleich zur Grafikverarbeitung verwendet werden. In mindestens einer Ausführungsform werden Grafikverarbeitungseinheiten mit festen Funktionen umgangen, wodurch ein wesentlich einfacheres Programmiermodell entsteht. In der Konfiguration für universelle parallele Berechnungen weist die Arbeitsverteilungseinheit in mindestens einer Ausführungsform Blöcke von Threads direkt den DPCs zu und verteilt sie. In mindestens einer Ausführungsform führen Threads in einem Block dasselbe Programm aus, wobei eine eindeutige Thread-ID in der Berechnung verwendet wird, um sicherzustellen, dass jeder Thread eindeutige Ergebnisse erzeugt, wobei der SM 1700D zur Ausführung des Programms und zur Durchführung von Berechnungen, gemeinsamer Speicher/L1-Cache 1718 zur Kommunikation zwischen Threads und LSU 1714 zum Lesen und Schreiben des globalen Speichers durch gemeinsamen Speicher/L1-Cache 1718 und Speicherpartitionseinheit verwendet wird. In mindestens einer Ausführungsform schreibt der SM 1700D, wenn er für allgemeine parallele Berechnungen konfiguriert ist, Befehle, die die Planer-Einheit 1704 verwenden kann, um neue Arbeit auf den DPCs zu starten.
In mindestens einer Ausführungsform ist die PPU in einem Desktop-Computer, einem Laptop-Computer, einem Tablet-Computer, Servern, Supercomputern, einem Smartphone (wie beispielsweise einem drahtlosen Handheld-Gerät), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einem Head Mounted Display, einem elektronischen Handheld-Gerät usw. enthalten oder damit verbunden. In mindestens einer Ausführungsform ist die PPU auf einem einzigen Halbleitersubstrat verkörpert. In mindestens einer Ausführungsform ist die PPU in einem System-on-a-Chip („SoC“) zusammen mit einer oder mehreren anderen Vorrichtungen wie zusätzlichen PPUs, Speicher, einer CPU mit reduziertem Befehlssatz („RISC“), einer Speicherverwaltungseinheit („MMU“), einem Digital-Analog-Wandler („DAC“) und dergleichen enthalten.
In mindestens einer Ausführungsform kann die PPU auf einer Grafikkarte enthalten sein, die eine oder mehrere Speichervorrichtungen enthält. Eine Grafikkarte kann so konfiguriert sein, dass sie mit einem PCIe-Steckplatz auf einer Hauptplatine eines Desktop-Computers verbunden sein kann. In mindestens einer Ausführungsform kann die PPU eine integrierte Grafikverarbeitungseinheit („iGPU“) sein, die im Chipsatz der Hauptplatine enthalten ist.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um die dem SM 1700D bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der SM 1700D verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder vom SM 1700D trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der SM 1700D verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
In mindestens einer Ausführungsform kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche halbleiterbasierte integrierte Schaltung oder einen Chip beziehen. In mindestens einer Ausführungsform können Multi-Chip-Module mit erhöhter Konnektivität verwendet werden, die einen On-Chip-Betrieb simulieren und wesentliche Verbesserungen gegenüber der Verwendung einer Zentralverarbeitungseinheit („CPU“) und Bus-Implementierung bieten. In mindestens einer Ausführungsform können verschiedene Module auch separat oder in verschiedenen Kombinationen von Halbleiterplattformen je nach Wunsch des Benutzers angeordnet sein.
In mindestens einer Ausführungsform sind Computerprogramme in Form von maschinenlesbarem, ausführbarem Code oder Computersteuerungslogik-Algorithmen im Hauptspeicher 4ee04 und/oder im Sekundärspeicher gespeichert. Computerprogramme ermöglichen dann, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, dem System 4ee00, verschiedene Funktionen gemäß mindestens einer Ausführungsform auszuführen. In mindestens einer Ausführungsform sind Speicher 4ee04, Speicher und/oder jeder andere Speicher mögliche Beispiele für computerlesbare Medien. In mindestens einer Ausführungsform kann sich der Sekundärspeicher auf eine beliebige geeignete Speichervorrichtung oder ein beliebiges geeignetes Speichersystem beziehen, wie z.B. ein Festplattenlaufwerk und/oder ein Wechselspeicherlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein Digital Versatile Disk („DVD“)-Laufwerk, ein Aufzeichnungsgerät, einen Universal Serial Bus („USB“)-Flash-Speicher usw. darstellt. In mindestens einer Ausführungsform wird die Architektur und/oder Funktionalität verschiedener vorangehender Figuren im Zusammenhang mit der CPU 4ee02, dem Parallelverarbeitungssystem 4ee12, einem integrierten Schaltkreis, der mindestens einen Teil der Fähigkeiten sowohl der CPU 4ee02 als auch des Parallelverarbeitungssystems 4ee12 besitzt, einem Chipsatz (wie beispielsweise eine Gruppe integrierter Schaltkreise, die so konzipiert sind, dass sie als Einheit arbeiten und verkauft werden, um verwandte Funktionen auszuführen usw.) und einer beliebigen geeigneten Kombination integrierter Schaltkreise realisiert.
In mindestens einer Ausführungsform sind die Architektur und/oder die Funktionalität verschiedener vorheriger Figuren im Zusammenhang mit einem allgemeinen Computersystem, einem Leiterplattensystem, einem Spielkonsolensystem, das für Unterhaltungszwecke bestimmt ist, einem anwendungsspezifischen System und mehr implementiert. In mindestens einer Ausführungsform kann das Computersystem 4ee00 die Form eines Desktop-Computers, eines Laptop-Computers, eines Tablet-Computers, eines Servers, eines Supercomputers, eines Smartphones (wie beispielsweise eines drahtlosen, handgehaltenen Geräts), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, eines Head-Mounted-Displays, eines handgehaltenen elektronischen Geräts, eines Mobiltelefongeräts, eines Fernsehers, einer Workstation, von Spielkonsolen, eines eingebetteten Systems und/oder einer anderen Art von Logik annehmen.
In mindestens einer Ausführungsform umfasst das Parallelverarbeitungssystem 4ee12, ohne darauf beschränkt zu sein, eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 4ee14 und zugehörige Speicher 4ee16. In mindestens einer Ausführungsform sind die PPUs 4ee14 über eine Zwischenverbindung 4ee18 und einen Schalter 4ee20 oder Multiplexer mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einer Ausführungsform verteilt das Parallelverarbeitungssystem 4ee12 Rechenaufgaben auf die PPUs 4ee14, die parallelisierbar sein können - zum Beispiel als Teil der Verteilung von Rechenaufgaben auf mehrere Thread-Blöcke der Grafikverarbeitungseinheit („GPU“). In mindestens einer Ausführungsform wird der Speicher gemeinsam genutzt und ist über einige oder alle PPUs 4ee14 zugänglich (wie beispielsweise für Lese- und/oder Schreibzugriffe), obwohl ein solcher gemeinsam genutzter Speicher Leistungseinbußen im Vergleich zur Verwendung von lokalem Speicher und Registern, die in einer PPU 4ee14 resident sind, mit sich bringen kann. In mindestens einer Ausführungsform wird der Betrieb der PPUs 4ee14 durch die Verwendung eines Befehls wie _syncthreads() synchronisiert, wobei alle Threads in einem Block (wie beispielsweise über mehrere PPUs 4ee14 ausgeführt) einen bestimmten Punkt der Ausführung von Code erreichen müssen, bevor sie fortfahren.
Andere Variationen sind im Sinne der Erfindung. Während offenbart Techniken verschiedenen Modifikationen und alternativen Konstruktionen zugänglich sind, sind bestimmte veranschaulichte Ausführungsformen derselben in den Zeichnungen gezeigt und wurden vorstehend im Einzelnen beschrieben. Es versteht sich jedoch, dass die Offenbarung nicht auf eine bestimmte Form oder bestimmte Formen zu beschränken ist, sondern dass im Gegenteil beabsichtigt ist, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Gedanken und den Rahmen der Erfindung fallen, wie er in den beigefügten Ansprüchen definiert ist.
Die Verwendung der Begriffe „ein“ und „eine“ und „der“ und ähnlicher Bezeichnungen im Zusammenhang mit der Beschreibung erfindungsgemäßer Ausführungsformen (insbesondere im Zusammenhang mit den nachfolgenden Ansprüchen) ist so auszulegen, dass sie sowohl die Einzahl als auch die Mehrzahl umfasst, sofern hierin nichts anderes angegeben oder durch Kontext eindeutig widerlegt wird, und nicht als Definition eines Begriffs. Die Begriffe „beinhaltend", „mit“, „einschließlich“ und „enthaltend“ sind, sofern nicht anders angegeben wird, als offene Begriffe zu verstehen (d.h. „einschließlich, aber nicht beschränkt auf“). Der Begriff „verbunden“ ist, wenn er unverändert bleibt und sich auf physische Verbindungen bezieht, als teilweise oder ganz in einem Bauteil enthalten, an ihm angebracht oder mit ihm verbunden zu verstehen, auch wenn etwas dazwischen liegt. Die Aufzählung von Wertebereichen dient lediglich als Kurzbezeichnung für jeden einzelnen Wert, der in den Bereich fällt, sofern hierin nichts anderes angegeben wird, und jeder einzelne Wert wird in die Spezifikation aufgenommen, als ob er darin einzeln aufgeführt wäre. Die Verwendung einer Menge (wie beispielsweise eine Menge von Elementen) oder Teilmenge ist, sofern nichts anderes angegeben oder durch Kontext widerlegt wird, als eine nicht leere Sammlung zu verstehen, die ein oder mehrere Elemente beinhaltet. Sofern nicht anders vermerkt oder durch den Kontext widerlegt, bezeichnet der Begriff „eine Teilmenge“ einer entsprechenden Menge nicht unbedingt eine echte Teilmenge der entsprechenden Menge, sondern Teilmenge und entsprechende Menge können gleich sein.
Konjunktivische Sprache, wie z.B. Phrasen der Form „mindestens eines von A, B und C“ oder „mindestens eines von A, B und C“, wird, sofern nicht ausdrücklich anders angegeben oder anderweitig eindeutig durch Kontext widersprochen, im Allgemeinen so verstanden, dass damit ausgedrückt wird, dass ein Element, ein Begriff usw. entweder A oder B oder C oder eine beliebige nicht leere Teilmenge der Menge von A und B und C sein kann. So beziehen sich z.B. im dargestellten Beispiel einer Menge mit drei Elementen die konjunktivischen Ausdrücke „mindestens eines von A, B und C“ und „mindestens eines von A, B und C“ auf eine der folgenden Mengen: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Eine solche konjunktivische Sprache braucht nicht generell zu implizieren, dass bei bestimmten Ausführungsformen jeweils mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden sein muss. Zusätzlich, sofern nicht anders vermerkt oder durch Kontext widersprochen, zeigt der Begriff „Mehrzahl“ einen Zustand an, in dem er plural ist (wie beispielsweise „eine Mehrzahl von Elementen“ zeigt mehrere Elemente an). Eine Mehrzahl sind mindestens zwei, kann aber auch mehr sein, wenn dies entweder explizit oder durch Kontext angegeben wird. Sofern nicht anders angegeben oder aus Kontext ersichtlich, bedeutet „basierend auf“ „zumindest teilweise basierend auf“ und nicht „ausschließlich basierend auf“.
Operationen der hierin beschriebenen Prozesse können in jeder geeigneten Reihenfolge ausgeführt werden, sofern hierin nicht anders angegeben oder durch eindeutig widerlegt. In mindestens einer Ausführungsform wird ein Prozess wie die hierin beschriebenen Prozesse (oder Variationen und/oder Kombinationen davon) unter der Steuerung eines oder mehrerer Computersysteme durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind und als Code (wie beispielsweise ausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen) implementiert sind, die gemeinsam auf einem oder mehreren Prozessoren, durch Hardware oder Kombinationen davon ausgeführt werden. In mindestens einer Ausführungsform ist der Code auf einem computerlesbaren Speichermedium gespeichert, z.B. in Form eines Computerprogramms, das eine Vielzahl von Anweisungen umfasst, die von einem oder mehreren Prozessoren ausgeführt werden können. In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nicht-transitorisches computerlesbares Speichermedium, das transitorische Signale (wie beispielsweise eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung) ausschließt, aber nicht-transitorische Datenspeicherschaltungen (wie beispielsweise Puffer, Cache und Warteschlangen) innerhalb von Transceivern für transitorische Signale enthält. In mindestens einer Ausführungsform ist Code (wie beispielsweise ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nicht-transitorischen, computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen (oder ein anderer Speicher zum Speichern von ausführbaren Anweisungen) gespeichert sind, die, wenn sie von einem oder mehreren Prozessoren eines Computersystems ausgeführt werden (in mindestens einer Ausführungsform, als Ergebnis der Ausführung), das Computersystem veranlassen, hierin beschriebene Operationen durchzuführen. Ein Satz nicht-transitorischer computerlesbarer Speichermedien umfasst In mindestens einer Ausführungsform mehrere nicht-transitorische computerlesbare Speichermedien, und einem oder mehreren der einzelnen nicht-transitorischen Speichermedien mehrerer nicht-transitorischer computerlesbarer Speichermedien fehlt der gesamte Code, während mehrere nicht-transitorische computerlesbare Speichermedien gemeinsam den gesamten Code speichern. In mindestens einer Ausführungsform werden ausführbare Befehle so ausgeführt, dass verschiedene Befehle von verschiedenen Prozessoren ausgeführt werden - zum Beispiel speichert ein nicht-transitorisches computerlesbares Speichermedium Befehle und führt eine zentrale Verarbeitungseinheit („CPU“) einige der Befehle aus, während eine Grafikverarbeitungseinheit („GPU“) andere Befehle ausführt. In mindestens einer Ausführungsform weisen verschiedene Komponenten eines Computersystems separate Prozessoren auf und führen verschiedene Prozessoren verschiedene Teilmengen von Befehlen aus.
Demgemäß sind in mindestens einer Ausführungsform Computersysteme so konfiguriert, dass sie einen oder mehrere Dienste implementieren, die einzeln oder gemeinsam Operationen der hierin beschriebenen Prozesse durchführen, und sind solche Computersysteme mit anwendbarer Hardware und/oder Software konfiguriert, die die Durchführung von Operationen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der Erfindung implementiert, ein einzelnes Gerät und in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Geräte umfasst, die unterschiedlich arbeiten, so dass das verteilte Computersystem die hierin beschriebenen Operationen durchführt und ein einzelnes Gerät nicht alle Operationen durchführt.
Die Verwendung von Beispielen oder beispielhaften Formulierungen (wie beispielsweise „wie beispielsweise“) dient lediglich der besseren Veranschaulichung von Ausführungsformen der Erfindung und stellt keine Einschränkung des Umfangs der Erfindung dar, sofern nicht anders angegeben. Keine Formulierung in der Beschreibung ist so auszulegen, dass ein nicht beanspruchtes Element als wesentlich für die Praxis der Erfindung angesehen wird.
Alle Referenzen, einschließlich Veröffentlichungen, Patentanmeldungen und Patente, die hierin zitiert werden, werden hiermit durch Verweis in demselben Umfang einbezogen, als ob jede Referenz einzeln und ausdrücklich als durch Verweis einbezogen angegeben wäre und hierin in ihrer Gesamtheit wiedergegeben würde.
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ sowie deren Ableitungen verwendet werden. Es versteht sich, dass diese Begriffe nicht als Synonyme füreinander gedacht sind. Vielmehr kann in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzuzeigen, dass zwei oder mehr Elemente in direktem oder indirektem physischem oder elektrischem Kontakt zueinander stehen. „Gekoppelt“ kann auch bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt zueinander stehen, aber dennoch miteinander kooperieren oder interagieren.
Sofern nicht ausdrücklich anders angegeben, beziehen sich Bezugnahmen auf Verarbeitung, Rechnen, Berechnen, Bestimmen oder dergleichen in der gesamten Spezifikation auf Aktionen und/oder Prozesse eines Computers oder Rechensystems oder eines ähnlichen elektronischen Rechengeräts, die Daten, die als physische, z.B. elektronische, Größen in den Registern und/oder Speichern des Rechensystems repräsentiert sind, manipulieren und/oder in andere Daten umwandeln, die in ähnlicher Weise als physische Größen in den Speichern, Registern oder anderen derartigen Informationsspeicher-, -übertragungs- oder -Anzeigevorrichtungen des Rechensystems repräsentiert werden.
In vergleichbarer Weise kann sich ein Prozessor auf eine beliebige Vorrichtung oder einen Teil einer Vorrichtung beziehen, die elektronische Daten aus Registern und/oder Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten umwandelt, die in Registern und/oder Speicher gespeichert werden können. Als nicht beschränkende Beispiele kann „Prozessor“ eine CPU oder eine GPU sein. Eine „Datenverarbeitungsplattform“ kann einen oder mehrere Prozessoren umfassen. Wie hierin verwendet, können „Software“-Prozesse z.B. Software- und/oder Hardware-Entitäten umfassen, die im Laufe der Zeit Arbeit verrichten, wie z.B. Aufgaben, Threads und intelligente Agenten. Außerdem kann sich jeder Prozess auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. Die Begriffe „System“ und „Verfahren“ werden hier austauschbar verwendet, insofern als ein System eine oder mehrere Verfahren verkörpern kann und Verfahren als ein System betrachtet werden können.
In dem vorliegenden Dokument kann auf das Beschaffen, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Subsystem, Computersystem oder eine computerimplementierte Maschine Bezug genommen werden. Das Beschaffen, Erfassen, Empfangen oder Eingeben von analogen und digitalen Daten kann auf verschiedene Weise erfolgen, z.B. durch Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs einer Anwendungsprogrammierschnittstelle. In einigen Implementierungen kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch die Übertragung von Daten über eine serielle oder parallele Schnittstelle durchgeführt werden. In einer anderen Implementierung kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch die Übertragung von Daten über ein Computernetzwerk von der bereitstellenden Einheit zur erfassenden Einheit durchgeführt werden. Es kann auch auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Präsentieren analoger oder digitaler Daten Bezug genommen werden. In verschiedenen Beispielen kann der Prozess des Bereitstellens, Ausgebens, Übertragens, Sendens oder Darstellens analoger oder digitaler Daten durch die Übertragung von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Interprozess-Kommunikationsmechanismus erfolgen.
Obwohl die vorstehende Diskussion beispielhafte Implementierungen der beschriebenen Techniken darlegt, können auch andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sollen diese in den Anwendungsbereich dieser Offenbarung fallen. Obwohl vorstehend zu Diskussionszwecken spezifische Verteilungen von Verantwortlichkeiten definiert sind, können verschiedene Funktionen und Verantwortlichkeiten je nach den Umständen auf unterschiedliche Weise verteilt und aufgeteilt werden.
Auch wenn der Gegenstand in einer Sprache beschrieben wurde, die sich auf strukturelle Merkmale und/oder methodische Handlungen bezieht, versteht sich, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht notwendigerweise auf bestimmte beschriebene Merkmale oder Handlungen beschränkt ist. Vielmehr werden bestimmte Merkmale und Handlungen als beispielhafte Ausführungsformen der Ansprüche offenbart.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16/925082 [0001]

Claims

Kühlsystem für ein Rechenzentrum, umfassend: ein Mehrfachmodus-Kühlsubsystem, das zwei oder mehr eines luftbasierten Kühlsubsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrikumbasierten Kühlsubsystems oder eines phasenbasierten Kühlsubsystems umfasst, wobei das Mehrfachmodus-Kühlsubsystem für verschiedene Kühlkapazitäten ausgelegt ist und auf verschiedene Kühlungsanforderungen des Rechenzentrums innerhalb eines Minimums und eines Maximums der verschiedenen Kühlkapazitäten einstellbar ist, wobei das Mehrfachmodus-Kühlsubsystem ferner einen Formfaktor für ein oder mehrere Gestelle des Rechenzentrums aufweist.
Kühlsystem nach Anspruch 1, ferner umfassend: ein kältemittelbasiertes Wärmeübertragungssubsystem, um ein oder mehrere des phasenbasierten Kühlsubsystems und des dielektrikumbasierten Kühlsubsystems zu ermöglichen; und ein kühlmittelbasiertes Wärmeübertragungssubsystem, um ein oder mehrere des flüssigkeitsbasierten Kühlsubsystems und des luftbasierten Kühlsubsystems zu ermöglichen.
Kühlsystem nach Anspruch 1, ferner umfassend: ein dielektrisches Kältemittel, um das phasenbasierte Kühlsubsystem und das dielektrikumbasierte Kühlsubsystem zu ermöglichen.
Kühlsystem nach Anspruch 1, ferner umfassend: einen Kühlmittelverteiler, um Kühlmittel für das luftbasierte Kühlsubsystem und das flüssigkeitsbasierte Kühlsubsystem bereitzustellen.
Kühlsystem nach Anspruch 1, ferner umfassend: ein erstes individuelles Kühlsubsystem des Mehrfachmodus-Kühlsubsystems mit zugeordneten ersten Schleifenkomponenten, um ein erstes Kühlmedium zu mindestens einem ersten Gestellverteiler des Rechenzentrums gemäß einem ersten Wärmemerkmal oder einer ersten Kühlungsanforderung des mindestens einen ersten Gestells zu leiten; und ein zweites individuelles Kühlsubsystem des Mehrfachmodus-Kühlsubsystems mit zugeordneten zweiten Schleifenkomponenten, um ein zweites Kühlmedium zu mindestens einem zweiten Gestellverteiler des Rechenzentrums gemäß einem zweiten Wärmemerkmal oder einer zweiten Kühlungsanforderung des mindestens einen zweiten Gestells zu leiten.
Kühlsystem nach Anspruch 5, wobei das erste Wärmemerkmal oder eine erste Kühlungsanforderung innerhalb eines ersten Schwellenwerts des Minimums der verschiedenen Kühlkapazitäten liegt und das zweite Wärmemerkmal oder eine zweite Kühlungsanforderung innerhalb eines zweiten Schwellenwerts des Maximums der verschiedenen Kühlkapazitäten liegt.
Kühlsystem nach Anspruch 1, ferner umfassend: Einlass- und Auslassleitungen zu einem Gestellverteiler des einen oder der mehreren Gestells, um es einzelnen Servern, die dem Gestellverteiler zugeordnet sind, zu ermöglichen, unterschiedliche Kühlmedien von einzelnen Kühlsubsystemen des Mehrfachmodus-Kühlsubsystems zu erhalten.
Kühlsystem nach Anspruch 1, ferner umfassend: einen oder mehrere Server mit zwei oder mehr einer Luftverteilungseinheit, einer Kühlmittelverteilungseinheit und einer Kältemittelverteilungseinheit, um unterschiedliche Kühlmedien zu ermöglichen, um die unterschiedlichen Kühlungsanforderungen des einen oder der mehreren Server zu erfüllen.
Kühlsystem nach Anspruch 1, ferner umfassend: ein lernendes Subsystem, das mindestens einen Prozessor umfasst, um Temperaturen innerhalb von Servern des einen Gestells oder der mehreren Gestelle mit Durchflussraten verschiedener Kühlmedien auszuwerten und um Ausgaben bereitzustellen, die mindestens zwei Temperaturen zugeordnet sind, um die Bewegung von zwei Kühlmedien der verschiedenen Kühlmedien zu erleichtern, indem Durchflussregler gesteuert werden, die den zwei Kühlmedien zugeordnet sind, um die verschiedenen Kühlungsanforderungen zu erfüllen.
Kühlsystem nach Anspruch 9, ferner umfassend: Kälteplatten, die Komponenten in den Servern zugeordnet sind; wobei die Durchflussregler die Bewegung der verschiedenen Kühlmedien durch die Kälteplatten oder durch die Server ermöglichen; und wobei das lernende Subsystem ein Modell maschinellen Lernens ausführt zum: Verarbeiten der Temperaturen unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Temperaturen und zuvor zugeordneten Durchflussraten für die verschiedenen Kühlmedien; und Bereitstellen der Ausgaben, die Durchflussraten für die verschiedenen Kühlmedien zugeordnet sind, für die Durchflussregler, wobei die Ausgaben nach einer Auswertung der zuvor zugeordneten Durchflussraten einzelner Kühlmedien der verschiedenen Kühlmedien und zuvor zugeordneten Temperaturen bereitgestellt werden.
Kühlsystem nach Anspruch 1, ferner umfassend: Durchflussregler zum gleichzeitigen Modifizieren von Durchflussraten verschiedener Kühlmedien, die dem Mehrfachmodus-Kühlsubsystem zugeordnet sind.
Kühlsystem nach Anspruch 1, ferner umfassend: einen oder mehrere erste Durchflussregler, die ein erstes Kühlmedium von verschiedenen Kühlmedien, die dem Mehrfachmodus-Kühlsubsystem zugeordnet sind, auf einer ersten Durchflussrate halten, teilweise basierend auf einer ersten Kühlungsanforderung der verschiedenen Kühlungsanforderungen; und einen oder mehrere zweite Durchflussregler, die ein zweites Kühlmedium der verschiedenen Kühlmedien so modifizieren, dass es mit einer oder mehreren Durchflussraten fließt, teilweise basierend auf einer zweiten Kühlungsanforderung der verschiedenen Kühlungsanforderungen, die von innerhalb eines oder mehrerer Server des Rechenzentrums erfasst wird.
Mindestens ein Prozessor für ein Kühlsystem, umfassend: mindestens eine Logikeinheit zum Steuern von Durchflussreglern, die einem Mehrfachmodus-Kühlsubsystem zugeordnet sind, das zwei oder mehr eines luftbasierten Kühlsubsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrikumbasierten Kühlsubsystems oder eines phasenbasierten Kühlsubsystems umfasst, wobei das Mehrfachmodus-Kühlsubsystem für verschiedene Kühlkapazitäten ausgelegt ist und auf verschiedene Kühlungsanforderungen des Rechenzentrums innerhalb eines Minimums und eines Maximums der verschiedenen Kühlkapazitäten einstellbar ist, wobei das Kühlsystem ferner einen Formfaktor für ein oder mehrere Gestelle des Rechenzentrums aufweist.
Mindestens ein Prozessor nach Anspruch 13, ferner umfassend: ein lernendes Subsystem zum Auswerten von Temperaturen innerhalb von Servern des einen oder der mehreren Gestelle mit Durchflussraten verschiedener Kühlmedien und zum Bereitstellen von Ausgaben, die mindestens zwei Temperaturen zugeordnet sind, um die Bewegung von zwei Kühlmedien der verschiedenen Kühlmedien zu erleichtern, indem die Durchflussregler gesteuert werden, um die verschiedenen Kühlungsanforderungen zu erfüllen.
Mindestens ein Prozessor nach Anspruch 14, ferner umfassend: das lernende Subsystem, das ein Modell maschinellen Lernens ausführt zum: Verarbeiten der Temperaturen unter Verwendung mehrerer Neuronenebenen des maschinellen Lernmodells mit den Temperaturen und mit zuvor zugeordneten Durchflussraten für die verschiedenen Kühlmedien; und Bereitstellen der Ausgaben, die Durchflussraten für die zwei Kühlmedien zugeordnet sind, für die Durchflussregler, wobei die Ausgaben nach einer Auswertung der zuvor zugeordneten Durchflussraten einzelner Kühlmedien der verschiedenen Kühlmedien und vorher zugeordneten Temperaturen bereitgestellt werden.
Mindestens ein Prozessor nach Anspruch 14, ferner umfassend: mindestens einen Anweisungsausgang, um die den Durchflussreglern zugeordneten Ausgaben zu kommunizieren, um eine erste Durchflussrate eines ersten individuellen Kühlmediums zu modifizieren, während eine zweite Durchflussrate eines zweiten individuellen Kühlmediums beibehalten wird.
Mindestens ein Prozessor nach Anspruch 14, ferner umfassend: die mindestens eine Logikeinheit, die dazu ausgelegt ist, Temperaturwerte von Temperatursensoren zu empfangen, die Servern oder dem einen oder den mehreren Gestelle zugeordnet sind, und dazu ausgelegt ist, die Bewegung eines ersten individuellen Kühlmediums und eines zweiten individuellen Kühlmediums der mindestens zwei Kühlmedien zu erleichtern.
Mindestens ein Prozessor für ein Kühlsystem, umfassend: mindestens eine Logikeinheit zum Trainieren eines oder mehrerer neuronaler Netzwerke mit verborgenen Schichten von Neuronen, um Temperaturen und Durchflussraten auszuwerten, die mindestens zwei Kühlmedien eines Mehrfachmodus-Kühlsubsystems zugeordnet sind, das zwei oder mehr eines luftbasierten Kühlsubsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrikumbasierten Kühlsubsystems und eines phasenbasierten Kühlsubsystems umfasst, wobei das Mehrfachmodus-Kühlsubsystem für unterschiedliche Kühlkapazitäten ausgelegt ist und auf unterschiedliche Kühlungsanforderungen des Rechenzentrums innerhalb eines Minimums und eines Maximums der unterschiedlichen Kühlkapazitäten einstellbar ist, wobei das Kühlsystem ferner einen Formfaktor für ein oder mehrere Gestelle eines Rechenzentrums aufweist.
Mindestens ein Prozessor nach Anspruch 18, ferner umfassend: die mindestens eine Logikeinheit zum Ausgeben eines Befehls, der mindestens zwei Temperaturen zugeordnet ist, um die Bewegung der mindestens zwei Kühlmedien zu erleichtern, indem Durchflussregler gesteuert werden, die den mindestens zwei Kühlmedien zugeordnet sind, um die unterschiedlichen Kühlungsanforderungen zu erfüllen.
Mindestens ein Prozessor nach Anspruch 19, ferner umfassend: mindestens einen Anweisungsausgang zum Kommunizieren der Ausgaben mit den Durchflussreglern, um eine erste Durchflussrate eines ersten Kühlmediums der mindestens zwei Kühlmedien zu modifizieren, während eine zweite Durchflussrate eines zweiten individuellen Kühlmediums beibehalten wird.
Mindestens ein Prozessor nach Anspruch 19, ferner umfassend: die mindestens eine Logikeinheit, die dazu ausgelegt ist, Temperaturwerte von Temperatursensoren zu empfangen, die Servern des einen oder der mehreren Gestelle zugeordnet sind, und dazu ausgelegt ist, die Bewegung eines ersten individuellen Kühlmediums und eines zweiten individuellen Kühlmediums der mindestens zwei Kühlmedien zu erleichtern.
Kühlsystem für ein Rechenzentrum, umfassend: mindestens einen Prozessor zum Trainieren eines oder mehrerer neuronaler Netzwerke mit verborgenen Schichten von Neuronen, um Temperaturen und Durchflussraten auszuwerten, die mindestens zwei Kühlmedien eines Mehrfachmodus-Kühlsubsystems zugeordnet sind, das zwei oder mehr eines luftbasierten Kühlsubsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrikumbasierten Kühlsubsystems oder eines phasenbasierten Kühlsubsystems umfasst, wobei das Mehrfachmodus-Kühlsubsystem für verschiedene Kühlkapazitäten ausgelegt ist und auf verschiedene Kühlungsanforderungen des Rechenzentrums innerhalb eines Minimums und eines Maximums der verschiedenen Kühlkapazitäten einstellbar ist, wobei das Kühlsystem ferner einen Formfaktor für ein oder mehrere Gestelle eines Rechenzentrums aufweist.
Kühlsystem für ein Rechenzentrum nach Anspruch 22, ferner umfassend: den mindestens einen Prozessor zum Ausgeben eines Befehls, der mindestens zwei Temperaturen zugeordnet ist, um die Bewegung der mindestens zwei Kühlmedien zu erleichtern, indem Durchflussregler gesteuert werden, die den mindestens zwei Kühlmedien zugeordnet sind, um die unterschiedlichen Kühlungsanforderungen zu erfüllen.
Kühlsystem für ein Rechenzentrum nach Anspruch 23, ferner umfassend: mindestens einen Anweisungsausgang des mindestens einen Prozessors zum Kommunizieren der Ausgabe mit den Durchflussreglern, um eine erste Durchflussrate eines ersten Kühlmediums der mindestens zwei Kühlmedien zu modifizieren, während eine zweite Durchflussrate eines zweiten individuellen Kühlmediums beibehalten wird.
Kühlsystem für ein Rechenzentrum nach Anspruch 22, ferner umfassend: den mindestens einen Prozessor, der dazu angepasst ist, Temperaturwerte von Temperatursensoren zu empfangen, die Servern des einen oder der mehreren Gestelle zugeordnet sind, und der dazu angepasst ist, die Bewegung eines ersten einzelnen Kühlmediums und eines zweiten individuellen Kühlmediums der mindestens zwei Kühlmedien zu erleichtern.
Verfahren zum Kühlen eines Rechenzentrums, umfassend: Bereitstellen eines Mehrfachmodus-Kühlsubsystems, das zwei oder mehr eines luftbasierten Kühlsubsystems, eines flüssigkeitsbasierten Kühlsubsystems, eines dielektrikumbasierten Kühlsubsystems und eines phasenbasierten Kühlsubsystems umfasst, wobei das Mehrfachmodus-Kühlsubsystem für verschiedene Kühlkapazitäten ausgelegt ist und auf verschiedene Kühlungsanforderungen des Rechenzentrums innerhalb eines Minimums und eines Maximums der verschiedenen Kühlkapazitäten einstellbar ist, wobei das Kühlsystem ferner einen Formfaktor für ein oder mehrere Gestelle des Rechenzentrums aufweist.
Verfahren nach Anspruch 26, ferner umfassend: Ermöglichen, dass Durchflussregler Eingaben von Temperatursensoren empfangen, die einer oder mehreren Komponenten innerhalb von Servern des einen oder der mehreren Gestelle des Rechenzentrums zugeordnet sind; und Ermöglichen, dass die Durchflussregler die Bewegung von zwei Kühlmedien erleichtern, indem sie die Durchflussregler, die den zwei Kühlmedien zugeordnet sind, dazu steuern, die unterschiedlichen Kühlungsanforderungen zu berücksichtigen.
Verfahren nach Anspruch 26, ferner umfassend: Ermöglichen eines oder mehrerer des phasenbasierten Kühlsubsystems und des dielektrikumbasierten Kühlsubsystems unter Verwendung eines kältemittelbasierten Wärmeübertragungssubsystems; und Ermöglichen eines oder mehrerer des luftbasierten Kühlsubsystems und des flüssigkeitsbasierten Kühlsubsystems unter Verwendung eines kühlmittelbasierten Wärmeübertragungssubsystems.
Verfahren nach Anspruch 26, ferner umfassend: Ermöglichen des phasenbasierten Kühlsubsystems und des dielektrikumbasierten Kühlsubsystems unter Verwendung eines dielektrischen Kältemittels.
Verfahren nach Anspruch 26, ferner umfassend: Leiten eines ersten Kühlmediums zu mindestens einem ersten Gestellverteiler des Rechenzentrums gemäß einem ersten Wärmemerkmal oder einer ersten Kühlungsanforderung des mindestens einen ersten Gestells unter Verwendung eines ersten individuellen Kühlsubsystems des Mehrfachmodus-Kühlsubsystems mit zugeordneten ersten Schleifenkomponenten; und Leiten eines zweiten Kühlmediums zu mindestens einem zweiten Gestellverteiler des Rechenzentrums gemäß einem zweiten Wärmemerkmal oder einer zweiten Kühlungsanforderung des mindestens einen zweiten Gestells unter Verwendung eines zweiten individuellen Kühlsubsystems des Mehrfachmodus-Kühlsubsystems mit zugeordneten zweiten Schleifenkomponenten.