DE112021001744T5

DE112021001744T5 - Intelligente Steuerung und Verteilung einer Flüssigkeit in einem Rechenzentrum

Info

Publication number: DE112021001744T5
Application number: DE112021001744.6T
Authority: DE
Inventors: Ali Heydari
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2020-05-20
Filing date: 2021-05-17
Publication date: 2023-03-23
Also published as: GB2599768A; GB202110965D0; CN114982393A

Abstract

Ein Kühlsystem für ein Rechenzentrum wird offenbart. Das Kühlsystem für ein Rechenzentrum umfasst einen oder mehrere Flussregler in einem Rackverteiler, einem Serververteiler oder einem Serverfach, um die Bewegung eines Kühlmittels zu erleichtern, das einem sekundären Kühlkreis zugeordnet ist, um eine Komponente innerhalb eines Servers im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht, zu kühlen.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Dies ist eine PCT-Anmeldung der US-Patentanmeldung Nr. 16/879,513 , eingereicht am 20. Mai 2020. Die Offenbarung dieser Anmeldung wird hierin durch Bezugnahme in ihrer Gesamtheit für alle Zwecke aufgenommen.
GEBIET
Mindestens eine Ausführungsform bezieht sich auf intelligente Kühlsysteme für ein Rechenzentrum. In mindestens einer Ausführungsform umfasst ein Kühlsystem für ein Rechenzentrum einen oder mehrere Flussregler in einem Rackverteiler, einem Serververteiler oder einem Servereinschub, um die Bewegung eines Kühlmittels zu erleichtern, das einem sekundären Kühlkreis zugeordnet ist, um eine Komponente in einem Server im Ansprechen darauf, dass die Komponente Ihre Innentemperatur überwacht, zu kühlen.
HINTERGRUND
Kühlsysteme in Rechenzentren verwenden in der Regel Lüfter, um die Luft durch die Serverkomponenten zirkulieren zu lassen. Bestimmte Supercomputer oder andere Hochleistungscomputer können Wasser- oder andere Kühlsysteme als Luftkühlsysteme verwenden, um die Wärme von den Serverkomponenten oder Racks des Rechenzentrums in einen Bereich außerhalb des Rechenzentrums abzuleiten. Die Kühlsysteme können einen Kühler im Bereich des Rechenzentrums umfassen. Bei dem Bereich außerhalb des Rechenzentrums kann es sich um einen Kühlturm oder einen anderen externen Wärmetauscher handeln, der erhitztes Kühlmittel aus dem Rechenzentrum aufnimmt und die Wärme durch Zwangsluft oder andere Mittel an die Umgebung (oder ein externes Kühlmedium) abgibt, bevor das abgekühlte Kühlmittel wieder in das Rechenzentrum zurückgeführt wird. In einem Beispiel bilden die Kältemaschine und der Kühlturm zusammen eine Kühlanlage mit Pumpen, die auf die von externen Geräten im Rechenzentrum gemessene Temperatur reagieren. Luftkühlsysteme ziehen nicht genügend Wärme ab, um eine effektive oder effiziente Kühlung in Rechenzentren zu unterstützen, und Flüssigkeitskühlsysteme können Serverkomponenten oder Racks durch elektrische Kurzschlüsse, Überflutung oder andere Probleme erheblich beschädigen.
Figurenliste
Verschiedene Ausführungsformen in Übereinstimmung mit der vorliegenden Offenbarung werden unter Bezugnahme auf die Zeichnungen beschrieben, in denen:

1 ein Blockdiagramm ist eines beispielhaften Rechenzentrums mit einem Kühlsystem, das in mindestens einer Ausführungsform beschriebenen Verbesserungen unterliegt;
2A, 2B Blockdiagramme sind, die Merkmale auf Server-Ebene veranschaulichen, die intelligente Flussregler in einem Rechenzentrum enthalten, gemäß mindestens einer Ausführungsform;
3A ein weiteres Blockdiagramm ist, das Merkmale auf Rack-Ebene veranschaulicht, die intelligente Flusssteuerungen in einem Rechenzentrum enthalten, gemäß mindestens einer Ausführungsform;
3B ein weiteres Blockdiagramm ist, das Merkmale auf Rechenzentrums-Ebene veranschaulicht, die intelligente Flusssteuerungen in einem Rechenzentrum enthalten, gemäß mindestens einer Ausführungsform;
4A, 4B Illustrationen von Merkmalen sind, die die intelligente Flüssigkeitskühlung und -verteilung auf Server-Ebene ermöglichen, gemäß mindestens einer Ausführungsform;
5 ein Prozessablauf von Schritten ist, die für ein Verfahren zur Verwendung oder Herstellung des Kühlsystems von 2A-17D verfügbar sind, gemäß mindestens einer Ausführungsform;
6A ein beispielhaftes Rechenzentrum zeigt, in welchem mindestens eine Ausführungsform von 2-5 verwendet werden kann;
6B, 6C eine Inferenzierungs- und/oder Trainingslogik zeigen, wie sie in 6A und in mindestens einer Ausführungsform der Erfindung verwendet wird, um ein intelligentes Kühlsystem eines Rechenzentrums zu ermöglichen und/oder zu unterstützen, gemäß verschiedenen Ausführungsformen;
7A ein Blockdiagramm ist, das ein beispielhaftes Computersystem veranschaulicht, das ein System mit miteinander verbundenen Geräten und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor gebildet wird, der Ausführungseinheiten enthalten kann, um eine Anweisung auszuführen, um ein hierin beschriebenes intelligentes Kühlsystem zu unterstützen und/oder zu ermöglichen, gemäß mindestens einer Ausführungsform;
7B ein Blockdiagramm ist, das ein elektronisches Gerät zur Verwendung eines Prozessors zur Unterstützung und/oder Ermöglichung eines hierin beschriebenen intelligenten Kühlsystems zeigt, gemäß mindestens einer Ausführungsform;
7C ein Blockdiagramm ist, das ein elektronisches Gerät zur Verwendung eines Prozessors zur Unterstützung und/oder Ermöglichung eines hierin beschriebenen intelligenten Kühlsystems zeigt, gemäß mindestens einer Ausführungsform;
8 ein weiteres Beispiel für ein Computersystem zeigt, zur Implementierung verschiedener Prozesse und Verfahren für ein in dieser Offenbarung beschriebenes intelligentes Kühlsystem, gemäß mindestens einer Ausführungsform;
9A eine beispielhafte Architektur zeigt, in der GPUs über Hochgeschwindigkeitsverbindungen kommunikativ mit Mehrkernprozessoren gekoppelt sind, um intelligentes Kühlsystem zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der Erfindung;
9B zusätzliche Details für eine (Zwischen-)Verbindung zwischen einem Mehrkernprozessor und einem Grafikbeschleunigungsmodul zeigt, gemäß einer beispielhaften Ausführungsform;
9C eine weitere beispielhafte Ausführungsform zeigt, bei der ein Beschleuniger-Integrationsschaltkreis in einen Prozessor integriert ist, um ein intelligentes Kühlsystem zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der Erfindung;
9D ein beispielhaftes Beschleunigungs-Integrations-Slice 990 zeigt zur Ermöglichung und/oder Unterstützung eines intelligenten Kühlsystems, gemäß mindestens einer Ausführungsform der Erfindung;
9E zusätzliche Details zeigt für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells, um ein intelligentes Kühlsystem zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der Erfindung;
9F zusätzliche Details zeigt für eine beispielhafte Ausführungsform eines vereinigten Speichers, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher und GPU-Speicher verwendet wird, um ein intelligentes Kühlsystem zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der Erfindung;
10A beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren zeigt, gemäß hierin beschriebenen Ausführungsformen für ein intelligentes Kühlsystem;
10B-10C beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren zeigen, gemäß mindestens einer Ausführungsform, um ein intelligentes Kühlsystem zu unterstützen und/oder zu ermöglichen;
10D-10E eine zusätzliche beispielhafte Grafikprozessorlogik zeigen, gemäß mindestens einer Ausführungsform, um ein intelligentes Kühlsystem zu unterstützen und/oder zu ermöglichen;
11A ein Blockdiagramm ist, das ein Computersystem zur Unterstützung und/oder Ermöglichung eines intelligenten Kühlsystems zeigt, gemäß mindestens einer Ausführungsform;
11B einen Parallelprozessor zeigt zur Unterstützung und/oder Ermöglichung eines intelligenten Kühlsystems, gemäß mindestens einer Ausführungsform;
11C ein Blockdiagramm einer Partitionierungseinheit ist, gemäß mindestens einer Ausführungsform;
11D einen Grafik-Multiprozessor zeigt, der für ein intelligentes Kühlsystem verwendet wird, gemäß mindestens einer Ausführungsform;
11E einen Grafik-Multiprozessor zeigt, gemäß mindestens einer Ausführungsform;
12A ein Multi-GPU-Rechensystem zeigt, gemäß mindestens einer Ausführungsform;
12B ein Blockdiagramm eines Grafikprozessors ist, gemäß mindestens einer Ausführungsform;
13 ein Blockdiagramm ist, das eine Mikroarchitektur eines Prozessors veranschaulicht, der Logikschaltungen zur Ausführung von Anweisungen beinhalten kann, gemäß mindestens einer Ausführungsform;
14 einen Deep-Learning-Anwendungsprozessor zeigt, gemäß mindestens einer Ausführungsform;
15 ein Blockdiagramm eines neuromorphen Prozessors ist, gemäß mindestens einer Ausführungsform;
16A ein Blockdiagramm eines Verarbeitungssystems ist, gemäß mindestens einer Ausführungsform;
16B ein Blockdiagramm eines Prozessors mit einem oder mehreren Prozessorkernen, einem integrierten Speichercontroller und einem integrierten Grafikprozessor ist, gemäß mindestens einer Ausführungsform;
16C ein Blockdiagramm von Hardware-Logik eines Grafikprozessorkerns ist, gemäß mindestens einer Ausführungsform;
16D-16E eine Thread-Ausführungslogik mit einer Anordnung von Verarbeitungselementen eines Grafikprozessorkerns zeigen, gemäß mindestens einer Ausführungsform;
17A eine Parallelverarbeitungseinheit zeigt, gemäß mindestens einer Ausführungsform;
17B einen allgemeinen Verarbeitungscluster zeigt, gemäß mindestens einer Ausführungsform;
17C eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit zeigt, gemäß mindestens einer Ausführungsform; und
17D einen Streaming-Multiprozessor zeigt, gemäß mindestens einer Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
Die Luftkühlung von Servern mit hoher Leistungsdichte ist ineffizient und ineffektiv angesichts des hohen Wärmebedarfs, den die heutigen Rechenkomponenten verursachen. Daher sucht die vorliegende Offenbarung nach Perspektiven für flüssige Kühlmittel und zugehörige Systeme zur Kühlung von Rechenkomponenten wie beispielsweise einer Grafikverarbeitungseinheit (GPU), einer zentralen Verarbeitungseinheit (CPU) oder Schaltkomponenten. Diese Rechenkomponenten werden in Servern verwendet, die in Servereinschüben auf Gestellen bzw. Racks in einem Rechenzentrum montiert sind. Da die Rechenkomponenten durch technologische Fortschritte miniaturisiert werden, nehmen die Servereinschübe und die Racks immer mehr Rechenkomponenten auf, so dass mehr Wärme pro Komponente abgeleitet werden muss als in früheren Systemen. Ein Problem, mit dem sich die vorliegende Offenbarung befasst, ist die Unfähigkeit, bestimmte Komponenten direkt oder kontrolliert zu kühlen. Dieses Problem wird zum Teil durch eine intelligente Flüssigkeitssteuerung und Verteilung eines Kühlmittels durch einen oder mehrere Flusssteuerungen bzw. Flussregler in einem Rackverteiler, einem Serververteiler oder einem Servereinschub gelöst, die die Bewegung des Kühlmittels, das einem sekundären Kühlkreis bzw. einer sekundären Kühlschleife zugeordnet ist, erleichtern, um eine Komponente innerhalb eines Servers im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht, zu kühlen.
Da GPUs, CPUs und Speicherkomponenten, die Servern und Racks zugeordnet sein können, einen höheren Stromverbrauch und eine höhere Wärmeabgabe aufweisen, wird die Flüssigkeitskühlung für das Rechenzentrum, in dem solche Racks und Server untergebracht sind, immer effektiver. Die Kühlung kann jedoch im Ansprechen auf in den Servern und Racks positionierte Sensoren erfolgen. Die Kühlung unter Verwendung solcher Sensoren erleichtert möglicherweise nicht die intelligente Flussverteilung von flüssigem Kühlmittel an unabhängige Komponenten, die unterschiedliche Kühlanforderungen haben können, weil das Kühlmittel zumindest in vorgesehenen Bahnen durch die Racks und Server fließt.
In mindestens einer Ausführungsform kann eine intelligente Flüssigkeitssteuerung und Verteilung von Kühlmittel für Komponenten auf den Server- und Rack-Ebenen eines Rechenzentrums durch Konstruktions- und Steuermechanismen von mindestens einem oder mehreren Flussreglern erreicht werden, die auf die Innentemperatur einer Komponente reagieren, um die Wärmeabgabe auf der Komponenten-Ebene zu steuern. In mindestens einer Ausführungsform kann die Komponente eine GPU, ein Switch, eine CPU oder Speicherkarten oder -sticks, wie z.B. DIMM (Dual Inline Memory Module)-Sticks, sein. In mindestens einer Ausführungsform können GPUs, CPUs, Switches, Speichergeräte und andere Komponenten in einem Server einen integrierten Chip-Sensor (z.B. einen Thermotransistor) oder einen Gehäusewärmesensor enthalten. In mindestens einer Ausführungsform ist die Komponente dazu angepasst oder konfiguriert, einen Spannungs- und/oder Stromwert zu liefern, der für ihre Temperatur oder ihren Temperaturwert repräsentativ ist. Beispielsweise können Spannungs- und/oder Stromwerte aus dem Thermotransistor verwendet werden, um auf die Temperatur innerhalb des Chips zu schließen. In mindestens einer Ausführungsform werden die Merkmale auf Komponenten-Ebene durch die Nutzung von Miniaturpumpen oder anderen Flusssteuerungsvorrichtungen als der eine oder die mehreren Flussregler ermöglicht, die auf die internen thermischen Anforderungen der Komponenten reagieren. In ähnlicher Weise kann eine Reihe, wie beispielsweise eine parallele oder serielle Kopplung der vorstehenden beispielhaften Komponenten, unter Verwendung von ähnlichen Flussreglern gekühlt werden, die zumindest auf eine interne Temperatur bzw. Innentemperatur einer der Komponenten der gekoppelten Gruppen ansprechen. Die Kopplung bezieht sich auf den Flussweg des Kühlmittels und muss nicht unbedingt eine elektrische Kopplung zwischen einer oder mehreren der vorstehenden beispielhaften Komponenten implizieren, aber eine elektrische Kopplung kann der Fall sein, wenn Innentemperaturen zwischen zwei oder mehr der vorstehenden beispielhaften Komponenten kommuniziert werden müssen. In mindestens einer Ausführungsform ermöglicht das vorliegende Kühlsystem eine Flusssteuerung bzw. -regelung und intelligente Flüssigkeitsverteilung zur Kühlung von Servern und Racks mit hoher Wärmedichte in Rechenzentren.
1 ist ein Blockdiagramm eines beispielhaften Rechenzentrums 100 mit einem Kühlsystem, das den in mindestens einer Ausführungsform beschriebenen Verbesserungen unterliegt. Das Rechenzentrum 100 kann aus einem oder mehreren Räumen 102 mit Racks 110 und Zusatzgeräten bestehen, um einen oder mehrere Server auf einem oder mehreren Server-Trays bzw. Servereinschüben unterzubringen. Das Rechenzentrum 100 wird von einem Kühlturm 104 unterstützt, der sich außerhalb des Rechenzentrums 100 befindet. Der Kühlturm 104 leitet die Wärme aus dem Inneren des Rechenzentrums 100 ab, indem er auf einen primären Kühlkreislauf 106 einwirkt. Außerdem wird zwischen dem primären Kühlkreislauf 106 und einem zweiten oder sekundären Kühlkreislauf 108 eine Kühlverteilungseinheit (CDU; cooling distribution unit) 112 eingesetzt, um die Ableitung der Wärme aus dem zweiten oder sekundären Kühlkreislauf 108 in den primären Kühlkreislauf 106 zu ermöglichen. Der sekundäre Kühlkreislauf 108 ist in einem Aspekt in der Lage, auf verschiedene Leitungen bis in den Servereinschub hinein zugreifen. Die Kreisläufe 106, 108 sind als Strichzeichnungen dargestellt, aber der Fachmann wird erkennen, dass eine oder mehrere Rohrleitungsmerkmale verwendet werden können. In einem Fall können flexible Polyvinylchlorid (PVC)-Rohre zusammen mit zugehörigen Rohrleitungen verwendet werden, um das Fluid in jedem der Kreisläufe 106, 108 zu bewegen. In mindestens einer Ausführungsform können eine oder mehrere Kühlmittelpumpen verwendet werden, um Druckunterschiede in den Kreisläufen 106, 108 aufrechtzuerhalten, um die Bewegung des Kühlmittels entsprechend den Temperatursensoren an verschiedenen Stellen zu ermöglichen, einschließlich im Raum, in einem oder mehreren Racks 110 und/oder in Serverkästen oder Servereinschüben innerhalb der Racks 110.
In mindestens einer Ausführungsform kann das Kühlmittel im primären Kühlkreislauf 106 und im sekundären Kühlkreislauf 108 mindestens aus Wasser und einem Zusatzstoff, z.B. Glykol oder Propylenglykol, bestehen. Im Betrieb hat jeder der primären und sekundären Kühlkreisläufe sein eigenes Kühlmittel. In einem Aspekt kann das Kühlmittel in den sekundären Kühlkreisläufen auf die Anforderungen der Komponenten im Servereinschub oder in den Racks 110 abgestimmt sein. Die CDU 112 ist in der Lage, die Kühlmittel in den Kreisläufen 106, 108 unabhängig oder gleichzeitig zu steuern. So kann die CDU beispielsweise die Durchflussmenge so regeln, dass die Kühlmittel in geeigneter Weise verteilt werden, um die in den Racks 110 erzeugte Wärme abzuführen. Darüber hinaus sind von dem sekundären Kühlkreislauf 108 flexiblere Schläuche 114 bereitgestellt, die in jeden Servereinschub führen und Kühlmittel zu den elektrischen und/oder Rechenkomponenten leiten. In der vorliegenden Offenbarung werden die elektrischen und/oder Rechenkomponenten austauschbar verwendet, um sich auf die wärmeerzeugenden Komponenten zu beziehen, die von dem vorliegenden Kühlsystem für Rechenzentren profitieren. Die Rohre 118, die Teil des sekundären Kühlkreislaufs 108 sind, können als Raumverteiler bezeichnet werden. Getrennt davon können die Rohre 116, die sich von den Rohren 118 aus erstrecken, ebenfalls Teil des sekundären Kühlkreislaufs 108 sein, können jedoch als Reihenverteiler bezeichnet werden. Die Rohre 114 treten in die Racks als Teil des sekundären Kühlkreislaufs 108 ein, können aber als Rack-Kühlverteiler bezeichnet werden. Außerdem erstrecken sich die Reihenverteiler 116 zu allen Racks entlang einer Reihe im Rechenzentrum 100. Die Verrohrung des sekundären Kühlkreislaufs 108, einschließlich der Verteiler 118, 116 und 114, kann durch mindestens eine Ausführungsform der Erfindung verbessert werden. Eine Kältemaschine 120 kann im primären Kühlkreislauf im Rechenzentrum 102 vorgesehen sein, um die Kühlung vor dem Kühlturm zu unterstützen. In dem Ma-ße, in dem zusätzliche Kreisläufe im primären Regelkreis vorhanden sind, wird der Fachmann beim Lesen der Offenbarung erkennen, dass die zusätzlichen Kreisläufe für die Kühlung außerhalb des Racks und außerhalb des sekundären Kühlkreislaufs sorgen; sie können für diese Erfindung mit dem primären Kühlkreislauf zusammengenommen werden.
In mindestens einer Ausführungsform kann im Betrieb in den Servereinschüben der Racks 110 erzeugte Wärme über die flexiblen Schläuche des Reihenverteilers 114 des zweiten Kühlkreislaufs 108 an ein aus den Racks 110 austretendes Kühlmittel übertragen werden. Das zweite Kühlmittel (im zweiten Kühlkreislauf 108) von der CDU 112 zur Kühlung der Racks 110 bewegt sich zu den Racks 110. Das zweite Kühlmittel aus der CDU 112 fließt von einer Seite des Raumverteilers mit Schläuchen 118 zu einer Seite des Racks 110 über den Reihenverteiler 116 und durch eine Seite des Server-Trays über Schläuche 114. Das verbrauchte zweite Kühlmittel (oder das austretende zweite Kühlmittel, das die Wärme der Rechenkomponenten transportiert) tritt auf einer anderen Seite des Servereinschubs aus (z.B. tritt es auf der linken Seite des Racks ein und verlässt den Servereinschub auf der rechten Seite des Racks, nachdem es einen Kreislauf durch den Servereinschub oder durch Komponenten auf dem Servereinschub durchlaufen hat). Das verbrauchte zweite Kühlmittel, das den Servereinschub oder das Rack 110 verlässt, tritt auf einer anderen Seite (z.B. auf der Austrittsseite) der Rohrleitung 114 aus und bewegt sich zu einer parallelen, aber ebenfalls austretenden Seite des Reihenverteilers 116. Vom Reihenverteiler 116 bewegt sich das verbrauchte zweite Kühlmittel in einem parallelen Abschnitt des Raumverteilers 118 in die entgegengesetzte Richtung wie das einströmende zweite Kühlmittel (das auch das erneuerte zweite Kühlmittel sein kann) und in Richtung der CDU 112.
In mindestens einer Ausführungsform tauscht das verbrauchte zweite Kühlmittel seine Wärme mit einem primären Kühlmittel im primären Kühlkreis 106 über die CDU 112 aus. Das verbrauchte zweite Kühlmittel wird erneuert (z.B. relativ abgekühlt im Vergleich zur Temperatur in der Stufe des verbrauchten zweiten Kühlmittels) und ist bereit, über den zweiten Kühlkreis 108 zu den Rechenkomponenten zurückgeleitet zu werden. Verschiedene Fluss- und Temperatursteuerungsfunktionen in der CDU 112 ermöglichen die Steuerung der aus dem verbrauchten zweiten Kühlmittel ausgetauschten Wärme oder des Flusses des zweiten Kühlmittels in und aus der CDU 112. Die CDU 112 ist auch in der Lage, einen Fluss des primären Kühlmittels im primären Kühlkreis 106 zu steuern. Daher ist es möglich, dass einige Komponenten innerhalb der Server und Racks nicht die erforderliche Menge an Kühlmittel erhalten, da der zweite oder sekundäre Kreis Kühlmittel mit seinen Standard-Temperatureigenschaften basierend zum Teil auf den Temperatursensoren, die sich in den Servern und Racks befinden können, bereitstellt.
2A, 2B sind Blockdiagramme, die Merkmale auf Server-Ebene 200; 250 mit intelligenten Flussreglern in einem Rechenzentrum veranschaulichen, gemäß mindestens einer Ausführungsform. In 2A ist in mindestens einer Ausführungsform das Merkmal auf Server-Ebene 200 ein Servereinschub oder ein Serverkasten. Daher kann anstelle des Merkmals auf Server-Ebene 250 auch von einem Server-Tray bzw. einem Servereinschub oder einer Server-Box bzw. einem Serverkasten die Rede sein. Der Servereinschub 200 kann eine oder mehrere Kühlplatten 212-218 (auch als eine Kälteplatte bezeichnet) enthalten. In mindestens einer Ausführungsform ist das Merkmal auf Server-Ebene 200 ein Servereinschub oder -kasten mit einer Kälteplatte, die entweder abnehmbar oder in die Struktur des Servereinschubs oder -kastens integriert (z.B. einteilig) ist. Ein Serververteiler 202A kann innerhalb oder neben dem Servereinschub 200 bereitgestellt sein und kann eine Serververteiler-Kühlverteilungseinheit (CDU; cooling distribution unit) 202B enthalten. Die CDU 202B nimmt mindestens eine Einlassleitung 204 auf oder umfasst diese, die Kühlmittel, das Teil des sekundären Kühlkreises (wie im beispielhaften Rechenzentrum 100) ist oder diesem zugeordnet ist, an das Merkmal auf Server-Ebene 200 liefert. Die CDU 202B stellt auch mindestens eine Auslassleitung 204 zur Rückführung des Kühlmittels (verbrauchtes Kühlmittel) aus dem sekundären Kühlkreis bereit oder verfügt über diese.
2A veranschaulicht auch eine oder mehrere Einlassleitungen auf Komponenten-Ebene 208; 220, um den Komponenten zugeordnetes Kühlmittel bereitzustellen, das über die CDU 202B gekühlt wird. Eine oder mehrere Auslassleitungen auf Komponenten-Ebene 210; 224 sind für den Austritt des den Komponenten zugeordneten Kühlmittels zurück zur CDU 202B vorgesehen. Die Einlassleitungen können mit den Auslassleitungen vertauscht sein, so dass das Kühlmittel den kürzesten Weg zu den Kälteplatten nimmt. In mindestens einer Ausführungsform sind auf der Komponenten-Ebene Zwischenrohrleitungen 228A; 228B bereitgestellt, um Anpassungen oder Konfigurationen für eine serielle Kühlung zu ermöglichen. Die Zwischenverrohrung kann in mindestens einer Ausführungsform die serielle oder parallele Kopplung von Kälteplatten unterstützen und muss nicht verwendet werden, wenn die CDU direkt einer Kälteplatte zugeordnet ist. Eine oder mehrere Kälteplatten 212-218 sind integral oder lösbar mit einer Komponente wie beispielsweise einer GPU, einer CPU, einem Switch und Speichermodulen gekoppelt. Ein oder mehrere Flussregler 226A-D sind bereitgestellt, um die Kühlung einer oder mehrerer Komponenten zu steuern oder zu erleichtern, die einer oder mehreren Kälteplatten 212-218 zugeordnet sind. In mindestens einer Ausführungsform befinden sich der eine oder die mehreren Flussregler 226A-D innerhalb des Servereinschubs des Merkmals auf Server-Ebene 200, um die Bewegung eines Kühlmittels zu erleichtern, das einem sekundären Kühlkreis zugeordnet ist, um eine Komponente zu kühlen, die der einen oder den mehreren Kälteplatten 212-218 innerhalb des Servers zugeordnet ist. Die Kühlung erfolgt im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht, wie in den Beispielen von 4A, 4B weiter veranschaulicht. In mindestens einer Ausführungsform ist das Kühlmittel ein Komponentenkühlmittel in einem Kühlkreis auf Komponenten-Ebene, der Teil des sekundären Kühlkreises ist. Ein sekundäres Kühlmittel des sekundären Kühlkreises kann über die CDU 202B Wärme mit dem Komponentenkühlmittel des Kühlkreises auf Komponenten-Ebene austauschen. In mindestens einer Ausführungsform ist das sekundäre Kühlmittel auch das Komponentenkühlmittel, das sich ausgehend von dem sekundären Steuer- bzw. Regelkreis zu den Komponenten ohne oder mit der CDU 202B erstreckt.
In mindestens einer Ausführungsform werden die Flussregler 226A-D basierend teilweise auf der Innentemperatur einer oder mehrerer der Komponenten gesteuert, die den Kälteplatten 212-218 zugeordnet sind. In mindestens einer Ausführungsform wird, wenn eine Komponente, die der Kälteplatte 212 zugeordnet ist, bestimmt, dass ihre Innentemperatur hoch ist oder eine hohe überwachte Innentemperatur liefert, der Flussregler 226A, der der Einlassleitung 208 und der Komponente zugeordnet ist, veranlasst, mehr Kühlmittel aus dem Kühlkreis auf Komponenten-Ebene mit dem Flussregler 226A (oder direkt aus dem sekundären Kühlkreis) zu der Kälteplatte 212 zu fördern (z.B. zu pumpen). Die Kälteplatte 214 kann davon profitieren, dass sie über die Zwischenverrohrung 228A in Reihe liegt. So kann beispielsweise der Flussregler 226B, der der Kälteplatte 214 zugeordnet ist, inaktiv sein, schränkt aber den Fluss des Kühlmittels im Kühlkreis auf Komponenten-Ebene nicht ein. Dies ist in den Beispielen von 4A, 4B weiter veranschaulicht. So wird eine Flussrate von Kühlmittel innerhalb des Kühlkreises auf Komponenten-Ebene mit den Einlassleitungen 208, den Kälteplatten 212, 214, den Zwischenleitungen 228A und den Auslassleitungen 220 von einer ersten oder Standardflussrate, die ursprünglich von der CDU 202B oder einem Flussregler des sekundären Regelkreises eingestellt wurde, auf eine zweite Flussrate geändert. Die zweite Flussrate kann höher sein und kann es dem Kühlmittel ermöglichen, Wärme von der der Kälteplatte 212 zugeordneten Komponente abzuziehen und auch Wärme von der Komponente abzuziehen, die der seriellen Kälteplatte 214 zugeordnet ist. Diese Wärmeübertragung ist schneller als ohne die Aktivierung des Flussreglers 226A. Ein ähnlicher Betriebsablauf ist mit Flussreglern 226B-D möglich, basierend zum Teil auf einer Innentemperatur der Komponenten, die den zweiten Kälteplatten 214-218 des ersten und des zweiten Kühlkreises auf Komponenten-Ebene zugeordnet sind. Die Konfiguration oder Anpassung von 2A ermöglicht eine direkte parallele und serielle Steuerung von Kühlmittel sowie die Aufrechterhaltung einer parallelen und seriellen Kühlung von Komponenten innerhalb jeweiligen einer der Kühlkreise auf Komponenten-Ebene.
2B veranschaulicht in mindestens einer Ausführungsform ein weiteres Merkmal auf Server-Ebene 250, das intelligente Flussregler in einem Rechenzentrum einschließt. Das Merkmal auf Server-Ebene 250 von 2B kann in Kombination mit oder getrennt von dem Merkmal auf Server-Ebene 200 von 2A verwendet werden. Das Merkmal auf Server-Ebene 250 ist ein Servereinschub oder ein Serverkasten. Daher kann anstelle des Merkmals auf Server-Ebene 250 auch von einem Servereinschub oder einer Server-Box die Rede sein. Der Servereinschub 250 kann eine Kälteplatte 262-268 enthalten. In mindestens einer Ausführungsform ist das Merkmal auf Server-Ebene 250 ein Servereinschub oder -kasten mit der Kälteplatte, der entnehmbar oder integriert (z.B. einteilig bzw. „unibody“) ist. Ein Serververteiler 252A kann innerhalb oder neben dem Servereinschub 250 bereitgestellt sein und kann eine Serververteiler-Kühlverteilungseinheit (CDU) 252B enthalten. Die CDU 252B empfängt oder beinhaltet mindestens eine Einlassleitung 254, die Kühlmittel aus dem sekundären Kühlkreis (wie in dem beispielhaften Rechenzentrum 100) zum Servereinschub 250 liefert. Die CDU 252B stellt auch mindestens eine Auslassleitung 254 zur Rückführung des Kühlmittels (verbrauchtes Kühlmittel) in den sekundären Kühlkreis bereit oder verfügt über diese.
2B veranschaulicht auch eine oder mehrere Einlassleitungen auf Komponenten-Ebene 258; 270, um den Komponenten zugeordnetes Kühlmittel bereitzustellen, das über die CDU 252B gekühlt wird. Eine oder mehrere Auslassleitungen auf Komponenten-Ebene 260; 274 sind für den Austritt des den Komponenten zugeordneten Kühlmittels zurück zur CDU 252B vorgesehen. In mindestens einer Ausführungsform sind auf der Komponenten-Ebene Zwischenauslassrohre 278A; 278B vorgesehen, um Anpassungen oder Konfigurationen für serielle Kühlung zu ermöglichen. Eine oder mehrere Kälteplatten 262-268 sind integral oder lösbar mit einer Komponente wie beispielsweise einer GPU, einer CPU, einem Switch und Speichermodulen gekoppelt. Ein oder mehrere Flussregler 276A, B sind bereitgestellt, um die Kühlung einer oder mehrerer Komponenten zu steuern oder zu erleichtern, die einer oder mehreren Kälteplatten 262-268 zugeordnet sind. In mindestens einer Ausführungsform, die sich von dem Merkmal auf Server-Ebene 200 von 2A unterscheidet, befinden sich der eine oder die mehreren Flussregler 276A-D neben dem Serververteiler 252A (z.B. innerhalb oder direkt außerhalb des Serververteilers).
In mindestens einer Ausführungsform erleichtert das Merkmal auf Server-Ebene 250 von 2B die Bewegung eines Kühlmittels, das einem sekundären Kühlkreis zugeordnet ist, zum Kühlen einer Komponente, die einer oder mehreren der Kälteplatten 262-268 innerhalb des Servers des Merkmals auf Server-Ebene 250 zugeordnet ist. Die Kühlung erfolgt im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht, wie in den Beispielen von 4A, 4B weiter veranschaulicht. In mindestens einer Ausführungsform ist das Kühlmittel ein Komponentenkühlmittel in einem Kühlkreis auf Komponenten-Ebene, der Teil des sekundären Kühlkreises ist. Ein sekundäres Kühlmittel des sekundären Kühlkreises kann über die CDU 252B Wärme mit dem Komponentenkühlmittel des Kühlkreises auf Komponenten-Ebene austauschen. In mindestens einer Ausführungsform ist das sekundäre Kühlmittel auch das Komponentenkühlmittel, das sich von dem sekundären Regelkreis zu den Komponenten ohne oder mit der CDU 202B erstreckt. Diese Konfiguration oder Anpassung in 2B ermöglicht die parallele Kühlung einer oder mehrerer zugehöriger Komponenten. Insbesondere werden Komponenten, die den Kälteplatten 262, 264 entlang des Kühlkreises auf Komponenten-Ebene mit dem Einlass 258, dem Auslass 260 und der Zwischenverrohrung 278A zugeordnet sind, deutlich stärker gekühlt als die Komponenten, die den Kälteplatten 266, 268 entlang des zweiten Kühlkreises auf Komponenten-Ebene mit dem zweiten Einlass 270, dem zweiten Auslass 274 und der zweiten Zwischenverrohrung 278B zugeordnet sind.
In mindestens einer Ausführungsform werden die Flussregler 276A, 276B basierend zum Teil auf einer Innentemperatur einer oder mehrerer der den Kälteplatten 262-268 zugeordneten Komponenten gesteuert. In mindestens einer Ausführungsform wird, wenn eine der Kälteplatte 262 zugeordnete Komponente bestimmt, dass ihre Innentemperatur hoch ist, oder eine hohe überwachte Innentemperatur liefert, der der Einlassleitung 258 und der Komponente zugeordnete Flussregler 276A veranlasst, mehr Kühlmittel aus dem Kühlkreis auf Komponenten-Ebene mit dem Flussregler 276A (oder direkt aus dem sekundären Kühlkreis) zu der Kälteplatte 262 zu fördern (z.B. zu pumpen). Die Kälteplatte 264 kann davon profitieren, dass sie über die Zwischenverrohrung 278A in Reihe liegt. Dadurch wird eine Flussrate des Kühlmittels innerhalb des Kühlkreises auf Komponenten-Ebene mit der Einlassleitung 258, den Kälteplatten 262, 264, der Zwischenleitung 278A und der Auslassleitung 260 von einer ersten oder Standard-Flussrate, die ursprünglich von der CDU 252B oder einem Flussregler des sekundären Regelkreises eingestellt wurde, auf eine zweite Flussrate geändert. Die zweite Flussrate kann höher sein und schneller Wärme von der zugehörigen Komponente zu den Kälteplatten 262, 264 abziehen als ohne Aktivierung des Flussreglers 276A. Ein ähnlicher Betriebsablauf ist mit dem Flussregler 276B möglich, der zum Teil auf einer Innentemperatur von Komponenten basiert, die den zweiten Kälteplatten 266, 268 des zweiten Kühlkreises auf Komponenten-Ebene zugeordnet sind. Die Konfiguration oder Anpassung von 2B unterscheidet sich von 2A in Bezug auf die parallele Steuerung des Kühlmittels, während die serielle Kühlung von Komponenten innerhalb desselben Kühlkreises auf Komponenten-Ebene beibehalten wird.
3A ist ein weiteres Blockdiagramm, das Merkmale auf Rack-Ebene 300 mit intelligenten Flussreglern in einem Rechenzentrum veranschaulicht, gemäß mindestens einer Ausführungsform. Anders als in 2A und 2B sind Flussregler 310A-N in dem Rackverteiler 302A bereitgestellt. In mindestens einer Ausführungsform können die Merkmale auf Rack-Ebene 300 mit den Merkmalen auf Server-Ebene 200; 250 von 2A, 2B kombiniert oder getrennt davon beibehalten sein. 3A veranschaulicht einen Einlass-Rackverteiler 302A und einen Auslass-Rackverteiler 302B. Kühlmittel 304 aus dem sekundären Kühlkreis fließt durch dem Einlass-Rackverteiler 302A zugeordnete Verteilerrohre 306 und kann über einen oder mehrere der Flussregler 310A-N je nach den Anforderungen in jedem von Servereinschüben, Serverkästen oder Kälteplatten (darin) gesteuert werden, allgemeinen gekennzeichnet mit dem Bezugszeichen 318. In mindestens einer Ausführungsform kann, wenn eine Komponente in einer Kälteplatte in einem der Servereinschübe 318 bestimmt, dass ihre Innentemperatur hoch ist, oder eine hohe überwachte Innentemperatur liefert, der entsprechende Flussregler der Flussregler 310A-N aktiviert werden, um mehr Kühlmittel aus dem sekundären Kühlkreis mit dem entsprechenden Flussregler durch eine entsprechende Einlassleitung von Einlassleitungen 308A-N zu der Kälteplatte der Komponente zu fördern (z.B. zu pumpen). In mindestens einer Ausführungsform ist es möglich, den geeigneten Flussregler so zuzuordnen, dass er basierend teilweise auf einer durchschnittlichen Innentemperatur einer Anzahl von Komponenten aktiviert wird, aber an eine der Komponenten gemeldet wird oder von einer Vorrichtung erfasst wird, die mit dem geeigneten Flussregler verbunden ist. Die Konfiguration oder Anpassung von 3A ermöglicht die direkte Steuerung des Kühlmittels sowie die Aufrechterhaltung der Kühlung der Komponenten innerhalb jeweiliger einer der Servereinschübe des sekundären Regelkreises.
Kälteplatten in einem nachfolgenden einen der Servereinschübe 318, die nicht als Kälteplatte zur gezielten Kühlung vorgesehen sind, können jedoch davon profitieren, dass sie in Reihe liegen, wie in 3A dargestellt. Bei Flussreglern, die sich weiter von der vorgesehenen Kälteplatte entfernt befinden, können die Auswirkungen der unterstützenden Wirkung eines Flussreglers der vorgesehenen Kälteplatte jedoch geringer ausfallen. Um die Auswirkungen einer unbeabsichtigten Kühlung für benachbarte Kälteplatten zu verringern, können ferner separate Rohrleitungen von dem sekundären Kühlkreis verwendet werden, um bestehende Kühlkreise auf Komponenten-Ebene für eine oder mehrere Komponenten zu ergänzen. Verbrauchtes Kühlmittel oder Kühlmittel, das Wärme von den Kälteplatten der Server 318 abführt, kann die Server 318 über Auslassleitungen 312A-N durch die Verteilerleitungen 314 des Auslassverteilers 302B und zurück in den sekundären Kühlkreis verlassen, wie durch austretendes Kühlmittel 316 dargestellt.
In mindestens einer Ausführungsform kann ein Flussregler auf einer Austritts- bzw. Ausgangsseite der Rohrleitung in einem beliebigen der Merkmale auf Rack- oder Server-Ebene bereitgestellt sein. Ferner hinaus kann ein Flussregler sowohl auf der Eintritts- bzw. Eingangs- als auch auf der Ausgangsseite der Rohrleitung in einem beliebigen der Merkmale auf Rack- oder Server-Ebene vorgesehen sein. Wenn sich der Flussregler auf der Ausgangsseite befindet, führt er eher eine Saugwirkung als eine Druckwirkung aus. Wenn zwei Flussregler im Tandem arbeiten, gibt es sowohl Saugals auch Druckvorgänge. Die erzielten Flussraten können bei den Tandem-Flussreglern höher sein. Die Konfiguration oder Anpassung der Flussregler kann z.B. durch Anforderungen der Komponenten bestimmt werden.
In mindestens einer Ausführungsform ermöglicht die Reihen- bzw. Serienkopplung von zwei des einen oder der mehreren Flussregler durch zwei Kälteplatten einem ersten Flussregler, einen ersten Fluss des Kühlmittels in eine erste Kälteplatte zu steuern, und ermöglicht einem zweiten Flussregler, einen zweiten Fluss des Kühlmittels zu steuern, wenn es aus der ersten Kälteplatte austritt und in die zweite Kälteplatte eintritt. In mindestens einer Ausführungsform ermöglicht eine parallele Kopplung von zwei des einen oder der mehreren Flussregler mit zwei Kälteplatten einem ersten Flussregler, einen ersten Fluss des Kühlmittels aus einem Serververteiler in eine erste Kälteplatte zu steuern, und ermöglicht einem zweiten Flussregler, einen zweiten Fluss des Kühlmittels aus dem Serververteiler in die zweite Kälteplatte zu steuern.
3B ist ein weiteres Blockdiagramm, das Merkmale auf Rechenzentrums-Ebene 350 mit intelligenten Flussreglern in einem Rechenzentrum veranschaulicht, gemäß mindestens einer Ausführungsform. Ein Rechenzentrumsraum 352 umfasst Reihen von Racks 354A-N und einen Reihen- oder Raumverteiler 362, der eine CDU auf Reihen- oder Raum-Ebene enthalten kann. In dem Reihen- oder Raumverteiler 362 sind Flussregler 360A-N bereitgestellt. In mindestens einer Ausführungsform können die Merkmale auf Rechenzentrums-Ebene 350 mit den Merkmalen auf Server-Ebene 200, 250 der 2A, 2B oder den Merkmalen auf Rack-Ebene 300 der 3A kombiniert oder getrennt davon beibehalten sein.
In mindestens einer Ausführungsform veranschaulicht 3B eine CDU 368 auf Raum- oder Reihen-Ebene, die Wärme zwischen einem sekundären Kühlkreis und einem primären Kühlkreis austauscht. Der primäre Kühlkreis ist als den Rechenzentrumsraum 352 zu einer Kühlanlage 364 hin verlassend und über Rohrleitungen 366 zu der CDU 368 zurückkehrend dargestellt. Der sekundäre Kühlkreis beginnt ausgehend der CDU 368 über die Rohrleitung 372, die Kühlmittel des sekundären Kühlkreises in den Reihen- oder Raumverteiler 362 leitet. Das Kühlmittel kann dann über Rohrleitungen oder Einlässe 358A-N zu einem oder mehreren der Racks 354A-N geleitet werden. In mindestens einer Ausführungsform steuern Flussregler 360A-N zumindest einen Teil der Flussrate des Kühlmittels in die Racks 354A-N. Wenn beispielsweise eine Komponente im Rack 354A (innerhalb eines der Server) mit höherer Kapazität als normal arbeitet und sich über einen Schwellenwert hinaus erwärmt, kann dies eine Gerätesteuerung oder den Flussregler 360A, der dem Rack 354A zugeordnet ist, veranlassen, die Flussrate des Kühlmittels zu dem Rack zu erhöhen. Da die Zuteilung von Rechenzentrumskomponenten an einen Kunden über mehrere Server in einem Rack oder mehrere Racks erfolgen kann und falls der Kunde eine höhere Komponentennutzung erfährt, können alternativ die Komponenten kumulativ eine höhere Wärmeentwicklung aufweisen. Die Gerätesteuerung oder die gemeinsam kommunizierenden Komponenten können die entsprechenden Flussregler 360A-N veranlassen, Kühlmittel zu pumpen, so dass das Kühlmittel im sekundären Kühlkreis schneller als mit einer Standardflussrate fließt.
In mindestens einer Ausführungsform ist ein weiterer Flussregler 370 innerhalb des Reihen- oder Raumverteilers 362 bereitgestellt, um das Kühlmittel in die CDU 368 zu zirkulieren, so dass es gekühlt und zu den Komponenten der Racks 354A-N zurückzirkuliert werden kann. Ebenfalls dargestellt ist in 3B mindestens eine Ausführungsform, bei der sich die Flussregler 356A-N auf der Rücklaufseite 374A-N der einzelnen Racks befinden, die dem sekundären Kühlkreis zugeordnet sind. Ein oder mehrere Flussregler auf der Einlass- und der Rücklaufseite können verwendet werden, um die Flussrate des Kühlmittels in einem oder mehreren Racks und in die und aus der CDU zu steuern, abhängig von den internen Temperaturen bzw. Innentemperaturen, die von der einer oder den mehreren Komponenten der Racks gemessen werden. In mindestens einer Ausführungsform ist die Rechenzentrumsvorrichtung 368 ein weiteres gestellartiges Rack 354A-N, enthält aber ein CDU-Merkmal zur zusätzlichen Verteilung von Kühlmittel, das direkt von der Kühlanlage 364 bezogen wird.
In mindestens einer Ausführungsform kann, wenn eine Komponente in einer Kälteplatte oder in Verbindung mit einer Kälteplatte in einem der Servereinschübe eines der Racks 354A-N bestimmt, dass ihre Innentemperatur hoch ist, oder sie eine hohe überwachte Innentemperatur aufweist, der entsprechende Flussregler von den Flussreglern 360A-N, 356A-N aktiviert werden, um mehr Kühlmittel aus dem sekundären Kühlkreis mit dem/den entsprechenden Flussregler(n) durch eine entsprechende Einlassleitung der Einlassleitungen 358A-N zu fördern (z.B. zu pumpen) (und zusätzlich durch eine entsprechende Auslassleitung 374A-N zirkulieren zu lassen), so dass die Kälteplatte der Komponente. In mindestens einer Ausführungsform ist es möglich, den entsprechenden Flussregler so zuzuordnen, dass er basierend zum Teil auf einer durchschnittlichen Innentemperatur einer Anzahl von Komponenten aktiviert wird, aber an eine der Komponenten gemeldet wird oder von einer mit dem entsprechenden Flussregler verbundenen Vorrichtung erfasst wird. Die Konfiguration oder Anpassung von 3B ermöglicht die direkte Steuerung des Kühlmittels sowie die Aufrechterhaltung der Kühlung von Komponenten innerhalb der jeweiligen Servereinschübe des sekundären Regelkreises.
4A, 4B sind Illustrationen von Merkmalen 400; 450, die die intelligente Flüssigkeitskühlung und Verteilung von Kühlmittel auf einer Server-Ebene ermöglichen, gemäß mindestens einer Ausführungsform. 4A veranschaulicht beispielsweise Teile von internen Rack-Komponenten 400, einschließlich eines beispielhaften Servereinschubs oder einer beispielhaften Kälteplatte 402, 432 und einer beispielhaften Rechenkomponente 412; 416 zur Kühlung der Rechenkomponenten 412; 416 unter Verwendung des beispielhaften Kühlsystems gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann, wenn eine Kälteplatte in einen Servereinschub integriert ist, ohne Einschränkung auf beide Bezug genommen werden, um einen Begutachter über die hierin verfügbaren Konfigurationen oder Anpassungen zu informieren. In mindestens einer Ausführungsform können die Rechenkomponenten eine Leiterplatte oder Baugruppe 412 mit Anschlüssen 426 oder eine einzelne Rechenkomponente 416, wie z.B. eine GPU, sein. Als solches kann die Kälteplatte auf die einzelne Rechenkomponente oder die Platine oder Baugruppe zugeschnitten sein, die hier beide als Komponenten bezeichnet werden. Ferner können die Komponenten, ob die einzelne Rechenkomponente oder die Platine oder Baugruppe, in der Lage sein, ihre jeweiligen Innentemperaturen zu überwachen und auszugeben.
In mindestens einer Ausführungsform kann die Leiterplatte 412 einen Bereich 428 für eine zusätzliche Rechenkomponente, z.B. eine oder mehrere GPUs oder CPUs 416, und andere Bereiche für Speicher, Switches und andere Komponenten enthalten. Darüber hinaus umfasst der beispielhafte Servereinschub oder die beispielhafte Kälteplatte einen oder mehrere untere Abschnitte 402 und einen oberen Abschnitt 432. Wenn ausgewählte Schaltkreiskomponenten flüssigkeitsgekühlt sind, können Einlass- und Auslasskoppler 422, 424 an der zusätzlichen Rechenkomponente 416 vorhanden sein. Die Einlass- und Auslasskoppler 422, 424 ermöglichen die Verteilung von Kühlmittel aus dem zweiten Kühlkreis über die Einlass- und Auslasskoppler 408, 406 des Servereinschubs oder der Kälteplatte 402. Die zusätzliche Rechenkomponente kann an der Leiterplatte oder Baugruppe 412 in dem dafür vorgesehenen Bereich 428 eingesteckt und befestigt sein. Die Leiterplatte oder Baugruppe 412 kann ihrerseits einen Einlasskoppler 420 und einen Auslasskoppler 418 zum Empfangen und Rückführen von Kühlmittel aus dem zweiten Kühlkreis umfassen. Als solche kann die zusätzliche Rechenkomponente 416 mit den Gegenkopplern 408, 406 oder mit den Einlass- oder Auslasskopplern 420, 418 der Leiterplatte oder Baugruppe 412 gekoppelt sein.
In mindestens einer Ausführungsform kann der Servereinschub oder die Kälteplatte, entweder an dem unteren Teil 402 oder an dem oberen Teil 432, einen eingeschlossenen Kanal 404; 436 aufweisen, der sich durch den Einschub oder die Platte schleifen kann. Der eingeschlossene Kanal 436 des oberen Abschnitts 432 ist über Servereinschub-Koppler (oder Gegenkoppler) 442, 434 mit dem Rack-Kühlverteiler verbunden. Darüber hinaus kann der eingeschlossene Kanal 436 ein flexibler Schlauch innerhalb des Servereinschubs sein, der über Serverkoppler 438, 440 mit den Kopplern der Rechenkomponenten 422, 424 mit dem Rack-Kühlverteiler verbunden ist. Der eingeschlossene Kanal kann sich nur an dem oberen Teil 432 befinden und von Lüftern 430 an dem oberen Teil unterstützt werden, statt im unteren Teil 402, kann aber auch in beiden Teilen vorhanden sein. Der eingeschlossene Kanal eines der beiden Teile des Servereinschubs oder der Kälteplatte kann Kühlung bereitstellen, ohne eine weitere Verrohrung zu den Rechenkomponenten oder den zusätzlichen Rechenkomponenten zu erfordern, über die Koppler an dem oberen Teil, die direkt mit Kopplern an der Rechenkomponente oder den zusätzlichen Rechenkomponenten koppeln. Sowohl der geschlossene Kanal als auch die weitere Verbindung zu den Rechen- und zusätzlichen Rechenkomponenten kann jedoch gleichzeitig bestehen. Wenn der Einschub 402 eine Kälteplatte ist, können Lüfter 430 vorhanden sein. Die Lüfter 430 können eine zusätzliche erzwungene Luftzirkulation für das Kühlmittel bereitstellen. Der Einschub weist einen Zwischenraum 410 auf, um die Anschlüsse 426 aufzunehmen.
4B stellt weitere Illustrationen von Merkmalen 450 bereit, die die intelligente Flüssigkeitskühlung und Verteilung von Kühlmittel auf Server-Ebene ermöglichen, gemäß mindestens einer Ausführungsform. Ein Koppler 454 stellt einen Einlass für Rohrleitungen 456 eines Kühlkreises auf Komponenten-Ebene in einem Servereinschub 452 bereit. Ein weiterer Koppler 458 stellt einen Auslass für das Kühlmittel des Kühlkreises der Komponenten-Ebene bereit. Der Servereinschub 452 enthält möglicherweise keine integrierte Kälteplatte. Ferner illustriert 4B Kupplungen 474, 488 und eine zweite Rohrleitung 476, die einen zusätzlichen oder zweiten Kühlkreis auf Komponenten-Ebene für den Servereinschub 452 bereitstellt. Zusätzliche Koppler 482A, 482B, 486A, 486B sind bereitgestellt, um die Komponenten 468, 470 gezielt mit Kühlmittel zu versorgen. Eine Leiterplatte oder Baugruppe 484 enthält Steckplätze oder Sockel 490, 492 für die Komponenten 468, 470.
In mindestens einer Ausführungsform erleichtern zwei Arten von Flussreglern die Bewegung des Kühlmittels, um das Merkmal der intelligenten Verteilung für eine gezielte Kühlung der vorliegenden Offenbarung zu erreichen. Inline-Pumpen 460, 464 befinden sich innerhalb zumindest eines Teils der Rohrleitung 456, um die Bewegung des Kühlmittels innerhalb der Rohrleitung 456 zu erleichtern. In einem Beispiel ermöglicht der standardmäßig immer geöffnete Zustand der Inline-Pumpen eine Standard- oder eine erste Flussrate des Kühlmittels, wie mit Bezug auf 2A, 2B beschrieben. Eine oder mehrere der Inline-Pumpen bewirken, wenn sie aktiviert sind, eine Erhöhung der Flussrate durch mindestens eine Druckwirkung, eine Saugwirkung oder eine Tandemwirkung, wie unter Bezugnahme auf 3A beschrieben. 4B zeigt auch, dass, in mindestens einer Ausführungsform, der Flussregler eine Bypass-Pumpe 480 sein kann. Die Bypass-Pumpe 480 ist in der Lage, einen Bypass-Fluss über die Koppler 478A, 478B von der Rohrleitung 476 bereitzustellen, um beispielsweise Auswirkungen der Flussrate eines Kühlmittels zu reduzieren, die bzw. das auf eine Komponente zwischen den Kopplern 478A, B an der Rohrleitung 476 beaufschlagt wird. Beispielsweise darf die Bypass-Pumpe die Flussmenge des Kühlmittels zu Komponenten vor dem Auslasskoppler 478B nicht erhöhen. Komponenten, die nach der Kopplerstelle 478B Kühlmittel erhalten, wie z.B. 468, 470, über Koppler 482A, 486A, werden jedoch von einer erhöhten Flussrate des Kühlmittels profitieren.
In mindestens einer Ausführungsform veranschaulicht 4B auch, dass die Komponenten 468, 470 in der Lage sind, die Innentemperatur über Leitungen 494 an die Flussregler zu übertragen. Während in 4B die Leitungen 494 als innerhalb der Platine 484 (wie beispielsweise einer Leiterplatte (PCB)) sowie als außerhalb der Platine 484 dargestellt sind, würde der Fachmann erkennen, dass die Leitungen eine PCB-Kopplung oder eine drahtlose Kopplung darstellen können. Die PCB- oder drahtlose Kopplung ermöglicht Übertragungen von Innentemperaturen an eine oder mehrere andere Komponenten auf der Platine 484 oder an den Flussregler direkt oder über eine Gerätesteuerung 462; 466. Die Gerätesteuerung 462; 466 kann über einen Speicher mit Anweisungen und einen Prozessor, der diese Anweisungen ausführt, dazu konfiguriert oder angepasst werden, die Innentemperatur von der einen oder den mehreren Komponenten 468, 470 zu empfangen und einen oder mehrere der Flussregler 460, 480, 464 zu aktivieren. In mindestens einer Ausführungsform kann die Gerätesteuerung 462; 466 in der Lage sein, die Innentemperaturen von Komponenten entlang ihrer jeweiligen Rohrleitung (z.B. Rohrleitung 456 oder Rohrleitung 476) zu erfassen und zu bestimmen, ob eine Flussrate von Kühlmittel zu den Komponenten erhöht werden soll. In mindestens einer Ausführungsform liefert die Komponente selbst eine Innentemperatur, die der Flussregler unabhängig als über einem festgelegten Standardwert liegend bestimmen kann, um den Flussregler zu aktivieren oder auszulösen. Dies kann auch ohne die Gerätesteuerung geschehen. Als solcher kann der Flussregler jedoch begrenzte Funktionen haben, aber kann mit bestimmten Temperaturwerten oder -bereichen hartcodiert sein, oder kann in hierin beschriebenen Weisen dazu angepasst sein, zusätzliche Innentemperaturwerte, -aggregationen oder -bereiche zu unterstützen, die dem Flussregler oder der zugehörige Gerätesteuerung zugeführt werden.
In mindestens einer Ausführungsform ist die Gerätesteuerung 462; 466 Teil eines Rechenzentrum-Managementsystems (DMS), das mindestens einen Prozessor und Speicher mit Anweisungen zur Ausführung mit dem mindestens einen Prozessor enthält, um Verwaltungsfunktionen für das Rechenzentrum durchzuführen, das Merkmale bzw. Funktionen auf Server-Ebene 450 hostet. In mindestens einer Ausführungsform befindet sich die Gerätesteuerung 462; 466 in dem DMS und von den Flussreglern 460, 480, 464 entfernt. In mindestens einer Ausführungsform übermittelt das DMS über zugehörige Gerätesteuerungen drahtlos Anweisungen an die Flusssteuerungen. In mindestens einer Ausführungsform ist ein drahtloser Sender einem Temperatur-Pin-Ausgang der Komponente 468 zugeordnet (entweder direkt oder über eine Leiterbahn, die als Leitungen 494 der Leiterplatte 484 dargestellt ist), und ist dazu angepasst, Temperaturwerte an das DMS zu übertragen. In mindestens einer Ausführungsform können die Temperaturwerte als Spannungs- oder Stromausgabe (in digitalem Format oder umgewandelt aus dem analogen Format) dargestellt werden. In mindestens einer Ausführungsform ist der Flussregler in dem DMS so ausgelegt, dass er Ventilsteuersignale an die Flussregler übermittelt. In mindestens einer Ausführungsform sind die Flussregler drahtlosen Empfängern zugeordnet, um die Steuersignale als zum Beispiel Anweisungen zu empfangen. In mindestens einer Ausführungsform ist der mindestens eine Prozessor des DMS dazu angepasst, die Temperaturwerte entlang eines Kühlmittelpfads zu aggregieren, und dazu angepasst, die Flussregler entlang des Kühlmittelpfads im Ansprechen auf die aggregierten Temperaturwerte zu steuern.
In mindestens einer Ausführungsform ist eine Komponente, wie beispielsweise eine Speichervorrichtung (z.B. DIMMs) 470, in der Lage, ihre Innentemperatur an eine zweite Komponente, wie beispielsweise eine CPU oder GPU 468, zu kommunizieren, die dann in der Lage ist, den Flussregler 480 zu veranlassen, zu aktivieren und zusätzliches Kühlmittel über eine erhöhte Flussrate an die Speichervorrichtung 470 zu liefern. Während in diesem Beispiel die zweite Komponente 468 davon profitiert, dass sie sich in derselben Rohrleitung 476 befindet, ist dies rein zufällig. Alternativ ist die Speichervorrichtung 470 in der Lage, ihre Innentemperatur direkt an den Flussregler oder an die Gerätesteuerung zu kommunizieren, um die erhöhte Flussrate von Kühlmittel in Verbindung mit der Speichervorrichtung zu bewirken. Das Kühlmittel, das mit einer höheren Flussrate in die Rohrleitung 476 gefördert wird, wird den Komponenten über Koppler 482A, 486A zugeführt, tritt über Koppler 482B, 486B zurück in die Rohrleitung 476 aus und über einen Koppler 488 aus dem Servereinschub aus. Die Speichervorrichtung 470 beinhaltet eine Kälteplatte 470A, die das Kühlmittel empfängt und die die Komponente kühlt. Die Komponenten können alle eine ähnliche Kälteplatte mit Kopplern zur Aufnahme von Kühlmittel enthalten. Ein Serververteiler kann eine CDU enthalten zum Austauschen der Wärme des Kühlmittels mit einem zweiten Kühlmittel, das dem sekundären Steuer- bzw. Regelkreis zugeordnet ist, oder das Kühlmittel kann zurück in den sekundären Regelkreis geleitet werden, um seine Wärme mit dem primären Regelkreis auszutauschen. Ferner können, ohne die Flussregler, die Komponenten 468, 470 normalerweise durch eine vorgegebene oder beaufschlagte Flussmenge von der CDU des Serververteilers oder einer CDU außerhalb des Serververteilers, aber beispielsweise an einem Rackverteiler, gekühlt werden.
In mindestens einer Ausführungsform erleichtert der sekundäre Kühlkreis eine Default- oder Standardbewegung von Kühlmittel in einem Kühlkreis auf Komponenten-Ebene oder von einem zweiten Kühlmittel, falls der sekundäre Kühlkreis direkt für eine Komponente verfügbar ist. Das Kühlmittel oder das zweite Kühlmittel ist zunächst durch eine erste Flussmenge gekennzeichnet, die zur Kühlung der Komponente verwendet wird. In mindestens einer Ausführungsform ist die erste Flussrate in Übereinstimmung mit einem Temperatursensor außerhalb der Komponente. Ein solcher Temperatursensor kann sich innerhalb des Servers, des Racks, der Reihe oder des Raums im Rechenzentrum befinden. Anschließend steuert eine Gerätesteuerung oder ein Prozessor innerhalb eines Flussreglers eine Inline-Pumpe oder eine Bypass-Pumpe im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht, so dass die Inline-Pumpe oder die Bypass-Pumpe die Bewegung des Kühlmittels oder des zweiten Kühlmittels, das durch eine zweite Flussrate gekennzeichnet ist, zur Kühlung der Komponente erleichtert bzw. ermöglicht. In mindestens einer Ausführungsform ist die zweite Flussrate höher als die erste Flussrate.
In mindestens einer Ausführungsform kann ein lernendes Subsystem über den Deep-Learning-Anwendungsprozessor, wie beispielsweise den Prozessor 1400 in 14, implementiert sein und kann die Neuronen 1502 und Komponenten derselben verwenden, die unter Verwendung von Schaltkreisen oder Logik implementiert sind, einschließlich einer oder mehrerer Arithmetik-Logik-Einheiten (ALUs), wie in 15 beschrieben. Als solches umfasst das lernende Subsystem mindestens einen Prozessor zum Auswerten bzw. Bewerten von Innentemperaturen einer oder mehrerer Komponenten innerhalb des Servers mit Flussraten, die einem oder mehreren Flussreglern zugeordnet sind. Beispielsweise können die Flussraten, die zum Erreichen einer Innentemperatur für eine bestimmte Komponente verwendet werden, zur Verwendung beim Training des lernenden Subsystems indiziert werden.
Einmal trainiert, wird das lernende Subsystem in der Lage sein, eine Ausgabe bereitzustellen, die einer Flussrate zugeordnet ist, zum Erleichtern bzw. Befördern der Bewegung des Kühlmittels durch Steuern des einen oder der mehreren Flussregler, wie unter Bezugnahme auf 2A-5 beschrieben. In mindestens einer Ausführungsform kann die Innentemperatur, die in dem lernenden Subsystem verwendet wird, ein abgeleiteter Wert aus einem Spannungs- und/oder Stromwert sein, der von einer entsprechenden Komponente ausgegeben wird, aber die Spannung und/oder der Stromwert selbst können verwendet werden, um das lernende Subsystem zu trainieren, zusammen mit der erforderlichen Flussrate, die für ein Kühlmittel erforderlich ist, um diese Innentemperatur zu erreichen. Alternativ spiegelt die Innentemperatur die Temperatur wider, bei der die erforderliche Flussmenge zur Kühlung des Bauteils erforderlich ist, und eine nachfolgende Innentemperatur kann in dem lernenden Subsystem verwendet werden, um die Temperatur widerzuspiegeln, bei der die erforderliche Flussmenge nicht mehr erforderlich ist. Alternativ wird die Differenz zwischen der Innentemperatur und der nachfolgenden Innentemperatur einer Komponente zusammen mit der erforderlichen Flussrate verwendet, um das lernende System darauf zu trainieren, zu erkennen, wann ein zugeordneter Flussregler für die Komponente zu aktivieren und zu deaktivieren ist. Einmal trainiert, ist das lernende Subsystem in der Lage, über eine an anderer Stelle in dieser Offenbarung beschriebene Gerätesteuerung eine oder mehrere Ausgaben bereitzustellen, um den zugeordneten Flussregler im Ansprechen auf eine von der Komponente empfangene Innentemperatur zu steuern.
Ferner führt das lernende Subsystem ein Modell maschinellen Lernens aus, das die Innentemperatur verarbeitet, die aus früheren Anwendungen, vielleicht in einer Testumgebung, gesammelt wurden, um die Innentemperaturen einer oder mehrerer Komponenten zu steuern. Zu den gesammelten Innentemperaturen können gehören: (a) erreichte Innentemperaturen für bestimmte Flussraten des Kühlmittels; (b) erreichte Differenz von Innentemperaturen für bestimmte Flussraten des Kühlmittels für bestimmte Zeiträume; und (c) anfängliche Innentemperaturen und entsprechende Flussraten, die angewandt werden, um die Komponente im optimalen Betrieb zu halten. In mindestens einer Ausführungsform können die gesammelten Informationen einen Hinweis auf den Komponententyp und den Kühlmitteltyp enthalten.
In mindestens einer Ausführungsform können Aspekte der Verarbeitung für das Deep-Learning-Subsystem die gesammelten Informationen verwenden, die in Übereinstimmung mit den Merkmalen verarbeitet werden, die unter Bezugnahme auf 14, 15 diskutiert wurden. In einem Beispiel verwendet die Verarbeitung mehrere Neuronenebenen des Modells maschinellen Lernens, die mit einem oder mehreren der gesammelten Innentemperaturmerkmale (siehe oben) und den entsprechenden Flussraten geladen werden. Das lernende Subsystem führt ein Training durch, das als eine Auswertung bzw. Bewertung von Innentemperaturänderungen dargestellt werden kann, die früheren Flussraten (oder Änderungen der Flussraten) eines Kühlmittels entsprechend den an einem oder mehreren Flussreglern vorgenommenen Einstellungen zugeordnet sind. Die Neuronenebenen können Werte speichern, die dem Bewertungsprozess zugeordnet sind, und können eine Assoziation oder Korrelation zwischen den Innentemperaturänderungen und den Flussraten repräsentieren. Das lernende Subsystem ist, einmal trainiert, in der Lage, in der Anwendung eine Flussrate zu bestimmen, die erforderlich ist, um eine Innentemperatur (oder eine Änderung, wie beispielsweise eine Senkung der Innentemperatur) von zum Beispiel einer Komponente zu erreichen. Die gesammelten Innentemperaturen und die zuvor zugeordneten Flussraten für das Kühlmittel, das zum Erreichen der gesammelten Innentemperaturen (oder der Unterschiede zum Beispiel) verwendet wird, können von dem lernenden Subsystem verwendet werden, um eine Ausgabe bereitzustellen, die einer erforderlichen Flussrate eines Kühlmittels zugeordnet ist, um eine gekühlte Innentemperatur (die eine Senkung repräsentiert) als eine aktuelle Innentemperatur für eine Komponente zu erreichen.
In mindestens einer Ausführungsform ist ein Ergebnis des lernenden Subsystems im Ansprechen auf eine Innentemperatur einer Komponente eine Ausgabe an den einen oder die mehreren Flussregler, die eine vorgegebene oder vorhandene Flussmenge des Kühlmittels, das dem sekundären Kühlkreis zugeordnet ist, modifiziert. Die Modifikation an der Standard- oder bestehenden Flussmenge liefert eine andere Flussrate, die die Innentemperatur der Komponente senken soll. Die modifizierte Flussrate kann beibehalten werden, bis die Innentemperatur eine Innentemperatur erreicht, die der geänderten Flussrate zugeordnet ist, die dem lernenden Subsystem bekannt ist. Alternativ kann die modifizierte Flussrate beibehalten werden, bis sich die Innentemperatur um einen bestimmten Wert ändert. Alternativ kann die modifizierte Flussrate beibehalten werden, bis die Innentemperatur eine Nenntemperatur für die Komponente erreicht.
In mindestens einer Ausführungsform umfasst die Gerätesteuerung 462 einen Prozessor mit mindestens einer Logikeinheit zur Steuerung eines oder mehrerer Flussregler innerhalb eines Rackverteilers, eines Serververteilers oder eines Servereinschubs. Der Flussregler erleichtert die Bewegung eines Kühlmittels, das einem sekundären Kühlkreis zugeordnet ist, um eine Komponente innerhalb eines Servers zu kühlen, im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht. In mindestens einer Ausführungsform ist die mindestens eine Logikeinheit Teil der Komponente und einem Temperatursensor innerhalb der Komponente zugeordnet. In mindestens einer Ausführungsform ist der Prozessor ein Prozessorkern eines Multi- oder Mehrkern- bzw. Multi-Core-Prozessors, wie beispielsweise die Mehrkern-Prozessoren 905, 906 in 9A. In mindestens einer Ausführungsform kann die mindestens eine Logikeinheit dazu angepasst sein, dass sie einen Temperaturwert von einem Temperatursensor einer verbundenen Komponente innerhalb des Servers empfängt, und kann dazu angepasst sein, eine zweite Bewegung des dem sekundären Kühlkreis zugeordneten Kühlmittels zu erleichtern, um die Komponente und die verbundene Komponente zu kühlen.
In mindestens einer Ausführungsform kann ein Prozessor, wie beispielsweise die Prozessorkerne der Mehrkern-Prozessoren 905, 906 in 9A, ein lernendes Subsystem zum Bewerten der Innentemperaturen einer oder mehrerer Komponenten innerhalb des Servers mit Flussraten, die dem einen oder den mehreren Flussreglern zugeordnet sind, enthalten. Das lernende Subsystem liefert eine Ausgabe, die einer Flussrate zugeordnet ist, zum Erleichtern der Bewegung des Kühlmittels durch Steuerung des einen oder der mehreren Flussregler. In mindestens einer Ausführungsform führt das lernende Subsystem ein Modell maschinellen Lernens aus, um die Innentemperatur unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens zu verarbeiten, mit den Innentemperaturen und mit zuvor zugeordneten Flussraten für das Kühlmittel. Das Modell maschinellen Lernens kann unter Verwendung der in 15 beschriebenen Neuronenstruktur und des in 14 beschriebenen Deep-Learning-Prozessors implementiert sein. Das Modell maschinellen Lernens liefert die der Flussrate zugeordnete Ausgabe, ausgehend von einer Bewertung der vorher zugeordneten Flussraten, an den einen oder die mehreren Flussregler. Ferner ermöglicht eine Anweisungsausgabe des Prozessors, wie beispielsweise ein Stift eines Verbindungsbusses oder eine Kugel eines Kugelgitterfelds, die Kommunikation der Ausgabe mit dem einen oder den mehreren Flussreglern, um eine zweite Flussrate des Kühlmittels, das dem sekundären Kühlkreis zugeordnet ist, zu modifizieren und die höhere Flussrate als die zweite Flussrate im Ansprechen auf die Ausgabe zu bewirken.
In mindestens einer Ausführungsform unterstützt dann, wenn Gerätesteuerungen oder verschiedene Komponenten eine individuelle direkte Kühlung im Ansprechen auf ihre jeweiligen Innentemperaturen erfordern, die vorliegende Offenbarung diese Anforderung. Die einzelnen einen einer Vielzahl von Prozessoren, die einzelnen einen des einen oder der mehreren Flussregler zugeordnet sind, sind in einer seriellen Kopplung bereitgestellt. Die serielle Kopplung ist so beschaffen, dass ein erster Prozessor einen ersten Flussregler für einen ersten Fluss des Kühlmittels in eine erste Kälteplatte steuert und dass ein zweiter Prozessor einen zweiten Flussregler für einen zweiten Fluss des Kühlmittels steuert, wenn dieses die erste Kälteplatte verlässt und in die zweite Kälteplatte eintritt. Die erste Kälteplatte ist einer ersten Komponente zugeordnet und die zweite Kälteplatte ist einer zweiten Komponente zugeordnet. In mindestens einer Ausführungsform wird eine weitere Anpassung oder Konfiguration für individuelle direkte Kühlung mehrerer Komponenten durch ihre jeweiligen Innentemperaturen dadurch ermöglicht, dass Prozessoren einem oder mehreren Flussreglern in einer Parallelkopplung zugeordnet werden. Die parallele Kopplung ist so beschaffen, dass ein erster Prozessor einen ersten Flussregler für einen ersten Fluss des Kühlmittels aus einem Serververteiler in eine erste Kälteplatte steuert und dass ein zweiter Prozessor einen zweiten Flussregler für einen zweiten Fluss des Kühlmittels aus dem Serververteiler in die zweite Kälteplatte steuert. Wie in dem Fall des Beispiels der seriellen Kopplung ist die erste Kälteplatte einer ersten Komponente zugeordnet und ist die zweite Kälteplatte einer zweiten Komponente zugeordnet.
In mindestens einer Ausführungsform bezieht sich die vorliegende Offenbarung auf mindestens einen Prozessor für ein Kühlsystem. Der mindestens eine Prozessor umfasst mindestens eine Logikeinheit zum Trainieren eines neuronalen Netzwerks mit verborgenen Schichten von Neuronen zum Bewerten von Innentemperaturen des mindestens einen Prozessors und zuvor zugeordneten Flussraten für ein Kühlmittel, das zum Kühlen der Komponente verwendet wird. Wie an anderer Stelle in dieser Offenbarung und unter Bezugnahme auf 4B, 14 und 15 beschrieben, kann das Training durch Schichten von Neuronen durchgeführt werden, denen Eingaben der Innentemperaturen und zugehörigen Flussraten aus früheren Anwendungen, vielleicht in einer Testumgebung, bereitgestellt werden. Die Innentemperaturen können eine Anfangs-Innentemperatur (und eine zugeordnete Flussrate von Kühlmittel, das für die Anfangs-Innentemperatur beaufschlagt wird, um die Innentemperatur auf eine Nenninnentemperatur einer oder mehrerer Komponenten zu bringen), eine End-Innentemperatur (nachdem ein Kühlmittel für eine Flussmenge für einen Zeitraum beaufschlagt wurde) und eine Differenz der Innentemperaturen, die für die Flussrate und den Zeitraum erreicht wurden, umfassen. Ein oder mehrere dieser Merkmale können zum Trainieren eines neuronalen Netzwerks verwendet werden, um zu bestimmen, wann eine hohe Flussrate für das Kühlmittel anzuwenden ist und/oder wann die hohe Flussrate für das Kühlmittel zu beenden ist - z.B. wenn eine Innentemperatur einer Komponente die Anfangs-Innentemperatur erreicht, wenn die Innentemperatur der Komponente die End-Innentemperatur erreicht und/oder wenn die Innentemperatur die Innentemperaturdifferenz widerspiegelt, die für die Komponente geeignet ist.
In mindestens einer Ausführungsform umfasst der mindestens eine Prozessor mindestens eine Logikeinheit, die für das Training eines oder mehrerer neuronaler Netzwerke konfiguriert oder angepasst ist, und ist ein Mehrkern-Prozessor. In mindestens einer Ausführungsform kann sich die mindestens eine Logikeinheit innerhalb eines Prozessorkerns befinden, der dazu verwendet werden kann, eine Innentemperatur des mindestens einen Prozessors mit dem einen oder den mehreren neuronalen Netzwerken zu bewerten und eine Anweisung auszugeben, um die Kühlung des mindestens einen Prozessors zu erleichtern. Insoweit ist, obwohl sich der Prozessor innerhalb eines Servers befindet, um Operationen im Zusammenhang mit Client-Anfragen in dem Rechenzentrum auszuführen, er auch in der Lage, mindestens einen seiner Prozessorkerne zum Steuern seiner Innentemperatur über eine Anforderung oder eine Anweisung zur Kühlung zu verwenden. Im Ansprechen auf die Anforderung oder die Anweisung kann Kühlmittel mit einer höheren Flussrate bereitgestellt werden, als dem Prozessor zur Verfügung steht. In mindestens einer Ausführungsform verfügt der Prozessor über einen Anweisungsausgang in Form eines Stifts oder einer Kugel zum Kommunizieren der Ausgabe mit einem oder mehreren Flussreglern. Die Ausgabe kann direkt oder über eine Gerätesteuerung übermittelt werden. Der eine oder die mehreren Flussregler modifizieren einen Flussrate von Kühlmittel, das einem sekundären Kühlkreis zugeordnet ist, um eine zweite Flussrate zu veranlassen, die höher ist als die Kühlmittelflussrate. Die Modifikation erfolgt daher im Ansprechen auf die Ausgabe und erleichtert die Kühlung des mindestens einen Prozessors. In mindestens einer Ausführungsform ist die mindestens eine Logikeinheit dazu angepasst, einen Temperaturwert von einem Temperatursensor einer verbundenen Komponente innerhalb des Servers zu empfangen. Die verbundene Komponente kann beispielsweise eine Speichervorrichtung (z.B. DIMM) sein, die mit dem Mehrkern-Prozessor gekoppelt ist, zum Durchführen einer Datenspeicherung, die für den Mehrkern-Prozessor zugeordnet ist. Die mindestens eine Logikeinheit ist dazu angepasst, im Ansprechen auf den empfangenen Temperaturwert die Kühlung mindestens eines Prozessors und der verbundenen Komponente zu erleichtern.
5 ist ein Prozessablauf 500 von Schritten oder Unterprozessen, die für ein Verfahren zur Verwendung oder Herstellung des Kühlsystems der 2A-17D verfügbar sind, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform des Prozesses 500 stellt ein Subprozess 502 einen oder mehrere Flussregler innerhalb eines Rackverteilers, eines Serververteilers oder eines Servereinschubs bereit. Ein Subprozess 504 erleichtert die Bewegung eines Kühlmittels, das einem sekundären Kühlkreis zugeordnet ist, unter Verwendung des einen oder der mehreren Flussregler. Ein Subprozess 506 ermöglicht es dem einen oder den mehreren Flussreglern, Eingaben von einer Komponente innerhalb eines Servers zu empfangen, die Teil des sekundären Kühlkreises ist oder diesem zugeordnet ist, im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht. Der Subprozess verifiziert, ob der eine oder die mehreren Flussregler die Eingabe empfangen haben. Wenn die Verifikation erfolgreich ist, wird ein Subprozess 510 durchgeführt, um die Komponente zu kühlen, im Ansprechen auf die Bestimmung, dass der eine oder die mehreren Flussregler die Eingabe erhalten haben, die anzeigt, dass die Komponente gekühlt werden muss. Wenn die Verifikation nicht erfolgreich ist und keine Eingabe empfangen wurde, kann der Subprozess 506 wiederholt werden, bis eine Eingabe empfangen wird. Der Prozess 500 kann mit jedem beliebigen Rack oder Servereinschub mit proprietären Rechenkomponenten verwendet werden, über mindestens die Flussregler, die in der offenbarten Weise angepasst oder konfiguriert sind, und mit den Flussreglern, die in der Lage sind, die Eingaben direkt von den proprietären Rechenkomponenten oder über eine Gerätesteuerung zu empfangen. Alternativ kann der Prozess 500 auf jedes beliebige Rechenzentrum angewandt werden, um ein bestehendes Kühlsystem für eine intelligente, gezielte Verteilung des Kühlmittels anzupassen.
In mindestens einer Ausführungsform kann der Prozessablauf 500 weitere Subprozesse umfassen. In mindestens einer Ausführungsform ermöglicht ein weiterer Subprozess ein Bewerten von Innentemperaturen einer oder mehrerer Komponenten innerhalb des Servers mit Flussraten, die dem einen oder den mehreren Flussreglern zugeordnet sind, unter Verwendung eines lernenden Subsystems, das mindestens einen Prozessor aufweist. Dieser Subprozess kann durch zusätzliche Schritte unterstützt werden zum Bereitstellen einer Ausgabe, die einer Flussrate zugeordnet ist, im Ansprechen auf eine Innentemperatur, die dem lernenden Subsystem bereitgestellt wird, und zum Steuern des einen oder der mehreren Flussregler durch das lernende Subsystem, um die Bewegung des Kühlmittels zu erleichtern. In mindestens einer Ausführungsform kann ein weiterer Subprozess zur Herstellung oder Verwendung eines Kühlsystems ein Zuordnen einer Kälteplatte zu einer Komponente, wie beispielsweise der Komponente des Subprozesses 506, umfassen. Dann kann die Bewegung des Kühlmittels durch die Kälteplatte, als Teil des Prozesses, unter Verwendung eines oder mehrerer Flussregler erleichtert werden.
In mindestens einer Ausführungsform umfasst das lernende Subsystem ein Modul für maschinelles Lernen. Das Modul für maschinelles Lernen wird ausgeführt, um die Innentemperatur unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Innentemperaturen und mit zuvor zugeordneten Flussraten für das Kühlmittel zu verarbeiten. Ein solcher Prozess kann der Beschreibung folgen, die in Bezug auf 4B, 14 und 15 gegeben wurde. Das Modul für maschinelles Lernen wird auch ausgeführt, um die Ausgabe einem oder mehreren Flussreglern bereitzustellen, wie in dem vorstehenden Subprozess beschrieben. Die Ausgabe ist der Flussrate zugeordnet und basiert zum Teil auf einer Bewertung der zuvor zugeordneten Flussraten. In mindestens einer Ausführungsform umfasst das Verfahren zur Verwendung oder Herstellung des Kühlsystems ein Modifizieren einer zweiten Flussrate des Kühlmittels, die eine Standardflussrate sein kann, auf eine höhere Flussrate, unter Verwendung des einen oder der mehreren Flussregler, die dem sekundären Kühlkreis zugeordnet sind. Die höhere Flussrate wird durch den einen oder die mehreren Flussregler im Ansprechen auf die Ausgabe ermöglicht.
RECHENZENTRUM
6A zeigt ein Beispiel für ein Rechenzentrum 600, in dem mindestens eine Ausführungsform aus 2-5 verwendet werden kann. In mindestens einer Ausführungsform umfasst das Rechenzentrum 600 eine Rechenzentrumsinfrastrukturschicht 610, eine Frameworkschicht 620, eine Softwareschicht 630 und eine Anwendungsschicht 640. In mindestens einer Ausführungsform, wie in 2 beschrieben, können Merkmale bzw. Funktionen in Komponenten 204-214 innerhalb des oder in Zusammenarbeit mit dem beispielhaften Rechenzentrum 600 durchgeführt werden. In mindestens einer Ausführungsform können die Infrastrukturschicht 610, die Frameworkschicht 620, die Softwareschicht 630 und die Anwendungsschicht 640 teilweise oder vollständig über Rechenkomponenten auf Server-Trays bereitgestellt werden, die sich in Racks 210 des Rechenzentrums 200 befinden. Dies ermöglicht es erfindungsgemäßen Kühlsystemen, die Kühlung in effizienter und effektiver Weise auf bestimmte Rechenkomponenten zu richten. Darüber hinaus können Aspekte des Rechenzentrums, einschließlich der Rechenzentrumsinfrastrukturschicht 610, der Frameworkschicht 620, der Softwareschicht 630 und der Anwendungsschicht 640 verwendet werden, um die intelligente Verarbeitung zu unterstützen, die zumindest unter Bezugnahme auf die obigen 2A-5 erörtert wird. Insoweit kann die Diskussion in Bezug auf 6A-17D so verstanden werden, dass sie sich auf die Hardware- und Softwaremerkmale bezieht, die erforderlich sind, um eine intelligente Steuerung des Flüssigkeitskühlsystems für zum Beispiel das Rechenzentrum 350 von 3B zu ermöglichen oder zu unterstützen.
In mindestens einer Ausführungsform, wie in 6A, kann die Rechenzentrumsinfrastrukturschicht 610 einen Ressourcen-Orchestrator 612, gruppierte Rechenressourcen 614 und Knoten-Rechenressourcen („Knoten-C.R.s“) 616(1)-616(N) beinhalten, wobei „N“ eine beliebige ganze, positive Zahl repräsentiert. In mindestens einer Ausführungsform können die Knoten-C.R.s 616(1)-616(N) eine beliebige Anzahl von Zentraleinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, feldprogrammierbaren Gate-Arrays (FPGAs), Grafikprozessoren usw.), Speichervorrichtungen (wie z.B. dynamische), Speichervorrichtungen (z.B. dynamischer Festwertspeicher), Speichervorrichtungen (z.B. Festkörper- oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabe-Vorrichtungen („NW E/A“), Netzwerk-Switches, virtuelle Maschinen („VMs“), Stromversorgungsmodule und Kühlmodule, usw. beinhalten, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform können ein oder mehrere Knoten-C.R.s unter den Knoten-C.R.s 616(1)-616(N) ein Server mit einer oder mehreren der vorstehend erwähnten genannten Rechenressourcen sein.
In mindestens einer Ausführungsform können die gruppierten Rechenressourcen 614 separate Gruppierungen von Knoten-CRs umfassen, die in einem oder mehreren Racks (nicht dargestellt) oder in vielen Racks in Rechenzentren an verschiedenen geografischen Standorten (ebenfalls nicht dargestellt) untergebracht sind. Getrennte Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechenressourcen 614 können gruppierte Rechen-, Netzwerk-, Speicher- oder Speicherressourcen umfassen, die zur Unterstützung einer oder mehrerer Arbeitslasten konfiguriert oder zugewiesen sein können. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s mit CPUs oder Prozessoren in einem oder mehreren Racks gruppiert sein, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform können ein oder mehrere Racks auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination enthalten.
In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 612 einen oder mehrere Knoten-CRs 616(1)-616(N) und/oder gruppierte Rechenressourcen 614 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 612 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 600 umfassen. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator Hardware, Software oder eine Kombination davon umfassen.
In mindestens einer Ausführungsform, wie in 6A gezeigt, umfasst die Framework-Schicht 620 einen Arbeitsplaner 622, einen Konfigurationsverwalter 624, einen Ressourcenverwalter 626 und ein verteiltes Dateisystem 628. In mindestens einer Ausführungsform kann die Framework-Schicht 620 ein Framework zur Unterstützung der Software 632 der Softwareschicht 630 und/oder einer oder mehrerer Anwendung(en) 642 der Anwendungsschicht 640 enthalten. In mindestens einer Ausführungsform können die Software 632 oder die Anwendung(en) 642 jeweils webbasierte Dienstsoftware oder Anwendungen umfassen, wie sie beispielsweise von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann die Framework-Schicht 620 eine Art freies und quelloffenes Software-Webanwendungs-Framework sein, wie z.B. Apache Spark™ (im Folgenden „Spark“), das ein verteiltes Dateisystem 628 für die Verarbeitung großer Datenmengen (z.B. „Big Data“) nutzen kann, ist aber nicht darauf beschränkt. In mindestens einer Ausführungsform kann der Arbeitsplaner 632 einen Spark-Treiber enthalten, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 600 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsverwalter 624 in der Lage sein, verschiedene Schichten zu konfigurieren, z.B. die Softwareschicht 630 und die Framework-Schicht 620 einschließlich Spark und das verteilte Dateisystem 628 zur Unterstützung der Verarbeitung großer Datenmengen. In mindestens einer Ausführungsform kann der Ressourcenverwalter 626 in der Lage sein, geclusterte oder gruppierte Rechenressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 628 und des Arbeitsplaners 622 auf diese abgebildet oder diesen zugeordnet sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Computerressourcen eine gruppierte Computerressource 614 auf der Rechenzentrumsinfrastrukturebene 610 umfassen. In mindestens einer Ausführungsform kann der Ressourcenverwalter 626 mit dem Ressourcen-Orchestrator 612 koordiniert werden, um diese zugeordneten oder zugewiesenen Computerressourcen zu verwalten.
In mindestens einer Ausführungsform kann die in der Softwareschicht 630 enthaltene Software 632 Software enthalten, die von mindestens Teilen der Knoten C.R.s 616(1)-616(N), den gruppierten Computerressourcen 614 und/oder dem verteilten Dateisystem 628 der Framework-Schicht 620 verwendet wird. Eine oder mehrere Arten von Software können unter anderem Internet-Suchsoftware, E-Mail-Virenscan-Software, Datenbanksoftware und Software für Streaming-Videoinhalte enthalten, sind aber nicht darauf beschränkt.
In mindestens einer Ausführungsform kann (können) die in der Anwendungsschicht 640 enthaltene(n) Anwendung(en) 642 eine oder mehrere Arten von Anwendungen umfassen, die von mindestens Teilen der Knoten C.R.s 616(1)-616(N), gruppierten Rechenressourcen 614 und/oder dem verteilten Dateisystem 628 der Framework-Schicht 620 verwendet werden. Eine oder mehrere Arten von Anwendungen kann/können eine beliebige Anzahl einer Genomanwendung, kognitiven Rechnens und einer Anwendung maschinellen Lernens, einschließlich einer Trainings- oder Inferenzierungs-Software, einer Framework-Software für maschinelles Lernen (z.B. PyTorch, TensorFlow, Caffe usw.) oder anderer Anwendungen maschinellen Lernens, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden, umfassen, sind aber nicht darauf beschränkt.
In mindestens einer Ausführungsform können der Konfigurationsverwalter 624, der Ressourcenverwalter 626 und der Ressourcen-Orchestrator 612 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren, die auf einer beliebigen Menge und Art von Daten basieren, die auf jede technisch mögliche Weise erfasst wurden. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Rechenzentrumsbetreiber des Rechenzentrums 600 davon entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht funktionierende Teile eines Rechenzentrums vermeiden.
In mindestens einer Ausführungsform kann das Rechenzentrum 600 Werkzeuge, Dienste, Software oder andere Ressourcen enthalten, um ein oder mehrere Modelle maschinellen Lernens zu trainieren oder Informationen unter Verwendung eines oder mehrerer Modelle maschinellen Lernens gemäß einer oder mehrerer hierin beschriebener Ausführungsformen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform kann ein Modell maschinellen Lernens trainiert werden, indem Gewichtsparameter gemäß einer neuronalen Netzwerkarchitektur unter Verwendung von Software und Rechenressourcen berechnet werden, die vorstehend in Bezug auf das Datenzentrum 600 beschrieben wurden. In mindestens einer Ausführungsform können trainierte Modelle maschinellen Lernens, die einem oder mehreren neuronalen Netzen entsprechen, verwendet werden, um Informationen abzuleiten oder vorherzusagen, wobei die oben beschriebenen Ressourcen in Bezug auf das Rechenzentrum 600 verwendet werden, indem Gewichtungsparameter verwendet werden, die durch eine oder mehrere hierin beschriebene Trainingstechniken berechnet werden. Wie bereits erörtert, können Techniken des tiefen Lernens verwendet werden, um die intelligente Steuerung der Flussregler durch Komponenten, die ihre eigenen Innentemperaturen in dem intelligenten Kühlsystem überwachen, zu unterstützen. Deep Learning kann mit jedem geeigneten Lernnetzwerk und den Rechenkapazitäten des Rechenzentrums 600 weiterentwickelt werden. So kann ein Deep Neural Network (DNN), ein Recurrent Neural Network (RNN) oder ein Convolutional Neural Network (CNN) entweder gleichzeitig oder parallel mit der Hardware im Rechenzentrum unterstützt werden. Sobald ein Netzwerk trainiert und erfolgreich evaluiert wurde, um Daten innerhalb einer Teilmenge oder eines Slice zu erkennen, kann das trainierte Netzwerk ähnliche repräsentative Daten zur Verwendung mit den gesammelten Daten liefern.
In mindestens einer Ausführungsform kann das Rechenzentrum 600 CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um das Training und/oder die Inferenzierung unter Verwendung der oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst konfiguriert werden, um es Benutzern zu ermöglichen, Informationen wie Druck, Durchflussraten, Temperatur und Standortinformationen zu trainieren oder zu inferenzieren, oder andere Dienste der künstlichen Intelligenz zu nutzen.
INFERENZIERUNGS- UND TRAININGSLOGIK
Die Inferenzierungs- und/oder Trainingslogik 615 kann verwendet werden, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in dem System von 6A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hierin beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, eine Hardware-Logik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) wie der Tensorflow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana®-Prozessor (z.B. „Lake Crest“) von Intel Corp. verwendet werden.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit CPU-Hardware, GPU-Hardware oder anderer Hardware, wie z.B. FPGAs (Field Programmable Gate Arrays), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Code- und/oder Datenspeichermodule, die zum Speichern von Code (z.B. Graphencode), Gewichtungswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform ist jedes der Code- und/oder Datenspeichermodule mit einer dedizierten Rechenressource verbunden. In mindestens einer Ausführungsform umfasst die dedizierte Rechenressource Rechenhardware, die ferner eine oder mehrere ALUs umfasst, die mathematische Funktionen, wie lineare algebraische Funktionen, nur auf Informationen ausführen, die in Code- und/oder Datenspeichermodulen gespeichert sind, und deren Ergebnisse in einem Aktivierungsspeichermodul der Inferenzierungs- und/oder Trainingslogik 615 gespeichert werden.
6B, 6C zeigt eine Inferenzierungs- und/oder Trainingslogik, wie sie in 6A und in mindestens einer Ausführungsform der Erfindung verwendet wird, gemäß mindestens einer Ausführungsform. Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit mindestens einer Ausführungsform durchzuführen. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6B und/oder 6C beschrieben. Die Inferenzierungs- und/oder Trainingslogik 615 von 6B und 6C unterscheidet sich durch die Verwendung der Arithmetik-Logik-Einheiten (ALUs) 610 gegenüber der Rechenhardware 602, 606. In mindestens einer Ausführungsform enthalten sowohl die Rechenhardware 602 als auch die Rechenhardware 606 eine oder mehrere ALUs, die mathematische Funktionen, wie z.B. lineare algebraische Funktionen, nur auf Informationen ausführen, die in dem Code- und/oder Datenspeicher 601 bzw. in dem Code- und/oder Datenspeicher 605 gespeichert sind, deren Ergebnis im Aktivierungsspeicher 620 gespeichert wird. Als solche können 6B und 6C Alternativen sein und austauschbar verwendet werden, sofern nicht anders angegeben.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Code- und/oder Datenspeicher 601 zum Speichern von Vorwärts- und/oder Ausgabegewicht und/oder Eingangs-/ Ausgangsdaten und/oder anderen Parametern zum Konfigurieren von Neuronen oder Schichten eines neuronalen Netzwerks beinhalten, das zur Inferenzierung in mindestens einer Ausführungsform trainiert und/oder verwendet wird. In zumindest einer Ausführungsform kann die Trainingslogik 615 Code und/oder Datenspeicher 601 beinhalten oder mit diesem gekoppelt sein, um Grafikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welcher Gewichts- und/oder andere Parameterinformationen zu laden sind, um Logik, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (kollektiv Arithmetik-Logik-Einheiten (ALUs)) zu konfigurieren. In zumindest einer Ausführungsform lädt Code, wie beispielsweise Grafikcode, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht. In zumindest einer Ausführungsform speichert der Code- und/oder Datenspeicher 601 Gewichtsparameter und/oder Ein-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das in Verbindung mit mindestens einer Ausführungsform während der Vorwärtspropagation von Ein-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von Aspekten mindestens einer Ausführungsform trainiert oder verwendet wurde. In zumindest einer Ausführungsform kann jeder Abschnitt des Code- und/oder Datenspeichers 601 in anderem On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Caches oder Systemspeichers eines Prozessors, enthalten sein.
In mindestens einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 601 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In mindestens einer Ausführungsform können Code und/oder der Code und/oder Datenspeicher 601 Cache-Speicher, dynamisches RAM („DRAM“), statisches RAM („SRAM“), nichtflüchtiger Speicher (wie beispielsweise Flash-Speicher) oder anderer Speicher sein. In zumindest einer Ausführungsform kann die Wahl, ob Code und/oder der Code und/oder Datenspeicher 601 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speichertyp besteht, von auf dem Chip bzw. on-chip gegenüber nicht auf dem Chip bzw. off-chip verfügbarem Speicher, Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, einen Code- und/oder Datenspeicher 605 beinhalten zum Speichern von Rückwärts- und/oder Ausgangsgewichten und/oder Eingangs-/Ausgangsdaten, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das zur Inferenzierung in mindestens einer Ausführungsform trainiert und/oder verwendet wird. In zumindest einer Ausführungsform speichert der Code- und /oder Datenspeicher 605 Gewichtsparameter und/oder Eingangs-/Ausgangsdaten jeder Schicht eines neuronalen Netzwerks, die in Verbindung mit mindestens einer Ausführungsform während einer Rückwärtspropagation von Eingangs-/ Ausgangsdaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von mindestens einer Ausführungsform trainiert oder verwendet werden. In zumindest einer Ausführungsform kann die Trainingslogik 615 den Code und/oder Datenspeicher 605 beinhalten oder mit diesem gekoppelt sein, um Grafikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welchem bzw. welcher Gewichts- und/oder andere Parameterinformationen zum Konfigurieren von Logik einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (kollektiv Arithmetik-Logik-Einheiten (ALUs)) zu laden sind.
In mindestens einer Ausführungsform lädt Code, wie beispielsweise Graphencode, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 605 mit anderem On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, verbunden sein. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 605 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In zumindest einer Ausführungsform kann der Code- und/oder Datenspeicher 605 Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder anderer Speicher sein. In zumindest einer Ausführungsform kann die Wahl, ob der Code- und/oder Datenspeicher 805 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speichertyp besteht, von On-Chip gegenüber Off-Chip verfügbarem Speicher, Latenzanforderungen an durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 separate Speicherstrukturen sein. In zumindest einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 eine kombinierte Speicherstruktur sein. In zumindest einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 teilweise eine gleiche Speicherstruktur und teilweise separate Speicherstrukturen sein. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 601 und des Code- und/oder Datenspeichers 605 mit anderen On-Chip- oder Off-Chip-Datenspeichern, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, kombiniert sein.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, eine oder mehrere Arithmetik-Logik-Einheiten („ALU(s)“) 610, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, beinhalten, um logische und/oder mathematische Operationen durchzuführen, die zumindest teilweise auf Trainings- und/oder Inferenzierungscode (beispielsweise Grafikcode) basieren oder durch diesen angezeigt werden, deren Ergebnis Aktivierungen (z.B. Ausgangswerte von Schichten oder Neuronen innerhalb eines neuronalen Netzwerks), die in einem Aktivierungsspeicher 620 gespeichert sind, erzeugen kann, die Funktionen von Eingangs-/Ausgangs- und/oder Gewichtsparameterdaten sind, die in dem Code und/oder Datenspeicher 601 und/oder dem Code und/oder Datenspeicher 605 gespeichert sind. In zumindest einer Ausführungsform werden in dem Aktivierungsspeicher 620 gespeicherte Aktivierungen in Übereinstimmung mit linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die von den ALU(s) 610 im Ansprechen auf das Ausführen von Anweisungen oder anderem Code durchgeführt wird, wobei Gewichtswerte, die in dem Code und/oder Datenspeicher 605 und/oder dem Datenspeicher 605 gespeichert sind, als Operanden zusammen mit anderen Werten, wie beispielsweise Bias-Werten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, verwendet werden, von welchen beliebige oder alle in dem Code und/oder Datenspeicher 605 oder dem Code und/oder Datenspeicher 601 oder einem anderen Speicher auf oder außerhalb des Chips gespeichert sein können.
In mindestens einer Ausführungsform sind die ALU(s) 610 in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen enthalten, während in einer anderen Ausführungsform die ALU(s) 610 extern zu einem Prozessor oder einem anderen Hardware-Logikgerät oder einer Schaltung sein können, die sie verwenden (z.B. ein Co-Prozessor). In mindestens einer Ausführungsform können die ALUs 610 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Bank von ALUs enthalten sein, auf die die Ausführungseinheiten eines Prozessors zugreifen können, entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlichen Typs (z.B. zentrale Verarbeitungseinheiten, Grafikverarbeitungseinheiten, Festfunktionseinheiten usw.). In mindestens einer Ausführungsform können sich der Code- und/oder Datenspeicher 601, der Code- und/oder Datenspeicher 605 und der Aktivierungsspeicher 620 auf einem gleichen Prozessor oder auf einer anderen Hardware-Logikvorrichtung oder -schaltung liegen, während sie sich in einer anderen Ausführungsform auf verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen oder in einer Kombination aus gleichen und verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen befinden können. In mindestens einer Ausführungsform kann ein beliebiger Teil des Aktivierungsspeichers 620 in anderen On-Chip- oder Off-Chip-Datenspeichern enthalten sein, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors. Ferner kann der Inferenzierungs- und/oder Trainingscode zusammen mit anderem Code gespeichert sein, auf den ein Prozessor oder eine andere Hardware-Logik oder -Schaltung zugreifen kann und der unter Verwendung der Abruf-, Decodier-, Planungs-, Ausführungs-, Ausscheidungs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet wird.
In mindestens einer Ausführungsform kann der Aktivierungsspeicher 620 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann sich der Aktivierungsspeicher 620 vollständig oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen befinden. In mindestens einer Ausführungsform kann die Wahl, ob der Aktivierungsspeicher 620 z.B. innerhalb oder außerhalb eines Prozessors liegt oder DRAM, SRAM, Flash-Speicher oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip im Vergleich zu außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen. In mindestens einer Ausführungsform kann die in 6B dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit einem anwendungsspezifischen integrierten Schaltkreis („ASIC“) verwendet werden, wie z.B. einer TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“) Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 6B dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit Hardware der Zentralverarbeitungseinheit („CPU“), der Grafikverarbeitungseinheit („GPU“) oder anderer Hardware, wie z.B. Field Programmable Gate Arrays („FPGAs“), verwendet werden.
In mindestens einer Ausführungsform, wie in 6C dargestellt, kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Hardware-Logik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die in 6C dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) verwendet werden, wie z.B. der TensorFlow® Processing Unit von Google, einer Inferenzierungsverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“)-Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 6C veranschaulichte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit Hardware der Zentralverarbeitungseinheit (CPU), der Grafikverarbeitungseinheit (GPU) oder anderer Hardware, wie z.B. FPGAs (Field Programmable Gate Arrays), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, den Code- und/oder Datenspeicher 601 und den Code- und/oder Datenspeicher 605, die zum Speichern von Code (z.B. Graphencode), Gewichtswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform, die in 6C dargestellt ist, ist jeder Code- und/oder Datenspeicher 601 und jeder Code- und/oder Datenspeicher 605 mit einer dedizierten Rechenressource verbunden, wie z. B. Rechenhardware 602 bzw. Rechenhardware 606.
In mindestens einer Ausführungsform entspricht jeder der Code- und/oder Datenspeicher 601 und 605 und die entsprechende Rechenhardware 602 bzw. 606 verschiedenen Schichten eines neuronalen Netzwerks, so dass eine resultierende Aktivierung von einem Speicher-/Rechenpaar 601/602 aus Code- und/oder Datenspeicher 601 und Rechenhardware 602 als Eingabe für ein nächstes Speicher-/Rechenpaar 605/606 aus Code- und/oder Datenspeicher 605 und Rechenhardware 606 bereitgestellt wird, um eine konzeptionelle Organisation eines neuronalen Netzwerks zu spiegeln. In mindestens einer Ausführungsform kann jedes der Speicher-/Rechenpaare 601/602 und 605/606 mehr als einer neuronalen Netzwerkschicht entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher-/Rechenpaare (nicht dargestellt) im Anschluss an oder parallel zu den Speicher-/Rechenpaaren 601/602 und 605/606 in die Inferenzierungs- und/oder Trainingslogik 615 einbezogen sein.
COMPUTERSYSTEME
7A ist ein Blockdiagramm, das ein beispielhaftes Computersystem 700A veranschaulicht, das ein System mit miteinander verbundenen Geräten und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor ausgebildet ist, der Ausführungseinheiten enthalten kann, um eine Anweisung auszuführen, um das intelligente Kühlsystem, wie hierin beschrieben, zu unterstützen und/oder zu ermöglichen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Computersystem 700A, ohne darauf beschränkt zu sein, eine Komponente, wie beispielsweise einen Prozessor 702, umfassen, um Ausführungseinheiten einschließlich Logik zur Ausführung von Algorithmen zur Verarbeitung von Daten zu verwenden, gemäß der Erfindung, wie in der hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform kann das Computersystem 700A Prozessoren enthalten, wie z.B. die PENTIUM®-Prozessorfamilie, XeonTM, Itanium®, XScaleTM und/oder StrongARMTM, Intel® Core™ oder Intel® Nervana™-Mikroprozessoren, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, technische Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 800 eine Version des Betriebssystems WINDOWS ausführen, das von der Microsoft Corporation in Redmond, Washington, erhältlich ist, obwohl auch andere Betriebssysteme (z.B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.
In mindestens einer Ausführungsform kann das beispielhafte Computersystem 700A eine oder mehrere der Komponenten 110-116 (aus 1) enthalten, um Verarbeitungsaspekte für das intelligente Kühlsystem zu unterstützen. Aus mindestens diesem Grund zeigt 7A in einer Ausführungsform ein System, das miteinander verbundene Hardwaregeräte oder „Chips“ umfasst, während 7A in anderen Ausführungsformen ein beispielhaftes System auf einem Chip („SoC“) zeigen kann. In mindestens einer Ausführungsform können die Geräte über proprietäre Verbindungen, standardisierte Verbindungen (wie PCIe) oder eine Kombination davon miteinander verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 700B über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden. Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verbunden sind, wie zuvor z.B. mit Bezug auf die erörtert. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6A-C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System von 7A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet wurden.
Ausführungsformen können auch in anderen Geräten wie Handheld-Geräten und eingebetteten Anwendungen verwendet werden. Einige Beispiele für Handheld-Geräte sind Mobiltelefone, Internetprotokollgeräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide-Area-Network-Switches („WAN“) oder jedes andere System umfassen, das eine oder mehrere Anweisungen gemäß mindestens einer Ausführungsform ausführen kann.
In mindestens einer Ausführungsform kann das Computersystem 700A, ohne darauf beschränkt zu sein, einen Prozessor 702 enthalten, der, ohne darauf beschränkt zu sein, eine oder mehrere Ausführungseinheiten 708 enthalten kann, um ein Training und/oder eine Inferenzierung eines Modells maschinellen Lernens gemäß hierin beschriebenen Techniken durchzuführen. In mindestens einer Ausführungsform ist das Computersystem 700A ein Einzelprozessor-Desktop- oder -Serversystem, aber in einer anderen Ausführungsform kann das Computersystem 700A ein Multiprozessorsystem sein. In mindestens einer Ausführungsform kann der Prozessor 702, ohne darauf beschränkt zu sein, einen Mikroprozessor mit komplexem Befehlssatz („CISC“), einen Mikroprozessor mit reduziertem Befehlssatz („RISC“), einen Mikroprozessor mit sehr langem Befehlswort („VLIW“), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder eine beliebige andere Prozessorvorrichtung, wie z.B. einen digitalen Signalprozessor, umfassen. In mindestens einer Ausführungsform kann der Prozessor 702 mit einem Prozessorbus 710 verbunden sein, der Datensignale zwischen dem Prozessor 702 und anderen Komponenten in dem Computersystem 700A übertragen kann.
In mindestens einer Ausführungsform kann der Prozessor 702, ohne darauf beschränkt zu sein, einen internen Cachespeicher der Ebene 1 („L1") („Cache“) 704 enthalten. In mindestens einer Ausführungsform kann der Prozessor 702 einen einzigen internen Cache oder mehrere Ebenen von internem Cache aufweisen. In mindestens einer Ausführungsform kann sich der Cachespeicher außerhalb des Prozessors 702 befinden. Andere Ausführungsformen können auch eine Kombination aus sowohl internen als auch externen Caches enthalten, je nach spezieller Implementierung und Bedürfnissen. In mindestens einer Ausführungsform kann eine Registerdatei 706 verschiedene Datentypen in verschiedenen Registern speichern, darunter, ohne darauf beschränkt zu sein, Ganzzahlregister, Gleitkommaregister, Statusregister und Befehlszeigerregister.
In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 708, einschließlich, ohne darauf beschränkt zu sein, Logik zur Durchführung von Ganzzahl- und Gleitkommaoperationen, ebenfalls in dem Prozessor 702. In mindestens einer Ausführungsform kann der Prozessor 702 auch einen Nur-Lese-Speicher („ROM“) für Mikrocode („ucode“) enthalten, der Mikrocode für bestimmte Makrobefehle speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 708 eine Logik zur Verarbeitung eines gepackten Befehlssatzes 709 enthalten. In mindestens einer Ausführungsform können durch Aufnahme des gepackten Befehlssatzes 709 in den Befehlssatz eines Universalprozessors 702 zusammen mit der zugehörigen Schaltung zur Ausführung von Befehlen Operationen, die von vielen Multimedia-Anwendungen verwendet werden, unter Verwendung gepackter Daten in einem Universalprozessor 702 durchgeführt werden. In einer oder mehreren Ausführungsformen können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem eine volle Breite des Datenbusses eines Prozessors für die Ausführung von Operationen mit gepackten Daten genutzt wird, wodurch eine Notwendigkeit entfällt, kleinere Dateneinheiten über den Prozessor-Datenbus zu übertragen, um eine oder mehrere Operationen mit einem Datenelement nach dem anderen durchzuführen.
In mindestens einer Ausführungsform kann die Ausführungseinheit 708 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikgeräten, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 700A, ohne darauf beschränkt zu sein, einen Speicher 720 enthalten. In mindestens einer Ausführungsform kann der Speicher 720 als ein dynamischer Direktzugriffsspeicher („DRAM“), ein statischer Direktzugriffsspeicher („SRAM“), ein Flash-Speicher oder eine andere Speichervorrichtung implementiert sein. In mindestens einer Ausführungsform kann der Speicher 720 eine oder mehrere Anweisung(en) 719 und/oder Daten 721 speichern, die durch Datensignale repräsentiert werden, die von dem Prozessor 702 ausgeführt werden können.
In mindestens einer Ausführungsform kann ein Systemlogik-Chip mit dem Prozessorbus 710 und dem Speicher 720 gekoppelt sein. In mindestens einer Ausführungsform kann ein Systemlogik-Chip, ohne darauf beschränkt zu sein, einen Speichercontroller-Hub („MCH“, Memory Controller Hub) 716 enthalten, und kann der Prozessor 702 mit dem MCH 716 über den Prozessorbus 710 kommunizieren. In mindestens einer Ausführungsform kann der MCH 716 einen Speicherpfad 718 mit hoher Bandbreite zu dem Speicher 720 für die Befehls- und Datenspeicherung und für die Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH 716 Datensignale zwischen dem Prozessor 702, dem Speicher 720 und anderen Komponenten in dem Computersystem 700 leiten und Datensignale zwischen dem Prozessorbus 710, dem Speicher 720 und einer System-E/A-Schnittstelle 722 überbrücken. In mindestens einer Ausführungsform kann ein Systemlogik-Chip einen Grafikport zur Kopplung mit einem Grafikcontroller bereitstellen. In mindestens einer Ausführungsform kann der MCH 716 über einen Speicherpfad 718 mit hoher Bandbreite mit dem Speicher 720 gekoppelt sein, und kann die Grafik-/Videokarte 712 über eine Accelerated Graphics Port („AGP“)-Verbindung 714 mit dem MCH 716 gekoppelt sein.
In mindestens einer Ausführungsform kann das Computersystem 700A eine System-E/A 722, die ein proprietärer Hub-Schnittstellenbus zum Koppeln des MCH 716 mit einem E/A-Controller-Hub („ICH“) 730 ist, verwenden. In mindestens einer Ausführungsform kann der ICH 730 direkte Verbindungen zu einigen E/A-Geräten über einen lokalen E/A-Bus bereitstellen. In mindestens einer Ausführungsform kann ein lokaler E/A-Bus, ohne darauf beschränkt zu sein, einen Hochgeschwindigkeits-E/A-Bus zur Verbindung von Peripheriegeräten mit dem Speicher 720, dem Chipsatz und dem Prozessor 702 umfassen. Beispiele können, ohne darauf beschränkt zu sein, einen Audiocontroller 729, einen Firmware-Hub („Flash-BIOS“) 728, einen drahtlosen Transceiver 726, einen Datenspeicher 724, einen Legacy-E/A-Controller 723 mit Benutzereingabe- und Tastaturschnittstellen, einen seriellen Erweiterungsport 727, wie beispielsweise ein Universal Serial Bus („USB“), und einen Netzwerkcontroller 734 umfassen. Der Datenspeicher 724 kann ein Festplattenlaufwerk, ein Diskettenlaufwerk, ein CD-ROM-Gerät, eine Flash-Speichervorrichtung oder eine anderen Massenspeichervorrichtung beinhalten.
7B ist ein Blockdiagramm, das ein elektronisches Gerät 700B zur Nutzung eines Prozessors 710 zur Unterstützung und/oder Ermöglichung des hierin beschriebenen intelligenten Kühlsystem veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das elektronische Gerät 700B zum Beispiel, und ohne Beschränkung darauf, ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Desktop, ein Tablet, ein mobiles Gerät, ein Telefon, ein eingebetteter Computer oder ein anderes geeignetes elektronisches Gerät sein. In mindestens einer Ausführungsform kann das beispielhafte elektronische Gerät 700B eine oder mehrere Komponenten 462 (aus 4B) enthalten, die Verarbeitungsaspekte für das intelligente Kühlsystem unterstützen.
In mindestens einer Ausführungsform kann das System 700B, ohne darauf beschränkt zu sein, einen Prozessor 710 enthalten, der mit einer beliebigen Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Geräten kommunikativ gekoppelt ist. In mindestens einer Ausführungsform ist der Prozessor 710 über einen Bus oder eine Schnittstelle gekoppelt, wie z.B. einen I²C-Bus, einen Systemverwaltungsbus („SMBus“), einen Low-Pin-Count-Bus (LPC), eine serielle Peripherieschnittstelle („SPI“), einen High-Definition-Audio-Bus („HDA“), einen Serial-Advance-Technology-Attachment-Bus („SATA“), einen Universal-Serial-Bus („USB“) (Versionen 1, 2, 3, usw.) oder einen Universal Asynchronous Receiver/Transmitter-Bus („UART“). In mindestens einer Ausführungsform veranschaulicht 13 ein System, das miteinander verbundene Hardwarevorrichtungen oder „Chips“ enthält, während in anderen Ausführungsformen 7B ein beispielhaftes System on a Chip (SoC) veranschaulichen kann. In mindestens einer Ausführungsform können die in 7B dargestellten Vorrichtungen mit proprietären Interconnects, standardisierten Interconnects (z.B. PCIe) oder einer Kombination davon verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten von 9 über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden.
In mindestens einer Ausführungsform kann 7B eine Anzeige 724, einen berührungsempfindlichen Bildschirm bzw. Touchscreen 725, eine berührungsempfindliche Sensorfläche bzw. ein Touchpad 730, eine Nahfeldkommunikations- bzw. Near Field Communications-Einheit („NFC“) 745, einen Sensor-Hub 740, einen Wärmesensor 746, einen Express-Chipsatz („EC“) 735, ein Trusted Platform Module („TPM“) 738, BIOS/Firmware/Flash-Speicher („BIOS, FW Flash“) 722, einen DSP 760, ein Laufwerk 720 wie beispielsweise eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine Wireless Local Area Network-Einheit („WLAN“) 750, eine Bluetooth-Einheit 752, eine Wireless Wide Area Network-Einheit („WWAN“) 756, eine Global Positioning System (GPS)-Einheit 755, eine Kamera („USB 3.0-Kamera“) 754, wie z.B. eine USB 3.0-Kamera, und/oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 715, die z.B. in einem LPDDR3-Standard implementiert ist, beinhalten. Diese Komponenten können jeweils in jeder geeigneten Weise implementiert sein.
In mindestens einer Ausführungsform können andere Komponenten über die vorstehend diskutierten Komponenten kommunikativ mit dem Prozessor 710 gekoppelt sein. In mindestens einer Ausführungsform können ein Beschleunigungsmesser 741, ein Umgebungslichtsensor („ALS“; Ambient Light Sensor) 742, ein Kompass 743 und ein Gyroskop 744 kommunikativ mit dem Sensor-Hub 740 gekoppelt sein. In mindestens einer Ausführungsform können der Wärmesensor 739, ein Lüfter 737, eine Tastatur 746 und ein Touchpad 730 kommunikativ mit dem EC 735 gekoppelt sein. In mindestens einer Ausführungsform können ein Lautsprecher 763, ein Kopfhörer 764 und ein Mikrofon („mic“) 765 kommunikativ mit einer Audioeinheit („audio codec and dass d amp“, Audio-Kodierer/Dekodierer und Klasse D-Verstärker) 764 gekoppelt sein, die ihrerseits kommunikativ mit dem DSP 760 gekoppelt sein kann. In mindestens einer Ausführungsform kann die Audioeinheit 764 beispielsweise, und ohne darauf beschränkt zu sein, einen Audio-Kodierer/Dekodierer („Codec“) und einen Verstärker der Klasse D umfassen. In mindestens einer Ausführungsform kann die SIM-Karte („SIM“) 757 kommunikativ mit der WWAN-Einheit 756 gekoppelt sein. In mindestens einer Ausführungsform können Komponenten wie die WLAN-Einheit 750 und die Bluetooth-Einheit 752 sowie die WWAN-Einheit 756 in einem Next Generation Form Factor („NGFF“) implementiert sein.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 sind hierin in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik x615 in dem System von 7B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
7C zeigt ein Computersystem 700C gemäß mindestens einer Ausführungsform zur Unterstützung und/oder Ermöglichung des hierin beschriebenen intelligenten Kühlsystems. In mindestens einer Ausführungsform umfasst das Computersystem 700C, ohne Beschränkung darauf, einen Computer 771 und einen USB-Stick 770. In mindestens einer Ausführungsform kann der Computer 771, ohne Beschränkung darauf, eine beliebige Anzahl und einen beliebigen Typ von Prozessor(en) (nicht dargestellt) und einen Speicher (nicht dargestellt) beinhalten. In mindestens einer Ausführungsform beinhaltet der Computer 771, ohne Beschränkung darauf, einen Server, eine Cloud-Instanz, einen Laptop und einen Desktop-Computer.
In mindestens einer Ausführungsform beinhaltet der USB-Stick 770, ohne Beschränkung darauf, eine Verarbeitungseinheit 772, eine USB-Schnittstelle 774 und eine USB-Schnittstellenlogik 773. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 772 ein beliebiges Befehlsausführungssystem, eine beliebige Vorrichtung oder ein beliebiges Gerät sein, das zur Ausführung von Befehlen in der Lage ist. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 772, ohne Beschränkung darauf, eine beliebige Anzahl und einen beliebigen Typ von Verarbeitungskernen (nicht dargestellt) beinhalten. In mindestens einer Ausführungsform beinhaltet die Verarbeitungseinheit oder der Kern 772 eine anwendungsspezifische integrierte Schaltung („ASIC“), die für die Durchführung einer beliebigen Anzahl und Art von Operationen im Zusammenhang mit maschinellem Lernen optimiert ist. Zum Beispiel ist in mindestens einer Ausführungsform der Verarbeitungskern 772 eine Tensorverarbeitungseinheit („TPC“; tensor processing unit), die für die Durchführung von Inferenzierungsoperationen des maschinellen Lernens optimiert ist. In mindestens einer Ausführungsform ist der Verarbeitungskern 772 eine Seh- bzw. Bildverarbeitungseinheit („VPU“; vision processing unit), die für die Durchführung von Inferenzierungsoperationen des maschinellen Sehens und des maschinellen Lernens optimiert ist.
In mindestens einer Ausführungsform kann die USB-Schnittstelle 774 eine beliebige Art von USB-Stecker oder USB-Buchse sein. In mindestens einer Ausführungsform ist die USB-Schnittstelle 774 beispielsweise eine USB 3.0 Typ-C-Buchse für Daten und Strom. In mindestens einer Ausführungsform ist die USB-Schnittstelle 774 ein USB-3.0-Typ-A-Anschluss. In mindestens einer Ausführungsform kann die USB-Schnittstellenlogik 773 eine beliebige Menge und Art von Logik enthalten, die es der Verarbeitungseinheit 772 ermöglicht, über den USB-Anschluss 774 mit Geräten (wie dem Computer 771) zu kommunizieren.
Die Inferenzierungs- und/oder Trainingslogik 615, wie in 6B und 6C beschrieben, wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System 7C für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
8 zeigt ein weiteres Beispiel für ein Computersystem 800 gemäß mindestens einer Ausführungsform zur Implementierung verschiedener Prozesse und Verfahren für das intelligente Kühlsystem, das in dieser Offenbarung beschrieben wird. In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, mindestens eine Zentralverarbeitungseinheit („CPU“) 802, die mit einem Kommunikationsbus 810 verbunden ist, der unter Verwendung eines beliebigen geeigneten Protokolls, wie z.B. PCI („Peripheral Component Interconnect“), Peripheral Component Interconnect Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder einem oder mehreren anderen Bus- oder Punkt-zu-Punkt-Kommunikationsprotokoll(en) implementiert ist. In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, einen Hauptspeicher 804 und eine Steuerlogik (z.B. implementiert als Hardware, Software oder einer Kombination davon), und werden Daten in dem Hauptspeicher 804 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. In mindestens einer Ausführungsform stellt ein Netzwerkschnittstellen-Subsystem („Netzwerkschnittstelle“) 822 eine Schnittstelle zu anderen Rechengeräten und Netzwerken bereit, um Daten von dem Computersystem 800 zu empfangen und mit ihm an andere Systeme zu übertragen.
In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, Eingabevorrichtungen 808, ein Parallelverarbeitungssystem 812 und Anzeigevorrichtungen 806, welche mit einer Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), einer Leuchtdioden („LED“)-Anzeige, einer Plasma-Anzeige oder anderen geeigneten Anzeigetechnologien implementiert sein können. In mindestens einer Ausführungsform werden Benutzereingaben von den Eingabevorrichtungen 808, wie beispielsweise Tastatur, Maus, Touchpad, Mikrofon und mehr, empfangen. In mindestens einer Ausführungsform kann jedes von vorangehenden Modulen auf einer einzigen Halbleiterplattform angeordnet sein, um ein Verarbeitungssystem zu bilden.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen assoziiert sind, wie zuvor z.B. mit Bezug auf 6A-C diskutiert. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6A-C bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System von 8 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im von System 8 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
9A zeigt eine beispielhafte Architektur, bei der eine Vielzahl von GPUs 910-913 über Hochgeschwindigkeitsverbindungen 940-943 (wie beispielsweise Busse, Punkt-zu-Punkt-Verbindungen usw.) mit einer Vielzahl von Mehrkernprozessoren 905-906 kommunikativ gekoppelt ist. In einer Ausführungsform unterstützen Hochgeschwindigkeitsverbindungen 940-943 einen Kommunikationsdurchsatz von 4GB/s, 30GB/s, 80GB/s oder mehr. Es können verschiedene Verbindungsprotokolle verwendet werden, einschließlich, aber nicht beschränkt auf, PCIe 4.0 oder 5.0 und NVLink 2.0.
Zusätzlich und in einer Ausführungsform sind zwei oder mehr GPUs 910-913 über Hochgeschwindigkeitsverbindungen 929-930 miteinander verbunden, die mit denselben oder anderen Protokollen/Leitungen als die für Hochgeschwindigkeitsverbindungen 940-943 verwendeten implementiert sein können. Ebenso können zwei oder mehr der Mehrkernprozessoren 905-906 über Hochgeschwindigkeitsverbindungen 928 verbunden sein, welche symmetrische Multiprozessorbusse (SMP) sein können, die mit 20GB/s, 30GB/s, 120GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen den verschiedenen in 9A gezeigten Systemkomponenten über dieselben Protokolle/Leitungen erfolgen (wie beispielsweise über eine gemeinsame Verbindungsstruktur bzw. ein gemeinsames Verbindungs-Fabric).
In einer Ausführungsform ist jeder Mehrkernprozessor 905-906 über Speicherverbindungen 926-927 kommunikativ mit einem Prozessorspeicher 901-902 verbunden, und ist jede GPU 910-913 über GPU-Speicherverbindungen 950-953 kommunikativ mit dem GPU-Speicher 920-923 verbunden. Die Speicherverbindungen 926-927 und 950-953 können gleiche oder unterschiedliche Speicherzugriffstechnologien verwenden. Beispielhaft und, ohne darauf beschränkt zu sein, können die Prozessorspeicher 901-902 und die GPU-Speicher 920-923 flüchtige Speicher wie dynamische Direktzugriffsspeicher (DRAMs) (einschließlich gestapelter DRAMs), Grafik-DDR-SDRAM (GDDR) (wie beispielsweise GDDR5, GDDR6) oder High Bandwidth Memory (HBM) sein und/oder können nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein. In einer Ausführungsform kann ein Teil der Prozessorspeicher 901-902 ein flüchtiger Speicher und ein anderer Teil ein nichtflüchtiger Speicher sein (wie beispielsweise unter Verwendung einer zweistufigen Speicherhierarchie (2LM)).
Wie nachstehend beschrieben, kann, obwohl verschiedene Prozessoren 905-906 und GPUs 910-913 jeweils physisch mit einem bestimmten Speicher 901-902 bzw. 920-923 verbunden sein können, eine einheitliche Speicherarchitektur implementiert sein, in welcher ein und derselbe virtuelle Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) zwischen verschiedenen physische Speichern verteilt ist. In mindestens einer Ausführungsform können die Prozessorspeicher 901-902 jeweils 64 GB Systemspeicheradressraum und die GPU-Speicher 920-923 jeweils 32 GB Systemspeicheradressraum umfassen (resultierend in diesem Beispiel in einem adressierbaren Gesamtspeicher von 256 GB).
Wie andernorts in dieser Offenbarung erläutert, können zumindest Durchflussraten und zugehörige Temperaturen für eine erste Stufe eines intelligenten Lernsystems, wie beispielsweise ein neuronales Netzwerk, eingerichtet sein. Da die erste Stufe die früheren Daten repräsentiert, repräsentiert sie auch eine kleinere Teilmenge der Daten, die zur Verbesserung des Systems durch erneutes Trainieren des Systems verfügbar sein können. Das Testen und Trainieren kann unter Verwendung mehrerer Prozessoreinheiten parallel durchgeführt werden, so dass das intelligente Lernsystem robust ist. Es kann eine Architektur, wie beispielsweise in 9A, verwendet werden. Wenn Konvergenz für das intelligente Lernsystem erreicht ist, werden eine Anzahl von Datenpunkten und die Daten in den Datenpunkten, die zur Erreichung der Konvergenz verwendet wurden, festgehalten. Die Daten und Datenpunkte können verwendet werden, um das intelligente Kühlsystem zu steuern, wie z.B. unter Bezugnahme auf 2A-5 erläutert.
9B veranschaulicht zusätzliche Details für eine Verbindung zwischen einem Mehrkernprozessor 907 und einem Grafikbeschleunigungsmodul 946, gemäß einer beispielhaften Ausführungsform. Das Grafikbeschleunigungsmodul 946 kann einen oder mehrere GPU-Chips enthalten, die auf einer Leitungskarte integriert sind, die über eine Hochgeschwindigkeitsverbindung 940 mit dem Prozessor 907 verbunden ist. Alternativ kann das Grafikbeschleunigungsmodul 946 auf einem gleichen Gehäuse oder Chip wie der Prozessor 907 integriert sein.
In mindestens einer Ausführungsform umfasst der dargestellte Prozessor 907 eine Vielzahl von Kernen 960A-960D, die jeweils einen Translations-Lookaside-Puffer 961A-961 D und einen oder mehrere Caches 962A-962D aufweisen. In mindestens einer Ausführungsform können die Kerne 960A-960D verschiedene andere Komponenten zur Ausführung von Anweisungen und Verarbeitung von Daten enthalten, die nicht dargestellt sind. Die Caches 962A-962D können Level 1 (L1) und Level 2 (L2) Caches beinhalten. Darüber hinaus können ein oder mehrere gemeinsam genutzte Caches 956 in den Caches 962A-962D enthalten sein und von Gruppen von Kernen 960A-960D gemeinsam genutzt werden. In mindestens einer Ausführungsform beinhaltet eine Ausführungsform des Prozessors 907 beispielsweise 24 Kerne, jeder mit seinem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2- und L3-Caches von zwei benachbarten Kernen gemeinsam genutzt. Prozessor 907 und Grafikbeschleunigungsmodul 946 sind mit dem Systemspeicher 914 verbunden, der die Prozessorspeicher 901-902 aus 9A enthalten kann.
Die Kohärenz wird für Daten und Anweisungen, die in den verschiedenen Caches 962A-962D, 956 und in dem Systemspeicher 914 gespeichert sind, durch Kommunikation zwischen den Kernen über einen Kohärenzbus 964 aufrechterhalten. In mindestens einer Ausführungsform kann jeder Cache über eine ihm zugeordnete Cache-Kohärenzlogik/-schaltung verfügen, um im Ansprechen auf erkannte Lese- oder Schreibvorgänge in bestimmten Cache-Zeilen über den Kohärenzbus 964 zu kommunizieren. In einer Implementierung wird ein Cache-Snooping-Protokoll über den Kohärenzbus 964 implementiert, um Cache-Zugriffe zu snoopen.
In einer Ausführungsform koppelt eine Proxy-Schaltung 925 das Grafikbeschleunigungsmodul 946 kommunikativ an den Kohärenzbus 964, sodass das Grafikbeschleunigungsmodul 946 als Peer der Kerne 960A-960D an einem Cache-Kohärenzprotokoll teilnehmen kann. Insbesondere stellt eine Schnittstelle 935 die Konnektivität zur Proxy-Schaltung 925 über eine Hochgeschwindigkeitsverbindung 940 (z.B. einen PCIe-Bus, NVLink usw.) her, und verbindet eine Schnittstelle 937 das Grafikbeschleunigungsmodul 946 mit der Verbindung 940.
In einer Implementierung stellt eine Beschleuniger-Integrationsschaltung 936 Cache-Verwaltung, Speicherzugriff, Kontextverwaltung und Interrupt-Verwaltungsdienste im Auftrag einer Vielzahl von Grafikverarbeitungs-Engines 931, 932, N des Grafikbeschleunigungsmoduls 946 bereit. Die Grafikverarbeitungs-Engines 931, 932, N können jeweils eine separate Grafikverarbeitungseinheit (GPU) beinhalten. Alternativ können die Grafikverarbeitungs-Engines 931, 932, N verschiedene Typen von Grafikverarbeitungs-Engines innerhalb einer GPU beinhalten, wie beispielsweise Grafikausführungseinheiten, Medienverarbeitungs-Engines (wie beispielsweise Video-Encoder/Decoder), Sampler und Blit-Engines. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 946 eine GPU mit mehreren Grafikverarbeitungs-Engines 931-932, N sein, oder können die Grafikverarbeitungs-Engines 931-932, N einzelne GPUs sein, die auf einem gemeinsamen Gehäuse, einer Leitungskarte oder einem Chip integriert sind. In diesem Fall kann die vorstehende Bestimmung für die Wiederherstellungsparameter und den Wiederherstellungsalgorithmus in den GPUs 931-N von 9B durchgeführt werden.
In einer Ausführungsform enthält die Beschleuniger-Integrationsschaltung 936 eine Speicherverwaltungseinheit (MMU) 939 zur Durchführung verschiedener Speicherverwaltungsfunktionen, wie z.B. Übersetzungen von virtuellem in physischen Speicher (auch als Übersetzungen von effektivem in realen Speicher bezeichnet) und Speicherzugriffsprotokolle für den Zugriff auf den Systemspeicher 914. Die MMU 939 kann auch einen Translations-Lookaside-Puffer (TLB) (nicht dargestellt) zur Zwischenspeicherung von Übersetzungen von virtuellen/effektiven in physische/reale Adressen enthalten. In einer Implementierung speichert ein Cache 938 Befehle und Daten für den effizienten Zugriff durch die Grafikprozessoren 931-932, N. In einer Ausführungsform werden die im Cache 938 und in den Grafikspeichern 933-934, M gespeicherten Daten mit den Core-Caches 962A-962D, 956 und dem Systemspeicher 914 kohärent gehalten. Wie oben erwähnt, kann dies über die Proxy-Schaltung 925 im Namen des Cache 938 und der Speicher 933-934, M erfolgen (z.B. Senden von Aktualisierungen an den Cache 938 in Bezug auf Änderungen/Zugriffe auf Cache-Zeilen in den Prozessor-Caches 962A-962D, 956 und Empfangen von Aktualisierungen vom Cache 938).
Ein Satz von Registern 945 speichert Kontextdaten für Threads, die von den Grafikverarbeitungsmodulen 931-932 ausgeführt werden, N und eine Kontextverwaltungsschaltung 948 verwaltet Thread-Kontexte. In mindestens einer Ausführungsform kann die Kontextverwaltungsschaltung 948 Speicher- und Wiederherstellungsoperationen durchführen, um Kontexte verschiedener Threads während Kontextumschaltungen zu speichern und wiederherzustellen (wie beispielsweise wenn ein erster Thread gespeichert und ein zweiter Thread gespeichert wird, damit ein zweiter Thread von einer Grafikverarbeitungs-Engine ausgeführt werden kann). In mindestens einer Ausführungsform kann bei einer Kontextumschaltung die Kontextverwaltungsschaltung 948 aktuelle Registerwerte in einem bestimmten Bereich im Speicher speichern (wie beispielsweise identifiziert durch einen Kontextzeiger). Sie kann dann die Registerwerte wiederherstellen, wenn sie zu einem Kontext zurückkehrt. In einer Ausführungsform empfängt und verarbeitet eine Interrupt-Verwaltungsschaltung 947 von Systemgeräten empfangene Interrupts.
In einer Implementierung werden virtuelle/effektive Adressen von einer Grafikverarbeitungs-Engine 931 durch die MMU 939 in reale/physische Adressen im Systemspeicher 914 übersetzt. Eine Ausführungsform der Beschleuniger-Integrationsschaltung 936 unterstützt mehrere (wie beispielsweise 4, 8, 16) Grafikbeschleunigermodule 946 und/oder andere Beschleunigergeräte. Das Grafikbeschleunigermodul 946 kann für eine einzelne Anwendung bestimmt sein, die auf dem Prozessor 907 ausgeführt wird, oder es kann von mehreren Anwendungen gemeinsam genutzt werden. In einer Ausführungsform wird eine virtualisierte Grafikausführungsumgebung dargestellt, in der die Ressourcen der Grafikverarbeitungsmodule 931-932, N von mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Ressourcen in „Slices“ unterteilt werden, die verschiedenen VMs und/oder Anwendungen auf der Grundlage von Verarbeitungsanforderungen und Prioritäten, die den VMs und/oder Anwendungen zugeordnet sind, zugewiesen werden.
In mindestens einer Ausführungsform fungiert die Beschleuniger-Integrationsschaltung 936 als Brücke zu einem System für das Grafikbeschleunigungsmodul 946 und bietet Adressübersetzung und Systemspeicher-Cache-Dienste. Darüber hinaus kann die Beschleuniger-Integrationsschaltung 936 Virtualisierungseinrichtungen für einen Host-Prozessor bereitstellen, um die Virtualisierung der Grafikverarbeitungsmodule 931-932, N, Interrupts und die Speicherverwaltung zu verwalten.
Da die Hardware-Ressourcen der Grafikprozessoren 931-932, N explizit auf einen realen Adressraum abgebildet werden, den der Host-Prozessor 907 sieht, kann jeder Host-Prozessor diese Ressourcen direkt mit einem effektiven Adresswert adressieren. Eine Funktion der Beschleuniger-Integrationsschaltung 936 ist in einer Ausführungsform die physische Trennung der Grafikprozessoren 931-932, N, so dass sie einem System als unabhängige Einheiten erscheinen.
In mindestens einer Ausführungsform sind ein oder mehrere Grafikspeicher 933-934, M jeweils mit jeder der Grafikverarbeitungs-Engines 931-932, N gekoppelt. Die Grafikspeicher 933-934, M speichern Befehle und Daten, die von jeder der Grafikverarbeitungs-Engines 931-932, N verarbeitet werden. Die Grafikspeicher 933-934, M können flüchtige Speicher wie DRAMs (einschließlich gestapelter DRAMs), GDDR-Speicher (z.B. GDDR5, GDDR6) oder HBM und/oder nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein.
In einer Ausführungsform werden zur Reduzierung des Datenverkehrs über die Verbindung 940 Biasing-Techniken verwendet, um sicherzustellen, dass in den Grafikspeichern 933-934, M gespeicherte Daten Daten sind, die am häufigsten von den Grafikverarbeitungs-Engines 931-932, N verwendet werden werden und nicht (zumindest nicht häufig) von den Kernen 960A-960D verwendet werden dürfen. In ähnlicher Weise versucht ein Biasing-Mechanismus, Daten, die von Kernen benötigt werden (und nicht von den Grafikverarbeitungs-Engines 931-932, N benötigt werden dürfen), in den Caches 962A-962D, 956 der Kerne und im Systemspeicher 914 zu halten.
9C zeigt eine weitere beispielhafte Ausführungsform, bei der die Beschleuniger-Integrationsschaltung 936 zum Unterstützen und/oder Ermöglichen eines intelligenten Kühlsystems in den Prozessor 907 integriert ist, gemäß mindestens einer Ausführungsform der Offenbarung hierin. In mindestens dieser Ausführungsform kommunizieren die Grafikprozessoren 931-932, N direkt über die Hochgeschwindigkeitsverbindung 940 mit der Beschleuniger-Integrationsschaltung 936 über die Schnittstelle 937 und die Schnittstelle 935 (die wiederum jede Form von Bus- oder Schnittstellenprotokoll verwenden kann). Die Beschleuniger-Integrationsschaltung 936 kann dieselben Operationen ausführen, wie sie in 9B beschrieben sind, jedoch möglicherweise mit einem höheren Durchsatz, da sie sich in unmittelbarer Nähe zum Kohärenzbus 964 und den Caches 962A-962D, 956 befindet. Mindestens eine Ausführungsform unterstützt verschiedene Programmiermodelle, darunter ein Programmiermodell mit dediziertem Prozess (keine Virtualisierung des Grafikbeschleunigungsmoduls) und gemeinsam genutzte Programmiermodelle (mit Virtualisierung), die Programmiermodelle umfassen können, die von der Beschleuniger-Integrationsschaltung 936 gesteuert werden, sowie Programmiermodelle, die vom Grafikbeschleunigungsmodul 946 gesteuert werden.
In mindestens einer Ausführungsform sind die Grafikprozessoren 931-932, N für eine einzelne Anwendung oder einen einzelnen Prozess unter einem einzelnen Betriebssystem vorgesehen. In mindestens einer Ausführungsform kann eine einzelne Anwendung andere Anwendungsanforderungen an die Grafikverarbeitungs-Engines 931-932, N weiterleiten, wodurch eine Virtualisierung innerhalb einer VM/Partition bereitgestellt wird.
In mindestens einer Ausführungsform können die Grafikverarbeitungs-Engines 931-932, N, von mehreren VM-/Anwendungspartitionen gemeinsam genutzt werden. In mindestens einer Ausführungsform können gemeinsam genutzte Modelle einen Systemhypervisor verwenden, um die Grafikverarbeitungs-Engines 931-932, N zu virtualisieren, um den Zugriff durch jedes Betriebssystem zu ermöglichen. Bei Systemen mit einer Partition ohne Hypervisor sind die Grafikverarbeitungseinheiten 931-932, N Eigentum eines Betriebssystems. In mindestens einer Ausführungsform kann ein Betriebssystem die Grafikverarbeitungsmodule 931-932, N virtualisieren, um jedem Prozess oder jeder Anwendung Zugriff zu gewähren.
In mindestens einer Ausführungsform wählt das Grafikbeschleunigungsmodul 946 oder eine einzelne Grafikverarbeitungs-Engine 931-932, N ein Prozesselement mithilfe eines Prozesshandles aus. In mindestens einer Ausführungsform werden Prozesselemente im Systemspeicher 914 gespeichert und sind unter Verwendung der hierin beschriebenen Übersetzungstechniken von effektiven Adressen in reale Adressen adressierbar. In mindestens einer Ausführungsform kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Host-Prozess zur Verfügung gestellt wird, wenn er seinen Kontext bei der Grafikverarbeitungs-Engine 931-932, N registriert (d.h. die Systemsoftware aufruft, um ein Prozesselement zu einer verknüpften Prozesselementliste hinzuzufügen). In mindestens einer Ausführungsform können die unteren 16 Bits eines Prozesshandles ein Offset eines Prozesselements innerhalb einer Prozesselement-Verknüpfungsliste sein.
9D zeigt ein beispielhaftes Beschleunigungs-Integrations-Slice 990 zum Ermöglichen und/oder Unterstützen des intelligenten Kühlsystems in den Prozessor 907 integriert ist, gemäß mindestens einer Ausführungsform der Offenbarung hierin. Wie hierin verwendet, umfasst ein „Slice“ einen bestimmten Teil der Verarbeitungsressourcen der Beschleuniger-Integrationsschaltung 936. Der anwendungswirksame Adressraum 982 innerhalb des Systemspeichers 914 speichert Prozesselemente 983. In einer Ausführungsform werden Prozesselemente 983 als Reaktion auf GPU-Aufrufe 981 von Anwendungen 980, die auf dem Prozessor 907 ausgeführt werden, gespeichert. Ein Prozesselement 983 enthält den Prozessstatus für die entsprechende Anwendung 980. Ein im Prozesselement 983 enthaltener Arbeits- bzw. Workdeskriptor (WD) 984 kann ein einzelner, von einer Anwendung angeforderter Job bzw. Auftrag sein oder einen Zeiger auf eine Warteschlange von Jobs enthalten. In mindestens einer Ausführungsform ist der WD 984 ein Zeiger auf eine Auftragsanforderungswarteschlange im Adressraum 982 einer Anwendung.
Das Grafikbeschleunigungsmodul 946 und/oder einzelne Grafikverarbeitungs-Engines 931-932, N können von allen oder einer Teilmenge von Prozessen in einem System gemeinsam genutzt werden. In mindestens einer Ausführungsform kann eine Infrastruktur zum Einrichten des Prozessstatus und zum Senden eines WD 984 an ein Grafikbeschleunigungsmodul 946 zum Starten eines Auftrags in einer virtualisierten Umgebung enthalten sein.
In mindestens einer Ausführungsform ist ein Programmiermodell für dedizierte Prozesse implementierungsspezifisch. In diesem Modell besitzt ein einzelner Prozess das Grafikbeschleunigungsmodul 946 oder eine einzelne Grafikverarbeitungs-Engine 931. Da das Grafikbeschleunigungsmodul 946 einem einzelnen Prozess gehört, initialisiert ein Hypervisor die Beschleuniger-Integrationsschaltung 936 für eine besitzende Partition und initialisiert ein Betriebssystem die Beschleuniger-Integrationsschaltung 936 für einen besitzenden Prozess, wenn das Grafikbeschleunigungsmodul 946 zugewiesen wird.
Im Betrieb holt eine WD-Abrufeinheit 991 in dem Beschleunigungs-Integrations-Slice 990 den nächsten WD 984 ab, der eine Anzeige der Arbeit enthält, die von einer oder mehreren Grafikverarbeitungs-Engines des Grafikbeschleunigungsmoduls 946 zu erledigen ist. Die Daten aus dem WD 984 können in Registern 945 gespeichert und von der MMU 939, der Interrupt-Verwaltungsschaltung 947 und/oder der Kontextverwaltungsschaltung 948 verwendet werden, wie dargestellt. In mindestens einer Ausführungsform der MMU 939 enthält eine Segment-/Seiten-Durchlaufschaltung für den Zugriff auf Segment-/Seitentabellen 986 innerhalb des virtuellen OS-Adressraums 985. Die Interrupt-Verwaltungsschaltung 947 kann vom Grafikbeschleunigungsmodul 946 empfangene Interrupt-Ereignisse 992 verarbeiten. Bei der Durchführung von Grafikoperationen wird eine von einer Grafikverarbeitungs-Engine 931-932, N erzeugte effektive Adresse 993 von der MMU 939 in eine reale Adresse übersetzt.

In einer Ausführungsform wird ein gleicher Satz von Registern 945 für jede Grafikverarbeitungs-Engine 931-932, N und/oder jedes Grafikbeschleunigungsmodul 946 dupliziert und kann von einem Hypervisor oder Betriebssystem initialisiert werden. Jedes dieser duplizierten Register kann in einem Beschleunigungs-Integrations-Slice 990 enthalten sein. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, sind in Tabelle 1 gezeigt. Tabelle 1 - Initialisierte Hypervisor-Register

1	Slice-Steuerregister
2	Zeiger auf Bereich realer Adressen (RA) geplanter Prozesse
3	Autoritätsmasken-Überschreibungsregister
4	Versatz Unterbrechungsvektor-Tabelleneintrag
5	Grenze Unterbrechungsvektor-Tabelleneintrag
6	Statusregister
7	ID der logischen Partition
8	Zeiger auf reale Adresse (RA) des Eintrags für Hypervisorbeschleunigernutzung
9	Speicherbeschreibungsregister

Beispielhafte Register, die von einem Betriebssystem initialisiert werden können, sind in Tabelle 2 gezeigt. Tabelle 2 - Initialisierte Register des Betriebssystems

1	Prozess- und Thread-Identifikation
2	Zeiger auf effektive Adresse (EA) der Kontext-Speicherung/Wiederherstellung
3	Zeiger auf virtuelle Adresse (VA) des Eintrags für Beschleunigernutzung
4	Zeiger auf virtuelle Adresse (VA) der Speichersegmenttabelle
5	Autoritätsmaske
6	Arbeitsdeskriptor

In mindestens einer Ausführungsform ist jeder WD 984 spezifisch für ein bestimmtes Grafikbeschleunigungsmodul 946 und/oder die Grafikverarbeitungs-Engines 931-931, N). Er enthält alle Informationen, die von einer Grafikverarbeitungs-Engine 931-931, N benötigt werden, um Arbeit zu verrichten, oder kann er ein Zeiger auf einen Speicherplatz sein, an dem eine Anwendung eine Befehlswarteschlange von zu verrichtender Arbeit eingerichtet hat.
9E veranschaulicht zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells. Diese Ausführungsform umfasst einen realen Hypervisor-Adressraum 998, in dem eine Prozesselementliste 999 gespeichert ist. Der reale Hypervisor-Adressraum 998 ist über einen Hypervisor 996 zugänglich, der die Grafikbeschleunigungsmodul-Engines für das Betriebssystem 995 virtualisiert.
In mindestens einer Ausführungsform ermöglichen gemeinsam genutzte Programmiermodelle, dass alle oder eine Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System ein Grafikbeschleunigungsmodul 946 verwenden. Es gibt zwei Programmiermodelle, bei denen das Grafikbeschleunigungsmodul 946 von mehreren Prozessen und Partitionen gemeinsam genutzt wird: Zeitscheibengeteilt bzw. Time-Sliced Shared und grafikanweisungsgeteilt bzw. Graphics Directed Shared.
In diesem Modell besitzt der Systemhypervisor 996 das Grafikbeschleunigungsmodul 946 und stellt dessen Funktion allen Betriebssystemen 995 zur Verfügung. Damit ein Grafikbeschleunigungsmodul 946 die Virtualisierung durch den Systemhypervisor 996 unterstützen kann, muss das Grafikbeschleunigungsmodul 946 folgendes erfüllen: 1) Eine Auftragsanforderung einer Anwendung muss autonom sein (d.h. der Zustand braucht zwischen Aufträgen nicht aufrechterhalten zu werden), oder das Grafikbeschleunigungsmodul 946 muss einen Mechanismus zum Speichern und Wiederherstellen von Kontexts bereitstellen. 2) Das Grafikbeschleunigungsmodul 946 garantiert, dass die Auftragsanforderung einer Anwendung innerhalb einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Grafikbeschleunigungsmodul 946 stellt eine Möglichkeit bereit, die Verarbeitung eines Auftrags zu unterbrechen. 3) dem Grafikbeschleunigungsmodul 946 muss Fairness zwischen den Prozessen garantiert werden, wenn es in einem weisungsbehafteten, gemeinsam genutzten Programmiermodell arbeitet.
In mindestens einer Ausführungsform muss die Anwendung 980 einen Systemaufruf des Betriebssystems 995 mit einem Typ des Grafikbeschleunigungsmoduls 946, einem Arbeitsdeskriptor (WD), einem AMR (Authority Mask bzw. Autoritätsmaskenregister)-Wert und einem Zeiger auf den Bereich zur Speicherung/Wiederherstellung von Kontext bzw. CSRP (Context Save/Restore Area Pointer) durchführen. In mindestens einer Ausführungsform beschreibt der Typ des Grafikbeschleunigungsmoduls 946 eine als Ziel gesetzte Beschleunigungsfunktion für einen Systemaufruf. In mindestens einer Ausführungsform kann der Typ des Grafikbeschleunigungsmoduls 946 ein systemspezifischer Wert sein. In mindestens einer Ausführungsform ist der WD speziell für das Grafikbeschleunigungsmodul 946 formatiert und kann in Form eines Grafikbeschleunigungsmodul-1246-Befehls, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer anderen Datenstruktur vorliegen, um die von dem Grafikbeschleunigungsmodul 946 zu verrichtende Arbeit zu beschreiben In einer Ausführungsform ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. In mindestens einer Ausführungsform ist ein Wert, der an ein Betriebssystem übergeben wird, vergleichbar mit einer Anwendung, die ein AMR setzt. Falls die Implementierungen der Beschleuniger-Integrationsschaltung 936 und des Grafikbeschleunigungsmoduls 946 kein User Authority Mask Override Register (UAMOR) unterstützen, kann ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor ein AMR in einem Hypervisor-Aufruf übergeben wird. Der Hypervisor 996 kann in mindestens einer Ausführungsform einen aktuellen AMOR-Wert (Authority Mask Override Register) auf einen AMR-Wert anwenden, bevor ein AMR in dem Prozesselement 983 gesetzt wird. In mindestens einer Ausführungsform ist CSRP eines der Register 945, die eine effektive Adresse eines Bereichs im Adressraum 982 einer Anwendung für das Grafikbeschleunigungsmodul 946 zum Speichern und Wiederherstellen des Kontextstatus enthalten. Dieser Zeiger wird in mindestens einer Ausführungsform verwendet, falls kein Zustand zwischen Aufträgen gespeichert werden muss oder wenn ein Auftrag vorzeitig beendet wird. In mindestens einer Ausführungsform kann der Kontext-Speicher-/Wiederherstellungs-Bereich verankerter Systemspeicher sein.

Bei Empfangen eines Systemaufrufs kann das Betriebssystem 995 überprüfen, ob die Anwendung 980 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 946 erhalten hat. Das Betriebssystem 995 ruft dann den Hypervisor 996 mit den in Tabelle 3 gezeigten Informationen auf. Tabelle 3 - Parameter für Aufrufe zwischen Betriebssystem und Hypervisor

1	Arbeitsdeskriptor (WD)
2	Autoritätsmaskenregister (AMR)-Wert (potenziell maskiert)
3	Zeiger auf effektive Adresse (EA) des Kontext-Speicher-/Wiederherstellungs-Bereichs (CSRP)
4	Prozess-ID (PID) und optional Thread-ID (TID)
5	Zeiger auf virtuelle Adresse (VA) des Beschleunigernutzungseintrags (AURP)
6	Virtuelle Adresse des Speichersegmenttabellenzeigers (SSTP)
7	logische Unterbrechungsdienstnummer (LISN)

Bei Empfangen eines Hypervisor-Aufrufs überprüft der Hypervisor 996, ob das Betriebssystem 995 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 946 erhalten hat. Der Hypervisor 996 setzt dann das Prozesselement 983 in eine verknüpfte Prozesselementliste für einen entsprechenden Grafikbeschleunigungsmodultyp 946. Ein Prozesselement kann die in Tabelle 4 gezeigten Informationen enthalten. Tabelle 4 -Prozesselementinformationen

1	Arbeitsdeskriptor (WD)
2	Autoritätsmaskenregister (AMR)-Wert (potenziell maskiert)
3	Zeiger auf effektive Adresse (EA) des Kontext-Speicher-/Wiederherstellungs-Bereichs (CSRP)
4	Prozess-ID (PID) und optional Thread-ID (TID)
5	Zeiger auf virtuelle Adresse (VA) des Beschleunigernutzungseintrags (AURP)
6	Virtuelle Adresse des Speichersegmenttabellenzeigers (SSTP)
7	Dienstnummer logische Unterbrechung (LISN)
8	Unterbrechungsvektortabelle, abgeleitet aus Hypervisor-Aufrufparametern
9	Statusregister (SR)-Wert
10	ID logische Partition (LPID)
11	Zeiger auf reale Adresse (RA) des Eintrags für Hypervisor-Beschleunigernutzung
12	Speicherdeskriptorregister (SDR)

In mindestens einer Ausführungsform initialisiert der Hypervisor eine Vielzahl von Registern 945 des Beschleunigungs-Integrations-Slice 990.
Wie in 9F dargestellt, wird in mindestens einer Ausführungsform ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 901-902 und GPU-Speicher 920-923 verwendet wird. In dieser Implementierung nutzen Operationen, die auf den GPUs 910-913 ausgeführt werden, denselben virtuellen/effektiven Speicheradressraum, um auf die Prozessorspeicher 901-902 zuzugreifen und umgekehrt, was die Programmierbarkeit vereinfacht. In einer Ausführungsform wird ein erster Teil eines virtuellen/effektiven Adressraums dem Prozessorspeicher 901 zugewiesen, ein zweiter Teil dem zweiten Prozessorspeicher 902, ein dritter Teil dem GPU-Speicher 920 usw. In mindestens einer Ausführungsform wird dadurch ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 901-902 und GPU-Speicher 920-923 verteilt, so dass jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer virtuellen Adresse zugreifen kann, die auf diesen Speicher abgebildet bzw. gemappt ist.
In einer Ausführungsform stellt die Bias/Kohärenz-Verwaltungsschaltung 994A-994E in einer oder mehreren MMUs 939A-939E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Host-Prozessoren (z.B. 905) und GPUs 910-913 sicher und implementiert Bias-Techniken, die physische Speicher anzeigen, in denen bestimmte Datentypen zu speichern sind. Während mehrere Instanzen der Bias/Kohärenz-Verwaltungsschaltung 994A-994E in 9F dargestellt sind, können Bias/Kohärenz-Schaltkreise in einer MMU eines oder mehrerer Host-Prozessoren 905 und/oder in der Beschleuniger-Integrationsschaltung 936 implementiert sein.
In einer Ausführungsform kann GPU-angeschlossener Speicher 920-923 als Teil des Systemspeichers abgebildet werden und kann auf ihn mit der SVM (Shared Virtual Memory)-Technologie zugegriffen werden, ohne dass Leistungsnachteile auftreten, die mit der vollständigen System-Cache-Kohärenz verbunden sind. In mindestens einer Ausführungsform bietet die Möglichkeit des Zugriffs auf GPU-angeschlossenen Speicher 920-923 als Systemspeicher ohne lästigen Cache-Kohärenz-Overhead eine vorteilhafte Betriebsumgebung für GPU-Offload. Diese Anordnung ermöglicht es der Software des Host-Prozessors 905, Operanden einzurichten und auf Berechnungsergebnisse zuzugreifen, ohne den Overhead traditioneller E/A-DMA-Datenkopien. Solche traditionellen Kopien beinhalten Treiberaufrufe, Interrupts und Memory-Mapped-E/A-Zugriffe (MMIO), die alle im Vergleich zu einfachen Speicherzugriffen ineffizient sind. In mindestens einer Ausführungsform kann die Fähigkeit, auf GPU-verbundenen Speicher 920-923 ohne Cache-Kohärenz-Overhead zuzugreifen, für die Ausführungszeit einer ausgelagerten Berechnung entscheidend sein. In Fällen mit erheblichem Streaming-Schreibspeicherverkehr kann der Cache-Kohärenz-Overhead beispielsweise die effektive Schreibbandbreite einer GPU 910-913 erheblich reduzieren. In mindestens einer Ausführungsform können die Effizienz der Operandeneinrichtung, die Effizienz des Ergebniszugriffs und die Effizienz der GPU-Berechnung eine Rolle bei der Bestimmung der Effektivität eines GPU-Offloads spielen.
In mindestens einer Ausführungsform wird die Auswahl von GPU-Bias und Host-Prozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. Es kann z.B. eine Bias-Tabelle verwendet werden, die eine seitengranulare Struktur sein kann (in mindestens einer Ausführungsform kann dies mit einer Granularität einer Speicherseite gesteuert wird), die 1 oder 2 Bits pro GPU-angeschlossener Speicherseite umfasst. In mindestens einer Ausführungsform kann eine Bias-Tabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU-angeschlossener Speicher 920-923 implementiert sein, mit oder ohne Bias-Cache in der GPU 910-913 (wie beispielsweise um häufig/kürzlich verwendete Einträge einer Bias-Tabelle zu cachen). Alternativ kann auch eine gesamte Bias-Tabelle in einer GPU verwaltet werden.
In mindestens einer Ausführungsform wird vor einem tatsächlichen Zugriff auf einen GPU-Speicher auf einen Bias-Tabelleneintrag zugegriffen, der jedem Zugriff auf GPU-angeschlossenen Speicher 920-923 zugeordnet ist, was die folgenden Vorgänge bewirkt. Zunächst werden lokale Anforderungen von GPUs 910-913, die ihre Seite im GPU-Bias finden, direkt an einen entsprechenden GPU-Speicher 920-923 weitergeleitet. Lokale Anforderungen von einer GPU, die ihre Seite im Host-Bias finden, werden an den Prozessor 905 weitergeleitet (wie beispielsweise über eine Hochgeschwindigkeitsverbindung wie oben beschrieben). In einer Ausführungsform schließen Anforderungen vom Prozessor 905, die eine angeforderte Seite im Host-Prozessor-Bias finden, eine Anforderung wie ein normales Speicherlesen ab. Alternativ können Anforderungen, die an eine Seite mit GPU-Bias gerichtet sind, an die GPU 910-913 weitergeleitet werden. In mindestens einer Ausführungsform kann eine GPU dann eine Seite in einen Host-Prozessor-Bias überführen, wenn sie eine Seite gerade nicht verwendet. In mindestens einer Ausführungsform kann der Bias-Zustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwareunterstützten softwarebasierten Mechanismus oder, für eine begrenzte Anzahl von Fällen, einen rein hardwarebasierten Mechanismus geändert werden.
Ein Mechanismus zum Ändern des Bias-Zustands verwendet einen API-Aufruf (wie beispielsweise OpenCL), der wiederum den Gerätetreiber eines Grafikprozessors aufruft, der wiederum eine Nachricht an einen Grafikprozessor sendet (oder einen Befehlsdeskriptor in die Warteschlange stellt) und ihn anweist, einen Bias-Zustand zu ändern und bei einigen Übergängen einen Cache-Flushing-Vorgang in einem Host durchzuführen. In mindestens einer Ausführungsform wird der Cache-Flushing-Vorgang für einen Übergang vom Bias des Host-Prozessors 905 zum Bias der GPU verwendet, aber nicht für einen entgegengesetzten Übergang.
In einer Ausführungsform wird die Cache-Kohärenz aufrechterhalten, indem GPUbasierte Seiten vom Host-Prozessor 905 vorübergehend nicht gecacht werden können. Um auf diese Seiten zuzugreifen, kann der Prozessor 905 den Zugriff von der GPU 910 anfordern, die den Zugriff möglicherweise nicht sofort gewährt. Um die Kommunikation zwischen Prozessor 905 und GPU 910 zu reduzieren, ist es daher vorteilhaft, sicherzustellen, dass Seiten mit GPU-Bias diejenigen sind, die von einer GPU, aber nicht vom Host-Prozessor 905 benötigt werden und umgekehrt.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um eine oder mehrere Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben.
10A veranschaulicht beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden können, gemäß verschiedenen hierin beschriebenen Ausführungsformen, zum Unterstützen und/oder Ermöglichen des intelligenten Kühlsystems. Zusätzlich zu dem, was dargestellt ist, können andere Logik und Schaltungen in mindestens einer Ausführungsform enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Universal-Prozessorkerne.
10A ist ein Blockdiagramm, das eine beispielhafte integrierte System-auf-einem-Chip-Schaltung 1000A veranschaulicht, die unter Verwendung eines oder mehrerer IP-Kerne gemäß mindestens einer Ausführungsform hergestellt werden kann. In mindestens einer Ausführungsform enthält die integrierte Schaltung 1 000A einen oder mehrere Anwendungsprozessor(en) 1005 (z.B. CPUs), mindestens einen Grafikprozessor 1010 und kann zusätzlich einen Bildprozessor 1015 und/oder einen Videoprozessor 1020 enthalten, von denen jeder ein modularer IP-Kern sein kann. In mindestens einer Ausführungsform enthält der integrierte Schaltkreis 1000 eine Peripherie- oder Buslogik einschließlich eines USB-Controllers 1025, eines UART-Controllers 1030, eines SPI/SDIO-Controllers 1035 und eines I2S/I2C-Controllers 1040. In mindestens einer Ausführungsform kann die integrierte Schaltung 1000 eine Anzeigevorrichtung 1045 enthalten, die mit einem oder mehreren HDMI-Controllern (High-Definition Multimedia Interface) 1050 und einer MIPI-Anzeigeschnittstelle 1055 (Mobile Industry Processor Interface) verbunden ist. In mindestens einer Ausführungsform kann der Speicher durch ein Flash-Speicher-Subsystem 1060 bereitgestellt werden, das einen Flash-Speicher und einen Flash-Speicher-Controller enthält. In mindestens einer Ausführungsform kann die Speicherschnittstelle über einen Speicher-Controller 1065 für den Zugriff auf SDRAM- oder SRAM-Speichervorrichtungen bereitgestellt werden. In mindestens einer Ausführungsform enthalten einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Engine 1070.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in der integrierten Schaltung 1000A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
10B-10C zeigen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden können, gemäß verschiedenen hierin beschriebenen Ausführungsformen, um das intelligente Kühlsystem zu unterstützen und/oder zu ermöglichen. Zusätzlich zu dem, was dargestellt ist, können andere Logik und Schaltungen in mindestens einer Ausführungsform enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Universal-Prozessorkerne.
10B-10C sind Blockdiagramme, die beispielhafte Grafikprozessoren zur Verwendung in einem SoC veranschaulichen, gemäß hierin beschriebenen Ausführungsformen, um das intelligente Kühlsystem zu unterstützen und/oder zu ermöglichen. In einem Beispiel können die Grafikprozessoren in dem intelligenten Kühlsystem aufgrund existierender Mathematik-Engines, die zu einer schnelleren Verarbeitung von mehrstufigen neuronalen Netzwerken in der Lage sind, verwendet werden. 10B veranschaulicht einen beispielhaften Grafikprozessor 1010 eines integrierten System-on-Chip-Schaltkreises, der gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann. 10C zeigt einen weiteren beispielhaften Grafikprozessor 1040 eines integrierten System-on-Chip-Schaltkreises, der unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessor 1010 aus 10A ein stromsparender Grafikprozessorkern. In mindestens einer Ausführungsform ist der Grafikprozessor 1040 von 10C ein Grafikprozessorkern mit höherer Leistung. In mindestens einer Ausführungsform kann jeder der Grafikprozessoren 1010, 1040 eine Variante des Grafikprozessors 1010 von 10A sein.
In mindestens einer Ausführungsform umfasst der Grafikprozessor 1010 einen Vertex-Prozessor 1005 und einen oder mehrere Fragment-Prozessor(en) 1015A-1015N (wie beispielsweise 1015A, 1015B, 1015C, 1015D bis 1015N-1 und 1015N). In mindestens einer Ausführungsform kann der Grafikprozessor 1010 verschiedene Shader-Programme über eine separate Logik ausführen, so dass der Vertex-Prozessor 1005 für die Ausführung von Operationen für Vertex-Shader-Programme optimiert ist, während ein oder mehrere Fragment-Prozessor(en) 1015A-1015N Fragment- (wie beispielsweise Pixel-) Shading-Operationen für Fragment- oder Pixel-Shader-Programme ausführen. In mindestens einer Ausführungsform führt der Vertex-Prozessor 1005 eine Vertex-Verarbeitungsstufe einer 3D-Grafikpipeline aus und erzeugt Primitive und Vertexdaten. In mindestens einer Ausführungsform verwenden Fragmentprozessor(en) 1015A-1015N die vom Vertexprozessor 1005 erzeugten Primitiv- und Vertexdaten, um einen Frame-Puffer zu erzeugen, der auf einer Anzeigevorrichtung angezeigt wird. In mindestens einer Ausführungsform ist/sind der/die Fragmentprozessor(en) 1015A-1015N für die Ausführung von Fragment-Shader-Programmen optimiert, wie sie in einer OpenGL-API vorgesehen sind, die zur Durchführung ähnlicher Operationen wie ein Pixel-Shader-Programm verwendet werden kann, wie es in einer Direct 3D-API vorgesehen ist.
In mindestens einer Ausführungsform enthält der Grafikprozessor 1010 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 1020A-1020B, Cache(s) 1025A-1025B und Schaltungsverbindung(en) 1030A-1030B. In mindestens einer Ausführungsform sorgen eine oder mehrere MMU(s) 1020A-1020B für die Zuordnung von virtuellen zu physischen Adressen für den Grafikprozessor 1010, einschließlich für den Vertex-Prozessor 1005 und/oder den/die Fragment-Prozessor(en) 1015A-1015N, die auf im Speicher gespeicherte Vertex- oder Bild/Textur-Daten verweisen können, zusätzlich zu den in einem oder mehreren Cache(s) 1025A-1025B gespeicherten Vertex- oder Bild/Textur-Daten. In mindestens einer Ausführungsform können eine oder mehrere MMU(s) 1020A-1020B mit anderen MMUs innerhalb des Systems synchronisiert werden, einschließlich einer oder mehrerer MMUs, die einem oder mehreren Anwendungsprozessor(en) 1005, Bildprozessoren 1015 und/oder Videoprozessoren 1020 von 10A zugeordnet sind, so dass jeder Prozessor 1005-1020 an einem gemeinsam genutzten oder vereinheitlichten virtuellen Speichersystem teilnehmen kann. In mindestens einer Ausführungsform ermöglichen eine oder mehrere Schaltungsverbindung(en) 1030A-1030B dem Grafikprozessor 1010 eine Schnittstelle zu anderen IP-Kernen innerhalb des SoC, entweder über einen internen Bus des SoC oder über eine direkte Verbindung.
In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 eine oder mehrere MMU(s) 1020A-1020B, Cache(s) 1025A-1025B und Schaltkreisverbindung(en) 1030A-1030B des Grafikprozessors 1010 von 10A. In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 einen oder mehrere Shader-Kern(e) 1055A-1055N (z.B. 1055A, 1055B, 1055C, 1055D, 1055E, 1055F bis 1055N-1 und 1055N), der eine einheitliche Shader-Kern-Architektur bereitstellt, bei der ein einziger Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Rechen-Shadern. In mindestens einer Ausführungsform kann eine Anzahl von Shader-Kernen variieren. In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 einen Inter-Core-Task-Verwalter 1045, der als Thread-Versender fungiert, um Ausführungs-Threads an einen oder mehrere Shader-Kerne 1055A-1055N zu verteilen, sowie eine Kachelungs- bzw. Tiling-Einheit 1058, um Kachelungs- bzw. Tiling-Operationen für kachelbasiertes Rendering zu beschleunigen, bei denen Rendering-Operationen für eine Szene im Bildraum unterteilt werden, um beispielsweise die lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Verwendung interner Caches zu optimieren.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in der integrierten Schaltung 10A und/oder 10B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
10D-10E veranschaulichen zusätzliche beispielhafte Grafikprozessorlogik, gemäß hierin beschriebenen Ausführungsformen, um das intelligente Kühlsystem zu unterstützen und/oder zu ermöglichen. 10D veranschaulicht einen Grafikkern 1000D, der in mindestens einer Ausführungsform im Grafikprozessor 1010 von 10A enthalten sein kann und in mindestens einer Ausführungsform ein einheitlicher Shader-Kern 1055A-1055N wie in 10C sein kann. 10B zeigt eine hochparallele Mehrzweck-Grafikverarbeitungseinheit 1030, die für den Einsatz auf einem Multi-Chip-Modul in mindestens einer Ausführungsform geeignet ist.
In mindestens einer Ausführungsform kann der Grafikkern 1000D mehrere Slices 1001A-1001N oder Partitionen für jeden Kern enthalten, und kann ein Grafikprozessor mehrere Instanzen des Grafikkerns 10000 enthalten. Die Slices 1001A-1001N können eine Unterstützungslogik enthalten, die einen lokalen Befehlscache 1004A-1004N, einen Thread-Planer bzw. Thread-Scheduler 1006A-1006N, einen Thread-Versender bzw. Thread-Dispatcher 1008A-1008N und einen Satz von Registern 1010A-1010N umfasst. In mindestens einer Ausführungsform können die Slices 1001A-1001 N einen Satz zusätzlicher Funktionseinheiten (AFUs 1012A-1012N), Gleitkommaeinheiten (FPU 1014A-1014N), Ganzzahl-Arithmetik-Logikeinheiten (ALUs 1016-1016N), Adressberechnungseinheiten (ACU 1013A-1013N), Gleitkommaeinheiten mit doppelter Genauigkeit (DPFPU 1015A-1015N) und Matrixverarbeitungseinheiten (MPU 1017A-1017N) enthalten.
In mindestens einer Ausführungsform können die FPUs 1014A-1014N Gleitkommaoperationen mit einfacher Genauigkeit (32 Bit) und halber Genauigkeit (16 Bit) durchführen, während die DPFPUs 1015A-1015N Gleitkommaoperationen mit doppelter Genauigkeit (64 Bit) durchführen. In mindestens einer Ausführungsform können die ALUs 1016A-1016N Ganzzahl- bzw. Integer-Operationen mit variabler Präzision bei 8-Bit-, 16-Bit- und 32-Bit-Präzision durchführen und für Operationen mit gemischter Präzision konfiguriert sein. In mindestens einer Ausführungsform können die MPUs 1017A-1017N auch für Matrixoperationen mit gemischter Genauigkeit konfiguriert sein, einschließlich Gleitkomma- und 8-Bit-Ganzzahl-Operationen mit halber Genauigkeit. In mindestens einer Ausführungsform können die MPUs 1017A-1017N eine Vielzahl von Matrixoperationen durchführen, um Anwendungs-Frameworks für maschinelles Lernen zu beschleunigen, einschließlich der Unterstützung für eine beschleunigte allgemeine Matrix-zu-Matrix-Multiplikation (GEMM; general matrix to matrix multiplication). In mindestens einer Ausführungsform können die AFUs 1012A-1012N zusätzliche logische Operationen durchführen, die nicht von Gleitkomma- oder Ganzzahl-Einheiten unterstützt werden, einschließlich trigonometrischer Operationen (wie beispielsweise Sinus, Cosinus usw.).
Wie andernorts in dieser Offenbarung diskutiert, kann die Inferenzierungs- und/oder Trainingslogik 615 (referenziert zumindest in 6B, 6C) verwendet werden, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in dem Grafikkern 1000D für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet wurden.
11A ist ein Blockdiagramm, das ein Rechensystem 1100A veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das Rechensystem 1100A ein Verarbeitungssubsystem 1101 mit einem oder mehreren Prozessor(en) 1102 und einem Systemspeicher 1104, die über einen Verbindungspfad kommunizieren, der einen Speicher-Hub 1105 enthalten kann. In mindestens einer Ausführungsform kann der Speicher-Hub 1105 eine separate Komponente innerhalb einer Chipsatzkomponente sein oder in einen oder mehrere Prozessor(en) 1102 integriert sein. In mindestens einer Ausführungsform ist der Speicher-Hub 1105 über eine Kommunikationsverbindung 1106 mit einem E/A-Subsystem 1111 gekoppelt. In mindestens einer Ausführungsform umfasst das E/A-Subsystem 1111 einen E/A-Hub 1107, der es dem Rechensystem 1100 ermöglichen kann, Eingaben von einem oder mehreren Eingabegerät(en) 1108 zu empfangen. In mindestens einer Ausführungsform kann der E/A-Hub 1107 einen Anzeige-Controller, der in einem oder mehreren Prozessor(en) 1102 enthalten sein kann, in die Lage versetzen, Ausgaben an eine oder mehrere Anzeigevorrichtung(en) 1110A zu liefern. In mindestens einer Ausführungsform kann eine oder mehrere Anzeigevorrichtung(en) 1110A, die mit dem E/A-Hub 1107 gekoppelt sind, eine lokale, interne oder eingebettete Anzeigevorrichtung umfassen.
In mindestens einer Ausführungsform umfasst das Verarbeitungssubsystem 1101 einen oder mehrere parallele(n) Prozessor(en) 1112, der/die über einen Bus oder eine andere Kommunikationsverbindung 1113 mit dem Speicher-Hub 1105 verbunden ist/sind. In mindestens einer Ausführungsform kann die Kommunikationsverbindung 1113 eine beliebige Anzahl von standardbasierten Kommunikationsverbindungstechnologien oder -protokollen sein, wie z.B., aber nicht beschränkt auf, PCI Express, oder sie kann eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einer Ausführungsform bilden ein oder mehrere parallele(r) Prozessor(en) 1112 ein rechnerisch fokussiertes Parallel- oder Vektorverarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern umfassen kann, wie z.B. einen MIC (Many Integrated Core)-Prozessor. In mindestens einer Ausführungsform bilden ein oder mehrere Parallelprozessor(en) 1112 ein Grafikverarbeitungs-Subsystem, das Pixel an eine oder mehrere Anzeigevorrichtung(en) 1110A ausgeben kann, die über den E/A-Hub 1107 gekoppelt sind. In mindestens einer Ausführungsform können ein oder mehrere Parallelprozessor(en) 1112 auch einen Anzeige-Controller und eine Anzeige-Schnittstelle (nicht dargestellt) enthalten, um eine direkte Verbindung zu einer oder mehreren Anzeigevorrichtung(en) 1110B zu ermöglichen.
In mindestens einer Ausführungsform kann eine Systemspeichereinheit 1114 mit dem E/A-Hub 1107 verbunden sein, um einen Speichermechanismus für das Computersystem 1100 bereitzustellen. In mindestens einer Ausführungsform kann ein E/A-Switch 1116 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, der Verbindungen zwischen dem E/A-Hub 1107 und anderen Komponenten ermöglicht, wie z.B. einem Netzwerkadapter 1118 und/oder einem drahtlosen Netzwerkadapter 1119, der in eine oder mehrere Plattformen integriert werden kann, und verschiedenen anderen Geräten, die über ein oder mehrere Add-in-Geräte 1120 hinzugefügt werden können. In mindestens einer Ausführungsform kann der Netzwerkadapter 1118 ein Ethernet-Adapter oder ein anderer kabelgebundener Netzwerkadapter sein. In mindestens einer Ausführungsform kann der drahtlose Netzwerkadapter 1119 ein oder mehrere Wi-Fi-, Bluetooth-, Near Field Communication (NFC)- oder andere Netzwerkgeräte umfassen, die ein oder mehrere drahtlose Funkvorrichtungen enthalten.
In mindestens einer Ausführungsform kann das Computersystem 1100 weitere, nicht explizit dargestellte Komponenten enthalten, einschließlich USB- oder andere Anschlussverbindungen, optische Speicherlaufwerke, Videoaufnahmegeräte und so weiter, die ebenfalls an den E/A-Hub 1107 angeschlossen sein können. In mindestens einer Ausführungsform können Kommunikationspfade, die verschiedene Komponenten in 11 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle, z.B. auf PCI (Peripheral Component Interconnect) basierende Protokolle (wie beispielsweise PCI-Express) oder andere Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder Protokolle, z.B. NV-Link High-Speed-Interconnect oder Interconnect-Protokolle, implementiert sein.
In mindestens einer Ausführungsform enthalten ein oder mehrere Parallelprozessor(en) 1112 Schaltungen, die für die Grafik- und Videoverarbeitung optimiert sind, z.B. Videoausgangsschaltungen, und bilden eine Grafikverarbeitungseinheit (GPU). In mindestens einer Ausführungsform enthalten ein oder mehrere Parallelprozessor(en) 1112 Schaltungen, die für die allgemeine Verarbeitung optimiert sind. In mindestens einer Ausführungsform können Komponenten des Rechensystems 1100A mit einem oder mehreren anderen Systemelementen auf einer einzigen integrierten Schaltung integriert sein. In mindestens einer Ausführungsform können in mindestens einer Ausführungsform ein oder mehrere Parallelprozessor(en) 1112, Speicher-Hub 1105, Prozessor(en) 1102 und E/A-Hub 1107 in einen integrierten System-on-Chip (SoC)-Schaltkreis integriert werden. In mindestens einer Ausführungsform können die Komponenten des Rechensystems 1100A in ein einziges Gehäuse integriert werden, um eine System-in-Package (SIP)-Konfiguration zu bilden. In mindestens einer Ausführungsform kann mindestens ein Teil der Komponenten des Rechensystems 1100A in ein Multi-Chip-Modul (MCM) integriert sein, das mit anderen Multi-Chip-Modulen zu einem modularen Rechensystem zusammengeschaltet sein kann.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System 11A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
PROZESSOREN
11B veranschaulicht einen Parallelprozessor 1100B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können verschiedene Komponenten des Parallelprozessors 1100B unter Verwendung eines oder mehrerer integrierter Schaltkreisbausteine, wie z.B. programmierbare Prozessoren, anwendungsspezifische integrierte Schaltkreise (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), implementiert sein. In mindestens einer Ausführungsform ist der dargestellte Parallelprozessor 1100B eine Variante von einem oder mehreren Parallelprozessoren 1112, die in 11B gemäß einer beispielhaften Ausführungsform dargestellt sind.
In mindestens einer Ausführungsform enthält der Parallelprozessor 1100B eine Parallelverarbeitungseinheit 1102. In mindestens einer Ausführungsform umfasst die Parallelverarbeitungseinheit 1102 eine E/A-Einheit 1104, die die Kommunikation mit anderen Geräten ermöglicht, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 1102. In mindestens einer Ausführungsform kann die E/A-Einheit 1104 direkt mit anderen Geräten verbunden sein. In mindestens einer Ausführungsform ist die E/A-Einheit 1104 über eine Hub- oder Switch-Schnittstelle, wie z.B. den Speicher-Hub 1105, mit anderen Geräten verbunden. In mindestens einer Ausführungsform bilden die Verbindungen zwischen dem Speicher-Hub 1105 und der E/A-Einheit 1104 eine Kommunikationsverbindung 1113. In mindestens einer Ausführungsform ist die E/A-Einheit 1104 mit einer Host-Schnittstelle 1106 und einer Speicherkreuzschiene 1116 verbunden, wobei die Host-Schnittstelle 1106 Befehle zur Durchführung von Verarbeitungsoperationen und die Speicherkreuzschiene 1116 Befehle zur Durchführung von Speicheroperationen empfängt.
In mindestens einer Ausführungsform kann die Host-Schnittstelle 1106, wenn sie einen Befehlspuffer über die E/A-Einheit 1104 empfängt, Arbeitsoperationen zur Ausführung dieser Befehle an ein Frontend 1108 leiten. In mindestens einer Ausführungsform ist das Frontend 1108 mit einem Planer bzw. Planer 1110 gekoppelt, der so konfiguriert ist, dass er Befehle oder andere Arbeitselemente an ein Verarbeitungscluster-Array 1112 verteilt. In mindestens einer Ausführungsform stellt der Planer 1110 sicher, dass das Verarbeitungscluster-Array 1112 richtig konfiguriert ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an das Verarbeitungscluster-Array 1112 verteilt werden. In mindestens einer Ausführungsform ist der Planer 1110 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. In mindestens einer Ausführungsform ist der in einem Mikrocontroller implementierte Planer 1110 so konfigurierbar, dass er komplexe Scheduling- und Arbeitsverteilungsoperationen mit grober und feiner Granularität durchführen kann, was eine schnelle Präemption und Kontextumschaltung von Threads ermöglicht, die auf dem Verarbeitungs-Array 1112 ausgeführt werden. In mindestens einer Ausführungsform kann die Host-Software Arbeitslasten für die Planung auf dem Verarbeitungs-Array 1112 über eine von mehreren Grafikverarbeitungs-Doorbells nachweisen. In mindestens einer Ausführungsform können die Arbeitslasten dann automatisch über das Verarbeitungs-Array 1112 durch die Logik des Planers 1110 in einem Mikrocontroller mit dem Planer 1110 verteilt werden.
In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 bis zu „N“ Verarbeitungscluster umfassen (wie beispielsweise Cluster 1114A, Cluster 1114B bis Cluster 1114N). In mindestens einer Ausführungsform kann jeder Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 eine große Anzahl gleichzeitiger Threads ausführen. In mindestens einer Ausführungsform kann der Planer 1110 den Clustern 1114A-1114N des Verarbeitungscluster-Arrays 1112 Arbeit zuweisen, indem er verschiedene Scheduling- und/oder Arbeitsverteilungsalgorithmen verwendet, die in Abhängigkeit von der Arbeitslast variieren können, die für jede Art von Programm oder Berechnung entsteht. In mindestens einer Ausführungsform kann das Planen dynamisch durch den Planer 1110 gehandhabt werden oder teilweise durch Compilerlogik während der Kompilierung von Programmlogik unterstützt werden, die für die Ausführung durch das Verarbeitungscluster-Array 1112 konfiguriert ist. In mindestens einer Ausführungsform können verschiedene Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 für die Verarbeitung verschiedener Programmtypen oder für die Durchführung verschiedener Berechnungsarten zugewiesen werden.
In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 so konfiguriert sein, dass es verschiedene Arten von parallelen Verarbeitungsoperationen durchführt. In mindestens einer Ausführungsform ist das Verarbeitungs-Cluster-Array 1112 so konfiguriert, dass es parallele Universal-Rechenoperationen durchführt. In mindestens einer Ausführungsform kann das Verarbeitungs-Cluster-Array 1112 eine Logik zur Ausführung von Verarbeitungsaufgaben enthalten, einschließlich der Filterung von Video- und/oder Audiodaten, der Durchführung von Modellierungsoperationen, einschließlich physischer Operationen, und der Durchführung von Datentransformationen.
In mindestens einer Ausführungsform ist das Verarbeitungscluster-Array 1112 so konfiguriert, dass es parallele Grafikverarbeitungsoperationen durchführt. In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 zusätzliche Logik enthalten, um die Ausführung solcher Grafikverarbeitungsoperationen zu unterstützen, einschließlich, aber nicht beschränkt auf, Texturabtastlogik, um Texturoperationen durchzuführen, sowie Tesselationslogik und andere Vertex-Verarbeitungslogik. In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 so konfiguriert sein, dass es grafikverarbeitungsbezogene Shader-Programme ausführt, wie z.B. Vertex-Shader, Tessellierungs-Shader, Geometrie-Shader und Pixel-Shader, ist aber nicht darauf beschränkt. In mindestens einer Ausführungsform kann die Parallelverarbeitungseinheit 1102 Daten aus dem Systemspeicher über die E/A-Einheit 1104 zur Verarbeitung übertragen. In mindestens einer Ausführungsform können die übertragenen Daten während der Verarbeitung im On-Chip-Speicher (wie beispielsweise im Parallelprozessorspeicher 1122) gespeichert und dann in den Systemspeicher zurückgeschrieben werden.
In mindestens einer Ausführungsform kann dann, wenn die Parallelverarbeitungseinheit 1102 zur Durchführung der Grafikverarbeitung verwendet wird, der Planer 1110 so konfiguriert sein, dass er eine Verarbeitungslast in annähernd gleich große Aufgaben aufteilt, um eine bessere Verteilung der Grafikverarbeitungsvorgänge auf mehrere Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 zu ermöglichen. In mindestens einer Ausführungsform können Teile des Verarbeitungscluster-Arrays 1112 so konfiguriert sein, dass sie verschiedene Arten der Verarbeitung durchführen. In mindestens einer Ausführungsform kann ein erster Teil so konfiguriert sein, dass er Vertex-Shading und Topologieerzeugung durchführt, kann ein zweiter Teil so konfiguriert sein, dass er Tesselation und Geometrie-Shading durchführt, und kann ein dritter Teil so konfiguriert sein, dass er Pixel-Shading oder andere Bildschirmraumoperationen durchführt, um ein gerendertes Bild für die Anzeige zu erzeugen, falls eine Simulation einer Ventilsteuerung für das intelligente Kühlsystem erforderlich ist. In mindestens einer Ausführungsform können Zwischendaten, die von einem oder mehreren der Cluster 1114A-1114N erzeugt werden, in Puffern gespeichert werden, damit Zwischendaten zwischen den Clustern 1114A-1114N zur weiteren Verarbeitung übertragen werden können.
In mindestens einer Ausführungsform kann das Verarbeitungs-Cluster-Array 1112 Verarbeitungsaufgaben empfangen, die über den Planer 1110 auszuführen sind, der Befehle zur Definition von Verarbeitungsaufgaben vom Frontend 1108 empfängt. In mindestens einer Ausführungsform können die Verarbeitungsaufgaben Indizes der zu verarbeitenden Daten enthalten, wie beispielsweise Oberflächen-(Patch-)Daten, Primitivdaten, Vertexdaten und/oder Pixeldaten, sowie Zustandsparameter und Befehle, die definieren, wie die Daten zu verarbeiten sind (wie beispielsweise welches Programm auszuführen ist). In mindestens einer Ausführungsform kann der Planer 1110 so konfiguriert sein, dass er den Aufgaben entsprechende Indizes abruft oder Indizes vom Frontend 1108 empfängt. In mindestens einer Ausführungsform kann das Frontend 1108 so konfiguriert sein, dass es sicherstellt, dass das Verarbeitungscluster-Array 1112 in einen gültigen Zustand versetzt wird, bevor eine durch eingehende Befehlspuffer (wie beispielsweise Batch-Puffer, Push-Puffer usw.) spezifizierte Arbeitslast initiiert wird.
In mindestens einer Ausführungsform kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 1102 mit dem Parallelprozessorspeicher 1122 gekoppelt sein. In mindestens einer Ausführungsform kann auf den Parallelprozessorspeicher 1122 über die Speicherkreuzschiene 1116 zugegriffen werden, die Speicheranforderungen von der Verarbeitungsclusteranordnung 1112 sowie der E/A-Einheit 1104 empfangen kann. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 über eine Speicherschnittstelle 1118 auf den parallelen Prozessorspeicher 1122 zugreifen. In mindestens einer Ausführungsform kann die Speicherschnittstelle 1118 mehrere Partitionseinheiten (wie beispielsweise Partitionseinheit 1120A, Partitionseinheit 1120B bis Partitionseinheit 1120N) umfassen, die jeweils mit einem Teil (z.B. Speichereinheit) des Parallelprozessorspeichers 1122 gekoppelt sein können. In mindestens einer Ausführungsform ist eine Anzahl von Partitionseinheiten 1120A-1120N so konfiguriert, dass sie gleich einer Anzahl von Speichereinheiten ist, so dass eine erste Partitionseinheit 1120A eine entsprechende erste Speichereinheit 1124A hat, eine zweite Partitionseinheit 1120B eine entsprechende Speichereinheit 1124B hat und eine N-te Partitionseinheit 1120N eine entsprechende N-te Speichereinheit 1124N hat. In mindestens einer Ausführungsform kann die Anzahl der Partitionseinheiten 1120A-1120N nicht gleich der Anzahl der Speichereinheiten sein.
In mindestens einer Ausführungsform können die Speichereinheiten 1124A-1124N verschiedene Arten von Speichervorrichtungen enthalten, einschließlich dynamischem Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchronem Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR). In mindestens einer Ausführungsform können die Speichereinheiten 1124A-1124N auch 3D-Stapelspeicher enthalten, einschließlich, aber nicht beschränkt auf HBM (High Bandwidth Memory)-Speicher. In mindestens einer Ausführungsform können Rendering-Ziele, wie z.B. Frame-Puffer oder Textur-Maps, über die Speichereinheiten 1124A-1124N hinweg gespeichert werden, so dass die Partitionseinheiten 1120A-1120N Teile jedes Rendering-Ziels parallel schreiben können, um die verfügbare Bandbreite des Parallelprozessorspeichers 1122 effizient zu nutzen. In mindestens einer Ausführungsform kann eine lokale Instanz des parallelen Prozessorspeichers 1122 zugunsten eines einheitlichen Speicherdesigns ausgeschlossen werden, das den Systemspeicher in Verbindung mit dem lokalen Cache-Speicher nutzt.
In mindestens einer Ausführungsform kann jeder der Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 Daten verarbeiten, die in eine beliebige der Speichereinheiten 1124A-1124N innerhalb des Parallelprozessorspeichers 1122 geschrieben werden. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 so konfiguriert sein, dass sie eine Ausgabe jedes Clusters 1114A-1114N an eine beliebige Partitionseinheit 1120A-1120N oder an einen anderen Cluster 1114A-1114N überträgt, der zusätzliche Verarbeitungsoperationen an einer Ausgabe durchführen kann. In mindestens einer Ausführungsform kann jeder Cluster 1114A-1114N über die Speicherkreuzschiene 1116 mit der Speicherschnittstelle 1118 kommunizieren, um von verschiedenen externen Speichervorrichtungen zu lesen oder in diese zu schreiben. In mindestens einer Ausführungsform hat die Speicherkreuzschiene 1116 eine Verbindung zur Speicherschnittstelle 1118, um mit der E/A-Einheit 1104 zu kommunizieren, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 1122, wodurch die Verarbeitungseinheiten innerhalb der verschiedenen Verarbeitungscluster 1114A-1114N mit dem Systemspeicher oder einem anderen Speicher kommunizieren können, der nicht lokal zur Parallelverarbeitungseinheit 1102 gehört. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 virtuelle Kanäle verwenden, um Verkehrsströme zwischen Clustern 1114A-1114N und Partitionseinheiten 1120A-1120N zu trennen.
In mindestens einer Ausführungsform können mehrere Instanzen der Parallelverarbeitungseinheit 1102 auf einer einzigen Zusatzsteckkarte bzw. Add-in-Karte bereitgestellt sein, oder können mehrere Add-in-Karten miteinander verbunden sein. In mindestens einer Ausführungsform können verschiedene Instanzen der Parallelverarbeitungseinheit 1102 so konfiguriert sein, dass sie auch dann zusammenarbeiten, wenn die verschiedenen Instanzen eine unterschiedliche Anzahl von Prozessorkernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Zum Beispiel können in mindestens einer Ausführungsform einige Instanzen der Parallelverarbeitungseinheit 1102 im Vergleich zu anderen Instanzen Gleitkommaeinheiten mit höherer Präzision enthalten. In mindestens einer Ausführungsform können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 1102 oder des Parallelprozessors 1100 enthalten, in einer Vielzahl von Konfigurationen und Formfaktoren implementiert sein, einschließlich, aber nicht beschränkt auf Desktop-, Laptop- oder Handheld-Personal Computer, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme.
11C ist ein Blockdiagramm einer Partitionseinheit 1120 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Partitionseinheit 1120 eine Instanz einer der Partitionseinheiten 1120A-1120N aus 11B. In mindestens einer Ausführungsform umfasst die Partitionseinheit 1120 einen L2-Cache 1121, eine Bildpufferschnittstelle 1125 und eine Rasteroperationseinheit („ROP“) 1126. Der L2-Cache 1121 ist ein Lese-/Schreib-Cache, der so konfiguriert ist, dass er von der Speicherkreuzschiene 1116 und der ROP 1126 empfangene Lade- und Speicheroperationen durchführt. In mindestens einer Ausführungsform werden Lesefehler und dringende Rückschreibanforderungen vom L2-Cache 1121 an die Frame-Puffer-Schnittstelle 1125 zur Verarbeitung ausgegeben. In mindestens einer Ausführungsform können Aktualisierungen auch über die Frame-Puffer-Schnittstelle 1125 zur Verarbeitung an einen Frame-Puffer gesendet werden. In mindestens einer Ausführungsform ist die Frame-Puffer-Schnittstelle 1125 mit einer der Speichereinheiten im parallelen Prozessorspeicher verbunden, z.B. mit den Speichereinheiten 1124A-1124N von 11B (wie beispielsweise im parallelen Prozessorspeicher 1122).
In mindestens einer Ausführungsform ist ROP 1126 eine Verarbeitungseinheit, die Rasteroperationen wie Schablone, Z-Test, Überblendung usw. durchführt. In mindestens einer Ausführungsform gibt die ROP 1126 dann verarbeitete Grafikdaten aus, die im Grafikspeicher abgelegt sind. In mindestens einer Ausführungsform enthält die ROP 1126 eine Komprimierungslogik zur Komprimierung von Tiefen- oder Farbdaten, die in den Speicher geschrieben werden, und zur Dekomprimierung von Tiefen- oder Farbdaten, die aus dem Speicher gelesen werden. In mindestens einer Ausführungsform kann die Kompressionslogik eine verlustfreie Kompressionslogik sein, die einen oder mehrere von mehreren Kompressionsalgorithmen verwendet. Die Komprimierungslogik, die von der ROP 1126 ausgeführt wird, kann je nach statistischen Eigenschaften der zu komprimierenden Daten variieren. In mindestens einer Ausführungsform wird die Delta-Farbkomprimierung für Tiefen- und Farbdaten auf einer Kachelbasis durchgeführt.
In mindestens einer Ausführungsform ist die ROP 1126 in jedem Verarbeitungscluster (wie beispielsweise Cluster 1114A-1114N von 11B) statt in der Partitionseinheit 1120 enthalten. In mindestens einer Ausführungsform werden Lese- und Schreibanforderungen für Pixeldaten über die Speicherkreuzschiene 1116 anstelle von Pixelfragmentdaten übertragen. In mindestens einer Ausführungsform können verarbeitete Grafikdaten auf einer Anzeigevorrichtung angezeigt werden, wie z.B. einer von einer oder mehreren Anzeigevorrichtungen 1110 von 11, zur weiteren Verarbeitung durch Prozessor(en) 1102 weitergeleitet werden oder zur weiteren Verarbeitung durch eine der Verarbeitungseinheiten innerhalb des Parallelprozessors 1100B von 11B weitergeleitet werden.
11D ist ein Blockdiagramm eines Verarbeitungsclusters 1114 innerhalb einer Parallelverarbeitungseinheit, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist ein Verarbeitungscluster eine Instanz von einem der Verarbeitungscluster 1114A-1114N aus 11B. In mindestens einer Ausführungsform kann einer oder mehrere der Verarbeitungscluster 1114 so konfiguriert sein, dass viele Threads parallel ausgeführt werden, wobei sich „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingangsdaten ausgeführt wird. In mindestens einer Ausführungsform werden SIMD (Single-Instruction, Multiple-Data)-Befehlsausgabeverfahren verwendet, um die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Befehlseinheiten bereitzustellen. In mindestens einer Ausführungsform werden SIMT (Single-Instruction, Multiple-Thread)-Techniken verwendet, um die parallele Ausführung einer großen Anzahl von synchronisierten Threads zu unterstützen, wobei eine gemeinsame Befehlseinheit verwendet wird, die so konfiguriert ist, dass sie Befehle an einen Satz von Verarbeitungs-Engines innerhalb jedes der Verarbeitungscluster ausgibt.
In mindestens einer Ausführungsform kann der Betrieb des Verarbeitungsclusters 1114 über einen Pipeline-Verwalter 1132 gesteuert werden, der die Verarbeitungsaufgaben auf die parallelen SIMT-Prozessoren verteilt. In mindestens einer Ausführungsform empfängt der Pipeline-Verwalter 1132 Anweisungen vom Planer 1110 von 11B und verwaltet die Ausführung dieser Anweisungen über einen Grafik- Multiprozessor 1134 und/oder eine Textureinheit 1136. In mindestens einer Ausführungsform ist der Grafikmultiprozessor 1134 eine beispielhafte Instanz eines SIMT-Parallelprozessors. In mindestens einer Ausführungsform können jedoch verschiedene Typen von SIMT-Parallelprozessoren mit unterschiedlichen Architekturen im Verarbeitungscluster 1114 enthalten sein. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Grafik-Multiprozessors 1134 in einem Verarbeitungscluster 1114 enthalten sein. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 1134 Daten verarbeiten und eine Datenkreuzschiene 1140 kann verwendet werden, um verarbeitete Daten an eines von mehreren möglichen Zielen, einschließlich anderer Shader-Einheiten, zu verteilen. In mindestens einer Ausführungsform kann der Pipeline-Verwalter 1132 die Verteilung verarbeiteter Daten erleichtern, indem er Ziele für verarbeitete Daten angibt, die über die Datenkreuzschiene 1140 zu verteilen sind.
In mindestens einer Ausführungsform kann jeder Grafik-Multiprozessor 1134 innerhalb des Verarbeitungsclusters 1114 einen identischen Satz funktionaler Ausführungslogik enthalten (wie beispielsweise arithmetische Logikeinheiten, Ladespeichereinheiten usw.). In mindestens einer Ausführungsform kann die funktionale Ausführungslogik in einer Pipeline konfiguriert sein, in der neue Befehle ausgegeben werden können, bevor vorherige Befehle abgeschlossen sind. In mindestens einer Ausführungsform unterstützt die funktionale Ausführungslogik eine Vielzahl von Operationen, darunter Ganzzahl- und Gleitkommaarithmetik, Vergleichsoperationen, boolesche Operationen, Bitverschiebung und die Berechnung verschiedener algebraischer Funktionen. In mindestens einer Ausführungsform kann dieselbe Hardware mit funktionalen Einheiten genutzt werden, um verschiedene Operationen auszuführen, und es kann eine beliebige Kombination von funktionalen Einheiten vorhanden sein.
In mindestens einer Ausführungsform bilden die an den Verarbeitungscluster 1114 übertragenen Anweisungen einen Thread. In mindestens einer Ausführungsform ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungs-Engines ausgeführt werden, eine Thread-Gruppe. In mindestens einer Ausführungsform führt die Thread-Gruppe ein Programm auf unterschiedlichen Eingabedaten aus. In mindestens einer Ausführungsform kann jeder Thread innerhalb einer Thread-Gruppe einer anderen Verarbeitungs-Engine innerhalb eines Grafik-Multiprozessors 1134 zugewiesen sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe weniger Threads umfassen als die Anzahl der Verarbeitungsmodule innerhalb des Grafik-Multiprozessors 1134. Wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungs-Engines umfasst, können in mindestens einer Ausführungsform eine oder mehrere Verarbeitungs-Engines während der Zyklen, in denen diese Thread-Gruppe verarbeitet wird, im Leerlauf sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe auch mehr Threads als eine Anzahl von Verarbeitungsmodulen innerhalb des Grafik-Multiprozessors 1134 umfassen. In mindestens einer Ausführungsform kann die Verarbeitung über aufeinanderfolgende Taktzyklen erfolgen, wenn eine Thread-Gruppe mehr Threads als Verarbeitungsmodule innerhalb des Grafik-Multiprozessors 1134 umfasst. In mindestens einer Ausführungsform können mehrere Thread-Gruppen gleichzeitig auf einem Grafik-Multiprozessor 1134 ausgeführt werden.
In mindestens einer Ausführungsform enthält der Grafik-Multiprozessor 1134 einen internen Cache-Speicher, um Lade- und Speicheroperationen durchzuführen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 auf einen internen Cache verzichten und einen Cache-Speicher (wie beispielsweise L1-Cache 1148) innerhalb des Verarbeitungsclusters 1114 verwenden. In mindestens einer Ausführungsform hat jeder Grafik-Multiprozessor 1134 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten (wie beispielsweise Partitionseinheiten 1120A-1120N von 11B), die von allen Verarbeitungsclustern 1114 gemeinsam genutzt werden und zur Datenübertragung zwischen Threads verwendet werden können. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 auch auf den globalen Off-Chip-Speicher zugreifen, der einen oder mehrere lokale parallele Prozessorspeicher und/oder Systemspeicher umfassen kann. In mindestens einer Ausführungsform kann jeder Speicher außerhalb der Parallelverarbeitungseinheit 1102 als globaler Speicher verwendet werden. In mindestens einer Ausführungsform umfasst der Verarbeitungscluster 1114 mehrere Instanzen des Grafik-Multiprozessors 1134, die sich gemeinsame Anweisungen und Daten teilen können, die im L1-Cache 1148 gespeichert sein können.
In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 1114 eine Speicherverwaltungseinheit („MMU“) 1145 enthalten, die so konfiguriert ist, dass sie virtuelle Adressen auf physische Adressen abbildet. In mindestens einer Ausführungsform können sich eine oder mehrere Instanzen der MMU 1145 innerhalb der Speicherschnittstelle 1118 von 11B befinden. In mindestens einer Ausführungsform enthält die MMU 1145 einen Satz von Seitentabelleneinträgen (PTEs), die zur Abbildung einer virtuellen Adresse auf eine physische Adresse einer Kachel verwendet werden, und in mindestens einer Ausführungsform einen Cache-Zeilenindex. In mindestens einer Ausführungsform kann die MMU 1145 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches enthalten, die sich im Grafik-Multiprozessor 1134 oder im L1-Cache oder im Verarbeitungscluster 1114 befinden können. In mindestens einer Ausführungsform wird die physische Adresse verarbeitet, um die Zugriffslokalität der Oberflächendaten zu verteilen, um ein effizientes Request Interleaving zwischen den Partitionseinheiten zu ermöglichen. In mindestens einer Ausführungsform kann der Cache-Zeilenindex verwendet werden, um zu bestimmen, ob eine Anforderung für eine Cache-Zeile ein Treffer bzw. Hit oder ein Fehlschlag bzw. Miss ist.
In mindestens einer Ausführungsform kann ein Verarbeitungscluster 1114 so konfiguriert sein, dass jeder Grafikmultiprozessor 1134 mit einer Textureinheit 1136 gekoppelt ist, um Texturabbildungsoperationen durchzuführen, wie beispielsweise Bestimmen von Texturabtastpositionen, Lesen von Texturdaten und Filtern von Texturdaten. In mindestens einer Ausführungsform werden die Texturdaten aus einem internen Textur-L1-Cache (nicht dargestellt) oder aus einem L1-Cache innerhalb des Grafik-Multiprozessors 1134 gelesen und je nach Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder dem Systemspeicher abgerufen. In mindestens einer Ausführungsform gibt jeder Grafikmultiprozessor 1134 verarbeitete Aufgaben an die Datenkreuzschiene 1140 aus, um die verarbeitete(n) Aufgabe(n) einem anderen Verarbeitungscluster 1114 zur weiteren Verarbeitung zur Verfügung zu stellen oder um die verarbeitete(n) Aufgabe(n) über die Speicherkreuzschiene 1116 in einem L2-Cache, lokalen Parallelprozessorspeicher oder Systemspeicher zu speichern. In mindestens einer Ausführungsform ist eine preROP 1142 (Pre-Raster Operations Unit) so konfiguriert, dass sie Daten vom Grafik-Multiprozessor 1134 empfängt und Daten an ROP-Einheiten weiterleitet, die sich bei den hierin beschriebenen Partitionseinheiten befinden können (wie beispielsweise die Partitionseinheiten 1120A-1120N von 11B). In mindestens einer Ausführungsform kann die PreROP-Einheit 1142 Optimierungen für die Farbüberblendung durchführen, Pixelfarbdaten organisieren und Adressübersetzungen vornehmen.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafikverarbeitungscluster 1114 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, neuronalen Netzwerkfunktionen und/oder -architekturen oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
11E zeigt einen Grafik-Multiprozessor 1134 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafik-Multiprozessor 1134 mit dem Pipeline-Verwalter 1132 des Verarbeitungsclusters 1114 gekoppelt. In mindestens einer Ausführungsform verfügt der Grafik-Multiprozessor 1134 über eine Ausführungspipeline, die unter anderem einen Befehlscache 1152, eine Befehlseinheit 1154, eine Adressabbildungseinheit 1156, eine Registerdatei 1158, einen oder mehrere GPGPU (General Purpose Graphics Processing Unit)-Kerne 1162 und eine oder mehrere Lade-/Speicher-Einheiten 1166 umfasst. Die GPGPU-Kern(e) 1162 und die Lade-/Speicher-Einheit(en) 1166 sind über eine Speicher- und Cache-Verbindung 1168 mit dem Cache-Speicher 1172 und dem gemeinsamen Speicher 1170 gekoppelt.
In mindestens einer Ausführungsform erhält der Befehls-Cache 1152 einen Strom von auszuführenden Befehlen vom Pipeline-Verwalter 1132. In mindestens einer Ausführungsform werden die Befehle im Befehlscache 1152 zwischengespeichert und von der Befehlseinheit 1154 zur Ausführung weitergeleitet. In mindestens einer Ausführungsform kann die Befehlseinheit 1154 Befehle als Thread-Gruppen (z.B. Warps) versenden, wobei jede Thread-Gruppe einer anderen Ausführungseinheit innerhalb des/der GPGPU-Kerns/Kerne 1162 zugewiesen ist. In mindestens einer Ausführungsform kann eine Anweisung auf einen lokalen, gemeinsam genutzten oder globalen Adressraum zugreifen, indem sie eine Adresse innerhalb eines einheitlichen Adressraums angibt. In mindestens einer Ausführungsform kann die Adressabbildungseinheit 1156 verwendet werden, um Adressen in einem vereinheitlichten Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf die die Lade-/ Speicher-Einheit(en) 1166 zugreifen können.
In mindestens einer Ausführungsform stellt die Registerdatei 1158 einen Satz von Registern für Funktionseinheiten des Grafik-Multiprozessors 1134 bereit. In mindestens einer Ausführungsform stellt die Registerdatei 1158 einen temporären Speicher für Operanden bereit, der mit Datenpfaden von Funktionseinheiten (wie beispielsweise GPGPU-Kerne 1162, Lade-/Speichereinheiten 1166) des Grafik-Multiprozessors 1134 verbunden ist. In mindestens einer Ausführungsform ist die Registerdatei 1158 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein dedizierter Teil der Registerdatei 1158 zugewiesen ist. In mindestens einer Ausführungsform ist die Registerdatei 1158 zwischen verschiedenen Warps aufgeteilt, die vom Grafik-Multiprozessor 1134 ausgeführt werden.
In mindestens einer Ausführungsform können die GPGPU-Kerne 1162 jeweils Gleitkommaeinheiten (FPUs) und/oder Ganzzahl-Arithmetik-Logikeinheiten (ALUs) enthalten, die zur Ausführung von Befehlen des Grafik-Multiprozessors 1134 verwendet werden. Die GPGPU-Kerne 1162 können in ihrer Architektur ähnlich sein oder sich unterscheiden. In mindestens einer Ausführungsform umfasst ein erster Teil der GPGPU-Kerne 1162 eine FPU mit einfacher Genauigkeit und eine Ganzzahl-ALU, während ein zweiter Teil der GPGPU-Kerne eine FPU mit doppelter Genauigkeit umfasst. In mindestens einer Ausführungsform können die FPUs den IEEE 754-2008-Standard für Gleitkommaarithmetik implementieren oder Gleitkommaarithmetik mit variabler Genauigkeit ermöglichen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 zusätzlich eine oder mehrere Festfunktions- oder Sonderfunktionseinheiten enthalten, um spezifische Funktionen wie Kopierrechteck- oder Pixel-Blending-Operationen durchzuführen. In mindestens einer Ausführungsform können einer oder mehrere der GPGPU-Kerne auch eine Logik mit fester Funktion oder Sonderfunktion enthalten.
In mindestens einer Ausführungsform enthalten die GPGPU-Kerne 1162 SIMD-Logik, die in der Lage ist, einen einzigen Befehl auf mehreren Datensätzen auszuführen. In mindestens einer Ausführungsform können die GPGPU-Kerne 1162 physisch SIMD4-, SIMD8- und SIMD16-Anweisungen und logisch SIMD1-, SIMD2- und SIMD32-Anweisungen ausführen. In mindestens einer Ausführungsform können SIMD-Anweisungen für die GPGPU-Kerne zur Kompilierzeit von einem Shader-Compiler generiert werden oder automatisch generiert werden, wenn Programme ausgeführt werden, die für Single Program Multiple Data (SPMD) oder SIMT-Architekturen geschrieben und kompiliert wurden. In mindestens einer Ausführungsform können mehrere Threads eines für ein SIMT-Ausführungsmodell konfigurierten Programms über eine einzige SIMD-Anweisung ausgeführt werden. In mindestens einer Ausführungsform können acht SIMT-Threads, die gleiche oder ähnliche Operationen ausführen, parallel über eine einzige SIMD8-Logikeinheit ausgeführt werden.
In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 1168 ein Verbindungsnetzwerk, das jede Funktionseinheit des Grafik-Multiprozessors 1134 mit der Registerdatei 1158 und dem gemeinsamen Speicher 1170 verbindet. In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 1168 eine Kreuzschienenverbindung, die es der Lade-/Speicher-Einheit 1166 ermöglicht, Lade- und Speicher-Operationen zwischen dem gemeinsamen Speicher 1170 und der Registerdatei 1158 durchzuführen. In mindestens einer Ausführungsform kann die Registerdatei 1158 mit der gleichen Frequenz wie die GPGPU-Kerne 1162 arbeiten, so dass die Datenübertragung zwischen den GPGPU-Kernen 1162 und der Registerdatei 1158 eine sehr geringe Latenzzeit aufweist. In mindestens einer Ausführungsform kann der gemeinsame Speicher 1170 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Grafik-Multiprozessors 1134 ausgeführt werden. In mindestens einer Ausführungsform kann der Cache-Speicher 1172 z.B. als Daten-Cache verwendet werden, um Texturdaten zu cachen, die zwischen Funktionseinheiten und der Textureinheit 1136 kommuniziert werden. In mindestens einer Ausführungsform kann der gemeinsame Speicher 1170 auch als programmverwalteter Cache verwendet werden. In mindestens einer Ausführungsform können Threads, die auf den GPGPU-Kernen 1162 ausgeführt werden, zusätzlich zu den automatisch zwischengespeicherten Daten, die im Cache-Speicher 1172 gespeichert sind, programmatisch Daten im gemeinsamen Speicher speichern.
In mindestens einer Ausführungsform ist ein Parallelprozessor oder eine GPGPU, wie hierin beschrieben, kommunikativ mit Host-/Prozessor-Kernen gekoppelt, um Grafikoperationen, Operationen des maschinellen Lernens, Musteranalyseoperationen und verschiedene Universal-GPU-Funktionen (GPGPU) zu beschleunigen. In mindestens einer Ausführungsform kann die GPU mit dem Host-Prozessor/den Prozessorkernen über einen Bus oder eine andere Verbindung (wie beispielsweise eine Hochgeschwindigkeitsverbindung wie PCIe oder NVLink) kommunikativ gekoppelt sein. In mindestens einer Ausführungsform kann die GPU auf demselben Gehäuse oder Chip wie die Kerne integriert sein und mit den Kernen über einen internen Prozessorbus/Interconnect (In mindestens einer Ausführungsform innerhalb des Gehäuses oder Chips) kommunikativ verbunden sein. In mindestens einer Ausführungsform können die Prozessorkerne unabhängig von der Art und Weise, wie die GPU angeschlossen ist, der GPU Arbeit in Form von Sequenzen von Befehlen/Anweisungen zuweisen, die in einem Arbeitsdeskriptor enthalten sind. In mindestens einer Ausführungsform verwendet die GPU dann eine dedizierte Schaltung/Logik zur effizienten Verarbeitung dieser Anweisungen/Befehle.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafik-Multiprozessor 1134 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
12A veranschaulicht ein Multi-GPU-Computersystem 1200A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das Multi-GPU-Computersystem 1200A einen Prozessor 1202 umfassen, der über einen Host-Schnittstellenschalter 1204 mit mehreren Universal-Grafikverarbeitungseinheiten (GPGPUs) 1206A-D verbunden ist. In mindestens einer Ausführungsform ist der Host-Schnittstellenschalter 1204 eine PCI-Express-Switch-Vorrichtung, die den Prozessor 1202 mit einem PCI-Express-Bus koppelt, über den der Prozessor 1202 mit den GPGPUs 1206A-D kommunizieren kann. Die GPGPUs 1206A-D können über eine Reihe von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verbindungen 1216 miteinander verbunden sein. In mindestens einer Ausführungsform sind die GPU-zu-GPU-Verbindungen 1216 mit jeder der GPGPUs 1206A-D über eine dedizierte GPU-Verbindung verbunden. In mindestens einer Ausführungsform ermöglichen die P2P-GPU-Verbindungen 1216 eine direkte Kommunikation zwischen jeder der GPGPUs 1206A-D, ohne dass eine Kommunikation über den Host-Schnittstellenbus 1204 erforderlich ist, an den der Prozessor 1202 angeschlossen ist. In mindestens einer Ausführungsform, bei der der GPU-zu-GPU-Verkehr zu P2P-GPU-Verbindungen 1216 geleitet wird, bleibt der Host-Schnittstellenbus 1204 für den Systemspeicherzugriff oder für die Kommunikation mit anderen Instanzen des Multi-GPU-Computersystems 1200A verfügbar, zum Beispiel über ein oder mehrere Netzwerkgeräte. Während in mindestens einer Ausführungsform die GPGPUs 1206A-D über den Host-Schnittstellenschalter 1204 mit dem Prozessor 1202 verbunden sind, enthält der Prozessor 1202 in mindestens einer Ausführungsform eine direkte Unterstützung für P2P-GPU-Verbindungen 1216 und kann sich direkt mit den GPGPUs 1206A-D verbinden.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Multi-GPU-Computersystem 1200A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
12B ist ein Blockdiagramm eines Grafikprozessors 1200B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B eine Ringverbindung 1202, ein Pipeline-Frontend 1204, eine Media-Engine 1237 und Grafikkerne 1280A-1280N. In mindestens einer Ausführungsform verbindet die Ringverbindung 1202 den Grafikprozessor 1200B mit anderen Verarbeitungseinheiten, einschließlich anderer Grafikprozessoren oder eines oder mehrerer Mehrzweckprozessorkerne. In mindestens einer Ausführungsform ist der Grafikprozessor 1200B einer von vielen Prozessoren, die in ein Multi-Core-Verarbeitungssystem integriert sind.
In mindestens einer Ausführungsform empfängt der Grafikprozessor 1200B Stapel von Befehlen über die Ringverbindung 1202. In mindestens einer Ausführungsform werden die eingehenden Befehle von einem Befehlsstreamer 1203 im Pipeline-Frontend 1204 interpretiert. In mindestens einer Ausführungsform enthält der Grafikprozessor 1200B eine skalierbare Ausführungslogik, um die 3D-Geometrieverarbeitung und die Medienverarbeitung über Grafikkern(e) 1280A-1280N durchzuführen. In mindestens einer Ausführungsform liefert der Befehlsstreamer 1203 für 3D-Geometrieverarbeitungsbefehle Befehle an die Geometrie-Pipeline 1236. In mindestens einer Ausführungsform liefert der Befehlsstreamer 1203 für mindestens einige Medienverarbeitungsbefehle Befehle an ein Video-Frontend 1234, das mit einer Medien-Engine 1237 gekoppelt ist. In mindestens einer Ausführungsform umfasst die Medien-Engine 1237 eine Video Quality Engine (VQE) 1230 für die Video- und Bildnachbearbeitung und eine Multi-Format-Encoder/Decoder-Engine (MFX) 1233, um eine hardwarebeschleunigte Kodierung und Dekodierung von Mediendaten bereitzustellen. In mindestens einer Ausführungsform erzeugen die Geometrie-Pipeline 1236 und die Medien-Engine 1237 jeweils Ausführungsthreads für Thread-Ausführungsressourcen, die von mindestens einem Grafikkern 1280A bereitgestellt werden.
In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B skalierbare Thread-Ausführungsressourcen mit modularen Kernen 1280A-1280N (manchmal als Kern-Slices bezeichnet), die jeweils mehrere Sub-Kerne 1250A-1250N, 1260A-1260N (manchmal als Kern-Sub-Slices bezeichnet) aufweisen. In mindestens einer Ausführungsform kann der Grafikprozessor 1200B eine beliebige Anzahl von Grafikkernen 1280A bis 1280N haben. In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B einen Grafikkern 1280A mit mindestens einem ersten Sub-Kern 1250A und einem zweiten Sub-Kern 1260A. In mindestens einer Ausführungsform ist der Grafikprozessor 1200B ein Niedrigleistungsprozessor mit einem einzigen Sub-Kern (wie beispielsweise 1250A). In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B mehrere Grafikkerne 1280A-1280N, von denen jeder einen Satz von ersten Sub-Kernen 1250A-1250N und einen Satz von zweiten Sub-Kernen 1260A-1260N umfasst. In mindestens einer Ausführungsform enthält jeder Sub-Kern in den ersten Sub-Kernen 1250A-1250N mindestens einen ersten Satz von Ausführungseinheiten 1252A-1252N und Medien-/Texturabtaster 1254A-1254N. In mindestens einer Ausführungsform enthält jeder Sub-Kern in zweiten Sub-Kernen 1260A-1260N mindestens einen zweiten Satz von Ausführungseinheiten 1262A-1262N und Abtastern bzw. Samplern 1264A-1264N. In mindestens einer Ausführungsform teilt sich jeder Sub-Kern 1250A-1250N, 1260A-1260N einen Satz von gemeinsam genutzten Ressourcen 1270A-1270N. In mindestens einer Ausführungsform umfassen die gemeinsam genutzten Ressourcen einen gemeinsam genutzten Cache-Speicher und eine Pixel-Operationslogik.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafikprozessor 1200B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
13 ist ein Blockdiagramm, das die Mikroarchitektur eines Prozessors 1300 veranschaulicht, der gemäß mindestens einer Ausführungsform Logikschaltungen zur Ausführung von Befehlen enthalten kann. In mindestens einer Ausführungsform kann der Prozessor 1300 Befehle ausführen, einschließlich x86-Befehle, ARM-Befehle, spezielle Befehle für anwendungsspezifische integrierte Schaltungen (ASICs) usw. In mindestens einer Ausführungsform kann der Prozessor 1300 Register zum Speichern gepackter Daten enthalten, wie z.B. 64 Bit breite MMXTM-Register in Mikroprozessoren, die mit der MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. In mindestens einer Ausführungsform können MMX-Register, die sowohl in Ganzzahl- als auch in Gleitkommaform verfügbar sind, mit gepackten Datenelementen arbeiten, die Einzelbefehl-, Mehrfachdaten- („SIMD“) und Streaming-SIMD-Erweiterungsbefehle („SSE“) begleiten. In mindestens einer Ausführungsform können 128 Bit breite XMM-Register, die sich auf die SSE2-, SSE3-, SSE4-, AVX- oder darüber hinausgehende Technologie beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden enthalten. In mindestens einer Ausführungsform kann der Prozessor 1300 Befehle zur Beschleunigung von Algorithmen für maschinelles Lernen oder Deep Learning, Training oder Inferenzierung ausführen.
In mindestens einer Ausführungsform enthält der Prozessor 1300 ein In-Order-Front-End („Front-End“) 1301 zum Abrufen von auszuführenden Befehlen und zur Vorbereitung von Befehlen, die später in der Prozessor-Pipeline zu verwenden sind. In mindestens einer Ausführungsform kann das Frontend 1301 mehrere Einheiten umfassen. In mindestens einer Ausführungsform holt ein Befehls-Prefetcher 1326 Befehle aus dem Speicher und leitet sie an einen Befehlsdecoder 1328 weiter, der wiederum Befehle dekodiert oder interpretiert. In mindestens einer Ausführungsform dekodiert der Befehlsdecoder 1328 in mindestens einer Ausführungsform einen empfangenen Befehl in eine oder mehrere Operationen, die als „Mikrobefehle“ oder „Mikrooperationen“ (auch „Mikro-Ops“ oder „Uops“ genannt) bezeichnet werden und von der Maschine ausgeführt werden können. In mindestens einer Ausführungsform zerlegt der Befehlsdecoder 1328 den Befehl in einen Op-Code und entsprechende Daten- und Steuerfelder, die von der Mikroarchitektur verwendet werden können, um Operationen auszuführen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Trace-Cache 1330 dekodierte Uops in programmgeordnete Sequenzen oder Traces in einer Uop-Warteschlange 1334 zur Ausführung zusammenstellen. Wenn in mindestens einer Ausführungsform der Trace-Cache 1330 auf eine komplexe Anweisung stößt, stellt ein Mikrocode-ROM 1332 die zur Ausführung der Operation erforderlichen Uops bereit.
In mindestens einer Ausführungsform können einige Befehle in ein einziges Mikro-OP umgewandelt werden, während andere mehrere Mikro-OPs benötigen, um den vollen Betrieb abzuschließen. In mindestens einer Ausführungsform kann der Befehlsdecoder 1328 auf das Mikrocode-ROM 1332 zugreifen, wenn mehr als vier Mikro-OPs für die Ausführung eines Befehls erforderlich sind, um den Befehl auszuführen. In mindestens einer Ausführungsform kann ein Befehl in eine kleine Anzahl von Mikro-Ops zur Verarbeitung im Befehlsdecoder 1328 dekodiert werden. In mindestens einer Ausführungsform kann ein Befehl im Mikrocode-ROM 1332 gespeichert werden, falls eine Anzahl von Mikro-OPs zur Ausführung der Operation benötigt wird. In mindestens einer Ausführungsform bezieht sich der Trace-Cache 1330 auf ein programmierbares Logik-Array („PLA“) als Einstiegspunkt, um einen korrekten Mikrobefehlszeiger zum Lesen von Mikrocode-Sequenzen zu bestimmen, um einen oder mehrere Befehle aus dem Mikrocode-ROM 1332 gemäß mindestens einer Ausführungsform zu vervollständigen. In mindestens einer Ausführungsform kann das Frontend 1301 der Maschine, nachdem das Mikrocode-ROM 1332 die Sequenzierung von Mikrobefehlen für einen Befehl beendet hat, das Abrufen von Mikrobefehlen aus dem Trace-Cache 1330 wieder aufnehmen.
In mindestens einer Ausführungsform kann die Out-of-Order-Execution-Engine („Out-of-Order-Engine“) 1303 Anweisungen für die Ausführung vorbereiten. In mindestens einer Ausführungsform verfügt die Logik für die Ausführung außerhalb der Reihenfolge über eine Reihe von Puffern, um den Fluss der Anweisungen zu glätten und neu zu ordnen, um die Leistung zu optimieren, während sie die Pipeline hinunterlaufen und für die Ausführung geplant werden. In mindestens einer Ausführungsform umfasst die Ausführungs-Engine 1303, ohne darauf beschränkt zu sein, einen Allokator/Register-Umbenenner 1340, eine Speicher-Uop-Warteschlange 1342, eine Ganzzahl/Gleitkomma-Uop-Warteschlange 1344, einen Speicher-Planer 1346, einen schnellen Planer bzw. Planer 1302, einen langsamen/allgemeinen Gleitkomma-Planer („slow/general FP scheduler“) 1304 und einen einfachen Gleitkomma-Planer („simple FP scheduler“) 1306. In mindestens einer Ausführungsform werden der schnelle Planer 1302, der langsame/allgemeine Gleitkomma-Planer 1304 und der einfache Gleitkomma-Planer 1306 hierin auch gemeinsam als „Uop-Planer 1302, 1304, 1306“ bezeichnet. In mindestens einer Ausführungsform weist der Allokator/Register-Umbenenner 1340 Maschinenpuffer und Ressourcen zu, die jede Uop für ihre Ausführung benötigt. In mindestens einer Ausführungsform benennt der Allokator/Register Umbenenner 1340 logische Register auf Einträge in einer Registerdatei um. In mindestens einer Ausführungsform weist der Allokator/Register-Umbenenner 1340 auch einen Eintrag für jede Uop in einer von zwei Uop-Warteschlangen zu, der Speicher-Uop-Warteschlange 1342 für Speicheroperationen und der Ganzzahl-/Gleitkomma-Uop-Warteschlange 1344 für Nicht-Speicheroperationen, und zwar vor dem Speicher-Planer 1346 und den Uop-Planern 1302, 1304, 1306. In mindestens einer Ausführungsform bestimmen die Uop-Planer 1302, 1304, 1306, wann ein Uop zur Ausführung bereit ist, basierend auf der Bereitschaft ihrer abhängigen Eingangsregister-Operandenquellen und der Verfügbarkeit der Ausführungsressourcen, die Uops benötigen, um ihre Operation abzuschließen. In mindestens einer Ausführungsform kann der schnelle Planer 1302 in jeder Hälfte des Haupttaktzyklus einen Zeitplan erstellen, während der langsame/allgemeine Gleitkomma-Planer 1304 und der einfache Gleitkomma-Planer 1306 einmal pro Hauptprozessortaktzyklus einen Zeitplan erstellen können. In mindestens einer Ausführungsform vermitteln die Uop-Planer 1302, 1304, 1306 für Versende-Ports, um Uops zur Ausführung einzuplanen.
In mindestens einer Ausführungsform umfasst der Ausführungsblock 1311, ohne darauf beschränkt zu sein, eine Integer-Registerdatei/ein Bypass-Netzwerk 1308, eine Gleitkommaregisterdatei/ein Bypass-Netzwerk („FP-Registerdatei/Bypass-Netzwerk“) 1310, Adressgenerierungseinheiten („AGUs“) 1312 und 1314, schnelle arithmetische Logikeinheiten (ALUs) („fast ALUs“) 1316 und 1318, eine langsame arithmetische Logikeinheit („slow ALU“) 1320, eine Gleitkomma-ALU („FP“) 1322 und eine Gleitkomma-Bewegungseinheit („FP move“) 1324. In mindestens einer Ausführungsform werden das Ganzzahl-Registerdatei/Bypass-Netzwerk 1308 und die Gleitkomma-Registerdatei / das Bypass-Netzwerk 1310 hierin auch als „Registerdateien 1308, 1310“ bezeichnet. In mindestens einer Ausführungsform werden die AGUs 1312 und 1314, die schnellen ALUs 1316 und 1318, die langsame ALU 1320, die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 hierin auch als „Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322 und 1324“ bezeichnet. In mindestens einer Ausführungsform kann der Ausführungsblock b11, ohne darauf beschränkt zu sein, eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Bypass-Netzwerken, Adressgenerierungseinheiten und Ausführungseinheiten in beliebiger Kombination enthalten.
In mindestens einer Ausführungsform können die Registerdateien 1308, 1310 zwischen den Uop-Planern 1302, 1304, 1306 und den Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322 und 1324 angeordnet sein. In mindestens einer Ausführungsform führt das Integer-Registerdatei/Bypass-Netzwerk 1308 Integer-Operationen aus. In mindestens einer Ausführungsform führt die Gleitkommaregisterdatei/das Bypass-Netzwerk 1310 Gleitkommaoperationen durch. In mindestens einer Ausführungsform kann jede der Registerdateien 1308, 1310, ohne darauf beschränkt zu sein, ein Bypass-Netzwerk enthalten, das gerade abgeschlossene Ergebnisse, die noch nicht in die Registerdatei geschrieben wurden, umgehen oder an neue abhängige Uops weiterleiten kann. In mindestens einer Ausführungsform können die Registerdateien 1308, 1310 Daten miteinander kommunizieren. In mindestens einer Ausführungsform kann das Integer-Registerdatei/Bypass-Netzwerk 1308, ohne darauf beschränkt zu sein, zwei separate Registerdateien umfassen, eine Registerdatei für Daten niedriger Ordnung mit 32 Bits und eine zweite Registerdatei für Daten hoher Ordnung mit 32 Bits. In mindestens einer Ausführungsform kann das Fließkomma-Registerdatei/Bypass-Netzwerk 1310, ohne darauf beschränkt zu sein, 128 Bit breite Einträge enthalten, da Fließkomma-Befehle typischerweise Operanden mit einer Breite von 64 bis 128 Bit haben.
In mindestens einer Ausführungsform können die Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322, 1324 Anweisungen ausführen. In mindestens einer Ausführungsform speichern Registerdateien 1308, 1310 Ganzzahl- und Gleitkommadaten-Operandenwerte, die für die Ausführung von Mikrobefehlen erforderlich sind. In mindestens einer Ausführungsform kann der Prozessor 1300, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Kombination von Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322, 1324 enthalten. In mindestens einer Ausführungsform können die Fließkomma-ALU 1322 und die Fließkomma-Bewegungseinheit 1324 Fließkomma, MMX-, SIMD-, AVX- und SSE- oder andere Operationen ausführen, einschließlich spezialisierter Befehle maschinellen Lernens. In mindestens einer Ausführungsform kann die Gleitkomma-ALU 1322, ohne darauf beschränkt zu sein, einen 64-Bit-mal-64-Bit-Gleitkomma-Teiler enthalten, um die Mikrooperationen Dividieren, Quadratwurzel und Rest auszuführen. In mindestens einer Ausführungsform können Befehle, die einen Gleitkommawert beinhalten, mit Gleitkomma-Hardware verarbeitet werden. In mindestens einer Ausführungsform können ALU-Operationen an schnelle ALUs 1316, 1318 weitergegeben werden. In mindestens einer Ausführungsform können schnelle ALUS 1316, 1318 schnelle Operationen mit einer effektiven Latenzzeit von einem halben Taktzyklus ausführen. In mindestens einer Ausführungsform gehen die meisten komplexen ganzzahligen Operationen an die langsame ALU 1320, da die langsame ALU 1320, ohne darauf beschränkt zu sein, ganzzahlige Ausführungshardware für Operationen mit langer Latenzzeit enthalten kann, wie z.B. einen Multiplizierer, Verschiebungen, Flag-Logik und Verzweigungsverarbeitung. In mindestens einer Ausführungsform können Speicherlade-/Speicheroperationen von AGUS 1312, 1314 ausgeführt werden. In mindestens einer Ausführungsform können die schnelle ALU 1316, die schnelle ALU 1318 und die langsame ALU 1320 Ganzzahloperationen an 64-Bit-Datenoperanden durchführen. In mindestens einer Ausführungsform können die schnelle ALU 1316, die schnelle ALU 1318 und die langsame ALU 1320 so implementiert sein, dass sie eine Vielzahl von Datenbitgrößen unterstützen, einschließlich sechzehn, zweiunddreißig, 128, 126, usw. In mindestens einer Ausführungsform können die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 implementiert sein, um eine Reihe von Operanden mit Bits unterschiedlicher Breite zu unterstützen. In mindestens einer Ausführungsform können die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 mit 128 Bit breiten gepackten Datenoperanden in Verbindung mit SIMD- und Multimedia-Befehlen arbeiten.
In mindestens einer Ausführungsform leiten die Uop-Planer 1302, 1304, 1306 abhängige Operationen ein, bevor die Ausführung der übergeordneten Last beendet ist. Da in mindestens einer Ausführungsform Uops spekulativ geplant und im Prozessor 1300 ausgeführt werden können, kann der Prozessor 1300 auch Logik zur Behandlung von Speicherfehlern enthalten. In mindestens einer Ausführungsform kann es, wenn eine Datenlast im Daten-Cache fehlschlägt, abhängige Operationen in der Pipeline geben, die den Planer mit vorübergehend falschen Daten verlassen haben. In mindestens einer Ausführungsform verfolgt ein Wiedergabemechanismus Anweisungen, die falsche Daten verwenden, und führt sie erneut aus. In mindestens einer Ausführungsform müssen abhängige Operationen möglicherweise erneut abgespielt werden, während unabhängige Operationen zu Ende geführt werden können. In mindestens einer Ausführungsform können Planer und Wiedergabemechanismus mindestens einer Ausführungsform eines Prozessors auch dafür ausgelegt sein, Befehlssequenzen für Textstring-Vergleichsoperationen abzufangen.
In mindestens einer Ausführungsform kann sich „Register“ auf prozessorinterne Speicherplätze beziehen, die als Teil von Befehlen verwendet werden können, um Operanden zu identifizieren. In mindestens einer Ausführungsform kann es sich bei Registern um solche handeln, die von außerhalb des Prozessors (aus der Sicht eines Programmierers) nutzbar sein können. In mindestens einer Ausführungsform können die Register nicht auf einen bestimmten Schaltungstyp beschränkt sein. Vielmehr kann ein Register in mindestens einer Ausführungsform Daten speichern, Daten bereitstellen und die hierin beschriebenen Funktionen ausführen. In mindestens einer Ausführungsform können die hierin beschriebenen Register durch Schaltungen innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert sein, wie z.B. dedizierte physische Register, dynamisch zugewiesene physische Register unter Verwendung von Registerumbenennung, Kombinationen aus dedizierten und dynamisch zugewiesenen physischen Registern usw. In mindestens einer Ausführungsform speichern Integer-Register 32-Bit-Integer-Daten. Eine Registerdatei von mindestens einer Ausführungsform enthält auch acht Multimedia-SIMD-Register für gepackte Daten.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die gesamte Inferenzierungs- und/oder Trainingslogik 615 in den Ausführungsblock 1311 und andere gezeigte oder nicht gezeigte Speicher oder Register integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenzverfahren eine oder mehrere der im Ausführungsblock 1311 dargestellten ALUs verwenden. Darüber hinaus können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Ausführungsblocks 1311 konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
14 veranschaulicht einen Deep-Learning-Anwendungsprozessor 1400, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet der Deep-Learning-Anwendungsprozessor 1400 Anweisungen, die dann, wenn sie vom Deep-Learning-Anwendungsprozessor 1400 ausgeführt werden, den Deep-Learning-Anwendungsprozessor 1400 veranlassen, einige oder alle der in dieser Erfindung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist der Deep-Learning-Anwendungsprozessor 1400 eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einer Ausführungsform führt der Anwendungsprozessor 1400 Matrixmultiplikationsoperationen entweder „fest verdrahtet“ in Hardware als Ergebnis der Ausführung einer oder mehrerer Anweisungen oder beides durch. In mindestens einer Ausführungsform umfasst der Deep-Learning-Anwendungsprozessor 1400, ohne darauf beschränkt zu sein, Verarbeitungscluster 1410(1)-1410(12), Inter-Chip-Verbindungen („ICLs“) 1420(1)-1420(12), Inter-Chip-Controller („ICCs“) 1430(1)-1430(2), Speicher-Controller („Mem Ctrlrs“) 1442(1)-1442(4), physische Speicherschichten mit hoher Bandbreite („HBM PHY“) 1444(1)-1444(4), eine Verwaltungs-Controller-Zentraleinheit („Management-Controller-CPU“) 1450, ein Seriell-Peripherie-Schnittstellen, Inter-Integrierte Schaltung und Universal-Eingabe-/Ausgabe-Block („SPI, 12C, GPIO“), einen Peripheral-Component-Interconnect-Express-Controller und Direct-Memory-Access-Block („PCIe-Controller und DMA“) 1470 und einen sechzehnspurigen Peripheral-Component-Interconnect-Express-Port („PCI Express x 16“) 1480.
In mindestens einer Ausführungsform können die Verarbeitungscluster 1410 Deep-Learning-Operationen durchführen, einschließlich Inferenzierungs- oder Vorhersageoperationen auf der Grundlage von Gewichtungsparametern, die mit einem oder mehreren Trainingsverfahren berechnet wurden, einschließlich der hierin beschriebenen Verfahren. In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 1410, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Art von Prozessoren umfassen. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 1400 eine beliebige Anzahl und Art von Verarbeitungsclustern 1400 umfassen. In mindestens einer Ausführungsform sind die Inter-Chip-Verbindungen 1420 bi-direktional. In mindestens einer Ausführungsform ermöglichen die Inter-Chip-Verbindungen 1420 und der Inter-Chip-Controller 1430 mehreren Deep-Learning-Anwendungsprozessoren 1400 den Austausch von Informationen, einschließlich Aktivierungsinformationen, die aus der Ausführung eines oder mehrerer Algorithmen maschinellen Lernens resultieren, die in einem oder mehreren neuronalen Netzwerken verkörpert sind. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 1400 eine beliebige Anzahl (einschließlich Null) und einen beliebigen Typ von ICLs 1420 und ICCs 1430 enthalten.
In mindestens einer Ausführungsform stellen HBM2s 1440 insgesamt 32 Gigabyte (GB) Speicher zur Verfügung. Ein HBM2 1440(i) ist sowohl dem Speicher-Controller 1442(i) als auch dem HBM PHY 1444(i) zugeordnet. In mindestens einer Ausführungsform kann eine beliebige Anzahl von HBM2s 1440 einen beliebigen Typ und eine beliebige Gesamtmenge an Speicher mit hoher Bandbreite bereitstellen und kann mit einer beliebigen Anzahl (einschließlich Null) und einem beliebigen Typ von Speicher-Controllern 1442 und HBM PHYs 1444 verbunden sein. In mindestens einer Ausführungsform können SPI, I2C, GPIO 1460, PCIe-Controller und DMA 1470 und/oder PCIe 1480 durch eine beliebige Anzahl und einen beliebigen Typ von Blöcken ersetzt sein, die eine beliebige Anzahl und einen beliebigen Typ von Kommunikationsstandards in einer beliebigen technisch machbaren Weise ermöglichen.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 1400 verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die dem Deep-Learning-Anwendungsprozessor 1400 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 1400 verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (z.B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder vom Deep-Learning-Anwendungsprozessor 1400 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der Prozessor 1400 verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
15 ist ein Blockdiagramm eines neuromorphen Prozessors 1500, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500 eine oder mehrere Eingaben von Quellen außerhalb des neuromorphen Prozessors 1500 empfangen. In mindestens einer Ausführungsform können diese Eingaben an ein oder mehrere Neuronen 1502 innerhalb des neuromorphen Prozessors 1500 übertragen werden. In mindestens einer Ausführungsform können die Neuronen 1502 und ihre Komponenten unter Verwendung von Schaltungen oder Logik, einschließlich einer oder mehrerer arithmetischer Logikeinheiten (ALUs), implementiert sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, Tausende oder Millionen von Instanzen von Neuronen 1502 umfassen, aber jede geeignete Anzahl von Neuronen 1502 kann verwendet werden. In mindestens einer Ausführungsform kann jede Instanz von Neuron 1502 einen Neuroneneingang 1504 und einen Neuronenausgang 1506 umfassen. In mindestens einer Ausführungsform können die Neuronen 1502 Ausgänge erzeugen, die an Eingänge anderer Instanzen von Neuronen 1502 übertragen werden können. Zum Beispiel können in mindestens einer Ausführungsform die Neuroneneingänge 1504 und die Neuronenausgänge 1506 über Synapsen 1508 miteinander verbunden sein.
In mindestens einer Ausführungsform können Neuronen 1502 und Synapsen 1508 so miteinander verbunden sein, dass der neuromorphe Prozessor 1500 arbeitet, um vom neuromorphen Prozessor 1500 empfangene Informationen zu verarbeiten oder zu analysieren. In mindestens einer Ausführungsform können die Neuronen 1502 einen Ausgangsimpuls (oder „Feuer“ oder „Spike“) senden, wenn die über den Neuroneneingang 1504 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einer Ausführungsform können die Neuronen 1502 die an den Neuroneneingängen 1504 empfangenen Signale summieren oder integrieren. Zum Beispiel können in mindestens einer Ausführungsform Neuronen 1502 als undichte Integrations- und Feuerneuronen implementiert sein, wobei dann, wenn eine Summe (als „Membranpotential“ bezeichnet) einen Schwellenwert überschreitet, das Neuron 1502 eine Ausgabe (oder „Feuer“) unter Verwendung einer Übertragungsfunktion wie einer Sigmoid- oder Schwellenfunktion erzeugen kann. In mindestens einer Ausführungsform kann ein leckbehaftetes Integrations- und Feuer-Neuron die an den Neuroneneingängen 1504 empfangenen Signale zu einem Membranpotential summieren und auch einen Abklingfaktor (oder Leck) anwenden, um ein Membranpotential zu reduzieren. In mindestens einer Ausführungsform kann ein undichtes Integrier-und-Feuer-Neuron feuern, wenn mehrere Eingangssignale an den Neuroneneingängen 1504 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (In mindestens einer Ausführungsform ist dies bevor ein Membranpotenzial zu niedrig abfällt, um zu feuern). In mindestens einer Ausführungsform können Neuronen 1502 unter Verwendung von Schaltungen oder Logik implementiert sein, die Eingaben empfangen, Eingaben in ein Membranpotenzial integrieren und ein Membranpotenzial abklingen lassen. In mindestens einer Ausführungsform können die Eingänge gemittelt werden, oder es kann jede andere geeignete Übertragungsfunktion verwendet werden. Darüber hinaus können die Neuronen 1502 in mindestens einer Ausführungsform, ohne darauf beschränkt zu sein, Komparatorschaltungen oder Logik enthalten, die einen Ausgangs-Spike am Neuronenausgang 1506 erzeugen, wenn das Ergebnis der Anwendung einer Übertragungsfunktion auf den Neuroneneingang 1504 einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann das Neuron 1502, sobald es feuert, zuvor empfangene Eingangsinformationen ignorieren, indem es z.B. ein Membranpotenzial auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einer Ausführungsform kann das Neuron 1502, sobald das Membranpotenzial auf 0 zurückgesetzt wurde, nach einer geeigneten Zeitspanne (oder Refraktärzeit) den normalen Betrieb wieder aufnehmen.
In mindestens einer Ausführungsform können die Neuronen 1502 durch Synapsen 1508 miteinander verbunden sein. In mindestens einer Ausführungsform können Synapsen 1508 dazu dienen, Signale von einem Ausgang eines ersten Neurons 1502 zu einem Eingang eines zweiten Neurons 1502 zu übertragen. In mindestens einer Ausführungsform können die Neuronen 1502 Informationen über mehr als eine Instanz der Synapse 1508 übertragen. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Neuronenausgangs 1506 über eine Instanz der Synapse 1508 mit einer Instanz des Neuroneneingangs 1504 im selben Neuron 1502 verbunden sein. In mindestens einer Ausführungsform kann eine Instanz des Neurons 1502, die eine Ausgabe erzeugt, die über eine Instanz der Synapse 1508 übertragen werden soll, als „präsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 1508 bezeichnet werden. In mindestens einer Ausführungsform kann eine Instanz des Neurons 1502, die eine über eine Instanz der Synapse 1508 übertragene Eingabe empfängt, als „postsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 1508 bezeichnet werden. Da eine Instanz des Neurons 1502 Eingaben von einer oder mehreren Instanzen der Synapse 1508 empfangen und auch Ausgaben über eine oder mehrere Instanzen der Synapse 1508 übertragen kann, kann eine einzelne Instanz des Neurons 1502 daher sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Instanzen der Synapsen 1508 sein, in mindestens einer Ausführungsform.
In mindestens einer Ausführungsform können die Neuronen 1502 in einer oder mehreren Schichten organisiert sein. Jede Instanz des Neurons 1502 kann einen Neuronenausgang 1506 haben, der sich über eine oder mehrere Synapsen 1508 zu einem oder mehreren Neuroneneingängen 1504 auffächern kann. In mindestens einer Ausführungsform können die Neuronenausgänge 1506 der Neuronen 1502 in einer ersten Schicht 1510 mit Neuroneneingängen 1504 der Neuronen 1502 in einer zweiten Schicht 1512 verbunden sein. In mindestens einer Ausführungsform kann die Schicht 1510 als „Feed-Forward-Schicht“ bezeichnet sein. In mindestens einer Ausführungsform kann sich jede Instanz eines Neurons 1502 in einer Instanz der ersten Schicht 1510 zu jeder Instanz eines Neurons 1502 in der zweiten Schicht 1512 auffächern. In mindestens einer Ausführungsform kann die erste Schicht 1510 als „vollständig verbundene Vorwärtsschicht“ bezeichnet sein. In mindestens einer Ausführungsform kann sich jede Instanz des Neurons 1502 in einer Instanz der zweiten Schicht 1512 auf weniger als alle Instanzen des Neurons 1502 in einer dritten Schicht 1514 auffächern. In mindestens einer Ausführungsform kann die zweite Schicht 1512 als „spärlich verknüpfte Vorwärtskopplungsschicht“ bezeichnet sein. In mindestens einer Ausführungsform können sich Neuronen 1502 in der zweiten Schicht 1512 zu Neuronen 1502 in mehreren anderen Schichten auffächern, einschließlich zu Neuronen 1502 in (derselben) zweiten Schicht 1512. In mindestens einer Ausführungsform kann die zweite Schicht 1512 als „rekurrente Schicht“ bezeichnet sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, jede geeignete Kombination von rekurrenten Schichten und Vorwärtsschichten umfassen, einschließlich, ohne darauf beschränkt zu sein, sowohl spärlich verbundene Vorwärtsschichten als auch vollständig verbundene Vorwärtsschichten.
In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, eine rekonfigurierbare Verbindungsarchitektur oder dedizierte fest verdrahtete Verbindungen enthalten, um die Synapse 1508 mit den Neuronen 1502 zu verbinden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, eine Schaltung oder Logik enthalten, die es ermöglicht, Synapsen je nach Bedarf auf der Grundlage der Topologie des neuronalen Netzwerks und des Neuronen-Fan-In/Out verschiedenen Neuronen 1502 zuzuordnen. In mindestens einer Ausführungsform können Synapsen 1508 mit Neuronen 1502 unter Verwendung einer Verbindungsstruktur, wie Network-on-Chip, oder mit dedizierten Verbindungen verbunden sein. In mindestens einer Ausführungsform können die Synapsenverbindungen und ihre Komponenten mithilfe von Schaltkreisen oder Logik implementiert sein.
16A ist ein Blockdiagramm eines Verarbeitungssystems, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das System 1600A einen oder mehrere Prozessoren 1602 und einen oder mehrere Grafikprozessoren 1608 und kann ein Einzelprozessor-Desktop-System, ein Multiprozessor-Workstation-System oder ein Server-System mit einer großen Anzahl von Prozessoren 1602 oder Prozessorkernen 1607 sein. In mindestens einer Ausführungsform ist das System 1600A eine Verarbeitungsplattform, die in einen integrierten System-on-a-Chip-Schaltkreis (SoC) zur Verwendung in mobilen, tragbaren oder eingebetteten Geräten integriert ist.
In mindestens einer Ausführungsform kann das System 1600A eine serverbasierte Spielplattform, eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine Handheld-Spielkonsole oder eine Online-Spielkonsole umfassen oder darin integriert sein. In mindestens einer Ausführungsform ist das System 1600A ein Mobiltelefon, ein Smartphone, ein Tablet-Computergerät oder ein mobiles Internetgerät. In mindestens einer Ausführungsform kann das Verarbeitungssystem 1600A auch ein Wearable-Gerät umfassen, mit diesem gekoppelt oder in dieses integriert sein, wie z.B. ein Wearable-Gerät für eine intelligente Uhr, eine intelligente Brille, ein Augmented-Reality-Gerät oder ein Virtual-Reality-Gerät. In mindestens einer Ausführungsform ist das Verarbeitungssystem 1600A ein Fernseh- oder Set-Top-Box-Gerät mit einem oder mehreren Prozessoren 1602 und einer grafischen Oberfläche, die von einem oder mehreren Grafikprozessoren 1608 erzeugt wird.
In mindestens einer Ausführungsform umfassen ein oder mehrere Prozessoren 1602 jeweils einen oder mehrere Prozessorkerne 1607 zur Verarbeitung von Befehlen, die bei ihrer Ausführung Operationen für System- und Anwendersoftware durchführen. In mindestens einer Ausführungsform ist jeder von einem oder mehreren Prozessorkernen 1607 so konfiguriert, dass er einen bestimmten Befehlssatz 1609 verarbeitet. In mindestens einer Ausführungsform kann der Befehlssatz 1609 Complex Instruction Set Computing (CISC), Reduced Instruction Set Computing (RISC) oder Rechnen über ein Very Long Instruction Word (VLIW) ermöglichen. In mindestens einer Ausführungsform können die Prozessorkerne 1607 jeweils einen anderen Befehlssatz 1609 verarbeiten, der Anweisungen enthalten kann, um die Emulation anderer Befehlssätze zu erleichtern. In mindestens einer Ausführungsform kann der Prozessorkern 1607 auch andere Verarbeitungsgeräte enthalten, z.B. einen digitalen Signalprozessor (DSP).
In mindestens einer Ausführungsform enthält der Prozessor 1602 einen Cache-Speicher 1604. In mindestens einer Ausführungsform kann der Prozessor 1602 einen einzigen internen Cache-Speicher oder mehrere Ebenen von internen Cache-Speichern aufweisen. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 1602 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 1602 auch einen externen Cache (wie beispielsweise einen Level-3 (L3)-Cache oder Last Level Cache (LLC)) (nicht dargestellt), der unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 1607 gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist zusätzlich eine Registerdatei 1606 im Prozessor 1602 enthalten, die verschiedene Arten von Registern zum Speichern unterschiedlicher Datentypen (wie beispielsweise Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister) enthalten kann. In mindestens einer Ausführungsform kann die Registerdatei 1606 Universalregister oder andere Register enthalten.
In mindestens einer Ausführungsform sind ein oder mehrere Prozessor(en) 1602 mit einem oder mehreren Schnittstellenbus(en) 1610 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen dem Prozessor 1602 und anderen Komponenten im System 1600A zu übertragen. In mindestens einer Ausführungsform kann der Schnittstellenbus 1610 ein Prozessorbus sein, wie z.B. eine Version eines Direct Media Interface (DMI)-Busses. In mindestens einer Ausführungsform ist die Schnittstelle 1610 nicht auf einen DMI-Bus beschränkt und kann einen oder mehrere Peripheral Component Interconnect-Busse (wie beispielsweise PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen umfassen. In mindestens einer Ausführungsform umfassen der/die Prozessor(en) 1602 einen integrierten Speicher-Controller 1616 und einen Plattform-Controller-Hub 1630. In mindestens einer Ausführungsform ermöglicht der Speicher-Controller 1616 die Kommunikation zwischen einer Speichervorrichtung und anderen Komponenten des Systems 1600A, während der Plattform-Controller-Hub (PCH) 1630 Verbindungen zu E/A-Geräten über einen lokalen E/A-Bus bereitstellt.
In mindestens einer Ausführungsform kann die Speichervorrichtung 1620 ein dynamischer Direktzugriffsspeicher (DRAM), ein statischer Direktzugriffsspeicher (SRAM), ein Flash-Speicher, ein Phasenwechsel-Speicher oder eine andere Speichervorrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. In mindestens einer Ausführungsform kann die Speichervorrichtung 1620 als Systemspeicher für das System 1600A arbeiten, um Daten 1622 und Anweisungen 1621 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 1602 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform ist die Speichersteuerung 1616 auch mit einem, In mindestens einer Ausführungsform, externen Grafikprozessor 1612 gekoppelt, der mit einem oder mehreren Grafikprozessoren 1608 in den Prozessoren 1602 kommunizieren kann, um Grafik- und Medienoperationen durchzuführen. In mindestens einer Ausführungsform kann eine Anzeigevorrichtung 1611 an den/die Prozessor(en) 1602 angeschlossen sein. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1611 eine oder mehrere interne Anzeigevorrichtungen, wie in einem mobilen elektronischen Gerät oder einem Laptop, oder eine externe Anzeigevorrichtung, die über eine Anzeigeschnittstelle (wie beispielsweise DisplayPort usw.) angeschlossen ist, umfassen. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1611 eine kopfmontierte Anzeige (HMD) umfassen, wie z.B. eine stereoskopische Anzeigevorrichtung zur Verwendung in Virtual-Reality-Anwendungen (VR) oder Augmented-Reality-Anwendungen (AR).
In mindestens einer Ausführungsform ermöglicht der Plattform-Controller-Hub 1630 die Verbindung von Peripheriegeräten mit der Speichervorrichtung 1620 und dem Prozessor 1602 über einen Hochgeschwindigkeits-E/A-Bus. In mindestens einer Ausführungsform gehören zu den E/A-Peripheriegeräten unter anderem ein Audio-Controller 1646, ein Netzwerk-Controller 1634, eine Firmware-Schnittstelle 1628, ein drahtloser Transceiver 1626, Berührungssensoren 1625 und eine Datenspeichervorrichtung 1624 (wie beispielsweise Festplattenlaufwerk, Flash-Speicher usw.). In mindestens einer Ausführungsform kann die Datenspeichervorrichtung 1624 über eine Speicherschnittstelle (wie beispielsweise SATA) oder über einen Peripheriebus, wie z.B. einen Peripheral Component Interconnect Bus (wie beispielsweise PCI, PCI Express), angeschlossen sein. In mindestens einer Ausführungsform können die Berührungssensoren 1625 Touchscreen-Sensoren, Drucksensoren oder Fingerabdrucksensoren umfassen. In mindestens einer Ausführungsform kann der drahtlose Transceiver 1626 ein Wi-Fi-Transceiver, ein Bluetooth-Transceiver oder ein Mobilfunk-Transceiver sein, wie z.B. ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 1628 die Kommunikation mit der System-Firmware und kann z.B. eine einheitliche erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einer Ausführungsform kann der Netzwerk-Controller 1634 eine Netzwerkverbindung mit einem kabelgebundenen Netzwerk ermöglichen. In mindestens einer Ausführungsform koppelt ein Hochleistungs-Netzwerk-Controller (nicht dargestellt) mit dem Schnittstellenbus 1610. In mindestens einer Ausführungsform ist der Audio-Controller 1646 ein Mehrkanal-High-Definition-Audio-Controller. In mindestens einer Ausführungsform enthält das System 1600 einen optionalen Legacy-E/A-Controller 1640 zur Kopplung von Legacy-Geräten (wie beispielsweise Personal System 2 (PS/2)) mit dem System. In mindestens einer Ausführungsform kann der Plattform-Controller-Hub 1630 auch mit einem oder mehreren Universal Serial Bus (USB)-Controllern 1642 verbunden sein, die Eingabegeräte wie Tastatur- und Mauskombinationen 1643, eine Kamera 1644 oder andere USB-Eingabegeräte verbinden.
In mindestens einer Ausführungsform kann eine Instanz des Speicher-Controllers 1616 und des Plattform-Controller-Hubs 1630 in einen diskreten externen Grafikprozessor, wie den externen Grafikprozessor 1612, integriert sein. In mindestens einer Ausführungsform können Plattform-Controller-Hub 1630 und/oder Speicher-Controller 1616 extern zu einem oder mehreren Prozessor(en) 1602 sein. In mindestens einer Ausführungsform kann das System 1600 beispielsweise einen externen Speicher-Controller 1616 und einen Plattform-Controller-Hub 1630 enthalten, der als Speicher-Controller-Hub und Peripherie-Controller-Hub innerhalb eines System-Chipsatzes konfiguriert sein kann, der mit dem/den Prozessor(en) 1602 in Verbindung steht.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Grafikprozessor 1600A integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die im Grafikprozessor 1612 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 1600A konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16B ist ein Blockdiagramm eines Prozessors 1600B mit einem oder mehreren Prozessorkernen 1602A-2402N, einem integrierten Speichercontroller 1614 und einem integrierten Grafikprozessor 1608, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 1600B zusätzliche Kerne bis zu und einschließlich des zusätzlichen Kerns 1602N enthalten, der durch gestrichelte, linierte Kästen dargestellt ist. In mindestens einer Ausführungsform enthält jeder der Prozessorkerne 1602A-1602N eine oder mehrere interne Cache-Einheiten 1604A-1604N. In mindestens einer Ausführungsform hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 1606.
In mindestens einer Ausführungsform stellen die internen Cache-Einheiten 1604A-1604N und die gemeinsam genutzten Cache-Einheiten 1606 eine Cache-Speicherhierarchie innerhalb des Prozessors 1600 dar. In mindestens einer Ausführungsform können die Cache-Speichereinheiten 1604A-1604N mindestens eine Ebene von Befehls- und Daten-Cache innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen von gemeinsam genutztem Mid-Level-Cache, wie z.B. eine Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, umfassen, wobei die höchste Cache-Ebene vor dem externen Speicher als LLC klassifiziert ist. In mindestens einer Ausführungsform hält die Cache-Kohärenzlogik die Kohärenz zwischen verschiedenen Cache-Einheiten 1606 und 1604A-1604N aufrecht.
In mindestens einer Ausführungsform kann der Prozessor 1600B auch einen Satz von einer oder mehreren Bus-Controller-Einheiten 1616 und einen Systemagenten-Kern 1610 enthalten. In mindestens einer Ausführungsform verwalten eine oder mehrere Bus-Controller-Einheiten 1616 einen Satz von Peripherie-Bussen, wie einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einer Ausführungsform bietet der Systemagentenkern 1610 Verwaltungsfunktionen für verschiedene Prozessorkomponenten. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 einen oder mehrere integrierte Speicher-Controller 1614, um den Zugriff auf verschiedene externe Speichervorrichtungen (nicht gezeigt) zu verwalten.
In mindestens einer Ausführungsform umfassen einer oder mehrere der Prozessorkerne 1602A-1602N Unterstützung für gleichzeitiges Multithreading. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 Komponenten zum Koordinieren und Betreiben der Kerne 1602A-1602N während der Multithreading-Verarbeitung. In mindestens einer Ausführungsform kann der Systemagentenkern 1610 zusätzlich eine Leistungssteuerungseinheit (PCU) enthalten, die Logik und Komponenten zur Regelung eines oder mehrerer Leistungszustände der Prozessorkerne 1602A-1602N und des Grafikprozessors 1608 umfasst.
In mindestens einer Ausführungsform enthält der Prozessor 1600B zusätzlich den Grafikprozessor 1608 zur Ausführung von Grafikverarbeitungsoperationen. In mindestens einer Ausführungsform koppelt der Grafikprozessor 1608 mit gemeinsam genutzten Cache-Einheiten 1606 und dem Systemagenten-Kern 1610, einschließlich eines oder mehrerer integrierter Speicher-Controller 1614. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 auch einen Anzeige-Controller 1611, um die Ausgabe des Grafikprozessors an ein oder mehrere gekoppelte Anzeigen zu steuern. In mindestens einer Ausführungsform kann der Anzeige-Controller 1611 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Grafikprozessor 1608 gekoppelt ist, oder kann in den Grafikprozessor 1608 integriert sein.
In mindestens einer Ausführungsform wird eine ringbasierte Verbindungseinheit 1612 verwendet, um interne Komponenten des Prozessors 1600B zu verbinden. In mindestens einer Ausführungsform kann auch eine alternative Verbindungseinheit verwendet werden, wie z.B. eine Punkt-zu-Punkt-Verbindung, eine geschaltete Verbindung oder andere Techniken. In mindestens einer Ausführungsform ist der Grafikprozessor 1608 über eine E/A-Verbindung 1613 mit der Ringverbindung 1612 gekoppelt.
In mindestens einer Ausführungsform stellt die E/A-Verbindung 1613 mindestens eine von mehreren Arten von E/A-Verbindungen dar, einschließlich einer On-Package-E/A-Verbindung, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 1618, z.B. einem eDRAM-Modul, ermöglicht. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 1602A-1602N und der Grafikprozessor 1608 eingebettete Speichermodule 1618 als gemeinsamen Last Level Cache.
In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N in Bezug auf die Befehlssatzarchitektur (ISA) heterogen, wobei einer oder mehrere der Prozessorkerne 1602A-1602N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 1602A-1602N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen anderen Befehlssatz ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N in Bezug auf die Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einer relativ höheren Leistungsaufnahme mit einem oder mehreren Kernen mit einer niedrigeren Leistungsaufnahme gekoppelt sind. In mindestens einer Ausführungsform kann der Prozessor 1600B auf einem oder mehreren Chips oder als integrierte SoC-Schaltung implementiert sein.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Prozessor 1600B integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der ALUs verwenden, die im Grafikprozessor 1612, in den Grafikkernen 1602A-1602N oder in anderen Komponenten in 16 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert sein, die ALUs des Grafikprozessors 1600B konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16C ist ein Blockdiagramm von Hardwarelogik eines Grafikprozessorkerns 1600C, gemäß mindestens einer hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessorkern 1600C in einem Grafikkern-Array enthalten. In mindestens einer Ausführungsform kann der Grafikprozessorkern 1600C, der manchmal auch als Kern- bzw. Core Slice bezeichnet wird, ein oder mehrere Grafikkerne innerhalb eines modularen Grafikprozessors sein. In mindestens einer Ausführungsform ist der Grafikprozessorkern 1600C beispielhaft für ein Grafikkern-Slice, und kann ein Grafikprozessor, wie hierin beschrieben, mehrere Grafikkern-Slices enthalten, die auf den angestrebten Energie- und Leistungsumfängen basieren. In mindestens einer Ausführungsform kann jeder Grafikkern 1600C einen festen Funktionsblock 1630 enthalten, der mit mehreren Sub-Kernen 1601A-1601 F gekoppelt ist, die auch als Sub-Slices bezeichnet werden und modulare Blöcke von Mehrzweck- und fester Funktionslogik enthalten.
In mindestens einer Ausführungsform umfasst der Festfunktionsblock 1630 eine Geometrie/Festfunktions-Pipeline 1636, die von allen Sub-Kernen im Grafikprozessor 1600C gemeinsam genutzt werden kann, z.B. in Grafikprozessor-Implementierungen mit geringerer Leistung und/oder geringerem Energieverbrauch. In mindestens einer Ausführungsform umfasst die Geometrie-/Festfunktionspipeline 1636 eine 3D-Festfunktionspipeline, eine Video-Frontend-Einheit, einen Thread-Spawner und Thread-Versender sowie einen Unified-Return-Puffer-Verwalter, der Unified-Return-Puffer verwaltet.
In mindestens einer festen Ausführungsform umfasst der Funktionsblock 1630 auch eine Grafik-SoC-Schnittstelle 1637, einen Grafik-Mikrocontroller 1638 und eine Medien-Pipeline 1639. In mindestens einer festen Ausführungsform stellt die Grafik-SoC-Schnittstelle 1637 eine Schnittstelle zwischen dem Grafikkern 1600C und anderen Prozessorkernen innerhalb einer integrierten System-on-Chip-Schaltung bereit. In mindestens einer Ausführungsform ist der Grafik-Mikrocontroller 1638 ein programmierbarer Subprozessor, der so konfiguriert sein kann, dass er verschiedene Funktionen des Grafikprozessors 1600C verwaltet, einschließlich Thread-Versendung, Planung und Präemption. In mindestens einer Ausführungsform enthält die Medien-Pipeline 1639 eine Logik zur Erleichterung der Dekodierung, Kodierung, Vorverarbeitung und/oder Nachbearbeitung von Multimediadaten, einschließlich Bild- und Videodaten. In mindestens einer Ausführungsform implementiert die Medien-Pipeline 1639 Medienoperationen über Anforderungen an die Rechen- oder Abtastlogik innerhalb der Sub-Kerne 1601-1601F.
In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 1637 dem Grafikkern 1600C die Kommunikation mit Mehrzweck-Anwendungsprozessor-kernen (wie beispielsweise CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen wie einem gemeinsam genutzten Cache-Speicher der letzten Ebene, System-RAM und/oder eingebettetem On-Chip- oder On-Package-DRAM. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 1637 auch die Kommunikation mit Geräten mit fester Funktion innerhalb eines SoCs ermöglichen, wie z.B. Kamera-Bildgebungspipelines, und sie ermöglicht die Verwendung und/oder implementiert globale Speicheratomare, die von Grafikkern 1600C und CPUs innerhalb eines SoCs gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 1637 auch Energieverwaltungssteuerungen für den Grafikkern 1600C implementieren und eine Schnittstelle zwischen einer Taktdomäne des Grafikkerns 1600C und anderen Taktdomänen innerhalb eines SoCs ermöglichen. In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 1637 den Empfang von Befehlspuffern von einem Befehlsstreamer und einem globalen Thread-Versender, die so konfiguriert sind, dass sie Befehle und Anweisungen für jeden von einem oder mehreren Grafikkernen innerhalb eines Grafikprozessors bereitstellen. In mindestens einer Ausführungsform können Befehle und Anweisungen an die Medienpipeline 1639 gesendet werden, wenn Medienoperationen durchzuführen sind, oder an eine Geometrie- und Festfunktionspipeline (wie beispielsweise Geometrie- und Festfunktionspipeline 1636, Geometrie- und Festfunktionspipeline 1614), wenn Grafikverarbeitungsoperationen durchzuführen sind.
In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 so konfiguriert sein, dass er verschiedene Planungs- und Verwaltungsaufgaben für den Grafikkern 1600C durchführt. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 die Planung von Grafik- und/oder Rechenlasten auf verschiedenen parallelen Grafik-Engines in den Arrays 1602A-1602F, 1604A-1604F der Ausführungseinheiten (EU) in den Sub-Kernen 1601A-1601F durchführen. In mindestens einer Ausführungsform kann Host-Software, die auf einem CPU-Kern eines SoCs mit Grafikkern 1600C ausgeführt wird, Arbeitslasten an eine von mehreren Grafikprozessor-Doorbells übermitteln, die einen Planungsvorgang auf einer geeigneten Grafik-Engine aufruft. In mindestens einer Ausführungsform umfassen die Planungsvorgänge ein Bestimmen, welche Arbeitslast als Nächstes auszuführen ist, das Übermitteln einer Arbeitslast an einen Befehlsstreamer, das Vorziehen vorhandener Arbeitslasten, die auf einer Engine laufen, das Überwachen des Fortschritts einer Arbeitslast und das Benachrichtigen der Host-Software, wenn eine Arbeitslast abgeschlossen ist. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 auch Stromsparzustände oder Leerlaufzustände für den Grafikkern 1600C erleichtern, indem er dem Grafikkern 1600C die Möglichkeit bietet, unabhängig von einem Betriebssystem und/oder einer Grafiktreibersoftware auf einem System Register innerhalb des Grafikkerns 1600 über Stromsparzustandsübergänge zu speichern und wiederherzustellen.
In mindestens einer Ausführungsform kann der Grafikkern 1600C mehr oder weniger als die dargestellten Sub-Kerne 1601A-1601 F aufweisen, bis hin zu N modularen Sub-Kernen. Für jeden Satz von N Sub-Kernen kann der Grafikkern 1600C in mindestens einer Ausführungsform auch eine gemeinsam genutzte Funktionslogik 1610, einen gemeinsam genutzten und/oder Cache-Speicher 1612, eine Geometrie-/ Festfunktionspipeline 1614 sowie eine zusätzliche Festfunktionslogik 1616 zur Beschleunigung verschiedener Grafik- und Rechenverarbeitungsvorgänge umfassen. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 1610 Logikeinheiten (wie beispielsweise Sampler-, Mathematik- und/oder Inter-Thread-Kommunikationslogik) umfassen, die von allen N Sub-Kernen innerhalb des Grafikkerns 1600C gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann der feste, gemeinsam genutzte und/oder Cache-Speicher 1612 ein Cache der letzten Ebene für die N Sub-Kerne 1601A-1601F innerhalb des Grafikkerns 1600C sein und kann auch als gemeinsam genutzter Speicher dienen, auf den mehrere Sub-Kernen zugreifen können. In mindestens einer Ausführungsform kann die Geometrie-/Festfunktionspipeline 1614 anstelle der Geometrie-/Festfunktionspipeline 1636 innerhalb des Festfunktionsblocks 1630 enthalten sein und kann gleiche oder ähnliche Logikeinheiten umfassen.
In mindestens einer Ausführungsform enthält der Grafikkern 1600C zusätzliche Festfunktionslogik 1616, die verschiedene Festfunktions-Beschleunigungslogik zur Verwendung durch den Grafikkern 1600C enthalten kann. In mindestens einer Ausführungsform umfasst die zusätzliche Festfunktionslogik 1616 eine zusätzliche Geometrie-Pipeline für die Verwendung in positionsabhängigem Shading. Bei positionsabhängigem Shading gibt es mindestens zwei Geometrie-Pipelines, nämlich eine vollständige Geometrie-Pipeline innerhalb der Geometrie/Festfunktions-Pipeline 1616, 1636, und eine Cull-Pipeline, bei der es sich um eine zusätzliche Geometrie-Pipeline handelt, die in der zusätzlichen Festfunktionslogik 1616 enthalten sein kann. In mindestens einer Ausführungsform ist die Cull-Pipeline eine abgespeckte Version der vollständigen Geometrie-Pipeline. In mindestens einer Ausführungsform können eine vollständige Pipeline und eine Cull-Pipeline unterschiedliche Instanzen einer Anwendung ausführen, wobei jede Instanz einen separaten Kontext hat. In mindestens einer Ausführungsform kann das positionsabhängige Shading lange Cull-Läufe von verworfenen Dreiecken ausblenden, wodurch das Shading in einigen Fällen früher abgeschlossen werden kann. In mindestens einer Ausführungsform kann die Cull-Pipeline-Logik innerhalb der zusätzlichen festen Funktionslogik 1616 Positions-Shader parallel zu einer Hauptanwendung ausführen und generiert kritische Ergebnisse schneller als eine vollständige Pipeline, da die Cull-Pipeline das Positionsattribut der Vertices abruft und schattiert, ohne eine Rasterung und ein Rendering der Pixel in einen Frame-Puffer durchzuführen. In mindestens einer Ausführungsform kann die Cull-Pipeline die generierten kritischen Ergebnisse verwenden, um Sichtbarkeitsinformationen für alle Dreiecke zu berechnen, ohne Rücksicht darauf, ob diese Dreiecke gecullt sind. In mindestens einer Ausführungsform kann die Cull-Pipeline (die in diesem Fall als Replay-Pipeline bezeichnet werden kann) die Sichtbarkeitsinformationen verwenden, um gecullte Dreiecke zu überspringen und nur sichtbare Dreiecke zu schattieren, die schließlich an eine Rasterisierungsphase übergeben werden.
In mindestens einer Ausführungsform kann die zusätzliche Festfunktionslogik 1616 auch eine Logik zur Beschleunigung des maschinellen Lernens enthalten, z.B. eine Festfunktionslogik zur Matrixmultiplikation, für Implementierungen, die Optimierungen für das Training oder die Inferenzierung des maschinellen Lernens beinhalten.
In mindestens einer Ausführungsform enthält jeder Grafik-Sub-Kern 1601A-1601F einen Satz von Ausführungsressourcen, die verwendet werden können, um Grafik-, Medien- und Rechenoperationen als Reaktion auf Anforderungen von Grafik-Pipeline-, Medien-Pipeline- oder Shader-Programmen durchzuführen. In mindestens einer Ausführungsform umfassen die Grafik-Subkerne 1601A-1601 F mehrere EU-Arrays 1602A-1602F, 1604A-1604F, Thread-Versende- und Inter-Thread-Kommunikationslogik (TD/IC) 1603A-1603F, einen 3D-Sampler bzw. Abtaster (z.B. Textur) 1605A-1605F, einen Media-Sampler 1606A-1606F, einen Shader-Prozessor 1607A-1607F und einen gemeinsamen lokalen Speicher (SLM) 1608A-1608F. Die EU-Arrays 1602A-1602F, 1604A-1604F enthalten jeweils mehrere Ausführungseinheiten, bei denen es sich um Universal-Grafikverarbeitungseinheiten handelt, die in der Lage sind, Gleitkomma- und Ganzzahl-/Festkomma-Logikoperationen im Dienste einer Grafik-, Medien- oder Rechenoperation durchzuführen, einschließlich Grafik-, Medien- oder Rechenshaderprogrammen. In mindestens einer Ausführungsform führt die TD/IC-Logik 1603A-1603F lokale Thread-Versende- und Thread-Steuerungsoperationen für Ausführungseinheiten innerhalb eines Sub-Kerns durch und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Sub-Kerns ausgeführt werden. In mindestens einer Ausführungsform kann der 3D-Sampler 1605A-1605F Textur- oder andere 3D-Grafikdaten in den Speicher einlesen. In mindestens einer Ausführungsform kann der 3D-Sampler Texturdaten auf der Grundlage eines konfigurierten Abtaststatus und eines Texturformats, das mit einer bestimmten Textur verbunden ist, unterschiedlich lesen. In mindestens einer Ausführungsform kann der Media-Sampler 1606A-1606F ähnliche Lesevorgänge auf der Grundlage eines Typs und Formats durchführen, die mit den Mediendaten verbunden sind. In mindestens einer Ausführungsform kann jeder Grafik-Subkern 1601A-1601F abwechselnd einen vereinheitlichten 3D- und Medien-Sampler enthalten. In mindestens einer Ausführungsform können Threads, die auf Ausführungseinheiten in jedem der Sub-Kerne 1601A-1601F ausgeführt werden, den gemeinsamen lokalen Speicher 1608A-1608F in jedem Sub-Kern nutzen, damit Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, einen gemeinsamen Pool von On-Chip-Speicher nutzen können.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6BA und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Grafikprozessor 1610 integriert sein. Beispielsweise können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der ALUs verwenden, die im Grafikprozessor 1012, im Grafik-Mikrocontroller 1638, in der Geometrie- und Festfunktionspipeline 1614 und 1636 oder in einer anderen Logik in 16B enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 1600C konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16D-16E veranschaulichen die Thread-Ausführungslogik 1600D einschließlich eines Arrays von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform. 16D veranschaulicht mindestens eine Ausführungsform, in der die Thread-Ausführungslogik 1600D verwendet wird. 16E veranschaulicht beispielhafte interne Details einer Ausführungseinheit, gemäß mindestens einer Ausführungsform.
Wie in 16D dargestellt, umfasst die Thread-Ausführungslogik 1600D in mindestens einer Ausführungsform einen Shader-Prozessor 1602, einen Thread-Versender 1604, einen Befehls-Cache 1606, ein skalierbares Ausführungseinheiten-Array mit einer Vielzahl von Ausführungseinheiten 1608A-1608N, einen oder mehrere Abtaster bzw. Sampler 1610, einen Daten-Cache 1612 und einen Datenport 1614. In mindestens einer Ausführungsform kann ein skalierbares Ausführungseinheiten-Array dynamisch skalieren, indem es eine oder mehrere Ausführungseinheiten (wie beispielsweise eine der Ausführungseinheiten 1608A, 1608B, 1608C, 1608D bis 1608N-1 und 1608N) basierend auf den Rechenanforderungen einer Arbeitslast aktiviert oder deaktiviert. In mindestens einer Ausführungsform sind die skalierbaren Ausführungseinheiten über eine Verbindungsstruktur miteinander verbunden, die mit jeder Ausführungseinheit verbunden ist. In mindestens einer Ausführungsform umfasst die Thread-Ausführungslogik 1600D eine oder mehrere Verbindungen zum Speicher, z.B. zum Systemspeicher oder zum Cache-Speicher, über einen oder mehrere der folgenden Elemente: Befehlscache 1606, Datenport 1614, Sampler 1610 und Ausführungseinheiten 1608A-1608N. In mindestens einer Ausführungsform ist jede Ausführungseinheit (wie beispielsweise 1608A) eine eigenständige programmierbare Mehrzweck-Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und dabei mehrere Datenelemente parallel für jeden Thread zu verarbeiten. In mindestens einer Ausführungsform ist die Anordnung der Ausführungseinheiten 1608A-1608N skalierbar, um eine beliebige Anzahl einzelner Ausführungseinheiten zu umfassen.
In mindestens einer Ausführungsform werden die Ausführungseinheiten 1608A-1608N hauptsächlich zur Ausführung von Shader-Programmen verwendet. In mindestens einer Ausführungsform kann der Shader-Prozessor 1602 verschiedene Shader-Programme verarbeiten und Ausführungs-Threads, die den Shader-Programmen zugeordnet sind, über einen Thread-Versender 1604 verteilen. In mindestens einer Ausführungsform enthält der Thread-Versender 1604 eine Logik zur Vermittlung von Thread-Initiierungsanforderungen von Grafik- und Medienpipelines und zur Instanziierung angeforderter Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 1608A-1608N. In mindestens einer Ausführungsform kann eine Geometrie-Pipeline beispielsweise Vertex-, Tessellierungs- oder Geometrie-Shader zur Verarbeitung an die Thread-Ausführungslogik weiterleiten. In mindestens einer Ausführungsform kann der Thread-Versender 1604 auch Laufzeit-Thread-Spawning-Anforderungen von ausführenden Shader-Programmen verarbeiten.
In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 1608A-1608N einen Befehlssatz, der native Unterstützung für viele Standard-3D-Grafik-Shader-Befehle enthält, sodass Shader-Programme aus Grafikbibliotheken (wie beispielsweise Direct 3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten die Vertex- und Geometrieverarbeitung (wie beispielsweise Vertex-Programme, Geometrie-Programme, Vertex-Shader), die Pixelverarbeitung (wie beispielsweise Pixel-Shader, Fragment-Shader) und die Universalverarbeitung (wie beispielsweise Compute- und Media-Shader). In mindestens einer Ausführungsform ist jede der Ausführungseinheiten 1608A-1608N, die eine oder mehrere arithmetische Logikeinheiten (ALUs) enthalten, zur SIMD-Ausführung (Single Instruction Multiple Data) fähig, und ermöglicht der Multi-Thread-Betrieb eine effiziente Ausführungsumgebung trotz höherer Latenz bei Speicherzugriffen. In mindestens einer Ausführungsform hat jeder Hardware-Thread innerhalb jeder Ausführungseinheit eine dedizierte Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Zustand. In mindestens einer Ausführungsform erfolgt die Ausführung mit mehreren Pipelines pro Takt, die Integer-, Gleitkommaoperationen mit einfacher und doppelter Genauigkeit, SIMD-Verzweigungsfähigkeit, logische Operationen, transzendentale Operationen und andere verschiedene Operationen ausführen können. In mindestens einer Ausführungsform bewirkt die Abhängigkeitslogik in den Ausführungseinheiten 1608A-1608N, dass ein wartender Thread in den Ruhezustand versetzt wird, bis die angeforderten Daten zurückgegeben wurden, während er auf Daten aus dem Speicher oder eine der gemeinsam genutzten Funktionen wartet. In mindestens einer Ausführungsform können, während ein wartender Thread schläft, Hardware-Ressourcen für die Verarbeitung anderer Threads verwendet werden. In mindestens einer Ausführungsform kann eine Ausführungseinheit während einer Verzögerung, die mit einer Vertex-Shader-Operation verbunden ist, Operationen für einen Pixel-Shader, Fragment-Shader oder eine andere Art von Shader-Programm, einschließlich eines anderen Vertex-Shaders, durchführen.
In mindestens einer Ausführungsform arbeitet jede Ausführungseinheit in den Ausführungseinheiten 1608A-1608N auf Arrays von Datenelementen. In mindestens einer Ausführungsform ist eine Anzahl von Datenelementen die „Ausführungsgröße“ oder die Anzahl der Kanäle für einen Befehl. In mindestens einer Ausführungsform ist ein Ausführungskanal eine logische Ausführungseinheit für den Datenelementzugriff, die Maskierung und die Flusssteuerung innerhalb von Anweisungen. In mindestens einer Ausführungsform kann die Anzahl der Kanäle unabhängig von der Anzahl der physischen Arithmetic Logic Units (ALUs) oder Floating Point Units (FPUs) für einen bestimmten Grafikprozessor sein. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 1608A-1608N Ganzzahl- und Gleitkomma-Datentypen.
In mindestens einer Ausführungsform enthält ein Befehlssatz der Ausführungseinheit SIMD-Befehle. In mindestens einer Ausführungsform können verschiedene Datenelemente als gepackter Datentyp in einem Register gespeichert werden und wird eine Ausführungseinheit verschiedene Elemente basierend auf der Datengröße der Elemente verarbeiten. In mindestens einer Ausführungsform werden bei der Bearbeitung eines 256 Bit breiten Vektors 256 Bits eines Vektors in einem Register gespeichert und bearbeitet eine Ausführungseinheit einen Vektor als vier separate gepackte 64-Bit-Datenelemente (Datenelemente der Größe Quad-Word (QW)), acht separate gepackte 32-Bit-Datenelemente (Datenelemente der Größe Double Word (DW)), sechzehn separate gepackte 16-Bit-Datenelemente (Datenelemente der Größe Word (W)) oder zweiunddreißig separate 8-Bit-Datenelemente (Datenelemente der Größe Byte (B)). In mindestens einer Ausführungsform sind jedoch auch andere Vektorbreiten und Registergrößen möglich.
In mindestens einer Ausführungsform können eine oder mehrere Ausführungseinheiten zu einer fusionierten Ausführungseinheit 1609A-1609N zusammengefasst sein, die eine gemeinsame Thread-Steuerungslogik (1607A-1607N) für die fusionierten EUs aufweist. In mindestens einer Ausführungsform können mehrere EUs zu einer EU-Gruppe fusioniert sein. In mindestens einer Ausführungsform kann jede EU in einer fusionierten EU-Gruppe so konfiguriert sein, dass sie einen separaten SIMD-Hardware-Thread ausführt. Die Anzahl der EUs in einer fusionierten EU-Gruppe kann je nach Ausführungsform variieren. In mindestens einer Ausführungsform können verschiedene SIMD-Breiten pro EU ausgeführt werden, einschließlich, aber nicht beschränkt auf, SIMD8, SIMD16 und SIMD32. In mindestens einer Ausführungsform umfasst jede fusionierte Grafikausführungseinheit 1609A-1609N mindestens zwei Ausführungseinheiten. In mindestens einer Ausführungsform enthält die fusionierte Ausführungseinheit 1609A eine erste EU 1608A, eine zweite EU 1608B und eine Thread-Steuerlogik 1607A, die der ersten EU 1608A und der zweiten EU 1608B gemeinsam ist. In mindestens einer Ausführungsform steuert die Thread-Steuerlogik 1607A Threads, die auf der fusionierten Grafikausführungseinheit 1609A ausgeführt werden, so dass jede EU innerhalb der fusionierten Ausführungseinheiten 1609A-1609N unter Verwendung eines gemeinsamen Befehlszeigerregisters ausgeführt werden kann.
In mindestens einer Ausführungsform sind ein oder mehrere interne Befehlscaches (wie beispielsweise 1606) in der Thread-Ausführungslogik 1600D enthalten, um Thread-Befehle für Ausführungseinheiten zu cachen. In mindestens einer Ausführungsform sind ein oder mehrere Daten-Caches (wie beispielsweise 1612) enthalten, um Thread-Daten während der Thread-Ausführung zu cachen. In mindestens einer Ausführungsform ist ein Sampler 1610 enthalten, um Textursampling für 3D-Operationen und Mediensampling für Medienoperationen bereitzustellen. In mindestens einer Ausführungsform umfasst der Sampler 1610 eine spezielle Textur- oder Mediensampling-Funktionalität, um Textur- oder Mediendaten während eines Sampling-Prozesses zu verarbeiten, bevor die gesampelten Daten an eine Ausführungseinheit geliefert werden.
In mindestens einer Ausführungsform senden Grafik- und Medienpipelines während der Ausführung Thread-Initiierungsanforderungen an die Thread-Ausführungslogik 1600D über die Thread-Spawning- und Versende-Logik. In mindestens einer Ausführungsform wird, sobald eine Gruppe geometrischer Objekte verarbeitet und in Pixeldaten gerastert wurde, die Pixelprozessorlogik (wie beispielsweise Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 1602 aufgerufen, um weitere Ausgabeinformationen zu berechnen und zu veranlassen, dass die Ergebnisse in Ausgabeflächen (wie beispielsweise Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) geschrieben werden. In mindestens einer Ausführungsform berechnet ein Pixel-Shader oder Fragment-Shader die Werte verschiedener Vertexattribute, die über ein gerastertes Objekt zu interpolieren sind. In mindestens einer Ausführungsform führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 1602 dann ein über die Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. In mindestens einer Ausführungsform verteilt der Shader-Prozessor 1602 zur Ausführung eines Shader-Programms Threads über den Thread-Versender 1604 an eine Ausführungseinheit (wie beispielsweise 1608A). In mindestens einer Ausführungsform verwendet der Shader-Prozessor 1602 die Texturabtastlogik im Abtaster 1610, um auf Texturdaten in den im Speicher gespeicherten Texturkarten zuzugreifen. In mindestens einer Ausführungsform werden durch arithmetische Operationen an Texturdaten und Eingangsgeometriedaten Pixelfarbdaten für jedes geometrische Fragment berechnet oder ein oder mehrere Pixel von der weiteren Verarbeitung ausgeschlossen.
In mindestens einer Ausführungsform stellt ein Datenport 1614 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 1600D bereit, um verarbeitete Daten zur weiteren Verarbeitung auf einer Grafikprozessor-Ausgabepipeline in den Speicher auszugeben. In mindestens einer Ausführungsform umfasst der Datenport 1614 einen oder mehrere Cache-Speicher (wie beispielsweise den Daten-Cache 1612) oder ist mit diesen gekoppelt, um Daten für den Speicherzugriff über einen Datenport zu cachen.
Wie in 16E dargestellt, kann eine Grafikausführungseinheit 1608 in mindestens einer Ausführungsform eine Anweisungsabrufeinheit 1637, ein allgemeines Registerdateiarray (GRF) 1624, ein architektonisches Registerdateiarray (ARF) 1626, einen Thread-Vermittler 1622, eine Sendeeinheit 1630, eine Verzweigungseinheit 1632, einen Satz SIMD-Gleitkommaeinheiten (FPUs) 1634 und in mindestens einer Ausführungsform einen Satz dedizierter Ganzzahl-SIMD-ALUs 1635 enthalten. In mindestens einer Ausführungsform enthalten GRF 1624 und ARF 1626 einen Satz allgemeiner Registerdateien und Architekturregisterdateien, die mit jedem gleichzeitigen Hardware-Thread verbunden sind, der in der Grafikausführungseinheit 1608 aktiv sein kann. In mindestens einer Ausführungsform wird der Architekturzustand pro Thread in der ARF 1626 verwaltet, während die während der Thread-Ausführung verwendeten Daten in der GRF 1624 gespeichert werden. In mindestens einer Ausführungsform kann der Ausführungsstatus jedes Threads, einschließlich der Befehlszeiger für jeden Thread, in Thread-spezifischen Registern im ARF 1626 gehalten werden.
In mindestens einer Ausführungsform hat die Grafikausführungseinheit 1608 eine Architektur, die eine Kombination aus Simultaneous Multi-Threading (SMT) und feinkörnigem Interleaved Multi-Threading (IMT) ist. In mindestens einer Ausführungsform hat die Architektur eine modulare Konfiguration, die zur Entwurfszeit auf der Grundlage einer Sollanzahl gleichzeitiger Threads und der Anzahl von Registern pro Ausführungseinheit fein abgestimmt werden kann, wobei die Ressourcen der Ausführungseinheit auf die Logik aufgeteilt werden, die zur Ausführung mehrerer gleichzeitiger Threads verwendet wird.
In mindestens einer Ausführungsform kann die Grafikausführungseinheit 1608 mehrere Befehle gemeinsam ausgeben, die jeweils unterschiedliche Befehle sein können. In mindestens einer Ausführungsform kann der Thread-Vermittler 1622 des Threads der Grafikausführungseinheit 1608 Anweisungen an eine der Sendeeinheiten 1630, Verzweigungseinheiten 1642 oder SIMD-FPU(s) 1634 zur Ausführung weiterleiten. In mindestens einer Ausführungsform kann jeder Ausführungs-Thread auf 128 Universalregister innerhalb des GRF 1624 zugreifen, wobei jedes Register 32 Byte speichern kann, die als SIMD-8-Element-Vektor von 32-Bit-Datenelementen zugänglich sind. In mindestens einer Ausführungsform hat jeder Ausführungseinheitsthread Zugriff auf 4 KByte innerhalb des GRF 1624, obwohl Ausführungsformen nicht so begrenzt sind und in anderen Ausführungsformen mehr oder weniger Registerressourcen bereitgestellt werden können. In mindestens einer Ausführungsform können bis zu sieben Threads gleichzeitig ausgeführt werden, wobei die Anzahl der Threads pro Ausführungseinheit je nach Ausführungsform auch variieren kann. In mindestens einer Ausführungsform, in der sieben Threads auf 4 KByte zugreifen können, kann der GRF 1624 insgesamt 15 KByte speichern. In mindestens einer Ausführungsform können flexible Adressierungsmodi erlauben, dass Register gemeinsam adressiert werden, um effektiv breitere Register zu bilden oder um geschichtete rechteckige Blockdatenstrukturen darzustellen.
In mindestens einer Ausführungsform werden Speicheroperationen, Abtaster- bzw. Sampler-Operationen und andere Systemkommunikationen mit längerer Latenz über „Sende“-Befehle abgewickelt, die von der Message-Passing-Sendeeinheit 1630 ausgeführt werden. In mindestens einer Ausführungsform werden Verzweigungsbefehle an eine dedizierte Verzweigungseinheit 1632 weitergeleitet, um SIMD-Divergenz und eventuelle Konvergenz zu erleichtern.
In mindestens einer Ausführungsform enthält die Grafikausführungseinheit 1608 eine oder mehrere SIMD-Gleitkommaeinheiten (FPU(s)) 1634 zur Durchführung von Gleitkommaoperationen. In mindestens einer Ausführungsform unterstützen die FPU(s) 1634 auch Ganzzahlberechnungen. In mindestens einer Ausführungsform kann (können) die FPU(s) 1634 bis zu M Anzahl von 32-Bit-Gleitkomma- (oder Ganzzahl-) Operationen SIMD ausführen, oder bis zu 2M 16-Bit-Ganzzahl- oder 16-Bit-GleitkommaOperationen SIMD ausführen. In mindestens einer Ausführungsform stellt mindestens eine der FPU(s) erweiterte mathematische Fähigkeiten bereit, um transzendentale mathematische Funktionen mit hohem Durchsatz und 64-Bit-Gleitkommaoperationen mit doppelter Genauigkeit zu unterstützen. In mindestens einer Ausführungsform ist auch ein Satz von 8-Bit-Ganzzahl-SIMD-ALUs 1635 vorhanden, die speziell für die Durchführung von Operationen im Zusammenhang mit maschinellen Lernberechnungen optimiert sein können.
In mindestens einer Ausführungsform können Arrays aus mehreren Instanzen der Grafikausführungseinheit 1608 in einer Gruppierung von Grafiksubkernen (wie beispielsweise einem Sub-Slice) instanziiert werden. In mindestens einer Ausführungsform kann die Ausführungseinheit 1608 Anweisungen über eine Vielzahl von Ausführungskanälen ausführen. In mindestens einer Ausführungsform wird jeder Thread, der auf der Grafikausführungseinheit 1608 ausgeführt wird, auf einem anderen Kanal ausgeführt.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit den 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in die Ausführungslogik 1600D integriert sein. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs der Ausführungslogik 1600D konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
17A zeigt eine Parallelverarbeitungseinheit („PPU“) 1700A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die PPU 1700A mit maschinenlesbarem Code konfiguriert, der dann, wenn er von der PPU 1700A ausgeführt wird, die PPU 1700A veranlasst, einige oder alle der in dieser Erfindung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist die PPU 1700A ein Multi-Thread-Prozessor, der auf einem oder mehreren integrierten Schaltkreisen implementiert ist und der Multithreading als eine Technik zum Verbergen von Latenzzeiten verwendet, die dafür ausgelegt ist, computerlesbare Befehle (auch als maschinenlesbare Befehle oder einfach Befehle bezeichnet) auf mehreren Threads parallel zu verarbeiten. In mindestens einer Ausführungsform bezieht sich ein Thread auf einen Ausführungsthread und ist eine Instanziierung eines Satzes von Anweisungen, die zur Ausführung durch die PPU 1700A konfiguriert sind. In mindestens einer Ausführungsform ist die PPU 1700A eine Grafikverarbeitungseinheit („GPU“), die so konfiguriert ist, dass sie eine Grafik-Rendering-Pipeline zur Verarbeitung dreidimensionaler („3D“) Grafikdaten implementiert, um zweidimensionale („2D“) Bilddaten für die Anzeige auf einer Anzeigevorrichtung, wie z.B. einer Flüssigkristallanzeigevorrichtung („LCD“), zu erzeugen. In mindestens einer Ausführungsform wird die PPU 1700A verwendet, um Berechnungen wie lineare Algebra-Operationen und Machine-Learning-Operationen durchzuführen. 17A zeigt ein Beispiel für einen Parallelprozessor nur zur Veranschaulichung, das als nicht beschränktes Beispiel für Prozessorarchitekturen zu verstehen ist, die im Rahmen dieser Erfindung in Betracht gezogen werden, und dahingehend, dass jeder geeignete Prozessor zur Ergänzung und/oder zum Ersatz desselben verwendet werden kann.
In mindestens einer Ausführungsform sind eine oder mehrere PPUs 1700A so konfiguriert, dass sie High Performance Computing („HPC“), Rechenzentren und Anwendungen maschinellen Lernens beschleunigen. In mindestens einer Ausführungsform ist die PPU 1700A so konfiguriert, dass sie Deep-Learning-Systeme und -Anwendungen beschleunigt, einschließlich der folgenden, nicht beschränkenden Beispiele: autonome Fahrzeugplattformen, Deep Learning, hochpräzise Sprach-, Bild- und Texterkennungssysteme, intelligente Videoanalyse, molekulare Simulationen, Arzneimittelentdeckung, Krankheitsdiagnose, Wettervorhersage, Big-Data-Analyse, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotik, Fabrikautomatisierung, Echtzeit-Sprachübersetzung, Online-Suchoptimierung und personalisierte Benutzerempfehlungen und mehr.
In mindestens einer Ausführungsform umfasst die PPU 1700A, ohne darauf beschränkt zu sein, eine Eingabe/Ausgabe-Einheit 1706, eine Frontend-Einheit 1710, eine Planer-Einheit 1712, eine Arbeitsverteilungseinheit 1714, einen Hub 1716, eine Querschiene bzw. Crossbar („Xbar“) 1720, einen oder mehrere Universalverarbeitungscluster („GPCs“) 1718 und eine oder mehrere Partitionseinheiten („Speicherpartitionseinheiten“) 1722. In mindestens einer Ausführungsform ist die PPU 1700A mit einem Host-Prozessor oder anderen PPUs 1700A über eine oder mehrere Hochgeschwindigkeits-GPU-Verbindungen („GPU-Verbindungen“) 1708 verbunden. In mindestens einer Ausführungsform ist die PPU 1700A über einen Interconnect 1702 mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einer Ausführungsform ist die PPU 1700A mit einem lokalen Speicher verbunden, der eine oder mehrere Speichervorrichtungen („Speicher“) 1704 umfasst. In mindestens einer Ausführungsform umfassen die Speichervorrichtungen 1704, ohne darauf beschränkt zu sein, eine oder mehrere dynamische Direktzugriffsspeicher („DRAM“)-Vorrichtungen. In mindestens einer Ausführungsform sind eine oder mehrere DRAM-Vorrichtungen als Subsysteme mit hohem Bandbreitenspeicher („HBM“) konfiguriert und/oder konfigurierbar, wobei mehrere DRAM-Chips in jeder Vorrichtung gestapelt sind.
In mindestens einer Ausführungsform kann sich die Hochgeschwindigkeits-GPU-Verbindung 1708 auf eine drahtbasierte Mehrspur- bzw. Multi-Lane-Kommunikationsverbindung beziehen, die von Systemen zur Skalierung verwendet wird und eine oder mehrere PPUs 1700A in Kombination mit einer oder mehreren Zentraleinheiten („CPUs“) umfasst, die Cache-Kohärenz zwischen PPUs 1700A und CPUs sowie CPU-Mastering unterstützt. In mindestens einer Ausführungsform werden Daten und/oder Befehle über die Hochgeschwindigkeits-GPU-Verbindung 1708 durch den Hub 1716 zu/von anderen Einheiten der PPU 1700A übertragen, wie z.B. einer oder mehreren Kopier-Engines, Video-Encodern, Video-Decodern, Leistungsverwaltungseinheiten und anderen Komponenten, die in 17A möglicherweise nicht explizit dargestellt sind.
In mindestens einer Ausführungsform ist die E/A-Einheit 1706 so konfiguriert, dass sie Kommunikationen (wie beispielsweise Befehle, Daten) von einem Host-Prozessor (in 17A nicht dargestellt) über den Systembus 1702 sendet und empfängt. In mindestens einer Ausführungsform kommuniziert die E/A-Einheit 1706 mit dem Host-Prozessor direkt über den Systembus 1702 oder über ein oder mehrere Zwischenvorrichtungen wie z.B. eine Speicherbrücke. In mindestens einer Ausführungsform kann die E/A-Einheit 1706 über den Systembus 1702 mit einem oder mehreren anderen Prozessoren kommunizieren, z.B. mit einer oder mehreren der PPUs 1700A. In mindestens einer Ausführungsform implementiert die E/A-Einheit 1706 eine Peripheral Component Interconnect Express („PCIe“)-Schnittstelle für die Kommunikation über einen PCIe-Bus. In mindestens einer Ausführungsform implementiert die E/A-Einheit 1706 Schnittstellen für die Kommunikation mit externen Geräten.
In mindestens einer Ausführungsform dekodiert die E/A-Einheit 1706 Pakete, die über den Systembus 1702 empfangen werden. In mindestens einer Ausführungsform stellen mindestens einige Pakete Befehle dar, die so konfiguriert sind, dass sie die PPU 1700A veranlassen, verschiedene Operationen durchzuführen. In mindestens einer Ausführungsform sendet die E/A-Einheit 1706 dekodierte Befehle an verschiedene andere Einheiten der PPU 1700A, wie von den Befehlen vorgegeben. In mindestens einer Ausführungsform werden Befehle an die Front-End-Einheit 1710 und/oder an den Hub 1716 oder andere Einheiten der PPU 1700A, wie eine oder mehrere Kopier-Engines, einen Video-Encoder, einen Video-Decoder, eine Leistungsverwaltungseinheit usw., übertragen (in 17A nicht explizit dargestellt). In mindestens einer Ausführungsform ist die E/A-Einheit 1706 so konfiguriert, dass sie die Kommunikation zwischen und unter verschiedenen logischen Einheiten der PPU 1700A leitet.
In mindestens einer Ausführungsform kodiert ein vom Host-Prozessor ausgeführtes Programm einen Befehlsstrom in einen Puffer, der der PPU 1700A Arbeitslasten zur Verarbeitung bereitstellt. In mindestens einer Ausführungsform umfasst eine Arbeitslast Anweisungen und Daten, die von diesen Anweisungen zu verarbeiten sind. In mindestens einer Ausführungsform ist der Puffer ein Bereich in einem Speicher, auf den sowohl der Host-Prozessor als auch die PPU 1700A zugreifen können (wie beispielsweise Lesen/Schreiben) - eine Host-Schnittstelleneinheit kann so konfiguriert sein, dass sie auf den Puffer in einem Systemspeicher zugreift, der mit dem Systembus 1702 verbunden ist, und zwar über Speicheranforderungen, die von der E/A-Einheit 1706 über den Systembus 1702 übertragen werden. In mindestens einer Ausführungsform schreibt der Host-Prozessor einen Befehlsstrom in den Puffer und überträgt dann einen Zeiger auf den Beginn des Befehlsstroms an die PPU 1700A, so dass die Frontend-Einheit 1710 Zeiger auf einen oder mehrere Befehlsströme empfängt und einen oder mehrere Befehlsströme verwaltet, Befehle aus den Befehlsströmen liest und Befehle an verschiedene Einheiten der PPU 1700A weiterleitet.
In mindestens einer Ausführungsform ist die Frontend-Einheit 1710 mit der Planer-Einheit 1712 gekoppelt, die verschiedene GPCs 1718 zur Verarbeitung von Aufgaben konfiguriert, die durch einen oder mehrere Befehlsströme definiert sind. In mindestens einer Ausführungsform ist die Planer-Einheit 1712 so konfiguriert, dass sie Zustandsinformationen in Bezug auf verschiedene Aufgaben nachverfolgt, die von der Planer-Einheit 1712 verwaltet werden, wobei die Zustandsinformationen angeben können, welchem der GPCs 1718 eine Aufgabe zugewiesen ist, ob die Aufgabe aktiv oder inaktiv ist, welche Prioritätsstufe der Aufgabe zugeordnet ist und so weiter. In mindestens einer Ausführungsform verwaltet die Planer-Einheit 1712 die Ausführung einer Vielzahl von Aufgaben auf einem oder mehreren GPCs 1718.
In mindestens einer Ausführungsform ist die Planer-Einheit 1712 mit der Arbeitsverteilungseinheit 1714 gekoppelt, die so konfiguriert ist, dass sie Aufgaben zur Ausführung auf den GPCs 1718 verteilt. In mindestens einer Ausführungsform nachverfolgt die Arbeitsverteilungseinheit 1714 eine Anzahl geplanter Aufgaben, die von der Planer-Einheit 1712 empfangen wurden, und verwaltet die Arbeitsverteilungseinheit 1714 einen Pool ausstehender Aufgaben und einen Pool aktiver Aufgaben für jeden der GPCs 1718. In mindestens einer Ausführungsform umfasst der Pool anstehender Aufgaben eine Anzahl von Slots (wie beispielsweise 32 Slots), die Aufgaben enthalten, die zur Verarbeitung durch einen bestimmten GPC 1718 zugewiesen sind; der Pool aktiver Aufgaben kann eine Anzahl von Slots (wie beispielsweise 4 Slots) für Aufgaben umfassen, die aktiv von den GPCs 1718 verarbeitet werden, so dass dann, wenn einer der GPCs 1718 die Ausführung einer Aufgabe abschließt, diese Aufgabe aus dem Pool aktiver Aufgaben für den GPC 1718 entfernt wird und eine der anderen Aufgaben aus dem Pool anstehender Aufgaben ausgewählt und zur Ausführung auf dem GPC 1718 eingeplant wird. In mindestens einer Ausführungsform wird dann, wenn eine aktive Aufgabe auf dem GPC 1718 im Leerlauf ist, z.B. während auf die Auflösung einer Datenabhängigkeit gewartet wird, die aktive Aufgabe aus dem GPC 1718 entfernt und in den Pool ausstehender zurückgeführt, während eine andere Aufgabe im Pool ausstehender Aufgaben ausgewählt und für die Ausführung auf dem GPC 1718 eingeplant wird.
In mindestens einer Ausführungsform kommuniziert die Arbeitsverteilungseinheit 1714 mit einem oder mehreren GPCs 1718 über XBar 1720. In mindestens einer Ausführungsform ist die XBar 1720 ein Verbindungsnetzwerk, das viele Einheiten der PPU 1700A mit anderen Einheiten der PPU 1700A koppelt und so konfiguriert sein kann, dass die Arbeitsverteilungseinheit 1714 mit einem bestimmten GPC 1718 gekoppelt wird. In mindestens einer Ausführungsform können auch eine oder mehrere andere Einheiten der PPU 1700A über den Hub 1716 mit der XBar 1720 verbunden sein.
In mindestens einer Ausführungsform werden Aufgaben von der Planer-Einheit 1712 verwaltet und von der Arbeitsverteilungseinheit 1714 an einen der GPCs 1718 weitergeleitet. Der GPC 1718 ist so konfiguriert, dass er eine Aufgabe verarbeitet und Ergebnisse erzeugt. In mindestens einer Ausführungsform können die Ergebnisse von anderen Aufgaben innerhalb des GPC 1718 verbraucht, über die XBar 1720 an einen anderen GPC 1718 weitergeleitet oder im Speicher 1704 gespeichert werden. In mindestens einer Ausführungsform können Ergebnisse in den Speicher 1704 über Partitionseinheiten 1722 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 1704 implementieren. In mindestens einer Ausführungsform können die Ergebnisse über die Hochgeschwindigkeits-GPU-Verbindung 1708 an eine andere PPU 1704 oder CPU übertragen werden. In mindestens einer Ausführungsform umfasst die PPU 1700A, ohne darauf beschränkt zu sein, eine Anzahl U von Partitionseinheiten 1722, die der Anzahl von separaten und unterschiedlichen Speichervorrichtungen 1704 entspricht, die mit der PPU 1700A verbunden sind. In mindestens einer Ausführungsform wird die Partitionseinheit 1722 weiter unten in Verbindung mit 17C genauer beschrieben.
In mindestens einer Ausführungsform führt ein Host-Prozessor einen Treiberkern aus, der eine Anwendungsprogrammierschnittstelle („API“) implementiert, die es einer oder mehreren auf dem Host-Prozessor ausgeführten Anwendungen ermöglicht, Operationen zur Ausführung auf der PPU 1700A zu planen. In mindestens einer Ausführungsform werden mehrere Rechenanwendungen gleichzeitig von der PPU 1700A ausgeführt und stellt die PPU 1700A Isolierung, Dienstgüte („QoS“) und unabhängige Adressräume für mehrere Rechenanwendungen bereit. In mindestens einer Ausführungsform generiert eine Anwendung Anweisungen (wie beispielsweise in Form von API-Aufrufen), die den Treiberkern veranlassen, eine oder mehrere Aufgaben zur Ausführung durch die PPU 1700A zu generieren, und gibt der Treiberkern Aufgaben an einen oder mehrere Streams aus, die von der PPU 1700A verarbeitet werden. In mindestens einer Ausführungsform umfasst jede Aufgabe eine oder mehrere Gruppen von zusammenhängenden Threads, die als Warp bezeichnet werden können. In mindestens einer Ausführungsform umfasst ein Warp eine Vielzahl von zusammenhängenden Threads (wie beispielsweise 32 Threads), die parallel ausgeführt werden können. In mindestens einer Ausführungsform können sich zusammenarbeitende Threads auf eine Vielzahl von Threads beziehen, die Anweisungen zur Ausführung von Aufgaben enthalten und Daten über einen gemeinsamen Speicher austauschen. In mindestens einer Ausführungsform werden Threads und kooperierende Threads gemäß mindestens einer Ausführungsform in Verbindung mit 17C ausführlicher beschrieben.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungs-prozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um der PPU 1700A bereitgestellte Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird die PPU 1700A zum Ableiten oder Vorhersagen von Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks) verwendet, das von einem anderen Prozessor oder System oder von der PPU 1700A trainiert wurde. In mindestens einer Ausführungsform kann die PPU 1700A verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
17B zeigt einen Universalverarbeitungscluster („GPC“) 1700B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der GPC 1700B der GPC 1418 aus 17A. In mindestens einer Ausführungsform umfasst jeder GPC 1700B, ohne darauf beschränkt zu sein, eine Anzahl von Hardware-Einheiten zur Verarbeitung von Aufgaben, und umfasst jeder GPC 1700, ohne darauf beschränkt zu sein, einen Pipeline-Verwalter 1702, eine Pre-Raster-Operationseinheit („PROP“) 1704, eine Raster-Engine 1708, eine Arbeitsverteilungskreuzschiene („WDX“) 1716, eine Speicherverwaltungseinheit („MMU“) 1718, einen oder mehrere Datenverarbeitungscluster („DPCs“) 1706 und jede geeignete Kombination von Teilen.
In mindestens einer Ausführungsform wird der Betrieb des GPC 1700B vom Pipeline-Verwalter 1702 gesteuert. In mindestens einer Ausführungsform verwaltet der Pipeline-Verwalter 1702 die Konfiguration eines oder mehrerer DPCs 1706 zur Verarbeitung von Aufgaben, die dem GPC 1700B zugewiesen sind. In mindestens einer Ausführungsform konfiguriert der Pipeline-Verwalter 1702 mindestens einen des einen oder der mehreren DPCs 1706, um mindestens einen Teil einer Grafik-Rendering-Pipeline zu implementieren. In mindestens einer Ausführungsform ist der DPC 1706 so konfiguriert, dass er ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 1714 ausführt. In mindestens einer Ausführungsform ist der Pipeline-Verwalter 1702 so konfiguriert, dass er von einer Arbeitsverteilungseinheit empfangene Pakete an geeignete logische Einheiten innerhalb des GPC 1700B weiterleitet, wobei einige Pakete an Hardwareeinheiten mit fester Funktion in der PROP 1704 und/oder in der Raster-Engine 1708 weitergeleitet werden können, während andere Pakete an DPCs 1706 zur Verarbeitung durch eine Primitiv-Engine 1712 oder den SM 1714 weitergeleitet werden können. In mindestens einer Ausführungsform konfiguriert der Pipeline-Verwalter 1702 mindestens einen der DPCs 1706 zur Implementierung eines neuronalen Netzwerkmodells und/oder einer Rechenpipeline.
In mindestens einer Ausführungsform ist die PROP-Einheit 1704 so konfiguriert, dass sie die von der Raster-Engine 1708 und den DPCs 1706 erzeugten Daten an eine Einheit für Rasteroperationen („ROP“) in der Partitionseinheit 1422 weiterleitet, die oben in Verbindung mit 14 näher beschrieben ist. In mindestens einer Ausführungsform ist die PROP-Einheit 1704 so konfiguriert, dass sie Optimierungen für die Farbmischung durchführt, Pixeldaten organisiert, Adressübersetzungen durchführt und mehr. In mindestens einer Ausführungsform umfasst die Raster-Engine 1708, ohne darauf beschränkt zu sein, eine Reihe von Hardwareeinheiten mit fester Funktion, die zur Durchführung verschiedener Rasteroperationen konfiguriert sind, und umfasst die Raster-Engine 1708, ohne darauf beschränkt zu sein, eine Setup-Engine, eine Grobraster-Engine, eine Culling-Engine, eine Clipping-Engine, eine Feinraster-Engine, eine Kachelkoaleszenz-Engine und jede geeignete Kombination davon. In mindestens einer Ausführungsform empfängt die Setup-Engine transformierte Vertices und erzeugt Ebenengleichungen, die mit der durch die Vertices definierten geometrischen Grundstruktur verbunden sind; die Ebenengleichungen werden an die Grobraster-Engine übertragen, um Abdeckungsinformationen (wie beispielsweise eine x-, y-Abdeckungsmaske für eine Kachel) für die Grundstruktur zu erzeugen; die Ausgabe der Grobraster-Engine wird an die Culling-Engine übertragen, wo Fragmente, die mit dem Primitiv verbunden sind und einen z-Test nicht bestehen, aussortiert werden, und an eine Clipping-Engine übertragen, wo Fragmente, die außerhalb eines Sichtkegelstumpfs liegen, abgeschnitten werden. In mindestens einer Ausführungsform werden Fragmente, die das Clipping und Culling überstehen, an eine Feinraster-Engine weitergeleitet, um Attribute für Pixelfragmente auf der Grundlage von Ebenengleichungen zu erzeugen, die von der Setup-Engine generiert wurden. In mindestens einer Ausführungsform umfasst die Ausgabe der Raster-Engine 1708 Fragmente, die von einer geeigneten Einheit verarbeitet werden, z.B. von einem Fragment-Shader, der in dem DPC 1706 implementiert ist.
In mindestens einer Ausführungsform umfasst jeder DPC 1706, der im GPC 1700B enthalten ist, ohne darauf beschränkt zu sein, einen M-Pipe-Controller („MPC“) 1710, eine Primitiv-Engine 1712, einen oder mehrere SMs 1714 und jede geeignete Kombination davon. In mindestens einer Ausführungsform steuert der MPC 1710 den Betrieb des DPC 1706, indem er die vom Pipeline-Verwalter 1702 empfangenen Pakete an die entsprechenden Einheiten in dem DPC 1706 weiterleitet. In mindestens einer Ausführungsform werden Pakete, die einem Vertex zugeordnet sind, an die Primitiv-Engine 1712 weitergeleitet, die so konfiguriert ist, dass sie Vertexattribute, die dem Vertex zugeordnet sind, aus dem Speicher abruft; im Gegensatz dazu können Pakete, die einem Shader-Programm zugeordnet sind, an den SM 1714 übertragen werden.
In mindestens einer Ausführungsform umfasst der SM 1714, ohne darauf beschränkt zu sein, einen programmierbaren Streaming-Prozessor, der so konfiguriert ist, dass er Aufgaben verarbeitet, die durch eine Anzahl von Threads dargestellt werden. In mindestens einer Ausführungsform ist der SM 1714 mit mehreren Threads ausgestattet und so konfiguriert, dass er mehrere Threads (wie beispielsweise 32 Threads) aus einer bestimmten Gruppe von Threads gleichzeitig ausführt und eine SIMD („Single-Instruction, Multiple-Data“)-Architektur implementiert, bei der jeder Thread in einer Gruppe von Threads (wie beispielsweise einem Warp) so konfiguriert ist, dass er einen anderen Datensatz auf der Grundlage desselben Satzes von Anweisungen verarbeitet. In mindestens einer Ausführungsform führen alle Threads in einer Gruppe von Threads dieselben Anweisungen aus. In mindestens einer Ausführungsform implementiert der SM 1714 eine Single-Instruction, Multiple Thread („SIMT“)-Architektur, bei der jeder Thread in einer Gruppe von Threads so konfiguriert ist, dass er einen anderen Satz von Daten auf der Grundlage desselben Satzes von Anweisungen verarbeitet, wobei jedoch einzelne Threads in der Gruppe von Threads während der Ausführung divergieren dürfen. In mindestens einer Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden Warp beibehalten, wodurch Gleichzeitigkeit zwischen Warps und serielle Ausführung innerhalb von Warps ermöglicht wird, wenn Threads innerhalb von Warp divergieren. In einer anderen Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden einzelnen Thread beibehalten, wodurch gleiche Gleichzeitigkeit zwischen allen Threads innerhalb und zwischen Warps ermöglicht wird. In mindestens einer Ausführungsform wird der Ausführungsstatus für jeden einzelnen Thread beibehalten, und Threads, die dieselben Anweisungen ausführen, können zur besseren Effizienz zusammengeführt und parallel ausgeführt werden. Mindestens eine Ausführungsform des SM 1714 wird nachstehend ausführlicher beschrieben.
In mindestens einer Ausführungsform stellt die MMU 1718 eine Schnittstelle zwischen dem GPC 1700B und der Speicherpartitionseinheit (wie beispielsweise der Partitionierungseinheit 1422 in 17A) bereit, und sorgt die MMU 1718 für die Übersetzung virtueller Adressen in physische Adressen, den Speicherschutz und die Arbitrierung von Speicheranforderungen. In mindestens einer Ausführungsform bietet die MMU 1718 einen oder mehrere Übersetzungs-Lookaside-Puffer („TLBs“) zur Durchführung der Übersetzung virtueller Adressen in physische Adressen im Speicher.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um die dem GPC 1700B bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der GPC 1700B verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks) abzuleiten oder vorherzusagen, das von einem anderen Prozessor oder System oder von dem GPC 1700B trainiert wurde. In mindestens einer Ausführungsform kann der GPC 1700B verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
17C veranschaulicht eine Speicherpartitionseinheit 1700C einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst die Speicherpartitionseinheit 1700C, ohne darauf beschränkt zu sein, eine Raster Operations („ROP“)-Einheit 1702, einen Level Two („L2“)-Cache 1704, eine Speicherschnittstelle 1706 und eine beliebige geeignete Kombination davon. In mindestens einer Ausführungsform ist die Speicherschnittstelle 1706 mit dem Speicher gekoppelt. In mindestens einer Ausführungsform kann die Speicherschnittstelle 1706 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliche Implementierungen für die Hochgeschwindigkeitsdatenübertragung implementieren. In mindestens einer Ausführungsform umfasst die PPU U Speicherschnittstellen 1706, eine Speicherschnittstelle 1706 pro Paar von Partitionseinheiten 1700C, wobei jedes Paar von Partitionseinheiten 1700C mit einer entsprechenden Speichervorrichtung verbunden ist. In mindestens einer Ausführungsform kann die PPU beispielsweise mit bis zu Y Speichervorrichtungen verbunden sein, z.B. mit Speicherstapeln mit hoher Bandbreite oder mit einem synchronen dynamischen Direktzugriffsspeicher für Grafikkarten mit doppelter Datenrate, Version 5 („GDDR5 SDRAM“).
In mindestens einer Ausführungsform implementiert die Speicherschnittstelle 1706 eine Speicherschnittstelle der zweiten Generation mit hoher Bandbreite („HBM2“), und Y ist gleich der Hälfte von U. In mindestens einer Ausführungsform befinden sich die HBM2-Speicherstapel auf demselben physischen Gehäuse wie die PPU, was im Vergleich zu GDDR5-SDRAM-Systemen erhebliche Energie- und Flächeneinsparungen ermöglicht. In mindestens einer Ausführungsform umfasst jeder HBM2-Stapel, ohne darauf beschränkt zu sein, vier Speicherchips und Y ist gleich 4, wobei jeder HBM2-Stapel zwei 128-Bit-Kanäle pro Chip für insgesamt 8 Kanäle und eine Datenbusbreite von 1024 Bit umfasst. In mindestens einer Ausführungsform unterstützt der Speicher den Single-Error Correcting Double-Error Detecting („SECDED“) Error Correction Code („ECC“) zum Schutz der Daten. In mindestens einer Ausführungsform bietet ECC eine höhere Zuverlässigkeit für Datenverarbeitungsanwendungen, die empfindlich auf Datenverfälschungen reagieren.
In mindestens einer Ausführungsform implementiert die PPU eine mehrstufige Speicherhierarchie. In mindestens einer Ausführungsform unterstützt die Speicherpartitionseinheit 1700C einen vereinheitlichten Speicher, um einen einzigen vereinheitlichten virtuellen Adressraum für den Speicher der Zentraleinheit („CPU“) und der PPU bereitzustellen, wodurch die gemeinsame Nutzung von Daten zwischen virtuellen Speichersystemen ermöglicht wird. In mindestens einer Ausführungsform wird die Häufigkeit von Zugriffen einer PPU auf Speicher, der sich auf anderen Prozessoren befindet, verfolgt, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU verschoben werden, die häufiger auf Seiten zugreift. In mindestens einer Ausführungsform unterstützt die Hochgeschwindigkeits-GPU-Verbindung 1708 Adressübersetzungsdienste, die es der PPU ermöglichen, direkt auf die Seitentabellen einer CPU zuzugreifen und der PPU vollen Zugriff auf den CPU-Speicher zu ermöglichen.
In mindestens einer Ausführungsform übertragen Kopier-Engines bzw. Kopiermodule Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. In mindestens einer Ausführungsform können Kopier-Engines Seitenfehler für Adressen erzeugen, die nicht in Seitentabellen abgebildet sind, und bedient die Speicherpartitionseinheit 1700C dann Seitenfehler, indem sie Adressen in die Seitentabelle abbildet, woraufhin die Kopier-Engine die Übertragung durchführt. In mindestens einer Ausführungsform wird der Speicher für mehrere Kopier-Engine-Operationen zwischen mehreren Prozessoren gepinnt (in mindestens einer Ausführungsform, ist nicht auslagerbar), wodurch der verfügbare Speicher erheblich reduziert wird. In mindestens einer Ausführungsform können mit Hardware-Seitenfehlern Adressen an Kopier-Engines weitergegeben werden, ohne Rücksicht darauf, ob Speicherseiten resident sind, und ist der Kopiervorgang transparent.
Daten aus dem Speicher 1704 von 17A oder einem anderen Systemspeicher werden von der Speicherpartitionseinheit 1700C abgerufen und im L2-Cache 1704 gespeichert, der sich gemäß mindestens einer Ausführungsform auf dem Chip befindet und von verschiedenen GPCs gemeinsam genutzt wird. Jede Speicherpartitionseinheit 1700C umfasst in mindestens einer Ausführungsform, ohne darauf beschränkt zu sein, mindestens einen Teil des L2-Cache, der einer entsprechenden Speichervorrichtung zugeordnet ist. In mindestens einer Ausführungsform sind Caches der unteren Ebene in verschiedenen Einheiten innerhalb der GPCs implementiert. In mindestens einer Ausführungsform kann jeder der SMs 1714 einen Cache der Ebene 1 („L1") implementieren, wobei der L1-Cache ein privater Speicher ist, der einem bestimmten SM 1714 zugeordnet ist, und Daten aus dem L2-Cache 1704 abgerufen und in jedem der L1-Caches zur Verarbeitung in Funktionseinheiten der SMs 1714 gespeichert werden. In mindestens einer Ausführungsform ist der L2-Cache 1704 mit der Speicherschnittstelle 1706 und der XBar 1720 gekoppelt.
Die ROP-Einheit 1702 führt in mindestens einer Ausführungsform Grafikrasteroperationen durch, die sich auf die Pixelfarbe beziehen, wie z.B. Farbkompression, Pixelüberblendung und mehr. In mindestens einer Ausführungsform implementiert die ROP-Einheit 1702 eine Tiefenprüfung in Verbindung mit der Raster-Engine 1708, wobei sie eine Tiefe für eine Abtastposition, die einem Pixelfragment zugeordnet ist, von der Culling-Engine der Raster-Engine 1708 empfängt. In mindestens einer Ausführungsform wird die Tiefe gegen eine entsprechende Tiefe in einem Tiefenpuffer für eine dem Fragment zugeordnete Abtaststelle getestet. In mindestens einer Ausführungsform aktualisiert die ROP-Einheit 1702 den Tiefenpuffer und überträgt das Ergebnis des Tiefentests an die Raster-Engine 1708, wenn das Fragment den Tiefentest für die Abtastposition besteht. Die Anzahl der Partitionseinheiten 1700C kann sich von der Anzahl der GPCs unterscheiden, so dass jede ROP-Einheit 1702 in mindestens einer Ausführungsform mit jedem der GPCs gekoppelt sein kann. In mindestens einer Ausführungsform verfolgt die ROP-Einheit 1702 die von verschiedenen GPCs empfangenen Pakete und bestimmt, an welchen ein von der ROP-Einheit 1702 erzeugtes Ergebnis über die XBar 1720 weitergeleitet wird.
17D veranschaulicht einen Streaming-Multiprozessor („SM“) 1700D, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der SM 1700D der SM 1714 aus 17B. In mindestens einer Ausführungsform umfasst der SM 1700D, ohne darauf beschränkt zu sein, einen Befehls-Cache 1702; eine oder mehrere Planer-Einheiten 1704; eine Registerdatei 1708; einen oder mehrere Verarbeitungskerne („Kerne“ bzw. „Cores“) 1710; eine oder mehrere Spezialfunktionseinheiten („SFUs“) 1712; eine oder mehrere Lade-/Speichereinheiten („LSUs“) 1714; ein Verbindungsnetzwerk 1716; einen gemeinsamen Speicher/L1-Cache 1718; und jede geeignete Kombination davon. In mindestens einer Ausführungsform verteilt eine Arbeitsverteilungseinheit Aufgaben zur Ausführung auf Universalverarbeitungsclustern („GPCs“) von Parallelverarbeitungseinheiten („PPUs“), und wird jede Aufgabe einem bestimmten Datenverarbeitungscluster („DPC“) innerhalb eines GPCs zugewiesen, und wenn die Aufgabe mit einem Shader-Programm verbunden ist, wird die Aufgabe einem der SMs 1700D zugewiesen. In mindestens einer Ausführungsform empfängt die Planer-Einheit 1704 Aufgaben von der Arbeitsverteilungseinheit und verwaltet die Befehlsplanung für einen oder mehrere Thread-Blöcke, die den SM 1700D zugewiesen sind. In mindestens einer Ausführungsform plant die Planer-Einheit 1704 Thread-Blöcke für die Ausführung als Warps von parallelen Threads, wobei jedem Thread-Block mindestens ein Warp zugewiesen wird. In mindestens einer Ausführungsform führt jeder Warp Threads aus. In mindestens einer Ausführungsform verwaltet die Planer-Einheit 1704 eine Vielzahl verschiedener Thread-Blöcke, indem sie verschiedenen Thread-Blöcken Warps zuweist und dann Anweisungen von einer Vielzahl verschiedener kooperativer Gruppen an verschiedene Funktionseinheiten (wie beispielsweise Verarbeitungskerne 1710, SFUs 1712 und LSUs 1714) während jedes Taktzyklus versendet.
In mindestens einer Ausführungsform können sich kooperative Gruppen bzw. Cooperative Groups auf ein Programmiermodell zum Organisieren von Gruppen kommunizierender Threads beziehen, das es Entwicklern erlaubt, die Granularität auszudrücken, mit der Threads kommunizieren, und so den Ausdruck reichhaltigerer, effizienterer paralleler Zerlegungen ermöglicht. In mindestens einer Ausführungsform unterstützen kooperative Start-APIs die Synchronisierung zwischen Thread-Blöcken zur Ausführung paralleler Algorithmen. In mindestens einer Ausführungsform stellen Anwendungen Programmiermodelle ein einziges, einfaches Konstrukt zur Synchronisierung kooperierender Threads bereit: eine Barriere über alle Threads eines Thread-Blocks (wie beispielsweise die Funktion syncthreads()). In mindestens einer Ausführungsform können Programmierer jedoch Gruppen von Threads mit einer kleineren Granularität als der des Thread-Blocks definieren und innerhalb der definierten Gruppen synchronisieren, um eine höhere Leistung, Designflexibilität und Software-Wiederverwendung in Form von kollektiven gruppenweiten Funktionsschnittstellen zu ermöglichen. In mindestens einer Ausführungsform ermöglicht Cooperative Groups Programmierern, Gruppen von Threads explizit auf Sub-Block- (in mindestens einer Ausführungsform, so klein wie ein einzelner Thread) und Multi-Block-Granularität zu definieren und kollektive Operationen wie Synchronisation auf Threads in einer kooperativen Gruppe durchzuführen. In mindestens einer Ausführungsform unterstützt das Programmiermodell eine saubere Komposition über Software-Grenzen hinweg, so dass Bibliotheken und Utility-Funktionen innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne Annahmen über Konvergenz treffen zu müssen. In mindestens einer Ausführungsform ermöglichen die Primitive für kooperative Gruppen neue Muster der kooperativen Parallelität, einschließlich, aber nicht beschränkt auf Producer-Consumer-Parallelität, opportunistische Parallelität und globale Synchronisierung über ein gesamtes Gitter von Thread-Blöcken.
In mindestens einer Ausführungsform ist eine Versende-Einheit 1706 so konfiguriert, dass sie Befehle an eine oder mehrere Funktionseinheiten sendet, und umfasst die Planer-Einheit 1704, ohne darauf beschränkt zu sein, zwei Versende-Einheiten 1706, die es ermöglichen, dass zwei verschiedene Befehle aus derselben Warp während jedes Taktzyklus versendet werden. In mindestens einer Ausführungsform umfasst jede Planer-Einheit 1704 eine einzelne Versende-Einheit 1706 oder zusätzliche Versende-Einheiten 1706.
In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, die Registerdatei 1708, die einen Satz von Registern für Funktionseinheiten des SM 1700D bereitstellt. In mindestens einer Ausführungsform ist die Registerdatei 1708 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein bestimmter Teil der Registerdatei 1708 zugewiesen ist. In mindestens einer Ausführungsform ist die Registerdatei 1708 zwischen verschiedenen Warps aufgeteilt, die vom SM 1700D ausgeführt werden, und stellt die Registerdatei 1708 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten verbunden sind. In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, eine Vielzahl von L Verarbeitungskernen 1710. In mindestens einer Ausführungsform umfasst der SM 1700D, ohne darauf beschränkt zu sein, eine große Anzahl (wie beispielsweise 128 oder mehr) von verschiedenen Verarbeitungskernen 1710. In mindestens einer Ausführungsform umfasst jeder Verarbeitungskern 1710, ohne darauf beschränkt zu sein, eine vollpipelinierte, einfachpräzise, doppeltpräzise und/oder gemischtpräzise Verarbeitungseinheit, die, ohne darauf beschränkt zu sein, eine arithmetische Gleitkomma-Logikeinheit und eine arithmetische Ganzzahl-Logikeinheit umfasst. In mindestens einer Ausführungsform implementieren die Gleitkomma-Arithmetik-Logikeinheiten den Standard IEEE 754-2008 für Gleitkomma-Arithmetik. In mindestens einer Ausführungsform umfassen die Verarbeitungskerne 1710, ohne darauf beschränkt zu sein, 64 Gleitkomma-Kerne mit einfacher Genauigkeit (32 Bit), 64 Ganzzahl-Kerne, 32 Gleitkomma-Kerne mit doppelter Genauigkeit (64 Bit) und 8 Tensor-Kerne.
Tensorkerne sind so konfiguriert, dass sie gemäß mindestens einer Ausführungsform Matrixoperationen durchführen. In mindestens einer Ausführungsform sind ein oder mehrere Tensorkerne in den Verarbeitungskernen 1710 enthalten. In mindestens einer Ausführungsform sind die Tensorkerne so konfiguriert, dass sie Deep-Learning-Matrixarithmetik durchführen, wie z.B. Faltungsoperationen für das Training und die Inferenzierung neuronaler Netze. In mindestens einer Ausführungsform arbeitet jeder Tensorkern mit einer 4x4-Matrix und führt eine Matrixmultiplikations- und Akkumulationsoperation D = A X B + C durch, wobei A, B, C und D 4x4-Matrizen sind.
In mindestens einer Ausführungsform sind die Matrixmultiplikationseingänge A und B 16-Bit-Gleitkommamatrizen und die Akkumulationsmatrizen C und D 16-Bit-Gleitkomma- oder 32-Bit-Gleitkommamatrizen. In mindestens einer Ausführungsform arbeiten Tensorkerne auf 16-Bit-Gleitkomma-Eingangsdaten mit 32-Bit-Gleitkomma-Akkumulation. In mindestens einer Ausführungsform verwendet die 16-Bit-Gleitkommamultiplikation 64 Operationen und ergibt ein Produkt mit voller Genauigkeit, das dann mit 32-Bit-Gleitkommaaddition mit anderen Zwischenprodukten für eine 4x4x4-Matrixmultiplikation akkumuliert wird. In mindestens einer Ausführungsform werden Tensor-Kerne verwendet, um viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die aus diesen kleineren Elementen aufgebaut sind. In mindestens einer Ausführungsform stellt eine API, wie z.B. die CU-DA 9 C++ API, spezialisierte Operationen zum Laden, Multiplizieren und Akkumulieren von Matrizen und zum Speichern von Matrizen zur Verfügung, um Tensorkerne von einem CUDA-C++ Programm effizient zu nutzen. In mindestens einer Ausführungsform wird auf CUDA-Ebene bei der Schnittstelle auf Warp-Ebene von Matrizen der Größe 16x16 ausgegangen, die alle 32 Threads des Warp überspannen.
In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, M SFUs 1712, die spezielle Funktionen ausführen (wie beispielsweise Attributauswertung, reziproke Quadratwurzel usw.). In mindestens einer Ausführungsform umfassen die SFUs 1712, ohne darauf beschränkt zu sein, eine Baumdurchlaufeinheit bzw. Tree Traversal Unit, die zum Traversieren einer hierarchischen Baumdatenstruktur konfiguriert ist. In mindestens einer Ausführungsform umfassen die SFUs 1712, ohne darauf beschränkt zu sein, eine Textureinheit, die so konfiguriert ist, dass sie Texturabbildungsfilterungsoperationen durchführt. In mindestens einer Ausführungsform sind die Textureinheiten so konfiguriert, dass sie Texturkarten bzw. Texture-Maps (wie beispielsweise ein 2D-Array von Texeln) aus dem Speicher laden und Texture-Maps abtasten, um abgetastete Texturwerte zur Verwendung in Shader-Programmen zu erzeugen, die von dem SM 1700D ausgeführt werden. In mindestens einer Ausführungsform werden die Texture-Maps im gemeinsamen Speicher/L1-Cache 1718 gespeichert. In mindestens einer Ausführungsform implementieren Textureinheiten Texturoperationen wie Filteroperationen unter Verwendung von Mip-Maps (wie beispielsweise Textur-Maps mit unterschiedlichen Detailstufen). In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, zwei Textureinheiten.
Jeder SM 1700 umfasst, ohne darauf beschränkt zu sein, N LSUs 1714, die in mindestens einer Ausführungsform Lade- und Speicheroperationen zwischen gemeinsamem Speicher/L1-Cache 1718 und Registerdatei 1708 implementieren. Jeder SM 1700D umfasst, ohne darauf beschränkt zu sein, ein Verbindungsnetzwerk 1716, das in mindestens einer Ausführungsform jede der Funktionseinheiten mit der Registerdatei 1708 und die LSU 1714 mit der Registerdatei 1708 und dem gemeinsamen Speicher/L1-Cache 1718 verbindet. In mindestens einer Ausführungsform ist das Verbindungsnetzwerk 1716 eine Kreuzschiene, die so konfiguriert sein kann, dass sie jede der Funktionseinheiten mit jedem der Register in der Registerdatei 1708 verbindet und LSUs 1714 mit der Registerdatei 1708 und Speicherplätzen im gemeinsamen Speicher/L1-Cache 1718 verbindet.
In mindestens einer Ausführungsform ist der gemeinsam genutzte Speicher/L1-Cache 1718 ein Array von On-Chip-Speicher, der die Datenspeicherung und die Kommunikation zwischen dem SM 1700D und der Primitiv-Engine und zwischen Threads in dem SM 1700D ermöglicht. In mindestens einer Ausführungsform umfasst der gemeinsam genutzte Speicher/L1-Cache 1718, ohne darauf beschränkt zu sein, 128 KB Speicherkapazität und befindet sich im Pfad vom SM 1700D zur Partitionseinheit. In mindestens einer Ausführungsform wird der gemeinsame Speicher/L1-Cache 1718 zum Zwischenspeichern bzw. Cachen von Lese- und Schreibvorgängen verwendet. In mindestens einer Ausführungsform sind einer oder mehrere von gemeinsamem Speicher/L1-Cache 1718, L2-Cache und Arbeitsspeicher Sicherungsspeicher.
Die Kombination von Daten-Cache und Shared-Memory-Funktionalität in einem einzigen Speicherblock bietet in mindestens einer Ausführungsform eine verbesserte Leistung für beide Arten von Speicherzugriffen. In mindestens einer Ausführungsform wird die Kapazität von Programmen, die den gemeinsam genutzten Speicher nicht verwenden, als Cache genutzt oder ist für diese nutzbar, z.B. wenn der gemeinsam genutzte Speicher so konfiguriert ist, dass er die Hälfte der Kapazität nutzt, können Textur- und Lade-/Speicheroperationen die verbleibende Kapazität nutzen. Durch die Integration in den gemeinsam genutzten Speicher/L1-Cache 1718 kann der gemeinsam genutzte Speicher/L1-Cache 1718 gemäß mindestens einer Ausführungsform als durchsatzstarke Leitung für Streaming-Daten fungieren und gleichzeitig einen Zugriff mit hoher Bandbreite und niedriger Latenz auf häufig wiederverwendete Daten ermöglichen. In mindestens einer Ausführungsform kann bei der Konfiguration für parallele Universalberechnungen eine einfachere Konfiguration im Vergleich zur Grafikverarbeitung verwendet werden. In mindestens einer Ausführungsform werden Grafikverarbeitungseinheiten mit festen Funktionen umgangen, wodurch ein wesentlich einfacheres Programmiermodell entsteht. In der Konfiguration für universelle parallele Berechnungen weist die Arbeitsverteilungseinheit in mindestens einer Ausführungsform Blöcke von Threads direkt den DPCs zu und verteilt sie. In mindestens einer Ausführungsform führen Threads in einem Block dasselbe Programm aus, wobei eine eindeutige Thread-ID in der Berechnung verwendet wird, um sicherzustellen, dass jeder Thread eindeutige Ergebnisse erzeugt, wobei der SM 1700D zur Ausführung des Programms und zur Durchführung von Berechnungen, gemeinsamer Speicher/L1-Cache 1718 zur Kommunikation zwischen Threads und LSU 1714 zum Lesen und Schreiben des globalen Speichers durch gemeinsamen Speicher/L1-Cache 1718 und Speicherpartitionseinheit verwendet wird. In mindestens einer Ausführungsform schreibt der SM 1700D, wenn er für allgemeine parallele Berechnungen konfiguriert ist, Befehle, die die Planer-Einheit 1704 verwenden kann, um neue Arbeit auf den DPCs zu starten.
In mindestens einer Ausführungsform ist die PPU in einem Desktop-Computer, einem Laptop-Computer, einem Tablet-Computer, Servern, Supercomputern, einem Smartphone (wie beispielsweise einem drahtlosen Handheld-Gerät), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einem Head Mounted Display, einem elektronischen Handheld-Gerät usw. enthalten oder damit verbunden. In mindestens einer Ausführungsform ist die PPU auf einem einzigen Halbleitersubstrat verkörpert. In mindestens einer Ausführungsform ist die PPU in einem System-on-a-Chip („SoC“) zusammen mit einer oder mehreren anderen Vorrichtungen wie zusätzlichen PPUs, Speicher, einer CPU mit reduziertem Befehlssatz („RISC“), einer Speicherverwaltungseinheit („MMU“), einem Digital-Analog-Wandler („DAC“) und dergleichen enthalten.
In mindestens einer Ausführungsform kann die PPU auf einer Grafikkarte enthalten sein, die eine oder mehrere Speichervorrichtungen enthält. Eine Grafikkarte kann so konfiguriert sein, dass sie mit einem PCIe-Steckplatz auf einer Hauptplatine eines Desktop-Computers verbunden sein kann. In mindestens einer Ausführungsform kann die PPU eine integrierte Grafikverarbeitungseinheit („iGPU“) sein, die im Chipsatz der Hauptplatine enthalten ist.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um die dem SM 1700D bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der SM 1700D verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder vom SM 1700D trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der SM 1700D verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
In mindestens einer Ausführungsform kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche halbleiterbasierte integrierte Schaltung oder einen Chip beziehen. In mindestens einer Ausführungsform können Multi-Chip-Module mit erhöhter Konnektivität verwendet werden, die einen On-Chip-Betrieb simulieren und wesentliche Verbesserungen gegenüber der Verwendung einer Zentralverarbeitungseinheit („CPU“) und Bus-Implementierung bieten. In mindestens einer Ausführungsform können verschiedene Module auch separat oder in verschiedenen Kombinationen von Halbleiterplattformen je nach Wunsch des Benutzers angeordnet sein.
In mindestens einer Ausführungsform sind Computerprogramme in Form von maschinenlesbarem, ausführbarem Code oder Computersteuerungslogik-Algorithmen im Hauptspeicher 4ee04 und/oder im Sekundärspeicher gespeichert. Computerprogramme ermöglichen dann, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, dem System 4ee00, verschiedene Funktionen gemäß mindestens einer Ausführungsform auszuführen. In mindestens einer Ausführungsform sind Speicher 4ee04, Speicher und/oder jeder andere Speicher mögliche Beispiele für computerlesbare Medien. In mindestens einer Ausführungsform kann sich der Sekundärspeicher auf eine beliebige geeignete Speichervorrichtung oder ein beliebiges geeignetes Speichersystem beziehen, wie z.B. ein Festplattenlaufwerk und/oder ein Wechselspeicherlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein Digital Versatile Disk („DVD“)-Laufwerk, ein Aufzeichnungsgerät, einen Universal Serial Bus („USB“)-Flash-Speicher usw. darstellt. In mindestens einer Ausführungsform wird die Architektur und/oder Funktionalität verschiedener vorangehender Figuren im Zusammenhang mit der CPU 4ee02, dem Parallelverarbeitungssystem 4ee12, einem integrierten Schaltkreis, der mindestens einen Teil der Fähigkeiten sowohl der CPU 4ee02 als auch des Parallelverarbeitungssystems 4ee12 besitzt, einem Chipsatz (wie beispielsweise eine Gruppe integrierter Schaltkreise, die so konzipiert sind, dass sie als Einheit arbeiten und verkauft werden, um verwandte Funktionen auszuführen usw.) und einer beliebigen geeigneten Kombination integrierter Schaltkreise realisiert.
In mindestens einer Ausführungsform sind die Architektur und/oder die Funktionalität verschiedener vorheriger Figuren im Zusammenhang mit einem allgemeinen Computersystem, einem Leiterplattensystem, einem Spielkonsolensystem, das für Unterhaltungszwecke bestimmt ist, einem anwendungsspezifischen System und mehr implementiert. In mindestens einer Ausführungsform kann das Computersystem 4ee00 die Form eines Desktop-Computers, eines Laptop-Computers, eines Tablet-Computers, eines Servers, eines Supercomputers, eines Smartphones (wie beispielsweise eines drahtlosen, handgehaltenen Geräts), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, eines Head-Mounted-Displays, eines handgehaltenen elektronischen Geräts, eines Mobiltelefongeräts, eines Fernsehers, einer Workstation, von Spielkonsolen, eines eingebetteten Systems und/oder einer anderen Art von Logik annehmen.
In mindestens einer Ausführungsform umfasst das Parallelverarbeitungssystem 4ee12, ohne darauf beschränkt zu sein, eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 4ee14 und zugehörige Speicher 4ee16. In mindestens einer Ausführungsform sind die PPUs 4ee14 über eine Zwischenverbindung 4ee18 und einen Schalter 4ee20 oder Multiplexer mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einer Ausführungsform verteilt das Parallelverarbeitungssystem 4ee12 Rechenaufgaben auf die PPUs 4ee14, die parallelisierbar sein können - zum Beispiel als Teil der Verteilung von Rechenaufgaben auf mehrere Thread-Blöcke der Grafikverarbeitungseinheit („GPU“). In mindestens einer Ausführungsform wird der Speicher gemeinsam genutzt und ist über einige oder alle PPUs 4ee14 zugänglich (wie beispielsweise für Lese- und/oder Schreibzugriffe), obwohl ein solcher gemeinsam genutzter Speicher Leistungseinbußen im Vergleich zur Verwendung von lokalem Speicher und Registern, die in einer PPU 4ee14 resident sind, mit sich bringen kann. In mindestens einer Ausführungsform wird der Betrieb der PPUs 4ee14 durch die Verwendung eines Befehls wie _syncthreads() synchronisiert, wobei alle Threads in einem Block (wie beispielsweise über mehrere PPUs 4ee14 ausgeführt) einen bestimmten Punkt der Ausführung von Code erreichen müssen, bevor sie fortfahren.
Andere Variationen sind im Sinne der Erfindung. Während offenbart Techniken verschiedenen Modifikationen und alternativen Konstruktionen zugänglich sind, sind bestimmte veranschaulichte Ausführungsformen derselben in den Zeichnungen gezeigt und wurden vorstehend im Einzelnen beschrieben. Es versteht sich jedoch, dass die Offenbarung nicht auf eine bestimmte Form oder bestimmte Formen zu beschränken ist, sondern dass im Gegenteil beabsichtigt ist, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Gedanken und den Rahmen der Erfindung fallen, wie er in den beigefügten Ansprüchen definiert ist.
Die Verwendung der Begriffe „ein“ und „eine“ und „der“ und ähnlicher Bezeichnungen im Zusammenhang mit der Beschreibung erfindungsgemäßer Ausführungsformen (insbesondere im Zusammenhang mit den nachfolgenden Ansprüchen) ist so auszulegen, dass sie sowohl die Einzahl als auch die Mehrzahl umfasst, sofern hierin nichts anderes angegeben oder durch Kontext eindeutig widerlegt wird, und nicht als Definition eines Begriffs. Die Begriffe „beinhaltend", „mit“, „einschließlich“ und „enthaltend“ sind, sofern nicht anders angegeben wird, als offene Begriffe zu verstehen (d.h. „einschließlich, aber nicht beschränkt auf“). Der Begriff „verbunden“ ist, wenn er unverändert bleibt und sich auf physische Verbindungen bezieht, als teilweise oder ganz in einem Bauteil enthalten, an ihm angebracht oder mit ihm verbunden zu verstehen, auch wenn etwas dazwischen liegt. Die Aufzählung von Wertebereichen dient lediglich als Kurzbezeichnung für jeden einzelnen Wert, der in den Bereich fällt, sofern hierin nichts anderes angegeben wird, und jeder einzelne Wert wird in die Spezifikation aufgenommen, als ob er darin einzeln aufgeführt wäre. Die Verwendung einer Menge (wie beispielsweise eine Menge von Elementen) oder Teilmenge ist, sofern nichts anderes angegeben oder durch Kontext widerlegt wird, als eine nicht leere Sammlung zu verstehen, die ein oder mehrere Elemente beinhaltet. Sofern nicht anders vermerkt oder durch den Kontext widerlegt, bezeichnet der Begriff „eine Teilmenge“ einer entsprechenden Menge nicht unbedingt eine echte Teilmenge der entsprechenden Menge, sondern Teilmenge und entsprechende Menge können gleich sein.
Konjunktivische Sprache, wie z.B. Phrasen der Form „mindestens eines von A, B und C“ oder „mindestens eines von A, B und C“, wird, sofern nicht ausdrücklich anders angegeben oder anderweitig eindeutig durch Kontext widersprochen, im Allgemeinen so verstanden, dass damit ausgedrückt wird, dass ein Element, ein Begriff usw. entweder A oder B oder C oder eine beliebige nicht leere Teilmenge der Menge von A und B und C sein kann. So beziehen sich z.B. im dargestellten Beispiel einer Menge mit drei Elementen die konjunktivischen Ausdrücke „mindestens eines von A, B und C“ und „mindestens eines von A, B und C“ auf eine der folgenden Mengen: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Eine solche konjunktivische Sprache braucht nicht generell zu implizieren, dass bei bestimmten Ausführungsformen jeweils mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden sein muss. Zusätzlich, sofern nicht anders vermerkt oder durch Kontext widersprochen, zeigt der Begriff „Mehrzahl“ einen Zustand an, in dem er plural ist (wie beispielsweise „eine Mehrzahl von Elementen“ zeigt mehrere Elemente an). Eine Mehrzahl sind mindestens zwei, kann aber auch mehr sein, wenn dies entweder explizit oder durch Kontext angegeben wird. Sofern nicht anders angegeben oder aus Kontext ersichtlich, bedeutet „basierend auf“ „zumindest teilweise basierend auf‟ und nicht „ausschließlich basierend auf“.
Operationen der hierin beschriebenen Prozesse können in jeder geeigneten Reihenfolge ausgeführt werden, sofern hierin nicht anders angegeben oder durch eindeutig widerlegt. In mindestens einer Ausführungsform wird ein Prozess wie die hierin beschriebenen Prozesse (oder Variationen und/oder Kombinationen davon) unter der Steuerung eines oder mehrerer Computersysteme durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind und als Code (wie beispielsweise ausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen) implementiert sind, die gemeinsam auf einem oder mehreren Prozessoren, durch Hardware oder Kombinationen davon ausgeführt werden. In mindestens einer Ausführungsform ist der Code auf einem computerlesbaren Speichermedium gespeichert, z.B. in Form eines Computerprogramms, das eine Vielzahl von Anweisungen umfasst, die von einem oder mehreren Prozessoren ausgeführt werden können. In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nicht-transitorisches computerlesbares Speichermedium, das transitorische Signale (wie beispielsweise eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung) ausschließt, aber nicht-transitorische Datenspeicherschaltungen (wie beispielsweise Puffer, Cache und Warteschlangen) innerhalb von Transceivern für transitorische Signale enthält. In mindestens einer Ausführungsform ist Code (wie beispielsweise ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nicht-transitorischen, computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen (oder ein anderer Speicher zum Speichern von ausführbaren Anweisungen) gespeichert sind, die, wenn sie von einem oder mehreren Prozessoren eines Computersystems ausgeführt werden (in mindestens einer Ausführungsform, als Ergebnis der Ausführung), das Computersystem veranlassen, hierin beschriebene Operationen durchzuführen. Ein Satz nicht-transitorischer computerlesbarer Speichermedien umfasst In mindestens einer Ausführungsform mehrere nicht-transitorische computerlesbare Speichermedien, und einem oder mehreren der einzelnen nicht-transitorischen Speichermedien mehrerer nicht-transitorischer computerlesbarer Speichermedien fehlt der gesamte Code, während mehrere nicht-transitorische computerlesbare Speichermedien gemeinsam den gesamten Code speichern. In mindestens einer Ausführungsform werden ausführbare Befehle so ausgeführt, dass verschiedene Befehle von verschiedenen Prozessoren ausgeführt werden - zum Beispiel speichert ein nicht-transitorisches computerlesbares Speichermedium Befehle und führt eine zentrale Verarbeitungseinheit („CPU“) einige der Befehle aus, während eine Grafikverarbeitungseinheit („GPU“) andere Befehle ausführt. In mindestens einer Ausführungsform weisen verschiedene Komponenten eines Computersystems separate Prozessoren auf und führen verschiedene Prozessoren verschiedene Teilmengen von Befehlen aus.
Demgemäß sind in mindestens einer Ausführungsform Computersysteme so konfiguriert, dass sie einen oder mehrere Dienste implementieren, die einzeln oder gemeinsam Operationen der hierin beschriebenen Prozesse durchführen, und sind solche Computersysteme mit anwendbarer Hardware und/oder Software konfiguriert, die die Durchführung von Operationen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der Erfindung implementiert, ein einzelnes Gerät und in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Geräte umfasst, die unterschiedlich arbeiten, so dass das verteilte Computersystem die hierin beschriebenen Operationen durchführt und ein einzelnes Gerät nicht alle Operationen durchführt.
Die Verwendung von Beispielen oder beispielhaften Formulierungen (wie beispielsweise „wie beispielsweise“) dient lediglich der besseren Veranschaulichung von Ausführungsformen der Erfindung und stellt keine Einschränkung des Umfangs der Erfindung dar, sofern nicht anders angegeben. Keine Formulierung in der Beschreibung ist so auszulegen, dass ein nicht beanspruchtes Element als wesentlich für die Praxis der Erfindung angesehen wird.
Alle Referenzen, einschließlich Veröffentlichungen, Patentanmeldungen und Patente, die hierin zitiert werden, werden hiermit durch Verweis in demselben Umfang einbezogen, als ob jede Referenz einzeln und ausdrücklich als durch Verweis einbezogen angegeben wäre und hierin in ihrer Gesamtheit wiedergegeben würde.
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ sowie deren Ableitungen verwendet werden. Es versteht sich, dass diese Begriffe nicht als Synonyme füreinander gedacht sind. Vielmehr kann in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzuzeigen, dass zwei oder mehr Elemente in direktem oder indirektem physischem oder elektrischem Kontakt zueinander stehen. „Gekoppelt“ kann auch bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt zueinander stehen, aber dennoch miteinander kooperieren oder interagieren.
Sofern nicht ausdrücklich anders angegeben, beziehen sich Bezugnahmen auf Verarbeitung, Rechnen, Berechnen, Bestimmen oder dergleichen in der gesamten Spezifikation auf Aktionen und/oder Prozesse eines Computers oder Rechensystems oder eines ähnlichen elektronischen Rechengeräts, die Daten, die als physische, z.B. elektronische, Größen in den Registern und/oder Speichern des Rechensystems repräsentiert sind, manipulieren und/oder in andere Daten umwandeln, die in ähnlicher Weise als physische Größen in den Speichern, Registern oder anderen derartigen Informationsspeicher-, -übertragungs- oder -Anzeigevorrichtungen des Rechensystems repräsentiert werden.
In vergleichbarer Weise kann sich ein Prozessor auf eine beliebige Vorrichtung oder einen Teil einer Vorrichtung beziehen, die elektronische Daten aus Registern und/oder Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten umwandelt, die in Registern und/oder Speicher gespeichert werden können. Als nicht beschränkende Beispiele kann „Prozessor“ eine CPU oder eine GPU sein. Eine „Datenverarbeitungsplattform“ kann einen oder mehrere Prozessoren umfassen. Wie hierin verwendet, können „Software“-Prozesse z.B. Software- und/oder Hardware-Entitäten umfassen, die im Laufe der Zeit Arbeit verrichten, wie z.B. Aufgaben, Threads und intelligente Agenten. Außerdem kann sich jeder Prozess auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. Die Begriffe „System“ und „Verfahren“ werden hier austauschbar verwendet, insofern als ein System eine oder mehrere Verfahren verkörpern kann und Verfahren als ein System betrachtet werden können.
In dem vorliegenden Dokument kann auf das Beschaffen, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Subsystem, Computersystem oder eine computerimplementierte Maschine Bezug genommen werden. Das Beschaffen, Erfassen, Empfangen oder Eingeben von analogen und digitalen Daten kann auf verschiedene Weise erfolgen, z.B. durch Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs einer Anwendungsprogrammierschnittstelle. In einigen Implementierungen kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch die Übertragung von Daten über eine serielle oder parallele Schnittstelle durchgeführt werden. In einer anderen Implementierung kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch die Übertragung von Daten über ein Computernetzwerk von der bereitstellenden Einheit zur erfassenden Einheit durchgeführt werden. Es kann auch auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Präsentieren analoger oder digitaler Daten Bezug genommen werden. In verschiedenen Beispielen kann der Prozess des Bereitstellens, Ausgebens, Übertragens, Sendens oder Darstellens analoger oder digitaler Daten durch die Übertragung von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Interprozess-Kommunikationsmechanismus erfolgen.
Obwohl die vorstehende Diskussion beispielhafte Implementierungen der beschriebenen Techniken darlegt, können auch andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sollen diese in den Anwendungsbereich dieser Offenbarung fallen. Obwohl vorstehend zu Diskussionszwecken spezifische Verteilungen von Verantwortlichkeiten definiert sind, können verschiedene Funktionen und Verantwortlichkeiten je nach den Umständen auf unterschiedliche Weise verteilt und aufgeteilt werden.
Auch wenn der Gegenstand in einer Sprache beschrieben wurde, die sich auf strukturelle Merkmale und/oder methodische Handlungen bezieht, versteht sich, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht notwendigerweise auf bestimmte beschriebene Merkmale oder Handlungen beschränkt ist. Vielmehr werden bestimmte Merkmale und Handlungen als beispielhafte Ausführungsformen der Ansprüche offenbart.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16879513 [0001]

Claims

Kühlsystem für ein Rechenzentrum, umfassend: einen oder mehrere Flussregler innerhalb eines Rackverteilers, eines Serververteilers oder eines Serverfachs zum Erleichtern der Bewegung eines Kühlmittels, das einem sekundären Kühlkreis zugeordnet ist, um eine Komponente innerhalb eines Servers im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht, zu kühlen.
Kühlsystem für ein Rechenzentrum nach Anspruch 1, ferner umfassend: ein lernendes Subsystem, das mindestens einen Prozessor umfasst zum Bewerten interner Temperaturen einer oder mehrerer Komponenten innerhalb des Servers mit Flussraten, die dem einen oder den mehreren Flussreglern zugeordnet sind, und zum Bereitstellen einer Ausgabe, die einer Flussrate zugeordnet ist, zum Erleichtern der Bewegung des Kühlmittels durch Steuern des einen oder der mehreren Flussregler.
Kühlsystem für ein Rechenzentrum nach Anspruch 2, ferner umfassend: eine mit der Komponente verbundene Kälteplatte; den einen oder die mehreren Flussregler, die die Bewegung des Kühlmittels durch die Kälteplatte erleichtern; und das lernende Subsystem, das ein Modell maschinellen Lernens ausführt, zum: Verarbeiten der Innentemperatur unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Innentemperaturen und zuvor zugeordneten Flussraten für das Kühlmittel; und Bereitstellen der Ausgabe, die der Flussrate zugeordnet ist, ausgehend von einer Bewertung der zuvor zugeordneten Flussraten, für den einen oder die mehreren Flussregler.
Kühlsystem für ein Rechenzentrum nach Anspruch 3, ferner umfassend: den einen oder die mehreren Flussregler, der oder die eine zweite Flussrate des Kühlmittels, das dem sekundären Kühlkreis zugeordnet ist, modifiziert/modifizieren, um die Flussrate im Ansprechen auf die Ausgabe bereitzustellen.
Kühlsystem für ein Rechenzentrum nach Anspruch 1, ferner umfassend: eine serielle Kopplung von zwei des einen oder der mehreren Flussregler durch zwei Kälteplatten so, dass ein erster Flussregler einen ersten Fluss des Kühlmittels in eine erste Kälteplatte steuert, und so, dass ein zweiter Flussregler einen zweiten Fluss des Kühlmittels steuert, wenn es aus der ersten Kälteplatte austritt und in die zweite Kälteplatte eintritt.
Kühlsystem für ein Rechenzentrum nach Anspruch 1, ferner umfassend: eine parallele Kopplung von zwei des einen oder der mehreren Flussregler mit zwei Kälteplatten so, dass ein erster Flussregler einen ersten Fluss des Kühlmittels aus einem Serververteiler in eine erste Kälteplatte steuert, und so, dass ein zweiter Flussregler einen zweiten Fluss des Kühlmittels aus dem Serververteiler in die zweite Kälteplatte steuert.
Kühlsystem für ein Rechenzentrum nach Anspruch 1, ferner umfassend: den sekundären Kühlkreis zum Erleichtern einer zweiten Bewegung des Kühlmittels oder eines zweiten Kühlmittels, wobei die zweite Bewegung durch eine erste Flussrate gekennzeichnet ist, um die Komponente gemäß einem Temperatursensor außerhalb der Komponente zu kühlen; und mindestens einen Prozessor zum Steuern einer Inline-Pumpe oder einer Bypass-Pumpe im Ansprechen darauf, dass die Komponente die Innentemperatur überwacht, so dass die Inline-Pumpe oder die Bypass-Pumpe die Bewegung des Kühlmittels oder des zweiten Kühlmittels erleichtert, wobei die Bewegung durch eine zweite Flussrate zum Kühlen der Komponente gekennzeichnet ist.
Mindestens ein Prozessor für ein Kühlsystem, umfassend: mindestens eine Logikeinheit zum Steuern eines oder mehrerer Flussregler in einem Rackverteiler, einem Serververteiler oder einem Serverfach, zum Erleichtern der Bewegung eines Kühlmittels, das einem sekundären Kühlkreis zugeordnet ist, um eine Komponente in einem Server im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht, zu kühlen.
Mindestens ein Prozessor nach Anspruch 8, ferner umfassend: ein lernendes Subsystem zum Bewerten von Innentemperaturen einer oder mehrerer Komponenten innerhalb des Servers mit Flussraten, die dem einen oder den mehreren Flussreglern zugeordnet sind, und zum Bereitstellen einer Ausgabe, die einer Flussrate zugeordnet ist, zum Erleichtern der Bewegung des Kühlmittels durch Steuern des einen oder der mehreren Flussregler.
Mindestens ein Prozessor nach Anspruch 8, ferner umfassend: ein lernendes Subsystem zum Ausführen eines Modells maschinellen Lernens zum: Verarbeiten der Innentemperatur unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Innentemperaturen und zuvor zugeordneten Flussraten für das Kühlmittel; und Bereitstellen der Ausgabe, die der Flussrate zugeordnet ist, ausgehend von einer Bewertung der zuvor zugeordneten Flussraten, für den einen oder die mehreren Flussregler.
Mindestens ein Prozessor nach Anspruch 10, ferner umfassend: einen Anweisungsausgang zum Kommunizieren der Ausgabe mit dem einen oder den mehreren Flussreglern, um eine zweite Flussrate des Kühlmittels, das dem sekundären Kühlkreis zugeordnet ist, zu modifizieren, wodurch die Flussrate im Ansprechen auf die Ausgabe bewirkt wird.
Mindestens ein Prozessor nach Anspruch 8, ferner umfassend: einzelne eine von einer Vielzahl von Prozessoren, die einzelnen einen des einen oder der mehreren Flussregler in einer seriellen Kopplung so zugeordnet sind, dass ein erster Prozessor einen ersten Flussregler für einen ersten Fluss des Kühlmittels in eine erste Kälteplatte steuert, und so, dass ein zweiter Prozessor einen zweiten Flussregler für einen zweiten Fluss des Kühlmittels steuert, wenn es aus der ersten Kälteplatte austritt und in die zweite Kälteplatte eintritt.
Mindestens ein Prozessor nach Anspruch 8, ferner umfassend: zwei Prozessoren, die zwei des einen oder der mehreren Flussregler in einer parallelen Kopplung so zugeordnet sind, dass ein erster Prozessor einen ersten Flussregler für einen ersten Fluss des Kühlmittels aus einem Serververteiler in eine erste Kälteplatte steuert, und so, dass ein zweiter Prozessor einen zweiten Flussregler für einen zweiten Fluss des Kühlmittels aus dem Serververteiler in die zweite Kälteplatte steuert.
Mindestens ein Prozessor nach Anspruch 8, ferner umfassend: die mindestens eine Logikeinheit, die Teil der Komponente bildet und einem Temperatursensor innerhalb der Komponente zugeordnet ist.
Mindestens ein Prozessor nach Anspruch 8, ferner umfassend: die mindestens eine Logikeinheit, die Teil der Komponente bildet und dazu angepasst ist, einen Temperaturwert von einem Temperatursensor einer verbundenen Komponente innerhalb des Servers zu empfangen, und dazu angepasst ist, eine zweite Bewegung des Kühlmittels zu erleichtern, das dem sekundären Kühlkreis zugeordnet ist, um die Komponente und die verbundene Komponente zu kühlen.
Mindestens ein Prozessor für ein Kühlsystem, umfassend: mindestens eine Logikeinheit zum Trainieren eines oder mehrerer neuronaler Netzwerke mit versteckten Schichten von Neuronen zum Bewerten von Innentemperaturen des mindestens einen Prozessors und zuvor zugeordneter Flussraten für ein zum Kühlen der Komponente verwendetes Kühlmittel.
Mindestens ein Prozessor nach Anspruch 16, ferner umfassend: die mindestens eine Logikeinheit zum Bewerten einer Innentemperatur des mindestens einen Prozessors mit dem einen oder den mehreren neuronalen Netzwerken und Ausgeben einer Anweisung zum Erleichtern der Kühlung des mindestens einen Prozessors.
Mindestens ein Prozessor nach Anspruch 17, ferner umfassend: einen Anweisungsausgang zum Kommunizieren der Ausgabe mit einem oder mehreren Flussreglern, um eine Flussrate des Kühlmittels zu modifizieren, das einem sekundären Kühlkreis zugeordnet ist, um eine zweite Flussrate zu bewirken, die auf die Ausgabe anspricht und die Kühlung des mindestens einen Prozessors erleichtert.
Mindestens ein Prozessor nach Anspruch 16, ferner umfassend: die mindestens eine Logikeinheit, die dazu angepasst ist, einen Temperaturwert von einem Temperatursensor einer verbundenen Komponente innerhalb eines Servers zu empfangen, und dazu angepasst ist, die Kühlung mindestens eines Prozessors und der verbundenen Komponente im Ansprechen auf den empfangenen Temperaturwert zu erleichtern.
Kühlsystem für ein Rechenzentrum, umfassend: mindestens einen Prozessor zum Trainieren eines oder mehrerer neuronaler Netzwerke mit versteckten Schichten von Neuronen zum Bewerten von Innentemperaturen eines oder mehrerer Prozessoren und zuvor zugeordneter Flussraten für ein Kühlmittel, das zum Kühlen des einen oder der mehreren Prozessoren verwendet wird.
Kühlsystem für ein Rechenzentrum nach Anspruch 20, ferner umfassend: den mindestens einen Prozessor zum Bewerten einer Innentemperatur des mindestens einen Prozessors mit dem einen oder den mehreren neuronalen Netzwerken und zum Ausgeben einer Anweisung zum Erleichtern der Kühlung des mindestens einen Prozessors.
Kühlsystem für ein Rechenzentrum nach Anspruch 21, ferner umfassend: einen Anweisungsausgang des mindestens einen Prozessors zum Kommunizieren der Ausgabe mit einem oder mehreren Flussreglern, um eine Flussrate von Kühlmittel zu modifizieren, die einem sekundären Kühlkreis zugeordnet ist, um eine zweite Flussrate zu bewirken, die auf die Ausgabe anspricht und die Kühlung des mindestens einen Prozessors erleichtert.
Kühlsystem für ein Rechenzentrum nach Anspruch 20, ferner umfassend: den mindestens einen Prozessor, der dazu angepasst ist, einen Temperaturwert von einem Temperatursensor einer verbundenen Komponente innerhalb eines Servers zu empfangen, und dazu angepasst ist, die Kühlung von mindestens einem Prozessor und der verbundenen Komponente zu erleichtern.
Verfahren zum Kühlen eines Rechenzentrums, umfassend: Bereitstellen eines oder mehrerer Flussregler in einem Rackverteiler, einem Serververteiler oder einem Serverfach, um die Bewegung eines Kühlmittels, das einem sekundären Kühlkreis zugeordnet ist, zu erleichtern; und Ermöglichen, dass der eine oder die mehreren Flussregler Eingaben von einer Komponente innerhalb eines Servers empfangen, die dem sekundären Kühlkreis zugeordnet ist, um die Komponente im Ansprechen darauf, dass die Komponente ihre Innentemperatur überwacht, zu kühlen.
Verfahren nach Anspruch 24, ferner umfassend: Bewerten der Innentemperaturen einer oder mehrerer Komponenten innerhalb des Servers mit Flussraten, die dem einen oder den mehreren Flussreglern zugeordnet sind, unter Verwendung eines lernenden Subsystems, das mindestens einen Prozessor umfasst; Bereitstellen einer Ausgabe, die einer Flussrate zugeordnet ist; und Steuern des einen oder der mehreren Flussregler, um die Bewegung des Kühlmittels zu erleichtern.
Verfahren nach Anspruch 25, ferner umfassend: Zuordnen einer Kälteplatte zu der einen oder den mehreren Komponenten; Erleichtern der Bewegung des Kühlmittels durch die Kälteplatte unter Verwendung des einen oder der mehreren Flussregler; und Ausführen eines Modells maschinellen Lernens des lernenden Subsystems zum: Verarbeiten der Innentemperatur unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Innentemperaturen und mit zuvor zugeordneten Flussraten für das Kühlmittel; und Bereitstellen der Ausgabe, die der Flussrate zugeordnet ist, ausgehend von einer Bewertung der zuvor zugeordneten Flussraten, für den einen oder die mehreren Flussregler.
Verfahren nach Anspruch 26, ferner umfassend: Modifizieren einer zweiten Flussrate des Kühlmittels unter Verwendung des einen oder der mehreren Flussregler, die dem sekundären Kühlkreis zugeordnet sind, um die Flussrate im Ansprechen auf die Ausgabe bereitzustellen.
Verfahren nach Anspruch 24, ferner umfassend: Serielles Koppeln von zwei des einen oder der mehreren Flussregler durch zwei Kälteplatten so, dass ein erster Flussregler einen ersten Fluss des Kühlmittels in eine erste Kälteplatte steuert, und so, dass ein zweiter Flussregler einen zweiten Fluss des Kühlmittels steuert, wenn es aus der ersten Kälteplatte austritt und in die zweite Kälteplatte eintritt.
Verfahren nach Anspruch 24, ferner umfassend: Paralleles Koppeln von zwei des einen oder der mehreren Flussregler an zwei Kälteplatten so, dass ein erster Flussregler einen ersten Fluss des Kühlmittels aus einem Serververteiler in eine erste Kälteplatte steuert, und so, dass ein zweiter Flussregler einen zweiten Fluss des Kühlmittels aus dem Serververteiler in die zweite Kälteplatte steuert.
Verfahren nach Anspruch 24, ferner umfassend: Erleichtern einer zweiten Bewegung des Kühlmittels oder eines zweiten Kühlmittels, wobei die zweite Bewegung durch eine erste Flussrate zum Kühlen der Komponente gemäß einem Temperatursensor außerhalb der Komponente gekennzeichnet ist; Steuern einer Inline-Pumpe oder einer Bypass-Pumpe im Ansprechen darauf, dass die Komponente die Innentemperatur überwacht, so dass die Inline-Pumpe oder die Bypass-Pumpe die Bewegung des Kühlmittels oder des zweiten Kühlmittels erleichtert, wobei die Bewegung durch eine zweite Flussrate zum Kühlen der Komponente gekennzeichnet ist.