DE112021002221T5

DE112021002221T5 - Intelligentes testen von kühlsystemen in rechenzentren auf serverebene

Info

Publication number: DE112021002221T5
Application number: DE112021002221.0T
Authority: DE
Inventors: Ali Heydari
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2020-08-04
Filing date: 2021-07-30
Publication date: 2023-02-09
Also published as: GB2602218A; US20220043413A1; GB202203104D0; WO2022031548A1; CN115136742A

Abstract

Ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums wird offenbart. Das System umfasst ein Servergehäuse mit mindestens einem thermischen Merkmal, das mindestens einem Kühlungsmerkmal und mindestens einem Durchflussregler zugeordnet ist, wobei das mindestens eine thermische Merkmal und der mindestens eine Durchflussregler einstellbar sind, um eine Kühlungsbelastung für das Flüssigkeitskühlsystem des Rechenzentrums zu bewirken.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Dies ist eine PCT-Anmeldung der U.S.-Patentanmeldung Nr. 16/984,650, eingereicht am 4. August 2020. Die Offenbarung dieser Anmeldung ist hier durch Bezugnahme in ihrer Gesamtheit für alle Zwecke enthalten.
GEBIET
Mindestens eine Ausführungsform bezieht sich auf das Testen von Flüssigkeitskühlsystemen für Rechenzentren. In mindestens einer Ausführungsform umfasst ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum ein Servergehäuse mit mindestens einem thermischen Merkmal, das mindestens einem Kühlungsmerkmal und mindestens einem Durchflussregler zugeordnet ist, wobei das mindestens eine thermische Merkmal und der mindestens eine Strömungsregler einstellbar sind, um eine Kühlungsbelastung für das Flüssigkeitskühlsystem des Rechenzentrums zu verursachen.
HINTERGRUND
Kühlsysteme in Rechenzentren verwenden in der Regel Lüfter bzw. Gebläse, um Luft durch Serverkomponenten zirkulieren zu lassen. Bestimmte Supercomputer oder andere Hochleistungsrechner können Wasser- oder andere Kühlsysteme als Luftkühlsysteme verwenden, um die Wärme von den Serverkomponenten oder Racks des Rechenzentrums in einen Bereich außerhalb des Rechenzentrums abzuleiten. Die Kühlsysteme können eine Kältemaschine im Bereich des Rechenzentrums, einschließlich des Bereichs außerhalb des Rechenzentrums, umfassen. Der Bereich außerhalb des Rechenzentrums kann ein Bereich mit einem Kühlturm oder einem anderen externen Wärmetauscher sein, der erhitztes Kühlmittel aus dem Rechenzentrum aufnimmt und die Wärme durch Zwangsluft oder andere Mittel an die Umgebung (oder ein externes Kühlmedium) abgibt, bevor das abgekühlte Kühlmittel wieder in das Rechenzentrum zurückgeführt wird. In einem Beispiel bilden die Kältemaschine und der Kühlturm zusammen eine Kühlanlage mit Pumpen, die auf die von externen Geräten im Rechenzentrum gemessene Temperatur reagieren. Luftkühlsysteme allein ziehen möglicherweise nicht genügend Wärme ab, um eine effektive oder effiziente Kühlung in Rechenzentren zu unterstützen, und Flüssigkeitskühlsysteme sind für die Anforderungen des Rechenzentrums möglicherweise nicht wirtschaftlich.
Figurenliste
Verschiedene Ausführungsformen in Übereinstimmung mit der vorliegenden Offenbarung werden unter Bezugnahme auf die Zeichnungen beschrieben:

1 ist ein Blockdiagramm eines beispielhaften Rechenzentrums mit einem Kühlsystem, das den in mindestens einer Ausführungsform beschriebenen Verbesserungen unterliegt;
2 ist ein Blockdiagramm, das Merkmale eines thermischen Belastungssystems auf Serverebene zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform darstellt;
3 ist ein Blockdiagramm, das Merkmale auf Komponentenebene eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform zeigt;
4 ist ein Blockdiagramm, das Merkmale eines thermischen Belastungssystems auf Rack-Ebene zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform darstellt;
5 ist ein Prozessablauf von Schritten, die für ein Verfahren zur Verwendung oder Herstellung des Kühlsystems der 2-4 und 6A-17D gemäß mindestens einer Ausführungsform verfügbar sind;
6A zeigt ein Beispiel für ein Rechenzentrum, in dem mindestens eine Ausführungsform aus 2-5 verwendet werden kann;
6B, 6C zeigen eine Inferenzierungs- und/oder Trainingslogik, wie sie in 6A und in mindestens einer Ausführungsform der vorliegenden Offenbarung verwendet wird, um ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß verschiedenen Ausführungsformen zu ermöglichen und/oder zu unterstützen;
7A ist ein Blockdiagramm, das ein beispielhaftes Computersystem veranschaulicht, das ein System mit miteinander verbundenen Vorrichtungen und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor gebildet wird, der Ausführungseinheiten enthalten kann, um einen Befehl auszuführen, um ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum, wie hierin beschrieben, zu unterstützen und/oder zu ermöglichen, gemäß mindestens einer Ausführungsform;
7B ist ein Blockdiagramm, das eine elektronische Vorrichtung zur Verwendung eines Prozessors zur Unterstützung und/oder Aktivierung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform zeigt;
7C ist ein Blockdiagramm, das eine elektronische Vorrichtung zur Verwendung eines Prozessors zur Unterstützung und/oder Aktivierung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform zeigt;
8 zeigt ein weiteres Beispiel für ein Computersystem gemäß mindestens einer Ausführungsform zur Implementierung verschiedener Prozesse und Verfahren für ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für Rechenzentren, wie in dieser Offenbarung beschrieben;
9A zeigt eine beispielhafte Architektur, in der GPUs über Hochgeschwindigkeitsverbindungen kommunikativ mit Mehrkern-Prozessoren gekoppelt sind, um ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für Rechenzentren zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung;
9B zeigt zusätzliche Details für eine Verbindung zwischen einem Mehrkernprozessor und einem Grafikbeschleunigungsmodul gemäß einer beispielhaften Ausführungsform;
9C zeigt eine weitere beispielhafte Ausführungsform, bei der eine Beschleuniger-Integrationsschaltung in einen Prozessor integriert ist, um ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung;
9D zeigt ein beispielhaftes Beschleunigerintegrations-Slice 990 zum Aktivieren und/oder Unterstützen eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für Rechenzentren gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung;
9E zeigt zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells, um ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung;
9F zeigt zusätzliche Details für eine beispielhafte Ausführungsform eines einheitlichen Speichers, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher und GPU-Speicher verwendet wird, um ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für Rechenzentren zu ermöglichen und/oder zu unterstützen, gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung;
10A zeigt beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß den hierin beschriebenen Ausführungsformen für ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für Rechenzentren;
10B-10C zeigen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform zur Unterstützung und/oder Ermöglichung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für Rechenzentren;
10D-10E zeigen zusätzliche beispielhafte Grafikprozessorlogik gemäß mindestens einer Ausführungsform zur Unterstützung und/oder Ermöglichung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für Rechenzentren;
11A ist ein Blockdiagramm, das ein Computersystem zur Unterstützung und/oder Ermöglichung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform zeigt;
11 B zeigt einen Parallelprozessor zur Unterstützung und/oder Ermöglichung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform;
11C ist ein Blockdiagramm einer Partitionseinheit gemäß mindestens einer Ausführungsform;
11 D zeigt einen Grafik-Multiprozessor, der für ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für Rechenzentren gemäß mindestens einer Ausführungsform verwendet wird;
11 E zeigt einen Grafik-Multiprozessor gemäß mindestens einer Ausführungsform;
12A zeigt ein Multi-GPU-Computersystem gemäß mindestens einer Ausführungsform;
12B ist ein Blockdiagramm eines Grafikprozessors gemäß mindestens einer Ausführungsform;
13 ist ein Blockdiagramm, das die Mikroarchitektur eines Prozessors veranschaulicht, der gemäß mindestens einer Ausführungsform Logikschaltungen zur Ausführung von Befehlen enthalten kann;
14 zeigt einen Deep-Learning-Anwendungsprozessor gemäß mindestens einer Ausführungsform;
15 ist ein Blockdiagramm eines neuromorphen Prozessors gemäß mindestens einer Ausführungsform;
16A ist ein Blockdiagramm eines Verarbeitungssystems gemäß mindestens einer Ausführungsform;
16B ist ein Blockdiagramm eines Prozessors mit einem oder mehreren Prozessorkernen, einem integrierten Speichercontroller und einem integrierten Grafikprozessor, gemäß mindestens einer Ausführungsform;
16C ist ein Blockdiagramm der Hardware-Logik eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform;
16D-16E zeigen die Thread-Ausführungslogik mit einer Anordnung von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform;
17A zeigt eine Parallelverarbeitungseinheit gemäß mindestens einer Ausführungsform;
17B zeigt einen allgemeinen Verarbeitungscluster gemäß mindestens einer Ausführungsform;
17C zeigt eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit gemäß mindestens einer Ausführungsform; und
17D zeigt einen Streaming-Multiprozessor gemäß mindestens einer Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
Die Luftkühlung von High-Density-Servern kann angesichts plötzlicher hoher Wärmeanforderungen, die durch wechselnde Rechenlasten heutiger Computer- bzw. Rechenkomponenten verursacht wird, nicht effizient oder unwirksam sein. Da sich die Anforderungen jedoch ändern können oder dazu neigen, von einem Minimum bis zu einem Maximum an unterschiedlichen Kühlungsanforderungen zu reichen, müssen diese Anforderungen auf wirtschaftliche Weise mit einem geeigneten Kühlsystem erfüllt werden. Bei mittlerem bis hohem Kühlungsbedarf kann ein Flüssigkeitskühlsystem verwendet werden. Die unterschiedlichen Kühlungsanforderungen spiegeln auch unterschiedliche Wärmeeigenschaften des Rechenzentrums wider. In mindestens einer Ausführungsform wird von den Komponenten, Servern und Racks bzw. Gestellen erzeugte Wärme kumulativ als eine Wärmeeigenschaft oder ein Kühlungsbedarf bezeichnet, da der Kühlungsbedarf die gesamte Wärmeeigenschaft berücksichtigen muss. In mindestens einer Ausführungsform ist die Wärmeeigenschaft bzw. die Wärmeentwicklung oder der Kühlungsbedarf für ein Kühlsystem die Wärmeeigenschaft bzw. die Wärmeentwicklung oder der Kühlungsbedarf der Komponenten, Server oder Racks, die mit dem Kühlsystem verbunden sind, und kann ein Teil der Komponenten, Server und Racks in dem Rechenzentrum sein.
Ein Verfahren zur Inbetriebnahme eines Flüssigkeitskühlsystems für ein Rechenzentrum kann einen Test der gesamten für das Flüssigkeitskühlsystem verfügbaren Last umfassen. Der Test der gesamten Last, die dem Flüssigkeitskühlsystem zur Verfügung steht, kann den Betrieb der Ausrüstung des Rechenzentrums in einer Testumgebung vor dem Echtbetrieb im Rechenzentrum beinhalten. Der Test kann dazu angepasst sein, die thermischen Lasten des gesamten Rechenzentrums zu berücksichtigen. Ein solches Verfahren kann jedoch nicht für einzelne thermische Belastungen von Komponenten, Servern und Racks angewendet werden. Die Wärmelasten eines gesamten Rechenzentrums können nicht auf die einzelnen Wärmelasten der Komponenten, der Server und der Racks zurückgeführt werden. Darüber hinaus kann der Austausch von Komponenten, Servern oder Racks im laufenden Betrieb zu einer zusätzlichen, bisher nicht berücksichtigten oder unerwarteten Wärmebelastung für das Flüssigkeitskühlsystem führen, die durch die Untersuchung der Wärmebelastung des gesamten Rechenzentrums nicht ermittelt werden kann. Darüber hinaus werden die spezifischen Anforderungen an die Kühlung von Servern und Kälteplatten mit einem Flüssigkeitskühlsystem nicht berücksichtigt, so dass die zugehörigen Rechenzentren oder Rechenvorrichtungen, wie z.B. Grafikprozessoren (GPUs), Zentraleinheiten (CPUs) und Switches, in den Rechenzentren auch dann profitieren können, wenn diese Komponenten im Rahmen von Hot-Swap-Vorgängen gegen Komponenten mit anderer Kapazität ausgetauscht werden, was dazu führt, dass die neuen Komponenten weniger oder mehr Wärme erzeugen als erwartet. Es wird erwartet, dass die Einsparungen auch nach einem solchen Hot-Swapping von Komponenten erhalten bleiben.
In mindestens einer Ausführungsform wird ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum offenbart. Das thermische Belastungssystem umfasst ein Servergehäuse mit mindestens einem thermischen Merkmal, das mindestens einem Kühlungsmerkmal und mindestens einem Durchflussregler zugeordnet ist. Das mindestens eine thermische Merkmal und der mindestens eine Durchflussregler sind einstellbar, um das Flüssigkeitskühlsystem des Rechenzentrums einer Kühlungsbelastung auszusetzen. In mindestens einer Ausführungsform ist die Kühlungsbelastung repräsentativ für eine Menge (entweder als Durchflussrate oder als Durchflussvolumen) an Kühlmittel oder Arbeitsflüssigkeit, die erforderlich ist, um ein Maximum oder eine Varianz der Wärme zu bewältigen, die von einer in ein Rechenzentrum integrierten Vorrichtung erzeugt wird. In mindestens einer Ausführungsform ist das thermische Lastsystem in der Lage, das Maximum oder die Varianz der von der in ein Rechenzentrum eingebauten Rechenzentrumsvorrichtung erzeugten Wärme zu replizieren. In mindestens einer Ausführungsform handelt es sich bei dem Wärmelastsystem um eine Flüssigkeits-Wärmelastbank (LTLB; liquid thermal load bank). Die LTLB unterstützt Funktionen zur Modulation und Steuerung des Flüssigkeitsstroms, die einen tatsächlichen operativen Server mit darin befindlichen Rechenkomponenten nachbilden oder einem solchen ähneln. Bei den Rechenkomponenten kann es sich um eine GPU, eine CPU, einen Switch oder andere Rechenkomponenten handeln, die von einer Flüssigkeitskühlung, beispielsweise durch ein Kühlmittel, profitieren. Die Flüssigkeitskühlung ist so beschaffen, dass das Kühlmittel direkt zu den Rechenkomponenten gelangt. Der Server mit einer solchen Flüssigkeitskühlung ist Teil eines Racks mit Schläuchen und Schnellkupplungen, über die Flüssigkeit in den Server gedrückt werden kann.
In mindestens einer Ausführungsform sind Form und Größe der LTLB so beschaffen, dass die LTLB in ein Rechenzentrums-Rack mit Flüssigkeitsverbindungen zwischen der LTLB und den im Rack vorhandenen Verteilern passt. Durch die Flüssigkeitsverbindungen können Arbeitsflüssigkeiten, wie z.B. ein Kühlmittel des sekundären Kühlkreislaufs, in die LTLBs fließen. In mindestens einer Ausführungsform ist jede LTLB dazu angepasst, eine bestimmte thermische Last zu erzeugen, die zu einer Kühlungsbelastung des Flüssigkeitskühlsystems des Rechenzentrums führt, und dass sie einen Strömungswiderstand erzeugt, der die Kühlungsbelastung erhöht. Die Kühlungsbelastung kann einen Temperaturanstieg und einen Druckabfall verursachen, die denen eines tatsächlichen Servers mit Rechenkomponenten wie den oben erwähnten GPUs, CPUs und Switches entsprechen, die Wärme erzeugen und den Temperaturanstieg und den Druckabfall in der Art der LTLB-Vorrichtung verursachen können. In mindestens einer Ausführungsform unterstützt die LTLB ein vorhandenes Arbeitsmedium in einem Hot-Swap-Test, das dasselbe Arbeitsmedium wie in einem tatsächlichen Server sein kann. Folglich kann die LTLB nach dem Test ausgetauscht und ihre Ergebnisse in einem tatsächlichen Server mit den erwarteten Kühleffekten, wie sie von der LTLB projiziert wurden, verwendet werden.
In mindestens einer Ausführungsform ermöglicht die LTLB der vorliegenden Offenbarung das Testen von Flüssigkeitskühlsystemen vor dem Einsatz oder der Inbetriebnahme von Servern und Racks in einem bestehenden Rechenzentrum. Es kann zwar Lastbänke in Rack-Größe geben, die zum Testen von Flüssigkeitskühlsystemen für ganze Rechenzentren verwendet werden, und es kann auch Lastbänke geben, die zum Testen von Luftkühlsystemen verwendet werden, aber die hier beschriebene LTLB erfüllt in mindestens einer Ausführungsform zumindest spezifische Anforderungen für das Testen von Flüssigkeitskühlanforderungen auf Serverebene und für das Testen solcher Flüssigkeitskühlanforderungen auf Serverebene in Hot-Swap-Umgebungen. Darüber hinaus ermöglicht die vorliegende LTLB in mindestens einer Ausführungsform modulare Tests auf Rack-Ebene über mehrere LTLB-Serverfächer bzw. Server-Trays, die ein ganzes Rack bilden.
In mindestens einer Ausführungsform stellt die vorliegende Offenbarung eine LTLB bereit, die den Formfaktor eines Servergehäuses oder -trays hat, wobei eine Sammlung davon verwendet werden kann, um eine Lastbank auf Rack-Ebene zu replizieren, aber die Anpassungsfähigkeit von der Server-Ebene aufwärts durch das vorliegende modulare Design ist ein willkommener Aspekt. In mindestens einer Ausführungsform verfügt die LTLB über Wärmepads (auch als thermische Merkmale bezeichnet) und zugehörige Kälteplatten (auch als Kühlmerkmale bezeichnet), wobei die Wärmepads auf der Serverseite aktiviert oder deaktiviert werden, um die Kühlkapazität des Flüssigkeitskühlsystems einem Belastungstest zu unterziehen. Der Stresstest wird auch als Kühlstress für das Flüssigkeitskühlsystem bezeichnet. In mindestens einer Ausführungsform umfasst die LTLB mindestens einen Controller, der Funktionen zur Steuerung oder Modulation des Flüssigkeitsstroms des Flüssigkeitskühlsystems unterstützt. Die Steuerung oder Modulation des Flüssigkeitsstroms entspricht einem tatsächlichen Anwendungsfall, bei dem Plug-and-Play-Aspekte (Hot Swap) auftreten. In mindestens einer Ausführungsform repliziert die Steuerung oder Modulation den Hot Swap, das Einsetzen oder Entfernen von Komponenten, wie GPU/CPU/Switch, die im Zusammenhang mit einem Rack mit Schläuchen und Schnellkupplungen platziert, entfernt oder ausgetauscht werden können, was den Fluss eines Kühlmediums in einen Server des Racks verändert oder beeinflusst. So ist es möglich, eine ähnliche Änderung des Drucks, der Temperatur oder des Durchflusses eines Kühlmittels in einem tatsächlichen Server zu bewirken, die durch das Anschließen und Trennen von Schläuchen verursacht wird, und zwar allein durch die Steuerung oder Modulation desselben oder eines ähnlichen Kühlmittels, das durch die LTLB fließt. Die LTLB belastet daher das Kühlsystem, um diese Szenarien nachzubilden und so Probleme bei der Inbetriebnahme des Kühlsystems in einem Online-Rechenzentrum zu vermeiden. In mindestens einer Ausführungsform ist die LTLB dazu angepasst, eine Auslegungswärmebelastung und einen Auslegungsströmungswiderstand bereitzustellen, die einen entsprechenden Temperaturanstieg und Druckabfall wie in einem tatsächlichen elektronischen Server verursachen.
1 ist ein Blockdiagramm eines beispielhaften Rechenzentrums 100 mit einem Kühlsystem, das den in mindestens einer Ausführungsform beschriebenen Verbesserungen unterliegt. Das Rechenzentrum 100 kann aus einem oder mehreren Räumen 102 mit Racks 110 und Zusatzvorrichtungen bestehen, um einen oder mehrere Server auf einem oder mehreren Server-Trays bzw. Serverfächern unterzubringen. Das Rechenzentrum 100 wird von einem Kühlturm 104 unterstützt, der sich außerhalb des Rechenzentrums 100 befindet. Der Kühlturm 104 leitet die Wärme aus dem Inneren des Rechenzentrums 100 ab, indem er auf einen primären Kühlkreislauf 106 einwirkt. Außerdem wird zwischen dem primären Kühlkreislauf 106 und einem zweiten oder sekundären Kühlkreislauf 108 eine Kühlverteilungseinheit (CDU; cooling distribution unit) 112 eingesetzt, um die Ableitung der Wärme aus dem zweiten oder sekundären Kühlkreislauf 108 in den primären Kühlkreislauf 106 zu ermöglichen. Der sekundäre Kühlkreislauf 108 kann je nach Bedarf auf verschiedene Leitungen bis in das Server-Tray hinein zugreifen. Die Kreisläufe 106, 108 sind als Strichzeichnungen dargestellt, aber der Fachmann wird erkennen, dass eine oder mehrere Rohrleitungsmerkmale verwendet werden können. In einem Fall können flexible Polyvinylchlorid (PVC)-Rohre zusammen mit zugehörigen Rohrleitungen verwendet werden, um das Fluid in jedem der Kreisläufe 106, 108 zu bewegen. In mindestens einer Ausführungsform können eine oder mehrere Kühlmittelpumpen verwendet werden, um Druckunterschiede in den Kreisläufen 106, 108 aufrechtzuerhalten, um die Bewegung des Kühlmittels entsprechend den Temperatursensoren an verschiedenen Stellen zu ermöglichen, einschließlich im Raum, in einem oder mehreren Racks 110 und/oder in Servergehäusen oder Server-Trays innerhalb der Racks 110.
In mindestens einer Ausführungsform kann das Kühlmittel im primären Kühlkreislauf 106 und im sekundären Kühlkreislauf 108 mindestens aus Wasser und einem Zusatzstoff, z.B. Glykol oder Propylenglykol, bestehen. Im Betrieb hat jeder der primären und sekundären Kühlkreisläufe sein eigenes Kühlmittel. In einem Aspekt kann das Kühlmittel in den sekundären Kühlkreisläufen auf die Anforderungen der Komponenten im Server-Tray oder in den Racks 110 abgestimmt sein. Die CDU 112 ist in der Lage, die Kühlmittel in den Kreisläufen 106, 108 unabhängig oder gleichzeitig zu steuern. So kann die CDU beispielsweise die Durchflussmenge so regeln, dass die Kühlmittel in geeigneter Weise verteilt werden, um die in den Racks 110 erzeugte Wärme abzuführen. Darüber hinaus sind von dem sekundären Kühlkreislauf 108 flexiblere Schläuche 114 bereitgestellt, die in jedes Server-Tray führen und Kühlmittel zu den elektrischen und/oder Computer-Komponenten leiten. In der vorliegenden Offenbarung werden die elektrischen und/oder Computer-Komponenten austauschbar verwendet, um sich auf die wärmeerzeugenden Komponenten zu beziehen, die von dem vorliegenden Kühlsystem für Rechenzentren profitieren. Die Rohre 118, die Teil des sekundären Kühlkreislaufs 108 sind, können als Raumverteiler bezeichnet werden. Getrennt davon können die Rohre 116, die sich von den Rohren 118 aus erstrecken, ebenfalls Teil des sekundären Kühlkreislaufs 108 sein, können jedoch als Reihenverteiler bezeichnet werden. Die Rohre 114 treten in die Racks als Teil des sekundären Kühlkreislaufs 108 ein, können aber als Rack-Kühlverteiler bezeichnet werden. Außerdem erstrecken sich die Reihenverteiler 116 zu allen Racks entlang einer Reihe im Rechenzentrum 100. Die Verrohrung des sekundären Kühlkreislaufs 108, einschließlich der Verteiler 118, 116 und 114, kann durch mindestens eine Ausführungsform der Erfindung verbessert werden. Eine Kältemaschine 120 kann im primären Kühlkreislauf im Rechenzentrum 102 bereitgestellt sein, um die Kühlung vor dem Kühlturm zu unterstützen. In dem Maße, in dem zusätzliche Kreisläufe im primären Regelkreis vorhanden sind, wird der Fachmann beim Lesen der Offenbarung erkennen, dass die zusätzlichen Kreisläufe für die Kühlung außerhalb des Racks und außerhalb des sekundären Kühlkreislaufs sorgen; sie können für diese Erfindung mit dem primären Kühlkreislauf zusammengenommen werden.
In mindestens einer Ausführungsform kann im Betrieb in den Server-Trays der Racks 110 erzeugte Wärme über die flexiblen Schläuche des Reihenverteilers 114 des zweiten Kühlkreislaufs 108 an ein aus den Racks 110 austretendes Kühlmittel übertragen werden. Das zweite Kühlmittel (im zweiten Kühlkreislauf 108) von der CDU 112 zur Kühlung der Racks 110 bewegt sich zu den Racks 110. Das zweite Kühlmittel aus der CDU 112 fließt von einer Seite des Raumverteilers mit Schläuchen 118 zu einer Seite des Racks 110 über den Reihenverteiler 116 und durch eine Seite des Server-Trays über Schläuche 114. Das verbrauchte zweite Kühlmittel (oder das austretende zweite Kühlmittel, das die Wärme der Rechenkomponenten transportiert) tritt auf einer anderen Seite des Server-Trays aus (z.B. tritt es auf der linken Seite des Racks ein und verlässt das Server-Tray auf der rechten Seite des Racks, nachdem es einen Kreislauf durch das Server-Tray oder durch Komponenten auf dem Server-Tray durchlaufen hat). Das verbrauchte zweite Kühlmittel, das das Server-Tray oder das Rack 110 verlässt, tritt auf einer anderen Seite (z.B. auf der Austrittsseite) der Rohrleitung 114 aus und bewegt sich zu einer parallelen, aber ebenfalls austretenden Seite des Reihenverteilers 116. Vom Reihenverteiler 116 bewegt sich das verbrauchte zweite Kühlmittel in einem parallelen Abschnitt des Raumverteilers 118 in die entgegengesetzte Richtung wie das einströmende zweite Kühlmittel (das auch das erneuerte zweite Kühlmittel sein kann) und in Richtung der CDU 112.
In mindestens einer Ausführungsform tauscht das verbrauchte zweite Kühlmittel seine Wärme mit einem primären Kühlmittel im primären Kühlkreislauf 106 über die CDU 112 aus. Das verbrauchte zweite Kühlmittel wird erneuert (z.B. relativ abgekühlt im Vergleich zur Temperatur in der Stufe des verbrauchten zweiten Kühlmittels) und ist bereit, durch den zweiten Kühlkreislauf 108 zu den Rechenkomponenten zurückgeleitet zu werden. Verschiedene Durchfluss- und Temperatursteuerungsfunktionen in der CDU 112 ermöglichen die Steuerung der aus dem verbrauchten zweiten Kühlmittel ausgetauschten Wärme oder des Durchflusses des zweiten Kühlmittels in und aus der CDU 112. Die CDU 112 ist auch in der Lage, den Durchfluss des primären Kühlmittels im primären Kühlkreislauf 106 zu steuern.
2 ist ein Blockdiagramm, das Merkmale 200 eines thermischen Belastungssystems auf Serverebene zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform zeigt. Die Merkmale auf Serverebene 200 umfassen einen Server, ein Serverfach oder ein Servergehäuse 202 mit einer oder mehreren Kälteplatten 210A-D; mit einer oder mehreren Kühlschleifen 212A, B; mit mindestens einem Serververteiler 204 mit integrierter oder separater Kühlverteilungseinheit (CDU; cooling distribution unit); und mit Einlass- und Auslassrohrleitungen 206 bzw. 208 zum Serververteiler 204. In mindestens einer Ausführungsform ist der Serververteiler 204 für die Verteilung von Kühlmittel zu und von dem einen oder den mehreren Kühlkreisläufen 212A, B ausgelegt und daher mit einer CDU darin integriert. Darüber hinaus ermöglichen neben der einen oder mehreren Kälteplatte(n) 210A-D Wärmemerkmale 220A-D das Testen des Flüssigkeitskühlsystems des Rechenzentrums, indem eine Kühlungsbelastung auf das Flüssigkeitskühlsystem des Rechenzentrums ausgeübt wird. Eine oder mehrere Kühlschleifen, wie z.B. eine Kühlschleife 212B, können ähnliche Merkmale wie die in Bezug auf die Kühlschleife 212A beschriebenen aufweisen. Darüber hinaus können in mindestens einer Ausführungsform Aspekte der Kühlschleife 212B getrennt von Aspekten der Kühlschleife 212A gesteuert werden.
In mindestens einer Ausführungsform stellen die Merkmale auf Serverebene 200 mindestens einen Teil eines thermischen Belastungssystems zum Testen des Flüssigkeitskühlsystems des Rechenzentrums dar oder umfassen es.
Der Server, das Server-Tray oder das Server-Gehäuse 202 hat mindestens ein thermisches Merkmal 220A; B; C; D, das mindestens einem Kühlmerkmal 220A; B; C; D zugeordnet ist. Ferner hat der Server, das Server-Tray oder das Server-Gehäuse 202 mindestens einen Durchflussregler 222A; B. In mindestens einer Ausführungsform kann der mindestens eine Durchflussregler 222A; B eine Miniaturpumpe oder Ventile sein, die ferngesteuert werden können, um die Steuerung oder die Modulation des Kühlmittelflusses bereitzustellen, wie in dieser Offenbarung beschrieben. In mindestens einer Ausführungsform kann der mindestens eine Durchflussregler 222A; B am Eingang oder Ausgang der Rohrleitungen 212A, 212B angeordnet sein. In mindestens einer Ausführungsform, wenn sie an einem Auslass der Rohrleitung 212A; 212B angeordnet ist, ist die von dem mindestens einen Durchflussregler 222A; B erlaubte Aktion ein Ausströmen von Kühlmittel entweder durch eine Saug- oder Zugwirkung, die von der Miniaturpumpe auf das Kühlmittel ausgeübt wird, oder ein offenes Ausströmen des Kühlmittels unter Verwendung eines Ventils. In mindestens einer Ausführungsform, wenn sie sich an einem Einlass der Rohrleitung 212A; 212B befindet, ist die von dem mindestens einen Durchflussregler 222A; B erlaubte Aktion eine Aktion des Einströmens von Kühlmittel entweder durch eine Pumpwirkung, die auf das Kühlmittel durch die Miniaturpumpe ausgeübt wird, oder ein offenes Einströmen des Kühlmittels unter Verwendung eines Ventils.
In mindestens einer Ausführungsform kann der mindestens eine Durchflussregler 222A; B an dem (oder in Verbindung mit dem) Serververteiler 204 oder an einer oder mehreren Kälteplatten 210A-B (oder in Verbindung mit diesen) angeordnet sein. In mindestens einer Ausführungsform kann ein einzelner Durchflussregler, der mit einer Kälteplatte in Reihe mit einer anderen Kälteplatte über eine Zwischenleitung 216 verbunden ist, den Kühlmittelfluss durch beide Kälteplatten fördern oder steuern. Das Kühlmittel kann vom Serververteiler 204 durch die Einlassleitung 214, durch die Kälteplatte 210A, durch die Zwischenleitung 216, durch die Kälteplatte 210B, durch die Auslassleitung 218 und zurück zum Serververteiler 204 fließen. In mindestens einer Ausführungsform fließt das Kühlmittel aus einer CDU des Serververteilers 204. In mindestens einer Ausführungsform sind das mindestens eine thermische Merkmal 220A; B; C; D und der mindestens eine Durchflussregler 222A; B einstellbar, um das Flüssigkeitskühlsystem des Rechenzentrums zu belasten. In mindestens einer Ausführungsform befindet sich das mindestens eine thermische Merkmal 220A; B; C; D unterhalb der Kälteplatten 210A-D, ähnlich wie eine Rechenzentrumsvorrichtung, die mit einer Kälteplatte gekoppelt ist, um die Ableitung von Wärme über die Kälteplatte und das zugehörige Kühlmittel zu ermöglichen.
In mindestens einer Ausführungsform bestehen die einstellbaren Aktionen des mindestens einen thermischen Merkmals 220A; B; C; D und des mindestens einen Durchflussreglers 222A; B darin, die von dem mindestens einen thermischen Merkmal 220A; B; C; D erzeugte Wärme zu ändern oder den Durchfluss des Kühlmittels durch den mindestens einen Durchflussregler 222A; B zu ändern. 2 zeigt nur einige der mindestens einen Durchflussregler 222A; B, aber es können Durchflussregler für jeden Anschluss vorhanden sein, ob Einlass- oder Auslassanschluss. Auf diese Weise kann in mindestens einer Ausführungsform, zu der der mindestens eine Durchflussregler 222A; B gehört, der Durchfluss des Kühlmittels zu der einen oder den mehreren Kälteplatten 210A-D aktiviert, deaktiviert oder auf eine bestimmte Durchflussrate (oder ein bestimmtes Durchflussvolumen) geregelt werden. In mindestens einer Ausführungsform kann die von der mindestens einen thermischen Einrichtung 220A; B; C; D erzeugte Wärme gestoppt, gestartet oder auf eine bestimmte Wärmerate (oder Temperatur) geregelt werden. Die Steuerung oder Modulation des Flüssigkeitsstroms (Durchflussmenge oder Durchflussvolumen) entspricht in mindestens einer Ausführungsform dem tatsächlichen Anwendungsfall, bei dem Plug-and-Play-Aspekte (Hot Swap) auftreten.
In mindestens einer Ausführungsform repliziert die Steuerung oder Modulation der Durchflussrate oder des Durchflussvolumens und die Steuerung oder Modulation der erzeugten Wärme den Hot Swap, das Einsetzen oder Entfernen von Komponenten wie GPU/CPU/Switch, die im Zusammenhang mit einem Rack mit Schläuchen und Schnellkupplungen platziert, entfernt oder ausgetauscht werden können, was den Durchfluss eines Kühlmittels in einen Server des Racks verändert oder beeinflusst. So ist es möglich, eine ähnliche Druck-, Temperatur- oder Durchflussänderung eines Kühlmittels mit Hilfe des Servergehäuses 202 zu bewirken, wie dies bei einem Kühlmittel in einem tatsächlichen Server der Fall wäre, der in einem Rechenzentrum betrieben wird und Aktionen wie einer Neuinstallation, einem Ausbau oder einem Hot-Swap unterworfen ist, die das Anschließen und Trennen von Schläuchen (z.B. Einlass und Auslass der Leitungen 212A, B) erfordern können. In mindestens einer Ausführungsform ist es allein durch die Steuerung oder Modulation eines gleichen oder ähnlichen Kühlmittels, das durch eine LTLB fließt, die durch das Servergehäuse 202 mit den Serverebenenmerkmalen 200 repräsentiert wird, möglich, zu Testzwecken eine Kühlungsbelastung auf ein zugehöriges Flüssigkeitskühlsystem des Rechenzentrums anzuwenden.
Infolgedessen ermöglichen in mindestens einer Ausführungsform die einstellbaren Maßnahmen an der mindestens einen thermischen Einrichtung 220A; B; C; D und dem mindestens einen Durchflussregler 222A; B die Nachbildung vieler Szenarien, die in einem Rechenzentrum auftreten können, wie z.B. während des regulären Betriebs oder während der Installation, des Ausbaus oder des Austauschs von Rechenzentrumsvorrichtungen im laufenden Betrieb. Die Tests ermöglichen eine genaue Vorhersage von Problemen und deren Lösung, wenn das Kühlsystem in einem Online-Rechenzentrum in Betrieb genommen wird. Die LTLB, die zumindest durch die Merkmale auf Serverebene 200 dargestellt wird, ist in mindestens einer Ausführungsform dazu angepasst, eine Auslegungswärmebelastung und einen Auslegungsströmungswiderstand bereitzustellen, die einen gleichwertigen Temperaturanstieg und Druckabfall wie im tatsächlichen elektronischen Server verursachen.
In mindestens einer Ausführungsform kann das thermische Lastsystem mit den Merkmalen auf Serverebene 200 eine Heizspirale oder ein Heizelement umfassen, die bzw. das als das mindestens eine thermische Merkmal 220A; B; C; D fungiert. Das Heizelement ist auf verschiedene Wärmestufen einstellbar, einschließlich der Möglichkeit, vollständig abgeschaltet oder auf eine maximale Wärmeerzeugungsstufe eingeschaltet zu werden. In mindestens einer Ausführungsform, wie in 2 dargestellt, ist die Heizspirale oder das Heizelement, das das mindestens eine thermische Merkmal 220A; B; C; D bildet, benachbart zu einer Kälteplatte 210A; B; C; D angeordnet, und die Kälteplatte 210A; B; C; D hat eine Einlassöffnung und eine Auslassöffnung 224A; B, um den Eintritt und den Austritt des Kühlmittels unter Verwendung einer oder mehrerer Einlassleitungen oder -rohre 214, Zwischenleitungen oder -rohre 216 und Auslassleitungen oder -rohre 218 zu unterstützen. Jeder der Anschlüsse 224A, B unterstützt die Zirkulation eines Kühlmittels aus dem Flüssigkeitskühlsystem des Rechenzentrums und kann mit einem entsprechenden Durchflussregler 226 verbunden sein. In mindestens einer Ausführungsform, wie in 2 dargestellt, kann ein Durchflussregler 226 einen oder mehrere der Anschlüsse 224A; B steuern oder den Kühlmittelfluss durch die Anschlüsse 224A; B steuern.
In mindestens einer Ausführungsform umfasst der Durchflussregler 226 mindestens ein Ventil, das sich in der Öffnung befindet oder mit der Öffnung verbunden ist, und das Ventil kann zur Steuerung des Kühlmittelflusses gedrosselt werden. In mindestens einer Ausführungsform umfasst der Durchflussregler 226 eine Miniaturpumpe, um die Durchflussrate des Kühlmittelstroms zu ändern. In mindestens einer Ausführungsform wird der Durchflussregler so ausgewählt, dass er den Eigenschaften des Anschlusses entspricht. In mindestens einer Ausführungsform ist der Durchflussregler 226 den Durchflussreglern 222A, 222B ähnlich oder unterscheidet sich von ihnen. Die Ähnlichkeit oder der Unterschied kann mit der Art des Anschlusses, den Abmessungen des Anschlusses, der Art des Kühlmittels oder der Art der Steuerung des Angebots in jedem der jeweiligen Anschlüsse des Flüssigkeitskühlsystems zusammenhängen.
In mindestens einer Ausführungsform umfasst das thermische Lastsystem, z.B. einschließlich des Servergehäuses 202, außerdem mindestens einen Prozessor zur Steuerung der Heizschlange und zur Steuerung des mindestens einen Durchflussreglers oder ist mit diesem verbunden. In mindestens einer Ausführungsform kann es sich bei dem mindestens einen Prozessor um den Prozessor 1400 in 14 handeln, der die Neuronen 1502 und deren Komponenten verwenden kann, die mit Hilfe von Schaltungen oder Logik implementiert werden, einschließlich einer oder mehrerer Arithmetik-Logik-Einheiten (ALUs), wie in 15 beschrieben. In mindestens einer Ausführungsform hat die Heizspirale einen Temperaturbereich, der einer Rechenzentrumsvorrichtung entspricht, und der mindestens eine Durchflussregler ist auf eine Durchflussrate steuerbar, die einer Unterbrechung oder einem Anschluss der Flüssigkeitsleitung des Flüssigkeitskühlsystems des Rechenzentrums an die Rechenzentrumsvorrichtung entspricht.
In mindestens einer Ausführungsform ist das thermische Belastungssystem, wie z.B. das Servergehäuse 202, zweiten Servergehäusen zugeordnet, die zweite thermische Eigenschaften, zweite Kühleigenschaften und zweite Durchflussregler aufweisen, um die Kühlungsbelastung auf das Flüssigkeitskühlsystem des Rechenzentrums auf Rack-Ebene zu übertragen. In mindestens einer Ausführungsform werden mehrere Servergehäuse, die jeweils dem Servergehäuse 202 ähneln, in den verfügbaren Steckplätzen eines Racks, wie z.B. den Racks in 1, gestapelt, und zusammen replizieren sie die Kühlungsbelastung auf Rack-Ebene für das Flüssigkeitskühlsystem des Rechenzentrums.
In mindestens einer Ausführungsform umfasst das thermische Lastsystem, wie z.B. das Servergehäuse 202, ferner mindestens eine erste Kälteplatte, die das mindestens eine Kühlmerkmal oder einen Teil des mindestens einen Kühlmerkmals bildet, das dem mindestens einen thermischen Merkmal zugeordnet ist, oder ist diesem zugeordnet. Wie unter Bezugnahme auf die Kälteplatten 210A-D erörtert, können diese Kälteplatten mindestens eine Kühleinrichtung sein, doch können auch Kühlkörper, die mit einem Flüssigkeitskühlsystem verbunden sein können, um die erzeugte Wärme zumindest teilweise abzuleiten, als einzelne Kühleinrichtungen verwendet werden. In mindestens einer Ausführungsform, wenn die vorliegende Offenbarung in einer Hot-Swap-Umgebung verwendet wird, kann es mindestens eine zweite Kälteplatte geben, die mit einer Rechenzentrumsvorrichtung verbunden ist, die Rechenzentrumsbetriebsabläufe durchführt. Im Gegensatz zu der mindestens einen ersten Kälteplatte, die lediglich zum Testen des Flüssigkeitskühlsystems des Rechenzentrums beiträgt, sorgt die mindestens eine zweite Kälteplatte für die tatsächliche Kühlung der Rechenzentrumsvorrichtung im aktiven Betrieb der Rechenzentrumsvorrichtung. Dieses Merkmal zeigt die Fähigkeit, die Kühlungsbelastungen auf Komponenten-, Server- und Rack-Ebene zu testen, bevor eine neue Komponente, ein neuer Server oder ein neues Rack in ein bestehendes Rechenzentrum mit einem in Betrieb genommenen Flüssigkeitskühlsystem eingebaut wird.
In mindestens einer Ausführungsform umfasst das thermische Lastsystem, wie z.B. das Servergehäuse 202, ferner mindestens eine Kälteplatte, die das mindestens eine Kühlmerkmal oder einen Teil des mindestens einen Kühlmerkmals bildet, das dem mindestens einen thermischen Merkmal zugeordnet ist, oder ist diesem zugeordnet. Ein Heizelement bildet das mindestens eine Heizmerkmal, wobei das Heizelement mit einem Sockel einer Platine in dem Servergehäuse verbunden ist und zur Kühlungsbelastung des Flüssigkeitskühlsystems des Rechenzentrums beiträgt. In mindestens einer Ausführungsform ermöglicht dies dem Servergehäuse 202 die Verwendung einer vorhandenen Schaltung einer operativen Systemplatine, die zumindest die Leistung zum Einstellen einer von dem Heizelement erzeugten Wärme bereitstellt. Die Server-Box 202 kann daher bestehende Rechenzentrumstechnologien oder -funktionen verwenden, anstatt eine spezielle, funktionsreiche Server-Box 202 einzusetzen. Dies ermöglicht auch eine echte Replikation einer operativen Server-Box oder einer operativen Komponente.
3 ist ein Blockdiagramm, das Merkmale 300 auf Komponentenebene eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform zeigt. In mindestens einer Ausführungsform umfasst das thermische Lastsystem, wie z.B. das Servergehäuse 202, ferner eine Rechenzentrumsvorrichtung 302, die entweder betriebsbereit oder nicht betriebsbereit im Sockel ist, oder ist diesem zugeordnet. In mindestens einer Ausführungsform handelt es sich bei der betriebsbereiten Rechenzentrumsvorrichtung 302 um eine GPU, eine CPU oder einen Schalter, der nicht zugewiesen ist, aber als Basis für die Beanspruchung bzw. Belastung des Flüssigkeitskühlsystems des Rechenzentrums verwendet werden kann. In mindestens einer Ausführungsform ist die Rechenzentrumsvorrichtung 302, die nicht betriebsbereit ist, eine GPU, eine CPU oder ein Schalter, weil es eine Dummy-Komponente ist, die Abmessungen und Anschlüsse hat, um in einen Sockel einer Platine in dem Servergehäuse 202 zu passen, die aber als Basis für die Belastung des Flüssigkeitskühlsystems des Rechenzentrums verwendet werden kann und nicht zugewiesen werden kann, um sie für den Rechenzentrumsbetrieb betriebsbereit zu machen.
In mindestens einer Ausführungsform ist ein Hitzeschild 304 zwischen der Rechenzentrumsvorrichtung 302 und einem Heizelement oder einer Heizspirale 306 bereitgestellt, wobei das Heizelement oder die Heizspirale 306 das Heizmerkmal für die Beaufschlagung des Flüssigkeitskühlsystems mit Kühlleistung ist. Die Rechenzentrumsvorrichtung 302 wird durch den Hitzeschild 304 vor zusätzlicher Wärme geschützt, die durch das Heizelement 306 erzeugt wird. Dies ermöglicht das Entfernen der Testelemente nach Abschluss der Tests und die Nutzung des Rechenzentrums 302 durch Umschalten der Vorrichtung in einen Betriebsmodus aus einem vorherigen Nicht-Betriebsmodus (oder Testmodus) innerhalb des Sockels. In mindestens einer Ausführungsform ist der Nichtbetriebsmodus ein nicht zugewiesener Modus für die Rechenzentrumsvorrichtung, während der Betriebsmodus ein zugewiesener Modus für die Rechenzentrumsvorrichtung ist. In mindestens einer Ausführungsform wird das Heizelement 306 als solches direkt über die Leiterplattenleitung 326 von einer Eingangsstromquelle 322 mit Strom versorgt; oder es wird indirekt über die Leiterplattenleitung 328 von einem Sockel 322 mit Strom versorgt, der über die Leiterplattenleitung 324 Strom von der Eingangsstromquelle 322 erhält.
In mindestens einer Ausführungsform ist über einer Abdeckung 308, die sich über dem Heizelement 306 befindet, ein Wärmeleitmaterial 310 bereitgestellt. Bei dem Wärmeleitmaterial 310 kann es sich um eine Wärmeleitpaste auf Silberbasis handeln, die eine Schnittstelle zwischen dem Heizelement 306 und der mindestens einen Kälteplatte 312 bildet. Die mindestens eine Kälteplatte 312 umfasst ein Einlassrohr oder eine Einlassleitung 314, ein Durchgangsrohr oder eine Durchgangsleitung 318 und ein Auslassrohr oder eine Auslassleitung 316 oder ist mit diesen verbunden. In mindestens einer Ausführungsform ist das Durchgangsrohr oder die Leitung 318 kein gerader Durchgang, sondern bildet Zickzack-Kanäle innerhalb der Kälteplatte 312.
In mindestens einer Ausführungsform umfasst das thermische Lastsystem, das Merkmale auf Komponentenebene 300 und die Merkmale auf Serverebene 200 umfasst oder ihnen zugeordnet ist, auch die mindestens eine Kälteplatte 312, die das mindestens eine Kühlmerkmal bildet oder Teil des mindestens einen Kühlmerkmals ist, das dem mindestens einen thermischen Merkmal 306 zugeordnet ist. In mindestens einer Ausführungsform umfasst das thermische Lastsystem, das die Merkmale auf Komponentenebene 300 und die Merkmale auf Serverebene 200 umfasst oder ihnen zugeordnet ist, auch Rohrleitungen 314, 316, die mit der mindestens einen Kälteplatte 312 verbunden sind, um den Eintritt und den Austritt eines Kühlmittels des Flüssigkeitskühlsystems des Rechenzentrums zu ermöglichen. In mindestens einer Ausführungsform besteht der Hitzeschild 304 aus einem Kunststoffmaterial, z.B. einem Kunststoff-Wärmeisolator; das Heizelement 306 besteht aus einem keramischen Material, z.B. einer keramischen Heizplatte; das Abdeck- oder Deckelmaterial 308 besteht aus Kupfer, z.B. einem Kupferblock; und das thermische Schnittstellenmaterial 310 besteht aus einer Paste auf Silberbasis.
4 ist ein Blockdiagramm, das Merkmale 400 eines thermischen Belastungssystems auf Rack-Ebene zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum gemäß mindestens einer Ausführungsform zeigt. In mindestens einer Ausführungsform umfasst ein thermisches Belastungssystem, das die Rack-Level-Merkmale 400 einschließt oder ihnen zugeordnet ist, ferner mindestens eine Stromverteilungseinheit (PDU) 410, die dem mindestens einen thermischen Merkmal zugeordnet ist, um mindestens die thermischen Eigenschaften des mindestens einen thermischen Merkmals zu ändern, um zur Kühlungsbelastung des Flüssigkeitskühlsystems des Rechenzentrums beizutragen. In mindestens einer Ausführungsform befindet sich das mindestens eine thermische Merkmal in einem oder mehreren der in Betrieb befindlichen oder nicht in Betrieb befindlichen Serverfächer 408. In mindestens einer Ausführungsform wird die Steuerung oder Modulation zugehöriger Durchflussregler und zugehöriger thermischer Merkmale in einem oder mehreren der in Betrieb befindlichen oder nicht in Betrieb befindlichen Serverfächer 408 durch Strom- und Kommunikationsleitungen 412 von der PDU 412 zu den jeweiligen Serverfächern 408 ermöglicht.
In mindestens einer Ausführungsform ist die PDU 410 einer ersten Halterung 404 des Racks 402 zugeordnet, während ein Rack-Verteiler 414 einer zweiten Halterung 406 des Racks 402 zugeordnet ist. In mindestens einer Ausführungsform kann der Gestellverteiler eine CDU auf Gestell- bzw. Rack-Ebene enthalten oder in diese integriert sein. In mindestens einer Ausführungsform ist der Rack-Verteiler 414 Einlass- und Auslassrohren oder -leitungen 418, 420 zugeordnet, um zu ermöglichen, dass Kühlmittel aus einem sekundären Kühlkreislauf die Serverfächer 408 erreicht und zusätzlich eine oder mehrere Kühleinrichtungen der Serverfächer 408 erreicht. In mindestens einer Ausführungsform können ein oder mehrere Durchflussregler 422A, B bereitgestellt sein, um das Kühlmittel durch und aus den Leitungen 418, 420 zu steuern.
In mindestens einer Ausführungsform umfasst die PDU 410 oder ein Rechenzentrumsmanagementsystem (DMS) ein lernendes Subsystem mit mindestens einem Prozessor, um die Kühlungsbelastung in der Testumgebung oder in einer Inbetriebnahmeumgebung zu bewerten. Die Testumgebung wird verwendet, um das lernende Subsystem zu verfolgen, während die Inbetriebnahmeumgebung verwendet werden kann, um eine Lösung für ein neues Merkmal zu finden, das dem Rechenzentrumsbetrieb hinzugefügt wurde und das das Kühlsystem belastet, wobei in mindestens einer Ausführungsform die Kühlungsbelastung mindestens durch Temperaturen repräsentiert werden kann, die auf das mindestens eine thermische Merkmal zusammen mit Durchflussraten oder Durchflussmengen angewendet werden, die dem mindestens einen Durchflussregler zugeordnet sind. Das lernende Teilsystem kann in einer Inbetriebnahme- oder Testumgebung eine Ausgabe bereitstellen, die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist und eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur repräsentiert. In mindestens einer Ausführungsform kann die mindestens eine Eingangstemperatur eine Nenntemperatur für eine in das Rechenzentrum zu integrierende Vorrichtung sein.
In mindestens einer Ausführungsform ist die PDU 410 oder das DMS mit dem lernenden Subsystem dazu angepasst, ein Modell maschinellen Lernens auszuführen. Das Modell maschinellen Lernens verarbeitet die Temperaturen des lernenden Teilsystems unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Temperaturen und mit zuvor zugeordneten Durchflussraten oder zuvor zugeordneten Durchflussmengen. Das Modell maschinellen Lernens ist dazu angepasst, die Ausgabe, die der Durchflussrate und/oder dem Durchflussvolumen zugeordnet ist, an den mindestens einen Controller weiterzuleiten. In mindestens einer Ausführungsform wird die Ausgabe nach einer Auswertung der Temperaturen mit den zuvor zugeordneten Durchflussraten oder den zuvor zugeordneten Durchflussmengen bereitgestellt. So können in mindestens einer Ausführungsform die Temperaturen, die bei der Auswertung verwendet werden, die historische Leistung der aufgelösten oder geänderten Temperaturen oder eine Temperatur sein, die die Einleitung der Kühlung bewirkt, während die zugeordneten Durchflussraten oder die zuvor zugeordneten Durchflussmengen ein Kühlmittelvolumen oder eine Durchflussrate sein können, die bereitgestellt werden, um die Kühlung einzuleiten oder die Auflösung oder Änderung der Temperaturen zu bewirken.
In mindestens einer Ausführungsform kann das Kühlmittelvolumen oder die Durchflussmenge, die bereitgestellt wird, um die Kühlung einzuleiten oder die Temperaturen aufzulösen oder zu ändern, mit Bezug auf eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur erfolgen. In mindestens einer Ausführungsform kann das lernende Teilsystem über den Deep-Learning-Anwendungsprozessor, wie den Prozessor 1400 in 14, implementiert sein und kann die Neuronen 1502 und deren Komponenten verwenden, die mit Hilfe von Schaltkreisen oder Logik implementiert sind, einschließlich einer oder mehrerer Arithmetik-Logik-Einheiten (ALUs), wie in 15 beschrieben
In mindestens einer Ausführungsform kann mindestens ein Prozessor zum Testen eines Kühlsystems verwendet werden, indem eine Kühlungsbelastung auf das Kühlsystem ausgeübt wird. In mindestens einer Ausführungsform kann der mindestens eine Prozessor mit dem Deep-Learning-Anwendungsprozessor, wie dem Prozessor 1400 in 14, implementiert sein und kann die Neuronen 1502 und Komponenten davon verwenden, die mit Schaltkreisen oder Logik implementiert sind, einschließlich einer oder mehrerer Arithmetik-Logik-Einheiten (ALUs), wie in 15 beschrieben. In mindestens einer Ausführungsform weist der mindestens eine Prozessor daher mindestens eine Logikeinheit auf, um eine Bewegung zu steuern, die mindestens einem Strömungsregler zugeordnet ist, um ein Servergehäuse zu kühlen. Das Servergehäuse weist mindestens ein thermisches Merkmal auf, das mindestens einem Kühlelement und dem mindestens einen Durchflussregler zugeordnet ist. Die mindestens eine thermische Eigenschaft und der mindestens eine Durchflussregler sind einstellbar, um die Kühlungsbelastung des Flüssigkeitskühlsystems des Rechenzentrums zu verursachen.
Der mindestens eine Prozessor umfasst in mindestens einer Ausführungsform das oben erwähnte lernende Teilsystem, um die Kühlungsbelastung des Kühlsystems zu bewerten. Die Kühlungsbelastung wird zumindest teilweise durch Temperaturen repräsentiert, die auf das mindestens eine thermische Merkmal zusammen mit Durchflussraten oder Durchflussmengen angewendet werden, die dem mindestens einen Durchflussregler zugeordnet sind. Der mindestens eine Prozessor kann eine Ausgabe bereitstellen, die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist und eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur repräsentiert. Wie an anderer Stelle in dieser Offenbarung beschrieben, wird die Ausgabe in einer Schulungs- oder Inbetriebnahmeumgebung bereitgestellt.
Der mindestens eine Prozessor führt in mindestens einer Ausführungsform ein Modell maschinellen Lernens des lernenden Teilsystems aus. Der mindestens eine Prozessor verarbeitet die Temperaturen unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Temperaturen und mit zuvor zugeordneten Durchflussraten oder zuvor zugeordneten Durchflussmengen.
Der mindestens eine Prozessor liefert die der Durchflussrate und/oder dem Durchflussvolumen zugeordnete Ausgabe an den mindestens einen Controller. Die Ausgabe wird nach einer Auswertung der Temperaturen mit den zuvor zugeordneten Durchflussraten oder den zuvor zugeordneten Durchflussmengen des Kühlsystems bereitgestellt.
Der mindestens eine Prozessor umfasst in mindestens einer Ausführungsform einen Anweisungsausgang, um den der Durchflussrate und/oder dem Durchflussvolumen zugeordneten Ausgang an den mindestens einen Controller zu übermitteln. Darüber hinaus ermöglicht der Anweisungsausgang des Prozessors, wie z.B. ein Pin eines Verbindungsbusses oder eine Kugel eines Kugelgitterfelds, die Kommunikation des Ausgangs mit dem einen oder den mehreren Durchflussreglern, um eine Durchflussrate des Kühlmittels, das einer Kühlschleife zugeordnet ist, zu ändern und eine bestimmte Durchflussrate oder ein bestimmtes Durchflussvolumen für das Kühlmittel im Ansprechen auf den Ausgang bzw. die Ausgabe zu bewirken. Darüber hinaus kann der Ausgang während des Trainings auch dem thermischen Merkmal zugeordnet sein, um die Kühlungsbelastung teilweise durch Erhöhung oder Verringerung der von dem thermischen Merkmal erzeugten Wärme zu verursachen. Bei der erzeugten Wärme kann es sich um eine bestimmte Wärme handeln, die erzeugt wird, um eine oder mehrere Rechenzentrumsvorrichtungen mit unterschiedlichen Leistungsniveaus zu replizieren. Die ermittelte Durchflussrate oder das Durchflussvolumen des Kühlmittels kann in der Trainingsumgebung dazu dienen, das thermische Merkmal abzuschalten oder ihm das Kühlmittel zu entziehen, um Probleme zu erkennen oder zu replizieren, die beim Betrieb des Rechenzentrums mit Rechenzentrumsvorrichtungen auftreten oder vorhanden sein können.
Der mindestens eine Prozessor umfasst in mindestens einer Ausführungsform die mindestens eine Logikeinheit, die dazu angepasst ist, einen Temperaturwert von einem Temperatursensor zu empfangen, der einer Rechenzentrumseinrichtung in einer Inbetriebnahme- oder einer Trainingsumgebung (auch als Testumgebung bezeichnet) zugeordnet ist. Der mindestens eine Prozessor ist dazu angepasst, die Bewegung eines Kühlmittels bei einem Schwellenwert zu ermöglichen, der die Durchflussrate und/oder das Durchflussvolumen einschließt. Der Schwellenwert kann einen Bereich von Werten umfassen, die Mindest- und Höchstwerte für den Betrieb des Kühlmittels durch den mindestens einen Durchflussregler repräsentieren.
In einer Ausführungsform wird mindestens ein Prozessor für ein Kühlsystem offenbart. Der mindestens eine Prozessor kann in mindestens einer Ausführungsform Teil eines Systems zum Testen eines Kühlsystems sein. Der mindestens eine Prozessor dient zum Trainieren eines Systems, wie z.B. eines lernenden Subsystems, das zum Testen und zur Inbetriebnahme von Kühlsystemen geeignet ist. Der mindestens eine Prozessor umfasst in mindestens einer Ausführungsform mindestens eine Logikeinheit zum Trainieren eines oder mehrerer neuronaler Netzwerke mit verborgenen Schichten von Neuronen zur Bewertung der Kühlungsbelastung des Kühlsystems. Die Kühlungsbelastung wird zumindest teilweise durch Temperaturen repräsentiert, die auf das mindestens eine thermische Merkmal zusammen mit Durchflussraten oder Durchflussmengen, die dem mindestens einen Durchflussregler zugeordnet sind, angewendet werden. Der mindestens eine Prozessor liefert durch die mindestens eine Logikeinheit eine Ausgabe, die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist, die bzw. das eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur repräsentiert, wie z.B. eine Nenntemperatur für eine Rechenzentrumsvorrichtung unter Betriebsbedingungen.
5 ist ein Prozessablauf von Schritten, die für ein Verfahren 500 zur Verwendung oder Herstellung des Kühlsystems der 2-4 und 6A-17D gemäß mindestens einer Ausführungsform verfügbar sind. Ein Schritt 502 ist das Bereitstellen eines Servergehäuses mit mindestens einem thermischen Merkmal, das mindestens einem Kühlelement und mindestens einem Durchflussregler zugeordnet ist. Schritt 504 ermöglicht die Einstellung des mindestens einen thermischen Merkmals und des mindestens einen Durchflussreglers. In mindestens einer Ausführungsform wird die Einstellung ermöglicht, indem mindestens ein Prozessor bereitgestellt wird, um eine Ausgabe zu liefern, die eine oder mehrere Aktionen ausführt, einschließlich der Änderung einer Temperatur, die der mindestens einen thermischen Funktion zugeordnet ist, und der Änderung einer Durchflussrate oder eines Durchflussvolumens, die dem mindestens einen Durchflussregler zugeordnet sind. In mindestens einer Ausführungsform enthält der mindestens eine Prozessor, wie in den 2 bis 4 beschrieben, ein Lernsubsystem, das ein Modell maschinelles Lernens, wie ein neuronales Netzwerk, ausführt, um ein Training innerhalb des Modells maschinellen Lernens durchzuführen und die Ausgabe an das mindestens eine thermische Merkmal und an den mindestens einen Durchflussregler zu liefern. Infolgedessen ermöglichen die Änderungen der Temperatur oder der Durchflussrate oder des Durchflussvolumens eine Kühlungsbelastung für das Flüssigkeitskühlsystem des Rechenzentrums. Das mindestens eine thermische Merkmal und der mindestens eine Durchflussregler sind daher einstellbar, um die Kühlungsbelastung für das Flüssigkeitskühlsystem des Rechenzentrums zu bewirken.
In mindestens einer Ausführungsform umfasst das Verfahren 500 einen Schritt 506 zur Bestimmung, dass Kühlanforderungen dem mindestens einen thermischen Merkmal und dem mindestens einen Durchflussregler zugeordnet sind. In mindestens einer Ausführungsform wird zunächst eine Temperatur unter Verwendung des thermischen Merkmals bestimmt und eine Durchflussrate oder ein Durchflussvolumen wird dem mindestens einen Durchflussregler über Schritt 504 mitgeteilt. In Schritt 506 kann der Kühlbedarf ermittelt werden. Bei der Ermittlung in Schritt 506 kann es sich um eine Differenz zwischen der zuerst ermittelten Temperatur und einer gemessenen Temperatur handeln, die die Wirkung des zuerst ermittelten Kühlmittels widerspiegelt. Die Bestimmung des Kühlbedarfs in Schritt 506 wird in Schritt 508 weiter ausgewertet, um zu prüfen, ob die angegebene Durchflussrate oder das angegebene Durchflussvolumen nicht ausreicht, um die zuerst angegebene Temperatur zu erreichen (dass der Kühlbedarf nicht erfüllt wird). In mindestens einer Ausführungsform kann der Schritt 508 ein zeitlich festgelegter Schritt sein, der über mehrere Zeitzyklen hinweg erfolgt, wobei der Schritt 506 mindestens einmal in jedem Zyklus durchgeführt wird. Die Schritte 506 und 508 können zyklisch ablaufen, bis die mehreren Zeitzyklen abgeschlossen sind und überprüft wurde, dass die Kühlanforderung nicht erfüllt ist.
In mindestens einer Ausführungsform werden in Schritt 510 das mindestens eine thermische Merkmal und der mindestens eine Durchflussregler so eingestellt, dass das Flüssigkeitskühlsystem des Rechenzentrums unter Kühlungsstress gerät, bis die Kühlungsanforderungen erfüllt sind. In mindestens einer Ausführungsform übersteigen die Kühlungsanforderungen die Kapazität des Flüssigkeitskühlsystems des Rechenzentrums für eine Rechenzentrumsvorrichtung, die im Rechenzentrum eingesetzt werden soll. In mindestens einer Ausführungsform kann das Verfahren 500 wiederholt werden, indem mechanische und physikalische Merkmale des Flüssigkeitskühlsystems des Rechenzentrums angepasst werden. In mindestens einer Ausführungsform besteht das Ziel des Verfahrens 500 darin, eine Kühlungsbelastung für das Flüssigkeitskühlsystem des Rechenzentrums festzulegen, um die Grenzen der verfügbaren Kühlung zu erkennen. In mindestens einer Ausführungsform impliziert die Kühlungsbelastung, dass mindestens eine Temperatur an der thermischen Einrichtung anliegt, die vom Kühlsystem nicht bewältigt werden kann.
In mindestens einer Ausführungsform kann das lernende Teilsystem mit den Schritten 504-510 verwendet werden, um die behaupteten Temperaturen und/oder Durchflussraten (oder Durchflussmengen) kontinuierlich anzupassen und die Leistung des Kühlsystems zu verfolgen. In mindestens einer Ausführungsform ist das lernende Teilsystem zusammen mit mindestens der thermischen Funktion in der Lage, als Rechenzentrumsvorrichtung zu agieren und einen variablen Temperaturbereich bereitzustellen, der den Nenntemperaturen für tatsächliche Rechenzentrumsvorrichtungen, wie die GPU, die CPU und die Schalter, auf die an anderer Stelle in dieser Offenbarung Bezug genommen wird, zugeordnet ist. Das lernende Subsystem lernt die Aktionen der Rechenzentrumsvorrichtungen und ist in der Lage, ihre thermischen Reaktionen zu replizieren, so dass das mindestens eine thermische Merkmal als Rechenzentrumsvorrichtung für seine Wärmeeigenschaften erscheint. In mindestens einer Ausführungsform ist das lernende Teilsystem auch in der Lage, die Strömungseigenschaften des Kühlsystems, das Störungen aufweist, zu replizieren. In mindestens einer Ausführungsform ist das lernende Teilsystem in der Lage, den Durchfluss insgesamt zu beenden oder die Durchflussrate oder das Durchflussvolumen einer Kühlung des Kühlsystems durch einen Ausgang zu einem oder mehreren Durchflussreglern zu modulieren. Die Beendigung des Durchflusses oder die Modulation der Durchflussrate oder des Durchflussvolumens kann frühere Durchflussprobleme in einem Kühlsystem darstellen und kann verwendet werden, um eine Kühlungsbelastung für das Kühlsystem in einer Test- oder Trainingsumgebung zu ermitteln.
In mindestens einer Ausführungsform ist das lernende Teilsystem in der Lage, auf Reize des Kühlsystems zu reagieren. In mindestens einer Ausführungsform ist das lernende Teilsystem in der Lage, aus einer Test- oder Trainingsumgebung zu lernen, wie ein vorhandenes Kühlsystem auf geltend gemachte Wärmemerkmale von einer Heizspirale reagieren kann, und ist in der Lage, Kühlmittel bereitzustellen, das speziell auf eine Temperatureingabe für eine Rechenzentrumseinrichtung in einer Inbetriebnahmeumgebung abgestimmt ist, wobei die geltend gemachten Wärmemerkmale und die Fähigkeiten des vorhandenen Kühlsystems verwendet werden. Die Inbetriebnahmeumgebung bezieht sich auf neue Kühlanforderungen der Rechenzentrumsvorrichtung, die innerhalb des bestehenden Kühlsystems verwendet wird. In mindestens einer Ausführungsform eines reaktiven Merkmals gibt das lernende Teilsystem der Heizspirale zunächst verschiedene Wärmeeigenschaften vor, wie z.B. eine maximale Wärme (oder Temperatur), eine minimale Wärme (oder Temperatur) und eine Zwischenwärme (oder Zwischentemperaturen), und lernt dann die Reaktionen des Kühlsystems anhand der vorhandenen Durchflussraten und Durchflussmengen eines Kühlmittels des vorhandenen Kühlsystems. In mindestens einer Ausführungsform werden die vorhandenen Durchflussraten und Durchflussmengen vom lernenden Teilsystem überprüft, um festzustellen, ob sie den verschiedenen Wärmeeigenschaften entsprechen.
In mindestens einer Ausführungsform ist das lernende Teilsystem, das das reaktive Merkmal verwendet, in der Lage, einen Temperaturbereichsschwellenwert zu erlernen, der durch einen Wert unterhalb der maximalen Wärme widergespiegelt wird, die der Heizspirale zugeführt wird (der eine maximale Nenntemperatur einer Rechenzentrumsvorrichtung genau widerspiegelt), was jenseits einer effektiven Fähigkeit des Kühlsystems liegen kann, bei seiner maximalen Durchflussrate oder seinem maximalen Durchflussvolumen des Kühlmittels, das an eine mit der Heizspirale verbundene Kälteplatte verteilt wird. In mindestens einer Ausführungsform kann der Schwellenwert für den Temperaturbereich auch einen Wert oberhalb der Mindestwärme widerspiegeln und/oder Werte für eine Zwischenwärme widerspiegeln, die dem thermischen Merkmal zugeführt wird, um die Fähigkeiten des vorhandenen Kühlsystems zu sichern.
In mindestens einer Ausführungsform kann der Schwellenwert für den Temperaturbereich auch eine oder mehrere Temperaturraten widerspiegeln, die entweder ansteigen oder abfallen, um eine Reaktionsgeschwindigkeit des Kühlsystems anhand eines angegebenen Durchflusses oder einer angegebenen Durchflussmenge des Kühlmittels zu erkennen. In mindestens einer Ausführungsform erkennt das lernende Teilsystem die maximal verfügbare Kühlung durch das Kühlsystem (mit maximaler Durchflussrate oder Durchflussmenge und maximaler Temperatur), was ein Hinweis auf die beste verfügbare Reaktion des vorhandenen Kühlsystems sein kann. In mindestens einer Ausführungsform ermöglicht die reaktive Funktion des lernenden Teilsystems das Lernen von Informationen, die die Kühlungsbelastung des Kühlsystems widerspiegeln, die durch mindestens geltend gemachte Temperatursteuerungen an der Heizschlange und geltend gemachte Durchflussraten oder Durchflussmengen des verfügbaren Kühlmittels an mindestens einem Durchflussregler verursacht wird. Der geltend gemachte Durchfluss oder die geltend gemachte Durchflussmenge des Kühlmittels repräsentiert einen Schritt 506 zum Bestimmen, dass Kühlanforderungen der mindestens einen thermischen Funktion und dem mindestens einen Durchflussregler zugeordnet sind.
In mindestens einer Ausführungsform ist das lernende Teilsystem darauf trainiert, die Temperaturbereichsschwellenwerte zu verstehen, die für den Betrieb einer neuen Rechenzentrumsvorrichtung innerhalb der Grenzen des bestehenden Kühlsystems verfügbar sind. Das lernende Teilsystem ist in der Lage, eine Kühlungsbelastung des Kühlsystems für die neue Rechenzentrumsvorrichtung anzugeben, einschließlich einer oder mehrerer maximaler Durchflussraten, maximaler Durchflussmengen und der Temperaturbereichsschwellenwerte, die vom Kühlsystem eingehalten werden können. In mindestens einer Ausführungsform können diese Informationen verwendet werden, um eine andere Rechenzentrumsvorrichtung als die neue Rechenzentrumsvorrichtung auszuwählen, deren Temperaturwerte zum Testen oder Trainieren des lernenden Teilsystems verwendet wurden.
In mindestens einer Ausführungsform können die Arbeitsschritte beinhalten, dass bestimmt wird, dass eine Rechenzentrumsvorrichtung installiert werden muss, um die Betriebsanforderungen für ein Rechenzentrum zu erfüllen. Die Temperaturwerte für die Rechenzentrumsvorrichtung können Herstellerspezifikationen entnommen werden, und das lernende Teilsystem kann darauf trainiert werden, Temperaturen zu ermitteln, die die Temperaturwerte um einen Schwellenprozentsatz überschreiten, z.B. um 5% am oberen und unteren Ende für die Rechenzentrumsvorrichtung. Das lernende Teilsystem kann dann die Temperaturen an das im Rechenzentrum installierte und von mindestens einer Kälteplatte im Rechenzentrum unterstützte thermische Merkmal ausgeben. Das lernende Teilsystem kann dann eine Reihe von Ausgaben an einen oder mehrere Durchflussregler liefern, um die Temperaturen durch die Kälteplatte zu adressieren. Das lernende Teilsystem kann die gemessenen Temperaturen der Umgebung (zumindest in der Nähe des thermischen Merkmals im Rechenzentrum) sichern oder sich auf die festgestellten Temperaturen selbst verlassen. Das lernende Teilsystem ist in der Lage, die Schwellenwerte für den Temperaturbereich aus den gemessenen Temperaturen (oder aus den behaupteten Temperaturen, wenn diese gleich den gemessenen Temperaturen sind) mit dem Bereich der Ausgänge (die den Durchflussraten und/oder Durchflussmengen des Kühlmittels entsprechen) zu korrelieren, die dem Kühlsystem bereitgestellt werden.
In mindestens einer Ausführungsform repräsentiert die Korrelation eine Bewertung der Kühlungsbelastung des Kühlsystems. Die Kühlungsbelastung wird zumindest durch die Temperaturen repräsentiert, die auf das mindestens eine thermische Merkmal einwirken (oder von diesem gemessen werden), zusammen mit den Durchflussraten oder Durchflussmengen, die dem mindestens einen Durchflussregler zugeordnet sind (um diese Temperaturen zu berücksichtigen). Die Korrelation kann eine Grundlage für das lernende Teilsystem sein, um eine Ausgabe zu liefern (entweder am Ende der Prüfung oder für die Inbetriebnahme eines Kühlsystems), die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist, das eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur einer neuen Rechenzentrumsvorrichtung repräsentiert. In mindestens einer Ausführungsform bezieht sich die Inbetriebnahme eines Kühlsystems auf die Erfüllung der Kühlungsanforderungen einer neuen Rechenzentrumsvorrichtung unter Verwendung des bestehenden Kühlsystems.
In mindestens einer Ausführungsform wird die für das neue Rechenzentrum vorgesehene Temperatur als Eingangstemperatur für das lernende Teilsystem verwendet, und die Ausgabe kann aus den Durchflussraten oder Durchflussmengen bestehen, die zur Bewältigung der Eingangstemperatur erforderlich sind. In mindestens einer Ausführungsform, wenn die verwendeten Temperaturen die Nenntemperaturen um den Schwellenprozentsatz überschreiten und die erfasste Temperatur bei einer maximal verfügbaren Durchflussrate oder Durchflussmenge des Kühlmittels keine Entlastung zeigt. In mindestens einer Ausführungsform wird diese Information, die sich auf die fehlende Entlastung der behaupteten oder gemessenen Temperatur bezieht, im lernenden Teilsystem verwendet, um eine andere Rechenzentrumsvorrichtung als die neue Rechenzentrumsvorrichtung zu bestimmen, die im Rechenzentrum verwendet werden soll. Die andere Rechenzentrumsvorrichtung hat einen größeren Betriebsbereich, um die Grenzen des Kühlsystems zu überstehen. Alternativ kann das Kühlsystem angepasst werden, um die Durchflussrate oder das Durchflussvolumen lokal zu erhöhen, und zwar in einem Serververteiler, einem Rackverteiler oder in den Leitungen zu den Kälteplatten. Die Anpassung kann durch Änderung der Durchmesser einiger Rohrleitungen und durch erneutes Testen der Fähigkeit des Kühlsystems, die Temperaturen der neuen Rechenzentrumsvorrichtung zu bewältigen, erfolgen, anstatt eine andere Rechenzentrumsvorrichtung zu verwenden.
In mindestens einer Ausführungsform kann das lernende Teilsystem über den Deep-Learning-Anwendungsprozessor, wie z.B. den Prozessor 1400 in 14, implementiert werden und die Neuronen 1502 und deren Komponenten verwenden, die durch Schaltkreise oder Logik implementiert werden, einschließlich einer oder mehrerer Arithmetik-Logik-Einheiten (ALUs), wie in 15 beschrieben. Als solches umfasst das lernende Teilsystem mindestens einen Prozessor zur Auswertung der Temperaturen in den Servern des einen oder der mehreren Racks, wobei die Durchflussraten und Durchflussmengen eines Kühlmittels geltend gemacht werden. In mindestens einer Ausführungsform können Aspekte der Verarbeitung für das Subsystem für tiefes Lernen die gesammelten Informationen verwenden, die gemäß den unter Bezugnahme auf die 14, 15 erörterten Merkmalen verarbeitet werden. In mindestens einer Ausführungsform verwendet die Verarbeitung der Temperaturen mehrere Neuronenebenen des Modells maschinellen Lernens, die mit einem oder mehreren der oben genannten gesammelten Temperaturmerkmale und den entsprechenden Durchflussraten oder Durchflussmengen des Kühlmittels im Kühlsystem geladen werden. In mindestens einer Ausführungsform kann das Testen oder Trainieren mit verschiedenen Kühlmitteln durchgeführt werden. Das lernende Teilsystem führt ein Training durch, das als Auswertung von Temperaturänderungen repräsentiert sein kann, die früheren Durchflussraten oder Durchflussmengen gemäß den an einem oder mehreren Durchflussreglern vorgenommenen Einstellungen zugeordnet sind. Die Neuronenebenen können Werte speichern, die dem Bewertungsprozess zugeordnet sind, und können eine Assoziation oder Korrelation zwischen den Temperaturänderungen und den Durchflussraten oder Durchflussmengen repräsentieren.
In mindestens einer Ausführungsform können ein Prozessor und ein Durchflussregler gemeinsam arbeiten. Der Prozessor (auch als zentrales oder verteiltes Steuerungssystem bezeichnet) ist mindestens ein Prozessor mit mindestens einer Logikeinheit zur Steuerung von Durchflussreglern, die einem oder mehreren Kühlkreisläufen zugeordnet sind. In mindestens einer Ausführungsform befindet sich der mindestens eine Prozessor innerhalb des Rechenzentrums, wie z.B. ein Prozessor 702 in 7A. Der Controller erleichtert die Bewegung eines entsprechenden Kühlmittels und erleichtert die Kühlung der zugehörigen thermischen Merkmale im Rechenzentrum als Reaktion auf die in dem Bereich gemessenen oder festgestellten Temperaturen. In mindestens einer Ausführungsform ist der mindestens eine Prozessor ein Prozessorkern eines Mehrkern-Prozessors, wie die Mehrkern-Prozessoren 905, 906 in 9A. In mindestens einer Ausführungsform kann die mindestens eine Logikeinheit dazu angepasst sein, Temperaturwerte von Temperatursensoren zu empfangen, die Servern oder dem einen oder den mehreren Racks zugeordnet sind, und dazu angepasst sein, die Bewegung des Kühlmittels zu erleichtern. In mindestens einer Ausführungsform verfügt der Controller über einen Mikroprozessor, um seine Kommunikations- und Steuerungsaufgaben mit seiner jeweiligen Bewegungsfunktion zu erfüllen.
In mindestens einer Ausführungsform kann ein Prozessor, wie z.B. die Prozessorkerne der Mehrkern-Prozessoren 905, 906 in 9A, ein lernendes Subsystem zur Auswertung von Temperaturen von Sensoren an verschiedenen Stellen im Rechenzentrum enthalten, z.B. an verschiedenen Stellen, die den Servern oder den Racks oder sogar einer Komponente innerhalb des Servers zugeordnet sind, mit Oberflächenbereichen, die mindestens einem Kühlkörper zugeordnet sind. Das lernende Teilsystem stellt eine Ausgabe bereit, z.B. eine Anweisung, die mindestens einer Temperatur oder einer Durchflussrate zugeordnet ist, um die Bewegung des Kühlmittels zu erleichtern.
RECHENZENTRUM
6A zeigt ein Beispiel für ein Rechenzentrum 600, in dem mindestens eine Ausführungsform aus 2-5 verwendet werden kann. In mindestens einer Ausführungsform umfasst das Rechenzentrum 600 eine Rechenzentrumsinfrastrukturschicht 610, eine Frameworkschicht 620, eine Softwareschicht 630 und eine Anwendungsschicht 640. In mindestens einer Ausführungsform, wie in 2-5 beschrieben, können Merkmale bzw. Funktionen in den Komponenten eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums innerhalb des oder in Zusammenarbeit mit dem beispielhaften Rechenzentrum 600 durchgeführt werden. In mindestens einer Ausführungsform können die Infrastrukturschicht 610, die Frameworkschicht 620, die Softwareschicht 630 und die Anwendungsschicht 640 teilweise oder vollständig über Rechenkomponenten auf Server-Trays bereitgestellt werden, die sich in Racks 210 des Rechenzentrums 200 befinden. Dies ermöglicht es erfindungsgemäßen Kühlsystemen, die Kühlung in effizienter und effektiver Weise auf bestimmte Rechenkomponenten zu richten. Darüber hinaus können Aspekte des Rechenzentrums, einschließlich der Rechenzentrumsinfrastrukturschicht 610, der Frameworkschicht 620, der Softwareschicht 630 und der Anwendungsschicht 640 verwendet werden, um eine intelligente Steuerung der Steuerungen in einem thermischen Belastungssystem zu unterstützen, das hierin zumindest unter Bezugnahme auf die obigen 2 bis 5 erörtert wird. Insoweit kann die Diskussion in Bezug auf 6A-17D so verstanden werden, dass sie sich auf die Hardware- und Softwaremerkmale bezieht, die erforderlich sind, um ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für das Rechenzentrum der 2-5 zu ermöglichen bzw. zu aktivieren oder zu unterstützen.
In mindestens einer Ausführungsform, wie in 6A, kann die Rechenzentrumsinfrastrukturschicht 610 einen Ressourcen-Orchestrator 612, gruppierte Rechenressourcen 614 und Knoten-Rechenressourcen („Knoten-C.R.s“) 616(1)-616(N) beinhalten, wobei „N“ eine beliebige ganze, positive Zahl repräsentiert. In mindestens einer Ausführungsform können die Knoten-C.R.s 616(1)-616(N) eine beliebige Anzahl von Zentraleinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, feldprogrammierbaren Gate-Arrays (FPGAs), Grafikprozessoren usw.), Speichervorrichtungen (wie z.B. dynamische), Speichervorrichtungen (z.B. dynamischer Festwertspeicher), Speichervorrichtungen (z.B. Festkörper- oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabe-Vorrichtungen („NW E/A“), Netzwerk-Switches, virtuelle Maschinen („VMs“), Stromversorgungsmodule und Kühlmodule, usw. beinhalten, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform können ein oder mehrere Knoten-C.R.s unter den Knoten-C.R.s 616(1)-616(N) ein Server mit einer oder mehreren der vorstehend erwähnten genannten Rechenressourcen sein.
In mindestens einer Ausführungsform können die gruppierten Rechenressourcen 614 separate Gruppierungen von Knoten-CRs umfassen, die in einem oder mehreren Racks (nicht dargestellt) oder in vielen Racks in Rechenzentren an verschiedenen geografischen Standorten (ebenfalls nicht dargestellt) untergebracht sind. Getrennte Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechenressourcen 614 können gruppierte Rechen-, Netzwerk-, Speicher- oder Speicherressourcen umfassen, die zur Unterstützung einer oder mehrerer Arbeitslasten konfiguriert oder zugewiesen sein können. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s mit CPUs oder Prozessoren in einem oder mehreren Racks gruppiert sein, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform können ein oder mehrere Racks auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination enthalten.
In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 612 einen oder mehrere Knoten-CRs 616(1)-616(N) und/oder gruppierte Rechenressourcen 614 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 612 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 600 umfassen. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator Hardware, Software oder eine Kombination davon umfassen.
In mindestens einer Ausführungsform, wie in 6A gezeigt, umfasst die Framework-Schicht 620 einen Arbeitsplaner 622, einen Konfigurationsverwalter 624, einen Ressourcenverwalter 626 und ein verteiltes Dateisystem 628. In mindestens einer Ausführungsform kann die Framework-Schicht 620 ein Framework zur Unterstützung der Software 632 der Softwareschicht 630 und/oder einer oder mehrerer Anwendung(en) 642 der Anwendungsschicht 640 enthalten. In mindestens einer Ausführungsform können die Software 632 oder die Anwendung(en) 642 jeweils webbasierte Dienstsoftware oder Anwendungen umfassen, wie sie beispielsweise von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann die Framework-Schicht 620 eine Art freies und quelloffenes Software-Webanwendungs-Framework sein, wie z.B. Apache Spark™ (im Folgenden „Spark“), das ein verteiltes Dateisystem 628 für die Verarbeitung großer Datenmengen (z.B. „Big Data“) nutzen kann, ist aber nicht darauf beschränkt. In mindestens einer Ausführungsform kann der Arbeitsplaner 632 einen Spark-Treiber enthalten, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 600 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsverwalter 624 in der Lage sein, verschiedene Schichten zu konfigurieren, z.B. die Softwareschicht 630 und die Framework-Schicht 620 einschließlich Spark und das verteilte Dateisystem 628 zur Unterstützung der Verarbeitung gro-ßer Datenmengen. In mindestens einer Ausführungsform kann der Ressourcenverwalter 626 in der Lage sein, geclusterte oder gruppierte Rechenressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 628 und des Arbeitsplaners 622 auf diese abgebildet oder diesen zugeordnet sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Computerressourcen eine gruppierte Computerressource 614 auf der Rechenzentrumsinfrastrukturebene 610 umfassen. In mindestens einer Ausführungsform kann der Ressourcenverwalter 626 mit dem Ressourcen-Orchestrator 612 koordiniert werden, um diese zugeordneten oder zugewiesenen Computerressourcen zu verwalten.
In mindestens einer Ausführungsform kann die in der Softwareschicht 630 enthaltene Software 632 Software enthalten, die von mindestens Teilen der Knoten C.R.s 616(1)-616(N), den gruppierten Computerressourcen 614 und/oder dem verteilten Dateisystem 628 der Framework-Schicht 620 verwendet wird. Eine oder mehrere Arten von Software können unter anderem Internet-Suchsoftware, E-Mail-Virenscan-Software, Datenbanksoftware und Software für Streaming-Videoinhalte enthalten, sind aber nicht darauf beschränkt.
In mindestens einer Ausführungsform kann (können) die in der Anwendungsschicht 640 enthaltene(n) Anwendung(en) 642 eine oder mehrere Arten von Anwendungen umfassen, die von mindestens Teilen der Knoten C.R.s 616(1)-616(N), gruppierten Rechenressourcen 614 und/oder dem verteilten Dateisystem 628 der Framework-Schicht 620 verwendet werden. Eine oder mehrere Arten von Anwendungen kann/können eine beliebige Anzahl einer Genomanwendung, kognitiven Rechnens und einer Anwendung maschinellen Lernens, einschließlich einer Trainings- oder Inferenzierungs-Software, einer Framework-Software für maschinelles Lernen (z.B. PyTorch, TensorFlow, Caffe usw.) oder anderer Anwendungen maschinellen Lernens, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden, umfassen, sind aber nicht darauf beschränkt.
In mindestens einer Ausführungsform können der Konfigurationsverwalter 624, der Ressourcenverwalter 626 und der Ressourcen-Orchestrator 612 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren, die auf einer beliebigen Menge und Art von Daten basieren, die auf jede technisch mögliche Weise erfasst wurden. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Rechenzentrumsbetreiber des Rechenzentrums 600 davon entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht funktionierende Teile eines Rechenzentrums vermeiden.
In mindestens einer Ausführungsform kann das Rechenzentrum 600 Werkzeuge, Dienste, Software oder andere Ressourcen enthalten, um ein oder mehrere Modelle maschinellen Lernens zu trainieren oder Informationen unter Verwendung eines oder mehrerer Modelle maschinellen Lernens gemäß einer oder mehrerer hierin beschriebener Ausführungsformen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform kann ein Modell maschinellen Lernens trainiert werden, indem Gewichtsparameter gemäß einer neuronalen Netzwerkarchitektur unter Verwendung von Software und Rechenressourcen berechnet werden, die vorstehend in Bezug auf das Datenzentrum 600 beschrieben wurden. In mindestens einer Ausführungsform können trainierte Modelle maschinellen Lernens, die einem oder mehreren neuronalen Netzwerken entsprechen, verwendet werden, um Informationen abzuleiten oder vorherzusagen, wobei die oben beschriebenen Ressourcen in Bezug auf das Rechenzentrum 600 verwendet werden, indem Gewichtungsparameter verwendet werden, die durch eine oder mehrere hierin beschriebene Trainingstechniken berechnet werden. Wie bereits erörtert, können Techniken des tiefen Lernens verwendet werden, um die intelligente Steuerung der Controller in einem thermischen Belastungssystem zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums zu unterstützen, indem die Temperaturen im Bereich des Rechenzentrums überwacht werden. Deep Learning kann mit jedem geeigneten Lernnetzwerk und den Rechenkapazitäten des Rechenzentrums 600 weiterentwickelt werden. So kann ein Deep Neural Network (DNN), ein Recurrent Neural Network (RNN) oder ein Convolutional Neural Network (CNN) entweder gleichzeitig oder parallel mit der Hardware im Rechenzentrum unterstützt werden. Sobald ein Netzwerk trainiert und erfolgreich evaluiert wurde, um Daten innerhalb einer Teilmenge oder eines Slice zu erkennen, kann das trainierte Netzwerk ähnliche repräsentative Daten zur Verwendung mit den gesammelten Daten liefern.
In mindestens einer Ausführungsform kann das Rechenzentrum 600 CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um das Training und/oder die Inferenzierung unter Verwendung der oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst konfiguriert werden, um es Benutzern zu ermöglichen, Informationen wie Druck, Durchflussraten, Temperatur und Standortinformationen zu trainieren oder zu inferenzieren, oder andere Dienste der künstlichen Intelligenz zu nutzen.
INFERENZIERUNGS- UND TRAININGSLOGIK
Die Inferenzierungs- und/oder Trainingslogik 615 kann verwendet werden, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in dem System von 6A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hierin beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, eine Hardware-Logik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) wie der Tensorflow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana®-Prozessor (z.B. „Lake Crest“) von Intel Corp. verwendet werden.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit CPU-Hardware, GPU-Hardware oder anderer Hardware, wie z.B. FPGAs (Field Programmable Gate Arrays), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Code- und/oder Datenspeichermodule, die zum Speichern von Code (z.B. Graphencode), Gewichtungswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform ist jedes der Code- und/oder Datenspeichermodule mit einer dedizierten Rechenressource verbunden. In mindestens einer Ausführungsform umfasst die dedizierte Rechenressource Rechenhardware, die ferner eine oder mehrere ALUs umfasst, die mathematische Funktionen, wie lineare algebraische Funktionen, nur auf Informationen ausführen, die in Code- und/oder Datenspeichermodulen gespeichert sind, und deren Ergebnisse in einem Aktivierungsspeichermodul der Inferenzierungs- und/oder Trainingslogik 615 gespeichert werden.
6B, 6C zeigen eine Inferenzierungs- und/oder Trainingslogik, wie sie in 6A und in mindestens einer Ausführungsform der Erfindung verwendet wird, gemäß mindestens einer Ausführungsform. Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit mindestens einer Ausführungsform durchzuführen. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6B und/oder 6C beschrieben. Die Inferenzierungs- und/oder Trainingslogik 615 von 6B und 6C unterscheidet sich durch die Verwendung der Arithmetik-Logik-Einheiten (ALUs) 610 gegenüber der Rechenhardware 602, 606. In mindestens einer Ausführungsform enthalten sowohl die Rechenhardware 602 als auch die Rechenhardware 606 eine oder mehrere ALUs, die mathematische Funktionen, wie z.B. lineare algebraische Funktionen, nur auf Informationen ausführen, die in dem Code- und/oder Datenspeicher 601 bzw. in dem Code- und/oder Datenspeicher 605 gespeichert sind, deren Ergebnis im Aktivierungsspeicher 620 gespeichert wird. Als solche können 6B und 6C Alternativen sein und austauschbar verwendet werden, sofern nicht anders angegeben.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Code- und/oder Datenspeicher 601 zum Speichern von Vorwärts- und/oder Ausgabegewicht und/oder Eingangs-/ Ausgangsdaten und/oder anderen Parametern zum Konfigurieren von Neuronen oder Schichten eines neuronalen Netzwerks beinhalten, das zur Inferenzierung in mindestens einer Ausführungsform trainiert und/oder verwendet wird. In zumindest einer Ausführungsform kann die Trainingslogik 615 Code und/oder Datenspeicher 601 beinhalten oder mit diesem gekoppelt sein, um Grafikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welcher Gewichts- und/oder andere Parameterinformationen zu laden sind, um Logik, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (kollektiv Arithmetik-Logik-Einheiten (ALUs)) zu konfigurieren. In zumindest einer Ausführungsform lädt Code, wie beispielsweise Grafikcode, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht. In zumindest einer Ausführungsform speichert der Code- und/oder Datenspeicher 601 Gewichtsparameter und/oder Ein-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das in Verbindung mit mindestens einer Ausführungsform während der Vorwärtspropagation von Ein-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von Aspekten mindestens einer Ausführungsform trainiert oder verwendet wurde. In zumindest einer Ausführungsform kann jeder Abschnitt des Code- und/oder Datenspeichers 601 in anderem On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Caches oder Systemspeichers eines Prozessors, enthalten sein.
In mindestens einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 601 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In mindestens einer Ausführungsform können Code und/oder der Code und/oder Datenspeicher 601 Cache-Speicher, dynamisches RAM („DRAM“), statisches RAM („SRAM“), nichtflüchtiger Speicher (wie beispielsweise Flash-Speicher) oder anderer Speicher sein. In zumindest einer Ausführungsform kann die Wahl, ob Code und/oder der Code und/oder Datenspeicher 601 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speichertyp besteht, von auf dem Chip bzw. on-chip gegenüber nicht auf dem Chip bzw. off-chip verfügbarem Speicher, Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, einen Code- und/oder Datenspeicher 605 beinhalten zum Speichern von Rückwärts- und/oder Ausgangsgewichten und/oder Eingangs-/Ausgangsdaten, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das zur Inferenzierung in mindestens einer Ausführungsform trainiert und/oder verwendet wird. In zumindest einer Ausführungsform speichert der Code- und /oder Datenspeicher 605 Gewichtsparameter und/oder Eingangs-/Ausgangsdaten jeder Schicht eines neuronalen Netzwerks, die in Verbindung mit mindestens einer Ausführungsform während einer Rückwärtspropagation von Eingangs-/Ausgangsdaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von mindestens einer Ausführungsform trainiert oder verwendet werden. In zumindest einer Ausführungsform kann die Trainingslogik 615 den Code und/oder Datenspeicher 605 beinhalten oder mit diesem gekoppelt sein, um Grafikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welchem bzw. welcher Gewichts- und/oder andere Parameterinformationen zum Konfigurieren von Logik einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (kollektiv Arithmetik-Logik-Einheiten (ALUs)) zu laden sind.
In mindestens einer Ausführungsform lädt Code, wie beispielsweise Graphencode, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 605 mit anderem On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, verbunden sein. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 605 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In zumindest einer Ausführungsform kann der Code- und/oder Datenspeicher 605 Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder anderer Speicher sein. In zumindest einer Ausführungsform kann die Wahl, ob der Code- und/oder Datenspeicher 805 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speichertyp besteht, von On-Chip gegenüber Off-Chip verfügbarem Speicher, Latenzanforderungen an durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 separate Speicherstrukturen sein. In zumindest einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 eine kombinierte Speicherstruktur sein. In zumindest einer Ausführungsform können der Code und/oder Datenspeicher 601 und der Code und/oder Datenspeicher 605 teilweise eine gleiche Speicherstruktur und teilweise separate Speicherstrukturen sein. In zumindest einer Ausführungsform kann jeder beliebige Abschnitt des Code- und/oder Datenspeichers 601 und des Code- und/oder Datenspeichers 605 mit anderen On-Chip- oder Off-Chip-Datenspeichern, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, kombiniert sein.
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, eine oder mehrere Arithmetik-Logik-Einheiten („ALU(s)“) 610, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, beinhalten, um logische und/oder mathematische Operationen durchzuführen, die zumindest teilweise auf Trainings- und/oder Inferenzierungscode (beispielsweise Grafikcode) basieren oder durch diesen angezeigt werden, deren Ergebnis Aktivierungen (z.B. Ausgangswerte von Schichten oder Neuronen innerhalb eines neuronalen Netzwerks), die in einem Aktivierungsspeicher 620 gespeichert sind, erzeugen kann, die Funktionen von Eingangs-/Ausgangs- und/oder Gewichtsparameterdaten sind, die in dem Code und/oder Datenspeicher 601 und/oder dem Code und/oder Datenspeicher 605 gespeichert sind. In zumindest einer Ausführungsform werden in dem Aktivierungsspeicher 620 gespeicherte Aktivierungen in Übereinstimmung mit linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die von den ALU(s) 610 im Ansprechen auf das Ausführen von Anweisungen oder anderem Code durchgeführt wird, wobei Gewichtswerte, die in dem Code und/oder Datenspeicher 605 und/oder dem Datenspeicher 605 gespeichert sind, als Operanden zusammen mit anderen Werten, wie beispielsweise Bias-Werten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, verwendet werden, von welchen beliebige oder alle in dem Code und/oder Datenspeicher 605 oder dem Code und/oder Datenspeicher 601 oder einem anderen Speicher auf oder außerhalb des Chips gespeichert sein können.
In mindestens einer Ausführungsform sind die ALU(s) 610 in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen enthalten, während in einer anderen Ausführungsform die ALU(s) 610 extern zu einem Prozessor oder einem anderen Hardware-Logikgerät oder einer Schaltung sein können, die sie verwenden (z.B. ein Co-Prozessor). In mindestens einer Ausführungsform können die ALUs 610 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Bank von ALUs enthalten sein, auf die die Ausführungseinheiten eines Prozessors zugreifen können, entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlichen Typs (z.B. zentrale Verarbeitungseinheiten, Grafikverarbeitungseinheiten, Festfunktionseinheiten usw.). In mindestens einer Ausführungsform können sich der Code- und/oder Datenspeicher 601, der Code- und/oder Datenspeicher 605 und der Aktivierungsspeicher 620 auf einem gleichen Prozessor oder auf einer anderen Hardware-Logikvorrichtung oder -schaltung liegen, während sie sich in einer anderen Ausführungsform auf verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen oder in einer Kombination aus gleichen und verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder - schaltungen befinden können. In mindestens einer Ausführungsform kann ein beliebiger Teil des Aktivierungsspeichers 620 in anderen On-Chip- oder Off-Chip-Datenspeichern enthalten sein, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors. Ferner kann der Inferenzierungs- und/oder Trainingscode zusammen mit anderem Code gespeichert sein, auf den ein Prozessor oder eine andere Hardware-Logik oder -Schaltung zugreifen kann und der unter Verwendung der Abruf-, Decodier-, Planungs-, Ausführungs-, Ausscheidungs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet wird.
In mindestens einer Ausführungsform kann der Aktivierungsspeicher 620 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann sich der Aktivierungsspeicher 620 vollständig oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen befinden. In mindestens einer Ausführungsform kann die Wahl, ob der Aktivierungsspeicher 620 z.B. innerhalb oder außerhalb eines Prozessors liegt oder DRAM, SRAM, Flash-Speicher oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip im Vergleich zu außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgrö-ße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen. In mindestens einer Ausführungsform kann die in 6B dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit einem anwendungsspezifischen integrierten Schaltkreis („ASIC“) verwendet werden, wie z.B. einer TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“) Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 6B dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit Hardware der Zentralverarbeitungseinheit („CPU“), der Grafikverarbeitungseinheit („GPU“) oder anderer Hardware, wie z.B. Field Programmable Gate Arrays („FPGAs“), verwendet werden.
In mindestens einer Ausführungsform, wie in 6C dargestellt, kann die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, Hardware-Logik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die in 6C dargestellte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) verwendet werden, wie z.B. der TensorFlow® Processing Unit von Google, einer Inferenzierungsverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“)-Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 6C veranschaulichte Inferenzierungs- und/oder Trainingslogik 615 in Verbindung mit Hardware der Zentralverarbeitungseinheit (CPU), der Grafikverarbeitungseinheit (GPU) oder anderer Hardware, wie z.B. FPGAs (Field Programmable Gate Arrays), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenzierungs- und/oder Trainingslogik 615, ohne darauf beschränkt zu sein, den Code- und/oder Datenspeicher 601 und den Code- und/oder Datenspeicher 605, die zum Speichern von Code (z.B. Graphencode), Gewichtswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform, die in 6C dargestellt ist, ist jeder Code- und/oder Datenspeicher 601 und jeder Code- und/oder Datenspeicher 605 mit einer dedizierten Rechenressource verbunden, wie z.B. Rechenhardware 602 bzw. Rechenhardware 606.
In mindestens einer Ausführungsform entspricht jeder der Code- und/oder Datenspeicher 601 und 605 und die entsprechende Rechenhardware 602 bzw. 606 verschiedenen Schichten eines neuronalen Netzwerks, so dass eine resultierende Aktivierung von einem Speicher-/Rechenpaar 601/602 aus Code- und/oder Datenspeicher 601 und Rechenhardware 602 als Eingabe für ein nächstes Speicher-/Rechenpaar 605/606 aus Code- und/oder Datenspeicher 605 und Rechenhardware 606 bereitgestellt wird, um eine konzeptionelle Organisation eines neuronalen Netzwerks zu spiegeln. In mindestens einer Ausführungsform kann jedes der Speicher-/Rechenpaare 601/602 und 605/606 mehr als einer neuronalen Netzwerkschicht entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher-/Rechenpaare (nicht dargestellt) im Anschluss an oder parallel zu den Speicher-/Rechenpaaren 601/602 und 605/606 in die Inferenzierungs- und/oder Trainingslogik 615 einbezogen sein.
COMPUTERSYSTEME
7A ist ein Blockdiagramm, das ein beispielhaftes Computersystem 700A veranschaulicht, das ein System mit miteinander verbundenen Geräten und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor ausgebildet ist, der Ausführungseinheiten enthalten kann, um eine Anweisung auszuführen, um die intelligente Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums, wie hierin beschrieben, zu unterstützen und/oder zu ermöglichen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Computersystem 700A, ohne darauf beschränkt zu sein, eine Komponente, wie beispielsweise einen Prozessor 702, umfassen, um Ausführungseinheiten einschließlich Logik zur Ausführung von Algorithmen zur Verarbeitung von Daten zu verwenden, gemäß der Erfindung, wie in der hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform kann das Computersystem 700A Prozessoren enthalten, wie z.B. die PENTIUM®-Prozessorfamilie, XeonTM, Itanium®, XScaleTM und/oder StrongARMTM, Intel® Core™ oder Intel® Nervana™-Mikroprozessoren, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, technische Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 800 eine Version des Betriebssystems WINDOWS ausführen, das von der Microsoft Corporation in Redmond, Washington, erhältlich ist, obwohl auch andere Betriebssysteme (z.B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.
In mindestens einer Ausführungsform kann das beispielhafte Computersystem 700A eine oder mehrere der Komponenten 110-116 (aus 1) enthalten, um Verarbeitungsaspekte für die intelligente Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums zu unterstützen. Aus mindestens diesem Grund zeigt 7A in einer Ausführungsform ein System, das miteinander verbundene Hardwaregeräte oder „Chips“ umfasst, während 7A in anderen Ausführungsformen ein beispielhaftes System auf einem Chip („SoC“) zeigen kann. In mindestens einer Ausführungsform können die Geräte über proprietäre Verbindungen, standardisierte Verbindungen (wie PCIe) oder eine Kombination davon miteinander verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 700B über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden. Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verbunden sind, wie zuvor z.B. mit Bezug auf die erörtert. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6A-C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System von 7A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
Ausführungsformen können auch in anderen Geräten wie Handheld-Geräten und eingebetteten Anwendungen verwendet werden. Einige Beispiele für Handheld-Geräte sind Mobiltelefone, Internetprotokollgeräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide-Area-Network-Switches („WAN“) oder jedes andere System umfassen, das eine oder mehrere Anweisungen gemäß mindestens einer Ausführungsform ausführen kann.
In mindestens einer Ausführungsform kann das Computersystem 700A, ohne darauf beschränkt zu sein, einen Prozessor 702 enthalten, der, ohne darauf beschränkt zu sein, eine oder mehrere Ausführungseinheiten 708 enthalten kann, um ein Training und/oder eine Inferenzierung eines Modells maschinellen Lernens gemäß hierin beschriebenen Techniken durchzuführen. In mindestens einer Ausführungsform ist das Computersystem 700A ein Einzelprozessor-Desktop- oder - Serversystem, aber in einer anderen Ausführungsform kann das Computersystem 700A ein Multiprozessorsystem sein. In mindestens einer Ausführungsform kann der Prozessor 702, ohne darauf beschränkt zu sein, einen Mikroprozessor mit komplexem Befehlssatz („CISC“), einen Mikroprozessor mit reduziertem Befehlssatz („RISC“), einen Mikroprozessor mit sehr langem Befehlswort („VLIW“), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder eine beliebige andere Prozessorvorrichtung, wie z.B. einen digitalen Signalprozessor, umfassen. In mindestens einer Ausführungsform kann der Prozessor 702 mit einem Prozessorbus 710 verbunden sein, der Datensignale zwischen dem Prozessor 702 und anderen Komponenten in dem Computersystem 700A übertragen kann.
In mindestens einer Ausführungsform kann der Prozessor 702, ohne darauf beschränkt zu sein, einen internen Cachespeicher der Ebene 1 („L1“) („Cache“) 704 enthalten. In mindestens einer Ausführungsform kann der Prozessor 702 einen einzigen internen Cache oder mehrere Ebenen von internem Cache aufweisen. In mindestens einer Ausführungsform kann sich der Cachespeicher außerhalb des Prozessors 702 befinden. Andere Ausführungsformen können auch eine Kombination aus sowohl internen als auch externen Caches enthalten, je nach spezieller Implementierung und Bedürfnissen. In mindestens einer Ausführungsform kann eine Registerdatei 706 verschiedene Datentypen in verschiedenen Registern speichern, darunter, ohne darauf beschränkt zu sein, Ganzzahlregister, Gleitkommaregister, Statusregister und Befehlszeigerregister.
In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 708, einschließlich, ohne darauf beschränkt zu sein, Logik zur Durchführung von Ganzzahl- und Gleitkommaoperationen, ebenfalls in dem Prozessor 702. In mindestens einer Ausführungsform kann der Prozessor 702 auch einen Nur-Lese-Speicher („ROM“) für Mikrocode („ucode“) enthalten, der Mikrocode für bestimmte Makrobefehle speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 708 eine Logik zur Verarbeitung eines gepackten Befehlssatzes 709 enthalten. In mindestens einer Ausführungsform können durch Aufnahme des gepackten Befehlssatzes 709 in den Befehlssatz eines Universalprozessors 702 zusammen mit der zugehörigen Schaltung zur Ausführung von Befehlen Operationen, die von vielen Multimedia-Anwendungen verwendet werden, unter Verwendung gepackter Daten in einem Universalprozessor 702 durchgeführt werden. In einer oder mehreren Ausführungsformen können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem eine volle Breite des Datenbusses eines Prozessors für die Ausführung von Operationen mit gepackten Daten genutzt wird, wodurch eine Notwendigkeit entfällt, kleinere Dateneinheiten über den Prozessor-Datenbus zu übertragen, um eine oder mehrere Operationen mit einem Datenelement nach dem anderen durchzuführen.
In mindestens einer Ausführungsform kann die Ausführungseinheit 708 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikgeräten, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 700A, ohne darauf beschränkt zu sein, einen Speicher 720 enthalten. In mindestens einer Ausführungsform kann der Speicher 720 als ein dynamischer Direktzugriffsspeicher („DRAM“), ein statischer Direktzugriffsspeicher („SRAM“), ein Flash-Speicher oder eine andere Speichervorrichtung implementiert sein. In mindestens einer Ausführungsform kann der Speicher 720 eine oder mehrere Anweisung(en) 719 und/oder Daten 721 speichern, die durch Datensignale repräsentiert werden, die von dem Prozessor 702 ausgeführt werden können.
In mindestens einer Ausführungsform kann ein Systemlogik-Chip mit dem Prozessorbus 710 und dem Speicher 720 gekoppelt sein. In mindestens einer Ausführungsform kann ein Systemlogik-Chip, ohne darauf beschränkt zu sein, einen Speichercontroller-Hub („MCH“, Memory Controller Hub) 716 enthalten, und kann der Prozessor 702 mit dem MCH 716 über den Prozessorbus 710 kommunizieren. In mindestens einer Ausführungsform kann der MCH 716 einen Speicherpfad 718 mit hoher Bandbreite zu dem Speicher 720 für die Befehls- und Datenspeicherung und für die Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH 716 Datensignale zwischen dem Prozessor 702, dem Speicher 720 und anderen Komponenten in dem Computersystem 700 leiten und Datensignale zwischen dem Prozessorbus 710, dem Speicher 720 und einer System-E/A-Schnittstelle 722 überbrücken. In mindestens einer Ausführungsform kann ein Systemlogik-Chip einen Grafikport zur Kopplung mit einem Grafikcontroller bereitstellen. In mindestens einer Ausführungsform kann der MCH 716 über einen Speicherpfad 718 mit hoher Bandbreite mit dem Speicher 720 gekoppelt sein, und kann die Grafik-/Videokarte 712 über eine Accelerated Graphics Port („AGP“)-Verbindung 714 mit dem MCH 716 gekoppelt sein.
In mindestens einer Ausführungsform kann das Computersystem 700A eine System-E/A 722, die ein proprietärer Hub-Schnittstellenbus zum Koppeln des MCH 716 mit einem E/A-Controller-Hub („ICH“) 730 ist, verwenden. In mindestens einer Ausführungsform kann der ICH 730 direkte Verbindungen zu einigen E/A-Geräten über einen lokalen E/A-Bus bereitstellen. In mindestens einer Ausführungsform kann ein lokaler E/A-Bus, ohne darauf beschränkt zu sein, einen Hochgeschwindigkeits-E/A-Bus zur Verbindung von Peripheriegeräten mit dem Speicher 720, dem Chipsatz und dem Prozessor 702 umfassen. Beispiele können, ohne darauf beschränkt zu sein, einen Audiocontroller 729, einen Firmware-Hub („Flash-BIOS“) 728, einen drahtlosen Transceiver 726, einen Datenspeicher 724, einen Legacy-E/A-Controller 723 mit Benutzereingabe- und Tastaturschnittstellen, einen seriellen Erweiterungsport 727, wie beispielsweise ein Universal Serial Bus („USB“), und einen Netzwerkcontroller 734 umfassen. Der Datenspeicher 724 kann ein Festplattenlaufwerk, ein Diskettenlaufwerk, ein CD-ROM-Gerät, eine Flash-Speichervorrichtung oder eine anderen Massenspeichervorrichtung beinhalten.
7B ist ein Blockdiagramm, das ein elektronisches Gerät 700B zur Nutzung eines Prozessors 710 zur Unterstützung und/oder Ermöglichung einer intelligenten Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums wie hierin beschrieben veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das elektronische Gerät 700B zum Beispiel, und ohne Beschränkung darauf, ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Desktop, ein Tablet, ein mobiles Gerät, ein Telefon, ein eingebetteter Computer oder ein anderes geeignetes elektronisches Gerät sein. In mindestens einer Ausführungsform kann das beispielhafte elektronische Gerät 700B eine oder mehrere Komponenten enthalten, die Verarbeitungsaspekte für das thermische Belastungssystem zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums unterstützen.
In mindestens einer Ausführungsform kann das System 700B, ohne darauf beschränkt zu sein, einen Prozessor 710 enthalten, der mit einer beliebigen Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Geräten kommunikativ gekoppelt ist. In mindestens einer Ausführungsform ist der Prozessor 710 über einen Bus oder eine Schnittstelle gekoppelt, wie z.B. einen I²C-Bus, einen Systemverwaltungsbus („SMBus“), einen Low-Pin-Count-Bus (LPC), eine serielle Peripherieschnittstelle („SPI“), einen High-Definition-Audio-Bus („HDA“), einen Serial-Advance-Technology-Attachment-Bus („SATA“), einen Universal-Serial-Bus („USB“) (Versionen 1, 2, 3, usw.) oder einen Universal Asynchronous Receiver/Transmitter-Bus („UART“). In mindestens einer Ausführungsform veranschaulicht 13 ein System, das miteinander verbundene Hardwarevorrichtungen oder „Chips“ enthält, während in anderen Ausführungsformen 7B ein beispielhaftes System on a Chip (SoC) veranschaulichen kann. In mindestens einer Ausführungsform können die in 7B dargestellten Vorrichtungen mit proprietären Interconnects, standardisierten Interconnects (z.B. PCIe) oder einer Kombination davon verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten von 9 über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden.
In mindestens einer Ausführungsform kann 7B eine Anzeige 724, einen berührungsempfindlichen Bildschirm bzw. Touchscreen 725, eine berührungsempfindliche Sensorfläche bzw. ein Touchpad 730, eine Nahfeldkommunikations- bzw. Near Field Communications-Einheit („NFC“) 745, einen Sensor-Hub 740, einen Wärmesensor 746, einen Express-Chipsatz („EC“) 735, ein Trusted Platform Module („TPM“) 738, BIOS/Firmware/Flash-Speicher („BIOS, FW Flash“) 722, einen DSP 760, ein Laufwerk 720 wie beispielsweise eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine Wireless Local Area Network-Einheit („WLAN“) 750, eine Bluetooth-Einheit 752, eine Wireless Wide Area Network-Einheit („WWAN“) 756, eine Global Positioning System (GPS)-Einheit 755, eine Kamera („USB 3.0-Kamera“) 754, wie z.B. eine USB 3.0-Kamera, und/oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 715, die z.B. in einem LPDDR3-Standard implementiert ist, beinhalten. Diese Komponenten können jeweils in jeder geeigneten Weise implementiert sein.
In mindestens einer Ausführungsform können andere Komponenten über die vorstehend diskutierten Komponenten kommunikativ mit dem Prozessor 710 gekoppelt sein. In mindestens einer Ausführungsform können ein Beschleunigungsmesser 741, ein Umgebungslichtsensor („ALS“; Ambient Light Sensor) 742, ein Kompass 743 und ein Gyroskop 744 kommunikativ mit dem Sensor-Hub 740 gekoppelt sein. In mindestens einer Ausführungsform können der Wärmesensor 739, ein Lüfter 737, eine Tastatur 746 und ein Touchpad 730 kommunikativ mit dem EC 735 gekoppelt sein. In mindestens einer Ausführungsform können ein Lautsprecher 763, ein Kopfhörer 764 und ein Mikrofon („mic“) 765 kommunikativ mit einer Audioeinheit („audio codec and dass d amp“, Audio-Kodierer/Dekodierer und Klasse D-Verstärker) 764 gekoppelt sein, die ihrerseits kommunikativ mit dem DSP 760 gekoppelt sein kann. In mindestens einer Ausführungsform kann die Audioeinheit 764 beispielsweise, und ohne darauf beschränkt zu sein, einen Audio-Kodierer/Dekodierer („Codec“) und einen Verstärker der Klasse D umfassen. In mindestens einer Ausführungsform kann die SIM-Karte („SIM“) 757 kommunikativ mit der WWAN-Einheit 756 gekoppelt sein. In mindestens einer Ausführungsform können Komponenten wie die WLAN-Einheit 750 und die Bluetooth-Einheit 752 sowie die WWAN-Einheit 756 in einem Next Generation Form Factor („NGFF“) implementiert sein.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 sind hierin in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik x615 in dem System von 7B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
7C zeigt ein Computersystem 700C gemäß mindestens einer Ausführungsform zur Unterstützung und/oder Ermöglichung der intelligenten Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums, wie hierin beschrieben. In mindestens einer Ausführungsform umfasst das Computersystem 700C, ohne Beschränkung darauf, einen Computer 771 und einen USB-Stick 770. In mindestens einer Ausführungsform kann der Computer 771, ohne Beschränkung darauf, eine beliebige Anzahl und einen beliebigen Typ von Prozessor(en) (nicht dargestellt) und einen Speicher (nicht dargestellt) beinhalten. In mindestens einer Ausführungsform beinhaltet der Computer 771, ohne Beschränkung darauf, einen Server, eine Cloud-Instanz, einen Laptop und einen Desktop-Computer.
In mindestens einer Ausführungsform beinhaltet der USB-Stick 770, ohne Beschränkung darauf, eine Verarbeitungseinheit 772, eine USB-Schnittstelle 774 und eine USB-Schnittstellenlogik 773. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 772 ein beliebiges Befehlsausführungssystem, eine beliebige Vorrichtung oder ein beliebiges Gerät sein, das zur Ausführung von Befehlen in der Lage ist. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 772, ohne Beschränkung darauf, eine beliebige Anzahl und einen beliebigen Typ von Verarbeitungskernen (nicht dargestellt) beinhalten. In mindestens einer Ausführungsform beinhaltet die Verarbeitungseinheit oder der Kern 772 eine anwendungsspezifische integrierte Schaltung („ASIC“), die für die Durchführung einer beliebigen Anzahl und Art von Operationen im Zusammenhang mit maschinellem Lernen optimiert ist. Zum Beispiel ist in mindestens einer Ausführungsform der Verarbeitungskern 772 eine Tensorverarbeitungseinheit („TPC“; tensor processing unit), die für die Durchführung von Inferenzierungsoperationen des maschinellen Lernens optimiert ist. In mindestens einer Ausführungsform ist der Verarbeitungskern 772 eine Seh- bzw. Bildverarbeitungseinheit („VPU“; vision processing unit), die für die Durchführung von Inferenzierungsoperationen des maschinellen Sehens und des maschinellen Lernens optimiert ist.
In mindestens einer Ausführungsform kann die USB-Schnittstelle 774 eine beliebige Art von USB-Stecker oder USB-Buchse sein. In mindestens einer Ausführungsform ist die USB-Schnittstelle 774 beispielsweise eine USB 3.0 Typ-C-Buchse für Daten und Strom. In mindestens einer Ausführungsform ist die USB-Schnittstelle 774 ein USB-3.0-Typ-A-Anschluss. In mindestens einer Ausführungsform kann die USB-Schnittstellenlogik 773 eine beliebige Menge und Art von Logik enthalten, die es der Verarbeitungseinheit 772 ermöglicht, über den USB-Anschluss 774 mit Geräten (wie dem Computer 771) zu kommunizieren.
Die Inferenzierungs- und/oder Trainingslogik 615, wie in 6B und 6C beschrieben, wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System 7C für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
8 zeigt ein weiteres Beispiel für ein Computersystem 800 gemäß mindestens einer Ausführungsform zur Implementierung verschiedener Prozesse und Verfahren für ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums, das in dieser Offenbarung beschrieben wird. In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, mindestens eine Zentralverarbeitungseinheit („CPU“) 802, die mit einem Kommunikationsbus 810 verbunden ist, der unter Verwendung eines beliebigen geeigneten Protokolls, wie z.B. PCI („Peripheral Component Interconnect“), Peripheral Component Interconnect Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder einem oder mehreren anderen Bus- oder Punkt-zu-Punkt-Kommunikationsprotokoll(en) implementiert ist. In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, einen Hauptspeicher 804 und eine Steuerlogik (z.B. implementiert als Hardware, Software oder einer Kombination davon), und werden Daten in dem Hauptspeicher 804 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. In mindestens einer Ausführungsform stellt ein Netzwerkschnittstellen-Subsystem („Netzwerkschnittstelle“) 822 eine Schnittstelle zu anderen Rechengeräten und Netzwerken bereit, um Daten von dem Computersystem 800 zu empfangen und mit ihm an andere Systeme zu übertragen.
In mindestens einer Ausführungsform umfasst das Computersystem 800, ohne darauf beschränkt zu sein, Eingabevorrichtungen 808, ein Parallelverarbeitungssystem 812 und Anzeigevorrichtungen 806, welche mit einer Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), einer Leuchtdioden („LED“)-Anzeige, einer Plasma-Anzeige oder anderen geeigneten Anzeigetechnologien implementiert sein können. In mindestens einer Ausführungsform werden Benutzereingaben von den Eingabevorrichtungen 808, wie beispielsweise Tastatur, Maus, Touchpad, Mikrofon und mehr, empfangen. In mindestens einer Ausführungsform kann jedes von vorangehenden Modulen auf einer einzigen Halbleiterplattform angeordnet sein, um ein Verarbeitungssystem zu bilden.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen assoziiert sind, wie zuvor z.B. mit Bezug auf 6A-C diskutiert. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 615 werden nachstehend in Verbindung mit 6A-C bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System von 8 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im von System 8 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
9A zeigt eine beispielhafte Architektur, bei der eine Vielzahl von GPUs 910-913 über Hochgeschwindigkeitsverbindungen 940-943 (wie beispielsweise Busse, Punkt-zu-Punkt-Verbindungen usw.) mit einer Vielzahl von Mehrkernprozessoren 905-906 kommunikativ gekoppelt ist. In einer Ausführungsform unterstützen Hochgeschwindigkeitsverbindungen 940-943 einen Kommunikationsdurchsatz von 4GB/s, 30GB/s, 80GB/s oder mehr. Es können verschiedene Verbindungsprotokolle verwendet werden, einschließlich, aber nicht beschränkt auf, PCIe 4.0 oder 5.0 und NVLink 2.0.
Zusätzlich und in einer Ausführungsform sind zwei oder mehr GPUs 910-913 über Hochgeschwindigkeitsverbindungen 929-930 miteinander verbunden, die mit denselben oder anderen Protokollen/Leitungen als die für Hochgeschwindigkeitsverbindungen 940-943 verwendeten implementiert sein können. Ebenso können zwei oder mehr der Mehrkernprozessoren 905-906 über Hochgeschwindigkeitsverbindungen 928 verbunden sein, welche symmetrische Multiprozessorbusse (SMP) sein können, die mit 20GB/s, 30GB/s, 120GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen den verschiedenen in 9A gezeigten Systemkomponenten über dieselben Protokolle/Leitungen erfolgen (wie beispielsweise über eine gemeinsame Verbindungsstruktur bzw. ein gemeinsames Verbindungs-Fabric).
In einer Ausführungsform ist jeder Mehrkernprozessor 905-906 über Speicherverbindungen 926-927 kommunikativ mit einem Prozessorspeicher 901-902 verbunden, und ist jede GPU 910-913 über GPU-Speicherverbindungen 950-953 kommunikativ mit dem GPU-Speicher 920-923 verbunden. Die Speicherverbindungen 926-927 und 950-953 können gleiche oder unterschiedliche Speicherzugriffstechnologien verwenden. Beispielhaft und, ohne darauf beschränkt zu sein, können die Prozessorspeicher 901-902 und die GPU-Speicher 920-923 flüchtige Speicher wie dynamische Direktzugriffsspeicher (DRAMs) (einschließlich gestapelter DRAMs), Grafik-DDR-SDRAM (GDDR) (wie beispielsweise GDDR5, GDDR6) oder High Bandwidth Memory (HBM) sein und/oder können nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein. In einer Ausführungsform kann ein Teil der Prozessorspeicher 901-902 ein flüchtiger Speicher und ein anderer Teil ein nichtflüchtiger Speicher sein (wie beispielsweise unter Verwendung einer zweistufigen Speicherhierarchie (2LM)).
Wie nachstehend beschrieben, kann, obwohl verschiedene Prozessoren 905-906 und GPUs 910-913 jeweils physisch mit einem bestimmten Speicher 901-902 bzw. 920-923 verbunden sein können, eine einheitliche Speicherarchitektur implementiert sein, in welcher ein und derselbe virtuelle Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) zwischen verschiedenen physische Speichern verteilt ist. In mindestens einer Ausführungsform können die Prozessorspeicher 901-902 jeweils 64 GB Systemspeicheradressraum und die GPU-Speicher 920-923 jeweils 32 GB Systemspeicheradressraum umfassen (resultierend in diesem Beispiel in einem adressierbaren Gesamtspeicher von 256 GB).
Wie andernorts in dieser Offenbarung erläutert, können zumindest Durchflussraten und zugehörige Temperaturen für eine erste Stufe eines intelligenten Lernsystems, wie beispielsweise ein neuronales Netzwerk, eingerichtet sein. Da die erste Stufe die früheren Daten repräsentiert, repräsentiert sie auch eine kleinere Teilmenge der Daten, die zur Verbesserung des Systems durch erneutes Trainieren des Systems verfügbar sein können. Das Testen und Trainieren kann unter Verwendung mehrerer Prozessoreinheiten parallel durchgeführt werden, so dass das intelligente Lernsystem robust ist. Es kann eine Architektur, wie beispielsweise in 9A, verwendet werden. Wenn Konvergenz für das intelligente Lernsystem erreicht ist, werden eine Anzahl von Datenpunkten und die Daten in den Datenpunkten, die zur Erreichung der Konvergenz verwendet wurden, festgehalten. Die Daten und Datenpunkte können verwendet werden, um ein System zur Abhilfe bei Schwellenlecks in einem Flüssigkeitskühlsystem eines Rechenzentrums zu steuern, und zwar vollständig, wie z.B. unter Bezugnahme auf 2-5 erläutert.
9B veranschaulicht zusätzliche Details für eine Verbindung zwischen einem Mehrkernprozessor 907 und einem Grafikbeschleunigungsmodul 946, gemäß einer beispielhaften Ausführungsform. Das Grafikbeschleunigungsmodul 946 kann einen oder mehrere GPU-Chips enthalten, die auf einer Leitungskarte integriert sind, die über eine Hochgeschwindigkeitsverbindung 940 mit dem Prozessor 907 verbunden ist. Alternativ kann das Grafikbeschleunigungsmodul 946 auf einem gleichen Gehäuse oder Chip wie der Prozessor 907 integriert sein.
In mindestens einer Ausführungsform umfasst der dargestellte Prozessor 907 eine Vielzahl von Kernen 960A-960D, die jeweils einen Translations-Lookaside-Puffer 961A-961 D und einen oder mehrere Caches 962A-962D aufweisen. In mindestens einer Ausführungsform können die Kerne 960A-960D verschiedene andere Komponenten zur Ausführung von Anweisungen und Verarbeitung von Daten enthalten, die nicht dargestellt sind. Die Caches 962A-962D können Level 1 (L1) und Level 2 (L2) Caches beinhalten. Darüber hinaus können ein oder mehrere gemeinsam genutzte Caches 956 in den Caches 962A-962D enthalten sein und von Gruppen von Kernen 960A-960D gemeinsam genutzt werden. In mindestens einer Ausführungsform beinhaltet eine Ausführungsform des Prozessors 907 beispielsweise 24 Kerne, jeder mit seinem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2- und L3-Caches von zwei benachbarten Kernen gemeinsam genutzt. Prozessor 907 und Grafikbeschleunigungsmodul 946 sind mit dem Systemspeicher 914 verbunden, der die Prozessorspeicher 901-902 aus 9A enthalten kann.
Die Kohärenz wird für Daten und Anweisungen, die in den verschiedenen Caches 962A-962D, 956 und in dem Systemspeicher 914 gespeichert sind, durch Kommunikation zwischen den Kernen über einen Kohärenzbus 964 aufrechterhalten. In mindestens einer Ausführungsform kann jeder Cache über eine ihm zugeordnete Cache-Kohärenzlogik/-schaltung verfügen, um im Ansprechen auf erkannte Lese- oder Schreibvorgänge in bestimmten Cache-Zeilen über den Kohärenzbus 964 zu kommunizieren. In einer Implementierung wird ein Cache-Snooping-Protokoll über den Kohärenzbus 964 implementiert, um Cache-Zugriffe zu snoopen.
In einer Ausführungsform koppelt eine Proxy-Schaltung 925 das Grafikbeschleunigungsmodul 946 kommunikativ an den Kohärenzbus 964, sodass das Grafikbeschleunigungsmodul 946 als Peer der Kerne 960A-960D an einem Cache-Kohärenzprotokoll teilnehmen kann. Insbesondere stellt eine Schnittstelle 935 die Konnektivität zur Proxy-Schaltung 925 über eine Hochgeschwindigkeitsverbindung 940 (z.B. einen PCIe-Bus, NVLink usw.) her, und verbindet eine Schnittstelle 937 das Grafikbeschleunigungsmodul 946 mit der Verbindung 940.
In einer Implementierung stellt eine Beschleuniger-Integrationsschaltung 936 Cache-Verwaltung, Speicherzugriff, Kontextverwaltung und Interrupt-Verwaltungsdienste im Auftrag einer Vielzahl von Grafikverarbeitungs-Engines 931, 932, N des Grafikbeschleunigungsmoduls 946 bereit. Die Grafikverarbeitungs-Engines 931, 932, N können jeweils eine separate Grafikverarbeitungseinheit (GPU) beinhalten. Alternativ können die Grafikverarbeitungs-Engines 931, 932, N verschiedene Typen von Grafikverarbeitungs-Engines innerhalb einer GPU beinhalten, wie beispielsweise Grafikausführungseinheiten, Medienverarbeitungs-Engines (wie beispielsweise Video-Encoder/Decoder), Sampler und Blit-Engines. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 946 eine GPU mit mehreren Grafikverarbeitungs-Engines 931-932, N sein, oder können die Grafikverarbeitungs-Engines 931-932, N einzelne GPUs sein, die auf einem gemeinsamen Gehäuse, einer Leitungskarte oder einem Chip integriert sind. In diesem Fall kann die vorstehende Bestimmung für die Wiederherstellungsparameter und den Wiederherstellungsalgorithmus in den GPUs 931-N von 9B durchgeführt werden.
In einer Ausführungsform enthält die Beschleuniger-Integrationsschaltung 936 eine Speicherverwaltungseinheit (MMU) 939 zur Durchführung verschiedener Speicherverwaltungsfunktionen, wie z.B. Übersetzungen von virtuellem in physischen Speicher (auch als Übersetzungen von effektivem in realen Speicher bezeichnet) und Speicherzugriffsprotokolle für den Zugriff auf den Systemspeicher 914. Die MMU 939 kann auch einen Translations-Lookaside-Puffer (TLB) (nicht dargestellt) zur Zwischenspeicherung von Übersetzungen von virtuellen/effektiven in physische/reale Adressen enthalten. In einer Implementierung speichert ein Cache 938 Befehle und Daten für den effizienten Zugriff durch die Grafikprozessoren 931-932, N. In einer Ausführungsform werden die im Cache 938 und in den Grafikspeichern 933-934, M gespeicherten Daten mit den Core-Caches 962A-962D, 956 und dem Systemspeicher 914 kohärent gehalten. Wie oben erwähnt, kann dies über die Proxy-Schaltung 925 im Namen des Cache 938 und der Speicher 933-934, M erfolgen (z.B. Senden von Aktualisierungen an den Cache 938 in Bezug auf Änderungen/Zugriffe auf Cache-Zeilen in den Prozessor-Caches 962A-962D, 956 und Empfangen von Aktualisierungen vom Cache 938).
Ein Satz von Registern 945 speichert Kontextdaten für Threads, die von den Grafikverarbeitungsmodulen 931-932 ausgeführt werden, N und eine Kontextverwaltungsschaltung 948 verwaltet Thread-Kontexte. In mindestens einer Ausführungsform kann die Kontextverwaltungsschaltung 948 Speicher- und Wiederherstellungsoperationen durchführen, um Kontexte verschiedener Threads während Kontextumschaltungen zu speichern und wiederherzustellen (wie beispielsweise wenn ein erster Thread gespeichert und ein zweiter Thread gespeichert wird, damit ein zweiter Thread von einer Grafikverarbeitungs-Engine ausgeführt werden kann). In mindestens einer Ausführungsform kann bei einer Kontextumschaltung die Kontextverwaltungsschaltung 948 aktuelle Registerwerte in einem bestimmten Bereich im Speicher speichern (wie beispielsweise identifiziert durch einen Kontextzeiger). Sie kann dann die Registerwerte wiederherstellen, wenn sie zu einem Kontext zurückkehrt. In einer Ausführungsform empfängt und verarbeitet eine Interrupt-Verwaltungsschaltung 947 von Systemgeräten empfangene Interrupts.
In einer Implementierung werden virtuelle/effektive Adressen von einer Grafikverarbeitungs-Engine 931 durch die MMU 939 in reale/physische Adressen im Systemspeicher 914 übersetzt. Eine Ausführungsform der Beschleuniger-Integrationsschaltung 936 unterstützt mehrere (wie beispielsweise 4, 8, 16) Grafikbeschleunigermodule 946 und/oder andere Beschleunigergeräte. Das Grafikbeschleunigermodul 946 kann für eine einzelne Anwendung bestimmt sein, die auf dem Prozessor 907 ausgeführt wird, oder es kann von mehreren Anwendungen gemeinsam genutzt werden. In einer Ausführungsform wird eine virtualisierte Grafikausführungsumgebung dargestellt, in der die Ressourcen der Grafikverarbeitungsmodule 931-932, N von mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Ressourcen in „Slices“ unterteilt werden, die verschiedenen VMs und/oder Anwendungen auf der Grundlage von Verarbeitungsanforderungen und Prioritäten, die den VMs und/oder Anwendungen zugeordnet sind, zugewiesen werden.
In mindestens einer Ausführungsform fungiert die Beschleuniger-Integrationsschaltung 936 als Brücke zu einem System für das Grafikbeschleunigungsmodul 946 und bietet Adressübersetzung und Systemspeicher-Cache-Dienste. Darüber hinaus kann die Beschleuniger-Integrationsschaltung 936 Virtualisierungseinrichtungen für einen Host-Prozessor bereitstellen, um die Virtualisierung der Grafikverarbeitungsmodule 931-932, N, Interrupts und die Speicherverwaltung zu verwalten.
Da die Hardware-Ressourcen der Grafikprozessoren 931-932, N explizit auf einen realen Adressraum abgebildet werden, den der Host-Prozessor 907 sieht, kann jeder Host-Prozessor diese Ressourcen direkt mit einem effektiven Adresswert adressieren. Eine Funktion der Beschleuniger-Integrationsschaltung 936 ist in einer Ausführungsform die physische Trennung der Grafikprozessoren 931-932, N, so dass sie einem System als unabhängige Einheiten erscheinen.
In mindestens einer Ausführungsform sind ein oder mehrere Grafikspeicher 933-934, M jeweils mit jeder der Grafikverarbeitungs-Engines 931-932, N gekoppelt. Die Grafikspeicher 933-934, M speichern Befehle und Daten, die von jeder der Grafikverarbeitungs-Engines 931-932, N verarbeitet werden. Die Grafikspeicher 933-934, M können flüchtige Speicher wie DRAMs (einschließlich gestapelter DRAMs), GDDR-Speicher (z.B. GDDR5, GDDR6) oder HBM und/oder nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein.
In einer Ausführungsform werden zur Reduzierung des Datenverkehrs über die Verbindung 940 Biasing-Techniken verwendet, um sicherzustellen, dass in den Grafikspeichern 933-934, M gespeicherte Daten Daten sind, die am häufigsten von den Grafikverarbeitungs-Engines 931-932, N verwendet werden werden und nicht (zumindest nicht häufig) von den Kernen 960A-960D verwendet werden dürfen. In ähnlicher Weise versucht ein Biasing-Mechanismus, Daten, die von Kernen benötigt werden (und nicht von den Grafikverarbeitungs-Engines 931-932, N benötigt werden dürfen), in den Caches 962A-962D, 956 der Kerne und im Systemspeicher 914 zu halten.
9C zeigt eine weitere beispielhafte Ausführungsform, bei der die Beschleuniger-Integrationsschaltung 936 zum Unterstützen und/oder Ermöglichen einer intelligenten Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums in den Prozessor 907 integriert ist, gemäß mindestens einer Ausführungsform der Offenbarung hierin. In mindestens dieser Ausführungsform kommunizieren die Grafikprozessoren 931-932, N direkt über die Hochgeschwindigkeitsverbindung 940 mit der Beschleuniger-Integrationsschaltung 936 über die Schnittstelle 937 und die Schnittstelle 935 (die wiederum jede Form von Bus- oder Schnittstellenprotokoll verwenden kann). Die Beschleuniger-Integrationsschaltung 936 kann dieselben Operationen ausführen, wie sie in 9B beschrieben sind, jedoch möglicherweise mit einem höheren Durchsatz, da sie sich in unmittelbarer Nähe zum Kohärenzbus 964 und den Caches 962A-962D, 956 befindet. Mindestens eine Ausführungsform unterstützt verschiedene Programmiermodelle, darunter ein Programmiermodell mit dediziertem Prozess (keine Virtualisierung des Grafikbeschleunigungsmoduls) und gemeinsam genutzte Programmiermodelle (mit Virtualisierung), die Programmiermodelle umfassen können, die von der Beschleuniger-Integrationsschaltung 936 gesteuert werden, sowie Programmiermodelle, die vom Grafikbeschleunigungsmodul 946 gesteuert werden.
In mindestens einer Ausführungsform sind die Grafikprozessoren 931-932, N für eine einzelne Anwendung oder einen einzelnen Prozess unter einem einzelnen Betriebssystem vorgesehen. In mindestens einer Ausführungsform kann eine einzelne Anwendung andere Anwendungsanforderungen an die Grafikverarbeitungs-Engines 931-932, N weiterleiten, wodurch eine Virtualisierung innerhalb einer VM/Partition bereitgestellt wird.
In mindestens einer Ausführungsform können die Grafikverarbeitungs-Engines 931-932, N, von mehreren VM-/Anwendungspartitionen gemeinsam genutzt werden. In mindestens einer Ausführungsform können gemeinsam genutzte Modelle einen Systemhypervisor verwenden, um die Grafikverarbeitungs-Engines 931-932, N zu virtualisieren, um den Zugriff durch jedes Betriebssystem zu ermöglichen. Bei Systemen mit einer Partition ohne Hypervisor sind die Grafikverarbeitungseinheiten 931-932, N Eigentum eines Betriebssystems. In mindestens einer Ausführungsform kann ein Betriebssystem die Grafikverarbeitungsmodule 931-932, N virtualisieren, um jedem Prozess oder jeder Anwendung Zugriff zu gewähren.
In mindestens einer Ausführungsform wählt das Grafikbeschleunigungsmodul 946 oder eine einzelne Grafikverarbeitungs-Engine 931-932, N ein Prozesselement mithilfe eines Prozesshandles aus. In mindestens einer Ausführungsform werden Prozesselemente im Systemspeicher 914 gespeichert und sind unter Verwendung der hierin beschriebenen Übersetzungstechniken von effektiven Adressen in reale Adressen adressierbar. In mindestens einer Ausführungsform kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Host-Prozess zur Verfügung gestellt wird, wenn er seinen Kontext bei der Grafikverarbeitungs-Engine 931-932, N registriert (d.h. die Systemsoftware aufruft, um ein Prozesselement zu einer verknüpften Prozesselementliste hinzuzufügen). In mindestens einer Ausführungsform können die unteren 16 Bits eines Prozesshandles ein Offset eines Prozesselements innerhalb einer Prozesselement-Verknüpfungsliste sein.
9D zeigt ein beispielhaftes Beschleunigungs-Integrations-Slice 990 zum Ermöglichen und/oder Unterstützen einer intelligenten Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums in den Prozessor 907 integriert ist, gemäß mindestens einer Ausführungsform der Offenbarung hierin. Wie hierin verwendet, umfasst ein „Slice“ einen bestimmten Teil der Verarbeitungsressourcen der Beschleuniger-Integrationsschaltung 936. Der anwendungswirksame Adressraum 982 innerhalb des Systemspeichers 914 speichert Prozesselemente 983. In einer Ausführungsform werden Prozesselemente 983 als Reaktion auf GPU-Aufrufe 981 von Anwendungen 980, die auf dem Prozessor 907 ausgeführt werden, gespeichert. Ein Prozesselement 983 enthält den Prozessstatus für die entsprechende Anwendung 980. Ein im Prozesselement 983 enthaltener Arbeits- bzw. Workdeskriptor (WD) 984 kann ein einzelner, von einer Anwendung angeforderter Job bzw. Auftrag sein oder einen Zeiger auf eine Warteschlange von Jobs enthalten. In mindestens einer Ausführungsform ist der WD 984 ein Zeiger auf eine Auftragsanforderungswarteschlange im Adressraum 982 einer Anwendung.
Das Grafikbeschleunigungsmodul 946 und/oder einzelne Grafikverarbeitungs-Engines 931-932, N können von allen oder einer Teilmenge von Prozessen in einem System gemeinsam genutzt werden. In mindestens einer Ausführungsform kann eine Infrastruktur zum Einrichten des Prozessstatus und zum Senden eines WD 984 an ein Grafikbeschleunigungsmodul 946 zum Starten eines Auftrags in einer virtualisierten Umgebung enthalten sein.
In mindestens einer Ausführungsform ist ein Programmiermodell für dedizierte Prozesse implementierungsspezifisch. In diesem Modell besitzt ein einzelner Prozess das Grafikbeschleunigungsmodul 946 oder eine einzelne Grafikverarbeitungs-Engine 931. Da das Grafikbeschleunigungsmodul 946 einem einzelnen Prozess gehört, initialisiert ein Hypervisor die Beschleuniger-Integrationsschaltung 936 für eine besitzende Partition und initialisiert ein Betriebssystem die Beschleuniger-Integrationsschaltung 936 für einen besitzenden Prozess, wenn das Grafikbeschleunigungsmodul 946 zugewiesen wird.
Im Betrieb holt eine WD-Abrufeinheit 991 in dem Beschleunigungs-Integrations-Slice 990 den nächsten WD 984 ab, der eine Anzeige der Arbeit enthält, die von einer oder mehreren Grafikverarbeitungs-Engines des Grafikbeschleunigungsmoduls 946 zu erledigen ist. Die Daten aus dem WD 984 können in Registern 945 gespeichert und von der MMU 939, der Interrupt-Verwaltungsschaltung 947 und/oder der Kontextverwaltungsschaltung 948 verwendet werden, wie dargestellt. In mindestens einer Ausführungsform der MMU 939 enthält eine Segment-/Seiten-Durchlaufschaltung für den Zugriff auf Segment-/Seitentabellen 986 innerhalb des virtuellen OS-Adressraums 985. Die Interrupt-Verwaltungsschaltung 947 kann vom Grafikbeschleunigungsmodul 946 empfangene Interrupt-Ereignisse 992 verarbeiten. Bei der Durchführung von Grafikoperationen wird eine von einer Grafikverarbeitungs-Engine 931-932, N erzeugte effektive Adresse 993 von der MMU 939 in eine reale Adresse übersetzt.

In einer Ausführungsform wird ein gleicher Satz von Registern 945 für jede Grafikverarbeitungs-Engine 931-932, N und/oder jedes Grafikbeschleunigungsmodul 946 dupliziert und kann von einem Hypervisor oder Betriebssystem initialisiert werden. Jedes dieser duplizierten Register kann in einem Beschleunigungs-Integrations-Slice 990 enthalten sein. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, sind in Tabelle 1 gezeigt. Tabelle 1 - Hypervisor initialisierte Register

1	Slice-Steuerregister
2	Zeiger auf Bereich realer Adressen (RA) geplanter Prozesse
3	Autoritätsmasken-Überschreibungsregister
4	Versatz Unterbrechungsvektor-Tabelleneintrag
5	Grenze Unterbrechungsvektor-Tabelleneintrag
6	Statusregister
7	ID der logischen Partition
8	Zeiger auf reale Adresse (RA) des Eintrags für Hypervisorbeschleuni-
	gernutzung
9	Speicherbeschreibungsregister

Beispielhafte Register, die von einem Betriebssystem initialisiert werden können, sind in Tabelle 2 gezeigt. Tabelle 2 -Betriebssystem initialisierte Register

1	Prozess- und Gewindeidentifikation
2	Effektive Adresse (EA) Kontext Speichern/Wiederherstellen Zeiger
3	Virtuelle Adresse (VA) Beschleunigernutzungsaufzeichnungszeiger
4	Virtuelle Adresse (VA) Speichersegmenttabellenzeiger
5	Maske der Autorität
6	Deskriptor der Arbeit

In mindestens einer Ausführungsform ist jeder WD 984 spezifisch für ein bestimmtes Grafikbeschleunigungsmodul 946 und/oder die Grafikverarbeitungs-Engines 931-931, N). Er enthält alle Informationen, die von einer Grafikverarbeitungs-Engine 931-931, N benötigt werden, um Arbeit zu verrichten, oder kann er ein Zeiger auf einen Speicherplatz sein, an dem eine Anwendung eine Befehlswarteschlange von zu verrichtender Arbeit eingerichtet hat.
9E veranschaulicht zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells. Diese Ausführungsform umfasst einen realen Hypervisor-Adressraum 998, in dem eine Prozesselementliste 999 gespeichert ist. Der reale Hypervisor-Adressraum 998 ist über einen Hypervisor 996 zugänglich, der die Grafikbeschleunigungsmodul-Engines für das Betriebssystem 995 virtualisiert.
In mindestens einer Ausführungsform ermöglichen gemeinsam genutzte Programmiermodelle, dass alle oder eine Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System ein Grafikbeschleunigungsmodul 946 verwenden. Es gibt zwei Programmiermodelle, bei denen das Grafikbeschleunigungsmodul 946 von mehreren Prozessen und Partitionen gemeinsam genutzt wird: Zeitscheibengeteilt bzw. Time-Sliced Shared und grafikanweisungsgeteilt bzw. Graphics Directed Shared.
In diesem Modell besitzt der Systemhypervisor 996 das Grafikbeschleunigungsmodul 946 und stellt dessen Funktion allen Betriebssystemen 995 zur Verfügung. Damit ein Grafikbeschleunigungsmodul 946 die Virtualisierung durch den Systemhypervisor 996 unterstützen kann, muss das Grafikbeschleunigungsmodul 946 folgendes erfüllen: 1) Eine Auftragsanforderung einer Anwendung muss autonom sein (d.h. der Zustand braucht zwischen Aufträgen nicht aufrechterhalten zu werden), oder das Grafikbeschleunigungsmodul 946 muss einen Mechanismus zum Speichern und Wiederherstellen von Kontexts bereitstellen. 2) Das Grafikbeschleunigungsmodul 946 garantiert, dass die Auftragsanforderung einer Anwendung innerhalb einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Grafikbeschleunigungsmodul 946 stellt eine Möglichkeit bereit, die Verarbeitung eines Auftrags zu unterbrechen. 3) dem Grafikbeschleunigungsmodul 946 muss Fairness zwischen den Prozessen garantiert werden, wenn es in einem weisungsbehafteten, gemeinsam genutzten Programmiermodell arbeitet.
In mindestens einer Ausführungsform muss die Anwendung 980 einen Systemaufruf des Betriebssystems 995 mit einem Typ des Grafikbeschleunigungsmoduls 946-, einem Arbeitsdeskriptor (WD), einem AMR (Authority Mask bzw. Autoritätsmaskenregister)-Wert und einem Zeiger auf den Bereich zur Speicherung/Wiederherstellung von Kontext bzw. CSRP (Context Save/Restore Area Pointer) durchführen. In mindestens einer Ausführungsform beschreibt der Typ des Grafikbeschleunigungsmoduls 946 eine als Ziel gesetzte Beschleunigungsfunktion für einen Systemaufruf. In mindestens einer Ausführungsform kann der Typ des Grafikbeschleunigungsmoduls 946 ein systemspezifischer Wert sein. In mindestens einer Ausführungsform ist der WD speziell für das Grafikbeschleunigungsmodul 946 formatiert und kann in Form eines Grafikbeschleunigungsmodul-1246-Befehls, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer anderen Datenstruktur vorliegen, um die von dem Grafikbeschleunigungsmodul 946 zu verrichtende Arbeit zu beschreiben In einer Ausführungsform ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. In mindestens einer Ausführungsform ist ein Wert, der an ein Betriebssystem übergeben wird, vergleichbar mit einer Anwendung, die ein AMR setzt. Falls die Implementierungen der Beschleuniger-Integrationsschaltung 936 und des Grafikbeschleunigungsmoduls 946 kein User Authority Mask Override Register (UAMOR) unterstützen, kann ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor ein AMR in einem Hypervisor-Aufruf übergeben wird. Der Hypervisor 996 kann in mindestens einer Ausführungsform einen aktuellen AMOR-Wert (Authority Mask Override Register) auf einen AMR-Wert anwenden, bevor ein AMR in dem Prozesselement 983 gesetzt wird. In mindestens einer Ausführungsform ist CSRP eines der Register 945, die eine effektive Adresse eines Bereichs im Adressraum 982 einer Anwendung für das Grafikbeschleunigungsmodul 946 zum Speichern und Wiederherstellen des Kontextstatus enthalten. Dieser Zeiger wird in mindestens einer Ausführungsform verwendet, falls kein Zustand zwischen Aufträgen gespeichert werden muss oder wenn ein Auftrag vorzeitig beendet wird. In mindestens einer Ausführungsform kann der Kontext-Speicher-/Wiederherstellungs-Bereich verankerter Systemspeicher sein.

Bei Empfangen eines Systemaufrufs kann das Betriebssystem 995 überprüfen, ob die Anwendung 980 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 946 erhalten hat. Das Betriebssystem 995 ruft dann den Hypervisor 996 mit den in Tabelle 3 gezeigten Informationen auf. Tabelle 3 -BS zu Hypervisor Aufrufparameter

1	Arbeitsdeskriptor (WD)
2	Autoritätsmaskenregister (AMR)-Wert (potenziell maskiert)
3	Zeiger auf effektive Adresse (EA) des Kontext-Speicher-/Wiederherstellungs-Bereichs (CSRP)
4	Prozess-ID (PID) und optional Thread-ID (TID)
5	Zeiger auf virtuelle Adresse (VA) des Beschleunigernutzungseintrags (AURP)
6	Virtuelle Adresse des Speichersegmenttabellenzeigers (SSTP)
7	logische Unterbrechungsdienstnummer (LISN)

Bei Empfangen eines Hypervisor-Aufrufs überprüft der Hypervisor 996, ob das Betriebssystem 995 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 946 erhalten hat. Der Hypervisor 996 setzt dann das Prozess-element 983 in eine verknüpfte Prozesselementliste für einen entsprechenden Grafikbeschleunigungsmodultyp 946. Ein Prozesselement kann die in Tabelle 4 gezeigten Informationen enthalten. Tabelle 4 -Prozesselementinformationen

1	Arbeitsdeskriptor (WD)
2	Autoritätsmaskenregister (AMR)-Wert (potenziell maskiert)
3	Zeiger auf effektive Adresse (EA) des Kontext-Speicher-/Wiederherstellungs-Bereichs (CSRP)
4	Prozess-ID (PID) und optional Thread-ID (TID)
5	Zeiger auf virtuelle Adresse (VA) des Beschleunigernutzungseintrags (AURP)
6	Virtuelle Adresse des Speichersegmenttabellenzeigers (SSTP)
7	Dienstnummer logische Unterbrechung (LISN)
8	Unterbrechungsvektortabelle, abgeleitet aus Hypervisor-Aufrufparametern
9	Statusregister (SR)-Wert
10	ID logische Partition (LPID)
11	Zeiger auf reale Adresse (RA) des Eintrags für Hypervisor-Beschleunigernutzung
12	Speicherdeskriptorregister (SDR)

In mindestens einer Ausführungsform initialisiert der Hypervisor eine Vielzahl von Registern 945 des Beschleunigungs-Integrations-Slice 990.
Wie in 9F dargestellt, wird in mindestens einer Ausführungsform ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 901-902 und GPU-Speicher 920-923 verwendet wird. In dieser Implementierung nutzen Operationen, die auf den GPUs 910-913 ausgeführt werden, denselben virtuellen/effektiven Speicheradressraum, um auf die Prozessorspeicher 901-902 zuzugreifen und umgekehrt, was die Programmierbarkeit vereinfacht. In einer Ausführungsform wird ein erster Teil eines virtuellen/effektiven Adressraums dem Prozessorspeicher 901 zugewiesen, ein zweiter Teil dem zweiten Prozessorspeicher 902, ein dritter Teil dem GPU-Speicher 920 usw. In mindestens einer Ausführungsform wird dadurch ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 901-902 und GPU-Speicher 920-923 verteilt, so dass jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer virtuellen Adresse zugreifen kann, die auf diesen Speicher abgebildet bzw. gemappt ist.
In einer Ausführungsform stellt die Bias/Kohärenz-Verwaltungsschaltung 994A-994E in einer oder mehreren MMUs 939A-939E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Host-Prozessoren (z.B. 905) und GPUs 910-913 sicher und implementiert Bias-Techniken, die physische Speicher anzeigen, in denen bestimmte Datentypen zu speichern sind. Während mehrere Instanzen der Bias/Kohärenz-Verwaltungsschaltung 994A-994E in 9F dargestellt sind, können Bias/Kohärenz-Schaltkreise in einer MMU eines oder mehrerer Host-Prozessoren 905 und/oder in der Beschleuniger-Integrationsschaltung 936 implementiert sein.
Wie in 9F dargestellt, wird in mindestens einer Ausführungsform ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 901-902 und GPU-Speicher 920-923 verwendet wird. In dieser Implementierung nutzen Operationen, die auf den GPUs 910-913 ausgeführt werden, denselben virtuellen/effektiven Speicheradressraum, um auf die Prozessorspeicher 901-902 zuzugreifen und umgekehrt, was die Programmierbarkeit vereinfacht. In einer Ausführungsform wird ein erster Teil eines virtuellen/effektiven Adressraums dem Prozessorspeicher 901 zugewiesen, ein zweiter Teil dem zweiten Prozessorspeicher 902, ein dritter Teil dem GPU-Speicher 920 usw. In mindestens einer Ausführungsform wird dadurch ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 901-902 und GPU-Speicher 920-923 verteilt, so dass jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer virtuellen Adresse zugreifen kann, die auf diesen Speicher abgebildet bzw. gemappt ist.
In einer Ausführungsform stellt die Bias/Kohärenz-Verwaltungsschaltung 994A-994E in einer oder mehreren MMUs 939A-939E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Host-Prozessoren (z.B. 905) und GPUs 910-913 sicher und implementiert Bias-Techniken, die physische Speicher anzeigen, in denen bestimmte Datentypen zu speichern sind. Während mehrere Instanzen der Bias/Kohärenz-Verwaltungsschaltung 994A-994E in 9F dargestellt sind, können Bias/Kohärenz-Schaltkreise in einer MMU eines oder mehrerer Host-Prozessoren 905 und/oder in der Beschleuniger-Integrationsschaltung 936 implementiert sein.
In einer Ausführungsform kann GPU-angeschlossener Speicher 920-923 als Teil des Systemspeichers abgebildet werden und kann auf ihn mit der SVM (Shared Virtual Memory)-Technologie zugegriffen werden, ohne dass Leistungsnachteile auftreten, die mit der vollständigen System-Cache-Kohärenz verbunden sind. In mindestens einer Ausführungsform bietet die Möglichkeit des Zugriffs auf GPU-angeschlossenen Speicher 920-923 als Systemspeicher ohne lästigen Cache-Kohärenz-Overhead eine vorteilhafte Betriebsumgebung für GPU-Offload. Diese Anordnung ermöglicht es der Software des Host-Prozessors 905, Operanden einzurichten und auf Berechnungsergebnisse zuzugreifen, ohne den Overhead traditioneller E/A-DMA-Datenkopien. Solche traditionellen Kopien beinhalten Treiberaufrufe, Interrupts und Memory-Mapped-E/A-Zugriffe (MMIO), die alle im Vergleich zu einfachen Speicherzugriffen ineffizient sind. In mindestens einer Ausführungsform kann die Fähigkeit, auf GPU-verbundenen Speicher 920-923 ohne Cache-Kohärenz-Overhead zuzugreifen, für die Ausführungszeit einer ausgelagerten Berechnung entscheidend sein. In Fällen mit erheblichem Streaming-Schreibspeicherverkehr kann der Cache-Kohärenz-Overhead beispielsweise die effektive Schreibbandbreite einer GPU 910-913 erheblich reduzieren. In mindestens einer Ausführungsform können die Effizienz der Operandeneinrichtung, die Effizienz des Ergebniszugriffs und die Effizienz der GPU-Berechnung eine Rolle bei der Bestimmung der Effektivität eines GPU-Offloads spielen.
In mindestens einer Ausführungsform wird die Auswahl von GPU-Bias und Host-Prozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. Es kann z.B. eine Bias-Tabelle verwendet werden, die eine seitengranulare Struktur sein kann (in mindestens einer Ausführungsform kann dies mit einer Granularität einer Speicherseite gesteuert wird), die 1 oder 2 Bits pro GPU-angeschlossener Speicherseite umfasst. In mindestens einer Ausführungsform kann eine Bias-Tabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU-angeschlossener Speicher 920-923 implementiert sein, mit oder ohne Bias-Cache in der GPU 910-913 (wie beispielsweise um häufig/kürzlich verwendete Einträge einer Bias-Tabelle zu cachen). Alternativ kann auch eine gesamte Bias-Tabelle in einer GPU verwaltet werden.
In mindestens einer Ausführungsform wird vor einem tatsächlichen Zugriff auf einen GPU-Speicher auf einen Bias-Tabelleneintrag zugegriffen, der jedem Zugriff auf GPU-angeschlossenen Speicher 920-923 zugeordnet ist, was die folgenden Vorgänge bewirkt. Zunächst werden lokale Anforderungen von GPUs 910-913, die ihre Seite im GPU-Bias finden, direkt an einen entsprechenden GPU-Speicher 920-923 weitergeleitet. Lokale Anforderungen von einer GPU, die ihre Seite im Host-Bias finden, werden an den Prozessor 905 weitergeleitet (wie beispielsweise über eine Hochgeschwindigkeitsverbindung wie oben beschrieben). In einer Ausführungsform schließen Anforderungen vom Prozessor 905, die eine angeforderte Seite im Host-Prozessor-Bias finden, eine Anforderung wie ein normales Speicherlesen ab. Alternativ können Anforderungen, die an eine Seite mit GPU-Bias gerichtet sind, an die GPU 910-913 weitergeleitet werden. In mindestens einer Ausführungsform kann eine GPU dann eine Seite in einen Host-Prozessor-Bias überführen, wenn sie eine Seite gerade nicht verwendet. In mindestens einer Ausführungsform kann der Bias-Zustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwareunterstützten softwarebasierten Mechanismus oder, für eine begrenzte Anzahl von Fällen, einen rein hardwarebasierten Mechanismus geändert werden.
Ein Mechanismus zum Ändern des Bias-Zustands verwendet einen API-Aufruf (wie beispielsweise OpenCL), der wiederum den Gerätetreiber eines Grafikprozessors aufruft, der wiederum eine Nachricht an einen Grafikprozessor sendet (oder einen Befehlsdeskriptor in die Warteschlange stellt) und ihn anweist, einen Bias-Zustand zu ändern und bei einigen Übergängen einen Cache-Flushing-Vorgang in einem Host durchzuführen. In mindestens einer Ausführungsform wird der Cache-Flushing-Vorgang für einen Übergang vom Bias des Host-Prozessors 905 zum Bias der GPU verwendet, aber nicht für einen entgegengesetzten Übergang.
In einer Ausführungsform wird die Cache-Kohärenz aufrechterhalten, indem GPUbasierte Seiten vom Host-Prozessor 905 vorübergehend nicht gecacht werden können. Um auf diese Seiten zuzugreifen, kann der Prozessor 905 den Zugriff von der GPU 910 anfordern, die den Zugriff möglicherweise nicht sofort gewährt. Um die Kommunikation zwischen Prozessor 905 und GPU 910 zu reduzieren, ist es daher vorteilhaft, sicherzustellen, dass Seiten mit GPU-Bias diejenigen sind, die von einer GPU, aber nicht vom Host-Prozessor 905 benötigt werden und umgekehrt.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um eine oder mehrere Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben.
10A veranschaulicht beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden können, gemäß verschiedenen hierin beschriebenen Ausführungsformen, zum Unterstützen und/oder Ermöglichen eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums, wie hierin beschrieben. Zusätzlich zu dem, was dargestellt ist, können andere Logik und Schaltungen in mindestens einer Ausführungsform enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Universal-Prozessorkerne.
10A ist ein Blockdiagramm, das eine beispielhafte integrierte System-aufeinem-Chip-Schaltung 1000A veranschaulicht, die unter Verwendung eines oder mehrerer IP-Kerne gemäß mindestens einer Ausführungsform hergestellt werden kann. In mindestens einer Ausführungsform enthält die integrierte Schaltung 1000A einen oder mehrere Anwendungsprozessor(en) 1005 (z.B. CPUs), mindestens einen Grafikprozessor 1010 und kann zusätzlich einen Bildprozessor 1015 und/oder einen Videoprozessor 1020 enthalten, von denen jeder ein modularer IP-Kern sein kann. In mindestens einer Ausführungsform enthält der integrierte Schaltkreis 1000 eine Peripherie- oder Buslogik einschließlich eines USB-Controllers 1025, eines UART-Controllers 1030, eines SPI/SDIO-Controllers 1035 und eines I2S/I2C-Controllers 1040. In mindestens einer Ausführungsform kann die integrierte Schaltung 1000 eine Anzeigevorrichtung 1045 enthalten, die mit einem oder mehreren HDMI-Controllern (High-Definition Multimedia Interface) 1050 und einer MIPI-Anzeigeschnittstelle 1055 (Mobile Industry Processor Interface) verbunden ist. In mindestens einer Ausführungsform kann der Speicher durch ein Flash-Speicher-Subsystem 1060 bereitgestellt werden, das einen Flash-Speicher und einen Flash-Speicher-Controller enthält. In mindestens einer Ausführungsform kann die Speicherschnittstelle über einen Speicher-Controller 1065 für den Zugriff auf SDRAM- oder SRAM-Speichervorrichtungen bereitgestellt werden. In mindestens einer Ausführungsform enthalten einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Engine 1070.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in der integrierten Schaltung 1000A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
10B-10C zeigen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden können, gemäß verschiedenen hierin beschriebenen Ausführungsformen, um eine intelligente Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums zu unterstützen und/oder zu ermöglichen. Zusätzlich zu dem, was dargestellt ist, können andere Logik und Schaltungen in mindestens einer Ausführungsform enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Universal-Prozessorkerne.
10B-10C sind Blockdiagramme, die beispielhafte Grafikprozessoren zur Verwendung in einem SoC veranschaulichen, gemäß hierin beschriebenen Ausführungsformen, um eine intelligente Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums zu unterstützen und/oder zu ermöglichen, wie hierin beschrieben. In einem Beispiel können die Grafikprozessoren in der intelligenten Steuerung eines thermischen Belastungssystems zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums aufgrund existierender Mathematik-Engines, die zu einer schnelleren Verarbeitung von mehrstufigen neuronalen Netzwerken in der Lage sind, verwendet werden. 10B veranschaulicht einen beispielhaften Grafikprozessor 1010 eines integrierten System-on-Chip-Schaltkreises, der gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann. 10C zeigt einen weiteren beispielhaften Grafikprozessor 1040 eines integrierten System-on-Chip-Schaltkreises, der unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessor 1010 aus 10A ein stromsparender Grafikprozessorkern. In mindestens einer Ausführungsform ist der Grafikprozessor 1040 von 10C ein Grafikprozessorkern mit höherer Leistung. In mindestens einer Ausführungsform kann jeder der Grafikprozessoren 1010, 1040 eine Variante des Grafikprozessors 1010 von 10A sein.
In mindestens einer Ausführungsform umfasst der Grafikprozessor 1010 einen Vertex-Prozessor 1005 und einen oder mehrere Fragment-Prozessor(en) 1015A-1015N (wie beispielsweise 1015A, 1015B, 1015C, 1015D bis 1015N-1 und 1015N). In mindestens einer Ausführungsform kann der Grafikprozessor 1010 verschiedene Shader-Programme über eine separate Logik ausführen, so dass der Vertex-Prozessor 1005 für die Ausführung von Operationen für Vertex-Shader-Programme optimiert ist, während ein oder mehrere Fragment-Prozessor(en) 1015A-1015N Fragment- (wie beispielsweise Pixel-) Shading-Operationen für Fragment- oder Pixel-Shader-Programme ausführen. In mindestens einer Ausführungsform führt der Vertex-Prozessor 1005 eine Vertex-Verarbeitungsstufe einer 3D-Grafikpipeline aus und erzeugt Primitive und Vertexdaten. In mindestens einer Ausführungsform verwenden Fragmentprozessor(en) 1015A-1015N die vom Vertexprozessor 1005 erzeugten Primitiv- und Vertexdaten, um einen Frame-Puffer zu erzeugen, der auf einer Anzeigevorrichtung angezeigt wird. In mindestens einer Ausführungsform ist/sind der/die Fragmentprozessor(en) 1015A-1015N für die Ausführung von Fragment-Shader-Programmen optimiert, wie sie in einer O-penGL-API vorgesehen sind, die zur Durchführung ähnlicher Operationen wie ein Pixel-Shader-Programm verwendet werden kann, wie es in einer Direct 3D-API vorgesehen ist.
In mindestens einer Ausführungsform enthält der Grafikprozessor 1010 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 1020A-1020B, Cache(s) 1025A-1025B und Schaltungsverbindung(en) 1030A-1030B. In mindestens einer Ausführungsform sorgen eine oder mehrere MMU(s) 1020A-1020B für die Zuordnung von virtuellen zu physischen Adressen für den Grafikprozessor 1010, einschließlich für den Vertex-Prozessor 1005 und/oder den/die Fragment-Prozessoren) 1015A-1015N, die auf im Speicher gespeicherte Vertex- oder Bild/Textur-Daten verweisen können, zusätzlich zu den in einem oder mehreren Cache(s) 1025A-1025B gespeicherten Vertex- oder Bild/Textur-Daten. In mindestens einer Ausführungsform können eine oder mehrere MMU(s) 1020A-10020B mit anderen MMUs innerhalb des Systems synchronisiert werden, einschließlich einer oder mehrerer MMUs, die einem oder mehreren Anwendungsprozessor(en) 1005, Bildprozessoren 1015 und/oder Videoprozessoren 1020 von 10A zugeordnet sind, so dass jeder Prozessor 1005-1020 an einem gemeinsam genutzten oder vereinheitlichten virtuellen Speichersystem teilnehmen kann. In mindestens einer Ausführungsform ermöglichen eine oder mehrere Schaltungsverbindung(en) 1030A-1030B dem Grafikprozessor 1010 eine Schnittstelle zu anderen IP-Kernen innerhalb des SoC, entweder über einen internen Bus des SoC oder über eine direkte Verbindung.
In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 eine oder mehrere MMU(s) 1020A-1020B, Cache(s) 1025A-1025B und Schaltkreisverbindung(en) 1030A-1030B des Grafikprozessors 1010 von 10A. In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 einen oder mehrere Shader-Kern(e) 1055A-1055N (z.B. 1055A, 1055B, 1055C, 1055D, 1055E, 1055F bis 1055N-1 und 1055N), der eine einheitliche Shader-Kern-Architektur bereitstellt, bei der ein einziger Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Rechen-Shadern. In mindestens einer Ausführungsform kann eine Anzahl von Shader-Kernen variieren. In mindestens einer Ausführungsform enthält der Grafikprozessor 1040 einen Inter-Core-Task-Verwalter 1045, der als Thread-Versender fungiert, um AusführungsThreads an einen oder mehrere Shader-Kerne 1055A-1055N zu verteilen, sowie eine Kachelungs- bzw. Tiling-Einheit 1058, um Kachelungs- bzw. Tiling-Operationen für kachelbasiertes Rendering zu beschleunigen, bei denen Rendering-Operationen für eine Szene im Bildraum unterteilt werden, um beispielsweise die lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Verwendung interner Caches zu optimieren.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in der integrierten Schaltung 10A und/oder 10B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
10D-10E veranschaulichen zusätzliche beispielhafte Grafikprozessorlogik, gemäß hierin beschriebenen Ausführungsformen, um ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums zu unterstützen und/oder zu ermöglichen, wie hierin beschrieben. 10D veranschaulicht einen Grafikkern 1000D, der in mindestens einer Ausführungsform im Grafikprozessor 1010 von 10A enthalten sein kann und in mindestens einer Ausführungsform ein einheitlicher Shader-Kern 1055A-1055N wie in 10C sein kann. 10B zeigt eine hochparallele Mehrzweck-Grafikverarbeitungseinheit 1030, die für den Einsatz auf einem Multi-Chip-Modul in mindestens einer Ausführungsform geeignet ist.
In mindestens einer Ausführungsform kann der Grafikkern 1000D mehrere Slices 1001 A-1001 N oder Partitionen für jeden Kern enthalten, und kann ein Grafikprozessor mehrere Instanzen des Grafikkerns 1000D enthalten. Die Slices 1001A-1001 N können eine Unterstützungslogik enthalten, die einen lokalen Befehlscache 1004A-1004N, einen Thread-Planer bzw. Thread-Scheduler 1006A-1006N, einen Thread-Versender bzw. Thread-Dispatcher 1008A-1008N und einen Satz von Registern 1010A-1010N umfasst. In mindestens einer Ausführungsform können die Slices 1001A-1001N einen Satz zusätzlicher Funktionseinheiten (AFUs 1012A-1012N), Gleitkommaeinheiten (FPU 1014A-1014N), Ganzzahl-Arithmetik-Logikeinheiten (ALUs 1016-1016N), Adressberechnungseinheiten (ACU 1013A-1013N), Gleitkommaeinheiten mit doppelter Genauigkeit (DPFPU 1015A-1015N) und Matrixverarbeitungseinheiten (MPU 1017A-1017N) enthalten.
In mindestens einer Ausführungsform können die FPUs 1014A-1014N Gleitkommaoperationen mit einfacher Genauigkeit (32 Bit) und halber Genauigkeit (16 Bit) durchführen, während die DPFPUs 1015A-1015N Gleitkommaoperationen mit doppelter Genauigkeit (64 Bit) durchführen. In mindestens einer Ausführungsform können die ALUs 1016A-1016N Ganzzahl- bzw. Integer-Operationen mit variabler Präzision bei 8-Bit-, 16-Bit- und 32-Bit-Präzision durchführen und für Operationen mit gemischter Präzision konfiguriert sein. In mindestens einer Ausführungsform können die MPUs 1017A-1017N auch für Matrixoperationen mit gemischter Genauigkeit konfiguriert sein, einschließlich Gleitkomma- und 8-Bit-Ganzzahl-Operationen mit halber Genauigkeit. In mindestens einer Ausführungsform können die MPUs 1017A-1017N eine Vielzahl von Matrixoperationen durchführen, um Anwendungs-Frameworks für maschinelles Lernen zu beschleunigen, einschließlich der Unterstützung für eine beschleunigte allgemeine Matrix-zu-Matrix-Multiplikation (GEMM; general matrix to matrix multiplication). In mindestens einer Ausführungsform können die AFUs 1012A-1012N zusätzliche logische Operationen durchführen, die nicht von Gleitkomma- oder Ganzzahl-Einheiten unterstützt werden, einschließlich trigonometrischer Operationen (wie beispielsweise Sinus, Cosinus usw.).
Wie andernorts in dieser Offenbarung diskutiert, kann die Inferenzierungs- und/oder Trainingslogik 615 (referenziert zumindest in 6B, 6C) verwendet werden, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 in dem Grafikkern 1000D für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet wurden.
11A ist ein Blockdiagramm, das ein Rechensystem 1100A veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das Rechensystem 1100A ein Verarbeitungssubsystem 1101 mit einem oder mehreren Prozessor(en) 1102 und einem Systemspeicher 1104, die über einen Verbindungspfad kommunizieren, der einen Speicher-Hub 1105 enthalten kann. In mindestens einer Ausführungsform kann der Speicher-Hub 1105 eine separate Komponente innerhalb einer Chipsatzkomponente sein oder in einen oder mehrere Prozessor(en) 1102 integriert sein. In mindestens einer Ausführungsform ist der Speicher-Hub 1105 über eine Kommunikationsverbindung 1106 mit einem E/A-Subsystem 1111 gekoppelt. In mindestens einer Ausführungsform umfasst das E/A-Subsystem 1111 einen E/A-Hub 1107, der es dem Rechensystem 1100 ermöglichen kann, Eingaben von einem oder mehreren Eingabegerät(en) 1108 zu empfangen. In mindestens einer Ausführungsform kann der E/A-Hub 1107 einen Anzeige-Controller, der in einem oder mehreren Prozessor(en) 1102 enthalten sein kann, in die Lage versetzen, Ausgaben an eine oder mehrere Anzeigevorrichtung(en) 1110A zu liefern. In mindestens einer Ausführungsform kann eine oder mehrere Anzeigevorrichtung(en) 1110A, die mit dem E/A-Hub 1107 gekoppelt sind, eine lokale, interne oder eingebettete Anzeigevorrichtung umfassen.
In mindestens einer Ausführungsform umfasst das Verarbeitungssubsystem 1101 einen oder mehrere parallele(n) Prozessor(en) 1112, der/die über einen Bus oder eine andere Kommunikationsverbindung 1113 mit dem Speicher-Hub 1105 verbunden ist/sind. In mindestens einer Ausführungsform kann die Kommunikationsverbindung 1113 eine beliebige Anzahl von standardbasierten Kommunikationsverbindungstechnologien oder -protokollen sein, wie z.B., aber nicht beschränkt auf, PCI Express, oder sie kann eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einer Ausführungsform bilden ein oder mehrere parallele(r) Prozessor(en) 1112 ein rechnerisch fokussiertes Parallel- oder Vektorverarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern umfassen kann, wie z.B. einen MIC (Many Integrated Core)-Prozessor. In mindestens einer Ausführungsform bilden ein oder mehrere Parallelprozessor(en) 1112 ein Grafikverarbeitungs-Subsystem, das Pixel an eine oder mehrere Anzeigevorrichtung(en) 1110A ausgeben kann, die über den E/A-Hub 1107 gekoppelt sind. In mindestens einer Ausführungsform können ein oder mehrere Parallelprozessor(en) 1112 auch einen Anzeige-Controller und eine Anzeige-Schnittstelle (nicht dargestellt) enthalten, um eine direkte Verbindung zu einer oder mehreren Anzeigevorrichtung(en) 111 0B zu ermöglichen.
In mindestens einer Ausführungsform kann eine Systemspeichereinheit 1114 mit dem E/A-Hub 1107 verbunden sein, um einen Speichermechanismus für das Computersystem 1100 bereitzustellen. In mindestens einer Ausführungsform kann ein E/A-Switch 1116 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, der Verbindungen zwischen dem E/A-Hub 1107 und anderen Komponenten ermöglicht, wie z.B. einem Netzwerkadapter 1118 und/oder einem drahtlosen Netzwerkadapter 1119, der in eine oder mehrere Plattformen integriert werden kann, und verschiedenen anderen Geräten, die über ein oder mehrere Add-in-Geräte 1120 hinzugefügt werden können. In mindestens einer Ausführungsform kann der Netzwerkadapter 1118 ein Ethernet-Adapter oder ein anderer kabelgebundener Netzwerkadapter sein. In mindestens einer Ausführungsform kann der drahtlose Netzwerkadapter 1119 ein oder mehrere Wi-Fi-, Bluetooth-, Near Field Communication (NFC)- oder andere Netzwerkgeräte umfassen, die ein oder mehrere drahtlose Funkvorrichtungen enthalten.
In mindestens einer Ausführungsform kann das Computersystem 1100 andere, nicht explizit dargestellte Komponenten enthalten, einschließlich USB- oder andere Anschlussverbindungen, optische Speicherlaufwerke, Videoaufnahmegeräte und so weiter, die ebenfalls an den E/A-Hub 1107 angeschlossen sein können. In mindestens einer Ausführungsform können Kommunikationspfade, die verschiedene Komponenten in 11 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle, z.B. auf PCI (Peripheral Component Interconnect) basierende Protokolle (wie beispielsweise PCI-Express) oder andere Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder Protokolle, z.B. NV-Link High-Speed-Interconnect oder Interconnect-Protokolle, implementiert sein.
In mindestens einer Ausführungsform enthalten ein oder mehrere Parallelprozessor(en) 1112 Schaltungen, die für die Grafik- und Videoverarbeitung optimiert sind, z.B. Videoausgangsschaltungen, und bilden eine Grafikverarbeitungseinheit (GPU). In mindestens einer Ausführungsform enthalten ein oder mehrere Parallelprozessor(en) 1112 Schaltungen, die für die allgemeine Verarbeitung optimiert sind. In mindestens einer Ausführungsform können Komponenten des Rechensystems 1100A mit einem oder mehreren anderen Systemelementen auf einer einzigen integrierten Schaltung integriert sein. In mindestens einer Ausführungsform können in mindestens einer Ausführungsform ein oder mehrere Parallelprozessor(en) 1112, Speicher-Hub 1105, Prozessor(en) 1102 und E/A-Hub 1107 in einen integrierten System-on-Chip (SoC)-Schaltkreis integriert werden. In mindestens einer Ausführungsform können die Komponenten des Rechensystems 1100A in ein einziges Gehäuse integriert werden, um eine System-in-Package (SIP)-Konfiguration zu bilden. In mindestens einer Ausführungsform kann mindestens ein Teil der Komponenten des Rechensystems 1100A in ein Multi-Chip-Modul (MCM) integriert sein, das mit anderen Multi-Chip-Modulen zu einem modularen Rechensystem zusammengeschaltet sein kann.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im System 11A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
PROZESSOREN
11 B veranschaulicht einen Parallelprozessor 1100B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können verschiedene Komponenten des Parallelprozessors 1100B unter Verwendung eines oder mehrerer integrierter Schaltkreisbausteine, wie z.B. programmierbare Prozessoren, anwendungsspezifische integrierte Schaltkreise (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), implementiert sein. In mindestens einer Ausführungsform ist der dargestellte Parallelprozessor 11 00B eine Variante von einem oder mehreren Parallelprozessoren 1112, die in 11 B gemäß einer beispielhaften Ausführungsform dargestellt sind.
In mindestens einer Ausführungsform enthält der Parallelprozessor 1100B eine Parallelverarbeitungseinheit 1102. In mindestens einer Ausführungsform umfasst die Parallelverarbeitungseinheit 1102 eine E/A-Einheit 1104, die die Kommunikation mit anderen Geräten ermöglicht, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 1102. In mindestens einer Ausführungsform kann die E/A-Einheit 1104 direkt mit anderen Geräten verbunden sein. In mindestens einer Ausführungsform ist die E/A-Einheit 1104 über eine Hub- oder Switch-Schnittstelle, wie z.B. den Speicher-Hub 1105, mit anderen Geräten verbunden. In mindestens einer Ausführungsform bilden die Verbindungen zwischen dem Speicher-Hub 1105 und der E/A-Einheit 1104 eine Kommunikationsverbindung 1113. In mindestens einer Ausführungsform ist die E/A-Einheit 1104 mit einer Host-Schnittstelle 1106 und einer Speicherkreuzschiene 1116 verbunden, wobei die Host-Schnittstelle 1106 Befehle zur Durchführung von Verarbeitungsoperationen und die Speicherkreuzschiene 1116 Befehle zur Durchführung von Speicheroperationen empfängt.
In mindestens einer Ausführungsform kann die Host-Schnittstelle 1106, wenn sie einen Befehlspuffer über die E/A-Einheit 1104 empfängt, Arbeitsoperationen zur Ausführung dieser Befehle an ein Frontend 1108 leiten. In mindestens einer Ausführungsform ist das Frontend 1108 mit einem Planer bzw. Planer 1110 gekoppelt, der so konfiguriert ist, dass er Befehle oder andere Arbeitselemente an ein Verarbeitungscluster-Array 1112 verteilt. In mindestens einer Ausführungsform stellt der Planer 1110 sicher, dass das Verarbeitungscluster-Array 1112 richtig konfiguriert ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an das Verarbeitungscluster-Array 1112 verteilt werden. In mindestens einer Ausführungsform ist der Planer 1110 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. In mindestens einer Ausführungsform ist der in einem Mikrocontroller implementierte Planer 1110 so konfigurierbar, dass er komplexe Scheduling- und Arbeitsverteilungsoperationen mit grober und feiner Granularität durchführen kann, was eine schnelle Präemption und Kontextumschaltung von Threads ermöglicht, die auf dem Verarbeitungs-Array 1112 ausgeführt werden. In mindestens einer Ausführungsform kann die Host-Software Arbeitslasten für die Planung auf dem Verarbeitungs-Array 1112 über eine von mehreren Grafikverarbeitungs-Doorbells nachweisen. In mindestens einer Ausführungsform können die Arbeitslasten dann automatisch über das Verarbeitungs-Array 1112 durch die Logik des Planers 1110 in einem Mikrocontroller mit dem Planer 1110 verteilt werden.
In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 bis zu „N“ Verarbeitungscluster umfassen (wie beispielsweise Cluster 1114A, Cluster 1114B bis Cluster 1114N). In mindestens einer Ausführungsform kann jeder Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 eine große Anzahl gleichzeitiger Threads ausführen. In mindestens einer Ausführungsform kann der Planer 1110 den Clustern 1114A-1114N des Verarbeitungscluster-Arrays 1112 Arbeit zuweisen, indem er verschiedene Scheduling- und/oder Arbeitsverteilungsalgorithmen verwendet, die in Abhängigkeit von der Arbeitslast variieren können, die für jede Art von Programm oder Berechnung entsteht. In mindestens einer Ausführungsform kann das Planen dynamisch durch den Planer 1110 gehandhabt werden oder teilweise durch Compilerlogik während der Kompilierung von Programmlogik unterstützt werden, die für die Ausführung durch das Verarbeitungscluster-Array 1112 konfiguriert ist. In mindestens einer Ausführungsform können verschiedene Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 für die Verarbeitung verschiedener Programmtypen oder für die Durchführung verschiedener Berechnungsarten zugewiesen werden.
In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 so konfiguriert sein, dass es verschiedene Arten von parallelen Verarbeitungsoperationen durchführt. In mindestens einer Ausführungsform ist das Verarbeitungs-Cluster-Array 1112 so konfiguriert, dass es parallele Universal-Rechenoperationen durchführt. In mindestens einer Ausführungsform kann das Verarbeitungs-Cluster-Array 1112 eine Logik zur Ausführung von Verarbeitungsaufgaben enthalten, einschließlich der Filterung von Video- und/oder Audiodaten, der Durchführung von Modellierungsoperationen, einschließlich physischer Operationen, und der Durchführung von Datentransformationen.
In mindestens einer Ausführungsform ist das Verarbeitungscluster-Array 1112 so konfiguriert, dass es parallele Grafikverarbeitungsoperationen durchführt. In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 zusätzliche Logik enthalten, um die Ausführung solcher Grafikverarbeitungsoperationen zu unterstützen, einschließlich, aber nicht beschränkt auf, Texturabtastlogik, um Texturoperationen durchzuführen, sowie Tesselationslogik und andere Vertex-Verarbeitungslogik. In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 1112 so konfiguriert sein, dass es grafikverarbeitungsbezogene Shader-Programme ausführt, wie z.B. Vertex-Shader, Tessellierungs-Shader, Geometrie-Shader und Pixel-Shader, ist aber nicht darauf beschränkt. In mindestens einer Ausführungsform kann die Parallelverarbeitungseinheit 1102 Daten aus dem Systemspeicher über die E/A-Einheit 1104 zur Verarbeitung übertragen. In mindestens einer Ausführungsform können die übertragenen Daten während der Verarbeitung im On-Chip-Speicher (wie beispielsweise im Parallelprozessorspeicher 1122) gespeichert und dann in den Systemspeicher zurückgeschrieben werden.
In mindestens einer Ausführungsform kann dann, wenn die Parallelverarbeitungseinheit 1102 zur Durchführung der Grafikverarbeitung verwendet wird, der Planer 1110 so konfiguriert sein, dass er eine Verarbeitungslast in annähernd gleich gro-ße Aufgaben aufteilt, um eine bessere Verteilung der Grafikverarbeitungsvorgänge auf mehrere Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 zu ermöglichen. In mindestens einer Ausführungsform können Teile des Verarbeitungscluster-Arrays 1112 so konfiguriert sein, dass sie verschiedene Arten der Verarbeitung durchführen. In mindestens einer Ausführungsform kann ein erster Teil so konfiguriert sein, dass er Vertex-Shading und Topologieerzeugung durchführt, kann ein zweiter Teil so konfiguriert sein, dass er Tesselation und Geometrie-Shading durchführt, und kann ein dritter Teil so konfiguriert sein, dass er Pixel-Shading oder andere Bildschirmraumoperationen durchführt, um ein gerendertes Bild für die Anzeige zu erzeugen, falls eine Simulation einer Ventilsteuerung für ein thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems eines Rechenzentrums erforderlich ist. In mindestens einer Ausführungsform können Zwischendaten, die von einem oder mehreren der Cluster 1114A-1114N erzeugt werden, in Puffern gespeichert werden, damit Zwischendaten zwischen den Clustern 1114A-1114N zur weiteren Verarbeitung übertragen werden können.
In mindestens einer Ausführungsform kann das Verarbeitungs-Cluster-Array 1112 Verarbeitungsaufgaben empfangen, die über den Planer 1110 auszuführen sind, der Befehle zur Definition von Verarbeitungsaufgaben vom Frontend 1108 empfängt. In mindestens einer Ausführungsform können die Verarbeitungsaufgaben Indizes der zu verarbeitenden Daten enthalten, wie beispielsweise Oberflächen-(Patch-)Daten, Primitivdaten, Vertexdaten und/oder Pixeldaten, sowie Zustandsparameter und Befehle, die definieren, wie die Daten zu verarbeiten sind (wie beispielsweise welches Programm auszuführen ist). In mindestens einer Ausführungsform kann der Planer 1110 so konfiguriert sein, dass er den Aufgaben entsprechende Indizes abruft oder Indizes vom Frontend 1108 empfängt. In mindestens einer Ausführungsform kann das Frontend 1108 so konfiguriert sein, dass es sicherstellt, dass das Verarbeitungscluster-Array 1112 in einen gültigen Zustand versetzt wird, bevor eine durch eingehende Befehlspuffer (wie beispielsweise Batch-Puffer, Push-Puffer usw.) spezifizierte Arbeitslast initiiert wird.
In mindestens einer Ausführungsform kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 1102 mit dem Parallelprozessorspeicher 1122 gekoppelt sein. In mindestens einer Ausführungsform kann auf den Parallelprozessorspeicher 1122 über die Speicherkreuzschiene 1116 zugegriffen werden, die Speicheranforderungen von der Verarbeitungsclusteranordnung 1112 sowie der E/A-Einheit 1104 empfangen kann. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 über eine Speicherschnittstelle 1118 auf den parallelen Prozessorspeicher 1122 zugreifen. In mindestens einer Ausführungsform kann die Speicherschnittstelle 1118 mehrere Partitionseinheiten (wie beispielsweise Partitionseinheit 1120A, Partitionseinheit 1120B bis Partitionseinheit 1120N) umfassen, die jeweils mit einem Teil (z.B. Speichereinheit) des Parallelprozessorspeichers 1122 gekoppelt sein können. In mindestens einer Ausführungsform ist eine Anzahl von Partitionseinheiten 1120A-1120N so konfiguriert, dass sie gleich einer Anzahl von Speichereinheiten ist, so dass eine erste Partitionseinheit 1120A eine entsprechende erste Speichereinheit 1124A hat, eine zweite Partitionseinheit 1120B eine entsprechende Speichereinheit 1124B hat und eine N-te Partitionseinheit 1120N eine entsprechende N-te Speichereinheit 1124N hat. In mindestens einer Ausführungsform kann die Anzahl der Partitionseinheiten 1120A-1120N nicht gleich der Anzahl der Speichereinheiten sein.
In mindestens einer Ausführungsform können die Speichereinheiten 1124A-1124N verschiedene Arten von Speichervorrichtungen enthalten, einschließlich dynamischem Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchronem Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR). In mindestens einer Ausführungsform können die Speichereinheiten 1124A-1124N auch 3D-Stapelspeicher enthalten, einschließlich, aber nicht beschränkt auf HBM (High Bandwidth Memory)-Speicher. In mindestens einer Ausführungsform können Rendering-Ziele, wie z.B. Frame-Puffer oder Textur-Maps, über die Speichereinheiten 1124A-1124N hinweg gespeichert werden, so dass die Partitionseinheiten 1120A-1120N Teile jedes Rendering-Ziels parallel schreiben können, um die verfügbare Bandbreite des Parallelprozessorspeichers 1122 effizient zu nutzen. In mindestens einer Ausführungsform kann eine lokale Instanz des parallelen Prozessorspeichers 1122 zugunsten eines einheitlichen Speicherdesigns ausgeschlossen werden, das den Systemspeicher in Verbindung mit dem lokalen Cache-Speicher nutzt.
In mindestens einer Ausführungsform kann jeder der Cluster 1114A-1114N des Verarbeitungscluster-Arrays 1112 Daten verarbeiten, die in eine beliebige der Speichereinheiten 1124A-1124N innerhalb des Parallelprozessorspeichers 1122 geschrieben werden. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 so konfiguriert sein, dass sie eine Ausgabe jedes Clusters 1114A-1114N an eine beliebige Partitionseinheit 1120A-1120N oder an einen anderen Cluster 1114A-1114N überträgt, der zusätzliche Verarbeitungsoperationen an einer Ausgabe durchführen kann. In mindestens einer Ausführungsform kann jeder Cluster 1114A-1114N über die Speicherkreuzschiene 1116 mit der Speicherschnittstelle 1118 kommunizieren, um von verschiedenen externen Speichervorrichtungen zu lesen oder in diese zu schreiben. In mindestens einer Ausführungsform hat die Speicherkreuzschiene 1116 eine Verbindung zur Speicherschnittstelle 1118, um mit der E/A-Einheit 1104 zu kommunizieren, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 1122, wodurch die Verarbeitungseinheiten innerhalb der verschiedenen Verarbeitungscluster 1114A-1114N mit dem Systemspeicher oder einem anderen Speicher kommunizieren können, der nicht lokal zur Parallelverarbeitungseinheit 1102 gehört. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 1116 virtuelle Kanäle verwenden, um Verkehrsströme zwischen Clustern 1114A-1114N und Partitionseinheiten 1120A-1120N zu trennen.
In mindestens einer Ausführungsform können mehrere Instanzen der Parallelverarbeitungseinheit 1102 auf einer einzigen Zusatzsteckkarte bzw. Add-in-Karte bereitgestellt sein, oder können mehrere Add-in-Karten miteinander verbunden sein. In mindestens einer Ausführungsform können verschiedene Instanzen der Parallelverarbeitungseinheit 1102 so konfiguriert sein, dass sie auch dann zusammenarbeiten, wenn die verschiedenen Instanzen eine unterschiedliche Anzahl von Prozessorkernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Zum Beispiel können in mindestens einer Ausführungsform einige Instanzen der Parallelverarbeitungseinheit 1102 im Vergleich zu anderen Instanzen Gleitkommaeinheiten mit höherer Präzision enthalten. In mindestens einer Ausführungsform können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 1102 oder des Parallelprozessors 1100 enthalten, in einer Vielzahl von Konfigurationen und Formfaktoren implementiert sein, einschließlich, aber nicht beschränkt auf Desktop-, Laptop- oder Handheld-Personal Computer, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme.
11C ist ein Blockdiagramm einer Partitionseinheit 1120 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Partitionseinheit 1120 eine Instanz einer der Partitionseinheiten 1120A-1120N aus 11B. In mindestens einer Ausführungsform umfasst die Partitionseinheit 1120 einen L2-Cache 1121, eine Bildpufferschnittstelle 1125 und eine Rasteroperationseinheit („ROP“) 1126. Der L2-Cache 1121 ist ein Lese-/Schreib-Cache, der so konfiguriert ist, dass er von der Speicherkreuzschiene 1116 und der ROP 1126 empfangene Lade- und Speicheroperationen durchführt. In mindestens einer Ausführungsform werden Lesefehler und dringende Rückschreibanforderungen vom L2-Cache 1121 an die Frame-Puffer-Schnittstelle 1125 zur Verarbeitung ausgegeben. In mindestens einer Ausführungsform können Aktualisierungen auch über die Frame-Puffer-Schnittstelle 1125 zur Verarbeitung an einen Frame-Puffer gesendet werden. In mindestens einer Ausführungsform ist die Frame-Puffer-Schnittstelle 1125 mit einer der Speichereinheiten im parallelen Prozessorspeicher verbunden, z.B. mit den Speichereinheiten 1124A-1124N von 11B (wie beispielsweise im parallelen Prozessorspeicher 1122).
In mindestens einer Ausführungsform ist ROP 1126 eine Verarbeitungseinheit, die Rasteroperationen wie Schablone, Z-Test, Überblendung usw. durchführt. In mindestens einer Ausführungsform gibt die ROP 1126 dann verarbeitete Grafikdaten aus, die im Grafikspeicher abgelegt sind. In mindestens einer Ausführungsform enthält die ROP 1126 eine Komprimierungslogik zur Komprimierung von Tiefen- oder Farbdaten, die in den Speicher geschrieben werden, und zur Dekomprimierung von Tiefen- oder Farbdaten, die aus dem Speicher gelesen werden. In mindestens einer Ausführungsform kann die Kompressionslogik eine verlustfreie Kompressionslogik sein, die einen oder mehrere von mehreren Kompressionsalgorithmen verwendet. Die Komprimierungslogik, die von der ROP 1126 ausgeführt wird, kann je nach statistischen Eigenschaften der zu komprimierenden Daten variieren. In mindestens einer Ausführungsform wird die Delta-Farbkomprimierung für Tiefen- und Farbdaten auf einer Kachelbasis durchgeführt.
In mindestens einer Ausführungsform ist die ROP 1126 in jedem Verarbeitungscluster (wie beispielsweise Cluster 1114A-1114N von 11B) statt in der Partitionseinheit 1120 enthalten. In mindestens einer Ausführungsform werden Lese- und Schreibanforderungen für Pixeldaten über die Speicherkreuzschiene 1116 anstelle von Pixelfragmentdaten übertragen. In mindestens einer Ausführungsform können verarbeitete Grafikdaten auf einer Anzeigevorrichtung angezeigt werden, wie z.B. einer von einer oder mehreren Anzeigevorrichtungen 1110 von 11, zur weiteren Verarbeitung durch Prozessor(en) 1102 weitergeleitet werden oder zur weiteren Verarbeitung durch eine der Verarbeitungseinheiten innerhalb des Parallelprozessors 11 00B von 11 B weitergeleitet werden.
11 D ist ein Blockdiagramm eines Verarbeitungsclusters 1114 innerhalb einer Parallelverarbeitungseinheit, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist ein Verarbeitungscluster eine Instanz von einem der Verarbeitungscluster 1114A-1114N aus 11 B. In mindestens einer Ausführungsform kann einer oder mehrere der Verarbeitungscluster 1114 so konfiguriert sein, dass viele Threads parallel ausgeführt werden, wobei sich „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingangsdaten ausgeführt wird. In mindestens einer Ausführungsform werden SIMD (Single-Instruction, Multiple-Data)-Befehlsausgabeverfahren verwendet, um die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Befehlseinheiten bereitzustellen. In mindestens einer Ausführungsform werden SIMT (Single-Instruction, Multiple-Thread)-Techniken verwendet, um die parallele Ausführung einer großen Anzahl von synchronisierten Threads zu unterstützen, wobei eine gemeinsame Befehlseinheit verwendet wird, die so konfiguriert ist, dass sie Befehle an einen Satz von Verarbeitungs-Engines innerhalb jedes der Verarbeitungscluster ausgibt.
In mindestens einer Ausführungsform kann der Betrieb des Verarbeitungsclusters 1114 über einen Pipeline-Verwalter 1132 gesteuert werden, der die Verarbeitungsaufgaben auf die parallelen SIMT-Prozessoren verteilt. In mindestens einer Ausführungsform empfängt der Pipeline-Verwalter 1132 Anweisungen vom Planer 1110 von 11 B und verwaltet die Ausführung dieser Anweisungen über einen Grafik-Multiprozessor 1134 und/oder eine Textureinheit 1136. In mindestens einer Ausführungsform ist der Grafikmultiprozessor 1134 eine beispielhafte Instanz eines SIMT-Parallelprozessors. In mindestens einer Ausführungsform können jedoch verschiedene Typen von SIMT-Parallelprozessoren mit unterschiedlichen Architekturen im Verarbeitungscluster 1114 enthalten sein. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Grafik-Multiprozessors 1134 in einem Verarbeitungscluster 1114 enthalten sein. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 1134 Daten verarbeiten und eine Datenkreuzschiene 1140 kann verwendet werden, um verarbeitete Daten an eines von mehreren möglichen Zielen, einschließlich anderer Shader-Einheiten, zu verteilen. In mindestens einer Ausführungsform kann der Pipeline-Verwalter 1132 die Verteilung verarbeiteter Daten erleichtern, indem er Ziele für verarbeitete Daten angibt, die über die Datenkreuzschiene 1140 zu verteilen sind.
In mindestens einer Ausführungsform kann jeder Grafik-Multiprozessor 1134 innerhalb des Verarbeitungsclusters 1114 einen identischen Satz funktionaler Ausführungslogik enthalten (wie beispielsweise arithmetische Logikeinheiten, Ladespeichereinheiten usw.). In mindestens einer Ausführungsform kann die funktionale Ausführungslogik in einer Pipeline konfiguriert sein, in der neue Befehle ausgegeben werden können, bevor vorherige Befehle abgeschlossen sind. In mindestens einer Ausführungsform unterstützt die funktionale Ausführungslogik eine Vielzahl von Operationen, darunter Ganzzahl- und Gleitkommaarithmetik, Vergleichsoperationen, boolesche Operationen, Bitverschiebung und die Berechnung verschiedener algebraischer Funktionen. In mindestens einer Ausführungsform kann dieselbe Hardware mit funktionalen Einheiten genutzt werden, um verschiedene Operationen auszuführen, und es kann eine beliebige Kombination von funktionalen Einheiten vorhanden sein.
In mindestens einer Ausführungsform bilden die an den Verarbeitungscluster 1114 übertragenen Anweisungen einen Thread. In mindestens einer Ausführungsform ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungs-Engines ausgeführt werden, eine Thread-Gruppe. In mindestens einer Ausführungsform führt die Thread-Gruppe ein Programm auf unterschiedlichen Eingabedaten aus. In mindestens einer Ausführungsform kann jeder Thread innerhalb einer Thread-Gruppe einer anderen Verarbeitungs-Engine innerhalb eines Grafik-Multiprozessors 1134 zugewiesen sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe weniger Threads umfassen als die Anzahl der Verarbeitungsmodule innerhalb des Grafik-Multiprozessors 1134. Wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungs-Engines umfasst, können in mindestens einer Ausführungsform eine oder mehrere Verarbeitungs-Engines während der Zyklen, in denen diese Thread-Gruppe verarbeitet wird, im Leerlauf sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe auch mehr Threads als eine Anzahl von Verarbeitungsmodulen innerhalb des Grafik-Multiprozessors 1134 umfassen. In mindestens einer Ausführungsform kann die Verarbeitung über aufeinanderfolgende Taktzyklen erfolgen, wenn eine Thread-Gruppe mehr Threads als Verarbeitungsmodule innerhalb des Grafik-Multiprozessors 1134 umfasst. In mindestens einer Ausführungsform können mehrere Thread-Gruppen gleichzeitig auf einem Grafik-Multiprozessor 1134 ausgeführt werden.
In mindestens einer Ausführungsform enthält der Grafik-Multiprozessor 1134 einen internen Cache-Speicher, um Lade- und Speicheroperationen durchzuführen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 auf einen internen Cache verzichten und einen Cache-Speicher (wie beispielsweise L1-Cache 1148) innerhalb des Verarbeitungsclusters 1114 verwenden. In mindestens einer Ausführungsform hat jeder Grafik-Multiprozessor 1134 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten (wie beispielsweise Partitionseinheiten 1120A-1120N von 11B), die von allen Verarbeitungsclustern 1114 gemeinsam genutzt werden und zur Datenübertragung zwischen Threads verwendet werden können. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 auch auf den globalen Off-Chip-Speicher zugreifen, der einen oder mehrere lokale parallele Prozessorspeicher und/oder Systemspeicher umfassen kann. In mindestens einer Ausführungsform kann jeder Speicher außerhalb der Parallelverarbeitungseinheit 1102 als globaler Speicher verwendet werden. In mindestens einer Ausführungsform umfasst der Verarbeitungscluster 1114 mehrere Instanzen des Grafik-Multiprozessors 1134, die sich gemeinsame Anweisungen und Daten teilen können, die im L1-Cache 1148 gespeichert sein können.
In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 1114 eine Speicherverwaltungseinheit („MMU“) 1145 enthalten, die so konfiguriert ist, dass sie virtuelle Adressen auf physische Adressen abbildet. In mindestens einer Ausführungsform können sich eine oder mehrere Instanzen der MMU 1145 innerhalb der Speicherschnittstelle 1118 von 11 B befinden. In mindestens einer Ausführungsform enthält die MMU 1145 einen Satz von Seitentabelleneinträgen (PTEs), die zur Abbildung einer virtuellen Adresse auf eine physische Adresse einer Kachel verwendet werden, und in mindestens einer Ausführungsform einen Cache-Zeilenindex. In mindestens einer Ausführungsform kann die MMU 1145 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches enthalten, die sich im Grafik-Multiprozessor 1134 oder im L1-Cache oder im Verarbeitungscluster 1114 befinden können. In mindestens einer Ausführungsform wird die physische Adresse verarbeitet, um die Zugriffslokalität der Oberflächendaten zu verteilen, um ein effizientes Request Interleaving zwischen den Partitionseinheiten zu ermöglichen. In mindestens einer Ausführungsform kann der Cache-Zeilenindex verwendet werden, um zu bestimmen, ob eine Anforderung für eine Cache-Zeile ein Treffer bzw. Hit oder ein Fehlschlag bzw. Miss ist.
In mindestens einer Ausführungsform kann ein Verarbeitungscluster 1114 so konfiguriert sein, dass jeder Grafikmultiprozessor 1134 mit einer Textureinheit 1136 gekoppelt ist, um Texturabbildungsoperationen durchzuführen, wie beispielsweise Bestimmen von Texturabtastpositionen, Lesen von Texturdaten und Filtern von Texturdaten. In mindestens einer Ausführungsform werden die Texturdaten aus einem internen Textur-L1-Cache (nicht dargestellt) oder aus einem L1-Cache innerhalb des Grafik-Multiprozessors 1134 gelesen und je nach Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder dem Systemspeicher abgerufen. In mindestens einer Ausführungsform gibt jeder Grafikmultiprozessor 1134 verarbeitete Aufgaben an die Datenkreuzschiene 1140 aus, um die verarbeitete(n) Aufgabe(n) einem anderen Verarbeitungscluster 1114 zur weiteren Verarbeitung zur Verfügung zu stellen oder um die verarbeitete(n) Aufgabe(n) über die Speicherkreuzschiene 1116 in einem L2-Cache, lokalen Parallelprozessorspeicher oder Systemspeicher zu speichern. In mindestens einer Ausführungsform ist eine preROP 1142 (Pre-Raster Operations Unit) so konfiguriert, dass sie Daten vom Grafik-Multiprozessor 1134 empfängt und Daten an ROP-Einheiten weiterleitet, die sich bei den hierin beschriebenen Partitionseinheiten befinden können (wie beispielsweise die Partitionseinheiten 1120A-1720N von 11 B). In mindestens einer Ausführungsform kann die PreROP-Einheit 1142 Optimierungen für die Farbüberblendung durchführen, Pixelfarbdaten organisieren und Adressübersetzungen vornehmen.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafikverarbeitungscluster 1114 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, neuronalen Netzwerkfunktionen und/oder -architekturen oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
11 E zeigt einen Grafik-Multiprozessor 1134 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafik-Multiprozessor 1134 mit dem Pipeline-Verwalter 1132 des Verarbeitungsclusters 1114 gekoppelt. In mindestens einer Ausführungsform verfügt der Grafik-Multiprozessor 1134 über eine Ausführungspipeline, die unter anderem einen Befehlscache 1152, eine Befehlseinheit 1154, eine Adressabbildungseinheit 1156, eine Registerdatei 1158, einen oder mehrere GPGPU (General Purpose Graphics Processing Unit)-Kerne 1162 und eine oder mehrere Lade-/Speicher-Einheiten 1166 umfasst. Die GPGPU-Kern(e) 1162 und die Lade-/Speicher-Einheit(en) 1166 sind über eine Speicher- und Cache-Verbindung 1168 mit dem Cache-Speicher 1172 und dem gemeinsamen Speicher 1170 gekoppelt.
In mindestens einer Ausführungsform erhält der Befehls-Cache 1152 einen Strom von auszuführenden Befehlen vom Pipeline-Verwalter 1132. In mindestens einer Ausführungsform werden die Befehle im Befehlscache 1152 zwischengespeichert und von der Befehlseinheit 1154 zur Ausführung weitergeleitet. In mindestens einer Ausführungsform kann die Befehlseinheit 1154 Befehle als Thread-Gruppen (z.B. Warps) versenden, wobei jede Thread-Gruppe einer anderen Ausführungseinheit innerhalb des/der GPGPU-Kerns/Kerne 1162 zugewiesen ist. In mindestens einer Ausführungsform kann eine Anweisung auf einen lokalen, gemeinsam genutzten oder globalen Adressraum zugreifen, indem sie eine Adresse innerhalb eines einheitlichen Adressraums angibt. In mindestens einer Ausführungsform kann die Adressabbildungseinheit 1156 verwendet werden, um Adressen in einem vereinheitlichten Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf die die Lade-/ Speicher-Einheit(en) 1166 zugreifen können.
In mindestens einer Ausführungsform stellt die Registerdatei 1158 einen Satz von Registern für Funktionseinheiten des Grafik-Multiprozessors 1134 bereit. In mindestens einer Ausführungsform stellt die Registerdatei 1158 einen temporären Speicher für Operanden bereit, der mit Datenpfaden von Funktionseinheiten (wie beispielsweise GPGPU-Kerne 1162, Lade-/Speichereinheiten 1166) des Grafik-Multiprozessors 1134 verbunden ist. In mindestens einer Ausführungsform ist die Registerdatei 1158 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein dedizierter Teil der Registerdatei 1158 zugewiesen ist. In mindestens einer Ausführungsform ist die Registerdatei 1158 zwischen verschiedenen Warps aufgeteilt, die vom Grafik-Multiprozessor 1134 ausgeführt werden.
In mindestens einer Ausführungsform können die GPGPU-Kerne 1162 jeweils Gleitkommaeinheiten (FPUs) und/oder Ganzzahl-Arithmetik-Logikeinheiten (ALUs) enthalten, die zur Ausführung von Befehlen des Grafik-Multiprozessors 1134 verwendet werden. Die GPGPU-Kerne 1162 können in ihrer Architektur ähnlich sein oder sich unterscheiden. In mindestens einer Ausführungsform umfasst ein erster Teil der GPGPU-Kerne 1162 eine FPU mit einfacher Genauigkeit und eine Ganzzahl-ALU, während ein zweiter Teil der GPGPU-Kerne eine FPU mit doppelter Genauigkeit umfasst. In mindestens einer Ausführungsform können die FPUs den IEEE 754-2008-Standard für Gleitkommaarithmetik implementieren oder Gleitkommaarithmetik mit variabler Genauigkeit ermöglichen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 1134 zusätzlich eine oder mehrere Festfunktions- oder Sonderfunktionseinheiten enthalten, um spezifische Funktionen wie Kopierrechteck- oder Pixel-Blending-Operationen durchzuführen. In mindestens einer Ausführungsform können einer oder mehrere der GPGPU-Kerne auch eine Logik mit fester Funktion oder Sonderfunktion enthalten.
In mindestens einer Ausführungsform enthalten die GPGPU-Kerne 1162 SIMD-Logik, die in der Lage ist, einen einzigen Befehl auf mehreren Datensätzen auszuführen. In mindestens einer Ausführungsform können die GPGPU-Kerne 1162 physisch SIMD4-, SIMD8- und SIMD16-Anweisungen und logisch SIMD1-, SIMD2- und SIMD32-Anweisungen ausführen. In mindestens einer Ausführungsform können SIMD-Anweisungen für die GPGPU-Kerne zur Kompilierzeit von einem Shader-Compiler generiert werden oder automatisch generiert werden, wenn Programme ausgeführt werden, die für Single Program Multiple Data (SPMD) oder SIMT-Architekturen geschrieben und kompiliert wurden. In mindestens einer Ausführungsform können mehrere Threads eines für ein SIMT-Ausführungsmodell konfigurierten Programms über eine einzige SIMD-Anweisung ausgeführt werden. In mindestens einer Ausführungsform können acht SIMT-Threads, die gleiche oder ähnliche Operationen ausführen, parallel über eine einzige SIMD8-Logikeinheit ausgeführt werden.
In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 1168 ein Verbindungsnetzwerk, das jede Funktionseinheit des Grafik-Multiprozessors 1134 mit der Registerdatei 1158 und dem gemeinsamen Speicher 1170 verbindet. In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 1168 eine Kreuzschienenverbindung, die es der Lade-/Speicher-Einheit 1166 ermöglicht, Lade- und Speicher-Operationen zwischen dem gemeinsamen Speicher 1170 und der Registerdatei 1158 durchzuführen. In mindestens einer Ausführungsform kann die Registerdatei 1158 mit der gleichen Frequenz wie die GPGPU-Kerne 1162 arbeiten, so dass die Datenübertragung zwischen den GPGPU-Kernen 1162 und der Registerdatei 1158 eine sehr geringe Latenzzeit aufweist. In mindestens einer Ausführungsform kann der gemeinsame Speicher 1170 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Grafik-Multiprozessors 1134 ausgeführt werden. In mindestens einer Ausführungsform kann der Cache-Speicher 1172 z.B. als Daten-Cache verwendet werden, um Texturdaten zu cachen, die zwischen Funktionseinheiten und der Textureinheit 1136 kommuniziert werden. In mindestens einer Ausführungsform kann der gemeinsame Speicher 1170 auch als programmverwalteter Cache verwendet werden. In mindestens einer Ausführungsform können Threads, die auf den GPGPU-Kernen 1162 ausgeführt werden, zusätzlich zu den automatisch zwischengespeicherten Daten, die im Cache-Speicher 1172 gespeichert sind, programmatisch Daten im gemeinsamen Speicher speichern.
In mindestens einer Ausführungsform ist ein Parallelprozessor oder eine GPGPU, wie hierin beschrieben, kommunikativ mit Host-/Prozessor-Kernen gekoppelt, um Grafikoperationen, Operationen des maschinellen Lernens, Musteranalyseoperationen und verschiedene Universal-GPU-Funktionen (GPGPU) zu beschleunigen. In mindestens einer Ausführungsform kann die GPU mit dem Host-Prozessor/den Prozessorkernen über einen Bus oder eine andere Verbindung (wie beispielsweise eine Hochgeschwindigkeitsverbindung wie PCIe oder NVLink) kommunikativ gekoppelt sein. In mindestens einer Ausführungsform kann die GPU auf demselben Gehäuse oder Chip wie die Kerne integriert sein und mit den Kernen über einen internen Prozessorbus/Interconnect (In mindestens einer Ausführungsform innerhalb des Gehäuses oder Chips) kommunikativ verbunden sein. In mindestens einer Ausführungsform können die Prozessorkerne unabhängig von der Art und Weise, wie die GPU angeschlossen ist, der GPU Arbeit in Form von Sequenzen von Befehlen/Anweisungen zuweisen, die in einem Arbeitsdeskriptor enthalten sind. In mindestens einer Ausführungsform verwendet die GPU dann eine dedizierte Schaltung/Logik zur effizienten Verarbeitung dieser Anweisungen/Befehle.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafik-Multiprozessor 1134 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
12A veranschaulicht ein Multi-GPU-Computersystem 1200A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das Multi-GPU-Computersystem 1200A einen Prozessor 1202 umfassen, der über einen Host-Schnittstellenschalter 1204 mit mehreren Universal-Grafikverarbeitungseinheiten (GPGPUs) 1206A-D verbunden ist. In mindestens einer Ausführungsform ist der Host-Schnittstellenschalter 1204 eine PCI-Express-Switch-Vorrichtung, die den Prozessor 1202 mit einem PCI-Express-Bus koppelt, über den der Prozessor 1202 mit den GPGPUs 1206A-D kommunizieren kann. Die GPGPUs 1206A-D können über eine Reihe von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verbindungen 1216 miteinander verbunden sein. In mindestens einer Ausführungsform sind die GPU-zu-GPU-Verbindungen 1216 mit jeder der GPGPUs 1206A-D über eine dedizierte GPU-Verbindung verbunden. In mindestens einer Ausführungsform ermöglichen die P2P-GPU-Verbindungen 1216 eine direkte Kommunikation zwischen jeder der GPGPUs 1206A-D, ohne dass eine Kommunikation über den Host-Schnittstellenbus 1204 erforderlich ist, an den der Prozessor 1202 angeschlossen ist. In mindestens einer Ausführungsform, bei der der GPU-zu-GPU-Verkehr zu P2P-GPU-Verbindungen 1216 geleitet wird, bleibt der Host-Schnittstellenbus 1204 für den Systemspeicherzugriff oder für die Kommunikation mit anderen Instanzen des Multi-GPU-Computersystems 1200A verfügbar, zum Beispiel über ein oder mehrere Netzwerkgeräte. Während in mindestens einer Ausführungsform die GPGPUs 1206A-D über den Host-Schnittstellenschalter 1204 mit dem Prozessor 1202 verbunden sind, enthält der Prozessor 1202 in mindestens einer Ausführungsform eine direkte Unterstützung für P2P-GPU-Verbindungen 1216 und kann sich direkt mit den GPGPUs 1206A-D verbinden.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Multi-GPU-Computersystem 1200A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
12B ist ein Blockdiagramm eines Grafikprozessors 1200B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B eine Ringverbindung 1202, ein Pipeline-Frontend 1204, eine Media-Engine 1237 und Grafikkerne 1280A-1280N. In mindestens einer Ausführungsform verbindet die Ringverbindung 1202 den Grafikprozessor 1200B mit anderen Verarbeitungseinheiten, einschließlich anderer Grafikprozessoren oder eines oder mehrerer Mehrzweckprozessorkerne. In mindestens einer Ausführungsform ist der Grafikprozessor 1200B einer von vielen Prozessoren, die in ein Multi-Core-Verarbeitungssystem integriert sind.
In mindestens einer Ausführungsform empfängt der Grafikprozessor 1200B Stapel von Befehlen über die Ringverbindung 1202. In mindestens einer Ausführungsform werden die eingehenden Befehle von einem Befehlsstreamer 1203 im Pipeline-Frontend 1204 interpretiert. In mindestens einer Ausführungsform enthält der Grafikprozessor 1200B eine skalierbare Ausführungslogik, um die 3D-Geometrieverarbeitung und die Medienverarbeitung über Grafikkern(e) 1280A-1280N durchzuführen. In mindestens einer Ausführungsform liefert der Befehlsstreamer 1203 für 3D-Geometrieverarbeitungsbefehle Befehle an die Geometrie-Pipeline 1236. In mindestens einer Ausführungsform liefert der Befehlsstreamer 1203 für mindestens einige Medienverarbeitungsbefehle Befehle an ein Video-Frontend 1234, das mit einer Medien-Engine 1237 gekoppelt ist. In mindestens einer Ausführungsform umfasst die Medien-Engine 1237 eine Video Quality Engine (VQE) 1230 für die Video- und Bildnachbearbeitung und eine Multi-Format-Encoder/Decoder-Engine (MFX) 1233, um eine hardwarebeschleunigte Kodierung und Dekodierung von Mediendaten bereitzustellen. In mindestens einer Ausführungsform erzeugen die Geometrie-Pipeline 1236 und die Medien-Engine 1237 jeweils Ausführungsthreads für Thread-Ausführungsressourcen, die von mindestens einem Grafikkern 1280A bereitgestellt werden.
In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B skalierbare Thread-Ausführungsressourcen mit modularen Kernen 1280A-1280N (manchmal als Kern-Slices bezeichnet), die jeweils mehrere Sub-Kerne 1250A-1250N, 1260A-1260N (manchmal als Kern-Sub-Slices bezeichnet) aufweisen. In mindestens einer Ausführungsform kann der Grafikprozessor 1200B eine beliebige Anzahl von Grafikkernen 1280A bis 1280N haben. In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B einen Grafikkern 1280A mit mindestens einem ersten Sub-Kern 1250A und einem zweiten Sub-Kern 1260A. In mindestens einer Ausführungsform ist der Grafikprozessor 1200B ein Niedrigleistungsprozessor mit einem einzigen Sub-Kern (wie beispielsweise 1250A). In mindestens einer Ausführungsform umfasst der Grafikprozessor 1200B mehrere Grafikkerne 1280A-1280N, von denen jeder einen Satz von ersten Sub-Kernen 1250A-1250N und einen Satz von zweiten Sub-Kernen 1260A-1260N umfasst. In mindestens einer Ausführungsform enthält jeder Sub-Kern in den ersten Sub-Kernen 1250A-1250N mindestens einen ersten Satz von Ausführungseinheiten 1252A-1252N und Medien-/Texturabtaster 1254A-1254N. In mindestens einer Ausführungsform enthält jeder Sub-Kern in zweiten Sub-Kernen 1260A-1260N mindestens einen zweiten Satz von Ausführungseinheiten 1262A-1262N und Abtastern bzw. Samplern 1264A-1264N. In mindestens einer Ausführungsform teilt sich jeder Sub-Kern 1250A-1250N, 1260A-1260N einen Satz von gemeinsam genutzten Ressourcen 1270A-1270N. In mindestens einer Ausführungsform umfassen die gemeinsam genutzten Ressourcen einen gemeinsam genutzten Cache-Speicher und eine Pixel-Operationslogik.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 615 im Grafikprozessor 1200B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
13 ist ein Blockdiagramm, das die Mikroarchitektur eines Prozessors 1300 veranschaulicht, der gemäß mindestens einer Ausführungsform Logikschaltungen zur Ausführung von Befehlen enthalten kann. In mindestens einer Ausführungsform kann der Prozessor 1300 Befehle ausführen, einschließlich x86-Befehle, ARM-Befehle, spezielle Befehle für anwendungsspezifische integrierte Schaltungen (ASICs) usw. In mindestens einer Ausführungsform kann der Prozessor 1300 Register zum Speichern gepackter Daten enthalten, wie z.B. 64 Bit breite MMXTM-Register in Mikroprozessoren, die mit der MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. In mindestens einer Ausführungsform können MMX-Register, die sowohl in Ganzzahl- als auch in Gleitkommaform verfügbar sind, mit gepackten Datenelementen arbeiten, die Einzelbefehl-, Mehrfachdaten- („SIMD“) und Streaming-SIMD-Erweiterungsbefehle („SSE“) begleiten. In mindestens einer Ausführungsform können 128 Bit breite XMM-Register, die sich auf die SSE2-, SSE3-, SSE4-, AVX- oder darüber hinausgehende Technologie beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden enthalten. In mindestens einer Ausführungsform kann der Prozessor 1300 Befehle zur Beschleunigung von Algorithmen für maschinelles Lernen oder Deep Learning, Training oder Inferenzierung ausführen.
In mindestens einer Ausführungsform enthält der Prozessor 1300 ein In-Order-Front-End („Front-End“) 1301 zum Abrufen von auszuführenden Befehlen und zur Vorbereitung von Befehlen, die später in der Prozessor-Pipeline zu verwenden sind. In mindestens einer Ausführungsform kann das Frontend 1301 mehrere Einheiten umfassen. In mindestens einer Ausführungsform holt ein Befehls-Prefetcher 1326 Befehle aus dem Speicher und leitet sie an einen Befehlsdecoder 1328 weiter, der wiederum Befehle dekodiert oder interpretiert. In mindestens einer Ausführungsform dekodiert der Befehlsdecoder 1328 in mindestens einer Ausführungsform einen empfangenen Befehl in eine oder mehrere Operationen, die als „Mikrobefehle“ oder „Mikrooperationen“ (auch „Mikro-Ops“ oder „Uops“ genannt) bezeichnet werden und von der Maschine ausgeführt werden können. In mindestens einer Ausführungsform zerlegt der Befehlsdecoder 1328 den Befehl in einen Op-Code und entsprechende Daten- und Steuerfelder, die von der Mikroarchitektur verwendet werden können, um Operationen auszuführen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Trace-Cache 1330 dekodierte Uops in programmgeordnete Sequenzen oder Traces in einer Uop-Warteschlange 1334 zur Ausführung zusammenstellen. Wenn in mindestens einer Ausführungsform der Trace-Cache 1330 auf eine komplexe Anweisung stößt, stellt ein Mikrocode-ROM 1332 die zur Ausführung der Operation erforderlichen Uops bereit.
In mindestens einer Ausführungsform können einige Befehle in ein einziges Mikro-OP umgewandelt werden, während andere mehrere Mikro-OPs benötigen, um den vollen Betrieb abzuschließen. In mindestens einer Ausführungsform kann der Befehlsdecoder 1328 auf das Mikrocode-ROM 1332 zugreifen, wenn mehr als vier Mikro-OPs für die Ausführung eines Befehls erforderlich sind, um den Befehl auszuführen. In mindestens einer Ausführungsform kann ein Befehl in eine kleine Anzahl von Mikro-Ops zur Verarbeitung im Befehlsdecoder 1328 dekodiert werden. In mindestens einer Ausführungsform kann ein Befehl im Mikrocode-ROM 1332 gespeichert werden, falls eine Anzahl von Mikro-OPs zur Ausführung der Operation benötigt wird. In mindestens einer Ausführungsform bezieht sich der Trace-Cache 1330 auf ein programmierbares Logik-Array („PLA“) als Einstiegspunkt, um einen korrekten Mikrobefehlszeiger zum Lesen von Mikrocode-Sequenzen zu bestimmen, um einen oder mehrere Befehle aus dem Mikrocode-ROM 1332 gemäß mindestens einer Ausführungsform zu vervollständigen. In mindestens einer Ausführungsform kann das Frontend 1301 der Maschine, nachdem das Mikrocode-ROM 1332 die Sequenzierung von Mikrobefehlen für einen Befehl beendet hat, das Abrufen von Mikrobefehlen aus dem Trace-Cache 1330 wieder aufnehmen.
In mindestens einer Ausführungsform kann die Out-of-Order-Execution-Engine („Out-of-Order-Engine“) 1303 Anweisungen für die Ausführung vorbereiten. In mindestens einer Ausführungsform verfügt die Logik für die Ausführung außerhalb der Reihenfolge über eine Reihe von Puffern, um den Fluss der Anweisungen zu glätten und neu zu ordnen, um die Leistung zu optimieren, während sie die Pipeline hinunterlaufen und für die Ausführung geplant werden. In mindestens einer Ausführungsform umfasst die Ausführungs-Engine 1303, ohne darauf beschränkt zu sein, einen Allokator/Register-Umbenenner 1340, eine Speicher-Uop-Warteschlange 1342, eine Ganzzahl/Gleitkomma-Uop-Warteschlange 1344, einen Speicher-Planer 1346, einen schnellen Planer bzw. Planer 1302, einen langsamen/allgemeinen Gleitkomma-Planer („slow/general FP scheduler“) 1304 und einen einfachen Gleitkomma-Planer („simple FP scheduler“) 1306. In mindestens einer Ausführungsform werden der schnelle Planer 1302, der langsame/allgemeine Gleitkomma-Planer 1304 und der einfache Gleitkomma-Planer 1306 hierin auch gemeinsam als „Uop-Planer 1302, 1304, 1306“ bezeichnet. In mindestens einer Ausführungsform weist der Allokator/Register-Umbenenner 1340 Maschinenpuffer und Ressourcen zu, die jede Uop für ihre Ausführung benötigt. In mindestens einer Ausführungsform benennt der Allokator/Register Umbenenner 1340 logische Register auf Einträge in einer Registerdatei um. In mindestens einer Ausführungsform weist der Allokator/Register-Umbenenner 1340 auch einen Eintrag für jede Uop in einer von zwei Uop-Warteschlangen zu, der Speicher-Uop-Warteschlange 1342 für Speicheroperationen und der Ganzzahl-/Gleitkomma-Uop-Warteschlange 1344 für Nicht-Speicheroperationen, und zwar vor dem Speicher-Planer 1346 und den Uop-Planern 1302, 1304, 1306. In mindestens einer Ausführungsform bestimmen die Uop-Planer 1302, 1304, 1306, wann ein Uop zur Ausführung bereit ist, basierend auf der Bereitschaft ihrer abhängigen Eingangsregister-Operandenquellen und der Verfügbarkeit der Ausführungsressourcen, die Uops benötigen, um ihre Operation abzuschließen. In mindestens einer Ausführungsform kann der schnelle Planer 1302 in jeder Hälfte des Haupttaktzyklus einen Zeitplan erstellen, während der langsame/allgemeine Gleitkomma-Planer 1304 und der einfache Gleitkomma-Planer 1306 einmal pro Hauptprozessortaktzyklus einen Zeitplan erstellen können. In mindestens einer Ausführungsform vermitteln die Uop-Planer 1302, 1304, 1306 für Versende-Ports, um Uops zur Ausführung einzuplanen.
In mindestens einer Ausführungsform umfasst der Ausführungsblock 1311, ohne darauf beschränkt zu sein, eine Integer-Registerdatei/ein Bypass-Netzwerk 1308, eine Gleitkommaregisterdatei/ein Bypass-Netzwerk („FP-Registerdatei/Bypass-Netzwerk“) 1310, Adressgenerierungseinheiten („AGUs“) 1312 und 1314, schnelle arithmetische Logikeinheiten (ALUs) („fast ALUs“) 1316 und 1318, eine langsame arithmetische Logikeinheit („slow ALU“) 1320, eine Gleitkomma-ALU („FP“) 1322 und eine Gleitkomma-Bewegungseinheit („FP move“) 1324. In mindestens einer Ausführungsform werden das Ganzzahl-Registerdatei/Bypass-Netzwerk 1308 und die Gleitkomma-Registerdatei / das Bypass-Netzwerk 1310 hierin auch als „Registerdateien 1308, 1310“ bezeichnet. In mindestens einer Ausführungsform werden die AGUs 1312 und 1314, die schnellen ALUs 1316 und 1318, die langsame ALU 1320, die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 hierin auch als „Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322 und 1324“ bezeichnet. In mindestens einer Ausführungsform kann der Ausführungsblock b11, ohne darauf beschränkt zu sein, eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Bypass-Netzwerken, Adressgenerierungseinheiten und Ausführungseinheiten in beliebiger Kombination enthalten.
In mindestens einer Ausführungsform können die Registerdateien 1308, 1310 zwischen den Uop-Planern 1302, 1304, 1306 und den Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322 und 1324 angeordnet sein. In mindestens einer Ausführungsform führt das Integer-Registerdatei/Bypass-Netzwerk 1308 Integer-Operationen aus. In mindestens einer Ausführungsform führt die Gleitkommaregisterdatei/das Bypass-Netzwerk 1310 Gleitkommaoperationen durch. In mindestens einer Ausführungsform kann jede der Registerdateien 1308, 1310, ohne darauf beschränkt zu sein, ein Bypass-Netzwerk enthalten, das gerade abgeschlossene Ergebnisse, die noch nicht in die Registerdatei geschrieben wurden, umgehen oder an neue abhängige Uops weiterleiten kann. In mindestens einer Ausführungsform können die Registerdateien 1308, 1310 Daten miteinander kommunizieren. In mindestens einer Ausführungsform kann das Integer-Registerdatei/Bypass-Netzwerk 1308, ohne darauf beschränkt zu sein, zwei separate Registerdateien umfassen, eine Registerdatei für Daten niedriger Ordnung mit 32 Bits und eine zweite Registerdatei für Daten hoher Ordnung mit 32 Bits. In mindestens einer Ausführungsform kann das Fließkomma-Registerdatei/Bypass-Netzwerk 1310, ohne darauf beschränkt zu sein, 128 Bit breite Einträge enthalten, da Fließkomma-Befehle typischerweise Operanden mit einer Breite von 64 bis 128 Bit haben.
In mindestens einer Ausführungsform können die Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322, 1324 Anweisungen ausführen. In mindestens einer Ausführungsform speichern Registerdateien 1308, 1310 Ganzzahl- und Gleitkommadaten-Operandenwerte, die für die Ausführung von Mikrobefehlen erforderlich sind. In mindestens einer Ausführungsform kann der Prozessor 1300, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Kombination von Ausführungseinheiten 1312, 1314, 1316, 1318, 1320, 1322, 1324 enthalten. In mindestens einer Ausführungsform können die Fließkomma-ALU 1322 und die Fließkomma-Bewegungseinheit 1324 Fließkomma-, MMX-, SIMD-, AVX- und SSE- oder andere Operationen ausführen, einschließlich spezialisierter Befehle maschinellen Lernens. In mindestens einer Ausführungsform kann die Gleitkomma-ALU 1322, ohne darauf beschränkt zu sein, einen 64-Bit-mal-64-Bit-Gleitkomma-Teiler enthalten, um die Mikrooperationen Dividieren, Quadratwurzel und Rest auszuführen. In mindestens einer Ausführungsform können Befehle, die einen Gleitkommawert beinhalten, mit Gleitkomma-Hardware verarbeitet werden. In mindestens einer Ausführungsform können ALU-Operationen an schnelle ALUs 1316, 1318 weitergegeben werden. In mindestens einer Ausführungsform können schnelle ALUS 1316, 1318 schnelle Operationen mit einer effektiven Latenzzeit von einem halben Taktzyklus ausführen. In mindestens einer Ausführungsform gehen die meisten komplexen ganzzahligen Operationen an die langsame ALU 1320, da die langsame ALU 1320, ohne darauf beschränkt zu sein, ganzzahlige Ausführungshardware für Operationen mit langer Latenzzeit enthalten kann, wie z.B. einen Multiplizierer, Verschiebungen, Flag-Logik und Verzweigungsverarbeitung. In mindestens einer Ausführungsform können Speicherlade-/Speicheroperationen von AGUS 1312, 1314 ausgeführt werden. In mindestens einer Ausführungsform können die schnelle ALU 1316, die schnelle ALU 1318 und die langsame ALU 1320 Ganzzahloperationen an 64-Bit-Datenoperanden durchführen. In mindestens einer Ausführungsform können die schnelle ALU 1316, die schnelle ALU 1318 und die langsame ALU 1320 so implementiert sein, dass sie eine Vielzahl von Datenbitgrößen unterstützen, einschließlich sechzehn, zweiunddreißig, 128, 126, usw. In mindestens einer Ausführungsform können die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 implementiert sein, um eine Reihe von Operanden mit Bits unterschiedlicher Breite zu unterstützen. In mindestens einer Ausführungsform können die Gleitkomma-ALU 1322 und die Gleitkomma-Bewegungseinheit 1324 mit 128 Bit breiten gepackten Datenoperanden in Verbindung mit SIMD- und Multimedia-Befehlen arbeiten.
In mindestens einer Ausführungsform leiten die Uop-Planer 1302, 1304, 1306 abhängige Operationen ein, bevor die Ausführung der übergeordneten Last beendet ist. Da in mindestens einer Ausführungsform Uops spekulativ geplant und im Prozessor 1300 ausgeführt werden können, kann der Prozessor 1300 auch Logik zur Behandlung von Speicherfehlern enthalten. In mindestens einer Ausführungsform kann es, wenn eine Datenlast im Daten-Cache fehlschlägt, abhängige Operationen in der Pipeline geben, die den Planer mit vorübergehend falschen Daten verlassen haben. In mindestens einer Ausführungsform verfolgt ein Wiedergabemechanismus Anweisungen, die falsche Daten verwenden, und führt sie erneut aus. In mindestens einer Ausführungsform müssen abhängige Operationen möglicherweise erneut abgespielt werden, während unabhängige Operationen zu Ende geführt werden können. In mindestens einer Ausführungsform können Planer und Wiedergabemechanismus mindestens einer Ausführungsform eines Prozessors auch dazu angepasst sein, Befehlssequenzen für Textstring-Vergleichsoperationen abzufangen.
In mindestens einer Ausführungsform kann sich „Register“ auf prozessorinterne Speicherplätze beziehen, die als Teil von Befehlen verwendet werden können, um Operanden zu identifizieren. In mindestens einer Ausführungsform kann es sich bei Registern um solche handeln, die von außerhalb des Prozessors (aus der Sicht eines Programmierers) nutzbar sein können. In mindestens einer Ausführungsform können die Register nicht auf einen bestimmten Schaltungstyp beschränkt sein. Vielmehr kann ein Register in mindestens einer Ausführungsform Daten speichern, Daten bereitstellen und die hierin beschriebenen Funktionen ausführen. In mindestens einer Ausführungsform können die hierin beschriebenen Register durch Schaltungen innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert sein, wie z.B. dedizierte physische Register, dynamisch zugewiesene physische Register unter Verwendung von Registerumbenennung, Kombinationen aus dedizierten und dynamisch zugewiesenen physischen Registern usw. In mindestens einer Ausführungsform speichern Integer-Register 32-Bit-Integer-Daten. Eine Registerdatei von mindestens einer Ausführungsform enthält auch acht Multimedia-SIMD-Register für gepackte Daten.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die gesamte Inferenzierungs- und/oder Trainingslogik 615 in den Ausführungsblock 1311 und andere gezeigte oder nicht gezeigte Speicher oder Register integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenzverfahren eine oder mehrere der im Ausführungsblock 1311 dargestellten ALUs verwenden. Darüber hinaus können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Ausführungsblocks 1311 konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
14 veranschaulicht einen Deep-Learning-Anwendungsprozessor 1400, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet der Deep-Learning-Anwendungsprozessor 1400 Anweisungen, die dann, wenn sie vom Deep-Learning-Anwendungsprozessor 1400 ausgeführt werden, den Deep-Learning-Anwendungsprozessor 1400 veranlassen, einige oder alle der in dieser Erfindung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist der Deep-Learning-Anwendungsprozessor 1400 eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einer Ausführungsform führt der Anwendungsprozessor 1400 Matrixmultiplikationsoperationen entweder „fest verdrahtet“ in Hardware als Ergebnis der Ausführung einer oder mehrerer Anweisungen oder beides durch. In mindestens einer Ausführungsform umfasst der Deep-Learning-Anwendungsprozessor 1400, ohne darauf beschränkt zu sein, Verarbeitungscluster 1410(1)-1410(12), Inter-Chip-Verbindungen („ICLs“) 1420(1)-1420(12), Inter-Chip-Controller („ICCs“) 1430(1)-1430(2), Speicher-Controller („Mem Ctrlrs“) 1442(1)-1442(4), physische Speicherschichten mit hoher Bandbreite („HBM PHY“) 1444(1)-1444(4), eine Verwaltungs-Controller-Zentraleinheit („Management-Controller-CPU“) 1450, ein Seriell-Peripherie-Schnittstellen, Inter-Integrierte Schaltung und Universal-Eingabe-/Ausgabe-Block („SPI, I2C, GPIO“), einen Peripheral-Component-Interconnect-Express-Controller und Direct-Memory-Access-Block („PCIe-Controller und DMA“) 1470 und einen sechzehnspurigen Peripheral-Component-Interconnect-Express-Port („PCI Express x 16“) 1480.
In mindestens einer Ausführungsform können die Verarbeitungscluster 1410 Deep-Learning-Operationen durchführen, einschließlich Inferenzierungs- oder Vorhersageoperationen auf der Grundlage von Gewichtungsparametern, die mit einem oder mehreren Trainingsverfahren berechnet wurden, einschließlich der hierin beschriebenen Verfahren. In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 1410, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Art von Prozessoren umfassen. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 1400 eine beliebige Anzahl und Art von Verarbeitungsclustern 1400 umfassen. In mindestens einer Ausführungsform sind die Inter-Chip-Verbindungen 1420 bi-direktional. In mindestens einer Ausführungsform ermöglichen die Inter-Chip-Verbindungen 1420 und der Inter-Chip-Controller 1430 mehreren Deep-Learning-Anwendungsprozessoren 1400 den Austausch von Informationen, einschließlich Aktivierungsinformationen, die aus der Ausführung eines oder mehrerer Algorithmen maschinellen Lernens resultieren, die in einem oder mehreren neuronalen Netzwerken verkörpert sind. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 1400 eine beliebige Anzahl (einschließlich Null) und einen beliebigen Typ von ICLs 1420 und ICCs 1430 enthalten.
In mindestens einer Ausführungsform stellen HBM2s 1440 insgesamt 32 Gigabyte (GB) Speicher zur Verfügung. Ein HBM2 1440(i) ist sowohl dem Speicher-Controller 1442(i) als auch dem HBM PHY 1444(i) zugeordnet. In mindestens einer Ausführungsform kann eine beliebige Anzahl von HBM2s 1440 einen beliebigen Typ und eine beliebige Gesamtmenge an Speicher mit hoher Bandbreite bereitstellen und kann mit einer beliebigen Anzahl (einschließlich Null) und einem beliebigen Typ von Speicher-Controllern 1442 und HBM PHYs 1444 verbunden sein. In mindestens einer Ausführungsform können SPI, I2C, GPIO 1460, PCIe-Controller und DMA 1470 und/oder PCIe 1480 durch eine beliebige Anzahl und einen beliebigen Typ von Blöcken ersetzt sein, die eine beliebige Anzahl und einen beliebigen Typ von Kommunikationsstandards in einer beliebigen technisch machbaren Weise ermöglichen.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 1400 verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die dem Deep-Learning-Anwendungsprozessor 1400 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 1400 verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (z.B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder vom Deep-Learning-Anwendungsprozessor 1400 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der Prozessor 1400 verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
15 ist ein Blockdiagramm eines neuromorphen Prozessors 1500, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500 eine oder mehrere Eingaben von Quellen außerhalb des neuromorphen Prozessors 1500 empfangen. In mindestens einer Ausführungsform können diese Eingaben an ein oder mehrere Neuronen 1502 innerhalb des neuromorphen Prozessors 1500 übertragen werden. In mindestens einer Ausführungsform können die Neuronen 1502 und ihre Komponenten unter Verwendung von Schaltungen oder Logik, einschließlich einer oder mehrerer arithmetischer Logikeinheiten (ALUs), implementiert sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, Tausende oder Millionen von Instanzen von Neuronen 1502 umfassen, aber jede geeignete Anzahl von Neuronen 1502 kann verwendet werden. In mindestens einer Ausführungsform kann jede Instanz von Neuron 1502 einen Neuroneneingang 1504 und einen Neuronenausgang 1506 umfassen. In mindestens einer Ausführungsform können die Neuronen 1502 Ausgänge erzeugen, die an Eingänge anderer Instanzen von Neuronen 1502 übertragen werden können. Zum Beispiel können in mindestens einer Ausführungsform die Neuroneneingänge 1504 und die Neuronenausgänge 1506 über Synapsen 1508 miteinander verbunden sein.
In mindestens einer Ausführungsform können Neuronen 1502 und Synapsen 1508 so miteinander verbunden sein, dass der neuromorphe Prozessor 1500 arbeitet, um vom neuromorphen Prozessor 1500 empfangene Informationen zu verarbeiten oder zu analysieren. In mindestens einer Ausführungsform können die Neuronen 1502 einen Ausgangsimpuls (oder „Feuer“ oder „Spike“) senden, wenn die über den Neuroneneingang 1504 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einer Ausführungsform können die Neuronen 1502 die an den Neuroneneingängen 1504 empfangenen Signale summieren oder integrieren. Zum Beispiel können in mindestens einer Ausführungsform Neuronen 1502 als undichte Integrations- und Feuerneuronen implementiert sein, wobei dann, wenn eine Summe (als „Membranpotential“ bezeichnet) einen Schwellenwert überschreitet, das Neuron 1502 eine Ausgabe (oder „Feuer“) unter Verwendung einer Übertragungsfunktion wie einer Sigmoid- oder Schwellenfunktion erzeugen kann. In mindestens einer Ausführungsform kann ein leckbehaftetes Integrations- und Feuer-Neuron die an den Neuroneneingängen 1504 empfangenen Signale zu einem Membranpotential summieren und auch einen Abklingfaktor (oder Leck) anwenden, um ein Membranpotential zu reduzieren. In mindestens einer Ausführungsform kann ein undichtes Integrier-und-Feuer-Neuron feuern, wenn mehrere Eingangssignale an den Neuroneneingängen 1504 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (In mindestens einer Ausführungsform ist dies bevor ein Membranpotenzial zu niedrig abfällt, um zu feuern). In mindestens einer Ausführungsform können Neuronen 1502 unter Verwendung von Schaltungen oder Logik implementiert sein, die Eingaben empfangen, Eingaben in ein Membranpotenzial integrieren und ein Membranpotenzial abklingen lassen. In mindestens einer Ausführungsform können die Eingänge gemittelt werden, oder es kann jede andere geeignete Übertragungsfunktion verwendet werden. Darüber hinaus können die Neuronen 1502 in mindestens einer Ausführungsform, ohne darauf beschränkt zu sein, Komparatorschaltungen oder Logik enthalten, die einen Ausgangs-Spike am Neuronenausgang 1506 erzeugen, wenn das Ergebnis der Anwendung einer Übertragungsfunktion auf den Neuroneneingang 1504 einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann das Neuron 1502, sobald es feuert, zuvor empfangene Eingangsinformationen ignorieren, indem es z.B. ein Membranpotenzial auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einer Ausführungsform kann das Neuron 1502, sobald das Membranpotenzial auf 0 zurückgesetzt wurde, nach einer geeigneten Zeitspanne (oder Refraktärzeit) den normalen Betrieb wieder aufnehmen.
In mindestens einer Ausführungsform können die Neuronen 1502 durch Synapsen 1508 miteinander verbunden sein. In mindestens einer Ausführungsform können Synapsen 1508 dazu dienen, Signale von einem Ausgang eines ersten Neurons 1502 zu einem Eingang eines zweiten Neurons 1502 zu übertragen. In mindestens einer Ausführungsform können die Neuronen 1502 Informationen über mehr als eine Instanz der Synapse 1508 übertragen. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Neuronenausgangs 1506 über eine Instanz der Synapse 1508 mit einer Instanz des Neuroneneingangs 1504 im selben Neuron 1502 verbunden sein. In mindestens einer Ausführungsform kann eine Instanz des Neurons 1502, die eine Ausgabe erzeugt, die über eine Instanz der Synapse 1508 übertragen werden soll, als „präsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 1508 bezeichnet werden. In mindestens einer Ausführungsform kann eine Instanz des Neurons 1502, die eine über eine Instanz der Synapse 1508 übertragene Eingabe empfängt, als „postsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 1508 bezeichnet werden. Da eine Instanz des Neurons 1502 Eingaben von einer oder mehreren Instanzen der Synapse 1508 empfangen und auch Ausgaben über eine oder mehrere Instanzen der Synapse 1508 übertragen kann, kann eine einzelne Instanz des Neurons 1502 daher sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Instanzen der Synapsen 1508 sein, in mindestens einer Ausführungsform.
In mindestens einer Ausführungsform können die Neuronen 1502 in einer oder mehreren Schichten organisiert sein. Jede Instanz des Neurons 1502 kann einen Neuronenausgang 1506 haben, der sich über eine oder mehrere Synapsen 1508 zu einem oder mehreren Neuroneneingängen 1504 auffächern kann. In mindestens einer Ausführungsform können die Neuronenausgänge 1506 der Neuronen 1502 in einer ersten Schicht 1510 mit Neuroneneingängen 1504 der Neuronen 1502 in einer zweiten Schicht 1512 verbunden sein. In mindestens einer Ausführungsform kann die Schicht 1510 als „Feed-Forward-Schicht“ bezeichnet sein. In mindestens einer Ausführungsform kann sich jede Instanz eines Neurons 1502 in einer Instanz der ersten Schicht 1510 zu jeder Instanz eines Neurons 1502 in der zweiten Schicht 1512 auffächern. In mindestens einer Ausführungsform kann die erste Schicht 1510 als „vollständig verbundene Vorwärtsschicht“ bezeichnet sein. In mindestens einer Ausführungsform kann sich jede Instanz des Neurons 1502 in einer Instanz der zweiten Schicht 1512 auf weniger als alle Instanzen des Neurons 1502 in einer dritten Schicht 1514 auffächern. In mindestens einer Ausführungsform kann die zweite Schicht 1512 als „spärlich verknüpfte Vorwärtskopplungsschicht“ bezeichnet sein. In mindestens einer Ausführungsform können sich Neuronen 1502 in der zweiten Schicht 1512 zu Neuronen 1502 in mehreren anderen Schichten auffächern, einschließlich zu Neuronen 1502 in (derselben) zweiten Schicht 1512. In mindestens einer Ausführungsform kann die zweite Schicht 1512 als „rekurrente Schicht“ bezeichnet sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, jede geeignete Kombination von rekurrenten Schichten und Vorwärtsschichten umfassen, einschließlich, ohne darauf beschränkt zu sein, sowohl spärlich verbundene Vorwärtsschichten als auch vollständig verbundene Vorwärtsschichten.
In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, eine rekonfigurierbare Verbindungsarchitektur oder dedizierte fest verdrahtete Verbindungen enthalten, um die Synapse 1508 mit den Neuronen 1502 zu verbinden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 1500, ohne darauf beschränkt zu sein, eine Schaltung oder Logik enthalten, die es ermöglicht, Synapsen je nach Bedarf auf der Grundlage der Topologie des neuronalen Netzwerks und des Neuronen-Fan-In/Out verschiedenen Neuronen 1502 zuzuordnen. In mindestens einer Ausführungsform können Synapsen 1508 mit Neuronen 1502 unter Verwendung einer Verbindungsstruktur, wie Network-on-Chip, oder mit dedizierten Verbindungen verbunden sein. In mindestens einer Ausführungsform können die Synapsenverbindungen und ihre Komponenten mithilfe von Schaltkreisen oder Logik implementiert sein.
16A ist ein Blockdiagramm eines Verarbeitungssystems, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das System 1600A einen oder mehrere Prozessoren 1602 und einen oder mehrere Grafikprozessoren 1608 und kann ein Einzelprozessor-Desktop-System, ein Multiprozessor-Workstation-System oder ein Server-System mit einer großen Anzahl von Prozessoren 1602 oder Prozessorkernen 1607 sein. In mindestens einer Ausführungsform ist das System 1600A eine Verarbeitungsplattform, die in einen integrierten System-on-a-Chip-Schaltkreis (SoC) zur Verwendung in mobilen, tragbaren oder eingebetteten Geräten integriert ist.
In mindestens einer Ausführungsform kann das System 1600A eine serverbasierte Spielplattform, eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine Handheld-Spielkonsole oder eine Online-Spielkonsole umfassen oder darin integriert sein. In mindestens einer Ausführungsform ist das System 1600A ein Mobiltelefon, ein Smartphone, ein Tablet-Computergerät oder ein mobiles Internetgerät. In mindestens einer Ausführungsform kann das Verarbeitungssystem 1600A auch ein Wearable-Gerät umfassen, mit diesem gekoppelt oder in dieses integriert sein, wie z.B. ein Wearable-Gerät für eine intelligente Uhr, eine intelligente Brille, ein Augmented-Reality-Gerät oder ein Virtual-Reality-Gerät. In mindestens einer Ausführungsform ist das Verarbeitungssystem 1600A ein Fernseh- oder Set-Top-Box-Gerät mit einem oder mehreren Prozessoren 1602 und einer grafischen Oberfläche, die von einem oder mehreren Grafikprozessoren 1608 erzeugt wird.
In mindestens einer Ausführungsform umfassen ein oder mehrere Prozessoren 1602 jeweils einen oder mehrere Prozessorkerne 1607 zur Verarbeitung von Befehlen, die bei ihrer Ausführung Operationen für System- und Anwendersoftware durchführen. In mindestens einer Ausführungsform ist jeder von einem oder mehreren Prozessorkernen 1607 so konfiguriert, dass er einen bestimmten Befehlssatz 1609 verarbeitet. In mindestens einer Ausführungsform kann der Befehlssatz 1609 Complex Instruction Set Computing (CISC), Reduced Instruction Set Computing (RISC) oder Rechnen über ein Very Long Instruction Word (VLIW) ermöglichen. In mindestens einer Ausführungsform können die Prozessorkerne 1607 jeweils einen anderen Befehlssatz 1609 verarbeiten, der Anweisungen enthalten kann, um die Emulation anderer Befehlssätze zu erleichtern. In mindestens einer Ausführungsform kann der Prozessorkern 1607 auch andere Verarbeitungsgeräte enthalten, z.B. einen digitalen Signalprozessor (DSP).
In mindestens einer Ausführungsform enthält der Prozessor 1602 einen Cache-Speicher 1604. In mindestens einer Ausführungsform kann der Prozessor 1602 einen einzigen internen Cache-Speicher oder mehrere Ebenen von internen Cache-Speichern aufweisen. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 1602 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 1602 auch einen externen Cache (wie beispielsweise einen Level-3 (L3)-Cache oder Last Level Cache (LLC)) (nicht dargestellt), der unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 1607 gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist zusätzlich eine Registerdatei 1606 im Prozessor 1602 enthalten, die verschiedene Arten von Registern zum Speichern unterschiedlicher Datentypen (wie beispielsweise Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister) enthalten kann. In mindestens einer Ausführungsform kann die Registerdatei 1606 Universalregister oder andere Register enthalten.
In mindestens einer Ausführungsform sind ein oder mehrere Prozessor(en) 1602 mit einem oder mehreren Schnittstellenbus(en) 1610 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen dem Prozessor 1602 und anderen Komponenten im System 1600A zu übertragen. In mindestens einer Ausführungsform kann der Schnittstellenbus 1610 ein Prozessorbus sein, wie z.B. eine Version eines Direct Media Interface (DMI)-Busses. In mindestens einer Ausführungsform ist die Schnittstelle 1610 nicht auf einen DMI-Bus beschränkt und kann einen oder mehrere Peripheral Component Interconnect-Busse (wie beispielsweise PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen umfassen. In mindestens einer Ausführungsform umfassen der/die Prozessor(en) 1602 einen integrierten Speicher-Controller 1616 und einen Plattform-Controller-Hub 1630. In mindestens einer Ausführungsform ermöglicht der Speicher-Controller 1616 die Kommunikation zwischen einer Speichervorrichtung und anderen Komponenten des Systems 1600A, während der Plattform-Controller-Hub (PCH) 1630 Verbindungen zu E/A-Geräten über einen lokalen E/A-Bus bereitstellt.
In mindestens einer Ausführungsform kann die Speichervorrichtung 1620 ein dynamischer Direktzugriffsspeicher (DRAM), ein statischer Direktzugriffsspeicher (SRAM), ein Flash-Speicher, ein Phasenwechsel-Speicher oder eine andere Speichervorrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. In mindestens einer Ausführungsform kann die Speichervorrichtung 1620 als Systemspeicher für das System 1600A arbeiten, um Daten 1622 und Anweisungen 1621 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 1602 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform ist die Speichersteuerung 1616 auch mit einem, In mindestens einer Ausführungsform, externen Grafikprozessor 1612 gekoppelt, der mit einem oder mehreren Grafikprozessoren 1608 in den Prozessoren 1602 kommunizieren kann, um Grafik- und Medienoperationen durchzuführen. In mindestens einer Ausführungsform kann eine Anzeigevorrichtung 1611 an den/die Prozessor(en) 1602 angeschlossen sein. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1611 eine oder mehrere interne Anzeigevorrichtungen, wie in einem mobilen elektronischen Gerät oder einem Laptop, oder eine externe Anzeigevorrichtung, die über eine Anzeigeschnittstelle (wie beispielsweise DisplayPort usw.) angeschlossen ist, umfassen. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1611 eine kopfmontierte Anzeige (HMD) umfassen, wie z.B. eine stereoskopische Anzeigevorrichtung zur Verwendung in Virtual-Reality-Anwendungen (VR) oder Augmented-Reality-Anwendungen (AR).
In mindestens einer Ausführungsform ermöglicht der Plattform-Controller-Hub 1630 die Verbindung von Peripheriegeräten mit der Speichervorrichtung 1620 und dem Prozessor 1602 über einen Hochgeschwindigkeits-E/A-Bus. In mindestens einer Ausführungsform gehören zu den E/A-Peripheriegeräten unter anderem ein Audio-Controller 1646, ein Netzwerk-Controller 1634, eine Firmware-Schnittstelle 1628, ein drahtloser Transceiver 1626, Berührungssensoren 1625 und eine Datenspeichervorrichtung 1624 (wie beispielsweise Festplattenlaufwerk, Flash-Speicher usw.). In mindestens einer Ausführungsform kann die Datenspeichervorrichtung 1624 über eine Speicherschnittstelle (wie beispielsweise SATA) oder über einen Peripheriebus, wie z.B. einen Peripheral Component Interconnect Bus (wie beispielsweise PCI, PCI Express), angeschlossen sein. In mindestens einer Ausführungsform können die Berührungssensoren 1625 Touchscreen-Sensoren, Drucksensoren oder Fingerabdrucksensoren umfassen. In mindestens einer Ausführungsform kann der drahtlose Transceiver 1626 ein Wi-Fi-Transceiver, ein Bluetooth-Transceiver oder ein Mobilfunk-Transceiver sein, wie z.B. ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 1628 die Kommunikation mit der System-Firmware und kann z.B. eine einheitliche erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einer Ausführungsform kann der Netzwerk-Controller 1634 eine Netzwerkverbindung mit einem kabelgebundenen Netzwerk ermöglichen. In mindestens einer Ausführungsform koppelt ein Hochleistungs-Netzwerk-Controller (nicht dargestellt) mit dem Schnittstellenbus 1610. In mindestens einer Ausführungsform ist der Audio-Controller 1646 ein Mehrkanal-High-Definition-Audio-Controller. In mindestens einer Ausführungsform enthält das System 1600 einen optionalen Legacy-E/A-Controller 1640 zur Kopplung von Legacy-Geräten (wie beispielsweise Personal System 2 (PS/2)) mit dem System. In mindestens einer Ausführungsform kann der Plattform-Controller-Hub 1630 auch mit einem oder mehreren Universal Serial Bus (USB)-Controllern 1642 verbunden sein, die Eingabegeräte wie Tastatur- und Mauskombinationen 1643, eine Kamera 1644 oder andere USB-Eingabegeräte verbinden.
In mindestens einer Ausführungsform kann eine Instanz des Speicher-Controllers 1616 und des Plattform-Controller-Hubs 1630 in einen diskreten externen Grafikprozessor, wie den externen Grafikprozessor 1612, integriert sein. In mindestens einer Ausführungsform können Plattform-Controller-Hub 1630 und/oder Speicher-Controller 1616 extern zu einem oder mehreren Prozessor(en) 1602 sein. In mindestens einer Ausführungsform kann das System 1600 beispielsweise einen externen Speicher-Controller 1616 und einen Plattform-Controller-Hub 1630 enthalten, der als Speicher-Controller-Hub und Peripherie-Controller-Hub innerhalb eines System-Chipsatzes konfiguriert sein kann, der mit dem/den Prozessor(en) 1602 in Verbindung steht.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Grafikprozessor 1600A integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die im Grafikprozessor 1612 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 1600A konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16B ist ein Blockdiagramm eines Prozessors 1600B mit einem oder mehreren Prozessorkernen 1602A-2402N, einem integrierten Speichercontroller 1614 und einem integrierten Grafikprozessor 1608, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 1600B zusätzliche Kerne bis zu und einschließlich des zusätzlichen Kerns 1602N enthalten, der durch gestrichelte, linierte Kästen dargestellt ist. In mindestens einer Ausführungsform enthält jeder der Prozessorkerne 1602A-2402N eine oder mehrere interne Cache-Einheiten 1604A-2404N. In mindestens einer Ausführungsform hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 1606.
In mindestens einer Ausführungsform stellen die internen Cache-Einheiten 1604A-1604N und die gemeinsam genutzten Cache-Einheiten 1606 eine Cache-Speicherhierarchie innerhalb des Prozessors 1600 dar. In mindestens einer Ausführungsform können die Cache-Speichereinheiten 1604A-1604N mindestens eine Ebene von Befehls- und Daten-Cache innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen von gemeinsam genutztem Mid-Level-Cache, wie z.B. eine Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, umfassen, wobei die höchste Cache-Ebene vor dem externen Speicher als LLC klassifiziert ist. In mindestens einer Ausführungsform hält die Cache-Kohärenzlogik die Kohärenz zwischen verschiedenen Cache-Einheiten 1606 und 1604A-1604N aufrecht.
In mindestens einer Ausführungsform kann der Prozessor 1600B auch einen Satz von einer oder mehreren Bus-Controller-Einheiten 1616 und einen Systemagenten-Kern 1610 enthalten. In mindestens einer Ausführungsform verwalten eine oder mehrere Bus-Controller-Einheiten 1616 einen Satz von Peripherie-Bussen, wie einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einer Ausführungsform bietet der Systemagentenkern 1610 Verwaltungsfunktionen für verschiedene Prozessorkomponenten. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 einen oder mehrere integrierte Speicher-Controller 1614, um den Zugriff auf verschiedene externe Speichervorrichtungen (nicht gezeigt) zu verwalten.
In mindestens einer Ausführungsform umfassen einer oder mehrere der Prozessorkerne 1602A-1602N Unterstützung für gleichzeitiges Multithreading. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 Komponenten zum Koordinieren und Betreiben der Kerne 1602A-1602N während der Multithreading-Verarbeitung. In mindestens einer Ausführungsform kann der Systemagentenkern 1610 zusätzlich eine Leistungssteuerungseinheit (PCU) enthalten, die Logik und Komponenten zur Regelung eines oder mehrerer Leistungszustände der Prozessorkerne 1602A-1602N und des Grafikprozessors 1608 umfasst.
In mindestens einer Ausführungsform enthält der Prozessor 1600B zusätzlich den Grafikprozessor 1608 zur Ausführung von Grafikverarbeitungsoperationen. In mindestens einer Ausführungsform koppelt der Grafikprozessor 1608 mit gemeinsam genutzten Cache-Einheiten 1606 und dem Systemagenten-Kern 1610, einschließlich eines oder mehrerer integrierter Speicher-Controller 1614. In mindestens einer Ausführungsform enthält der Systemagenten-Kern 1610 auch einen Anzeige-Controller 1611, um die Ausgabe des Grafikprozessors an ein oder mehrere gekoppelte Anzeigen zu steuern. In mindestens einer Ausführungsform kann der Anzeige-Controller 1611 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Grafikprozessor 1608 gekoppelt ist, oder kann in den Grafikprozessor 1608 integriert sein.
In mindestens einer Ausführungsform wird eine ringbasierte Verbindungseinheit 1612 verwendet, um interne Komponenten des Prozessors 1600B zu verbinden. In mindestens einer Ausführungsform kann auch eine alternative Verbindungseinheit verwendet werden, wie z.B. eine Punkt-zu-Punkt-Verbindung, eine geschaltete Verbindung oder andere Techniken. In mindestens einer Ausführungsform ist der Grafikprozessor 1608 über eine E/A-Verbindung 1613 mit der Ringverbindung 1612 gekoppelt.
In mindestens einer Ausführungsform stellt die E/A-Verbindung 1613 mindestens eine von mehreren Arten von E/A-Verbindungen dar, einschließlich einer On-Package-E/A-Verbindung, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 1618, z.B. einem eDRAM-Modul, ermöglicht. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 1602A-1602N und der Grafikprozessor 1608 eingebettete Speichermodule 1618 als gemeinsamen Last Level Cache.
In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N in Bezug auf die Befehlssatzarchitektur (ISA) heterogen, wobei einer oder mehrere der Prozessorkerne 1602A-1602N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 1602A-1602N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen anderen Befehlssatz ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1602A-1602N in Bezug auf die Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einer relativ höheren Leistungsaufnahme mit einem oder mehreren Kernen mit einer niedrigeren Leistungsaufnahme gekoppelt sind. In mindestens einer Ausführungsform kann der Prozessor 1600B auf einem oder mehreren Chips oder als integrierte SoC-Schaltung implementiert sein.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Prozessor 1600B integriert sein. In mindestens einer Ausführungsform können die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der ALUs verwenden, die im Grafikprozessor 1612, in den Grafikkernen 1602A-1602N oder in anderen Komponenten in 16 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert sein, die ALUs des Grafikprozessors 1600B konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16C ist ein Blockdiagramm von Hardwarelogik eines Grafikprozessorkerns 1600C, gemäß mindestens einer hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessorkern 1600C in einem Grafikkern-Array enthalten. In mindestens einer Ausführungsform kann der Grafikprozessorkern 1600C, der manchmal auch als Kern- bzw. Core Slice bezeichnet wird, ein oder mehrere Grafikkerne innerhalb eines modularen Grafikprozessors sein. In mindestens einer Ausführungsform ist der Grafikprozessorkern 1600C beispielhaft für ein Grafikkern-Slice, und kann ein Grafikprozessor, wie hierin beschrieben, mehrere Grafikkern-Slices enthalten, die auf den angestrebten Energie- und Leistungsumfängen basieren. In mindestens einer Ausführungsform kann jeder Grafikkern 1600C einen festen Funktionsblock 1630 enthalten, der mit mehreren Sub-Kernen 1601A-1601 F gekoppelt ist, die auch als Sub-Slices bezeichnet werden und modulare Blöcke von Mehrzweck- und fester Funktionslogik enthalten.
In mindestens einer Ausführungsform umfasst der Festfunktionsblock 1630 eine Geometrie/Festfunktions-Pipeline 1636, die von allen Sub-Kernen im Grafikprozessor 1600C gemeinsam genutzt werden kann, z.B. in Grafikprozessor-Implementierungen mit geringerer Leistung und/oder geringerem Energieverbrauch. In mindestens einer Ausführungsform umfasst die Geometrie-/Festfunktionspipeline 1636 eine 3D-Festfunktionspipeline, eine Video-Frontend-Einheit, einen Thread-Spawner und Thread-Versender sowie einen Unified-Return-Puffer-Verwalter, der Unified-Return-Puffer verwaltet.
In mindestens einer festen Ausführungsform umfasst der Funktionsblock 1630 auch eine Grafik-SoC-Schnittstelle 1637, einen Grafik-Mikrocontroller 1638 und eine Medien-Pipeline 1639. In mindestens einer festen Ausführungsform stellt die Grafik-SoC-Schnittstelle 1637 eine Schnittstelle zwischen dem Grafikkern 1600C und anderen Prozessorkernen innerhalb einer integrierten System-on-Chip-Schaltung bereit. In mindestens einer Ausführungsform ist der Grafik-Mikrocontroller 1638 ein programmierbarer Subprozessor, der so konfiguriert sein kann, dass er verschiedene Funktionen des Grafikprozessors 1600C verwaltet, einschließlich Thread-Versendung, Planung und Präemption. In mindestens einer Ausführungsform enthält die Medien-Pipeline 1639 eine Logik zur Erleichterung der Dekodierung, Kodierung, Vorverarbeitung und/oder Nachbearbeitung von Multimediadaten, einschließlich Bild- und Videodaten. In mindestens einer Ausführungsform implementiert die Medien-Pipeline 1639 Medienoperationen über Anforderungen an die Rechen- oder Abtastlogik innerhalb der Sub-Kerne 1601-1601 F.
In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 1637 dem Grafikkern 1600C die Kommunikation mit Mehrzweck-Anwendungsprozessorkernen (wie beispielsweise CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen wie einem gemeinsam genutzten Cache-Speicher der letzten Ebene, System-RAM und/oder eingebettetem On-Chip- oder On-Package-DRAM. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 1637 auch die Kommunikation mit Geräten mit fester Funktion innerhalb eines SoCs ermöglichen, wie z.B. Kamera-Bildgebungspipelines, und sie ermöglicht die Verwendung und/oder implementiert globale Speicheratomare, die von Grafikkern 1600C und CPUs innerhalb eines SoCs gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 1637 auch Energieverwaltungssteuerungen für den Grafikkern 1600C implementieren und eine Schnittstelle zwischen einer Taktdomäne des Grafikkerns 1600C und anderen Taktdomänen innerhalb eines SoCs ermöglichen. In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 1637 den Empfang von Befehlspuffern von einem Befehlsstreamer und einem globalen Thread-Versender, die so konfiguriert sind, dass sie Befehle und Anweisungen für jeden von einem oder mehreren Grafikkernen innerhalb eines Grafikprozessors bereitstellen. In mindestens einer Ausführungsform können Befehle und Anweisungen an die Medienpipeline 1639 gesendet werden, wenn Medienoperationen durchzuführen sind, oder an eine Geometrie- und Festfunktionspipeline (wie beispielsweise Geometrie- und Festfunktionspipeline 1636, Geometrie- und Festfunktionspipeline 1614), wenn Grafikverarbeitungsoperationen durchzuführen sind.
In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 so konfiguriert sein, dass er verschiedene Planungs- und Verwaltungsaufgaben für den Grafikkern 1600C durchführt. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 die Planung von Grafik- und/oder Rechenlasten auf verschiedenen parallelen Grafik-Engines in den Arrays 1602A-1602F, 1604A-1604F der Ausführungseinheiten (EU) in den Sub-Kernen 1601A-1601 F durchführen. In mindestens einer Ausführungsform kann Host-Software, die auf einem CPU-Kern eines SoCs mit Grafikkern 1600C ausgeführt wird, Arbeitslasten an eine von mehreren Grafikprozessor-Doorbells übermitteln, die einen Planungsvorgang auf einer geeigneten Grafik-Engine aufruft. In mindestens einer Ausführungsform umfassen die Planungsvorgänge ein Bestimmen, welche Arbeitslast als Nächstes auszuführen ist, das Übermitteln einer Arbeitslast an einen Befehlsstreamer, das Vorziehen vorhandener Arbeitslasten, die auf einer Engine laufen, das Überwachen des Fortschritts einer Arbeitslast und das Benachrichtigen der Host-Software, wenn eine Arbeitslast abgeschlossen ist. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 1638 auch Stromsparzustände oder Leerlaufzustände für den Grafikkern 1600C erleichtern, indem er dem Grafikkern 1600C die Möglichkeit bietet, unabhängig von einem Betriebssystem und/oder einer Grafiktreibersoftware auf einem System Register innerhalb des Grafikkerns 1600 über Stromsparzustandsübergänge zu speichern und wiederherzustellen.
In mindestens einer Ausführungsform kann der Grafikkern 1600C mehr oder weniger als die dargestellten Sub-Kerne 1601A-1601 F aufweisen, bis hin zu N modularen Sub-Kernen. Für jeden Satz von N Sub-Kernen kann der Grafikkern 1600C in mindestens einer Ausführungsform auch eine gemeinsam genutzte Funktionslogik 1610, einen gemeinsam genutzten und/oder Cache-Speicher 1612, eine Geometrie-/ Festfunktionspipeline 1614 sowie eine zusätzliche Festfunktionslogik 1616 zur Beschleunigung verschiedener Grafik- und Rechenverarbeitungsvorgänge umfassen. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 1610 Logikeinheiten (wie beispielsweise Sampler-, Mathematik- und/oder Inter-Thread-Kommunikationslogik) umfassen, die von allen N Sub-Kernen innerhalb des Grafikkerns 1600C gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann der feste, gemeinsam genutzte und/oder Cache-Speicher 1612 ein Cache der letzten Ebene für die N Sub-Kerne 1601A-1601 F innerhalb des Grafikkerns 1600C sein und kann auch als gemeinsam genutzter Speicher dienen, auf den mehrere Sub-Kernen zugreifen können. In mindestens einer Ausführungsform kann die Geometrie-/Festfunktionspipeline 1614 anstelle der Geometrie-/Festfunktionspipeline 1636 innerhalb des Festfunktionsblocks 1630 enthalten sein und kann gleiche oder ähnliche Logikeinheiten umfassen.
In mindestens einer Ausführungsform enthält der Grafikkern 1600C zusätzliche Festfunktionslogik 1616, die verschiedene Festfunktions-Beschleunigungslogik zur Verwendung durch den Grafikkern 1600C enthalten kann. In mindestens einer Ausführungsform umfasst die zusätzliche Festfunktionslogik 1616 eine zusätzliche Geometrie-Pipeline für die Verwendung in positionsabhängigem Shading. Bei positionsabhängigem Shading gibt es mindestens zwei Geometrie-Pipelines, nämlich eine vollständige Geometrie-Pipeline innerhalb der Geometrie/FestfunktionsPipeline 1616, 1636, und eine Cull-Pipeline, bei der es sich um eine zusätzliche Geometrie-Pipeline handelt, die in der zusätzlichen Festfunktionslogik 1616 enthalten sein kann. In mindestens einer Ausführungsform ist die Cull-Pipeline eine abgespeckte Version der vollständigen Geometrie-Pipeline. In mindestens einer Ausführungsform können eine vollständige Pipeline und eine Cull-Pipeline unterschiedliche Instanzen einer Anwendung ausführen, wobei jede Instanz einen separaten Kontext hat. In mindestens einer Ausführungsform kann das positionsabhängige Shading lange Cull-Läufe von verworfenen Dreiecken ausblenden, wodurch das Shading in einigen Fällen früher abgeschlossen werden kann. In mindestens einer Ausführungsform kann die Cull-Pipeline-Logik innerhalb der zusätzlichen festen Funktionslogik 1616 Positions-Shader parallel zu einer Hauptanwendung ausführen und generiert kritische Ergebnisse schneller als eine vollständige Pipeline, da die Cull-Pipeline das Positionsattribut der Vertices abruft und schattiert, ohne eine Rasterung und ein Rendering der Pixel in einen Frame-Puffer durchzuführen. In mindestens einer Ausführungsform kann die Cull-Pipeline die generierten kritischen Ergebnisse verwenden, um Sichtbarkeitsinformationen für alle Dreiecke zu berechnen, ohne Rücksicht darauf, ob diese Dreiecke gecullt sind. In mindestens einer Ausführungsform kann die Cull-Pipeline (die in diesem Fall als Replay-Pipeline bezeichnet werden kann) die Sichtbarkeitsinformationen verwenden, um gecullte Dreiecke zu überspringen und nur sichtbare Dreiecke zu schattieren, die schließlich an eine Rasterisierungsphase übergeben werden.
In mindestens einer Ausführungsform kann die zusätzliche Festfunktionslogik 1616 auch eine Logik zur Beschleunigung des maschinellen Lernens enthalten, z.B. eine Festfunktionslogik zur Matrixmultiplikation, für Implementierungen, die Optimierungen für das Training oder die Inferenzierung des maschinellen Lernens beinhalten.
In mindestens einer Ausführungsform enthält jeder Grafik-Sub-Kern 1601A-1601 F einen Satz von Ausführungsressourcen, die verwendet werden können, um Grafik-, Medien- und Rechenoperationen als Reaktion auf Anforderungen von Grafik-Pipeline-, Medien-Pipeline- oder Shader-Programmen durchzuführen. In mindestens einer Ausführungsform umfassen die Grafik-Subkerne 1601A-1601 F mehrere EU-Arrays 1602A-1602F, 1604A-1604F, Thread-Versende- und Inter-Thread-Kommunikationslogik (TD/IC) 1603A-1603F, einen 3D-Sampler bzw. Abtaster (z.B. Textur) 1605A-1605F, einen Media-Sampler 1606A-1606F, einen Shader-Prozessor 1607A-1607F und einen gemeinsamen lokalen Speicher (SLM) 1608A-1608F. Die EU-Arrays 1602A-1602F, 1604A-1604F enthalten jeweils mehrere Ausführungseinheiten, bei denen es sich um Universal-Grafikverarbeitungseinheiten handelt, die in der Lage sind, Gleitkomma- und Ganzzahl-/Festkomma-Logikoperationen im Dienste einer Grafik-, Medien- oder Rechenoperation durchzuführen, einschließlich Grafik-, Medien- oder Rechenshaderprogrammen. In mindestens einer Ausführungsform führt die TD/IC-Logik 1603A-1603F lokale Thread-Versende- und Thread-Steuerungsoperationen für Ausführungseinheiten innerhalb eines Sub-Kerns durch und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Sub-Kerns ausgeführt werden. In mindestens einer Ausführungsform kann der 3D-Sampler 1605A-1605F Textur- oder andere 3D-Grafikdaten in den Speicher einlesen. In mindestens einer Ausführungsform kann der 3D-Sampler Texturdaten auf der Grundlage eines konfigurierten Abtaststatus und eines Texturformats, das mit einer bestimmten Textur verbunden ist, unterschiedlich lesen. In mindestens einer Ausführungsform kann der Media-Sampler 1606A-1606F ähnliche Lesevorgänge auf der Grundlage eines Typs und Formats durchführen, die mit den Mediendaten verbunden sind. In mindestens einer Ausführungsform kann jeder Grafik-Subkern 1601A-1601 F abwechselnd einen vereinheitlichten 3D- und Medien-Sampler enthalten. In mindestens einer Ausführungsform können Threads, die auf Ausführungseinheiten in jedem der Sub-Kerne 1601A-1601 F ausgeführt werden, den gemeinsamen lokalen Speicher 1608A-1608F in jedem Sub-Kern nutzen, damit Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, einen gemeinsamen Pool von On-Chip-Speicher nutzen können.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6BA und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in den Grafikprozessor 1610 integriert sein. Beispielsweise können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der ALUs verwenden, die im Grafikprozessor 1012, im Grafik-Mikrocontroller 1638, in der Geometrie- und Festfunktionspipeline 1614 und 1636 oder in einer anderen Logik in 16B enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 1600C konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
16D-16E veranschaulichen die Thread-Ausführungslogik 1600D einschließlich eines Arrays von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform. 16D veranschaulicht mindestens eine Ausführungsform, in der die Thread-Ausführungslogik 1600D verwendet wird. 16E veranschaulicht beispielhafte interne Details einer Ausführungseinheit, gemäß mindestens einer Ausführungsform.
Wie in 16D dargestellt, umfasst die Thread-Ausführungslogik 1600D in mindestens einer Ausführungsform einen Shader-Prozessor 1602, einen Thread-Versender 1604, einen Befehls-Cache 1606, ein skalierbares Ausführungseinheiten-Array mit einer Vielzahl von Ausführungseinheiten 1608A-1608N, einen oder mehrere Abtaster bzw. Sampler 1610, einen Daten-Cache 1612 und einen Datenport 1614. In mindestens einer Ausführungsform kann ein skalierbares Ausführungseinheiten-Array dynamisch skalieren, indem es eine oder mehrere Ausführungseinheiten (wie beispielsweise eine der Ausführungseinheiten 1608A, 1608B, 1608C, 1608D bis 1608N-1 und 1608N) basierend auf den Rechenanforderungen einer Arbeitslast aktiviert oder deaktiviert. In mindestens einer Ausführungsform sind die skalierbaren Ausführungseinheiten über eine Verbindungsstruktur miteinander verbunden, die mit jeder Ausführungseinheit verbunden ist. In mindestens einer Ausführungsform umfasst die Thread-Ausführungslogik 1600D eine oder mehrere Verbindungen zum Speicher, z.B. zum Systemspeicher oder zum Cache-Speicher, über einen oder mehrere der folgenden Elemente: Befehlscache 1606, Datenport 1614, Sampler 1610 und Ausführungseinheiten 1608A-1608N. In mindestens einer Ausführungsform ist jede Ausführungseinheit (wie beispielsweise 1608A) eine eigenständige programmierbare Mehrzweck-Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und dabei mehrere Datenelemente parallel für jeden Thread zu verarbeiten. In mindestens einer Ausführungsform ist die Anordnung der Ausführungseinheiten 1608A-1608N skalierbar, um eine beliebige Anzahl einzelner Ausführungseinheiten zu umfassen.
In mindestens einer Ausführungsform werden die Ausführungseinheiten 1608A-1608N hauptsächlich zur Ausführung von Shader-Programmen verwendet. In mindestens einer Ausführungsform kann der Shader-Prozessor 1602 verschiedene Shader-Programme verarbeiten und Ausführungs-Threads, die den Shader-Programmen zugeordnet sind, über einen Thread-Versender 1604 verteilen. In mindestens einer Ausführungsform enthält der Thread-Versender 1604 eine Logik zur Vermittlung von Thread-Initiierungsanforderungen von Grafik- und Medienpipelines und zur Instanziierung angeforderter Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 1608A-1608N. In mindestens einer Ausführungsform kann eine Geometrie-Pipeline beispielsweise Vertex-, Tessellierungs- oder Geometrie-Shader zur Verarbeitung an die Thread-Ausführungslogik weiterleiten. In mindestens einer Ausführungsform kann der Thread-Versender 1604 auch Laufzeit-Thread-Spawning-Anforderungen von ausführenden Shader-Programmen verarbeiten.
In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 1608A-1608N einen Befehlssatz, der native Unterstützung für viele Standard-3D-Grafik-Shader-Befehle enthält, sodass Shader-Programme aus Grafikbibliotheken (wie beispielsweise Direct 3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten die Vertex- und Geometrieverarbeitung (wie beispielsweise Vertex-Programme, Geometrie-Programme, Vertex-Shader), die Pixelverarbeitung (wie beispielsweise Pixel-Shader, Fragment-Shader) und die Universalverarbeitung (wie beispielsweise Compute- und Media-Shader). In mindestens einer Ausführungsform ist jede der Ausführungseinheiten 1608A-1608N, die eine oder mehrere arithmetische Logikeinheiten (ALUs) enthalten, zur SIMD-Ausführung (Single Instruction Multiple Data) fähig, und ermöglicht der Multi-Thread-Betrieb eine effiziente Ausführungsumgebung trotz höherer Latenz bei Speicherzugriffen. In mindestens einer Ausführungsform hat jeder Hardware-Thread innerhalb jeder Ausführungseinheit eine dedizierte Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Zustand. In mindestens einer Ausführungsform erfolgt die Ausführung mit mehreren Pipelines pro Takt, die Integer-, Gleitkommaoperationen mit einfacher und doppelter Genauigkeit, SIMD-Verzweigungsfähigkeit, logische Operationen, transzendentale Operationen und andere verschiedene Operationen ausführen können. In mindestens einer Ausführungsform bewirkt die Abhängigkeitslogik in den Ausführungseinheiten 1608A-1608N, dass ein wartender Thread in den Ruhezustand versetzt wird, bis die angeforderten Daten zurückgegeben wurden, während er auf Daten aus dem Speicher oder eine der gemeinsam genutzten Funktionen wartet. In mindestens einer Ausführungsform können, während ein wartender Thread schläft, Hardware-Ressourcen für die Verarbeitung anderer Threads verwendet werden. In mindestens einer Ausführungsform kann eine Ausführungseinheit während einer Verzögerung, die mit einer Vertex-Shader-Operation verbunden ist, Operationen für einen Pixel-Shader, Fragment-Shader oder eine andere Art von Shader-Programm, einschließlich eines anderen Vertex-Shaders, durchführen.
In mindestens einer Ausführungsform arbeitet jede Ausführungseinheit in den Ausführungseinheiten 1608A-1608N auf Arrays von Datenelementen. In mindestens einer Ausführungsform ist eine Anzahl von Datenelementen die „Ausführungsgrö-ße“ oder die Anzahl der Kanäle für einen Befehl. In mindestens einer Ausführungsform ist ein Ausführungskanal eine logische Ausführungseinheit für den Datenelementzugriff, die Maskierung und die Flusssteuerung innerhalb von Anweisungen. In mindestens einer Ausführungsform kann die Anzahl der Kanäle unabhängig von der Anzahl der physischen Arithmetic Logic Units (ALUs) oder Floating Point Units (FPUs) für einen bestimmten Grafikprozessor sein. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 1608A-1608N Ganzzahl- und Gleitkomma-Datentypen.
In mindestens einer Ausführungsform enthält ein Befehlssatz der Ausführungseinheit SIMD-Befehle. In mindestens einer Ausführungsform können verschiedene Datenelemente als gepackter Datentyp in einem Register gespeichert werden und wird eine Ausführungseinheit verschiedene Elemente basierend auf der Datengröße der Elemente verarbeiten. In mindestens einer Ausführungsform werden bei der Bearbeitung eines 256 Bit breiten Vektors 256 Bits eines Vektors in einem Register gespeichert und bearbeitet eine Ausführungseinheit einen Vektor als vier separate gepackte 64-Bit-Datenelemente (Datenelemente der Größe Quad-Word (QW)), acht separate gepackte 32-Bit-Datenelemente (Datenelemente der Größe Double Word (DW)), sechzehn separate gepackte 16-Bit-Datenelemente (Datenelemente der Größe Word (W)) oder zweiunddreißig separate 8-Bit-Datenelemente (Datenelemente der Größe Byte (B)). In mindestens einer Ausführungsform sind jedoch auch andere Vektorbreiten und Registergrößen möglich.
In mindestens einer Ausführungsform können eine oder mehrere Ausführungseinheiten zu einer fusionierten Ausführungseinheit 1609A-1609N zusammengefasst sein, die eine gemeinsame Thread-Steuerungslogik (1607A-1607N) für die fusionierten EUs aufweist. In mindestens einer Ausführungsform können mehrere EUs zu einer EU-Gruppe fusioniert sein. In mindestens einer Ausführungsform kann jede EU in einer fusionierten EU-Gruppe so konfiguriert sein, dass sie einen separaten SIMD-Hardware-Thread ausführt. Die Anzahl der EUs in einer fusionierten EU-Gruppe kann je nach Ausführungsform variieren. In mindestens einer Ausführungsform können verschiedene SIMD-Breiten pro EU ausgeführt werden, einschließlich, aber nicht beschränkt auf, SIMD8, SIMD16 und SIMD32. In mindestens einer Ausführungsform umfasst jede fusionierte Grafikausführungseinheit 1609A-1609N mindestens zwei Ausführungseinheiten. In mindestens einer Ausführungsform enthält die fusionierte Ausführungseinheit 1609A eine erste EU 1608A, eine zweite EU 1608B und eine Thread-Steuerlogik 1607A, die der ersten EU 1608A und der zweiten EU 1608B gemeinsam ist. In mindestens einer Ausführungsform steuert die Thread-Steuerlogik 1607A Threads, die auf der fusionierten Grafikausführungseinheit 1609A ausgeführt werden, so dass jede EU innerhalb der fusionierten Ausführungseinheiten 1609A-1609N unter Verwendung eines gemeinsamen Befehlszeigerregisters ausgeführt werden kann.
In mindestens einer Ausführungsform sind ein oder mehrere interne Befehlscaches (wie beispielsweise 1606) in der Thread-Ausführungslogik 1600D enthalten, um Thread-Befehle für Ausführungseinheiten zu cachen. In mindestens einer Ausführungsform sind ein oder mehrere Daten-Caches (wie beispielsweise 1612) enthalten, um Thread-Daten während der Thread-Ausführung zu cachen. In mindestens einer Ausführungsform ist ein Sampler 1610 enthalten, um Textursampling für 3D-Operationen und Mediensampling für Medienoperationen bereitzustellen. In mindestens einer Ausführungsform umfasst der Sampler 1610 eine spezielle Textur- oder Mediensampling-Funktionalität, um Textur- oder Mediendaten während eines Sampling-Prozesses zu verarbeiten, bevor die gesampelten Daten an eine Ausführungseinheit geliefert werden.
In mindestens einer Ausführungsform senden Grafik- und Medienpipelines während der Ausführung Thread-Initiierungsanforderungen an die Thread-Ausführungslogik 1600D über die Thread-Spawning- und Versende-Logik. In mindestens einer Ausführungsform wird, sobald eine Gruppe geometrischer Objekte verarbeitet und in Pixeldaten gerastert wurde, die Pixelprozessorlogik (wie beispielsweise Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 1602 aufgerufen, um weitere Ausgabeinformationen zu berechnen und zu veranlassen, dass die Ergebnisse in Ausgabeflächen (wie beispielsweise Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) geschrieben werden. In mindestens einer Ausführungsform berechnet ein Pixel-Shader oder Fragment-Shader die Werte verschiedener Vertexattribute, die über ein gerastertes Objekt zu interpolieren sind. In mindestens einer Ausführungsform führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 1602 dann ein über die Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. In mindestens einer Ausführungsform verteilt der Shader-Prozessor 1602 zur Ausführung eines Shader-Programms Threads über den Thread-Versender 1604 an eine Ausführungseinheit (wie beispielsweise 1608A). In mindestens einer Ausführungsform verwendet der Shader-Prozessor 1602 die Texturabtastlogik im Abtaster 1610, um auf Texturdaten in den im Speicher gespeicherten Texturkarten zuzugreifen. In mindestens einer Ausführungsform werden durch arithmetische Operationen an Texturdaten und Eingangsgeometriedaten Pixelfarbdaten für jedes geometrische Fragment berechnet oder ein oder mehrere Pixel von der weiteren Verarbeitung ausgeschlossen.
In mindestens einer Ausführungsform stellt ein Datenport 1614 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 1600D bereit, um verarbeitete Daten zur weiteren Verarbeitung auf einer Grafikprozessor-Ausgabepipeline in den Speicher auszugeben. In mindestens einer Ausführungsform umfasst der Datenport 1614 einen oder mehrere Cache-Speicher (wie beispielsweise den Daten-Cache 1612) oder ist mit diesen gekoppelt, um Daten für den Speicherzugriff über einen Datenport zu cachen.
Wie in 16E dargestellt, kann eine Grafikausführungseinheit 1608 in mindestens einer Ausführungsform eine Anweisungsabrufeinheit 1637, ein allgemeines Registerdateiarray (GRF) 1624, ein architektonisches Registerdateiarray (ARF) 1626, einen Thread-Vermittler 1622, eine Sendeeinheit 1630, eine Verzweigungseinheit 1632, einen Satz SIMD-Gleitkommaeinheiten (FPUs) 1634 und in mindestens einer Ausführungsform einen Satz dedizierter Ganzzahl-SIMD-ALUs 1635 enthalten. In mindestens einer Ausführungsform enthalten GRF 1624 und ARF 1626 einen Satz allgemeiner Registerdateien und Architekturregisterdateien, die mit jedem gleichzeitigen Hardware-Thread verbunden sind, der in der Grafikausführungseinheit 1608 aktiv sein kann. In mindestens einer Ausführungsform wird der Architekturzustand pro Thread in der ARF 1626 verwaltet, während die während der Thread-Ausführung verwendeten Daten in der GRF 1624 gespeichert werden. In mindestens einer Ausführungsform kann der Ausführungsstatus jedes Threads, einschließlich der Befehlszeiger für jeden Thread, in Thread-spezifischen Registern im ARF 1626 gehalten werden.
In mindestens einer Ausführungsform hat die Grafikausführungseinheit 1608 eine Architektur, die eine Kombination aus Simultaneous Multi-Threading (SMT) und feinkörnigem Interleaved Multi-Threading (IMT) ist. In mindestens einer Ausführungsform hat die Architektur eine modulare Konfiguration, die zur Entwurfszeit auf der Grundlage einer Sollanzahl gleichzeitiger Threads und der Anzahl von Registern pro Ausführungseinheit fein abgestimmt werden kann, wobei die Ressourcen der Ausführungseinheit auf die Logik aufgeteilt werden, die zur Ausführung mehrerer gleichzeitiger Threads verwendet wird.
In mindestens einer Ausführungsform kann die Grafikausführungseinheit 1608 mehrere Befehle gemeinsam ausgeben, die jeweils unterschiedliche Befehle sein können. In mindestens einer Ausführungsform kann der Thread-Vermittler 1622 des Threads der Grafikausführungseinheit 1608 Anweisungen an eine der Sendeeinheiten 1630, Verzweigungseinheiten 1642 oder SIMD-FPU(s) 1634 zur Ausführung weiterleiten. In mindestens einer Ausführungsform kann jeder Ausführungs-Thread auf 128 Universalregister innerhalb des GRF 1624 zugreifen, wobei jedes Register 32 Byte speichern kann, die als SIMD-8-Element-Vektor von 32-Bit-Datenelementen zugänglich sind. In mindestens einer Ausführungsform hat jeder Ausführungseinheitsthread Zugriff auf 4 KByte innerhalb des GRF 1624, obwohl Ausführungsformen nicht so begrenzt sind und in anderen Ausführungsformen mehr oder weniger Registerressourcen bereitgestellt werden können. In mindestens einer Ausführungsform können bis zu sieben Threads gleichzeitig ausgeführt werden, wobei die Anzahl der Threads pro Ausführungseinheit je nach Ausführungsform auch variieren kann. In mindestens einer Ausführungsform, in der sieben Threads auf 4 KByte zugreifen können, kann der GRF 1624 insgesamt 15 KByte speichern. In mindestens einer Ausführungsform können flexible Adressierungsmodi erlauben, dass Register gemeinsam adressiert werden, um effektiv breitere Register zu bilden oder um geschichtete rechteckige Blockdatenstrukturen darzustellen.
In mindestens einer Ausführungsform werden Speicheroperationen, Abtaster- bzw. Sampler-Operationen und andere Systemkommunikationen mit längerer Latenz über „Sende“-Befehle abgewickelt, die von der Message-Passing-Sendeeinheit 1630 ausgeführt werden. In mindestens einer Ausführungsform werden Verzweigungsbefehle an eine dedizierte Verzweigungseinheit 1632 weitergeleitet, um SIMD-Divergenz und eventuelle Konvergenz zu erleichtern.
In mindestens einer Ausführungsform enthält die Grafikausführungseinheit 1608 eine oder mehrere SIMD-Gleitkommaeinheiten (FPU(s)) 1634 zur Durchführung von Gleitkommaoperationen. In mindestens einer Ausführungsform unterstützen die FPU(s) 1634 auch Ganzzahlberechnungen. In mindestens einer Ausführungsform kann (können) die FPU(s) 1634 bis zu M Anzahl von 32-Bit-Gleitkomma- (oder Ganzzahl-) Operationen SIMD ausführen, oder bis zu 2M 16-Bit-Ganzzahl- oder 16-Bit-Gleitkomma-Operationen SIMD ausführen. In mindestens einer Ausführungsform stellt mindestens eine der FPU(s) erweiterte mathematische Fähigkeiten bereit, um transzendentale mathematische Funktionen mit hohem Durchsatz und 64-Bit-Gleitkommaoperationen mit doppelter Genauigkeit zu unterstützen. In mindestens einer Ausführungsform ist auch ein Satz von 8-Bit-Ganzzahl-SIMD-ALUs 1635 vorhanden, die speziell für die Durchführung von Operationen im Zusammenhang mit maschinellen Lernberechnungen optimiert sein können.
In mindestens einer Ausführungsform können Arrays aus mehreren Instanzen der Grafikausführungseinheit 1608 in einer Gruppierung von Grafiksubkernen (wie beispielsweise einem Sub-Slice) instanziiert werden. In mindestens einer Ausführungsform kann die Ausführungseinheit 1608 Anweisungen über eine Vielzahl von Ausführungskanälen ausführen. In mindestens einer Ausführungsform wird jeder Thread, der auf der Grafikausführungseinheit 1608 ausgeführt wird, auf einem anderen Kanal ausgeführt.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit den 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenzierungs- und/oder Trainingslogik 615 in die Ausführungslogik 1600D integriert sein. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 6B oder 6C durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs der Ausführungslogik 1600D konfigurieren, um einen oder mehrere hierin beschriebene Algorithmen maschinellen Lernens, Architekturen neuronaler Netzwerke, Anwendungsfälle oder Trainingstechniken durchzuführen.
17A zeigt eine Parallelverarbeitungseinheit („PPU“) 1700A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die PPU 1700A mit maschinenlesbarem Code konfiguriert, der dann, wenn er von der PPU 1700A ausgeführt wird, die PPU 1700A veranlasst, einige oder alle der in dieser Erfindung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist die PPU 1700A ein Multi-Thread-Prozessor, der auf einem oder mehreren integrierten Schaltkreisen implementiert ist und der Multithreading als eine Technik zum Verbergen von Latenzzeiten verwendet, die dazu angepasst ist, computerlesbare Befehle (auch als maschinenlesbare Befehle oder einfach Befehle bezeichnet) auf mehreren Threads parallel zu verarbeiten. In mindestens einer Ausführungsform bezieht sich ein Thread auf einen Ausführungsthread und ist eine Instanziierung eines Satzes von Anweisungen, die zur Ausführung durch die PPU 1700A konfiguriert sind. In mindestens einer Ausführungsform ist die PPU 1700A eine Grafikverarbeitungseinheit („GPU“), die so konfiguriert ist, dass sie eine Grafik-Rendering-Pipeline zur Verarbeitung dreidimensionaler („3D“) Grafikdaten implementiert, um zweidimensionale („2D“) Bilddaten für die Anzeige auf einer Anzeigevorrichtung, wie z.B. einer Flüssigkristallanzeigevorrichtung („LCD“), zu erzeugen. In mindestens einer Ausführungsform wird die PPU 1700A verwendet, um Berechnungen wie lineare Algebra-Operationen und Machine-Learning-Operationen durchzuführen. 17A zeigt ein Beispiel für einen Parallelprozessor nur zur Veranschaulichung, das als nicht beschränktes Beispiel für Prozessorarchitekturen zu verstehen ist, die im Rahmen dieser Erfindung in Betracht gezogen werden, und dahingehend, dass jeder geeignete Prozessor zur Ergänzung und/oder zum Ersatz desselben verwendet werden kann.
In mindestens einer Ausführungsform sind eine oder mehrere PPUs 1700A so konfiguriert, dass sie High Performance Computing („HPC“), Rechenzentren und Anwendungen maschinellen Lernens beschleunigen. In mindestens einer Ausführungsform ist die PPU 1700A so konfiguriert, dass sie Deep-Learning-Systeme und -Anwendungen beschleunigt, einschließlich der folgenden, nicht beschränkenden Beispiele: autonome Fahrzeugplattformen, Deep Learning, hochpräzise Sprach-, Bild- und Texterkennungssysteme, intelligente Videoanalyse, molekulare Simulationen, Arzneimittelentdeckung, Krankheitsdiagnose, Wettervorhersage, Big-Data-Analyse, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotik, Fabrikautomatisierung, Echtzeit-Sprachübersetzung, Online-Suchoptimierung und personalisierte Benutzerempfehlungen und mehr.
In mindestens einer Ausführungsform umfasst die PPU 1700A, ohne darauf beschränkt zu sein, eine Eingabe/Ausgabe-Einheit 1706, eine Frontend-Einheit 1710, eine Planer-Einheit 1712, eine Arbeitsverteilungseinheit 1714, einen Hub 1716, eine Querschiene bzw. Crossbar („Xbar“) 1720, einen oder mehrere Universalverarbeitungscluster („GPCs“) 1718 und eine oder mehrere Partitionseinheiten („Speicherpartitionseinheiten“) 1722. In mindestens einer Ausführungsform ist die PPU 1700A mit einem Host-Prozessor oder anderen PPUs 1700A über eine oder mehrere Hochgeschwindigkeits-GPU-Verbindungen („GPU-Verbindungen“) 1708 verbunden. In mindestens einer Ausführungsform ist die PPU 1700A über einen Interconnect 1702 mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einer Ausführungsform ist die PPU 1700A mit einem lokalen Speicher verbunden, der eine oder mehrere Speichervorrichtungen („Speicher“) 1704 umfasst. In mindestens einer Ausführungsform umfassen die Speichervorrichtungen 1704, ohne darauf beschränkt zu sein, eine oder mehrere dynamische Direktzugriffsspeicher („DRAM“)-Vorrichtungen. In mindestens einer Ausführungsform sind eine oder mehrere DRAM-Vorrichtungen als Subsysteme mit hohem Bandbreitenspeicher („HBM“) konfiguriert und/oder konfigurierbar, wobei mehrere DRAM-Chips in jeder Vorrichtung gestapelt sind.
In mindestens einer Ausführungsform kann sich die Hochgeschwindigkeits-GPU-Verbindung 1708 auf eine drahtbasierte Mehrspur- bzw. Multi-Lane-Kommunikationsverbindung beziehen, die von Systemen zur Skalierung verwendet wird und eine oder mehrere PPUs 1700A in Kombination mit einer oder mehreren Zentraleinheiten („CPUs“) umfasst, die Cache-Kohärenz zwischen PPUs 1700A und CPUs sowie CPU-Mastering unterstützt. In mindestens einer Ausführungsform werden Daten und/oder Befehle über die Hochgeschwindigkeits-GPU-Verbindung 1708 durch den Hub 1716 zu/von anderen Einheiten der PPU 1700A übertragen, wie z.B. einer oder mehreren Kopier-Engines, Video-Encodern, Video-Decodern, Leistungsverwaltungseinheiten und anderen Komponenten, die in 17A möglicherweise nicht explizit dargestellt sind.
In mindestens einer Ausführungsform ist die E/A-Einheit 1706 so konfiguriert, dass sie Kommunikationen (wie beispielsweise Befehle, Daten) von einem Host-Prozessor (in 17A nicht dargestellt) über den Systembus 1702 sendet und empfängt. In mindestens einer Ausführungsform kommuniziert die E/A-Einheit 1706 mit dem Host-Prozessor direkt über den Systembus 1702 oder über ein oder mehrere Zwischenvorrichtungen wie z.B. eine Speicherbrücke. In mindestens einer Ausführungsform kann die E/A-Einheit 1706 über den Systembus 1702 mit einem oder mehreren anderen Prozessoren kommunizieren, z.B. mit einer oder mehreren der PPUs 1700A. In mindestens einer Ausführungsform implementiert die E/A-Einheit 1706 eine Peripheral Component Interconnect Express („PCIe“)-Schnittstelle für die Kommunikation über einen PCIe-Bus. In mindestens einer Ausführungsform implementiert die E/A-Einheit 1706 Schnittstellen für die Kommunikation mit externen Geräten.
In mindestens einer Ausführungsform dekodiert die E/A-Einheit 1706 Pakete, die über den Systembus 1702 empfangen werden. In mindestens einer Ausführungsform stellen mindestens einige Pakete Befehle dar, die so konfiguriert sind, dass sie die PPU 1700A veranlassen, verschiedene Operationen durchzuführen. In mindestens einer Ausführungsform sendet die E/A-Einheit 1706 dekodierte Befehle an verschiedene andere Einheiten der PPU 1700A, wie von den Befehlen vorgegeben. In mindestens einer Ausführungsform werden Befehle an die Front-End-Einheit 1710 und/oder an den Hub 1716 oder andere Einheiten der PPU 1700A, wie eine oder mehrere Kopier-Engines, einen Video-Encoder, einen Video-Decoder, eine Leistungsverwaltungseinheit usw., übertragen (in 17A nicht explizit dargestellt). In mindestens einer Ausführungsform ist die E/A-Einheit 1706 so konfiguriert, dass sie die Kommunikation zwischen und unter verschiedenen logischen Einheiten der PPU 1700A leitet.
In mindestens einer Ausführungsform kodiert ein vom Host-Prozessor ausgeführtes Programm einen Befehlsstrom in einen Puffer, der der PPU 1700A Arbeitslasten zur Verarbeitung bereitstellt. In mindestens einer Ausführungsform umfasst eine Arbeitslast Anweisungen und Daten, die von diesen Anweisungen zu verarbeiten sind. In mindestens einer Ausführungsform ist der Puffer ein Bereich in einem Speicher, auf den sowohl der Host-Prozessor als auch die PPU 1700A zugreifen können (wie beispielsweise Lesen/Schreiben) - eine Host-Schnittstelleneinheit kann so konfiguriert sein, dass sie auf den Puffer in einem Systemspeicher zugreift, der mit dem Systembus 1702 verbunden ist, und zwar über Speicheranforderungen, die von der E/A-Einheit 1706 über den Systembus 1702 übertragen werden. In mindestens einer Ausführungsform schreibt der Host-Prozessor einen Befehlsstrom in den Puffer und überträgt dann einen Zeiger auf den Beginn des Befehlsstroms an die PPU 1700A, so dass die Frontend-Einheit 1710 Zeiger auf einen oder mehrere Befehlsströme empfängt und einen oder mehrere Befehlsströme verwaltet, Befehle aus den Befehlsströmen liest und Befehle an verschiedene Einheiten der PPU 1700A weiterleitet.
In mindestens einer Ausführungsform ist die Frontend-Einheit 1710 mit der Planer-Einheit 1712 gekoppelt, die verschiedene GPCs 1718 zur Verarbeitung von Aufgaben konfiguriert, die durch einen oder mehrere Befehlsströme definiert sind. In mindestens einer Ausführungsform ist die Planer-Einheit 1712 so konfiguriert, dass sie Zustandsinformationen in Bezug auf verschiedene Aufgaben nachverfolgt, die von der Planer-Einheit 1712 verwaltet werden, wobei die Zustandsinformationen angeben können, welchem der GPCs 1718 eine Aufgabe zugewiesen ist, ob die Aufgabe aktiv oder inaktiv ist, welche Prioritätsstufe der Aufgabe zugeordnet ist und so weiter. In mindestens einer Ausführungsform verwaltet die Planer-Einheit 1712 die Ausführung einer Vielzahl von Aufgaben auf einem oder mehreren GPCs 1718.
In mindestens einer Ausführungsform ist die Planer-Einheit 1712 mit der Arbeitsverteilungseinheit 1714 gekoppelt, die so konfiguriert ist, dass sie Aufgaben zur Ausführung auf den GPCs 1718 verteilt. In mindestens einer Ausführungsform nachverfolgt die Arbeitsverteilungseinheit 1714 eine Anzahl geplanter Aufgaben, die von der Planer-Einheit 1712 empfangen wurden, und verwaltet die Arbeitsverteilungseinheit 1714 einen Pool ausstehender Aufgaben und einen Pool aktiver Aufgaben für jeden der GPCs 1718. In mindestens einer Ausführungsform umfasst der Pool anstehender Aufgaben eine Anzahl von Slots (wie beispielsweise 32 Slots), die Aufgaben enthalten, die zur Verarbeitung durch einen bestimmten GPC 1718 zugewiesen sind; der Pool aktiver Aufgaben kann eine Anzahl von Slots (wie beispielsweise 4 Slots) für Aufgaben umfassen, die aktiv von den GPCs 1718 verarbeitet werden, so dass dann, wenn einer der GPCs 1718 die Ausführung einer Aufgabe abschließt, diese Aufgabe aus dem Pool aktiver Aufgaben für den GPC 1718 entfernt wird und eine der anderen Aufgaben aus dem Pool anstehender Aufgaben ausgewählt und zur Ausführung auf dem GPC 1718 eingeplant wird. In mindestens einer Ausführungsform wird dann, wenn eine aktive Aufgabe auf dem GPC 1718 im Leerlauf ist, z.B. während auf die Auflösung einer Datenabhängigkeit gewartet wird, die aktive Aufgabe aus dem GPC 1718 entfernt und in den Pool ausstehender zurückgeführt, während eine andere Aufgabe im Pool ausstehender Aufgaben ausgewählt und für die Ausführung auf dem GPC 1718 eingeplant wird.
In mindestens einer Ausführungsform kommuniziert die Arbeitsverteilungseinheit 1714 mit einem oder mehreren GPCs 1718 über XBar 1720. In mindestens einer Ausführungsform ist die XBar 1720 ein Verbindungsnetzwerk, das viele Einheiten der PPU 1700A mit anderen Einheiten der PPU 1700A koppelt und so konfiguriert sein kann, dass die Arbeitsverteilungseinheit 1714 mit einem bestimmten GPC 1718 gekoppelt wird. In mindestens einer Ausführungsform können auch eine oder mehrere andere Einheiten der PPU 1700A über den Hub 1716 mit der XBar 1720 verbunden sein.
In mindestens einer Ausführungsform werden Aufgaben von der Planer-Einheit 1712 verwaltet und von der Arbeitsverteilungseinheit 1714 an einen der GPCs 1718 weitergeleitet. Der GPC 1718 ist so konfiguriert, dass er eine Aufgabe verarbeitet und Ergebnisse erzeugt. In mindestens einer Ausführungsform können die Ergebnisse von anderen Aufgaben innerhalb des GPC 1718 verbraucht, über die XBar 1720 an einen anderen GPC 1718 weitergeleitet oder im Speicher 1704 gespeichert werden. In mindestens einer Ausführungsform können Ergebnisse in den Speicher 1704 über Partitionseinheiten 1722 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 1704 implementieren. In mindestens einer Ausführungsform können die Ergebnisse über die Hochgeschwindigkeits-GPU-Verbindung 1708 an eine andere PPU 1704 oder CPU übertragen werden. In mindestens einer Ausführungsform umfasst die PPU 1700A, ohne darauf beschränkt zu sein, eine Anzahl U von Partitionseinheiten 1722, die der Anzahl von separaten und unterschiedlichen Speichervorrichtungen 1704 entspricht, die mit der PPU 1700A verbunden sind. In mindestens einer Ausführungsform wird die Partitionseinheit 1722 weiter unten in Verbindung mit 17C genauer beschrieben.
In mindestens einer Ausführungsform führt ein Host-Prozessor einen Treiberkern aus, der eine Anwendungsprogrammierschnittstelle („API“) implementiert, die es einer oder mehreren auf dem Host-Prozessor ausgeführten Anwendungen ermöglicht, Operationen zur Ausführung auf der PPU 1700A zu planen. In mindestens einer Ausführungsform werden mehrere Rechenanwendungen gleichzeitig von der PPU 1700A ausgeführt und stellt die PPU 1700A Isolierung, Dienstgüte („QoS“) und unabhängige Adressräume für mehrere Rechenanwendungen bereit. In mindestens einer Ausführungsform generiert eine Anwendung Anweisungen (wie beispielsweise in Form von API-Aufrufen), die den Treiberkern veranlassen, eine oder mehrere Aufgaben zur Ausführung durch die PPU 1700A zu generieren, und gibt der Treiberkern Aufgaben an einen oder mehrere Streams aus, die von der PPU 1700A verarbeitet werden. In mindestens einer Ausführungsform umfasst jede Aufgabe eine oder mehrere Gruppen von zusammenhängenden Threads, die als Warp bezeichnet werden können. In mindestens einer Ausführungsform umfasst ein Warp eine Vielzahl von zusammenhängenden Threads (wie beispielsweise 32 Threads), die parallel ausgeführt werden können. In mindestens einer Ausführungsform können sich zusammenarbeitende Threads auf eine Vielzahl von Threads beziehen, die Anweisungen zur Ausführung von Aufgaben enthalten und Daten über einen gemeinsamen Speicher austauschen. In mindestens einer Ausführungsform werden Threads und kooperierende Threads gemäß mindestens einer Ausführungsform in Verbindung mit 17C ausführlicher beschrieben.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um der PPU 1700A bereitgestellte Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird die PPU 1700A zum Ableiten oder Vorhersagen von Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks) verwendet, das von einem anderen Prozessor oder System oder von der PPU 1700A trainiert wurde. In mindestens einer Ausführungsform kann die PPU 1700A verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
17B zeigt einen Universalverarbeitungscluster („GPC“) 1700B, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der GPC 1700B der GPC 1418 aus 17A. In mindestens einer Ausführungsform umfasst jeder GPC 1700B, ohne darauf beschränkt zu sein, eine Anzahl von Hardware-Einheiten zur Verarbeitung von Aufgaben, und umfasst jeder GPC 1700, ohne darauf beschränkt zu sein, einen Pipeline-Verwalter 1702, eine Pre-Raster-Operationseinheit („PROP“) 1704, eine Raster-Engine 1708, eine Arbeitsverteilungskreuzschiene („WDX“) 1716, eine Speicherverwaltungseinheit („MMU“) 1718, einen oder mehrere Datenverarbeitungscluster („DPCs“) 1706 und jede geeignete Kombination von Teilen.
In mindestens einer Ausführungsform wird der Betrieb des GPC 1700B vom Pipeline-Verwalter 1702 gesteuert. In mindestens einer Ausführungsform verwaltet der Pipeline-Verwalter 1702 die Konfiguration eines oder mehrerer DPCs 1706 zur Verarbeitung von Aufgaben, die dem GPC 1700B zugewiesen sind. In mindestens einer Ausführungsform konfiguriert der Pipeline-Verwalter 1702 mindestens einen des einen oder der mehreren DPCs 1706, um mindestens einen Teil einer Grafik-Rendering-Pipeline zu implementieren. In mindestens einer Ausführungsform ist der DPC 1706 so konfiguriert, dass er ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 1714 ausführt. In mindestens einer Ausführungsform ist der Pipeline-Verwalter 1702 so konfiguriert, dass er von einer Arbeitsverteilungseinheit empfangene Pakete an geeignete logische Einheiten innerhalb des GPC 1700B weiterleitet, wobei einige Pakete an Hardwareeinheiten mit fester Funktion in der PROP 1704 und/oder in der Raster-Engine 1708 weitergeleitet werden können, während andere Pakete an DPCs 1706 zur Verarbeitung durch eine Primitiv-Engine 1712 oder den SM 1714 weitergeleitet werden können. In mindestens einer Ausführungsform konfiguriert der Pipeline-Verwalter 1702 mindestens einen der DPCs 1706 zur Implementierung eines neuronalen Netzwerkmodells und/oder einer Rechenpipeline.
In mindestens einer Ausführungsform ist die PROP-Einheit 1704 so konfiguriert, dass sie die von der Raster-Engine 1708 und den DPCs 1706 erzeugten Daten an eine Einheit für Rasteroperationen („ROP“) in der Partitionseinheit 1422 weiterleitet, die oben in Verbindung mit 14 näher beschrieben ist. In mindestens einer Ausführungsform ist die PROP-Einheit 1704 so konfiguriert, dass sie Optimierungen für die Farbmischung durchführt, Pixeldaten organisiert, Adressübersetzungen durchführt und mehr. In mindestens einer Ausführungsform umfasst die Raster-Engine 1708, ohne darauf beschränkt zu sein, eine Reihe von Hardwareeinheiten mit fester Funktion, die zur Durchführung verschiedener Rasteroperationen konfiguriert sind, und umfasst die Raster-Engine 1708, ohne darauf beschränkt zu sein, eine Setup-Engine, eine Grobraster-Engine, eine Culling-Engine, eine Clipping-Engine, eine Feinraster-Engine, eine Kachelkoaleszenz-Engine und jede geeignete Kombination davon. In mindestens einer Ausführungsform empfängt die Setup-Engine transformierte Vertices und erzeugt Ebenengleichungen, die mit der durch die Vertices definierten geometrischen Grundstruktur verbunden sind; die Ebenengleichungen werden an die Grobraster-Engine übertragen, um Abdeckungsinformationen (wie beispielsweise eine x-, y-Abdeckungsmaske für eine Kachel) für die Grundstruktur zu erzeugen; die Ausgabe der Grobraster-Engine wird an die Culling-Engine übertragen, wo Fragmente, die mit dem Primitiv verbunden sind und einen z-Test nicht bestehen, aussortiert werden, und an eine Clipping-Engine übertragen, wo Fragmente, die außerhalb eines Sichtkegelstumpfs liegen, abgeschnitten werden. In mindestens einer Ausführungsform werden Fragmente, die das Clipping und Culling überstehen, an eine Feinraster-Engine weitergeleitet, um Attribute für Pixelfragmente auf der Grundlage von Ebenengleichungen zu erzeugen, die von der Setup-Engine generiert wurden. In mindestens einer Ausführungsform umfasst die Ausgabe der Raster-Engine 1708 Fragmente, die von einer geeigneten Einheit verarbeitet werden, z.B. von einem Fragment-Shader, der in dem DPC 1706 implementiert ist.
In mindestens einer Ausführungsform umfasst jeder DPC 1706, der im GPC 1700B enthalten ist, ohne darauf beschränkt zu sein, einen M-Pipe-Controller („MPC“) 1710, eine Primitiv-Engine 1712, einen oder mehrere SMs 1714 und jede geeignete Kombination davon. In mindestens einer Ausführungsform steuert der MPC 1710 den Betrieb des DPC 1706, indem er die vom Pipeline-Verwalter 1702 empfangenen Pakete an die entsprechenden Einheiten in dem DPC 1706 weiterleitet. In mindestens einer Ausführungsform werden Pakete, die einem Vertex zugeordnet sind, an die Primitiv-Engine 1712 weitergeleitet, die so konfiguriert ist, dass sie Vertexattribute, die dem Vertex zugeordnet sind, aus dem Speicher abruft; im Gegensatz dazu können Pakete, die einem Shader-Programm zugeordnet sind, an den SM 1714 übertragen werden.
In mindestens einer Ausführungsform umfasst der SM 1714, ohne darauf beschränkt zu sein, einen programmierbaren Streaming-Prozessor, der so konfiguriert ist, dass er Aufgaben verarbeitet, die durch eine Anzahl von Threads dargestellt werden. In mindestens einer Ausführungsform ist der SM 1714 mit mehreren Threads ausgestattet und so konfiguriert, dass er mehrere Threads (wie beispielsweise 32 Threads) aus einer bestimmten Gruppe von Threads gleichzeitig ausführt und eine SIMD („Single-Instruction, Multiple-Data“)-Architektur implementiert, bei der jeder Thread in einer Gruppe von Threads (wie beispielsweise einem Warp) so konfiguriert ist, dass er einen anderen Datensatz auf der Grundlage desselben Satzes von Anweisungen verarbeitet. In mindestens einer Ausführungsform führen alle Threads in einer Gruppe von Threads dieselben Anweisungen aus. In mindestens einer Ausführungsform implementiert der SM 1714 eine Single-Instruction, Multiple Thread („SIMT“)-Architektur, bei der jeder Thread in einer Gruppe von Threads so konfiguriert ist, dass er einen anderen Satz von Daten auf der Grundlage desselben Satzes von Anweisungen verarbeitet, wobei jedoch einzelne Threads in der Gruppe von Threads während der Ausführung divergieren dürfen. In mindestens einer Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden Warp beibehalten, wodurch Gleichzeitigkeit zwischen Warps und serielle Ausführung innerhalb von Warps ermöglicht wird, wenn Threads innerhalb von Warp divergieren. In einer anderen Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden einzelnen Thread beibehalten, wodurch gleiche Gleichzeitigkeit zwischen allen Threads innerhalb und zwischen Warps ermöglicht wird. In mindestens einer Ausführungsform wird der Ausführungsstatus für jeden einzelnen Thread beibehalten, und Threads, die dieselben Anweisungen ausführen, können zur besseren Effizienz zusammengeführt und parallel ausgeführt werden. Mindestens eine Ausführungsform des SM 1714 wird nachstehend ausführlicher beschrieben.
In mindestens einer Ausführungsform stellt die MMU 1718 eine Schnittstelle zwischen dem GPC 1700B und der Speicherpartitionseinheit (wie beispielsweise der Partitionierungseinheit 1422 in 17A) bereit, und sorgt die MMU 1718 für die Übersetzung virtueller Adressen in physische Adressen, den Speicherschutz und die Arbitrierung von Speicheranforderungen. In mindestens einer Ausführungsform bietet die MMU 1718 einen oder mehrere Übersetzungs-Lookaside-Puffer („TLBs“) zur Durchführung der Übersetzung virtueller Adressen in physische Adressen im Speicher.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um die dem GPC 1700B bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der GPC 1700B verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks) abzuleiten oder vorherzusagen, das von einem anderen Prozessor oder System oder von dem GPC 1700B trainiert wurde. In mindestens einer Ausführungsform kann der GPC 1700B verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
17C veranschaulicht eine Speicherpartitionseinheit 1700C einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst die Speicherpartitionseinheit 1700C, ohne darauf beschränkt zu sein, eine Raster Operations („ROP“)-Einheit 1702, einen Level Two („L2“)-Cache 1704, eine Speicherschnittstelle 1706 und eine beliebige geeignete Kombination davon. In mindestens einer Ausführungsform ist die Speicherschnittstelle 1706 mit dem Speicher gekoppelt. In mindestens einer Ausführungsform kann die Speicherschnittstelle 1706 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliche Implementierungen für die Hochgeschwindigkeitsdatenübertragung implementieren. In mindestens einer Ausführungsform umfasst die PPU U Speicherschnittstellen 1706, eine Speicherschnittstelle 1706 pro Paar von Partitionseinheiten 1700C, wobei jedes Paar von Partitionseinheiten 1700C mit einer entsprechenden Speichervorrichtung verbunden ist. In mindestens einer Ausführungsform kann die PPU beispielsweise mit bis zu Y Speichervorrichtungen verbunden sein, z.B. mit Speicherstapeln mit hoher Bandbreite oder mit einem synchronen dynamischen Direktzugriffsspeicher für Grafikkarten mit doppelter Datenrate, Version 5 („GDDR5 SDRAM“).
In mindestens einer Ausführungsform implementiert die Speicherschnittstelle 1706 eine Speicherschnittstelle der zweiten Generation mit hoher Bandbreite („HBM2“), und Y ist gleich der Hälfte von U. In mindestens einer Ausführungsform befinden sich die HBM2-Speicherstapel auf demselben physischen Gehäuse wie die PPU, was im Vergleich zu GDDR5-SDRAM-Systemen erhebliche Energie- und Flächeneinsparungen ermöglicht. In mindestens einer Ausführungsform umfasst jeder HBM2-Stapel, ohne darauf beschränkt zu sein, vier Speicherchips und Y ist gleich 4, wobei jeder HBM2-Stapel zwei 128-Bit-Kanäle pro Chip für insgesamt 8 Kanäle und eine Datenbusbreite von 1024 Bit umfasst. In mindestens einer Ausführungsform unterstützt der Speicher den Single-Error Correcting Double-Error Detecting („SECDED“) Error Correction Code („ECC“) zum Schutz der Daten. In mindestens einer Ausführungsform bietet ECC eine höhere Zuverlässigkeit für Datenverarbeitungsanwendungen, die empfindlich auf Datenverfälschungen reagieren.
In mindestens einer Ausführungsform implementiert die PPU eine mehrstufige Speicherhierarchie. In mindestens einer Ausführungsform unterstützt die Speicherpartitionseinheit 1700C einen vereinheitlichten Speicher, um einen einzigen vereinheitlichten virtuellen Adressraum für den Speicher der Zentraleinheit („CPU“) und der PPU bereitzustellen, wodurch die gemeinsame Nutzung von Daten zwischen virtuellen Speichersystemen ermöglicht wird. In mindestens einer Ausführungsform wird die Häufigkeit von Zugriffen einer PPU auf Speicher, der sich auf anderen Prozessoren befindet, verfolgt, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU verschoben werden, die häufiger auf Seiten zugreift. In mindestens einer Ausführungsform unterstützt die Hochgeschwindigkeits-GPU-Verbindung 1708 Adressübersetzungsdienste, die es der PPU ermöglichen, direkt auf die Seitentabellen einer CPU zuzugreifen und der PPU vollen Zugriff auf den CPU-Speicher zu ermöglichen.
In mindestens einer Ausführungsform übertragen Kopier-Engines bzw. Kopiermodule Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. In mindestens einer Ausführungsform können Kopier-Engines Seitenfehler für Adressen erzeugen, die nicht in Seitentabellen abgebildet sind, und bedient die Speicherpartitionseinheit 1700C dann Seitenfehler, indem sie Adressen in die Seitentabelle abbildet, woraufhin die Kopier-Engine die Übertragung durchführt. In mindestens einer Ausführungsform wird der Speicher für mehrere Kopier-Engine-Operationen zwischen mehreren Prozessoren gepinnt (in mindestens einer Ausführungsform, ist nicht auslagerbar), wodurch der verfügbare Speicher erheblich reduziert wird. In mindestens einer Ausführungsform können mit Hardware-Seitenfehlern Adressen an Kopier-Engines weitergegeben werden, ohne Rücksicht darauf, ob Speicherseiten resident sind, und ist der Kopiervorgang transparent.
Daten aus dem Speicher 1704 von 17A oder einem anderen Systemspeicher werden von der Speicherpartitionseinheit 1700C abgerufen und im L2-Cache 1704 gespeichert, der sich gemäß mindestens einer Ausführungsform auf dem Chip befindet und von verschiedenen GPCs gemeinsam genutzt wird. Jede Speicherpartitionseinheit 1700C umfasst in mindestens einer Ausführungsform, ohne darauf beschränkt zu sein, mindestens einen Teil des L2-Cache, der einer entsprechenden Speichervorrichtung zugeordnet ist. In mindestens einer Ausführungsform sind Caches der unteren Ebene in verschiedenen Einheiten innerhalb der GPCs implementiert. In mindestens einer Ausführungsform kann jeder der SMs 1714 einen Cache der Ebene 1 („L1“) implementieren, wobei der L1-Cache ein privater Speicher ist, der einem bestimmten SM 1714 zugeordnet ist, und Daten aus dem L2-Cache 1704 abgerufen und in jedem der L1-Caches zur Verarbeitung in Funktionseinheiten der SMs 1714 gespeichert werden. In mindestens einer Ausführungsform ist der L2-Cache 1704 mit der Speicherschnittstelle 1706 und der XBar 1720 gekoppelt.
Die ROP-Einheit 1702 führt in mindestens einer Ausführungsform Grafikrasteroperationen durch, die sich auf die Pixelfarbe beziehen, wie z.B. Farbkompression, Pixelüberblendung und mehr. In mindestens einer Ausführungsform implementiert die ROP-Einheit 1702 eine Tiefenprüfung in Verbindung mit der Raster-Engine 1708, wobei sie eine Tiefe für eine Abtastposition, die einem Pixelfragment zugeordnet ist, von der Culling-Engine der Raster-Engine 1708 empfängt. In mindestens einer Ausführungsform wird die Tiefe gegen eine entsprechende Tiefe in einem Tiefenpuffer für eine dem Fragment zugeordnete Abtaststelle getestet. In mindestens einer Ausführungsform aktualisiert die ROP-Einheit 1702 den Tiefenpuffer und überträgt das Ergebnis des Tiefentests an die Raster-Engine 1708, wenn das Fragment den Tiefentest für die Abtastposition besteht. Die Anzahl der Partitionseinheiten 1700C kann sich von der Anzahl der GPCs unterscheiden, so dass jede ROP-Einheit 1702 in mindestens einer Ausführungsform mit jedem der GPCs gekoppelt sein kann. In mindestens einer Ausführungsform verfolgt die ROP-Einheit 1702 die von verschiedenen GPCs empfangenen Pakete und bestimmt, an welchen ein von der ROP-Einheit 1702 erzeugtes Ergebnis über die XBar 1720 weitergeleitet wird.
17D veranschaulicht einen Streaming-Multiprozessor („SM“) 1700D, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der SM 1700D der SM 1714 aus 17B. In mindestens einer Ausführungsform umfasst der SM 1700D, ohne darauf beschränkt zu sein, einen Befehls-Cache 1702; eine oder mehrere Planer-Einheiten 1704; eine Registerdatei 1708; einen oder mehrere Verarbeitungskerne („Kerne“ bzw. „Cores“) 1710; eine oder mehrere Spezialfunktionseinheiten („SFUs“) 1712; eine oder mehrere Lade-/Speichereinheiten („LSUs“) 1714; ein Verbindungsnetzwerk 1716; einen gemeinsamen Speicher/L1-Cache 1718; und jede geeignete Kombination davon. In mindestens einer Ausführungsform verteilt eine Arbeitsverteilungseinheit Aufgaben zur Ausführung auf Universalverarbeitungsclustern („GPCs“) von Parallelverarbeitungseinheiten („PPUs“), und wird jede Aufgabe einem bestimmten Datenverarbeitungscluster („DPC“) innerhalb eines GPCs zugewiesen, und wenn die Aufgabe mit einem Shader-Programm verbunden ist, wird die Aufgabe einem der SMs 1700D zugewiesen. In mindestens einer Ausführungsform empfängt die Planer-Einheit 1704 Aufgaben von der Arbeitsverteilungseinheit und verwaltet die Befehlsplanung für einen oder mehrere Thread-Blöcke, die den SM 1700D zugewiesen sind. In mindestens einer Ausführungsform plant die Planer-Einheit 1704 Thread-Blöcke für die Ausführung als Warps von parallelen Threads, wobei jedem Thread-Block mindestens ein Warp zugewiesen wird. In mindestens einer Ausführungsform führt jeder Warp Threads aus. In mindestens einer Ausführungsform verwaltet die Planer-Einheit 1704 eine Vielzahl verschiedener Thread-Blöcke, indem sie verschiedenen Thread-Blöcken Warps zuweist und dann Anweisungen von einer Vielzahl verschiedener kooperativer Gruppen an verschiedene Funktionseinheiten (wie beispielsweise Verarbeitungskerne 1710, SFUs 1712 und LSUs 1714) während jedes Taktzyklus versendet.
In mindestens einer Ausführungsform können sich kooperative Gruppen bzw. Cooperative Groups auf ein Programmiermodell zum Organisieren von Gruppen kommunizierender Threads beziehen, das es Entwicklern erlaubt, die Granularität auszudrücken, mit der Threads kommunizieren, und so den Ausdruck reichhaltigerer, effizienterer paralleler Zerlegungen ermöglicht. In mindestens einer Ausführungsform unterstützen kooperative Start-APIs die Synchronisierung zwischen Thread-Blöcken zur Ausführung paralleler Algorithmen. In mindestens einer Ausführungsform stellen Anwendungen Programmiermodelle ein einziges, einfaches Konstrukt zur Synchronisierung kooperierender Threads bereit: eine Barriere über alle Threads eines Thread-Blocks (wie beispielsweise die Funktion syncthreads()). In mindestens einer Ausführungsform können Programmierer jedoch Gruppen von Threads mit einer kleineren Granularität als der des Thread-Blocks definieren und innerhalb der definierten Gruppen synchronisieren, um eine höhere Leistung, Designflexibilität und Software-Wiederverwendung in Form von kollektiven gruppenweiten Funktionsschnittstellen zu ermöglichen. In mindestens einer Ausführungsform ermöglicht Cooperative Groups Programmierern, Gruppen von Threads explizit auf Sub-Block- (in mindestens einer Ausführungsform, so klein wie ein einzelner Thread) und Multi-Block-Granularität zu definieren und kollektive Operationen wie Synchronisation auf Threads in einer kooperativen Gruppe durchzuführen. In mindestens einer Ausführungsform unterstützt das Programmiermodell eine saubere Komposition über Software-Grenzen hinweg, so dass Bibliotheken und Utility-Funktionen innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne Annahmen über Konvergenz treffen zu müssen. In mindestens einer Ausführungsform ermöglichen die Primitive für kooperative Gruppen neue Muster der kooperativen Parallelität, einschließlich, aber nicht beschränkt auf Producer-Consumer-Parallelität, opportunistische Parallelität und globale Synchronisierung über ein gesamtes Gitter von Thread-Blöcken.
In mindestens einer Ausführungsform ist eine Versende-Einheit 1706 so konfiguriert, dass sie Befehle an eine oder mehrere Funktionseinheiten sendet, und umfasst die Planer-Einheit 1704, ohne darauf beschränkt zu sein, zwei Versende-Einheiten 1706, die es ermöglichen, dass zwei verschiedene Befehle aus derselben Warp während jedes Taktzyklus versendet werden. In mindestens einer Ausführungsform umfasst jede Planer-Einheit 1704 eine einzelne Versende-Einheit 1706 oder zusätzliche Versende-Einheiten 1706.
In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, die Registerdatei 1708, die einen Satz von Registern für Funktionseinheiten des SM 1700D bereitstellt. In mindestens einer Ausführungsform ist die Registerdatei 1708 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein bestimmter Teil der Registerdatei 1708 zugewiesen ist. In mindestens einer Ausführungsform ist die Registerdatei 1708 zwischen verschiedenen Warps aufgeteilt, die vom SM 1700D ausgeführt werden, und stellt die Registerdatei 1708 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten verbunden sind. In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, eine Vielzahl von L Verarbeitungskernen 1710. In mindestens einer Ausführungsform umfasst der SM 1700D, ohne darauf beschränkt zu sein, eine große Anzahl (wie beispielsweise 128 oder mehr) von verschiedenen Verarbeitungskernen 1710. In mindestens einer Ausführungsform umfasst jeder Verarbeitungskern 1710, ohne darauf beschränkt zu sein, eine vollpipelinierte, einfachpräzise, doppeltpräzise und/oder gemischtpräzise Verarbeitungseinheit, die, ohne darauf beschränkt zu sein, eine arithmetische Gleitkomma-Logikeinheit und eine arithmetische Ganzzahl-Logikeinheit umfasst. In mindestens einer Ausführungsform implementieren die Gleitkomma-Arithmetik-Logikeinheiten den Standard IEEE 754-2008 für Gleitkomma-Arithmetik. In mindestens einer Ausführungsform umfassen die Verarbeitungskerne 1710, ohne darauf beschränkt zu sein, 64 Gleitkomma-Kerne mit einfacher Genauigkeit (32 Bit), 64 Ganzzahl-Kerne, 32 Gleitkomma-Kerne mit doppelter Genauigkeit (64 Bit) und 8 Tensor-Kerne.
Tensorkerne sind so konfiguriert, dass sie gemäß mindestens einer Ausführungsform Matrixoperationen durchführen. In mindestens einer Ausführungsform sind ein oder mehrere Tensorkerne in den Verarbeitungskernen 1710 enthalten. In mindestens einer Ausführungsform sind die Tensorkerne so konfiguriert, dass sie Deep-Learning-Matrixarithmetik durchführen, wie z.B. Faltungsoperationen für das Training und die Inferenzierung neuronaler Netzwerke. In mindestens einer Ausführungsform arbeitet jeder Tensorkern mit einer 4x4-Matrix und führt eine Matrixmultiplikations- und Akkumulationsoperation D = A X B + C durch, wobei A, B, C und D 4x4-Matrizen sind.
In mindestens einer Ausführungsform sind die Matrixmultiplikationseingänge A und B 16-Bit-Gleitkommamatrizen und die Akkumulationsmatrizen C und D 16-Bit-Gleitkomma- oder 32-Bit-Gleitkommamatrizen. In mindestens einer Ausführungsform arbeiten Tensorkerne auf 16-Bit-Gleitkomma-Eingangsdaten mit 32-Bit-Gleitkomma-Akkumulation. In mindestens einer Ausführungsform verwendet die 16-Bit-Gleitkommamultiplikation 64 Operationen und ergibt ein Produkt mit voller Genauigkeit, das dann mit 32-Bit-Gleitkommaaddition mit anderen Zwischenprodukten für eine 4x4x4-Matrixmultiplikation akkumuliert wird. In mindestens einer Ausführungsform werden Tensor-Kerne verwendet, um viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die aus diesen kleineren Elementen aufgebaut sind. In mindestens einer Ausführungsform stellt eine API, wie z.B. die CUDA 9 C++ API, spezialisierte Operationen zum Laden, Multiplizieren und Akkumulieren von Matrizen und zum Speichern von Matrizen zur Verfügung, um Tensorkerne von einem CUDA-C++ Programm effizient zu nutzen. In mindestens einer Ausführungsform wird auf CUDA-Ebene bei der Schnittstelle auf Warp-Ebene von Matrizen der Größe 16x16 ausgegangen, die alle 32 Threads des Warp überspannen.
In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, M SFUs 1712, die spezielle Funktionen ausführen (wie beispielsweise Attribut-auswertung, reziproke Quadratwurzel usw.). In mindestens einer Ausführungsform umfassen die SFUs 1712, ohne darauf beschränkt zu sein, eine Baumdurchlaufeinheit bzw. Tree Traversal Unit, die zum Traversieren einer hierarchischen Baumdatenstruktur konfiguriert ist. In mindestens einer Ausführungsform umfassen die SFUs 1712, ohne darauf beschränkt zu sein, eine Textureinheit, die so konfiguriert ist, dass sie Texturabbildungsfilterungsoperationen durchführt. In mindestens einer Ausführungsform sind die Textureinheiten so konfiguriert, dass sie Texturkarten bzw. Texture-Maps (wie beispielsweise ein 2D-Array von Texeln) aus dem Speicher laden und Texture-Maps abtasten, um abgetastete Texturwerte zur Verwendung in Shader-Programmen zu erzeugen, die von dem SM 1700D ausgeführt werden. In mindestens einer Ausführungsform werden die Texture-Maps im gemeinsamen Speicher/L1-Cache 1718 gespeichert. In mindestens einer Ausführungsform implementieren Textureinheiten Texturoperationen wie Filteroperationen unter Verwendung von Mip-Maps (wie beispielsweise Textur-Maps mit unterschiedlichen Detailstufen). In mindestens einer Ausführungsform umfasst jeder SM 1700D, ohne darauf beschränkt zu sein, zwei Textureinheiten.
Jeder SM 1700 umfasst, ohne darauf beschränkt zu sein, N LSUs 1714, die in mindestens einer Ausführungsform Lade- und Speicheroperationen zwischen gemeinsamem Speicher/L1-Cache 1718 und Registerdatei 1708 implementieren. Jeder SM 1700D umfasst, ohne darauf beschränkt zu sein, ein Verbindungsnetzwerk 1716, das in mindestens einer Ausführungsform jede der Funktionseinheiten mit der Registerdatei 1708 und die LSU 1714 mit der Registerdatei 1708 und dem gemeinsamen Speicher/L1-Cache 1718 verbindet. In mindestens einer Ausführungsform ist das Verbindungsnetzwerk 1716 eine Kreuzschiene, die so konfiguriert sein kann, dass sie jede der Funktionseinheiten mit jedem der Register in der Registerdatei 1708 verbindet und LSUs 1714 mit der Registerdatei 1708 und Speicherplätzen im gemeinsamen Speicher/L1-Cache 1718 verbindet.
In mindestens einer Ausführungsform ist der gemeinsam genutzte Speicher/L1-Cache 1718 ein Array von On-Chip-Speicher, der die Datenspeicherung und die Kommunikation zwischen dem SM 1700D und der Primitiv-Engine und zwischen Threads in dem SM 1700D ermöglicht. In mindestens einer Ausführungsform umfasst der gemeinsam genutzte Speicher/L1-Cache 1718, ohne darauf beschränkt zu sein, 128 KB Speicherkapazität und befindet sich im Pfad vom SM 1700D zur Partitionseinheit. In mindestens einer Ausführungsform wird der gemeinsame Speicher/L1-Cache 1718 zum Zwischenspeichern bzw. Cachen von Lese- und Schreibvorgängen verwendet. In mindestens einer Ausführungsform sind einer oder mehrere von gemeinsamem Speicher/L1-Cache 1718, L2-Cache und Arbeitsspeicher Sicherungsspeicher.
Die Kombination von Daten-Cache und Shared-Memory-Funktionalität in einem einzigen Speicherblock bietet in mindestens einer Ausführungsform eine verbesserte Leistung für beide Arten von Speicherzugriffen. In mindestens einer Ausführungsform wird die Kapazität von Programmen, die den gemeinsam genutzten Speicher nicht verwenden, als Cache genutzt oder ist für diese nutzbar, z.B. wenn der gemeinsam genutzte Speicher so konfiguriert ist, dass er die Hälfte der Kapazität nutzt, können Textur- und Lade-/Speicheroperationen die verbleibende Kapazität nutzen. Durch die Integration in den gemeinsam genutzten Speicher/L1-Cache 1718 kann der gemeinsam genutzte Speicher/L1-Cache 1718 gemäß mindestens einer Ausführungsform als durchsatzstarke Leitung für Streaming-Daten fungieren und gleichzeitig einen Zugriff mit hoher Bandbreite und niedriger Latenz auf häufig wiederverwendete Daten ermöglichen. In mindestens einer Ausführungsform kann bei der Konfiguration für parallele Universalberechnungen eine einfachere Konfiguration im Vergleich zur Grafikverarbeitung verwendet werden. In mindestens einer Ausführungsform werden Grafikverarbeitungseinheiten mit festen Funktionen umgangen, wodurch ein wesentlich einfacheres Programmiermodell entsteht. In der Konfiguration für universelle parallele Berechnungen weist die Arbeitsverteilungseinheit in mindestens einer Ausführungsform Blöcke von Threads direkt den DPCs zu und verteilt sie. In mindestens einer Ausführungsform führen Threads in einem Block dasselbe Programm aus, wobei eine eindeutige Thread-ID in der Berechnung verwendet wird, um sicherzustellen, dass jeder Thread eindeutige Ergebnisse erzeugt, wobei der SM 1700D zur Ausführung des Programms und zur Durchführung von Berechnungen, gemeinsamer Speicher/L1-Cache 1718 zur Kommunikation zwischen Threads und LSU 1714 zum Lesen und Schreiben des globalen Speichers durch gemeinsamen Speicher/L1-Cache 1718 und Speicherpartitionseinheit verwendet wird. In mindestens einer Ausführungsform schreibt der SM 1700D, wenn er für allgemeine parallele Berechnungen konfiguriert ist, Befehle, die die Planer-Einheit 1704 verwenden kann, um neue Arbeit auf den DPCs zu starten.
In mindestens einer Ausführungsform ist die PPU in einem Desktop-Computer, einem Laptop-Computer, einem Tablet-Computer, Servern, Supercomputern, einem Smartphone (wie beispielsweise einem drahtlosen Handheld-Gerät), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einem Head Mounted Display, einem elektronischen Handheld-Gerät usw. enthalten oder damit verbunden. In mindestens einer Ausführungsform ist die PPU auf einem einzigen Halbleitersubstrat verkörpert. In mindestens einer Ausführungsform ist die PPU in einem System-on-a-Chip („SoC“) zusammen mit einer oder mehreren anderen Vorrichtungen wie zusätzlichen PPUs, Speicher, einer CPU mit reduziertem Befehlssatz („RISC“), einer Speicherverwaltungseinheit („MMU“), einem Digital-Analog-Wandler („DAC“) und dergleichen enthalten.
In mindestens einer Ausführungsform kann die PPU auf einer Grafikkarte enthalten sein, die eine oder mehrere Speichervorrichtungen enthält. Eine Grafikkarte kann so konfiguriert sein, dass sie mit einem PCIe-Steckplatz auf einer Hauptplatine eines Desktop-Computers verbunden sein kann. In mindestens einer Ausführungsform kann die PPU eine integrierte Grafikverarbeitungseinheit („iGPU“) sein, die im Chipsatz der Hauptplatine enthalten ist.
Die Inferenzierungs- und/oder Trainingslogik 615 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Details zur Inferenzierungs- und/oder Trainingslogik 615 werden weiter unten in Verbindung mit 6B und/oder 6C beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell maschinellen Lernens, wie z.B. ein neuronales Netzwerk, zu trainieren, um die dem SM 1700D bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der SM 1700D verwendet, um Informationen auf der Grundlage eines trainierten Modells maschinellen Lernens (wie beispielsweise eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder vom SM 1700D trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der SM 1700D verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netzwerke auszuführen.
In mindestens einer Ausführungsform kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche halbleiterbasierte integrierte Schaltung oder einen Chip beziehen. In mindestens einer Ausführungsform können Multi-Chip-Module mit erhöhter Konnektivität verwendet werden, die einen On-Chip-Betrieb simulieren und wesentliche Verbesserungen gegenüber der Verwendung einer Zentralverarbeitungseinheit („CPU“) und Bus-Implementierung bieten. In mindestens einer Ausführungsform können verschiedene Module auch separat oder in verschiedenen Kombinationen von Halbleiterplattformen je nach Wunsch des Benutzers angeordnet sein.
In mindestens einer Ausführungsform sind Computerprogramme in Form von maschinenlesbarem, ausführbarem Code oder Computersteuerungslogik-Algorithmen im Hauptspeicher 804 und/oder im Sekundärspeicher gespeichert. Computerprogramme ermöglichen dann, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, dem System 800, verschiedene Funktionen gemäß mindestens einer Ausführungsform auszuführen. In mindestens einer Ausführungsform sind Speicher 804, Speicher und/oder jeder andere Speicher mögliche Beispiele für computerlesbare Medien. In mindestens einer Ausführungsform kann sich der Sekundärspeicher auf eine beliebige geeignete Speichervorrichtung oder ein beliebiges geeignetes Speichersystem beziehen, wie z.B. ein Festplattenlaufwerk und/oder ein Wechselspeicherlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein Digital Versatile Disk („DVD“)-Laufwerk, ein Aufzeichnungsgerät, einen Universal Serial Bus („USB“)-Flash-Speicher usw. darstellt. In mindestens einer Ausführungsform wird die Architektur und/oder Funktionalität verschiedener vorangehender Figuren im Zusammenhang mit der CPU 802, dem Parallelverarbeitungssystem 812, einem integrierten Schaltkreis, der mindestens einen Teil der Fähigkeiten sowohl der CPU 802 als auch des Parallelverarbeitungssystems 812 besitzt, einem Chipsatz (wie beispielsweise eine Gruppe integrierter Schaltkreise, die so konzipiert sind, dass sie als Einheit arbeiten und verkauft werden, um verwandte Funktionen auszuführen usw.) und einer beliebigen geeigneten Kombination integrierter Schaltkreise realisiert.
In mindestens einer Ausführungsform sind die Architektur und/oder die Funktionalität verschiedener vorheriger Figuren im Zusammenhang mit einem allgemeinen Computersystem, einem Leiterplattensystem, einem Spielkonsolensystem, das für Unterhaltungszwecke bestimmt ist, einem anwendungsspezifischen System und mehr implementiert. In mindestens einer Ausführungsform kann das Computersystem 800 die Form eines Desktop-Computers, eines Laptop-Computers, eines Tablet-Computers, eines Servers, eines Supercomputers, eines Smartphones (wie beispielsweise eines drahtlosen, handgehaltenen Geräts), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, eines Head-Mounted-Displays, eines handgehaltenen elektronischen Geräts, eines Mobiltelefongeräts, eines Fernsehers, einer Workstation, von Spielkonsolen, eines eingebetteten Systems und/oder einer anderen Art von Logik annehmen.
In mindestens einer Ausführungsform umfasst das Parallelverarbeitungssystem 812, ohne darauf beschränkt zu sein, eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 814 und zugehörige Speicher 816. In mindestens einer Ausführungsform sind die PPUs 814 über eine Zwischenverbindung 818 und einen Schalter 820 oder Multiplexer mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einer Ausführungsform verteilt das Parallelverarbeitungssystem 812 Rechenaufgaben auf die PPUs 814, die parallelisierbar sein können - zum Beispiel als Teil der Verteilung von Rechenaufgaben auf mehrere Thread-Blöcke der Grafikverarbeitungseinheit („GPU“). In mindestens einer Ausführungsform wird der Speicher gemeinsam genutzt und ist über einige oder alle PPUs 814 zugänglich (wie beispielsweise für Lese- und/oder Schreibzugriffe), obwohl ein solcher gemeinsam genutzter Speicher Leistungseinbußen im Vergleich zur Verwendung von lokalem Speicher und Registern, die in einer PPU 814 resident sind, mit sich bringen kann. In mindestens einer Ausführungsform wird der Betrieb der PPUs 814 durch die Verwendung eines Befehls wie _syncthreads() synchronisiert, wobei alle Threads in einem Block (wie beispielsweise über mehrere PPUs 814 ausgeführt) einen bestimmten Punkt der Ausführung von Code erreichen müssen, bevor sie fortfahren.
Andere Variationen sind im Sinne der Erfindung. Während offenbart Techniken verschiedenen Modifikationen und alternativen Konstruktionen zugänglich sind, sind bestimmte veranschaulichte Ausführungsformen derselben in den Zeichnungen gezeigt und wurden vorstehend im Einzelnen beschrieben. Es versteht sich jedoch, dass die Offenbarung nicht auf eine bestimmte Form oder bestimmte Formen zu beschränken ist, sondern dass im Gegenteil beabsichtigt ist, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Gedanken und den Rahmen der Erfindung fallen, wie er in den beigefügten Ansprüchen definiert ist.
Die Verwendung der Begriffe „ein“ und „eine“ und „der“ und ähnlicher Bezeichnungen im Zusammenhang mit der Beschreibung erfindungsgemäßer Ausführungsformen (insbesondere im Zusammenhang mit den nachfolgenden Ansprüchen) ist so auszulegen, dass sie sowohl die Einzahl als auch die Mehrzahl umfasst, sofern hierin nichts anderes angegeben oder durch Kontext eindeutig widerlegt wird, und nicht als Definition eines Begriffs. Die Begriffe „beinhaltend“, „mit“, „einschließlich“ und „enthaltend“ sind, sofern nicht anders angegeben wird, als offene Begriffe zu verstehen (d.h. „einschließlich, aber nicht beschränkt auf“). Der Begriff „verbunden“ ist, wenn er unverändert bleibt und sich auf physische Verbindungen bezieht, als teilweise oder ganz in einem Bauteil enthalten, an ihm angebracht oder mit ihm verbunden zu verstehen, auch wenn etwas dazwischen liegt. Die Aufzählung von Wertebereichen dient lediglich als Kurzbezeichnung für jeden einzelnen Wert, der in den Bereich fällt, sofern hierin nichts anderes angegeben wird, und jeder einzelne Wert wird in die Spezifikation aufgenommen, als ob er darin einzeln aufgeführt wäre. Die Verwendung einer Menge (wie beispielsweise eine Menge von Elementen) oder Teilmenge ist, sofern nichts anderes angegeben oder durch Kontext widerlegt wird, als eine nicht leere Sammlung zu verstehen, die ein oder mehrere Elemente beinhaltet. Sofern nicht anders vermerkt oder durch den Kontext widerlegt, bezeichnet der Begriff „eine Teilmenge“ einer entsprechenden Menge nicht unbedingt eine echte Teilmenge der entsprechenden Menge, sondern Teilmenge und entsprechende Menge können gleich sein.
Konjunktivische Sprache, wie z.B. Phrasen der Form „mindestens eines von A, B und C“ oder „mindestens eines von A, B und C“, wird, sofern nicht ausdrücklich anders angegeben oder anderweitig eindeutig durch Kontext widersprochen, im Allgemeinen so verstanden, dass damit ausgedrückt wird, dass ein Element, ein Begriff usw. entweder A oder B oder C oder eine beliebige nicht leere Teilmenge der Menge von A und B und C sein kann. So beziehen sich z.B. im dargestellten Beispiel einer Menge mit drei Elementen die konjunktivischen Ausdrücke „mindestens eines von A, B und C“ und „mindestens eines von A, B und C“ auf eine der folgenden Mengen: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Eine solche konjunktivische Sprache braucht nicht generell zu implizieren, dass bei bestimmten Ausführungsformen jeweils mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden sein muss. Zusätzlich, sofern nicht anders vermerkt oder durch Kontext widersprochen, zeigt der Begriff „Mehrzahl“ einen Zustand an, in dem er plural ist (wie beispielsweise „eine Mehrzahl von Elementen“ zeigt mehrere Elemente an). Eine Mehrzahl sind mindestens zwei, kann aber auch mehr sein, wenn dies entweder explizit oder durch Kontext angegeben wird. Sofern nicht anders angegeben oder aus Kontext ersichtlich, bedeutet „basierend auf“ „zumindest teilweise basierend auf“ und nicht „ausschließlich basierend auf“.
Operationen der hierin beschriebenen Prozesse können in jeder geeigneten Reihenfolge ausgeführt werden, sofern hierin nicht anders angegeben oder durch eindeutig widerlegt. In mindestens einer Ausführungsform wird ein Prozess wie die hierin beschriebenen Prozesse (oder Variationen und/oder Kombinationen davon) unter der Steuerung eines oder mehrerer Computersysteme durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind und als Code (wie beispielsweise ausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen) implementiert sind, die gemeinsam auf einem oder mehreren Prozessoren, durch Hardware oder Kombinationen davon ausgeführt werden. In mindestens einer Ausführungsform ist der Code auf einem computerlesbaren Speichermedium gespeichert, z.B. in Form eines Computerprogramms, das eine Vielzahl von Anweisungen umfasst, die von einem oder mehreren Prozessoren ausgeführt werden können. In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nicht-transitorisches computerlesbares Speichermedium, das transitorische Signale (wie beispielsweise eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung) ausschließt, aber nicht-transitorische Datenspeicherschaltungen (wie beispielsweise Puffer, Cache und Warteschlangen) innerhalb von Transceivern für transitorische Signale enthält. In mindestens einer Ausführungsform ist Code (wie beispielsweise ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nicht-transitorischen, computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen (oder ein anderer Speicher zum Speichern von ausführbaren Anweisungen) gespeichert sind, die, wenn sie von einem oder mehreren Prozessoren eines Computersystems ausgeführt werden (in mindestens einer Ausführungsform, als Ergebnis der Ausführung), das Computersystem veranlassen, hierin beschriebene Operationen durchzuführen. Ein Satz nicht-transitorischer computerlesbarer Speichermedien umfasst In mindestens einer Ausführungsform mehrere nicht-transitorische computerlesbare Speichermedien, und einem oder mehreren der einzelnen nicht-transitorischen Speichermedien mehrerer nicht-transitorischer computerlesbarer Speichermedien fehlt der gesamte Code, während mehrere nicht-transitorische computerlesbare Speichermedien gemeinsam den gesamten Code speichern. In mindestens einer Ausführungsform werden ausführbare Befehle so ausgeführt, dass verschiedene Befehle von verschiedenen Prozessoren ausgeführt werden - zum Beispiel speichert ein nicht-transitorisches computerlesbares Speichermedium Befehle und führt eine zentrale Verarbeitungseinheit („CPU“) einige der Befehle aus, während eine Grafikverarbeitungseinheit („GPU“) andere Befehle ausführt. In mindestens einer Ausführungsform weisen verschiedene Komponenten eines Computersystems separate Prozessoren auf und führen verschiedene Prozessoren verschiedene Teilmengen von Befehlen aus.
Demgemäß sind in mindestens einer Ausführungsform Computersysteme so konfiguriert, dass sie einen oder mehrere Dienste implementieren, die einzeln oder gemeinsam Operationen der hierin beschriebenen Prozesse durchführen, und sind solche Computersysteme mit anwendbarer Hardware und/oder Software konfiguriert, die die Durchführung von Operationen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der Erfindung implementiert, ein einzelnes Gerät und in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Geräte umfasst, die unterschiedlich arbeiten, so dass das verteilte Computersystem die hierin beschriebenen Operationen durchführt und ein einzelnes Gerät nicht alle Operationen durchführt.
Die Verwendung von Beispielen oder beispielhaften Formulierungen (wie beispielsweise „wie beispielsweise“) dient lediglich der besseren Veranschaulichung von Ausführungsformen der Erfindung und stellt keine Einschränkung des Umfangs der Erfindung dar, sofern nicht anders angegeben. Keine Formulierung in der Beschreibung ist so auszulegen, dass ein nicht beanspruchtes Element als wesentlich für die Praxis der Erfindung angesehen wird.
Alle Referenzen, einschließlich Veröffentlichungen, Patentanmeldungen und Patente, die hierin zitiert werden, werden hiermit durch Verweis in demselben Umfang einbezogen, als ob jede Referenz einzeln und ausdrücklich als durch Verweis einbezogen angegeben wäre und hierin in ihrer Gesamtheit wiedergegeben würde.
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ sowie deren Ableitungen verwendet werden. Es versteht sich, dass diese Begriffe nicht als Synonyme füreinander gedacht sind. Vielmehr kann in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzuzeigen, dass zwei oder mehr Elemente in direktem oder indirektem physischem oder elektrischem Kontakt zueinander stehen. „Gekoppelt“ kann auch bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt zueinander stehen, aber dennoch miteinander kooperieren oder interagieren.
Sofern nicht ausdrücklich anders angegeben, beziehen sich Bezugnahmen auf Verarbeitung, Rechnen, Berechnen, Bestimmen oder dergleichen in der gesamten Spezifikation auf Aktionen und/oder Prozesse eines Computers oder Rechensystems oder eines ähnlichen elektronischen Rechengeräts, die Daten, die als physische, z.B. elektronische, Größen in den Registern und/oder Speichern des Rechensystems repräsentiert sind, manipulieren und/oder in andere Daten umwandeln, die in ähnlicher Weise als physische Größen in den Speichern, Registern oder anderen derartigen Informationsspeicher-, -übertragungs- oder - Anzeigevorrichtungen des Rechensystems repräsentiert werden.
In vergleichbarer Weise kann sich ein Prozessor auf eine beliebige Vorrichtung oder einen Teil einer Vorrichtung beziehen, die elektronische Daten aus Registern und/oder Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten umwandelt, die in Registern und/oder Speicher gespeichert werden können. Als nicht beschränkende Beispiele kann „Prozessor“ eine CPU oder eine GPU sein. Eine „Datenverarbeitungsplattform“ kann einen oder mehrere Prozessoren umfassen. Wie hierin verwendet, können „Software“-Prozesse z.B. Software- und/oder Hardware-Entitäten umfassen, die im Laufe der Zeit Arbeit verrichten, wie z.B. Aufgaben, Threads und intelligente Agenten. Außerdem kann sich jeder Prozess auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. Die Begriffe „System“ und „Verfahren“ werden hier austauschbar verwendet, insofern als ein System eine oder mehrere Verfahren verkörpern kann und Verfahren als ein System betrachtet werden können.
In dem vorliegenden Dokument kann auf das Beschaffen, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Subsystem, Computersystem oder eine computerimplementierte Maschine Bezug genommen werden. Das Beschaffen, Erfassen, Empfangen oder Eingeben von analogen und digitalen Daten kann auf verschiedene Weise erfolgen, z.B. durch Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs einer Anwendungsprogrammierschnittstelle. In einigen Implementierungen kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch die Übertragung von Daten über eine serielle oder parallele Schnittstelle durchgeführt werden. In einer anderen Implementierung kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch die Übertragung von Daten über ein Computernetzwerk von der bereitstellenden Einheit zur erfassenden Einheit durchgeführt werden. Es kann auch auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Präsentieren analoger oder digitaler Daten Bezug genommen werden. In verschiedenen Beispielen kann der Prozess des Bereitstellens, Ausgebens, Übertragens, Sendens oder Darstellens analoger oder digitaler Daten durch die Übertragung von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Interprozess-Kommunikationsmechanismus erfolgen.
Obwohl die vorstehende Diskussion beispielhafte Implementierungen der beschriebenen Techniken darlegt, können auch andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sollen diese in den Anwendungsbereich dieser Offenbarung fallen. Obwohl vorstehend zu Diskussionszwecken spezifische Verteilungen von Verantwortlichkeiten definiert sind, können verschiedene Funktionen und Verantwortlichkeiten je nach den Umständen auf unterschiedliche Weise verteilt und aufgeteilt werden.
Auch wenn der Gegenstand in einer Sprache beschrieben wurde, die sich auf strukturelle Merkmale und/oder methodische Handlungen bezieht, versteht sich, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht notwendigerweise auf bestimmte beschriebene Merkmale oder Handlungen beschränkt ist. Vielmehr werden bestimmte Merkmale und Handlungen als beispielhafte Ausführungsformen der Ansprüche offenbart.

Claims

Thermisches Belastungssystem zum Testen eines Flüssigkeitskühlsystems für ein Rechenzentrum, umfassend: ein Servergehäuse, das mindestens ein thermisches Merkmal umfasst, das mindestens einem Kühlungsmerkmal und mindestens einem Durchflussregler zugeordnet ist, wobei das mindestens eine thermische Merkmal und der mindestens eine Durchflussregler so einstellbar sind, dass sie eine Kühlungsbelastung für das Flüssigkeitskühlsystem des Rechenzentrums verursachen.
Thermisches Lastsystem nach Anspruch 1, ferner umfassend: ein Heizelement mit einstellbaren Wärmestufen, das neben einer Kälteplatte angeordnet ist, wobei die Kälteplatte Einlass- und Auslassöffnungen aufweist, um ein Kühlmedium aus dem Flüssigkeitskühlsystem des Rechenzentrums zirkulieren zu lassen.
Thermisches Lastsystem nach Anspruch 2, ferner umfassend: mindestens einen Prozessor zur Steuerung des Heizelements und zur Steuerung des mindestens einen Durchflussreglers, wobei das Heizelement einen Temperaturbereich hat, der eine Rechenzentrumseinrichtung repliziert, und der mindestens eine Durchflussregler auf eine Durchflussmenge steuerbar ist, die eine Unterbrechung oder einen Anschluss der Flüssigkeitsleitung des Flüssigkeitskühlsystems des Rechenzentrums an die Rechenzentrumseinrichtung repliziert.
Thermisches Lastsystem nach Anspruch 1, ferner umfassend: zweite Servergehäuse mit zweiten thermischen Merkmalen, zweiten Kühlungsmerkmalen und zweiten Durchflussreglern, um zu bewirken, dass die Kühlungsbelastung eine Kühlungsbelastung auf Rack-Ebene für das Flüssigkeitskühlsystem des Rechenzentrums ist.
Thermisches Lastsystem nach Anspruch 1, ferner umfassend: mindestens eine erste Kälteplatte, die das mindestens eine Kühlmerkmal oder einen Teil des mindestens einen Kühlmerkmals bildet, das dem mindestens einen thermischen Merkmal zugeordnet ist; und mindestens eine zweite Kälteplatte, die einer Rechenzentrumsvorrichtung zugeordnet ist, wobei die mindestens eine erste Kälteplatte dazu angeordnet ist, zur Kühlungsbelastung des Flüssigkeitskühlsystems des Rechenzentrums beizutragen und die mindestens eine zweite Kälteplatte die Kühlung der Rechenzentrumsvorrichtung im aktiven Betrieb bereitstellt.
Thermisches Lastsystem nach Anspruch 1, ferner umfassend: mindestens eine Kälteplatte, die das mindestens eine Kühlmerkmal oder einen Teil des mindestens einen Kühlmerkmals bildet, das dem mindestens einen thermischen Merkmal zugeordnet ist; und ein Heizelement, das das mindestens eine Heizmerkmal bildet, wobei das Heizelement einem Sockel einer Platine in dem Servergehäuse zugeordnet ist und dazu angeordnet ist, zur Kühlungsbelastung des Flüssigkeitskühlsystems des Rechenzentrums beizutragen.
Thermisches Lastsystem nach Anspruch 6, ferner umfassend: eine Rechenzentrumsvorrichtung, die entweder betriebsbereit oder nicht betriebsbereit innerhalb des Sockels ist; und einen Hitzeschild zwischen der Rechenzentrumsvorrichtung und dem Heizelement, wobei die Rechenzentrumsvorrichtung innerhalb des Sockels betriebsbereit oder nicht betriebsbereit geschaltet werden kann.
Thermisches Lastsystem nach Anspruch 6, ferner umfassend: eine Abdeckung über dem Heizelement; und ein Wärmeleitmaterial über der Abdeckung zum Ankoppeln der mindestens einen Kälteplatte.
Thermisches Lastsystem nach Anspruch 1, ferner umfassend: mindestens eine Kälteplatte, die das mindestens eine Kühlmerkmal oder einen Teil des mindestens einen Kühlmerkmals bildet, das dem mindestens einen thermischen Merkmal zugeordnet ist; und Rohrleitungen, die der mindestens einen Kälteplatte zugeordnet sind, um den Eintritt und den Austritt eines Kühlmittels des Flüssigkeitskühlsystems des Rechenzentrums zu ermöglichen.
Thermisches Lastsystem nach Anspruch 1, ferner umfassend: mindestens eine Stromverteilungseinheit, die dem mindestens einen thermischen Merkmal zugeordnet ist, um mindestens die thermischen Eigenschaften des mindestens einen thermischen Merkmals zu ändern, um zur Kühlungsbelastung des Flüssigkeitskühlsystems des Rechenzentrums beizutragen.
Kühlsystem nach Anspruch 1, ferner umfassend: ein lernendes Subsystem, das mindestens einen Prozessor umfasst, um die Kühlungsbelastung auszuwerten, die mindestens durch Temperaturen repräsentiert wird, die auf das mindestens eine thermische Merkmal zusammen mit Durchflussraten oder Durchflussvolumina angewendet werden, die dem mindestens einen Durchflussregler zugeordnet sind, und um eine Ausgabe bereitzustellen, die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist, die/das eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur repräsentiert.
Kühlsystem nach Anspruch 11, ferner umfassend: das lernende Subsystem, das ein Modell maschinellen Lernens ausführt zum: Verarbeiten der Temperaturen unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Temperaturen und zuvor zugeordneten Durchflussraten oder zuvor zugeordneten Durchflussmengen; und Bereitstellen der Ausgabe, die der Durchflussrate und/oder dem Durchflussvolumen zugeordnet ist, für den mindestens einen Controller, wobei die Ausgabe nach einer Auswertung der Temperaturen mit den zuvor zugeordneten Durchflussraten oder den zuvor zugeordneten Durchflussvolumina bereitgestellt wird.
Mindestens ein Prozessor zum Testen eines Kühlsystems, umfassend: mindestens eine Logikeinheit zum Steuern einer Bewegung, die mindestens einem Durchflussregler zugeordnet ist, um ein Servergehäuse zu kühlen, das mindestens ein thermisches Merkmal umfasst, das mindestens einem Kühlungsmerkmal und dem mindestens einen Durchflussregler zugeordnet ist, wobei das mindestens eine thermische Merkmal und der mindestens eine Durchflussregler einstellbar sind, um eine Kühlungsbelastung für das Flüssigkeitskühlsystem des Rechenzentrums zu bewirken.
Mindestens ein Prozessor nach Anspruch 13, ferner umfassend: ein lernendes Subsystem zum Bewerten der Kühlungsbelastung auf das Kühlsystem, wobei die Kühlungsbelastung zumindest teilweise durch Temperaturen repräsentiert wird, die auf das mindestens eine thermische Merkmal zusammen mit Durchflussraten oder Durchflussvolumina, die dem mindestens einen Durchflussregler zugeordnet sind, angewendet werden, und um eine Ausgabe bereitzustellen, die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist, die/das eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur repräsentiert.
Mindestens ein Prozessor nach Anspruch 14, ferner umfassend: das lernende Subsystem, das ein Modell maschinellen Lernens ausführt zum: Verarbeiten der Temperaturen unter Verwendung mehrerer Neuronenebenen des Modells maschinellen Lernens mit den Temperaturen und mit zuvor zugeordneten Durchflussraten oder zuvor zugeordneten Durchflussmengen; und Bereitstellen der Ausgabe, die der Durchflussrate und/oder dem Durchflussvolumen zugeordnet ist, für den mindestens einen Controller, wobei die Ausgabe nach einer Auswertung der Temperaturen mit den zuvor zugeordneten Durchflussraten oder den zuvor zugeordneten Durchflussvolumen des Kühlsystems bereitgestellt wird.
Mindestens ein Prozessor nach Anspruch 13, ferner umfassend: einen Anweisungsausgang zum Kommunizieren der Ausgabe, die der Durchflussrate und/oder dem Durchflussvolumen zugeordnet ist, an den mindestens einen Controller zu übermitteln.
Mindestens ein Prozessor nach Anspruch 13, ferner umfassend: die mindestens eine Logikeinheit, die dazu angepasst ist, einen Temperaturwert von einem Temperatursensor zu empfangen, der einer Rechenzentrumsvorrichtung zugeordnet ist, und dazu angepasst ist, die Bewegung eines Kühlmittels bei einem Schwellenwert zu erleichtern, der die Durchflussrate und/oder das Durchflussvolumen einschließt.
Mindestens ein Prozessor für ein Kühlsystem, ferner umfassend: mindestens eine Logikeinheit zum Trainieren ein oder mehrerer neuronaler Netzwerke mit verborgenen Schichten von Neuronen, um die Kühlungsbelastung auf das Kühlsystem zu bewerten, wobei die Kühlungsbelastung zumindest teilweise durch Temperaturen repräsentiert wird, die auf das mindestens eine thermische Merkmal zusammen mit Durchflussraten oder Durchflussvolumina angewendet werden, die dem mindestens einen Durchflussregler zugeordnet sind, und um eine Ausgabe bereitzustellen, die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist, die/das eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur repräsentiert.
Mindestens ein Prozessor nach Anspruch 18, ferner umfassend: ein lernendes Subsystem der mindestens einen Logikeinheit, das ein Modell maschinellen Lernens ausführt zum: Verarbeiten der Temperaturen unter Verwendung mehrerer Neuronenebenen des einen oder der mehreren neuronalen Netzwerke, wobei die mehreren Neuronenebenen die Temperaturen und zuvor zugeordnete Durchflussraten oder zuvor zugeordnete Durchflussmengen aufweisen; und Bereitstellen der Ausgabe nach einer Auswertung der Temperaturen mit den zuvor zugeordneten Durchflussmengen oder den zuvor zugeordneten Durchflussmengen des Kühlsystems.
Mindestens ein Prozessor nach Anspruch 18, ferner umfassend: die mindestens eine Logikeinheit zum Ausgeben mindestens einer Anweisung, die mindestens einer Temperatur zugeordnet ist, um die Bewegung eines Kühlmittels bei einem Schwellenwert zu erleichtern, der die Durchflussrate und/oder das Durchflussvolumen einschließt.
Mindestens ein Prozessor nach Anspruch 18, ferner umfassend: einen Anweisungsausgang zum Kommunizieren der Durchflussrate und/oder des Durchflussvolumens an den mindestens einen Controller.
Mindestens ein Prozessor nach Anspruch 18, ferner umfassend:: die mindestens eine Logikeinheit, die dazu angepasst ist, einen Temperaturwert von einem Temperatursensor zu empfangen, der einer Rechenzentrumsvorrichtung zugeordnet ist, und die dazu angepasst ist, die Bewegung eines Kühlmittels bei einem Schwellenwert zu erleichtern, der die Durchflussrate und/oder das Durchflussvolumen einschließt.
Testsystem für ein Kühlsystem, umfassend: mindestens einen Prozessor zum Trainieren eines oder mehrerer neuronaler Netzwerke mit verborgenen Schichten von Neuronen, um eine Kühlungsbelastung des Kühlsystems zu bewerten, wobei die Kühlungsbelastung zumindest teilweise durch Temperaturen repräsentiert wird, die auf das mindestens eine thermische Merkmal zusammen mit Durchflussraten oder Durchflussvolumina angewendet werden, die dem mindestens einen Durchflussregler zugeordnet sind, und um eine Ausgabe bereitzustellen, die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist, die/das eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur repräsentiert.
Testsystem nach Anspruch 23, ferner umfassend: den mindestens einen Prozessor mit einem lernenden Subsystem, das ein Modell maschinellen Lernens ausführt zum: Verarbeiten der Temperaturen unter Verwendung mehrerer Neuronenebenen des einen oder der mehreren neuronalen Netzwerke, wobei die mehreren Neuronenebenen die Temperaturen und zuvor zugeordnete Durchflussraten oder zuvor zugeordnete Durchflussmengen aufweisen; und Bereitstellen der Ausgabe nach einer Auswertung der Temperaturen mit den zuvor zugeordneten Durchflussmengen oder den zuvor zugeordneten Durchflussmengen des Kühlsystems.
Testsystem nach Anspruch 23, ferner umfassend: mindestens eine Anweisungsausgabe des mindestens einen Prozessors zum Kommunizieren der der Durchflussrate und/oder dem Durchflussvolumen zugeordneten Ausgabe an den mindestens einen Controller.
Testsystem nach Anspruch 23, ferner umfassend: den mindestens einen Prozessor, um mindestens eine Anweisung auszugeben, die mindestens einer Temperatur zugeordnet ist, um die Bewegung eines Kühlmittels bei einem Schwellenwert zu erleichtern, der die Durchflussrate und/oder das Durchflussvolumen einschließt.
Verfahren zum Kühlen einer Rechenzentrumsvorrichtung, umfassend: Bereitstellen eines Servergehäuses, das mindestens ein thermisches Merkmal, das mindestens einem Kühlungsmerkmal zugeordnet ist, und mindestens einen Durchflussregler umfasst, wobei das mindestens eine thermische Merkmal und der mindestens eine Durchflussregler einstellbar sind, um eine Kühlungsbelastung für das Flüssigkeitskühlsystem des Rechenzentrums zu bewirken.
Verfahren nach Anspruch 27, ferner umfassend: Bereitstellen eines Heizelements innerhalb des Servergehäuses, wobei das Heizelement einstellbare Wärmestufen aufweist und neben einer Kälteplatte angeordnet ist, wobei die Kälteplatte Einlass- und Auslassöffnungen aufweist, um ein Kühlmedium aus dem Flüssigkeitskühlsystem des Rechenzentrums zirkulieren zu lassen.
Verfahren nach Anspruch 27, ferner umfassend: Steuern des Heizelements und des mindestens einen Durchflussreglers unter Verwendung mindestens eines Prozessors, wobei das Heizelement einen Temperaturbereich aufweist, der eine Rechenzentrumsvorrichtung repliziert, und der mindestens eine Durchflussregler auf eine Durchflussrate steuerbar ist, die eine Unterbrechung oder einen Anschluss der Flüssigkeitsleitung des Flüssigkeitskühlsystems des Rechenzentrums an die Rechenzentrumsvorrichtung repliziert.
Verfahren nach Anspruch 27, ferner umfassend: Auswerten, unter Verwendung eines lernenden Subsystems, das mindestens einen Prozessor umfasst, der Kühlungsbelastung, die mindestens durch Temperaturen repräsentiert wird, die auf das mindestens eine thermische Merkmal zusammen mit Durchflussraten oder Durchflussvolumina angewendet werden, die dem mindestens einen Durchflussregler zugeordnet sind; und Bereitstellen einer Ausgabe, die mindestens einer Durchflussrate oder einem Durchflussvolumen zugeordnet ist, die/das eine beabsichtigte Kühlung für mindestens eine Eingangstemperatur repräsentiert.