DE102022110000A1

DE102022110000A1 - Dynamische gewichtsaktualisierungen für neuronale netzwerke

Info

Publication number: DE102022110000A1
Application number: DE102022110000.6A
Authority: DE
Inventors: Holger Reinhard Roth; Yingda Xia; Daguang Xu; Andriy Myronenko; Wenqi Li; Dong Yang
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2021-04-29
Filing date: 2022-04-26
Publication date: 2022-11-03
Also published as: US20220366220A1; AU2022202837A1; GB2609703A; JP2022171603A; AU2024201907A1; GB202206263D0; CN115271061A; KR20220149802A

Abstract

Vorrichtungen, Systeme und Techniken zum Verbessern eines föderalen Lernens für neuronale Netzwerke. In mindestens einem Ausführungsbeispiel wählt ein föderaler Server dynamisch die Neuronale-Netzwerk-Gewichte gemäß einem oder mehreren lernbaren Aggregationsgewichten aus, die einen Beitrag von jedem von einem oder mehreren Edge-Geräten oder Clients während des föderalen Trainings gemäß verschiedenen Charakteristiken jedes Edge-Geräts oder Client-Modells und Trainingsdaten anzeigen.

Description

TECHNISCHES GEBIET
Zumindest ein Ausführungsbeispiel bezieht sich auf Verarbeitungsressourcen, die zur Verbesserung von föderalem Lernen für neuronale Netzwerke verwendet werden. Zumindest ein Ausführungsbeispiel betrifft Prozessoren oder Rechensysteme, die zum dynamischen Auswählen von Gewichten für neuronale Netzwerke durch Lernen und Anpassen von Aggregationsgewichten und/oder anderen Daten verwendet werden, die neuronalen Netzwerken von Edge-Geräten während des föderalen Trainings entsprechen, gemäß verschiedenen hierin beschriebenen neuen Techniken.
HINTERGRUND
Föderales Lernen wird zunehmend eingesetzt, um die Qualität des Trainings neuronaler Netzwerke unter Verwendung von Datensätzen an geographisch unterschiedlichen Orten zu verbessern. Diese unter Verwendung von föderalem Lernen trainierten neuronalen Netzwerke sind besonders nützlich für die Diagnose und Erkennung medizinischer Probleme, beispielsweise ansteckender Krankheiten. Da die Qualität von Testdiensten und medizinischen Anlagen weltweit unterschiedlich ist, können Deep-Learning-Modelle, die an einem Ort mit rudimentären Testdiensten trainiert werden, im Vergleich zu anderen Orten mit fortschrittlichen Testdiensten Zugang zu minderwertigen Trainingsdaten haben. Beim föderalen Training von Modellen neuronaler Netzwerke können sich diese minderwertigen Datensätze auf die Qualität des Trainings für ein globales neuronales Netzwerkwerkmodell auswirken, das mehrere Trainingsdatensätze umfasst.
Figurenliste

1 ist ein Blockdiagramm, das eine Beispielarchitektur für föderales Lernen durch ein oder mehrere neuronale Netzwerke zur Verarbeitung medizinischer und/oder anderer Daten darstellt, gemäß mindestens einem Ausführungsbeispiel;
2 ist ein Blockdiagramm, das eine Architektur zur Durchführung von föderalem Lernen unter Verwendung fester Aggregationsgewichte darstellt, gemäß mindestens einem Ausführungsbeispiel;
3 ist ein Blockdiagramm, das eine Architektur zur Durchführung von föderalem Lernen unter Verwendung von lernbaren (dt. auch erlernbaren) Aggregationsgewichten darstellt, gemäß mindestens einem Ausführungsbeispiel;
4 stellt die Anpassung von lernbaren Aggregationsgewichten während Trainingsrunden zwischen einem föderalen Server und einer Vielzahl von Client-Orten dar, gemäß mindestens einem Ausführungsbeispiel;
5 zeigt einen Pseudocode zur Durchführung einer lernbaren föderalen Mittelwertbildung in einer globalen föderalen Trainingsarchitektur, gemäß mindestens einem Ausführungsbeispiel;
6 stellt ein Verfahren zur Durchführung einer lernbaren föderalen Mittelwertbildung in einer globalen föderalen Trainingsarchitektur dar, gemäß mindestens einem Ausführungsbeispiel;
7A zeigt eine Inferenz- und/oder Trainingslogik, gemäß mindestens einem Ausführungsbeispiel;
7B zeigt eine Inferenz- und/oder Trainingslogik, gemäß mindestens einem Ausführungsbeispiel;
8 zeigt das Training und den Einsatz eines neuronalen Netzwerks, gemäß zumindest einem Ausführungsbeispiel;
9 zeigt ein Beispiel für ein Datenzentrumssystem, gemäß zumindest einem Ausführungsbeispiel;
10A zeigt ein Beispiel für ein autonomes Fahrzeug, gemäß zumindest einem Ausführungsbeispiel;
10B zeigt ein Beispiel für Kamerastandorte und Sichtfelder für das autonome Fahrzeug von 10A, gemäß zumindest einem Ausführungsbeispiel;
10C ist ein Blockdiagramm, das eine Beispielsystemarchitektur für das autonome Fahrzeug von 10A, gemäß mindestens einem Ausführungsbeispiel darstellt;
10D ist ein Diagramm, das ein System für die Kommunikation zwischen einem oder mehreren Cloud-basierten Servern und dem autonomen Fahrzeug von 10A, gemäß mindestens einem Ausführungsbeispiel darstellt;
11 ist ein Blockdiagramm, das ein Rechen-System darstellt, gemäß mindestens einem Ausführungsbeispiel;
12 ist ein Blockdiagramm, das ein Rechnersystem darstellt, gemäß mindestens einem Ausführungsbeispiel;
13 zeigt ein Rechnersystem, gemäß mindestens einem Ausführungsbeispiel;
14 zeigt ein Rechnersystem, gemäß mindestens einem Ausführungsbeispiel;
15A zeigt ein Rechnersystem, gemäß mindestens einem Ausführungsbeispiel;
15B zeigt ein Rechnersystem, gemäß mindestens einem Ausführungsbeispiel;
15C zeigt ein Rechnersystem, gemäß mindestens einem Ausführungsbeispiel;
15D zeigt ein Rechnersystem, gemäß mindestens einem Ausführungsbeispiel;
15E und 15F zeigen ein gemeinsam genutztes Programmiermodell, gemäß mindestens einem Ausführungsbeispiel;
16 zeigt beispielhafte integrierte Schaltungen und assoziierte Grafikprozessoren, gemäß mindestens einem Ausführungsbeispiel;
17A und 17B zeigen beispielhafte integrierte Schaltungen und assoziierte Grafikprozessoren, gemäß zumindest einem Ausführungsbeispiel;
18A und 18B zeigen zusätzliche beispielhafte Grafikprozessorlogik, gemäß zumindest einem Ausführungsbeispiel;
19 zeigt ein Rechnersystem, gemäß mindestens einem Ausführungsbeispiel;
20A zeigt einen Parallelprozessor, gemäß zumindest einem Ausführungsbeispiel;
20B zeigt eine Partitionseinheit, gemäß zumindest einem Ausführungsbeispiel;
20C zeigt einen Verarbeitungscluster, gemäß zumindest einem Ausführungsbeispiel;
20D zeigt einen Grafik-Multiprozessor, gemäß zumindest einem Ausführungsbeispiel;
21 zeigt eine Multi-Grafikverarbeitungseinheit (GPU)-System, gemäß zumindest einem Ausführungsbeispiel;
22 zeigt einen Grafikprozessor, gemäß zumindest einem Ausführungsbeispiel;
23 ist ein Blockdiagramm, das eine Prozessor-Mikroarchitektur für einen Prozessor darstellt, gemäß mindestens einem Ausführungsbeispiel;
24 zeigt einen Deep-Learning-Applikationsprozessor, gemäß mindestens einem Ausführungsbeispiel;
25 ist ein Blockdiagramm, das einen beispielhaften neuromorphen Prozessor darstellt, gemäß mindestens einem Ausführungsbeispiel;
26 zeigt zumindest Teile eines Grafikprozessors, gemäß einem oder mehreren Ausführungsbeispielen;
27 zeigt zumindest Teile eines Grafikprozessors, gemäß einem oder mehreren Ausführungsbeispielen;
28 zeigt zumindest Teile eines Grafikprozessors, gemäß einem oder mehreren Ausführungsbeispielen;
29 ist ein Blockdiagramm einer Grafikverarbeitungs-Engine eines Grafikprozessors, gemäß mindestens einem Ausführungsbeispiel;
30 ist ein Blockdiagramm zumindest von Teilen eines Grafikprozessorkerns, gemäß mindestens einem Ausführungsbeispiel;
31A und 31B stellen eine Thread-Ausführungslogik dar, die ein Array von Verarbeitungselementen eines Grafikprozessorkems enthält, gemäß mindestens einem Ausführungsbeispiel;
32 zeigt eine Parallelverarbeitungseinheit („PPU“), gemäß zumindest einem Ausführungsbeispiel;
33 zeigt einen allgemeinen Verarbeitungscluster („GPC“), gemäß zumindest einem Ausführungsbeispiel;
34 zeigt eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit („PPU“), gemäß mindestens einem Ausführungsbeispiel;
35 zeigt einen Streaming-Multiprozessor, gemäß zumindest einem Ausführungsbeispiel;
36 ist ein beispielhaftes Datenflussdiagramm für eine fortgeschrittene Rechen-Pipeline, gemäß mindestens einem Ausführungsbeispiel;
37 ist ein Systemdiagramm für ein Beispielsystem zum Trainieren, Anpassen, Instanziieren und Einsetzen von Modellen für maschinelles Lernen in einer fortgeschrittenen Rechen-Pipeline, gemäß mindestens einem Ausführungsbeispiel;
38 enthält eine Beispielsdarstellung einer fortgeschrittenen Rechen-Pipeline 3710A zur Verarbeitung von Bildgebungsdaten, gemäß mindestens einem Ausführungsbeispiel;
39A enthält ein Beispiel-Datenflussdiagramm eines virtuellen Instruments, das ein Ultraschallgerät unterstützt, gemäß mindestens einem Ausführungsbeispiel;
39B enthält ein Beispiel-Datenflussdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, gemäß mindestens einem Ausführungsbeispiel;
40A stellt ein Datenflussdiagramm für einen Prozess zum Trainieren eines maschinellen Lernmodells dar, gemäß mindestens einem Ausführungsbeispiel; und
40B ist eine Beispielsdarstellung einer Client-Server-Architektur zur Verbesserung von Annotationstools mit vortrainierten Annotationsmodellen, gemäß mindestens einem Ausführungsbeispiel.

DETAILLIERTE BESCHREIBUNG
1 ist ein Blockdiagramm, das eine Beispielarchitektur für föderales Lernen durch ein oder mehrere neuronale Netzwerke 108, 116, 124, 134 darstellt, um medizinische und/oder andere Daten zu verarbeiten, gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel sammelt ein föderaler Server 132 die Neuronale-Netzwerk-Gewichte (engl. neuronal network weights, dt. auch Gewichte eines/des neuronalen Netzwerks), die numerische Werte umfassen, die als Ergebnis eines Trainings des neuronalen Netzwerks berechnet wurden, und/oder die Aggregationsgewichte von einem oder mehreren Edge-Geräten oder Clients 102, 110, 118, beispielsweise von Rechnersystemen, die zu Krankenhäusern an verschiedenen Orten gehören. In mindestens einem Ausführungsbeispiel ist ein föderaler Server 132 ein Rechensystem, das Hardwarekomponenten und einen Speicher umfasst, der Softwarebefehle enthält, die, wenn sie ausgeführt werden, ein globales Modell 134 gemäß Datenwerten eines neuronalen Netzwerks trainieren, die von einem oder mehreren Edge-Geräten oder Clients 102, 110, 118, wie etwa Rechensystemen, die zu Krankenhäusern an verschiedenen Orten gehören, gesammelt wurden. In mindestens einem Ausführungsbeispiel umfassen die Neuronale-Netzwerk-Gewichte einen oder mehrere numerische Werte oder andere Datenwerte, die mit einem oder mehreren neuronalen Netzwerken assoziiert sind. In mindestens einem Ausführungsbeispiel besteht ein globales Modell 134 aus Datenwerten und Softwareanweisungen, die bei ihrer Ausführung eine Bildsegmentierung, Klassifizierung oder andere hier weiter beschriebene Operationen eines neuronalen Netzwerks durchführen. In mindestens einem Ausführungsbeispiel ist föderales Lernen oder föderales Training ein Trainieren eines neuronalen Netzwerks unter Verwendung von Daten und/oder lokalen neuronalen Netzwerkmodellen 108, 116, 124 von Edge-Geräten oder Clients 102, 110, 118 an einer Vielzahl von unterschiedlichen Orten. In mindestens einem Ausführungsbeispiel führt ein föderaler Server 132 ein föderales Training oder föderales Lernen eines globalen Modells 134 durch, indem er Datenwerte des neuronalen Netzwerks aggregiert, die von Edge-Geräten oder Clients 102, 110, 118, beispielsweise von Rechnersystemen von Krankenhäusern, empfangen werden, wobei sich jedes Krankenhaus an unterschiedlichen geografischen Orten befindet, und das globale Modell 134 unter Verwendung der Datenwerte des neuronalen Netzwerks trainiert. Ein föderaler Server 132 erleichtert weiter das föderale Training von oder das föderale Lernen durch lokale Modelle 108, 116, 124, indem er Gewichtswerte des neuronalen Netzwerks und/oder aktualisierte Modelle von einem globalen Modell 134 an lokale Modelle 108, 116, 124 verteilt, die von Edge-Geräten oder Clients 102, 110, 118 genutzt werden können, die sich an einer Vielzahl von Orten befinden.
In zumindest einem Ausführungsbeispiel sind Edge-Geräte oder Clients 102, 110, 118 Rechnersysteme, die sich in medizinischen, Computer- oder jeder anderen Art von Anlage befinden, wobei sich jede Anlage an geographisch unterschiedlichen Positionen befinden kann, und umfassen zumindest ein Rechnersystem, das Hardware und Speicher mit Softwarebefehlen enthält, die, wenn sie ausgeführt werden, ein oder mehrere lokale Modelle 108, 116, 124, beispielsweise neuronale Netzwerke, trainieren, um eine Bildsegmentierung, Klassifizierung oder eine andere hierin weiter beschriebene Deep-Learning-Operation durchzuführen. In mindestens einem Ausführungsbeispiel handelt es sich bei den lokalen Modellen 108, 116, 124 um Datenwerte und Softwareanweisungen, die, wenn sie ausgeführt werden, Deep-Learning-Operationen durchführen, beispielsweise eine Bildsegmentierung oder -klassifizierung, um die medizinische Diagnose zu unterstützen oder zu erleichtern. In mindestens einem Ausführungsbeispiel führen die lokalen Modelle 108, 116, 124 jede andere Deep-Learning-Operation durch, die hier weiter beschrieben wird, um jede andere Deep-Learning-Applikation zu erleichtern. In mindestens einem Ausführungsbeispiel umfassen die lokalen Modelle 108, 116, 124 Gewichtswerte des neuronalen Netzwerks, wie beispielsweise Gradienten, Skalare oder andere Datenwerte des neuronalen Netzwerks, die zumindest teilweise basierend auf einer oder mehreren Trainingsrunden unter Verwendung lokaler Testdaten 106, 114, 122 aktualisiert werden. In einem Ausführungsbeispiel übertragen Edge-Geräte oder Clients 102, 110, 118, die sich an verschiedenen Orten befinden, die Neuronale-Netzwerk-Gewichte an einen föderalen Server 132.
In mindestens einem Ausführungsbeispiel sind die Neuronale-Netzwerk-Gewichte Daten, die numerische Werte umfassen, die mit einem oder mehreren neuronalen Netzwerken oder Deep-Learning-Modellen 108, 116, 124, 134 assoziiert sind. In mindestens einem Ausführungsbeispiel sind die Neuronale-Netzwerk-Gewichte Datenwerte, die numerische Werte oder andere Datenwerte umfassen, beispielsweise Datenwerte, die Knoten in einer Schicht des neuronalen Netzwerks repräsentieren und mit einem oder mehreren neuronalen Netzwerken oder Deep-Learning-Modellen 108, 116, 124, 134 assoziiert sind. In mindestens einem Ausführungsbeispiel übertragen ein oder mehrere Edge-Geräte oder Clients 102, 110, 118 an verschiedenen Orten ein oder mehrere Neuronale-Netzwerk-Gewichte über ein beliebiges Kommunikationsmedium 126, 128, 130, beispielsweise das Internet oder andere Kommunikationsnetze für Rechner. In mindestens einem Ausführungsbeispiel handelt es sich bei einem Kommunikationsmedium 126, 128, 130 um eine beliebige, hier weiter beschriebene elektronische Kommunikationsinfrastruktur, beispielsweise Ethernet oder eine beliebige Netzwerkinfrastruktur zur Erleichterung der Internetkommunikation. In mindestens einem Ausführungsbeispiel wird ein Kommunikationsmedium 126, 128, 130 unter Verwendung eines oder mehrerer kryptographischer Kommunikationsprotokolle gesichert.
In mindestens einem Ausführungsbeispiel umfassen die Daten des neuronalen Netzwerks, die von Edge-Geräten oder Rechensystemen der Clients 102, 110, 118 an verschiedenen Orten übertragen werden, Neuronale-Netzwerk-Gewichte und/oder andere Datenwerte, die mit einem oder mehreren lokalen Modellen 108, 116, 124 assoziiert sind, wie beispielsweise Aggregationsgewichte oder andere Datenwerte, die während des Trainings eines oder mehrerer lokaler Modelle 108, 116, 124 durch die Edge-Geräte oder Clients generiert werden. In einem Ausführungsbeispiel enthalten die Neuronale-Netzwerk-Gewichte keine sensiblen Informationen wie beispielsweise Patientendaten, wenn sich die Rechnersysteme der Clients in medizinischen Anlagen befinden. In mindestens einem Ausführungsbeispiel ist die Übertragung von Datenwerten des neuronalen Netzwerks über ein Kommunikationsmedium 126, 128, 130 sicher und enthält keine Informationen, die zur Identifizierung einer oder mehrerer Quellen lokaler Testdaten 106, 114, 122 für einen beliebigen Client 102, 110, 118 verwendet werden können. In mindestens einem Ausführungsbeispiel erleichtern die von den Clients 102, 110, 118 übertragenen Datenwerte des neuronalen Netzwerks das Training eines oder mehrerer globaler Modelle 134 oder neuronaler Netzwerke durch einen föderalen Server 132.
In mindestens einem Ausführungsbeispiel umfasst ein föderaler Server 132 ein oder mehrere globale Modelle 134, wie oben beschrieben. In mindestens einem Ausführungsbeispiel sammelt und/oder aggregiert ein föderaler Server 132 Gewichtswerte des neuronalen Netzwerks von Edge-Geräten oder Clients 102, 110, 118 an verschiedenen Orten, die über ein Kommunikationsmedium 126, 128, 130 übertragen werden. In einem Ausführungsbeispiel trainiert ein föderaler Server 132 ein globales Modell 134 unter Verwendung von Daten wie den Gewichtswerten des neuronalen Netzwerks von Edge-Geräten oder Rechensystemen von Clients 102, 110, 118 an verschiedenen Anlagen, wie etwa Krankenhäusern oder anderen Rechensystemen an verschiedenen Orten. In mindestens einem Ausführungsbeispiel aggregiert ein föderaler Server 132 die Gewichtswerte des neuronalen Netzwerks, die von jedem Edge-Gerät oder Client 102, 110, 118 über ein Kommunikationsmedium 126, 128, 130 übertragen werden. In mindestens einem Ausführungsbeispiel trainiert ein föderaler Server 132 ein globales Modell 134 gemäß jedem Gewichtswert des neuronalen Netzwerks, der von jedem Edge-Gerät oder Client 102, 110, 118 übertragen wird. In mindestens einer Ausführungsform aggregiert ein föderaler Server 132 die Gewichtswerte des neuronalen Netzwerks von jedem Edge-Gerät oder Client 102, 110, 118 und passt ein oder mehrere Aggregationsgewichte gemäß der Datenverteilung zwischen den Edge-Geräten oder Clients 102, 110, 118 an, wie weiter unten in Verbindung mit 3 beschrieben.
In mindestens einem Ausführungsbeispiel ist ein globales Modell 134 ein neuronales Netzwerkwerk. In mindestens einem Ausführungsbeispiel ist ein globales Modell 134 ein Convolutional Neural Network oder eine andere Art von hierin weiter beschriebenem neuronalem Netzwerk, das in der Lage ist, Bildsegmentierung, Klassifizierung oder andere neuronale Netzwerkoperationen durchzuführen, beispielsweise Operationen an medizinischen oder anderen Bildern. In mindestens einem Ausführungsbeispiel wird ein globales Modell 134 durch ein Server-Trainings-Framework trainiert, das einen Trainingsalgorithmus auf einem föderalen Server 132 implementiert, wie weiter unten in Verbindung mit 5 beschrieben. In zumindest einem Ausführungsbeispiel wird ein globales Modell 134 von einem Server Framework auf einem föderalen Server 132 trainiert, wobei ein oder mehrere Gewichtswerte des neuronalen Netzwerks, wie z.B. Neuronale-Netzwerk-Gewichte, verwendet werden, die von einem oder mehreren Edge-Geräten oder Clients 102, 110, 118 erhalten wurden, die sich an Anlagen, wie z.B. Krankenhäusern oder anderen Rechengeräten an verschiedenen Orten befinden.
In mindestens einem Ausführungsbeispiel sind ein oder mehrere Edge-Geräte oder Client-Rechnersysteme 102, 110, 118 global verteilt oder befinden sich an separaten Orten mit separaten lokalen Testdaten 106, 114, 122. In mindestens einem Ausführungsbeispiel befinden sich ein oder mehrere Edge-Geräte oder Client 102, 110, 118 Rechnersysteme in verschiedenen Ländern, Städten oder anderen Orten, beispielsweise in verschiedenen Gebäuden oder Räumen in einem Gebäude. In mindestens einem Ausführungsbeispiel umfassen ein oder mehrere Edge-Geräte oder Client 102, 110, 118 Anlagen, beispielsweise ein Krankenhaus, Testdienste 104, 112, 120. In mindestens einem Ausführungsbeispiel sind die Prüfdienste 104, 112, 120 medizinische Anlagen, die Geräte oder andere Verfahren umfassen, mit denen lokale Prüfdaten 106, 114, 122 gesammelt werden. In mindestens einem Ausführungsbeispiel handelt es sich bei den Testdiensten 104, 112, 120 um eine beliebige andere Rechenanlage zur Erfassung lokaler Testdaten 106, 114, 122. In mindestens einem Ausführungsbeispiel generieren die Testdienste 104, 112, 120 lokale Testdaten 106, 114, 122, die zum Trainieren eines oder mehrerer lokaler Modelle 108, 116, 124 durch ein Client-Trainings-Framework verwendet werden können, das einen Trainingsalgorithmus implementiert, wie er beispielsweise unten in Verbindung mit 5 beschrieben wird.
In mindestens einem Ausführungsbeispiel sind die lokalen Testdaten 106, 114, 122 Datenwerte, die Bilder oder andere Daten umfassen, die zum Trainieren lokaler Modelle 108, 116, 124 in Verbindung mit Überwachung verwendet werden können. In mindestens einem Ausführungsbeispiel handelt es sich bei den lokalen Testdaten 106, 114, 122 um Datenwerte, die Bilder oder andere Daten umfassen, die zum Trainieren lokaler Modelle 108, 116, 124 ohne Überwachung verwendet werden können. In einem Ausführungsbeispiel unterscheidet sich die Verfügbarkeit der Überwachung gemäß den Ressourcen, die jedem Client 102, 110, 118 zur Verfügung stehen, und variiert je nach Ort. In mindestens einem Ausführungsbeispiel umfassen die lokalen Testdaten 106, 114, 122 die Überwachung durch die Testdienste 104, 112, 120. Wenn die Testdienste 104, 112, 120 in einem Ausführungsbeispiel keine Überwachung unterstützen, wird keine Überwachung in Verbindung mit den lokalen Testdaten 106, 114, 122 verwendet, um ein lokales Modell 108, 116, 124 durch ein Client-Trainings-Framework oder ein anderes Framework zum Trainieren eines oder mehrerer lokaler Modelle 108, 116, 124 zu trainieren, wie hier weiter beschrieben.
In mindestens einem Ausführungsbeispiel umfasst die Überwachung mehrere Arten der Unterstützung, die verwendet werden, um das Trainieren eines oder mehrerer lokaler Modelle 108, 116, 124 durch ein Client-Trainings-Framework oder ein anderes Software-Framework zum Trainieren des einen oder der mehreren lokalen Modelle 108, 116, 124, wie hierin weiter beschrieben, zu erleichtern. In mindestens einem Ausführungsbeispiel umfasst die Überwachung Eingabeinformationen, die einen oder mehrere Aspekte der lokalen Testdaten 106, 114, 122, beispielsweise Objekte, Merkmale oder Stile, oder eine Klassifizierung für die lokalen Testdaten 106, 114, 122 beschreiben, um das Trainieren eines oder mehrerer lokaler Modelle 108, 116, 124 durch ein Client-Trainings-Framework oder ein anderes Framework zum Trainieren eines oder mehrerer lokaler Modelle 108, 116, 124, wie hierin weiter beschrieben, zu unterstützen.
In mindestens einem Ausführungsbeispiel ist die Überwachung stark, wobei die Eingabeinformationen eine direkte Identifizierung eines Objekts, eines Merkmals, eines Stils oder eines anderen Aspekts eines Elements, beispielsweise eines Bildes, in den lokalen Testdaten 106, 114, 122 bereitstellen. In mindestens einem Ausführungsbeispiel ist die Überwachung schwach, wobei die Eingabeinformationen eine partielle Identifizierung eines Objekts, eines Merkmals, eines Stils oder eines anderen Aspekts der lokalen Testdaten 106, 114, 122 bereitstellen. In mindestens einem Ausführungsbeispiel handelt es sich bei der starken Überwachung um Eingabeinformationen wie beispielsweise Begrenzungsrahmen, bei denen ein oder mehrere Objekte oder Merkmale in den lokalen Testdaten 106, 114, 122 umrissen sind.
In mindestens einem Ausführungsbeispiel umfasst die schwache Überwachung Eingabeinformationen wie beispielsweise Punkte, bei denen individuelle Orte in den lokalen Testdaten 106, 114, 122 als innerhalb eines Objekts oder von Objekten liegend identifiziert werden. In mindestens einem Ausführungsbeispiel umfasst die schwache Überwachung Eingabeinformationen wie beispielsweise Linien, wobei jeder Punkt in einer Linie innerhalb der lokalen Testdaten 106, 114, 122 durch die schwache Überwachung als innerhalb eines Objekts oder von Objekten liegend identifiziert wird. In mindestens einem Ausführungsbeispiel umfasst die schwache Überwachung Eingabeinformationen wie Markierungen oder Kennzeichnungen, wobei eine Markierung oder Kennzeichnung angibt, dass die lokalen Testdaten 106, 114, 122 ein bestimmtes Objekt oder bestimmte Objekte enthalten oder einer bestimmten Klassifizierung angehören.
In mindestens einem Ausführungsbeispiel umfassen ein oder mehrere Edge-Geräte oder Client-Rechnersysteme 102, 110, 118, die sich an verschiedenen Anlagen wie beispielsweise Krankenhäusern an verschiedenen Orten oder anderen Anlagen mit lokalen Prüfdiensten 104, 112, 120 befinden, lokale Modelle 108, 116, 124, wie oben beschrieben und hier weiter beschrieben. In mindestens einem Ausführungsbeispiel führen die lokalen Modelle 108, 116, 124 eine Bildsegmentierung durch, um die medizinische Diagnose oder eine andere Applikation der Bildsegmentierung zu erleichtern. In mindestens einem Ausführungsbeispiel führen die lokalen Modelle 108, 116, 124 andere Bildoperationen durch, beispielsweise Klassifizierung oder Objektidentifikation, um die medizinische Diagnose oder eine andere bildbasierte Applikation zu erleichtern. In mindestens einem Ausführungsbeispiel führen die lokalen Modelle 108, 116, 124 eine beliebige andere Deep-Learning-Operation durch, die hier weiter beschrieben wird. In mindestens einem Ausführungsbeispiel handelt es sich bei den lokalen Modellen 108, 116, 124 individuell um Convolutional Neural Networks. In mindestens einem Ausführungsbeispiel sind die lokalen Modelle 108, 116, 124 individuell ein 3D-U-Netz. In einem Ausführungsbeispiel sind die lokalen Modelle 108, 116, 124 individuell jede Art von neuronalem Netzwerk, das hier weiter beschrieben ist, um eine oder mehrere Operationen eines neuronalen Netzwerks durchzuführen.
In mindestens einem Ausführungsbeispiel trainiert ein Edge-Gerät oder ein Client-Trainings-Framework oder ein beliebiges anderes Software-Framework zur Durchführung von Training, wie hierin weiter beschrieben, die lokalen Modelle 108, 116, 124. Nachdem ein Edge-Gerät oder ein Client-Trainings-Framework oder ein anderes Software-Framework zur Durchführung des hierin weiter beschriebenen Trainings ein oder mehrere lokale Modelle 108, 116, 124 trainiert hat, werden Gewichtswerte des neuronalen Netzwerks, wie oben beschrieben, von jedem individuellen Edge-Gerät oder Client 102, 110, 118 über ein Kommunikationsmedium 126, 128, 130, beispielsweise ein sicheres Kommunikationsmedium, an einen föderalen Server 132 übertragen. In mindestens einem Ausführungsbeispiel umfassen die Datenwerte des neuronalen Netzwerks Gewichtswerte für jeden Knoten in jedem lokalen Modell 108, 116, 124. In mindestens einem Ausführungsbeispiel umfassen andere Datenwerte des neuronalen Netzwerks Aggregationsgewichte für jedes lokale Modell 108, 116, 124 und/oder jeden Knoten in den genannten lokalen Modellen 108, 116, 124, wie nachstehend weiter beschrieben. In mindestens einem Ausführungsbeispiel umfassen die Datenwerte des neuronalen Netzwerks alle anderen Daten, die von einem föderalen Server 132 verwendet werden können, um ein globales Modell 134 zu trainieren, wie oben beschrieben.
2 ist ein Blockdiagramm, das eine Architektur zur Durchführung von föderalem Training oder föderalem Lernen unter Verwendung fester Aggregationsgewichte gemäß mindestens einem Ausführungsbeispiel darstellt. In mindestens einem Ausführungsbeispiel aktualisiert ein föderaler Server 226 ein globales Modell w 234 basierend auf einem oder mehreren lokalen Modellen 206, 212, 218, wie oben in Verbindung mit 1 beschrieben. In zumindest einem Ausführungsbeispiel aktualisiert ein föderaler Server 226 ein globales Modell w 234 durch statische Auswahl von Neuronale-Netzwerk-Gewichten, die einem oder mehreren lokalen Modellen 206, 212, 218 entsprechen, basierend zumindest teilweise auf einem oder mehreren Datenwerten, die ein Verhältnis und/oder einen prozentualen Beitrag jedes des einen oder der mehreren lokalen Modelle 206, 212, 218 zu einem globalen Modell w 234 anzeigen. In mindestens einem Ausführungsbeispiel aktualisiert ein föderaler Server 226 ein globales Modell w 234 unter Verwendung von Daten, beispielsweise von Neuronale-Netzwerk-Gewichten, von einem oder mehreren lokalen Modellen 206, 212, 218 gemäß einem oder mehreren festen Aggregationsgewichten a_k 228, 230, 232.
In mindestens einem Ausführungsbeispiel sind ein oder mehrere feste Aggregationsgewichte a_k 228, 230, 232 Datenwerte, die ein Verhältnis, eine Gewichtung, einen Prozentsatz oder ein anderes Maß der Berücksichtigung von Neuronale-Netzwerk-Gewichten angeben, wie beispielsweise ein oder mehrere Modellgewichtswerte von einem oder mehreren lokalen Modellen 206, 212, 218. In mindestens einem Ausführungsbeispiel hat jedes von einem oder mehreren festen Aggregationsgewichten a_k 228, 230, 232 einen numerischen Wert x, wobei 0 ≤ x ≤ 1. In mindestens einem Ausführungsbeispiel sind eine oder mehrere feste Aggregationsgewichte a_k 228, 230, 232 statisch und ändern sich nicht während der von einem oder mehreren Edge-Geräten oder Clients 202, 208, 214 durchgeführten Trainingsiterationen.
In mindestens einem Ausführungsbeispiel basieren eine oder mehrere feste Aggregationsgewichte a_k 228, 230, 232 auf der Größe der lokalen Datensätze 204, 210, 216 für jedes Edge-Gerät oder jeden Client 202, 208, 214. In mindestens einem Ausführungsbeispiel handelt es sich bei den lokalen Daten 204, 210, 216 um lokale Testdaten, wie oben in Verbindung mit 1 beschrieben. In mindestens einem Ausführungsbeispiel handelt es sich bei den lokalen Daten 204, 210, 216 um Trainingsdaten, die zum Trainieren eines oder mehrerer lokaler Modelle 206, 212, 218 verwendet werden können, so dass ein Trainings-Framework einen oder mehrere Gewichtswerte des neuronalen Netzwerks des einen oder der mehreren lokalen Modelle 206, 212, 218 aktualisiert, wie oben in Verbindung mit 1 beschrieben und hierin weiter beschrieben. In mindestens einem Ausführungsbeispiel entspricht jedes feste Aggregationsgewicht a_k 228, 230, 232 einem einzelnen Edge-Gerät oder Client 202, 208, 214. In mindestens einem Ausführungsbeispiel entspricht jedes feste Aggregationsgewicht a_k 228, 230, 232 einer oder mehreren Gruppierungen von Clients 202, 208, 214.
In mindestens einem Ausführungsbeispiel berechnet oder bestimmt ein föderales Trainings-Framework oder ein anderes Software-Framework zum Trainieren eines oder mehrerer lokaler Modelle 206, 212, 218 und/oder eines globalen Modells w 234 einen Wert für jedes feste Aggregationsgewicht a_k 228, 230, 232 für jeden Client von K Edge-Geräten oder Clients 202, 208, 214 wie folgt: $a_{k} = \frac{n_{k}}{n}$
wobei k ≤ K, a_k ∈ ℝ^K, und es gibt n_k lokale Datensamples 204, 210, 216 für einen bestimmten Client k. In mindestens einem Ausführungsbeispiel ist n = Σ_k n_k die Gesamtzahl der Datensamples, die während des föderalen Trainings oder des föderalen Lernens verwendet werden.
In mindestens einem Ausführungsbeispiel trainiert ein föderaler Server 226 gemeinsam ein globales Modell w 234 auf der Grundlage von Neuronale-Netzwerk-Gewichten (engl. neural network weights, dt. auch Gewichte eines oder mehrerer neuronaler Netzwerke), wie z.B. Gewichte des lokalen Modells 206, 212, 218, die von dem föderalen Server 226 von K Edge-Geräten oder Clients 202, 208, 214 gemäß fester Aggregationsgewichte a_k 228, 230, 232 aggregiert werden. Während jeder föderalen Trainings- oder föderalen Lemiteration überträgt ein föderaler Server 226 in einer Ausführungsform 220, 222, 224 ein globales Modell w 234 an jedes Edge-Gerät oder jeden Client 202, 208, 214 von K Edge-Geräten oder Clients 202, 208, 214 oder kommuniziert es anderweitig. In mindestens einem Ausführungsbeispiel trainiert jedes Edge-Gerät oder jeder Client 202, 208, 214 von K Edge-Geräten oder Clients 202, 208, 214 sein lokales Modell 206, 208, 214 unter Verwendung lokaler Daten 204, 210, 216, um es zu minimieren: $min_{w} \sum_{k = 1}^{K} a_{k} L_{k} (w)$
wobei L_k (w) eine lokale Verlustfunktion des Edge-Geräts oder des Client k ist, a_k ≥ 0, und Σ_k a_k = 1. Wie oben erwähnt, gilt bei einer Ausführungsform, wenn es n_k lokale Daten 204, 210, 216 auf einem bestimmten Edge-Gerät oder Client k gibt, dann $a_{k} = \frac{n_{k}}{n}$
wobei n = Σ_k n_k n die Gesamtzahl der lokalen Daten 204, 210, 216 ist, die für das föderale Training oder das föderale Lernen verwendet werden.
In mindestens einem Ausführungsbeispiel ist die Modellübertragung 220, 222, 224 ein Prozess, bei dem ein oder mehrere Datenwerte, wie z.B. Gewichtswerte des neuronalen Netzwerks oder ganze lokale Modelle 206, 212, 218, zwischen einem föderalen Server 226 und einem oder mehreren Edge-Geräten oder Clients 202, 208, 214 kommuniziert und/oder übertragen werden. In mindestens einem Ausführungsbeispiel aktualisiert jedes Edge-Gerät oder jeder Client 202, 208, 214 sein lokales Modell 206, 212, 218 für einen vorbestimmten Zeitraum oder eine vorbestimmte Anzahl von Trainingsiterationen des lokalen Modells 206, 212, 218 mit einem stochastischen Gradientenabstiegsoptimierer (SGD), um den Kommunikationsaufwand für die Modellübertragung 220, 222, 224 zu verringern. In mindestens einem Ausführungsbeispiel aktualisiert jedes Edge-Gerät oder jeder Client 202, 208, 214 sein lokales Modell 206, 212, 218 über (während) eine(r) vorgegebene Zeitspanne oder Anzahl von Trainingsiterationen des lokalen Modells 206, 212, 218 mit einem Adam-Optimierer. In mindestens einem Ausführungsbeispiel aktualisiert jedes Edge-Gerät oder jeder Client 202, 208, 214 sein lokales Modell 206, 212, 218 über (während) eine(r) vorgegebenen Zeitspanne oder Anzahl von Trainingsiterationen des lokalen Modells 206, 212, 218 mit einem Optimierer, der die Algorithmen AdaGrad oder RMSProp implementiert. In mindestens einem Ausführungsbeispiel aktualisiert jedes Edge-Gerät oder jeder Client 202, 208, 214 sein lokales Modell 206, 212, 218 mit einem Code Adam Gradient Descent Optimierer. In mindestens einem Ausführungsbeispiel aktualisiert jedes Edge-Gerät oder jeder Client 202, 208, 214 sein lokales Modell 206, 212, 218 über (während) eine(r) vorbestimmten Zeitspanne oder einer anderen Metrik, wie z.B. Trainingsiterationen des lokalen Modells 206, 212, 218, mit einem beliebigen anderen allgemeinen Optimierer.
In mindestens einem Ausführungsbeispiel werden bei Beginn des föderalen Trainings oder des föderalen Lernens durch ein föderales Trainings-Framework oder einem anderen hierin weiter beschriebenen Trainings-Framework Aggregationsgewichte a_k ∈ ℝ^K so eingestellt, dass sie proportional zu einer Anzahl lokaler Daten 204, 210, 216 auf jedem Edge-Gerät oder Client 202, 208, 214 sind, so dass $a_{k} = \frac{n_{k}}{n}$
wie oben beschrieben. In mindestens einem Ausführungsbeispiel aktualisiert ein föderaler Server 226 während jeder Iteration des föderalen Trainings oder des föderalen Lernens ein globales Modell w 234 wie folgt: $w \leftarrow \sum_{k} \frac{n_{k}}{n} w_{k}$
wobei w_k ein aktuelles lokales Modell 206, 212, 218 eines bestimmten Edge-Geräts oder Clients 202, 208, 214 k ist.
3 ist ein Blockdiagramm, das eine Architektur zur Durchführung von föderalem Lernen unter Verwendung von lernbaren Aggregationsgewichten 352, 354, 356 gemäß mindestens einem Ausführungsbeispiel zeigt. In mindestens einem Ausführungsbeispiel aktualisiert ein föderaler Server 350 ein globales Modell w 358 durch dynamisches Auswählen von Daten des neuronalen Netzwerks, wie Neuronale-Netzwerk-Gewichte, Gradienten oder andere Daten des neuronalen Netzwerks, wie hier weiter beschrieben. In mindestens einem Ausführungsbeispiel umfasst das dynamische Auswählen der Neuronale-Netzwerk-Gewichte ein Auswählen eines oder mehrerer Datensätze aus den Neuronale-Netzwerk-Gewichten gemäß einem oder mehreren dynamischen Werten, wie z.B. den lernbaren Aggregationsgewichten a_k 352, 354, 356, wie unten beschrieben.
In mindestens einem Ausführungsbeispiel aktualisiert ein föderaler Server 350 ein globales Modell w 358, indem er dynamisch neuronale Netzwerkgewichte auswählt, die einem oder mehreren lokalen Modellen 306, 318, 330 entsprechen, zumindest teilweise basierend auf einem oder mehreren einstellbaren oder dynamischen Datenwerten, die ein Verhältnis und/oder einen prozentualen Beitrag jedes des einen oder der mehreren lokalen Modelle 306, 318, 330 anzeigen, die von einem oder mehreren Edge-Geräten oder Clients 302, 314, 326 empfangen wurden. In mindestens einem Ausführungsbeispiel aktualisiert ein föderaler Server 350 ein globales Modell w 358 durch dynamisches Auswählen von neuronalen Netzwerkdaten, wie z.B. neuronalen Netzwerkgewichten, Gradienten oder anderen neuronalen Netzwerkdaten, wie hierin weiter beschrieben, die an den föderalen Server 350 von einem oder mehreren Edge-Geräten oder Clients 302, 314, 326 übertragen oder anderweitig von diesem empfangen werden. In mindestens einem Ausführungsbeispiel wählt ein föderaler Server 350 dynamisch neuronale Netzwerkgewichte aus, die jedem der ein oder mehreren lokalen Modelle 306, 318, 330 von einem oder mehreren Edge-Geräten oder Clients 302, 314, 326 entsprechen, um ein globales Modell w 234 zu trainieren oder anderweitig zu aktualisieren. In mindestens einem Ausführungsbeispiel trainiert ein föderaler Server 350 während des föderalen Trainings oder föderalen Lernens, wie oben in Verbindung mit den 1 und 2 beschrieben, ein globales Modell w 358 unter Verwendung von lernbaren Aggregationsgewichten a_k 352, 354, 356 anstelle von festen Aggregationsgewichten, wie oben in Verbindung mit 2 beschrieben.
In mindestens einem Ausführungsbeispiel sind eine oder mehrere lernbare Aggregationsgewichte a_k 352, 354, 356 Datenwerte, die ein Verhältnis, ein Gewicht, einen Prozentsatz oder ein anderes Maß der Berücksichtigung angeben, die einem oder mehreren lokalen Modellen 306, 318, 330 während des föderalen Trainings oder des föderalen Lernens gegeben werden soll. In mindestens einem Ausführungsbeispiel hat jedes von einem oder mehreren lernbaren Aggregationsgewichten a_k 352, 354, 356 einen numerischen Wert x, wobei 0 ≤ x ≤ 1. In mindestens einem Ausführungsbeispiel basieren die Datenwerte für jedes von einem oder mehreren lernbaren Aggregationsgewichten a_k 352, 354, 356 auf einem oder mehreren Kriterien. In mindestens einem Ausführungsbeispiel umfassen ein oder mehrere Kriterien für jeden Wert eines oder mehrerer lernbarer Aggregationsgewichte a_k 352, 354, 356 eine Größe lokaler Datensätze 304, 316, 328 für jedes Edge-Gerät oder jeden Client 302, 314, 326.
In mindestens einem Ausführungsbeispiel umfassen ein oder mehrere Kriterien für jeden von einem oder mehreren erlernbaren Aggregationsgewichtswerten a_k 352, 354, 356 eine oder mehrere Metriken, die einem oder mehreren lokalen Modellen 306, 318, 330 für jedes Edge-Gerät oder jeden Client 302, 314, 326 entsprechen. In mindestens einem Ausführungsbeispiel umfassen ein oder mehrere Kriterien für jeden von einem oder mehreren erlernbaren Aggregationsgewichten a_k 352, 354, 356 Werten eine beliebige andere Metrik zum Vergleich eines oder mehrerer lokaler Modelle 306, 318, 330 für jedes Edge-Gerät oder jeden Client 302, 314, 326. In mindestens einem Ausführungsbeispiel entspricht jedes erlernbare Aggregationsgewicht a_k 352, 354, 356 einem einzelnen Client 302, 314, 328. In mindestens einem Ausführungsbeispiel entspricht jedes lernbare Aggregationsgewicht a_k 352, 354, 356 einer oder mehreren Gruppierungen von Edge-Geräten oder Clients 302, 314, 328.
In mindestens einem Ausführungsbeispiel aktualisiert ein föderales Trainings-Framework oder ein anderes hierin weiter beschriebenes Trainings-Framework eine oder mehrere lernbare Aggregationsgewichte a_k 352, 354, 356 nach einzelnen Trainingsrunden entsprechend den Änderungen der lokalen Daten 304, 316, 328 für jedes Edge-Gerät oder jeden Client 302, 314, 326. In mindestens einem Ausführungsbeispiel aktualisiert ein föderales Trainings-Framework oder ein anderer hierin weiter beschriebenes Trainings-Framework eine oder mehrere lernbare Aggregationsgewichte a_k 352, 354, 356 nach einzelnen Trainingsrunden entsprechend einem abgeschlossenen Trainingsgrad oder wie viele einzelne Trainingsrunden für jedes lokale Modell 306, 318, 330 auf jedem Edge-Gerät oder Client 302, 314, 326 abgeschlossen wurden. In mindestens einem Ausführungsbeispiel aktualisiert ein föderales Trainingsframework oder ein anderes hierin weiter beschriebenes Trainingsframework ein oder mehrere lernbare Aggregationsgewichte a_k 352, 354, 356 nach einzelnen Trainingsrunden entsprechend einer Metrik, wie z.B. der Genauigkeit des lokalen Modells 306, 318, 330, für jedes lokale Modell 306, 318, 330 auf jedem Edge-Gerät oder Client 302, 314, 326. In mindestens einem Ausführungsbeispiel aktualisiert ein föderales Trainings-Framework oder ein anderer hierin weiter beschriebenes Trainings-Framework eine oder mehrere lernbare Aggregationsgewichte a_k 352, 354, 356 nach einzelnen Trainingsrunden gemäß einem beliebigen anderen Faktor oder einer beliebigen Kombination von Faktoren, die den lokalen Daten 304, 316, 328 und/oder den lokalen Modellen 306, 318, 330 für jedes Client-Edge-Gerät oder 302, 314, 326 entsprechen.
In mindestens einem Ausführungsbeispiel berechnet oder bestimmt ein föderaler Server 350, der ein föderales Trainingsframework oder ein anderes Softwareframework umfasst, um ein oder mehrere lokale Modelle 306, 318, 330 und/oder ein globales Modell w 358 zu trainieren, einen Wert für jedes feste Aggregationsgewicht a_k 352, 354, 356 zumindest teilweise auf der Grundlage lokaler Daten 304, 316, 328 an jedem Edge-Gerät oder Client 302, 314, 326. In mindestens einem Ausführungsbeispiel trainiert ein föderaler Server 350, der ein föderales Trainings-Framework oder ein anderes Software-Framework umfasst, um ein oder mehrere lokale Modelle 306, 318, 330 und/oder ein globales Modell w 358 zu trainieren, das globale Modell w 358 zumindest teilweise auf der Grundlage eines Validierungsverlustwertes $L^{v a l}$
und einem Trainingsverlustwert $L^{t r a i n} .$
In mindestens einem Ausführungsbeispiel trainiert ein föderaler Server 350, der ein föderales Trainingsframework oder ein anderes Softwareframework zum Trainieren eines oder mehrerer lokaler Modelle 306, 318, 330 und/oder eines globalen Modells w 358 umfasst, unter Verwendung des Validierungsverlustwertes $L^{v a l}$
das eine oder die mehreren lokalen Modelle 306, 318, 330 und/oder das globale Modell w 358 gemäß einer Zielfunktion wie folgt: $min_{a} \sum_{k = 1}^{K} L_{k}^{v a l} (\sum_{k = 1}^{K} a_{k} w_{k})$
derart, dass: $\sum_{k = 1}^{K} a_{k} = 1 and a_{k} > 0,$
wobei $w_{k} = \underset{w}{argmin} L_{k}^{t r a i n} (w)$
ein k-tes lokales Modell 306, 318, 330 oder ein Satz von Trainingsdatenwerten ist, wie z.B. Gewichts- oder Gradientenwerte, die auf einem lokalen Datensatz 304, 316, 328 des Edge-Geräts oder Clients 302, 314, 326 k aktualisiert werden, und $L_{k}^{v a l}$
eine Verlustfunktion auf einem Validierungsdatensatz für Edge-Gerät oder Client 302, 314, 326 k ist.
In mindestens einem Ausführungsbeispiel wird zur Erreichung von Einschränkungen einer Zielfunktion wie der oben beschriebenen eine zusätzliche Menge von Variablen b = [b₁, ..., b_k], die eine gemeinsame Dimension mit lernbaren Aggregationsgewichten 352, 354, 356 a = [a₁ , ..., a_k] haben, wie folgt definiert: $a = γ (b)$
wobei y eine mathematische Funktion und/oder Softwareanweisungen umfasst, die eine mathematische Funktion implementieren, um eine Menge oder einen Vektor von Datenwerten b in lernbare Aggregationsgewichte 352, 354, 356 a umzuwandeln.
In mindestens einem Ausführungsbeispiel wird zur Erfüllung oder anderweitigen Erreichung einer Einschränkung der lernbaren Aggregationsgewichte 352, 354, 356 a in Bezug auf eine Zielfunktion, wie die oben beschriebene, eine Softmax-Funktion auf eine Menge oder einen Vektor von Variablen b angewendet, so dass: $a_{k} = \frac{exp (b_{k})}{\sum_{i = 1}^{K} exp (b_{i})}$
In mindestens einem Ausführungsbeispiel ist eine Verlustfunktion, die einer Zielfunktion oder einem Ziel, wie oben beschrieben, entspricht, nach Anwendung einer Softmax-Funktion wie folgt: $l (\sum_{k = 1}^{K} a_{k} w_{k}, x) = L (b, x)$
wobei die Werte der Neuronale-Netzwerk-Gewichte, wie die Gewichte w_k des lokalen Modells 306, 318, 330, während des Trainings und/oder des Lernens der lernbaren Aggregationsgewichte a_k 352, 354, 356 feststehen.
In mindestens einem Ausführungsbeispiel wird zur Erfüllung oder anderweitigen Erreichung einer Einschränkung der lernbaren Aggregationsgewichte 352, 354, 356 a in Bezug auf eine Zielfunktion, wie die oben beschriebene, eine Wahrscheinlichkeitsdichtefunktion gemäß einem Satz oder Vektor von Variablen b wie folgt verwendet: $Dir (a | b) = \frac{1}{B (b)} \prod_{k = 1}^{K} a_{k}^{b_{k - 1}}$
wobei $B (b) = \frac{\prod_{k = 1}^{K} Γ (b_{k})}{Γ (\sum_{k = 1}^{K} b_{k})}$
und $Γ (z) = \int_{0}^{\infty} x^{z - 1} e^{- x} d x$
eine Gamma-Funktion ist. In mindestens einem Ausführungsbeispiel entspricht eine Wahrscheinlichkeitsdichtefunktion wie oben beschrieben einer Dirichlet-Verteilung, die ein konjugierter Prior einer Multinomialverteilung mit einem Simplex ist. In mindestens einem Ausführungsbeispiel erfüllt jedes Sample einer Wahrscheinlichkeitsdichtefunktion die lernbaren Aggregationsgewichte 352, 354, 356 a_k in Verbindung mit einer Zielfunktion wie der oben beschriebenen.
In mindestens einem Ausführungsbeispiel nimmt ein föderaler Server 350 und/oder ein oder mehrere Edge-Geräte oder Clients 302, 314, 326, die ein föderales Lern-Framework, ein föderales Trainings-Framework oder ein anderes Software-Framework umfassen, um ein oder mehrere lokale Modelle 306, 318, 330 und/oder ein globales Modell w 358 zu trainieren, während einer Trainingsphase bei gegebenem Sample x lokalen Daten 304, 316, 328 lernbare Aggregationsgewichte a 352, 354, 356 aus einer Dirichlet-Verteilung mit der Konzentration b, wie oben beschrieben, approximiert einen Gradienten von b bei gegebener Verlustfunktion L(b, x)wie oben beschrieben, unter Verwendung einer impliziten Neuparametrisierung oder einer anderen Parametrisierungsmethode, und aktualisiert eine Konzentration von b. In mindestens einem Ausführungsbeispiel wird während einer Trainingsphase bei gegebenem Sample x der lokalen Daten 304, 316, 328 ein föderaler Server 350 und/oder ein oder mehrere Edge-Geräte oder Clients 302, 314, 326, die ein föderales Lemframework, föderales Trainingsframework, oder ein anderes Software-Framework, um ein oder mehrere lokale Modelle 306, 318, 330 und/oder ein globales Modell w 358 zu trainieren, lernt parametrisierte Aggregationsgewichte 308, 310, 312, 320, 322, 324, 332, 334, 336, 352, 354, 356 auf differenzierbare Weise aus Daten.
In mindestens einem Ausführungsbeispiel lernt ein föderaler Server 350 und/oder ein oder mehrere Edge-Geräte oder Clients 302, 314, 326, die ein föderales Lern-Framework, ein föderales Trainings-Framework oder ein anderes Software-Framework umfassen, während einer Trainingsphase bei gegebene Sample x der lokalen Daten 304, 316, 328, um ein oder mehrere lokale Modelle 306, 318, 330 und/oder ein globales Modell w 358 zu trainieren, parametrisierte Aggregationsgewichte 308, 310, 312, 320, 322, 324, 332, 334, 336, 352, 354, 356 als netzwerkweise Aggregationsgewichte. In mindestens einem Ausführungsbeispiel, wenn ein föderaler Server 350 und/oder ein oder mehrere Edge-Geräte oder Clients 302, 314, 326 ein föderales Lern-Framework, ein föderales Trainings-Framework oder ein anderes Software-Framework umfassen, um ein oder mehrere lokale Modelle 306, 318, 330 und/oder ein globales Modell w 358 lernt parametrisierte Aggregationsgewichte 308, 310, 312, 320, 322, 324, 332, 334, 336, 352, 354, 356 als netzwerkweise Aggregationsgewichte, wobei jedes Aggregationsgewicht a_k 308, 310, 312, 320, 322, 324, 332, 334, 336, 352, 354, 356 in a ein skalarer Datenwert ist, und ein Prozess für die Aggregation ist wie folgt: $w \leftarrow \sum_{k} a_{k} w_{k}$
In mindestens einem Ausführungsbeispiel lernt ein föderaler Server 350 und/oder ein oder mehrere Edge-Geräte oder Clients 302, 314, 326, die ein föderales Lern-Framework, ein föderales Trainings-Framework oder ein anderes Software-Framework umfassen, während einer Trainingsphase bei gegebenem Sample x der lokalen Daten 304, 316, 328, um ein oder mehrere lokale Modelle 306, 318, 330 und/oder ein globales Modell w 358 zu trainieren, parametrisierte Aggregationsgewichte 308, 310, 312, 320, 322, 324, 332, 334, 336, 352, 354, 356 als schichtweise Aggregationsgewichte. In mindestens einem Ausführungsbeispiel hat ein lokales Modell 306, 318, 330 P Schichten. In mindestens einem Ausführungsbeispiel ist w_k,p ein p-ter Schichtparameter eines lokalen Modells 306, 318, 330 eines Edge-Geräts oder Clients 302, 314, 326 k. In mindestens einem Ausführungsbeispiel, wenn ein föderaler Server 350 und/oder ein oder mehrere Edge-Geräte oder Clients 302, 314, 326, die ein föderales Lern-Framework, ein föderales Trainings-Framework oder ein anderes Software-Framework zum Trainieren eines oder mehrerer lokaler Modelle 306, 318, 330 und/oder eines globalen Modells w 358 umfassen, parametrisierte Aggregationsgewichte 308, 310, 312, 320, 322, 324, 332, 334, 336, 352, 354, 356 als schichtweise Aggregationsgewichte lernen, ist das lernbare Aggregationsgewicht a_k = [a_k,1, ..., a_k,P] ein P-dimensionaler Vektor. In mindestens einem Ausführungsbeispiel, wenn ein föderaler Server 350 und/oder ein oder mehrere Edge-Geräte oder Clients 302, 314, 326, die ein föderales Lern-Framework, ein föderales Trainings-Framework oder ein anderes Software-Framework umfassen, um ein oder mehrere lokale Modelle 306, 318, 330 und/oder ein globales Modell w 358 zu trainieren, parametrisierte Aggregationsgewichte 308, 310, 312, 320, 322, 324, 332, 334, 336, 352, 354, 356 als schichtweise Aggregationsgewichte lernen, wird jedes p-te Schichtgewicht w_p wie folgt berechnet: $w_{p} \leftarrow \sum_{k = 1}^{K} a_{k, p} w_{k, p}$
In mindestens einem Ausführungsbeispiel trainiert ein föderaler Server 350, der ein föderales Lern-Framework, ein föderales Trainings-Framework oder ein anderes Software-Framework umfasst, kollaborativ ein globales Modell w 358 unter Verwendung von T Kommunikationsrunden. In mindestens einem Ausführungsbeispiel überträgt ein föderaler Server 350 während jeder Kommunikationsrunde t ∈ T ein föderaler Server 350 ein globales Modell w 358 an alle Edge-Geräte oder Clients 302, 314, 326 überträgt, 342, 346 oder aussendet. In mindestens einem Ausführungsbeispiel beenden ein oder mehrere Edge-Geräte oder Clients 302, 314, 326 die Aktualisierung der lokalen Modelle 306, 318, 330 parallel. In mindestens einem Ausführungsbeispiel sammelt oder überträgt ein föderaler Server 350 während der Kommunikationsrunde t, sobald ein oder mehrere Edge-Geräte oder Clients 302, 314, 326 die parallele Aktualisierung ihrer lokalen Modelle 306, 318, 330 beendet haben, 338, 342, 346 Neuronale-Netzwerk-Gewichte, wie z.B. Gewichte des lokalen Modells 306, 318, 330 oder skalare Datenwerte, und sammelt oder überträgt 340, 344, 348 lokale Aggregationsgewichte a 308, 310, 312, 320, 322, 324, 332, 334, 336 von jedem Edge-Gerät oder Client 302, 314, 326. In mindestens einem Ausführungsbeispiel aggregiert ein föderaler Server 350 die Neuronale-Netzwerk-Gewichte, wie z.B. die Gewichte oder Skalare des lokalen Modells 306, 318, 330, entsprechend einem Satz globaler lernbarer Gewichte $a^{t} = [a_{1}^{t}, \dots, a_{K}^{t}]$
352, 354, 356 durch gewichtete Mittelwertbildung, um ein aktualisiertes globales Modell w 358 zu berechnen. In mindestens einem Ausführungsbeispiel wird ein Satz globaler lernbarer Gewichte $a^{t} = [a_{1}^{t}, \dots, a_{K}^{t}]$

352, 354, 356 von einem föderalen Server 350 durch ein globales b^t parametrisiert, das die Funktion yparametrisiert, wie oben beschrieben. In mindestens einem Ausführungsbeispiel sammelt oder überträgt ein Server 340, 344, 348 b^t,k von jedem Edge-Gerät oder Client 302, 314, 326 k in jeder Trainingsiteration t, um ein globales b^t zu bestimmen, und mittelt jedes b^t,k, um ein neues globales b^t zu erhalten.
In mindestens einem Ausführungsbeispiel erhält jedes Edge-Gerät oder jeder Client 302, 314, 326 in jeder Kommunikationsrunde t eine Kopie aller neuronalen Netzwerkgewichte w₁,...,w_k, wie Gewichte und/oder Gradienten, von einem föderalen Server 350 als Ergebnis einer Modellübertragung 338, 342, 346. In mindestens einem Ausführungsbeispiel hält jedes Edge-Gerät oder jeder Client 302, 314, 326 die Neuronale-Netzwerk-Gewichte w₁,...,w_k, wie Gewichte und/oder Gradienten, fest, während es die lokalen Aggregationsgewichte a 308, 310, 312, 320, 322, 324, 332, 334, 336 und das lokale b berechnet. Während jeder Trainingsiteration s auf jedem Edge-Gerät oder Client 302, 314, 326 nimmt in einem Ausführungsbeispiel jedes Edge-Gerät oder jeder Client 302, 314, 326 ein Sample oder einen Satz x aus seinen lokalen Daten 304, 316, 328, wie z.B. Validierungs- oder Trainingsdaten, und berechnet die aktuellen lokalen Aggregationsgewichte a 308, 310, 312, 320, 322, 324, 332, 334, 336 von dem lokalen b^s-1 , bevor es x in ein lokales Modell 306, 318, 330 mit Gewicht $\sum_{k = 1}^{K} a_{k} w_{k} .$
In mindestens einem Ausführungsbeispiel berechnet jedes Edge-Gerät oder jeder Client 302, 314, 326 k die Verlustfunktion $L (b^{s - 1}, x)$
und aktualisiert das lokale b^s,k auf der Grundlage einer Berechnung (Softmax) oder Schätzung (Dirichlet-Verteilung) eines Gradienten, wie oben beschrieben. In mindestens einem Ausführungsbeispiel überträgt jedes Edge-Gerät oder jeder Client 302, 314, 326 340, 344, 348 lokale Aggregationsgewichte a 308, 310, 312, 320, 322, 324, 332, 334, 336 und lokales b an einen föderalen Server 350, wie oben beschrieben.
4 veranschaulicht die Anpassung der lernbaren Aggregationsgewichte 414, 416, 418, 426, 428, 430, 438, 440, 442, 450, 452, 454 während der Trainingsrunden 412, 424, 436, 448 zwischen einem föderalen Server 404 und einer Vielzahl von Edge-Geräten oder Clients 402, wobei jede der lernbaren Aggregationsgewichte 414, 416, 418, 426, 428, 430, 438, 440, 442, 450, 452, 454 verwendbar ist, um dynamisch neuronale Netzwerkgewichte durch den föderalen Server 404 auszuwählen, gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel aggregiert ein föderaler Server 404 globale Aggregationsgewichte 414, 416, 418, 426, 428, 430, 438, 440, 442, 450, 452, 454 a = [a₁,..., a_k ], die von k Edge-Geräten oder Clients 402 als Ergebnis einer oder mehrerer Aggregationsgewichtsübertragungen 410, 422, 434, 446 empfangen werden, wie oben in Verbindung mit 3 beschrieben. Während jeder Trainingsrunde 412, 424, 436, 448 passt ein föderaler Server 404 in einem Ausführungsbeispiel die globalen Aggregationsgewichte 414, 416, 418, 426, 428, 430, 438, 440, 442, 450, 452, 454 entsprechend den lokalen Aggregationsgewichten an, die 410, 422, 434, 446 von einem oder mehreren Edge-Geräten oder Clients 402 übertragen werden, und wählt dynamisch neuronale Netzwerkdaten, wie Gewichte, Gradienten oder andere hierin weiter beschriebene neuronale Netzwerkdaten, gemäß jeder der globalen Aggregationsgewichte 414, 416, 418, 426, 428, 430, 438, 440, 442, 450, 452, 454 aus, wie oben in Verbindung mit 3.
In mindestens einem Ausführungsbeispiel wird jede Trainingsrunde 412, 424, 436, 448 von einem föderalen Server 404 und/oder einem oder mehreren Edge-Geräten oder Clients 402 über einen Zeitraum 406 durchgeführt, der erforderlich ist, um N Trainingsrunden abzuschließen. In mindestens einem Ausführungsbeispiel überträgt ein föderaler Server 404 während jeder Trainingsrunde 412, 424, 436, 448 Datenwerte des neuronalen Netzwerks, wie z.B. Gewichte und/oder Gradienten des neuronalen Netzwerks, an jedes Edge-Gerät oder jeden Client 402. Wie oben in Verbindung mit 3 beschrieben, berechnet in einem Ausführungsbeispiel jedes Edge-Gerät oder jeder Client 402 lokale Aggregationsgewichte und überträgt 410, 422, 434, 446 diese lokalen Aggregationsgewichte an einen föderalen Server 404. In mindestens einem Ausführungsbeispiel verwendet ein föderaler Server 404 eine gewichtete Mittelwertbildung, um globale Aggregationsgewichte a 414, 416, 418, 426, 428, 430, 438, 440, 442, 450, 452, 454 zu bestimmen, wie oben in Verbindung mit 3 beschrieben.
Während einer ersten Trainingsrunde 412 werden in einem Ausführungsbeispiel globale Aggregationsgewichte a = [a₁,...,a_k] 414, 416, 418 entsprechend einer oder mehrerer Eigenschaften lokaler Daten, die mit jedem Edge-Gerät oder Client verbunden sind, eingestellt, wie oben in Verbindung mit 2 beschrieben. In mindestens einem Ausführungsbeispiel bestimmt der föderale Server während einer zweiten Trainingsrunde 424 als Ergebnis einer Übertragung von Aggregationsgewichten 422 zwischen einem föderalen Server und einem oder mehreren Edge-Geräten oder Clients 402 neue globale Aggregationsgewichte 426, 428, 430, die entsprechend den von jedem Edge-Gerät oder Client 402 übertragenen lokalen Aggregationsgewichten 422 angepasst werden, wie oben in Verbindung mit 3 beschrieben. In mindestens einem Ausführungsbeispiel bestimmt ein föderaler Server 404 während jeder nachfolgenden Trainingsrunde 436 neue globale Aggregationsgewichte 438, 440, 442, die entsprechend den von jedem Edge-Gerät oder Client 402 übertragenen lokalen Aggregationsgewichten 434 angepasst werden, unter Verwendung der oben in Verbindung mit 3 beschriebenen Techniken. In einem Ausführungsbeispiel überträgt ein föderaler Server 404 während einer abschließenden N-ten Trainingsrunde 448 Datenwerte des neuronalen Netzwerks 444, wie Gewichte, Gradienten oder andere hierin beschriebene Datenwerte des neuronalen Netzwerks, an ein oder mehrere Edge-Geräte oder Clients 402 und empfängt lokale Aggregationsgewichte von jedem Edge-Gerät oder Client 402, die entsprechend den Datenwerten des neuronalen Netzwerks aktualisiert werden, wie oben in Verbindung mit 3 beschrieben, als Ergebnis einer abschließenden Aggregationsgewichtsübertragung 446 von dem einen oder den mehreren Edge-Geräten oder Clients 402. Unter Verwendung lokaler Aggregationsgewichte von jedem Edge-Gerät oder Client 402 bestimmt ein föderaler Server 404 in einem Ausführungsbeispiel einen endgültigen Satz globaler Aggregationsgewichte 450, 452, 454 unter Verwendung der oben in Verbindung mit 3 beschriebenen Techniken.
5 zeigt den Pseudocode 502 zur Durchführung einer lernbaren föderalen Mittelwertbildung unter Verwendung lernbarer Aggregationsgewichte in einer globalen föderalen Trainingsarchitektur gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel definiert ein Server, wie z.B. ein föderaler Server oder ein anderer hierin weiter beschriebener Server, in der Pseudocode-Zeile 502 Datenstrukturen, die anfängliche globale Aggregationsgewichte a und Parametrisierungswerte b darstellen, wie oben in Verbindung mit 3 beschrieben. In mindestens einem Ausführungsbeispiel initialisiert ein Server, z.B. ein föderaler Server oder ein anderer hierin beschriebener Server, in Pseudocode 502 Zeile 506 Datenwerte des neuronalen Netzwerks, z.B. Gewichtswerte w⁰, sowie globale Aggregationsgewichte a und Parametrierungswerte b. In mindestens einem Ausführungsbeispiel führt ein Server, z.B. ein föderaler Server oder ein anderer hierin beschriebener Server, bei den Pseudocode-Zeilen 502, 508, 510 und 512 T globale Trainingsiterationen oder -runden durch, wobei jedes Edge-Gerät oder jeder Client von K Edge-Geräten oder Clients ein lokales Modelltraining durchführt, wie oben in Verbindung mit 3 beschrieben und weiter unten beschrieben. In mindestens einem Ausführungsbeispiel empfängt ein Server, wie z.B. ein föderaler Server oder ein anderer hierin weiter beschriebener Server, in Pseudocode 502 Zeile 512 Datenwerte des neuronalen Netzwerks, wie z.B. Gewichtswerte $w_{k}^{t}$
von jedem Edge-Gerät oder Client während jeder Runde globaler Trainingsiteration oder Runde t in T als Ergebnis jedes Edge-Geräts oder Clients, der ein lokales Modelltraining durchführt, wie oben in Verbindung mit 3 beschrieben und unten weiter beschrieben.
In mindestens einem Ausführungsbeispiel lernt in den Pseudocode-Zeilen 514, 516, 518 als Ergebnis einer Trainingsrunde t in T, die eine Bedingung erfüllt, wie z.B. ein Vielfaches eines bestimmten Wertes t⁰ oder eine t-te Iteration oder Runde zu sein, ein Server, wie z.B. ein föderaler Server oder ein anderer hierin weiter beschriebener Server, einen globalen Parametrisierungswert b und berechnet parametrisierte globale Aggregationsgewichte a für eine Runde t in T, wie oben in Verbindung mit den 3 und 4 beschrieben. In mindestens einem Ausführungsbeispiel setzt ein Server, wie z.B. ein föderaler Server oder ein anderer hierin weiter beschriebener Server, in den Pseudocode 502 Zeilen 520 und 522 als Ergebnis einer Trainingsrunde t in T, die eine Bedingung nicht erfüllt, wie z.B. ein Vielfaches eines bestimmten Wertes t⁰ oder eine Iteration oder t-ten Runde, die aktuellen globalen Aggregationsgewichte a für eine aktuelle globale Trainingsiteration oder Runde t auf die vorherigen globalen Aggregationsgewichte a aus einer vorherigen globalen Trainingsiteration oder Runde t-1. In mindestens einem Ausführungsbeispiel aktualisiert ein Server, wie z.B. ein föderaler Server oder jeder andere hierin weiter beschriebene Server, in Pseudocode 502 Zeile 524 ein globales Modell w für eine aktuelle Trainingsiteration oder Runde t gemäß den Datenwerten des neuronalen Netzwerks, wie z.B. den Gewichten, die von K Edge-Geräten oder Clients gemäß den aktuellen globalen Aggregationsgewichten a für die aktuelle Runde t erhalten werden.
In mindestens einem Ausführungsbeispiel führt ein Edge-Gerät oder Client bei Pseudocode 502 Zeile 526 M lokale Modelltrainingsiterationen oder -runden durch. In mindestens einem Ausführungsbeispiel wird bei Pseudocode 502 Zeile 528 bei jeder Randvorrichtung oder jedem Client von K Randvorrichtungen oder Clients ein Satz oder Stapel x lokaler Daten, wie z.B. Trainingsdaten oder Validierungsdaten, speziell für die Randvorrichtung oder den Client abgetastet, wie oben in Verbindung mit 3 beschrieben. In mindestens einem Ausführungsbeispiel berechnet in Pseudocode 502 Zeile 530 jede Randvorrichtung oder jeder Client von K Randvorrichtungen oder Clients einen Verlustwert l(w,x), wie oben in Verbindung mit 3 beschrieben. In mindestens einem Ausführungsbeispiel berechnet in Pseudocode 502 Zeile 532 jede Randvorrichtung oder jeder Client von K Randvorrichtungen oder Clients einen Gradienten von w und aktualisiert das lokale Modell der Randvorrichtung oder des Clients.
In mindestens einem Ausführungsbeispiel sendet in den Pseudocode 502-Zeilen 534 und 536 ein Server, wie z.B. ein föderaler Server oder ein anderer hierin weiter beschriebener Server, Datenwerte des neuronalen Netzwerks, wie z.B. Gewichtswerte w₁,...,w_k, an jedes Edge-Gerät oder jeden Client. In mindestens einem Ausführungsbeispiel führt jedes Edge-Gerät oder jeder Client von K Edge-Geräten oder Clients bei den Pseudocode 502-Zeilen 538 und 540 S lokale Aggregationsgewichts-Lern- oder -Trainingsiterationen oder -Runden durch, um lokale Aggregationsgewichte zu lernen, wie oben in Verbindung mit den 3 und 4 beschrieben. In mindestens einem Ausführungsbeispiel sendet oder überträgt ein Server, wie z.B. ein föderaler Server oder ein anderer hierin weiter beschriebener Server, bei Pseudocode 502 Zeile 542 globale Aggregationsparameter b für eine vorherige Trainingsrunde oder Iteration s-1 an jedes Edge-Gerät oder jeden Client k von K Edge-Geräten oder Clients. In mindestens einem Ausführungsbeispiel nimmt jedes Edge-Gerät oder jeder Client k von K Edge-Geräten oder Clients in der Pseudocode-Zeile 544 einen Satz oder Stapel x lokaler Daten, wie z.B. Trainingsdaten oder Validierungsdaten, die für das Edge-Gerät oder den Client k spezifisch sind, wie oben in Verbindung mit 3 beschrieben. In mindestens einem Ausführungsbeispiel berechnet jedes Edge-Gerät oder jeder Client k von K Edge-Geräten oder Clients in Pseudocode 502 Zeile 546 den Verlustwert $L (b^{s - 1}, x)$
wie oben in Verbindung mit 3 beschrieben. In mindestens einem Ausführungsbeispiel berechnet oder schätzt bei Pseudocode 502 Zeile 548 jedes Edge-Gerät oder jeder Client k von K Edge-Geräten oder Clients einen Gradienten und aktualisiert die Parametrierungswerte b^s-1 als b^s,k , wie oben in Verbindung mit 3 beschrieben. In mindestens einem Ausführungsbeispiel sendet jedes Edge-Gerät oder jeder Client k von K Edge-Geräten oder Clients in der Pseudocode-Zeile 550 lokale Parametrierungswerte b^s,k zurück an einen Server, wie z.B. einen föderalen Server oder einen anderen hierin weiter beschriebenen Server, wie oben in Verbindung mit 3 beschrieben. In mindestens einem Ausführungsbeispiel berechnet ein Server, wie z.B. ein föderaler Server oder ein anderer hierin weiter beschriebener Server, in der Pseudocode 502 Zeile 552 den globalen Parametrierungswert b für die Iteration oder Runde s unter Verwendung einer gewichteten Mittelwertbildung über lokale Parametrierungswerte b^s,k , die von jedem Edge-Gerät oder Client k von K Edge-Geräten oder Clients empfangen wurden, wie oben in Verbindung mit 3 beschrieben.
6 illustriert einen Prozess 600 zur Durchführung einer lernbaren föderalen Mittelwertbildung in einer globalen föderalen Trainingsarchitektur gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel wird ein Prozess 600 zur Durchführung einer lernbaren föderalen Mittelwertbildung in einer globalen föderalen Trainingsarchitektur durch dynamisches Auswählen von neuronalen Netzwerkdaten, wie z.B. neuronalen Netzwerkgewichtswerten, die als Ergebnis einer oder mehrerer Trainingsrunden durch ein oder mehrere Edge-Geräte oder Clients bestimmt wurden, wie hierin weiter beschrieben, durchgeführt. In mindestens einem Ausführungsbeispiel beginnt ein Prozess 600 zum dynamischen Auswählen von Gewichten eines oder mehrerer neuronalen Netzwerke und zum Trainieren eines oder mehrerer Neuronalen Netzwerke auf der Grundlage von lernbaren Aggregationsgewichten 602 durch einen Server, wie z.B. einen föderalen Server oder einen anderen hierin beschriebenen Server, der 604 anfängliche Gewichtswerte eines neuronalen Netzwerks, wie z.B. ein globales Modell und globale Aggregationsgewichtsdaten, an alle Edge-Geräte oder Clients der globalen föderalen Trainingsarchitektur sendet, wie oben in Verbindung mit den 3-5 beschrieben. In mindestens einem Ausführungsbeispiel aktualisiert jedes Edge-Gerät oder jeder Client einer globalen föderalen Trainingsarchitektur 606 seine lokalen Modelle und Aggregationsgewichte parallel zu anderen Edge-Geräten oder Clients der globalen föderalen Trainingsarchitektur, wie oben in Verbindung mit den 3 und 5 beschrieben.
In mindestens einem Ausführungsbeispiel sendet jedes Edge-Gerät oder jeder Client einer globalen föderalen Trainingsarchitektur 608 neuronale Netzwerkdaten, wie z.B. lokale Modellgewichte und/oder lokale Aggregationsgewichte, an einen Server, wie z.B. einen föderalen Server oder einen anderen hierin beschriebenen Server, wie oben in Verbindung mit den 3 und 5 beschrieben. In mindestens einem Ausführungsbeispiel aggregiert ein Server, wie z.B. ein föderaler Server oder ein anderer hierin beschriebener Server, 610 neuronale Netzwerkgewichte von jedem Edge-Gerät oder Client, wie z.B. lokale Modellgewichte oder skalare Datenwerte, die lokalen Modellen entsprechen, wie oben in Verbindung mit den 3 und 5 beschrieben.
In mindestens einem Ausführungsbeispiel aktualisiert ein Server, wie z.B. ein föderaler Server oder ein anderer hierin beschriebener Server, 612 globale Aggregationsgewichte gemäß lokalen Aggregationsgewichten, die von einem oder mehreren Edge-Geräten oder Clients einer globalen föderalen Trainingsarchitektur empfangen werden, wie oben in Verbindung mit den 3-5 beschrieben. In mindestens einem Ausführungsbeispiel aktualisiert ein Server, wie z.B. ein föderaler Server oder ein anderer hierin beschriebener Server, in einer einzigen föderalen Trainingsiteration oder -runde 614 ein globales Modell entsprechend den globalen Aggregationsgewichten und den Gewichtswerten des neuronalen Netzwerks, die von einem oder mehreren Edge-Geräten oder Clients einer globalen föderalen Trainingsarchitektur empfangen wurden, wie oben in Verbindung mit den 3 und 5 beschrieben.
In mindestens einem Ausführungsbeispiel sendet der Server als letzten Schritt in jeder föderalen Trainingsiteration oder -runde nach der Aktualisierung 614 eines globalen Modells durch einen Server gemäß den globalen Aggregationsgewichten und den Gewichtswerten des neuronalen Netzwerks, die von einem oder mehreren Edge-Geräten oder Clients empfangen wurden, 616 eine Kopie jedes lokalen Modells, das von jedem Edge-Gerät oder Client empfangen wurde, an jedes Edge-Gerät oder jeden Client, so dass jedes Edge-Gerät oder jeder Client eine Kopie des lokalen Modells jedes anderen Edge-Geräts oder Clients erhält. In mindestens einem Ausführungsbeispiel verwendet jedes Edge-Gerät oder jeder Client lokale Modelle für jedes andere Edge-Gerät oder jeden anderen Client, die von einem Server 616 empfangen wurden, um neue lokale Aggregationsgewichte zu lernen, wie oben in Verbindung mit den und beschrieben.
In mindestens einem Ausführungsbeispiel endet ein Prozess 600 zur Durchführung einer lernbaren föderalen Mittelwertbildung in einer globalen föderalen Trainingsarchitektur 620, wenn das Training abgeschlossen ist 618, z.B. wenn eine vorbestimmte Anzahl von Trainingsrunden von einem Server, z.B. einem föderalen Server oder einem anderen hierin beschriebenen Server, sowie von einem oder mehreren Edge-Geräten oder Clients durchgeführt wurde. In mindestens einem Ausführungsbeispiel wird ein Prozess 600 zur Durchführung einer lernbaren föderalen Mittelwertbildung in einer globalen föderalen Trainingsarchitektur fortgesetzt, indem der Server 604 aktualisierte neuronale Netzwerkdaten, wie ein aktualisiertes globales Modell und aktualisierte globale Aggregationsgewichte, an das eine oder die mehreren Edge-Geräte oder Clients sendet, wenn das Training nicht abgeschlossen ist 618, beispielsweise wenn zusätzliche Trainingsrunden von einem Server, wie einem föderalen Server oder einem anderen hierin beschriebenen Server, oder einem oder mehreren Edge-Geräten oder Clients durchgeführt werden sollen.
INFERENZ- UND TRAININGSLOGIK
7A zeigt eine Inferenz- und/oder Trainingslogik 715, die verwendet wird, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden weiter unten in Verbindung mit den 7A und/oder 7B beschrieben.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung einen Code- und/oder Datenspeicher 701 umfassen, um Vorwärts- und/oder Ausgangsgewichte und/oder Eingangs-/Ausgangsdaten und/oder andere Parameter zu speichern, um Neuronen oder Schichten eines neuronalen Netzwerks zu konfigurieren, das in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder zum Inferieren verwendet wird. In mindestens einem Ausführungsbeispiel kann die Trainingslogik 715 einen Code- und/oder Datenspeicher 701 enthalten oder mit diesem gekoppelt sein, um einen Graphencode oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge steuert, in der Gewichts- und/oder andere Parameterinformationen geladen werden, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend arithmetische Logikeinheiten (ALUs)). In mindestens einem Ausführungsbeispiel lädt ein Code, z.B. ein Graphencode, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs auf der Grundlage einer Architektur eines neuronalen Netzwerks, der ein solcher Code entspricht. In mindestens einem Ausführungsbeispiel speichert der Code und/oder der Datenspeicher 701 Gewichtsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das während der Vorwärtspropagierung von Eingabe-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenz unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einem Ausführungsbeispiel kann ein beliebiger Teil des Code- und/oder Datenspeichers 701 in einen anderen On-Chip- oder Off-Chip-Datenspeicher aufgenommen werden, einschließlich des L1-, L2- oder L3-Cachespeichers oder Systemspeichers eines Prozessors.
In mindestens einem Ausführungsbeispiel kann jeder Teil des Code- und/oder Datenspeichers 701 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen sein. In mindestens einem Ausführungsbeispiel kann der Code und/oder der Code- und/oder Datenspeicher 701 ein Cache-Speicher, ein dynamischer, zufällig adressierbarer Speicher („DRAM“), ein statischer, zufällig adressierbarer Speicher („SRAM“), ein nichtflüchtiger Speicher (z.B. ein Flash-Speicher) oder ein anderer Speicher sein. In mindestens einem Ausführungsbeispiel kann die Wahl, ob der Code- und/oder Code- und/oder Datenspeicher 701 intern oder extern zu einem Prozessor ist, oder ob er DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgröße der bei der Inferenz und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung einen Code- und/oder Datenspeicher 705 umfassen, um Rückwärts- und/oder Ausgangsgewichts- und/oder Eingabe-/Ausgabedaten zu speichern, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder zum Inferieren verwendet wird. In mindestens einem Ausführungsbeispiel speichert der Code- und/oder Datenspeicher 705 Gewichtsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das während der Rückwärtspropagation von Eingabe-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einem Ausführungsbeispiel kann die Trainingslogik 715 einen Code- und/oder Datenspeicher 705 enthalten oder mit diesem gekoppelt sein, um einen Graphencode oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge steuert, in der Gewichts- und/oder andere Parameterinformationen geladen werden, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend arithmetische Logikeinheiten (ALUs)).
In mindestens einem Ausführungsbeispiel bewirkt ein Code, z.B. ein Graphencode, das Laden von Gewichts- oder anderen Parameterinformationen in Prozessor-ALUs auf der Grundlage einer Architektur eines neuronalen Netzwerks, dem ein solcher Code entspricht. In mindestens einem Ausführungsbeispiel kann ein beliebiger Teil des Code- und/oder Datenspeichers 705 in einen anderen On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, integriert werden. In mindestens einem Ausführungsbeispiel kann jeder Teil des Code- und/oder Datenspeichers 705 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder - Schaltungen sein. In mindestens einem Ausführungsbeispiel kann der Code- und/oder Datenspeicher 705 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einem Ausführungsbeispiel kann die Entscheidung, ob der Code- und/oder Datenspeicher 705 intern oder extern zu einem Prozessor ist, oder ob er DRAM, SRAM, Flash-Speicher oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgröße der bei der Inferenz und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einem Ausführungsbeispiel können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 separate Speicherstrukturen sein. In mindestens einem Ausführungsbeispiel können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 eine kombinierte Speicherstruktur sein. In mindestens einem Ausführungsbeispiel können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 teilweise kombiniert und teilweise getrennt sein. In mindestens einem Ausführungsbeispiel kann ein beliebiger Teil des Code- und/oder Datenspeichers 701 und des Code- und/oder Datenspeichers 705 in einen anderen On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, integriert werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung eine oder mehrere arithmetische Logikeinheit(en) („ALU(s)“) 710 umfassen, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, um logische und/oder mathematische Operationen durchzuführen, die zumindest teilweise auf Trainings- und/oder Inferenzcode (z.B. Graphencode) basieren oder von diesem angezeigt werden (z.B. Graphencode), deren Ergebnis in einem Aktivierungsspeicher 720 gespeicherte Aktivierungen (z.B. Ausgabewerte von Schichten oder Neuronen innerhalb eines neuronalen Netzwerks) erzeugen kann, die Funktionen von in Code- und/oder Datenspeicher 701 und/oder Code- und/oder Datenspeicher 705 gespeicherten Eingabe/Ausgabe- und/oder Gewichtsparameterdaten sind. In mindestens einem Ausführungsbeispiel werden die im Aktivierungsspeicher 720 gespeicherten Aktivierungen gemäß linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die von der/den ALU(s) 710 als Reaktion auf Ausführungsbefehle oder anderen Code ausgeführt wird, wobei im Code- und/oder Datenspeicher 705 und/oder Datenspeicher 701 gespeicherte Gewichtswerte als Operanden zusammen mit anderen Werten, wie z.B. Bias-Werten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, verwendet werden, die ganz oder teilweise im Code- und/oder Datenspeicher 705 oder Code- und/oder Datenspeicher 701 oder einem anderen Speicher auf oder außerhalb des Chips gespeichert sein können.
In mindestens einem Ausführungsbeispiel sind ALU(s) 710 in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen enthalten, während in einer anderen Ausführungsform ALU(s) 710 extern zu einem Prozessor oder einem anderen Hardware-Logikgerät oder einer Schaltung sein können, die sie verwenden (z.B. ein Co-Prozessor). In mindestens einem Ausführungsbeispiel können die ALUs 710 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Bank von ALUs enthalten sein, auf die die Ausführungseinheiten eines Prozessors entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlichen Typs (z.B. zentrale Verarbeitungseinheiten, Grafikverarbeitungseinheiten, feste Funktionseinheiten usw.) zugreifen können. In mindestens einem Ausführungsbeispiel können sich der Code- und/oder Datenspeicher 701, der Code- und/oder Datenspeicher 705 und der Aktivierungsspeicher 720 einen Prozessor oder eine andere Hardware-Logikvorrichtung oder -schaltung teilen, während sie sich in einer anderen Ausführungsform in verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen oder in einer Kombination aus gleichen und verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen befinden können. In mindestens einem Ausführungsbeispiel kann ein beliebiger Teil des Aktivierungsspeichers 720 in einen anderen On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, integriert werden. Darüber hinaus kann der Inferenz- und/oder Trainingscode zusammen mit anderem Code gespeichert werden, auf den ein Prozessor oder eine andere Hardware-Logik oder - Schaltung zugreifen kann und der mit Hilfe der Abruf-, Dekodier-, Planungs-, Ausführungs-, Ausscheidungs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet wird.
In mindestens einem Ausführungsbeispiel kann der Aktivierungsspeicher 720 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einem Ausführungsbeispiel kann sich der Aktivierungsspeicher 720 vollständig oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen befinden. In mindestens einem Ausführungsbeispiel kann die Wahl, ob der Aktivierungsspeicher 720 intern oder extern zu einem Prozessor ist oder DRAM, SRAM, Flash-Speicher oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgröße der bei der Inferenz und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einem Ausführungsbeispiel kann die in 7A dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung („ASIC“) verwendet werden, wie z.B. einer TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“)-Prozessor von Intel Corp. In mindestens einem Ausführungsbeispiel kann die in 7A dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit Hardware der Zentraleinheit („CPU“), der Grafikverarbeitungseinheit („GPU“) oder anderer Hardware, wie z.B. feldprogrammierbaren Gate-Arrays („FPGAs“), verwendet werden.
7B zeigt die Inferenz- und/oder Trainingslogik 715 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung eine Hardware-Logik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einem Ausführungsbeispiel kann die in 7B dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) verwendet werden, wie z.B. der TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana®-Prozessor (z.B. „Lake Crest“) von Intel Corp. In mindestens einem Ausführungsbeispiel kann die in 7B dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit Hardware der Zentraleinheit (CPU), der Grafikverarbeitungseinheit (GPU) oder anderer Hardware, wie z.B. FPGAs (Field Programmable Gate Arrays), verwendet werden. In mindestens einem Ausführungsbeispiel umfasst die Inferenz- und/oder Trainingslogik 715, ohne Einschränkung, den Code- und/oder Datenspeicher 701 und den Code- und/oder Datenspeicher 705, die zum Speichern von Code (z.B. Graphencode), Gewichtswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einem Ausführungsbeispiel, die in 7B dargestellt ist, ist jeder Code- und/oder Datenspeicher 701 und jeder Code- und/oder Datenspeicher 705 mit einer dedizierten Rechenressource verbunden, wie z.B. Rechenhardware 702 bzw. Rechenhardware 706. In mindestens einem Ausführungsbeispiel umfasst jede der Berechnungshardware 702 und der Berechnungshardware 706 eine oder mehrere ALUs, die mathematische Funktionen, wie lineare algebraische Funktionen, nur auf Informationen ausführen, die im Code- und/oder Datenspeicher 701 bzw. im Code- und/oder Datenspeicher 705 gespeichert sind, wobei das Ergebnis im Aktivierungsspeicher 720 gespeichert wird.
In mindestens einem Ausführungsbeispiel entsprechen jeder der Code- und/oder Datenspeicher 701 und 705 und die entsprechende Rechenhardware 702 bzw. 706 verschiedenen Schichten eines neuronalen Netzwerks, so dass die resultierende Aktivierung von einem Speicher-/Rechenpaar 701/702 aus Code- und/oder Datenspeicher 701 und Rechenhardware 702 als Eingabe für ein nächstes Speicher-/Rechenpaar 705/706 aus Code- und/oder Datenspeicher 705 und Rechenhardware 706 bereitgestellt wird, um eine konzeptionelle Organisation eines neuronalen Netzwerks zu spiegeln. In mindestens einem Ausführungsbeispiel kann jedes der Speicher-/Rechenpaare 701/702 und 705/706 mehr als einer neuronalen Netzschicht entsprechen. In mindestens einem Ausführungsbeispiel können zusätzliche Speicher-/Rechenpaare (nicht dargestellt) im Anschluss an oder parallel zu den Speicher-/Rechenpaaren 701/702 und 705/706 in die Inferenz- und/oder Trainingslogik 715 einbezogen werden.
TRAINING UND EINSATZ NEURONALER NETZE
8 illustriert das Training und den Einsatz eines Deep Neural Networks gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel wird ein untrainiertes neuronales Netzwerkwerk 806 unter Verwendung eines Trainingsdatensatzes 802 trainiert. In mindestens einem Ausführungsbeispiel ist das Trainingsframework 804 ein PyTorch-Framework, während in anderen Ausführungsformen das Trainingsframework 804 ein TensorFlow-, Boost-, Caffe-, Microsoft Cognitive Toolkit/CNTK-, MXNet-, Chainer-, Keras-, Deepleaming4j- oder anderes Trainingsframework ist. In mindestens einem Ausführungsbeispiel trainiert das Trainings-Framework 804 ein untrainiertes neuronales Netzwerkwerk 806 und ermöglicht dessen Training unter Verwendung der hier beschriebenen Verarbeitungsressourcen, um ein trainiertes neuronales Netzwerkwerk 808 zu erzeugen. In mindestens einem Ausführungsbeispiel können die Gewichte zufällig oder durch Vortraining mit einem Deep Belief Network ausgewählt werden. In mindestens einem Ausführungsbeispiel kann das Training entweder auf überwachte, teilweise überwachte oder nicht überwachte Weise durchgeführt werden.
In mindestens einem Ausführungsbeispiel wird das untrainierte neuronale Netzwerk 806 durch überwachtes Lernen trainiert, wobei der Trainingsdatensatz 802 eine Eingabe enthält, die mit einer gewünschten Ausgabe für eine Eingabe gepaart ist, oder wobei der Trainingsdatensatz 802 eine Eingabe mit einer bekannten Ausgabe enthält und eine Ausgabe des neuronalen Netzwerks 806 manuell bewertet wird. In mindestens einem Ausführungsbeispiel wird das untrainierte neuronale Netzwerk 806 auf überwachte Weise trainiert und verarbeitet Eingaben aus dem Trainingsdatensatz 802 und vergleicht die resultierenden Ausgaben mit einem Satz erwarteter oder gewünschter Ausgaben. In mindestens einem Ausführungsbeispiel werden die Fehler dann durch das untrainierte neuronale Netzwerk 806 zurückverfolgt. In mindestens einem Ausführungsbeispiel passt der Trainings-Framework 804 die Gewichte an, die das untrainierte neuronale Netzwerk 806 steuern. In mindestens einem Ausführungsbeispiel enthält der Trainings-Framework 804 Werkzeuge, um zu überwachen, wie gut das untrainierte neuronale Netzwerk 806 zu einem Modell konvergiert, wie z.B. dem trainierten neuronalen Netzwerk 808, das geeignet ist, auf der Grundlage von Eingabedaten, wie z.B. einem neuen Datensatz 812, korrekte Antworten zu erzeugen, wie z.B. im Ergebnis 814. In mindestens einem Ausführungsbeispiel trainiert der Trainings-Framework 804 das untrainierte neuronale Netzwerk 806 wiederholt, während er die Gewichte anpasst, um eine Ausgabe des untrainierten neuronalen Netzes 806 unter Verwendung einer Verlustfunktion und eines Anpassungsalgorithmus, wie z.B. stochastischer Gradientenabstieg, zu verfeinern. In mindestens einem Ausführungsbeispiel trainiert der Trainings-Framework 804 das untrainierte neuronale Netzwerk 806, bis das untrainierte neuronale Netzwerk 806 eine gewünschte Genauigkeit erreicht. In mindestens einem Ausführungsbeispiel kann das trainierte neuronale Netzwerk 808 dann eingesetzt werden, um eine beliebige Anzahl von maschinellen Lernoperationen zu implementieren.
In mindestens einem Ausführungsbeispiel wird das untrainierte neuronale Netzwerk 806 unter Verwendung von unüberwachtem Lernen trainiert, wobei das untrainierte neuronale Netzwerk 806 versucht, sich selbst unter Verwendung unmarkierter Daten zu trainieren. In mindestens einem Ausführungsbeispiel enthält der Trainingsdatensatz 802 für unüberwachtes Lernen Eingabedaten ohne zugehörige Ausgabedaten oder „Grundwahrheitsdaten“. In mindestens einem Ausführungsbeispiel kann das untrainierte neuronale Netzwerk 806 Gruppierungen innerhalb des Trainingsdatensatzes 802 erlernen und bestimmen, wie einzelne Eingaben mit dem untrainierten Datensatz 802 zusammenhängen. In mindestens einem Ausführungsbeispiel kann das unüberwachte Training verwendet werden, um eine selbstorganisierende Karte im trainierten neuronalen Netzwerk 808 zu erzeugen, die in der Lage ist, Operationen durchzuführen, die bei der Reduzierung der Dimensionalität des neuen Datensatzes 812 nützlich sind. In mindestens einem Ausführungsbeispiel kann unüberwachtes Training auch zur Erkennung von Anomalien verwendet werden, was die Identifizierung von Datenpunkten im neuen Datensatz 812 ermöglicht, die von den normalen Mustern des neuen Datensatzes 812 abweichen.
In mindestens einem Ausführungsbeispiel kann halbüberwachtes Lernen verwendet werden, d. h. eine Technik, bei der der Trainingsdatensatz 802 eine Mischung aus markierten und unmarkierten Daten enthält. In mindestens einem Ausführungsbeispiel kann der Trainings-Framework 804 verwendet werden, um inkrementelles Lernen durchzuführen, z.B. durch übertragene Lerntechniken. In mindestens einem Ausführungsbeispiel ermöglicht das inkrementelle Lernen dem trainierten neuronalen Netzwerk 808, sich an einen neuen Datensatz 812 anzupassen, ohne das Wissen zu vergessen, das dem trainierten neuronalen Netzwerk 808 während des anfänglichen Trainings eingeflößt wurde.
DATENZENTRUM
9 zeigt ein Beispiel für ein Rechenzentrum 900, in dem mindestens eine Ausführungsform verwendet werden kann. In mindestens einem Ausführungsbeispiel umfasst das Rechenzentrum 900 eine Rechenzentrumsinfrastrukturschicht 910, eine Rahmenschicht 920, eine Softwareschicht 930 und eine Anwendungsschicht 940.
In mindestens einem Ausführungsbeispiel, wie in 9 gezeigt, kann die Infrastrukturschicht 910 des Rechenzentrums einen Ressourcen-Orchestrator 912, gruppierte Rechenressourcen 914 und Knoten-Rechenressourcen („Knoten-C.R.s“) 916(1)-916(N) umfassen, wobei „N“ eine positive ganze Zahl darstellt (die eine andere ganze Zahl „N“ sein kann als in anderen Figuren verwendet). In mindestens einem Ausführungsbeispiel können die Knoten C.R.s 916(1)-916(N) eine beliebige Anzahl von Zentraleinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, Field Programmable Gate Arrays (FPGAs), Grafikprozessoren usw.) umfassen, sind aber nicht darauf beschränkt.), Speichervorrichtungen 918(1)-918(N) (z.B. dynamischer Festspeicher, Festkörperspeicher oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabevorrichtungen („NW I/O“), Netzwerk-Switches, virtuelle Maschinen („VMs“), Stromversorgungsmodule und Kühlmodule usw. In mindestens einem Ausführungsbeispiel können ein oder mehrere Knoten-C.R.s unter den Knoten-C.R.s 916(1)-916(N) ein Server mit einer oder mehreren der oben genannten Rechenleistungen sein.
In mindestens einem Ausführungsbeispiel können die gruppierten Rechenressourcen 914 separate Gruppierungen von Knoten-C.R.s umfassen, die in einem oder mehreren Racks (nicht gezeigt) oder in vielen Racks in Datenzentren an verschiedenen geografischen Standorten (ebenfalls nicht gezeigt) untergebracht sind. In mindestens einem Ausführungsbeispiel können separate Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechenressourcen 914 gruppierte Rechen-, Netzwerk-, Speicher- oder Speicherressourcen umfassen, die zur Unterstützung einer oder mehrerer Arbeitslasten konfiguriert oder zugewiesen werden können. In mindestens einem Ausführungsbeispiel können mehrere Knoten-C.R.s mit CPUs oder Prozessoren in einem oder mehreren Racks gruppiert werden, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einem Ausführungsbeispiel können ein oder mehrere Racks auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination enthalten.
In mindestens einem Ausführungsbeispiel kann der Ressourcen-Orchestrator 912 einen oder mehrere Knoten C.R.s 916(1)-916(N) und/oder gruppierte Rechenressourcen 914 konfigurieren oder anderweitig steuern. In mindestens einem Ausführungsbeispiel kann der Ressourcen-Orchestrator 912 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 900 enthalten. In mindestens einem Ausführungsbeispiel kann der Ressourcen-Orchestrator 712 Hardware, Software oder eine Kombination davon umfassen.
In mindestens einem Ausführungsbeispiel, wie in 9 gezeigt, umfasst die Rahmenschicht 920 einen Job Planer 922, einen Konfigurationsmanager 924, einen Ressourcenmanager 926 und ein verteiltes Dateisystem 928. In mindestens einem Ausführungsbeispiel kann die Rahmenschicht 920 einen Rahmen zur Unterstützung der Software 932 der Softwareschicht 930 und/oder einer oder mehrerer Anwendungen 942 der Anwendungsschicht 940 umfassen. In mindestens einem Ausführungsbeispiel können die Software 932 oder die Anwendung(en) 942 jeweils webbasierte Dienstsoftware oder Anwendungen umfassen, wie sie beispielsweise von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einem Ausführungsbeispiel kann die Framework-Schicht 920 eine Art von freiem und quelloffenem Software-Webanwendungs-Framework wie Apache Spark™ (im Folgenden „Spark“) sein, das ein verteiltes Dateisystem 928 für die Verarbeitung großer Datenmengen (z.B. „Big Data“) nutzen kann, ist aber nicht darauf beschränkt. In mindestens einem Ausführungsbeispiel kann der Job Planer 932 einen Spark-Treiber enthalten, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 900 unterstützt werden. In mindestens einem Ausführungsbeispiel kann der Konfigurationsmanager 924 in der Lage sein, verschiedene Schichten zu konfigurieren, z.B. die Softwareschicht 930 und die Rahmenschicht 920 einschließlich Spark und das verteilte Dateisystem 928 zur Unterstützung der Verarbeitung großer Datenmengen. In mindestens einem Ausführungsbeispiel kann der Ressourcenmanager 926 in der Lage sein, geclusterte oder gruppierte Computerressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 928 und des Job Planers 922 zugeordnet sind. In mindestens einem Ausführungsbeispiel können geclusterte oder gruppierte Rechenressourcen gruppierte Rechenressourcen 914 auf der Infrastrukturschicht 910 des Rechenzentrums umfassen. In mindestens einem Ausführungsbeispiel kann der Ressourcenmanager 926 mit dem Ressourcen-Orchestrator 912 koordiniert werden, um diese zugeordneten oder zugewiesenen Computerressourcen zu verwalten.
In mindestens einem Ausführungsbeispiel kann die in der Softwareschicht 930 enthaltene Software 932 Software enthalten, die von mindestens Teilen der Knoten C.R.s 916(1)-916(N), der gruppierten Rechenressourcen 914 und/oder des verteilten Dateisystems 928 der Rahmenschicht 920 verwendet wird. In mindestens einem Ausführungsbeispiel können eine oder mehrere Arten von Software unter anderem Internet-Suchsoftware, E-Mail-Virenscan-Software, Datenbanksoftware und Software für Streaming-Videoinhalte umfassen.
In mindestens einem Ausführungsbeispiel kann (können) die in der Anwendungsschicht 940 enthaltene(n) Anwendung(en) 942 eine oder mehrere Arten von Anwendungen umfassen, die von mindestens Teilen der Knoten C.R.s 916(1)-916(N), den gruppierten Rechenressourcen 914 und/oder dem verteilten Dateisystem 928 der Rahmenschicht 920 verwendet werden. In mindestens einem Ausführungsbeispiel können eine oder mehrere Arten von Anwendungen eine beliebige Anzahl von Genomanwendungen, eine kognitive Rechenanwendung und eine maschinelle Lernanwendung, einschließlich Trainings- oder Inferenzsoftware, maschinelle Lemsoftware (z.B. PyTorch, TensorFlow, Caffe usw.) oder andere maschinelle Lemanwendungen, die in Verbindung mit einem oder mehreren Ausführungsbeispielen verwendet werden, umfassen, sind aber nicht darauf beschränkt.
In mindestens einem Ausführungsbeispiel können der Konfigurationsmanager 924, der Ressourcenmanager 926 und der Ressourcen-Orchestrator 912 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren, die auf einer beliebigen Menge und Art von Daten basieren, die auf jede technisch mögliche Weise erfasst werden. In mindestens einem Ausführungsbeispiel können selbstmodifizierende Aktionen einen Rechenzentrumsbetreiber des Rechenzentrums 900 davon entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht funktionierende Teile eines Rechenzentrums zu vermeiden.
In mindestens einem Ausführungsbeispiel kann das Datenzentrum 900 Werkzeuge, Dienste, Software oder andere Ressourcen enthalten, um ein oder mehrere maschinelle Lernmodelle zu trainieren oder Informationen unter Verwendung eines oder mehrerer maschineller Lernmodelle gemäß einer oder mehrerer hier beschriebener Ausführungsformen vorherzusagen oder abzuleiten. Zum Beispiel kann In mindestens einem Ausführungsbeispiel ein maschinelles Lernmodell trainiert werden, indem Gewichtsparameter gemäß einer neuronalen Netzwerkarchitektur unter Verwendung von Software und Computerressourcen berechnet werden, die oben in Bezug auf das Datenzentrum 900 beschrieben wurden. In mindestens einem Ausführungsbeispiel können trainierte maschinelle Lernmodelle, die einem oder mehreren neuronalen Netzwerken entsprechen, verwendet werden, um Informationen abzuleiten oder vorherzusagen, wobei die oben beschriebenen Ressourcen in Bezug auf das Datenzentrum 900 verwendet werden, indem Gewichtsparameter verwendet werden, die durch eine oder mehrere hier beschriebene Trainingstechniken berechnet werden.
In mindestens einem Ausführungsbeispiel kann das Datenzentrum CPUs, anwendungsspezifische integrierte Schaltkreise (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um das Training und/oder die Inferenzierung mit den oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst konfiguriert werden, um Benutzern das Training oder die Inferenzierung von Informationen zu ermöglichen, wie z.B. Bilderkennung, Spracherkennung oder andere Dienste der künstlichen Intelligenz.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System 9 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System 9 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
AUTONOMES FAHRZEUG
10A zeigt ein Beispiel für ein autonomes Fahrzeug 1000 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel kann das autonome Fahrzeug 1000 (hier alternativ als „Fahrzeug 1000“ bezeichnet) ohne Einschränkung ein Personenkraftwagen sein, wie beispielsweise ein Pkw, ein Lkw, ein Bus und/oder eine andere Art von Fahrzeug, das einen oder mehrere Fahrgäste aufnimmt. In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 ein Sattelschlepper sein, der für den Transport von Gütern verwendet wird. In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 ein Flugzeug, ein Roboterfahrzeug oder eine andere Art von Fahrzeug sein.
Autonome Fahrzeuge können in Form von Automatisierungsstufen beschrieben werden, die von der National Highway Traffic Safety Administration („NHTSA“), einer Abteilung des US-Verkehrsministeriums, und der Society of Automotive Engineers („SAE“) „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ (z.B. Standard Nr. J3016-201806, veröffentlicht am 15. Juni 2018, Standard Nr. J3016-201609, veröffentlicht am 30. September 2016, sowie frühere und zukünftige Versionen dieses Standards) definiert werden. In einer oder mehreren Ausführungsformen kann das Fahrzeug 1000 in der Lage sein, Funktionen gemäß einer oder mehrerer der Stufen 1 bis 5 der Stufen des autonomen Fahrens auszuführen. Zum Beispiel kann das Fahrzeug 1000 In mindestens einem Ausführungsbeispiel je nach Ausführungsform bedingt automatisiert (Stufe 3), hochautomatisiert (Stufe 4) und/oder vollständig automatisiert (Stufe 5) sein.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 ohne Einschränkung Komponenten wie ein Fahrgestell, eine Fahrzeugkarosserie, Räder (z.B. 2, 4, 6, 8, 18, etc.), Reifen, Achsen und andere Komponenten eines Fahrzeugs umfassen. In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 ohne Einschränkung ein Antriebssystem 1050 umfassen, wie z.B. einen Verbrennungsmotor, ein Hybrid-Elektrokraftwerk, einen reinen Elektromotor und/oder einen anderen Antriebssystemtyp. In mindestens einem Ausführungsbeispiel kann das Antriebssystem 1050 mit einem Antriebsstrang des Fahrzeugs 1000 verbunden sein, der ohne Einschränkung ein Getriebe umfassen kann, um den Antrieb des Fahrzeugs 1000 zu ermöglichen. In mindestens einem Ausführungsbeispiel kann das Antriebssystem 1050 als Reaktion auf den Empfang von Signalen von einer Drosselklappe/einem Gaspedal (1052) gesteuert werden.
In mindestens einem Ausführungsbeispiel wird ein Lenksystem 1054, das ohne Einschränkung ein Lenkrad umfassen kann, verwendet, um das Fahrzeug 1000 zu lenken (z.B. entlang eines gewünschten Weges oder einer Route), wenn das Antriebssystem 1050 in Betrieb ist (z.B. wenn das Fahrzeug 1000 in Bewegung ist). In mindestens einem Ausführungsbeispiel kann das Lenksystem 1054 Signale von dem/den Lenkaktuator(en) 1056 empfangen. In mindestens einem Ausführungsbeispiel kann ein Lenkrad für die vollständige Automatisierung (Stufe 5) optional sein. In mindestens einem Ausführungsbeispiel kann ein Bremssensorsystem 1046 verwendet werden, um die Fahrzeugbremsen als Reaktion auf den Empfang von Signalen von Bremsbetätigungselement(en) 1048 und/oder Bremssensoren zu betätigen.
In mindestens einem Ausführungsbeispiel liefern Steuergerät(e) 1036, die ohne Einschränkung ein oder mehrere System-on-Chips („SoCs“) (in 10A nicht dargestellt) und/oder Grafikverarbeitungseinheiten („GPU(s)“) umfassen können, Signale (z.B. repräsentativ für Befehle) an eine oder mehrere Komponenten und/oder Systeme des Fahrzeugs 1000. In mindestens einem Ausführungsbeispiel kann (können) das (die) Steuergerät(e) 1036 beispielsweise Signale zur Betätigung der Fahrzeugbremsen über den (die) Bremsaktuator(en) 1048, zur Betätigung des Lenksystems 1054 über den (die) Lenkaktuator(en) 1056 und zur Betätigung des Antriebssystems 1050 über den (die) Gashebel/Beschleuniger 1052 senden. In mindestens einem Ausführungsbeispiel kann (können) das (die) Steuergerät(e) 1036 eine oder mehrere an Bord befindliche (z.B. integrierte) Rechenvorrichtungen umfassen, die Sensorsignale verarbeiten und Betriebsbefehle ausgeben (z.B. Signale, die Befehle darstellen), um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Führen des Fahrzeugs 1000 zu unterstützen. In mindestens einem Ausführungsbeispiel kann (können) die Steuereinheit(en) 1036 eine erste Steuereinheit für autonome Fahrfunktionen, eine zweite Steuereinheit für funktionale Sicherheitsfunktionen, eine dritte Steuereinheit für Funktionen der künstlichen Intelligenz (z.B. Computer Vision), eine vierte Steuereinheit für Infotainment-Funktionen, eine fünfte Steuereinheit für Redundanz in Notfällen und/oder andere Steuereinheiten umfassen. In mindestens einem Ausführungsbeispiel kann ein einziges Steuergerät zwei oder mehr der oben genannten Funktionen übernehmen, zwei oder mehr Steuergeräte können eine einzige Funktion übernehmen und/oder eine beliebige Kombination davon.
In mindestens einem Ausführungsbeispiel liefert (liefern) die Steuereinheit(en) 1036 Signale zur Steuerung einer oder mehrerer Komponenten und/oder Systeme des Fahrzeugs 1000 als Reaktion auf Sensordaten, die von einem oder mehreren Sensoren (z.B. Sensoreingaben) empfangen werden. In mindestens einem Ausführungsbeispiel können Sensordaten beispielsweise und ohne Einschränkung von einem oder mehreren Sensoren des globalen Navigationssatellitensystems („GNSS“) 1058 (z.B. Global Positioning System"-Sensor(en)), RADAR-Sensor(en) 1060, Ultraschallsensor(en) 1062, LIDAR-Sensor(en) 1064, Trägheitsmesseinheit(en)-Sensor(en) 1066 (z.B. Beschleunigungsmesser, Gyroskop(e), Magnetkompass oder Magnetkompasse, Magnetometer usw.), Mikrofon(e) 1096), Mikrofon(e) 1096, Stereokamera(s) 1068, Weitwinkelkamera(s) 1070 (z.B. Fischaugenkameras), Infrarotkamera(s) 1072, Umgebungskamera(s) 1074 (z.B. 360-Grad-Kameras), Fernkameras (in 10A nicht dargestellt), Mittelbereichskamera(s) (in 10A nicht dargestellt), Geschwindigkeitssensor(en) 1044 (z.B. zur Messung der Geschwindigkeit des Fahrzeugs 1000), Schwingungssensor(en) 1042, Lenksensor(en) 1040, Bremssensor(en) (z.B. als Teil des Bremssensorsystems 1046) und/oder andere Sensortypen.
In mindestens einem Ausführungsbeispiel können ein oder mehrere Steuergerät(e) 1036 Eingaben (z.B. dargestellt durch Eingabedaten) von einem Kombiinstrument 1032 des Fahrzeugs 1000 empfangen und Ausgaben (z.B. dargestellt durch Ausgabedaten, Anzeigedaten usw.) über eine Mensch-Maschine-Schnittstelle („HMI“) Anzeige 1034, einen akustischen Melder, einen Lautsprecher und/oder über andere Komponenten des Fahrzeugs 1000 bereitstellen. In mindestens einem Ausführungsbeispiel können die Ausgaben Informationen wie Fahrzeuggeschwindigkeit, Drehzahl, Zeit, Kartendaten (z.B. eine hochauflösende Karte (in 10A nicht dargestellt)), Standortdaten (z.B. der Standort des Fahrzeugs 1000, z.B. auf einer Karte), Richtung, Standort anderer Fahrzeuge (z.B. ein Belegungsraster), Informationen über Objekte und den Status von Objekten, wie von dem/den Controller(n) 1036 wahrgenommen, usw. umfassen. Zum Beispiel kann In mindestens einem Ausführungsbeispiel die HMI-Anzeige 1034 Informationen über das Vorhandensein eines oder mehrerer Objekte (z.B. ein Straßenschild, ein Warnschild, eine sich ändernde Ampel usw.) und/oder Informationen über Fahrmanöver anzeigen, die das Fahrzeug durchgeführt hat, durchführt oder durchführen wird (z.B. Spurwechsel jetzt, Ausfahrt 34B in zwei Meilen usw.).
In mindestens einem Ausführungsbeispiel umfasst das Fahrzeug 1000 weiter eine Netzwerkschnittstelle 1024, die drahtlose Antenne(n) 1026 und/oder Modem(e) zur Kommunikation über ein oder mehrere Netzwerke verwenden kann. Zum Beispiel kann In mindestens einem Ausführungsbeispiel die Netzwerkschnittstelle 1024 in der Lage sein, über Long-Term Evolution („LTE“), Wideband Code Division Multiple Access („WCDMA“), Universal Mobile Telecommunications System („UMTS“), Global System for Mobile Communication („GSM“), IMT-CDMA Multi-Carrier („CDMA2000“) Netzwerke, etc. zu kommunizieren. In mindestens einem Ausführungsbeispiel können die drahtlose(n) Antenne(n) 1026 auch die Kommunikation zwischen Objekten in der Umgebung (z.B. Fahrzeuge, mobile Geräte usw.) ermöglichen, wobei lokale Netzwerke wie Bluetooth, Bluetooth Low Energy („LE“), Z-Wave, ZigBee usw. und/oder Weitverkehrsnetze mit geringer Leistung („LPWANs“) wie LoRaWAN, SigFox usw. verwendet werden. Protokolle.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System 10A für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System 10A für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
10B zeigt ein Beispiel für Kamerastandorte und Sichtfelder für das autonome Fahrzeug 1000 von 10A, gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel sind die Kameras und die jeweiligen Sichtfelder ein Beispiel für eine Ausführungsform und nicht als einschränkend zu verstehen. Zum Beispiel können In mindestens einem Ausführungsbeispiel zusätzliche und/oder alternative Kameras enthalten sein und/oder die Kameras können sich an verschiedenen Stellen des Fahrzeugs 1000 befinden.
In mindestens einem Ausführungsbeispiel können Kameratypen für Kameras Digitalkameras umfassen, die für die Verwendung mit Komponenten und/oder Systemen des Fahrzeugs 1000 angepasst werden können, sind aber nicht darauf beschränkt. In mindestens einem Ausführungsbeispiel kann (können) die Kamera(s) mit dem Automotive Safety Integrity Level („ASIL“) B und/oder mit einem anderen ASIL arbeiten. In mindestens einem Ausführungsbeispiel können die Kameratypen je nach Ausführungsform eine beliebige Bildaufnahmerate erreichen, z.B. 60 Bilder pro Sekunde (fps), 1220 fps, 240 fps usw. In mindestens einem Ausführungsbeispiel können die Kameras Rolling Shutter, Global Shutter, einen anderen Verschlusstyp oder eine Kombination davon verwenden. In mindestens einem Ausführungsbeispiel kann die Farbfilteranordnung eine Rot-Klar-Klar-Klar-Farbfilteranordnung („RCCC“), eine Rot-Klar-Klar-Blau-Farbfilteranordnung („RCCB“), eine Rot-Blau-Grün-Klar-Farbfilteranordnung („RBGC“), eine Foveon X3-Farbfilteranordnung, eine Bayer-Sensor-Farbfilteranordnung („RGGB“), eine Monochromsensor-Farbfilteranordnung und/oder eine andere Art von Farbfilteranordnung umfassen. In mindestens einem Ausführungsbeispiel können zur Erhöhung der Lichtempfindlichkeit Clear-Pixel-Kameras, wie z.B. Kameras mit einer RCCC-, einer RCCB- und/oder einer RBGC-Farbfilteranordnung, verwendet werden.
In mindestens einem Ausführungsbeispiel können eine oder mehrere Kameras verwendet werden, um Funktionen fortschrittlicher Fahrerassistenzsysteme („ADAS“) auszuführen (z.B. als Teil einer redundanten oder ausfallsicheren Konstruktion). Zum Beispiel kann In mindestens einem Ausführungsbeispiel eine Multifunktions-Monokamera installiert werden, um Funktionen wie Spurhalteassistent, Verkehrszeichenassistent und intelligente Scheinwerfersteuerung bereitzustellen. In mindestens einem Ausführungsbeispiel können eine oder mehrere der Kameras (z.B. alle Kameras) gleichzeitig Bilddaten (z.B. Video) aufzeichnen und bereitstellen.
In mindestens einem Ausführungsbeispiel können eine oder mehrere Kameras in einer Montagebaugruppe montiert werden, wie z.B. einer clientspezifisch gestalteten (dreidimensional („3D“) gedruckten) Baugruppe, um Streulicht und Reflexionen aus dem Fahrzeug 1000 (z.B. Reflexionen vom Armaturenbrett, die in den Windschutzscheibenspiegeln reflektiert werden) auszuschalten, die die Fähigkeit der Kamera zur Bilddatenerfassung beeinträchtigen können. In Bezug auf die Montage von Außenspiegeln kann In mindestens einem Ausführungsbeispiel der Außenspiegel clientspezifisch 3D-gedruckt werden, so dass eine Kameramontageplatte der Form eines Außenspiegels entspricht. In mindestens einem Ausführungsbeispiel können die Kamera(s) in die Außenspiegel integriert werden. In mindestens einem Ausführungsbeispiel können bei Seitenkameras die Kamera(s) auch in vier Säulen an jeder Ecke der Kabine integriert werden.
In mindestens einem Ausführungsbeispiel können Kameras mit einem Sichtfeld, das Teile einer Umgebung vor dem Fahrzeug 1000 einschließt (z.B. nach vorne gerichtete Kameras), für die Umgebungsansicht verwendet werden, um dabei zu helfen, nach vorne gerichtete Pfade und Hindernisse zu identifizieren, sowie mit Hilfe eines oder mehrerer Steuergeräte 1036 und/oder Steuer-SoCs bei der Bereitstellung von Informationen zu helfen, die für die Erstellung eines Belegungsgitters und/oder die Bestimmung bevorzugter Fahrzeugpfade entscheidend sind. In mindestens einem Ausführungsbeispiel können nach vorne gerichtete Kameras verwendet werden, um viele ähnliche ADAS-Funktionen wie LIDAR auszuführen, einschließlich, ohne Einschränkung, Notbremsung, Fußgängererkennung und Kollisionsvermeidung. In mindestens einem Ausführungsbeispiel können nach vorne gerichtete Kameras auch für ADAS-Funktionen und -Systeme verwendet werden, einschließlich, aber nicht beschränkt auf Spurverlassenswarnungen („LDW“), autonome Geschwindigkeitsregelung („ACC“) und/oder andere Funktionen wie Verkehrszeichenerkennung.
In mindestens einem Ausführungsbeispiel kann eine Vielzahl von Kameras in einer nach vorne gerichteten Konfiguration verwendet werden, z.B. eine monokulare Kameraplattform, die einen CMOS-Farbbildsensor („complementary metal oxide semiconductor“) enthält. In mindestens einem Ausführungsbeispiel kann eine Weitwinkelkamera 1070 verwendet werden, um Objekte zu erkennen, die von der Peripherie her ins Blickfeld kommen (z.B. Fußgänger, kreuzenden Verkehr oder Fahrräder). Obwohl in 10B nur eine Weitwinkelkamera 1070 dargestellt ist, können in anderen Ausführungsformen beliebig viele (einschließlich null) Weitwinkelkameras am Fahrzeug 1000 vorhanden sein. In mindestens einem Ausführungsbeispiel kann eine beliebige Anzahl von Weitwinkelkameras 1098 (z.B. ein Weitwinkel-Stereokamerapaar) zur tiefenbasierten Objekterkennung verwendet werden, insbesondere für Objekte, für die ein neuronales Netzwerk noch nicht trainiert wurde. In mindestens einem Ausführungsbeispiel können die Weitwinkelkamera(s) 1098 auch zur Objekterkennung und -klassifizierung sowie zur grundlegenden Objektverfolgung verwendet werden.
In mindestens einem Ausführungsbeispiel kann eine beliebige Anzahl von Stereokamera(s) 1068 auch in einer nach vorne gerichteten Konfiguration enthalten sein. In mindestens einem Ausführungsbeispiel kann eine oder mehrere der Stereokamera(s) 1068 eine integrierte Steuereinheit enthalten, die eine skalierbare Verarbeitungseinheit umfasst, die eine programmierbare Logik („FPGA“) und einen Multicore-Mikroprozessor mit einer integrierten Controller Area Network („CAN“)- oder Ethernet-Schnittstelle auf einem einzigen Chip bereitstellen kann. In mindestens einem Ausführungsbeispiel kann eine solche Einheit verwendet werden, um eine 3D-Karte der Umgebung des Fahrzeugs 1000 zu erstellen, einschließlich einer Abstandsschätzung für alle Punkte in einem Bild. In mindestens einem Ausführungsbeispiel können eine oder mehrere der Stereokamera(s) 1068 ohne Einschränkung kompakte Stereosicht-Sensoren umfassen, die ohne Einschränkung zwei Kameralinsen (je eine links und rechts) und einen Bildverarbeitungschip enthalten können, der die Entfernung zwischen Fahrzeug 1000 und Zielobjekt messen und die erzeugten Informationen (z.B. Metadaten) verwenden kann, um autonome Notbrems- und Spurhaltewarnfunktionen zu aktivieren. In mindestens einem Ausführungsbeispiel können auch andere Arten von Stereokameras 1068 zusätzlich oder alternativ zu den hier beschriebenen verwendet werden.
In mindestens einem Ausführungsbeispiel können Kameras mit einem Sichtfeld, das Teile der Umgebung an den Seiten des Fahrzeugs 1000 einschließt (z.B. Seitenkameras), für die Umgebungsansicht verwendet werden und Informationen liefern, die zur Erstellung und Aktualisierung eines Belegungsrasters sowie zur Erzeugung von Seitenaufprallwarnungen verwendet werden. In mindestens einem Ausführungsbeispiel könnte(n) die Umgebungskamera(s) 1074 (z.B. vier Umgebungskameras, wie in 10B dargestellt) am Fahrzeug 1000 positioniert werden. In mindestens einem Ausführungsbeispiel kann (können) die Umgebungskamera(s) 1074 ohne Einschränkung eine beliebige Anzahl und Kombination von Weitwinkelkameras, Fischaugenkameras, 360-Grad-Kameras und/oder ähnlichen Kameras umfassen. Zum Beispiel können In mindestens einem Ausführungsbeispiel vier Fischaugenkameras an der Vorderseite, der Rückseite und den Seiten des Fahrzeugs 1000 positioniert sein. In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 drei Umgebungskameras 1074 (z.B. links, rechts und hinten) verwenden und eine oder mehrere andere Kamera(s) (z.B. eine nach vorne gerichtete Kamera) als vierte Umgebungskamera nutzen.
In mindestens einem Ausführungsbeispiel können Kameras mit einem Sichtfeld, das Teile der Umgebung hinter dem Fahrzeug 1000 einschließt (z.B. Rückfahrkameras), für die Einparkhilfe, die Umgebungsansicht, für Heckkollisionswarnungen und die Erstellung und Aktualisierung eines Belegungsrasters verwendet werden. In mindestens einem Ausführungsbeispiel kann eine Vielzahl von Kameras verwendet werden, einschließlich, aber nicht beschränkt auf Kameras, die auch als nach vorne gerichtete Kamera(s) geeignet sind (z.B. Fernkameras 1098 und/oder Mittelbereichskamera(s) 1076, Stereokamera(s) 1068), Infrarotkamera(s) 1072 usw.), wie hierin beschrieben.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System 10B für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System 10B für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
10C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug 1000 von 10A gemäß mindestens einem Ausführungsbeispiel zeigt. In mindestens einem Ausführungsbeispiel ist jede Komponente, jedes Merkmal und jedes System des Fahrzeugs 1000 in 10C als über einen Bus 1002 verbunden dargestellt. In mindestens einem Ausführungsbeispiel kann der Bus 1002, ohne Einschränkung, eine CAN-Datenschnittstelle (hier alternativ als „CAN-Bus“ bezeichnet) umfassen. In mindestens einem Ausführungsbeispiel kann ein CAN ein Netzwerk innerhalb des Fahrzeugs 1000 sein, das zur Unterstützung der Steuerung verschiedener Merkmale und Funktionen des Fahrzeugs 1000 verwendet wird, wie z.B. die Betätigung von Bremsen, Beschleunigung, Bremsen, Lenkung, Scheibenwischern usw. In mindestens einem Ausführungsbeispiel kann der Bus 1002 so konfiguriert sein, dass er Dutzende oder sogar Hunderte von Knoten aufweist, von denen jeder seine eigene eindeutige Kennung hat (z.B. eine CAN-ID). In mindestens einem Ausführungsbeispiel kann der Bus 1002 ausgelesen werden, um den Lenkradwinkel, die Fahrgeschwindigkeit, die Motordrehzahl pro Minute („RPMs“), die Tastenpositionen und/oder andere Fahrzeugstatusanzeigen zu ermitteln. In mindestens einem Ausführungsbeispiel kann der Bus 1002 ein CAN-Bus sein, der ASIL B-konform ist.
In mindestens einem Ausführungsbeispiel können zusätzlich zu oder alternativ zu CAN auch FlexRay- und/oder Ethernet-Protokolle verwendet werden. In mindestens einem Ausführungsbeispiel kann es eine beliebige Anzahl von Bussen geben, die den Bus 1002 bilden, die ohne Einschränkung null oder mehr CAN-Busse, null oder mehr FlexRay-Busse, null oder mehr Ethernet-Busse und/oder null oder mehr andere Arten von Bussen mit unterschiedlichen Protokollen umfassen können. In mindestens einem Ausführungsbeispiel können zwei oder mehr Busse verwendet werden, um unterschiedliche Funktionen auszuführen, und/oder sie können zur Redundanz verwendet werden. So kann beispielsweise ein erster Bus für die Kollisionsvermeidungsfunktionalität und ein zweiter Bus für die Betätigungssteuerung verwendet werden. In mindestens einem Ausführungsbeispiel kann jeder Bus des Busses 1002 mit beliebigen Komponenten des Fahrzeugs 1000 kommunizieren, und zwei oder mehr Busse des Busses 1002 können mit entsprechenden Komponenten kommunizieren. In mindestens einem Ausführungsbeispiel kann jedes von einer beliebigen Anzahl von System(en) auf Chip(s) („SoC(s)“) 1004 (wie SoC 1004(A) und SoC 1004(B)), jedes der Steuergeräte 1036 und/oder jeder Computer im Fahrzeug Zugriff auf dieselben Eingangsdaten (z.B. Eingaben von Sensoren des Fahrzeugs 1000) haben und mit einem gemeinsamen Bus, wie dem CAN-Bus, verbunden sein.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 ein oder mehrere Steuergerät(e) 1036 enthalten, wie sie hier in Bezug auf 10A beschrieben sind. In mindestens einem Ausführungsbeispiel kann (können) Steuergerät(e) 1036 für eine Vielzahl von Funktionen verwendet werden. In mindestens einem Ausführungsbeispiel kann (können) das (die) Steuergerät(e) 1036 mit verschiedenen anderen Komponenten und Systemen des Fahrzeugs 1000 gekoppelt sein und für die Steuerung des Fahrzeugs 1000, die künstliche Intelligenz des Fahrzeugs 1000, das Infotainment des Fahrzeugs 1000 und/oder andere Funktionen verwendet werden.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 eine beliebige Anzahl von SoCs 1004 enthalten. In mindestens einem Ausführungsbeispiel kann jeder der SoCs 1004 ohne Einschränkung zentrale Verarbeitungseinheiten („CPU(s)“) 1006, Grafikverarbeitungseinheiten („GPU(s)“) 1008, Prozessor(en) 1010, Cache(s) 1012, Beschleuniger 1014, Datenspeicher 1016 und/oder andere nicht dargestellte Komponenten und Merkmale umfassen. In mindestens einem Ausführungsbeispiel können die SoC(s) 1004 zur Steuerung des Fahrzeugs 1000 in einer Vielzahl von Plattformen und Systemen verwendet werden. In mindestens einem Ausführungsbeispiel können SoC(s) 1004 beispielsweise in einem System (z.B. dem System des Fahrzeugs 1000) mit einer High-Definition („HD“)-Karte 1022 kombiniert werden, die über die Netzwerkschnittstelle 1024 von einem oder mehreren Servern (in 10C nicht dargestellt) Kartenauffrischungen und/oder -aktualisierungen erhalten kann.
In mindestens einem Ausführungsbeispiel kann (können) die CPU(s) 1006 einen CPU-Cluster oder CPU-Komplex (hier alternativ als „CCPLEX“ bezeichnet) umfassen. In mindestens einem Ausführungsbeispiel kann (können) die CPU(s) 1006 mehrere Kerne und/oder Level Two („L2“) Caches enthalten. Beispielsweise kann (können) die CPU(s) 1006 In mindestens einem Ausführungsbeispiel acht Kerne in einer kohärenten Multiprozessorkonfiguration umfassen. In mindestens einem Ausführungsbeispiel kann (können) die CPU(s) 1006 vier Dual-Core-Cluster umfassen, wobei jeder Cluster über einen dedizierten L2-Cache verfügt (z.B. einen L2-Cache mit 2 Megabyte (MB)). In mindestens einem Ausführungsbeispiel kann (können) die CPU(s) 1006 (z.B. CCPLEX) so konfiguriert sein, dass sie gleichzeitige Cluster-Operationen unterstützen, so dass eine beliebige Kombination von Clustern von CPU(s) 1006 zu einem bestimmten Zeitpunkt aktiv sein kann.
In mindestens einem Ausführungsbeispiel können eine oder mehrere der CPU(s) 1006 Energieverwaltungsfunktionen implementieren, die ohne Einschränkung eines oder mehrere der folgenden Merkmale umfassen: einzelne Hardwareblöcke können im Leerlauf automatisch getaktet werden, um dynamische Energie zu sparen; jeder Kerntakt kann getaktet werden, wenn ein solcher Kern aufgrund der Ausführung von Wait for Interrupt („WFI“)/Wait for Event („WFE“)-Befehlen nicht aktiv Befehle ausführt; jeder Kern kann unabhängig stromgesteuert sein; jeder Kerncluster kann unabhängig taktgesteuert sein, wenn alle Kerne taktgesteuert oder stromgesteuert sind; und/oder jeder Kerncluster kann unabhängig stromgesteuert sein, wenn alle Kerne stromgesteuert sind. In mindestens einem Ausführungsbeispiel kann/können die CPU(s) 1006 außerdem einen erweiterten Algorithmus zur Verwaltung von Energiezuständen implementieren, bei dem zulässige Energiezustände und erwartete Aufwachzeiten festgelegt werden und die Hardware/der Mikrocode bestimmt, welcher Energiezustand für Kern, Cluster und CCPLEX am besten ist. In mindestens einem Ausführungsbeispiel können die Prozessorkerne vereinfachte Sequenzen für die Eingabe des Energiezustands in Software unterstützen, wobei die Arbeit an den Mikrocode ausgelagert wird.
In mindestens einem Ausführungsbeispiel kann (können) die GPU(s) 1008 eine integrierte GPU umfassen (hier alternativ als „iGPU“ bezeichnet). In mindestens einem Ausführungsbeispiel kann (können) die GPU(s) 1008 programmierbar und für parallele Arbeitslasten effizient sein. In mindestens einem Ausführungsbeispiel kann (können) die GPU(s) 1008 einen erweiterten Tensor-Befehlssatz verwenden. In einem Ausführungsbeispiel kann (können) GPU(s) 1008 einen oder mehrere Streaming-Mikroprozessoren enthalten, wobei jeder Streaming-Mikroprozessor einen Level-One-Cache („L1“) enthalten kann (z.B. einen L1-Cache mit mindestens 96 KB Speicherkapazität), und zwei oder mehr Streaming-Mikroprozessoren können sich einen L2-Cache teilen (z.B. einen L2-Cache mit einer Speicherkapazität von 512 KB). In mindestens einem Ausführungsbeispiel kann (können) die GPU(s) 1008 mindestens acht Streaming-Mikroprozessoren umfassen. In mindestens einem Ausführungsbeispiel kann (können) die GPU(s) 1008 eine oder mehrere Anwendungsprogrammierschnittstellen (API(s)) für Berechnungen verwenden. In mindestens einem Ausführungsbeispiel kann (können) die GPU(s) 1008 eine oder mehrere parallele Rechenplattformen und/oder Programmiermodelle (z.B. das CUDA-Modell von NVIDIA) verwenden.
In mindestens einem Ausführungsbeispiel können eine oder mehrere der GPU(s) 1008 für die beste Leistung in Automobil- und eingebetteten Anwendungsfällen energieoptimiert sein. In einem Ausführungsbeispiel könnte(n) die GPU(s) 1008 beispielsweise auf Fin-Feldeffekttransistor-Schaltungen („FinFET“) hergestellt werden. In mindestens einem Ausführungsbeispiel kann jeder Streaming-Mikroprozessor eine Anzahl von gemischt-präzisen Rechenkernen enthalten, die in mehrere Blöcke unterteilt sind. Beispielsweise könnten 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke unterteilt werden. In mindestens einem Ausführungsbeispiel könnten jedem Verarbeitungsblock 16 FP32-Kerne, 8 FP64-Kerne, 16 INT32-Kerne, zwei NVIDIA Tensor-Kerne mit gemischter Genauigkeit für Deep-Learning-Matrixarithmetik, ein Befehlscache der Ebene Null („L0“), ein Warp-Planer, eine Verteil-Einheit und/oder eine 64-KB-Registerdatei zugewiesen werden. In mindestens einem Ausführungsbeispiel können Streaming-Mikroprozessoren unabhängige parallele Ganzzahl- und Gleitkommadatenpfade umfassen, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Berechnungen und Adressierungsberechnungen zu ermöglichen. In mindestens einem Ausführungsbeispiel können Streaming-Mikroprozessoren eine unabhängige Thread-Scheduling-Fähigkeit aufweisen, um eine feinkörnigere Synchronisierung und Zusammenarbeit zwischen parallelen Threads zu ermöglichen. In mindestens einem Ausführungsbeispiel können Streaming-Mikroprozessoren einen kombinierten L1 -Datencache und eine gemeinsam genutzte Speichereinheit umfassen, um die Leistung zu verbessern und gleichzeitig die Programmierung zu vereinfachen.
In mindestens einem Ausführungsbeispiel können eine oder mehrere GPU(s) 1008 einen Speicher mit hoher Bandbreite („HBM“) und/oder ein 16-GB-HBM2-Speicher-Subsystem enthalten, um in einigen Beispielen eine Spitzen-Speicherbandbreite von etwa 900 GB/Sekunde bereitzustellen. In mindestens einem Ausführungsbeispiel kann zusätzlich oder alternativ zum HBM-Speicher ein synchroner Grafik-Direktzugriffsspeicher („SGRAM“) verwendet werden, z.B. ein synchroner Grafik-Doppeldatenraten-Direktzugriffsspeicher vom Typ 5 („GDDR5“).
In mindestens einem Ausführungsbeispiel kann (können) die GPU(s) 1008 eine Unified-Memory-Technologie enthalten. In mindestens einem Ausführungsbeispiel kann die Unterstützung von Adressübersetzungsdiensten („ATS“) verwendet werden, damit die GPU(s) 1008 direkt auf Seitentabellen der CPU(s) 1006 zugreifen kann. In mindestens einem Ausführungsbeispiel kann eine Adressübersetzungsanforderung an die CPU(s) 1006 übertragen werden, wenn eine GPU der GPU(s) 1008 Speicherverwaltungseinheit („MMU“) einen Fehler feststellt. Als Reaktion darauf kann die CPU der CPU(s) 1006 in ihren Seitentabellen nach einer virtuell-physikalischen Abbildung für eine Adresse suchen und die Übersetzung zurück an die GPU(s) 1008 übertragen, In mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel kann die Unified-Memory-Technologie einen einzigen vereinheitlichten virtuellen Adressraum für den Speicher sowohl der CPU(s) 1006 als auch der GPU(s) 1008 ermöglichen, wodurch die Programmierung der GPU(s) 1008 und die Portierung von Anwendungen auf die GPU(s) 1008 vereinfacht wird.
In mindestens einem Ausführungsbeispiel kann (können) die GPU(s) 1008 eine beliebige Anzahl von Zugriffszählern enthalten, die die Häufigkeit des Zugriffs der GPU(s) 1008 auf den Speicher anderer Prozessoren verfolgen können. In mindestens einem Ausführungsbeispiel können die Zugriffszähler dazu beitragen, dass Speicherseiten in den physischen Speicher eines Prozessors verschoben werden, der am häufigsten auf Seiten zugreift, wodurch die Effizienz von Speicherbereichen verbessert wird, die von Prozessoren gemeinsam genutzt werden.
In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC(s) 1004 eine beliebige Anzahl von Cache(s) 1012 enthalten, einschließlich der hier beschriebenen. In mindestens einem Ausführungsbeispiel könnte(n) der/die Cache(s) 1012 beispielsweise einen Level-3-Cache („L3“) umfassen, der sowohl für die CPU(s) 1006 als auch für die GPU(s) 1008 verfügbar ist (z.B. der mit der/den CPU(s) 1006 und der/den GPU(s) 1008 verbunden ist). In mindestens einem Ausführungsbeispiel kann (können) der (die) Cache(s) 1012 einen Write-Back-Cache umfassen, der die Zustände von Zeilen verfolgen kann, beispielsweise durch Verwendung eines Cache-Kohärenzprotokolls (z.B. MEI, MESI, MSI usw.). In mindestens einem Ausführungsbeispiel kann ein L3-Cache je nach Ausführungsform 4 MB Speicher oder mehr umfassen, obwohl auch kleinere Cache-Größen verwendet werden können.
In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC(s) 1004 einen oder mehrere Beschleuniger 1014 (z.B. Hardware-Beschleuniger, Software-Beschleuniger oder eine Kombination davon) enthalten. In mindestens einem Ausführungsbeispiel kann (können) SoC(s) 1004 einen Hardware-Beschleunigungscluster enthalten, der optimierte Hardware-Beschleuniger und/oder einen großen On-Chip-Speicher umfassen kann. In mindestens einem Ausführungsbeispiel kann ein großer On-Chip-Speicher (z.B. 4 MB SRAM) es einem Hardware-Beschleunigungscluster ermöglichen, neuronale Netzwerke und andere Berechnungen zu beschleunigen. In mindestens einem Ausführungsbeispiel kann ein Hardware-Beschleunigungscluster zur Ergänzung der GPU(s) 1008 und zur Auslagerung einiger Aufgaben der GPU(s) 1008 verwendet werden (z.B. um mehr Zyklen der GPU(s) 1008 für die Durchführung anderer Aufgaben freizugeben). In mindestens einem Ausführungsbeispiel könnte(n) der/die Beschleuniger 1014 für gezielte Arbeitslasten verwendet werden (z.B. Wahrnehmung, Convolutional Neuronal Networks („CNNs“), Recurrent Neuronal Networks („RNNs“) usw.), die stabil genug sind, um für eine Beschleunigung geeignet zu sein. In mindestens einem Ausführungsbeispiel kann ein CNN ein regionenbasiertes oder regionales neuronales Faltungsnetz („RCN“) und ein schnelles RCN (z.B. für die Objekterkennung) oder eine andere Art von CNN umfassen.
In mindestens einem Ausführungsbeispiel kann (können) der (die) Beschleuniger 1014 (z.B. ein Hardware-Beschleunigungscluster) einen oder mehrere Deep-Learning-Beschleuniger („DLA“) enthalten. In mindestens einem Ausführungsbeispiel kann (können) der (die) DLA ohne Einschränkung eine oder mehrere Tensor Processing Units („TPUs“) umfassen, die so konfiguriert sein können, dass sie zusätzliche zehn Billionen Operationen pro Sekunde für Deep-Learning-Anwendungen und Inferencing bereitstellen. In mindestens einem Ausführungsbeispiel kann es sich bei den TPUs um Beschleuniger handeln, die für die Ausführung von Bildverarbeitungsfunktionen (z.B. für CNNs, RCNNs usw.) konfiguriert und optimiert sind. In mindestens einem Ausführungsbeispiel können die DLA(s) darüber hinaus für einen bestimmten Satz neuronaler Netzwerktypen und Gleitkommaoperationen sowie für Inferencing optimiert sein. In mindestens einem Ausführungsbeispiel kann das Design von DLA(s) mehr Leistung pro Millimeter bieten als ein typischer Allzweck-GPU und übertrifft die Leistung einer CPU in der Regel erheblich. In mindestens einem Ausführungsbeispiel kann (können) die TPU(s) mehrere Funktionen ausführen, einschließlich einer Einzelinstanz-Faltungsfunktion, die z.B. INT8-, INT16- und FP16-Datentypen sowohl für Merkmale als auch für Gewichte sowie Postprozessorfunktionen unterstützt. In mindestens einem Ausführungsbeispiel können DLA(s) schnell und effizient neuronale Netze, insbesondere CNNs, auf verarbeiteten oder unverarbeiteten Daten für eine Vielzahl von Funktionen ausführen, darunter beispielsweise und ohne Einschränkung: ein CNN für die Identifizierung und Erkennung von Objekten unter Verwendung von Daten von Kamerasensoren; ein CNN für die Abstandsschätzung unter Verwendung von Daten von Kamerasensoren; ein CNN für die Erkennung und Identifizierung von Einsatzfahrzeugen und die Erkennung unter Verwendung von Daten von Mikrofonen; ein CNN für die Gesichtserkennung und die Identifizierung von Fahrzeugbesitzern unter Verwendung von Daten von Kamerasensoren; und/oder ein CNN für sicherheitsrelevante Ereignisse.
In mindestens einem Ausführungsbeispiel können DLA(s) jede Funktion der GPU(s) 1008 ausführen, und durch die Verwendung eines Inferenzbeschleunigers kann ein Entwickler beispielsweise entweder DLA(s) oder GPU(s) 1008 für jede Funktion anvisieren. In mindestens einem Ausführungsbeispiel kann ein Entwickler beispielsweise die Verarbeitung von CNNs und Gleitkommaoperationen auf die DLA(s) konzentrieren und andere Funktionen der GPU(s) 1008 und/oder dem/den Beschleuniger(n) 1014 überlassen.
In mindestens einem Ausführungsbeispiel kann (können) der (die) Beschleuniger 1014 einen programmierbaren Bildverarbeitungsbeschleuniger („PVA“) umfassen, der hier alternativ auch als Computer-Vision-Beschleuniger bezeichnet werden kann. In mindestens einem Ausführungsbeispiel kann der PVA so konzipiert und konfiguriert sein, dass er Computer-Vision-Algorithmen für fortschrittliche Fahrerassistenzsysteme („ADAS“) 1038, autonomes Fahren, Augmented-Reality-Anwendungen („AR“) und/oder Virtual-Reality-Anwendungen („VR“) beschleunigt. In mindestens einem Ausführungsbeispiel kann die PVA ein Gleichgewicht zwischen Leistung und Flexibilität bieten. In mindestens einem Ausführungsbeispiel kann jede PVA beispielsweise und ohne Einschränkung eine beliebige Anzahl von Rechenkernen mit reduziertem Befehlssatz („RISC“), direkten Speicherzugriff („DMA“) und/oder eine beliebige Anzahl von Vektorprozessoren umfassen.
In mindestens einem Ausführungsbeispiel können RISC-Kerne mit Bildsensoren (z.B. Bildsensoren von hierin beschriebenen Kameras), Bildsignalprozessoren usw. zusammenwirken. In mindestens einem Ausführungsbeispiel kann jeder RISC-Kern eine beliebige Menge an Speicher enthalten. In mindestens einem Ausführungsbeispiel können die RISC-Kerne je nach Ausführungsform eine beliebige Anzahl von Protokollen verwenden. In mindestens einem Ausführungsbeispiel können RISC-Kerne ein Echtzeitbetriebssystem („RTOS“) ausführen. In mindestens einem Ausführungsbeispiel können RISC-Kerne mit einem oder mehreren integrierten Schaltkreisen, anwendungsspezifischen integrierten Schaltkreisen („ASICs“) und/oder Speicherbausteinen implementiert werden. In mindestens einem Ausführungsbeispiel können RISC-Kerne beispielsweise einen Befehls-Cache und/oder einen eng gekoppelten Arbeitsspeicher enthalten.
In mindestens einem Ausführungsbeispiel kann DMA es Komponenten der PVA ermöglichen, unabhängig von der/den CPU(s) 1006 auf den Systemspeicher zuzugreifen. In mindestens einem Ausführungsbeispiel kann DMA eine beliebige Anzahl von Merkmalen unterstützen, die zur Optimierung einer PVA verwendet werden, einschließlich, aber nicht beschränkt auf die Unterstützung mehrdimensionaler Adressierung und/oder zirkulärer Adressierung. In mindestens einem Ausführungsbeispiel kann DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, die ohne Einschränkung Blockbreite, Blockhöhe, Blocktiefe, horizontale Blockabstufung, vertikale Blockabstufung und/oder Tiefenabstufung umfassen können.
In mindestens einem Ausführungsbeispiel können Vektorprozessoren programmierbare Prozessoren sein, die so konzipiert sein können, dass sie die Programmierung von Computer-Vision-Algorithmen effizient und flexibel ausführen und Signalverarbeitungsfunktionen bereitstellen. In mindestens einem Ausführungsbeispiel kann eine PVA einen PVA-Kern und zwei Vektorverarbeitungs-Subsystem-Partitionen umfassen. In mindestens einem Ausführungsbeispiel kann ein PVA-Kern ein Prozessor-Subsystem, DMA-Engine(s) (z.B. zwei DMA-Engines) und/oder andere Peripheriegeräte umfassen. In mindestens einem Ausführungsbeispiel kann ein Vektorverarbeitungs-Subsystem als primäre Verarbeitungseinheit einer PVA arbeiten und eine Vektorverarbeitungseinheit („VPU“), einen Befehlscache und/oder einen Vektorspeicher (z.B. „VMEM“) umfassen. In mindestens einem Ausführungsbeispiel kann der VPU-Kern einen digitalen Signalprozessor umfassen, wie z.B. einen digitalen Signalprozessor mit einem einzigen Befehl und mehreren Daten („SIMD“) und einem sehr langen Befehlswort („VLIW“). In mindestens einem Ausführungsbeispiel kann eine Kombination aus SIMD und VLIW den Durchsatz und die Geschwindigkeit erhöhen.
In mindestens einem Ausführungsbeispiel kann jeder der Vektorprozessoren einen Befehls-Cache enthalten und mit einem dedizierten Speicher verbunden sein. Infolgedessen kann In mindestens einem Ausführungsbeispiel jeder der Vektorprozessoren so konfiguriert sein, dass er unabhängig von anderen Vektorprozessoren arbeitet. In mindestens einem Ausführungsbeispiel können Vektorprozessoren, die in einer bestimmten PVA enthalten sind, so konfiguriert sein, dass sie Datenparallelität verwenden. Zum Beispiel können In mindestens einem Ausführungsbeispiel mehrere Vektorprozessoren, die in einer einzigen PVA enthalten sind, einen gemeinsamen Computer-Vision-Algorithmus ausführen, jedoch auf verschiedenen Regionen eines Bildes. In mindestens einem Ausführungsbeispiel können in einer bestimmten PVA enthaltene Vektorprozessoren gleichzeitig verschiedene Computer-Vision-Algorithmen auf einem Bild ausführen oder sogar verschiedene Algorithmen auf aufeinanderfolgenden Bildern oder Teilen eines Bildes ausführen. In mindestens einem Ausführungsbeispiel kann unter anderem eine beliebige Anzahl von PVAs in einem Hardware-Beschleunigungscluster enthalten sein, und in jeder PVA kann eine beliebige Anzahl von Vektorprozessoren enthalten sein. In mindestens einem Ausführungsbeispiel kann die PVA einen zusätzlichen Speicher mit Fehlerkorrekturcode („ECC“) enthalten, um die allgemeine Systemsicherheit zu erhöhen.
In mindestens einem Ausführungsbeispiel kann (können) der (die) Beschleuniger 1014 ein Computer-Vision-Netzwerk auf dem Chip und einen statischen Direktzugriffsspeicher („SRAM“) umfassen, um einen SRAM mit hoher Bandbreite und niedriger Latenz für den (die) Beschleuniger 1014 bereitzustellen. In mindestens einem Ausführungsbeispiel kann der On-Chip-Speicher mindestens 4 MB SRAM umfassen, z.B. und ohne Einschränkung acht feldkonfigurierbare Speicherblöcke, auf die sowohl eine PVA als auch eine DLA zugreifen können. In mindestens einem Ausführungsbeispiel kann jedes Paar von Speicherblöcken eine erweiterte periphere Busschnittstelle („APB“), Konfigurationsschaltungen, einen Controller und einen Multiplexer umfassen. In mindestens einem Ausführungsbeispiel kann jede Art von Speicher verwendet werden. In mindestens einem Ausführungsbeispiel können eine PVA und eine DLA über einen Backbone auf den Speicher zugreifen, der einer PVA und einer DLA einen Hochgeschwindigkeitszugriff auf den Speicher ermöglicht. In mindestens einem Ausführungsbeispiel kann ein Backbone ein Computer-Vision-Netzwerk auf dem Chip umfassen, das eine PVA und eine DLA mit dem Speicher verbindet (z.B. mit APB).
In mindestens einem Ausführungsbeispiel kann ein Computer-Vision-Netzwerk auf dem Chip eine Schnittstelle enthalten, die vor der Übertragung von Steuersignalen/Adressen/Daten feststellt, dass sowohl eine PVA als auch eine DLA einsatzbereite und gültige Signale liefern. In mindestens einem Ausführungsbeispiel kann eine Schnittstelle getrennte Phasen und getrennte Kanäle für die Übertragung von Steuersignalen/Adressen/Daten sowie eine Burst-Kommunikation für die kontinuierliche Datenübertragung vorsehen. In mindestens einem Ausführungsbeispiel kann eine Schnittstelle den Normen der Internationalen Organisation für Normung („ISO“) 26262 oder der Internationalen Elektrotechnischen Kommission („IEC“) 61508 entsprechen, obwohl auch andere Normen und Protokolle verwendet werden können.
In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC(s) 1004 einen Echtzeit-Raytracing-Hardwarebeschleuniger enthalten. In mindestens einem Ausführungsbeispiel kann der Echtzeit-Strahlenverfolgungs-Hardwarebeschleuniger verwendet werden, um schnell und effizient Positionen und Ausmaße von Objekten (z.B. innerhalb eines Weltmodells) zu bestimmen, um Echtzeit-Visualisierungssimulationen zu erzeugen, für RADAR-Signalinterpretation, für Schallausbreitungssynthese und/oder -analyse, für die Simulation von SONAR-Systemen, für allgemeine Wellenausbreitungssimulation, für den Vergleich mit LIDAR-Daten zum Zwecke der Lokalisierung und/oder anderer Funktionen und/oder für andere Zwecke.
In mindestens einem Ausführungsbeispiel können der oder die Beschleuniger 1014 eine breite Palette von Anwendungen für das autonome Fahren haben. In mindestens einem Ausführungsbeispiel kann ein PVA für wichtige Verarbeitungsstufen in ADAS und autonomen Fahrzeugen verwendet werden. In mindestens einem Ausführungsbeispiel eignen sich die Fähigkeiten einer PVA gut für algorithmische Bereiche, die eine vorhersehbare Verarbeitung mit geringem Stromverbrauch und geringer Latenz erfordern. Mit anderen Worten, eine PVA eignet sich gut für halbdichte oder dichte reguläre Berechnungen, selbst bei kleinen Datensätzen, die vorhersehbare Laufzeiten mit geringer Latenz und geringem Stromverbrauch erfordern. In mindestens einem Ausführungsbeispiel, wie z.B. im Fahrzeug 1000, könnten PVAs so konzipiert sein, dass sie klassische Computer-Vision-Algorithmen ausführen, da sie bei der Objekterkennung und der Verarbeitung ganzzahliger mathematischer Daten effizient sein können.
Zum Beispiel wird gemäß mindestens einem Ausführungsbeispiel der Technologie eine PVA verwendet, um Computer-Stereosehen durchzuführen. In mindestens einem Ausführungsbeispiel kann in einigen Beispielen ein auf semiglobalem Abgleich basierender Algorithmus verwendet werden, obwohl dies nicht als Einschränkung gedacht ist. In mindestens einem Ausführungsbeispiel verwenden Anwendungen für das autonome Fahren der Stufen 3 bis 5 eine fliegende Bewegungsschätzung/Stereoabgleich (z.B. Struktur aus Bewegung, Fußgängererkennung, Fahrspurerkennung usw.). In mindestens einem Ausführungsbeispiel kann eine PVA Computer-Stereo-Vision-Funktionen auf Eingaben von zwei monokularen Kameras ausführen.
In mindestens einem Ausführungsbeispiel kann eine PVA verwendet werden, um einen dichten optischen Fluss durchzuführen. Zum Beispiel könnte eine PVA In mindestens einem Ausführungsbeispiel RADAR-Rohdaten verarbeiten (z.B. unter Verwendung einer 4D-Fast-Fourier-Transformation), um verarbeitete RADAR-Daten zu liefern . In mindestens einem Ausführungsbeispiel wird eine PVA für die Verarbeitung von Flugzeittiefendaten verwendet, z.B. durch Verarbeitung von Flugzeit-Rohdaten, um verarbeitete Flugzeitdaten zu erhalten.
In mindestens einem Ausführungsbeispiel kann ein DLA verwendet werden, um jede Art von Netzwerk zu betreiben, um die Kontrolle und die Fahrsicherheit zu verbessern, einschließlich beispielsweise und ohne Einschränkung ein neuronales Netzwerkwerk, das ein Maß für das Vertrauen für jede Objekterkennung ausgibt. In mindestens einem Ausführungsbeispiel kann die Konfidenz als Wahrscheinlichkeit dargestellt oder interpretiert werden, oder als relative „Gewicht“ jeder Erkennung im Vergleich zu anderen Erkennungen. In mindestens einem Ausführungsbeispiel ermöglicht ein Vertrauensmaß dem System, weitere Entscheidungen darüber zu treffen, welche Erkennungen als echte positive Erkennungen und welche als falsch positive Erkennungen betrachtet werden sollten. In mindestens einem Ausführungsbeispiel kann ein System einen Schwellenwert für die Zuverlässigkeit festlegen und nur Erkennungen, die den Schwellenwert überschreiten, als echte positive Erkennungen betrachten. In einem Ausführungsbeispiel, in der ein automatisches Notbremssystem („AEB“) verwendet wird, würden falsch positive Erkennungen dazu führen, dass das Fahrzeug automatisch eine Notbremsung durchführt, was natürlich unerwünscht ist. In mindestens einem Ausführungsbeispiel können sehr sichere Erkennungen als Auslöser für AEB in Betracht gezogen werden. In mindestens einem Ausführungsbeispiel kann ein DLA ein neuronales Netzwerk zur Regression des Konfidenzwertes einsetzen. In mindestens einem Ausführungsbeispiel kann das neuronale Netzwerk als Eingabe mindestens eine Teilmenge von Parametern verwenden, wie z.B. die Abmessungen des Begrenzungsrahmens, die (z.B. von einem anderen Teilsystem) erhaltene Schätzung der Bodenebene, die Ausgabe des/der IMU-Sensors/en 1066, die mit der Ausrichtung des Fahrzeugs 1000 korreliert, die Entfernung, die Schätzungen der 3D-Position des Objekts, die vom neuronalen Netzwerk und/oder anderen Sensoren (z.B. LIDAR-Sensor/en 1064 oder RADAR-Sensor/en 1060) erhalten werden, und andere.
In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC(s) 1004 einen oder mehrere Datenspeicher 1016 (z.B. Speicher) enthalten. In mindestens einem Ausführungsbeispiel kann (können) der (die) Datenspeicher 1016 ein On-Chip-Speicher des (der) SoC(s) 1004 sein, der (die) neuronale(n) Netzwerke speichern kann (können), die auf der (den) GPU(s) 1008 und/oder einem DLA ausgeführt werden sollen. In mindestens einem Ausführungsbeispiel kann (können) der (die) Datenspeicher 1016 groß genug sein, um mehrere Instanzen von neuronalen Netzwerken aus Gründen der Redundanz und Sicherheit zu speichern. In mindestens einem Ausführungsbeispiel kann (können) der (die) Datenspeicher 1016 L2 oder L3 Cache(s) umfassen.
In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC(s) 1004 eine beliebige Anzahl von Prozessor(en) 1010 (z.B. eingebettete Prozessoren) enthalten. In mindestens einem Ausführungsbeispiel kann (können) der (die) Prozessor(en) 1010 einen Boot- und Energieverwaltungsprozessor umfassen, der ein dedizierter Prozessor und ein Subsystem sein kann, um Boot-Energie- und Verwaltungsfunktionen und die damit verbundene Sicherheitsdurchsetzung zu handhaben. In mindestens einem Ausführungsbeispiel kann ein Boot- und Energieverwaltungsprozessor Teil einer Bootsequenz von SoC(s) 1004 sein und Laufzeit-Energieverwaltungsdienste bereitstellen. In mindestens einem Ausführungsbeispiel kann ein Boot-Energieversorgungs- und -Verwaltungsprozessor Takt- und Spannungsprogrammierung, Unterstützung bei Systemübergängen mit niedrigem Energiebedarf, Verwaltung von SoC(s) 1004-Temperaturen und Temperatursensoren und/oder Verwaltung von SoC(s) 1004-Energieversorgungszuständen bieten. In mindestens einem Ausführungsbeispiel kann jeder Temperatursensor als Ringoszillator implementiert sein, dessen Ausgangsfrequenz proportional zur Temperatur ist, und SoC(s) 1004 kann Ringoszillatoren verwenden, um die Temperaturen von CPU(s) 1006, GPU(s) 1008 und/oder Beschleuniger(n) 1014 zu erfassen. In mindestens einem Ausführungsbeispiel kann ein Boot- und Energieverwaltungsprozessor, wenn festgestellt wird, dass die Temperaturen einen Schwellenwert überschreiten, in eine Temperaturfehlerroutine eintreten und die SoC(s) 1004 in einen Zustand mit geringerer Leistung versetzen und/oder das Fahrzeug 1000 in einen Chauffeur-zu-sicherem-Halt-Modus versetzen (z.B. das Fahrzeug 1000 zu einem sicheren Halt bringen).
In mindestens einem Ausführungsbeispiel kann (können) der (die) Prozessor(en) 1010 weiter einen Satz eingebetteter Prozessoren enthalten, die als Audioverarbeitungsmaschine dienen können, die ein Audio-Subsystem sein kann, das eine vollständige Hardware-Unterstützung für Mehrkanal-Audio über mehrere Schnittstellen und eine breite und flexible Palette von Audio-E/A-Schnittstellen ermöglicht. In mindestens einem Ausführungsbeispiel ist eine Audioverarbeitungs-Engine ein dedizierter Prozessorkern mit einem digitalen Signalprozessor mit dediziertem RAM.
In mindestens einem Ausführungsbeispiel kann (können) der (die) Prozessor(en) 1010 außerdem eine immer- eingeschaltete Prozessormaschine enthalten, die die notwendigen Hardwarefunktionen zur Unterstützung der Sensorverwaltung mit geringem Stromverbrauch und des Aufwachens von Anwendungsfällen bereitstellen kann. In mindestens einem Ausführungsbeispiel kann eine stets- eingeschaltete Prozessormaschine ohne Einschränkung einen Prozessorkern, einen eng gekoppelten Arbeitsspeicher, unterstützende Peripheriegeräte (z.B. Timer und Interrupt-Controller), verschiedene E/A-Controller-Peripheriegeräte und Routing-Logik umfassen.
In mindestens einem Ausführungsbeispiel kann (können) der (die) Prozessor(en) 1010 außerdem eine Sicherheits-Cluster-Engine enthalten, die ohne Einschränkung ein dediziertes Prozessor-Subsystem zur Handhabung des Sicherheitsmanagements für Automobilanwendungen umfasst. In mindestens einem Ausführungsbeispiel kann eine Sicherheits-Cluster-Engine ohne Einschränkung zwei oder mehr Prozessorkerne, einen eng gekoppelten Arbeitsspeicher, unterstützende Peripheriegeräte (z.B. Zeitgeber, einen Interrupt-Controller usw.) und/oder eine Routing-Logik umfassen. In einem Sicherheitsmodus können zwei oder mehr Kerne In mindestens einem Ausführungsbeispiel in einem Lockstep-Modus arbeiten und als ein einziger Kern mit einer Vergleichslogik zur Erkennung von Unterschieden zwischen ihren Operationen funktionieren. In mindestens einem Ausführungsbeispiel kann (können) der (die) Prozessor(en) 1010 außerdem eine Echtzeit-Kamera-Engine enthalten, die ohne Einschränkung ein dediziertes Prozessor-Subsystem für die Handhabung der Echtzeit-Kameraverwaltung umfassen kann. In mindestens einem Ausführungsbeispiel kann (können) der (die) Prozessor(en) 1010 außerdem einen Signalprozessor mit hohem Dynamikbereich umfassen, der unter anderem einen Bildsignalprozessor umfassen kann, der eine Hardware-Engine ist, die Teil einer Kameraverarbeitungspipeline ist.
In mindestens einem Ausführungsbeispiel kann (können) der (die) Prozessor(en) 1010 einen Videobildkompositor enthalten, der ein Verarbeitungsblock sein kann (z.B. auf einem Mikroprozessor implementiert), der Videonachbearbeitungsfunktionen implementiert, die von einer Videowiedergabeanwendung benötigt werden, um ein endgültiges Bild für ein Spielerfenster zu erzeugen. In mindestens einem Ausführungsbeispiel kann ein Videobildkompositor eine Linsenverzerrungskorrektur an der (den) Weitwinkelkamera(s) 1070, der (den) Surround-Kamera(s) 1074 und/oder an dem (den) Sensor(en) der Überwachungskamera(s) in der Kabine vornehmen. In mindestens einem Ausführungsbeispiel wird/werden der/die Sensor(en) der Überwachungskamera(n) in der Kabine vorzugsweise von einem neuronalen Netzwerk überwacht, das auf einer anderen Instanz des SoC 1004 läuft und so konfiguriert ist, dass es Ereignisse in der Kabine erkennt und entsprechend reagiert. In mindestens einem Ausführungsbeispiel kann ein System im Fahrzeuginneren ohne Einschränkung Lippenlesen durchführen, um den Mobilfunkdienst zu aktivieren und einen Anruf zu tätigen, E-Mails zu diktieren, den Zielort eines Fahrzeugs zu ändern, das Infotainmentsystem und die Einstellungen eines Fahrzeugs zu aktivieren oder zu ändern oder sprachgesteuertes Surfen im Internet zu ermöglichen. In mindestens einem Ausführungsbeispiel stehen dem Fahrer bestimmte Funktionen zur Verfügung, wenn das Fahrzeug in einem autonomen Modus betrieben wird, und sind ansonsten deaktiviert.
In mindestens einem Ausführungsbeispiel kann ein Videobildkompositor eine verbesserte zeitliche Rauschunterdrückung sowohl für die räumliche als auch für die zeitliche Rauschunterdrückung umfassen. Zum Beispiel, In mindestens einem Ausführungsbeispiel, wenn Bewegung in einem Video auftritt, gewichtet die Rauschunterdrückung die räumliche Information angemessen und verringert die Gewicht der Information, die von benachbarten Frames geliefert wird. In mindestens einem Ausführungsbeispiel, in der ein Bild oder ein Teil eines Bildes keine Bewegung enthält, kann die vom Videobildkompositor durchgeführte zeitliche Rauschunterdrückung Informationen aus einem früheren Bild verwenden, um das Rauschen im aktuellen Bild zu reduzieren.
In mindestens einem Ausführungsbeispiel kann ein Videobildkompositor auch so konfiguriert sein, dass er eine Stereorektifizierung an eingegebenen Stereolinsenbildern durchführt. In mindestens einem Ausführungsbeispiel kann ein Videobild-Kompositor außerdem für die Zusammensetzung der Benutzeroberfläche verwendet werden, wenn ein Betriebssystem-Desktop in Gebrauch ist und die GPU(s) 1008 nicht zum kontinuierlichen Rendern neuer Oberflächen erforderlich sind. In mindestens einem Ausführungsbeispiel kann ein Videobildkompositor verwendet werden, um die GPU(s) 1008 zu entlasten und so die Leistung und Reaktionsfähigkeit zu verbessern, wenn die GPU(s) 1008 eingeschaltet sind und aktiv 3D-Rendering durchführen.
In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC(s) 1004 außerdem eine serielle MIPI-Kameraschnittstelle für den Empfang von Video und Eingaben von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingabeblock enthalten, der für eine Kamera und damit verbundene Pixeleingabefunktionen verwendet werden kann. In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC(s) 1004 außerdem einen oder mehrere Eingangs-/Ausgangs-Controller enthalten, die durch Software gesteuert werden können und für den Empfang von E/A-Signalen verwendet werden können, die keiner bestimmten Rolle zugeordnet sind.
In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC(s) 1004 außerdem eine breite Palette von Peripherieschnittstellen enthalten, um die Kommunikation mit Peripheriegeräten, Audio-Encodern/Decodern („Codecs“), Energieverwaltung und/oder anderen Geräten zu ermöglichen. In mindestens einem Ausführungsbeispiel können SoC(s) 1004 verwendet werden, um Daten von Kameras (z.B. über Gigabit Multimedia Serial Link und Ethernet-Kanäle), Sensoren (z.B. LIDAR-Sensor(en) 1064, RADAR-Sensor(en) 1060 usw. die über Ethernet-Kanäle verbunden sein können), Daten vom Bus 1002 (z.B. Geschwindigkeit des Fahrzeugs 1000, Lenkradposition usw.), Daten von GNSS-Sensor(en) 1058 (z.B. über einen Ethemet-Bus oder einen CAN-Bus verbunden) usw. In mindestens einem Ausführungsbeispiel können ein oder mehrere SoC von SoC(s) 1004 außerdem dedizierte Hochleistungs-Massenspeicher-Controller enthalten, die ihre eigenen DMA-Engines enthalten können und dazu verwendet werden können, die CPU(s) 1006 von Routineaufgaben der Datenverwaltung zu entlasten.
In mindestens einem Ausführungsbeispiel kann (können) der (die) SoC(s) 1004 eine End-to-End-Plattform mit einer flexiblen Architektur sein, die die Automatisierungsebenen 3 bis 5 überspannt und dadurch eine umfassende funktionale Sicherheitsarchitektur bereitstellt, die Computer-Vision- und ADAS-Techniken für Diversität und Redundanz nutzt und eine Plattform für einen flexiblen, zuverlässigen Fahrsoftware-Stack zusammen mit Deep-Learning-Tools bereitstellt. In mindestens einem Ausführungsbeispiel können die SoC(s) 1004 schneller, zuverlässiger und sogar energie- und platzsparender sein als herkömmliche Systeme. Zum Beispiel können In mindestens einem Ausführungsbeispiel der oder die Beschleuniger 1014 in Kombination mit CPU(s) 1006, GPU(s) 1008 und Datenspeicher(n) 1016 eine schnelle, effiziente Plattform für autonome Fahrzeuge der Stufe 3-5 bilden.
In mindestens einem Ausführungsbeispiel können Computer-Vision-Algorithmen auf CPUs ausgeführt werden, die mit einer Hochsprache wie C konfiguriert werden können, um eine Vielzahl von Verarbeitungsalgorithmen für eine Vielzahl von visuellen Daten auszuführen. In mindestens einem Ausführungsbeispiel sind CPUs jedoch oft nicht in der Lage, die Leistungsanforderungen vieler Bildverarbeitungsanwendungen zu erfüllen, z.B. in Bezug auf die Ausführungszeit und den Stromverbrauch. In mindestens einem Ausführungsbeispiel sind viele CPUs nicht in der Lage, komplexe Objekterkennungsalgorithmen in Echtzeit auszuführen, die in fahrzeuginternen ADAS-Anwendungen und in praktischen autonomen Fahrzeugen der Stufe 3-5 verwendet werden.
Die hier beschriebenen Ausführungsformen ermöglichen es, dass mehrere neuronale Netzwerke gleichzeitig und/oder nacheinander ausgeführt und die Ergebnisse miteinander kombiniert werden können, um autonome Fahrfunktionen der Stufe 3-5 zu ermöglichen. Zum Beispiel kann In mindestens einem Ausführungsbeispiel ein CNN, das auf einer DLA oder einer diskreten GPU (z.B. GPU(s) 1020) ausgeführt wird, eine Text- und Worterkennung umfassen, die das Lesen und Verstehen von Verkehrszeichen ermöglicht, einschließlich Zeichen, für die ein neuronales Netzwerk nicht speziell trainiert wurde. In mindestens einem Ausführungsbeispiel kann eine DLA außerdem ein neuronales Netzwerk enthalten, das in der Lage ist, ein Zeichen zu identifizieren, zu interpretieren und semantisch zu verstehen und dieses semantische Verständnis an Wegplanungsmodule weiterzugeben, die auf einem CPU-Komplex laufen.
In mindestens einem Ausführungsbeispiel können mehrere neuronale Netzwerke gleichzeitig betrieben werden, wie beim Fahren der Stufe 3, 4 oder 5. Zum Beispiel kann In mindestens einem Ausführungsbeispiel ein Warnschild mit der Aufschrift „Vorsicht: Blinkende Lichter weisen auf Glatteis hin“ zusammen mit einem elektrischen Licht von mehreren neuronalen Netzwerken unabhängig oder gemeinsam interpretiert werden. In mindestens einem Ausführungsbeispiel kann ein solches Warnschild selbst von einem ersten eingesetzten neuronalen Netzwerk (z.B. einem trainierten neuronalen Netz) als Verkehrszeichen identifiziert werden, und der Text „Blinkende Lichter deuten auf Eisglätte hin“ kann von einem zweiten eingesetzten neuronalen Netzwerk interpretiert werden, das die Wegplanungssoftware eines Fahrzeugs (die vorzugsweise auf einem CPU-Komplex ausgeführt wird) darüber informiert, dass Eisglätte vorliegt, wenn blinkende Lichter erkannt werden. In mindestens einem Ausführungsbeispiel kann ein Blinklicht durch den Betrieb eines dritten neuronalen Netzes über mehrere Frames identifiziert werden, das die Wegplanungssoftware eines Fahrzeugs über das Vorhandensein (oder Nichtvorhandensein) von Blinklichtern informiert. In mindestens einem Ausführungsbeispiel können alle drei neuronalen Netzwerke gleichzeitig laufen, z.B. innerhalb einer DLA und/oder auf GPU(s) 1008.
In mindestens einem Ausführungsbeispiel kann ein CNN zur Gesichtserkennung und Identifizierung des Fahrzeugbesitzers Daten von Kamerasensoren verwenden, um die Anwesenheit eines autorisierten Fahrers und/oder Besitzers des Fahrzeugs 1000 zu identifizieren. In mindestens einem Ausführungsbeispiel kann eine „Always-On“-Sensorverarbeitungs-Engine verwendet werden, um ein Fahrzeug zu entriegeln, wenn sich ein Besitzer einer Fahrertür nähert und das Licht einschaltet, und um in einem Sicherheitsmodus ein solches Fahrzeug zu deaktivieren, wenn ein Besitzer ein solches Fahrzeug verlässt. Auf diese Weise sorgen die SoC(s) 1004 für Sicherheit gegen Diebstahl und/oder Carjacking.
In mindestens einem Ausführungsbeispiel kann ein CNN zur Erkennung und Identifizierung von Einsatzfahrzeugen Daten von Mikrofonen 1096 verwenden, um Sirenen von Einsatzfahrzeugen zu erkennen und zu identifizieren. In mindestens einem Ausführungsbeispiel verwenden die SoC(s) 1004 ein CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung visueller Daten. In mindestens einem Ausführungsbeispiel wird ein CNN, das auf einem DLA läuft, darauf trainiert, eine relative Annäherungsgeschwindigkeit eines Einsatzfahrzeugs zu erkennen (z.B. unter Verwendung des Dopplereffekts). In mindestens einem Ausführungsbeispiel kann ein CNN auch so trainiert werden, dass es Einsatzfahrzeuge identifiziert, die spezifisch für ein lokales Gebiet sind, in dem ein Fahrzeug unterwegs ist, wie von GNSS-Sensor(en) 1058 identifiziert. In mindestens einem Ausführungsbeispiel wird ein CNN bei Betrieb in Europa versuchen, europäische Sirenen zu erkennen, und bei Betrieb in Nordamerika wird ein CNN versuchen, nur nordamerikanische Sirenen zu identifizieren. In mindestens einem Ausführungsbeispiel kann ein Steuerprogramm, sobald ein Einsatzfahrzeug erkannt wird, dazu verwendet werden, eine Sicherheitsroutine für Einsatzfahrzeuge auszuführen, ein Fahrzeug abzubremsen, an den Straßenrand zu fahren, ein Fahrzeug zu parken und/oder ein Fahrzeug im Leerlauf laufen zu lassen, und zwar mit Hilfe des/der Ultraschallsensors/en 1062, bis die Einsatzfahrzeuge vorbeifahren.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 eine oder mehrere CPU(s) 1018 (z.B. diskrete CPU(s) oder dCPU(s)) enthalten, die über eine Hochgeschwindigkeitsverbindung (z.B. PCIe) mit dem/den SoC(s) 1004 verbunden sein können. In mindestens einem Ausführungsbeispiel kann (können) die CPU(s) 1018 beispielsweise einen X86-Prozessor umfassen. Die CPU(s) 1018 kann/können verwendet werden, um eine Vielzahl von Funktionen auszuführen, einschließlich der Schlichtung potenziell widersprüchlicher Ergebnisse zwischen ADAS-Sensoren und SoC(s) 1004 und/oder der Überwachung des Status und des Zustands des/der Controller(s) 1036 und/oder eines Infotainment-Systems auf einem Chip („Infotainment-SoC“) 1030, zum Beispiel.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 GPU(s) 1020 (z.B. diskrete GPU(s) oder dGPU(s)) enthalten, die mit dem/den SoC(s) 1004 über eine Hochgeschwindigkeitsverbindung (z.B. NVIDIAs NVLINK-Kanal) gekoppelt sein können. In mindestens einem Ausführungsbeispiel kann (können) GPU(s) 1020 zusätzliche Funktionen der künstlichen Intelligenz bereitstellen, z.B. durch Ausführen redundanter und/oder unterschiedlicher neuronaler Netze, und kann (können) verwendet werden, um neuronale Netzwerke zu trainieren und/oder zu aktualisieren, die zumindest teilweise auf Eingaben (z.B. Sensordaten) von Sensoren eines Fahrzeugs 1000 basieren.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter eine Netzwerkschnittstelle 1024 umfassen, die ohne Einschränkung eine oder mehrere drahtlose Antennen 1026 (z.B. eine oder mehrere drahtlose Antennen für verschiedene Kommunikationsprotokolle, wie eine Mobilfunkantenne, eine Bluetooth-Antenne usw.) umfassen kann. In mindestens einem Ausführungsbeispiel kann die Netzwerkschnittstelle 1024 verwendet werden, um eine drahtlose Verbindung zu Internet-Cloud-Diensten (z.B. mit Server(n) und/oder anderen Netzwerkgeräten), mit anderen Fahrzeugen und/oder mit Computergeräten (z.B. Client-Geräten von Fahrgästen) zu ermöglichen. In mindestens einem Ausführungsbeispiel kann zur Kommunikation mit anderen Fahrzeugen eine direkte Verbindung zwischen dem Fahrzeug 100 und einem anderen Fahrzeug und/oder eine indirekte Verbindung (z.B. über Netzwerke und das Internet) hergestellt werden. In mindestens einem Ausführungsbeispiel können direkte Verbindungen über eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung hergestellt werden. In mindestens einem Ausführungsbeispiel kann eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung dem Fahrzeug 1000 Informationen über Fahrzeuge in der Nähe des Fahrzeugs 1000 liefern (z.B. Fahrzeuge vor, neben und/oder hinter dem Fahrzeug 1000). In mindestens einem Ausführungsbeispiel kann die vorgenannte Funktionalität Teil einer kooperativen adaptiven Geschwindigkeitsregelungsfunktion des Fahrzeugs 1000 sein.
In mindestens einem Ausführungsbeispiel kann die Netzwerkschnittstelle 1024 einen SoC enthalten, der Modulations- und Demodulationsfunktionen bereitstellt und es dem/den Controller(n) 1036 ermöglicht, über drahtlose Netzwerke zu kommunizieren. In mindestens einem Ausführungsbeispiel kann die Netzwerkschnittstelle 1024 ein Hochfrequenz-Frontend für die Aufwärtskonvertierung von Basisband auf Hochfrequenz und die Abwärtskonvertierung von Hochfrequenz auf Basisband enthalten. In mindestens einem Ausführungsbeispiel können die Frequenzumwandlungen auf jede technisch mögliche Weise durchgeführt werden. Beispielsweise können Frequenzumwandlungen durch bekannte Verfahren und/oder unter Verwendung von Superheterodyn-Verfahren durchgeführt werden. In mindestens einem Ausführungsbeispiel kann die Hochfrequenz-Front-End-Funktionalität durch einen separaten Chip bereitgestellt werden. In mindestens einem Ausführungsbeispiel können die Netzwerkschnittstellen drahtlose Funktionen für die Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle umfassen.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter einen oder mehrere Datenspeicher 1028 umfassen, die ohne Einschränkung einen Speicher außerhalb des Chips (z.B. außerhalb des/der SoC(s) 1004) umfassen können. In mindestens einem Ausführungsbeispiel kann (können) der (die) Datenspeicher 1028 ohne Einschränkung ein oder mehrere Speicherelemente umfassen, darunter RAM, SRAM, dynamischer Direktzugriffsspeicher („DRAM“), Video-Direktzugriffsspeicher („VRAM“), Flash-Speicher, Festplatten und/oder andere Komponenten und/oder Geräte, die mindestens ein Datenbit speichern können.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 außerdem GNSS-Sensor(en) 1058 (z.B. GPS und/oder unterstützte GPS-Sensoren) enthalten, um bei der Kartierung, der Wahrnehmung, der Erzeugung von Belegungsrastern und/oder den Pfadplanungsfunktionen zu helfen. In mindestens einem Ausführungsbeispiel kann eine beliebige Anzahl von GNSS-Sensor(en) 1058 verwendet werden, einschließlich, zum Beispiel und ohne Einschränkung, ein GPS, das einen USB-Anschluss mit einer Ethernet-zu-Seriell-Brücke (z.B. RS-232) verwendet.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter RADAR-Sensor(en) 1060 umfassen. In mindestens einem Ausführungsbeispiel kann (können) der (die) RADAR-Sensor(en) 1060 vom Fahrzeug 1000 für die Erkennung von Fahrzeugen über große Entfernungen verwendet werden, selbst bei Dunkelheit und/oder schlechten Wetterbedingungen. In mindestens einem Ausführungsbeispiel können die RADAR-Funktionssicherheitsstufen ASIL B sein. In mindestens einem Ausführungsbeispiel kann/können der/die RADAR-Sensor(en) 1060 einen CAN-Bus und/oder Bus 1002 (z.B. zur Übertragung von Daten, die von dem/den RADAR-Sensor(en) 1060 erzeugt wurden) zur Steuerung und zum Zugriff auf Objektverfolgungsdaten verwenden, wobei in einigen Beispielen der Zugriff auf Ethernet-Kanäle zum Zugriff auf Rohdaten möglich ist. In mindestens einem Ausführungsbeispiel kann eine breite Palette von RADAR-Sensortypen verwendet werden. Zum Beispiel und ohne Einschränkung können RADAR-Sensor(en) 1060 für die Verwendung von Front-, Heck- und Seiten-RADAR geeignet sein. In mindestens einem Ausführungsbeispiel ist ein oder mehrere Sensoren des RADAR-Sensors/der RADAR-Sensoren 1060 ein Puls-Doppler-RADAR-Sensor.
In mindestens einem Ausführungsbeispiel kann (können) der (die) RADAR-Sensor(en) 1060 verschiedene Konfigurationen umfassen, z.B. mit großer Reichweite und engem Sichtfeld, mit geringer Reichweite und breitem Sichtfeld, mit seitlicher Abdeckung im Nahbereich usw. In mindestens einem Ausführungsbeispiel kann RADAR mit großer Reichweite für die adaptive Geschwindigkeitsregelung verwendet werden. In mindestens einem Ausführungsbeispiel können RADAR-Systeme mit großer Reichweite ein breites Sichtfeld bieten, das durch zwei oder mehr unabhängige Abtastungen, z.B. innerhalb eines Bereichs von 250 m (Meter), realisiert wird. In mindestens einem Ausführungsbeispiel kann/können der/die RADAR-Sensor(en) 1060 dabei helfen, zwischen statischen und sich bewegenden Objekten zu unterscheiden, und kann/können vom ADAS-System 1038 zur Notbremsunterstützung und zur Vorwärtskollisionswarnung verwendet werden. In mindestens einem Ausführungsbeispiel können die Sensoren 1060, die in einem RADAR-System mit großer Reichweite enthalten sind, ohne Einschränkung ein monostatisches multimodales RADAR mit mehreren (z.B. sechs oder mehr) festen RADAR-Antennen und einer Hochgeschwindigkeits-CAN- und FlexRay-Schnittstelle umfassen. In mindestens einem Ausführungsbeispiel mit sechs Antennen können vier Antennen in der Mitte ein fokussiertes Strahlenmuster erzeugen, das dazu dient, die Umgebung des Fahrzeugs bei höheren Geschwindigkeiten mit minimalen Störungen durch den Verkehr auf den benachbarten Fahrspuren zu erfassen. In mindestens einem Ausführungsbeispiel können zwei weitere Antennen das Sichtfeld erweitern, so dass Fahrzeuge, die in eine Fahrspur des Fahrzeugs 1000 einfahren oder diese verlassen, schnell erfasst werden können.
In mindestens einem Ausführungsbeispiel können RADAR-Systeme mittlerer Reichweite beispielsweise eine Reichweite von bis zu 160 m (vorne) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorne) oder 150 Grad (hinten) aufweisen. In mindestens einem Ausführungsbeispiel können Kurzstrecken-RADAR-Systeme ohne Einschränkung eine beliebige Anzahl von RADAR-Sensoren 1060 umfassen, die an beiden Enden eines hinteren Stoßfängers installiert werden können. Wenn ein RADAR-Sensorsystem an beiden Enden eines hinteren Stoßfängers installiert ist, kann es In mindestens einem Ausführungsbeispiel zwei Strahlen erzeugen, die ständig tote Winkel in Richtung nach hinten und neben einem Fahrzeug überwachen. In mindestens einem Ausführungsbeispiel können RADAR-Systeme mit kurzer Reichweite im ADAS-System 1038 zur Erkennung des toten Winkels und/oder als Spurwechselassistent verwendet werden.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter einen oder mehrere Ultraschallsensoren 1062 umfassen. In mindestens einem Ausführungsbeispiel kann (können) der (die) Ultraschallsensor(en) 1062, der (die) an einer vorderen, hinteren und/oder seitlichen Position des Fahrzeugs 1000 positioniert sein kann (können), zur Einparkhilfe und/oder zur Erstellung und Aktualisierung eines Belegungsrasters verwendet werden. In mindestens einem Ausführungsbeispiel kann eine Vielzahl von Ultraschallsensoren 1062 verwendet werden, und unterschiedliche Ultraschallsensoren 1062 können für unterschiedliche Erfassungsbereiche (z.B. 2,5 m, 4 m) verwendet werden. In mindestens einem Ausführungsbeispiel kann der/die Ultraschallsensor(en) 1062 bei funktionalen Sicherheitsstufen von ASIL B arbeiten.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 LIDAR-Sensor(en) 1064 enthalten. In mindestens einem Ausführungsbeispiel kann (können) der (die) LIDAR-Sensor(en) 1064 für Objekt- und Fußgängererkennung, Notbremsung, Kollisionsvermeidung und/oder andere Funktionen verwendet werden. In mindestens einem Ausführungsbeispiel kann (können) der (die) LIDAR-Sensor(en) 1064 auf der funktionalen Sicherheitsstufe ASIL B betrieben werden. In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 mehrere LIDAR-Sensoren 1064 (z.B. zwei, vier, sechs usw.) umfassen, die einen Ethernet-Kanal verwenden können (z.B. zur Bereitstellung von Daten an einen Gigabit-Ethernet-Switch).
In mindestens einem Ausführungsbeispiel kann (können) der (die) LIDAR-Sensor(en) 1064 in der Lage sein, eine Liste von Objekten und deren Entfernungen für ein 360-Grad-Sichtfeld zu liefern. In mindestens einem Ausführungsbeispiel kann (können) der (die) handelsübliche(n) LIDAR-Sensor(en) 1064 eine beworbene Reichweite von etwa 100 m haben, mit einer Genauigkeit von 2 cm bis 3 cm und mit Unterstützung für eine 100-Mbps-Ethernet-Verbindung, zum Beispiel. In mindestens einem Ausführungsbeispiel können ein oder mehrere nicht vorspringende LIDAR-Sensoren verwendet werden. In einer solchen Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 1064 ein kleines Gerät umfassen, das in eine Front-, Heck-, Seiten- und/oder Eckposition des Fahrzeugs 1000 eingebettet werden kann. In mindestens einem Ausführungsbeispiel kann (können) der (die) LIDAR-Sensor(en) 1064 in einer solchen Ausführungsform ein horizontales Sichtfeld von bis zu 120 Grad und ein vertikales Sichtfeld von 35 Grad mit einer Reichweite von 200 m selbst für Objekte mit geringem Reflexionsvermögen bieten. In mindestens einem Ausführungsbeispiel kann (können) der (die) frontmontierte(n) LIDAR-Sensor(en) 1064 für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad konfiguriert werden.
In mindestens einem Ausführungsbeispiel können auch LIDAR-Technologien, wie z.B. 3D-Blitz-LIDAR, verwendet werden. In mindestens einem Ausführungsbeispiel verwendet 3D-Flash-LIDAR einen Laserblitz als Übertragungsquelle, um die Umgebung des Fahrzeugs 1000 bis zu einer Entfernung von etwa 200 m zu beleuchten. In mindestens einem Ausführungsbeispiel umfasst eine Flash-LIDAR-Einheit ohne Einschränkung einen Rezeptor, der die Laufzeit des Laserpulses und das reflektierte Licht an jedem Pixel aufzeichnet, was wiederum einer Entfernung von Fahrzeug 1000 zu Objekten entspricht. In mindestens einem Ausführungsbeispiel kann Flash-LIDAR es ermöglichen, mit jedem Laserblitz hochgenaue und verzerrungsfreie Bilder der Umgebung zu erzeugen. In mindestens einem Ausführungsbeispiel können vier Flash-LIDAR-Sensoren eingesetzt werden, einer an jeder Seite des Fahrzeugs 1000. In mindestens einem Ausführungsbeispiel umfassen 3D-Blitz-LIDAR-Systeme ohne Einschränkung eine 3D-Star-Array-LIDAR-Festkörperkamera, die außer einem Gebläse keine beweglichen Teile aufweist (z.B. ein nicht scannendes LIDAR-Gerät). In mindestens einem Ausführungsbeispiel kann das Blitz-LIDAR-Gerät einen 5-Nanosekunden-Klasse I-Laserimpuls der Klasse I (augensicher) pro Bild verwenden und das reflektierte Laserlicht als 3D-Entfernungspunktwolke und koregistrierte Intensitätsdaten erfassen.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter einen oder mehrere IMU-Sensoren 1066 umfassen. In mindestens einem Ausführungsbeispiel kann/können der/die IMU-Sensor(en) 1066 in der Mitte einer Hinterachse des Fahrzeugs 1000 angeordnet sein. In mindestens einem Ausführungsbeispiel kann (können) der (die) IMU-Sensor(en) 1066 beispielsweise und ohne Einschränkung einen oder mehrere Beschleunigungsmesser, Magnetometer, Gyroskop(e), einen Magnetkompass, Magnetkompasse und/oder andere Sensortypen umfassen. In mindestens einem Ausführungsbeispiel, wie z.B. bei sechsachsigen Anwendungen, kann/können der/die IMU-Sensor(en) 1066 ohne Einschränkung Beschleunigungsmesser und Gyroskope umfassen. In mindestens einem Ausführungsbeispiel, z.B. bei neunachsigen Anwendungen, kann (können) der (die) IMU-Sensor(en) 1066 ohne Einschränkung Beschleunigungsmesser, Gyroskope und Magnetometer umfassen.
In mindestens einem Ausführungsbeispiel kann (können) der (die) IMU-Sensor(en) 1066 als ein miniaturisiertes, hochleistungsfähiges GPS-gestütztes Trägheitsnavigationssystem („GPS/INS“) implementiert werden, das mikroelektromechanische Systeme („MEMS“) Trägheitssensoren, einen hochempfindlichen GPS-Empfänger und fortschrittliche Kalman-Filteralgorithmen kombiniert, um Schätzungen von Position, Geschwindigkeit und Lage zu liefern. In mindestens einem Ausführungsbeispiel können die IMU-Sensoren 1066 das Fahrzeug 1000 in die Lage versetzen, seinen Kurs zu schätzen, ohne dass Eingaben von einem magnetischen Sensor erforderlich sind, indem Änderungen der Geschwindigkeit von einem GPS direkt beobachtet und mit den IMU-Sensoren 1066 korreliert werden. In mindestens einem Ausführungsbeispiel können IMU-Sensor(en) 1066 und GNSS-Sensor(en) 1058 in einer einzigen integrierten Einheit kombiniert werden.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 Mikrofon(e) 1096 enthalten, die im und/oder um das Fahrzeug 1000 herum angeordnet sind. In mindestens einem Ausführungsbeispiel kann (können) das (die) Mikrofon(e) 1096 unter anderem zur Erkennung und Identifizierung von Einsatzfahrzeugen verwendet werden.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter eine beliebige Anzahl von Kameratypen umfassen, einschließlich Stereokamera(s) 1068, Weitwinkelkamera(s) 1070, Infrarotkamera(s) 1072, Umgebungskamera(s) 1074, Fernkamera(s) 1098, Mittelbereichskamera(s) 1076 und/oder andere Kameratypen. In mindestens einem Ausführungsbeispiel können Kameras verwendet werden, um Bilddaten rund um den gesamten Umfang des Fahrzeugs 1000 zu erfassen. In mindestens einem Ausführungsbeispiel hängt es vom Fahrzeug 1000 ab, welche Arten von Kameras verwendet werden. In mindestens einem Ausführungsbeispiel kann eine beliebige Kombination von Kameratypen verwendet werden, um die notwendige Abdeckung um das Fahrzeug 1000 herum zu gewährleisten. In mindestens einem Ausführungsbeispiel kann die Anzahl der eingesetzten Kameras je nach Ausführungsform unterschiedlich sein. In mindestens einem Ausführungsbeispiel könnte das Fahrzeug 1000 beispielsweise sechs, sieben, zehn, zwölf oder eine andere Anzahl von Kameras umfassen. In mindestens einem Ausführungsbeispiel können die Kameras beispielsweise und ohne Einschränkung Gigabit Multimedia Serial Link („GMSL“) und/oder Gigabit Ethernet Kommunikation unterstützen. In mindestens einem Ausführungsbeispiel kann jede Kamera so beschaffen sein, wie zuvor in Bezug auf 10A und 10B näher beschrieben.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter einen oder mehrere Schwingungssensoren 1042 umfassen. In mindestens einem Ausführungsbeispiel kann (können) der (die) Schwingungssensor(en) 1042 Schwingungen von Komponenten des Fahrzeugs 1000, wie z.B. der Achse(n), messen. Zum Beispiel können In mindestens einem Ausführungsbeispiel Änderungen der Vibrationen eine Änderung der Straßenoberfläche anzeigen. In mindestens einem Ausführungsbeispiel können bei Verwendung von zwei oder mehr Schwingungssensoren 1042 die Unterschiede zwischen den Schwingungen zur Bestimmung der Reibung oder des Schlupfes der Straßenoberfläche verwendet werden (z.B. wenn ein Unterschied in den Schwingungen zwischen einer angetriebenen Achse und einer frei drehenden Achse besteht).
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 das ADAS-System 1038 umfassen. In mindestens einem Ausführungsbeispiel kann das ADAS-System 1038 in einigen Beispielen ohne Einschränkung einen SoC umfassen. In mindestens einem Ausführungsbeispiel kann das ADAS-System 1038 ohne Einschränkung eine beliebige Anzahl und Kombination eines autonomen/adaptiven/automatischen Geschwindigkeitsregelungssystems („ACC“), eines kooperativen adaptiven Geschwindigkeitsregelungssystems („CACC“), eines Vorwärts-Crash-Warnsystems („FCW“), eines automatischen Notbremssystems („AEB“) ein System zur Warnung vor dem Verlassen der Fahrspur („LDW“), ein Spurhalteassistent („LKA“), ein System zur Warnung vor dem toten Winkel („BSW“), ein System zur Warnung vor rückwärtigem Querverkehr („RCTW“), ein System zur Kollisionswarnung („CW“), ein System zur Fahrspurzentrierung („LC“) und/oder andere Systeme, Merkmale und/oder Funktionen.
In mindestens einem Ausführungsbeispiel kann das ACC-System RADAR-Sensor(en) 1060, LIDAR-Sensor(en) 1064 und/oder eine beliebige Anzahl von Kameras verwenden. In mindestens einem Ausführungsbeispiel kann das ACC-System ein longitudinales ACC-System und/oder ein laterales ACC-System umfassen. In mindestens einem Ausführungsbeispiel überwacht und steuert ein ACC-System in Längsrichtung den Abstand zu einem anderen Fahrzeug unmittelbar vor dem Fahrzeug 1000 und passt die Geschwindigkeit des Fahrzeugs 1000 automatisch an, um einen sicheren Abstand zu vorausfahrenden Fahrzeugen einzuhalten. In mindestens einem Ausführungsbeispiel übernimmt ein seitliches ACC-System die Abstandshaltung und rät dem Fahrzeug 1000, bei Bedarf die Spur zu wechseln. In mindestens einem Ausführungsbeispiel ist ein seitliches ACC-System mit anderen ADAS-Anwendungen wie LC und CW verbunden.
In mindestens einem Ausführungsbeispiel verwendet ein CACC-System Informationen von anderen Fahrzeugen, die über eine Netzwerkschnittstelle 1024 und/oder drahtlose Antenne(n) 1026 von anderen Fahrzeugen über eine drahtlose Verbindung oder indirekt über eine Netzwerkverbindung (z.B. über das Internet) empfangen werden können. In mindestens einem Ausführungsbeispiel können direkte Verbindungen durch eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung („V2V“) bereitgestellt werden, während indirekte Verbindungen durch eine Infrastruktur-zu-Fahrzeug-Kommunikationsverbindung („I2V“) bereitgestellt werden können. Im Allgemeinen liefert die V2V-Kommunikation Informationen über unmittelbar vorausfahrende Fahrzeuge (z.B. Fahrzeuge, die sich unmittelbar vor und auf derselben Spur wie Fahrzeug 1000 befinden), während die I2V-Kommunikation Informationen über den weiter vorausfahrenden Verkehr liefert. In mindestens einem Ausführungsbeispiel kann ein CACC-System entweder eine oder beide 12V- und V2V-Informationsquellen enthalten. In mindestens einem Ausführungsbeispiel kann ein CACC-System angesichts der Informationen über Fahrzeuge vor dem Fahrzeug 1000 zuverlässiger sein und hat das Potenzial, den Verkehrsfluss zu verbessern und Staus auf der Straße zu verringern.
In mindestens einem Ausführungsbeispiel ist ein FCW-System so konzipiert, dass es einen Fahrer vor einer Gefahr warnt, so dass dieser korrigierende Maßnahmen ergreifen kann. In mindestens einem Ausführungsbeispiel verwendet ein FCW-System eine nach vorne gerichtete Kamera und/oder RADAR-Sensor(en) 1060, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch gekoppelt ist, um dem Fahrer eine Rückmeldung zu geben, wie z.B. eine Anzeige, einen Lautsprecher und/oder eine vibrierende Komponente. In mindestens einem Ausführungsbeispiel kann ein FCW-System eine Warnung ausgeben, z.B. in Form eines Tons, einer optischen Warnung, einer Vibration und/oder eines schnellen Bremsimpulses.
In mindestens einem Ausführungsbeispiel erkennt ein AEB-System eine drohende Vorwärtskollision mit einem anderen Fahrzeug oder einem anderen Objekt und kann automatisch die Bremsen betätigen, wenn ein Fahrer nicht innerhalb eines bestimmten Zeit- oder Entfernungsparameters korrigierend eingreift. In mindestens einem Ausführungsbeispiel kann das AEB-System nach vorne gerichtete Kamera(s) und/oder RADAR-Sensor(en) 1060 verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC verbunden sind. In mindestens einem Ausführungsbeispiel wird ein AEB-System, wenn es eine Gefahr erkennt, typischerweise zuerst einen Fahrer warnen, damit er korrigierende Maßnahmen ergreift, um eine Kollision zu vermeiden, und wenn dieser Fahrer keine korrigierenden Maßnahmen ergreift, kann das AEB-System automatisch die Bremsen betätigen, um die Auswirkungen einer vorhergesagten Kollision zu verhindern oder zumindest zu mildern. In mindestens einem Ausführungsbeispiel kann ein AEB-System Techniken wie eine dynamische Bremsunterstützung und/oder eine Crash-Imminent-Bremsung umfassen.
In mindestens einem Ausführungsbeispiel bietet ein LDW-System visuelle, akustische und/oder taktile Warnungen, wie z.B. Lenkrad- oder Sitzvibrationen, um den Fahrer zu warnen, wenn das Fahrzeug 1000 die Fahrbahnmarkierungen überschreitet. In mindestens einem Ausführungsbeispiel wird ein LDW-System nicht aktiviert, wenn ein Fahrer ein absichtliches Verlassen der Fahrspur anzeigt, z.B. durch Betätigen eines Blinkers. In mindestens einem Ausführungsbeispiel kann ein LDW-System nach vorne gerichtete Kameras verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch gekoppelt ist, um dem Fahrer eine Rückmeldung zu geben, z.B. über eine Anzeige, einen Lautsprecher und/oder eine vibrierende Komponente. In mindestens einem Ausführungsbeispiel ist ein LKA-System eine Variante eines LDW-Systems. In mindestens einem Ausführungsbeispiel liefert ein LKA-System einen Lenkeingriff oder eine Bremsung, um das Fahrzeug 1000 zu korrigieren, wenn das Fahrzeug 1000 beginnt, seine Fahrspur zu verlassen.
In mindestens einem Ausführungsbeispiel erkennt und warnt ein BSW-System den Fahrer vor Fahrzeugen im toten Winkel des Fahrzeugs. In mindestens einem Ausführungsbeispiel kann ein BSW-System eine visuelle, akustische und/oder taktile Warnung ausgeben, um darauf hinzuweisen, dass das Zusammenführen oder Wechseln der Fahrspur unsicher ist. In mindestens einem Ausführungsbeispiel kann ein BSW-System eine zusätzliche Warnung ausgeben, wenn ein Fahrer einen Blinker betätigt. In mindestens einem Ausführungsbeispiel kann ein BSW-System (eine) nach hinten gerichtete Kamera(s) und/oder (einen) RADAR-Sensor(s) 1060 verwenden, der/die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist/sind, der/die elektrisch mit dem Fahrerfeedback gekoppelt ist/sind, wie z.B. ein Display, ein Lautsprecher und/oder eine vibrierende Komponente.
In mindestens einem Ausführungsbeispiel kann ein RCTW-System eine visuelle, akustische und/oder taktile Benachrichtigung bereitstellen, wenn ein Objekt außerhalb des Bereichs der Rückfahrkamera erkannt wird, während das Fahrzeug 1000 rückwärts fährt. In mindestens einem Ausführungsbeispiel umfasst ein RCTW-System ein AEB-System, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Unfall zu vermeiden. In mindestens einem Ausführungsbeispiel kann ein RCTW-System einen oder mehrere nach hinten gerichtete(n) RADAR-Sensor(en) 1060 verwenden, der/die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist/sind, der/die elektrisch gekoppelt ist/sind, um dem Fahrer eine Rückmeldung zu geben, z.B. eine Anzeige, einen Lautsprecher und/oder eine vibrierende Komponente.
In mindestens einem Ausführungsbeispiel kann es bei herkömmlichen ADAS-Systemen zu falsch-positiven Ergebnissen kommen, die für den Fahrer ärgerlich und ablenkend sein können, aber in der Regel nicht katastrophal sind, da herkömmliche ADAS-Systeme den Fahrer warnen und ihm die Möglichkeit geben, zu entscheiden, ob wirklich ein Sicherheitszustand vorliegt und entsprechend zu handeln. In mindestens einem Ausführungsbeispiel entscheidet das Fahrzeug 1000 bei widersprüchlichen Ergebnissen selbst, ob das Ergebnis eines primären Computers oder eines sekundären Computers (z.B. eines ersten Steuergeräts oder eines zweiten Steuergeräts der Steuergeräte 1036) zu berücksichtigen ist. Zum Beispiel kann In mindestens einem Ausführungsbeispiel das ADAS-System 1038 ein Backup- und/oder Sekundärcomputer sein, der einem Rationalitätsmodul des Backup-Computers Wahrnehmungsinformationen liefert. In mindestens einem Ausführungsbeispiel kann ein Rationalitätsmonitor eines Ersatzrechners redundante, unterschiedliche Software auf Hardwarekomponenten ausführen, um Fehler bei der Wahrnehmung und bei dynamischen Fahraufgaben zu erkennen. In mindestens einem Ausführungsbeispiel können die Ausgaben des ADAS-Systems 1038 an eine übergeordnete MCU weitergeleitet werden. In mindestens einem Ausführungsbeispiel bestimmt eine übergeordnete MCU, wie der Konflikt zu lösen ist, um einen sicheren Betrieb zu gewährleisten, wenn die Ausgaben eines Primärrechners und die Ausgaben eines Sekundärrechners in Konflikt geraten.
In mindestens einem Ausführungsbeispiel kann ein primärer Computer so konfiguriert sein, dass er einer übergeordneten MCU einen Vertrauenswert liefert, der das Vertrauen dieses primären Computers in ein gewähltes Ergebnis angibt. In mindestens einem Ausführungsbeispiel kann die überwachende MCU der Anweisung des primären Computers folgen, wenn dieser Vertrauenswert einen Schwellenwert überschreitet, unabhängig davon, ob der sekundäre Computer ein widersprüchliches oder inkonsistentes Ergebnis liefert. In mindestens einem Ausführungsbeispiel kann eine überwachende MCU in Fällen, in denen ein Vertrauenswert einen Schwellenwert nicht erreicht und in denen Primär- und Sekundärcomputer unterschiedliche Ergebnisse (z.B. einen Konflikt) anzeigen, zwischen den Computern vermitteln, um ein geeignetes Ergebnis zu bestimmen.
In mindestens einem Ausführungsbeispiel kann eine überwachende MCU so konfiguriert sein, dass sie ein neuronales Netzwerk bzw. neuronale Netzwerke ausführt, das bzw. die so trainiert und konfiguriert ist bzw. sind, dass es bzw. sie zumindest teilweise auf der Grundlage der Ausgaben eines Primärcomputers und der Ausgaben eines Sekundärcomputers die Bedingungen bestimmt bzw. bestimmen, unter denen der Sekundärcomputer Fehlalarme auslöst. In mindestens einem Ausführungsbeispiel kann (können) das (die) neuronale(n) Netz(e) in einer Überwachungs-MCU lernen, wann der Ausgabe eines Sekundärcomputers vertraut werden kann und wann nicht. Wenn es sich bei dem sekundären Computer beispielsweise um ein RADARbasiertes FCW-System handelt, können neuronale Netzwerke in der überwachenden MCU lernen, wenn ein FCW-System metallische Objekte identifiziert, die in Wirklichkeit keine Gefahr darstellen, wie etwa ein Abflussgitter oder ein Schachtdeckel, der einen Alarm auslöst. In mindestens einem Ausführungsbeispiel kann ein neuronales Netzwerk in einer Überwachungs-MCU lernen, den Spurhalteassistenten außer Kraft zu setzen, wenn Radfahrer oder Fußgänger anwesend sind und ein Verlassen der Fahrspur tatsächlich das sicherste Manöver ist, wenn es sich bei dem sekundären Computer um ein kamerabasiertes Spurhalteassistentensystem handelt. In mindestens einem Ausführungsbeispiel kann eine überwachende MCU mindestens eine DLA oder eine GPU enthalten, die für die Ausführung neuronaler Netzwerke mit zugehörigem Speicher geeignet ist. In mindestens einem Ausführungsbeispiel kann eine Überwachungs-MCU eine Komponente des/der SoC(s) 1004 umfassen und/oder als solche enthalten sein.
In mindestens einem Ausführungsbeispiel kann das ADAS-System 1038 einen sekundären Computer umfassen, der die ADAS-Funktionalität unter Verwendung herkömmlicher Regeln des Computer-Vision-Systems ausführt. In mindestens einem Ausführungsbeispiel kann dieser sekundäre Computer klassische Computer-Vision-Regeln (wenn-dann) verwenden, und das Vorhandensein eines neuronalen Netzwerks (von neuronalen Netzen) in einer übergeordneten MCU kann die Zuverlässigkeit, Sicherheit und Leistung verbessern. In mindestens einem Ausführungsbeispiel macht beispielsweise die unterschiedliche Implementierung und die absichtliche Nichtidentität ein Gesamtsystem fehlertoleranter, insbesondere gegenüber Fehlern, die durch Softwarefunktionen (oder Software-Hardware-Schnittstellen) verursacht werden. Wenn beispielsweise In mindestens einem Ausführungsbeispiel ein Softwarefehler in der auf einem Primärcomputer laufenden Software auftritt und nicht identischer Softwarecode auf einem Sekundärcomputer läuft, der ein konsistentes Gesamtergebnis liefert, kann eine überwachende MCU mit größerer Sicherheit davon ausgehen, dass das Gesamtergebnis korrekt ist und ein Fehler in der Software oder Hardware auf dem Primärcomputer keinen wesentlichen Fehler verursacht.
In mindestens einem Ausführungsbeispiel kann eine Ausgabe des ADAS-Systems 1038 in den Wahrnehmungsblock eines Primärrechners und/oder in den Block für dynamische Fahraufgaben eines Primärrechners eingespeist werden. Zum Beispiel kann In mindestens einem Ausführungsbeispiel, wenn das ADAS-System 1038 eine Vorwärts-Crash-Warnung aufgrund eines unmittelbar vorausliegenden Objekts anzeigt, ein Wahrnehmungsblock diese Information bei der Identifizierung von Objekten verwenden. In mindestens einem Ausführungsbeispiel kann ein sekundärer Computer über ein eigenes neuronales Netzwerk verfügen, das trainiert ist und somit das Risiko von Fehlalarmen reduziert, wie hier beschrieben.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter ein Infotainment-SoC 1030 (z.B. ein bordeigenes Infotainment-System (IVI)) umfassen. Obwohl als SoC dargestellt und beschrieben, kann das Infotainment-System SoC 1030 In mindestens einem Ausführungsbeispiel kein SoC sein und kann ohne Einschränkung zwei oder mehr diskrete Komponenten umfassen. In mindestens einem Ausführungsbeispiel kann der Infotainment-SoC 1030 ohne Einschränkung eine Kombination aus Hardware und Software umfassen, die verwendet werden kann, um Audio (z.B. Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio usw.), Video (z.B. TV, Filme, Streaming usw.), Telefon (z.B.), Telefon (z.B. Freisprecheinrichtung), Netzwerkkonnektivität (z.B. LTE, WiFi usw.) und/oder Informationsdienste (z.B. Navigationssysteme, Einparkhilfe hinten, ein Radiodatensystem, fahrzeugbezogene Informationen wie Kraftstoffstand, zurückgelegte Gesamtstrecke, Bremskraftstoffstand, Ölstand, Tür öffnen/schließen, Luftfilterinformationen usw.) an das Fahrzeug 1000. Der Infotainment-SoC 1030 könnte beispielsweise Radios, Plattenspieler, Navigationssysteme, Videoplayer, USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, WiFi, Audiobedienelemente am Lenkrad, eine Freisprecheinrichtung, ein Heads-up-Display („HUD“), ein HMI-Display 1034, ein Telematikgerät, ein Bedienfeld (z.B. zur Steuerung und/oder Interaktion mit verschiedenen Komponenten, Funktionen und/oder Systemen) und/oder andere Komponenten umfassen. In mindestens einem Ausführungsbeispiel kann der Infotainment-SoC 1030 weiter dazu verwendet werden, dem/den Benutzer(n) des Fahrzeugs 1000 Informationen (z.B. visuell und/oder akustisch) zur Verfügung zu stellen, wie z.B. Informationen vom ADAS-System 1038, autonome Fahrinformationen wie geplante Fahrzeugmanöver, Trajektorien, Umgebungsinformationen (z.B. Kreuzungsinformationen, Fahrzeuginformationen, Straßeninformationen usw.) und/oder andere Informationen.
In mindestens einem Ausführungsbeispiel kann der Infotainment-SoC 1030 eine beliebige Menge und Art von GPU-Funktionalität enthalten. In mindestens einem Ausführungsbeispiel kann der Infotainment-SoC 1030 über den Bus 1002 mit anderen Geräten, Systemen und/oder Komponenten des Fahrzeugs 1000 kommunizieren. In mindestens einem Ausführungsbeispiel kann der Infotainment-SoC 1030 mit einer Überwachungs-MCU gekoppelt sein, so dass eine GPU eines Infotainment-Systems einige Selbstfahrfunktionen ausführen kann, falls die primäre(n) Steuereinheit(en) 1036 (z.B. primäre und/oder Backup-Computer des Fahrzeugs 1000) ausfallen. In mindestens einem Ausführungsbeispiel kann der Infotainment-SoC 1030 das Fahrzeug 1000 in einen Chauffeurmodus bis zum sicheren Anhalten versetzen, wie hierin beschrieben.
In mindestens einem Ausführungsbeispiel kann das Fahrzeug 1000 weiter ein Kombiinstrument 1032 (z.B. ein digitales Armaturenbrett, ein elektronisches Kombiinstrument, eine digitale Instrumententafel usw.) umfassen. In mindestens einem Ausführungsbeispiel kann das Kombiinstrument 1032 ohne Einschränkung ein Steuergerät und/oder einen Supercomputer (z.B. ein diskretes Steuergerät oder einen Supercomputer) umfassen. In mindestens einem Ausführungsbeispiel kann das Kombiinstrument 1032 ohne Einschränkung eine beliebige Anzahl und Kombination von Instrumenten wie Tachometer, Kraftstoffstand, Öldruck, Drehzahlmesser, Kilometerzähler, Blinker, Schaltstellungsanzeige, Sicherheitsgurt-Warnleuchte(n), Parkbrems-Warnleuchte(n), Motor-Fehlfunktionsleuchte(n), Informationen über zusätzliche Rückhaltesysteme (z.B. Airbags), Beleuchtungssteuerungen, Sicherheitssystemsteuerungen, Navigationsinformationen usw. enthalten. In einigen Beispielen können Informationen angezeigt und/oder zwischen dem Infotainment SoC 1030 und dem Kombiinstrument 1032 ausgetauscht werden. In mindestens einem Ausführungsbeispiel kann das Kombiinstrument 1032 ein Teil des Infotainment-SoC 1030 sein oder umgekehrt.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System 10C für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System 10C für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
10D ist ein Diagramm eines Systems 1076 für die Kommunikation zwischen dem/den Cloud-basierten Server(n) und dem autonomen Fahrzeug 1000 von 10A, gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel kann das System 1076 ohne Einschränkung einen oder mehrere Server 1078, ein oder mehrere Netzwerke 1090 und eine beliebige Anzahl und Art von Fahrzeugen, einschließlich des Fahrzeugs 1000, umfassen. In mindestens einem Ausführungsbeispiel kann (können) der (die) Server 1078 ohne Einschränkung eine Vielzahl von GPUs 1084(A)-1084(H) (hier zusammenfassend als GPUs 1084 bezeichnet), PCIe-Switches 1082(A)-1082(D) (hier zusammenfassend als PCIe-Switches 1082 bezeichnet) und/oder CPUs 1080(A)-1080(B) (hier zusammenfassend als CPUs 1080 bezeichnet) umfassen. In mindestens einem Ausführungsbeispiel können die GPUs 1084, die CPUs 1080 und die PCIe-Switches 1082 über Hochgeschwindigkeitsverbindungen miteinander verbunden werden, wie z.B. und ohne Einschränkung die von NVIDIA entwickelten NVLink-Schnittstellen 1088 und/oder PCIe-Verbindungen 1086. In mindestens einem Ausführungsbeispiel sind die Grafikprozessoren 1084 über ein NVLink- und/oder NVSwitch-SoC und die Grafikprozessoren 1084 und PCIe-Switches 1082 über PCIe-Verbindungen verbunden. Obwohl acht GPUs 1084, zwei CPUs 1080 und vier PCIe-Switches 1082 dargestellt sind, ist dies nicht als Einschränkung zu verstehen. In mindestens einem Ausführungsbeispiel kann jeder der Server 1078 ohne Einschränkung eine beliebige Anzahl von GPUs 1084, CPUs 1080 und/oder PCIe-Switches 1082 in beliebiger Kombination enthalten. Zum Beispiel könnte(n) In mindestens einem Ausführungsbeispiel der/die Server 1078 jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 1084 umfassen.
In mindestens einem Ausführungsbeispiel kann (können) der (die) Server 1078 über das (die) Netzwerk(e) 1090 und von den Fahrzeugen Bilddaten empfangen, die für Bilder repräsentativ sind, die unerwartete oder veränderte Straßenbedingungen zeigen, wie z.B. kürzlich begonnene Straßenbauarbeiten. In mindestens einem Ausführungsbeispiel kann/können der/die Server 1078 über das/die Netzwerk(e) 1090 und an die Fahrzeuge aktualisierte oder andere neuronale Netzwerke 1092 und/oder Karteninformationen 1094, einschließlich, ohne Einschränkung, Informationen über den Verkehr und die Straßenbedingungen, übertragen. In mindestens einem Ausführungsbeispiel können die Aktualisierungen der Karteninformationen 1094 ohne Einschränkung Aktualisierungen für die HD-Karte 1022 umfassen, wie z.B. Informationen über Baustellen, Schlaglöcher, Umleitungen, Überschwemmungen und/oder andere Hindernisse. In mindestens einem Ausführungsbeispiel können die neuronalen Netzwerke 1092 und/oder die Karteninformationen 1094 aus neuem Training und/oder aus Erfahrungen resultieren, die in Daten dargestellt sind, die von einer beliebigen Anzahl von Fahrzeugen in einer Umgebung empfangen wurden, und/oder zumindest teilweise auf einem Training basieren, das in einem Datenzentrum durchgeführt wurde (z.B. unter Verwendung von Server(n) 1078 und/oder anderen Servern).
In mindestens einem Ausführungsbeispiel kann/können der/die Server 1078 verwendet werden, um Modelle für maschinelles Lernen (z.B. neuronale Netze) zumindest teilweise auf der Grundlage von Trainingsdaten zu trainieren. In mindestens einem Ausführungsbeispiel können die Trainingsdaten von Fahrzeugen erzeugt werden und/oder in einer Simulation (z.B. unter Verwendung einer Spiel-Engine) erzeugt werden. In mindestens einem Ausführungsbeispiel wird eine beliebige Menge von Trainingsdaten markiert (z.B. wenn das zugehörige neuronale Netzwerk vom überwachten Lernen profitiert) und/oder einer anderen Vorverarbeitung unterzogen. In mindestens einem Ausführungsbeispiel wird eine beliebige Menge von Trainingsdaten nicht markiert und/oder vorverarbeitet (z.B. wenn das zugehörige neuronale Netzwerk kein überwachtes Lernen benötigt). In mindestens einem Ausführungsbeispiel können die maschinellen Lernmodelle, sobald sie trainiert sind, von den Fahrzeugen verwendet werden (z.B. durch Übertragung an die Fahrzeuge über das/die Netzwerk(e) 1090) und/oder die maschinellen Lernmodelle können von dem/den Server(n) 1078 verwendet werden, um die Fahrzeuge aus der Ferne zu überwachen.
In mindestens einem Ausführungsbeispiel kann (können) der (die) Server 1078 Daten von Fahrzeugen empfangen und Daten auf aktuelle neuronale Netzwerke in Echtzeit für intelligente Schlussfolgerungen in Echtzeit anwenden. In mindestens einem Ausführungsbeispiel kann (können) der (die) Server 1078 Deep-Learning-Supercomputer und/oder dedizierte KI-Computer umfassen, die von GPU(s) 1084 angetrieben werden, wie z.B. die von NVIDIA entwickelten DGX- und DGX-Station-Maschinen. In mindestens einem Ausführungsbeispiel kann (können) der (die) Server 1078 jedoch auch eine Deep-Learning-Infrastruktur umfassen, die CPU-betriebene Rechenzentren verwendet.
In mindestens einem Ausführungsbeispiel kann die Deep-Learning-Infrastruktur des/der Server(s) 1078 in der Lage sein, schnelle Echtzeit-Inferenzierung durchzuführen und diese Fähigkeit zu nutzen, um den Zustand von Prozessoren, Software und/oder zugehöriger Hardware im Fahrzeug 1000 zu bewerten und zu überprüfen. Zum Beispiel kann die Deep-Learning-Infrastruktur In mindestens einem Ausführungsbeispiel periodische Aktualisierungen vom Fahrzeug 1000 empfangen, wie etwa eine Bildsequenz und/oder Objekte, die das Fahrzeug 1000 in dieser Bildsequenz lokalisiert hat (z.B. über Computer Vision und/oder andere maschinelle Objektklassifizierungsverfahren). In mindestens einem Ausführungsbeispiel kann die Deep-Learning-Infrastruktur ihr eigenes neuronales Netzwerkwerk laufen lassen, um Objekte zu identifizieren und sie mit den vom Fahrzeug 1000 identifizierten Objekten zu vergleichen. Wenn die Ergebnisse nicht übereinstimmen und die Deep-Learning-Infrastruktur zu dem Schluss kommt, dass die KI im Fahrzeug 1000 eine Fehlfunktion aufweist, kann der Server 1078 ein Signal an das Fahrzeug 1000 senden, das einen ausfallsicheren Computer des Fahrzeugs 1000 anweist, die Kontrolle zu übernehmen, die Fahrgäste zu benachrichtigen und ein sicheres Parkmanöver durchzuführen.
In mindestens einem Ausführungsbeispiel kann der/die Server 1078 GPU(s) 1084 und einen oder mehrere programmierbare Inferenzbeschleuniger (z.B. NVIDIAs TensorRT 3-Geräte) enthalten. In mindestens einem Ausführungsbeispiel kann eine Kombination aus GPUgesteuerten Servern und Inferenzbeschleunigung eine Echtzeit-Reaktionsfähigkeit ermöglichen. In mindestens einem Ausführungsbeispiel, z.B. wenn die Leistung weniger kritisch ist, können Server, die von CPUs, FPGAs und anderen Prozessoren angetrieben werden, für die Inferenzbildung verwendet werden. In mindestens einem Ausführungsbeispiel werden Hardwarestruktur(en) 715 verwendet, um eine oder mehrere Ausführungsformen durchzuführen. Einzelheiten zu der/den Hardwarestruktur(en) 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben.
COMPUTERSYSTEME
11 ist ein Blockdiagramm, das ein beispielhaftes Computersystem veranschaulicht, das ein System mit miteinander verbundenen Geräten und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor gebildet wird, der Ausführungseinheiten zur Ausführung eines Befehls gemäß mindestens einem Ausführungsbeispiel enthalten kann. In mindestens einem Ausführungsbeispiel kann ein Computersystem 1100 ohne Einschränkung eine Komponente wie einen Prozessor 1102 enthalten, um Ausführungseinheiten einschließlich Logik zur Durchführung von Algorithmen zur Verarbeitung von Daten gemäß der vorliegenden Offenbarung, wie in der hier beschriebenen Ausführungsform, einzusetzen. In mindestens einem Ausführungsbeispiel kann das Computersystem 1100 Prozessoren enthalten, wie die PENTIUM®-Prozessorfamilie, Xeon™, Itanium®, XScale™ und/oder StrongARM™, Intel® Core™ oder Intel® Nervana™-Mikroprozessoren, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, technische Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einem Ausführungsbeispiel kann das Computersystem 1100 eine Version des WINDOWS-Betriebssystems ausführen, das von der Microsoft Corporation in Redmond, Washington, erhältlich ist, obwohl auch andere Betriebssysteme (z.B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.
Ausführungsformen können auch in anderen Geräten wie Handheld-Geräten und eingebetteten Anwendungen verwendet werden. Einige Beispiele für Handheld-Geräte sind Mobiltelefone, Internetprotokollgeräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs. In mindestens einem Ausführungsbeispiel können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide Area Network („WAN“)-Switches oder jedes andere System umfassen, das eine oder mehrere Anweisungen gemäß mindestens einem Ausführungsbeispiel ausführen kann.
In mindestens einem Ausführungsbeispiel kann das Computersystem 1100, ohne Einschränkung, einen Prozessor 1102 enthalten, der, ohne Einschränkung, eine oder mehrere Ausführungseinheiten 1108 enthalten kann, um ein maschinelles Lernmodelltraining und/oder eine Inferenzierung gemäß den hierin beschriebenen Techniken durchzuführen. In mindestens einem Ausführungsbeispiel ist das Computersystem 1100 ein Einzelprozessor-Desktop- oder - Serversystem, aber in einer anderen Ausführungsform kann das Computersystem 1100 ein Multiprozessorsystem sein. In mindestens einem Ausführungsbeispiel kann der Prozessor 1102 ohne Einschränkung einen CISC-Mikroprozessor (Complex Instruction Set Computer), einen RISC-Mikroprozessor (Reduced Instruction Set Computing), einen VLIW-Mikroprozessor (Very Long Instruction Word), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder jedes andere Prozessorgerät, wie z.B. einen digitalen Signalprozessor, umfassen. In mindestens einem Ausführungsbeispiel kann der Prozessor 1102 mit einem Prozessorbus 1110 verbunden sein, der Datensignale zwischen dem Prozessor 1102 und anderen Komponenten im Computersystem 1100 übertragen kann.
In mindestens einem Ausführungsbeispiel kann der Prozessor 1102, ohne Einschränkung, einen internen Cache-Speicher („Cache“) 1104 der Ebene 1 („L1“) enthalten. In mindestens einem Ausführungsbeispiel kann der Prozessor 1102 einen einzigen internen Cache oder mehrere Ebenen von internem Cache haben. In mindestens einem Ausführungsbeispiel kann sich der Cache-Speicher außerhalb des Prozessors 1102 befinden. Andere Ausführungsformen können auch eine Kombination aus internen und externen Cachespeichern enthalten, abhängig von der jeweiligen Implementierung und den Anforderungen. In mindestens einem Ausführungsbeispiel kann eine Registerdatei 1106 verschiedene Datentypen in verschiedenen Registern speichern, darunter, ohne Einschränkung, Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister.
In mindestens einem Ausführungsbeispiel befindet sich die Ausführungseinheit 1108, einschließlich, ohne Einschränkung, der Logik zur Durchführung von Ganzzahl- und Gleitkommaoperationen, ebenfalls im Prozessor 1102. In mindestens einem Ausführungsbeispiel kann der Prozessor 1102 auch einen Nur-Lese-Speicher („ROM“) für Mikrocode („ucode“) enthalten, der Mikrocode für bestimmte Makrobefehle speichert. In mindestens einem Ausführungsbeispiel kann die Ausführungseinheit 1108 eine Logik zur Verarbeitung eines gepackten Befehlssatzes 1109 enthalten. In mindestens einem Ausführungsbeispiel können durch die Aufnahme des gepackten Befehlssatzes 1109 in den Befehlssatz eines Mehrzweckprozessors zusammen mit der zugehörigen Schaltung zur Ausführung von Befehlen Operationen, die von vielen Multimedia-Anwendungen verwendet werden, unter Verwendung gepackter Daten im Prozessor 1102 durchgeführt werden. In einer oder mehreren Ausführungsformen können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem die volle Breite des Datenbusses eines Prozessors für die Durchführung von Operationen mit gepackten Daten genutzt wird, wodurch die Notwendigkeit entfällt, kleinere Dateneinheiten über den Datenbus des Prozessors zu übertragen, um eine oder mehrere Operationen mit jeweils einem Datenelement durchzuführen.
In mindestens einem Ausführungsbeispiel kann die Ausführungseinheit 1108 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikgeräten, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einem Ausführungsbeispiel kann das Computersystem 1100, ohne Einschränkung, einen Speicher 1120 enthalten. In mindestens einem Ausführungsbeispiel kann der Speicher 1120 ein dynamischer Speicher mit wahlfreiem Zugriff („DRAM“), ein statischer Speicher mit wahlfreiem Zugriff („SRAM“), ein Flash-Speicher oder ein anderes Speichermedium sein. In mindestens einem Ausführungsbeispiel kann der Speicher 1120 Anweisung(en) 1119 und/oder Daten 1121 speichern, die durch Datensignale dargestellt werden, die vom Prozessor 1102 ausgeführt werden können.
In mindestens einem Ausführungsbeispiel kann ein Systemlogikchip mit dem Prozessorbus 1110 und dem Speicher 1120 verbunden sein. In mindestens einem Ausführungsbeispiel kann ein Systemlogikchip ohne Einschränkung einen Memory Controller Hub („MCH“) 1116 umfassen, und der Prozessor 1102 kann über den Prozessorbus 1110 mit dem MCH 1116 kommunizieren. In mindestens einem Ausführungsbeispiel kann der MCH 1116 einen Speicherpfad 1118 mit hoher Bandbreite zum Speicher 1120 für die Befehls- und Datenspeicherung sowie für die Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. In mindestens einem Ausführungsbeispiel kann der MCH 1116 Datensignale zwischen dem Prozessor 1102, dem Speicher 1120 und anderen Komponenten im Computersystem 1100 leiten und Datensignale zwischen dem Prozessorbus 1110, dem Speicher 1120 und einer System-E/A-Schnittstelle 1122 überbrücken. In mindestens einem Ausführungsbeispiel kann ein Systemlogikchip einen Grafikport zur Verbindung mit einem Grafikcontroller bereitstellen. In mindestens einem Ausführungsbeispiel kann der MCH 1116 über einen Speicherpfad 1118 mit hoher Bandbreite mit dem Speicher 1120 verbunden sein, und eine Grafik-/Videokarte 1112 kann über eine AGP-Verbindung 1114 mit dem MCH 1116 verbunden sein.
In mindestens einem Ausführungsbeispiel kann das Computersystem 1100 die System-E/A-Schnittstelle 1122 als proprietären Hub-Schnittstellenbus verwenden, um den MCH 1116 mit einem I/O-Controller-Hub („ICH“) 1130 zu verbinden. In mindestens einem Ausführungsbeispiel kann der ICH 1130 direkte Verbindungen zu einigen E/A-Geräten über einen lokalen E/A-Bus bereitstellen. In mindestens einem Ausführungsbeispiel kann ein lokaler E/A-Bus ohne Einschränkung einen Hochgeschwindigkeits-E/A-Bus zur Verbindung von Peripheriegeräten mit dem Speicher 1120, einem Chipsatz und dem Prozessor 1102 umfassen. Beispiele hierfür sind u. a. ein Audiocontroller 1129, ein Firmware-Hub („Flash-BIOS“) 1128, ein drahtloser Transceiver 1126, ein Datenspeicher 1124, ein Legacy-I/O-Controller 1123 mit Benutzereingabe- und Tastaturschnittstellen, ein serieller Erweiterungsport 1127, z.B. ein Universal Serial Bus („USB“)-Port, und ein Netzwerkcontroller 1134. In mindestens einem Ausführungsbeispiel kann der Datenspeicher 1124 ein Festplattenlaufwerk, ein Diskettenlaufwerk, ein CD-ROM-Gerät, ein Flash-Speichergerät oder ein anderes Massenspeichergerät umfassen.
In mindestens einem Ausführungsbeispiel zeigt 11 ein System, das miteinander verbundene Hardware-Geräte oder „Chips“ enthält, während in anderen Ausführungsformen 11 einen beispielhaften SoC zeigen kann. In mindestens einem Ausführungsbeispiel können die in 11 dargestellten Geräte mit proprietären Verbindungen, standardisierten Verbindungen (z.B. PCIe) oder einer Kombination davon miteinander verbunden sein. In mindestens einem Ausführungsbeispiel sind eine oder mehrere Komponenten des Computersystems 1100 über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System 11 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System 11 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
12 ist ein Blockdiagramm, das ein elektronisches Gerät 1200 zur Verwendung eines Prozessors 1210 gemäß mindestens einem Ausführungsbeispiel zeigt. In mindestens einem Ausführungsbeispiel kann das elektronische Gerät 1200 zum Beispiel und ohne Einschränkung ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Desktop, ein Tablet, ein mobiles Gerät, ein Telefon, ein eingebetteter Computer oder ein anderes geeignetes elektronisches Gerät sein.
In mindestens einem Ausführungsbeispiel kann das elektronische Gerät 1200 ohne Einschränkung einen Prozessor 1210 enthalten, der mit einer beliebigen Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Geräten kommunikativ verbunden ist. In mindestens einem Ausführungsbeispiel ist der Prozessor 1210 über einen Bus oder eine Schnittstelle gekoppelt, wie z.B. einen I² C-Bus, einen System-Management-Bus („SMBus“), einen Low-Pin-Count-Bus (LPC), eine serielle periphere Schnittstelle („SPI“), einen High-Definition-Audio-Bus („HDA“), einen Serial-Advance-Technology-Attachment-Bus („SATA“), einen Universal-Serial-Bus („USB“) (Versionen 1, 2, 3 usw.) oder einen Universal-Asynchron-Receiver/Transmitter-Bus („UART“). In mindestens einem Ausführungsbeispiel veranschaulicht 12 ein System, das miteinander verbundene Hardware-Geräte oder „Chips“ umfasst, während in anderen Ausführungsformen 12 einen beispielhaften SoC veranschaulichen kann. In mindestens einem Ausführungsbeispiel können die in 12 dargestellten Geräte mit proprietären Verbindungen, standardisierten Verbindungen (z.B. PCIe) oder einer Kombination davon verbunden sein. In mindestens einem Ausführungsbeispiel sind eine oder mehrere Komponenten von 12 über CXL-Verbindungen (Compute Express Link) miteinander verbunden.
In mindestens einem Ausführungsbeispiel kann 12 ein Display 1224, einen Touchscreen 1225, ein Touchpad 1230, eine Near Field Communications-Einheit („NFC“) 1245, einen Sensor-Hub 1240, einen Wärmesensor 1246, einen Express-Chipsatz („EC“) 1235, ein Trusted Platform Module („TPM“) 1238, BIOS/Firmware/Flash-Speicher („BIOS, FW Flash“) 1222, einen DSP 1260, ein Laufwerk 1220 wie eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine drahtlose lokale Netzwerkeinheit („WLAN“) 1250, eine Bluetooth-Einheit 1252, eine drahtlose Wide Area Network-Einheit („WWAN“) 1256, eine Global Positioning System (GPS) Einheit 1255, eine Kamera („USB 3.0-Kamera“) 1254, wie z.B. eine USB 3.0-Kamera, und/oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 1215, die z.B. nach einem LPDDR3-Standard implementiert ist. Diese Komponenten können in jeder geeigneten Weise implementiert werden.
In mindestens einem Ausführungsbeispiel können andere Komponenten über hierin beschriebene Komponenten mit dem Prozessor 1210 kommunikativ verbunden sein. In mindestens einem Ausführungsbeispiel können ein Beschleunigungsmesser 1241, ein Umgebungslichtsensor („ALS“) 1242, ein Kompass 1243 und ein Gyroskop 1244 kommunikativ mit dem Sensor-Hub 1240 verbunden sein. In mindestens einem Ausführungsbeispiel können ein Wärmesensor 1239, ein Lüfter 1237, eine Tastatur 1236 und ein Touchpad 1230 kommunikativ mit dem EC 1235 verbunden sein. In mindestens einem Ausführungsbeispiel können Lautsprecher 1263, Kopfhörer 1264 und ein Mikrofon („mic“) 1265 kommunikativ mit einer Audioeinheit („audio codec and class D amp“) 1262 verbunden sein, die wiederum kommunikativ mit dem DSP 1260 verbunden sein kann. In mindestens einem Ausführungsbeispiel kann die Audioeinheit 1262 beispielsweise und ohne Einschränkung einen Audiokodierer/-dekodierer („Codec“) und einen Verstärker der Klasse D umfassen. In mindestens einem Ausführungsbeispiel kann eine SIM-Karte („SIM“) 1257 kommunikativ mit der WWAN-Einheit 1256 gekoppelt sein. In mindestens einem Ausführungsbeispiel können Komponenten wie die WLAN-Einheit 1250 und die Bluetooth-Einheit 1252 sowie die WWAN-Einheit 1256 in einem Next Generation Form Factor („NGFF“) implementiert sein.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System 12 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System 12 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
13 illustriert ein Computersystem 1300 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel ist das Computersystem 1300 so konfiguriert, dass es verschiedene in dieser Offenbarung beschriebene Prozesse und Methoden implementiert.
In mindestens einem Ausführungsbeispiel umfasst das Computersystem 1300 ohne Einschränkung mindestens eine Zentraleinheit („CPU“) 1302, die mit einem Kommunikationsbus 1310 verbunden ist, der unter Verwendung eines beliebigen geeigneten Protokolls implementiert ist, wie z.B. PCI („Peripheral Component Interconnect“), Peripheral Component Interconnect Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder ein anderes Bus- oder Punkt-zu-Punkt-Kommunikationsprotokoll bzw. andere Protokolle. In mindestens einem Ausführungsbeispiel umfasst das Computersystem 1300 ohne Einschränkung einen Hauptspeicher 1304 und eine Steuerlogik (z.B. implementiert als Hardware, Software oder eine Kombination davon), und Daten werden im Hauptspeicher 1304 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. In mindestens einem Ausführungsbeispiel bietet ein Netzwerkschnittstellen-Subsystem („Netzwerkschnittstelle“) 1322 eine Schnittstelle zu anderen Computergeräten und Netzwerken, um Daten von anderen Systemen zu empfangen und an andere Systeme mit dem Computersystem 1300 zu übertragen.
In mindestens einem Ausführungsbeispiel umfasst das Computersystem 1300 unter anderem Eingabegeräte 1308, ein Parallelverarbeitungssystem 1312 und Anzeigegeräte 1306, die mit einer herkömmlichen Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), einer Leuchtdiodenanzeige („LED“), einer Plasmaanzeige oder anderen geeigneten Anzeigetechnologien implementiert werden können. In mindestens einem Ausführungsbeispiel werden Benutzereingaben von Eingabegeräten 1308 wie Tastatur, Maus, Touchpad, Mikrofon usw. empfangen. In mindestens einem Ausführungsbeispiel kann jedes hier beschriebene Modul auf einer einzigen Halbleiterplattform untergebracht werden, um ein Verarbeitungssystem zu bilden.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System 13 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System 13 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
14 illustriert ein Computersystem 1400 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel umfasst das Computersystem 1400, ohne Einschränkung, einen Computer 1410 und einen USB-Stick 1420. In mindestens einem Ausführungsbeispiel kann der Computer 1410 ohne Einschränkung eine beliebige Anzahl und einen beliebigen Typ von Prozessor(en) (nicht dargestellt) und einen Speicher (nicht dargestellt) umfassen. In mindestens einem Ausführungsbeispiel umfasst der Computer 1410 ohne Einschränkung einen Server, eine Cloud-Instanz, einen Laptop und einen Desktop-Computer.
In mindestens einem Ausführungsbeispiel umfasst der USB-Stick 1420, ohne Einschränkung, eine Verarbeitungseinheit 1430, eine USB-Schnittstelle 1440 und eine USB-Schnittstellenlogik 1450. In mindestens einem Ausführungsbeispiel kann die Verarbeitungseinheit 1430 ein beliebiges Befehlsausführungssystem, -gerät oder -vorrichtung sein, das in der Lage ist, Befehle auszuführen. In mindestens einem Ausführungsbeispiel kann die Verarbeitungseinheit 1430 ohne Einschränkung eine beliebige Anzahl und Art von Verarbeitungskernen (nicht dargestellt) umfassen. In mindestens einem Ausführungsbeispiel umfasst die Verarbeitungseinheit 1430 eine anwendungsspezifische integrierte Schaltung („ASIC“), die für die Durchführung einer beliebigen Anzahl und Art von Operationen im Zusammenhang mit maschinellem Lernen optimiert ist. Zum Beispiel ist die Verarbeitungseinheit 1430 In mindestens einem Ausführungsbeispiel eine Tensor Processing Unit („TPC“), die für die Durchführung von maschinellen Lernoperationen optimiert ist. In mindestens einem Ausführungsbeispiel ist die Verarbeitungseinheit 1430 eine Bildverarbeitungseinheit („VPU“), die für die Durchführung von Bildverarbeitungs- und maschinellen Lernoperationen optimiert ist.
In mindestens einem Ausführungsbeispiel kann die USB-Schnittstelle 1440 eine beliebige Art von USB-Stecker oder USB-Buchse sein. Zum Beispiel ist In mindestens einem Ausführungsbeispiel die USB-Schnittstelle 1440 eine USB 3.0 Typ-C-Buchse für Daten und Strom. In mindestens einem Ausführungsbeispiel ist die USB-Schnittstelle 1440 ein USB-3.0-Typ-A-Anschluss. In mindestens einem Ausführungsbeispiel kann die USB-Schnittstellenlogik 1450 eine beliebige Menge und Art von Logik enthalten, die es der Verarbeitungseinheit 1430 ermöglicht, mit Geräten (z.B. Computer 1410) über den USB-Anschluss 1440 zu kommunizieren.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System 14 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System 14 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
15A zeigt eine beispielhafte Architektur, bei der eine Vielzahl von GPUs 1510(1)-1510(N) über Hochgeschwindigkeitsverbindungen 1540(1)-1540(N) (z.B. Busse, Punkt-zu-Punkt-Verbindungen usw.) kommunikativ mit einer Vielzahl von Multicore-Prozessoren 1505(1)-1505(M) verbunden ist. In mindestens einem Ausführungsbeispiel unterstützen die Hochgeschwindigkeitsverbindungen 1540(1)-1540(N) einen Kommunikationsdurchsatz von 4 GB/s, 30 GB/s, 80 GB/s oder mehr. In mindestens einem Ausführungsbeispiel können verschiedene Verbindungsprotokolle verwendet werden, einschließlich, aber nicht beschränkt auf PCIe 4.0 oder 5.0 und NVLink 2.0. In verschiedenen Abbildungen stehen „N“ und „M“ für positive ganze Zahlen, deren Werte von Abbildung zu Abbildung unterschiedlich sein können.
Zusätzlich und in einem Ausführungsbeispiel sind zwei oder mehr GPUs 1510 über Hochgeschwindigkeitsverbindungen 1529(1)-1529(2) miteinander verbunden, die unter Verwendung ähnlicher oder anderer Protokolle/Leitungen als die für Hochgeschwindigkeitsverbindungen 1540(1)-1540(N) verwendeten implementiert werden können. In ähnlicher Weise können zwei oder mehr Multi-Core-Prozessoren 1505 über eine Hochgeschwindigkeitsverbindung 1528 verbunden sein, bei der es sich um symmetrische Multiprozessor-Busse (SMP) handeln kann, die mit 20 GB/s, 30 GB/s, 120 GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen den verschiedenen in 15A dargestellten Systemkomponenten über ähnliche Protokolle/Verbindungen (z.B. über eine gemeinsame Verbindungsstruktur) erfolgen.
In einem Ausführungsbeispiel ist jeder Mehrkemprozessor 1505 über Speicherverbindungen 1526(1)-1526(M) kommunikativ mit einem Prozessorspeicher 1501(1)-1501(M) verbunden, und jeder Grafikprozessor 1510(1)-1510(N) ist über Grafikprozessor-Speicherverbindungen 1550(1)-1550(N) kommunikativ mit dem Grafikprozessorspeicher 1520(1)-1520(N) verbunden. In mindestens einem Ausführungsbeispiel können die Speicherverbindungen 1526 und 1550 ähnliche oder unterschiedliche Speicherzugriffstechnologien verwenden. Bei den Prozessorspeichern 1501(1)-1501(M) und den GPU-Speichern 1520 kann es sich beispielsweise um flüchtige Speicher wie dynamische Direktzugriffsspeicher (DRAMs) (einschließlich gestapelter DRAMs), Grafik-DDR-SDRAM (GDDR) (z.B. GDDR5, GDDR6) oder High Bandwidth Memory (HBM) und/oder um nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram handeln. In mindestens einem Ausführungsbeispiel kann ein Teil der Prozessorspeicher 1501 ein flüchtiger Speicher und ein anderer Teil ein nichtflüchtiger Speicher sein (z.B. unter Verwendung einer zweistufigen Speicherhierarchie (2LM)).
Wie hierin beschrieben, können verschiedene Multi-Core-Prozessoren 1505 und GPUs 1510 zwar physisch mit einem bestimmten Speicher 1501 bzw. 1520 gekoppelt sein, und/oder es kann eine einheitliche Speicherarchitektur implementiert werden, bei der ein virtueller Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) auf verschiedene physische Speicher verteilt ist. Beispielsweise können die Prozessorspeicher 1501(1)-1501(M) jeweils 64 GB Systemadressraum und die GPU-Speicher 1520(1)-1520(N) jeweils 32 GB Systemadressraum umfassen, so dass sich bei M=2 und N=4 insgesamt 256 GB adressierbarer Speicher ergeben. Andere Werte für N und M sind möglich.
15B zeigt zusätzliche Details für eine Verbindung zwischen einem Multi-Core-Prozessor 1507 und einem Grafikbeschleunigungsmodul 1546 gemäß einer beispielhaften Ausführungsform. In mindestens einem Ausführungsbeispiel kann das Grafikbeschleunigungsmodul 1546 einen oder mehrere GPU-Chips enthalten, die auf einer Leitungskarte integriert sind, die über eine Hochgeschwindigkeitsverbindung 1540 (z.B. einen PCIe-Bus, NVLink usw.) mit dem Prozessor 1507 verbunden ist. In mindestens einem Ausführungsbeispiel kann das Grafikbeschleunigungsmodul 1546 alternativ auf einem Gehäuse oder Chip mit dem Prozessor 1507 integriert sein.
In mindestens einem Ausführungsbeispiel umfasst der Prozessor 1507 eine Vielzahl von Kernen 1560A-1560D, die jeweils über einen Translation-Lookaside-Buffer („TLB“) 1561A-1561D und einen oder mehrere Caches 1562A-1562D verfügen. In mindestens einem Ausführungsbeispiel können die Kerne 1560A-1560D verschiedene andere Komponenten zur Ausführung von Befehlen und zur Verarbeitung von Daten enthalten, die nicht dargestellt sind. In mindestens einem Ausführungsbeispiel können die Caches 1562A-1562D Level 1 (L1) und Level 2 (L2) Caches umfassen. Darüber hinaus können ein oder mehrere gemeinsam genutzte Caches 1556 in den Caches 1562A-1562D enthalten sein und von Gruppen von Kernen 1560A-1560D gemeinsam genutzt werden. Eine Ausführungsform des Prozessors 1507 umfasst beispielsweise 24 Kerne, jeder mit einem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2 und L3 Caches von zwei benachbarten Kernen gemeinsam genutzt. In mindestens einem Ausführungsbeispiel sind der Prozessor 1507 und das Grafikbeschleunigungsmodul 1546 mit dem Systemspeicher 1514 verbunden, zu dem auch die Prozessorspeicher 1501(1)-1501(M) aus 15A gehören können.
In mindestens einem Ausführungsbeispiel wird die Kohärenz für Daten und Anweisungen, die in verschiedenen Caches 1562A-1562D, 1556 und im Systemspeicher 1514 gespeichert sind, über eine Inter-Core-Kommunikation über einen Kohärenzbus 1564 aufrechterhalten. In mindestens einem Ausführungsbeispiel kann beispielsweise jeder Cache über eine Cache-Kohärenzlogik/-schaltung verfügen, die mit ihm verbunden ist, um als Reaktion auf erkannte Lese- oder Schreibvorgänge in bestimmten Cache-Zeilen über den Kohärenzbus 1564 zu kommunizieren. In mindestens einem Ausführungsbeispiel wird ein Cache-Snooping-Protokoll über den Kohärenzbus 1564 implementiert, um Cache-Zugriffe zu snoopen.
In mindestens einem Ausführungsbeispiel koppelt eine Proxy-Schaltung 1525 das Grafikbeschleunigungsmodul 1546 kommunikativ an den Kohärenzbus 1564, so dass das Grafikbeschleunigungsmodul 1546 als Peer der Kerne 1560A-1560D an einem Cache-Kohärenzprotokoll teilnehmen kann. Insbesondere bietet In mindestens einem Ausführungsbeispiel eine Schnittstelle 1535 Konnektivität mit der Proxy-Schaltung 1525 über die Hochgeschwindigkeitsverbindung 1540, und eine Schnittstelle 1537 verbindet das Grafikbeschleunigungsmodul 1546 mit der Hochgeschwindigkeitsverbindung 1540.
In mindestens einem Ausführungsbeispiel stellt eine Beschleuniger-Integrationsschaltung 1536 Cache-Verwaltung, Speicherzugriff, Kontextverwaltung und Interrupt-Verwaltungsdienste für eine Vielzahl von Grafikverarbeitungsmaschinen 1531(1)-1531(N) des Grafikbeschleunigungsmoduls 1546 bereit. In mindestens einem Ausführungsbeispiel können die Grafikverarbeitungsmodule 1531(1)-1531(N) jeweils eine separate Grafikverarbeitungseinheit (GPU) umfassen. In mindestens einem Ausführungsbeispiel können die Grafikverarbeitungsmodule 1531(1)-1531(N) alternativ verschiedene Arten von Grafikverarbeitungsmodulen innerhalb einer GPU umfassen, wie z.B. Grafikausführungseinheiten, Medienverarbeitungsmodule (z.B. Video-Encoder/Decoder), Sampler und Blit-Module. In mindestens einem Ausführungsbeispiel kann das Grafikbeschleunigungsmodul 1546 ein Grafikprozessor mit mehreren Grafikverarbeitungsmodulen 1531(1)-1531(N) sein, oder die Grafikverarbeitungsmodule 1531(1)-1531(N) können einzelne Grafikprozessoren sein, die in einem gemeinsamen Gehäuse, einer Linecard oder einem Chip integriert sind.
In mindestens einem Ausführungsbeispiel enthält die Beschleuniger-Integrationsschaltung 1536 eine Speicherverwaltungseinheit (MMU) 1539 zur Durchführung verschiedener Speicherverwaltungsfunktionen, wie z.B. Übersetzungen von virtuellem in physischen Speicher (auch als Übersetzungen von effektivem in realen Speicher bezeichnet) und Speicherzugriffsprotokolle für den Zugriff auf den Systemspeicher 1514. In mindestens einem Ausführungsbeispiel kann die MMU 1539 auch einen Translations-Lookaside-Buffer (TLB) (nicht dargestellt) zur Zwischenspeicherung von Übersetzungen von virtuellen/effektiven in physische/reale Adressen enthalten. In mindestens einem Ausführungsbeispiel kann ein Cache 1538 Befehle und Daten für einen effizienten Zugriff durch die Grafikprozessoren 1531(1)-1531(N) speichern. In mindestens einem Ausführungsbeispiel werden die im Cache 1538 und in den Grafikspeichern 1533(1)-1533(M) gespeicherten Daten mit den Kern-Caches 1562A-1562D, 1556 und dem Systemspeicher 1514 kohärent gehalten, möglicherweise unter Verwendung einer Abrufeinheit 1544. Wie bereits erwähnt, kann dies über die Proxy-Schaltung 1525 im Namen des Cache-Speicher 1538 und der Speicher 1533(1)-1533(M) erfolgen (z.B. Senden von Aktualisierungen an den Cache-Speicher 1538 im Zusammenhang mit Änderungen/Zugriffen auf Cache-Zeilen in den Prozessor-Cachespeichern 1562A-1562D, 1556 und Empfangen von Aktualisierungen vom Cache-Speicher 1538).
In mindestens einem Ausführungsbeispiel speichert ein Satz von Registern 1545 Kontextdaten für Threads, die von den Grafikverarbeitungsmaschinen 1531(1)-1531(N) ausgeführt werden, und eine Kontextverwaltungsschaltung 1548 verwaltet Thread-Kontexte. Beispielsweise kann die Kontextverwaltungsschaltung 1548 Speicher- und Wiederherstellungsoperationen durchführen, um die Kontexte verschiedener Threads während Kontextumschaltungen zu speichern und wiederherzustellen (z.B. wenn ein erster Thread gespeichert und ein zweiter Thread gespeichert wird, damit ein zweiter Thread von einer Grafikverarbeitungsmaschine ausgeführt werden kann). Bei einer Kontextumschaltung kann die Kontextverwaltungsschaltung 1548 beispielsweise aktuelle Registerwerte in einem bestimmten Bereich im Speicher speichern (z.B. durch einen Kontextzeiger identifiziert). Die Registerwerte können dann bei der Rückkehr zu einem Kontext wiederhergestellt werden. In mindestens einem Ausführungsbeispiel empfängt und verarbeitet eine Unterbrechungsverwaltungsschaltung 1547 Unterbrechungen, die von Systemgeräten eingehen.
In einer Implementierung werden virtuelle/effektive Adressen von einer Grafikverarbeitungsmaschine 1531 durch die MMU 1539 in reale/physische Adressen im Systemspeicher 1514 übersetzt. In mindestens einem Ausführungsbeispiel unterstützt die Beschleunigerintegrationsschaltung 1536 mehrere (z.B. 4, 8, 16) Grafikbeschleunigermodule 1546 und/oder andere Beschleunigergeräte. In mindestens einem Ausführungsbeispiel kann das Grafikbeschleunigermodul 1546 für eine einzelne Anwendung bestimmt sein, die auf dem Prozessor 1507 ausgeführt wird, oder es kann von mehreren Anwendungen gemeinsam genutzt werden. In mindestens einem Ausführungsbeispiel wird eine virtualisierte Grafikausführungsumgebung dargestellt, in der die Ressourcen der Grafikprozessoren 1531(1)-1531(N) von mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. In mindestens einem Ausführungsbeispiel können die Ressourcen in „Slices“ unterteilt werden, die verschiedenen VMs und/oder Anwendungen auf der Grundlage der mit den VMs und/oder Anwendungen verbundenen Verarbeitungsanforderungen und Prioritäten zugewiesen werden.
In mindestens einem Ausführungsbeispiel fungiert die Beschleunigerintegrationsschaltung 1536 als Brücke zu einem System für das Grafikbeschleunigungsmodul 1546 und bietet Adressübersetzung und Systemspeicher-Cache-Dienste. Darüber hinaus kann die Beschleunigerintegrationsschaltung 1536 In mindestens einem Ausführungsbeispiel Virtualisierungseinrichtungen für einen Host-Prozessor bereitstellen, um die Virtualisierung der Grafikverarbeitungsmodule 1531(1)-1531(N), Unterbrechungen und die Speicherverwaltung zu verwalten.
Da In mindestens einem Ausführungsbeispiel die Hardwareressourcen der Grafikprozessoren 1531(1)-1531(N) explizit auf einen realen Adressraum abgebildet werden, den der Host-Prozessor 1507 sieht, kann jeder Host-Prozessor diese Ressourcen direkt über einen effektiven Adresswert adressieren. In mindestens einem Ausführungsbeispiel besteht eine Funktion der Beschleunigerintegrationsschaltung 1536 in der physischen Trennung der Grafikprozessoren 1531(1)-1531(N), so dass sie für ein System als unabhängige Einheiten erscheinen.
In mindestens einem Ausführungsbeispiel sind ein oder mehrere Grafikspeicher 1533(1)-1533(M) mit jeder der Grafikverarbeitungsmaschinen 1531(1)-1531(N) verbunden, wobei N=M ist. In mindestens einem Ausführungsbeispiel speichern die Grafikspeicher 1533(1)-1533(M) Anweisungen und Daten, die von jeder der Grafikverarbeitungsmaschinen 1531(1)-1531(N) verarbeitet werden. In mindestens einem Ausführungsbeispiel kann es sich bei den Grafikspeichern 1533(1)-1533(M) um flüchtige Speicher wie DRAMs (einschließlich gestapelter DRAMs), GDDR-Speicher (z.B. GDDR5, GDDR6) oder HBM und/oder um nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram handeln.
In einem Ausführungsbeispiel werden zur Verringerung des Datenverkehrs über die Hochgeschwindigkeitsverbindung 1540 Vorspannungstechniken verwendet, um sicherzustellen, dass die in den Grafikspeichern 1533(1)-1533(M) gespeicherten Daten Daten sind, die am häufigsten von den Grafikverarbeitungsmaschinen 1531(1)-1531(N)und vorzugsweise nicht von den Kernen 1560A-1560D (zumindest nicht häufig) verwendet werden. In ähnlicher Weise wird In mindestens einem Ausführungsbeispiel versucht, Daten, die von den Kernen (und vorzugsweise nicht von den Grafikverarbeitungsmaschinen 1531(1)-1531(N)) benötigt werden, in den Caches 1562A-1562D, 1556 und im Systemspeicher 1514 zu halten.
15C zeigt eine weitere beispielhafte Ausführungsform, bei der die Beschleunigerintegrationsschaltung 1536 in den Prozessor 1507 integriert ist. In dieser Ausführungsform kommunizieren die Grafikprozessoren 1531(1)-1531(N) direkt über die Hochgeschwindigkeitsverbindung 1540 mit der Beschleunigerintegrationsschaltung 1536 über die Schnittstelle 1537 und die Schnittstelle 1535 (die wiederum eine beliebige Form von Bus oder Schnittstellenprotokoll sein kann). In mindestens einem Ausführungsbeispiel kann die Beschleuniger-Integrationsschaltung 1536 ähnliche Operationen durchführen wie die in 15B beschriebenen, jedoch möglicherweise mit einem höheren Durchsatz, da sie sich in unmittelbarer Nähe zum Kohärenzbus 1564 und den Caches 1562A-1562D, 1556 befindet. Eine Ausführungsform unterstützt verschiedene Programmiermodelle, darunter ein Programmiermodell mit dediziertem Prozess (ohne Virtualisierung des Grafikbeschleunigungsmoduls) und gemeinsam genutzte Programmiermodelle (mit Virtualisierung), die Programmiermodelle umfassen können, die von der Beschleunigerintegrationsschaltung 1536 gesteuert werden, sowie Programmiermodelle, die vom Grafikbeschleunigungsmodul 1546 gesteuert werden.
In mindestens einem Ausführungsbeispiel sind die Grafikprozessoren 1531(1)-1531(N) für eine einzige Anwendung oder einen einzigen Prozess unter einem einzigen Betriebssystem bestimmt. In mindestens einem Ausführungsbeispiel kann eine einzelne Anwendung andere Anwendungsanforderungen an die Grafikprozessoren 1531(1)-1531(N) weiterleiten und so eine Virtualisierung innerhalb einer VM/Partition ermöglichen.
In mindestens einem Ausführungsbeispiel können die Grafikprozessoren 1531(1)-1531(N) von mehreren VM/Anwendungspartitionen gemeinsam genutzt werden. In mindestens einem Ausführungsbeispiel können gemeinsam genutzte Modelle einen Systemhypervisor verwenden, um die Grafikverarbeitungseinheiten 1531(1)-1531(N) zu virtualisieren, um den Zugriff durch jedes Betriebssystem zu ermöglichen. In mindestens einem Ausführungsbeispiel sind die Grafikprozessoren 1531(1)-1531(N) bei Systemen mit einer Partition ohne Hypervisor Eigentum eines Betriebssystems. In mindestens einem Ausführungsbeispiel kann ein Betriebssystem die Grafikprozessoren 1531(1)-1531(N) virtualisieren, um jedem Prozess oder jeder Anwendung Zugriff zu gewähren.
In mindestens einem Ausführungsbeispiel wählt das Grafikbeschleunigungsmodul 1546 oder eine einzelne Grafikverarbeitungsmaschine 1531(1)-1531(N) ein Prozesselement mithilfe eines Prozesshandles aus. In mindestens einem Ausführungsbeispiel werden die Prozesselemente im Systemspeicher 1514 gespeichert und sind unter Verwendung einer hierin beschriebenen Übersetzungstechnik von effektiven Adressen in reale Adressen adressierbar. In mindestens einem Ausführungsbeispiel kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Host-Prozess zur Verfügung gestellt wird, wenn er seinen Kontext bei der Grafikverarbeitungsmaschine 1531(1)-1531(N) registriert (d. h. wenn er die Systemsoftware aufruft, um ein Prozesselement zu einer verknüpften Prozesselementliste hinzuzufügen). In mindestens einem Ausführungsbeispiel können die unteren 16 Bits eines Prozesshandles ein Offset eines Prozesselements innerhalb einer verknüpften Prozesselementliste sein.
15D zeigt ein beispielhaftes Beschleunigerintegrations-Slice 1590. In mindestens einem Ausführungsbeispiel umfasst ein „Slice“ einen bestimmten Teil der Verarbeitungsressourcen der Beschleunigerintegrationsschaltung 1536. In mindestens einem Ausführungsbeispiel speichert eine Anwendung im effektiven Adressraum 1582 des Systemspeichers 1514 Prozesselemente 1583. In mindestens einem Ausführungsbeispiel werden die Prozesselemente 1583 als Reaktion auf GPU-Aufrufe 1581 von Anwendungen 1580, die auf dem Prozessor 1507 ausgeführt werden, gespeichert. In mindestens einem Ausführungsbeispiel enthält ein Prozesselement 1583 einen Prozessstatus für die entsprechende Anwendung 1580. In mindestens einem Ausführungsbeispiel kann ein im Prozesselement 1583 enthaltener Arbeitsdeskriptor (WD) 1584 ein einzelner, von einer Anwendung angeforderter Job sein oder einen Zeiger auf eine Warteschlange von Jobs enthalten. In mindestens einem Ausführungsbeispiel ist der WD 1584 ein Zeiger auf eine Auftragsanforderungswarteschlange im effektiven Adressraum 1582 einer Anwendung.
In mindestens einem Ausführungsbeispiel können das Grafikbeschleunigungsmodul 1546 und/oder die einzelnen Grafikprozessoren 1531(1)-1531(N) von allen oder einer Teilmenge der Prozesse in einem System gemeinsam genutzt werden. In mindestens einem Ausführungsbeispiel kann eine Infrastruktur zum Einrichten von Prozesszuständen und zum Senden eines WD 1584 an ein Grafikbeschleunigungsmodul 1546 zum Starten eines Auftrags in einer virtualisierten Umgebung enthalten sein.
In mindestens einem Ausführungsbeispiel ist ein Programmiermodell für dedizierte Prozesse implementierungsspezifisch. In mindestens einem Ausführungsbeispiel ist bei diesem Modell ein einzelner Prozess Eigentümer des Grafikbeschleunigungsmoduls 1546 oder einer einzelnen Grafikverarbeitungsmaschine 1531. In mindestens einem Ausführungsbeispiel, wenn das Grafikbeschleunigungsmodul 1546 einem einzelnen Prozess gehört, initialisiert ein Hypervisor die Beschleunigerintegrationsschaltung 1536 für eine besitzende Partition und ein Betriebssystem initialisiert die Beschleunigerintegrationsschaltung 1536 für einen besitzenden Prozess, wenn das Grafikbeschleunigungsmodul 1546 zugewiesen wird.
In mindestens einem Ausführungsbeispiel holt eine WD-Abrufeinheit 1591 in der Beschleunigerintegrationsscheibe 1590 im Betrieb die nächste WD 1584 ab, die eine Angabe der von einer oder mehreren Grafikverarbeitungsmaschinen des Grafikbeschleunigungsmoduls 1546 zu verrichtenden Arbeit enthält. In mindestens einem Ausführungsbeispiel können die Daten von WD 1584 in Registern 1545 gespeichert und von der MMU 1539, der Unterbrechungsverwaltungsschaltung 1547 und/oder der Kontextverwaltungsschaltung 1548 verwendet werden, wie dargestellt. Eine Ausführungsform der MMU 1539 umfasst beispielsweise eine Segment-/Seitenlaufschaltung für den Zugriff auf Segment-/Seitentabellen 1586 innerhalb eines virtuellen OS-Adressraums 1585. In mindestens einem Ausführungsbeispiel kann die Unterbrechungsverwaltungsschaltung 1547 die vom Grafikbeschleunigungsmodul 1546 empfangenen Unterbrechungsereignisse 1592 verarbeiten. In mindestens einem Ausführungsbeispiel wird bei der Durchführung von Grafikoperationen eine von einer Grafikverarbeitungsmaschine 1531(1)-1531(N) erzeugte effektive Adresse 1593 von der MMU 1539 in eine reale Adresse übersetzt.

In einem Ausführungsbeispiel sind die Register 1545 für jede Grafikverarbeitungsmaschine 1531(1)-1531(N) und/oder jedes Grafikbeschleunigungsmodul 1546 dupliziert und können von einem Hypervisor oder einem Betriebssystem initialisiert werden. In mindestens einem Ausführungsbeispiel kann jedes dieser duplizierten Register in einem Beschleuniger-Integrations-Slice 1590 enthalten sein. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, sind in Tabelle 1 aufgeführt. Tabelle 1 - Durch Hypervisor initialisierte Register

Register Nr.	Beschreibung
1	Slice-Steuerregister
2	Bereichszeiger für geplante Prozesse für reale Adressen (real address - RA)
3	Autoritätsmasken-Überschreibungsregister
4	Unterbrechungsvektor-Tabelleneintragsversatz
5	Unterbrechungsvektor-Tabelleneintragsbegrenzung
6	Zustandsregister
7	ID einer logischen Partition
8	Hypervisor-Beschleunigernutzungsaufzeichnungszeiger für reale Adressen (RA)
9	Speicherbeschreibungsregister

Beispielhafte Register, die von einem Betriebssystem initialisiert werden können, sind in Tabelle 2 aufgeführt. Tabelle 2 - Durch Betriebssystem initialisierte Register

Register Nr	Beschreibung
1	Prozess- und Thread-Identifikation
2	Kontext-Sicherungs-/-Wiederherstellungszeiger für effektive Adressen (EA)
3	Beschleunigernutzungsaufzeichnungszeiger für virtuelle Adressen (VA)
4	Speichersegmenttabellenzeiger für virtuelle Adressen (VA)
5	Autoritätsmaske
6	Arbeitsdeskriptor

In mindestens einem Ausführungsbeispiel ist jedes WD 1584 spezifisch für ein bestimmtes Grafikbeschleunigungsmodul 1546 und/oder die Grafikverarbeitungsmotoren 1531(1)-1531(N). In mindestens einem Ausführungsbeispiel enthält er alle Informationen, die von einer Grafikverarbeitungsmaschine 1531(1)-1531(N) benötigt werden, um Arbeit zu verrichten, oder er kann ein Zeiger auf einen Speicherplatz sein, an dem eine Anwendung eine Befehlswarteschlange von zu verrichtender Arbeit eingerichtet hat.
15E veranschaulicht zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells. Diese Ausführungsform umfasst einen realen Hypervisor-Adressraum 1598, in dem eine Prozesselementliste 1599 gespeichert ist. In mindestens einem Ausführungsbeispiel ist der reale Hypervisor-Adressraum 1598 über einen Hypervisor 1596 zugänglich, der die Grafikbeschleunigungsmodul-Engines für das Betriebssystem 1595 virtualisiert.
In mindestens einem Ausführungsbeispiel ermöglichen gemeinsam genutzte Programmiermodelle, dass alle oder eine Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System ein Grafikbeschleunigungsmodul 1546 verwenden. In mindestens einem Ausführungsbeispiel gibt es zwei Programmiermodelle, bei denen das Grafikbeschleunigungsmodul 1546 von mehreren Prozessen und Partitionen gemeinsam genutzt wird, nämlich die zeitlich geteilte und die grafisch gerichtete gemeinsame Nutzung.
In mindestens einem Ausführungsbeispiel besitzt der Systemhypervisor 1596 in diesem Modell das Grafikbeschleunigungsmodul 1546 und stellt seine Funktion allen Betriebssystemen 1595 zur Verfügung. In mindestens einem Ausführungsbeispiel kann ein Grafikbeschleunigungsmodul 1546 zur Unterstützung der Virtualisierung durch den Systemhypervisor 1596 bestimmte Anforderungen erfüllen, wie z.B. (1) die Auftragsanforderung einer Anwendung muss autonom sein (d. h. der Zustand muss zwischen den Aufträgen nicht aufrechterhalten werden), oder das Grafikbeschleunigungsmodul 1546 muss einen Mechanismus zum Speichern und Wiederherstellen des Kontexts bereitstellen, (2) das Grafikbeschleunigungsmodul 1546 garantiert, dass die Auftragsanforderung einer Anwendung in einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Grafikbeschleunigungsmodul 1546 bietet die Möglichkeit, die Verarbeitung eines Auftrags vorzuziehen, und (3) das Grafikbeschleunigungsmodul 1546 muss beim Betrieb in einem gerichteten gemeinsamen Programmiermodell Fairness zwischen den Prozessen garantieren.
In mindestens einem Ausführungsbeispiel muss die Anwendung 1580 einen Systemaufruf des Betriebssystems 1595 mit einem Grafikbeschleunigungsmodultyp, einem Arbeitsdeskriptor (WD), einem AMR-Wert (Authority Mask Register) und einem CSRP (Context Save/Restore Area Pointer) durchführen. In mindestens einem Ausführungsbeispiel beschreibt der Grafikbeschleunigungsmodultyp eine gezielte Beschleunigungsfunktion für einen Systemaufruf. In mindestens einem Ausführungsbeispiel kann der Grafikbeschleunigungsmodultyp ein systemspezifischer Wert sein. In mindestens einem Ausführungsbeispiel ist WD speziell für das Grafikbeschleunigungsmodul 1546 formatiert und kann in Form eines Grafikbeschleunigungsmodul-Befehls, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer anderen Datenstruktur vorliegen, die die vom Grafikbeschleunigungsmodul 1546 zu verrichtende Arbeit beschreibt.
In mindestens einem Ausführungsbeispiel ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. In mindestens einem Ausführungsbeispiel ist ein Wert, der an ein Betriebssystem übergeben wird, vergleichbar mit einer Anwendung, die eine AMR einstellt. In mindestens einem Ausführungsbeispiel kann ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor ein AMR in einem Hypervisor-Aufruf übergeben wird, wenn die Beschleunigerintegrationsschaltung 1536 (nicht dargestellt) und das Grafikbeschleunigungsmodul 1546 kein User Authority Mask Override Register (UAMOR) unterstützen. In mindestens einem Ausführungsbeispiel kann der Hypervisor 1596 optional einen aktuellen AMOR-Wert (Authority Mask Override Register) anwenden, bevor ein AMR in das Prozesselement 1583 gestellt wird. In mindestens einem Ausführungsbeispiel ist CSRP eines der Register 1545, die eine effektive Adresse eines Bereichs im effektiven Adressraum 1582 einer Anwendung für das Grafikbeschleunigungsmodul 1546 zum Speichern und Wiederherstellen des Kontextstatus enthalten. In mindestens einem Ausführungsbeispiel ist dieser Zeiger optional, wenn kein Zustand zwischen Aufträgen gespeichert werden muss oder wenn ein Auftrag vorzeitig beendet wird. In mindestens einem Ausführungsbeispiel kann der Kontextspeicher-/Wiederherstellungsbereich ein angehefteter Systemspeicher sein.

Beim Empfang eines Systemaufrufs kann das Betriebssystem 1595 überprüfen, ob die Anwendung 1580 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 1546 erhalten hat. In mindestens einem Ausführungsbeispiel ruft das Betriebssystem 1595 dann den Hypervisor 1596 mit den in Tabelle 3 dargestellten Informationen auf. Tabelle 3 - OS-zu-Hypervisor-Aufrufparameter

Parameter Nr.	Beschreibung
1	Ein Arbeitsdeskriptor (WD)
2	Ein Wert eines Autoritätsmaskenregisters (AMR) (möglicherweise maskiert)
3	Ein Kontext-Sicherungs-/-Wiederherstellungsbereichszeiger (CSRP) für effektive Adressen (EA)
4	Eine Prozess-ID (PID) und optional eine Thread-ID (TID)
5	Ein Beschleunigernutzungsaufzeichnungszeiger (accelerator utilization record pointer - AURP) für virtuelle Adressen (virtual address - VA)
6	Virtuelle Adresse eines Speichersegmenttabellenzeigers (storage segment table pointer - SSTP)
7	Eine logische Unterbrechungsdienstnummer (logical interrupt service number - LISN)

In mindestens einem Ausführungsbeispiel prüft der Hypervisor 1596 beim Empfang eines Hypervisor-Aufrufs, ob das Betriebssystem 1595 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 1546 erhalten hat. In mindestens einem Ausführungsbeispiel setzt der Hypervisor 1596 dann das Prozesselement 1583 in eine verknüpfte Prozesselementliste für einen entsprechenden Grafikbeschleunigungsmodultyp 1546. In mindestens einem Ausführungsbeispiel kann ein Prozesselement die in Tabelle 4 dargestellten Informationen enthalten. Tabelle 4 - Prozesselementinformationen

Element Nr.	Beschreibung
1	Ein Arbeitsdeskriptor (WD)
2	Ein Wert eines Autoritätsmaskenregisters (AMR) (möglicherweise maskiert).
3	Ein Kontext-Sicherungs-/-Wiederherstellungsbereichszeiger (CSRP) für effektive Adressen (EA)
4	Eine Prozess-ID (PID) und optional eine Thread-ID (TID)
5	Ein Beschleunigernutzungsaufzeichnungszeiger (accelerator utilization record pointer - AURP) für virtuelle Adressen (virtual address - VA)
6	Virtuelle Adresse eines Speichersegmenttabellenzeigers (storage segment table pointer - SSTP)
7	Eine logische Unterbrechungsdienstnummer (logical interrupt service number - LISN)
8	Unterbrechungsvektortabelle, abgeleitet aus Hypervisor-Aufrufparametem
9	Ein Wert des Zustandsregisters (state register - SR)
10	Eine ID einer logischen Partition (logical partition ID - LPID)
11	Ein Hypervisor-Beschleunigernutzungsaufzeichnungszeiger für reale Adressen (RA)
12	Speicherdeskriptorregister (Storage Descriptor Register - SDR)

In mindestens einem Ausführungsbeispiel initialisiert der Hypervisor eine Vielzahl von Registern 1545 des Beschleuniger-Integrations-Slice 1590.
Wie in 15F dargestellt, wird In mindestens einem Ausführungsbeispiel ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 1501(1)-1501(N) und GPU-Speicher 1520(1)-1520(N) verwendet wird. In dieser Implementierung verwenden Operationen, die auf den GPUs 1510(1)-1510(N) ausgeführt werden, denselben virtuellen/effektiven Speicheradressraum für den Zugriff auf die Prozessorspeicher 1501(1)-1501(M) und umgekehrt, was die Programmierbarkeit vereinfacht. In mindestens einem Ausführungsbeispiel wird ein erster Teil eines virtuellen/effektiven Adressraums dem Prozessorspeicher 1501(1) zugewiesen, ein zweiter Teil dem zweiten Prozessorspeicher 1501(N), ein dritter Teil dem GPU-Speicher 1520(1) usw. In mindestens einem Ausführungsbeispiel wird ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 1501 und GPU-Speicher 1520 verteilt, so dass jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer diesem Speicher zugeordneten virtuellen Adresse zugreifen kann.
In einem Ausführungsbeispiel stellt die Vorspannungs-/Kohärenzverwaltungsschaltung 1594A-1594E in einer oder mehreren MMUs 1539A-1539E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Host-Prozessoren (z.B. 1505) und GPUs 1510 sicher und implementiert Vorspannungstechniken, die angeben, in welchen physischen Speichern bestimmte Datentypen gespeichert werden sollten. In mindestens einem Ausführungsbeispiel, in der mehrere Instanzen der Bias/Kohärenz-Management-Schaltung 1594A-1594E in 15F dargestellt sind, kann die Bias/Kohärenz-Schaltung in einer MMU eines oder mehrerer Host-Prozessoren 1505 und/oder in der Beschleuniger-Integrationsschaltung 1536 implementiert sein.
In einem Ausführungsbeispiel können die GPU-Speicher 1520 als Teil des Systemspeichers abgebildet werden und es kann auf sie mit Hilfe der SVM-Technologie (Shared Virtual Memory) zugegriffen werden, ohne dass die mit der vollständigen System-Cache-Kohärenz verbundenen Leistungsnachteile auftreten. In mindestens einem Ausführungsbeispiel bietet die Möglichkeit, auf die GPU-Speicher 1520 als Systemspeicher ohne lästigen Cache-Kohärenz-Overhead zuzugreifen, eine vorteilhafte Betriebsumgebung für GPU-Offload. In mindestens einem Ausführungsbeispiel erlaubt diese Anordnung der Software des Host-Prozessors 1505, Operanden einzustellen und auf Berechnungsergebnisse zuzugreifen, ohne den Overhead traditioneller E/A-DMA-Datenkopien. In mindestens einem Ausführungsbeispiel sind solche herkömmlichen Kopien mit Treiberaufrufen, Unterbrechungen und speicherabbildenden E/A-Zugriffen (MMIO) verbunden, die alle im Vergleich zu einfachen Speicherzugriffen ineffizient sind. In mindestens einem Ausführungsbeispiel kann die Fähigkeit, auf GPU-Speicher 1520 ohne Cache-Kohärenz-Overheads zuzugreifen, für die Ausführungszeit einer ausgelagerten Berechnung entscheidend sein. In mindestens einem Ausführungsbeispiel kann der Cache-Kohärenz-Overhead zum Beispiel in Fällen mit erheblichem Streaming-Schreibspeicherverkehr die effektive Schreibbandbreite einer GPU 1510 erheblich reduzieren. In mindestens einem Ausführungsbeispiel können die Effizienz der Operandeneinrichtung, die Effizienz des Ergebniszugriffs und die Effizienz der GPU-Berechnung eine Rolle bei der Bestimmung der Effektivität eines GPU-Offloads spielen.
In mindestens einem Ausführungsbeispiel wird die Auswahl des GPU-Bias und des Host-Prozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. In mindestens einem Ausführungsbeispiel kann beispielsweise eine Bias-Tabelle verwendet werden, bei der es sich um eine seitengranulare Struktur handeln kann (z.B. gesteuert auf der Granularität einer Speicherseite), die 1 oder 2 Bits pro GPU-angeschlossener Speicherseite enthält. In mindestens einem Ausführungsbeispiel kann eine Bias-Tabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU-Speicher 1520 implementiert werden, mit oder ohne Bias-Cache in einer GPU 1510 (z.B. um häufig/kürzlich verwendete Einträge einer Bias-Tabelle zwischenzuspeichern). Alternativ dazu kann In mindestens einem Ausführungsbeispiel eine gesamte Bias-Tabelle in einer GPU verwaltet werden.
In mindestens einem Ausführungsbeispiel wird vor dem tatsächlichen Zugriff auf einen GPU-Speicher auf einen Bias-Tabelleneintrag zugegriffen, der mit jedem Zugriff auf einen GPU-Speicher 1520 verbunden ist, was die folgenden Operationen verursacht. In mindestens einem Ausführungsbeispiel werden lokale Anfragen von einer GPU 1510, die ihre Seite im GPU-Bias finden, direkt an einen entsprechenden GPU-Speicher 1520 weitergeleitet. In mindestens einem Ausführungsbeispiel werden lokale Anfragen von einer GPU, die ihre Seite im Host-Bias finden, an den Prozessor 1505 weitergeleitet (z.B. über eine Hochgeschwindigkeitsverbindung wie hier beschrieben). In mindestens einem Ausführungsbeispiel schließen Anforderungen vom Prozessor 1505, die eine angeforderte Seite im Host-Prozessor-Bias finden, eine Anforderung wie eine normale Speicherlesung ab. Alternativ können Anforderungen, die an eine GPU-vorgespannte Seite gerichtet sind, an eine GPU 1510 weitergeleitet werden. In mindestens einem Ausführungsbeispiel kann eine GPU dann eine Seite in einen Host-Prozessor-Bias überführen, wenn sie eine Seite derzeit nicht verwendet. In mindestens einem Ausführungsbeispiel kann der Bias-Zustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwareunterstützten softwarebasierten Mechanismus oder, für eine begrenzte Anzahl von Fällen, durch einen rein hardwarebasierten Mechanismus geändert werden.
In mindestens einem Ausführungsbeispiel verwendet ein Mechanismus zum Ändern des Bias-Zustands einen API-Aufruf (z.B. OpenCL), der wiederum den Gerätetreiber eines Grafikprozessors aufruft, der wiederum eine Nachricht an einen Grafikprozessor sendet (oder einen Befehlsdeskriptor in die Warteschlange stellt), um ihn anzuweisen, einen Bias-Zustand zu ändern und bei einigen Übergängen einen Cache-Flushing-Vorgang in einem Host durchzuführen. In mindestens einem Ausführungsbeispiel wird ein Cache-Flushing-Vorgang für den Übergang von der Vorspannung des Host-Prozessors 1505 zur Vorspannung der GPU verwendet, nicht aber für den entgegengesetzten Übergang.
In einem Ausführungsbeispiel wird die Cache-Kohärenz aufrechterhalten, indem GPUbasierte Seiten vom Host-Prozessor 1505 vorübergehend nicht gecacht werden können. In mindestens einem Ausführungsbeispiel kann der Prozessor 1505, um auf diese Seiten zuzugreifen, den Zugriff von der GPU 1510 anfordern, die den Zugriff sofort gewähren kann oder auch nicht. Um die Kommunikation zwischen dem Prozessor 1505 und der GPU 1510 zu reduzieren, ist es In mindestens einem Ausführungsbeispiel vorteilhaft, dafür zu sorgen, dass GPU-gebundene Seiten diejenigen sind, die von einer GPU, aber nicht vom Host-Prozessor 1505 benötigt werden, und umgekehrt.
Hardware-Struktur(en) 715 werden verwendet, um eine oder mehrere Ausführungsformen auszuführen. Einzelheiten zu Hardware-Struktur(en) 715 können hier in Verbindung mit 7A und/oder 7B angegeben werden.
zeigt beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne gemäß verschiedenen hier beschriebenen Ausführungsformen hergestellt werden können. Zusätzlich zu den dargestellten Schaltungen können In mindestens einem Ausführungsbeispiel weitere Logik und Schaltungen enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Allzweck-Prozessorkerne.
16 ist ein Blockdiagramm, das eine beispielhafte integrierte System-on-Chip-Schaltung 1600 zeigt, die gemäß mindestens einem Ausführungsbeispiel unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann. In mindestens einem Ausführungsbeispiel umfasst die integrierte Schaltung 1600 einen oder mehrere Anwendungsprozessor(en) 1605 (z.B. CPUs), mindestens einen Grafikprozessor 1610 und kann zusätzlich einen Bildprozessor 1615 und/oder einen Videoprozessor 1620 umfassen, wobei jeder dieser Prozessoren ein modularer IP-Kern sein kann. In mindestens einem Ausführungsbeispiel umfasst die integrierte Schaltung 1600 eine Peripherie- oder Buslogik, einschließlich eines USB-Controllers 1625, eines UART-Controllers 1630, eines SPI/SDIO-Controllers 1635 und eines I² 2S/I² 2C-Controllers 1640. In mindestens einem Ausführungsbeispiel kann der integrierte Schaltkreis 1600 eine Anzeigevorrichtung 1645 umfassen, die mit einem oder mehreren HDMI-Controllem (High-Definition Multimedia Interface) 1650 und einer MIPI-Anzeigeschnittstelle 1655 (Mobile Industry Processor Interface) verbunden ist. In mindestens einem Ausführungsbeispiel kann die Speicherung durch ein Flash-Speicher-Subsystem 1660 mit Flash-Speicher und einem Flash-Speicher-Controller erfolgen. In mindestens einem Ausführungsbeispiel kann eine Speicherschnittstelle über einen Speicher-Controller 1665 für den Zugriff auf SDRAM- oder SRAM-Speichergeräte bereitgestellt werden. In mindestens einem Ausführungsbeispiel enthalten einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Engine 1670.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Details bezüglich der Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 in der integrierten Schaltung 1600 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hier beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 in der integrierten Schaltung 1600 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
Die zeigen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne gemäß verschiedenen hier beschriebenen Ausführungsformen hergestellt werden können. Zusätzlich zu den dargestellten Schaltungen können In mindestens einem Ausführungsbeispiel weitere Logik und Schaltkreise enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Allzweck-Prozessorkerne.
17A-17B sind Blockdiagramme, die beispielhafte Grafikprozessoren zur Verwendung in einem SoC gemäß den hier beschriebenen Ausführungsformen zeigen. 17A zeigt einen beispielhaften Grafikprozessor 1710 eines integrierten System-on-Chip-Schaltkreises, der unter Verwendung eines oder mehrerer IP-Cores gemäß mindestens einem Ausführungsbeispiel hergestellt werden kann. zeigt einen weiteren beispielhaften Grafikprozessor 1740 eines integrierten System-on-Chip-Schaltkreises, der gemäß mindestens einem Ausführungsbeispiel unter Verwendung eines oder mehrerer IP-Cores hergestellt werden kann. In mindestens einem Ausführungsbeispiel ist der Grafikprozessor 1710 aus 17A ein Grafikprozessorkern mit geringem Stromverbrauch. In mindestens einem Ausführungsbeispiel ist der Grafikprozessor 1740 in 17B ein Grafikprozessorkern mit höherer Leistung. In mindestens einem Ausführungsbeispiel kann jeder der Grafikprozessoren 1710, 1740 eine Variante des Grafikprozessors 1610 von 16 sein.
In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 1710 einen Vertex-Prozessor 1705 und einen oder mehrere Fragment-Prozessor(en) 1715A-1715N (z.B. 1715A, 1715B, 1715C, 1715D, bis 1715N-1 und 1715N). In mindestens einem Ausführungsbeispiel kann der Grafikprozessor 1710 verschiedene Shader-Programme über eine separate Logik ausführen, so dass der Vertex-Prozessor 1705 für die Ausführung von Operationen für Vertex-Shader-Programme optimiert ist, während ein oder mehrere Fragment-Prozessor(en) 1715A-1715N Fragment- (z.B. Pixel-) Shading-Operationen für Fragment- oder Pixel-Shader-Programme ausführen. In mindestens einem Ausführungsbeispiel führt der Vertex-Prozessor 1705 eine Vertex-Verarbeitungsstufe einer 3D-Grafikpipeline durch und erzeugt Primitive und Vertex-Daten. In mindestens einem Ausführungsbeispiel verwenden die Fragmentprozessoren 1715A-1715N die vom Vertexprozessor 1705 erzeugten Primitiv- und Vertexdaten, um einen Framebuffer zu erzeugen, der auf einem Anzeigegerät angezeigt wird. In mindestens einem Ausführungsbeispiel ist/sind der/die Fragmentprozessor(en) 1715A-1715N für die Ausführung von Fragment-Shader-Programmen optimiert, wie sie in einer OpenGL-API vorgesehen sind, die zur Durchführung ähnlicher Operationen wie ein Pixel-Shader-Programm verwendet werden kann, wie es in einer Direct 3D-API vorgesehen ist.
In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 1710 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 1720A-1720B, Cache(s) 1725A-1725B und Schaltungsverbindung(en) 1730A-1730B. In mindestens einem Ausführungsbeispiel sorgen eine oder mehrere MMU(s) 1720A-1720B für die Zuordnung von virtuellen zu physischen Adressen für den Grafikprozessor 1710, einschließlich für den Scheitelpunktprozessor 1705 und/oder den/die Fragmentprozessor(en) 1715A-1715N, der/die auf Scheitelpunkt- oder Bild-/Texturdaten verweisen kann/können, die im Speicher gespeichert sind, zusätzlich zu Scheitelpunkt- oder Bild-/Texturdaten, die in einem oder mehreren Cache(s) 1725A-1725B gespeichert sind. In mindestens einem Ausführungsbeispiel können eine oder mehrere MMU(s) 1720A-1720B mit anderen MMUs innerhalb eines Systems synchronisiert werden, einschließlich einer oder mehrerer MMUs, die einem oder mehreren Anwendungsprozessor(en) 1605, Bildprozessoren 1615 und/oder Videoprozessoren 1620 von 16 zugeordnet sind, so dass jeder Prozessor 1605-1620 an einem gemeinsam genutzten oder vereinheitlichten virtuellen Speichersystem teilnehmen kann. In mindestens einem Ausführungsbeispiel ermöglichen eine oder mehrere Schaltungsverbindung(en) 1730A-1730B dem Grafikprozessor 1710 die Verbindung mit anderen IP-Kernen innerhalb des SoC, entweder über einen internen Bus des SoC oder über eine direkte Verbindung.
In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 1740 einen oder mehrere Shader-Kerne 1755A-1755N (z.B. 1755A, 1755B, 1755C, 1755D, 1755E, 1755F, bis 1755N-1 und 1755N), wie in 17B, die eine einheitliche Shader-Kern-Architektur vorsieht, bei der ein einzelner Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Compute-Shadern. In mindestens einem Ausführungsbeispiel kann die Anzahl der Shader-Kerne variieren. In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 1740 einen Inter-Core-Task-Manager 1745, der als Thread-Verteiler fungiert, um Ausführungs-Threads an einen oder mehrere Shader-Kerne 1755A-1755N zu verteilen, sowie eine Tiling-Einheit 1758 zur Beschleunigung von Tiling-Operationen für kachelbasiertes Rendering, bei denen Rendering-Operationen für eine Szene im Bildraum unterteilt werden, um beispielsweise die lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Nutzung interner Caches zu optimieren.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 in der integrierten Schaltung 17A und/oder 17B für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hier beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 in der integrierten Schaltung 17A und/oder 17B für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
18A-18B zeigen zusätzliche beispielhafte Grafikprozessorlogik gemäß den hier beschriebenen Ausführungsformen. 18A zeigt einen Grafikkern 1800, der In mindestens einem Ausführungsbeispiel im Grafikprozessor 1610 von 16 enthalten sein kann und In mindestens einem Ausführungsbeispiel ein einheitlicher Shader-Kern 1755A-1755N wie in 17B sein kann. 18B zeigt eine hochparallele Mehrzweck-Grafikverarbeitungseinheit („GPGPU“) 1830, die In mindestens einem Ausführungsbeispiel für den Einsatz auf einem Mehrchipmodul geeignet ist.
In mindestens einem Ausführungsbeispiel umfasst der Grafikkern 1800 einen gemeinsam genutzten Befehlscache 1802, eine Textureinheit 1818 und einen Cache/gemeinsamen Speicher 1820, die den Ausführungsressourcen im Grafikkern 1800 gemeinsam sind. In mindestens einem Ausführungsbeispiel kann der Grafikkern 1800 mehrere Slices 1801A-1801N oder eine Partition für jeden Kern enthalten, und ein Grafikprozessor kann mehrere Instanzen des Grafikkerns 1800 enthalten. In mindestens einem Ausführungsbeispiel können die Slices 1801A-1801N eine Unterstützungslogik mit einem lokalen Befehlscache 1804A-1804N, einem Thread-Planer 1806A-1806N, einem Thread-Verteiler 1808A-1808N und einem Satz von Registern 1810A-1810N enthalten. In mindestens einem Ausführungsbeispiel können die Slices 1801A-1801N einen Satz zusätzlicher Funktionseinheiten (AFUs 1812A-1812N), Gleitkommaeinheiten (FPUs 1814A-1814N), ganzzahlige arithmetische Logikeinheiten (ALUs 1816A-1816N), Adressberechnungseinheiten (ACUs 1813A-1813N), doppelpräzise Gleitkommaeinheiten (DPFPUs 1815A-1815N) und Matrixverarbeitungseinheiten (MPUs 1817A-1817N) enthalten.
In mindestens einem Ausführungsbeispiel können die FPUs 1814A-1814N Gleitkommaoperationen mit einfacher Genauigkeit (32 Bit) und halber Genauigkeit (16 Bit) durchführen, während die DPFPUs 1815A-1815N Gleitkommaoperationen mit doppelter Genauigkeit (64 Bit) durchführen. In mindestens einem Ausführungsbeispiel können die ALUs 1816A-1816N Integer-Operationen mit variabler Präzision bei 8-Bit-, 16-Bit- und 32-Bit-Präzision durchführen und für Operationen mit gemischter Präzision konfiguriert werden. In mindestens einem Ausführungsbeispiel können die MPUs 1817A-1817N auch für Matrixoperationen mit gemischter Genauigkeit konfiguriert werden, einschließlich Gleitkomma- und 8-Bit-Ganzzahloperationen mit halber Genauigkeit. In mindestens einem Ausführungsbeispiel können die MPUs 1817-1817N eine Vielzahl von Matrixoperationen durchführen, um Anwendungsrahmen für maschinelles Lernen zu beschleunigen, einschließlich der Unterstützung für eine beschleunigte allgemeine Matrix-Matrix-Multiplikation (GEMM). In mindestens einem Ausführungsbeispiel können die AFUs 1812A-1812N zusätzliche logische Operationen durchführen, die von Gleitkomma- oder Ganzzahl-Einheiten nicht unterstützt werden, einschließlich trigonometrischer Operationen (z.B. Sinus, Kosinus usw.).
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im Grafikkern 1800 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im Grafikkern 1800 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
18B zeigt eine Universal Processing Unit (GPGPU) 1830, die so konfiguriert werden kann, dass sie hochparallele Rechenoperationen ermöglicht, die In mindestens einem Ausführungsbeispiel von einem Array von Grafikverarbeitungseinheiten ausgeführt werden. In mindestens einem Ausführungsbeispiel kann die GPGPU 1830 direkt mit anderen Instanzen der GPGPU 1830 verbunden werden, um einen Multi-GPU-Cluster zu bilden und die Trainingsgeschwindigkeit für Deep Neural Networks zu verbessern. In mindestens einem Ausführungsbeispiel umfasst die GPGPU 1830 eine Host-Schnittstelle 1832, um eine Verbindung mit einem Host-Prozessor zu ermöglichen. In mindestens einem Ausführungsbeispiel ist die Host-Schnittstelle 1832 eine PCI-Express-Schnittstelle. In mindestens einem Ausführungsbeispiel kann die Hostschnittstelle 1832 eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einem Ausführungsbeispiel empfängt die GPGPU 1830 Befehle von einem Host-Prozessor und verwendet einen globalen Planer 1834, um die mit diesen Befehlen verbundenen Ausführungs-Threads auf eine Reihe von Rechenclustern 1836A-1836H zu verteilen. In mindestens einem Ausführungsbeispiel teilen sich die Rechencluster 1836A-1836H einen Cache-Speicher 1838. In mindestens einem Ausführungsbeispiel kann der Cache-Speicher 1838 als übergeordneter Cache für Cache-Speicher in den Rechenclustern 1836A-1836H dienen.
In mindestens einem Ausführungsbeispiel umfasst die GPGPU 1830 einen Speicher 1844A-1844B, der über eine Reihe von Speichercontrollern 1842A-1842B mit den Rechenclustem 1836A-1836H verbunden ist. In mindestens einem Ausführungsbeispiel kann der Speicher 1844A-1844B verschiedene Arten von Speichervorrichtungen umfassen, einschließlich eines dynamischen Direktzugriffsspeichers (DRAM) oder eines Grafik-Direktzugriffsspeichers, wie eines synchronen Grafik-Direktzugriffsspeichers (SGRAM), einschließlich eines Grafik-Doppeldatenraten-Speichers (GDDR).
In mindestens einem Ausführungsbeispiel enthalten die Rechencluster 1836A-1836H jeweils einen Satz von Grafikkernen, wie z.B. den Grafikkern 1800 von 18A, der mehrere Arten von Ganzzahl- und Gleitkomma-Logikeinheiten enthalten kann, die Rechenoperationen mit einer Reihe von Genauigkeiten durchführen können, die auch für maschinelle Lemberechnungen geeignet sind. Zum Beispiel kann In mindestens einem Ausführungsbeispiel mindestens eine Teilmenge der Gleitkommaeinheiten in jedem der Rechencluster 1836A-1836H so konfiguriert werden, dass sie 16-Bit- oder 32-Bit-Gleitkommaoperationen durchführen, während eine andere Teilmenge der Gleitkommaeinheiten so konfiguriert werden kann, dass sie 64-Bit-Gleitkommaoperationen durchführt.
In mindestens einem Ausführungsbeispiel können mehrere Instanzen der GPGPU 1830 so konfiguriert werden, dass sie als Compute-Cluster arbeiten. In mindestens einem Ausführungsbeispiel variiert die von den Rechenclustem 1836A-1836H für die Synchronisierung und den Datenaustausch verwendete Kommunikation je nach Ausführungsform. In mindestens einem Ausführungsbeispiel kommunizieren mehrere Instanzen der GPGPU 1830 über die Host-Schnittstelle 1832. In mindestens einem Ausführungsbeispiel umfasst die GPGPU 1830 einen I/O-Hub 1839, der die GPGPU 1830 mit einer GPU-Verbindung 1840 koppelt, die eine direkte Verbindung zu anderen Instanzen der GPGPU 1830 ermöglicht. In mindestens einem Ausführungsbeispiel ist die GPU-Verbindung 1840 mit einer dedizierten GPU-zu-GPU-Brücke verbunden, die die Kommunikation und Synchronisation zwischen mehreren Instanzen der GPGPU 1830 ermöglicht. In mindestens einem Ausführungsbeispiel ist die GPU-Verbindung 1840 mit einem Hochgeschwindigkeits-Interconnect gekoppelt, um Daten an andere GPGPUs oder Parallelprozessoren zu senden und zu empfangen. In mindestens einem Ausführungsbeispiel befinden sich mehrere GPGPU-Instanzen 1830 in getrennten Datenverarbeitungssystemen und kommunizieren über ein Netzwerkgerät, das über die Host-Schnittstelle 1832 zugänglich ist. In mindestens einem Ausführungsbeispiel kann die GPU-Verbindung 1840 so konfiguriert sein, dass sie zusätzlich oder alternativ zur Host-Schnittstelle 1832 eine Verbindung zu einem Host-Prozessor ermöglicht.
In mindestens einem Ausführungsbeispiel kann die GPGPU 1830 so konfiguriert werden, dass sie neuronale Netzwerke trainiert. In mindestens einem Ausführungsbeispiel kann die GPGPU 1830 in einer Inferencing-Plattform verwendet werden. In mindestens einem Ausführungsbeispiel, in der die GPGPU 1830 für Inferencing verwendet wird, kann die GPGPU 1830 weniger Rechencluster 1836A-1836H umfassen, als wenn die GPGPU 1830 für das Training eines neuronalen Netzwerks verwendet wird. In mindestens einem Ausführungsbeispiel kann sich die mit dem Speicher 1844A-1844B verbundene Speichertechnologie zwischen Inferenz- und Trainingskonfigurationen unterscheiden, wobei den Trainingskonfigurationen Speichertechnologien mit höherer Bandbreite zugewiesen werden. In mindestens einem Ausführungsbeispiel kann eine Inferenzkonfiguration der GPGPU 1830 spezifische Inferenzanweisungen unterstützen. In mindestens einem Ausführungsbeispiel kann eine Inferencing-Konfiguration beispielsweise eine oder mehrere 8-Bit-Integer-Punktprodukt-Anweisungen unterstützen, die bei Inferencing-Operationen für eingesetzte neuronale Netzwerke verwendet werden können.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 in der GPGPU 1830 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 in der GPGPU 1830 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
19 ist ein Blockdiagramm, das ein Rechensystem 1900 gemäß mindestens einem Ausführungsbeispiel zeigt. In mindestens einem Ausführungsbeispiel umfasst das Rechensystem 1900 ein Verarbeitungssubsystem 1901 mit einem oder mehreren Prozessor(en) 1902 und einem Systemspeicher 1904, der über einen Verbindungspfad kommuniziert, der einen Speicher-Hub 1905 umfassen kann. In mindestens einem Ausführungsbeispiel kann der Speicher-Hub 1905 eine separate Komponente innerhalb einer Chipsatzkomponente sein oder in einen oder mehrere Prozessor(en) 1902 integriert sein. In mindestens einem Ausführungsbeispiel ist der Speicher-Hub 1905 über eine Kommunikationsverbindung 1906 mit einem E/A-Subsystem 1911 verbunden. In mindestens einem Ausführungsbeispiel umfasst das E/A-Subsystem 1911 einen E/A-Hub 1907, der es dem Computersystem 1900 ermöglicht, Eingaben von einem oder mehreren Eingabegerät(en) 1908 zu empfangen. In mindestens einem Ausführungsbeispiel kann der E/A-Hub 1907 einen Display-Controller, der in einem oder mehreren Prozessor(en) 1902 enthalten sein kann, in die Lage versetzen, Ausgaben an eine oder mehrere Anzeigevorrichtung(en) 1910A zu liefern. In mindestens einem Ausführungsbeispiel können ein oder mehrere Anzeigegeräte 1910A, die mit dem E/A-Hub 1907 verbunden sind, ein lokales, internes oder eingebettetes Anzeigegerät umfassen.
In mindestens einem Ausführungsbeispiel umfasst das Verarbeitungssubsystem 1901 einen oder mehrere parallele(n) Prozessor(en) 1912, die über einen Bus oder eine andere Kommunikationsverbindung 1913 mit dem Speicher-Hub 1905 verbunden sind. In mindestens einem Ausführungsbeispiel kann die Kommunikationsverbindung 1913 eine beliebige Anzahl von standardbasierten Kommunikationsverbindungstechnologien oder -protokollen verwenden, wie z.B., aber nicht beschränkt auf PCI Express, oder eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einem Ausführungsbeispiel bilden ein oder mehrere parallele(r) Prozessor(en) 1912 ein rechnerisch fokussiertes Parallel- oder Vektorverarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern umfassen kann, wie z.B. ein MIC-Prozessor (Many Integrated Core). In mindestens einem Ausführungsbeispiel bilden einige oder alle Parallelprozessoren 1912 ein Grafikverarbeitungs-Subsystem, das Pixel an eine oder mehrere Anzeigevorrichtung(en) 1910A ausgeben kann, die über den I/O-Hub 1907 gekoppelt sind. In mindestens einem Ausführungsbeispiel kann (können) der (die) Parallelprozessor(en) 1912 auch eine Anzeigesteuerung und eine Anzeigeschnittstelle (nicht dargestellt) enthalten, um eine direkte Verbindung zu einem oder mehreren Anzeigegerät(en) 1910B zu ermöglichen.
In mindestens einem Ausführungsbeispiel kann eine Systemspeichereinheit 1914 mit dem E/A-Hub 1907 verbunden werden, um einen Speichermechanismus für das Computersystem 1900 bereitzustellen. In mindestens einem Ausführungsbeispiel kann ein E/A-Switch 1916 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, um Verbindungen zwischen dem E/A-Hub 1907 und anderen Komponenten zu ermöglichen, wie z.B. einem Netzwerkadapter 1918 und/oder einem drahtlosen Netzwerkadapter 1919, der in die Plattform integriert werden kann, und verschiedenen anderen Geräten, die über eine oder mehrere Add-in-Vorrichtung(en) 1920 hinzugefügt werden können. In mindestens einem Ausführungsbeispiel kann der Netzwerkadapter 1918 ein Ethernet-Adapter oder ein anderer kabelgebundener Netzwerkadapter sein. In mindestens einem Ausführungsbeispiel kann der drahtlose Netzwerkadapter 1919 eines oder mehrere der folgenden Geräte umfassen: Wi-Fi, Bluetooth, Near Field Communication (NFC) oder ein anderes Netzwerkgerät, das ein oder mehrere drahtlose Funkgeräte umfasst.
In mindestens einem Ausführungsbeispiel kann das Computersystem 1900 andere, nicht explizit dargestellte Komponenten enthalten, einschließlich USB- oder andere Anschlussverbindungen, optische Speicherlaufwerke, Videoaufnahmegeräte und dergleichen, die ebenfalls mit dem I/O-Hub 1907 verbunden sein können. In mindestens einem Ausführungsbeispiel können Kommunikationspfade, die verschiedene Komponenten in 19 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle implementiert werden, wie z.B. PCI (Peripheral Component Interconnect) basierte Protokolle (z.B. PCI-Express) oder andere Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder Protokolle, wie z.B. NV-Link High-Speed-Interconnect oder Interconnect-Protokolle.
In mindestens einem Ausführungsbeispiel enthält (enthalten) der (die) Parallelprozessor(en) 1912 eine Schaltung, die für die Grafik- und Videoverarbeitung optimiert ist, z.B. eine Videoausgangsschaltung, und stellt (stellen) eine Grafikverarbeitungseinheit (GPU) dar. In mindestens einem Ausführungsbeispiel enthalten der/die Parallelprozessor(en) 1912 eine für die allgemeine Verarbeitung optimierte Schaltung. In mindestens einem Ausführungsbeispiel können Komponenten des Computersystems 1900 mit einem oder mehreren anderen Systemelementen auf einer einzigen integrierten Schaltung integriert sein. Zum Beispiel können In mindestens einem Ausführungsbeispiel der/die Parallelprozessor(en) 1912, der Speicher-Hub 1905, der/die Prozessor(en) 1902 und der I/O-Hub 1907 in eine integrierte Schaltung eines System-on-Chip (SoC) integriert werden. In mindestens einem Ausführungsbeispiel können die Komponenten des Rechnersystems 1900 in ein einziges Gehäuse integriert werden, um eine System-in-Package-Konfiguration (SIP) zu bilden. In mindestens einem Ausführungsbeispiel kann mindestens ein Teil der Komponenten des Rechnersystems 1900 in ein Multi-Chip-Modul (MCM) integriert werden, das mit anderen Multi-Chip-Modulen zu einem modularen Rechnersystem zusammengeschaltet werden kann.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im System FIG. 1900 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hier beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im System FIG. 1900 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
PROZESSOREN
20A illustriert einen Parallelprozessor 2000 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel können verschiedene Komponenten des Parallelprozessors 2000 mit einem oder mehreren integrierten Schaltkreisen implementiert werden, wie z.B. programmierbare Prozessoren, anwendungsspezifische integrierte Schaltkreise (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs). In mindestens einem Ausführungsbeispiel ist der dargestellte Parallelprozessor 2000 eine Variante eines oder mehrerer Parallelprozessoren 1912, die in 19 gemäß einer beispielhaften Ausführungsform dargestellt sind.
In mindestens einem Ausführungsbeispiel umfasst der Parallelprozessor 2000 eine Parallelverarbeitungseinheit 2002. In mindestens einem Ausführungsbeispiel umfasst die Parallelverarbeitungseinheit 2002 eine E/A-Einheit 2004, die die Kommunikation mit anderen Geräten, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 2002, ermöglicht. In mindestens einem Ausführungsbeispiel kann die E/A-Einheit 2004 direkt mit anderen Geräten verbunden sein. In mindestens einem Ausführungsbeispiel ist die E/A-Einheit 2004 über eine Hub- oder Switch-Schnittstelle, wie z.B. einen Memory Hub 2005, mit anderen Geräten verbunden. In mindestens einem Ausführungsbeispiel bilden die Verbindungen zwischen dem Memory Hub 2005 und der E/A-Einheit 2004 eine Kommunikationsverbindung 2013. In mindestens einem Ausführungsbeispiel ist die E/A-Einheit 2004 mit einer Host-Schnittstelle 2006 und einer Speicherkreuzschiene 2016 verbunden, wobei die Host-Schnittstelle 2006 Befehle zur Durchführung von Verarbeitungsvorgängen und die Speicherkreuzschiene 2016 Befehle zur Durchführung von Speicheroperationen empfängt.
In mindestens einem Ausführungsbeispiel kann die Host-Schnittstelle 2006, wenn sie einen Befehlspuffer über die E/A-Einheit 2004 empfängt, Arbeitsoperationen zur Ausführung dieser Befehle an ein Frontend 2008 leiten. In mindestens einem Ausführungsbeispiel ist das Frontend 2008 mit einem Planer 2010 gekoppelt, der so konfiguriert ist, dass er Befehle oder andere Arbeitselemente an ein Verarbeitungscluster-Array 2012 verteilt. In mindestens einem Ausführungsbeispiel stellt der Planer 2010 sicher, dass das Verarbeitungscluster-Array 2012 ordnungsgemäß konfiguriert ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an ein Cluster des Verarbeitungscluster-Arrays 2012 verteilt werden. In mindestens einem Ausführungsbeispiel wird der Planer 2010 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. In mindestens einem Ausführungsbeispiel ist der in einem Mikrocontroller implementierte Planer 2010 so konfigurierbar, dass er komplexe Scheduling- und Arbeitsverteilungsoperationen mit grober und feiner Granularität durchführt, was eine schnelle Vorkaufsberechtigung und Kontextumschaltung von Threads ermöglicht, die auf dem Verarbeitungs-Array 2012 ausgeführt werden. In mindestens einem Ausführungsbeispiel können die Host-Software Arbeitslasten für die Planung auf dem Verarbeitungscluster-Array 2012 über einen von mehreren Grafikverarbeitungspfaden nachweisen. In mindestens einem Ausführungsbeispiel können die Arbeitslasten dann automatisch durch die Logik des Planers 2010 in einem Mikrocontroller, der den Planer 2010 enthält, auf das Verarbeitungsarray Cluster 2012 verteilt werden.
In mindestens einem Ausführungsbeispiel kann das Verarbeitungscluster-Array 2012 bis zu „N“ Verarbeitungscluster umfassen (z.B. Cluster 2014A, Cluster 2014B bis Cluster 2014N), wobei „N“ eine positive ganze Zahl darstellt (die eine andere ganze Zahl „N“ sein kann als in anderen Figuren verwendet). In mindestens einem Ausführungsbeispiel kann jeder Cluster 2014A-2014N des Verarbeitungscluster-Arrays 2012 eine große Anzahl von gleichzeitigen Threads ausführen. In mindestens einem Ausführungsbeispiel kann der Planer 2010 den Clustern 2014A-2014N des Verarbeitungscluster-Arrays 2012 Arbeit zuweisen, indem er verschiedene Scheduling- und/oder Arbeitsverteilungsalgorithmen verwendet, die in Abhängigkeit von der Arbeitslast variieren können, die für jede Art von Programm oder Berechnung entsteht. In mindestens einem Ausführungsbeispiel kann die Planung dynamisch durch den Planer 2010 erfolgen oder teilweise durch die Compilerlogik während der Kompilierung der Programmlogik, die für die Ausführung durch das Verarbeitungscluster-Array 2012 konfiguriert ist, unterstützt werden. In mindestens einem Ausführungsbeispiel können verschiedene Cluster 2014A-2014N des Verarbeitungscluster-Arrays 2012 für die Verarbeitung verschiedener Programmtypen oder für die Durchführung verschiedener Berechnungsarten zugewiesen werden.
In mindestens einem Ausführungsbeispiel kann das Verarbeitungscluster-Array 2012 so konfiguriert werden, dass es verschiedene Arten von parallelen Verarbeitungsoperationen durchführt. In mindestens einem Ausführungsbeispiel ist das Verarbeitungscluster-Array 2012 so konfiguriert, dass es parallele Allzweck-Rechenoperationen durchführt. Zum Beispiel kann In mindestens einem Ausführungsbeispiel das Verarbeitungscluster-Array 2012 eine Logik zur Ausführung von Verarbeitungsaufgaben enthalten, einschließlich der Filterung von Video- und/oder Audiodaten, der Durchführung von Modellierungsoperationen, einschließlich Physikoperationen, und der Durchführung von Datentransformationen.
In mindestens einem Ausführungsbeispiel ist das Verarbeitungscluster-Array 2012 so konfiguriert, dass es parallele Grafikverarbeitungsoperationen durchführt. In mindestens einem Ausführungsbeispiel kann das Verarbeitungscluster-Array 2012 zusätzliche Logik enthalten, um die Ausführung solcher Grafikverarbeitungsoperationen zu unterstützen, einschließlich, aber nicht beschränkt auf, Texturabtastlogik zur Durchführung von Texturoperationen sowie Tesselationslogik und andere Vertexverarbeitungslogik. In mindestens einem Ausführungsbeispiel kann das Verarbeitungscluster-Array 2012 so konfiguriert sein, dass es grafikverarbeitungsbezogene Shader-Programme ausführt, wie z.B. Vertex-Shader, Tessellation-Shader, Geometrie-Shader und Pixel-Shader, aber nicht darauf beschränkt. In mindestens einem Ausführungsbeispiel kann die Parallelverarbeitungseinheit 2002 Daten aus dem Systemspeicher über die E/A-Einheit 2004 zur Verarbeitung übertragen. In mindestens einem Ausführungsbeispiel können die übertragenen Daten während der Verarbeitung im On-Chip-Speicher (z.B. im Parallelprozessorspeicher 2022) gespeichert und dann in den Systemspeicher zurückgeschrieben werden.
In mindestens einem Ausführungsbeispiel, wenn die Parallelverarbeitungseinheit 2002 zur Durchführung der Grafikverarbeitung verwendet wird, kann der Planer 2010 so konfiguriert werden, dass er eine Verarbeitungslast in ungefähr gleich große Aufgaben aufteilt, um eine bessere Verteilung der Grafikverarbeitungsoperationen auf mehrere Cluster 2014A-2014N des Verarbeitungscluster-Arrays 2012 zu ermöglichen. In mindestens einem Ausführungsbeispiel können Teile des Verarbeitungscluster-Arrays 2012 so konfiguriert werden, dass sie verschiedene Arten der Verarbeitung durchführen. Beispielsweise kann In mindestens einem Ausführungsbeispiel ein erster Teil so konfiguriert sein, dass er Vertex-Shading und Topologieerzeugung durchführt, ein zweiter Teil kann so konfiguriert sein, dass er Tesselation und Geometrie-Shading durchführt, und ein dritter Teil kann so konfiguriert sein, dass er Pixel-Shading oder andere Bildschirmoperationen durchführt, um ein gerendertes Bild zur Anzeige zu erzeugen. In mindestens einem Ausführungsbeispiel können Zwischendaten, die von einem oder mehreren der Cluster 2014A-2014N erzeugt wurden, in Puffern gespeichert werden, damit Zwischendaten zur weiteren Verarbeitung zwischen den Clustern 2014A-2014N übertragen werden können.
In mindestens einem Ausführungsbeispiel kann das Verarbeitungscluster-Array 2012 Verarbeitungsaufgaben empfangen, die über den Planer 2010 auszuführen sind, der Befehle zur Definition von Verarbeitungsaufgaben vom Frontend 2008 empfängt. In mindestens einem Ausführungsbeispiel können die Verarbeitungsaufgaben Indizes der zu verarbeitenden Daten enthalten, z.B. Oberflächen- (Patch-) Daten, Primitivdaten, Vertexdaten und/oder Pixeldaten, sowie Zustandsparameter und Befehle, die definieren, wie die Daten verarbeitet werden sollen (z.B. welches Programm ausgeführt werden soll). In mindestens einem Ausführungsbeispiel kann der Planer 2010 so konfiguriert sein, dass er den Aufgaben entsprechende Indizes abruft oder Indizes vom Frontend 2008 empfängt. In mindestens einem Ausführungsbeispiel kann das vordere Ende 2008 so konfiguriert sein, dass es sicherstellt, dass das Verarbeitungscluster-Array 2012 in einen gültigen Zustand versetzt wird, bevor eine durch eingehende Befehlspuffer (z.B. Batch-Puffer, Push-Puffer usw.) spezifizierte Arbeitslast eingeleitet wird.
In mindestens einem Ausführungsbeispiel kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 2002 mit einem Parallelprozessorspeicher 2022 gekoppelt werden. In mindestens einem Ausführungsbeispiel kann auf den Parallelprozessorspeicher 2022 über die Speicherkreuzschiene 2016 zugegriffen werden, die Speicheranforderungen von der Verarbeitungsclusteranordnung 2012 sowie der E/A-Einheit 2004 empfangen kann. In mindestens einem Ausführungsbeispiel kann die Speicherkreuzschiene 2016 über eine Speicherschnittstelle 2018 auf den parallelen Prozessorspeicher 2022 zugreifen. In mindestens einem Ausführungsbeispiel kann die Speicherschnittstelle 2018 mehrere Partitionseinheiten (z.B. Partitionseinheit 2020A, Partitionseinheit 2020B bis Partitionseinheit 2020N) umfassen, die jeweils mit einem Teil (z.B. Speichereinheit) des parallelen Prozessorspeichers 2022 verbunden werden können. In mindestens einem Ausführungsbeispiel ist eine Anzahl von Partitionseinheiten 2020A-2020N so konfiguriert, dass sie gleich einer Anzahl von Speichereinheiten ist, so dass eine erste Partitionseinheit 2020A eine entsprechende erste Speichereinheit 2024A hat, eine zweite Partitionseinheit 2020B eine entsprechende Speichereinheit 2024B hat und eine N-te Partitionseinheit 2020N eine entsprechende N-te Speichereinheit 2024N hat. In mindestens einem Ausführungsbeispiel kann die Anzahl der Partitionseinheiten 2020A-2020N nicht gleich der Anzahl der Speichereinheiten sein.
In mindestens einem Ausführungsbeispiel können die Speichereinheiten 2024A-2024N verschiedene Arten von Speichervorrichtungen enthalten, einschließlich dynamischer Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchroner Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR). In mindestens einem Ausführungsbeispiel können die Speichereinheiten 2024A-2024N auch 3D-Stapelspeicher enthalten, einschließlich, aber nicht beschränkt auf HBM-Speicher (High Bandwidth Memory). In mindestens einem Ausführungsbeispiel können Rendering-Ziele, wie Bildpuffer oder Textur-Maps, in den Speichereinheiten 2024A-2024N gespeichert werden, so dass die Partitionseinheiten 2020A-2020N Teile jedes Rendering-Ziels parallel schreiben können, um die verfügbare Bandbreite des Parallelprozessorspeichers 2022 effizient zu nutzen. In mindestens einem Ausführungsbeispiel kann eine lokale Instanz des parallelen Prozessorspeichers 2022 zugunsten eines einheitlichen Speicherdesigns ausgeschlossen werden, das den Systemspeicher in Verbindung mit dem lokalen Cache-Speicher nutzt.
In mindestens einem Ausführungsbeispiel kann jeder der Cluster 2014A-2014N des verarbeitenden Cluster-Arrays 2012 Daten verarbeiten, die in eine beliebige der Speichereinheiten 2024A-2024N im Parallelprozessorspeicher 2022 geschrieben werden. In mindestens einem Ausführungsbeispiel kann die Speicherkreuzschiene 2016 so konfiguriert sein, dass sie eine Ausgabe jedes Clusters 2014A-2014N an eine beliebige Partitionseinheit 2020A-2020N oder an einen anderen Cluster 2014A-2014N überträgt, der zusätzliche Verarbeitungsvorgänge an einer Ausgabe durchführen kann. In mindestens einem Ausführungsbeispiel kann jeder Cluster 2014A-2014N mit der Speicherschnittstelle 2018 über die Speicherkreuzschiene 2016 kommunizieren, um aus verschiedenen externen Speichergeräten zu lesen oder in diese zu schreiben. In mindestens einem Ausführungsbeispiel hat die Speicherkreuzschiene 2016 eine Verbindung zur Speicherschnittstelle 2018, um mit der E/A-Einheit 2004 zu kommunizieren, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 2022, wodurch die Verarbeitungseinheiten in den verschiedenen Verarbeitungsclustern 2014A-2014N mit dem Systemspeicher oder einem anderen Speicher kommunizieren können, der nicht lokal zur Parallelverarbeitungseinheit 2002 ist. In mindestens einem Ausführungsbeispiel kann die Speicherkreuzschiene 2016 virtuelle Kanäle verwenden, um Verkehrsströme zwischen Clustern 2014A-2014N und Partitionseinheiten 2020A-2020N zu trennen.
In mindestens einem Ausführungsbeispiel können mehrere Instanzen der Parallelverarbeitungseinheit 2002 auf einer einzigen Add-in-Karte bereitgestellt werden, oder mehrere Add-in-Karten können zusammengeschaltet werden. In mindestens einem Ausführungsbeispiel können verschiedene Instanzen der Parallelverarbeitungseinheit 2002 so konfiguriert werden, dass sie auch dann zusammenarbeiten, wenn die verschiedenen Instanzen eine unterschiedliche Anzahl von Prozessorkernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Zum Beispiel können In mindestens einem Ausführungsbeispiel einige Instanzen der Parallelverarbeitungseinheit 2002 im Vergleich zu anderen Instanzen Gleitkommaeinheiten mit höherer Präzision enthalten. In mindestens einem Ausführungsbeispiel können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 2002 oder des Parallelprozessors 2000 enthalten, in einer Vielzahl von Konfigurationen und Formfaktoren implementiert werden, einschließlich, aber nicht beschränkt auf Desktop-, Laptop- oder Handheld-Personalcomputer, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme.
20B ist ein Blockdiagramm einer Unterteilungseinheit 2020 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel ist die Partitionseinheit 2020 eine Instanz einer der Partitionseinheiten 2020A-2020N aus 20A. In mindestens einem Ausführungsbeispiel umfasst die Partitionseinheit 2020 einen L2-Cache 2021, eine Rahmenpufferschnittstelle 2025 und eine ROP 2026 (Rasteroperationseinheit). In mindestens einem Ausführungsbeispiel ist der L2-Cache 2021 ein Lese-/Schreib-Cache, der so konfiguriert ist, dass er von der Speicherkreuzschiene 2016 und der ROP 2026 empfangene Lade- und Speicheroperationen durchführt. In mindestens einem Ausführungsbeispiel werden Lesefehler und dringende Rückschreibanforderungen vom L2-Cache 2021 an die Bildpufferschnittstelle 2025 zur Verarbeitung ausgegeben. In mindestens einem Ausführungsbeispiel können Aktualisierungen auch über die Rahmenpufferschnittstelle 2025 zur Verarbeitung an einen Rahmenpuffer gesendet werden. In mindestens einem Ausführungsbeispiel ist die Rahmenpufferschnittstelle 2025 mit einer der Speichereinheiten im parallelen Prozessorspeicher verbunden, z.B. mit den Speichereinheiten 2024A-2024N von 20 (z.B. im parallelen Prozessorspeicher 2022).
In mindestens einem Ausführungsbeispiel ist die ROP 2026 eine Verarbeitungseinheit, die Rasteroperationen wie Schablonen, Z-Tests, Überblendungen usw. durchführt. In mindestens einem Ausführungsbeispiel gibt die ROP 2026 dann verarbeitete Grafikdaten aus, die im Grafikspeicher gespeichert werden. In mindestens einem Ausführungsbeispiel enthält die ROP 2026 eine Komprimierungslogik, um in den Speicher geschriebene Tiefen- oder Farbdaten zu komprimieren und aus dem Speicher gelesene Tiefen- oder Farbdaten zu dekomprimieren. In mindestens einem Ausführungsbeispiel kann die Komprimierungslogik eine verlustfreie Komprimierungslogik sein, die einen oder mehrere von mehreren Komprimierungsalgorithmen verwendet. In mindestens einem Ausführungsbeispiel kann die Art der Komprimierung, die von ROP 2026 durchgeführt wird, auf der Grundlage statistischer Merkmale der zu komprimierenden Daten variieren. In mindestens einem Ausführungsbeispiel wird beispielsweise eine Delta-Farbkomprimierung für Tiefen- und Farbdaten auf einer Kachelbasis durchgeführt.
In mindestens einem Ausführungsbeispiel ist die ROP 2026 in jedem Verarbeitungscluster (z.B. Cluster 2014A-2014N von 20A) statt in der Partitionseinheit 2020 enthalten. In mindestens einem Ausführungsbeispiel werden Lese- und Schreibanforderungen für Pixeldaten über die Speicherkreuzschiene 2016 anstelle von Pixelfragmentdaten übertragen. In mindestens einem Ausführungsbeispiel können verarbeitete Grafikdaten auf einem Anzeigegerät angezeigt werden, z.B. auf einem oder mehreren Anzeigegeräten 1910 von 19, zur weiteren Verarbeitung durch Prozessor(en) 1902 weitergeleitet werden oder zur weiteren Verarbeitung durch eine der Verarbeitungseinheiten im Parallelprozessor 2000 von 20A weitergeleitet werden.
20C ist ein Blockdiagramm eines Verarbeitungsclusters 2014 innerhalb einer Parallelverarbeitungseinheit gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel ist ein Verarbeitungscluster eine Instanz eines der Verarbeitungscluster 2014A-2014N aus 20A. In mindestens einem Ausführungsbeispiel kann der Verarbeitungscluster 2014 so konfiguriert sein, dass er viele Threads parallel ausführt, wobei sich „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingabedaten ausgeführt wird. In mindestens einem Ausführungsbeispiel werden SIMD-Befehlsausgabetechniken (Single-Instruction, Multiple-Data) verwendet, um die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Befehlseinheiten bereitzustellen. In mindestens einem Ausführungsbeispiel werden SIMT-Techniken (Single-Instruction, Multiple-Thread) verwendet, um die parallele Ausführung einer großen Anzahl von im Allgemeinen synchronisierten Threads zu unterstützen, wobei eine gemeinsame Befehlseinheit verwendet wird, die so konfiguriert ist, dass sie Befehle an einen Satz von Verarbeitungsmaschinen innerhalb jedes der Verarbeitungscluster ausgibt.
In mindestens einem Ausführungsbeispiel kann der Betrieb des Verarbeitungsclusters 2014 über einen Pipeline-Manager 2032 gesteuert werden, der die Verarbeitungsaufgaben an die parallelen SIMT-Prozessoren verteilt. In mindestens einem Ausführungsbeispiel empfängt der Pipeline-Manager 2032 Anweisungen vom Planer 2010 von 20A und verwaltet die Ausführung dieser Anweisungen über einen Grafik-Multiprozessor 2034 und/oder eine Textureinheit 2036. In mindestens einem Ausführungsbeispiel ist der Grafik-Multiprozessor 2034 eine beispielhafte Instanz eines SIMT-Parallelprozessors. In mindestens einem Ausführungsbeispiel können jedoch verschiedene Arten von SIMT-Parallelprozessoren mit unterschiedlichen Architekturen im Verarbeitungscluster 2014 enthalten sein. In mindestens einem Ausführungsbeispiel können eine oder mehrere Instanzen des Grafik-Multiprozessors 2034 in einem Verarbeitungscluster 2014 enthalten sein. In mindestens einem Ausführungsbeispiel kann der Grafikmultiprozessor 2034 Daten verarbeiten, und eine Datenkreuzschiene 2040 kann verwendet werden, um die verarbeiteten Daten an eines von mehreren möglichen Zielen, einschließlich anderer Shader-Einheiten, zu verteilen. In mindestens einem Ausführungsbeispiel kann der Pipeline-Manager 2032 die Verteilung verarbeiteter Daten erleichtern, indem er Ziele für verarbeitete Daten angibt, die über die Datenkreuzschiene 2040 verteilt werden sollen.
In mindestens einem Ausführungsbeispiel kann jeder Grafik-Multiprozessor 2034 innerhalb des Verarbeitungsclusters 2014 einen identischen Satz funktionaler Ausführungslogik enthalten (z.B. arithmetische Logikeinheiten, Ladespeichereinheiten usw.). In mindestens einem Ausführungsbeispiel kann die funktionale Ausführungslogik in einer Pipeline konfiguriert werden, in der neue Befehle ausgegeben werden können, bevor vorherige Befehle abgeschlossen sind. In mindestens einem Ausführungsbeispiel unterstützt die funktionale Ausführungslogik eine Vielzahl von Operationen, darunter Ganzzahl- und Gleitkommaarithmetik, Vergleichsoperationen, boolesche Operationen, Bitverschiebung und die Berechnung verschiedener algebraischer Funktionen. In mindestens einem Ausführungsbeispiel kann dieselbe Hardware mit funktionalen Einheiten genutzt werden, um verschiedene Operationen durchzuführen, und es kann eine beliebige Kombination von funktionalen Einheiten vorhanden sein.
In mindestens einem Ausführungsbeispiel bilden die an den Verarbeitungscluster 2014 übermittelten Anweisungen einen Thread. In mindestens einem Ausführungsbeispiel ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungsmaschinen ausgeführt werden, eine Thread-Gruppe. In mindestens einem Ausführungsbeispiel führt eine Thread-Gruppe ein gemeinsames Programm auf unterschiedlichen Eingabedaten aus. In mindestens einem Ausführungsbeispiel kann jeder Thread innerhalb einer Thread-Gruppe einer anderen Verarbeitungsmaschine innerhalb eines Grafik-Multiprozessors 2034 zugewiesen werden. In mindestens einem Ausführungsbeispiel kann eine Thread-Gruppe weniger Threads umfassen als die Anzahl der Verarbeitungseinheiten im Grafik-Multiprozessor 2034. Wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungsmaschinen umfasst, können In mindestens einem Ausführungsbeispiel eine oder mehrere der Verarbeitungsmaschinen während der Zyklen, in denen diese Thread-Gruppe verarbeitet wird, im Leerlauf sein. In mindestens einem Ausführungsbeispiel kann eine Thread-Gruppe auch mehr Threads umfassen als eine Anzahl von Verarbeitungsmaschinen innerhalb des Grafik-Multiprozessors 2034. Wenn eine Thread-Gruppe mehr Threads umfasst als die Anzahl der Verarbeitungseinheiten im Grafik-Multiprozessor 2034, kann die Verarbeitung In mindestens einem Ausführungsbeispiel in aufeinanderfolgenden Taktzyklen erfolgen. In mindestens einem Ausführungsbeispiel können mehrere Thread-Gruppen gleichzeitig auf einem Grafik-Multiprozessor 2034 ausgeführt werden.
In mindestens einem Ausführungsbeispiel umfasst der Grafik-Multiprozessor 2034 einen internen Cache-Speicher, um Lade- und Speicheroperationen durchzuführen. In mindestens einem Ausführungsbeispiel kann der Grafik-Multiprozessor 2034 auf einen internen Cache verzichten und einen Cache-Speicher (z.B. L1-Cache 2048) im Verarbeitungscluster 2014 verwenden. In mindestens einem Ausführungsbeispiel hat jeder Grafik-Multiprozessor 2034 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten (z.B. Partitionseinheiten 2020A-2020N von 20A), die von allen Verarbeitungsclustern 2014 gemeinsam genutzt werden und zur Datenübertragung zwischen Threads verwendet werden können. In mindestens einem Ausführungsbeispiel kann der Grafik-Multiprozessor 2034 auch auf den globalen Speicher außerhalb des Chips zugreifen, der einen oder mehrere lokale Parallelprozessorspeicher und/oder Systemspeicher umfassen kann. In mindestens einem Ausführungsbeispiel kann jeder Speicher außerhalb der Parallelverarbeitungseinheit 2002 als globaler Speicher verwendet werden. In mindestens einem Ausführungsbeispiel umfasst der Verarbeitungscluster 2014 mehrere Instanzen des Grafik-Multiprozessors 2034 und kann gemeinsame Anweisungen und Daten nutzen, die im L1-Cache 2048 gespeichert werden können.
In mindestens einem Ausführungsbeispiel kann jeder Verarbeitungscluster 2014 eine MMU 2045 (Speicherverwaltungseinheit) enthalten, die so konfiguriert ist, dass sie virtuelle Adressen in physische Adressen umsetzt. In mindestens einem Ausführungsbeispiel können sich eine oder mehrere Instanzen der MMU 2045 innerhalb der Speicherschnittstelle 2018 von 20A befinden. In mindestens einem Ausführungsbeispiel umfasst die MMU 2045 einen Satz von Seitentabelleneinträgen (PTEs), die zur Abbildung einer virtuellen Adresse auf eine physische Adresse einer Kachel verwendet werden, und optional einen Cache-Zeilenindex. In mindestens einem Ausführungsbeispiel kann die MMU 2045 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches enthalten, die sich im Grafik-Multiprozessor 2034 oder L1 2048-Cache oder im Verarbeitungscluster 2014 befinden können. In mindestens einem Ausführungsbeispiel wird eine physikalische Adresse verarbeitet, um den Zugriff auf Oberflächendaten lokal zu verteilen, um eine effiziente Verschachtelung von Anforderungen zwischen den Partitionseinheiten zu ermöglichen. In mindestens einem Ausführungsbeispiel kann ein Cache-Zeilenindex verwendet werden, um festzustellen, ob eine Anforderung für eine Cache-Zeile ein Treffer ist oder nicht.
In mindestens einem Ausführungsbeispiel kann ein Verarbeitungscluster 2014 so konfiguriert sein, dass jeder Grafikmultiprozessor 2034 mit einer Textureinheit 2036 gekoppelt ist, um Texturabbildungsoperationen durchzuführen, z.B. Bestimmen von Texturabtastpositionen, Lesen von Texturdaten und Filtern von Texturdaten. In mindestens einem Ausführungsbeispiel werden die Texturdaten aus einem internen Textur-L1-Cache (nicht dargestellt) oder aus einem L1-Cache innerhalb des Grafik-Multiprozessors 2034 gelesen und je nach Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder dem Systemspeicher abgerufen. In mindestens einem Ausführungsbeispiel gibt jeder Grafikmultiprozessor 2034 verarbeitete Aufgaben an die Datenkreuzschiene 2040 aus, um verarbeitete Aufgaben an einen anderen Verarbeitungscluster 2014 zur weiteren Verarbeitung weiterzugeben oder um verarbeitete Aufgaben in einem L2-Cache, einem lokalen Parallelprozessorspeicher oder Systemspeicher über die Speicherkreuzschiene 2016 zu speichern. In mindestens einem Ausführungsbeispiel ist eine preROP 2042 (pre-raster operations unit) so konfiguriert, dass sie Daten vom Grafik-Multiprozessor 2034 empfängt und Daten an ROP-Einheiten weiterleitet, die sich in den hier beschriebenen Partitionseinheiten befinden können (z.B. Partitionseinheiten 2020A-2020N in 20A). In mindestens einem Ausführungsbeispiel kann die preROP-Einheit 2042 Optimierungen für die Farbmischung, die Organisation von Pixelfarbdaten und die Durchführung von Adressübersetzungen vornehmen.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im Grafikverarbeitungscluster 2014 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, neuronalen Netzfunktionen und/oder -architekturen oder den hier beschriebenen Anwendungsfällen für neuronale Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im Grafikverarbeitungscluster 2014 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
20D zeigt einen Grafik-Multiprozessor 2034 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel ist der Grafik-Multiprozessor 2034 mit dem Pipeline-Manager 2032 des Verarbeitungsclusters 2014 gekoppelt. In mindestens einem Ausführungsbeispiel verfügt der Grafikmultiprozessor 2034 über eine Ausführungspipeline, die unter anderem einen Befehlscache 2052, eine Befehlseinheit 2054, eine Adresszuordnungseinheit 2056, eine Registerdatei 2058, einen oder mehrere GPGPU-Kerne 2062 und eine oder mehrere Lade-/Speichereinheiten 2066 umfasst. In mindestens einem Ausführungsbeispiel sind die GPGPU-Kerne 2062 und die Lade-/Speichereinheiten 2066 über eine Speicher- und Cache-Verbindung 2068 mit dem Cache-Speicher 2072 und dem gemeinsamen Speicher 2070 verbunden.
In mindestens einem Ausführungsbeispiel erhält der Befehls-Cache 2052 einen Strom von auszuführenden Befehlen vom Pipeline-Manager 2032. In mindestens einem Ausführungsbeispiel werden die Befehle im Befehlscache 2052 zwischengespeichert und von einer Befehlseinheit 2054 zur Ausführung weitergeleitet. In mindestens einem Ausführungsbeispiel kann die Befehlseinheit 2054 Befehle als Thread-Gruppen (z.B. Warps) versenden, wobei jeder Thread der Thread-Gruppe einer anderen Ausführungseinheit innerhalb der GPGPU-Kerne 2062 zugewiesen ist. In mindestens einem Ausführungsbeispiel kann ein Befehl auf einen lokalen, gemeinsam genutzten oder globalen Adressraum zugreifen, indem er eine Adresse innerhalb eines einheitlichen Adressraums angibt. In mindestens einem Ausführungsbeispiel kann die Adressabbildungseinheit 2056 verwendet werden, um Adressen in einem einheitlichen Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf die die Lade-/Speichereinheiten 2066 zugreifen können.
In mindestens einem Ausführungsbeispiel bietet die Registerdatei 2058 einen Satz von Registern für Funktionseinheiten des Grafik-Multiprozessors 2034. In mindestens einem Ausführungsbeispiel stellt die Registerdatei 2058 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten (z.B. GPGPU-Kerne 2062, Lade-/Speichereinheiten 2066) des Grafik-Multiprozessors 2034 verbunden sind. In mindestens einem Ausführungsbeispiel wird die Registerdatei 2058 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein eigener Teil der Registerdatei 2058 zugewiesen wird. In mindestens einem Ausführungsbeispiel wird die Registerdatei 2058 zwischen verschiedenen Warps aufgeteilt, die vom Grafik-Multiprozessor 2034 ausgeführt werden.
In mindestens einem Ausführungsbeispiel können die GPGPU-Kerne 2062 jeweils Gleitkommaeinheiten (FPUs) und/oder ganzzahlige arithmetische Logikeinheiten (ALUs) enthalten, die zur Ausführung von Befehlen des Grafik-Multiprozessors 2034 verwendet werden. In mindestens einem Ausführungsbeispiel können die GPGPU-Kerne 2062 in ihrer Architektur ähnlich sein oder sich unterscheiden. In mindestens einem Ausführungsbeispiel umfasst ein erster Teil der GPGPU-Kerne 2062 eine FPU mit einfacher Genauigkeit und eine Ganzzahl-ALU, während ein zweiter Teil der GPGPU-Kerne eine FPU mit doppelter Genauigkeit umfasst. In mindestens einem Ausführungsbeispiel können die FPUs IEEE 754-2008 Standard-Gleitkomma-Arithmetik implementieren oder Gleitkomma-Arithmetik mit variabler Genauigkeit ermöglichen. In mindestens einem Ausführungsbeispiel kann der Grafik-Multiprozessor 2034 zusätzlich eine oder mehrere Festfunktions- oder Spezialfunktionseinheiten enthalten, um spezifische Funktionen wie das Kopieren von Rechtecken oder Pixel-Mischoperationen durchzuführen. In mindestens einem Ausführungsbeispiel können einer oder mehrere der GPGPU-Kerne 2062 auch eine Logik mit festen Funktionen oder Sonderfunktionen enthalten.
In mindestens einem Ausführungsbeispiel enthalten die GPGPU-Kerne 2062 eine SIMD-Logik, die in der Lage ist, einen einzigen Befehl auf mehreren Datensätzen auszuführen. In mindestens einem Ausführungsbeispiel können GPGPU-Kerne 2062 physikalisch SIMD4-, SIMD8- und SIMD16-Befehle und logisch SIMD1-, SIMD2- und SIMD32-Befehle ausführen. In mindestens einem Ausführungsbeispiel können SIMD-Befehle für GPGPU-Kerne zur Kompilierzeit von einem Shader-Compiler oder automatisch bei der Ausführung von Programmen erzeugt werden, die für SPMD- oder SIMT-Architekturen (Single Program Multiple Data) geschrieben und kompiliert wurden. In mindestens einem Ausführungsbeispiel können mehrere Threads eines für ein SIMT-Ausführungsmodell konfigurierten Programms über einen einzigen SIMD-Befehl ausgeführt werden. Beispielsweise können In mindestens einem Ausführungsbeispiel acht SIMT-Threads, die gleiche oder ähnliche Operationen durchführen, parallel über eine einzige SIMD8-Logikeinheit ausgeführt werden.
In mindestens einem Ausführungsbeispiel ist die Speicher- und Cache-Verbindung 2068 ein Verbindungsnetzwerk, das jede Funktionseinheit des Grafik-Multiprozessors 2034 mit der Registerdatei 2058 und dem gemeinsamen Speicher 2070 verbindet. In mindestens einem Ausführungsbeispiel ist die Speicher- und Cache-Verbindung 2068 eine Kreuzschienenverbindung, die es der Lade-/Speichereinheit 2066 ermöglicht, Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher 2070 und der Registerdatei 2058 durchzuführen. In mindestens einem Ausführungsbeispiel kann die Registerdatei 2058 mit der gleichen Frequenz wie die GPGPU-Kerne 2062 arbeiten, so dass die Datenübertragung zwischen den GPGPU-Kernen 2062 und der Registerdatei 2058 eine sehr geringe Latenzzeit haben kann. In mindestens einem Ausführungsbeispiel kann der gemeinsame Speicher 2070 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Grafik-Multiprozessors 2034 ausgeführt werden. In mindestens einem Ausführungsbeispiel kann der Cache-Speicher 2072 beispielsweise als Daten-Cache verwendet werden, um Texturdaten, die zwischen Funktionseinheiten und der Textureinheit 2036 übertragen werden, zwischenzuspeichern. In mindestens einem Ausführungsbeispiel kann der gemeinsame Speicher 2070 auch als programmverwalteter Cache verwendet werden. In mindestens einem Ausführungsbeispiel können Threads, die auf GPGPU-Kernen 2062 ausgeführt werden, zusätzlich zu den automatisch im Cache-Speicher 2072 gespeicherten Daten programmatisch Daten im gemeinsam genutzten Speicher speichern.
In mindestens einem Ausführungsbeispiel ist ein Parallelprozessor oder eine GPGPU, wie hierin beschrieben, kommunikativ mit Host-/Prozessorkernen verbunden, um Grafikoperationen, Operationen des maschinellen Lernens, Musteranalyseoperationen und verschiedene allgemeine GPU-Funktionen (GPGPU) zu beschleunigen. In mindestens einem Ausführungsbeispiel kann eine GPU über einen Bus oder eine andere Verbindung (z.B. eine Hochgeschwindigkeitsverbindung wie PCIe oder NVLink) mit dem Host-Prozessor/den Prozessorkemen kommunikativ verbunden sein. In mindestens einem Ausführungsbeispiel kann ein Grafikprozessor als Kerne in ein Gehäuse oder einen Chip integriert sein und über einen internen Prozessorbus bzw. eine interne Verbindung innerhalb eines Gehäuses oder Chips mit den Kernen kommunizieren. In mindestens einem Ausführungsbeispiel können Prozessorkerne unabhängig von der Art und Weise, in der ein Grafikprozessor angeschlossen ist, einem solchen Grafikprozessor Arbeit in Form von Sequenzen von Befehlen/Befehlen zuweisen, die in einem Arbeitsdeskriptor enthalten sind. In mindestens einem Ausführungsbeispiel verwendet die GPU dann eine spezielle Schaltung/Logik zur effizienten Verarbeitung dieser Befehle/Befehle.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im Grafik-Multiprozessor 2034 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im Grafik-Multiprozessor 2034 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
21 zeigt ein Multi-GPU-Rechnersystem 2100 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel kann das Multi-GPU-Computersystem 2100 einen Prozessor 2102 umfassen, der über einen Host-Schnittstellenschalter 2104 mit mehreren Universal-Grafikverarbeitungseinheiten (GPGPUs) 2106A-D verbunden ist. In mindestens einem Ausführungsbeispiel ist der Host-Interface-Switch 2104 eine PCI-Express-Switch-Vorrichtung, die den Prozessor 2102 mit einem PCI-Express-Bus verbindet, über den der Prozessor 2102 mit den GPGPUs 2106A-D kommunizieren kann. In mindestens einem Ausführungsbeispiel können die GPGPUs 2106A-D über eine Reihe von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verbindungen 2116 miteinander verbunden werden. In mindestens einem Ausführungsbeispiel sind die GPU-zu-GPU-Verbindungen 2116 mit jeder der GPGPUs 2106A-D über eine dedizierte GPU-Verbindung verbunden. In mindestens einem Ausführungsbeispiel ermöglichen die P2P-GPU-Verbindungen 2116 eine direkte Kommunikation zwischen den einzelnen GPGPUs 2106A-D, ohne dass eine Kommunikation über den Host-Schnittstellenbus 2104 erforderlich ist, an den der Prozessor 2102 angeschlossen ist. In mindestens einem Ausführungsbeispiel, bei der der GPU-zu-GPU-Verkehr auf P2P-GPU-Verbindungen 2116 geleitet wird, bleibt der Host-Schnittstellenbus 2104 für den Zugriff auf den Systemspeicher oder für die Kommunikation mit anderen Instanzen des Multi-GPU-Computersystems 2100 verfügbar, zum Beispiel über ein oder mehrere Netzwerkgeräte. Während In mindestens einem Ausführungsbeispiel die GPGPUs 2106A-D über den Host-Schnittstellenschalter 2104 mit dem Prozessor 2102 verbunden sind, bietet der Prozessor 2102 In mindestens einem Ausführungsbeispiel direkte Unterstützung für P2P-GPU-Verbindungen 2116 und kann direkt mit den GPGPUs 2106A-D verbunden werden.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im Multi-GPU-Computersystem 2100 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im Multi-GPU-Computersystem 2100 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
22 ist ein Blockdiagramm eines Grafikprozessors 2200 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2200 eine Ringverbindung 2202, ein Pipeline-Frontend 2204, eine Media-Engine 2237 und Grafikkerne 2280A-2280N. In mindestens einem Ausführungsbeispiel verbindet die Ringverbindung 2202 den Grafikprozessor 2200 mit anderen Verarbeitungseinheiten, einschließlich anderer Grafikprozessoren oder eines oder mehrerer Allzweckprozessorkerne. In mindestens einem Ausführungsbeispiel ist der Grafikprozessor 2200 einer von vielen Prozessoren, die in ein Multi-Core-Verarbeitungssystem integriert sind.
In mindestens einem Ausführungsbeispiel empfängt der Grafikprozessor 2200 Stapel von Befehlen über die Ringverbindung 2202. In mindestens einem Ausführungsbeispiel werden die eingehenden Befehle von einem Befehlsstreamer 2203 im Pipeline-Frontend 2204 interpretiert. In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2200 eine skalierbare Ausführungslogik zur Durchführung der 3D-Geometrieverarbeitung und der Medienverarbeitung über Grafikkerne 2280A-2280N. In mindestens einem Ausführungsbeispiel liefert der Befehlsstreamer 2203 für 3D-Geometrieverarbeitungsbefehle Befehle an die Geometrie-Pipeline 2236. In mindestens einem Ausführungsbeispiel liefert der Befehlsstreamer 2203 für mindestens einige Medienverarbeitungsbefehle Befehle an ein Video-Frontend 2234, das mit dem Mediensystem 2237 gekoppelt ist. In mindestens einem Ausführungsbeispiel umfasst die Medien-Engine 2237 eine Video Quality Engine (VQE) 2230 für die Video- und Bildnachbearbeitung und eine Multiformat-Kodier-/Dekodier-Engine (MFX) 2233 für die hardwarebeschleunigte Kodierung und Dekodierung von Mediendaten. In mindestens einem Ausführungsbeispiel erzeugen die Geometrie-Pipeline 2236 und das Medienmodul 2237 jeweils Ausführungs-Threads für Thread-Ausführungsressourcen, die von mindestens einem Grafikkern 2280 bereitgestellt werden.
In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2200 skalierbare Thread-Ausführungsressourcen mit Grafikkernen 2280A-2280N (die modular sein können und manchmal als Core-Slices bezeichnet werden), die jeweils mehrere Sub-Cores 2250A-50N, 2260A-2260N (manchmal als Core-Sub-Slices bezeichnet) aufweisen. In mindestens einem Ausführungsbeispiel kann der Grafikprozessor 2200 eine beliebige Anzahl von Grafikkernen 2280A haben. In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2200 einen Grafikkern 2280A mit mindestens einem ersten Unterkern 2250A und einem zweiten Unterkern 2260A. In mindestens einem Ausführungsbeispiel ist der Grafikprozessor 2200 ein Niedrigleistungsprozessor mit einem einzigen Unterkern (z.B. 2250A). In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2200 mehrere Grafikkerne 2280A-2280N, die jeweils einen Satz erster Unterkeme 2250A-2250N und einen Satz zweiter Unterkeme 2260A-2260N umfassen. In mindestens einem Ausführungsbeispiel umfasst jeder Unterkern in den ersten Unterkemen 2250A-2250N mindestens einen ersten Satz von Ausführungseinheiten 2252A-2252N und Medien-/Textur-Sampler 2254A-2254N. In mindestens einem Ausführungsbeispiel umfasst jeder Unterkern in den zweiten Unterkemen 2260A-2260N mindestens eine zweite Gruppe von Ausführungseinheiten 2262A-2262N und Samplern 2264A-2264N. In mindestens einem Ausführungsbeispiel teilt sich jeder Unterkern 2250A-2250N, 2260A-2260N einen Satz gemeinsamer Ressourcen 2270A-2270N. In mindestens einem Ausführungsbeispiel umfassen die gemeinsam genutzten Ressourcen einen gemeinsam genutzten Cache-Speicher und eine Pixeloperationslogik.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Details bezüglich der Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit den 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik 715 im Grafikprozessor 2200 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
In mindestens einem Ausführungsbeispiel kann die Inferenz- und/oder Trainingslogik von 3 im Grafikprozessor 2200 für Inferenz- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netzwerke oder hierin beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet werden.
23 ist ein Blockdiagramm, das die Mikroarchitektur eines Prozessors 2300 veranschaulicht, der gemäß mindestens einem Ausführungsbeispiel Logikschaltungen zur Ausführung von Befehlen enthalten kann. In mindestens einem Ausführungsbeispiel kann der Prozessor 2300 Befehle ausführen, darunter x86-Befehle, ARM-Befehle, spezielle Befehle für anwendungsspezifische integrierte Schaltungen (ASICs) usw. In mindestens einem Ausführungsbeispiel kann der Prozessor 2300 Register zur Speicherung gepackter Daten enthalten, wie z.B. 64-Bit breite MMX™-Register in Mikroprozessoren, die mit der MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. In mindestens einem Ausführungsbeispiel können MMX-Register, die sowohl als Ganzzahl- als auch als Gleitkommaregister verfügbar sind, mit gepackten Datenelementen arbeiten, die Single Instruction, Multiple Data („SIMD“) und Streaming SIMD Extensions („SSE“) Befehle begleiten. In mindestens einem Ausführungsbeispiel können 128 Bit breite XMM-Register, die sich auf die SSE2-, SSE3-, SSE4-, AVX- oder darüber hinausgehende Technologien beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden enthalten. In mindestens einem Ausführungsbeispiel kann der Prozessor 2300 Befehle zur Beschleunigung von Algorithmen für maschinelles Lernen oder Deep Learning, Training oder Inferenzierung ausführen.
In mindestens einem Ausführungsbeispiel umfasst der Prozessor 2300 ein Front-End („Front-End“) 2301 zum Abrufen von auszuführenden Anweisungen und zur Vorbereitung von Anweisungen, die später in einer Prozessor-Pipeline verwendet werden sollen. In mindestens einem Ausführungsbeispiel kann das vordere Ende 2301 mehrere Einheiten umfassen. In mindestens einem Ausführungsbeispiel holt ein Befehlsvorabrufer 2326 Befehle aus dem Speicher und leitet sie an einen Befehlsdecoder 2328 weiter, der wiederum Befehle dekodiert oder interpretiert. In mindestens einem Ausführungsbeispiel dekodiert der Befehlsdekodierer 2328 beispielsweise einen empfangenen Befehl in eine oder mehrere Operationen, die als „Mikrobefehle“ oder „Mikrooperationen“ (auch „Mikro-Ops“ oder „Uops“ genannt) bezeichnet werden und von einer Maschine ausgeführt werden können. In mindestens einem Ausführungsbeispiel zerlegt der Befehlsdecoder 2328 einen Befehl in einen Op-Code und entsprechende Daten- und Steuerfelder, die von der Mikroarchitektur verwendet werden können, um Operationen gemäß mindestens einem Ausführungsbeispiel durchzuführen. In mindestens einem Ausführungsbeispiel kann ein Trace-Cache 2330 dekodierte UOPs in programmgesteuerte Sequenzen oder Traces in einer UOP-Warteschlange 2334 zur Ausführung zusammenstellen. Wenn der Trace-Cache 2330 auf einen komplexen Befehl stößt, stellt ein Mikrocode-ROM 2332 In mindestens einem Ausführungsbeispiel die für die Ausführung einer Operation erforderlichen uops bereit.
In mindestens einem Ausführungsbeispiel können einige Befehle in ein einziges Mikro-OP umgewandelt werden, während andere mehrere Mikro-OPs benötigen, um vollständig ausgeführt zu werden. In mindestens einem Ausführungsbeispiel kann der Befehlsdecoder 2328 auf den Mikrocode-ROM 2332 zugreifen, um den Befehl auszuführen, wenn mehr als vier Mikro-Ops zur Ausführung des Befehls erforderlich sind. In mindestens einem Ausführungsbeispiel kann ein Befehl in eine kleine Anzahl von Mikro-Ops für die Verarbeitung im Befehlsdecoder 2328 dekodiert werden. In mindestens einem Ausführungsbeispiel kann ein Befehl im Mikrocode-ROM 2332 gespeichert werden, falls eine Anzahl von Mikro-OPs zur Ausführung einer solchen Operation benötigt wird. In mindestens einem Ausführungsbeispiel bezieht sich der Trace-Cache 2330 auf ein programmierbares Logik-Array („PLA“) als Einstiegspunkt, um einen korrekten Mikrobefehlszeiger für das Lesen von Mikrocode-Sequenzen zu bestimmen, um einen oder mehrere Befehle aus dem Mikrocode-ROM 2332 in Übereinstimmung mit mindestens einer Ausführungsform zu vervollständigen. In mindestens einem Ausführungsbeispiel kann das Frontend 2301 einer Maschine, nachdem das Mikrocode-ROM 2332 die Sequenzierung von Mikrobefehlen für einen Befehl beendet hat, das Abrufen von Mikrobefehlen aus dem Trace-Cache 2330 wiederaufnehmen.
In mindestens einem Ausführungsbeispiel kann die Out-of-Order-Ausführungs-Engine („Out-of-Order-Engine“) 2303 Anweisungen zur Ausführung vorbereiten. In mindestens einem Ausführungsbeispiel verfügt die Logik für die Ausführung außerhalb der Reihenfolge über eine Reihe von Puffern zur Glättung und Neuordnung des Befehlsflusses, um die Leistung zu optimieren, während sie eine Pipeline durchlaufen und für die Ausführung eingeplant werden. In mindestens einem Ausführungsbeispiel umfasst die Ausführungslogik 2303 ohne Einschränkung einen Allokator/Register-Renamer 2340, eine Speicher-UO-Warteschlange 2342, eine Ganzzahl/Gleitkomma-UO-Warteschlange 2344, einen Speicher-Planer 2346, einen schnellen Planer 2302, einen langsamen/allgemeinen Gleitkomma-Planer („slow/general FP Planer“) 2304 und einen einfachen Gleitkomma-Planer („simple FP Planer“) 2306. In mindestens einem Ausführungsbeispiel werden der schnelle Planer 2302, der langsame/allgemeine Gleitkomma-Planer 2304 und der einfache Gleitkomma-Planer 2306 hier auch gemeinsam als „uop-Planer 2302, 2304, 2306“ bezeichnet. In mindestens einem Ausführungsbeispiel weist der Allokator/Register-Renamer 2340 Maschinenpuffer und Ressourcen zu, die jeder uop für seine Ausführung benötigt. In mindestens einem Ausführungsbeispiel benennt der Allokator/Register Renamer 2340 logische Register auf Einträge in einer Registerdatei um. In mindestens einem Ausführungsbeispiel weist der Allokator/Register Renamer 2340 außerdem jedem uop einen Eintrag in einer von zwei uop-Warteschlangen zu, der Speicher-uop-Warteschlange 2342 für Speicheroperationen und der Ganzzahl-/Gleitkomma-uop-Warteschlange 2344 für Nicht-Speicheroperationen, und zwar vor dem Speicher-Planer 2346 und den uop-Planem 2302, 2304, 2306. In mindestens einem Ausführungsbeispiel bestimmen die uop-Planer 2302, 2304, 2306 auf der Grundlage der Bereitschaft ihrer abhängigen Eingangsregister-Operandenquellen und der Verfügbarkeit der Ausführungsressourcen, die die uops zur Durchführung ihrer Operation benötigen, wann ein uop zur Ausführung bereit ist. In mindestens einem Ausführungsbeispiel kann der schnelle Planer 2302 in jeder Hälfte eines Haupttaktzyklus einen Zeitplan erstellen, während der langsame/allgemeine Gleitkomma-Planer 2304 und der einfache Gleitkomma-Planer 2306 einen Zeitplan pro Hauptprozessortaktzyklus erstellen können. In mindestens einem Ausführungsbeispiel vermitteln die uop-Planer 2302, 2304, 2306 für Verteil-Ports, um uops zur Ausführung zu planen.
In mindestens einem Ausführungsbeispiel umfasst der Ausführungsblock 2311, ohne Einschränkung, eine Ganzzahlregisterdatei/ein Bypass-Netzwerk 2308, eine Gleitkommaregisterdatei/ein Bypass-Netzwerk („FP-Registerdatei/Bypass-Netzwerk“) 2310, Adressgenerierungseinheiten („AGUs“) 2312 und 2314, schnelle arithmetische Logikeinheiten (ALUs) („fast ALUs“) 2316 und 2318, eine langsame arithmetische Logikeinheit („slow ALU“) 2320, eine Gleitkomma-ALU („FP“) 2322 und eine Gleitkomma-Bewegungseinheit („FP move“) 2324. In mindestens einem Ausführungsbeispiel werden die Ganzzahl-Registerdatei bzw. das Bypass-Netzwerk 2308 und die Gleitkomma-Registerdatei bzw. das Bypass-Netzwerk 2310 hier auch als „Registerdateien 2308, 2310“ bezeichnet. In mindestens einem Ausführungsbeispiel werden die AGUSs 2312 und 2314, die schnellen ALUs 2316 und 2318, die langsame ALU 2320, die Gleitkomma-ALU 2322 und die Gleitkomma-Bewegungseinheit 2324 hier auch als „Ausführungseinheiten 2312, 2314, 2316, 2318, 2320, 2322 und 2324“ bezeichnet. In mindestens einem Ausführungsbeispiel kann der Ausführungsblock 2311 ohne Einschränkung eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Bypass-Netzwerken, Adressgenerierungseinheiten und Ausführungseinheiten in beliebiger Kombination enthalten.
In mindestens einem Ausführungsbeispiel können die Registernetzwerke 2308, 2310 zwischen den UOP-Planern 2302, 2304, 2306 und den Ausführungseinheiten 2312, 2314, 2316, 2318, 2320, 2322 und 2324 angeordnet sein. In mindestens einem Ausführungsbeispiel führt das Integer-Register-File/Bypass-Netzwerk 2308 Integer-Operationen durch. In mindestens einem Ausführungsbeispiel führt die Gleitkommaregisterdatei/das Bypass-Netzwerk 2310 Gleitkommaoperationen durch. In mindestens einem Ausführungsbeispiel kann jedes der Registernetzwerke 2308, 2310 ohne Einschränkung ein Bypass-Netzwerk enthalten, das gerade abgeschlossene Ergebnisse, die noch nicht in eine Registerdatei geschrieben wurden, umgehen oder an neue abhängige Uops weiterleiten kann. In mindestens einem Ausführungsbeispiel können die Registernetzwerke 2308, 2310 Daten miteinander austauschen. In mindestens einem Ausführungsbeispiel kann das Ganzzahl-Registerdatei/Bypass-Netzwerk 2308 ohne Einschränkung zwei getrennte Registerdateien umfassen, eine Registerdatei für zweiunddreißig Bits von Daten niedriger Ordnung und eine zweite Registerdatei für zweiunddreißig Bits von Daten hoher Ordnung. In mindestens einem Ausführungsbeispiel kann das Gleitkomma-Registerdatei/Bypass-Netzwerk 2310 ohne Einschränkung 128 Bit breite Einträge enthalten, da Gleitkomma-Befehle typischerweise 64 bis 128 Bit breite Operanden haben.
In mindestens einem Ausführungsbeispiel können die Ausführungseinheiten 2312, 2314, 2316, 2318, 2320, 2322, 2324 Anweisungen ausführen. In mindestens einem Ausführungsbeispiel speichern die Registernetzwerke 2308, 2310 Ganzzahl- und Gleitkommadaten-Operandenwerte, die für die Ausführung von Mikrobefehlen erforderlich sind. In mindestens einem Ausführungsbeispiel kann der Prozessor 2300 ohne Einschränkung eine beliebige Anzahl und Kombination von Ausführungseinheiten 2312, 2314, 2316, 2318, 2320, 2322, 2324 umfassen. In mindestens einem Ausführungsbeispiel können die Fließkomma-ALU 2322 und die Fließkomma-Bewegungseinheit 2324 Fließkomma-, MMX-, SIMD-, AVX- und SSE- oder andere Operationen ausführen, einschließlich spezieller maschineller Lernbefehle. In mindestens einem Ausführungsbeispiel kann die Gleitkomma-ALU 2322 ohne Einschränkung einen 64-Bit-mal-64-Bit-Gleitkomma-Teiler enthalten, um die Mikrooperationen Teilen, Quadratwurzel und Rest auszuführen. In mindestens einem Ausführungsbeispiel können Anweisungen, die einen Gleitkommawert beinhalten, mit Gleitkommahardware verarbeitet werden. In mindestens einem Ausführungsbeispiel können ALU-Operationen an die schnellen ALUs 2316, 2318 weitergeleitet werden. In mindestens einem Ausführungsbeispiel können die schnellen ALUS 2316, 2318 schnelle Operationen mit einer effektiven Latenz von einem halben Taktzyklus ausführen. In mindestens einem Ausführungsbeispiel gehen die meisten komplexen ganzzahligen Operationen an die langsame ALU 2320, da die langsame ALU 2320 ohne Einschränkung ganzzahlige Ausführungshardware für Operationen mit langer Latenzzeit enthalten kann, wie z.B. einen Multiplizierer, Verschiebungen, Flag-Logik und Verzweigungsverarbeitung. In mindestens einem Ausführungsbeispiel können Speicherlade-/Speicheroperationen von den AGUs 2312, 2314 ausgeführt werden. In mindestens einem Ausführungsbeispiel können die schnelle ALU 2316, die schnelle ALU 2318 und die langsame ALU 2320 Ganzzahloperationen mit 64-Bit-Datenoperanden durchführen. In mindestens einem Ausführungsbeispiel können die schnelle ALU 2316, die schnelle ALU 2318 und die langsame ALU 2320 so implementiert werden, dass sie eine Vielzahl von Datenbitgrößen unterstützen, darunter sechzehn, zweiunddreißig, 128, 256, usw. In mindestens einem Ausführungsbeispiel können die Gleitkomma-ALU 2322 und die Gleitkomma-Bewegungseinheit 2324 so implementiert werden, dass sie eine Reihe von Operanden mit Bits unterschiedlicher Breite unterstützen, z.B. 128 Bit breite gepackte Datenoperanden in Verbindung mit SIMD- und Multimedia-Befehlen.
In mindestens einem Ausführungsbeispiel leiten die uop-Planer 2302, 2304, 2306 abhängige Operationen ein, bevor die Ausführung einer übergeordneten Last beendet ist. Da In mindestens einem Ausführungsbeispiel UOPs spekulativ geplant und im Prozessor 2300 ausgeführt werden können, kann der Prozessor 2300 auch Logik zur Behandlung von Speicherfehlem enthalten. In mindestens einem Ausführungsbeispiel kann es, wenn eine Datenlast in einem Daten-Cache fehlschlägt, abhängige Operationen in einer Pipeline geben, die einen Planer mit vorübergehend falschen Daten zurückgelassen haben. In mindestens einem Ausführungsbeispiel verfolgt ein Wiedergabemechanismus Anweisungen, die falsche Daten verwenden, und führt sie erneut aus. In mindestens einem Ausführungsbeispiel müssen abhängige Operationen möglicherweise wiederholt werden, während unabhängige Operationen zu Ende geführt werden können. In mindestens einem Ausführungsbeispiel können Planer und ein Wiedergabemechanismus mindestens einer Ausführungsform eines Prozessors auch so ausgelegt sein, dass sie Befehlssequenzen für Text-String-Vergleichsoperationen abfangen.
In mindestens einem Ausführungsbeispiel kann sich der Begriff „Register“ auf prozessorinterne Speicherplätze beziehen, die als Teil von Anweisungen zur Identifizierung von Operanden verwendet werden können. In mindestens einem Ausführungsbeispiel kann es sich bei den Registern um solche handeln, die von außerhalb eines Prozessors (aus der Sicht eines Programmierers) verwendet werden können. In mindestens einem Ausführungsbeispiel können die Register nicht auf einen bestimmten Schaltungstyp beschränkt sein. Vielmehr kann ein Register In mindestens einem Ausführungsbeispiel Daten speichern, Daten bereitstellen und die hier beschriebenen Funktionen ausführen. In mindestens einem Ausführungsbeispiel können die hierin beschriebenen Register durch Schaltungen innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert werden, wie z.B. dedizierte physische Register, dynamisch zugewiesene physische Register unter Verwendung von Registerumbenennung, Kombinationen aus dedizierten und dynamisch zugewiesenen physischen Registern usw. In mindestens einem Ausführungsbeispiel werden in Ganzzahlregistern 32-Bit-Ganzzahldaten gespeichert. Eine Registerdatei mindestens einer Ausführungsform enthält auch acht Multimedia-SIMD-Register für gepackte Daten.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Ausführungsblock 2311 und andere gezeigte oder nicht gezeigte Speicher oder Register integriert werden. Zum Beispiel können In mindestens einem Ausführungsbeispiel die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der im Ausführungsblock 2311 dargestellten ALUs verwenden. Darüber hinaus können Gewichtsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die die ALUs des Ausführungsblocks 2311 so konfigurieren, dass sie einen oder mehrere der hierin beschriebenen maschinellen Lernalgorithmen, neuronalen Netzarchitekturen, Anwendungsfälle oder Trainingstechniken ausführen.
24 illustriert einen Deep-Learning-Anwendungsprozessor 2400 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel verwendet der Deep-Learning-Anwendungsprozessor 2400 Befehle, die, wenn sie vom Deep-Learning-Anwendungsprozessor 2400 ausgeführt werden, den Deep-Learning-Anwendungsprozessor 2400 veranlassen, einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einem Ausführungsbeispiel ist der Deep-Learning-Anwendungsprozessor 2400 eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einem Ausführungsbeispiel führt der Anwendungsprozessor 2400 Matrixmultiplikationsoperationen entweder „fest verdrahtet“ in der Hardware als Ergebnis der Ausführung einer oder mehrerer Anweisungen oder beides durch. In mindestens einem Ausführungsbeispiel umfasst der Deep-Learning-Anwendungsprozessor 2400, ohne Einschränkung, Verarbeitungscluster 2410(1)-2410(12), Inter-Chip-Links („ICLs“) 2420(1)-2420(12), Inter-Chip-Controller („ICCs“) 2430(1)-2430(2), Hochbreitenspeicher der zweiten Generation („HBM2“) 2440(1)-2440(4), Speicher-Controller („Mem Ctrlrs“) 2442(1)-2442(4), physikalische Schicht für Hochbreitenspeicher („HBM PHY“) 2444(1)-2444(4), eine Management-Controller-Zentraleinheit („Management-Controller-CPU“) 2450, ein Serial Peripheral Interface, Inter-Integrated Circuit und General Purpose Input/Output Block („SPI, I² C, GPIO“) 2460, ein Peripheral Component Interconnect Express Controller und Direct Memory Access Block („PCIe Controller und DMA“) 2470 und ein Peripheral Component Interconnect Express Port mit sechzehn Spuren („PCI Express x 16“) 2480.
In mindestens einem Ausführungsbeispiel können Verarbeitungscluster 2410 Deep-Learning-Operationen durchführen, einschließlich Inferenz- oder Vorhersageoperationen auf der Grundlage von Gewichtsparametern, die mit einem oder mehreren Trainingsverfahren, einschließlich der hier beschriebenen, berechnet wurden. In mindestens einem Ausführungsbeispiel kann jeder Verarbeitungscluster 2410, ohne Einschränkung, eine beliebige Anzahl und Art von Prozessoren umfassen. In mindestens einem Ausführungsbeispiel kann der Deep-Learning-Anwendungsprozessor 2400 eine beliebige Anzahl und Art von Verarbeitungsclustern 2400 umfassen. In mindestens einem Ausführungsbeispiel sind die Inter-Chip-Verbindungen 2420 bidirektional. In mindestens einem Ausführungsbeispiel ermöglichen Inter-Chip-Links 2420 und Inter-Chip-Controller 2430 mehreren Deep-Learning-Anwendungsprozessoren 2400 den Austausch von Informationen, einschließlich Aktivierungsinformationen, die aus der Ausführung eines oder mehrerer maschineller Lernalgorithmen resultieren, die in einem oder mehreren neuronalen Netzwerken verkörpert sind. In mindestens einem Ausführungsbeispiel kann der Deep-Learning-Anwendungsprozessor 2400 eine beliebige Anzahl (einschließlich Null) und einen beliebigen Typ von ICLs 2420 und ICCs 2430 umfassen.
In mindestens einem Ausführungsbeispiel bieten die HBM2 2440 insgesamt 32 Gigabyte (GB) Speicher. In mindestens einem Ausführungsbeispiel ist der HBM2 2440(i) sowohl dem Speicher-Controller 2442(i) als auch dem HBM PHY 2444(i) zugeordnet, wobei „i“ eine beliebige ganze Zahl ist. In mindestens einem Ausführungsbeispiel kann eine beliebige Anzahl von HBM2 2440 einen beliebigen Typ und eine beliebige Gesamtmenge an Speicher mit hoher Bandbreite bereitstellen und mit einer beliebigen Anzahl (einschließlich Null) und einem beliebigen Typ von Speicher-Controllern 2442 und HBM PHYs 2444 verbunden sein. In mindestens einem Ausführungsbeispiel können SPI, I² C, GPIO 2460, PCIe Controller und DMA 2470 und/oder PCIe 2480 durch eine beliebige Anzahl und einen beliebigen Typ von Blöcken ersetzt werden, die eine beliebige Anzahl und einen beliebigen Typ von Kommunikationsstandards in einer technisch machbaren Weise ermöglichen.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel wird der Deep-Learning-Anwendungsprozessor verwendet, um ein maschinelles Lernmodell, wie z.B. ein neuronales Netzwerkwerk, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die dem Deep-Learning-Anwendungsprozessor 2400 bereitgestellt werden. In mindestens einem Ausführungsbeispiel wird der Deep-Learning-Anwendungsprozessor 2400 verwendet, um Informationen auf der Grundlage eines trainierten maschinellen Lernmodells (z.B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder vom Deep-Learning-Anwendungsprozessor 2400 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einem Ausführungsbeispiel kann der Prozessor 2400 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle für neuronale Netzwerke durchzuführen.
25 ist ein Blockdiagramm eines neuromorphen Prozessors 2500 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel kann der neuromorphe Prozessor 2500 eine oder mehrere Eingaben von Quellen außerhalb des neuromorphen Prozessors 2500 empfangen. In mindestens einem Ausführungsbeispiel können diese Eingaben an ein oder mehrere Neuronen 2502 innerhalb des neuromorphen Prozessors 2500 übertragen werden. In mindestens einem Ausführungsbeispiel können die Neuronen 2502 und ihre Komponenten unter Verwendung von Schaltungen oder Logik, einschließlich einer oder mehrerer arithmetischer Logikeinheiten (ALUs), implementiert werden. In mindestens einem Ausführungsbeispiel kann der neuromorphe Prozessor 2500 ohne Einschränkung Tausende oder Millionen von Instanzen von Neuronen 2502 umfassen, aber es kann jede geeignete Anzahl von Neuronen 2502 verwendet werden. In mindestens einem Ausführungsbeispiel kann jede Instanz des Neurons 2502 einen Neuroneneingang 2504 und einen Neuronenausgang 2506 aufweisen. In mindestens einem Ausführungsbeispiel können die Neuronen 2502 Ausgänge erzeugen, die an Eingänge anderer Instanzen von Neuronen 2502 übertragen werden können. Zum Beispiel können In mindestens einem Ausführungsbeispiel die Neuroneneingänge 2504 und die Neuronenausgänge 2506 über Synapsen 2508 miteinander verbunden sein.
In mindestens einem Ausführungsbeispiel können Neuronen 2502 und Synapsen 2508 so miteinander verbunden sein, dass der neuromorphe Prozessor 2500 arbeitet, um die vom neuromorphen Prozessor 2500 empfangenen Informationen zu verarbeiten oder zu analysieren. In mindestens einem Ausführungsbeispiel können die Neuronen 2502 einen Ausgangsimpuls (oder „Feuer“ oder „Spike“) senden, wenn die über den Neuroneneingang 2504 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einem Ausführungsbeispiel können die Neuronen 2502 die an den Neuroneneingängen 2504 empfangenen Signale summieren oder integrieren. In mindestens einem Ausführungsbeispiel können die Neuronen 2502 beispielsweise als undichte Integrations- und Feuerneuronen implementiert werden, wobei das Neuron 2502 eine Ausgabe (oder ein „Feuer“) unter Verwendung einer Übertragungsfunktion wie einer Sigmoid- oder Schwellenwertfunktion erzeugen kann, wenn eine Summe (als „Membranpotenzial“ bezeichnet) einen Schwellenwert überschreitet. In mindestens einem Ausführungsbeispiel kann ein undichtes Integrations- und Feuerneuron die an den Neuroneneingängen 2504 empfangenen Signale zu einem Membranpotenzial summieren und auch einen Abklingfaktor (oder ein Leck) anwenden, um ein Membranpotenzial zu reduzieren. In mindestens einem Ausführungsbeispiel kann ein leaky integrate-and-fire Neuron feuern, wenn mehrere Eingangssignale an den Neuroneneingängen 2504 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (d.h. bevor ein Membranpotential zu niedrig abfällt, um zu feuern). In mindestens einem Ausführungsbeispiel können Neuronen 2502 mit Hilfe von Schaltkreisen oder Logik implementiert werden, die Eingaben empfangen, Eingaben in ein Membranpotenzial integrieren und ein Membranpotenzial abbauen. In mindestens einem Ausführungsbeispiel können die Eingänge gemittelt werden, oder es kann jede andere geeignete Übertragungsfunktion verwendet werden. Darüber hinaus können die Neuronen 2502 In mindestens einem Ausführungsbeispiel ohne Einschränkung Komparatorschaltungen oder -logik enthalten, die eine Ausgangsspitze am Neuronenausgang 2506 erzeugen, wenn das Ergebnis der Anwendung einer Übertragungsfunktion auf den Neuroneneingang 2504 einen Schwellenwert überschreitet. In mindestens einem Ausführungsbeispiel kann das Neuron 2502, sobald es feuert, zuvor empfangene Eingangsinformationen ignorieren, indem es beispielsweise ein Membranpotenzial auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einem Ausführungsbeispiel kann das Neuron 2502 nach dem Zurücksetzen des Membranpotenzials auf 0 nach einer geeigneten Zeitspanne (oder Refraktärzeit) den normalen Betrieb wieder aufnehmen.
In mindestens einem Ausführungsbeispiel können die Neuronen 2502 durch Synapsen 2508 miteinander verbunden sein. In mindestens einem Ausführungsbeispiel können Synapsen 2508 arbeiten, um Signale von einem Ausgang eines ersten Neurons 2502 zu einem Eingang eines zweiten Neurons 2502 zu übertragen. In mindestens einem Ausführungsbeispiel können Neuronen 2502 Informationen über mehr als eine Instanz der Synapse 2508 übertragen. In mindestens einem Ausführungsbeispiel können eine oder mehrere Instanzen des Neuronenausgangs 2506 über eine Instanz der Synapse 2508 mit einer Instanz des Neuroneneingangs 2504 im selben Neuron 2502 verbunden sein. In mindestens einem Ausführungsbeispiel kann eine Instanz des Neurons 2502, die eine über eine Instanz der Synapse 2508 zu übertragende Ausgabe erzeugt, als „präsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 2508 bezeichnet werden. In mindestens einem Ausführungsbeispiel kann eine Instanz des Neurons 2502, die eine über eine Instanz der Synapse 2508 übertragene Eingabe empfängt, als „postsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 2508 bezeichnet werden. Da eine Instanz des Neurons 2502 Eingaben von einer oder mehreren Instanzen der Synapse 2508 empfangen und auch Ausgaben über eine oder mehrere Instanzen der Synapse 2508 übertragen kann, kann eine einzelne Instanz des Neurons 2502 daher sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Instanzen von Synapsen 2508 sein, In mindestens einem Ausführungsbeispiel.
In mindestens einem Ausführungsbeispiel können die Neuronen 2502 in einer oder mehreren Schichten organisiert sein. In mindestens einem Ausführungsbeispiel kann jede Instanz des Neurons 2502 einen Neuronenausgang 2506 haben, der sich über eine oder mehrere Synapsen 2508 zu einem oder mehreren Neuroneneingängen 2504 auffächern kann. In mindestens einem Ausführungsbeispiel können die Neuronenausgänge 2506 der Neuronen 2502 in einer ersten Schicht 2510 mit den Neuroneneingängen 2504 der Neuronen 2502 in einer zweiten Schicht 2512 verbunden sein. In mindestens einem Ausführungsbeispiel kann die Schicht 2510 als „Feed-Forward-Schicht“ bezeichnet werden. "In mindestens einem Ausführungsbeispiel kann sich jede Instanz eines Neurons 2502 in einer Instanz der ersten Schicht 2510 zu jeder Instanz eines Neurons 2502 in der zweiten Schicht 2512 auffächern. In mindestens einem Ausführungsbeispiel kann die erste Schicht 2510 als eine „vollständig verbundene Vorwärtsschicht“ bezeichnet werden. "In mindestens einem Ausführungsbeispiel kann jede Instanz des Neurons 2502 in einer Instanz der zweiten Schicht 2512 auf weniger als alle Instanzen des Neurons 2502 in einer dritten Schicht 2514 ausfächern. In mindestens einem Ausführungsbeispiel kann die zweite Schicht 2512 als eine „spärlich verbundene Vorwärtsschicht“ bezeichnet werden. In mindestens einem Ausführungsbeispiel können sich Neuronen 2502 in der zweiten Schicht 2512 zu Neuronen 2502 in mehreren anderen Schichten auffächern, einschließlich zu Neuronen 2502 auch in der zweiten Schicht 2512. In mindestens einem Ausführungsbeispiel kann die zweite Schicht 2512 als eine „rekurrente Schicht“ bezeichnet werden. "In mindestens einem Ausführungsbeispiel kann der neuromorphe Prozessor 2500 ohne Einschränkung jede geeignete Kombination von rekurrenten Schichten und Vorwärtsschichten umfassen, einschließlich, ohne Einschränkung, sowohl spärlich verbundene Vorwärtsschichten als auch vollständig verbundene Vorwärtsschichten.
In mindestens einem Ausführungsbeispiel kann der neuromorphe Prozessor 2500 ohne Einschränkung eine rekonfigurierbare Verbindungsarchitektur oder dedizierte festverdrahtete Verbindungen enthalten, um die Synapsen 2508 mit den Neuronen 2502 zu verbinden. In mindestens einem Ausführungsbeispiel kann der neuromorphe Prozessor 2500 ohne Einschränkung eine Schaltung oder Logik enthalten, die es ermöglicht, dass Synapsen je nach Bedarf auf der Grundlage der Topologie des neuronalen Netzwerks und des Neuronen-Fan-In/Out verschiedenen Neuronen 2502 zugewiesen werden. Zum Beispiel können In mindestens einem Ausführungsbeispiel Synapsen 2508 mit Neuronen 2502 über eine Verbindungsstruktur, wie z.B. ein Network-on-Chip, oder über dedizierte Verbindungen verbunden werden. In mindestens einem Ausführungsbeispiel können die Synapsenverbindungen und ihre Komponenten mit Hilfe von Schaltkreisen oder Logik implementiert werden.
26 ist ein Blockdiagramm eines Verarbeitungssystems gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel umfasst das System 2600 einen oder mehrere Prozessoren 2602 und einen oder mehrere Grafikprozessoren 2608 und kann ein Einzelprozessor-Desktop-System, ein Multiprozessor-Workstation-System oder ein Server-System mit einer großen Anzahl von Prozessoren 2602 oder Prozessorkernen 2607 sein. In mindestens einem Ausführungsbeispiel ist das System 2600 eine Verarbeitungsplattform, die in einen integrierten System-on-a-Chip (SoC)-Schaltkreis zur Verwendung in mobilen, tragbaren oder eingebetteten Geräten integriert ist.
In mindestens einem Ausführungsbeispiel kann das System 2600 eine serverbasierte Spielplattform, eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine Handheld-Spielkonsole oder eine Online-Spielkonsole umfassen oder in diese integriert sein. In mindestens einem Ausführungsbeispiel ist das System 2600 ein Mobiltelefon, ein Smartphone, ein Tablet-Computergerät oder ein mobiles Internetgerät. In mindestens einem Ausführungsbeispiel kann das Verarbeitungssystem 2600 auch ein tragbares Gerät umfassen, mit diesem gekoppelt oder in dieses integriert sein, wie z.B. ein tragbares Gerät für eine intelligente Uhr, eine intelligente Brille, ein Gerät für erweiterte Realität oder ein Gerät für virtuelle Realität. In mindestens einem Ausführungsbeispiel ist das Verarbeitungssystem 2600 ein Fernsehgerät oder ein Set-Top-Box-Gerät mit einem oder mehreren Prozessoren 2602 und einer grafischen Schnittstelle, die von einem oder mehreren Grafikprozessoren 2608 erzeugt wird.
In mindestens einem Ausführungsbeispiel umfassen ein oder mehrere Prozessoren 2602 jeweils einen oder mehrere Prozessorkerne 2607 zur Verarbeitung von Befehlen, die bei ihrer Ausführung Operationen für System- und Anwendersoftware durchführen. In mindestens einem Ausführungsbeispiel ist jeder von einem oder mehreren Prozessorkemen 2607 so konfiguriert, dass er eine bestimmte Befehlssequenz 2609 verarbeitet. In mindestens einem Ausführungsbeispiel kann die Befehlssequenz 2609 das Complex Instruction Set Computing (CISC), das Reduced Instruction Set Computing (RISC) oder das Rechnen über ein Very Long Instruction Word (VLIW) erleichtern. In mindestens einem Ausführungsbeispiel können die Prozessorkerne 2607 jeweils eine andere Befehlsfolge 2609 verarbeiten, die Befehle zur Erleichterung der Emulation anderer Befehlsfolgen enthalten kann. In mindestens einem Ausführungsbeispiel kann der Prozessorkern 2607 auch andere Verarbeitungsgeräte, wie einen digitalen Signalprozessor (DSP), enthalten.
In mindestens einem Ausführungsbeispiel umfasst der Prozessor 2602 einen Cache-Speicher 2604. In mindestens einem Ausführungsbeispiel kann der Prozessor 2602 einen einzigen internen Cache oder mehrere Ebenen eines internen Cache haben. In mindestens einem Ausführungsbeispiel wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 2602 gemeinsam genutzt. In mindestens einem Ausführungsbeispiel verwendet der Prozessor 2602 auch einen externen Cache (z.B. einen Level-3 (L3) Cache oder Last Level Cache (LLC)) (nicht gezeigt), der unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkemen 2607 gemeinsam genutzt werden kann. In mindestens einem Ausführungsbeispiel ist zusätzlich eine Registerdatei 2606 im Prozessor 2602 enthalten, die verschiedene Arten von Registern zur Speicherung unterschiedlicher Datentypen (z.B. Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister) enthalten kann. In mindestens einem Ausführungsbeispiel kann die Registerdatei 2606 Allzweckregister oder andere Register enthalten.
In mindestens einem Ausführungsbeispiel ist/sind ein oder mehrere Prozessor(en) 2602 mit einem oder mehreren Schnittstellenbus(en) 2610 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen dem Prozessor 2602 und anderen Komponenten im System 2600 zu übertragen. In mindestens einem Ausführungsbeispiel kann der Schnittstellenbus 2610 ein Prozessorbus sein, beispielsweise eine Version eines Direct Media Interface (DMI)-Busses. In mindestens einem Ausführungsbeispiel ist der Schnittstellenbus 2610 nicht auf einen DMI-Bus beschränkt, sondern kann einen oder mehrere Peripheral Component Interconnect-Busse (z.B. PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen umfassen. In mindestens einem Ausführungsbeispiel umfassen Prozessor(en) 2602 einen integrierten Speicher-Controller 2616 und einen Plattform-Controller-Hub 2630. In mindestens einem Ausführungsbeispiel erleichtert der Speicher-Controller 2616 die Kommunikation zwischen einem Speichergerät und anderen Komponenten des Systems 2600, während der Plattform-Controller-Hub (PCH) 2630 Verbindungen zu E/A-Geräten über einen lokalen E/A-Bus bereitstellt.
In mindestens einem Ausführungsbeispiel kann eine Speichervorrichtung 2620 ein dynamischer Direktzugriffsspeicher (DRAM), ein statischer Direktzugriffsspeicher (SRAM), ein Flash-Speicher, ein Phasenwechsel-Speicher oder eine andere Speichervorrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. In mindestens einem Ausführungsbeispiel kann die Speichervorrichtung 2620 als Systemspeicher für das System 2600 arbeiten, um Daten 2622 und Befehle 2621 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 2602 eine Anwendung oder einen Prozess ausführen. In mindestens einem Ausführungsbeispiel ist der Speichercontroller 2616 auch mit einem optionalen externen Grafikprozessor 2612 verbunden, der mit einem oder mehreren Grafikprozessoren 2608 in den Prozessoren 2602 kommunizieren kann, um Grafik- und Medienoperationen durchzuführen. In mindestens einem Ausführungsbeispiel kann eine Anzeigevorrichtung 2611 an den/die Prozessor(en) 2602 angeschlossen werden. In mindestens einem Ausführungsbeispiel kann die Anzeigevorrichtung 2611 eine oder mehrere interne Anzeigevorrichtungen, wie in einem mobilen elektronischen Gerät oder einem Laptop, oder eine externe Anzeigevorrichtung umfassen, die über eine Anzeigeschnittstelle (z.B. DisplayPort usw.) angeschlossen ist. In mindestens einem Ausführungsbeispiel kann das Anzeigegerät 2611 ein kopfmontiertes Display (HMD) wie ein stereoskopisches Anzeigegerät zur Verwendung in Anwendungen der virtuellen Realität (VR) oder der erweiterten Realität (AR) umfassen.
In mindestens einem Ausführungsbeispiel ermöglicht der Plattform-Controller-Hub 2630 die Verbindung von Peripheriegeräten mit dem Speichergerät 2620 und dem Prozessor 2602 über einen Hochgeschwindigkeits-E/A-Bus. In mindestens einem Ausführungsbeispiel umfassen die E/A-Peripheriegeräte unter anderem einen Audiocontroller 2646, einen Netzwerkcontroller 2634, eine Firmware-Schnittstelle 2628, einen drahtlosen Transceiver 2626, Berührungssensoren 2625 und ein Datenspeichergerät 2624 (z.B. Festplattenlaufwerk, Flash-Speicher usw.). In mindestens einem Ausführungsbeispiel kann das Datenspeichergerät 2624 über eine Speicherschnittstelle (z.B. SATA) oder über einen Peripheriebus, wie einen Peripheral Component Interconnect Bus (z.B. PCI, PCI Express), angeschlossen werden. In mindestens einem Ausführungsbeispiel können die Berührungssensoren 2625 Touchscreen-Sensoren, Drucksensoren oder Fingerabdrucksensoren umfassen. In mindestens einem Ausführungsbeispiel kann der drahtlose Transceiver 2626 ein Wi-Fi-Transceiver, ein Bluetooth-Transceiver oder ein Mobilfunk-Transceiver wie ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver sein. In mindestens einem Ausführungsbeispiel ermöglicht die Firmware-Schnittstelle 2628 die Kommunikation mit der System-Firmware und kann z.B. eine einheitliche erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einem Ausführungsbeispiel kann der Netzwerk-Controller 2634 eine Netzwerkverbindung mit einem kabelgebundenen Netzwerk ermöglichen. In mindestens einem Ausführungsbeispiel ist ein Hochleistungsnetzwerk-Controller (nicht dargestellt) mit dem Schnittstellenbus 2610 gekoppelt. In mindestens einem Ausführungsbeispiel ist der Audiocontroller 2646 ein Multikanal-High-Definition-Audiocontroller. In mindestens einem Ausführungsbeispiel enthält das System 2600 einen optionalen Legacy-I/O-Controller 2640 zur Kopplung von Legacy-Geräten (z.B. Personal System 2 (PS/2)) mit dem System 2600. In mindestens einem Ausführungsbeispiel kann der Plattform-Controller-Hub 2630 auch mit einem oder mehreren Universal Serial Bus (USB)-Controllern 2642 verbunden werden, die Eingabegeräte wie Tastatur- und Mauskombinationen 2643, eine Kamera 2644 oder andere USB-Eingabegeräte anschließen.
In mindestens einem Ausführungsbeispiel kann eine Instanz des Speicher-Controllers 2616 und des Plattform-Controller-Hubs 2630 in einen diskreten externen Grafikprozessor, wie den externen Grafikprozessor 2612, integriert sein. In mindestens einem Ausführungsbeispiel können Plattform-Controller-Hub 2630 und/oder Speicher-Controller 2616 extern zu einem oder mehreren Prozessor(en) 2602 sein. Zum Beispiel kann das System 2600 In mindestens einem Ausführungsbeispiel einen externen Speicher-Controller 2616 und einen Plattform-Controller-Hub 2630 enthalten, der als Speicher-Controller-Hub und Peripherie-Controller-Hub innerhalb eines System-Chipsatzes konfiguriert sein kann, der mit dem/den Prozessor(en) 2602 kommuniziert.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 2600 integriert sein. Zum Beispiel können In mindestens einem Ausführungsbeispiel die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die in einer 3D-Pipeline enthalten sind. Darüber hinaus können In mindestens einem Ausführungsbeispiel die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einem Ausführungsbeispiel können Gewichtsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 2600 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
27 ist ein Blockdiagramm eines Prozessors 2700 mit einem oder mehreren Prozessorkemen 2702A-2702N, einem integrierten Speichercontroller 2714 und einem integrierten Grafikprozessor 2708, gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel kann der Prozessor 2700 zusätzliche Kerne bis zu und einschließlich des zusätzlichen Kerns 2702N umfassen, der durch gestrichelte Kästchen dargestellt ist. In mindestens einem Ausführungsbeispiel enthält jeder der Prozessorkerne 2702A-2702N eine oder mehrere interne Cache-Einheiten 2704A-2704N. In mindestens einem Ausführungsbeispiel hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 2706.
In mindestens einem Ausführungsbeispiel stellen die internen Cache-Einheiten 2704A-2704N und die gemeinsam genutzten Cache-Einheiten 2706 eine Cache-Speicherhierarchie innerhalb des Prozessors 2700 dar. In mindestens einem Ausführungsbeispiel können die Cache-Speichereinheiten 2704A-2704N mindestens eine Ebene von Befehls- und Datencache innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen von gemeinsam genutztem Mid-Level-Cache, wie z.B. eine Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, umfassen, wobei eine höchste Cache-Ebene vor dem externen Speicher als LLC klassifiziert wird. In mindestens einem Ausführungsbeispiel hält die Cache-Kohärenzlogik die Kohärenz zwischen verschiedenen Cache-Einheiten 2706 und 2704A-2704N aufrecht.
In mindestens einem Ausführungsbeispiel kann der Prozessor 2700 auch einen Satz von einer oder mehreren Bussteuerungseinheiten 2716 und einen Systemagenten-Kern 2710 enthalten. In mindestens einem Ausführungsbeispiel verwalten die Bus-Controller-Einheiten 2716 einen Satz von Peripherie-Bussen, wie einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einem Ausführungsbeispiel bietet der Systemagentenkern 2710 Verwaltungsfunktionen für verschiedene Prozessorkomponenten. In mindestens einem Ausführungsbeispiel umfasst der Systemagenten-Kern 2710 einen oder mehrere integrierte Speicher-Controller 2714 zur Verwaltung des Zugriffs auf verschiedene externe Speichergeräte (nicht dargestellt).
In mindestens einem Ausführungsbeispiel umfassen einer oder mehrere der Prozessorkerne 2702A-2702N Unterstützung für gleichzeitiges Multithreading. In mindestens einem Ausführungsbeispiel umfasst der Systemagentenkern 2710 Komponenten zur Koordinierung und zum Betrieb der Kerne 2702A-2702N während der Multithreading-Verarbeitung. In mindestens einem Ausführungsbeispiel kann der Systemagenten-Kern 2710 zusätzlich eine Energiesteuerungseinheit (PCU) enthalten, die Logik und Komponenten zur Regelung eines oder mehrerer Energiezustände der Prozessorkerne 2702A-2702N und des Grafikprozessors 2708 umfasst.
In mindestens einem Ausführungsbeispiel enthält der Prozessor 2700 zusätzlich einen Grafikprozessor 2708 zur Ausführung von Grafikverarbeitungsoperationen. In mindestens einem Ausführungsbeispiel ist der Grafikprozessor 2708 mit gemeinsam genutzten Cache-Einheiten 2706 und dem Systemagenten-Kern 2710 gekoppelt, einschließlich eines oder mehrerer integrierter Speicher-Controller 2714. In mindestens einem Ausführungsbeispiel umfasst der Systemagenten-Kern 2710 auch einen Display-Controller 2711 zur Ansteuerung der Grafikprozessor-Ausgabe an ein oder mehrere gekoppelte Displays. In mindestens einem Ausführungsbeispiel kann der Display-Controller 2711 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Grafikprozessor 2708 verbunden ist, oder er kann in den Grafikprozessor 2708 integriert sein.
In mindestens einem Ausführungsbeispiel wird eine ringbasierte Verbindungseinheit 2712 verwendet, um interne Komponenten des Prozessors 2700 zu verbinden. In mindestens einem Ausführungsbeispiel kann eine alternative Verbindungseinheit verwendet werden, wie z.B. eine Punkt-zu-Punkt-Verbindung, eine geschaltete Verbindung oder andere Techniken. In mindestens einem Ausführungsbeispiel ist der Grafikprozessor 2708 über eine E/A-Verbindung 2713 mit der Ringverbindungseinheit 2712 verbunden.
In mindestens einem Ausführungsbeispiel stellt die E/A-Verbindung 2713 mindestens eine von mehreren Arten von E/A-Verbindungen dar, einschließlich einer E/A-Verbindung auf dem Gehäuse, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 2718, wie einem eDRAM-Modul, erleichtert. In mindestens einem Ausführungsbeispiel verwenden jeder der Prozessorkerne 2702A-2702N und der Grafikprozessor 2708 das eingebettete Speichermodul 2718 als gemeinsamen Last Level Cache.
In mindestens einem Ausführungsbeispiel sind die Prozessorkerne 2702A-2702N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. In mindestens einem Ausführungsbeispiel sind die Prozessorkerne 2702A-2702N in Bezug auf die Befehlssatzarchitektur (ISA) heterogen, wobei ein oder mehrere Prozessorkerne 2702A-2702N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 2702A-2702N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen anderen Befehlssatz ausführen. In mindestens einem Ausführungsbeispiel sind die Prozessorkerne 2702A-2702N in Bezug auf die Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einem relativ höheren Energieverbrauch mit einem oder mehreren Leistungskernen mit einem niedrigeren Energieverbrauch gekoppelt sind. In mindestens einem Ausführungsbeispiel kann der Prozessor 2700 auf einem oder mehreren Chips oder als integrierte SoC-Schaltung implementiert werden.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 2710 integriert sein. Zum Beispiel können In mindestens einem Ausführungsbeispiel die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs in einer 3D-Pipeline, Grafikkern(e) 2702, gemeinsam genutzte Funktionslogik oder andere Logik in 27 verwenden. Darüber hinaus können In mindestens einem Ausführungsbeispiel die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einem Ausführungsbeispiel können Gewichtsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Prozessors 2700 konfigurieren, um einen oder mehrere hier beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
28 ist ein Blockdiagramm eines Grafikprozessors 2800, bei dem es sich um eine diskrete Grafikverarbeitungseinheit oder um einen Grafikprozessor handeln kann, der in eine Vielzahl von Rechenkernen integriert ist. In mindestens einem Ausführungsbeispiel kommuniziert der Grafikprozessor 2800 über eine speicherabgebildete E/A-Schnittstelle mit Registern auf dem Grafikprozessor 2800 und mit Befehlen, die im Speicher abgelegt sind. In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2800 eine Speicherschnittstelle 2814 für den Zugriff auf den Speicher. In mindestens einem Ausführungsbeispiel ist die Speicherschnittstelle 2814 eine Schnittstelle zum lokalen Speicher, einem oder mehreren internen Caches, einem oder mehreren gemeinsam genutzten externen Caches und/oder zum Systemspeicher.
In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2800 auch einen Display-Controller 2802 zur Ansteuerung von Display-Ausgabedaten an eine Anzeigevorrichtung 2820. In mindestens einem Ausführungsbeispiel umfasst die Anzeigesteuerung 2802 Hardware für eine oder mehrere Überlagerungsebenen für das Anzeigegerät 2820 und die Zusammensetzung mehrerer Schichten von Video- oder Benutzerschnittstellenelementen. In mindestens einem Ausführungsbeispiel kann die Anzeigevorrichtung 2820 eine interne oder externe Anzeigevorrichtung sein. In mindestens einem Ausführungsbeispiel handelt es sich bei der Anzeigevorrichtung 2820 um eine kopfgetragene Anzeigevorrichtung, beispielsweise eine Anzeigevorrichtung für virtuelle Realität (VR) oder eine Anzeigevorrichtung für erweiterte Realität (AR). In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2800 eine Videocodec-Engine 2806 zum Kodieren, Dekodieren oder Transkodieren von Medien in, aus oder zwischen einem oder mehreren Medienkodierformaten, einschließlich, aber nicht beschränkt auf MPEG-Formate (Moving Picture Experts Group) wie MPEG-2, AVC-Formate (Advanced Video Coding) wie H.264/MPEG-4 AVC, sowie Society of Motion Picture & Television Engineers (SMPTE) 421M/VC-1 und Joint Photographic Experts Group (JPEG) Formate wie JPEG und Motion JPEG (MJPEG) Formate.
In mindestens einem Ausführungsbeispiel umfasst der Grafikprozessor 2800 eine BLIT-Engine 2804 (Block Image Transfer), um zweidimensionale (2D-)Rasterisierungsoperationen, wie z.B. Bit-Boundary Block Transfers, durchzuführen. In mindestens einem Ausführungsbeispiel werden 2D-Grafikoperationen jedoch mit einer oder mehreren Komponenten einer Grafikverarbeitungsmaschine (GPE) 2810 durchgeführt. In mindestens einem Ausführungsbeispiel ist die GPE 2810 eine Rechenmaschine zur Durchführung von Grafikoperationen, einschließlich dreidimensionaler (3D) Grafikoperationen und Medienoperationen.
In mindestens einem Ausführungsbeispiel umfasst die GPE 2810 eine 3D-Pipeline 2812 zur Durchführung von 3D-Operationen, wie z.B. das Rendern dreidimensionaler Bilder und Szenen unter Verwendung von Verarbeitungsfunktionen, die auf 3D-Primitivformen (z.B. Rechteck, Dreieck usw.) wirken. In mindestens einem Ausführungsbeispiel umfasst die 3D-Pipeline 2812 programmierbare und feste Funktionselemente, die verschiedene Aufgaben ausführen und/oder Ausführungs-Threads an ein 3D/Media-Subsystem 2815 übergeben. Während die 3D-Pipeline 2812 zur Durchführung von Medienoperationen verwendet werden kann, umfasst die GPE 2810 In mindestens einem Ausführungsbeispiel auch eine Medien-Pipeline 2816, die zur Durchführung von Medienoperationen, wie z.B. Videonachbearbeitung und Bildverbesserung, verwendet wird.
In mindestens einem Ausführungsbeispiel umfasst die Medien-Pipeline 2816 feste Funktions- oder programmierbare Logikeinheiten, um eine oder mehrere spezialisierte Medienoperationen wie Videodekodierungsbeschleunigung, Videoentflechtung und Videokodierungsbeschleunigung anstelle oder im Auftrag der Videocodec-Engine 2806 durchzuführen. In mindestens einem Ausführungsbeispiel umfasst die Medien-Pipeline 2816 zusätzlich eine Thread-Spawning-Einheit, um Threads zur Ausführung auf dem 3D/Media-Subsystem 2815 zu erzeugen. In mindestens einem Ausführungsbeispiel führen die erzeugten Threads Berechnungen für Medienoperationen auf einer oder mehreren Grafikausführungseinheiten durch, die im 3D/Medien-Teilsystem 2815 enthalten sind.
In mindestens einem Ausführungsbeispiel enthält das 3D/Media-Subsystem 2815 eine Logik zum Ausführen von Threads, die von der 3D-Pipeline 2812 und der Media-Pipeline 2816 erzeugt werden. In mindestens einem Ausführungsbeispiel senden die 3D-Pipeline 2812 und die Medien-Pipeline 2816 Thread-Ausführungsanforderungen an das 3D/Media-Subsystem 2815, das eine Thread-Verteilungslogik zum Verteilen und Verteilen verschiedener Anforderungen an verfügbare Thread-Ausführungsressourcen enthält. In mindestens einem Ausführungsbeispiel umfassen die Ausführungsressourcen ein Array von Grafikausführungseinheiten zur Verarbeitung von 3D- und Medienthreads. In mindestens einem Ausführungsbeispiel umfasst das 3D/Media-Subsystem 2815 einen oder mehrere interne Caches für Thread-Anweisungen und -Daten. In mindestens einem Ausführungsbeispiel umfasst das Subsystem 2815 auch einen gemeinsamen Speicher, einschließlich Registern und adressierbarem Speicher, um Daten zwischen Threads gemeinsam zu nutzen und Ausgabedaten zu speichern.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 2800 integriert sein. Zum Beispiel können In mindestens einem Ausführungsbeispiel die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die in der 3D-Pipeline 2812 enthalten sind. Darüber hinaus können In mindestens einem Ausführungsbeispiel die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einem Ausführungsbeispiel können Gewichtsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 2800 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
29 ist ein Blockdiagramm einer Grafikverarbeitungsmaschine 2910 eines Grafikprozessors gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel ist die Grafikverarbeitungsmaschine (GPE) 2910 eine Version der in 28 gezeigten GPE 2810. In mindestens einem Ausführungsbeispiel ist eine Medienpipeline 2916 optional und kann nicht explizit in GPE 2910 enthalten sein. In mindestens einem Ausführungsbeispiel ist ein separater Medien- und/oder Bildprozessor mit der GPE 2910 verbunden.
In mindestens einem Ausführungsbeispiel ist GPE 2910 mit einem Befehlsstreamer 2903 gekoppelt oder enthält einen solchen, der einen Befehlsstrom an eine 3D-Pipeline 2912 und/oder Medien-Pipeline 2916 liefert. In mindestens einem Ausführungsbeispiel ist der Befehlsstreamer 2903 mit einem Speicher gekoppelt, bei dem es sich um einen Systemspeicher oder um einen oder mehrere interne Cache-Speicher und gemeinsam genutzte Cache-Speicher handeln kann. In mindestens einem Ausführungsbeispiel empfängt der Befehlsstreamer 2903 Befehle vom Speicher und sendet Befehle an die 3D-Pipeline 2912 und/oder die Medien-Pipeline 2916. In mindestens einem Ausführungsbeispiel handelt es sich bei den Befehlen um Anweisungen, Primitive oder Mikrooperationen, die aus einem Ringpuffer abgerufen werden, der Befehle für die 3D-Pipeline 2912 und die Media-Pipeline 2916 speichert. In mindestens einem Ausführungsbeispiel kann ein Ringpuffer zusätzlich Batch-Befehlspuffer enthalten, die Stapel von mehreren Befehlen speichern. In mindestens einem Ausführungsbeispiel können die Befehle für die 3D-Pipeline 2912 auch Verweise auf Daten enthalten, die im Speicher gespeichert sind, wie z.B. Scheitelpunkt- und Geometriedaten für die 3D-Pipeline 2912 und/oder Bilddaten und Speicherobjekte für die Medien-Pipeline 2916, ohne darauf beschränkt zu sein. In mindestens einem Ausführungsbeispiel verarbeiten die 3D-Pipeline 2912 und die Medien-Pipeline 2916 Befehle und Daten, indem sie Operationen durchführen oder einen oder mehrere Ausführungs-Threads an ein Grafikkern-Array 2914 weiterleiten. In mindestens einem Ausführungsbeispiel umfasst das Grafikkern-Array 2914 einen oder mehrere Blöcke von Grafikkernen (z.B. Grafikkern(e) 2915A, Grafikkern(e) 2915B), wobei jeder Block einen oder mehrere Grafikkerne umfasst. In mindestens einem Ausführungsbeispiel umfasst jeder Grafikkern einen Satz von Grafikausführungsressourcen, der eine allgemeine und eine grafikspezifische Ausführungslogik zur Durchführung von Grafik- und Rechenoperationen sowie eine Texturverarbeitungslogik mit fester Funktion und/oder eine Logik zur Beschleunigung des maschinellen Lernens und der künstlichen Intelligenz umfasst, einschließlich der Inferenz- und/oder Trainingslogik 715 in 7A und 7B.
In mindestens einem Ausführungsbeispiel umfasst die 3D-Pipeline 2912 eine feste Funktion und eine programmierbare Logik zur Verarbeitung eines oder mehrerer Shader-Programme, wie z.B. Vertex-Shader, Geometrie-Shader, Pixel-Shader, Fragment-Shader, Compute-Shader oder andere Shader-Programme, durch Verarbeitung von Anweisungen und Weiterleitung von Ausführungsthreads an das Grafikkern-Array 2914. In mindestens einem Ausführungsbeispiel bietet das Grafikkern-Array 2914 einen einheitlichen Block von Ausführungsressourcen für die Verarbeitung von Shader-Programmen. In mindestens einem Ausführungsbeispiel umfasst eine Mehrzweck-Ausführungslogik (z.B. Ausführungseinheiten) in den Grafikkernen 2915A-2915B des Grafikkern-Arrays 2914 Unterstützung für verschiedene 3D-API-Shader-Sprachen und kann mehrere gleichzeitige Ausführungs-Threads ausführen, die mit mehreren Shadern verbunden sind.
In mindestens einem Ausführungsbeispiel umfasst das Grafikkern-Array 2914 auch Ausführungslogik zur Durchführung von Medienfunktionen, wie Video- und/oder Bildverarbeitung. In mindestens einem Ausführungsbeispiel umfassen die Ausführungseinheiten zusätzlich eine Allzwecklogik, die so programmiert werden kann, dass sie zusätzlich zu den Grafikverarbeitungsoperationen parallele Allzweck-Rechenoperationen durchführt.
In mindestens einem Ausführungsbeispiel können Ausgabedaten, die von Threads erzeugt werden, die auf dem Grafikkern-Array 2914 ausgeführt werden, in einem Unified Return Buffer (URB) 2918 an den Speicher ausgegeben werden. In mindestens einem Ausführungsbeispiel kann der URB 2918 Daten für mehrere Threads speichern. In mindestens einem Ausführungsbeispiel kann der URB 2918 verwendet werden, um Daten zwischen verschiedenen Threads zu senden, die auf dem Grafikkern-Array 2914 ausgeführt werden. In mindestens einem Ausführungsbeispiel kann URB 2918 zusätzlich für die Synchronisierung zwischen Threads auf dem Grafikkern-Array 2914 und fester Funktionslogik innerhalb der gemeinsamen Funktionslogik 2920 verwendet werden.
In mindestens einem Ausführungsbeispiel ist das Grafikkern-Array 2914 skalierbar, so dass das Grafikkern-Array 2914 eine variable Anzahl von Grafikkernen umfasst, von denen jeder eine variable Anzahl von Ausführungseinheiten hat, die auf einem angestrebten Energie- und Leistungsniveau des GPE 2910 basieren. In mindestens einem Ausführungsbeispiel sind die Ausführungsressourcen dynamisch skalierbar, so dass die Ausführungsressourcen je nach Bedarf aktiviert oder deaktiviert werden können.
In mindestens einem Ausführungsbeispiel ist das Grafikkern-Array 2914 mit der gemeinsamen Funktionslogik 2920 gekoppelt, die mehrere Ressourcen enthält, die von den Grafikkernen im Grafikkern-Array 2914 gemeinsam genutzt werden. In mindestens einem Ausführungsbeispiel sind die gemeinsam genutzten Funktionen, die von der gemeinsam genutzten Funktionslogik 2920 ausgeführt werden, in Hardware-Logikeinheiten verkörpert, die dem Grafikkern-Array 2914 eine spezielle zusätzliche Funktionalität bieten. In mindestens einem Ausführungsbeispiel umfasst die gemeinsam genutzte Funktionslogik 2920 unter anderem eine Sampler-Einheit 2921, eine Recheneinheit 2922 und eine Inter-Thread-Kommunikationslogik (ITC) 2923. In mindestens einem Ausführungsbeispiel sind ein oder mehrere Cache(s) 2925 in der gemeinsamen Funktionslogik 2920 enthalten oder mit ihr verbunden.
In mindestens einem Ausführungsbeispiel wird eine gemeinsam genutzte Funktion verwendet, wenn die Nachfrage nach einer spezialisierten Funktion für die Aufnahme in das Grafikkern-Array 2914 nicht ausreicht. In mindestens einem Ausführungsbeispiel wird eine einzelne Instanziierung einer spezialisierten Funktion in der gemeinsam genutzten Funktionslogik 2920 verwendet und von anderen Ausführungsressourcen innerhalb des Grafikkern-Arrays 2914 gemeinsam genutzt. In mindestens einem Ausführungsbeispiel können bestimmte gemeinsam genutzte Funktionen innerhalb der gemeinsam genutzten Funktionslogik 2920, die vom Grafikkern-Array 2914 ausgiebig genutzt werden, in die gemeinsam genutzte Funktionslogik 3216 innerhalb des Grafikkern-Arrays 2914 aufgenommen werden. In mindestens einem Ausführungsbeispiel kann die gemeinsam genutzte Funktionslogik 3216 innerhalb des Grafikkern-Arrays 2914 einige oder alle Logiken innerhalb der gemeinsam genutzten Funktionslogik 2920 enthalten. In mindestens einem Ausführungsbeispiel können alle Logikelemente in der gemeinsam genutzten Funktionslogik 2920 in der gemeinsam genutzten Funktionslogik 2926 des Grafikkernarrays 2914 dupliziert werden. In mindestens einem Ausführungsbeispiel ist die gemeinsam genutzte Funktionslogik 2920 zugunsten der gemeinsam genutzten Funktionslogik 2926 im Grafikkern-Array 2914 ausgeschlossen.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 2910 integriert sein. Zum Beispiel können In mindestens einem Ausführungsbeispiel die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der ALUs verwenden, die in der 3D-Pipeline 2912, dem/den Grafikkern(en) 2915, der gemeinsam genutzten Funktionslogik 2926, der gemeinsam genutzten Funktionslogik 2920 oder einer anderen Logik in 29 enthalten sind. Darüber hinaus können In mindestens einem Ausführungsbeispiel die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einem Ausführungsbeispiel können Gewichtsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 2910 konfigurieren, um einen oder mehrere hier beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
30 ist ein Blockdiagramm der Hardware-Logik eines Grafikprozessorkerns 3000 gemäß mindestens einer hier beschriebenen Ausführungsform. In mindestens einem Ausführungsbeispiel ist der Grafikprozessorkern 3000 in einem Grafikkern-Array enthalten. In mindestens einem Ausführungsbeispiel kann der Grafikprozessorkern 3000, der manchmal auch als Core Slice bezeichnet wird, ein oder mehrere Grafikkerne innerhalb eines modularen Grafikprozessors sein. In mindestens einem Ausführungsbeispiel ist der Grafikprozessorkern 3000 ein Beispiel für ein Grafikkern-Slice, und ein hierin beschriebener Grafikprozessor kann mehrere Grafikkern-Slices auf der Grundlage der angestrebten Energie- und Leistungsumfänge umfassen. In mindestens einem Ausführungsbeispiel kann jeder Grafikkern 3000 einen festen Funktionsblock 3030 umfassen, der mit mehreren Unterkemen 3001A-3001F gekoppelt ist, die auch als Unterscheiben bezeichnet werden und modulare Blöcke mit Mehrzweck- und fester Funktionslogik umfassen.
In mindestens einem Ausführungsbeispiel umfasst der Festfunktionsblock 3030 eine Geometrie- und Festfunktionspipeline 3036, die von allen Unterkemen im Grafikprozessor 3000 gemeinsam genutzt werden kann, z.B. in Grafikprozessorimplementierungen mit geringerer Leistung und/oder geringerem Energieverbrauch. In mindestens einem Ausführungsbeispiel umfasst die Geometrie- und Festfunktionspipeline 3036 eine 3D-Festfunktionspipeline, eine Video-Front-End-Einheit, einen Thread-Spawner und Thread-Verteiler sowie einen Unified-Return-Puffer-Manager, der Unified-Return-Puffer verwaltet.
In mindestens einem Ausführungsbeispiel umfasst der feste Funktionsblock 3030 auch eine Grafik-SoC-Schnittstelle 3037, einen Grafik-Mikrocontroller 3038 und eine Medien-Pipeline 3039. In mindestens einem Ausführungsbeispiel stellt die Grafik-SoC-Schnittstelle 3037 eine Schnittstelle zwischen dem Grafikkern 3000 und anderen Prozessorkernen innerhalb einer integrierten System-on-Chip-Schaltung bereit. In mindestens einem Ausführungsbeispiel ist der Grafik-Mikrocontroller 3038 ein programmierbarer Unterprozessor, der so konfiguriert werden kann, dass er verschiedene Funktionen des Grafikprozessors 3000 verwaltet, einschließlich Thread-Verteilung, Scheduling und Preemption. In mindestens einem Ausführungsbeispiel umfasst die Medien-Pipeline 3039 eine Logik zur Erleichterung der Dekodierung, Kodierung, Vorverarbeitung und/oder Nachverarbeitung von Multimediadaten, einschließlich Bild- und Videodaten. In mindestens einem Ausführungsbeispiel implementiert die Medien-Pipeline 3039 Medienoperationen über Anforderungen an die Rechen- oder Abtastlogik innerhalb der Sub-Cores 3001A-3001F.
In mindestens einem Ausführungsbeispiel ermöglicht die SoC-Schnittstelle 3037 dem Grafikkern 3000 die Kommunikation mit Mehrzweck-Anwendungsprozessorkemen (z.B. CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen wie einem gemeinsamen Cache-Speicher der letzten Ebene, System-RAM und/oder eingebettetem On-Chip- oder On-Package-DRAM. In mindestens einem Ausführungsbeispiel kann die SoC-Schnittstelle 3037 auch die Kommunikation mit Geräten mit fester Funktion innerhalb eines SoCs ermöglichen, wie z.B. Kamera-Bildgebungspipelines, und sie ermöglicht die Nutzung und/oder Implementierung globaler Speicheratomare, die von Grafikkern 3000 und CPUs innerhalb eines SoCs gemeinsam genutzt werden können. In mindestens einem Ausführungsbeispiel kann die Grafik-SoC-Schnittstelle 3037 auch Energieverwaltungssteuerungen für den Grafikprozessorkern 3000 implementieren und eine Schnittstelle zwischen einer Taktdomäne des Grafikprozessorkems 3000 und anderen Taktdomänen innerhalb eines SoCs ermöglichen. In mindestens einem Ausführungsbeispiel ermöglicht die SoC-Schnittstelle 3037 den Empfang von Befehlspuffern von einem Befehlsstreamer und einem globalen Thread-Verteiler, die so konfiguriert sind, dass sie Befehle und Anweisungen für jeden von einem oder mehreren Grafikkernen innerhalb eines Grafikprozessors bereitstellen. In mindestens einem Ausführungsbeispiel können Befehle und Anweisungen an die Medienpipeline 3039 gesendet werden, wenn Medienoperationen durchgeführt werden sollen, oder an eine Geometrie- und Festfunktionspipeline (z.B. Geometrie- und Festfunktionspipeline 3036 und/oder eine Geometrie- und Festfunktionspipeline 3014), wenn Grafikverarbeitungsoperationen durchgeführt werden sollen.
In mindestens einem Ausführungsbeispiel kann der Grafik-Mikrocontroller 3038 so konfiguriert werden, dass er verschiedene Planungs- und Verwaltungsaufgaben für den Grafikkern 3000 durchführt. In mindestens einem Ausführungsbeispiel kann der Grafik-Mikrocontroller 3038 die Planung von Grafik- und/oder Rechenlasten auf verschiedenen parallelen Grafik-Engines in den Arrays 3002A-3002F, 3004A-3004F der Ausführungseinheiten (EU) in den Sub-Cores 3001A-3001F durchführen. In mindestens einem Ausführungsbeispiel kann Host-Software, die auf einem CPU-Kern eines SoC mit Grafikkern 3000 ausgeführt wird, Arbeitslasten an einen von mehreren Grafikprozessorpfaden übermitteln, der einen Planungsvorgang auf einer geeigneten Grafik-Engine aufruft. In mindestens einem Ausführungsbeispiel umfassen die Planungsvorgänge die Bestimmung der als Nächstes auszuführenden Arbeitslast, die Übermittlung einer Arbeitslast an einen Befehlsstreamer, das Vorziehen bestehender Arbeitslasten, die auf einer Engine laufen, die Überwachung des Fortschritts einer Arbeitslast und die Benachrichtigung der Host-Software, wenn eine Arbeitslast abgeschlossen ist. In mindestens einem Ausführungsbeispiel kann der Grafik-Mikrocontroller 3038 auch stromsparende oder Leerlaufzustände für den Grafikkern 3000 ermöglichen, indem er dem Grafikkern 3000 die Möglichkeit bietet, unabhängig von einem Betriebssystem und/oder einer Grafiktreibersoftware auf einem System Register innerhalb des Grafikkerns 3000 über stromsparende Zustandsübergänge zu speichern und wiederherzustellen.
In mindestens einem Ausführungsbeispiel kann der Grafikkern 3000 mehr oder weniger als die dargestellten Unterkeme 3001A-3001F haben, bis zu N modulare Unterkeme. Für jeden Satz von N Unterkernen kann der Grafikkern 3000 In mindestens einem Ausführungsbeispiel auch eine gemeinsam genutzte Funktionslogik 3010, einen gemeinsam genutzten und/oder Cache-Speicher 3012, eine Geometrie/Festfunktions-Pipeline 3014 sowie eine zusätzliche Festfunktionslogik 3016 zur Beschleunigung verschiedener Grafik- und Rechenverarbeitungsvorgänge umfassen. In mindestens einem Ausführungsbeispiel kann die gemeinsam genutzte Funktionslogik 3010 Logikeinheiten (z.B. Sampler, Mathematik und/oder Inter-Thread-Kommunikationslogik) umfassen, die von allen N Sub-Cores innerhalb des Grafikkerns 3000 gemeinsam genutzt werden können. In mindestens einem Ausführungsbeispiel kann der gemeinsam genutzte und/oder Cache-Speicher 3012 ein Cache der letzten Ebene für N Unterkeme 3001A-3001F innerhalb des Grafikkerns 3000 sein und kann auch als gemeinsam genutzter Speicher dienen, auf den mehrere Unterkeme zugreifen können. In mindestens einem Ausführungsbeispiel kann die Geometrie-/Festfunktionspipeline 3014 anstelle der Geometrie-/Festfunktionspipeline 3036 im Festfunktionsblock 3030 enthalten sein und ähnliche Logikeinheiten umfassen.
In mindestens einem Ausführungsbeispiel umfasst der Grafikkern 3000 zusätzliche feste Funktionslogik 3016, die verschiedene feste Funktionsbeschleunigungslogik zur Verwendung durch den Grafikkern 3000 umfassen kann. In mindestens einem Ausführungsbeispiel umfasst die zusätzliche feste Funktionslogik 3016 eine zusätzliche Geometrie-Pipeline zur Verwendung im positionsabhängigen Shading. Bei der positionsabhängigen Schattierung gibt es mindestens zwei Geometrie-Pipelines, nämlich eine vollständige Geometrie-Pipeline innerhalb der Geometrie- und Festfunktions-Pipelines 3014, 3036 und eine Cull-Pipeline, eine zusätzliche Geometrie-Pipeline, die in der zusätzlichen Festfunktionslogik 3016 enthalten sein kann. In mindestens einem Ausführungsbeispiel ist eine Cull-Pipeline eine abgespeckte Version einer vollständigen Geometrie-Pipeline. In mindestens einem Ausführungsbeispiel können eine vollständige Pipeline und eine Cull-Pipeline verschiedene Instanzen einer Anwendung ausführen, wobei jede Instanz einen eigenen Kontext hat. In mindestens einem Ausführungsbeispiel kann die reine Positionsschattierung lange Cull-Läufe von verworfenen Dreiecken ausblenden, so dass die Schattierung in einigen Fällen früher abgeschlossen werden kann. Zum Beispiel kann In mindestens einem Ausführungsbeispiel die Cull-Pipeline-Logik innerhalb der zusätzlichen festen Funktionslogik 3016 Positions-Shader parallel zu einer Hauptanwendung ausführen und generiert im Allgemeinen kritische Ergebnisse schneller als eine vollständige Pipeline, da eine Cull-Pipeline Positionsattribute von Scheitelpunkten abruft und schattiert, ohne eine Rasterung und ein Rendering von Pixeln in einen Frame-Buffer durchzuführen. In mindestens einem Ausführungsbeispiel kann eine Cull-Pipeline die generierten kritischen Ergebnisse verwenden, um Sichtbarkeitsinformationen für alle Dreiecke zu berechnen, unabhängig davon, ob diese Dreiecke abgeschnitten (dt. auch gecullt) werden. In mindestens einem Ausführungsbeispiel kann eine vollständige Pipeline (die in diesem Fall als Replay-Pipeline bezeichnet werden kann) Sichtbarkeitsinformationen verwenden, um aussortierte Dreiecke zu überspringen und nur sichtbare Dreiecke zu schattieren, die schließlich an eine Rasterisierungsphase weitergeleitet werden.
In mindestens einem Ausführungsbeispiel kann die zusätzliche feste Funktionslogik 3016 auch eine Logik zur Beschleunigung des maschinellen Lernens umfassen, wie z.B. eine Logik zur Matrixmultiplikation mit fester Funktion für Implementierungen, die Optimierungen für das Training oder die Inferenz des maschinellen Lernens beinhalten.
In mindestens einem Ausführungsbeispiel enthält jeder Grafik-Sub-Kern 3001A-3001F einen Satz von Ausführungsressourcen, die zur Durchführung von Grafik-, Medien- und Rechenoperationen als Reaktion auf Anforderungen von Grafikpipeline-, Medienpipeline- oder Shader-Programmen verwendet werden können. In mindestens einem Ausführungsbeispiel umfassen die Grafiksubkerne 3001A-3001F mehrere EU-Arrays 3002A-3002F, 3004A-3004F, Thread-Verteil- und Inter-Thread-Kommunikationslogik (TD/IC) 3003A-3003F, einen 3D-(z.B. Textur-)Sampler 3005A-3005F, einen Media-Sampler 3006A-3006F, einen Shader-Prozessor 3007A-3007F und einen gemeinsamen lokalen Speicher (SLM) 3008A-3008F. In mindestens einem Ausführungsbeispiel enthalten die EU-Arrays 3002A-3002F, 3004A-3004F jeweils mehrere Ausführungseinheiten, bei denen es sich um Mehrzweck-Grafikverarbeitungseinheiten handelt, die in der Lage sind, Gleitkomma- und Ganzzahl-/Festkomma-Logikoperationen im Dienste einer Grafik-, Medien- oder Rechenoperation, einschließlich Grafik-, Medien- oder Rechenshader-Programmen, durchzuführen. In mindestens einem Ausführungsbeispiel führt die TD/IC-Logik 3003A-3003F lokale Thread-Verteil- und Thread-Steuerungsoperationen für Ausführungseinheiten innerhalb eines Unterkerns durch und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Unterkerns ausgeführt werden. In mindestens einem Ausführungsbeispiel können die 3D-Sampler 3005A-3005F Textur- oder andere 3D-Grafikdaten in den Speicher einlesen. In mindestens einem Ausführungsbeispiel können 3D-Abtaster Texturdaten auf der Grundlage eines konfigurierten Abtaststatus und eines Texturformats, das mit einer bestimmten Textur verbunden ist, unterschiedlich lesen. In mindestens einem Ausführungsbeispiel können die Mediensampler 3006A-3006F ähnliche Lesevorgänge auf der Grundlage eines Typs und Formats durchführen, die mit den Mediendaten verbunden sind. In mindestens einem Ausführungsbeispiel kann jeder Grafik-Subkern 3001A-3001F abwechselnd einen vereinheitlichten 3D- und Medien-Sampler enthalten. In mindestens einem Ausführungsbeispiel können Threads, die auf Ausführungseinheiten in jedem der Teilkerne 3001A-3001F ausgeführt werden, den gemeinsamen lokalen Speicher 3008A-3008F in jedem Teilkern nutzen, damit Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, einen gemeinsamen Pool von On-Chip-Speicher nutzen können.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 3010 integriert sein. Zum Beispiel können In mindestens einem Ausführungsbeispiel die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs in einer 3D-Pipeline, einen Grafik-Mikrocontroller 3038, eine Geometrie- und Festfunktions-Pipeline 3014 und 3036 oder eine andere Logik in 30 verwenden. Darüber hinaus können In mindestens einem Ausführungsbeispiel die hierin beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einem Ausführungsbeispiel können Gewichtsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 3000 konfigurieren, um einen oder mehrere hier beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
31A-31B illustrieren die Thread-Ausführungslogik 3100, die ein Array von Verarbeitungselementen eines Grafikprozessorkems gemäß mindestens einem Ausführungsbeispiel umfasst. 31A illustriert mindestens eine Ausführungsform, in der die Thread-Ausführungslogik 3100 verwendet wird. 31B illustriert beispielhafte interne Details einer Grafikausführungseinheit 3108 gemäß mindestens einem Ausführungsbeispiel.
Wie in 31A dargestellt, umfasst die Thread-Ausführungslogik 3100 In mindestens einem Ausführungsbeispiel einen Shader-Prozessor 3102, einen Thread-Verteiler 3104, einen Befehls-Cache 3106, ein skalierbares Ausführungseinheiten-Array mit einer Vielzahl von Ausführungseinheiten 3107A-3107N und 3108A-3108N, einen Sampler 3110, einen Daten-Cache 3112 und einen Datenport 3114. In mindestens einem Ausführungsbeispiel kann ein skalierbares Ausführungseinheiten-Array dynamisch skaliert werden, indem eine oder mehrere Ausführungseinheiten (z.B. eine der Ausführungseinheiten 3108A-N oder 3107A-N) auf der Grundlage der Rechenanforderungen einer Arbeitslast aktiviert oder deaktiviert werden. In mindestens einem Ausführungsbeispiel sind die skalierbaren Ausführungseinheiten über eine Verbindungsstruktur miteinander verbunden, die eine Verbindung zu jeder Ausführungseinheit herstellt. In mindestens einem Ausführungsbeispiel umfasst die Thread-Ausführungslogik 3100 eine oder mehrere Verbindungen zum Speicher, z.B. zum Systemspeicher oder zum Cache-Speicher, über einen oder mehrere Befehls-Cachespeicher 3106, den Datenport 3114, den Sampler 3110 und die Ausführungseinheiten 3107 oder 3108. In mindestens einem Ausführungsbeispiel ist jede Ausführungseinheit (z.B. 3107A) eine eigenständige programmierbare Mehrzweck-Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und dabei mehrere Datenelemente parallel für jeden Thread zu verarbeiten. In mindestens einem Ausführungsbeispiel ist die Anordnung der Ausführungseinheiten 3107 und/oder 3108 so skalierbar, dass sie eine beliebige Anzahl einzelner Ausführungseinheiten umfasst.
In mindestens einem Ausführungsbeispiel werden die Ausführungseinheiten 3107 und/oder 3108 hauptsächlich zur Ausführung von Shader-Programmen verwendet. In mindestens einem Ausführungsbeispiel kann der Shader-Prozessor 3102 verschiedene Shader-Programme verarbeiten und die mit den Shader-Programmen verbundenen Ausführungs-Threads über einen Thread-Verteiler 3104 verteilen. In mindestens einem Ausführungsbeispiel umfasst der Thread-Verteiler 3104 eine Logik zur Vermittlung von Thread-Initiierungsanforderungen von Grafik- und Medienpipelines und zur Instanziierung angeforderter Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 3107 und/oder 3108. In mindestens einem Ausführungsbeispiel kann eine Geometrie-Pipeline beispielsweise Vertex-, Tesselations- oder Geometrie-Shader zur Verarbeitung an die Thread-Ausführungslogik weiterleiten. In mindestens einem Ausführungsbeispiel kann der Thread-Verteiler 3104 auch Laufzeit-Thread-Spawning-Anforderungen von ausführenden Shader-Programmen verarbeiten.
In mindestens einem Ausführungsbeispiel unterstützen die Ausführungseinheiten 3107 und/oder 3108 einen Befehlssatz, der native Unterstützung für viele Standard-3D-Grafik-Shader-Befehle enthält, so dass Shader-Programme aus Grafikbibliotheken (z.B. Direct 3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. In mindestens einem Ausführungsbeispiel unterstützen die Ausführungseinheiten die Scheitelpunkt- und Geometrieverarbeitung (z.B. Scheitelpunktprogramme, Geometrieprogramme und/oder Scheitelpunkt-Shader), die Pixelverarbeitung (z.B. Pixel-Shader, Fragment-Shader) und die allgemeine Verarbeitung (z.B. Compute- und Media-Shader). In mindestens einem Ausführungsbeispiel ist jede der Ausführungseinheiten 3107 und/oder 3108, die eine oder mehrere arithmetische Logikeinheiten (ALUs) umfassen, zur SIMD-Ausführung (Single Instruction Multiple Data) fähig, und der Multithreading-Betrieb ermöglicht eine effiziente Ausführungsumgebung trotz höherer Latenzzeiten bei Speicherzugriffen. In mindestens einem Ausführungsbeispiel hat jeder Hardware-Thread innerhalb jeder Ausführungseinheit eine eigene Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Status. In mindestens einem Ausführungsbeispiel erfolgt die Ausführung in mehreren Ausgaben pro Takt auf Pipelines, die Ganzzahl-, Gleitkomma- und Doppelpräzisionsoperationen, SIMD-Verzweigungsfähigkeit, logische Operationen, transzendentale Operationen und andere verschiedene Operationen ausführen können. In mindestens einem Ausführungsbeispiel bewirkt die Abhängigkeitslogik in den Ausführungseinheiten 3107 und/oder 3108, dass ein wartender Thread in den Ruhezustand versetzt wird, bis die angeforderten Daten zurückgegeben wurden, während er auf Daten aus dem Speicher oder eine der gemeinsam genutzten Funktionen wartet. In mindestens einem Ausführungsbeispiel können, während ein wartender Thread schläft, Hardware-Ressourcen für die Verarbeitung anderer Threads verwendet werden. In mindestens einem Ausführungsbeispiel kann eine Ausführungseinheit beispielsweise während einer Verzögerung, die mit einer Vertex-Shader-Operation verbunden ist, Operationen für einen Pixel-Shader, Fragment-Shader oder eine andere Art von Shader-Programm, einschließlich eines anderen Vertex-Shaders, durchführen.
In mindestens einem Ausführungsbeispiel arbeitet jede Ausführungseinheit in den Ausführungseinheiten 3107 und/oder 3108 mit Arrays von Datenelementen. In mindestens einem Ausführungsbeispiel ist eine Anzahl von Datenelementen eine „Ausführungsgröße“ oder eine Anzahl von Kanälen für eine Anweisung. In mindestens einem Ausführungsbeispiel ist ein Ausführungskanal eine logische Ausführungseinheit für den Zugriff auf Datenelemente, die Maskierung und die Flusssteuerung innerhalb von Anweisungen. In mindestens einem Ausführungsbeispiel kann die Anzahl der Kanäle unabhängig von der Anzahl der physischen arithmetischen Logikeinheiten (ALUs) oder Gleitkommaeinheiten (FPUs) eines bestimmten Grafikprozessors sein. In mindestens einem Ausführungsbeispiel unterstützen die Ausführungseinheiten 3107 und/oder 3108 Ganzzahl- und Gleitkomma-Datentypen.
In mindestens einem Ausführungsbeispiel enthält der Befehlssatz einer Ausführungseinheit SIMD-Befehle. In mindestens einem Ausführungsbeispiel können verschiedene Datenelemente als gepackter Datentyp in einem Register gespeichert werden, und die Ausführungseinheit verarbeitet verschiedene Elemente auf der Grundlage der Datengröße der Elemente. So werden beispielsweise In mindestens einem Ausführungsbeispiel bei der Bearbeitung eines 256 Bit breiten Vektors 256 Bits eines Vektors in einem Register gespeichert, und eine Ausführungseinheit bearbeitet einen Vektor als vier separate gepackte 64-Bit-Datenelemente (Datenelemente der Größe Quad-Word (QW)), acht separate gepackte 32-Bit-Datenelemente (Datenelemente der Größe Double Word (DW)), sechzehn separate gepackte 16-Bit-Datenelemente (Datenelemente der Größe Word (W)) oder zweiunddreißig separate 8-Bit-Datenelemente (Datenelemente der Größe Byte (B)). In mindestens einem Ausführungsbeispiel sind jedoch auch andere Vektorbreiten und Registergrößen möglich.
In mindestens einem Ausführungsbeispiel können eine oder mehrere Ausführungseinheiten zu einer verschmolzenen Ausführungseinheit 3109A-3109N mit einer Thread-Steuerlogik (3111A-3111N) kombiniert werden, die verschmolzenen EUs gemeinsam ist, wie z.B. die Ausführungseinheit 3107A, die mit der Ausführungseinheit 3108A zur verschmolzenen Ausführungseinheit 3109A verschmolzen ist. In mindestens einem Ausführungsbeispiel können mehrere EUs zu einer EU-Gruppe verschmolzen werden. In mindestens einem Ausführungsbeispiel kann jede EU in einer fusionierten EU-Gruppe so konfiguriert werden, dass sie einen separaten SIMD-Hardware-Thread ausführt, wobei die Anzahl der EUs in einer fusionierten EU-Gruppe je nach Ausführungsform variieren kann. In mindestens einem Ausführungsbeispiel können verschiedene SIMD-Breiten pro EU ausgeführt werden, einschließlich, aber nicht beschränkt auf SIMD8, SIMD16 und SIMD32. In mindestens einem Ausführungsbeispiel umfasst jede fusionierte Grafikausführungseinheit 3109A-3109N mindestens zwei Ausführungseinheiten. In mindestens einem Ausführungsbeispiel umfasst die fusionierte Ausführungseinheit 3109A beispielsweise eine erste EU 3107A, eine zweite EU 3108A und eine Thread-Steuerlogik 311 1A, die der ersten EU 3107A und der zweiten EU 3108A gemeinsam ist. In mindestens einem Ausführungsbeispiel steuert die Thread-Steuerlogik 311 1A Threads, die auf der fusionierten Grafikausführungseinheit 3109A ausgeführt werden, so dass jede EU innerhalb der fusionierten Ausführungseinheiten 3109A-3109N unter Verwendung eines gemeinsamen Befehlszeigerregisters ausgeführt werden kann.
In mindestens einem Ausführungsbeispiel sind ein oder mehrere interne Befehls-Caches (z.B. 3106) in der Thread-Ausführungslogik 3100 enthalten, um Thread-Befehle für Ausführungseinheiten zu cachen. In mindestens einem Ausführungsbeispiel sind ein oder mehrere Daten-Caches (z.B. 3112) enthalten, um Thread-Daten während der Thread-Ausführung zu cachen. In mindestens einem Ausführungsbeispiel ist der Sampler 3110 enthalten, um Textur-Sampling für 3D-Operationen und Medien-Sampling für Medien-Operationen bereitzustellen. In mindestens einem Ausführungsbeispiel umfasst der Sampler 3110 eine spezielle Textur- oder Mediensampling-Funktionalität, um Textur- oder Mediendaten während des Sampling-Prozesses zu verarbeiten, bevor die gesampelten Daten an eine Ausführungseinheit weitergeleitet werden.
In mindestens einem Ausführungsbeispiel senden Grafik- und Medienpipelines während der Ausführung Thread-Initiierungsanforderungen an die Thread-Ausführungslogik 3100 über die Thread-Spawning- und Verteil-Logik. In mindestens einem Ausführungsbeispiel wird, sobald eine Gruppe geometrischer Objekte verarbeitet und in Pixeldaten gerastert wurde, die Pixelprozessorlogik (z.B. Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 3102 aufgerufen, um weitere Ausgabeinformationen zu berechnen und zu veranlassen, dass die Ergebnisse in Ausgabeflächen (z.B. Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) geschrieben werden. In mindestens einem Ausführungsbeispiel berechnet ein Pixel-Shader oder ein Fragment-Shader die Werte verschiedener Vertex-Attribute, die über ein gerastertes Objekt interpoliert werden sollen. In mindestens einem Ausführungsbeispiel führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 3102 dann ein über die Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. In mindestens einem Ausführungsbeispiel leitet der Shader-Prozessor 3102 zur Ausführung eines Shader-Programms Threads über den Thread-Verteiler 3104 an eine Ausführungseinheit (z.B. 3108A) weiter. In mindestens einem Ausführungsbeispiel verwendet der Shader-Prozessor 3102 die Texturabtastlogik im Abtaster 3110, um auf Texturdaten in den im Speicher gespeicherten Texturkarten zuzugreifen. In mindestens einem Ausführungsbeispiel werden durch arithmetische Operationen an Texturdaten und Eingangsgeometriedaten Pixelfarbdaten für jedes geometrische Fragment berechnet oder ein oder mehrere Pixel von der weiteren Verarbeitung ausgeschlossen.
In mindestens einem Ausführungsbeispiel stellt der Datenport 3114 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 3100 bereit, um verarbeitete Daten zur weiteren Verarbeitung auf einer Grafikprozessor-Ausgabepipeline in den Speicher auszugeben. In mindestens einem Ausführungsbeispiel umfasst der Datenanschluss 3114 einen oder mehrere Cache-Speicher (z.B. den Daten-Cache 3112) oder ist mit diesen gekoppelt, um Daten für den Speicherzugriff über einen Datenanschluss zu cachen.
Wie in 31B dargestellt, kann eine Grafikausführungseinheit 3108 In mindestens einem Ausführungsbeispiel eine Befehlsabrufeinheit 3137, ein allgemeines Registerdateiarray (GRF) 3124, ein Architekturregisterdateiarray (ARF) 3126, einen Thread-Arbiter 3122, eine Sendeeinheit 3130, eine Verzweigungseinheit 3132, einen Satz SIMD-Gleitkommaeinheiten (FPUs) 3134 und einen Satz dedizierter ganzzahliger SIMD-ALUs 3135 umfassen. In mindestens einem Ausführungsbeispiel umfassen GRF 3124 und ARF 3126 einen Satz allgemeiner Registerdateien und Architekturregisterdateien, die mit jedem gleichzeitigen Hardware-Thread verbunden sind, der in der Grafikausführungseinheit 3108 aktiv sein kann. In mindestens einem Ausführungsbeispiel wird der architektonische Zustand pro Thread in ARF 3126 verwaltet, während die während der Thread-Ausführung verwendeten Daten in GRF 3124 gespeichert werden. In mindestens einem Ausführungsbeispiel kann der Ausführungsstatus jedes Threads, einschließlich der Befehlszeiger für jeden Thread, in Thread-spezifischen Registern im ARF 3126 gespeichert werden.
In mindestens einem Ausführungsbeispiel weist die Grafikausführungseinheit 3108 eine Architektur auf, die eine Kombination aus simultanem Multi-Threading (SMT) und feinkörnigem Interleaved Multi-Threading (IMT) ist. In mindestens einem Ausführungsbeispiel weist die Architektur eine modulare Konfiguration auf, die zur Entwurfszeit auf der Grundlage einer angestrebten Anzahl gleichzeitiger Threads und der Anzahl von Registern pro Ausführungseinheit fein abgestimmt werden kann, wobei die Ressourcen der Ausführungseinheit auf die zur Ausführung mehrerer gleichzeitiger Threads verwendete Logik aufgeteilt werden.
In mindestens einem Ausführungsbeispiel kann die Grafikausführungseinheit 3108 mehrere Befehle gemeinsam ausgeben, wobei es sich um unterschiedliche Befehle handeln kann. In mindestens einem Ausführungsbeispiel kann der Thread-Arbiter 3122 des Threads der Grafikausführungseinheit 3108 Befehle zur Ausführung an die Sendeeinheit 3130, die Verzweigungseinheit 3132 oder die SIMD-FPU(s) 3134 weiterleiten. In mindestens einem Ausführungsbeispiel kann jeder Ausführungs-Thread auf 128 Allzweckregister innerhalb des GRF 3124 zugreifen, wobei jedes Register 32 Byte speichern kann, die als SIMD-8-Element-Vektor von 32-Bit-Datenelementen zugänglich sind. In mindestens einem Ausführungsbeispiel hat jeder Ausführungseinheitsthread Zugriff auf 4 Kilobyte innerhalb des GRF 3124, obwohl die Ausführungsformen nicht so beschränkt sind und in anderen Ausführungsformen mehr oder weniger Registerressourcen bereitgestellt werden können. In mindestens einem Ausführungsbeispiel können bis zu sieben Threads gleichzeitig ausgeführt werden, obwohl die Anzahl der Threads pro Ausführungseinheit je nach Ausführungsform auch variieren kann. In mindestens einem Ausführungsbeispiel, in der sieben Threads auf 4 Kilobyte zugreifen können, kann der GRF 3124 insgesamt 28 Kilobyte speichern. In mindestens einem Ausführungsbeispiel können flexible Adressierungsmodi ermöglichen, dass Register gemeinsam adressiert werden, um effektiv breitere Register zu bilden oder um geschichtete rechteckige Blockdatenstrukturen darzustellen.
In mindestens einem Ausführungsbeispiel werden Speicheroperationen, Abtastoperationen und andere Systemkommunikationen mit längerer Latenzzeit über „Sende“-Befehle abgewickelt, die durch Nachrichtenübermittlung an die Sendeeinheit 3130 ausgeführt werden. In mindestens einem Ausführungsbeispiel werden Verzweigungsbefehle an die Verzweigungseinheit 3132 weitergeleitet, um SIMD-Divergenz und eventuelle Konvergenz zu erleichtern.
In mindestens einem Ausführungsbeispiel umfasst die Grafikausführungseinheit 3108 eine oder mehrere SIMD-Gleitkommaeinheiten (FPU(s)) 3134 zur Durchführung von Gleitkommaoperationen. In mindestens einem Ausführungsbeispiel unterstützen die FPU(s) 3134 auch Ganzzahlberechnungen. In mindestens einem Ausführungsbeispiel kann (können) die FPU(s) 3134 bis zu einer Anzahl M von 32-Bit-Gleitkomma- (oder Ganzzahl-) Operationen oder bis zu 2M 16-Bit-Ganzzahl- oder 16-Bit-Gleitkomma-Operationen SIMD-ausführen. In mindestens einem Ausführungsbeispiel bietet mindestens eine FPU erweiterte mathematische Fähigkeiten zur Unterstützung von transzendentalen mathematischen Funktionen mit hohem Durchsatz und 64-Bit-Gleitkommaoperationen mit doppelter Genauigkeit. In mindestens einem Ausführungsbeispiel ist auch eine Reihe von ganzzahligen 8-Bit-SIMD-ALUs 3135 vorhanden, die speziell für die Durchführung von Operationen im Zusammenhang mit maschinellen Lernberechnungen optimiert sein können.
In mindestens einem Ausführungsbeispiel können Anordnungen mehrerer Instanzen der Grafikausführungseinheit 3108 in einer Gruppierung von Grafik-Subkernen (z.B. einem Sub-Slice) instanziiert werden. In mindestens einem Ausführungsbeispiel kann die Ausführungseinheit 3108 Anweisungen über eine Vielzahl von Ausführungskanälen ausführen. In mindestens einem Ausführungsbeispiel wird jeder Thread, der von der Grafikausführungseinheit 3108 ausgeführt wird, auf einem anderen Kanal ausgeführt.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in die Thread-Ausführungslogik 3100 integriert werden. Darüber hinaus können In mindestens einem Ausführungsbeispiel die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einem Ausführungsbeispiel können Gewichtsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs der Ausführungslogik 3100 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
32 zeigt eine Parallelverarbeitungseinheit („PPU“) 3200 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel ist die PPU 3200 mit maschinenlesbarem Code konfiguriert, der, wenn er von der PPU 3200 ausgeführt wird, die PPU 3200 veranlasst, einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einem Ausführungsbeispiel ist die PPU 3200 ein Multithreading-Prozessor, der auf einem oder mehreren integrierten Schaltkreisen implementiert ist und der Multithreading als eine Technik zum Verbergen von Latenzzeiten verwendet, die dazu dient, computerlesbare Befehle (auch als maschinenlesbare Befehle oder einfach Befehle bezeichnet) auf mehreren Threads parallel zu verarbeiten. In mindestens einem Ausführungsbeispiel bezieht sich ein Thread auf einen Ausführungsstrang und ist eine Instanziierung eines Satzes von Anweisungen, die zur Ausführung durch die PPU 3200 konfiguriert sind. In mindestens einem Ausführungsbeispiel ist die PPU 3200 eine Grafikverarbeitungseinheit („GPU“), die so konfiguriert ist, dass sie eine Grafik-Rendering-Pipeline für die Verarbeitung dreidimensionaler („3D“) Grafikdaten implementiert, um zweidimensionale („2D“) Bilddaten für die Anzeige auf einem Anzeigegerät, z.B. einem Flüssigkristallanzeigegerät („LCD“), zu erzeugen. In mindestens einem Ausführungsbeispiel wird die PPU 3200 zur Durchführung von Berechnungen wie linearen Algebra-Operationen und Operationen des maschinellen Lernens verwendet. 32 zeigt ein Beispiel für einen Parallelprozessor, der nur der Veranschaulichung dient und als nicht begrenztes Beispiel für Prozessorarchitekturen zu verstehen ist, die im Rahmen dieser Offenbarung in Betracht gezogen werden, und dass jeder geeignete Prozessor zur Ergänzung und/oder zum Ersatz desselben verwendet werden kann.
In mindestens einem Ausführungsbeispiel sind eine oder mehrere PPUs 3200 so konfiguriert, dass sie High Performance Computing („HPC“), Rechenzentren und maschinelle Lemanwendungen beschleunigen. In mindestens einem Ausführungsbeispiel ist die PPU 3200 so konfiguriert, dass sie Deep-Learning-Systeme und -Anwendungen beschleunigt, einschließlich der folgenden nicht einschränkenden Beispiele: autonome Fahrzeugplattformen, Deep Learning, hochpräzise Sprach-, Bild- und Texterkennungssysteme, intelligente Videoanalyse, molekulare Simulationen, Arzneimittelentdeckung, Krankheitsdiagnose, Wettervorhersage, Big-Data-Analyse, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotik, Fabrikautomatisierung, Echtzeit-Sprachübersetzung, Online-Suchoptimierung und personalisierte Benutzerempfehlungen und mehr.
In mindestens einem Ausführungsbeispiel umfasst die PPU 3200, ohne Einschränkung, eine Input/Output-Einheit 3206, eine Front-End-Einheit 3210, eine Planer-Einheit 3212, eine Arbeitsverteilungseinheit 3214, einen Hub 3216, eine Crossbar („XBar“) 3220, einen oder mehrere General Processing Cluster („GPCs“) 3218 und eine oder mehrere Partitionseinheiten („Memory Partition Units“) 3222. In mindestens einem Ausführungsbeispiel ist die PPU 3200 mit einem Host-Prozessor oder anderen PPUs 3200 über eine oder mehrere Hochgeschwindigkeits-GPU-Verbindungen („GPU-Verbindungen“) 3208 verbunden. In mindestens einem Ausführungsbeispiel ist die PPU 3200 über einen Systembus 3202 mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einem Ausführungsbeispiel ist die PPU 3200 mit einem lokalen Speicher verbunden, der eine oder mehrere Speichervorrichtungen („Speicher“) 3204 umfasst. In mindestens einem Ausführungsbeispiel umfassen die Speichervorrichtungen 3204 ohne Einschränkung einen oder mehrere dynamische Direktzugriffsspeicher („DRAM“). In mindestens einem Ausführungsbeispiel sind eine oder mehrere DRAM-Vorrichtungen als Subsysteme mit hohem Bandbreitenspeicher („HBM“) konfiguriert und/oder konfigurierbar, wobei mehrere DRAM-Chips in jeder Vorrichtung gestapelt sind.
In mindestens einem Ausführungsbeispiel kann sich die Hochgeschwindigkeits-GPU-Verbindung 3208 auf eine drahtbasierte Mehrspur-Kommunikationsverbindung beziehen, die von Systemen verwendet wird, die skalierbar sind und eine oder mehrere PPUs 3200 in Kombination mit einer oder mehreren Zentraleinheiten („CPUs“) umfassen, die Cache-Kohärenz zwischen PPUs 3200 und CPUs sowie CPU-Mastering unterstützen. In mindestens einem Ausführungsbeispiel werden Daten und/oder Befehle von der Hochgeschwindigkeits-GPU-Verbindung 3208 über den Hub 3216 an/von anderen Einheiten der PPU 3200 übertragen, wie z.B. einer oder mehreren Kopiermaschinen, Video-Encodern, Video-Decodern, Energieverwaltungseinheiten und anderen Komponenten, die in 32 möglicherweise nicht explizit dargestellt sind.
In mindestens einem Ausführungsbeispiel ist die E/A-Einheit 3206 so konfiguriert, dass sie Kommunikationen (z.B. Befehle, Daten) von einem Host-Prozessor (in 32 nicht dargestellt) über den Systembus 3202 sendet und empfängt. In mindestens einem Ausführungsbeispiel kommuniziert die E/A-Einheit 3206 mit dem Host-Prozessor direkt über den Systembus 3202 oder über ein oder mehrere Zwischengeräte wie eine Speicherbrücke. In mindestens einem Ausführungsbeispiel kann die E/A-Einheit 3206 über den Systembus 3202 mit einem oder mehreren anderen Prozessoren, z.B. einer oder mehreren PPUs 3200, kommunizieren. In mindestens einem Ausführungsbeispiel implementiert die E/A-Einheit 3206 eine Peripheral Component Interconnect Express („PCIe“)-Schnittstelle für die Kommunikation über einen PCIe-Bus. In mindestens einem Ausführungsbeispiel implementiert die E/A-Einheit 3206 Schnittstellen für die Kommunikation mit externen Geräten.
In mindestens einem Ausführungsbeispiel dekodiert die E/A-Einheit 3206 über den Systembus 3202 empfangene Pakete. In mindestens einem Ausführungsbeispiel stellen mindestens einige Pakete Befehle dar, die so konfiguriert sind, dass sie die PPU 3200 veranlassen, verschiedene Operationen durchzuführen. In mindestens einem Ausführungsbeispiel überträgt die E/A-Einheit 3206 dekodierte Befehle an verschiedene andere Einheiten der PPU 3200, wie von den Befehlen vorgegeben. In mindestens einem Ausführungsbeispiel werden Befehle an die Front-End-Einheit 3210 und/oder an den Hub 3216 oder andere Einheiten der PPU 3200, wie z.B. eine oder mehrere Kopiermaschinen, einen Video-Encoder, einen Video-Decoder, eine Energieverwaltungseinheit usw. (in 32 nicht explizit dargestellt), übertragen. In mindestens einem Ausführungsbeispiel ist die E/A-Einheit 3206 so konfiguriert, dass sie die Kommunikation zwischen und unter verschiedenen logischen Einheiten der PPU 3200 leitet.
In mindestens einem Ausführungsbeispiel kodiert ein vom Host-Prozessor ausgeführtes Programm einen Befehlsstrom in einem Puffer, der der PPU 3200 Arbeitslasten zur Verarbeitung bereitstellt. In mindestens einem Ausführungsbeispiel umfasst eine Arbeitslast Anweisungen und Daten, die von diesen Anweisungen verarbeitet werden sollen. In mindestens einem Ausführungsbeispiel ist ein Puffer ein Bereich in einem Speicher, auf den sowohl ein Host-Prozessor als auch die PPU 3200 zugreifen können (z.B. Lesen/Schreiben) - eine Host-Schnittstelleneinheit kann so konfiguriert sein, dass sie auf diesen Puffer in einem Systemspeicher, der mit dem Systembus 3202 verbunden ist, über Speicheranforderungen zugreift, die über den Systembus 3202 von der E/A-Einheit 3206 übertragen werden. In mindestens einem Ausführungsbeispiel schreibt ein Host-Prozessor einen Befehlsstrom in einen Puffer und überträgt dann einen Zeiger auf den Beginn eines Befehlsstroms an die PPU 3200, so dass die Front-End-Einheit 3210 Zeiger auf einen oder mehrere Befehlsströme empfängt und einen oder mehrere Befehlsströme verwaltet, indem sie Befehle aus Befehlsströmen liest und Befehle an verschiedene Einheiten der PPU 3200 weiterleitet.
In mindestens einem Ausführungsbeispiel ist die Front-End-Einheit 3210 mit der Planer-Einheit 3212 gekoppelt, die verschiedene GPCs 3218 zur Verarbeitung von Aufgaben konfiguriert, die durch einen oder mehrere Befehlsströme definiert sind. In mindestens einem Ausführungsbeispiel ist die Planer-Einheit 3212 so konfiguriert, dass sie Zustandsinformationen in Bezug auf verschiedene Aufgaben verfolgt, die von der Planer-Einheit 3212 verwaltet werden, wobei die Zustandsinformationen angeben können, welchem der GPCs 3218 eine Aufgabe zugewiesen ist, ob die Aufgabe aktiv oder inaktiv ist, welche Prioritätsstufe der Aufgabe zugeordnet ist und so weiter. In mindestens einem Ausführungsbeispiel verwaltet die Planer-Einheit 3212 die Ausführung einer Vielzahl von Aufgaben auf einem oder mehreren GPCs 3218.
In mindestens einem Ausführungsbeispiel ist die Planungseinheit 3212 mit der Arbeitsverteilungseinheit 3214 gekoppelt, die so konfiguriert ist, dass sie Aufgaben zur Ausführung auf den GPCs 3218 verteilt. In mindestens einem Ausführungsbeispiel verfolgt die Arbeitsverteilungseinheit 3214 eine Anzahl geplanter Aufgaben, die von der Planer-Einheit 3212 empfangen wurden, und die Arbeitsverteilungseinheit 3214 verwaltet einen Pool ausstehender Aufgaben und einen Pool aktiver Aufgaben für jeden GPC 3218. In mindestens einem Ausführungsbeispiel umfasst der Pool ausstehender Aufgaben eine Anzahl von Slots (z.B. 32 Slots), die Aufgaben enthalten, die zur Verarbeitung durch einen bestimmten GPC 3218 zugewiesen wurden; ein Pool aktiver Aufgaben kann eine Anzahl von Slots (z.B. Ein aktiver Aufgabenpool kann eine Anzahl von Slots (z.B. 4 Slots) für Aufgaben umfassen, die aktiv von GPCs 3218 verarbeitet werden, so dass, wenn einer der GPCs 3218 die Ausführung einer Aufgabe beendet, diese Aufgabe aus dem aktiven Aufgabenpool für GPC 3218 entfernt wird und eine andere Aufgabe aus einem anhängigen Aufgabenpool ausgewählt und für die Ausführung auf GPC 3218 eingeplant wird. In mindestens einem Ausführungsbeispiel wird eine aktive Aufgabe, die sich auf dem GPC 3218 im Leerlauf befindet, z.B. während sie darauf wartet, dass eine Datenabhängigkeit aufgelöst wird, aus dem GPC 3218 entfernt und in den Pool der anstehenden Aufgaben zurückgeführt, während eine andere Aufgabe aus dem Pool der anstehenden Aufgaben ausgewählt und zur Ausführung auf dem GPC 3218 eingeplant wird.
In mindestens einem Ausführungsbeispiel kommuniziert die Arbeitsverteilungseinheit 3214 mit einem oder mehreren GPCs 3218 über XBar 3220. In mindestens einem Ausführungsbeispiel ist die XBar 3220 ein Verbindungsnetzwerk, das viele Einheiten der PPU 3200 mit anderen Einheiten der PPU 3200 verbindet und so konfiguriert werden kann, dass es die Arbeitsverteilungseinheit 3214 mit einem bestimmten GPC 3218 verbindet. In mindestens einem Ausführungsbeispiel können eine oder mehrere andere Einheiten der PPU 3200 auch über den Hub 3216 mit der XBar 3220 verbunden sein.
In mindestens einem Ausführungsbeispiel werden die Aufgaben von der Planer-Einheit 3212 verwaltet und von der Arbeitsverteilungseinheit 3214 an einen der GPCs 3218 weitergeleitet. In mindestens einem Ausführungsbeispiel ist der GPC 3218 so konfiguriert, dass er die Aufgabe verarbeitet und Ergebnisse erzeugt. In mindestens einem Ausführungsbeispiel können die Ergebnisse von anderen Aufgaben innerhalb des GPC 3218 verbraucht, über die XBar 3220 an einen anderen GPC 3218 weitergeleitet oder im Speicher 3204 gespeichert werden. In mindestens einem Ausführungsbeispiel können die Ergebnisse in den Speicher 3204 über Partitionseinheiten 3222 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 3204 implementieren. In mindestens einem Ausführungsbeispiel können die Ergebnisse über die Hochgeschwindigkeits-GPU-Verbindung 3208 an eine andere PPU 3204 oder CPU übertragen werden. In mindestens einem Ausführungsbeispiel umfasst die PPU 3200, ohne Einschränkung, eine Anzahl U von Partitionseinheiten 3222, die einer Anzahl von separaten und unterschiedlichen Speichervorrichtungen 3204 entspricht, die mit der PPU 3200 verbunden sind, wie hierin in Verbindung mit 34 ausführlicher beschrieben.
In mindestens einem Ausführungsbeispiel führt ein Host-Prozessor einen Treiberkern aus, der eine Anwendungsprogrammierschnittstelle („API“) implementiert, die es einer oder mehreren auf einem Host-Prozessor ausgeführten Anwendungen ermöglicht, Operationen zur Ausführung auf der PPU 3200 zu planen. In mindestens einem Ausführungsbeispiel werden mehrere Rechenanwendungen gleichzeitig von der PPU 3200 ausgeführt, und die PPU 3200 bietet Isolierung, Dienstgüte („QoS“) und unabhängige Adressräume für mehrere Rechenanwendungen. In mindestens einem Ausführungsbeispiel erzeugt eine Anwendung Anweisungen (z.B. in Form von API-Aufrufen), die einen Treiberkern dazu veranlassen, eine oder mehrere Aufgaben zur Ausführung durch die PPU 3200 zu erzeugen, und dieser Treiberkern gibt Aufgaben an einen oder mehrere Ströme aus, die von der PPU 3200 verarbeitet werden. In mindestens einem Ausführungsbeispiel umfasst jede Aufgabe eine oder mehrere Gruppen von zusammenhängenden Threads, die als Warp bezeichnet werden können. In mindestens einem Ausführungsbeispiel umfasst ein Warp eine Vielzahl zusammenhängender Threads (z.B. 32 Threads), die parallel ausgeführt werden können. In mindestens einem Ausführungsbeispiel können sich kooperierende Threads auf eine Vielzahl von Threads beziehen, die Anweisungen zur Ausführung von Aufgaben enthalten und Daten über einen gemeinsamen Speicher austauschen. In mindestens einem Ausführungsbeispiel werden Threads und kooperierende Threads in Verbindung mit 34 ausführlicher beschrieben.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel wird der Deep-Learning-Anwendungsprozessor verwendet, um ein maschinelles Lernmodell, wie z.B. ein neuronales Netzwerk, zu trainieren, um der PPU 3200 bereitgestellte Informationen vorherzusagen oder abzuleiten. In mindestens einem Ausführungsbeispiel wird der Deep-Learning-Anwendungsprozessor 3200 verwendet, um Informationen auf der Grundlage eines trainierten maschinellen Lernmodells (z.B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder von der PPU 3200 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einem Ausführungsbeispiel kann die PPU 3200 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle für neuronale Netzwerke durchzuführen.
33 zeigt einen allgemeinen Verarbeitungscluster („GPC“) 3300 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel handelt es sich bei GPC 3300 um GPC 3218 aus 32. In mindestens einem Ausführungsbeispiel umfasst jeder GPC 3300, ohne Einschränkung, eine Anzahl von Hardware-Einheiten zur Verarbeitung von Aufgaben, und jeder GPC 3300 umfasst, ohne Einschränkung, einen Pipeline-Manager 3302, eine Pre-Raster-Operationseinheit („preROP“) 3304, eine Raster-Engine 3308, eine Arbeitsverteilungskreuzschiene („WDX“) 3316, eine Speicherverwaltungseinheit („MMU“) 3318, einen oder mehrere Datenverarbeitungscluster („DPCs“) 3306 und eine beliebige geeignete Kombination von Teilen.
In mindestens einem Ausführungsbeispiel wird der Betrieb des GPC 3300 vom Pipeline-Manager 3302 gesteuert. In mindestens einem Ausführungsbeispiel verwaltet der Pipeline-Manager 3302 die Konfiguration eines oder mehrerer DPCs 3306 zur Verarbeitung von Aufgaben, die dem GPC 3300 zugewiesen sind. In mindestens einem Ausführungsbeispiel konfiguriert der Pipeline-Manager 3302 mindestens einen von einem oder mehreren DPCs 3306, um mindestens einen Teil einer Grafik-Rendering-Pipeline zu implementieren. In mindestens einem Ausführungsbeispiel ist DPC 3306 so konfiguriert, dass er ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 3314 ausführt. In mindestens einem Ausführungsbeispiel ist der Pipeline-Manager 3302 so konfiguriert, dass er die von einer Arbeitsverteilungseinheit empfangenen Pakete an die entsprechenden logischen Einheiten innerhalb des GPC 3300 weiterleitet, wobei einige Pakete an Hardwareeinheiten mit fester Funktion im preROP 3304 und/oder in der Raster-Engine 3308 weitergeleitet werden können, während andere Pakete an die DPCs 3306 zur Verarbeitung durch eine Primitive-Engine 3312 oder SM 3314 weitergeleitet werden können. In mindestens einem Ausführungsbeispiel konfiguriert der Pipeline-Manager 3302 mindestens eine der DPCs 3306 für die Implementierung eines neuronalen Netzwerkmodells und/oder einer Rechenpipeline.
In mindestens einem Ausführungsbeispiel ist die preROP-Einheit 3304 so konfiguriert, dass sie die von der Rastermaschine 3308 und den DPCs 3306 erzeugten Daten an eine Raster Operations („ROP“)-Einheit in der Partitionseinheit 3222 weiterleitet, die oben in Verbindung mit 32 näher beschrieben ist. In mindestens einem Ausführungsbeispiel ist die preROP-Einheit 3304 so konfiguriert, dass sie Optimierungen für die Farbmischung durchführt, Pixeldaten organisiert, Adressübersetzungen vornimmt und vieles mehr. In mindestens einem Ausführungsbeispiel umfasst die Rastermaschine 3308 ohne Einschränkung eine Reihe von Hardware-Einheiten mit fester Funktion, die so konfiguriert sind, dass sie verschiedene Rasteroperationen durchführen, und die Rastermaschine 3308 umfasst ohne Einschränkung eine Setup-Maschine, eine Grobraster-Maschine, eine Culling-Maschine, eine Clipping-Maschine, eine Feinraster-Maschine, eine Kachel-Koaleszenz-Maschine und jede geeignete Kombination davon. In mindestens einem Ausführungsbeispiel empfängt die Setup-Engine transformierte Scheitelpunkte und erzeugt Ebenengleichungen, die mit einer durch Scheitelpunkte definierten geometrischen Primitive verbunden sind; die Ebenengleichungen werden an eine Grobraster-Engine übertragen, um Abdeckungsinformationen (z.B. eine x-, y-Abdeckungsmaske für eine Kachel) für die Primitive zu erzeugen; die Ausgabe einer Grobraster-Engine wird an eine Culling-Engine übertragen, in der Fragmente, die mit einer Primitive verbunden sind und einen z-Test nicht bestehen, aussortiert werden, und an eine Clipping-Engine übertragen, in der Fragmente, die außerhalb eines Sichtkegelstumpfes liegen, abgeschnitten werden. In mindestens einem Ausführungsbeispiel werden Fragmente, die das Beschneiden und Aussortieren überstehen, an eine Feinraster-Engine weitergeleitet, um Attribute für Pixelfragmente auf der Grundlage von Ebenengleichungen zu erzeugen, die von einer Setup-Engine generiert werden. In mindestens einem Ausführungsbeispiel umfasst die Ausgabe der Raster-Engine 3308 Fragmente, die von einer geeigneten Einheit verarbeitet werden, z.B. von einem in DPC 3306 implementierten Fragment-Shader.
In mindestens einem Ausführungsbeispiel umfasst jeder DPC 3306, der in GPC 3300 enthalten ist, ohne Einschränkung einen M-Pipe-Controller („MPC“) 3310, eine primitive Engine 3312, einen oder mehrere SMs 3314 und eine beliebige geeignete Kombination davon. In mindestens einem Ausführungsbeispiel steuert MPC 3310 den Betrieb von DPC 3306 und leitet die vom Pipeline-Manager 3302 empfangenen Pakete an die entsprechenden Einheiten in DPC 3306 weiter. In mindestens einem Ausführungsbeispiel werden Pakete, die einem Scheitelpunkt zugeordnet sind, an die Primitive Engine 3312 weitergeleitet, die so konfiguriert ist, dass sie Scheitelpunktattribute, die einem Scheitelpunkt zugeordnet sind, aus dem Speicher abruft.
In mindestens einem Ausführungsbeispiel umfasst SM 3314, ohne Einschränkung, einen programmierbaren Streaming-Prozessor, der so konfiguriert ist, dass er Aufgaben verarbeitet, die durch eine Anzahl von Threads dargestellt werden. In mindestens einem Ausführungsbeispiel ist der SM 3314 mit mehreren Threads ausgestattet und so konfiguriert, dass er mehrere Threads (z.B. 32 Threads) aus einer bestimmten Gruppe von Threads gleichzeitig ausführt und eine SIMD-Architektur („Single-Instruction, Multiple-Data“) implementiert, bei der jeder Thread in einer Gruppe von Threads (z.B. ein Warp) so konfiguriert ist, dass er einen anderen Datensatz auf der Grundlage desselben Befehlssatzes verarbeitet. In mindestens einem Ausführungsbeispiel führen alle Threads in einer Gruppe von Threads einen gemeinsamen Satz von Anweisungen aus. In mindestens einem Ausführungsbeispiel implementiert SM 3314 eine SIMT-Architektur („Single-Instruction, Multiple Thread“), bei der jeder Thread in einer Gruppe von Threads so konfiguriert ist, dass er einen anderen Datensatz auf der Grundlage dieses gemeinsamen Befehlssatzes verarbeitet, wobei jedoch einzelne Threads in einer Gruppe von Threads während der Ausführung divergieren dürfen. In mindestens einem Ausführungsbeispiel werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden Warp beibehalten, wodurch die Gleichzeitigkeit zwischen Warps und die serielle Ausführung innerhalb von Warps ermöglicht wird, wenn die Threads innerhalb eines Warps divergieren. In einer anderen Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden einzelnen Thread beibehalten, was eine gleiche Gleichzeitigkeit zwischen allen Threads innerhalb und zwischen Warps ermöglicht. In mindestens einem Ausführungsbeispiel wird der Ausführungsstatus für jeden einzelnen Thread beibehalten, und Threads, die gemeinsame Befehle ausführen, können zur Verbesserung der Effizienz zusammengeführt und parallel ausgeführt werden. Mindestens eine Ausführungsform von SM 3314 wird hier näher beschrieben.
In mindestens einem Ausführungsbeispiel stellt die MMU 3318 eine Schnittstelle zwischen dem GPC 3300 und einer Speicherpartitionseinheit (z.B. der Partitionseinheit 3222 in 32) bereit, und die MMU 3318 sorgt für die Übersetzung virtueller Adressen in physische Adressen, den Speicherschutz und die Arbitrierung von Speicheranforderungen. In mindestens einem Ausführungsbeispiel bietet die MMU 3318 einen oder mehrere Übersetzungs-Lookaside-Puffer („TLBs“) für die Übersetzung virtueller Adressen in physische Adressen im Speicher.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel wird der Deep-Learning-Anwendungsprozessor verwendet, um ein maschinelles Lernmodell, wie z.B. ein neuronales Netzwerkwerk, zu trainieren, um die dem GPC 3300 bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einem Ausführungsbeispiel wird GPC 3300 verwendet, um Informationen auf der Grundlage eines trainierten maschinellen Lernmodells (z.B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder von GPC 3300 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einem Ausführungsbeispiel kann GPC 3300 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle für neuronale Netzwerke durchzuführen.
34 zeigt eine Speicherpartitionierungseinheit 3400 einer Parallelverarbeitungseinheit („PPU“) in Übereinstimmung mit mindestens einer Ausführungsform. In mindestens einem Ausführungsbeispiel umfasst die Speicherpartitionierungseinheit 3400 ohne Einschränkung eine Raster Operations („ROP“)-Einheit 3402, einen Level Two („L2“)-Cache 3404, eine Speicherschnittstelle 3406 und jede geeignete Kombination davon. In mindestens einem Ausführungsbeispiel ist die Speicherschnittstelle 3406 mit dem Speicher verbunden. In mindestens einem Ausführungsbeispiel kann die Speicherschnittstelle 3406 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliches für die Hochgeschwindigkeitsdatenübertragung implementieren. In mindestens einem Ausführungsbeispiel umfasst die PPU U Speicherschnittstellen 3406, wobei U eine positive ganze Zahl ist, mit einer Speicherschnittstelle 3406 pro Paar von Partitionseinheiten 3400, wobei jedes Paar von Partitionseinheiten 3400 mit einem entsprechenden Speichergerät verbunden ist. In mindestens einem Ausführungsbeispiel kann die PPU beispielsweise mit bis zu Y Speichervorrichtungen verbunden sein, z.B. mit Speicherstapeln mit hoher Bandbreite oder mit einem synchronen dynamischen Direktzugriffsspeicher für Grafiken mit doppelter Datenrate, Version 5 („GDDR5 SDRAM“).
In mindestens einem Ausführungsbeispiel implementiert die Speicherschnittstelle 3406 eine Speicherschnittstelle der zweiten Generation mit hoher Bandbreite („HBM2“), und Y entspricht der Hälfte von U. In mindestens einem Ausführungsbeispiel befinden sich HBM2-Speicherstapel auf einem physischen Gehäuse mit einer PPU, was im Vergleich zu herkömmlichen GDDR5-SDRAM-Systemen erhebliche Energie- und Flächeneinsparungen ermöglicht. In mindestens einem Ausführungsbeispiel umfasst jeder HBM2-Stapel, ohne Einschränkung, vier Speicherchips mit Y=4, wobei jeder HBM2-Stapel zwei 128-Bit-Kanäle pro Chip für insgesamt 8 Kanäle und eine Datenbusbreite von 1024 Bit umfasst. In mindestens einem Ausführungsbeispiel unterstützt dieser Speicher den Single-Error Correcting Double-Error Detecting („SECDED“) Error Correction Code („ECC“) zum Schutz der Daten. In mindestens einem Ausführungsbeispiel kann ECC eine höhere Zuverlässigkeit für Datenverarbeitungsanwendungen bieten, die empfindlich auf Datenbeschädigungen reagieren.
In mindestens einem Ausführungsbeispiel implementiert die PPU eine mehrstufige Speicherhierarchie. In mindestens einem Ausführungsbeispiel unterstützt die Speicherpartitionierungseinheit 3400 einen einheitlichen Speicher, um einen einzigen einheitlichen virtuellen Adressraum für den Speicher der Zentraleinheit („CPU“) und der PPU bereitzustellen und die gemeinsame Nutzung von Daten zwischen virtuellen Speichersystemen zu ermöglichen. In mindestens einem Ausführungsbeispiel wird die Häufigkeit von Zugriffen einer PPU auf einen Speicher, der sich auf anderen Prozessoren befindet, verfolgt, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU verschoben werden, die häufiger auf Seiten zugreift. In mindestens einem Ausführungsbeispiel unterstützt die Hochgeschwindigkeits-GPU-Verbindung 3208 Adressübersetzungsdienste, die es der PPU ermöglichen, direkt auf die Seitentabellen der CPU zuzugreifen, und einen vollständigen Zugriff auf den CPU-Speicher durch eine PPU ermöglichen.
In mindestens einem Ausführungsbeispiel übertragen Kopiermodule Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. In mindestens einem Ausführungsbeispiel können Kopiermodule Seitenfehler für Adressen erzeugen, die nicht in Seitentabellen abgebildet sind, und die Speicherpartitionierungseinheit 3400 bearbeitet dann Seitenfehler, indem sie Adressen in Seitentabellen abbildet, woraufhin das Kopiermodul eine Übertragung durchführt. In mindestens einem Ausführungsbeispiel wird der Speicher für mehrere Kopiervorgänge zwischen mehreren Prozessoren gepinnt (d. h. nicht auslagerbar), wodurch der verfügbare Speicher erheblich reduziert wird. In mindestens einem Ausführungsbeispiel können bei Hardware-Seitenfehlern Adressen an Kopiermaschinen weitergegeben werden, ohne dass es darauf ankommt, ob Speicherseiten vorhanden sind, und ein Kopiervorgang ist transparent.
Daten aus dem Speicher 3204 von 32 oder einem anderen Systemspeicher werden von der Speicherpartitionseinheit 3400 abgerufen und im L2-Cache 3404 gespeichert, der sich auf dem Chip befindet und gemäß mindestens einem Ausführungsbeispiel von verschiedenen GPCs gemeinsam genutzt wird. In mindestens einem Ausführungsbeispiel umfasst jede Speicherpartitionseinheit 3400, ohne Einschränkung, mindestens einen Teil des L2-Cache, der einem entsprechenden Speichergerät zugeordnet ist. In mindestens einem Ausführungsbeispiel werden Caches der unteren Ebene in verschiedenen Einheiten innerhalb der GPCs implementiert. In mindestens einem Ausführungsbeispiel kann jeder der SMs 3314 in 33 einen Cache der Ebene 1 („L1“) implementieren, wobei dieser L1-Cache ein privater Speicher ist, der einem bestimmten SM 3314 zugeordnet ist, und Daten aus dem L2-Cache 3404 abgerufen und in jedem L1-Cache zur Verarbeitung in Funktionseinheiten der SMs 3314 gespeichert werden. In mindestens einem Ausführungsbeispiel ist der L2-Cache 3404 mit der Speicherschnittstelle 3406 und der in 32 dargestellten XBar 3220 verbunden.
Die ROP-Einheit 3402 führt In mindestens einem Ausführungsbeispiel Grafikrasteroperationen durch, die sich auf die Pixelfarbe beziehen, wie z.B. Farbkomprimierung, Pixelüberblendung und mehr. In mindestens einem Ausführungsbeispiel implementiert die ROP-Einheit 3402 die Tiefenprüfung in Verbindung mit der Rastermaschine 3308, wobei sie eine Tiefe für eine Abtastposition, die mit einem Pixelfragment verbunden ist, von einer Culling-Engine der Rastermaschine 3308 empfängt. In mindestens einem Ausführungsbeispiel wird die Tiefe mit einer entsprechenden Tiefe in einem Tiefenpuffer für eine einem Fragment zugeordnete Abtaststelle verglichen. In mindestens einem Ausführungsbeispiel aktualisiert die ROP-Einheit 3402 den Tiefenpuffer und überträgt das Ergebnis dieses Tiefentests an die Rastermaschine 3308, wenn das Fragment den Tiefentest für diesen Sampleort besteht. Es wird deutlich, dass die Anzahl der Teilungseinheiten 3400 sich von der Anzahl der GPCs unterscheiden kann, so dass jede ROP-Einheit 3402 In mindestens einem Ausführungsbeispiel mit jedem GPC gekoppelt sein kann. In mindestens einem Ausführungsbeispiel verfolgt die ROP-Einheit 3402 die von verschiedenen GPCs empfangenen Pakete und bestimmt, ob ein von der ROP-Einheit 3402 erzeugtes Ergebnis über die XBar 3220 weitergeleitet werden soll.
35 zeigt einen Streaming-Multiprozessor („SM“) 3500 gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel ist der SM 3500 der SM von 33. In mindestens einem Ausführungsbeispiel umfasst der SM 3500 ohne Einschränkung einen Befehls-Cache 3502, eine oder mehrere Planer-Einheiten 3504, eine Registerdatei 3508, einen oder mehrere Verarbeitungskerne („Cores“) 3510, eine oder mehrere Spezialfunktionseinheiten („SFUs“) 3512, eine oder mehrere Lade-/Speichereinheiten („LSUs“) 3514, ein Verbindungsnetzwerk 3516, einen gemeinsam genutzten Speicher/Level-One-Cache („L1“) 3518 und/oder eine geeignete Kombination davon.
In mindestens einem Ausführungsbeispiel verteilt eine Arbeitsverteilungseinheit Aufgaben zur Ausführung auf allgemeinen Verarbeitungsclustern („GPCs“) von Parallelverarbeitungseinheiten („PPUs“), und jede Aufgabe wird einem bestimmten Datenverarbeitungscluster („DPC“) innerhalb eines GPCs zugewiesen, und wenn eine Aufgabe mit einem Shader-Programm verbunden ist, wird diese Aufgabe einem der SMs 3500 zugewiesen. In mindestens einem Ausführungsbeispiel empfängt die Planer-Einheit 3504 Aufgaben von einer Arbeitsverteilungseinheit und verwaltet die Befehlsplanung für einen oder mehrere Thread-Blöcke, die dem SM 3500 zugewiesen sind. In mindestens einem Ausführungsbeispiel plant die Planer-Einheit 3504 Thread-Blöcke für die Ausführung als Warps von parallelen Threads, wobei jedem Thread-Block mindestens ein Warp zugewiesen wird. In mindestens einem Ausführungsbeispiel führt jeder Warp Threads aus. In mindestens einem Ausführungsbeispiel verwaltet die Planer-Einheit 3504 eine Vielzahl verschiedener Thread-Blöcke, indem sie den verschiedenen Thread-Blöcken Warps zuweist und dann während jedes Taktzyklus Anweisungen aus einer Vielzahl verschiedener kooperativer Gruppen an verschiedene Funktionseinheiten (z.B. Verarbeitungskerne 3510, SFUs 3512 und LSUs 3514) verteilt.
In mindestens einem Ausführungsbeispiel können sich kooperative Gruppen auf ein Programmiermodell für die Organisation von Gruppen kommunizierender Threads beziehen, das es den Entwicklern ermöglicht, die Granularität auszudrücken, mit der Threads kommunizieren, und so reichhaltigere, effizientere parallele Dekompositionen zu ermöglichen. In mindestens einem Ausführungsbeispiel unterstützen kooperative Start-APIs die Synchronisierung zwischen Thread-Blöcken zur Ausführung paralleler Algorithmen. In mindestens einem Ausführungsbeispiel bieten Anwendungen herkömmlicher Programmiermodelle ein einziges, einfaches Konstrukt für die Synchronisierung kooperierender Threads: eine Barriere für alle Threads eines Thread-Blocks (z.B. die Funktion syncthreads()). In mindestens einem Ausführungsbeispiel können Programmierer jedoch Gruppen von Threads mit einer kleineren Granularität als der des Thread-Blocks definieren und innerhalb der definierten Gruppen synchronisieren, um eine höhere Leistung, Designflexibilität und Software-Wiederverwendung in Form von gemeinsamen gruppenweiten Funktionsschnittstellen zu ermöglichen. In mindestens einem Ausführungsbeispiel ermöglicht es Cooperative Groups Programmierern, Gruppen von Threads explizit auf Subblock- (d. h. so klein wie ein einzelner Thread) und Multiblock-Granularität zu definieren und kollektive Operationen wie die Synchronisierung auf Threads in einer kooperativen Gruppe durchzuführen. In mindestens einem Ausführungsbeispiel unterstützt dieses Programmiermodell eine saubere Komposition über Softwaregrenzen hinweg, so dass Bibliotheken und Dienstprogramme innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne Annahmen über die Konvergenz treffen zu müssen. In mindestens einem Ausführungsbeispiel ermöglichen die Primitive für kooperative Gruppen neue Muster kooperativer Parallelität, einschließlich, aber nicht beschränkt auf Producer-Consumer-Parallelität, opportunistische Parallelität und globale Synchronisierung über ein ganzes Netz von Thread-Blöcken.
In mindestens einem Ausführungsbeispiel ist eine Verteil-Einheit 3506 so konfiguriert, dass sie Befehle an eine oder mehrere Funktionseinheiten und die Planer-Einheit 3504 überträgt, und umfasst ohne Einschränkung zwei Verteil-Einheiten 3506, die es ermöglichen, dass zwei verschiedene Befehle aus einem gemeinsamen Warp während jedes Taktzyklus versendet werden. In mindestens einem Ausführungsbeispiel umfasst jede Planer-Einheit 3504 eine einzelne Verteil-Einheit 3506 oder zusätzliche Verteil-Einheiten 3506.
In mindestens einem Ausführungsbeispiel umfasst jedes SM 3500 ohne Einschränkung eine Registerdatei 3508, die einen Satz von Registern für Funktionseinheiten des SM 3500 bereitstellt. In mindestens einem Ausführungsbeispiel ist die Registerdatei 3508 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein bestimmter Teil der Registerdatei 3508 zugewiesen ist. In mindestens einem Ausführungsbeispiel wird die Registerdatei 3508 zwischen verschiedenen Warps aufgeteilt, die von SM 3500 ausgeführt werden, und die Registerdatei 3508 stellt einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten verbunden sind. In mindestens einem Ausführungsbeispiel umfasst jedes SM 3500, ohne Einschränkung, eine Vielzahl von L Verarbeitungskernen 3510, wobei L eine positive ganze Zahl ist. In mindestens einem Ausführungsbeispiel umfasst SM 3500 ohne Einschränkung eine große Anzahl (z.B. 128 oder mehr) unterschiedlicher Verarbeitungskerne 3510. In mindestens einem Ausführungsbeispiel umfasst jeder Verarbeitungskern 3510 ohne Einschränkung eine Vollpipeline-, einfachpräzise, doppeltpräzise und/oder gemischtpräzise Verarbeitungseinheit, die ohne Einschränkung eine arithmetische Gleitkomma-Logikeinheit und eine arithmetische Ganzzahl-Logikeinheit umfasst. In mindestens einem Ausführungsbeispiel implementieren die arithmetischen Logikeinheiten für Gleitkommaberechnungen den IEEE 754-2008-Standard für Gleitkommaarithmetik. In mindestens einem Ausführungsbeispiel umfassen die Verarbeitungskerne 3510 ohne Einschränkung 64 Gleitkomma-Kerne mit einfacher Genauigkeit (32 Bit), 64 Ganzzahl-Kerne, 32 Gleitkomma-Kerne mit doppelter Genauigkeit (64 Bit) und 8 Tensor-Kerne.
Tensorkerne sind so konfiguriert, dass sie in Übereinstimmung mit mindestens einer Ausführungsform Matrixoperationen durchführen. In mindestens einem Ausführungsbeispiel sind ein oder mehrere Tensorkerne in den Verarbeitungskemen 3510 enthalten. In mindestens einem Ausführungsbeispiel sind die Tensorkerne so konfiguriert, dass sie Deep-Learning-Matrixarithmetik durchführen, wie z.B. Faltungsoperationen für das Training neuronaler Netzwerke und Inferenzierung. In mindestens einem Ausführungsbeispiel arbeitet jeder Tensorkern mit einer 4x4-Matrix und führt eine Matrixmultiplikations- und Akkumulationsoperation durch, D = A X B + C, wobei A, B, C und D 4x4-Matrizen sind.
In mindestens einem Ausführungsbeispiel sind die Matrixmultiplikationseingänge A und B 16-Bit-Gleitkommamatrizen und die Akkumulationsmatrizen C und D 16-Bit-Gleitkomma- oder 32-Bit-Gleitkommamatrizen. In mindestens einem Ausführungsbeispiel arbeiten die Tensorkerne mit 16-Bit-Gleitkomma-Eingangsdaten und 32-Bit-Gleitkomma-Akkumulation. In mindestens einem Ausführungsbeispiel verwendet die 16-Bit-Gleitkommamultiplikation 64 Operationen und ergibt ein Produkt mit voller Genauigkeit, das dann durch 32-Bit-Gleitkommaaddition mit anderen Zwischenprodukten zu einer 4x4x4-Matrixmultiplikation akkumuliert wird. In mindestens einem Ausführungsbeispiel werden Tensor-Kerne verwendet, um viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die aus diesen kleineren Elementen aufgebaut sind. In mindestens einem Ausführungsbeispiel stellt eine API, wie z.B. eine CUDA 9 C++ API, spezialisierte Operationen zum Laden, Multiplizieren und Akkumulieren von Matrizen und zum Speichern von Matrizen bereit, um Tensorkerne von einem CUDA-C++ Programm aus effizient zu nutzen. In mindestens einem Ausführungsbeispiel geht eine Schnittstelle auf Warp-Ebene auf CUDA-Ebene von Matrizen der Größe 16x16 aus, die sich über alle 32 Threads des Warps erstrecken.
In mindestens einem Ausführungsbeispiel umfasst jeder SM 3500, ohne Einschränkung, M SFUs 3512, die spezielle Funktionen ausführen (z.B. Attributauswertung, reziproke Quadratwurzel und dergleichen). In mindestens einem Ausführungsbeispiel umfassen die SFUs 3512 ohne Einschränkung eine Baumverarbeitungseinheit, die zum Durchlaufen einer hierarchischen Baumdatenstruktur konfiguriert ist. In mindestens einem Ausführungsbeispiel umfassen die SFUs 3512 unter anderem eine Textureinheit, die so konfiguriert ist, dass sie Texturabbildungsfilterungsoperationen durchführt. In mindestens einem Ausführungsbeispiel sind die Textureinheiten so konfiguriert, dass sie Texturkarten (z.B. ein 2D-Array von Texeln) aus dem Speicher laden und Texturkarten abtasten, um abgetastete Texturwerte zur Verwendung in Shader-Programmen zu erzeugen, die von SM 3500 ausgeführt werden. In mindestens einem Ausführungsbeispiel werden die Texturkarten im gemeinsamen Speicher/L1-Cache 3518 gespeichert. In mindestens einem Ausführungsbeispiel implementieren Textureinheiten Texturoperationen wie Filteroperationen unter Verwendung von Mip-Maps (z.B. Texturkarten mit unterschiedlichen Detailstufen), gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel umfasst jedes SM 3500, ohne Einschränkung, zwei Textureinheiten.
Jedes SM 3500 umfasst ohne Einschränkung N LSUs 3514, die In mindestens einem Ausführungsbeispiel Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher/L1-Cache 3518 und der Registerdatei 3508 durchführen. Das Verbindungsnetzwerk 3516 verbindet In mindestens einem Ausführungsbeispiel jede Funktionseinheit mit der Registerdatei 3508 und die LSU 3514 mit der Registerdatei 3508 und dem gemeinsamen Speicher/L1-Cache 3518. In mindestens einem Ausführungsbeispiel ist das Verbindungsnetzwerk 3516 eine Kreuzschiene, die so konfiguriert werden kann, dass sie beliebige Funktionseinheiten mit beliebigen Registern in der Registerdatei 3508 verbindet und LSUs 3514 mit der Registerdatei 3508 und Speicherplätzen im gemeinsamen Speicher/L1-Cache 3518 verbindet.
In mindestens einem Ausführungsbeispiel ist der gemeinsam genutzte Speicher/L1-Cache 3518 ein Array von On-Chip-Speicher, der die Datenspeicherung und Kommunikation zwischen SM 3500 und primitiver Engine und zwischen Threads in SM 3500 ermöglicht. In mindestens einem Ausführungsbeispiel umfasst der gemeinsame Speicher/L1-Cache 3518 ohne Einschränkung 128 KB Speicherkapazität und befindet sich in einem Pfad vom SM 3500 zu einer Partitionseinheit. In mindestens einem Ausführungsbeispiel wird der gemeinsame Speicher/L1-Cache 3518 zum Zwischenspeichern von Lese- und Schreibvorgängen verwendet. In mindestens einem Ausführungsbeispiel handelt es sich bei einem oder mehreren von gemeinsamem Speicher/L1-Cache 3518, L2-Cache und Arbeitsspeicher um Backing-Stores.
Die Kombination von Datencache- und Shared-Memory-Funktionen in einem einzigen Speicherblock bietet In mindestens einem Ausführungsbeispiel eine verbesserte Leistung für beide Arten von Speicherzugriffen. In mindestens einem Ausführungsbeispiel wird die Kapazität von Programmen, die den gemeinsam genutzten Speicher nicht verwenden, als Cache genutzt oder kann von diesen genutzt werden, z.B. wenn der gemeinsam genutzte Speicher so konfiguriert ist, dass er die Hälfte einer Kapazität nutzt, und Textur- und Lade-/Speicheroperationen die verbleibende Kapazität nutzen können. Die Integration in den gemeinsam genutzten Speicher/L1-Cache 3518 ermöglicht es dem gemeinsam genutzten Speicher/L1-Cache 3518, gemäß mindestens einem Ausführungsbeispiel als durchsatzstarke Leitung für Streaming-Daten zu fungieren und gleichzeitig einen Zugriff auf häufig wiederverwendete Daten mit hoher Bandbreite und geringer Latenz zu ermöglichen. In mindestens einem Ausführungsbeispiel kann bei der Konfiguration für parallele Allzweckberechnungen eine einfachere Konfiguration als bei der Grafikverarbeitung verwendet werden. In mindestens einem Ausführungsbeispiel werden Grafikverarbeitungseinheiten mit festen Funktionen umgangen, wodurch ein wesentlich einfacheres Programmiermodell entsteht. In einer Konfiguration für allgemeine parallele Berechnungen weist eine Arbeitsverteilungseinheit In mindestens einem Ausführungsbeispiel Blöcke von Threads direkt den DPCs zu und verteilt sie. In mindestens einem Ausführungsbeispiel führen Threads in einem Block ein gemeinsames Programm aus, wobei eine eindeutige Thread-ID in der Berechnung verwendet wird, um sicherzustellen, dass jeder Thread eindeutige Ergebnisse erzeugt, wobei SM 3500 zur Ausführung des Programms und zur Durchführung von Berechnungen, gemeinsamer Speicher/L1-Cache 3518 zur Kommunikation zwischen Threads und LSU 3514 zum Lesen und Schreiben des globalen Speichers durch gemeinsamen Speicher/L1-Cache 3518 und Speicherpartitionseinheit verwendet werden. In mindestens einem Ausführungsbeispiel schreibt SM 3500, wenn es für allgemeine parallele Berechnungen konfiguriert ist, Befehle, die die Planer-Einheit 3504 verwenden kann, um neue Arbeiten auf DPCs zu starten.
In mindestens einem Ausführungsbeispiel ist eine PPU in einem Desktop-Computer, einem Laptop-Computer, einem Tablet-Computer, Servern, Supercomputern, einem Smartphone (z.B. einem drahtlosen Handheld-Gerät), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einem Head-Mounted-Display, einem elektronischen Handheld-Gerät usw. enthalten oder damit verbunden. In mindestens einem Ausführungsbeispiel ist eine PPU auf einem einzigen Halbleitersubstrat untergebracht. In mindestens einem Ausführungsbeispiel ist eine PPU in einem System-on-a-Chip („SoC“) zusammen mit einer oder mehreren anderen Vorrichtungen wie zusätzlichen PPUs, Speicher, einer CPU mit reduziertem Befehlssatz („RISC“), einer Speicherverwaltungseinheit („MMU“), einem Digital-AnalogWandler („DAC“) und dergleichen enthalten.
In mindestens einem Ausführungsbeispiel kann eine PPU in einer Grafikkarte enthalten sein, die eine oder mehrere Speichervorrichtungen umfasst. In mindestens einem Ausführungsbeispiel kann diese Grafikkarte so konfiguriert sein, dass sie mit einem PCIe-Steckplatz auf einer Hauptplatine eines Desktop-Computers verbunden werden kann. In mindestens einem Ausführungsbeispiel kann diese PPU eine integrierte Grafikverarbeitungseinheit („iGPU“) sein, die im Chipsatz einer Hauptplatine enthalten ist.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einem Ausführungsbeispiel wird der Deep-Learning-Anwendungsprozessor verwendet, um ein maschinelles Lernmodell, wie z.B. ein neuronales Netzwerkwerk, zu trainieren, um die dem SM 3500 bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einem Ausführungsbeispiel wird SM 3500 verwendet, um Informationen auf der Grundlage eines trainierten maschinellen Lernmodells (z.B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder von SM 3500 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einem Ausführungsbeispiel kann SM 3500 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle für neuronale Netzwerke durchzuführen.
Es werden Ausführungsformen offenbart, die sich auf eine virtualisierte Datenverarbeitungsplattform für fortgeschrittene Datenverarbeitung beziehen, wie z.B. Bildinferenzierung und Bildverarbeitung in medizinischen Anwendungen. Ohne Einschränkung können Ausführungsformen Radiographie, Magnetresonanztomographie (MRT), Nuklearmedizin, Ultraschall, Sonographie, Elastographie, photoakustische Bildgebung, Tomographie, Echokardiographie, funktionelle Nahinfrarotspektroskopie und Magnetpartikel-Bildgebung oder eine Kombination davon umfassen. In mindestens einem Ausführungsbeispiel können eine virtualisierte Computerplattform und die hierin beschriebenen zugehörigen Prozesse zusätzlich oder alternativ, ohne Einschränkung, in der forensischen Analyse, der Erkennung und Abbildung des Untergrunds (z.B. Ölexploration, Archäologie, Paläontologie usw.), der Topografie, der Ozeanografie, der Geologie, der Osteologie, der Meteorologie, der intelligenten Verfolgung und Überwachung von Gebieten oder Objekten, der Verarbeitung von Sensordaten (z.B. RADAR, SONAR, LIDAR usw.) und/oder der Genomik und Gensequenzierung eingesetzt werden.
Mit Bezug auf 36 ist 36 ein beispielhaftes Datenflussdiagramm für einen Prozess 3600 zum Erzeugen und Bereitstellen einer Bildverarbeitungs- und Inferenzpipeline in Übereinstimmung mit mindestens einer Ausführungsform. In mindestens einem Ausführungsbeispiel kann der Prozess 3600 zur Verwendung mit Bildverarbeitungsgeräten, Verarbeitungsgeräten, Genomikgeräten, Gensequenzierungsgeräten, Radiologiegeräten und/oder anderen Gerätetypen in einer oder mehreren Einrichtungen 3602, wie z.B. medizinischen Einrichtungen, Krankenhäusern, Gesundheitsinstituten, Kliniken, Forschungs- oder Diagnoselabors usw., eingesetzt werden. In mindestens einem Ausführungsbeispiel kann der Prozess 3600 eingesetzt werden, um eine genomische Analyse und Inferenzierung von Sequenzierungsdaten durchzuführen. Beispiele für genomische Analysen, die mit den hier beschriebenen Systemen und Verfahren durchgeführt werden können, sind unter anderem Variantenaufrufe, Mutationsnachweis und Quantifizierung der Genexpression.
In mindestens einem Ausführungsbeispiel kann der Prozess 3600 innerhalb eines Trainingssystems 3604 und/oder eines Einsatzsystems 3606 ausgeführt werden. In mindestens einem Ausführungsbeispiel kann das Trainingssystem 3604 verwendet werden, um das Training, den Einsatz und die Implementierung von maschinellen Lernmodellen (z.B. neuronale Netze, Objekterkennungsalgorithmen, Computer-Vision-Algorithmen usw.) zur Verwendung im Einsatzsystem 3606 durchzuführen. In mindestens einem Ausführungsbeispiel kann das Bereitstellungssystem 3606 so konfiguriert sein, dass es Verarbeitungs- und Rechenressourcen auf eine verteilte Computerumgebung verlagert, um die Infrastrukturanforderungen in der Einrichtung 3602 zu verringern. In mindestens einem Ausführungsbeispiel kann das Bereitstellungssystem 3606 eine optimierte Plattform für die Auswahl, Anpassung und Implementierung virtueller Instrumente zur Verwendung mit bildgebenden Geräten (z.B. MRT, CT-Scan, Röntgen, Ultraschall usw.) oder Sequenzierungsgeräten in der Einrichtung 3602 bieten. In mindestens einem Ausführungsbeispiel können virtuelle Instrumente softwaredefinierte Anwendungen zur Durchführung einer oder mehrerer Verarbeitungsoperationen in Bezug auf Bildgebungsdaten umfassen, die von Bildgebungsgeräten, Sequenzierungsgeräten, Radiologiegeräten und/oder anderen Gerätetypen erzeugt werden. In mindestens einem Ausführungsbeispiel können eine oder mehrere Anwendungen in einer Pipeline Dienste (z.B. Inferenz, Visualisierung, Berechnung, KI usw.) des Bereitstellungssystems 3606 während der Ausführung von Anwendungen nutzen oder aufrufen.
In mindestens einem Ausführungsbeispiel können einige der in fortgeschrittenen Verarbeitungs- und Inferenzpipelines verwendeten Anwendungen maschinelle Lernmodelle oder andere KI verwenden, um einen oder mehrere Verarbeitungsschritte durchzuführen. In mindestens einem Ausführungsbeispiel können maschinelle Lernmodelle in der Einrichtung 3602 unter Verwendung von Daten 3608 (z.B. Bildgebungsdaten) trainiert werden, die in der Einrichtung 3602 generiert (und auf einem oder mehreren PACS-Servern (Picture Archiving and Communication System) in der Einrichtung 3602 gespeichert) wurden, oder unter Verwendung von Bildgebungs- oder Sequenzierungsdaten 3608 aus einer anderen Einrichtung oder anderen Einrichtungen (z.B. einem anderen Krankenhaus, Labor, einer Klinik usw.) oder einer Kombination davon. In mindestens einem Ausführungsbeispiel kann das Trainingssystem 3604 verwendet werden, um Anwendungen, Dienste und/oder andere Ressourcen für die Erstellung funktionierender, einsatzfähiger maschineller Lernmodelle für das Einsatzsystem 3606 bereitzustellen.
In mindestens einem Ausführungsbeispiel kann eine Modellregistrierung 3624 durch einen Objektspeicher unterstützt werden, der Versionierung und Objektmetadaten unterstützt. In mindestens einem Ausführungsbeispiel kann der Objektspeicher z.B. über eine Cloud-Speicher (z.B. eine Cloud 3726 von 37) kompatible Anwendungsprogrammierschnittstelle (API) innerhalb einer Cloud-Plattform zugänglich sein. In mindestens einem Ausführungsbeispiel können Modelle für maschinelles Lernen in der Modellregistrierung 3624 von Entwicklern oder Partnern eines Systems, das mit einer API interagiert, hochgeladen, aufgelistet, geändert oder gelöscht werden. In mindestens einem Ausführungsbeispiel kann eine API Zugang zu Methoden bieten, die es Nutzern mit geeigneten Anmeldeinformationen ermöglichen, Modelle mit Anwendungen zu verknüpfen, so dass Modelle als Teil der Ausführung von containerisierten Instanziierungen von Anwendungen ausgeführt werden können.
In mindestens einem Ausführungsbeispiel kann eine Trainingspipeline 3704 (37) ein Szenario umfassen, in dem die Einrichtung 3602 ihr eigenes maschinelles Lemmodell trainiert oder ein bestehendes maschinelles Lemmodell hat, das optimiert oder aktualisiert werden muss. In mindestens einem Ausführungsbeispiel können Bildgebungsdaten 3608, die von Bildgebungsgeräten, Sequenziergeräten und/oder anderen Gerätetypen erzeugt wurden, empfangen werden. In mindestens einem Ausführungsbeispiel kann, sobald die Bilddaten 3608 empfangen wurden, die KI-gestützte Annotation 3610 verwendet werden, um bei der Erzeugung von Annotationen zu helfen, die den Bilddaten 3608 entsprechen und als Grundwahrheitsdaten für ein maschinelles Lemmodell verwendet werden sollen. In mindestens einem Ausführungsbeispiel kann die KI-unterstützte Annotation 3610 ein oder mehrere maschinelle Lernmodelle (z.B. Faltungsneuronale Netzwerke (CNNs)) umfassen, die trainiert werden können, um Annotationen zu erzeugen, die bestimmten Arten von Bilddaten 3608 (z.B. von bestimmten Geräten) und/oder bestimmten Arten von Anomalien in Bilddaten 3608 entsprechen. In mindestens einem Ausführungsbeispiel können die KI-unterstützten Anmerkungen 3610 dann direkt verwendet oder mit einem Annotationswerkzeug (z.B. von einem Forscher, Kliniker, Arzt, Wissenschaftler usw.) angepasst oder feinabgestimmt werden, um Grundwahrheitsdaten zu erzeugen. In mindestens einem Ausführungsbeispiel können in einigen Beispielen markierte Klinikdaten 3612 (z.B. Anmerkungen, die von einem Kliniker, Arzt, Wissenschaftler, Techniker usw. bereitgestellt werden) als Grundwahrheitsdaten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einem Ausführungsbeispiel können KI-gestützte Anmerkungen 3610, markierte Klinikdaten 3612 oder eine Kombination davon als Grundwahrheitsdaten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einem Ausführungsbeispiel kann ein trainiertes maschinelles Lemmodell als Ausgabemodell 3616 bezeichnet und vom Einsatzsystem 3606, wie hier beschrieben, verwendet werden.
In mindestens einem Ausführungsbeispiel kann die Trainingspipeline 3704 (37) ein Szenario umfassen, in dem die Einrichtung 3602 ein maschinelles Lemmodell zur Verwendung bei der Durchführung einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Bereitstellungssystem 3606 benötigt, die Einrichtung 3602 aber möglicherweise derzeit nicht über ein solches maschinelles Lemmodell verfügt (oder nicht über ein Modell, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einem Ausführungsbeispiel kann ein vorhandenes maschinelles Lemmodell aus der Modellregistrierung 3624 ausgewählt werden. In mindestens einem Ausführungsbeispiel kann die Modellregistrierung 3624 Modelle für maschinelles Lernen enthalten, die für die Durchführung einer Vielzahl von unterschiedlichen Schlussfolgerungen aus Bilddaten trainiert wurden. In mindestens einem Ausführungsbeispiel können die maschinellen Lernmodelle in der Modellregistrierung 3624 auf Bildgebungsdaten von anderen Einrichtungen als der Einrichtung 3602 (z.B. Einrichtungen an einem anderen Standort) trainiert worden sein. In mindestens einem Ausführungsbeispiel können die maschinellen Lernmodelle auf Bildgebungsdaten von einem Standort, zwei Standorten oder einer beliebigen Anzahl von Standorten trainiert worden sein. In mindestens einem Ausführungsbeispiel kann das Training mit Bildgebungsdaten eines bestimmten Standorts an diesem Standort oder zumindest auf eine Weise erfolgen, die die Vertraulichkeit der Bildgebungsdaten schützt oder die Übertragung von Bildgebungsdaten außerhalb des Standorts einschränkt (z.B. zur Einhaltung von HIPAA-Vorschriften, Datenschutzbestimmungen usw.). In mindestens einem Ausführungsbeispiel kann ein Modell des maschinellen Lernens, sobald es an einem Ort trainiert - oder teilweise trainiert - wurde, zum Modellregister 3624 hinzugefügt werden. In mindestens einem Ausführungsbeispiel kann ein maschinelles Lemmodell dann an einer beliebigen Anzahl anderer Einrichtungen neu trainiert oder aktualisiert werden, und ein neu trainiertes oder aktualisiertes Modell kann in der Modellregistrierung 3624 verfügbar gemacht werden. In mindestens einem Ausführungsbeispiel kann dann ein maschinelles Lemmodell aus der Modellregistrierung 3624 ausgewählt - und als Ausgabemodell 3616 bezeichnet - und im Einsatzsystem 3606 verwendet werden, um eine oder mehrere Verarbeitungsaufgaben für eine oder mehrere Anwendungen eines Einsatzsystems durchzuführen.
In mindestens einem Ausführungsbeispiel kann die Trainingspipeline 3704 (37) in einem Szenario verwendet werden, in dem die Einrichtung 3602 ein maschinelles Lemmodell zur Verwendung bei der Durchführung einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Bereitstellungssystem 3606 benötigt, aber die Einrichtung 3602 verfügt möglicherweise derzeit nicht über ein solches maschinelles Lemmodell (oder verfügt möglicherweise nicht über ein Modell, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einem Ausführungsbeispiel könnte ein aus dem Modellregister 3624 ausgewähltes maschinelles Lemmodell aufgrund von Unterschieden in den Populationen, genetischen Variationen, der Robustheit von Trainingsdaten, die zum Trainieren eines maschinellen Lernmodells verwendet werden, der Vielfalt von Anomalien in den Trainingsdaten und/oder anderen Problemen mit den Trainingsdaten nicht für die in der Einrichtung 3602 erzeugten Bildgebungsdaten 3608 feinabgestimmt oder optimiert sein. In mindestens einem Ausführungsbeispiel kann die KI-gestützte Annotation 3610 zur Unterstützung bei der Erstellung von Annotationen verwendet werden, die den Bildgebungsdaten 3608 entsprechen, die als Basisdaten für das Neutrainieren oder Aktualisieren eines maschinellen Lernmodells verwendet werden. In mindestens einem Ausführungsbeispiel können markierte Klinikdaten 3612 (z.B. Anmerkungen, die von einem Kliniker, Arzt, Wissenschaftler usw. bereitgestellt werden) als Grundwahrheitsdaten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einem Ausführungsbeispiel kann das Umlernen oder Aktualisieren eines maschinellen Lernmodells als Modelltraining 3614 bezeichnet werden. In mindestens einem Ausführungsbeispiel kann die Modellschulung 3614 - z.B. KI-gestützte Anmerkungen 3610, markierte Klinikdaten 3612 oder eine Kombination davon - als Grundwahrheitsdaten für die Umschulung oder Aktualisierung eines maschinellen Lernmodells verwendet werden.
In mindestens einem Ausführungsbeispiel kann das Bereitstellungssystem 3606 Software 3618, Dienste 3620, Hardware 3622 und/oder andere Komponenten, Merkmale und Funktionen enthalten. In mindestens einem Ausführungsbeispiel kann das Bereitstellungssystem 3606 einen Software-„Stack“ enthalten, so dass die Software 3618 auf den Diensten 3620 aufgebaut sein kann und die Dienste 3620 zur Ausführung einiger oder aller Verarbeitungsaufgaben verwenden kann, und die Dienste 3620 und die Software 3618 können auf der Hardware 3622 aufgebaut sein und die Hardware 3622 zur Ausführung von Verarbeitungs-, Speicher- und/oder anderen Berechnungsaufgaben des Bereitstellungssystems 3606 verwenden.
In mindestens einem Ausführungsbeispiel kann die Software 3618 eine beliebige Anzahl von verschiedenen Containern umfassen, wobei jeder Container eine Instanziierung einer Anwendung ausführen kann. In mindestens einem Ausführungsbeispiel kann jede Anwendung eine oder mehrere Verarbeitungsaufgaben in einer erweiterten Verarbeitungs- und Inferenzpipeline durchführen (z.B. Inferenz, Objekterkennung, Merkmalserkennung, Segmentierung, Bildverbesserung, Kalibrierung usw.). In mindestens einem Ausführungsbeispiel kann es für jede Art von Bildgebungsgerät (z.B. CT, MRI, Röntgen, Ultraschall, Sonografie, Echokardiografie usw.), Sequenzierungsgerät, Radiologiegerät, Genomikgerät usw. eine beliebige Anzahl von Containern geben, die eine Datenverarbeitungsaufgabe in Bezug auf die von einem Gerät erzeugten Bildgebungsdaten 3608 (oder andere Datentypen, wie die hierin beschriebenen) durchführen können. In mindestens einem Ausführungsbeispiel kann eine erweiterte Verarbeitungs- und Inferenzpipeline auf der Grundlage der Auswahl verschiedener Container definiert werden, die für die Verarbeitung von Bilddaten 3608 erwünscht oder erforderlich sind, zusätzlich zu Containern, die Bilddaten zur Verwendung durch jeden Container und/oder zur Verwendung durch die Einrichtung 3602 nach der Verarbeitung durch eine Pipeline empfangen und konfigurieren (z.B. (z.B. zur Rückkonvertierung der Ausgaben in einen verwendbaren Datentyp, wie DICOM-Daten (Digital Imaging and Communications in Medicine), RIS-Daten (Radiology Information System), CIS-Daten (Clinical Information System), RPC-Daten (Remote Procedure Call), Daten, die im Wesentlichen mit einer REST-Schnittstelle (Representation State Transfer) konform sind, Daten, die im Wesentlichen mit einer dateibasierten Schnittstelle konform sind, und/oder Rohdaten, zur Speicherung und Anzeige in der Einrichtung 3602). In mindestens einem Ausführungsbeispiel kann eine Kombination von Containern innerhalb der Software 3618 (die z.B. eine Pipeline bilden) als virtuelles Instrument bezeichnet werden (wie hierin ausführlicher beschrieben), und ein virtuelles Instrument kann Dienste 3620 und Hardware 3622 nutzen, um einige oder alle Verarbeitungsaufgaben von in Containern instanziierten Anwendungen auszuführen.
In mindestens einem Ausführungsbeispiel kann eine Datenverarbeitungspipeline Eingabedaten (z.B. Bildgebungsdaten 3608) in einem DICOM-, RIS-, CIS-, REST-konformen, RPC-, Roh- und/oder anderen Format als Reaktion auf eine Inferenzanforderung (z.B. eine Anforderung von einem Benutzer des Bereitstellungssystems 3606, wie einem Kliniker, einem Arzt, einem Radiologen usw.) empfangen. In mindestens einem Ausführungsbeispiel können die Eingabedaten ein oder mehrere Bilder, Videos und/oder andere Datendarstellungen darstellen, die von einem oder mehreren Bildgebungsgeräten, Sequenzierungsgeräten, Radiologiegeräten, Genomikgeräten und/oder anderen Gerätetypen erzeugt werden. In mindestens einem Ausführungsbeispiel können die Daten als Teil der Datenverarbeitungspipeline einer Vorverarbeitung unterzogen werden, um die Daten für die Verarbeitung durch eine oder mehrere Anwendungen vorzubereiten. In mindestens einem Ausführungsbeispiel kann eine Nachbearbeitung an einer Ausgabe einer oder mehrerer Inferenzaufgaben oder anderer Verarbeitungsaufgaben einer Pipeline vorgenommen werden, um Ausgabedaten für eine nächste Anwendung vorzubereiten und/oder Ausgabedaten für die Übertragung und/oder Verwendung durch einen Benutzer vorzubereiten (z.B. als Antwort auf eine Inferenzanforderung). In mindestens einem Ausführungsbeispiel können Inferenzaufgaben von einem oder mehreren maschinellen Lernmodellen durchgeführt werden, wie z.B. von trainierten oder eingesetzten neuronalen Netzen, die Ausgabemodelle 3616 des Trainingssystems 3604 enthalten können.
In mindestens einem Ausführungsbeispiel können Aufgaben der Datenverarbeitungspipeline in einem oder mehreren Containern gekapselt werden, die jeweils eine diskrete, voll funktionsfähige Instanziierung einer Anwendung und einer virtualisierten Rechenumgebung darstellen, die in der Lage ist, auf Modelle für maschinelles Lernen zu verweisen. In mindestens einem Ausführungsbeispiel können Container oder Anwendungen in einem privaten (z.B. zugangsbeschränkten) Bereich einer Containerregistrierung (hierin ausführlicher beschrieben) veröffentlicht werden, und trainierte oder eingesetzte Modelle können in der Modellregistrierung 3624 gespeichert und mit einer oder mehreren Anwendungen verknüpft werden. In mindestens einem Ausführungsbeispiel können Bilder von Anwendungen (z.B. Container-Images) in einer Container-Registry verfügbar sein, und sobald sie von einem Benutzer aus einer Container-Registry für den Einsatz in einer Pipeline ausgewählt wurden, kann ein Image verwendet werden, um einen Container für eine Instanziierung einer Anwendung zur Verwendung durch das System eines Benutzers zu erzeugen.
In mindestens einem Ausführungsbeispiel können Entwickler (z.B. Softwareentwickler, Kliniker, Ärzte usw.) Anwendungen (z.B. in Form von Containern) zur Durchführung von Bildverarbeitung und/oder Inferenzierung auf bereitgestellte Daten entwickeln, veröffentlichen und speichern. In mindestens einem Ausführungsbeispiel kann die Entwicklung, Veröffentlichung und/oder Speicherung unter Verwendung eines Softwareentwicklungskits (SDK) erfolgen, das mit einem System verbunden ist (z.B. um sicherzustellen, dass eine entwickelte Anwendung und/oder ein entwickelter Container mit einem System konform oder kompatibel ist). In mindestens einem Ausführungsbeispiel kann eine entwickelte Anwendung lokal (z.B. in einer ersten Einrichtung, mit Daten aus einer ersten Einrichtung) mit einem SDK getestet werden, das zumindest einige der Dienste 3620 als System unterstützen kann (z.B. das System 3700 von 37). Da DICOM-Objekte zwischen einem und Hunderten von Bildern oder anderen Datentypen enthalten können, kann In mindestens einem Ausführungsbeispiel ein Entwickler dafür verantwortlich sein, die Extraktion und Aufbereitung eingehender DICOM-Daten zu verwalten (z.B. Konstrukte festzulegen, Vorverarbeitungen in eine Anwendung einzubauen usw.). In mindestens einem Ausführungsbeispiel kann eine Anwendung nach ihrer Validierung durch das System 3700 (z.B. hinsichtlich Genauigkeit, Sicherheit, Datenschutz für Patienten usw.) in einem Container-Register zur Auswahl und/oder Implementierung durch einen Benutzer (z.B. ein Krankenhaus, eine Klinik, ein Labor, einen Gesundheitsdienstleister usw.) verfügbar sein, um eine oder mehrere Verarbeitungsaufgaben in Bezug auf Daten in einer Einrichtung (z.B. einer zweiten Einrichtung) eines Benutzers durchzuführen.
In mindestens einem Ausführungsbeispiel können Entwickler dann Anwendungen oder Container über ein Netzwerk für den Zugriff und die Verwendung durch Benutzer eines Systems freigeben (z.B. System 3700 von 37). In mindestens einem Ausführungsbeispiel können abgeschlossene und validierte Anwendungen oder Container in einem Containerregister gespeichert werden, und zugehörige maschinelle Lernmodelle können im Modellregister 3624 gespeichert werden. In mindestens einem Ausführungsbeispiel kann eine anfragende Einheit (z.B. ein Benutzer in einer medizinischen Einrichtung), die eine Inferenz- oder Bildverarbeitungsanforderung stellt, ein Containerregister und/oder Modellregister 3624 nach einer Anwendung, einem Container, einem Datensatz, einem maschinellen Lemmodell usw. durchsuchen, eine gewünschte Kombination von Elementen zur Aufnahme in die Datenverarbeitungspipeline auswählen und eine Bildverarbeitungsanforderung übermitteln. In mindestens einem Ausführungsbeispiel kann eine Anforderung Eingabedaten (und in einigen Beispielen zugehörige Patientendaten) enthalten, die zur Durchführung einer Anforderung erforderlich sind, und/oder eine Auswahl von Anwendungen und/oder maschinellen Lernmodellen, die bei der Verarbeitung einer Anforderung ausgeführt werden sollen. In mindestens einem Ausführungsbeispiel kann eine Anforderung dann an eine oder mehrere Komponenten des Bereitstellungssystems 3606 (z.B. eine Cloud) weitergeleitet werden, um die Verarbeitung der Datenverarbeitungspipeline durchzuführen. In mindestens einem Ausführungsbeispiel kann die Verarbeitung durch das Bereitstellungssystem 3606 die Referenzierung ausgewählter Elemente (z.B. Anwendungen, Container, Modelle usw.) aus einer Containerregistrierung und/oder Modellregistrierung 3624 umfassen. In mindestens einem Ausführungsbeispiel können die Ergebnisse, sobald sie von einer Pipeline erzeugt wurden, an einen Benutzer als Referenz zurückgegeben werden (z.B. zur Anzeige in einer Anzeigeanwendungssuite, die auf einer lokalen, ortsfesten Workstation oder einem Terminal ausgeführt wird). In mindestens einem Ausführungsbeispiel kann ein Radiologe Ergebnisse von einer Datenverarbeitungspipeline erhalten, die eine beliebige Anzahl von Anwendungen und/oder Containern umfasst, wobei die Ergebnisse die Erkennung von Anomalien in Röntgenbildern, CT-Scans, MRTs usw. umfassen können.
In mindestens einem Ausführungsbeispiel können zur Unterstützung der Verarbeitung oder Ausführung von Anwendungen oder Containern in Pipelines Dienste 3620 genutzt werden. In mindestens einem Ausführungsbeispiel können die Dienste 3620 Rechendienste, Dienste für künstliche Intelligenz (KI), Visualisierungsdienste und/oder andere Diensttypen umfassen. In mindestens einem Ausführungsbeispiel können die Dienste 3620 Funktionen bereitstellen, die einer oder mehreren Anwendungen in der Software 3618 gemeinsam sind, so dass die Funktionen zu einem Dienst abstrahiert werden können, der von Anwendungen aufgerufen oder genutzt werden kann. In mindestens einem Ausführungsbeispiel kann die von den Diensten 3620 bereitgestellte Funktionalität dynamisch und effizienter ablaufen und gleichzeitig gut skalieren, indem sie Anwendungen die parallele Verarbeitung von Daten ermöglicht (z.B. unter Verwendung einer parallelen Rechenplattform 3730 (37)). In mindestens einem Ausführungsbeispiel muss nicht jede Anwendung, die dieselbe von einem Dienst 3620 angebotene Funktionalität nutzt, über eine entsprechende Instanz des Dienstes 3620 verfügen, sondern der Dienst 3620 kann von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einem Ausführungsbeispiel können die Dienste einen Inferenzserver oder eine Inferenzmaschine umfassen, der/die zur Ausführung von Erkennungs- oder Segmentierungsaufgaben verwendet werden kann. In mindestens einem Ausführungsbeispiel kann ein Modellschulungsdienst enthalten sein, der die Schulung und/oder Umschulung von Modellen des maschinellen Lernens ermöglicht. In mindestens einem Ausführungsbeispiel kann weiter ein Datenerweiterungsdienst enthalten sein, der GPU-beschleunigte Daten (z.B. DICOM, RIS, CIS, REST-konforme Daten, RPC, Rohdaten usw.) extrahieren, in der Größe verändern, skalieren und/oder andere Erweiterungen vornehmen kann. In mindestens einem Ausführungsbeispiel kann ein Visualisierungsdienst verwendet werden, der Bildwiedergabeeffekte - wie Raytracing, Rasterung, Rauschunterdrückung, Schärfung usw. - hinzufügen kann. - um zweidimensionalen (2D) und/oder dreidimensionalen (3D) Modellen mehr Realismus zu verleihen. In mindestens einem Ausführungsbeispiel können Dienste für virtuelle Instrumente enthalten sein, die Strahlformung, Segmentierung, Inferenzierung, Bildgebung und/oder Unterstützung für andere Anwendungen innerhalb von Pipelines virtueller Instrumente bieten.
In mindestens einem Ausführungsbeispiel, in der ein Dienst 3620 einen KI-Dienst (z.B. einen Inferenzdienst) umfasst, können ein oder mehrere maschinelle Lernmodelle, die mit einer Anwendung zur Erkennung von Anomalien (z.B. Tumoren, Wachstumsanomalien, Narbenbildung usw.) verbunden sind, ausgeführt werden, indem ein Inferenzdienst (z.B. ein Inferenzserver) aufgerufen wird (z.B. als API-Aufruf), um ein oder mehrere maschinelle Lernmodelle oder deren Verarbeitung als Teil der Anwendungsausführung auszuführen. In mindestens einem Ausführungsbeispiel, in der eine andere Anwendung ein oder mehrere maschinelle Lernmodelle für Segmentierungsaufgaben enthält, kann eine Anwendung einen Inferenzdienst aufrufen, um maschinelle Lernmodelle auszuführen, um eine oder mehrere der mit Segmentierungsaufgaben verbundenen Verarbeitungsoperationen durchzuführen. In mindestens einem Ausführungsbeispiel kann die Software 3618, die eine fortgeschrittene Verarbeitungs- und Inferenzpipeline implementiert, die eine Segmentierungsanwendung und eine Anomalieerkennungsanwendung umfasst, rationalisiert werden, da jede Anwendung denselben Inferenzdienst zur Durchführung einer oder mehrerer Inferenzaufgaben aufrufen kann.
In mindestens einem Ausführungsbeispiel kann die Hardware 3622 GPUs, CPUs, Grafikkarten, ein KI-/Deep-Learning-System (z.B. einen KI-Supercomputer, wie das DGX-Supercomputersystem von NVIDIA), eine Cloud-Plattform oder eine Kombination davon umfassen. In mindestens einem Ausführungsbeispiel können verschiedene Arten von Hardware 3622 verwendet werden, um eine effiziente, zweckgebundene Unterstützung für Software 3618 und Dienste 3620 im Bereitstellungssystem 3606 bereitzustellen. In mindestens einem Ausführungsbeispiel kann die Verwendung von GPU-Verarbeitung für die Verarbeitung lokal (z.B. in der Einrichtung 3602), innerhalb eines KI/Deep-Learning-Systems, in einem Cloud-System und/oder in anderen Verarbeitungskomponenten des Bereitstellungssystems 3606 implementiert werden, um die Effizienz, Genauigkeit und Wirksamkeit von Bildverarbeitung, Bildrekonstruktion, Segmentierung, MRT-Untersuchungen, Schlaganfall- oder Herzinfarkt-Erkennung (z.B. in Echtzeit), Bildqualität beim Rendern usw. zu verbessern. In mindestens einem Ausführungsbeispiel kann eine Einrichtung bildgebende Geräte, Genomikgeräte, Sequenzierungsgeräte und/oder andere Gerätetypen vor Ort umfassen, die GPUs nutzen können, um bildgebende Daten zu erzeugen, die für die Anatomie eines Patienten repräsentativ sind.
In mindestens einem Ausführungsbeispiel können die Software 3618 und/oder die Dienste 3620 für die GPU-Verarbeitung im Hinblick auf Deep Learning, maschinelles Lernen und/oder Hochleistungsrechnen optimiert sein, als nicht einschränkende Beispiele. In mindestens einem Ausführungsbeispiel kann zumindest ein Teil der Rechenumgebung des Einsatzsystems 3606 und/oder des Trainingssystems 3604 in einem Rechenzentrum auf einem oder mehreren Supercomputern oder Hochleistungsrechnern mit GPU-optimierter Software (z.B. Hardware- und Softwarekombination des DGX-Systems von NVIDIA) ausgeführt werden. In mindestens einem Ausführungsbeispiel können die Rechenzentren den Bestimmungen des HIPAA entsprechen, so dass der Empfang, die Verarbeitung und die Übertragung von Bildgebungsdaten und/oder anderen Patientendaten im Hinblick auf den Schutz der Patientendaten sicher gehandhabt wird. In mindestens einem Ausführungsbeispiel kann die Hardware 3622 eine beliebige Anzahl von GPUs umfassen, die zur parallelen Verarbeitung von Daten, wie hier beschrieben, herangezogen werden können. In mindestens einem Ausführungsbeispiel kann die Cloud-Plattform außerdem eine GPU-Verarbeitung für die GPU-optimierte Ausführung von Deep-Learning-Aufgaben, maschinellen Lernaufgaben oder anderen Rechenaufgaben umfassen. In mindestens einem Ausführungsbeispiel kann die Cloud-Plattform (z.B. NVIDIAs NGC) unter Verwendung von KI/Deep-Learning-Supercomputern und/oder GPU-optimierter Software (z.B. wie auf NVIDIAs DGX-Systemen) als Hardware-Abstraktions- und Skalierungsplattform ausgeführt werden. In mindestens einem Ausführungsbeispiel kann die Cloud-Plattform ein Anwendungscontainer-Clustering-System oder ein Orchestrierungssystem (z.B. KUBERNETES) auf mehreren GPUs integrieren, um eine nahtlose Skalierung und Lastverteilung zu ermöglichen.
37 ist ein Systemdiagramm für ein Beispielsystem 3700 zum Erzeugen und Bereitstellen einer Bildverarbeitungsbereitstellungspipeline in Übereinstimmung mit mindestens einer Ausführungsform. In mindestens einem Ausführungsbeispiel kann das System 3700 verwendet werden, um den Prozess 3600 von 36 und/oder andere Prozesse einschließlich fortgeschrittener Verarbeitungs- und Inferenzpipelines zu implementieren. In mindestens einem Ausführungsbeispiel kann das System 3700 das Schulungssystem 3604 und das Einsatzsystem 3606 umfassen. In mindestens einem Ausführungsbeispiel können das Schulungssystem 3604 und das Bereitstellungssystem 3606 unter Verwendung von Software 3618, Diensten 3620 und/oder Hardware 3622, wie hierin beschrieben, implementiert werden.
In mindestens einem Ausführungsbeispiel kann das System 3700 (z.B. das Schulungssystem 3604 und/oder das Einsatzsystem 3606) in einer Cloud-Computing-Umgebung implementiert werden (z.B. unter Verwendung der Cloud 3726). In mindestens einem Ausführungsbeispiel kann das System 3700 lokal in Bezug auf eine Einrichtung des Gesundheitswesens oder als eine Kombination aus Cloud- und lokalen Rechenressourcen implementiert werden. In mindestens einem Ausführungsbeispiel können in Ausführungsformen, in denen Cloud Computing implementiert ist, Patientendaten von einer oder mehreren Komponenten des Systems 3700 getrennt oder von diesen nicht verarbeitet werden, was die Verarbeitung nicht konform mit HIPAA und/oder anderen Datenhandhabungs- und Datenschutzvorschriften oder -gesetzen machen würde. In mindestens einem Ausführungsbeispiel kann der Zugriff auf APIs in der Cloud 3726 durch festgelegte Sicherheitsmaßnahmen oder -protokolle auf autorisierte Benutzer beschränkt werden. In mindestens einem Ausführungsbeispiel kann ein Sicherheitsprotokoll Web-Token enthalten, die von einem Authentifizierungsdienst (z.B. AuthN, AuthZ, Gluecon usw.) signiert und mit einer entsprechenden Autorisierung versehen sein können. In mindestens einem Ausführungsbeispiel können APIs virtueller Instrumente (wie hier beschrieben) oder andere Instanzen des Systems 3700 auf eine Reihe öffentlicher IPs beschränkt sein, die für die Interaktion überprüft oder autorisiert wurden.
In mindestens einem Ausführungsbeispiel können verschiedene Komponenten des Systems 3700 unter Verwendung einer Vielzahl verschiedener Netzwerktypen, einschließlich, aber nicht beschränkt auf lokale Netzwerke (LANs) und/oder Weitverkehrsnetze (WANs), über verdrahtete und/oder drahtlose Kommunikationsprotokolle miteinander kommunizieren. In mindestens einem Ausführungsbeispiel kann die Kommunikation zwischen Einrichtungen und Komponenten des Systems 3700 (z.B. zum Übertragen von Ableitungsanforderungen, zum Empfangen von Ergebnissen von Ableitungsanforderungen usw.) über einen Datenbus oder Datenbusse, drahtlose Datenprotokolle (Wi-Fi), verdrahtete Datenprotokolle (z.B. Ethernet) usw. erfolgen.
In mindestens einem Ausführungsbeispiel kann das Trainingssystem 3604 Trainingspipelines 3704 ausführen, ähnlich denen, die hier in Bezug auf 36 beschrieben sind. In mindestens einem Ausführungsbeispiel, in der ein oder mehrere maschinelle Lernmodelle in Einsatzpipelines 3710 durch das Einsatzsystem 3606 verwendet werden sollen, können die Trainingspipelines 3704 verwendet werden, um ein oder mehrere (z.B. vortrainierte) Modelle zu trainieren oder neu zu trainieren und/oder ein oder mehrere vortrainierte Modelle 3706 zu implementieren (z.B. ohne die Notwendigkeit eines erneuten Trainings oder einer Aktualisierung). In mindestens einem Ausführungsbeispiel können als Ergebnis der Trainings-Pipelines 3704 Ausgabemodell(e) 3616 erzeugt werden. In mindestens einem Ausführungsbeispiel können die Trainings-Pipelines 3704 eine beliebige Anzahl von Verarbeitungsschritten umfassen, wie z.B. die Konvertierung oder Anpassung von Bilddaten (oder anderen Eingabedaten) (z.B. (z.B. unter Verwendung des DICOM-Adapters 3702A zur Konvertierung von DICOM-Bildern in ein anderes Format, das für die Verarbeitung durch entsprechende maschinelle Lernmodelle geeignet ist, wie z.B. das Format der Neuroimaging Informatics Technology Initiative (NIfTI)), die KI-gestützte Annotation 3610, die Markierung oder Annotation von Bilddaten 3608 zur Erzeugung von markierten Klinikdaten 3612, die Modellauswahl aus einem Modellregister, das Modelltraining 3614, das Training, das Umlernen oder die Aktualisierung von Modellen und/oder andere Verarbeitungsschritte. In mindestens einem Ausführungsbeispiel können für verschiedene maschinelle Lernmodelle, die vom Einsatzsystem 3606 verwendet werden, verschiedene Trainingspipelines 3704 verwendet werden. In mindestens einem Ausführungsbeispiel kann für ein erstes maschinelles Lernmodell eine Trainingspipeline 3704 verwendet werden, die einem ersten, in 36 beschriebenen Beispiel entspricht, für ein zweites maschinelles Lernmodell eine Trainingspipeline 3704, die einem zweiten, in 36 beschriebenen Beispiel entspricht, und für ein drittes maschinelles Lernmodell eine Trainingspipeline 3704, die einem dritten, in 36 beschriebenen Beispiel entspricht. In mindestens einem Ausführungsbeispiel kann eine beliebige Kombination von Aufgaben innerhalb des Schulungssystems 3604 verwendet werden, je nachdem, was für jedes jeweilige maschinelle Lernmodell erforderlich ist. In mindestens einem Ausführungsbeispiel können eines oder mehrere der maschinellen Lernmodelle bereits trainiert und einsatzbereit sein, so dass die maschinellen Lernmodelle keiner Verarbeitung durch das Trainingssystem 3604 unterzogen und durch das Einsatzsystem 3606 implementiert werden können.
In mindestens einem Ausführungsbeispiel können das (die) Ausgabemodell(e) 3616 und/oder das (die) vortrainierte(n) Modell(e) 3706 alle Arten von maschinellen Lernmodellen umfassen, je nach Implementierung oder Ausführungsform. In mindestens einem Ausführungsbeispiel und ohne Einschränkung können die vom System 3700 verwendeten maschinellen Lernmodelle maschinelle Lernmodelle unter Verwendung von linearer Regression, logistischer Regression, Entscheidungsbäumen, Support-Vektor-Maschinen (SVM), Naive Bayes, k-nächster Nachbar (Knn), K-Mittel-Clustering, Random Forest, Dimensionalitätsreduktionsalgorithmen, Gradient-Boosting-Algorithmen, neuronalen Netzwerken (z.B. Autokodierer) und anderen Methoden umfassen, z.B. Autokodierer, Faltungsalgorithmen, rekurrente Algorithmen, Perceptrons, Long/Short Term Memory (LSTM), Hopfield, Boltzmann, Deep Belief, Deconvolutional, Generative Adversarial, Liquid State Machine usw.) und/oder andere Arten von maschinellen Lernmodellen.
In mindestens einem Ausführungsbeispiel können die Trainingspipelines 3704 KI-gestützte Annotation umfassen, wie hierin in Bezug auf mindestens 40B ausführlicher beschrieben. In mindestens einem Ausführungsbeispiel können markierte Klinikdaten 3612 (z.B. traditionelle Annotation) durch eine beliebige Anzahl von Techniken erzeugt werden. In mindestens einem Ausführungsbeispiel können Markierungen oder andere Anmerkungen in einem Zeichenprogramm (z.B. einem Anmerkungsprogramm), einem CAD-Programm (Computer Aided Design), einem Markierungsprogramm oder einer anderen Art von Programm erzeugt werden, das zur Erzeugung von Anmerkungen oder Markierungen für die Grundwahrheit geeignet ist, und/oder in einigen Beispielen von Hand gezeichnet werden. In mindestens einem Ausführungsbeispiel können die Grundwahrheitsdaten synthetisch erzeugt werden (z.B. aus Computermodellen oder Renderings), real erzeugt werden (z.B. aus realen Daten entworfen und erzeugt werden), maschinell automatisiert werden (z.B. unter Verwendung von Merkmalsanalyse und Lernen, um Merkmale aus Daten zu extrahieren und dann Markierungen zu erzeugen), von Menschen markiert werden (z.B. Beschrifter oder Markierungsexperte, der die Position der Markierungen definiert) und/oder eine Kombination davon. In mindestens einem Ausführungsbeispiel kann es für jede Instanz von Bilddaten 3608 (oder anderen Datentypen, die von maschinellen Lernmodellen verwendet werden) entsprechende Grundwahrheitsdaten geben, die vom Trainingssystem 3604 erzeugt werden. In mindestens einem Ausführungsbeispiel kann die KI-gestützte Annotation als Teil der Einsatzpipelines 3710 durchgeführt werden, entweder zusätzlich zu oder anstelle der KI-gestützten Annotation, die in den Trainingspipelines 3704 enthalten ist. In mindestens einem Ausführungsbeispiel kann das System 3700 eine mehrschichtige Plattform umfassen, die eine Softwareschicht (z.B. Software 3618) von Diagnoseanwendungen (oder anderen Anwendungstypen) enthalten kann, die eine oder mehrere medizinische Bildgebungs- und Diagnosefunktionen ausführen können. In mindestens einem Ausführungsbeispiel kann das System 3700 kommunikativ (z.B. über verschlüsselte Verbindungen) mit PACS-Servernetzwerken einer oder mehrerer Einrichtungen verbunden sein. In mindestens einem Ausführungsbeispiel kann das System 3700 so konfiguriert sein, dass es auf Daten (z.B. DICOM-Daten, RIS-Daten, Rohdaten, CIS-Daten, REST-konforme Daten, RPC-Daten, Rohdaten usw.) von PACS-Servern zugreift und diese referenziert (z.B. über einen DICOM-Adapter 3702 oder einen anderen Datentyp-Adapter wie RIS, CIS, REST-konforme Daten, RPC-Daten, Rohdaten usw.), um Operationen wie das Trainieren von Modellen für maschinelles Lernen, den Einsatz von Modellen für maschinelles Lernen, die Bildverarbeitung, Inferenzierung und/oder andere Operationen durchzuführen.
In mindestens einem Ausführungsbeispiel kann eine Softwareschicht als sichere, verschlüsselte und/oder authentifizierte API implementiert werden, über die Anwendungen oder Container aus einer externen Umgebung (z.B. Einrichtung 3602) aufgerufen werden können. In mindestens einem Ausführungsbeispiel können Anwendungen dann einen oder mehrere Dienste 3620 zur Durchführung von Rechen-, KI- oder Visualisierungsaufgaben im Zusammenhang mit den jeweiligen Anwendungen aufrufen oder ausführen, und die Software 3618 und/oder die Dienste 3620 können die Hardware 3622 nutzen, um Verarbeitungsaufgaben auf effektive und effiziente Weise durchzuführen.
In mindestens einem Ausführungsbeispiel kann das Bereitstellungssystem 3606 Bereitstellungspipelines 3710 ausführen. In mindestens einem Ausführungsbeispiel können Bereitstellungspipelines 3710 eine beliebige Anzahl von Anwendungen enthalten, die sequentiell, nicht-sequentiell oder auf andere Weise auf Bildgebungsdaten (und/oder andere Datentypen) angewendet werden können, die von Bildgebungsgeräten, Sequenzierungsgeräten, Genomikgeräten usw. erzeugt werden. - einschließlich KI-gestützter Annotation, wie oben beschrieben. In mindestens einer hier beschriebenen Ausführungsform kann eine Bereitstellungspipeline 3710 für ein einzelnes Gerät als virtuelles Instrument für ein Gerät bezeichnet werden (z.B. ein virtuelles Ultraschallinstrument, ein virtuelles CT-Scan-Instrument, ein virtuelles Sequenzierungsinstrument usw.). In mindestens einem Ausführungsbeispiel kann es für ein einzelnes Gerät mehr als eine Einsatzpipeline 3710 geben, je nachdem, welche Informationen aus den von einem Gerät erzeugten Daten gewünscht werden. In mindestens einem Ausführungsbeispiel kann es eine erste Bereitstellungspipeline 3710 geben, wenn die Erkennung von Anomalien von einem MRT-Gerät gewünscht wird, und eine zweite Bereitstellungspipeline 3710, wenn eine Bildverbesserung von der Ausgabe eines MRT-Geräts gewünscht wird.
In mindestens einem Ausführungsbeispiel können die Anwendungen, die für die Bereitstellungspipelines 3710 zur Verfügung stehen, alle Anwendungen umfassen, die für die Durchführung von Verarbeitungsaufgaben an Bilddaten oder anderen Daten von Geräten verwendet werden können. In mindestens einem Ausführungsbeispiel können verschiedene Anwendungen für die Bildverbesserung, Segmentierung, Rekonstruktion, Anomalieerkennung, Objekterkennung, Merkmalserkennung, Behandlungsplanung, Dosimetrie, Strahlenplanung (oder andere Strahlenbehandlungsverfahren) und/oder andere Analyse-, Bildverarbeitungs- oder Inferenzaufgaben verantwortlich sein. In mindestens einem Ausführungsbeispiel kann das Bereitstellungssystem 3606 Konstrukte für jede der Anwendungen definieren, so dass die Benutzer des Bereitstellungssystems 3606 (z.B. medizinische Einrichtungen, Labore, Kliniken usw.) die Konstrukte verstehen und die Anwendungen für die Implementierung in ihrer jeweiligen Einrichtung anpassen können. In mindestens einem Ausführungsbeispiel kann eine Anwendung zur Bildrekonstruktion für die Aufnahme in die Bereitstellungspipeline 3710 ausgewählt werden, aber der von einem bildgebenden Gerät erzeugte Datentyp kann sich von einem in einer Anwendung verwendeten Datentyp unterscheiden. In mindestens einem Ausführungsbeispiel kann der DICOM-Adapter 3702B (und/oder ein DICOM-Lesegerät) oder ein anderer Datentyp-Adapter oder ein anderes Lesegerät (z.B. RIS, CIS, REST-konform, RPC, raw usw.) in der Bereitstellungspipeline 3710 verwendet werden, um Daten in eine Form zu konvertieren, die von einer Anwendung im Bereitstellungssystem 3606 verwendet werden kann. In mindestens einem Ausführungsbeispiel kann der Zugriff auf DICOM-, RIS-, CIS-, REST-konforme, RPC-, Rohdaten- und/oder andere Datentypbibliotheken akkumuliert und vorverarbeitet werden, einschließlich Dekodierung, Extraktion und/oder Durchführung von Faltungen, Farbkorrekturen, Schärfe, Gamma und/oder anderen Erweiterungen der Daten. In mindestens einem Ausführungsbeispiel können DICOM-, RIS-, CIS-, REST-konforme, RPC- und/oder Rohdaten ungeordnet sein und ein Vorlauf kann ausgeführt werden, um die gesammelten Daten zu organisieren oder zu sortieren. In mindestens einem Ausführungsbeispiel kann eine Datenerweiterungsbibliothek (z.B. als einer der Dienste 3620) zur Beschleunigung dieser Vorgänge verwendet werden, da verschiedene Anwendungen gemeinsame Bildoperationen durchführen können. In mindestens einem Ausführungsbeispiel kann zur Vermeidung von Engpässen bei herkömmlichen Verarbeitungsansätzen, die sich auf die CPU-Verarbeitung stützen, eine parallele Rechenplattform 3730 zur GPU-Beschleunigung dieser Verarbeitungsaufgaben verwendet werden.
In mindestens einem Ausführungsbeispiel kann eine Bildrekonstruktionsanwendung eine Verarbeitungsaufgabe umfassen, die die Verwendung eines maschinellen Lernmodells beinhaltet. In mindestens einem Ausführungsbeispiel kann ein Benutzer wünschen, sein eigenes maschinelles Lernmodell zu verwenden oder ein maschinelles Lernmodell aus dem Modellregister 3624 auszuwählen. In mindestens einem Ausführungsbeispiel kann ein Benutzer sein eigenes maschinelles Lernmodell implementieren oder ein maschinelles Lernmodell zur Aufnahme in eine Anwendung zur Durchführung einer Verarbeitungsaufgabe auswählen. In mindestens einem Ausführungsbeispiel können Anwendungen auswählbar und anpassbar sein, und durch die Definition von Konstrukten von Anwendungen wird die Bereitstellung und Implementierung von Anwendungen für einen bestimmten Benutzer als eine nahtlosere Benutzererfahrung dargestellt. In mindestens einem Ausführungsbeispiel können Entwicklungspipelines 3710 durch die Nutzung anderer Merkmale des Systems 3700 - wie Dienste 3620 und Hardware 3622 - noch benutzerfreundlicher sein, eine einfachere Integration ermöglichen und genauere, effizientere und zeitgerechtere Ergebnisse liefern.
In mindestens einem Ausführungsbeispiel kann das Bereitstellungssystem 3606 eine Benutzerschnittstelle 3714 (z.B. eine grafische Benutzerschnittstelle, eine Webschnittstelle usw.) enthalten, die verwendet werden kann, um Anwendungen zur Aufnahme in die Bereitstellungspipeline(s) 3710 auszuwählen, Anwendungen anzuordnen, Anwendungen oder Parameter oder Konstrukte davon zu modifizieren oder zu ändern, die Bereitstellungspipeline(s) 3710 während der Einrichtung und/oder Bereitstellung zu verwenden und mit ihr zu interagieren und/oder anderweitig mit dem Bereitstellungssystem 3606 zu interagieren. In mindestens einem Ausführungsbeispiel, die in Bezug auf das Schulungssystem 3604 nicht dargestellt ist, kann die Benutzerschnittstelle 3714 (oder eine andere Benutzerschnittstelle) zur Auswahl von Modellen für die Verwendung im Einsatzsystem 3606, zur Auswahl von Modellen für das Training oder das erneute Training im Schulungssystem 3604 und/oder für die sonstige Interaktion mit dem Schulungssystem 3604 verwendet werden.
In mindestens einem Ausführungsbeispiel kann der Pipeline-Manager 3712 zusätzlich zu einem Anwendungs-Orchestrierungssystem 3728 verwendet werden, um die Interaktion zwischen Anwendungen oder Containern der Bereitstellungspipeline(s) 3710 und Diensten 3620 und/oder Hardware 3622 zu verwalten. In mindestens einem Ausführungsbeispiel kann der Pipeline-Manager 3712 so konfiguriert sein, dass er die Interaktion von Anwendung zu Anwendung, von Anwendung zu Dienst 3620 und/oder von Anwendung oder Dienst zu Hardware 3622 erleichtert. In mindestens einem Ausführungsbeispiel ist der Pipeline-Manager 3712 in den Diensten 3620 enthalten, obwohl er als in der Software 3618 enthalten dargestellt ist, was jedoch nicht als Einschränkung zu verstehen ist, und in einigen Beispielen (z.B. wie in 38 dargestellt) kann der Pipeline-Manager 3712 in den Diensten 3620 enthalten sein. In mindestens einem Ausführungsbeispiel kann das Anwendungs-Orchestrierungssystem 3728 (z.B. Kubernetes, DOCKER usw.) ein Container-Orchestrierungssystem umfassen, das Anwendungen in Containern als logische Einheiten zur Koordination, Verwaltung, Skalierung und Bereitstellung gruppieren kann. In mindestens einem Ausführungsbeispiel kann durch die Zuordnung von Anwendungen aus der/den Bereitstellungspipeline(s) 3710 (z.B. eine Rekonstruktionsanwendung, eine Segmentierungsanwendung usw.) zu einzelnen Containern jede Anwendung in einer in sich geschlossenen Umgebung (z.B. auf Kernel-Ebene) ausgeführt werden, um die Geschwindigkeit und Effizienz zu erhöhen.
In mindestens einem Ausführungsbeispiel kann jede Anwendung und/oder jeder Container (oder ein Image davon) individuell entwickelt, modifiziert und bereitgestellt werden (z.B. kann ein erster Benutzer oder Entwickler eine erste Anwendung entwickeln, modifizieren und bereitstellen, und ein zweiter Benutzer oder Entwickler kann eine zweite Anwendung separat von einem ersten Benutzer oder Entwickler entwickeln, modifizieren und bereitstellen), was die Konzentration auf und die Aufmerksamkeit für eine Aufgabe einer einzelnen Anwendung und/oder eines einzelnen Containers ermöglichen kann, ohne durch Aufgaben einer anderen Anwendung oder eines anderen Containers behindert zu werden. In mindestens einem Ausführungsbeispiel kann die Kommunikation und Zusammenarbeit zwischen verschiedenen Containern oder Anwendungen durch den Pipeline-Manager 3712 und das Anwendungs-Orchestrierungssystem 3728 unterstützt werden. In mindestens einem Ausführungsbeispiel kann, solange eine erwartete Eingabe und/oder Ausgabe jedes Containers oder jeder Anwendung einem System bekannt ist (z.B. auf der Grundlage von Konstrukten von Anwendungen oder Containern), das Anwendungs-Orchestrierungssystem 3728 und/oder der Pipeline-Manager 3712 die Kommunikation zwischen den Anwendungen oder Containern und die gemeinsame Nutzung von Ressourcen zwischen ihnen erleichtern. In mindestens einem Ausführungsbeispiel, da eine oder mehrere Anwendungen oder Container in der/den Bereitstellungspipeline(s) 3710 dieselben Dienste und Ressourcen gemeinsam nutzen können, kann das Anwendungsorchestrierungssystem 3728 die gemeinsame Nutzung von Diensten oder Ressourcen zwischen verschiedenen Anwendungen oder Containern orchestrieren, ausgleichen und bestimmen. In mindestens einem Ausführungsbeispiel kann ein Planer verwendet werden, um die Ressourcenanforderungen von Anwendungen oder Containern, die aktuelle oder geplante Nutzung dieser Ressourcen und die Ressourcenverfügbarkeit zu verfolgen. In mindestens einem Ausführungsbeispiel kann ein Planer auf diese Weise verschiedenen Anwendungen Ressourcen zuweisen und Ressourcen zwischen und unter Anwendungen im Hinblick auf die Anforderungen und die Verfügbarkeit eines Systems verteilen. In einigen Beispielen kann ein Planer (und/oder eine andere Komponente des Anwendungsorchestrierungssystems 3728) die Ressourcenverfügbarkeit und -verteilung auf der Grundlage von Beschränkungen bestimmen, die einem System auferlegt werden (z.B. Benutzerbeschränkungen), wie z.B. Dienstgüte (QoS), Dringlichkeit des Bedarfs an Datenausgaben (z.B. um zu bestimmen, ob Echtzeitverarbeitung oder verzögerte Verarbeitung ausgeführt werden soll) usw.
In mindestens einem Ausführungsbeispiel können die von Anwendungen oder Containern im Bereitstellungssystem 3606 genutzten und gemeinsam genutzten Dienste 3620 Rechendienste 3716, KI-Dienste 3718, Visualisierungsdienste 3720 und/oder andere Diensttypen umfassen. In mindestens einem Ausführungsbeispiel können Anwendungen einen oder mehrere der Dienste 3620 aufrufen (z.B. ausführen), um Verarbeitungsvorgänge für eine Anwendung durchzuführen. In mindestens einem Ausführungsbeispiel können die Rechendienste 3716 von Anwendungen genutzt werden, um Supercomputing- oder andere High-Performance-Computing-Aufgaben (HPC) auszuführen. In mindestens einem Ausführungsbeispiel kann/können der/die Rechendienst(e) 3716 genutzt werden, um eine parallele Verarbeitung (z.B. unter Verwendung einer parallelen Rechenplattform 3730) zur Verarbeitung von Daten durch eine oder mehrere Anwendungen und/oder eine oder mehrere Aufgaben einer einzelnen Anwendung im Wesentlichen gleichzeitig durchzuführen. In mindestens einem Ausführungsbeispiel kann die parallele Datenverarbeitungsplattform 3730 (z.B. NVIDIAs CUDA) Allzweck-Computing auf GPUs (z.B. GPUs 3722) ermöglichen. In mindestens einem Ausführungsbeispiel kann eine Softwareschicht der parallelen Rechenplattform 3730 Zugriff auf virtuelle Befehlssätze und parallele Rechenelemente von GPUs für die Ausführung von Rechenkernen bieten. In mindestens einem Ausführungsbeispiel kann die parallele Rechenplattform 3730 Speicher enthalten, und in einigen Ausführungsformen kann ein Speicher zwischen mehreren Containern und/oder zwischen verschiedenen Verarbeitungsaufgaben innerhalb eines einzelnen Containers gemeinsam genutzt werden. In mindestens einem Ausführungsbeispiel können IPC-Aufrufe (Inter-Process Communication) für mehrere Container und/oder für mehrere Prozesse innerhalb eines Containers erzeugt werden, um dieselben Daten aus einem gemeinsam genutzten Speichersegment der parallelen Rechenplattform 3730 zu verwenden (z.B. wenn mehrere verschiedene Stufen einer Anwendung oder mehrere Anwendungen dieselben Informationen verarbeiten). In mindestens einem Ausführungsbeispiel können dieselben Daten an derselben Stelle eines Speichers für eine beliebige Anzahl von Verarbeitungsaufgaben verwendet werden (z.B. zur selben Zeit, zu verschiedenen Zeiten usw.), anstatt eine Kopie der Daten zu erstellen und die Daten an verschiedene Stellen im Speicher zu verschieben (z.B. eine Lese-/Schreiboperation). In mindestens einem Ausführungsbeispiel können bei der Verwendung von Daten zur Erzeugung neuer Daten als Ergebnis der Verarbeitung diese Informationen über einen neuen Speicherort der Daten gespeichert und von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einem Ausführungsbeispiel können der Speicherort von Daten und der Speicherort von aktualisierten oder geänderten Daten Teil einer Definition sein, wie eine Nutzlast innerhalb von Containern zu verstehen ist.
In mindestens einem Ausführungsbeispiel können die KI-Dienste 3718 genutzt werden, um Inferenzdienste für die Ausführung von maschinellen Lernmodellen durchzuführen, die mit Anwendungen verbunden sind (z.B. mit der Aufgabe, eine oder mehrere Verarbeitungsaufgaben einer Anwendung auszuführen). In mindestens einem Ausführungsbeispiel können die KI-Dienste 3718 das KI-System 3724 nutzen, um maschinelle Lernmodelle (z.B. neuronale Netzwerke wie CNNs) für Segmentierung, Rekonstruktion, Objekterkennung, Merkmalserkennung, Klassifizierung und/oder andere Inferenzaufgaben auszuführen. In mindestens einem Ausführungsbeispiel können die Anwendungen der Bereitstellungspipeline(s) 3710 ein oder mehrere Ausgabemodelle 3616 aus dem Trainingssystem 3604 und/oder andere Modelle von Anwendungen verwenden, um Rückschlüsse auf Bilddaten (z.B. DICOM-Daten, RIS-Daten, CIS-Daten, REST-konforme Daten, RPC-Daten, Rohdaten usw.) zu ziehen. In mindestens einem Ausführungsbeispiel können zwei oder mehr Beispiele für die Inferenzierung unter Verwendung des Anwendungsorchestrierungssystems 3728 (z.B. ein Planer) verfügbar sein. In mindestens einem Ausführungsbeispiel kann eine erste Kategorie einen Pfad mit hoher Priorität/geringer Latenz umfassen, der höhere Dienstgütevereinbarungen erreichen kann, z.B. für die Durchführung von Inferenzen bei dringenden Anfragen während eines Notfalls oder für einen Radiologen während der Diagnose. In mindestens einem Ausführungsbeispiel kann eine zweite Kategorie einen Pfad mit Standardpriorität umfassen, der für Anfragen verwendet werden kann, die nicht dringlich sind oder bei denen die Analyse zu einem späteren Zeitpunkt durchgeführt werden kann. In mindestens einem Ausführungsbeispiel kann das Anwendungsorchestrierungssystem 3728 Ressourcen (z.B. Dienste 3620 und/oder Hardware 3622) auf der Grundlage von Prioritätspfaden für verschiedene Inferenzaufgaben der KI-Dienste 3718 verteilen.
In mindestens einem Ausführungsbeispiel kann ein gemeinsam genutzter Speicher an die KI-Dienste 3718 innerhalb des Systems 3700 angeschlossen werden. In mindestens einem Ausführungsbeispiel kann der gemeinsam genutzte Speicher als Cache (oder ein anderer Speichergerätetyp) fungieren und zur Verarbeitung von Inferenzanforderungen von Anwendungen verwendet werden. In mindestens einem Ausführungsbeispiel kann, wenn eine Ableitungsanforderung übermittelt wird, eine Anforderung von einer Reihe von API-Instanzen des Bereitstellungssystems 3606 empfangen werden, und eine oder mehrere Instanzen können ausgewählt werden (z.B. für beste Anpassung, für Lastausgleich usw.), um eine Anforderung zu verarbeiten. In mindestens einem Ausführungsbeispiel kann zur Bearbeitung einer Anfrage eine Anfrage in eine Datenbank eingegeben werden, ein maschinelles Lernmodell kann aus der Modellregistrierung 3624 gefunden werden, wenn es sich nicht bereits in einem Cache befindet, ein Validierungsschritt kann sicherstellen, dass ein geeignetes maschinelles Lernmodell in einen Cache (z.B. einen gemeinsamen Speicher) geladen wird, und/oder eine Kopie eines Modells kann in einem Cache gespeichert werden. In mindestens einem Ausführungsbeispiel kann ein Planer (z.B. des Pipeline-Managers 3712) verwendet werden, um eine Anwendung zu starten, auf die in einer Anforderung verwiesen wird, wenn eine Anwendung noch nicht läuft oder wenn nicht genügend Instanzen einer Anwendung vorhanden sind. In mindestens einem Ausführungsbeispiel kann ein Inferenzserver gestartet werden, wenn er noch nicht gestartet ist, um ein Modell auszuführen. In mindestens einem Ausführungsbeispiel kann eine beliebige Anzahl von Inferenzservern pro Modell gestartet werden. In mindestens einem Ausführungsbeispiel können in einem Pull-Modell, in dem die Inferenzserver geclustert sind, die Modelle zwischengespeichert werden, wenn ein Lastausgleich vorteilhaft ist. In mindestens einem Ausführungsbeispiel können Inferenzserver statisch in entsprechende, verteilte Server geladen werden.
In mindestens einem Ausführungsbeispiel kann die Inferenzbildung mit Hilfe eines Inferenzservers durchgeführt werden, der in einem Container läuft. In mindestens einem Ausführungsbeispiel kann eine Instanz eines Inferenzservers mit einem Modell (und optional einer Vielzahl von Versionen eines Modells) verbunden sein. In mindestens einem Ausführungsbeispiel kann eine neue Instanz eines Inferenzservers geladen werden, wenn eine Anforderung zur Durchführung einer Inferenz an einem Modell nicht vorhanden ist. In mindestens einem Ausführungsbeispiel kann beim Starten eines Inferenzservers ein Modell an einen Inferenzserver übergeben werden, so dass ein und derselbe Container zur Bedienung verschiedener Modelle verwendet werden kann, solange der Inferenzserver als eine andere Instanz läuft.
In mindestens einem Ausführungsbeispiel kann während der Ausführung einer Anwendung eine Inferenzanforderung für eine bestimmte Anwendung empfangen werden, und ein Container (z.B. der eine Instanz eines Inferenzservers beherbergt) kann geladen werden (falls nicht bereits geschehen), und eine Startprozedur kann aufgerufen werden. In mindestens einem Ausführungsbeispiel kann die Vorverarbeitungslogik in einem Container eingehende Daten laden, dekodieren und/oder eine zusätzliche Vorverarbeitung durchführen (z.B. unter Verwendung von CPU(s) und/oder GPU(s)). In mindestens einem Ausführungsbeispiel kann ein Container, sobald die Daten für die Inferenz vorbereitet sind, die Inferenz wie erforderlich an den Daten durchführen. In mindestens einem Ausführungsbeispiel kann dies einen einzigen Inferenzaufruf für ein Bild (z.B. ein Handröntgenbild) umfassen oder eine Inferenz für Hunderte von Bildern (z.B. ein Brust-CT) erfordern. In mindestens einem Ausführungsbeispiel kann eine Anwendung die Ergebnisse vor der Fertigstellung zusammenfassen, was ohne Einschränkung einen einzelnen Konfidenzwert, eine Segmentierung auf Pixelebene, eine Segmentierung auf Voxel-Ebene, die Erstellung einer Visualisierung oder die Erstellung von Text zur Zusammenfassung der Ergebnisse umfassen kann. In mindestens einem Ausführungsbeispiel können verschiedenen Modellen oder Anwendungen unterschiedliche Prioritäten zugewiesen werden. Beispielsweise können einige Modelle eine Echtzeitpriorität (TAT weniger als eine Minute) haben, während andere eine niedrigere Priorität haben (z.B. TAT weniger als 10 Minuten). In mindestens einem Ausführungsbeispiel kann die Ausführungszeit des Modells von der anfragenden Institution oder Einrichtung aus gemessen werden und kann die Zeit für die Durchquerung des Partnernetzes sowie die Ausführung durch einen Inferenzdienst umfassen.
In mindestens einem Ausführungsbeispiel kann die Übertragung von Anfragen zwischen den Diensten 3620 und den Inferenzanwendungen hinter einem Software Development Kit (SDK) verborgen sein, und ein robuster Transport kann über eine Warteschlange erfolgen. In mindestens einem Ausführungsbeispiel wird eine Anfrage über eine API für eine individuelle Anwendung/Mieter-ID-Kombination in eine Warteschlange gestellt, und ein SDK zieht eine Anfrage aus einer Warteschlange und gibt eine Anfrage an eine Anwendung weiter. In mindestens einem Ausführungsbeispiel kann der Name einer Warteschlange in einer Umgebung angegeben werden, aus der ein SDK sie abruft. In mindestens einem Ausführungsbeispiel kann die asynchrone Kommunikation über eine Warteschlange nützlich sein, da sie es jeder Instanz einer Anwendung ermöglicht, die Arbeit aufzunehmen, sobald sie verfügbar ist. In mindestens einem Ausführungsbeispiel können die Ergebnisse über eine Warteschlange zurückübertragen werden, um sicherzustellen, dass keine Daten verloren gehen. In mindestens einem Ausführungsbeispiel können Warteschlangen auch die Möglichkeit bieten, Arbeit zu segmentieren, da Arbeit mit höchster Priorität an eine Warteschlange gehen kann, an die die meisten Instanzen einer Anwendung angeschlossen sind, während Arbeit mit niedrigster Priorität an eine Warteschlange gehen kann, an die nur eine einzige Instanz angeschlossen ist, die Aufgaben in der empfangenen Reihenfolge bearbeitet. In mindestens einem Ausführungsbeispiel kann eine Anwendung auf einer GPU-beschleunigten Instanz laufen, die in der Cloud 3726 erzeugt wird, und ein Inferenzdienst kann die Inferenzierung auf einer GPU durchführen.
In mindestens einem Ausführungsbeispiel können Visualisierungsdienste 3720 genutzt werden, um Visualisierungen zur Anzeige von Ausgaben von Anwendungen und/oder Bereitstellungspipeline(s) 3710 zu erzeugen. In mindestens einem Ausführungsbeispiel können GPUs 3722 von Visualisierungsdiensten 3720 genutzt werden, um Visualisierungen zu erzeugen. In mindestens einem Ausführungsbeispiel können Rendering-Effekte, wie z.B. Raytracing, von den Visualisierungsdiensten 3720 implementiert werden, um Visualisierungen von höherer Qualität zu erzeugen. In mindestens einem Ausführungsbeispiel können die Visualisierungen ohne Einschränkung 2D-Bildwiedergaben, 3D-Volumenwiedergaben, 3D-Volumenrekonstruktionen, 2D-Tomographieschichten, Virtual-Reality-Anzeigen, Augmented-Reality-Anzeigen usw. umfassen. In mindestens einem Ausführungsbeispiel können virtualisierte Umgebungen verwendet werden, um eine virtuelle interaktive Anzeige oder Umgebung (z.B. eine virtuelle Umgebung) für die Interaktion durch Benutzer eines Systems (z.B. Ärzte, Krankenschwestern, Radiologen usw.) zu erzeugen. In mindestens einem Ausführungsbeispiel können die Visualisierungsdienste 3720 einen internen Visualisierer, Kinematiken und/oder andere Rendering- oder Bildverarbeitungsfähigkeiten oder -funktionen umfassen (z.B. Raytracing, Rasterisierung, interne Optik usw.).
In mindestens einem Ausführungsbeispiel kann die Hardware 3622 GPUs 3722, das KI-System 3724, die Cloud 3726 und/oder jede andere Hardware umfassen, die zur Ausführung des Trainingssystems 3604 und/oder des Einsatzsystems 3606 verwendet wird. In mindestens einem Ausführungsbeispiel können die GPUs 3722 (z.B. NVIDIAs TESLA und/oder QUADRO GPUs) eine beliebige Anzahl von GPUs umfassen, die für die Ausführung von Verarbeitungsaufgaben von Berechnungsdiensten 3716, KI-Diensten 3718, Visualisierungsdiensten 3720, anderen Diensten und/oder beliebigen Merkmalen oder Funktionen der Software 3618 verwendet werden können. In Bezug auf die KI-Dienste 3718 können die GPUs 3722 beispielsweise zur Vorverarbeitung von Bilddaten (oder anderen Datentypen, die von maschinellen Lernmodellen verwendet werden), zur Nachverarbeitung von Ausgaben von maschinellen Lernmodellen und/oder zur Durchführung von Inferenzen (z.B. zur Ausführung von maschinellen Lernmodellen) verwendet werden. In mindestens einem Ausführungsbeispiel können die Cloud 3726, das AI-System 3724 und/oder andere Komponenten des Systems 3700 GPUs 3722 verwenden. In mindestens einem Ausführungsbeispiel kann die Cloud 3726 eine GPU-optimierte Plattform für Deep-Learning-Aufgaben enthalten. In mindestens einem Ausführungsbeispiel kann das KI-System 3724 GPUs verwenden, und die Cloud 3726 - oder zumindest ein Teil, der mit Deep Learning oder Inferencing beauftragt ist - kann unter Verwendung eines oder mehrerer KI-Systeme 3724 ausgeführt werden. Obwohl die Hardware 3622 als diskrete Komponenten dargestellt ist, ist dies nicht als Einschränkung zu verstehen, und alle Komponenten der Hardware 3622 können mit anderen Komponenten der Hardware 3622 kombiniert oder von ihnen genutzt werden.
In mindestens einem Ausführungsbeispiel kann das KI-System 3724 ein speziell entwickeltes Rechensystem (z.B. einen Supercomputer oder einen HPC) umfassen, das für Inferencing, Deep Learning, maschinelles Lernen und/oder andere Aufgaben der künstlichen Intelligenz konfiguriert ist. In mindestens einem Ausführungsbeispiel kann das KI-System 3724 (z.B. NVIDIAs DGX) GPU-optimierte Software (z.B. einen Software-Stack) enthalten, die unter Verwendung einer Vielzahl von GPUs 3722 ausgeführt werden kann, zusätzlich zu CPUs, RAM, Speicher und/oder anderen Komponenten, Merkmalen oder Funktionen. In mindestens einem Ausführungsbeispiel können ein oder mehrere KI-Systeme 3724 in der Cloud 3726 (z.B. in einem Rechenzentrum) implementiert werden, um einige oder alle KI-basierten Verarbeitungsaufgaben des Systems 3700 auszuführen.
In mindestens einem Ausführungsbeispiel kann die Cloud 3726 eine GPUbeschleunigte Infrastruktur (z.B. NVIDIAs NGC) enthalten, die eine GPU-optimierte Plattform für die Ausführung von Verarbeitungsaufgaben des Systems 3700 bereitstellen kann. In mindestens einem Ausführungsbeispiel kann die Cloud 3726 ein oder mehrere KI-Systeme 3724 zur Ausführung einer oder mehrerer KI-basierter Aufgaben des Systems 3700 enthalten (z.B. als Hardware-Abstraktions- und Skalierungsplattform). In mindestens einem Ausführungsbeispiel kann die Cloud 3726 in das Anwendungsorchestrierungssystem 3728 integriert werden, das mehrere GPUs nutzt, um eine nahtlose Skalierung und einen Lastausgleich zwischen und unter Anwendungen und Diensten 3620 zu ermöglichen. In mindestens einem Ausführungsbeispiel kann die Cloud 3726 damit beauftragt werden, mindestens einige der Dienste 3620 des Systems 3700 auszuführen, einschließlich der Rechendienste 3716, der KI-Dienste 3718 und/oder der Visualisierungsdienste 3720, wie hier beschrieben. In mindestens einem Ausführungsbeispiel kann die Cloud 3726 kleine und große Batch-Inferenzen durchführen (z.B. mit NVIDIAs TENSOR RT), eine beschleunigte parallele Rechen-API und -Plattform 3730 bereitstellen (z.B. NVIDIAs CUDA), ein Anwendungsorchestrierungssystem 3728 ausführen (z.B. KUBERNETES), eine Grafik-Rendering-API und -Plattform (z.B. für Raytracing, 2D-Grafik, 3D-Grafik und/oder andere Rendering-Techniken, um qualitativ hochwertigere Kinofilme zu erzeugen) und/oder andere Funktionen für das System 3700 bereitstellen kann.
In mindestens einem Ausführungsbeispiel kann die Cloud 3726 in dem Bestreben, die Vertraulichkeit der Patientendaten zu wahren (z.B. wenn Patientendaten oder -aufzeichnungen außerhalb der eigenen Räumlichkeiten verwendet werden sollen), eine Registry enthalten, wie z.B. eine Deep-Learning-Container-Registry. In mindestens einem Ausführungsbeispiel kann eine Registry Container für Instanziierungen von Anwendungen speichern, die Vorverarbeitungen, Nachverarbeitungen oder andere Verarbeitungsaufgaben für Patientendaten durchführen können. In mindestens einem Ausführungsbeispiel kann die Cloud 3726 Daten empfangen, die sowohl Patientendaten als auch Sensordaten in Containern enthalten, die angeforderte Verarbeitung nur für die Sensordaten in diesen Containern durchführen und dann eine resultierende Ausgabe und/oder Visualisierungen an geeignete Parteien und/oder Geräte (z.B. medizinische Geräte vor Ort, die zur Visualisierung oder Diagnose verwendet werden) weiterleiten, ohne dass die Patientendaten extrahiert, gespeichert oder anderweitig darauf zugegriffen werden muss. In mindestens einem Ausführungsbeispiel wird die Vertraulichkeit der Patientendaten in Übereinstimmung mit dem HIPAA und/oder anderen Datenvorschriften gewahrt.
38 enthält eine Beispielsdarstellung einer Bereitstellungspipeline 3710A zur Verarbeitung von Bildgebungsdaten in Übereinstimmung mit mindestens einer Ausführungsform. In mindestens einem Ausführungsbeispiel kann das System 3700 - und insbesondere das Bereitstellungssystem 3606 - zur Anpassung, Aktualisierung und/oder Integration der Bereitstellungspipeline(s) 3710A in eine oder mehrere Produktionsumgebungen verwendet werden. In mindestens einem Ausführungsbeispiel umfasst die Bereitstellungspipeline 3710A von 38 ein nicht begrenztes Beispiel einer Bereitstellungspipeline 3710A, die von einem bestimmten Benutzer (oder einem Team von Benutzern) in einer Einrichtung (z.B. in einem Krankenhaus, einer Klinik, einem Labor, einer Forschungsumgebung usw.) individuell definiert werden kann. In mindestens einem Ausführungsbeispiel kann ein Benutzer zur Definition von Bereitstellungspipelines 3710A für einen CT-Scanner 3802 eine oder mehrere Anwendungen - beispielsweise aus einer Container-Registrierung - auswählen, die bestimmte Funktionen oder Aufgaben in Bezug auf die vom CT-Scanner 3802 erzeugten Bilddaten ausführen. In mindestens einem Ausführungsbeispiel können Anwendungen auf die Bereitstellungspipeline 3710A als Container angewendet werden, die Dienste 3620 und/oder Hardware 3622 des Systems 3700 nutzen können. Darüber hinaus kann die Bereitstellungspipeline 3710A zusätzliche Verarbeitungsaufgaben oder Anwendungen enthalten, die implementiert werden können, um Daten für die Verwendung durch Anwendungen vorzubereiten (z.B. können der DICOM-Adapter 3702B und der DICOM-Leser 3806 in der Bereitstellungspipeline 3710A verwendet werden, um Daten für die Verwendung durch die CT-Rekonstruktion 3808, die Organsegmentierung 3810 usw. vorzubereiten). In mindestens einem Ausführungsbeispiel kann die Bereitstellungspipeline 3710A für eine konsistente Bereitstellung, eine einmalige Verwendung oder für eine andere Häufigkeit oder ein anderes Intervall angepasst oder ausgewählt werden. In mindestens einem Ausführungsbeispiel kann ein Benutzer die CT-Rekonstruktion 3808 und die Organsegmentierung 3810 für mehrere Probanden über einen bestimmten Zeitraum hinweg wünschen und daher die Pipeline 3710A für diesen Zeitraum einsetzen. In mindestens einem Ausführungsbeispiel kann ein Benutzer für jede Anforderung vom System 3700 die Anwendungen auswählen, die er für die Verarbeitung dieser Daten für diese Anforderung verwenden möchte. In mindestens einem Ausführungsbeispiel kann die Bereitstellungspipeline 3710A in jedem beliebigen Intervall angepasst werden, und aufgrund der Anpassbarkeit und Skalierbarkeit einer Containerstruktur innerhalb des Systems 3700 kann dies ein nahtloser Prozess sein.
In mindestens einem Ausführungsbeispiel kann die Bereitstellungspipeline 3710A von 38 einen CT-Scanner 3802 umfassen, der Bilddaten eines Patienten oder Probanden erzeugt. In mindestens einem Ausführungsbeispiel können die Bilddaten des CT-Scanners 3802 auf einem PACS-Server 3804 gespeichert werden, der zu einer Einrichtung gehört, in der sich der CT-Scanner 3802 befindet. In mindestens einem Ausführungsbeispiel kann (können) der (die) PACS-Server 3804 Software- und/oder Hardware-Komponenten enthalten, die direkt mit den Bildgebungsmodalitäten (z.B. dem CT-Scanner 3802) in einer Einrichtung verbunden werden können. In mindestens einem Ausführungsbeispiel kann der DICOM-Adapter 3702B das Senden und Empfangen von DICOM-Objekten unter Verwendung von DICOM-Protokollen ermöglichen. In mindestens einem Ausführungsbeispiel kann der DICOM-Adapter 3702B bei der Vorbereitung oder Konfiguration von DICOM-Daten von PACS-Server(n) 3804 zur Verwendung durch die Bereitstellungspipeline 3710A helfen. In mindestens einem Ausführungsbeispiel kann der Pipeline-Manager 3712 nach der Verarbeitung der DICOM-Daten über den DICOM-Adapter 3702B die Daten an die Bereitstellungspipeline 3710A weiterleiten. In mindestens einem Ausführungsbeispiel kann der DICOM-Leser 3806 Bilddateien und zugehörige Metadaten aus DICOM-Daten extrahieren (z.B. Sinogramm-Rohdaten, wie in der Visualisierung 3816A dargestellt). In mindestens einem Ausführungsbeispiel können die extrahierten Arbeitsdateien zur schnelleren Verarbeitung durch andere Anwendungen in der Bereitstellungspipeline 3710A in einem Cache gespeichert werden. In mindestens einem Ausführungsbeispiel kann, sobald das DICOM-Lesegerät 3806 die Extraktion und/oder Speicherung von Daten beendet hat, ein Signal der Fertigstellung an den Pipeline-Manager 3712 übermittelt werden. In mindestens einem Ausführungsbeispiel kann der Pipeline-Manager 3712 dann eine oder mehrere andere Anwendungen oder Container in der Bereitstellungspipeline 3710A initiieren oder aufrufen.
In mindestens einem Ausführungsbeispiel kann die Anwendung CT-Rekonstruktion 3808 und/oder der Container ausgeführt werden, sobald Daten (z.B. Sinogramm-Rohdaten) zur Verarbeitung durch die Anwendung CT-Rekonstruktion 3808 verfügbar sind. In mindestens einem Ausführungsbeispiel kann die CT-Rekonstruktion 3808 Sinogramm-Rohdaten aus einem Cache lesen, eine Bilddatei aus Sinogramm-Rohdaten rekonstruieren (z.B. wie in Visualisierung 3816B dargestellt) und die resultierende Bilddatei in einem Cache speichern. In mindestens einem Ausführungsbeispiel kann bei Abschluss der Rekonstruktion dem Pipeline-Manager 3712 signalisiert werden, dass die Rekonstruktionsaufgabe abgeschlossen ist. In mindestens einem Ausführungsbeispiel kann, sobald die Rekonstruktion abgeschlossen ist und eine rekonstruierte Bilddatei in einem Cache (oder einem anderen Speichergerät) gespeichert werden kann, die Organsegmentierungsanwendung 3810 und/oder der Container vom Pipeline-Manager 3712 ausgelöst werden. In mindestens einem Ausführungsbeispiel kann die Organsegmentierungsanwendung 3810 und/oder der Container eine Bilddatei aus einem Cache lesen, eine Bilddatei normalisieren oder in ein für die Inferenz geeignetes Format konvertieren (z.B. eine Bilddatei in eine Eingabeauflösung eines maschinellen Lernmodells konvertieren) und die Inferenz anhand eines normalisierten Bildes ausführen. In mindestens einem Ausführungsbeispiel kann die Organsegmentierungsanwendung 3810 und/oder der Container auf Dienste 3620 zurückgreifen, um die Inferenz auf einem normalisierten Bild auszuführen, und der Pipeline-Manager 3712 und/oder das Anwendungs-Orchestrierungssystem 3728 können die Nutzung der Dienste 3620 durch die Organsegmentierungsanwendung 3810 und/oder den Container erleichtern. In mindestens einem Ausführungsbeispiel kann beispielsweise die Organsegmentierungsanwendung 3810 und/oder der Container die KI-Dienste 3718 nutzen, um Inferenzen auf einem normalisierten Bild durchzuführen, und die KI-Dienste 3718 können die Hardware 3622 (z.B. das KI-System 3724) nutzen, um die KI-Dienste 3718 auszuführen. In mindestens einem Ausführungsbeispiel kann das Ergebnis einer Inferenz eine Maskendatei sein (z.B. wie in der Visualisierung 3816C dargestellt), die in einem Cache (oder einem anderen Speichergerät) gespeichert werden kann.
In mindestens einem Ausführungsbeispiel kann, sobald Anwendungen, die DICOM-Daten und/oder aus DICOM-Daten extrahierte Daten verarbeiten, die Verarbeitung abgeschlossen haben, ein Signal für den Pipeline-Manager 3712 erzeugt werden. In mindestens einem Ausführungsbeispiel kann der Pipeline-Manager 3712 dann den DICOM-Writer 3812 ausführen, um die Ergebnisse aus einem Cache (oder einem anderen Speichergerät) zu lesen und die Ergebnisse in ein DICOM-Format (z.B. als DICOM-Ausgabe 3814) zu verpacken, damit sie von den Benutzern in einer Einrichtung, die eine Anfrage gestellt hat, verwendet werden können. In mindestens einem Ausführungsbeispiel kann die DICOM-Ausgabe 3814 dann an den DICOM-Adapter 3702B übertragen werden, um die DICOM-Ausgabe 3814 für die Speicherung auf dem/den PACS-Server(n) 3804 vorzubereiten (z.B. für die Anzeige durch einen DICOM-Viewer in einer Einrichtung). In mindestens einem Ausführungsbeispiel können als Reaktion auf eine Anforderung zur Rekonstruktion und Segmentierung Visualisierungen 3816B und 3816C erzeugt werden, die einem Benutzer für Diagnosen, Untersuchungen und/oder andere Zwecke zur Verfügung stehen.
Obwohl als aufeinanderfolgende Anwendungen in der Bereitstellungspipeline 3710A dargestellt, können die Anwendungen CT-Rekonstruktion 3808 und Organsegmentierung 3810 In mindestens einem Ausführungsbeispiel parallel verarbeitet werden. In mindestens einem Ausführungsbeispiel, in der die Anwendungen nicht voneinander abhängig sind und die Daten für jede Anwendung verfügbar sind (z.B. nachdem der DICOM-Leser 3806 die Daten extrahiert hat), können die Anwendungen gleichzeitig, im Wesentlichen gleichzeitig oder mit einer gewissen Überlappung ausgeführt werden. In mindestens einem Ausführungsbeispiel, in der zwei oder mehr Anwendungen ähnliche Dienste 3620 benötigen, kann ein Planer des Systems 3700 zum Lastausgleich und zur Verteilung von Rechen- oder Verarbeitungsressourcen zwischen und unter verschiedenen Anwendungen verwendet werden. In mindestens einem Ausführungsbeispiel kann in einigen Ausführungsformen die parallele Rechenplattform 3730 zur parallelen Verarbeitung von Anwendungen verwendet werden, um die Laufzeit der Bereitstellungspipeline 3710A zu verkürzen und Echtzeitergebnisse zu liefern.
In mindestens einem Ausführungsbeispiel und unter Bezugnahme auf 39A-39B kann das Bereitstellungssystem 3606 als ein oder mehrere virtuelle Instrumente implementiert werden, um verschiedene Funktionalitäten - wie Bildverarbeitung, Segmentierung, Verbesserung, KI, Visualisierung und Inferenzierung - mit bildgebenden Geräten (z.B. CT-Scannern, Röntgengeräten, MRT-Geräten usw.), Sequenzierungsgeräten, Genomikgeräten und/oder anderen Gerätetypen durchzuführen. In mindestens einem Ausführungsbeispiel kann das System 3700 die Erstellung und Bereitstellung virtueller Instrumente ermöglichen, die eine softwaredefinierte Bereitstellungspipeline 3710 umfassen können, die von einem oder mehreren Geräten erzeugte rohe/unverarbeitete Eingangsdaten empfangen und verarbeitete/rekonstruierte Daten ausgeben kann. In mindestens einem Ausführungsbeispiel können Bereitstellungspipelines 3710 (z.B. 3710A und 3710B), die virtuelle Instrumente darstellen, Intelligenz in eine Pipeline implementieren, z.B. durch die Nutzung von Modellen für maschinelles Lernen, um einem System containerisierte Inferenzunterstützung zu bieten. In mindestens einem Ausführungsbeispiel können virtuelle Instrumente eine beliebige Anzahl von Containern ausführen, die jeweils Instanzen von Anwendungen enthalten. In mindestens einem Ausführungsbeispiel, z.B. wenn Echtzeitverarbeitung erwünscht ist, können Bereitstellungspipelines 3710, die virtuelle Instrumente darstellen, statisch sein (z.B. können Container und/oder Anwendungen festgelegt werden), während in anderen Beispielen Container und/oder Anwendungen für virtuelle Instrumente aus einem Pool von Anwendungen oder Ressourcen (z.B. innerhalb einer Containerregistrierung) ausgewählt werden können (z.B. auf einer Basis pro Anforderung).
In mindestens einem Ausführungsbeispiel kann das System 3700 als ein oder mehrere virtuelle Instrumente vor Ort in einer Einrichtung instanziiert oder ausgeführt werden, z.B. in einem Computersystem, das neben einer radiologischen Maschine, einem bildgebenden Gerät und/oder einem anderen Gerätetyp in einer Einrichtung eingesetzt wird oder anderweitig damit kommuniziert. In mindestens einem Ausführungsbeispiel kann jedoch eine Vor-Ort-Installation in einem Rechnersystem eines Geräts selbst (z.B. einem in ein bildgebendes Gerät integrierten Rechnersystem), in einem lokalen Rechenzentrum (z.B. einem Rechenzentrum vor Ort) und/oder in einer Cloud-Umgebung (z.B. in der Cloud 3726) instanziiert oder ausgeführt werden. In mindestens einem Ausführungsbeispiel kann das Einsatzsystem 3606, das als virtuelles Instrument arbeitet, in einigen Beispielen von einem Supercomputer oder einem anderen HPC-System instanziiert werden. In mindestens einem Ausführungsbeispiel kann die Installation vor Ort die Nutzung hoher Bandbreiten (z.B. über lokale Kommunikationsschnittstellen mit höherem Durchsatz, wie RF over Ethernet) für die Echtzeitverarbeitung ermöglichen. In mindestens einem Ausführungsbeispiel kann die Echtzeit- oder echtzeitnahe Verarbeitung besonders nützlich sein, wenn ein virtuelles Instrument ein Ultraschallgerät oder eine andere Bildgebungsmodalität unterstützt, bei der sofortige Visualisierungen erwartet oder für genaue Diagnosen und Analysen benötigt werden. In mindestens einem Ausführungsbeispiel kann eine Cloud-Computing-Architektur in der Lage sein, dynamisches Bursting zu einem Cloud-Computing-Dienstanbieter oder einem anderen Rechencluster durchzuführen, wenn die lokale Nachfrage die Kapazität oder Fähigkeit vor Ort übersteigt. In mindestens einem Ausführungsbeispiel kann eine Cloud-Architektur, wenn sie implementiert ist, für das Training neuronaler Netzwerke oder anderer maschineller Lernmodelle abgestimmt werden, wie hierin in Bezug auf das Trainingssystem 3604 beschrieben. In mindestens einem Ausführungsbeispiel können maschinelle Lernmodelle mit vorhandenen Trainingspipelines kontinuierlich lernen und sich verbessern, wenn sie zusätzliche Daten von den von ihnen unterstützten Geräten verarbeiten. In mindestens einem Ausführungsbeispiel können virtuelle Instrumente kontinuierlich verbessert werden, indem zusätzliche Daten, neue Daten, bestehende maschinelle Lernmodelle und/oder neue oder aktualisierte maschinelle Lernmodelle verwendet werden.
In mindestens einem Ausführungsbeispiel kann ein Computersystem einen Teil oder die gesamte hierin beschriebene Hardware 3622 enthalten, und die Hardware 3622 kann auf eine beliebige Anzahl von Arten verteilt werden, einschließlich innerhalb eines Geräts, als Teil eines mit einem Gerät gekoppelten und in der Nähe eines Geräts befindlichen Computergeräts, in einem lokalen Rechenzentrum in einer Einrichtung und/oder in der Cloud 3726. In mindestens einem Ausführungsbeispiel können, da das Bereitstellungssystem 3606 und die zugehörigen Anwendungen oder Container in Software erstellt werden (z.B. als diskrete containerisierte Instanziierungen von Anwendungen), das Verhalten, der Betrieb und die Konfiguration virtueller Instrumente sowie die von virtuellen Instrumenten erzeugten Ausgaben wie gewünscht modifiziert oder angepasst werden, ohne dass die Rohausgabe eines Geräts, das ein virtuelles Instrument unterstützt, geändert oder verändert werden muss.
39A zeigt ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments, das ein Ultraschallgerät unterstützt, in Übereinstimmung mit mindestens einer Ausführungsform. In mindestens einem Ausführungsbeispiel kann die Bereitstellungspipeline 3710B einen oder mehrere der Dienste 3620 des Systems 3700 nutzen. In mindestens einem Ausführungsbeispiel können die Bereitstellungspipeline 3710B und die Dienste 3620 die Hardware 3622 eines Systems entweder lokal oder in der Cloud 3726 nutzen. In mindestens einem Ausführungsbeispiel, obwohl nicht dargestellt, kann der Prozess 3900 durch den Pipeline-Manager 3712, das Anwendungsorchestrierungssystem 3728 und/oder die parallele Rechenplattform 3730 unterstützt werden.
In mindestens einem Ausführungsbeispiel kann der Prozess 3900 den Empfang von Bilddaten von einem Ultraschallgerät 3902 umfassen. In mindestens einem Ausführungsbeispiel können Bildgebungsdaten auf PACS-Server(n) in einem DICOM-Format (oder einem anderen Format, wie RIS, CIS, REST-konform, RPC, Rohdaten usw.) gespeichert sein und von System 3700 zur Verarbeitung durch die Bereitstellungspipeline 3710 empfangen werden, die als virtuelles Instrument (z.B. ein virtueller Ultraschall) für das Ultraschallgerät 3902 ausgewählt oder angepasst wird. In mindestens einem Ausführungsbeispiel können Bilddaten direkt von einem Bildgebungsgerät (z.B. Ultraschallgerät 3902) empfangen und von einem virtuellen Instrument verarbeitet werden. In mindestens einem Ausführungsbeispiel kann ein Wandler oder ein anderer Signalwandler, der kommunikativ zwischen einer Bildgebungsvorrichtung und einem virtuellen Instrument angeschlossen ist, von einer Bildgebungsvorrichtung erzeugte Signaldaten in Bilddaten umwandeln, die von einem virtuellen Instrument verarbeitet werden können. In mindestens einem Ausführungsbeispiel können Rohdaten und/oder Bilddaten dem DICOM-Lesegerät 3806 zugeführt werden, um Daten zur Verwendung durch Anwendungen oder Container der Bereitstellungspipeline 3710B zu extrahieren. In mindestens einem Ausführungsbeispiel kann das DICOM-Lesegerät 3806 die Datenerweiterungsbibliothek 3914 (z.B. DALI von NVIDIA) als Dienst 3620 (z.B. als einer der Rechendienste 3716) nutzen, um Daten zu extrahieren, in der Größe anzupassen, neu zu skalieren und/oder anderweitig für die Verwendung durch Anwendungen oder Container vorzubereiten.
In mindestens einem Ausführungsbeispiel kann nach der Aufbereitung der Daten eine Rekonstruktionsanwendung und/oder ein Container 3906 ausgeführt werden, um die Daten des Ultraschallgeräts 3902 in eine Bilddatei zu rekonstruieren. In mindestens einem Ausführungsbeispiel kann nach der Rekonstruktion 3906 oder gleichzeitig mit der Rekonstruktion 3906 eine Erkennungsanwendung und/oder ein Erkennungscontainer 3908 zur Erkennung von Anomalien, zur Objekterkennung, zur Merkmalserkennung und/oder zu anderen Erkennungsaufgaben im Zusammenhang mit den Daten ausgeführt werden. In mindestens einem Ausführungsbeispiel kann eine während der Rekonstruktion 3906 erzeugte Bilddatei während der Erkennung 3908 verwendet werden, um Anomalien, Objekte, Merkmale usw. zu erkennen. In mindestens einem Ausführungsbeispiel kann die Anwendung zur Erkennung 3908 eine Inferenz-Engine 3916 (z.B. als einer der KI-Dienste 3718) nutzen, um aus den Daten Schlüsse zu ziehen und Erkennungen zu generieren. In mindestens einem Ausführungsbeispiel können ein oder mehrere maschinelle Lernmodelle (z.B. vom Trainingssystem 3604) von der Anwendung Erkennung 3908 ausgeführt oder aufgerufen werden.
In mindestens einem Ausführungsbeispiel können nach Abschluss der Rekonstruktion 3906 und/oder Detektion 3908 die von diesen Anwendungen und/oder Containern ausgegebenen Daten verwendet werden, um Visualisierungen 3910 zu erzeugen, wie z.B. eine Visualisierung 3912 (z.B. eine Graustufenausgabe), die auf einer Workstation oder einem Anzeigeterminal angezeigt wird. In mindestens einem Ausführungsbeispiel kann die Visualisierung es einem Techniker oder einem anderen Benutzer ermöglichen, die Ergebnisse der Einsatzpipeline 3710B in Bezug auf das Ultraschallgerät 3902 zu visualisieren. In mindestens einem Ausführungsbeispiel kann die Visualisierung 3910 durch Nutzung einer Renderkomponente 3918 des Systems 3700 (z.B. einer der Visualisierungsdienste 3720) ausgeführt werden. In mindestens einem Ausführungsbeispiel kann die Renderkomponente 3918 einen 2D-, OpenGL- oder Raytracing-Dienst ausführen, um die Visualisierung 3912 zu erzeugen.
39B zeigt ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, in Übereinstimmung mit mindestens einer Ausführungsform. In mindestens einem Ausführungsbeispiel kann die Bereitstellungspipeline 3710C einen oder mehrere der Dienste 3620 des Systems 3700 nutzen. In mindestens einem Ausführungsbeispiel können die Bereitstellungspipeline 3710C und die Dienste 3620 die Hardware 3622 eines Systems entweder lokal oder in der Cloud 3726 nutzen. In mindestens einem Ausführungsbeispiel, obwohl nicht dargestellt, kann der Prozess 3920 durch den Pipeline-Manager 3712, das Anwendungs-Orchestrierungssystem 3728 und/oder die Plattform für paralleles Rechnen 3730 unterstützt werden.
In mindestens einem Ausführungsbeispiel kann der Prozess 3920 einen CT-Scanner 3922 umfassen, der Rohdaten erzeugt, die vom DICOM-Lesegerät 3806 empfangen werden können (z.B. direkt, über einen PACS-Server 3804, nach der Verarbeitung usw.). In mindestens einem Ausführungsbeispiel kann ein virtueller CT (instanziiert durch die Bereitstellungspipeline 3710C) eine erste Echtzeitpipeline zur Überwachung eines Patienten (z.B. Erkennung von Patientenbewegungen AI 3926) und/oder zur Anpassung oder Optimierung der Belichtung des CT-Scanners 3922 (z.B. unter Verwendung der Belichtungssteuerung AI 3924) umfassen. In mindestens einem Ausführungsbeispiel können eine oder mehrere der Anwendungen (z.B. 3924 und 3926) einen Dienst 3620, wie z.B. KI-Dienst(e) 3718, nutzen. In mindestens einem Ausführungsbeispiel können die Ausgaben der Anwendung (oder des Containers) AI 3924 zur Belichtungssteuerung und/oder der Anwendung (oder des Containers) AI 3926 zur Erkennung von Patientenbewegungen als Rückmeldung an den CT-Scanner 3922 und/oder einen Techniker verwendet werden, um die Belichtung (oder andere Einstellungen des CT-Scanners 3922) anzupassen und/oder einen Patienten zu informieren, sich weniger zu bewegen.
In mindestens einem Ausführungsbeispiel kann die Deployment-Pipeline 3710C eine Nicht-Echtzeit-Pipeline zur Analyse der vom CT-Scanner 3922 erzeugten Daten umfassen. In mindestens einem Ausführungsbeispiel kann eine zweite Pipeline die Anwendung und/oder den Container CT-Rekonstruktion 3808, eine Anwendung und/oder einen Container für die Groberkennung AI 3928, eine Anwendung und/oder einen Container für die Feinerkennung AI 3932 (z.B. wenn bestimmte Ergebnisse durch die Groberkennung AI 3928 erkannt werden), eine Anwendung und/oder einen Container für die Visualisierung 3930 und eine Anwendung und/oder einen Container für den DICOM-Writer 3812 (und/oder einen anderen Datentyp-Writer, wie RIS, CIS, REST-konform, RPC, roh, usw.) umfassen. In mindestens einem Ausführungsbeispiel können die vom CT-Scanner 3922 erzeugten Rohdaten durch die Pipelines der (als virtuelles CT-Instrument instanziierten) Bereitstellungspipeline 3710C geleitet werden, um Ergebnisse zu erzeugen. In mindestens einem Ausführungsbeispiel können die Ergebnisse des DICOM-Schreibers 3812 zur Anzeige übertragen und/oder auf dem/den PACS-Server(n) 3804 zum späteren Abruf, zur Analyse oder zur Anzeige durch einen Techniker, einen Arzt oder einen anderen Benutzer gespeichert werden.
40A zeigt ein Datenflussdiagramm für einen Prozess 4000 zum Trainieren, erneutes Trainieren oder Aktualisieren eines maschinellen Lernmodells in Übereinstimmung mit mindestens einer Ausführungsform. In mindestens einem Ausführungsbeispiel kann der Prozess 4000 unter Verwendung des Systems 3700 von 37 als nicht einschränkendes Beispiel ausgeführt werden. In mindestens einem Ausführungsbeispiel kann der Prozess 4000 die Dienste 3620 und/oder die Hardware 3622 des Systems 3700 nutzen, wie hierin beschrieben. In mindestens einem Ausführungsbeispiel können verfeinerte Modelle 4012, die durch den Prozess 4000 erzeugt wurden, durch das Bereitstellungssystem 3606 für eine oder mehrere containerisierte Anwendungen in Bereitstellungspipelines 3710 ausgeführt werden.
In mindestens einem Ausführungsbeispiel kann das Modelltraining 3614 das Neutrainieren oder Aktualisieren eines anfänglichen Modells 4004 (z.B. eines vortrainierten Modells) unter Verwendung neuer Trainingsdaten (z.B. neuer Eingabedaten, wie dem Clientdatensatz 4006, und/oder neuer Grundwahrheitsdaten, die mit den Eingabedaten verbunden sind) umfassen. In mindestens einem Ausführungsbeispiel kann zum erneuten Trainieren oder Aktualisieren des Ausgangsmodells 4004 die Ausgangs- oder Verlustschicht(en) des Ausgangsmodells 4004 zurückgesetzt oder gelöscht und/oder durch eine aktualisierte oder neue Ausgangs- oder Verlustschicht(en) ersetzt werden. In mindestens einem Ausführungsbeispiel kann das Ausgangsmodell 4004 bereits feinabgestimmte Parameter (z.B. Gewichte und/oder Verzerrungen) haben, die von einem früheren Training übrig geblieben sind, so dass das Training oder die Umschulung 3614 nicht so lange dauert oder so viel Verarbeitung erfordert wie das Training eines Modells von Grund auf. In mindestens einem Ausführungsbeispiel können während des Modelltrainings 3614 durch Zurücksetzen oder Ersetzen der Ausgangs- oder Verlustschicht(en) des ursprünglichen Modells 4004 die Parameter aktualisiert und für einen neuen Datensatz neu abgestimmt werden, und zwar auf der Grundlage von Verlustberechnungen, die mit der Genauigkeit der Ausgangs- oder Verlustschicht(en) bei der Erstellung von Vorhersagen für einen neuen Clientdatensatz 4006 (z.B. Bilddaten 3608 von 36) verbunden sind.
In mindestens einem Ausführungsbeispiel können vortrainierte Modelle 3706 in einem Datenspeicher oder einem Register (z.B. Modellregister 3624 von 36) gespeichert sein. In mindestens einem Ausführungsbeispiel können die vorab trainierten Modelle 3706 zumindest teilweise in einer oder mehreren anderen Einrichtungen als der Einrichtung, die den Prozess 4000 ausführt, trainiert worden sein. In mindestens einem Ausführungsbeispiel können zum Schutz der Privatsphäre und der Rechte von Patienten, Probanden oder Client verschiedener Einrichtungen vortrainierte Modelle 3706 vor Ort trainiert worden sein, wobei Client- oder Patientendaten verwendet wurden, die vor Ort generiert wurden. In mindestens einem Ausführungsbeispiel können vortrainierte Modelle 3706 unter Verwendung der Cloud 3726 und/oder anderer Hardware 3622 trainiert werden, aber vertrauliche, datenschutzrechtlich geschützte Patientendaten dürfen nicht an Komponenten der Cloud 3726 (oder anderer externer Hardware) übertragen werden, von diesen verwendet werden oder für diese zugänglich sein. In mindestens einem Ausführungsbeispiel, in der ein vortrainiertes Modell 3706 unter Verwendung von Patientendaten von mehr als einer Einrichtung trainiert wird, kann das vortrainierte Modell 3706 individuell für jede Einrichtung trainiert worden sein, bevor es auf Patienten- oder Clientdaten von einer anderen Einrichtung trainiert wird. In mindestens einem Ausführungsbeispiel, z.B. wenn Client- oder Patientendaten aus Datenschutzgründen freigegeben wurden (z.B. durch eine Verzichtserklärung, für experimentelle Zwecke usw.) oder wenn Client- oder Patientendaten in einem öffentlichen Datensatz enthalten sind, können Client- oder Patientendaten aus einer beliebigen Anzahl von Einrichtungen verwendet werden, um das vortrainierte Modell 3706 vor Ort und/oder außerhalb des Standorts zu trainieren, z.B. in einem Rechenzentrum oder einer anderen Cloud-Computing-Infrastruktur.
In mindestens einem Ausführungsbeispiel kann ein Benutzer bei der Auswahl von Anwendungen zur Verwendung in Bereitstellungspipelines 3710 auch Modelle für maschinelles Lernen auswählen, die für bestimmte Anwendungen verwendet werden sollen. In mindestens einem Ausführungsbeispiel kann ein Benutzer kein Modell zur Verwendung haben, so dass ein Benutzer ein vortrainiertes Modell 3706 zur Verwendung mit einer Anwendung auswählen kann. In mindestens einem Ausführungsbeispiel kann das vortrainierte Modell 3706 nicht dafür optimiert sein, genaue Ergebnisse für den Clientdatensatz 4006 einer Einrichtung eines Benutzers zu erzeugen (z.B. auf der Grundlage der Patientenvielfalt, der demographischen Merkmale, der Arten der verwendeten medizinischen Bildgebungsgeräte usw.). In mindestens einem Ausführungsbeispiel kann das vortrainierte Modell 3706 vor der Bereitstellung in der Bereitstellungspipeline 3710 zur Verwendung mit einer oder mehreren Anwendungen aktualisiert, neu trainiert und/oder für die Verwendung in einer entsprechenden Einrichtung feinabgestimmt werden.
In mindestens einem Ausführungsbeispiel kann ein Benutzer ein vortrainiertes Modell 3706 auswählen, das aktualisiert, neu trainiert und/oder feinabgestimmt werden soll, und das vortrainierte Modell 3706 kann als Ausgangsmodell 4004 für das Trainingssystem 3604 innerhalb des Verfahrens 4000 bezeichnet werden. In mindestens einem Ausführungsbeispiel kann der Clientdatensatz 4006 (z.B. Bildgebungsdaten, Genomikdaten, Sequenzierungsdaten oder andere Datentypen, die von Geräten in einer Einrichtung erzeugt werden) verwendet werden, um das Modelltraining 3614 (das ohne Einschränkung Transferlemen umfassen kann) am Ausgangsmodell 4004 durchzuführen, um ein verfeinertes Modell 4012 zu erzeugen. In mindestens einem Ausführungsbeispiel können die dem Clientdatensatz 4006 entsprechenden Grundwahrheitsdaten vom Trainingssystem 3604 erzeugt werden. In mindestens einem Ausführungsbeispiel können die Grundwahrheitsdaten zumindest teilweise von Klinikern, Wissenschaftlern, Ärzten, Praktikern in einer Einrichtung generiert werden (z.B. als markierte Klinikdaten 3612 von 36).
In mindestens einem Ausführungsbeispiel kann die KI-gestützte Kommentierung 3610 in einigen Beispielen verwendet werden, um Grundwahrheitsdaten zu erzeugen. In mindestens einem Ausführungsbeispiel kann die KI-gestützte Annotation 3610 (z.B. unter Verwendung eines KI-gestützten Annotations-SDKs implementiert) maschinelle Lernmodelle (z.B. neuronale Netze) nutzen, um vorgeschlagene oder vorhergesagte Grundwahrheitsdaten für einen Clientdatensatz zu erzeugen. In mindestens einem Ausführungsbeispiel kann der Benutzer 4010 Annotationswerkzeuge innerhalb einer Benutzeroberfläche (einer grafischen Benutzeroberfläche (GUI)) auf dem Computergerät 4008 verwenden.
In mindestens einem Ausführungsbeispiel kann der Benutzer 4010 über das Computergerät 4008 mit einer grafischen Benutzeroberfläche interagieren, um Anmerkungen oder Auto-Annotationen zu bearbeiten oder fein abzustimmen. In mindestens einem Ausführungsbeispiel kann eine Polygon-Editierfunktion verwendet werden, um Eckpunkte eines Polygons an genauere oder feiner abgestimmte Positionen zu verschieben.
In mindestens einem Ausführungsbeispiel können, sobald dem Clientdatensatz 4006 Grundwahrheitsdaten zugeordnet sind, Grundwahrheitsdaten (z.B. aus KI-gestützter Annotation, manueller Markierung usw.) während des Modelltrainings 3614 verwendet werden, um ein verfeinertes Modell 4012 zu erzeugen. In mindestens einem Ausführungsbeispiel kann der Clientdatensatz 4006 beliebig oft auf das Ausgangsmodell 4004 angewendet werden, und die Grundwahrheitsdaten können zur Aktualisierung der Parameter des Ausgangsmodells 4004 verwendet werden, bis ein akzeptabler Genauigkeitsgrad für das verfeinerte Modell 4012 erreicht ist. In mindestens einem Ausführungsbeispiel kann das verfeinerte Modell 4012, sobald es generiert ist, in einer oder mehreren Bereitstellungspipelines 3710 in einer Einrichtung zur Durchführung einer oder mehrerer Verarbeitungsaufgaben in Bezug auf medizinische Bildgebungsdaten eingesetzt werden.
In mindestens einem Ausführungsbeispiel kann das verfeinerte Modell 4012 zu den bereits trainierten Modellen 3706 in der Modellregistrierung 3624 hochgeladen werden, um von einer anderen Einrichtung ausgewählt zu werden. In mindestens einem Ausführungsbeispiel kann dieser Prozess in einer beliebigen Anzahl von Einrichtungen durchgeführt werden, so dass das verfeinerte Modell 4012 beliebig oft auf neuen Datensätzen weiter verfeinert werden kann, um ein universelleres Modell zu erzeugen.
40B ist eine Beispielsdarstellung einer Client-Server-Architektur 4032 zur Verbesserung von Annotationswerkzeugen mit vortrainierten Annotationsmodellen gemäß mindestens einem Ausführungsbeispiel. In mindestens einem Ausführungsbeispiel können KI-gestützte Annotationswerkzeuge 4036 auf der Grundlage einer Client-Server-Architektur 4032 instanziiert werden. In mindestens einem Ausführungsbeispiel können Annotationswerkzeuge 4036 in bildgebenden Anwendungen Radiologen beispielsweise bei der Identifizierung von Organen und Anomalien unterstützen. In mindestens einem Ausführungsbeispiel können Bildgebungsanwendungen Softwaretools enthalten, die dem Benutzer 4010 helfen, als nicht einschränkendes Beispiel einige extreme Punkte auf einem bestimmten Organ von Interesse in Rohbildern 4034 (z.B. in einem 3D-MRI- oder CT-Scan) zu identifizieren und automatisch kommentierte Ergebnisse für alle 2D-Schichten eines bestimmten Organs zu erhalten. In mindestens einem Ausführungsbeispiel können die Ergebnisse in einem Datenspeicher als Trainingsdaten 4038 gespeichert und als (z.B. und ohne Einschränkung) Grundwahrheitsdaten für das Training verwendet werden. In mindestens einem Ausführungsbeispiel kann ein Deep-Learning-Modell, wenn die Datenverarbeitungsvorrichtung 4008 Extrempunkte für die KI-gestützte Annotation 3610 sendet, diese Daten als Eingabe empfangen und Schlussfolgerungsergebnisse eines segmentierten Organs oder einer Abnormalität zurückgeben. In mindestens einem Ausführungsbeispiel können voreingestellte Annotationswerkzeuge, wie das KI-unterstützte Annotationswerkzeug 4036B in 40B, durch API-Aufrufe (z.B. API-Aufruf 4044) an einen Server, wie einen Annotationsassistenzserver 4040, der eine Reihe von vortrainierten Modellen 4042 enthalten kann, die beispielsweise in einer Annotationsmodellregistrierung gespeichert sind, verbessert werden. In mindestens einem Ausführungsbeispiel kann eine Annotationsmodellregistrierung vortrainierte Modelle 4042 (z.B. Modelle für maschinelles Lernen, wie Deep-Learning-Modelle) speichern, die vortrainiert sind, um eine KI-gestützte Annotation für ein bestimmtes Organ oder eine Anomalie durchzuführen. In mindestens einem Ausführungsbeispiel können diese Modelle mit Hilfe von Trainingspipelines 3704 weiter aktualisiert werden. In mindestens einem Ausführungsbeispiel können die vorinstallierten Annotationswerkzeuge im Laufe der Zeit verbessert werden, wenn neue markierte Klinikdaten 3612 hinzugefügt werden.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einem oder mehreren Ausführungsbeispielen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben.
In mindestens einem Ausführungsbeispiel kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche integrierte Schaltung oder einen einzigen Chip auf Halbleiterbasis beziehen. In mindestens einem Ausführungsbeispiel können Multi-Chip-Module mit erhöhter Konnektivität verwendet werden, die einen On-Chip-Betrieb simulieren und wesentliche Verbesserungen gegenüber der Verwendung einer herkömmlichen Zentraleinheit („CPU“) und einer Busimplementierung bieten. In mindestens einem Ausführungsbeispiel können verschiedene Module auch separat oder in verschiedenen Kombinationen von Halbleiterplattformen je nach den Wünschen des Benutzers untergebracht werden.
In mindestens einem Ausführungsbeispiel, die sich auf 13 bezieht, werden Computerprogramme in Form von maschinenlesbarem, ausführbarem Code oder Computersteuerungslogik-Algorithmen im Hauptspeicher 1304 und/oder im Sekundärspeicher gespeichert. Computerprogramme, die von einem oder mehreren Prozessoren ausgeführt werden, ermöglichen es dem System 1300, verschiedene Funktionen in Übereinstimmung mit mindestens einer Ausführungsform auszuführen. In mindestens einem Ausführungsbeispiel sind Speicher 1304, Speicher und/oder jeder andere Speicher mögliche Beispiele für computerlesbare Medien. In mindestens einem Ausführungsbeispiel kann sich der Sekundärspeicher auf jedes geeignete Speichergerät oder -system beziehen, wie z.B. ein Festplattenlaufwerk und/oder ein Wechselspeicherlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein DVD-Laufwerk, ein Aufzeichnungsgerät, einen USB-Flash-Speicher usw. darstellt. In mindestens einem Ausführungsbeispiel werden die Architektur und/oder die Funktionalität verschiedener vorhergehender Figuren im Zusammenhang mit der CPU 1302, dem Parallelverarbeitungssystem 1312, einer integrierten Schaltung, die mindestens einen Teil der Fähigkeiten sowohl der CPU 1302 als auch des Parallelverarbeitungssystems 1312 besitzt, einem Chipsatz (z.B. einer Gruppe integrierter Schaltungen, die so konzipiert sind, dass sie als Einheit arbeiten und verkauft werden, um verwandte Funktionen auszuführen, usw.) und/oder einer beliebigen geeigneten Kombination integrierter Schaltungen implementiert.
In mindestens einem Ausführungsbeispiel wird die Architektur und/oder Funktionalität verschiedener vorheriger Figuren im Kontext eines allgemeinen Computersystems, eines Leiterplattensystems, eines Spielkonsolensystems für Unterhaltungszwecke, eines anwendungsspezifischen Systems und mehr implementiert. In mindestens einem Ausführungsbeispiel kann das Computersystem 1300 die Form eines Desktop-Computers, eines Laptops, eines Tablet-Computers, eines Servers, eines Supercomputers, eines Smartphones (z.B. eines drahtlosen Handgeräts), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, eines Head-Mounted-Displays, eines elektronischen Handgeräts, eines Mobiltelefons, eines Fernsehers, einer Workstation, von Spielkonsolen, eines eingebetteten Systems und/oder jeder anderen Art von Logik annehmen.
In mindestens einem Ausführungsbeispiel umfasst das Parallelverarbeitungssystem 1312, ohne Einschränkung, eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 1314 und zugehörige Speicher 1316. In mindestens einem Ausführungsbeispiel sind die PPUs 1314 über eine Zwischenverbindung 1318 und einen Schalter 1320 oder Multiplexer mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einem Ausführungsbeispiel verteilt das Parallelverarbeitungssystem 1312 Rechenaufgaben auf die PPUs 1314, die parallelisierbar sein können - beispielsweise als Teil der Verteilung von Rechenaufgaben auf mehrere Thread-Blöcke der Grafikverarbeitungseinheit („GPU“). In mindestens einem Ausführungsbeispiel wird der Speicher gemeinsam genutzt und ist für einige oder alle PPUs 1314 zugänglich (z.B. für Lese- und/oder Schreibzugriffe), obwohl ein solcher gemeinsam genutzter Speicher Leistungseinbußen im Vergleich zur Verwendung von lokalem Speicher und Registern, die in einer PPU 1314 resident sind, mit sich bringen kann. In mindestens einem Ausführungsbeispiel wird der Betrieb der PPUs 1314 durch Verwendung eines Befehls wie syncthreads() synchronisiert, wobei alle Threads in einem Block (z.B. über mehrere PPUs 1314 ausgeführt) einen bestimmten Punkt der Codeausführung erreichen müssen, bevor sie fortfahren.
In mindestens einem Ausführungsbeispiel verwenden eine oder mehrere der hier beschriebenen Techniken ein oneAPI-Programmiermodell. In mindestens einem Ausführungsbeispiel bezieht sich ein oneAPI-Programmiermodell auf ein Programmiermodell für die Interaktion mit verschiedenen Compute Accelerator-Architekturen. In mindestens einem Ausführungsbeispiel bezieht sich oneAPI auf eine Anwendungsprogrammierschnittstelle (API), die für die Interaktion mit verschiedenen Compute Accelerator-Architekturen entwickelt wurde. In mindestens einem Ausführungsbeispiel verwendet ein oneAPI-Programmiermodell die Programmiersprache Data Parallel C++ (DPC++). In mindestens einem Ausführungsbeispiel bezieht sich eine DPC++-Programmiersprache auf eine Hochsprache für die Produktivität der datenparallelen Programmierung. In mindestens einem Ausführungsbeispiel basiert eine DPC++-Programmiersprache zumindest teilweise auf den Programmiersprachen C und/oder C++. In mindestens einem Ausführungsbeispiel ist ein oneAPI-Programmiermodell ein Programmiermodell, wie es von der Intel Corporation in Santa Clara, CA, entwickelt wurde.
In mindestens einem Ausführungsbeispiel wird eineAPI und/oder einAPI-Programmiermodell verwendet, um mit verschiedenen Beschleuniger-, GPU-, Prozessor- und/oder Variationen davon-Architekturen zu interagieren. In mindestens einem Ausführungsbeispiel umfasst oneAPI einen Satz von Bibliotheken, die verschiedene Funktionalitäten implementieren. In mindestens einem Ausführungsbeispiel umfasst oneAPI mindestens eine oneAPI-DPC++-Bibliothek, eine oneAPI-Mathekernel-Bibliothek, eine oneAPI-Datenanalysebibliothek, eine oneAPI-Bibliothek für Deep Neural Networks, eine oneAPI-Bibliothek für kollektive Kommunikation, eine oneAPI-Bibliothek für Threading-Bausteine, eine oneAPI-Bibliothek für Videoverarbeitung und/oder Variationen davon.
In mindestens einem Ausführungsbeispiel ist eine oneAPI-DPC++-Bibliothek, auch oneDPL genannt, eine Bibliothek, die Algorithmen und Funktionen zur Beschleunigung der DPC++-Kernelprogrammierung implementiert. In mindestens einem Ausführungsbeispiel implementiert oneDPL eine oder mehrere Funktionen der Standard Template Library (STL). In mindestens einem Ausführungsbeispiel implementiert oneDPL eine oder mehrere parallele STL-Funktionen. In mindestens einem Ausführungsbeispiel bietet oneDPL einen Satz von Bibliotheksklassen und -funktionen wie parallele Algorithmen, Iteratoren, Funktionsobjektklassen, bereichsbasierte API und/oder Variationen davon. In mindestens einem Ausführungsbeispiel implementiert oneDPL eine oder mehrere Klassen und/oder Funktionen einer C++-Standardbibliothek. In mindestens einem Ausführungsbeispiel implementiert oneDPL eine oder mehrere Zufallszahlengeneratorfunktionen.
In mindestens einem Ausführungsbeispiel ist eine oneAPI-Mathe-Kernel-Bibliothek, die auch als oneMKL bezeichnet wird, eine Bibliothek, die verschiedene optimierte und parallelisierte Routinen für verschiedene mathematische Funktionen und/oder Operationen implementiert. In mindestens einem Ausführungsbeispiel implementiert oneMKL ein oder mehrere Basic Linear Algebra Subprograms (BLAS) und/oder Linear Algebra Package (LAPACK) Dense Linear Algebra Routines. In mindestens einem Ausführungsbeispiel implementiert oneMKL eine oder mehrere dünn besetzte BLAS-Routinen für lineare Algebra. In mindestens einem Ausführungsbeispiel implementiert oneMKL einen oder mehrere Zufallszahlengeneratoren (RNGs). In mindestens einem Ausführungsbeispiel implementiert oneMKL eine oder mehrere Vektormathematik (VM)-Routinen für mathematische Operationen mit Vektoren. In mindestens einem Ausführungsbeispiel implementiert oneMKL eine oder mehrere Fast-Fourier-Transformationsfunktionen (FFT).
In mindestens einem Ausführungsbeispiel ist eine oneAPI-Datenanalysebibliothek, die auch als oneDAL bezeichnet wird, eine Bibliothek, die verschiedene Datenanalyseanwendungen und verteilte Berechnungen implementiert. In mindestens einem Ausführungsbeispiel implementiert oneDAL verschiedene Algorithmen für die Vorverarbeitung, Transformation, Analyse, Modellierung, Validierung und Entscheidungsfindung für die Datenanalyse in Batch-, Online- und verteilten Verarbeitungsmodi der Berechnung. In mindestens einem Ausführungsbeispiel implementiert oneDAL verschiedene C++ und/oder Java APIs und verschiedene Konnektoren zu einer oder mehreren Datenquellen. In mindestens einem Ausführungsbeispiel implementiert oneDAL DPC++ API-Erweiterungen zu einer herkömmlichen C++-Schnittstelle und ermöglicht die Nutzung von GPUs für verschiedene Algorithmen.
In mindestens einem Ausführungsbeispiel ist eine oneAPI-Bibliothek für Deep Neural Networks, die auch als oneDNN bezeichnet wird, eine Bibliothek, die verschiedene Deep-Learning-Funktionen implementiert. In mindestens einem Ausführungsbeispiel implementieren oneDNN verschiedene neuronale Netzwerk-, maschinelle Lern- und Deep-Learning-Funktionen, Algorithmen und/oder Variationen davon.
In mindestens einem Ausführungsbeispiel ist eine kollektive OneAPI-Kommunikationsbibliothek, die auch als oneCCL bezeichnet wird, eine Bibliothek, die verschiedene Anwendungen für Deep Learning und maschinelles Lernen implementiert. In mindestens einem Ausführungsbeispiel baut oneCCL auf Kommunikations-Middleware auf niedrigerer Ebene auf, wie z.B. Message Passing Interface (MPI) und libfabrics. In mindestens einem Ausführungsbeispiel ermöglicht oneCCL eine Reihe von Deep-Learning-spezifischen Optimierungen, wie z.B. Priorisierung, persistente Operationen, Ausführungen außerhalb der Reihenfolge und/oder Variationen davon. In mindestens einem Ausführungsbeispiel implementieren oneCCL verschiedene CPU- und GPU-Funktionen.
In mindestens einem Ausführungsbeispiel ist eine oneAPI-Threading-Building-Blocks-Bibliothek, die auch als oneTBB bezeichnet wird, eine Bibliothek, die verschiedene parallelisierte Prozesse für verschiedene Anwendungen implementiert. In mindestens einem Ausführungsbeispiel wird oneTBB für die aufgabenbasierte, gemeinsame parallele Programmierung auf einem Host verwendet. In mindestens einem Ausführungsbeispiel implementiert oneTBB generische parallele Algorithmen. In mindestens einem Ausführungsbeispiel implementiert oneTBB nebenläufige Container. In mindestens einem Ausführungsbeispiel implementiert oneTBB einen skalierbaren Speicherallokator. In mindestens einem Ausführungsbeispiel implementiert oneTBB einen Aufgabenplaner, der Arbeit stiehlt. In mindestens einem Ausführungsbeispiel implementiert oneTBB Synchronisationsprimitive auf niedriger Ebene. In mindestens einem Ausführungsbeispiel ist oneTBB compilerunabhängig und kann auf verschiedenen Prozessoren wie GPUs, PPUs, CPUs und/oder Variationen davon eingesetzt werden.
In mindestens einem Ausführungsbeispiel ist eine oneAPI-Videoverarbeitungsbibliothek, die auch als oneVPL bezeichnet wird, eine Bibliothek, die zur Beschleunigung der Videoverarbeitung in einer oder mehreren Anwendungen verwendet wird. In mindestens einem Ausführungsbeispiel implementiert oneVPL verschiedene Videodekodierungs-, -kodierungs- und -verarbeitungsfunktionen. In mindestens einem Ausführungsbeispiel implementiert oneVPL verschiedene Funktionen für Medien-Pipelines auf CPUs, GPUs und anderen Beschleunigern. In mindestens einem Ausführungsbeispiel implementiert oneVPL die Geräteerkennung und -auswahl in medienzentrierten und videoanalytischen Workloads. In mindestens einem Ausführungsbeispiel implementiert oneVPL API-Primitive für die gemeinsame Nutzung von Null-Kopie-Puffern.
In mindestens einem Ausführungsbeispiel verwendet ein oneAPI-Programmiermodell eine DPC++-Programmiersprache. In mindestens einem Ausführungsbeispiel ist eine DPC++-Programmiersprache eine Programmiersprache, die ohne Einschränkung funktional ähnliche Versionen von CUDA-Mechanismen enthält, um Gerätecode zu definieren und zwischen Gerätecode und Hostcode zu unterscheiden. In mindestens einem Ausführungsbeispiel kann eine DPC++-Programmiersprache eine Teilmenge der Funktionalität einer CUDA-Programmiersprache enthalten. In mindestens einem Ausführungsbeispiel werden eine oder mehrere CUDA-Programmiermodelloperationen unter Verwendung eines oneAPI-Programmiermodells mit einer DPC++-Programmiersprache durchgeführt.
Andere Variationen sind im Sinne der vorliegenden Offenbarung. So, während offenbart Techniken sind anfällig für verschiedene Modifikationen und alternative Konstruktionen, bestimmte illustrierte Ausführungsformen davon sind in Zeichnungen gezeigt und wurden oben im Detail beschrieben. Es sollte jedoch verstanden werden, dass nicht beabsichtigt ist, die Offenbarung auf eine bestimmte Form oder bestimmte Formen zu beschränken, sondern dass im Gegenteil beabsichtigt ist, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Geist und den Umfang der Offenbarung fallen, wie in den beigefügten Ansprüchen definiert.
Die Verwendung der Begriffe „ein“ und „eine“ und „der/die/das“ und ähnlicher Bezeichnungen im Zusammenhang mit der Beschreibung offenbarter Ausführungsformen (insbesondere im Zusammenhang mit den folgenden Ansprüchen) ist so auszulegen, dass sie sowohl die Einzahl als auch die Mehrzahl umfasst, sofern hierin nichts anderes angegeben ist oder der Kontext nicht eindeutig widerspricht, und nicht als Definition eines Begriffs. Die Begriffe „bestehend aus“, „mit“, „einschließlich“ und „enthaltend“ sind als offene Begriffe zu verstehen (im Sinne von "einschließlich, aber nicht beschränkt auf‟), sofern nicht anders angegeben. Der Begriff „verbunden“ ist, wenn er unverändert bleibt und sich auf physikalische Verbindungen bezieht, als teilweise oder ganz in ihm enthalten, an ihm befestigt oder mit ihm verbunden zu verstehen, auch wenn etwas dazwischen liegt. Die Aufzählung von Wertebereichen soll lediglich als Abkürzungsmethode dienen, um sich individuell auf jeden einzelnen Wert zu beziehen, der in den Bereich fällt, sofern hier nichts anderes angegeben ist, und jeder einzelne Wert wird in die Spezifikation aufgenommen, als ob er hier einzeln aufgeführt wäre. In mindestens einem Ausführungsbeispiel ist die Verwendung des Begriffs „Menge“ (z.B. „eine Menge von Gegenständen“) oder „Teilmenge“, sofern nicht anders angegeben oder durch den Kontext widerlegt, als eine nicht leere Sammlung zu verstehen, die ein oder mehrere Elemente umfasst. Sofern nicht anders vermerkt oder durch den Kontext widerlegt, bezeichnet der Begriff „Teilmenge“ einer entsprechenden Menge nicht notwendigerweise eine echte Teilmenge der entsprechenden Menge, sondern Teilmenge und entsprechende Menge können gleich sein.
Konjunktionale Ausdrücke, wie z.B. Sätze der Form „mindestens eines von A, B und C“ oder „mindestens eines von A, B und C“, werden, sofern nicht ausdrücklich anders angegeben oder durch den Kontext eindeutig widerlegt, im Allgemeinen so verstanden, dass ein Element, ein Begriff usw, entweder A oder B oder C oder eine beliebige, nicht leere Teilmenge der Menge von A und B und C sein kann. So beziehen sich beispielsweise in dem anschaulichen Beispiel einer Menge mit drei Mitgliedern die konjunktiven Ausdrücke „mindestens eines von A, B und C“ und „mindestens eines von A, B und C“ auf eine der folgenden Mengen: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Derartige konjunktivische Formulierungen sind also nicht generell so zu verstehen, dass bei bestimmten Ausführungsformen jeweils mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden sein muss. Sofern nicht anders vermerkt oder durch den Kontext widerlegt, bezeichnet der Begriff „Mehrzahl“ einen Zustand der Pluralität (z.B. „eine Mehrzahl von Elementen“ bezeichnet mehrere Elemente). In mindestens einem Ausführungsbeispiel beträgt die Anzahl der Elemente in einer Mehrzahl mindestens zwei, kann aber auch mehr sein, wenn dies entweder ausdrücklich oder durch den Kontext angegeben wird. Sofern nicht anders angegeben oder aus dem Kontext klar hervorgeht, bedeutet der Ausdruck „basierend auf“ „zumindest teilweise basierend auf‟ und nicht „ausschließlich basierend auf“.
Die Operationen der hierin beschriebenen Prozesse können in jeder geeigneten Reihenfolge durchgeführt werden, sofern hierin nichts anderes angegeben ist oder der Kontext dem nicht eindeutig widerspricht. In mindestens einem Ausführungsbeispiel wird ein Prozess wie die hier beschriebenen Prozesse (oder Variationen und/oder Kombinationen davon) unter der Kontrolle eines oder mehrerer Computersysteme durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind und als Code (z.B. ausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen) implementiert sind, die gemeinsam auf einem oder mehreren Prozessoren, durch Hardware oder Kombinationen davon ausgeführt werden. In mindestens einem Ausführungsbeispiel ist der Code auf einem computerlesbaren Speichermedium gespeichert, z.B. in Form eines Computerprogramms, das eine Vielzahl von Anweisungen umfasst, die von einem oder mehreren Prozessoren ausgeführt werden können. In mindestens einem Ausführungsbeispiel ist ein computerlesbares Speichermedium ein nichttransitorisches computerlesbares Speichermedium, das transitorische Signale (z.B. eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung) ausschließt, aber nichttransitorische Datenspeicherschaltungen (z.B. Puffer, Cache und Warteschlangen) innerhalb von Transceivern für transitorische Signale enthält. In mindestens einem Ausführungsbeispiel ist Code (z.B. ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nichttransitorischen, computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen (oder ein anderer Speicher zum Speichern von ausführbaren Anweisungen) gespeichert sind, die, wenn sie von einem oder mehreren Prozessoren eines Computersystems ausgeführt werden (d.h. als Ergebnis der Ausführung), das Computersystem veranlassen, hier beschriebene Operationen durchzuführen. In mindestens einem Ausführungsbeispiel umfasst der Satz nichttransitorischer computerlesbarer Speichermedien mehrere nichttransitorische computerlesbare Speichermedien, und auf einem oder mehreren der einzelnen nichttransitorischen Speichermedien mehrerer nichttransitorischer computerlesbarer Speichermedien fehlt der gesamte Code, während auf mehreren nichttransitorischen computerlesbaren Speichermedien gemeinsam der gesamte Code gespeichert ist. In mindestens einem Ausführungsbeispiel werden ausführbare Befehle so ausgeführt, dass verschiedene Befehle von verschiedenen Prozessoren ausgeführt werden - zum Beispiel speichert ein nicht-übertragbares computerlesbares Speichermedium Befehle und eine zentrale Verarbeitungseinheit („CPU“) führt einige der Befehle aus, während eine Grafikverarbeitungseinheit („GPU“) andere Befehle ausführt. In mindestens einem Ausführungsbeispiel haben verschiedene Komponenten eines Computersystems getrennte Prozessoren, und verschiedene Prozessoren führen verschiedene Teilmengen von Befehlen aus.
Dementsprechend sind In mindestens einem Ausführungsbeispiel Computersysteme so konfiguriert, dass sie einen oder mehrere Dienste implementieren, die einzeln oder gemeinsam Operationen der hierin beschriebenen Prozesse durchführen, und solche Computersysteme sind mit geeigneter Hardware und/oder Software konfiguriert, die die Durchführung der Operationen ermöglichen. Weiter ist ein Computersystem, das mindestens eine Ausführungsform der vorliegenden Offenbarung implementiert, ein einzelnes Gerät, und in einer anderen Ausführungsform ist es ein verteiltes Computersystem, das mehrere Geräte umfasst, die unterschiedlich arbeiten, so dass ein verteiltes Computersystem die hierin beschriebenen Operationen durchführt und dass ein einzelnes Gerät nicht alle Operationen durchführt.
Die Verwendung von Beispielen oder beispielhaften Formulierungen (z.B. „wie“) dient lediglich der besseren Veranschaulichung von Ausführungsformen der Offenbarung und stellt keine Einschränkung des Umfangs der Offenbarung dar, sofern nicht anderweitig beansprucht. Keine Formulierung in der Beschreibung sollte so ausgelegt werden, dass ein nicht beanspruchtes Element als wesentlich für die Praxis der Offenbarung angesehen wird.
Alle hierin zitierten Referenzen, einschließlich Veröffentlichungen, Patentanmeldungen und Patente, werden hiermit durch Verweis in demselben Umfang einbezogen, als ob jede Referenz einzeln und ausdrücklich als durch Verweis einbezogen angegeben wäre und hier in ihrer Gesamtheit wiedergegeben würde.
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ sowie ihre Ableitungen verwendet werden. Es sollte verstanden werden, dass diese Begriffe nicht als Synonyme für einander zu verstehen sind. Vielmehr kann in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzuzeigen, dass zwei oder mehr Elemente in direktem oder indirektem physischem oder elektrischem Kontakt zueinander stehen. „Gekoppelt“ kann auch bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt zueinander stehen, aber dennoch zusammenarbeiten oder miteinander interagieren.
Sofern nicht ausdrücklich anders angegeben, beziehen sich Begriffe wie „Verarbeitung“, „Berechnung“, „Berechnen“, „Bestimmen“ o. ä. in der gesamten Spezifikation auf Aktionen und/oder Prozesse eines Computers oder Rechensystems oder eines ähnlichen elektronischen Rechengeräts, die Daten, die als physikalische, z.B. elektronische, Größen in den Registern und/oder Speichern des Rechensystems dargestellt werden, manipulieren und/oder in andere Daten umwandeln, die in ähnlicher Weise als physikalische Größen in den Speichern, Registern oder anderen Informationsspeicher-, Übertragungs- oder Anzeigegeräten des Rechensystems dargestellt werden.
In ähnlicher Weise kann sich der Begriff „Prozessor“ auf ein Gerät oder einen Teil eines Geräts beziehen, das elektronische Daten aus Registern und/oder einem Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten umwandelt, die in Registern und/oder einem Speicher gespeichert werden können. Als nicht einschränkende Beispiele kann ein „Prozessor“ eine CPU oder eine GPU sein. Eine „Datenverarbeitungsplattform“ kann einen oder mehrere Prozessoren umfassen. Der hier verwendete Begriff „Software“-Prozesse kann z.B. Software- und/oder Hardware-Einheiten umfassen, die im Laufe der Zeit Arbeit verrichten, wie z.B. Aufgaben, Threads und intelligente Agenten. Außerdem kann sich jeder Prozess auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. In mindestens einem Ausführungsbeispiel werden die Begriffe „System“ und „Methode“ hier austauschbar verwendet, da ein System eine oder mehrere Methoden umfassen kann und Methoden als ein System betrachtet werden können.
Im vorliegenden Dokument kann auf das Beschaffen, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Teilsystem, ein Computersystem oder eine computerimplementierte Maschine Bezug genommen werden. In mindestens einem Ausführungsbeispiel kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens analoger und digitaler Daten auf verschiedene Weise erfolgen, beispielsweise durch Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs an eine Anwendungsprogrammierschnittstelle. In einigen Implementierungen kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch die Übertragung von Daten über eine serielle oder parallele Schnittstelle durchgeführt werden. In einer anderen Implementierung kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens analoger oder digitaler Daten durch die Übertragung von Daten über ein Computernetzwerk von der bereitstellenden Einheit zur erfassenden Einheit durchgeführt werden. Es kann auch auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Präsentieren analoger oder digitaler Daten Bezug genommen werden. In verschiedenen Beispielen kann das Bereitstellen, Ausgeben, Übertragen, Senden oder Darstellen analoger oder digitaler Daten durch die Übertragung von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Interprozess-Kommunikationsmechanismus erfolgen.
Obwohl die obige Diskussion Beispielimplementierungen der beschriebenen Techniken darlegt, können auch andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sie sollen in den Anwendungsbereich dieser Offenbarung fallen. Darüber hinaus, obwohl spezifische Verteilungen von Verantwortlichkeiten oben zu Diskussionszwecken definiert sind, können verschiedene Funktionen und Verantwortlichkeiten auf unterschiedliche Weise verteilt und aufgeteilt werden, abhängig von den Umständen.
Auch wenn der Gegenstand in einer Sprache beschrieben wurde, die sich auf strukturelle Merkmale und/oder methodische Handlungen bezieht, ist zu verstehen, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden die spezifischen Merkmale und Handlungen als beispielhafte Formen der Umsetzung der Ansprüche offenbart.

Claims

Rechnersystem umfassend: einen oder mehrere Prozessoren zum dynamischen Auswählen von Neuronale-Netzwerk-Gewichten von einem oder mehreren Edge-Geräten, zumindest teilweise basierend auf einem oder mehreren Kriterien.
Rechnersystem nach Anspruch 1, wobei: die Neuronale-Netzwerk-Gewichte numerische Werte umfassen, die als Ergebnis eines Trainierens des neuronalen Netzwerks bestimmt werden; und der eine oder die mehreren Prozessoren die Neuronale-Netzwerk-Gewichte dynamisch unter Verwendung eines oder mehrerer Aggregationswerte auswählen, wobei der eine oder die mehreren Aggregationswerte als Ergebnis dadurch berechnet werden, dass das eine oder die mehreren Kriterien auf das Trainieren des neuronalen Netzwerks angewendet werden.
Rechnersystem nach Anspruch 2, wobei der eine oder die mehreren Prozessoren die Neuronale-Netzwerk-Gewichte dynamisch auswählen, indem sie einen ersten Satz von Neuronale-Netzwerk-Gewichten unter Verwendung eines ersten Aggregationswertes des einen oder der mehreren Aggregationswerte auswählen und einen zweiten Satz von Neuronale-Netzwerk-Gewichten unter Verwendung eines zweiten Aggregationswertes des einen oder der mehreren Aggregationswerte auswählen.
Rechnersystem nach Anspruch 2 oder 3, wobei: der eine oder die mehreren Prozessoren ein neuronales Netzwerkwerk zumindest durch Kombination der dynamisch ausgewählten Neuronale-Netzwerk-Gewichte mit anderen Neuronale-Netzwerk-Gewichte von einem oder mehreren anderen Edge-Geräten trainieren; und der eine oder die mehreren Aggregationswerte angeben, wie die Neuronale-Netzwerk-Gewichte zu gewichten sind, wenn sie mit den anderen Neuronale-Netzwerk-Gewichten kombiniert werden.
Rechnersystem nach einem der Ansprüche 2 bis 4, wobei der eine oder die mehreren Prozessoren ein neuronales Netzwerkwerk zumindest teilweise basierend auf den dynamisch ausgewählten Neuronale-Netzwerk-Gewichten trainieren und das neuronale Netzwerk an das eine oder die mehreren Edge-Geräte verteilen.
Rechnersystem nach einem der vorhergehenden Ansprüche, wobei der eine oder die mehreren Prozessoren die Neuronale-Netzwerk-Gewichte zumindest teilweise basierend auf einem oder mehreren Aggregationsgewichtswerten dynamisch auswählen, wobei das eine oder die mehreren Aggregationsgewichtswerte zumindest teilweise als Ergebnis des einen oder der mehreren Kriterien bestimmt werden, die auf das Trainieren des neuronalen Netzwerks durch das eine oder die mehreren Edge-Geräte angewendet werden, um die Neuronale-Netzwerk-Gewichte zu generieren.
Rechnersystem nach einem der vorhergehenden Ansprüche, wobei das eine oder die mehreren Kriterien zumindest eine Größe von Daten umfassen, die von dem einen oder den mehreren Edge-Geräten verwendet werden können, um die Neuronale-Netzwerk-Gewichte zu generieren.
Rechnersystem nach einem der vorhergehenden Ansprüche, wobei der eine oder die mehreren Prozessoren die Neuronale-Netzwerk-Gewichte dynamisch auswählen, um ein neuronales Netzwerkwerk zu trainieren, um eine medizinische Bildsegmentierung durchzuführen.
Verfahren umfassend: dynamisches Auswählen von Neuronale-Netzwerk-Gewichten von einem oder mehreren Edge-Geräten basierend, zumindest teilweise, auf einem oder mehreren Kriterien.
Verfahren nach Anspruch 9, wobei: die Neuronale-Netzwerk-Gewichte einen oder mehrere Datenwerte umfassen, die als Ergebnis eines Trainierens des neuronalen Netzwerks durch das eine oder die mehreren Edge-Geräte generiert wurden; und das dynamische Auswählen der Neuronale-Netzwerk-Gewichte umfasst: Auswählen eines ersten Satzes der Neuronale-Netzwerk-Gewichte, zumindest teilweise basierend auf einem oder mehreren Aggregationsgewichten; Auswählen eines zweiten Satzes der Neuronale-Netzwerk-Gewichte, zumindest teilweise basierend auf dem einen oder den mehreren Aggregationsgewichten; und Generieren eines neuronalen Netzwerks zumindest durch Kombinieren des ersten Satzes und des zweiten Satzes.
Verfahren nach Anspruch 10, weiter umfassend ein Verteilen des neuronalen Netzwerks an das eine oder die mehreren Edge-Geräte.
Verfahren nach Anspruch 10 oder 11, weiter umfassend ein Bestimmen des einen oder der mehreren Aggregationsgewichte zumindest teilweise basierend auf einem Anwenden des einen oder der mehreren Kriterien auf das Trainieren des neuronalen Netzwerks durch das eine oder die mehreren Edge-Geräte.
Verfahren nach einem der Ansprüche 9 bis 12, weiter umfassend ein Berechnen eines oder mehrerer Aggregationsgewichte basierend zumindest teilweise auf einem Anwenden des einen oder mehrerer Kriterien auf ein Trainieren des neuronalen Netzwerks durch das eine oder die mehreren Edge-Geräte, um die Neuronale-Netzwerk-Gewichte zu generieren, und ein dynamisches Auswählen der Neuronale-Netzwerk-Gewichte, die verwendet werden sollen, um ein neuronales Netzwerkwerk zu generieren.
Verfahren nach einem der Ansprüche 9 bis 13, das weiter ein dynamisches Auswählen der Neuronale-Netzwerk-Gewichte basierend auf Änderungen der Daten umfasst, die von dem einen oder den mehreren Edge-Geräten verwendet werden können, um die Neuronale-Netzwerk-Gewichte zu generieren.
Verfahren nach einem der Ansprüche 9 bis 14, weiter umfassend ein Generieren eines neuronalen Netzwerks als Ergebnis eines dynamischen Auswählens der Neuronale-Netzwerk-Gewichte und Verteilen des neuronalen Netzwerks an das eine oder die mehreren Edge-Geräte, wobei das neuronale Netzwerk zumindest eine Teilmenge der Neuronale-Netzwerk-Gewichte umfasst.
Verfahren nach einem der Ansprüche 9 bis 15, weiter umfassend ein dynamisches Auswählen der Neuronale-Netzwerk-Gewichte, um ein neuronales Netzwerkwerk zu trainieren, um eine medizinische Bildsegmentierung durchzuführen.
Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, zumindest zum: dynamisches Auswählen von Neuronale-Netzwerk-Gewichten von einem oder mehreren Edge-Geräten, zumindest teilweise basierend auf einem oder mehreren Kriterien.
Maschinenlesbares Medium nach Anspruch 17, wobei der Satz von Anweisungen weiter Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, zum: dynamischen Auswählen eines ersten Satzes der Neuronale-Netzwerk-Gewichte, basierend zumindest teilweise auf einem Satz von Aggregationswerten; dynamischen Auswählen eines zweiten Satzes der Neuronale-Netzwerk-Gewichte, zumindest teilweise basierend auf dem Satz von Aggregationswerten; und Kombinieren zumindest des ersten Satzes und des zweiten Satzes zu einem neuronalen Netzwerk.
Maschinenlesbares Medium nach Anspruch 18, wobei die Neuronale-Netzwerk-Gewichte numerische Werte umfassen, die als Ergebnis eines Trainierens des neuronalen Netzwerks durch das eine oder die mehreren Edge-Geräte bestimmt werden, um die Neuronale-Netzwerk-Gewichte zu generieren.
Maschinenlesbares Medium nach Anspruch 18 oder 19, wobei der Satz von Anweisungen weiterhin Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, das neuronale Netzwerk an das eine oder die mehreren Edge-Geräte zu übertragen.
Maschinenlesbares Medium nach einem der Ansprüche 18 bis 20, wobei der Satz von Anweisungen weiter Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, den Satz von Aggregationswerten zu berechnen, der zumindest teilweise auf einem Anwenden des einen oder der mehreren Kriterien auf das Training des neuronalen Netzwerks durch das eine oder die mehreren Edge-Geräte basiert, um die Neuronale-Netzwerk-Gewichte zu generieren.
Maschinenlesbares Medium nach einem der Ansprüche 18 bis 21, wobei der Satz von Anweisungen weiter Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, zum: Empfangen des Satzes von Aggregationswerten von dem einen oder den mehreren Edge-Geräten; Generieren eines weiteren Satzes von Aggregationswerten durch Anwenden einer gewichteten Mittelwertbildung auf den Satz von Aggregationswerten; und dynamischen Auswählen des ersten Satzes und des zweiten Satzes, zumindest teilweise basierend auf dem anderen Satz von Aggregationswerten.
Maschinenlesbares Medium nach einem der Ansprüche 17 bis 22, wobei das eine oder die mehreren Kriterien zumindest eine Metrik umfassen, die einer Größe von Daten entspricht, die von dem einen oder den mehreren Edge-Geräten verwendet werden können, um die Neuronale-Netzwerk-Gewichte zu generieren.
Maschinenlesbares Medium nach einem der Ansprüche 17 bis 23, wobei das eine oder die mehreren Kriterien zumindest eine Metrik umfassen, die einem oder mehreren neuronalen Netzwerken des einen oder der mehreren Edge-Geräte entspricht, die verwendet werden, um die Neuronale-Netzwerk-Gewichte zu generieren.
Maschinenlesbares Medium nach einem der Ansprüche 17 bis 24, wobei der Satz von Anweisungen weiter Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, eine medizinische Bildsegmentierung unter Verwendung eines neuronalen Netzwerks durchzuführen, das zumindest teilweise unter Verwendung der dynamisch ausgewählten Neuronale-Netzwerk-Gewichte trainiert wurde.
Prozessor, umfassend: einen oder mehrere Schaltkreise zum dynamischen Auswählen von Neuronale-Netzwerk-Gewichten von einem oder mehreren Edge-Geräten basierend, zumindest teilweise, auf einem oder mehreren Kriterien.
Prozessor nach Anspruch 26, wobei: die Neuronale-Netzwerk-Gewichte numerische Werte umfassen, die als Ergebnis eines Trainierens des neuronalen Netzwerks durch das eine oder die mehreren Edge-Geräte bestimmt werden; und die eine oder die mehreren Schaltungen die Neuronale-Netzwerk-Gewichte dynamisch unter Verwendung eines oder mehrerer Aggregationswerte auswählen, wobei der eine oder die mehreren Aggregationswerte als Ergebnis davon berechnet werden, dass das eine oder die mehreren Kriterien auf das Training des neuronalen Netzwerks angewendet werden.
Prozessor nach Anspruch 27, wobei der eine oder die mehreren Schaltkreise ein oder mehrere neuronale Netzwerke trainieren, indem sie die dynamisch ausgewählten Neuronale-Netzwerk-Gewichte verwenden, und veranlassen, dass das eine oder die mehreren neuronalen Netzwerke an das eine oder die mehreren Edge-Geräte verteilt werden.
Prozessor nach Anspruch 27 oder 28, wobei der eine oder die mehreren Aggregationswerte Änderungen der Daten anzeigen, die von dem einen oder den mehreren Edge-Geräten verwendet werden, um die Neuronale-Netzwerk-Gewichte gemäß dem einen oder den mehreren Kriterien zu generieren.
Prozessor nach einem der Ansprüche 27 bis 29, wobei der eine oder die mehreren Schaltkreise den einen oder die mehreren Aggregationswerte von dem einen oder den mehreren Edge-Geräten empfangen, wobei der eine oder die mehreren Aggregationswerte angeben, wie die dynamisch ausgewählten Neuronale-Netzwerk-Gewichte bei der Kombination mit anderen Neuronale-Netzwerk-Gewichten zu gewichten sind, um ein oder mehrere neuronale Netzwerke zu trainieren.
Prozessor nach einem der Ansprüche 26 bis 30, wobei das eine oder die mehreren Kriterien Metriken sind, die zumindest teilweise basierend auf Daten berechnet werden, die von dem einen oder den mehreren Edge-Geräten verwendet werden können, um die Neuronale-Netzwerk-Gewichte zu generieren.
Prozessor nach einem der Ansprüche 26 bis 31, wobei die eine oder mehreren Schaltungen die Neuronale-Netzwerk-Gewichte zumindest dynamisch auswählen, um ein neuronales Netzwerkwerk zu trainieren, wobei das trainierte neuronale Netzwerk an jedes der einen oder mehreren Edge-Geräte verteilt wird, um zusätzliche Neuronale-Netzwerk-Gewichte zu generieren.
Prozessor nach einem der Ansprüche 26 bis 32, wobei das eine oder die mehreren Kriterien zumindest eine Größe von Daten umfassen, die von dem einen oder den mehreren Edge-Geräten verwendet werden können, um die Neuronale-Netzwerk-Gewichte zu generieren.
Prozessor nach einem der Ansprüche 26 bis 33, wobei das eine oder die mehreren Kriterien zumindest eine Metrik umfassen, die einem oder mehreren neuronalen Netzwerken des einen oder der mehreren Edge-Geräte entspricht, die zum Generieren der Neuronale-Netzwerk-Gewichte verwendet werden.
Prozessor nach einem der Ansprüche 26 bis 34, wobei der eine oder die mehreren Prozessoren die Neuronale-Netzwerk-Gewichte dynamisch auswählen, um ein neuronales Netzwerkwerk zu trainieren, um eine Bildklassifizierung durchzuführen.