DE102022114840A1

DE102022114840A1 - Verfahren zum kombinieren von operationen

Info

Publication number: DE102022114840A1
Application number: DE102022114840.8A
Authority: DE
Inventors: Alexander James Collins; Vinod Grover
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2021-06-29
Filing date: 2022-06-13
Publication date: 2022-12-29
Also published as: US20220414455A1; GB2609302A; AU2022204572A1; CN115545176A; KR20230002060A; GB202209058D0

Abstract

Vorrichtungen, Systeme und Verfahren zum Kombinieren von Operationen. In mindestens einer Ausführungsform. In mindestens einer Ausführungsform bewirkt ein Prozessor, dass zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert werden.

Description

GEBIET
Mindestens eine Ausführungsform bezieht sich auf Verarbeitungsressourcen, die eingesetzt werden, um künstliche Intelligenz auszuführen und zu erleichtern. Zum Beispiel betrifft mindestens eine Ausführungsform Prozessoren oder Rechnersysteme, die eingesetzt werden, um Training und/oder Inferenzieren unter Verwendung von neuronalen Netzen gemäß verschiedener neuer Verfahren, die hier beschrieben sind, durchzuführen.
HINTERGRUND
Das Trainieren neuronaler Netze und/oder das Inferenzieren unter Verwendung neuronaler Netze kann erhebliche(n) Speicher, Zeit oder Rechenressourcen beanspruchen. Die Menge an Speicher, Zeit oder Rechenressourcen, die zum Trainieren neuronaler Netze und/oder zur Inferenz unter Verwendung neuronaler Netze verwendet werden, kann verbessert werden.
Figurenliste

1 ist ein Blockdiagramm, das ein System zum Kombinieren von Operationen veranschaulicht, gemäß mindestens einer Ausführungsform;
2 ist ein Blockdiagramm, das ein System zum Ausführen von Anweisungen veranschaulicht, die kombinierte Operationen beinhalten, gemäß mindestens einer Ausführungsform;
3 ist ein Flussdiagramm eines Verfahrens zum Generieren von Anweisungen, die kombinierte Operationen beinhalten, gemäß mindestens einer Ausführungsform;
4 ist ein Flussdiagramm eines Verfahrens zum Kombinieren von Operationen gemäß mindestens einer Ausführungsform;
5 ist ein Blockdiagramm das Arten von Fusionsregeln veranschaulicht, gemäß mindestens einer Ausführungsform;
6 ist ein Blockdiagramm das Versionen eines Graphen nach aufeinanderfolgender Anwendung von Fusionsregeln veranschaulicht, gemäß mindestens einer Ausführungsform;
7 ist ein Blockdiagramm, das einen anfänglichen Graphen und eine Arbeitsliste veranschaulicht, gemäß mindestens einer Ausführungsform;
8 ist ein Blockdiagramm, das einen anfänglichen Graphen mit Gruppenschlüsselannotationen veranschaulicht, gemäß mindestens einer Ausführungsform;
9 ist ein Blockdiagramm, das einen Graphen und eine Arbeitsliste nach Anwendung einer horizontalen Matrixmultiplikationsfusionsregel veranschaulicht, gemäß mindestens einer Ausführungsform;
10 ist ein Blockdiagramm, das aktualisierte Graphen und Arbeitslisten veranschaulicht, gemäß mindestens einer Ausführungsform;
11 ist ein Blockdiagramm, das eine Regel veranschaulicht, die wiederholte gleichgerichtete lineare Einheitsaktivierungsfunktions (relu)-Operationen zusammenführt, gemäß mindestens einer Ausführungsform;
12 ist ein Blockdiagramm, das eine Regel veranschaulicht, die punktweise relu-Operationen in benachbarte Faltungen schiebt, gemäß mindestens einer Ausführungsform;
13 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Transponierungsoperationen in Matrixmultiplikationen schiebt, gemäß mindestens einer Ausführungsform;
14 ist ein Blockdiagramm, das eine Regel veranschaulicht, die redundante Umwandlungen entfernt, gemäß mindestens einer Ausführungsform;
15 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Teilungsoperationen (split) gefolgt von Verkettungsoperationen entfernt, gemäß mindestens einer Ausführungsform;
16 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Teilungsoperationen schiebt, gemäß mindestens einer Ausführungsform;
17 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Verkettungsoperationen schiebt, gemäß mindestens einer Ausführungsform;
18 ist ein Blockdiagramm, das eine Regel veranschaulicht, die verschachtelte Teilungen kombiniert, gemäß mindestens einer Ausführungsform;
19 ist ein Blockdiagramm, das eine Regel veranschaulicht, die verschachtelte Verkettungsoperationen kombiniert, gemäß mindestens einer Ausführungsform;
20 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Transponierungsoperationen durch Verkettungsoperationen schiebt, gemäß mindestens einer Ausführungsform;
21 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Transponierungsoperationen durch Teilungen schiebt, gemäß mindestens einer Ausführungsform;
22 ist ein Blockdiagramm, das eine Regel veranschaulicht, die punktweise Operationen miteinander fusioniert, gemäß mindestens einer Ausführungsform;
23 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Matrixmultiplikationen horizontal fusioniert, wenn linke Eingaben gemeinsam genutzt werden, gemäß mindestens einer Ausführungsform;
24 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Matrixmultiplikationen horizontal fusioniert, wenn rechte Eingaben gemeinsam genutzt werden, gemäß mindestens einer Ausführungsform;
25 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Matrixmultiplikationsoperationen fusioniert, die dieselben Formen, aber unterschiedliche Eingangstensoren haben, gemäß mindestens einer Ausführungsform;
26 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Faltungsoperationen fusioniert, die auf einem gemeinsam genutzten Bild wirken, gemäß mindestens einer Ausführungsform;
27 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Faltungsoperationen unter Verwendung eines erweiterten Filters fusioniert, gemäß mindestens einer Ausführungsform;
28 ist ein Blockdiagramm, das eine Regel veranschaulicht, die Reduktionsoperationen fusioniert, die über dieselbe Reduktionsachse arbeiten, gemäß mindestens einer Ausführungsform;
29 ist ein Blockdiagramm, das eine Regel veranschaulicht, die redundante Teilgraphen entfernt, gemäß mindestens einer Ausführungsform;
30A veranschaulicht eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform;
30B veranschaulicht eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform;
31 veranschaulicht das Training und den Einsatz eines neuronalen Netzes gemäß mindestens einer Ausführungsform;
32 veranschaulicht ein Beispiel für ein Rechenzentrumssystem gemäß mindestens einer Ausführungsform;
33A veranschaulicht ein Beispiel für ein autonomes Fahrzeug gemäß mindestens einer Ausführungsform;
33B veranschaulicht ein Beispiel für Kamerastandorte und Sichtfelder für das autonome Fahrzeug aus 33A gemäß mindestens einer Ausführungsform;
33C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug aus 33A gemäß mindestens einer Ausführungsform veranschaulicht;
33D ist ein Diagramm, das ein System zur Kommunikation zwischen einem oder mehreren cloudbasierten Servern und dem autonomen Fahrzeug aus 33A gemäß mindestens einer Ausführungsform veranschaulicht;
34 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform veranschaulicht;
35 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform veranschaulicht;
36 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
37 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
38A veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
38B veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
38C veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
38D veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
38E und 38F veranschaulichen ein gemeinsames Programmiermodell gemäß mindestens einer Ausführungsform;
39 veranschaulicht beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform;
40A-40B veranschaulichen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform;
41A-41B illustrieren eine zusätzliche beispielhafte Grafikprozessorlogik gemäß mindestens einer Ausführungsform;
42 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
43A illustriert einen Parallelprozessor gemäß mindestens einer Ausführungsform;
43B veranschaulicht eine Partitionseinheit gemäß mindestens einer Ausführungsform;
43C veranschaulicht einen Verarbeitungscluster gemäß mindestens einer Ausführungsform;
43D veranschaulicht einen Grafik-Multiprozessor gemäß mindestens einer Ausführungsform;
44 veranschaulicht ein Multi-Grafikprozessoreinheits- (GPU-) System gemäß mindestens einer Ausführungsform;
45 veranschaulicht einen Grafikprozessor gemäß mindestens einer Ausführungsform;
46 ist ein Blockdiagramm, das eine Prozessor-Mikroarchitektur für einen Prozessor gemäß mindestens einer Ausführungsform illustriert;
47 veranschaulicht einen Deep-Learning-Anwendungsprozessor gemäß mindestens einer Ausführungsform;
48 ist ein Blockdiagramm, das einen beispielhaften neuromorphen Prozessor gemäß mindestens einer Ausführungsform zeigt;
49 veranschaulicht zumindest Abschnitte eines Grafikprozessors gemäß einer oder mehrerer Ausführungsformen;
50 veranschaulicht zumindest Abschnitte eines Grafikprozessors gemäß einer oder mehreren Ausführungsformen;
51 veranschaulicht zumindest Abschnitte eines Grafikprozessors gemäß einer oder mehreren Ausführungsformen;
52 ist ein Blockdiagramm einer Grafikverarbeitungsmaschine eines Grafikprozessors gemäß mindestens einer Ausführungsform;
53 ist ein Blockdiagramm von zumindest Abschnitten eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform;
54A-54B veranschaulichen gemäß mindestens einer Ausführungsform eine Thread-Ausführungslogik, die eine Anordnung von Prozessorelementen eines Grafikprozessorkerns aufweist;
55 veranschaulicht eine Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform;
56 veranschaulicht einen allgemeinen Verarbeitungscluster („GPC“) gemäß mindestens einer Ausführungsform;
57 veranschaulicht eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform;
58 illustriert einen Streaming-Multiprozessor gemäß mindestens einer Ausführungsform;
59 ist ein beispielhaftes Datenablaufdiagramm für eine weiterentwickelte Rechenpipeline gemäß mindestens einer Ausführungsform;
60 ist eine Systemdarstellung für ein beispielhaftes System zum Trainieren, Anpassen, Instanziieren und Einsetzen von Modellen des maschinellen Lernens in einer weiterentwickelten Rechenpipeline gemäß mindestens einer Ausführungsform;
61 beinhaltet eine beispielhafte Veranschaulichung einer weiterentwickelten Rechenpipeline 6010A zum Verarbeiten von Bildgebungsdaten gemäß mindestens einer Ausführungsform;
62A beinhaltet ein beispielhaftes Datenablaufdiagramm eines virtuellen Instruments, das eine Ultraschallvorrichtung unterstützt, gemäß mindestens einer Ausführungsform;
62B beinhaltet ein beispielhaftes Datenablaufdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform;
63A veranschaulicht ein Datenablaufdiagramm für ein Verfahren zum Trainieren eines Modells des maschinellen Lernens gemäß mindestens einer Ausführungsform; und
63B ist eine beispielhafte Veranschaulichung einer Client-Server-Architektur zum Erweitern von Annotationswerkzeugen mit vorab trainierten Annotationsmodellen gemäß mindestens einer Ausführungsform.

DETAILLIERTE BESCHREIBUNG
1 ist ein Blockdiagramm, das ein System 100 zum Kombinieren von Operationen gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform verwendet ein Deep-Learning(DL)-Compiler 102 eine Darstellung eines Computerprogramms 104, um den Code 106 zu generieren, der Operationen kombiniert, die in der Darstellung des Computerprogramms 104 dargestellt sind. In mindestens einer Ausführungsform ist die Darstellung des Computerprogramms 104 eine Graphendarstellung (z. B. ein Computerprogramm für maschinelles Lernen wie etwa ein DL-Graph). In mindestens einer Ausführungsform ist der DL-Compiler 102 ein Computerprogramm, das auf einem Prozessor (z. B. einer CPU) ausgeführt wird und auf das über eine Anwendungsprogrammierschnittstelle (API) zugegriffen werden kann. In mindestens einer Ausführungsform beinhaltet die Darstellung des Computerprogramms 104 Anweisungen, die auf einer Vorrichtung (z. B. einer Parallelverarbeitungseinheit (PPU) wie etwa einer Grafikverarbeitungseinheit (GPU)) durch einen Host (z. B. ein Computersystem mit einer CPU) gestartet werden sollen. In mindestens einer Ausführungsform beinhaltet die Darstellung des Computerprogramms 104 Operationen, die ein neuronales Netz verwenden, wie etwa ein Convolutional Neural Network (CNN) und/oder ein Recurrent Neural Network (RNN). In mindestens einer Ausführungsform führen eine oder mehrere Schaltungen eines Prozessors, auf dem der DL-Compiler 102 ausgeführt wird, eine oder mehrere Aktionen aus, die in Bezug auf den DL-Compiler 102 beschrieben werden.
In mindestens einer Ausführungsform beinhaltet der Code 106 Anweisungen, die auf einer Vorrichtung (z. B. einer CPU, PPU, GPU oder einer anderen geeigneten Beschleunigungsvorrichtung) durch einen Host (z. B. ein Computersystem mit einer CPU) gestartet werden sollen. In mindestens einer Ausführungsform beinhaltet der Code 106 einen oder mehrere Software-Kernels, die auf einer Vorrichtung gestartet werden sollen. In mindestens einer Ausführungsform ist der Code 106 Quellcode (z. B. für eine Parallelverarbeitungsplattform wie etwa Compute Unified Device Architecture (CUDA)). In mindestens einer Ausführungsform kann eine Programmierplattform (die z. B. verwendet wird, um Operationen über eine API zu kombinieren) CUDA, Radeon Open Compute Platform („ROCm“), OpenCL (OpenGL™ wird entwickelt von der Khronos-Gruppe), SYCL oder Intel One API sein. Obwohl in mindestens einer Ausführungsform einige Aspekte von APIs und/oder Verfahren zum Kombinieren von Operationen in Bezug auf CUDA erörtert werden, einschließlich CUDA-APls und/oder CUDA-Kernels, versteht es sich, dass ROCm, OpenCL, SYCL, One API und/oder beliebige andere geeignete APIs und/oder Kernels verwendet werden können. In mindestens einer Ausführungsform beinhaltet der Code 106 einen Software-Kernel (z. B. einen Software-Kernel, der auf einer Parallelverarbeitungsvorrichtung wie etwa einem CUDA-Kernel gestartet werden soll), der zwei oder mehr Operationen aus der Darstellung des Computerprogramms 104 zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen (z. B. zumindest teilweise basierend auf einer Arbeitsliste, die nach der Kombination von zwei oder mehr unabhängigen Operationen aktualisiert wurde) kombiniert. In mindestens einer Ausführungsform sind unabhängige Operationen Operationen, bei denen eine Ausgabe einer beliebigen dieser unabhängigen Operationen nicht direkt oder indirekt als eine Eingabe für andere Operationen dieser unabhängigen Operationen verwendet wird. In mindestens einer Ausführungsform wird eine Kombination von zwei oder mehr unabhängigen Operationen als horizontale Fusion bezeichnet. In mindestens einer Ausführungsform beinhaltet die Kombination von zwei oder mehr unabhängigen Operationen die Kombination von zwei oder mehr unabhängigen Gruppen von Operationen (z. B. wie in Bezug auf eine oder mehrere der 11-29 gezeigt oder beschrieben). In mindestens einer Ausführungsform werden unabhängige Gruppen von Operationen als unabhängige Sätze von Operationen, unabhängige Sätze von Knoten und/oder unabhängige Gruppen von Knoten bezeichnet. In mindestens einer Ausführungsform beinhaltet der Code 106 zusätzliche Operationen (z. B. elementweise Operationen, Kopieroperationen und/oder andere geeignete Operationen), die mit kombinierten zwei oder mehr Operationen zu einem Software-Kernel kombiniert sind.
In mindestens einer Ausführungsform werden elementweise Operationen auch als punktweise Operationen bezeichnet. In mindestens einer Ausführungsform können elementweise Operationen eine beliebige Anzahl von Eingaben beinhalten (z. B. unäre, binäre, ternäre oder jede andere Anzahl von Eingaben). In mindestens einer Ausführungsform beinhalten elementweise Operationen Operationen wie etwa Addieren, Subtrahieren, gleichgerichtete lineare Einheitsaktivierungsfunktion (relu), hyperbolischer Tangens (tanh), Auswählen oder jede andere geeignete elementweise Operation (z. B. eine Operation, die ein Berechnungselement durch ein Element auf einem oder mehreren Eingabetensoren ausführt). In mindestens einer Ausführungsform werden Kopieroperationen auch als Speicheroperationen bezeichnet. In mindestens einer Ausführungsform beinhalten Kopieroperationen ein Kopieren von Daten von einem oder mehreren Eingangspuffern zu einem oder mehreren Ausgangspuffern, führen jedoch keine Berechnungen an kopierten Daten durch. In mindestens einer Ausführungsform beinhalten Kopieroperationen Operationen wie Umformen, Replizieren, Transponieren, Verketten (concat), split, Umkehren, Stauchen, Erweitern, Sammeln, Aufteilen oder eine beliebige andere geeignete Kopieroperation.
In mindestens einer Ausführungsform beinhaltet eine Darstellung des Computerprogramms 104 Kombinationen von Operationen auf höherer Ebene und Reduktionsoperationen, elementweise Operationen und/oder Kopieroperationen. In mindestens einer Ausführungsform beinhalten Operationen auf höherer Ebene Operationen wie etwa Matrixmultiplikations (matmul)-Operationen, Faltungsoperationen, Softmax-Operationen, Batch-Normalisierungs (batchnorm)-Operationen und/oder beliebige andere geeignete Operation auf höherer Ebene. In mindestens einer Ausführungsform ist die Darstellung des Computerprogramms 104 eine Darstellung eines Teils eines Computerprogramms. In mindestens einer Ausführungsform ist die Darstellung des Computerprogramms 104 ein Graph (z. B. ein gerichteter azyklischer Graph (DAG)). In mindestens einer Ausführungsform ist die Darstellung des Computerprogramms 104 ein Teilgraph eines größeren Graphen.
In mindestens einer Ausführungsform generiert der DL-Compiler 102 eine modifizierte Darstellung des Computerprogramms 108 mindestens teilweise basierend auf der Darstellung des Computerprogramms 104. In mindestens einer Ausführungsform ist die Darstellung des Computerprogramms 104 eine erste Version eines Graphen und die modifizierte Darstellung des Computerprogramms 108 ist eine zweite Version des Graphen. In mindestens einer Ausführungsform generiert ein Rewriter 110 des DL-Compilers 102 eine modifizierte Darstellung des Computerprogramms 108. In mindestens einer Ausführungsform generieren eine oder mehrere andere Komponenten des DL-Compilers 102 anstelle des oder zusätzlich zu dem Rewriter(s) 110 eine modifizierte Darstellung von Computerprogramm 108. In mindestens einer Ausführungsform modifiziert der Rewriter 110 die Darstellung des Computerprogramms 104, um zwei oder mehr Operationen (z. B. unter Verwendung einer durch eine der 11-29 veranschaulichten Regel) mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen (z. B. kombiniert mindestens teilweise basierend unter Verwendung einer durch eine der 11-29 veranschaulichten Regel) zu kombinieren. In mindestens einer Ausführungsform beinhaltet eine Generierung einer modifizierten Darstellung des Programms 108 ein Ausführen mindestens eines Aspekts, der in Bezug auf das Verfahren 400 aus 4 beschrieben ist. In mindestens einer Ausführungsform beinhaltet die Generierung einer modifizierten Darstellung des Programms 108 eine Generierung und Aktualisierung einer Arbeitsliste, die der Übersichtlichkeit halber nicht gezeigt ist, und/oder einer oder mehrerer Zwischenversionen eines Graphen, die der Übersichtlichkeit halber nicht gezeigt sind.
In mindestens einer Ausführungsform kombiniert der DL-Compiler 102 zwei oder mehr unabhängige Operationen, die eine erste unabhängige Operation in einem ersten Satz von Knoten eines Graphen (z. B. in der Darstellung des Computerprogramms 104) und eine zweite unabhängige Operation in einem zweiten Satz von Knoten des Graphen beinhalten und bewirken, dass der erste Satz von Knoten mit dem zweiten Satz von Knoten gemäß einer Kombinationsregel (z. B. einer Regel, die in Bezug auf die 11-29 gezeigt oder beschrieben ist) kombiniert wird. In mindestens einer Ausführungsform aktualisiert der DL-Compiler 102 eine Liste von Operationen mindestens teilweise basierend auf kombinierten zwei oder mehr unabhängigen Operationen, und kombiniert zwei oder mehr Operationen mindestens teilweise basierend auf der aktualisierten Liste. In mindestens einer Ausführungsform beinhalten zwei oder mehr Operationen eine oder mehrere Operationen, die durch eine vorherige Kombination von zwei oder mehr unabhängigen Operationen eingeführt wurden. In mindestens einer Ausführungsform beinhalten zwei oder mehr unabhängige Operationen zwei oder mehr Matrixmultiplikationsoperationen. In mindestens einer Ausführungsform beinhalten zwei oder mehr unabhängige Operationen zwei oder mehr Faltungsoperationen. In mindestens einer Ausführungsform beinhaltet die Kombination von zwei oder mehr unabhängigen Operationen die Kombination von zwei oder mehr unabhängigen Gruppen von Operationen (z. B. wie in Bezug auf eine oder mehrere der 11-29 gezeigt oder beschrieben). In mindestens einer Ausführungsform werden unabhängige Gruppen von Operationen als unabhängige Sätze von Operationen, unabhängige Sätze von Knoten und/oder unabhängige Gruppen von Knoten bezeichnet.
In mindestens einer Ausführungsform generiert der Code-Generator 116 den Code 106 mindestens teilweise basierend auf einer modifizierten Darstellung des Computerprogramms 108. In mindestens einer Ausführungsform generiert der Code-Generator 116 den Code 106 mindestens teilweise basierend auf einer oder mehreren anderen Komponenten (z. B. einem Zeitplan, der von einem Scheduler generiert wird, der Übersichtlichkeit halber nicht gezeigt). In mindestens einer Ausführungsform generiert der Deep-Learning-Compiler 102, der als Compiler bezeichnet wird, den Code 106 (z. B. mit dem Code-Generator 116), generiert aber keinen Laufzeitcode, der ausreicht, um ein Computerprogramm auszuführen, das einer Darstellung eines Computerprogramms 104 entspricht. In mindestens einer Ausführungsform wird die Darstellung eines Computerprogramms 104 durch ein Deep-Learning-Framework (z. B. TensorFlow oder PyTorch) generiert. In mindestens einer Ausführungsform ist die Darstellung des Computerprogramms 104 ein Graph. In mindestens einer Ausführungsform werden der Rewriter 110 und/oder der Code-Generator 116 über eine gemeinsame API betrieben. In mindestens einer Ausführungsform generiert ein Compiler und/oder Interpreter 118 den Laufzeitcode 120 mindestens teilweise basierend auf dem Code 106. In mindestens einer Ausführungsform generiert der Compiler/Interpreter 118 den Laufzeitcode 120 mindestens teilweise basierend auf andere Eingaben 122 (z. B. Teile eines Computerprogramms, die nicht durch eine graphische Darstellung eines neuronalen Netzes dargestellt sind) zusätzlich zu dem Code 106. In mindestens einer Ausführungsform generiert der DL-Compiler 102 den Laufzeitcode 120 (z. B. durch integrierte Compilers/Interpreters 118 im DL-Compiler 102). In mindestens einer Ausführungsform wird der Laufzeitcode 120 und/oder der Code 106 zur späteren Verwendung gespeichert (z. B. in einem Arbeitsspeicher und/oder einer dauerhaften Speichervorrichtung). In mindestens einer Ausführungsform wird der Laufzeitcode 120 und/oder der Code 106 kurz nach der Generierung verwendet (z. B. gerade rechtzeitig zur Ausführung kompiliert). In mindestens einer Ausführungsform sind der Rewriter 110, der Code-Generator 116 und der Compiler/Interpreter 118 (z. B. als ein Compiler) in einen kombinierten Compiler integriert, der Operationen ausführt, die in Bezug auf den Rewriter 110, den Code-Generator 116 und den Compiler/Interpreter 118 beschrieben wurden, um Laufzeitcode 120 zu einer Kompilierzeit zu generieren. In mindestens einer Ausführungsform ist ein kombinierter Compiler über eine API zugänglich.
In mindestens einer Ausführungsform besteht die Darstellung eines Computerprogramms 104 aus strukturierten Daten (z. B. Daten gemäß einem vorbestimmten Format und/oder einer vorbestimmten Syntax), die ein vollständiges Computerprogramm darstellen. In mindestens einer Ausführungsform besteht die Darstellung eines Computerprogramms 104 aus strukturierten Daten, die eher einen Teil eines Computerprogramms als ein gesamtes Computerprogramm darstellen, wobei die Darstellung einen gerichteten azyklischen Graphen (DAG) definieren kann, um eine Verwendung von Tensordaten in einem neuronalen Netz für Deep Learning anzuzeigen. In mindestens einer Ausführungsform stellt jeder Knoten des DAG eine Operation dar, die eine gewisse Tensorausgabe erzeugt, und jede Kante stellt eine Tensor-Erzeuger-Verbraucher-Beziehung dar. In mindestens einer Ausführungsform startet ein Client, der das System 100 verwendet (z. B. eine Anwendung, die das System 100 verwendet, um ein Trainings- und/oder Inferenzverfahren eines neuronalen Netzes für Deep Learning zu kompilieren und/oder auszuführen), Anweisungen in einem Software-Kernel, der zwei oder mehr Operationen mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert.
2 ist ein Blockdiagramm, das ein System 200 zum Ausführen von Anweisungen veranschaulicht, die kombinierte Operationen beinhalten, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform werden Anweisungen, die kombinierte Operationen beinhalten (z. B. Code 106 aus 1, der vom DL-Compiler 102 generiert wird), von einem Host 202 zu einer Vorrichtung 204 gestartet. In mindestens einer Ausführungsform ist der Host 202 ein Computersystem, das einen Prozessor 206 (z. B. eine CPU) und einen Speicher 208 beinhaltet. In mindestens einer Ausführungsform ist die Vorrichtung 204 ein Beschleuniger, der einen Prozessor 210 (z. B. einen oder mehrere Parallelprozessoren) und einen Speicher 212 beinhaltet. In mindestens einer Ausführungsform ist die Vorrichtung 204 ist eine PPU oder eine GPU. In mindestens einer Ausführungsform wird der DL-Compiler 102 aus 1 auf Host 202 ausgeführt werden.
In mindestens einer Ausführungsform startet der Host 202 Operationen und/oder Anweisungen, die auf der Vorrichtung 204 ausgeführt werden sollen (z. B. durch Starten von Parallelverarbeitungs-Framework-Anweisungen, wie etwa CUDA-Kernels (CUDA: Compute Unified Device Architecture). In mindestens einer Ausführungsform werden Parallelverarbeitungs-Framework-Anweisungen für ein anderes Framework als CUDA verwendet (z. B. Anweisungen für Radeon Open Compute Platform („ROCm”), OpenCL (O-penCL™ wird von der Khronos-Gruppe entwickelt), SYCL oder Intel One API). In mindestens einer Ausführungsform startet ein Ausführer, der der Übersichtlichkeit halber nicht gezeigt ist, der auf dem Host 202 ausgeführt wird, Anweisungen, die kombinierte Operationen beinhalten (z. B. als Software-Kernel wie etwa Code 106 oder Laufzeitcode 120 aus 1). In mindestens einer Ausführungsform wird der Ausführer auf einer CPU (z. B. dem Prozessor 206) ausgeführt und startet Anweisungen (z. B. als Kernels) auf einer Parallelverarbeitungseinheit (z. B. einer GPU). In mindestens einer Ausführungsform ist der Ausführer eine virtuelle Maschine, die auf dem Prozessor 206 (z. B. einer CPU) ausgeführt wird.
In mindestens einer Ausführungsform beinhaltet der Prozessor 210 der Vorrichtung 204 eine oder mehrere Schaltungen zum Ausführen einer oder mehrerer Anweisungen in einem Software-Kernel, einschließlich zweier oder mehrerer Operationen, die mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert werden, wobei Operationen im Software-Kernel durch einen Compiler (z. B. DL-Compiler 102 aus 1) kombiniert wurden. In mindestens einer Ausführungsform beinhaltet das System 200 einen oder mehrere Speicher (z. B. den Speicher 208 vor der Kernel-Startanweisung und den Speicher 212 nach der Kernel-Startanweisung, während die Vorrichtung 204 Anweisungen ausführt), um einen Software-Kernel zu speichern, der zwei oder mehr Operationen beinhaltet, die durch einen Compiler (z. B. DL-Compiler 102 aus 1) zu dem Software-Kernel mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert werden. In mindestens einer Ausführungsform ist der Prozessor 210 Teil einer PPU, und eine oder mehrere Schaltungen des Prozessors 210 sollen eine oder mehrere Anweisungen ausführen, die kombinierte Operationen beinhalten, nachdem ein Kernel-Startbefehl von einem Host-Computersystem (z. B. Host 202) empfangen wurde.
In mindestens einer Ausführungsform beinhaltet der Prozessor 206 eine oder mehrere Schaltungen, um zu bewirken (z. B. unter Verwendung des DL-Compilers 102 aus 1), dass zwei oder mehr Operationen zu einem modifizierten Graphen (z. B. einer modifizierten Darstellung des Programms 108 aus 1) mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert werden, und ein Software-Kernel (z. B. Code 106 aus 1) mindestens teilweise basierend auf dem modifizierten Graphen generiert wird. In mindestens einer Ausführungsform beinhaltet der Prozessor 210 eine oder mehrere Schaltungen zum Ausführen eines Software-Kernels (z. B. Code 106 aus 1), der zwei oder mehr Operationen beinhaltet, die mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert wurden. In mindestens einer Ausführungsform sollen eine oder mehrere Schaltungen des Prozessors 210 den Software-Kernel ausführen, nachdem sie einen Kernel-Startbefehl von einem Host-Computersystem (z. B. Host 202) empfangen haben.
In mindestens einer Ausführungsform bewirken eine oder mehrere Schaltungen des Prozessors 206, dass zwei oder mehr Operationen mindestens teilweise basierend auf einer zweiten Version eines Graphen kombiniert werden. In mindestens einer Ausführungsform bewirken eine oder mehrere Schaltungen des Prozessors 206, dass die zweite Version des Graphen mindestens teilweise basierend auf einer ersten Version eines Graphen und einer Kombination von zwei oder mehr unabhängigen Operationen generiert wird. In mindestens einer Ausführungsform bewirken eine oder mehrere Schaltungen des Prozessors 206, dass zwei oder mehr Operationen mindestens teilweise basierend auf dem Traversieren der zweiten Version des Graphen kombiniert werden. In mindestens einer Ausführungsform beinhaltet das System 200 einen oder mehrere Speicher (z. B. den Speicher 208 und/oder den Speicher 212) zum Speichern eines aktualisierten Graphen, der einen Satz von Knoten beinhaltet, der mindestens teilweise auf zwei oder mehr kombinierten Operationen basiert.
In mindestens einer Ausführungsform führt der Prozessor 210 einen Satz von Anweisungen aus (z. B. von einem nichtflüchtigen maschinenlesbaren Medium). In mindestens einer Ausführungsform bewirkt der Satz von Anweisungen, wenn er von dem Prozessor 210 ausgeführt wird, dass der Prozessor 210 mindestens einen Software-Kernel (z. B. Code 106 aus 1) ausführt, der zwei oder mehr Operationen beinhaltet, die mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen von einem Compiler (z. B. DL-Compiler 102 aus 1) zu einem Software-Kernel kombiniert werden. In mindestens einer Ausführungsform beinhaltet der Software-Kernel parallel auszuführende Anweisungen. In mindestens einer Ausführungsform soll der Software-Kernel auf einer Parallelverarbeitungseinheit oder einer Grafikverarbeitungseinheit (z. B. Vorrichtung 204) ausgeführt werden.
In mindestens einer Ausführungsform beinhaltet das System 200 einen oder mehrere Prozessoren (z. B. den Prozessor 206), um zwei oder mehr Operationen zu einem Software-Kernel mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen zu kombinieren, und einen oder mehreren Speicher (z. B. den Speicher 208) zum Speichern des Software-Kernels. In mindestens einer Ausführungsform implementiert der Software-Kernel einen Teil einer Inferenzierungs-Operation unter Verwendung eines neuronalen Netzes. In mindestens einer Ausführungsform beinhaltet der Software-Kernel parallel auszuführende Anweisungen, sind ein oder mehrere Prozessoren (z. B. der Prozessor 206) ein oder mehrere erste Prozessoren, beinhaltet das System ferner einen oder mehrere zweite Prozessoren (z. B. den Prozessor 210), und der eine oder die mehreren ersten Prozessoren sollen einen Software-Kernel zur Ausführung durch den einen oder die mehreren zweiten Prozessoren starten.
3 veranschaulicht ein Flussdiagramm eines Verfahrens 300 zum Generieren von Anweisungen, die kombinierte Operationen beinhalten, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird das Verfahren 300 von mindestens einer Schaltung, mindestens einem System, mindestens einem Prozessor, mindestens einer Grafikverarbeitungseinheit, mindestens einem Parallelprozessor und/oder mindestens einem anderen Prozessor oder einer Komponente davon durchgeführt, der/die hierin beschrieben und/oder gezeigt wird. In mindestens einer Ausführungsform wird mindestens ein Aspekt des Verfahrens 300 durch den DL-Compiler 102 aus 1 ausgeführt.
In mindestens einer Ausführungsform beinhaltet das Verfahren 300 bei einem Block 302 ein Identifizieren einer Darstellung eines Satzes von Anweisungen (z. B. einer Darstellung des Computerprogramms 104 aus 1). In mindestens einer Ausführungsform beinhaltet das Verfahren 300 bei einem Block 304 ein Kombinieren von Operationen (z. B. unter Verwendung des DL-Compilers 102 aus 1). In mindestens einer Ausführungsform beinhaltet das Kombinieren von Operationen bei Block 304 ein Kombinieren von zwei oder mehr Operationen mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen.
In mindestens einer Ausführungsform beinhaltet das Verfahren 300 bei einem Block 306 ein Generieren von Anweisungen (z. B. Code 106 und/oder Laufzeitcode 120 aus 1). In mindestens einer Ausführungsform beinhaltet das Generieren von Anweisungen bei Block 306 ein Kombinieren von zwei oder mehr Operationen zu einem einzigen Software-Kernel mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen. In mindestens einer Ausführungsform beinhaltet das Verfahren 300 bei einem Block 308 ein Ausführen anderer Aktionen. In mindestens einer Ausführungsform beinhaltet das Ausführen anderer Aktionen bei Block 308 ein Zurückkehren zu Block 302, um eine zusätzliche Darstellung eines Satzes von Anweisungen zu identifizieren.
In mindestens einer Ausführungsform wird das Verfahren 300 mindestens teilweise durch Ausführen eines Satzes von Anweisungen (z. B. von einem nichtflüchtigen maschinenlesbaren Medium) unter Verwendung eines oder mehrerer Prozessoren (z. B. des Hosts 202 aus 2 oder eines beliebigen anderer geeigneter Prozessors, wie hierin gezeigt oder beschrieben) ausgeführt. In mindestens einer Ausführungsform beinhaltet das Verfahren 300 ein Kombinieren von zwei oder mehr Operationen zu einem Software-Kernel mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen.
4 veranschaulicht ein Flussdiagramm eines Verfahrens 400 zum Kombinieren von Operationen gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird das Verfahren 400 von mindestens einer Schaltung, mindestens einem System, mindestens einem Prozessor, mindestens einer Grafikverarbeitungseinheit, mindestens einem Parallelprozessor und/oder mindestens einem anderen Prozessor oder einer Komponente davon ausgeführt, der/die hierin beschrieben und/oder gezeigt wird. In mindestens einer Ausführungsform wird mindestens ein Aspekt des Verfahrens 400 durch den DL-Compiler 102 von 1 ausgeführt. In mindestens einer Ausführungsform werden ein oder mehrere Aspekte des Verfahrens 400 in Bezug auf das Kombinieren von Operationen bei Block 304 von 3 ausgeführt.
In mindestens einer Ausführungsform beinhaltet das Verfahren 400 bei einem Block 402 ein Generieren einer Liste von Operationen in einem Graphen (z. B. eine Liste von Operationen in Darstellung des Programms 104 aus 1). In mindestens einer Ausführungsform beinhaltet das Verfahren 400 bei einem Block 404 das Identifizieren von Sätzen von Operationen, die kombiniert werden können. In mindestens einer Ausführungsform beinhaltet das Identifizieren von Sätzen von Operationen, die kombiniert werden können, ein Vergleichen von Operationen und/oder Gruppen von Operationen in einer Liste von Operationen und/oder einen Graphen mit einem Teilgraphen in einer oder mehreren Regeln, die in Bezug auf die 11-29 gezeigt oder beschrieben sind. In mindestens einer Ausführungsform beinhaltet das Verfahren 400 bei einem Block 406 ein Kombinieren identifizierter Sätze von Operationen. In mindestens einer Ausführungsform wird das Kombinieren identifizierter Sätze von Operationen mindestens teilweise basierend auf einer oder mehreren Regeln ausgeführt, die in Bezug auf die 11-29 gezeigt oder beschrieben sind. In mindestens einer Ausführungsform wird das Kombinieren von Sätzen von Operationen als Fusionieren von Sätzen von Operationen bezeichnet. In mindestens einer Ausführungsform wird das Kombinieren von Sätzen von Operationen als Zusammenführen von Sätzen von Operationen bezeichnet.
In mindestens einer Ausführungsform beinhaltet das Verfahren 400 bei einem Block 408 das Generieren eines aktualisierten Graphen (z. B. einer modifizierten Darstellung des Programms 108 aus 1 und/oder einer oder mehrerer aktualisierter Zwischenversionen des Graphen, bevor die Fusion abgeschlossen ist). In mindestens einer Ausführungsform beinhaltet das Verfahren 400 bei einem Block 410 ein Generieren einer aktualisierten Liste von Operationen (z. B. wie in Bezug auf eine oder mehrere von 7-10 gezeigt oder beschrieben). In mindestens einer Ausführungsform beinhaltet das Verfahren 400 bei einem Entscheidungsblock 412 ein Durchführen einer Prüfung, um zu sehen, ob zusätzliche Operationen in der aktualisierten Liste verbleiben. Wenn bei Entscheidungsblock 412 zusätzliche Operationen verbleiben, kehrt das Verfahren 400 in mindestens einer Ausführungsform zu Block 404 zurück, um Sätze von Operationen in der aktualisierten Liste zu identifizieren, die kombiniert werden können.
In mindestens einer Ausführungsform beinhaltet das Verfahren 400 bei einem Block 414 ein Ausführen anderer Aktionen. Wenn bei Entscheidungsblock 412 keine zusätzlichen Operationen verbleiben, fährt das Verfahren 400 in mindestens einer Ausführungsform mit Block 414 fort. In mindestens einer Ausführungsform beinhaltet das Ausführen anderer Aktionen ein Generieren eines oder mehrerer Software-Kernels mindestens teilweise basierend auf dem aktualisierten Graphen. In mindestens einer Ausführungsform beinhaltet das Ausführen anderer Aktionen ein Ausführen einer oder mehrerer Inferenzierungs-Operationen mindestens teilweise basierend auf einem aktualisierten Graphen.
In mindestens einer Ausführungsform wendet ein Fusionsalgorithmus (z. B. des Verfahrens 400) schrittweise einen Satz von Regeln auf einen Graphen an (z. B. die Darstellung des Programms 104 aus 1), bis er einen festen Punkt erreicht. In mindestens einer Ausführungsform verwendet der Algorithmus eine Arbeitsliste (z. B. eine bei Block 402 generierte und bei Block 410 aktualisierte Liste aus 4), um zu verfolgen, welche Teile des Graphen noch nicht analysiert wurden. In mindestens einer Ausführungsform erlaubt dies dem Verfahren (z. B. dem Verfahren 400 aus 4), effizient zu verfolgen, welche Teile des Graphen noch Gelegenheiten für eine Fusion bieten können. In mindestens einer Ausführungsform bieten/bietet der Compiler 102 aus 1 und/oder das Verfahren 400 aus 4 Vorteile gegenüber Legacy-Ansätzen mindestens teilweise basierend auf der Verwendung von Keimen einer horizontalen Fusion, um die horizontale Fusion über Graphen unter Verwendung einer Arbeitsliste zu erweitern, und kann größere Graphen finden, die fusioniert werden sollen, als Legacy-Ansätze, was zu einer erhöhten Leistung und/oder besseren Auslastung von Computerressourcen wie Verarbeitungszeit und/oder Speicher führt.
In mindestens einer Ausführungsform wird das Verfahren 400 mindestens teilweise durch Ausführen eines Satzes von Anweisungen (z. B. von einem nichtflüchtigen maschinenlesbaren Medium) unter Verwendung eines oder mehrerer Prozessoren (z. B. des Hosts 202 aus 3 oder einem beliebigen anderer geeigneter Prozessor, wie hierin gezeigt oder beschrieben) ausgeführt. In mindestens einer Ausführungsform beinhaltet das Verfahren 400 ein Kombinieren von zwei oder mehr Operationen in einem Graphen mindestens teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen. In mindestens einer Ausführungsform ist der Graph eine Darstellung eines neuronalen Netzes, und zwei oder mehr unabhängige Operationen beinhalten eine oder mehrere Faltungsoperationen. In mindestens einer Ausführungsform beinhalten zwei oder mehr Operationen eine Teilungsoperation und eine Verkettungsoperation, die durch Kombination von zwei oder mehr unabhängigen Operationen in den Graphen eingeführt werden. In mindestens einer Ausführungsform beinhaltet das Verfahren 400 ein Aktualisieren einer Arbeitsliste mindestens teilweise basierend auf zwei oder mehr kombinierten unabhängigen Operationen. In mindestens einer Ausführungsform beinhaltet das Verfahren 400 ein Kombinieren von zwei oder mehr Operationen mindestens teilweise basierend auf einer aktualisierten Arbeitsliste. In mindestens einer Ausführungsform beinhalten zwei oder mehr unabhängige Operationen zwei oder mehr unabhängige punktweise Operationen. In mindestens einer Ausführungsform beinhalten zwei oder mehr unabhängige Operationen zwei oder mehr Faltungsoperationen, und zwei oder mehr Operationen beinhalten eine Teilungsoperation und eine Verkettungsoperation. In mindestens einer Ausführungsform beinhalten zwei oder mehr unabhängige Operationen eine erste unabhängige Operation in einem ersten Satz von Knoten des Graphen und eine zweite unabhängige Operation in einem zweiten Satz von Knoten des Graphen, wobei das Verfahren 400 den ersten Satz von Knoten mit dem zweiten Satz von Knoten gemäß einer horizontalen Fusionsregel kombiniert. In mindestens einer Ausführungsform beinhaltet die Kombination von zwei oder mehr unabhängigen Operationen die Kombination von zwei oder mehr unabhängigen Gruppen von Operationen (z. B. wie in Bezug auf eine oder mehrere der 11-29 gezeigt oder beschrieben). In mindestens einer Ausführungsform werden unabhängige Gruppen von Operationen als unabhängige Sätze von Operationen, unabhängige Sätze von Knoten und/oder unabhängige Gruppen von Knoten bezeichnet. In mindestens einer Ausführungsform ist der Graph eine zweite Version des Graphen, und das Verfahren 400 beinhaltet ein Kombinieren von zwei oder mehr unabhängigen Operationen in einer ersten Version des Graphen, um eine zweite Version des Graphen zu generieren. In mindestens einer Ausführungsform beinhaltet das Verfahren 400 ein Kombinieren von zwei oder mehr unabhängigen Operationen mindestens teilweise basierend auf einer Arbeitsliste, die ein gruppiertes Arbeitselement beinhaltet, das mit diesen zwei oder mehr unabhängigen Operationen und einen Gruppenschlüssel assoziiert ist.
5 ist ein Blockdiagramm, das Arten von Fusionsregeln gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform beinhalten Fusionsregeln zwei Haupttypen. In mindestens einer Ausführungsform fusionieren vertikale Fusionsregeln Operationsfolgen vertikal. In mindestens einer Ausführungsform identifiziert beispielsweise eine „relu relu“-Regel, die als Regel 500 gezeigt ist, eine relu-Op gefolgt von einer zweiten Regel-Op in einem Teilgraphen 502, die dann durch eine einzelne relu-Op in einem Teilgraphen 504 ersetzt wird. In mindestens einer Ausführungsform fusionieren horizontale Fusionsregeln Gruppen von Vertices, die im Graphen nicht miteinander verbunden sein können, aber einige Eigenschaften gemeinsam haben, die es ihnen ermöglichen, horizontal fusioniert zu werden. In mindestens einer Ausführungsform identifiziert zum Beispiel eine gezeigte horizontale Faltungsfusionsregel 506 zwei oder mehr Faltungs-Ops (eine Gruppe genannt), die dieselben Bildeingabe- und Filterformen in einem Teilgraphen 508 haben, und fusioniert sie zu einer einzigen Faltung in einem Teilgraphen 510. In mindestens einer Ausführungsform weisen horizontale Regeln eine zusätzliche Komplexität auf, dass keine der Ausgaben von Operationen in einer Gruppe von irgendeiner der anderen Operationen in der Gruppe verwendet werden kann. In wenigstens einer Ausführungsform verfolgt das Verfahren (z. B. das Verfahren 400 aus 4), welche Operationen Vorgänger voneinander sind, und verwendet dies als Teil der Gruppenerkennungsprozedur.
In mindestens einer Ausführungsform enthalten Deep-Learning(DL)-Graphen viele Fusionsmöglichkeiten, die die Leistung drastisch verbessern können, und die Anwendung einer Fusionstransformation kann zu noch mehr Fusionsmöglichkeiten führen. In mindestens einer Ausführungsform wendet das Verfahren (z. B. Verfahren 400 aus 4) wiederholt Fusionsregeln an, bis es keine Fusionsmöglichkeiten mehr im Graphen gibt (z. B. wenn zusätzliche Operationen nicht länger in der Liste bei Entscheidungsblock 412 aus 4 vorhanden sind). In mindestens einer Ausführungsform wird das Fusionsverfahren (z. B. Verfahren 400 aus 4) an DL-Graphen betrieben, die Eingabetensoren, Ausgabetensoren und Operationen an Tensoren beinhalten. In mindestens einer Ausführungsform führt das Verfahren Operationen zusammen, um redundante Berechnungen zu entfernen und eine „Breite“ des Graphen durch horizontale Fusion zu reduzieren. In mindestens einer Ausführungsform fusioniert die horizontale Fusion zwei oder mehr unabhängige Operationen. In mindestens einer Ausführungsform wird das Fusionieren von zwei oder mehr Operationen als Kombinieren von zwei oder mehr Operationen bezeichnet.
6 ist ein Blockdiagramm, das Versionen eines Graphen nach sukzessiver Anwendung von Fusionsregeln gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform beinhaltet ein anfänglicher Graph 600 Eingabe- und Ausgabetensoren (durch Kreise gekennzeichnet), Operationen (durch Kästchen gekennzeichnet) und Kanten, die einen Fluss von Tensoren durch den Graphen darstellen. In mindestens einer Ausführungsform werden in Graph 600 Matrixmultiplikationen (matmul) von A und W und B und W separat berechnet. In mindestens einer Ausführungsform wird dann eine punktweise relu-Operation auf die Ausgaben von matmuls angewendet, um die Ausgabetensoren C und D zu erzeugen. In mindestens einer Ausführungsform teilen sich matmul-Operationen in Graph 600 einen gleichen rechten Eingabetensor W. In mindestens einer Ausführungsform fusioniert das Verfahren (z. B. Verfahren 400 aus 4) diese zu einer einzigen matmul durch Verketten von A und B, Berechnen von matmul und Aufteilen des Ergebnisses, wie in einem Graphen 602 gezeigt. In mindestens einer Ausführungsform führt das Verfahren eine weitere Optimierung durch, indem split durch punktweise relu-Operationen geschoben wird, um einen Graphen 604 zu erhalten. In mindestens einer Ausführungsform berechnet der Graph 604 nun eine einzelne matmul und relu. In mindestens einer Ausführungsform wird für Teilgraphen, die Teil eines größeren Deep-Learning-Modells (z. B. Graphen) sind, concat früher in den Graphen geschoben und/oder split wird nach Möglichkeit durch eine oder mehrere zusätzliche Operationen in den Graphen geschoben.
In mindestens einer Ausführungsform wendet das Verfahren (z. B. das Verfahren 400 aus 4) Transformationsregeln aus einem Satz von Regeln an, bis sich der Graph nicht mehr ändert. In mindestens einer Ausführungsform führt das Verfahren Fusionstransformationen automatisch aus. In mindestens einer Ausführungsform verfolgt das Verfahren den Fortschritt der Fusion unter Verwendung einer Arbeitsliste, die beschreibt, welche Teile des Graphen zu prüfen sind, um zu sehen, ob eine Transformationsregel anwendbar ist. In mindestens einer Ausführungsform ist die Fusion abgeschlossen, wenn die Arbeitsliste leer ist. In mindestens einer Ausführungsform fügt das Verfahren jedem Vertex im Graphen eine eindeutige Kennung hinzu. In mindestens einer Ausführungsform werden Vertices als Knoten bezeichnet. In mindestens einer Ausführungsform baut das Verfahren eine anfängliche Arbeitsliste auf, die ein Arbeitselement für jede Operation im Graphen und jede Gruppe von Operationen enthält. In mindestens einer Ausführungsform kann die Anwendung von Fusionsregeln auf einen Graphen mindestens teilweise basierend auf der Verwendung einer Arbeitsliste in Bezug auf ein in den 7-10 gezeigtes Beispiel besser verstanden werden.
7 ist ein Blockdiagramm, das einen anfänglichen Graphen 700 und eine Arbeitsliste 702 gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform erstellt das Verfahren die anfängliche Arbeitsliste 702 mindestens teilweise basierend auf der Durchführung einer Tiefentraversierung des Graphen 700 und dem Hinzufügen eines Elements zur Arbeitsliste 702 für jede Operation im Graphen 700. In mindestens einer Ausführungsform erstellt der Compiler 102 aus 1 eine anfängliche Arbeitsliste 702 (z. B. bei Block 402 aus 4). In mindestens einer Ausführungsform fügt das Verfahren zur Disambiguierung von Vertices in Graph 700 jedem Vertex eine eindeutige Kennung hinzu (z. B. in Graph 700 als 1, 2, 3 und 4 gezeigt). In mindestens einer Ausführungsform werden Vertexkennungen auch in der Arbeitsliste 702 verwendet. In mindestens einer Ausführungsform werden Vertexkennungen sowohl für einzelne Operationen als auch Gruppen von Operationen in der Arbeitsliste 702 verwendet, wie gezeigt.
In mindestens einer Ausführungsform identifiziert der Compiler 102 aus 1 und/oder das Verfahren 400 aus 4 horizontale Fusionsregeln, die auf den Graphen 700 angewendet werden können (z. B. horizontale Fusionsregeln von einer oder mehreren Regeln, die in einer oder mehreren der 11-29 veranschaulicht sind). In mindestens einer Ausführungsform fügt der Compiler 102 und/oder das Verfahren 400 aus 4 für jede horizontale Regel, die auf den Graphen 700 angewendet werden kann, Arbeitselemente für alle horizontal fusionierbaren Vertices der Arbeitsliste hinzu. In mindestens einer Ausführungsform definiert jede horizontale Fusionsregel einen „Gruppenschlüssel“. In mindestens einer Ausführungsform berechnen/berechnet der Compiler 102 aus 1 und/oder das Verfahren 400 aus 4 den Gruppenschlüssel für jede Operation in Graph 700, wobei jede Operation mit einem Gruppenschlüssel für die horizontale matmul-Fusion annotiert ist.
8 ist ein Blockdiagramm, das einen anfänglichen Graphen 800 mit Gruppenschlüsselannotationen gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform entspricht der Graph 800 dem Graphen 700 von 7 nachdem Compiler 102 aus 1 und/oder das Verfahren 400 aus 4 dem Graphen 700 Gruppenschlüsselannotationen zuordnen/zuordnet. In mindestens einer Ausführungsform ist der Gruppenschlüssel für die horizontale matmul-Fusionsregel, die auf den Graphen 700 angewendet wird, (W, N, K), wobei W der rechte Eingabetensor ist, und N und K Dimensionen von den Eingangstensoren sind. In mindestens einer Ausführungsform annotieren/annotiert der Compiler 102 und/oder das Verfahren 400 auch die Eingabetensoren A, B und W mit ihren Formen. In mindestens einer Ausführungsform ist der für jede matmul-Operation berechnete Gruppenschlüssel (W, N, K) (z. B. der rechte Eingabetensor W und die Dimensionen N und K). Da diese zwei matmul-Ops den gleichen Gruppenschlüsselwert haben, wird in mindestens einer Ausführungsform ein horizontales Arbeitselement für sie hinzugefügt, wie in der Arbeitsliste 702 aus 7 gezeigt. In mindestens einer Ausführungsform beinhaltet die Arbeitsliste 702 zwei Gruppenarbeitselemente. In mindestens einer Ausführungsform beinhalten zwei Gruppenarbeitselemente der Arbeitsliste 702 ein Gruppenelement mit zwei matmuls, wie oben erörtert, und ein Gruppenelement für zwei punktweise relu-Operationen, wie gezeigt. In mindestens einer Ausführungsform werden zwei punktweise relu-Operationen der Arbeitsliste 702 zusammen gruppiert, weil sie dieselben berechneten Gruppenschlüssel für die horizontale punktweise Fusionsregel haben.
In mindestens einer Ausführungsform fahren/fährt der Compiler 102 aus 1 und/oder das Verfahren 400 aus 4 fort, indem sie/er/es das nächste Arbeitselement in der Arbeitsliste (z. B. Arbeitsliste 702) nehmen/nimmt, eine erste Transformationsregel (z. B. eine durch eine der 11-29 veranschaulichte Transformationsregel) anwenden/anwendet, die mit dem Arbeitselement übereinstimmt, und den Graphen und die Arbeitsliste entsprechend aktualisieren/aktualisiert. In mindestens einer Ausführungsform wird das Arbeitselement einfach entfernt, wenn keine Transformationsregeln übereinstimmen. In mindestens einer Ausführungsform wird dies durchgeführt, bis die Arbeitsliste (z. B. die Arbeitsliste 702) leer ist, an welchem Punkt der Algorithmus vollständig ist.
In mindestens einer Ausführungsform ist das erste Arbeitselement der Arbeitsliste 702 1 matmul in der ersten Zeile der Arbeitsliste 702. In mindestens einer Ausführungsform stimmen keine Transformationsregeln mit dem ersten Arbeitselement überein, so dass das Verfahren (z. B. der Compiler 102 von 1 und/oder das Verfahren 400 aus 4) es aus der Arbeitsliste 702 entfernt und mit dem nächsten Element fortfährt. In mindestens einer Ausführungsform geschieht dasselbe für die nächsten drei Arbeitselemente. In mindestens einer Ausführungsform ist danach das nächste Arbeitselement 1 matmul 2 matmul. In mindestens einer Ausführungsform stimmt dieses Arbeitselement mit der horizontalen matmul-Regel überein. In mindestens einer Ausführungsform wenden/wendet der Compiler 102 und/oder das Verfahren 400 diese Transformation auf den Graphen 700 an, und alle im Graphen hinzugefügten oder geänderten Vertices werden der Arbeitsliste 702 hinzugefügt. In mindestens einer Ausführungsform generiert dies den Graphen und die Arbeitsliste, die in 9 gezeigt sind.
9 ist ein Blockdiagramm, das einen Graphen 900 und eine Arbeitsliste 902 nach Anwendung einer horizontalen Matrixmultiplikationsfusionsregel gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform ist der Graph 900 eine transformierte Version des Graphen 700 nach Anwendung einer horizontalen matmul-Fusionsregel. In mindestens einer Ausführungsform wird der Graph 900 als eine aktualisierte Version des Graphen 700 bezeichnet. In mindestens einer Ausführungsform wird der Graph 900 als eine zweite Version des Graphen 700 bezeichnet. In mindestens einer Ausführungsform wird die Arbeitsliste 902 mindestens teilweise basierend auf einem Entfernen von Arbeitselementen aus der Arbeitsliste 702 bzw. Hinzufügen solcher generiert. In mindestens einer Ausführungsform ist das nächste Arbeitselement 3 relu 4 relu, was mit einer horizontalen punktweisen Regel übereinstimmt. In mindestens einer Ausführungsform wenden/wendet der Compiler 102 und/oder das Verfahren 400 diese Transformation auf den Graphen 900 an, und alle im Graphen hinzugefügten oder geänderten Vertices werden der Arbeitsliste 902 hinzugefügt. In mindestens einer Ausführungsform generiert dies den Graphen 1000 und die Arbeitsliste 1002, die in 10 gezeigt sind.
10 ist ein Blockdiagramm, das aktualisierte Graphen und Arbeitslisten gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform ist der Graph 1000 eine transformierte Version des Graphen 900 nach einer Anwendung der horizontalen punktweisen Regel auf die Arbeitselement 3 relu 4 relu. In mindestens einer Ausführungsform ist die Arbeitsliste 1002 eine aktualisierte Arbeitsliste, die zumindest teilweise basierend auf der Arbeitsliste 902 generiert wird, nachdem die horizontale punktweise Regel angewendet wurde (z. B. durch den Compiler 102 und/oder das Verfahren 400). In mindestens einer Ausführungsform stimmen die Arbeitselemente 5 concat und 6 matmul in der Arbeitsliste 1002 mit keinen Regeln überein und werden daher aus der Arbeitsliste 1002 entfernt. In mindestens einer Ausführungsform stimmt das Arbeitselement 7 split in der Arbeitsliste 1002 mit einer split-concat-Regel überein, die einen split gefolgt von einem concat entfernt, da dies eine no-Op ist. In mindestens einer Ausführungsform wenden/wendet der Compiler 102 und/oder das Verfahren 400 diese Transformation auf den Graphen 1000 an, um den Graphen 1004 (z. B. entsprechend dem Graphen 1000 nach der split-concat-Entfernung) und die Arbeitsliste 1006 zu generieren. In mindestens einer Ausführungsform entfernt diese Transformation 8 concat aus dem Graphen 1000, sodass das entsprechende Arbeitselement auch aus der Arbeitsliste 1002 entfernt wird. In mindestens einer Ausführungsform stimmen die verbleibenden Arbeitselemente in der Arbeitsliste 1006 mit keinen Fusionsregeln überein, so dass sie entfernt werden. In mindestens einer Ausführungsform ist die Arbeitsliste jetzt leer, sodass die Fusion abgeschlossen ist.
In mindestens einer Ausführungsform lassen sich ein oder mehrere Aspekte, die in Bezug auf den Compiler 102 aus 1 und/oder das Verfahren 400 aus 4 gezeigt oder beschrieben sind, besser in Bezug auf einen oder mehrere der Pseudocode-Auflistungen 1-5 verstehen, die nachfolgend weiter erörtert werden. In mindestens einer Ausführungsform werden Kombinationsoperationen (z. B. durch den Compiler 102 aus 1 und/oder das Verfahren 400 aus 4) in Bezug auf Pseudocode in Pseudocode-Auflistung 1 unten ausgeführt:

1 run_fuser (graph) {
2 worklist = create_worklist (graph)
3 while (worklist is not empty) {
4      // Get next item in the worklist
5     workitem = worklist. peek ()
6     // Try applying fusion rules to the worklist item
7     for (each rule in the rule set) {
8         rule. apply (workitem)
9         if (worklist . modified) {
10             // Graph was modified , stop applying rules
11                 break
12             }
13         }
14         // Remove item from worklist
15         worklist .pop ()
16         if (worklist . modified) {
17             // Update the worklist with graph transformations made by the
rule
18               update_worklist (worklist, graph)
19             } else {
20                 // None of the rules modified the graph for this workitem
21                 // Current workitem was already removed , so just continue
22            }
23         }
24 }

In mindestens einer Ausführungsform verwendet das Verfahren (z. B. Compiler 102 und/oder das Verfahren 400) einen Algorithmus, der in Pseudocode-Auflistung 1 dargestellt ist, der eine Funktion create_worklist verwendet, um eine anfängliche Arbeitsliste für einen Graphen zu erstellen (z. B. bei Block 402 aus 4). In mindestens einer Ausführungsform lässt sich die Funktion create_worklist in Bezug auf Pseudocode in Pseudocode-Auflistung 2 unten besser verstehen:

1 create_worklist (graph) {
2 worklist = empty list
3 // add a workitem for every operation in the graph
4 for (each vertex in the graph in depth - first order) {
5      worklist .add(vertex)
6 }
7 // for each rule , add workitems for groups of vertices that share
8 // the same group key defined by the rule
9 for (each rule in the rule set) {
10          mapping = empty mapping from group key to groups of vertices
11          for (each vertex in the graph) {
12             key = rule . group_key (vertex)
13             groups = mapping [key]
14             for (each group in groups) {
15                if (group does not contain a predecessor of vertex) {
16                   group .add (vertex)
17                   break
18                }
19             }
20          }
21          for (each group in mapping) {
22                if (more than one vertex in the group) {
23                   worklist .add (group)
24                }
25             }
26          }
27          return worklist
28 }

In mindestens einer Ausführungsform verwendet das durch die Pseudocode-Auflistung 1 dargestellte Verfahren eine Hilfsfunktion update_worklist, um die Arbeitsliste zu aktualisieren, wenn eine Transformationsregel den Graphen modifiziert (z. B. bei Block 410 und Block 408 aus 4). In mindestens einer Ausführungsform lässt sich die Funktion update_worklist in Bezug auf Pseudocode in Pseudocode-Auflistung 3 unten besser verstehen:

1 update_worklist (worklist, graph) {
2    // remove work items for vertices that were removed
3    for (each vertex in graph . removed) {
4         worklist . remove (vertex);
5    }
6    // add work items for vertices that were added or changed
7    for (each vertex in graph . added) {
8      worklist . push (vertex);
9 }
10       for (each vertex in graph . changed) {
11           worklist . push (vertex);
12       }
13       // rule dependent updates
14       for (each rule in the rule set) {
15           rule . update (worklist, graph .added , graph . changed, graph .
removed)
16       }
17       // clear the changes in the graph
18       graph . added . clear ()
19       graph . changed . clear ()
20       graph . removed . clear ()
21 }

In mindestens einer Ausführungsform ruft das Verfahren (z. B. der Compiler 102 und/oder das Verfahren 400) in Bezug auf Zeile 2 der Pseudocode-Auflistung 1 create_worklist auf, um eine anfängliche Arbeitsliste zu erstellen. In mindestens einer Ausführungsform wird eine Hauptschleife (Zeilen 3-23) wiederholt, bis die Arbeitsliste leer ist. In mindestens einer Ausführungsform wirft das Verfahren bei jeder Iteration einen Blick auf das nächste Arbeitselement in der Liste (Zeile 5) und versucht, jede Regel aus dem Regelsatz (z. B. aus den in Bezug auf eine oder mehrere der 11-29 beschriebenen Regeln) darauf anzuwenden (Zeilen 7-13). In mindestens einer Ausführungsform wird diese Schleife unterbrochen, wenn eine der Regeln mit dem Graphen übereinstimmt und diesen modifiziert. In mindestens einer Ausführungsform wird diese Prüfung durchgeführt, indem geprüft wird, ob worklist.modified durch die Regel (auf Zeile 9) auf wahr gesetzt ist. In mindestens einer Ausführungsform wird das aktuelle Arbeitselement dann aus dem Graphen entfernt (Zeile 15). In mindestens einer Ausführungsform wird die Arbeitsliste aktualisiert, wenn der Graph modifiziert wurde, indem update_worklist (Zeile 18) aufgerufen wird. In mindestens einer Ausführungsform gibt es nach Abschluss dieser Schleife keine Arbeitselemente mehr, sodass alle Fusionsmöglichkeiten transformiert wurden und die Fusion abgeschlossen ist.

In mindestens einer Ausführungsform verwendet das Verfahren (z. B. der Compiler 102 und/oder das Verfahren 600) create_worklist, um eine anfängliche Arbeitsliste für einen Graphen zu erstellen (Pseudocode in Pseudocode-Auflistung 2). In mindestens einer Ausführungsform führt create_worklist eine Tiefentraversierung aller Operationen im Graphen durch und fügt ein Arbeitslistenelement für jede von ihnen hinzu (in den Zeilen 4-6 der Pseudocode-Auflistung 2). In mindestens einer Ausführungsform erstellt das Verfahren für jede Regel Gruppenarbeitselemente für Vertices, die den gleichen Gruppenschlüssel teilen und die keine Vorgängeranforderung verletzen. In mindestens einer Ausführungsform berechnet das Verfahren für jede Regel im Regelsatz (Zeile 9) eine Abbildung vom Gruppenschlüssel auf Gruppen von Vertices. In mindestens einer Ausführungsform initialisiert das Verfahren die Abbildung auf eine leere Abbildung (Zeile 10). In mindestens einer Ausführungsform berechnet das Verfahren den Gruppenschlüssel in einer Schleife (auf den Zeilen 11-20) für den Vertex und fügt ihn der ersten Gruppe hinzu, die in der Abbildung gefunden wird, für die keiner der Vertices in der Gruppe ein Vorgänger des aktuellen Vertex ist. In mindestens einer Ausführungsform besteht die Vorgängeranforderung darin, dass keine zwei Vertices in einer Gruppe eine Ausgabe verwenden können, die von dem einen oder anderen erzeugt wird. In mindestens einer Ausführungsform beinhaltet der Graph Informationen darüber, welche Vertices einem gegebenen Vertex vorangehen. In mindestens einer Ausführungsform fügt das Verfahren Gruppenarbeitselemente (z. B. in einer Schleife in den Zeilen 21-25) für jede Gruppe von mehr als einem Vertex bei der Abbildung hinzu.

In mindestens einer Ausführungsform verwendet das Verfahren (z. B. der Compiler 102 aus 1 und/oder das Verfahren 400 aus 4) update_worklist, um die Arbeitsliste zu aktualisieren, nachdem eine Transformationsregel den Graphen modifiziert (Pseudocode in Pseudocode-Auflistung 3). In mindestens einer Ausführungsform verfolgt der Graph, wenn eine Transformationsregel einen Graphen modifiziert, welche Vertices hinzugefügt, entfernt oder geändert wurden. In mindestens einer Ausführungsform beginnt die Funktion update_worklist mit dem Entfernen aller Elemente aus der Arbeitsliste, die aus dem Graphen entfernt wurden (Zeile 3-5 der Pseudocode-Auflistung 3). In mindestens einer Ausführungsform fügt das Verfahren Arbeitselemente für Vertices hinzu, die hinzugefügt oder geändert wurden (z. B. in den Zeilen 7-12). In mindestens einer Ausführungsform führt das Verfahren regelabhängige Aktualisierungen auf dem Graphen aus (z. B. in den Zeilen 14-16). In mindestens einer Ausführungsform verwendet das Verfahren Aktualisierungen, um Gruppenarbeitselemente zu aktualisieren. In mindestens einer Ausführungsform löscht das Verfahren Graphänderungen (z. B. in den Zeilen 18-20), um für die nächste anzuwendende Transformationsregel bereit zu sein.

In mindestens einer Ausführungsform implementiert jede Fusionsregel zwei Funktionen. In mindestens einer Ausführungsform implementiert jede Fusionsregel eine Ausführungsfunktion und eine Aktualisierungsfunktion. In mindestens einer Ausführungsform führt die Ausführungsfunktion eine Regel auf einem gegebenen Arbeitselement aus. In mindestens einer Ausführungsform führt das Verfahren (z. B. der Compiler 102 aus 1 und/oder das Verfahren 400 aus 4) eine Fusion von Operationen unter Verwendung einer Ausführungsfunktion durch. In mindestens einer Ausführungsform zeichnet das Verfahren Modifikationen (z. B. Vertices, die hinzugefügt, geändert oder entfernt werden) am Graphen auf, die durch die Ausführungsfunktion im Graphen (z. B. in einer aktualisierten Version des Graphen) vorgenommen wurden. In mindestens einer Ausführungsform aktualisiert das Verfahren Arbeitselemente in der Arbeitsliste unter Verwendung der Aktualisierungsfunktion. In mindestens einer Ausführungsform aktualisiert das Verfahren Arbeitselemente in der Arbeitsliste zumindest teilweise basierend auf einer Liste von hinzugefügten, entfernten und geänderten Vertices, die für die angewandte Regel spezifisch sind. In mindestens einer Ausführungsform wird die Aktualisierungsfunktion von Regeln verwendet, die eine horizontale Fusion beinhalten, um Gruppenarbeitselemente zu aktualisieren.

In mindestens einer Ausführungsform wird ein Graph im Speicher als eine Liste von Vertices und Kanten dargestellt. In mindestens einer Ausführungsform enthalten Vertexobjekte Informationen über einen gegebenen Vertex (z. B. welche Operation einem gegebenen Vertex entspricht). In mindestens einer Ausführungsform enthalten Kantenobjekte einen Zeiger auf einen Quell- und einen Zielvertex der Kante. In mindestens einer Ausführungsform ermöglicht eine Verwendung von Kantenobjekten und/oder Vertexobjekten ein effizientes Traversieren des Graphen. In mindestens einer Ausführungsform werden Vorgängerinformationen durch Speichern (z. B. durch den Compiler 102 aus 1 und/oder das Verfahren 400 aus 4) einer Vorgängerkarte mit dem Graphen dargestellt. In mindestens einer Ausführungsform speichert die Vorgängerkarte für jeden Vertex eine Liste von Zeigern auf seine Vorgängervertices. In mindestens einer Ausführungsform werden Klassen und Verfahren für diese Datenstruktur in Bezug auf Pseudocode-Auflistung 5 unten beschrieben. In mindestens einer Ausführungsform generieren/generiert der Compiler 102 und/oder das Verfahren 400 anfänglich eine Vorgängerkarte durch Durchführen einer Post-Order-Traversierung des Graphen unter Verwendung des Algorithmus in Pseudocode-Auflistung 4 unten.

In mindestens einer Ausführungsform beschreibt Pseudocode-Auflistung 4 unten einen Algorithmus, der verwendet wird, um anfängliche Vorgängerinformationen für einen Graphen zu berechnen.

1 get_predecessors (graph) {
2   // do a post - order traversal up the graph from each output to generate predecessor sets
3    result = new predecessor_map
4    stack = empty stack
5    for (each output vertex in the graph) {
6         stack . push (vertex , false);
7    }
8    while (stack is not empty) {
9         item = stack . peek ()
10              if (item . second is false) {
11                   item . second = true 
12              for (each arrow out of item . first) {
13                   if (result does not contain arrow . source ()) {
14                        stack . push (arrow . source (), false);
15                   }
16              }
17         } else {
18              result . add(item . first);
19              for (each arrow into item . first) {
20                   result .add (item first , arrow . source ());
21              }
22             stack .pop ()
23         }
24       }
25       return result;
26 }

In mindestens einer Ausführungsform wird die Vorgängerkarte einmal zu Beginn der Fusion unter Verwendung von get_predecessors generiert. In mindestens einer Ausführungsform werden, wenn eine Transformationsregel einen Graphen modifiziert, Vorgängerinformationen für den Graphen aktualisiert, indem Verfahren in dieser Klasse aufgerufen werden. In mindestens einer Ausführungsform wird, wenn eine Transformationsregel eine neue Kante zwischen Vertices zu einem Graphen hinzufügt, predecessor_map.new_edge mit Quell- und Zielvertices für die neue Kante aufgerufen. In mindestens einer Ausführungsform aktualisiert dies den Zielvertex, damit er alle Vorgänger des Quellvertex hat. In mindestens einer Ausführungsform ermöglicht dies ein effizientes Aktualisieren der Vorgängerkarte, ohne die Vorgängerinformationen für den gesamten Graphen neu zu berechnen, wenn irgendwelche Modifikationen vorgenommen werden.

In mindestens einer Ausführungsform beschreibt Pseudocode-Auflistung 5 unten eine Datenstruktur und Verfahren, die verwendet werden, um Vorgängerinformationen für einen Graphen darzustellen.

1 class predecessor_map {
2    mapping
3
4    add (vertex) { 

5       if (vertex is not in mapping) {
6            mapping [vertex] = empty set
7       }
8    }
9
10       add (vertex , predecessor) {
11            add(vertex);
12            mapping [vertex]. add (predecessor);
13            mapping [vertex]. add_all (mapping [predecessor])
14       }
15
16       get (vertex) {
17            return mapping [vertex]
18    }
19
20       has (vertex) {
21        return vertex in mapping
22       }
23
24       new_arrow (from_vertex , to_vertex) {
25            // get the predecessors that will be added to the to vertex and all vertices
26            // reachable from it
27            preds = empty set
28            if (has(from_vertex)) {
29                 preds = get(from_vertex);
30       }
31            preds . insert (from_vertex);
32
33            // traverse the graph , updating the predecessors of the to vertex
34            // and all vertices reachable from it
35             seen = empty set
36            stack = empty stack
37            stack . push (to_vertex);
38            seen . insert (to_vertex);
39            while (stack is not empty) { 

40            vertex = stack . pop ()
41            // add predecessors to the current vertex
42            if (vertex not in mapping) {
43             mapping [vertex] = preds
44            } else {
45                 mapping [vertex]. add_all (preds);
46            }
47       // add all vertices directly reachable from the current vtx
48            // not yet visited to the stack
49            for (each arrow in out arrows of vertex) {
50                 target_vertex = arrow . target ()
51                 if (seen does not contain target_vertex) {
52                      seen . insert (target_vertex)
53                      stack . push (target_vertex)
54                 }
55            }
56       }
57    }
58 }

In mindestens einer Ausführungsform wird, wenn Vertices oder Kanten aus dem Graphen entfernt werden, die Vorgängerkarte unverändert gelassen. In mindestens einer Ausführungsform wird die Vorgängerkarte unverändert gelassen, da das Entfernen von Vorgängerinformationen unnötig ist, weil es den Fusionsalgorithmus nicht beeinflusst, wenn nicht vorhandene Vertices in der Vorgängerkarte dargestellt werden.

Die 11-29 sind Blockdiagramme, die Regeln zum Kombinieren von Sätzen von Knoten in einem Graphen veranschaulichen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform sind Arbeitslistenelemente entweder ein einzelner Vertex oder eine Gruppe von Vertices, die durch einen Schlüssel gruppiert sind. Dementsprechend wendet das Verfahren (z. B. der Compiler 102 aus 1 und/oder das Verfahren 400 aus 4) in mindestens einer Ausführungsform Regeln entweder auf Vertex- oder Gruppenarbeitselemente an. In mindestens einer Ausführungsform werden Vertices als Knoten bezeichnet. In mindestens einer Ausführungsform werden Vertices als Operationen bezeichnet, die mit Vertices assoziiert sind. In mindestens einer Ausführungsform sind eine oder mehrere der durch die 11-29 veranschaulichten Regeln horizontale Fusionsregeln (z. B. Regeln, die zwei oder mehr unabhängige Operationen kombinieren). In mindestens einer Ausführungsform wird eine Fusion als Kombination bezeichnet und/oder Fusionieren wird als Kombinieren bezeichnet. In mindestens einer Ausführungsform beinhaltet die Kombination von zwei oder mehr unabhängigen Operationen die Kombination von zwei oder mehr unabhängigen Gruppen von Operationen (z. B. wie in Bezug auf eine oder mehrere der 11-29 gezeigt oder beschrieben). In mindestens einer Ausführungsform werden unabhängige Gruppen von Operationen als unabhängige Sätze von Operationen, unabhängige Sätze von Knoten und/oder unabhängige Gruppen von Knoten bezeichnet.

11 ist ein Blockdiagramm, das eine Regel 1100 veranschaulicht, die gemäß mindestens einer Ausführungsform wiederholte relu-Operationen zu einer einzigen relu-Operation zusammenführt. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1102 eine erste relu-Operation 1104 in einer wiederholten Konfiguration mit einem Satz von unabhängigen relu-Operationen 1106, wie gezeigt. In mindestens einer Ausführungsform beinhaltet der Satz von unabhängigen relu-Operationen 1106 die relu-Operationen 1108 und 1110, wie gezeigt. In mindestens einer Ausführungsform beinhaltet der Satz von unabhängigen relu-Operationen 1106 eine oder mehrere zusätzliche relu-Operationen, die der Übersichtlichkeit halber nicht gezeigt sind. In mindestens einer Ausführungsform generiert die Regel 1100 einen Teilgraphen 1112 zumindest teilweise basierend auf dem Kombinieren von relu-Operationen im Satz von unabhängigen relu-Operationen 1106 (z. B. relu-Operationen 1108 und 1110) mit der ersten relu-Operation 1104 zu einer einzelnen relu-Operation 1114. In mindestens einer Ausführungsform führt die relu-Operation 1114 eine Operation aus, die mathematisch identisch mit mehreren relu-Operationen ist, die von der ersten relu-Operation 1104 und dem Satz von unabhängigen relu-Operationen 1106 ausgeführt werden, jedoch weniger Computerressourcen (z. B. Verarbeitungszeit und/oder Speicher) verwendet.

12 ist ein Blockdiagramm, das eine Regel 1200 veranschaulicht, die punktweise relu-Operationen in benachbarte Faltungen schiebt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1202 eine Faltungsoperation 1204 und eine benachbarte relu-Operation 1206. In mindestens einer Ausführungsform führt ein Kombinieren der relu-Operation 1206 und der Faltungsoperation 1204 zu einem Teilgraphen 1208. In mindestens einer Ausführungsform beinhaltet der Teilgraph 1208 eine Faltungsoperation mit einer relu-Aktivierung. In mindestens einer Ausführungsform ermöglicht der für den Teilgraphen 1208 generierte Code die Ausführung eines einzelnen Faltungsaufrufs ohne Verwendung eines separaten punktweisen Kernels zum Berechnen einer relu-Operation, wie dies durch den für den Teilgraphen 1202 generierten Code ausgeführt würde.

13 ist ein Blockdiagramm, das eine Regel 1300 veranschaulicht, die Transponierungsoperationen in Matrixmultiplikationen (matmul-Operationen) schiebt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1302 eine Transponierungsoperation und einen Satz von matmul-Operationen. In mindestens einer Ausführungsform generiert das Schieben der Transpositionsoperation in matmul-Operationen einen Teilgraphen 1304. In mindestens einer Ausführungsform ermöglicht der für den Teilgraphen 1304 generierte Code, dass das Ergebnis berechnet wird, ohne dass ein separater punktweiser Kern verwendet wird, um die Transponierungsoperation auszuführen, wie dies durch Code ausgeführt würde, der für Teilgraph 1302 generiert wurde.

14 ist ein Blockdiagramm, das eine Regel 1400 veranschaulicht, die redundante Umwandlungen (casts) entfernt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform entfernt die Regel 1400 redundante Umwandlungen, wo Elementtypen von Eingabe- und Ausgabetensoren übereinstimmen. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1402 eine Umwandlungsoperation für einen Eingabetensor A mit einem Elementtyp τ und einen Satz von Ausgabetensoren B₁...Bn, die ebenfalls einen Elementtyp τ aufweisen. In mindestens einer Ausführungsform generiert das Entfernen der Umwandlungsoperation einen Teilgraphen 1402, wenn die Umwandlungsoperation zwischen dem Eingabetensor A und dem Satz von Ausgabetensoren B₁...B_n nicht mehr vorhanden ist.

15 ist ein Blockdiagramm, das eine Regel 1500 veranschaulicht, die Teilungen, gefolgt von Verkettungen, entfernt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet das Verfahren die Regel 1500 zum Identifizieren von Teilungen gefolgt von Verkettungen, und entfernt identifizierte Teilungen und Verkettungen aus dem Graphen. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1502 eine Teilungsoperation mit Achse=m, gefolgt von einem Satz von Concat-Operationen mit Achse=m. In mindestens einer Ausführungsform generiert das Entfernen identifizierter Teilungen und Verkettungen den Teilgraphen 1504. In mindestens einer Ausführungsform wird die Regel 1500 verwendet, wenn Teilgraphen, die Teilungen gefolgt von Verkettungen enthalten, in einen aktualisierten Graphen eingeführt werden (z. B. durch Kombinieren von zwei oder mehr unabhängigen Operationen unter Verwendung einer weiteren horizontalen Fusionsregel).

16 ist ein Blockdiagramm, das eine Regel 1600 veranschaulicht, die Teilungsoperationen gemäß mindestens einer Ausführungsform schiebt. In mindestens einer Ausführungsform schiebt die Regel 1600 Teilungsoperationen so spät wie möglich in den Graphen, indem sie Teilungsoperationen durch punktweise Operationen bewegt. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1602 eine Teilungsoperation und einen Satz von punktweisen (pw) Operationen. In mindestens einer Ausführungsform generiert das Schieben der Teilungsoperation durch den Satz von punktweisen Operationen den Teilgraphen 1604. In mindestens einer Ausführungsform kombiniert das Schieben der Teilungsoperation durch den Satz von punktweisen Operationen punktweise Operationen.

17 ist ein Blockdiagramm, das eine Regel 1700 veranschaulicht, die Verkettungsoperationen schiebt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform schiebt die Regel 1700 Verkettungsoperationen so früh wie möglich in den Graphen, indem sie Verkettungsoperationen durch punktweise Operationen verschiebt. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1702 eine Verkettungsoperation und einen Satz von punktweisen Operationen. In mindestens einer Ausführungsform generiert das Schieben der Verkettungsoperation durch den Satz von punktweisen Operationen den Teilgraphen 1704. In mindestens einer Ausführungsform kombiniert das Schieben der Verkettungsoperation durch den Satz von punktweisen Operationen punktweise Operationen.

18 ist ein Blockdiagramm, das eine Regel 1800 veranschaulicht, die verschachtelte Teilungen (Splits) kombiniert, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kombiniert die Regel 1800 verschachtelte Teilungen entlang derselben Achse zu einer einzigen Teilung. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1802 eine Teilungsoperation mit Achse=a und einen Satz von zusätzlichen Teilungsoperationen mit Achse=a. In mindestens einer Ausführungsform generiert das Kombinieren von verschachtelten Teilungsoperationen des Teilgraphen 1802 einen Teilgraphen 1804, der eine einzelne Teilungsoperation beinhaltet, wie gezeigt.

19 ist ein Blockdiagramm, das eine Regel 1900 veranschaulicht, die verschachtelte Verkettungen kombiniert, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kombiniert die Regel 1900 verschachtelte Verkettungen entlang derselben Achse zu einer einzigen Verkettung. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 1902 eine Verkettungsoperation mit Achse=a und einen Satz von zusätzlichen Verkettungsoperationen mit Achse=a. In mindestens einer Ausführungsform generiert das Kombinieren von verschachtelten Verkettungsoperationen des Teilgraphen 1902 einen Teilgraphen 1904, der eine einzelne Verkettungsoperation beinhaltet.

20 ist ein Blockdiagramm, das eine Regel 2000 veranschaulicht, die Transpositionsoperationen durch Verkettungen schiebt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wirkt die Regel 2000 auf Teilgraphen, die eine Transponierungsoperation (op) beinhalten, die eine zugeordnete Permutationsfunktion p aufweist. In mindestens einer Ausführungsform ist die Permutationsfunktion p eine Zuordnung von Dimensionsindizes zu Dimensionsindizes, die angibt, welche Dimensionen auszutauschen sind. In mindestens einer Ausführungsform wird, wenn Verkettung durch Transponierung geschoben wird, die Permutationsfunktion p auf die Verkettungsachse angewendet, um die Korrektheit zu bewahren, bezeichnet mit p(a). In mindestens einer Ausführungsform beinhaltet ein Teilgraph 2002 einen Satz von Transponierungsoperationen mit der Permutationsfunktion p und eine Verkettungsoperation mit Achse=a. In mindestens einer Ausführungsform generiert das Anwenden der Regel 2000 den Teilgraphen 2004.

21 ist ein Blockdiagramm, das eine Regel 2100 veranschaulicht, die Transponierungsoperationen durch Teilungen schiebt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wirkt die Regel 2100 auf Teilgraphen, die eine Transponierungs-Op enthalten, die eine zugeordnete Permutationsfunktion p aufweist. In mindestens einer Ausführungsform wird, wenn die Teilung durch die Transponierung geschoben wird, die Permutationsfunktion p auf die Teilungsachse angewendet, um die Korrektheit zu bewahren, bezeichnet mit p(a). In mindestens einer Ausführungsform beinhaltet ein Teilgraph 2100 einen Satz von Transponierungsoperationen mit der Permutationsfunktion p und eine Teilungsoperation mit Achse=a. In mindestens einer Ausführungsform generiert das Anwenden der Regel 2100 den Teilgraphen 2104.

22 ist ein Blockdiagramm, das eine Regel 2200 veranschaulicht, die punktweise Operationen fusioniert, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform fusioniert die Regel 2200 punktweise Operationen mit dem gleichen Opcode. In mindestens einer Ausführungsform sind Elementtyp und Form der Eingabe τs. In mindestens einer Ausführungsform sind die Achsen für die eingeführte Verkettungs- und Teilungsoperation die äußerste Dimension der Eingaben (z. B. Rang der Eingabeform s minus 1). In mindestens einer Ausführungsform ist in Bezug auf Regel 2200 Gruppenschlüssel = (Opcode, m, τ, s), wobei 1≤m≤2 und a = Rang(Ränge) - 1. In mindestens einer Ausführungsform führt ein Anwenden der Regel 2200 eine horizontale punktweise Fusion aus. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 2202 einen Satz von punktweisen Operationen, die denselben Opcode haben. In mindestens einer Ausführungsform generiert das Anwenden der Regel 2200 den Teilgraphen 2204, der einen Satz von Verkettungsoperationen als einzelne punktweise Operation und eine Teilungsoperation beinhaltet, wie gezeigt.

23 ist ein Blockdiagramm, das eine Regel 2300 veranschaulicht, die Matrixmultiplikationen horizontal fusioniert, wenn linke Eingaben geteilt werden, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform fusioniert ein Anwenden der Regel 2300 Matrixmultiplikationen horizontal, die eine linke Eingabe gemeinsam haben, zu einer einzigen Matrixmultiplikation. In mindestens einer Ausführungsform hat der Matrixmultiplikationsoperator eine transA- und eine transB-Eigenschaft, die aufzeichnen, ob die Eingabe transponiert wird, bevor matmul berechnet wird. In mindestens einer Ausführungsform stimmen transA- und transB-Eigenschaften überein, um zwei oder mehr matmuls zu fusionieren. In mindestens einer Ausführungsform wird eine Batch-Dimension mit s_b bezeichnet, die auch übereinstimmt, um zwei oder mehr matmuls zu fusionieren. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 2302 einen Satz von matmul-Operationen mit einem gemeinsamen Gruppenschlüssel. In mindestens einer Ausführungsform generiert ein Anwenden der Regel 2300 den Teilgraphen 2304, der den Satz von matmul-Operationen des Teilgraphen 2302 zu einem einzigen matmul kombiniert. In mindestens einer Ausführungsform beinhaltet der Teilgraph 2304 auch eine Verkettungsoperation und eine Teilungsoperation, die durch Anwenden der Regel 2300 eingeführt werden.

24 ist ein Blockdiagramm, das eine Regel 2400 veranschaulicht, die Matrixmultiplikationen horizontal fusioniert, wenn rechte Eingaben geteilt werden, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform fusioniert ein Anwenden der Regel 2400 Matrixmultiplikationen horizontal, die eine rechte Eingabe gemeinsam haben, zu einer einzigen Matrixmultiplikation. In mindestens einer Ausführungsform hat der Matrixmultiplikationsoperator eine transA- und eine transB- Eigenschaft, die aufzeichnen, ob die Eingabe transponiert wird, bevor matmul berechnet wird. In mindestens einer Ausführungsform stimmen transA- und transB-Eigenschaften überein, um zwei oder mehr matmuls zu fusionieren. In mindestens einer Ausführungsform wird eine Batch-Dimension mit s_b bezeichnet, die auch übereinstimmt, um zwei oder mehr matmuls zu fusionieren. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 2402 einen Satz von matmul-Operationen mit einem gemeinsamen Gruppenschlüssel. In mindestens einer Ausführungsform generiert ein Anwenden der Regel 2400 den Teilgraphen 2404, der den Satz von matmul-Operationen des Teilgraphen 2402 zu einem einzigen matmul kombiniert. In mindestens einer Ausführungsform beinhaltet der Teilgraph 2404 auch eine Verkettungsoperation und eine Teilungsoperation, die durch Anwenden der Regel 2400 eingeführt werden.

25 ist ein Blockdiagramm, das eine Regel 2500 veranschaulicht, die matmul-Operationen, die dieselben Formen, aber unterschiedliche Eingabetensoren haben, gemäß mindestens einer Ausführungsform fusioniert. In mindestens einer Ausführungsform fusioniert ein Anwenden der Regel 2500 matmul-Operationen, die dieselben Formen, aber unterschiedliche Eingabetensoren haben, zu einer einzigen Batch-matmul. In mindestens einer Ausführungsform können matmul-Operationen zu einer Batch-matmul kombiniert werden, wenn ihre transA- und transB-Eigenschaften übereinstimmen, ob sie eine Transponierung linker und/oder rechter Eingaben nehmen und die Form der Eingaben übereinstimmen. In mindestens einer Ausführungsform beinhaltet ein Satz von Teilgraphen 2502 jeweils eine matmul-Operation mit denselben Formen, aber unterschiedlichen Eingabetensoren. In mindestens einer Ausführungsform beinhaltet der Satz von Teilgraphen 2502 die Teilgraphen 2504 und 2506. In mindestens einer Ausführungsform generiert ein Anwenden der Regel 2500 den Teilgraph 2508.

26 ist ein Blockdiagramm, das eine Regel 2600 veranschaulicht, die Faltungsoperationen, die auf einem gemeinsam genutzten Bild wirken, zu einer einzigen Faltung gemäß mindestens einer Ausführungsform fusioniert. In mindestens einer Ausführungsform verkettet ein Anwenden der Regel 2600 alle Filter entlang ihrer Kanaldimension zu einem einzigen Filter. In mindestens einer Ausführungsform wird der Filter dann mit dem Eingabebild gefaltet und entlang der Dimensionen des Ausgabekanals aufgeteilt, um das Ausgabebild für jeden Filter wiederherzustellen. In mindestens einer Ausführungsform stimmen die Formen der Filter überein, wobei die Form als s_f bezeichnet wird. In mindestens einer Ausführungsform wird die Form des Eingabebildes als s_i bezeichnet. In mindestens einer Ausführungsform ist die Form des Eingabebildes s_i = [H, W] für eine 2D-Faltung der Breite W und der Höhe H. In mindestens einer Ausführungsform wird die Form des Ausgabebildes als s₀ bezeichnet. In mindestens einer Ausführungsform bezeichnet N die Anzahl von Kanälen im Eingabebild, und K_i ist die Anzahl von Kanälen in jedem von n Filtern, die fusioniert werden. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 2602 einen Satz von Faltungsoperationen, die auf einem gemeinsam genutzten Bild wirken. In mindestens einer Ausführungsform generiert ein Anwenden der Regel 2600 den Teilgraphen 2604.

27 ist ein Blockdiagramm, das eine Regel 2700 veranschaulicht, die Faltungsoperationen unter Verwendung eines erweiterten Filters gemäß mindestens einer Ausführungsform fusioniert. In mindestens einer Ausführungsform haben alle Filter die gleiche Form, wenn die Regel 2700 angewendet wird. In mindestens einer Ausführungsform erweitert die Regel 2700 die Filter (z. B. durch Auffüllen mit Nullen), damit sie die gleiche Form haben, so dass mehr Fusion möglich ist. In mindestens einer Ausführungsform wird die Regel 2700 vor der horizontalen Faltung angewendet. In mindestens einer Ausführungsform hat jeder Filter die Form s_fi für I von 1 bis n. In mindestens einer Ausführungsform füllt das Anwenden der Regel 2700 Filter mit Nullen auf, um s_f zu formen, wobei die Dimensionen von s_f über alle s_fi maximal sind. In mindestens einer Ausführungsform verwendet das Anwenden der Regel 2700 eine Faltung mit einem Filter aus lauter Einsen, um den Filter mit Nullen aufzufüllen. In mindestens einer Ausführungsform wird das aufzufüllende Filter in

[K_{i}^{*} C,1] @ s_{f i}

umgeformt, so dass seine Kanäle durch Faltung erhalten bleiben. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 2702 einen Satz von Faltungsoperationen wie gezeigt, und die Anwendung der Regel 2700 generiert einen Teilgraphen 2704.

28 ist ein Blockdiagramm, das eine Regel 2800 veranschaulicht, die Reduktionsoperationen fusioniert, die über dieselbe Reduktionsachse betrieben werden, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Regel 2800 eine horizontale Reduktionsregel, die Reduktionsoperationen miteinander fusioniert, die über dieselbe Reduktionsachse betrieben werden und dieselbe Reduktionsoperation anwenden (z. B. Summe, Mittelwert, Maximum oder jede andere geeignete Reduktionsoperation). In mindestens einer Ausführungsform beinhaltet der Gruppenschlüssel eine Reduktionsoperation (z. B. wie durch einen Opcode identifiziert), Achsen, über die eine Reduktion ausgeführt wird, und eine Form der Eingabe. In mindestens einer Ausführungsform beinhaltet ein Satz von Teilgraphen 2802 jeweils eine Reduktionsoperation mit einem gemeinsamen Gruppenschlüssel. In mindestens einer Ausführungsform beinhaltet der Satz von Teilgraphen 2802 den Teilgraphen 2804 und den Teilgraphen 2806. In mindestens einer Ausführungsform generiert das Anwenden der Regel 2800 den Teilgraphen 2808.

29 ist ein Blockdiagramm, das eine Regel 2900 veranschaulicht, die redundante Teilgraphen entfernt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet das Anwenden der Regel 2900 Gruppenschlüssel, um Teilgraphen zu identifizieren, die dasselbe berechnen, und ordnet gerichtete Pfeile des Graphen neu zu, um redundante Berechnungen zu entfernen. In mindestens einer Ausführungsform beinhaltet der Gruppenschlüssel einen Opcode der Operation. In mindestens einer Ausführungsform enthält das Eigenschaftselement des Gruppenschlüssels andere Eigenschaften der Operation (z. B. transA- und transB-Eigenschaften für matmul ops). In mindestens einer Ausführungsform ist das Eingabeelement des Gruppenschlüssels eine Liste von Tensoren, die Eingaben für die Operation sind. In mindestens einer Ausführungsform werden für kommutative Operationen (z. B. punktweise binäre Addition) Eingaben nach Namen geordnet, um zu ermöglichen, dass die Reihenfolge von Eingaben für kommutative Operationen ignoriert wird. In mindestens einer Ausführungsform beinhaltet ein Teilgraph 2902 redundante Teilgraphen und Operationen. In mindestens einer Ausführungsform generiert das Anwenden der Regel 2900 einen Teilgraphen 2904. In mindestens einer Ausführungsform wird das Anwenden der Regel 2900 als kongruente Teilgraphenentfernung bezeichnet.

INFERENZ- UND TRAININGSLOGIK

30A zeigt eine Inferenz- und/oder Trainingslogik 3015, die verwendet wird, um Inferenz- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen assoziiert sind. Details zur Inferenz- und/oder Trainingslogik 3015 sind unten in Verbindung mit 30A und/oder 30B bereitgestellt.

In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 ohne Einschränkung einen Code- und/oder Datenspeicher 3001 umfassen, um Vorwärts- und/oder Ausgabegewichte und/oder Eingabe-/Ausgabedaten und/oder andere Parameter zu speichern, um Neuronen oder Schichten eines neuronalen Netzwerks zu konfigurieren, das in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder zum Inferenzieren verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 3015 einen Code- und/oder Datenspeicher 3001 umfassen oder mit diesem gekoppelt sein, um einen Graphencode oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge steuert, in der die Informationen über Gewichte und/oder andere Parameter geladen werden, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkomma-Einheiten (zusammenfassend als arithmetische Logikeinheiten (ALUs) bezeichnet). In mindestens einer Ausführungsform lädt Code, wie z. B. Graphencode, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht, Gewichte oder andere Parameterinformationen in Prozessor-ALUs. In mindestens einer Ausführungsform speichert der Code und/oder der Datenspeicher 3001 Gewichtungsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das während der Vorwärtspropagierung von Eingabe-/Ausgabedaten und/oder Gewichtungsparametern während des Trainings und/oder Inferenzierens unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 3001 von einem anderen On-Chip- oder Off-Chip-Datenspeicher umfasst sein, einschließlich des L1-, L2- oder L3-Caches eines Prozessors oder des Systemspeichers.

In mindestens einer Ausführungsform kann jeder Teil des Codes und/oder des Datenspeichers 3001 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder Schaltungen sein. In mindestens einer Ausführungsform kann der Code und/oder der Code- und/oder Datenspeicher 3001 ein Cache-Speicher, ein dynamischer zufällig adressierbarer Speicher („DRAM“), ein statischer zufällig adressierbarer Speicher („SRAM“), ein nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann eine Entscheidung, ob der Code- und/oder Code- und/oder Datenspeicher 3001 intern oder extern zu einem Prozessor ist oder DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, davon abhängen, ob Speicher auf dem Chip oder außerhalb des Chips verfügbar ist, von den Anforderungen an die Latenzzeit der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, von der Größe der beim Inferenzieren und/oder Trainieren eines neuronalen Netzwerks verwendeten Datenstapel oder von einer Kombination dieser Faktoren.

In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 ohne Einschränkung einen Code- und/oder Datenspeicher 3005 umfassen, um Rückwärts- und/oder Ausgabe-Gewichtungs- und/oder Eingabe-/Ausgabedaten zu speichern, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das trainiert und/oder zum Inferenzieren in Aspekten einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform speichert der Code- und/oder Datenspeicher 3005 Gewichtungsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das während der Rückwärtspropagierung von Eingabe-/Ausgabedaten und/oder Gewichtungsparametern während des Trainings und/oder Inferenzierens unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 3015 einen Code- und/oder Datenspeicher 3005 umfassen oder mit diesem gekoppelt sein, um einen Graphencode oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge steuert, in der die Informationen über Gewichte und/oder andere Parameter geladen werden, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend als arithmetische Logikeinheiten (ALUs) bezeichnet).

In mindestens einer Ausführungsform verursacht ein Code, wie z. B. ein Graphencode, basierend auf einer Architektur eines neuronalen Netzwerks, der der Code entspricht, das Laden von Gewichts- oder anderen Parameterinformationen in Prozessor-ALUs. In mindestens einer Ausführungsform kann jeder Teil des Codes und/oder des Datenspeichers 3005 einen anderen On-Chip- oder Off-Chip-Datenspeicher umfassen, einschließlich des L1-, L2- oder L3-Cache oder des Systemspeichers eines Prozessors. In mindestens einer Ausführungsform kann ein beliebiger Teil des Codes und/oder des Datenspeichers 3005 intern oder extern in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder Schaltungen enthalten sein. In mindestens einer Ausführungsform kann der Code- und/oder Datenspeicher 3005 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann die Wahl, ob der Code- und/oder Datenspeicher 3005 intern oder extern zu einem Prozessor ist, oder ob er beispielsweise DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, von den Anforderungen an die Latenzzeit der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, von der Stapelgröße der beim Inferenzieren und/oder Trainieren eines neuronalen Netzwerks verwendeten Daten oder von einer Kombination dieser Faktoren abhängen.

In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 3001 und der Code- und/oder Datenspeicher 3005 separate Speicherstrukturen sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 3001 und der Code- und/oder Datenspeicher 3005 eine kombinierte Speicherstruktur sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 3001 und der Code- und/oder Datenspeicher 3005 teilweise kombiniert und teilweise getrennt sein. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 3001 und des Code- und/oder Datenspeichers 3005 von einem anderen On-Chip- oder Off-Chip-Datenspeicher umfasst sein, einschließlich des L1-, L2- oder L3-Caches eines Prozessors oder des Systemspeichers.

In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 ohne Einschränkung eine oder mehrere arithmetische Logikeinheit(en) („ALU(s)“) 3010, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, umfassen, um logische und/oder mathematische Operationen durchzuführen, die zumindest teilweise auf einem Trainings- und/oder Inferenzcode (z. B. Graphencode), deren Ergebnis in einem Aktivierungsspeicher 3020 gespeicherte Aktivierungen (z. B. Ausgabewerte von Schichten oder Neuronen innerhalb eines neuronalen Netzwerks) erzeugen kann, die Funktionen von in Code- und/oder Datenspeicher 3001 und/oder Code- und/oder Datenspeicher 3005 gespeicherten Eingabe/Ausgabe- und/oder Gewichtungsparameterdaten sind. In mindestens einer Ausführungsform werden in einem Aktivierungsspeicher 3020 gespeicherte Aktivierungen gemäß linearer algebraischer und/oder matrixbasierter Mathematik generiert, die von ALU(s) 3010 als Reaktion auf Ausführungsbefehle oder anderen Code ausgeführt wird, wobei in Code- und/oder Datenspeicher 3005 und/oder Datenspeicher 3001 gespeicherte Gewichtungswerte als Operanden zusammen mit anderen Werten verwendet werden, wie beispielsweise Vorgabewerten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, von denen beliebige oder alle in Code- und/oder Datenspeicher 3005 oder Code- und/oder Datenspeicher 3001 oder einem anderen Speicher auf oder außerhalb des Chips gespeichert sein können.

In mindestens einer Ausführungsform sind ALU(s) 3010 in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen enthalten, während in einer anderen Ausführungsform ALU(s) 3010 extern zu einem Prozessor oder einem anderen Hardware-Logikgerät oder einer Schaltung sein können, die sie verwenden (z. B. ein Co-Prozessor). In mindestens einer Ausführungsform können die ALUs 3010 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Gruppe von ALUs enthalten sein, auf die die Ausführungseinheiten eines Prozessors entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlichen Typs (z. B. Zentraleinheiten, Grafikverarbeitungseinheiten, feste Funktionseinheiten usw.) zugreifen können. In mindestens einer Ausführungsform können sich der Code- und/oder Datenspeicher 3001, der Code- und/oder Datenspeicher 3005 und der Aktivierungsspeicher 3020 einen Prozessor oder eine andere Hardware-Logik-Einrichtung oder einer Schaltung teilen, während sie in einer anderen Ausführungsform in verschiedenen Prozessoren oder anderen Hardware-Logik-Einrichtungen oder Schaltungen oder in einer Kombination aus gleichen und verschiedenen Prozessoren oder anderen Hardware-Logik-Einrichtungen oder Schaltungen vorhanden sein können. In mindestens einer Ausführungsform kann ein beliebiger Teil des Aktivierungsspeichers 3020 in einem anderen On-Chip- oder Off-Chip-Datenspeicher enthalten sein, einschließlich des L1-, L2- oder L3-Cachespeichers oder Systemspeichers eines Prozessors. Darüber hinaus kann der Code zum Inferenzieren und/oder Trainieren zusammen mit anderem Code gespeichert werden, auf den ein Prozessor oder eine andere Hardware-Logik oder -Schaltung zugreifen kann und der unter Verwendung der Hol-, Dekodier-, Planungs-, Ausführungs-, Ausscheidungs- und/oder anderer logischer Schaltungen eines Prozessors geholt und/oder verarbeitet wird.

In mindestens einer Ausführungsform kann der Aktivierungsspeicher 3020 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann sich der Aktivierungsspeicher 3020 vollständig oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen befinden. In mindestens einer Ausführungsform kann die Entscheidung, ob der Aktivierungsspeicher 3020 beispielsweise innerhalb oder außerhalb eines Prozessors liegt oder DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, den Anforderungen an die Latenzzeit der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, der Stapelgröße der beim Inferenzieren und/oder Trainieren eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.

In mindestens einer Ausführungsform kann die in 30A dargestellte Inferenz- und/oder Trainingslogik 3015 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung („ASIC“) verwendet werden, wie z. B. der TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana®-Prozessor (z. B. „Lake Crest“) von Intel Corp. In mindestens einer Ausführungsform kann die in 30A gezeigte Inferenz- und/oder Trainingslogik 3015 in Verbindung mit Hardware der Zentraleinheit („CPU“), der Grafikverarbeitungseinheit („GPU“) oder anderer Hardware, wie feldprogrammierbaren Gate-Arrays („FPGAs“), verwendet werden.

30B zeigt die Inferenz- und/oder Trainingslogik 3015 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 ohne Einschränkung eine Hardwarelogik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtungswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die in 30B dargestellte Inferenz- und/oder Trainingslogik 3015 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) verwendet werden, wie z. B. der TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana®-Prozessor (z. B. „Lake Crest“) von Intel Corp. In mindestens einer Ausführungsform kann die in 30B gezeigte Inferenz- und/oder Trainingslogik 3015 in Verbindung mit Hardware der Zentraleinheit (CPU), der Grafikverarbeitungseinheit (GPU) oder anderer Hardware, wie z. B. feldprogrammierbaren Gate-Arrays (FPGAs), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 3015 ohne Einschränkung einen Code- und/oder Datenspeicher 3001 und einen Code- und/oder Datenspeicher 3005, die zum Speichern von Code (z. B. Graphencode), Gewichtungswerten und/oder anderen Informationen, einschließlich Vorgabewerten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform, das in 30B gezeigt ist, ist jeder Code- und/oder Datenspeicher 3001 und jeder Code- und/oder Datenspeicher 3005 mit einer dedizierten Rechenressource assoziiert, wie z. B. Rechenhardware 3002 bzw. Rechenhardware 3006. In mindestens einer Ausführungsform umfasst jede der Berechnungshardware 3002 und der Berechnungshardware 3006 eine oder mehrere ALUs, die mathematische Funktionen, wie lineare algebraische Funktionen, nur auf Informationen ausführen, die im Code- und/oder Datenspeicher 3001 bzw. im Code- und/oder Datenspeicher 3005 gespeichert sind, wobei das Ergebnis im Aktivierungsspeicher 3020 gespeichert wird.

In mindestens einer Ausführungsform entspricht jeder der Code- und/oder Datenspeicher 3001 und 3005 und die entsprechende Rechenhardware 3002 bzw. 3006 verschiedenen Schichten eines neuronalen Netzes, so dass die resultierende Aktivierung von einem „Speicher-/Rechenpaar 3001/3002“ aus Code- und/oder Datenspeicher 3001 und Rechenhardware 3002 als Eingabe für ein nächstes „Speicher-/Rechenpaar 3005/3006“ aus Code- und/oder Datenspeicher 3005 und Rechenhardware 3006 bereitgestellt wird, um eine konzeptionelle Organisation eines neuronalen Netzes zu spiegeln. In mindestens einer Ausführungsform kann jedes der Speicher-/Rechnerpaare 3001/3002 und 3005/3006 mehr als einer Schicht des neuronalen Netzes entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher-/Rechenpaare (nicht dargestellt) aufeinanderfolgend oder parallel zu den Speicher-Rechenpaaren 3001/3002 und 3005/3006 in die Inferenz- und/oder Trainingslogik 3015 einbezogen werden.

TRAINING UND EINSATZ EINES NEURONALEN NETZES

31 zeigt gemäß mindestens einer Ausführungsform das Trainieren und den Einsatz eines tiefen neuronalen Netzes bzw. Deep Neural Network. In mindestens einer Ausführungsform wird das untrainierte neuronale Netzwerk 3106 unter Verwendung eines Trainingsdatensatzes 3102 trainiert. In mindestens einer Ausführungsform ist das Trainings-Framework 3104 ein PyTorch-Framework, während in anderen Ausführungsformen das Trainings-Framework 3104 ein TensorFlow-, Boost-, Caffe-, Microsoft Cognitive Toolkit/CNTK-, MXNet-, Chainer-, Keras-, Deeplearning4j- oder ein anderes Trainings-Framework ist. In mindestens einer Ausführungsform trainiert das Trainings-Framework 3104 ein untrainiertes neuronales Netz 3106 und ermöglicht es, dieses unter Verwendung der hierin beschriebenen Verarbeitungsressourcen zu trainieren, um ein trainiertes neuronales Netz 3108 zu generieren. In mindestens einer Ausführungsform können die Gewichte nach dem Zufallsprinzip oder durch Vortraining unter Verwendung eines Deep Belief Network ausgewählt werden. In mindestens einer Ausführungsform kann das Training entweder überwacht, teilweise überwacht oder unüberwacht durchgeführt werden.

In mindestens einer Ausführungsform wird ein untrainiertes neuronales Netz 3106 unter Verwendung von beaufsichtigtem Lernen trainiert, wobei der Trainingsdatensatz 3102 eine Eingabe umfasst, die mit einer gewünschten Ausgabe für eine Eingabe gepaart ist, oder wobei der Trainingsdatensatz 3102 eine Eingabe mit einer bekannten Ausgabe umfasst und eine Ausgabe des neuronalen Netzes 3106 manuell bewertet wird. In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 3106 auf überwachte Weise trainiert und verarbeitet Eingaben aus dem Trainingsdatensatz 3102 und vergleicht die resultierenden Ausgaben mit einem Satz von erwarteten oder gewünschten Ausgaben. In mindestens einer Ausführungsform werden die Fehler dann durch das untrainierte neuronale Netzwerk 3106 zurückpropagiert. In mindestens einer Ausführungsform passt das Trainings-Framework 3104 die Gewichte an, die das untrainierte neuronale Netzwerk 3106 steuern. In mindestens einer Ausführungsform umfasst das Trainings-Framework 3104 Hilfsmittel, um zu überwachen, wie gut das untrainierte neuronale Netz 3106 zu einem Modell konvergiert, wie z. B. dem trainierten neuronalen Netz 3108, das geeignet ist, basierend auf Eingabedaten, wie z. B. einem neuen Datensatz 3112, korrekte Antworten zu generieren, wie z. B. im Ergebnis 3114. In mindestens einer Ausführungsform trainiert das Trainings-Framework 3104 das untrainierte neuronale Netz 3106 wiederholt, während es die Gewichte anpasst, um eine Ausgabe des untrainierten neuronalen Netzes 3106 unter Verwendung einer Verlustfunktion und eines Anpassungsalgorithmus, wie z. B. des stochastischen Gradientenabstiegs, zu verfeinern. In mindestens einer Ausführungsform trainiert das Trainings-Framework 3104 das untrainierte neuronale Netz 3106, bis das untrainierte neuronale Netz 3106 eine gewünschte Genauigkeit erreicht. In mindestens einer Ausführungsform kann das trainierte neuronale Netz 3108 dann eingesetzt werden, um eine beliebige Anzahl von Operationen zum maschinellen Lernen zu implementieren.

Mindestens in einer Ausführungsform wird das untrainierte neuronale Netz 3106 unter Verwendung von unbeaufsichtigtem Lernen trainiert, wobei das untrainierte neuronale Netz 3106 versucht, sich selbst unter Verwendung ungekennzeichneter Daten zu trainieren. In mindestens einer Ausführungsform umfasst der Trainingsdatensatz 3102 des unbeaufsichtigten Lernens Eingabedaten ohne assoziierte Ausführungsdaten oder„Ground Truth"-Daten. In mindestens einer Ausführungsform kann das untrainierte neuronale Netz 3106 Gruppierungen innerhalb des Trainingsdatensatzes 3102 lernen und bestimmen, wie einzelne Eingaben mit dem untrainierten Datensatz 3102 in Beziehung stehen. In mindestens einer Ausführungsform kann unüberwachtes Training verwendet werden, um eine selbstorganisierende Karte in einem trainierten neuronalen Netz 3108 zu generieren, was in der Lage ist, Operationen durchzuführen, die bei der Reduzierung der Dimensionalität eines neuen Datensatzes 3112 nützlich sind. In mindestens einer Ausführungsform kann unüberwachtes Training auch dazu verwendet werden, eine Anomalieerkennung durchzuführen, die es ermöglicht, Datenpunkte in einem neuen Datensatz 3112 zu identifizieren, die von normalen Mustern des neuen Datensatzes 3112 abweichen.

In mindestens einer Ausführungsform kann halbüberwachtes Lernen verwendet werden, was ein Verfahren ist, bei der der Trainingsdatensatz 3102 eine Mischung aus gekennzeichneten und ungekennzeichneten Daten umfasst. In mindestens einer Ausführungsform kann das Trainings-Framework 3104 verwendet werden, um inkrementelles Lernen durchzuführen, beispielsweise durch übertragene Lernverfahren. In mindestens einer Ausführungsform ermöglicht das inkrementelle Lernen einem trainierten neuronalen Netz 3108, sich an einen neuen Datensatz 3112 anzupassen, ohne das Wissen zu vergessen, das dem trainierten neuronalen Netz 3108 während des initialen Trainings vermittelt wurde.

In mindestens einer Ausführungsform ist das Trainings-Framework 3104 ein Framework, das in Verbindung mit einem Softwareentwicklungs-Toolkit wie einem OpenVINO (O-pen Visual Inference and Neural Network Optimization) Toolkit verarbeitet wird. In mindestens einer Ausführungsform handelt es sich bei einem OpenVINO-Toolkit um ein Toolkit, wie es von der Intel Corporation in Santa Clara, CA, entwickelt wurde.

In mindestens einer Ausführungsform handelt es sich bei OpenVINO um ein Toolkit zur Erleichterung der Entwicklung von Anwendungen, insbesondere von Anwendungen für neuronale Netze, für verschiedene Aufgaben und Operationen, wie z. B. Emulation des menschlichen Sehens, Spracherkennung, Verarbeitung natürlicher Sprache, Empfehlungssysteme und/oder Variationen davon. In mindestens einer Ausführungsform unterstützt OpenVINO neuronale Netze wie z. B. faltende neuronale Netze (CNNs), rückgekoppelte und/oder aufmerksamkeitsbasierte neuronale Netze und/oder verschiedene andere Modelle für ein neuronales Netz. In mindestens einer Ausführungsform unterstützt OpenVINO verschiedene Softwarebibliotheken wie OpenCV, OpenCL und/oder Varianten davon.

In mindestens einer Ausführungsform unterstützt OpenVINO Modelle für ein neuronales Netz für verschiedene Aufgaben und Operationen, wie z. B. Klassifizierung, Segmentierung, Objekterkennung, Gesichtserkennung, Spracherkennung, Posenschätzung (z. B. von Menschen und/oder Objekten), monokulare Tiefenschätzung, Bild-Inpainting, Stiltransfer, Handlungserkennung, Kolorierung und/oder Variationen davon.

In mindestens einer Ausführungsform umfasst OpenVINO ein oder mehrere Softwaretools und/oder Module für eine Modelloptimierung, was auch als Modelloptimierer bezeichnet wird. In mindestens einer Ausführungsform handelt es sich bei einem Modelloptimierer um ein Kommandozeilenwerkzeug, das die Übergänge zwischen Training und Einsatz von Modellen eines neuronalen Netzes erleichtert. In mindestens einer Ausführungsform optimiert ein Modelloptimierer Modelle eines neuronalen Netzes für die Ausführung auf verschiedenen Einrichtungen und/oder Verarbeitungseinheiten, wie z. B. einer GPU, CPU, PPU, GPGPU und/oder Varianten davon. In mindestens einer Ausführungsform generiert ein Modelloptimierer eine interne Darstellung eines Modells und optimiert das Modell, um eine Zwischendarstellung zu generieren. In mindestens einer Ausführungsform reduziert ein Modelloptimierer die Anzahl der Schichten eines Modells. In mindestens einer Ausführungsform entfernt ein Modelloptimierer die Schichten eines Modells, die für das Training verwendet werden. In mindestens einer Ausführungsform führt ein Modelloptimierer verschiedene Operationen für neuronale Netze durch, wie z. B. das Ändern der Eingaben in ein Modell (z. B. Ändern der Größe der Eingaben in ein Modell), das Ändern der Größe der Eingaben eines Modells (z. B. Ändern der Stapelgröße eines Modells), das Ändern einer Modellstruktur (z. B. Modifizierung von Schichten eines Modells), eine Normalisierung, eine Standardisierung, eine Quantisierung (z. B. Konvertierung von Gewichten eines Modells von einer ersten Darstellung, wie z. B. Gleitkomma, in eine zweite Darstellung, wie z. B. Integer), und/oder Variationen davon.

In mindestens einer Ausführungsform umfasst OpenVINO eine oder mehrere Softwarebibliotheken für Inferenzierung, was auch als Inferenzmaschine bezeichnet wird. In mindestens einer Ausführungsform handelt es sich bei der Inferenzmaschine um eine C++-Bibliothek oder eine andere geeignete Bibliothek in einer Programmiersprache. In mindestens einer Ausführungsform wird eine Inferenzmaschine zum Ableiten von Eingabedaten verwendet. In mindestens einer Ausführungsform implementiert eine Inferenzmaschine verschiedene Klassen, um Eingabedaten abzuleiten und ein oder mehrere Ergebnisse zu generieren. In mindestens einer Ausführungsform implementiert eine Inferenzmaschine eine oder mehrere API-Funktionen, um eine Zwischendarstellung zu verarbeiten, Eingabe- und/oder Ausgabeformate festzulegen und/oder ein Modell auf einer oder mehreren Einrichtungen auszuführen.

In mindestens einer Ausführungsform bietet OpenVINO verschiedene Möglichkeiten zur heterogenen Ausführung eines oder mehrerer Modelle eines neuronalen Netzes. In mindestens einer Ausführungsform bezieht sich die heterogene Ausführung oder das heterogene Computing auf einen oder mehrere Rechenprozesse und/oder Systeme, die einen oder mehrere Typen von Prozessoren und/oder Kernen verwenden. In mindestens einer Ausführungsform stellt OpenVINO verschiedene Softwarefunktionen zur Ausführung eines Programms auf einer oder mehreren Einrichtungen bereit. In mindestens einer Ausführungsform stellt OpenVINO verschiedene Softwarefunktionen zur Verfügung, um ein Programm und/oder Abschnitte eines Programms auf verschiedenen Einrichtungen auszuführen. In mindestens einer Ausführungsform stellt OpenVINO verschiedene Softwarefunktionen zur Verfügung, um z. B. einen ersten Abschnitt des Codes auf einer CPU und einen zweiten Abschnitt des Codes auf einer GPU und/oder FPGA auszuführen. In mindestens einer Ausführungsform stellt OpenVINO verschiedene Softwarefunktionen bereit, um eine oder mehrere Schichten eines neuronalen Netzes auf einer oder mehreren Einrichtungen auszuführen (z. B. einen ersten Satz von Schichten auf einer ersten Einrichtung, wie einer GPU, und einen zweiten Satz von Schichten auf einer zweiten Einrichtung, wie einer CPU).

In mindestens einer Ausführungsform weist OpenVINO verschiedene Funktionalitäten auf, die denen eines CUDA-Programmiermodells ähneln, wie z. B. verschiedene Modelloperationen für neuronale Netze, die mit Frameworks wie TensorFlow, PyTorch und/oder Varianten davon verbunden sind. In mindestens einer Ausführungsform werden eine oder mehrere CUDA-Programmiermodelloperationen mit OpenVINO durchgeführt. In mindestens einer Ausführungsform sind verschiedene Systeme, Verfahren und/oder Techniken, die hier beschrieben sind, unter Verwendung von OpenVINO implementiert.

RECHENZENTRUM

32 zeigt ein Beispiel eines Rechenzentrums 3200, in dem mindestens eine Ausführungsform verwendet werden kann. In mindestens einer Ausführungsform weist das Rechenzentrum 3200 eine Rechenzentrumsinfrastrukturschicht 3210, eine Framework-Schicht 3220, eine Softwareschicht 3230 und eine Anwendungsschicht 3240 auf.

Bei mindestens einer Ausführungsform, wie es in 32 gezeigt ist, kann die Rechenzentrumsinfrastrukturschicht 3210 einen Ressourcen-Orchestrator 3212, gruppierte Rechenressourcen 3214 und Knoten-Rechenressourcen („Knoten-C.R.s“) 3216(1)-3216(N) aufweisen, wobei „N“ eine positive ganze Zahl darstellt (die eine andere positive ganze Zahl „N“ sein kann, als die in anderen Figuren benutzte). In mindestens einer Ausführungsform können die Knoten-C.R.s 3216(1)-3216(N) eine beliebige Anzahl von Zentraleinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, Field Programmable Gate Arrays (FPGAs), Grafikprozessoren usw.), Speichereinrichtungen 3218(1)-3218(N) (z. B., dynamischer Festwertspeicher), Festkörper- oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabeeinrichtungen („NW I/O“), Netzwerk-Switches, virtuelle Maschinen („VMs“), Stromversorgungsmodule und Kühlmodule, usw. einschließen. In mindestens einer Ausführungsform kann es sich bei einem oder mehreren Knoten-C.R.s unter den Knoten-C.R.s 3216(1)-3216(N) um einen Server handeln, der über eine oder mehrere der oben erwähnten Rechenressourcen verfügt.

In mindestens einer Ausführungsform können die gruppierten Rechenressourcen 3214 getrennte Gruppierungen von Knoten-C.R.s aufweisen, die in einem oder mehreren Racks (nicht gezeigt) untergebracht sind, oder viele Racks, die in Rechenzentren an verschiedenen geografischen Standorten untergebracht sind (ebenfalls nicht gezeigt). In mindestens einer Ausführungsform können separate Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechenressourcen 3214 gruppierte Rechen-, Netzwerk-, Speicher- oder Storage-Ressourcen aufweisen, die zur Unterstützung einer oder mehrerer Arbeitslasten ausgestaltet oder zugewiesen werden können. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s, die CPUs oder Prozessoren aufweisen, in einem oder mehreren Racks gruppiert sein, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform können ein oder mehrere Racks auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination aufweisen.

In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 3212 einen oder mehrere Knoten C.R.s 3216(1)-3216(N) und/oder gruppierte Rechenressourcen 3214 ausgestalten oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 3212 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 3200 aufweisen. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 3012 Hardware, Software oder eine Kombination davon aufweisen.

Bei mindestens einer Ausführungsform, wie es in 32 gezeigt ist, weist die Framework-Schicht 3220 einen Job Scheduler 3222, einen Konfigurationsmanager 3224, einen Ressourcenmanager 3226 und ein verteiltes Dateisystem 3228 auf. In mindestens einer Ausführungsform kann die Framework-Schicht 3220 einen Rahmen bzw. Framework zur Unterstützung der Software 3232 der Softwareschicht 3230 und/oder einer oder mehrerer Anwendung(en) 3242 der Anwendungsschicht 3240 aufweisen. In mindestens einer Ausführungsform kann die Software 3232 oder die Anwendung(en) 3242 jeweils webbasierte Dienstsoftware oder Anwendungen aufweisen, wie sie beispielsweise von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann es sich bei der Framework-Schicht 3220 um eine Art freies und quelloffenes Software-Webanwendungs-Framework wie Apache Spark™ (im Folgenden „Spark“) handeln, das ein verteiltes Dateisystem 3238 für die Verarbeitung großer Datenmengen (z. B. „Big Data“) nutzen kann. In mindestens einer Ausführungsform kann der Job Scheduler 3222 einen Spark-Treiber aufweisen, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 3200 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsmanager 3224 in der Lage sein, um verschiedene Schichten wie die Softwareschicht 3230 und die Framework-Schicht 3220, die Spark und das verteilte Dateisystem 3228 aufweist, zur Unterstützung der Verarbeitung großer Datenmengen zu konfigurieren. In mindestens einer Ausführungsform kann der Ressourcenmanager 3226 in der Lage sein, geclusterte oder gruppierte Computerressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 3228 und des Job Schedulers 3222 zugeordnet oder zugewiesen sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Rechenressourcen 3214 in der Infrastrukturschicht 3210 des Rechenzentrums aufweisen. In mindestens einer Ausführungsform kann der Ressourcenmanager 3226 mit dem Ressourcenorchestrator 3212 koordiniert sein, um diese zugeordneten oder zugewiesenen Computerressourcen zu verwalten.

In mindestens einer Ausführungsform kann die in der Softwareschicht 3230 enthaltene Software 3232 Software aufweisen, die von mindestens Abschnitten der Knoten-CRs 3216(1)-3216(N), der gruppierten Rechenressourcen 3214 und/oder des verteilten Dateisystems 3228 der Framework-Schicht 3220 verwendet wird. In mindestens einer Ausführungsform können eine oder mehrere Arten von Software eine Internet-Such-Software, eine E-Mail-Virenscan-Software, eine Datenbank-Software und eine Streaming-Video-Content-Software aufweisen, sind aber nicht darauf beschränkt.

In mindestens einer Ausführungsform kann (können) die in der Anwendungsschicht 3240 enthaltene(n) Anwendung(en) 3242 eine oder mehrere Arten von Anwendungen aufweisen, die von mindestens Abschnitten der Knoten C.R.s 3216(1)-3216(N), gruppierten Rechenressourcen 3214 und/oder dem verteilten Dateisystem 3228 der Framework-Schicht 3220 verwendet werden. In mindestens einer Ausführungsform können eine oder mehrere Arten von Anwendungen eine beliebige Anzahl von Genomanwendungen, kognitiven Berechnungen und Anwendungen für maschinelles Lernen aufweisen, einschließlich Trainings- oder Inferenzierungs-Software, Framework-Software für maschinelles Lernen (z. B. PyTorch, TensorFlow, Caffe usw.) oder andere Anwendungen für maschinelles Lernen, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden, sind aber nicht darauf beschränkt.

In mindestens einer Ausführungsform kann jeder von Konfigurationsmanager 3224, Ressourcenmanager 3226 und Ressourcen-Orchestrator 3212 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren, die auf einer beliebigen Menge und Art von Daten basieren, die auf jede technisch machbare Weise erfasst werden. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Rechenzentrumsbetreiber des Rechenzentrums 3200 davon entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht funktionierende Abschnitte eines Rechenzentrums zu vermeiden.

In mindestens einer Ausführungsform kann das Rechenzentrum 3200 Werkzeuge, Dienste, Software oder andere Ressourcen aufweisen, um ein oder mehrere Modelle zum maschinellen Lernen zu trainieren oder Informationen unter Verwendung eines oder mehrerer Modelle zum maschinellen Lernen gemäß einer oder mehrerer hier beschriebener Ausführungsformen vorherzusagen oder abzuleiten. Beispielsweise kann in mindestens einer Ausführungsform ein Modell zum maschinellen Lernen durch Berechnung von Gewichtungsparametern gemäß einer neuronalen Netzwerkarchitektur unter Verwendung von Software und Rechenressourcen trainiert werden, die oben in Bezug auf das Rechenzentrum 3200 beschrieben wurden. In mindestens einer Ausführungsform können trainierte Modelle zum maschinellen Lernen, die einem oder mehreren neuronalen Netzen entsprechen, verwendet werden, um Informationen abzuleiten oder vorherzusagen, wobei die oben beschriebenen Ressourcen in Bezug auf das Rechenzentrum 3200 verwendet werden, indem Gewichtungsparameter verwendet werden, die durch eine oder mehrere hier beschriebene Trainingstechniken berechnet werden.

In mindestens einer Ausführungsform kann das Rechenzentrum CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um Training und/oder Inferenzierung unter Verwendung der oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst ausgestaltet sein, um es Benutzern zu ermöglichen, Informationen zu trainieren oder Inferenzierung durchzuführen, wie etwa Bilderkennung, Spracherkennung oder andere Dienste der künstlichen Intelligenz.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System aus 32 für Inferenzierungs- oder Vorhersage-Operationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 32 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

AUTONOMES FAHRZEUG

33A zeigt ein Beispiel für ein autonomes Fahrzeug 3300 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das autonome Fahrzeug 3300 (hier alternativ als „Fahrzeug 3300“ bezeichnet) ohne Einschränkung ein Personenfahrzeug sein, wie z. B. ein Pkw, ein Lkw, ein Bus und/oder eine andere Art von Fahrzeug, das einen oder mehrere Fahrgäste aufnimmt. In mindestens einer Ausführungsform kann das Fahrzeug 3300 ein Sattelschlepper sein, der für den Transport von Gütern verwendet wird. In mindestens einer Ausführungsform kann das Fahrzeug 3300 ein Flugzeug, ein Roboterfahrzeug oder eine andere Art von Fahrzeug sein.

Autonome Fahrzeuge können in Form von Automatisierungsstufen beschrieben werden, die von der National Highway Traffic Safety Administration („NHTSA“), einer Abteilung des US-Verkehrsministeriums, und der Society of Automotive Engineers („SAE“) „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ (z. B. Standard Nr. J3016-201806, veröffentlicht am 15. Juni 2018, Standard Nr. J3016-201609, veröffentlicht am 30. September 2016, sowie frühere und zukünftige Versionen dieses Standards) definiert sind. In mindestens einer Ausführungsform kann das Fahrzeug 3300 in der Lage sein, um eine Funktionalität gemäß einer oder mehrerer der Stufen 1 bis Stufe 5 des autonomen Fahrens auszuführen. Beispielsweise kann das Fahrzeug 3300 in mindestens einer Ausführungsform in der Lage sein, bedingt automatisiert (Stufe 3), hochautomatisiert (Stufe 4) und/oder vollständig automatisiert (Stufe 5) zu fahren, je nach Ausführungsform.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 ohne Einschränkung Komponenten wie ein Fahrgestell, eine Fahrzeugkarosserie, Räder (z. B. 2, 4, 6, 8, 18 usw.), Reifen, Achsen und andere Komponenten eines Fahrzeugs aufweisen. In mindestens einer Ausführungsform kann das Fahrzeug 3300 ohne Einschränkung ein Antriebssystem 3350 aufweisen, wie z. B. einen Verbrennungsmotor, ein Hybrid-Elektroantrieb, einen reinen Elektromotor und/oder einen anderen Antriebssystemtyp. In mindestens einer Ausführungsform kann das Antriebssystem 3350 mit einem Antriebsstrang des Fahrzeugs 3300 verbunden sein, der unter anderem ein Getriebe aufweisen kann, um den Antrieb des Fahrzeugs 3300 zu ermöglichen. In mindestens einer Ausführungsform kann das Antriebssystem 3350 in Reaktion auf den Empfang von Signalen von einer Drosselklappe/einem Gaspedal (bzw. mehreren Gaspedalen) 3352 gesteuert werden.

In mindestens einer Ausführungsform wird ein Lenksystem 3354, das ohne Einschränkung ein Lenkrad aufweisen kann, verwendet, um das Fahrzeug 3300 zu lenken (z. B. entlang eines gewünschten Weges oder einer Route), wenn ein Antriebssystem 3350 in Betrieb ist (z. B. wenn das Fahrzeug 3300 in Bewegung ist). In mindestens einer Ausführungsform kann das Lenksystem 3354 Signale von einem oder mehreren Lenkaktoren 3356 empfangen. In mindestens einer Ausführungsform kann ein Lenkrad optional für die Vollautomatisierung (Stufe 5) eingesetzt werden. In mindestens einer Ausführungsform kann ein Bremssensorsystem 3346 verwendet werden, um die Fahrzeugbremsen in Reaktion auf den Empfang von Signalen von einem oder mehreren Bremsaktuatoren 3348 und/oder Bremssensoren zu betätigen.

In mindestens einer Ausführungsform liefern die Steuerung(en) 3336, die ohne Einschränkung ein oder mehrere System-on-Chips („SoCs“) (in 33A nicht dargestellt) und/oder Grafikverarbeitungseinheiten („GPUs“) aufweisen können, Signale (z. B. repräsentativ für Befehle) an eine oder mehrere Komponenten und/oder Systeme des Fahrzeugs 3300. In mindestens einer Ausführungsform kann (können) die Steuerung(en) 3336 beispielsweise Signale zur Betätigung der Fahrzeugbremsen über den (die) Bremsaktuator(en) 3348, zur Betätigung des Lenksystems 3354 über den/die Lenkaktuator(en) 3356 und zur Betätigung des Antriebssystems 3350 über eine Drosselklappe / (ein) Gaspedal(e) 3352 senden. In mindestens einer Ausführungsform kann (können) die Steuerung(en) 3336 eine oder mehrere fahrzeuginterne (z. B. integrierte) Recheneinrichtungen aufweisen, die Sensorsignale verarbeiten und Betriebsbefehle (z. B. Signale, die Befehle darstellen) ausgeben, um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Führen des Fahrzeugs 3300 zu unterstützen. In mindestens einer Ausführungsform kann (können) die Steuerung(en) 3336 eine erste Steuerung für autonome Fahrfunktionen, eine zweite Steuerung für funktionale Sicherheitsfunktionen, eine dritte Steuerung für Funktionen der künstlichen Intelligenz (z. B. Computer Vision), eine vierte Steuerung für Infotainment-Funktionen, eine fünfte Steuerung für Redundanz in Notfällen und/oder andere Steuerungen aufweisen. In mindestens einer Ausführungsform kann eine einzige Steuerung zwei oder mehrere der oben genannten Funktionen übernehmen, zwei oder mehr Steuerungen können eine einzige Funktion übernehmen und/oder eine beliebige Kombination davon.

In mindestens einer Ausführungsform stellt/stellen die Steuerung(en) 3336 Signale zur Steuerung einer oder mehrerer Komponenten und/oder Systeme des Fahrzeugs 3300 als Reaktion auf Sensordaten bereit, die von einem oder mehreren Sensoren empfangen werden (z. B. Sensoreingaben). In mindestens einer Ausführungsform können Sensordaten beispielsweise und ohne Einschränkung von (einem) Global Navigation Satellite Systems („GNSS‟)-Sensor(en) 3358 (z. B., Global Positioning System-Sensor(en)), RADAR-Sensor(en) 3360, Ultraschallsensor(en) 3362, LIDAR-Sensor(en) 3364, Inertialmesseinheit-Sensor(en) („IMU“) 3366 (z. B. Beschleunigungsmesser, Gyroskop(e), einen Magnetkompass oder Magnetkompasse, Magnetometer usw.), Mikrofon(en) 3396, Stereokamera(s) 3368, Weitwinkelkamera(s) 3370 (z. B., Fischaugenkameras), Infrarotkamera(s) 3372, Surround-Kamera(s) 3374 (z. B. 360-Grad-Kameras), Fernkameras (nicht in 33A gezeigt), Mittelbereichskamera(s) (nicht in 33A gezeigt), Geschwindigkeitssensor(en) 3344 (z. B. zur Messung der Geschwindigkeit des Fahrzeugs 3300), Vibrationssensor(en) 3342, Lenksensor(en) 3340, Bremssensor(en) (z. B. als Teil des Bremssensorsystems 3346) und/oder anderen Sensortypen empfangen werden.

In mindestens einer Ausführungsform kann eine oder können mehrere der Steuerungen 3336 Eingaben (z. B. in Form von Eingabedaten) von einem Kombiinstrument 3332 des Fahrzeugs 3300 empfangen und Ausgaben (z. B. in Form von Ausgabedaten, Anzeigedaten usw.) über eine Mensch-Maschine-Schnittstelle („HMI“)-Anzeige 3334, einen akustischen Melder, einen Lautsprecher und/oder über andere Komponenten des Fahrzeugs 3300 bereitstellen. In mindestens einer Ausführungsform können die Ausgaben Informationen wie Fahrzeuggeschwindigkeit, Drehzahl, Zeit, Kartendaten (z. B. eine hochauflösende Karte (in 33A nicht dargestellt)), Positionsdaten (z. B. die Position des Fahrzeugs 3300, wie auf einer Karte), Richtung, Position anderer Fahrzeuge (z. B. ein Belegungsraster), Informationen über Objekte und den Status von Objekten, wie es von der/den Steuerung(en) 3336 wahrgenommen wird, usw. aufweisen. In mindestens einer Ausführungsform kann die HMI-Anzeige 3334 beispielsweise Informationen über das Vorhandensein eines oder mehrerer Objekte (z. B. ein Straßenschild, ein Warnschild, eine sich ändernde Ampel usw.) und/oder Informationen über Fahrmanöver anzeigen, die das Fahrzeug durchgeführt hat, gerade durchführt oder durchführen wird (z. B. Spurwechsel jetzt, Ausfahrt 34B in zwei Meilen usw.).

In mindestens einer Ausführungsform weist das Fahrzeug 3300 darüber hinaus eine Netzwerkschnittstelle 3324 auf, die (eine) Funkantenne(n) 3326 und/oder (ein) Modem(s) zur Kommunikation über ein oder mehrere Netzwerke verwenden kann. Zum Beispiel kann in mindestens einer Ausführungsform die Netzwerkschnittstelle 3324 in der Lage sein, über Long-Term Evolution („LTE“), Wideband Code Division Multiple Access („WCDMA“), Universal Mobile Telecommunications System („UMTS“), Global System for Mobile communication („GSM“), IMT-CDMA Multi-Carrier („CDMA2000“) Networks, etc. zu kommunizieren. In mindestens einer Ausführungsform kann (können) die Funkantenne(n) 3326 auch die Kommunikation zwischen Objekten in der Umgebung (z. B. Fahrzeuge, mobile Einrichtungen usw.) ermöglichen, wobei lokale Netzwerke wie Bluetooth, Bluetooth Low Energy („LE“), Z-Wave, ZigBee usw. und/oder Weitverkehrsnetzwerke mit geringer Leistung („LPWANs“) wie LoRaWAN, SigFox usw. Protokolle verwendet werden.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System aus 33A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 33A gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 von Fahrzeug 3300 (gezeigt in Bezug auf 33C als Teil der CPU(s) 3306 oder GPU(s) 3308) mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform beinhaltet das Fahrzeug 3300 ein Computer-Vision-System, das einen oder mehrere Prozessoren beinhaltet, um ein oder mehrere Objekte zumindest teilweise basierend auf der Durchführung einer oder mehrerer Inferenzierungs-Operationen unter Verwendung von zwei oder mehreren Operationen, die durch einen Compiler zu einem Softwarekern kombiniert sind (z. B. Code 106 oder Laufzeitcode 120 aus 1), zu identifizieren, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform beinhaltet das Fahrzeug 3300 eines oder mehrere von einem Antriebssystem, einem Richtungssteuerungssystem und einem Fahrzeugführerbenachrichtigungssystem, um eine oder mehrere Aktionen (z. B. Beschleunigung, Bremsen, Lenken, Warnsignal) zumindest teilweise basierend auf einem oder mehreren identifizierten Objekten durchzuführen.

33B zeigt ein Beispiel für Kamerapositionen und Sichtfelder für das autonome Fahrzeug 3300 aus 33A, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform stellen die Kameras und die jeweiligen Sichtfelder eine beispielhafte Ausführungsform dar und sind nicht als einschränkend zu betrachten. Beispielsweise können in mindestens einer Ausführungsform zusätzliche und/oder alternative Kameras vorhanden sein und/oder die Kameras können an anderen Stellen des Fahrzeugs 3300 angeordnet sein.

In mindestens einer Ausführungsform können die Kameratypen für Kameras Digitalkameras aufweisen, die für die Verwendung mit Komponenten und/oder Systemen des Fahrzeugs 3300 angepasst sein können, sind aber nicht darauf beschränkt. In mindestens einer Ausführungsform kann/können die Kamera(s) auf dem Automotive Safety Integrity Level („ASIL“) B und/oder auf einem anderen ASIL arbeiten. In mindestens einer Ausführungsform können die Kameratypen je nach Ausführungsform eine beliebige Bildaufnahmerate, wie 60 Bilder pro Sekunde (fps), 1220 fps, 240 fps usw., erreichen. In mindestens einer Ausführungsform können die Kameras Rolling Shutter, Global Shutter, einen anderen Verschlusstyp oder eine Kombination davon verwenden. In mindestens einer Ausführungsform kann die Farbfilteranordnung eine Rot-Klar-Klar-Klar-Farbfilteranordnung („RCCC“), eine Rot-Klar-Klar-Blau-Farbfilteranordnung („RCCB“), eine Rot-Blau-Grün-Klar-Farbfilteranordnung („RBGC“), eine Foveon X3-Farbfilteranordnung, eine Bayer-Sensor-Farbfilteranordnung („RGGB“), eine Monochromsensor-Farbfilteranordnung und/oder eine andere Art von Farbfilteranordnung aufweisen. In mindestens einer Ausführungsform können zur Erhöhung der Lichtempfindlichkeit Klar-Pixel-Kameras, wie z. B. Kameras mit einer RCCC, einer RCCB- und/oder einer RBGC-Farbfilteranordnung, verwendet werden.

In mindestens einer Ausführungsform kann eine oder können mehrere Kameras verwendet werden, um fortschrittliche Fahrerassistenzsysteme („ADAS“) auszuführen (z. B. als Teil eines redundanten oder ausfallsicheren Designs). So kann in mindestens einer Ausführungsform eine Multifunktions-Monokamera installiert sein, die Funktionen wie Spurhalteassistent, Verkehrszeichenassistent und intelligente Scheinwerfersteuerung bietet. In mindestens einer Ausführungsform kann eine oder können mehrere der Kameras (z. B. alle Kameras) gleichzeitig Bilddaten (z. B. Video) aufzeichnen und bereitstellen.

In mindestens einer Ausführungsform kann eine oder können mehrere Kameras in einer Montageanordnung, wie z. B. einer kundenspezifisch entworfenen (dreidimensionalen („3D“) gedruckten) Anordnung, montiert sein, um Streulicht und Reflexionen aus dem Fahrzeug 3300 (z. B. Reflexionen vom Armaturenbrett, die in den Windschutzscheibenspiegeln reflektiert werden) auszuschalten, die die Fähigkeit der Kamera zur Bilddatenerfassung beeinträchtigen können. In mindestens einer Ausführungsform können die Anordnungen für die Außenspiegel individuell in 3D gedruckt werden, so dass eine Kameramontageplatte einer Form eines Außenspiegels entspricht. In mindestens einer Ausführungsform kann (können) die Kamera(s) in den Außenspiegeln integriert sein. In mindestens einer Ausführungsform kann (können) die Kamera(s) bei Seitenkameras auch in vier Säulen an jeder Ecke einer Fahrgastzelle integriert sein.

In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Abschnitte der Umgebung vor dem Fahrzeug 3300 aufweist (z. B. nach vorne gerichtete Kameras), für die Rundumsicht verwendet werden, um bei der Erkennung von nach vorne gerichteten Wegen und Hindernissen zu helfen, sowie mit Hilfe einer oder mehrerer Steuerungen 3336 und/oder Steuer-SoCs Informationen bereitzustellen, die für die Generierung eines Belegungsrasters und/oder die Bestimmung bevorzugter Fahrzeugwege entscheidend sind. In mindestens einer Ausführungsform können nach vorne gerichtete Kameras verwendet werden, um viele der gleichen ADAS-Funktionen wie LIDAR auszuführen, einschließlich, ohne Einschränkung, Notbremsung, Fußgängererkennung und Kollisionsvermeidung. In mindestens einer Ausführungsform können nach vorne gerichtete Kameras auch für ADAS-Funktionen und -Systeme verwendet werden, einschließlich, aber nicht beschränkt auf eine Warnung vor dem Verlassen der Fahrspur („LDW“), autonome Geschwindigkeitsregelung („ACC“) und/oder andere Funktionen wie Verkehrszeichenerkennung.

In mindestens einer Ausführungsform kann eine Vielzahl von Kameras in einer nach vorne gerichteten Konfiguration verwendet werden, einschließlich z. B. einer monokularen Kameraplattform, die einen CMOS-Farbbildwandler („Complementary Metal Oxide Semiconductor“) aufweist. In mindestens einer Ausführungsform kann die Weitwinkelkamera 3370 verwendet werden, um Objekte zu erkennen, die von einer Peripherie her ins Blickfeld kommen (z. B. Fußgänger, kreuzender Verkehr oder Fahrräder). Obwohl in 33B nur eine Weitwinkelkamera 3370 dargestellt ist, kann bei anderen Ausführungen eine beliebige Anzahl (einschließlich Null) von Weitwinkelkameras am Fahrzeug 3300 vorhanden sein. In mindestens einer Ausführungsform kann eine beliebige Anzahl von Weitwinkelkamera(s) 3398 (z. B. ein Weitwinkel-Stereokamerapaar) zur tiefenbasierten Objekterkennung verwendet werden, insbesondere für Objekte, für die ein neuronales Netz noch nicht trainiert worden ist. In mindestens einer Ausführungsform können die Weitwinkelkamera(s) 3398 auch zur Objekterkennung und -klassifizierung sowie zur grundlegenden Objektverfolgung verwendet werden.

In mindestens einer Ausführungsform kann eine beliebige Anzahl von Stereokamera(s) 3368 auch in einer nach vorne gerichteten Konfiguration vorhanden sein. In mindestens einer Ausführungsform kann eine oder können mehrere der Stereokamera(s) 3368 eine integrierte Steuereinheit aufweisen, die eine skalierbare Verarbeitungseinheit umfasst, die eine programmierbare Logik („FPGA“) und einen Multi-Core-Mikroprozessor mit einer integrierten Controller Area Network („CAN“)- oder Ethernet-Schnittstelle auf einem einzigen Chip bereitstellen kann. In mindestens einer Ausführungsform kann eine solche Einheit verwendet werden, um eine 3D-Karte der Umgebung des Fahrzeugs 3300 zu generieren, die eine Abstandsschätzung für alle Punkte im Bild aufweist. In mindestens einer Ausführungsform kann eine oder können mehrere der Stereokamera(s) 3368 ohne Einschränkung kompakte(n) Stereosicht-Sensor(en) aufweisen, die ohne Einschränkung zwei Kameralinsen (je eine auf der linken und rechten Seite) und einen Bildverarbeitungschip enthalten können, der den Abstand zwischen dem Fahrzeug 3300 und dem Zielobjekt messen und die generierten Informationen (z. B. Metadaten) verwenden kann, um autonome Notbrems- und Spurhaltewarnfunktionen zu aktivieren. In mindestens einer Ausführungsform können auch andere Typen von Stereokameras 3368 zusätzlich oder alternativ zu den hier beschriebenen verwendet werden.

In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Abschnitte der Umgebung seitlich des Fahrzeugs 3300 aufweist (z. B. Seitenkameras), für die Umgebungsansicht verwendet werden und Informationen liefern, die zur Erstellung und Aktualisierung eines Belegungsgitters sowie zur Generierung von Seitenaufprallwarnungen verwendet werden. In mindestens einer Ausführungsform kann (können) die Surround-Kamera(s) 3374 (z. B. vier Surround-Kameras 3374, wie es in 33B dargestellt ist) am Fahrzeug 3300 positioniert sein. In mindestens einer Ausführungsform kann (können) die Surround-Kamera(s) 3374 ohne Einschränkung eine beliebige Anzahl und Kombination von Weitwinkelkamera(s), Fischaugenkamera(s), 360-Grad-Kamera(s) und/oder ähnliche Kameras aufweisen. Zum Beispiel können in mindestens einer Ausführungsform vier Fischaugenkameras an der Vorderseite, der Rückseite und den Seiten des Fahrzeugs 3300 positioniert sein. In mindestens einer Ausführungsform kann das Fahrzeug 3300 drei Surround-Kamera(s) 3374 (z. B. links, rechts und hinten) verwenden und eine oder mehrere andere Kamera(s) (z. B. eine nach vorne gerichtete Kamera) als vierte Surround-View-Kamera nutzen.

In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Abschnitte einer Umgebung hinter dem Fahrzeug 3300 aufweist (z. B. Rückfahrkameras), für die Einparkhilfe, die Umgebungsansicht, die Heckkollisionswarnungen und die Erstellung und Aktualisierung des Belegungsgitters verwendet werden. In mindestens einer Ausführungsform kann eine Vielzahl von Kameras verwendet werden, einschließlich, aber nicht beschränkt auf, Kameras, die auch als nach vorne gerichtete Kamera(s) geeignet sind (z. B. Weitbereichskameras 3398 und/oder Mittelbereichskamera(s) 3376, Stereokamera(s) 3368), Infrarotkamera(s) 3372, usw.), wie es hier beschrieben ist.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System aus 33B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 32B gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 von Fahrzeug 3300 (gezeigt in Bezug auf 33C als Teil der CPU(s) 3306 oder GPU(s) 3308) mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

33C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug 3300 aus 33A gemäß mindestens einer Ausführungsform zeigt. In mindestens einer Ausführungsform ist jede Komponente, jedes Merkmal und jedes System des Fahrzeugs 3300 in 33C als über einen Bus 3302 verbunden dargestellt. In mindestens einer Ausführungsform kann der Bus 3302 ohne Einschränkung eine CAN-Datenschnittstelle aufweisen (hier alternativ als „CAN-Bus“ bezeichnet). In mindestens einer Ausführungsform kann ein CAN ein Netzwerk innerhalb des Fahrzeugs 3300 sein, das zur Unterstützung der Steuerung verschiedener Merkmale und Funktionen des Fahrzeugs 3300 verwendet wird, wie z. B. Betätigung der Bremsen, Beschleunigung, Bremsen, Lenkung, Scheibenwischer usw. In mindestens einer Ausführungsform kann der Bus 3302 so ausgestaltet sein, dass er Dutzende oder sogar Hunderte von Knoten aufweist, von denen jeder seine eigene eindeutige Kennung hat (z. B. eine CAN-ID). In mindestens einer Ausführungsform kann der Bus 3302 ausgelesen werden, um den Lenkradwinkel, die Fahrgeschwindigkeit, die Motordrehzahl pro Minute („RPMs“), die Tastenpositionen und/oder andere Fahrzeugstatusanzeigen zu ermitteln. In mindestens einer Ausführungsform kann der Bus 3302 ein CAN-Bus sein, der ASIL B-konform ist.

In mindestens einer Ausführungsform können zusätzlich zu oder alternativ zu CAN auch FlexRay und/oder Ethernet-Protokolle verwendet werden. In mindestens einer Ausführungsform kann eine beliebige Anzahl von Bussen zur Bildung von Bus 3302 vorhanden sein, die ohne Einschränkung null oder mehr CAN-Busse, null oder mehr FlexRay-Busse, null oder mehr Ethernet-Busse und/oder null oder mehr andere Arten von Bussen mit anderen Protokollen aufweisen können. In mindestens einer Ausführungsform können zwei oder mehr Busse verwendet werden, um unterschiedliche Funktionen auszuführen, und/oder sie können zur Redundanz verwendet werden. Zum Beispiel kann ein erster Bus für die Kollisionsvermeidungsfunktionalität und ein zweiter Bus für die Betätigungssteuerung verwendet werden. In mindestens einer Ausführungsform kann jeder Bus von Bus 3302 mit beliebigen Komponenten des Fahrzeugs 3300 kommunizieren, und zwei oder mehr Busse von Bus 3302 können mit entsprechenden Komponenten kommunizieren. In mindestens einer Ausführungsform kann jede beliebige Anzahl von System(en) auf (einem) Chip(s) („SoC(s)“) 3304 (wie z. B. SoC 3304(A) und SoC 3304(B)), jede Steuerung 3336 und/oder jeder Computer im Fahrzeug Zugriff auf dieselben Eingabedaten (z. B. Eingaben von Sensoren des Fahrzeugs 3300) haben und mit einem gemeinsamen Bus, wie dem CAN-Bus, verbunden sein.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 eine oder mehrere Steuerung(en) 3336 aufweisen, wie es hier in Bezug auf 33A beschrieben ist. In mindestens einer Ausführungsform kann (können) die Steuerung(en) 3336 für eine Vielzahl von Funktionen verwendet werden. In mindestens einer Ausführungsform kann (können) die Steuerung(en) 3336 mit verschiedenen anderen Komponenten und Systemen des Fahrzeugs 3300 gekoppelt sein und zur Steuerung des Fahrzeugs 3300, zur künstlichen Intelligenz des Fahrzeugs 3300, zum Infotainment für das Fahrzeug 3300 und/oder anderen Funktionen verwendet werden.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 eine beliebige Anzahl von SoCs 3304 aufweisen. In mindestens einer Ausführungsform kann jedes der SoCs 3304, ohne Einschränkung, zentrale Verarbeitungseinheiten („CPU(s)“) 3306, Grafikverarbeitungseinheiten („GPU(s)“) 3308, Prozessor(en) 3310, Cache(s) 3312, Beschleuniger 3314, Datenspeicher 3316 und/oder andere nicht dargestellte Komponenten und Merkmale aufweisen. In mindestens einer Ausführungsform können SoC(s) 3304 zur Steuerung des Fahrzeugs 3300 in einer Vielzahl von Plattformen und Systemen verwendet werden. In mindestens einer Ausführungsform kann (können) SoC(s) 3304 beispielsweise in einem System (z. B. dem System des Fahrzeugs 3300) mit einer High-Definition („HD“)-Karte 3322 kombiniert sein, die über eine Netzwerkschnittstelle 3324 von einem oder mehreren Servern (in 33C nicht dargestellt) Kartenauffrischungen und/oder -aktualisierungen erhalten kann.

In mindestens einer Ausführungsform kann (können) die CPU(s) 3306 einen CPU-Cluster oder CPU-Komplex (hier alternativ als „CCPLEX“ bezeichnet) aufweisen. In mindestens einer Ausführungsform kann (können) die CPU(s) 3306 mehrere Kerne und/oder Level Two („L2“) Caches aufweisen. In mindestens einer Ausführungsform kann (können) die CPU(s) 3306 beispielsweise acht Kerne in einer kohärenten Multiprozessorkonfiguration aufweisen. In mindestens einer Ausführungsform kann (können) die CPU(s) 3306 vier Dual-Core-Cluster aufweisen, wobei jeder Cluster über einen dedizierten L2-Cache verfügt (z. B. einen 2 Megabyte (MB) L2-Cache). In mindestens einer Ausführungsform kann (können) die CPU(s) 3306 (z. B. CCPLEX) so ausgestaltet sein, dass sie die gleichzeitigen Clusteroperationen unterstützen, so dass jede Kombination von Clustern der CPU(s) 3306 zu jedem Zeitpunkt aktiv sein kann.

In mindestens einer Ausführungsform kann eine oder können mehrere der CPU(s) 3306 Energieverwaltungsfunktionen implementieren, die ohne Einschränkung eines oder mehrere der folgenden Merkmale aufweisen: einzelne Hardwareblöcke können im Leerlauf automatisch getaktet sein, um dynamische Energie zu sparen; jeder Kerntakt kann getaktet sein, wenn der Kern aufgrund der Ausführung von Wait for Interrupt („WFI“)/Wait for Event („WFE“)-Befehlen nicht aktiv Befehle ausführt; jeder Kern kann unabhängig stromgesteuert sein; jeder Kerncluster kann unabhängig taktgesteuert sein, wenn alle Kerne taktgesteuert oder stromgesteuert sind; und/oder jeder Kerncluster kann unabhängig stromgesteuert sein, wenn alle Kerne stromgesteuert sind. In mindestens einer Ausführungsform kann/können die CPU(s) 3306 darüber hinaus einen erweiterten Algorithmus für die Verwaltung von Energiezuständen implementieren, bei dem zulässige Energiezustände und erwartete Aufwachzeiten festgelegt werden und die Hardware/der Mikrocode den besten Energiezustand bestimmt, der für Kern, Cluster und CCPLEX einzunehmen ist. In mindestens einer Ausführungsform können die Prozessorkerne vereinfachte Sequenzen zur Eingabe des Energiezustands in Software unterstützen, wobei die Arbeit an den Mikrocode ausgelagert ist.

In mindestens einer Ausführungsform kann (können) die GPU(s) 3308 eine integrierte GPU aufweisen (hier alternativ als „iGPU“ bezeichnet). In mindestens einer Ausführungsform kann (können) die GPU(s) 3308 programmierbar sein und für parallele Arbeitslasten effizient sein. In mindestens einer Ausführungsform kann (können) die GPU(s) 3308 einen erweiterten Tensor-Befehlssatz verwenden. In mindestens einer Ausführungsform kann (können) (die) GPU(s) 3308 einen oder mehrere Streaming-Mikroprozessoren aufweisen, wobei jeder Streaming-Mikroprozessor einen L1-Cache (z. B. einen L1-Cache mit einer Speicherkapazität von mindestens 96 KB) aufweisen kann und zwei oder mehr Streaming-Mikroprozessoren sich einen L2-Cache (z. B. einen L2-Cache mit einer Speicherkapazität von 512 KB) teilen können. In mindestens einer Ausführungsform kann (können) die GPU(s) 3308 mindestens acht Streaming-Mikroprozessoren aufweisen. In mindestens einer Ausführungsform kann (können) die GPU(s) 3308 eine oder mehrere Programmierschnittstellen (API(s)) für Berechnungen verwenden. In mindestens einer Ausführungsform kann (können) die GPU(s) 3308 eine oder mehrere parallele Rechenplattformen und/oder Programmiermodelle (z. B. das CUDA-Modell von NVIDIA) verwenden.

In mindestens einer Ausführungsform kann eine oder können mehrere der GPU(s) 3308 für die beste Leistung in automobilen und eingebetteten Anwendungsfällen energieoptimiert sein. In einer Ausführungsform kann (können) die GPU(s) 3308 beispielsweise mit einer Fin-Feldeffekttransistor- („FinFETs“-) Schaltung hergestellt sein. In mindestens einer Ausführungsform kann jeder Streaming-Mikroprozessor eine Anzahl von in mehrere Blöcke unterteilten Rechenkernen mit gemischter Präzision enthalten. Beispielsweise können 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke unterteilt sein. In mindestens einer Ausführungsform können jedem Verarbeitungsblock 16 FP32-Kerne, 8 FP64-Kerne, 16 INT32-Kerne, zwei NVIDIA Tensorkernen mit gemischter Genauigkeit für Deep-Learning-Matrixarithmetik, ein Level-Null-Befehlscache („L0“), ein Warp-Scheduler, eine Dispatch-Einheit und/oder eine 64-KB-Registerdatei zugewiesen sein. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren unabhängige parallele Ganzzahl- und Gleitkomma-Datenpfade aufweisen, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Berechnungen und Adressierungsberechnungen zu ermöglichen. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren eine unabhängige Thread-Planungsfunktion aufweisen, um eine feinkörnigere Synchronisierung und Zusammenarbeit zwischen parallelen Threads zu ermöglichen. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren einen kombinierten L1-Datencache und eine gemeinsame Speichereinheit aufweisen, um die Leistung zu verbessern und gleichzeitig die Programmierung zu vereinfachen.

In mindestens einer Ausführungsform kann eine oder können mehrere der GPU(s) 3308 einen Speicher mit hoher Bandbreite („HBM“) und/oder ein 16-GB-HBM2-Speicher-Subsystem aufweisen, um bei einigen Beispielen eine Spitzen-Speicherbandbreite von etwa 900 GB/Sekunde bereitzustellen. In mindestens einer Ausführungsform kann zusätzlich oder alternativ zum HBM-Speicher ein synchroner Grafik-Direktzugriffsspeicher („SGRAM“) verwendet werden, wie z. B. ein synchroner Grafik-Doppeldatenraten-Direktzugriffsspeicher vom Typ 5 („GDDR5“).

In mindestens einer Ausführungsform kann (können) die GPU(s) 3308 eine Unified-Memory-Technologie aufweisen. In mindestens einer Ausführungsform kann die Unterstützung von Adressübersetzungsdiensten („ATS“) verwendet werden, damit die GPU(s) 3308 direkt auf Seitentabellen der CPU(s) 3306 zugreifen können. In mindestens einer Ausführungsform kann eine Adressübersetzungsanforderung an die CPU(s) 3306 übermittelt werden, wenn eine GPU der Speicherverwaltungseinheit („MMU“) der GPU(s) 3308 einen Fehler feststellt. Als Antwort darauf können 2 CPUs der CPU(s) 3306 in ihren Seitentabellen nach einer virtuell-physikalischen Zuordnung der Adresse suchen und in mindestens einer Ausführungsform die Übersetzung zurück an die GPU(s) 3308 übertragen. In mindestens einer Ausführungsform kann die Unified-Memory-Technologie einen einzigen, einheitlichen virtuellen Adressraum für den Speicher sowohl der CPU(s) 3306 als auch der GPU(s) 3308 ermöglichen, wodurch die Programmierung der GPU(s) 3308 und der Anschluss von Anwendungen an die GPU(s) 3308 vereinfacht wird.

In mindestens einer Ausführungsform kann (können) die GPU(s) 3308 eine beliebige Anzahl von Zugriffszählern aufweisen, die die Häufigkeit des Zugriffs der GPU(s) 3308 auf den Speicher anderer Prozessoren verfolgen können. In mindestens einer Ausführungsform können Zugriffszähler dazu beitragen, dass Speicherseiten in den physischen Speicher desjenigen Prozessors verschoben werden, der am häufigsten auf Seiten zugreift, wodurch die Effizienz von Speicherbereichen verbessert wird, die von Prozessoren gemeinsam genutzt werden.

In mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 3304 eine beliebige Anzahl von Cache(s) 3312 aufweisen, einschließlich der hier beschriebenen. In mindestens einer Ausführungsform kann (können) der/die Cache(s) 3312 beispielsweise einen Level-3-Cache („L3“) aufweisen, der sowohl der/den CPU(s) 3306 als auch der/den GPU(s) 3308 zur Verfügung steht (z. B. der mit der/den CPU(s) 3306 und der/den GPU(s) 3308 verbunden ist). In mindestens einer Ausführungsform kann (können) der (die) Cache(s) 3312 einen Write-Back-Cache aufweisen, der die Zustände der Zeilen verfolgen kann, z. B. durch Verwendung eines Cache-Kohärenzprotokolls (z. B. MEI, MESI, MSI usw.). In mindestens einer Ausführungsform kann ein L3-Cache, je nach Ausführungsform, 4 MB eines Speichers oder mehr aufweisen, obwohl auch kleinere Cache-Größen verwendet werden können.

In mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 3304 einen oder mehrere Beschleuniger 3314 aufweisen (z. B. Hardware-Beschleuniger, Software-Beschleuniger oder eine Kombination davon). In mindestens einer Ausführungsform kann (können) der (die) SoC(s) 3304 einen Hardwarebeschleunigungscluster aufweisen, der optimierte Hardwarebeschleuniger und/oder einen großen On-Chip-Speicher aufweisen kann. In mindestens einer Ausführungsform kann ein großer On-Chip-Speicher (z. B. 4 MB SRAM) den Hardware-Beschleunigungscluster in die Lage versetzen, neuronale Netze und andere Berechnungen zu beschleunigen. In mindestens einer Ausführungsform kann der Hardware-Beschleunigungscluster zur Ergänzung der GPU(s) 3308 und zur Entlastung einiger Tasks der GPU(s) 3308 verwendet werden (z. B. um mehr Zyklen der GPU(s) 3308 für die Durchführung anderer Tasks freizugeben). In mindestens einer Ausführungsform kann (können) der/die Beschleuniger 3314 für gezielte Arbeitslasten verwendet werden (z. B. Wahrnehmung, faltende neuronale Netze („CNNs“), rückgekoppelte neuronale Netze („RNNs“) usw.), die stabil genug sind, um für eine Beschleunigung geeignet zu sein. In mindestens einer Ausführungsform kann ein CNN ein regionenbasiertes oder regionales faltendes neuronales Netz („RCNNs“) und ein schnelles RCNN (z. B. wie es für die Objekterkennung verwendet wird) oder eine andere Art von CNN aufweisen.

In mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 3314 (z. B. Hardware-Beschleunigungscluster) einen oder mehrere Deep-Learning-Beschleuniger („DLA“) aufweisen. In mindestens einer Ausführungsform kann (können) (ein) DLA(s) ohne Einschränkung eine oder mehrere Tensor Processing Units („TPUs“) aufweisen, die so ausgestaltet sein können, dass sie zusätzliche zehn Billionen Operationen pro Sekunde für Deep-Learning-Anwendungen und Inferenzierung bereitstellen. In mindestens einer Ausführungsform kann es sich bei den TPUs um Beschleuniger handeln, die für die Durchführung von Bildverarbeitungsfunktionen ausgestaltet und optimiert sind (z. B. für CNNs, RCNNs usw.). In mindestens einer Ausführungsform kann (können) der (die) DLA(s) darüber hinaus für einen bestimmten Satz neuronaler Netzwerktypen und Gleitkommaoperationen sowie für Inferenzierung optimiert sein. In mindestens einer Ausführungsform kann das Design von DLA(s) mehr Leistung pro Millimeter bieten als eine typische Allzweck-GPU und übertrifft in der Regel die Leistung einer CPU bei weitem. In mindestens einer Ausführungsform kann (können) die TPU(s) mehrere Funktionen ausführen, einschließlich einer Einzelinstanz-Faltungsfunktion, die z. B. INT8-, INT16- und FP16-Datentypen sowohl für Merkmale als auch für Gewichte sowie Postprozessorfunktionen unterstützt. In mindestens einer Ausführungsform können DLA(s) schnell und effizient neuronale Netze, insbesondere CNNs, auf verarbeiteten oder unverarbeiteten Daten für eine Vielzahl von Funktionen ausführen, einschließlich, zum Beispiel und ohne Einschränkung: ein CNN für die Objektidentifizierung und -erkennung unter Verwendung von Daten von Kamerasensoren; ein CNN für die Abstandsschätzung unter Verwendung von Daten von Kamerasensoren; ein CNN für die Erkennung und Identifizierung von Einsatzfahrzeugen und die Erkennung unter Verwendung von Daten von Mikrofonen; ein CNN für die Gesichtserkennung und die Identifizierung von Fahrzeugeigentümern unter Verwendung von Daten von Kamerasensoren; und/oder ein CNN für sicherheitsrelevante und/oder sicherheitsbezogene Ereignisse.

In mindestens einer Ausführungsform kann (können) DLA(s) jede Funktion der GPU(s) 3308 ausführen, und durch die Verwendung eines Inferenzbeschleunigers kann ein Entwickler beispielsweise entweder DLA(s) oder GPU(s) 3308 für eine beliebige Funktion vorsehen. In mindestens einer Ausführungsform kann ein Entwickler beispielsweise die Verarbeitung von CNNs und Gleitkommaoperationen auf DLA(s) konzentrieren und andere Funktionen der GPU(s) 3308 und/oder dem (den) Beschleuniger(n) 3314 überlassen.

In mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 3314 den programmierbaren Bildverarbeitungsbeschleuniger („PVA“) aufweisen, der hier alternativ auch als Computer-Vision-Beschleuniger bezeichnet werden kann. In mindestens einer Ausführungsform kann (können) der (die) PVA(s) so gestaltet und ausgestaltet sein, dass er (sie) Computer-Vision-Algorithmen für fortschrittliche Fahrerassistenzsysteme („ADAS“) 3338, autonomes Fahren, Augmented-Reality-Anwendungen („AR“) und/oder Virtual-Reality-Anwendungen („VR“) beschleunigt. In mindestens einer Ausführungsform kann der (können die) PVA(s) ein Gleichgewicht zwischen Leistung und Flexibilität bieten. In mindestens einer Ausführungsform kann jeder PVA beispielsweise und ohne Einschränkung eine beliebige Anzahl von Rechenkernen mit reduziertem Befehlssatz („RISC“), direkten Speicherzugriff („DMA“) und/oder eine beliebige Anzahl von Vektorprozessoren aufweisen.

In mindestens einer Ausführungsform können die RISC-Kerne mit Bildsensoren (z. B. Bildsensoren einer der hier beschriebenen Kameras), Bildsignalprozessoren, usw. interagieren. In mindestens einer Ausführungsform kann jeder RISC-Kern eine beliebige Menge an Speicher aufweisen. In mindestens einer Ausführungsform können die RISC-Kerne je nach Ausführungsform eines von mehreren Protokollen verwenden. In mindestens einer Ausführungsform können RISC-Kerne ein Echtzeitbetriebssystem („RTOS“) ausführen. In mindestens einer Ausführungsform können RISC-Kerne mit einer oder mehreren integrierten Schaltungseinrichtungen, anwendungsspezifischen integrierten Schaltungen („ASICs“) und/oder Speichereinrichtungen implementiert sein. In mindestens einer Ausführungsform können RISC-Kerne beispielsweise einen Befehls-Cache und/oder einen eng gekoppelten RAM aufweisen.

In mindestens einer Ausführungsform kann ein DMA es Komponenten der PVA(s) ermöglichen, unabhängig von der/den CPU(s) 3306 auf den Systemspeicher zuzugreifen. In mindestens einer Ausführungsform kann ein DMA eine beliebige Anzahl von Merkmalen unterstützen, die zur Optimierung eines PVAs verwendet werden, einschließlich, aber nicht beschränkt auf die Unterstützung von mehrdimensionaler Adressierung und/oder zirkulärer Adressierung. In mindestens einer Ausführungsform kann ein DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, die ohne Einschränkung Blockbreite, Blockhöhe, Blocktiefe, horizontales Block-Stepping, vertikales Block-Stepping und/oder Tiefen-Stepping aufweisen können.

In mindestens einer Ausführungsform können Vektorprozessoren programmierbare Prozessoren sein, die für eine effiziente und flexible Ausführung der Programmierung für Computer-Vision-Algorithmen ausgelegt sein können und Signalverarbeitungsfunktionen bieten. In mindestens einer Ausführungsform kann ein PVA einen PVA-Kern und zwei Vektorverarbeitungs-Subsystem-Partitionen aufweisen. In mindestens einer Ausführungsform kann ein PVA-Kern ein Prozessor-Subsystem, DMA-Engine(s) (z. B. zwei DMA-Engines) und/oder andere Peripheriegeräte aufweisen. In mindestens einer Ausführungsform kann ein Vektorverarbeitungs-Subsystem als eine primäre Verarbeitungseinheit eines PVAs fungieren und eine Vektorverarbeitungseinheit („VPU“), einen Befehlscache und/oder einen Vektorspeicher (z. B. „VMEM“) aufweisen. In mindestens einer Ausführungsform kann der VPU-Kern einen digitalen Signalprozessor aufweisen, wie z. B. einen digitalen Signalprozessor mit mehreren Daten für eine Anweisung („SIMD“) und sehr langen Anweisungsworten („VLIW“). In mindestens einer Ausführungsform kann eine Kombination aus SIMD und VLIW den Durchsatz und die Geschwindigkeit erhöhen.

In mindestens einer Ausführungsform kann jeder der Vektorprozessoren einen Befehls-Cache aufweisen und mit einem dedizierten Speicher verbunden sein. Infolgedessen kann in mindestens einer Ausführungsform jeder der Vektorprozessoren so konfiguriert sein, dass er unabhängig von anderen Vektorprozessoren arbeitet. In mindestens einer Ausführungsform können Vektorprozessoren, die in einem bestimmten PVA enthalten sind, so konfiguriert sein, dass sie Datenparallelität verwenden. Beispielsweise können in mindestens einer Ausführungsform mehrere Vektorprozessoren, die in einem einzigen PVA enthalten sind, einen allgemeinen Computer-Vision-Algorithmus ausführen, jedoch für unterschiedliche Bildbereiche. In mindestens einer Ausführungsform können Vektorprozessoren, die in einem bestimmten PVA enthalten sind, gleichzeitig verschiedene Bildverarbeitungsalgorithmen für ein Bild oder sogar verschiedene Algorithmen für aufeinander folgende Bilder oder Abschnitte eines Bildes ausführen. In mindestens einer Ausführungsform kann unter anderem eine beliebige Anzahl von PVAs in einem Hardware-Beschleunigungscluster und eine beliebige Anzahl von Vektorprozessoren in jedem PVA vorhanden sein. In mindestens einer Ausführungsform kann/können (der) PVA(s) einen zusätzlichen Fehlerkorrekturcode-Speicher („ECC“) aufweisen, um die Gesamtsystemsicherheit zu erhöhen.

In mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 3314 ein Computer-Vision-Netzwerk auf dem Chip und einen statischen Direktzugriffsspeicher („SRAM“) aufweisen, um einen SRAM mit hoher Bandbreite und geringer Latenz für den (die) Beschleuniger 3314 bereitzustellen. In mindestens einer Ausführungsform kann der On-Chip-Speicher mindestens 4 MB SRAM aufweisen, der beispielsweise und ohne Einschränkung acht feldkonfigurierbare Speicherblöcke umfasst, auf die sowohl ein PVA als auch ein DLA zugreifen können. In mindestens einer Ausführungsform kann jedes Paar von Speicherblöcken eine erweiterte Peripheriebusschnittstelle („APB“), Konfigurationsschaltungen, eine Steuerung und einen Multiplexer aufweisen. In mindestens einer Ausführungsform kann jeder beliebige Speichertyp verwendet werden. In mindestens einer Ausführungsform können ein PVA und ein DLA über einen Backbone auf den Speicher zugreifen, der einem PVA und einem DLA einen Hochgeschwindigkeitszugriff auf den Speicher ermöglicht. In mindestens einer Ausführungsform kann ein Backbone ein Computer-Vision-Netzwerk auf dem Chip aufweisen, das einen PVA und einen DLA mit dem Speicher verbindet (z. B. unter Verwendung einer APB).

In mindestens einer Ausführungsform kann ein Computer-Vision-Netz auf dem Chip eine Schnittstelle aufweisen, die vor der Übertragung von Steuersignalen/Adressen/Daten feststellt, dass sowohl ein PVA als auch ein DLA bereitstehende und gültige Signale liefern. In mindestens einer Ausführungsform kann eine Schnittstelle getrennte Phasen und getrennte Kanäle für die Übertragung von Steuersignalen/Adressen/Daten sowie eine Burst-Kommunikation für die kontinuierliche Datenübertragung vorsehen. In mindestens einer Ausführungsform kann eine Schnittstelle den Normen der Internationalen Organisation für Normung („ISO“) 26262 oder der Internationalen Elektrotechnischen Kommission („IEC“) 61508 entsprechen, obwohl auch andere Normen und Protokolle verwendet werden können.

In mindestens einer Ausführungsform kann eines oder können mehrere der SoC(s) 3304 einen Echtzeit-Raytracing-Hardwarebeschleuniger aufweisen. In mindestens einer Ausführungsform kann der Echtzeit-Raytracing-Hardwarebeschleuniger verwendet werden, um schnell und effizient Positionen und Ausmaße von Objekten (z. B. innerhalb eines Weltmodells) zu bestimmen, um Echtzeit-Visualisierungssimulationen zu generieren, für RADAR-Signalinterpretation, für Schallausbreitungssynthese und/oder -analyse, für die Simulation von SONAR-Systemen, für eine allgemeine Wellenausbreitungssimulation, für den Vergleich mit LIDAR-Daten zum Zwecke der Lokalisierung und/oder für andere Funktionen und/oder für andere Zwecke.

In mindestens einer Ausführungsform kann/können der/die Beschleuniger 3314 eine breite Palette von Anwendungen für das autonome Fahren aufweisen. In mindestens einer Ausführungsform kann ein PVA für wichtige Verarbeitungsschritte in ADAS und autonomen Fahrzeugen verwendet werden. In mindestens einer Ausführungsform eignen sich die Fähigkeiten eines PVAs gut für algorithmische Bereiche, die eine vorhersehbare Verarbeitung bei geringer Leistung und geringer Latenz benötigen. Mit anderen Worten: ein PVA eignet sich gut für halbdichte oder dichte reguläre Berechnungen, selbst bei kleinen Datensätzen, die vorhersehbare Laufzeiten mit geringer Latenz und geringem Stromverbrauch erfordern. Bei mindestens einer Ausführungsform, wie z. B. im Fahrzeug 3300, können PVAs entwickelt sein, um klassische Computer-Vision-Algorithmen auszuführen, da sie effizient bei der Objekterkennung und mit ganzzahligen mathematischen Verfahren arbeiten können.

Zum Beispiel wird in mindestens einer Ausführungsform einer Technologie ein PVA verwendet, um Computer-Stereo-Vision durchzuführen. In mindestens einer Ausführungsform kann bei einigen Beispielen ein auf semiglobalem Matching basierender Algorithmus verwendet werden, obwohl dies nicht als Einschränkung gedacht ist. In mindestens einer Ausführungsform werden bei Anwendungen für das autonome Fahren der Stufen 3-5 Bewegungsschätzungen/Stereoabgleich während der Fahrt verwendet (z. B. Struktur aus Bewegung, Fußgängererkennung, Fahrspurerkennung usw.). In mindestens einer Ausführungsform kann ein PVA Computer-Stereosichtfunktionen auf Eingaben von zwei monokularen Kameras ausführen.

In mindestens einer Ausführungsform kann ein PVA verwendet werden, um einen dichten optischen Fluss auszuführen. Zum Beispiel kann ein PVA in mindestens einer Ausführungsform RADAR-Rohdaten verarbeiten (z. B. unter Verwendung einer 4D-Fast-Fourier-Transformation), um verarbeitete RADAR-Daten zu liefern. In mindestens einer Ausführungsform wird ein PVA für die Flugzeittiefenverarbeitung verwendet, indem Flugzeit-Rohdaten verarbeitet werden, um z. B. verarbeitete Flugzeitdaten bereitzustellen.

In mindestens einer Ausführungsform kann ein DLA verwendet werden, um jede Art von Netzwerk zu betreiben, um die Steuerung und die Fahrsicherheit zu verbessern, einschließlich beispielsweise und ohne Einschränkung eines neuronalen Netzes, das für jede Objekterkennung ein Maß für das Vertrauen ausgibt. In mindestens einer Ausführungsform kann das Vertrauen als Wahrscheinlichkeit dargestellt oder interpretiert werden, oder als relative „Gewichtung“ jeder Erkennung im Vergleich zu anderen Erkennungen. In mindestens einer Ausführungsform ermöglicht es ein Konfidenzmaß dem System, darüber hinaus Entscheidungen darüber zu treffen, welche Erkennungen als echte positive Erkennungen und welche als falsch positive Erkennungen betrachtet werden sollen. In mindestens einer Ausführungsform kann ein System einen Schwellenwert für die Zuverlässigkeit festlegen und nur Erkennungen, die den Schwellenwert überschreiten, als echte positive Erkennungen betrachten. In einer Ausführungsform, in der ein automatisches Notbremssystem („AEB“) verwendet wird, würden falsch positive Erkennungen dazu führen, dass das Fahrzeug automatisch eine Notbremsung durchführt, was natürlich unerwünscht ist. In mindestens einer Ausführungsform können sehr sichere Erkennungen als Auslöser für ein AEB angesehen werden. In mindestens einer Ausführungsform kann ein DLA ein neuronales Netz zur Regression des Vertrauenswertes einsetzen. In mindestens einer Ausführungsform kann das neuronale Netz als Eingabe zumindest eine Teilmenge von Parametern verwenden, wie z. B. die Abmessungen des Begrenzungsrahmens, die (z. B. von einem anderen Teilsystem) erhaltene Schätzung der Grundfläche, die Ausgabe des/der IMU-Sensors/en 3366, die mit der Ausrichtung des Fahrzeugs 3300 korreliert, die Entfernung, die Schätzungen der 3D-Position des Objekts, die vom neuronalen Netz und/oder anderen Sensoren (z. B. LIDAR-Sensor(en) 3364 oder RADAR-Sensor(en) 3360) erhalten werden, und andere.

In mindestens einer Ausführungsform kann ein oder können mehrere SoC(s) 3304 einen oder mehrere Datenspeicher 3316 (z. B. einen Speicher) aufweisen. In mindestens einer Ausführungsform kann (können) der (die) Datenspeicher 3316 ein On-Chip-Speicher des (der) SoC(s) 3304 sein, der (die) neuronale Netze speichern kann (können), die auf GPU(s) 3308 und/oder einem DLA ausgeführt werden sollen. In mindestens einer Ausführungsform kann die Kapazität des/der Datenspeicher(s) 3316 groß genug sein, um mehrere Instanzen von neuronalen Netzen aus Gründen der Redundanz und Sicherheit zu speichern. In mindestens einer Ausführungsform kann/können der/die Datenspeicher 3316 L2 oder L3 Cache(s) umfassen.

In mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 3304 eine beliebige Anzahl von Prozessoren 3310 (z. B. eingebettete Prozessoren) aufweisen. In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 3310 einen Boot- und Energieverwaltungsprozessor aufweisen, bei dem es sich um einen dedizierten Prozessor und ein dediziertes Subsystem handeln kann, um die Boot-Energie- und Verwaltungsfunktionen und die damit verbundene Sicherheitsdurchsetzung zu handhaben. In mindestens einer Ausführungsform kann der Boot- und Energieverwaltungsprozessor ein Teil der Bootsequenz des/der SoC(s) 3304 sein und Laufzeit-Energieverwaltungsdienste bereitstellen. In mindestens einer Ausführungsform kann ein Prozessor für die Boot-Energieversorgung und -Verwaltung Takt- und Spannungsprogrammierung, Unterstützung bei Systemübergängen mit niedrigem Energiebedarf, Verwaltung von SoC(s) 3304-Temperaturen und Temperatursensoren und/oder Verwaltung von SoC(s) 3304-Energieversorgungszuständen bereitstellen. In mindestens einer Ausführungsform kann jeder Temperatursensor als Ringoszillator implementiert sein, dessen Ausgangsfrequenz proportional zur Temperatur ist, und (ein) SoC(s) 3304 kann/können Ringoszillatoren verwenden, um Temperaturen von CPU(s) 3306, GPU(s) 3308 und/oder Beschleuniger(n) 3314 zu erfassen. In mindestens einer Ausführungsform kann ein Boot- und Energieverwaltungsprozessor, wenn festgestellt wird, dass die Temperaturen einen Schwellenwert überschreiten, in eine Temperaturfehlerroutine eintreten und die SoC(s) 3304 in einen Zustand mit geringerer Leistung versetzen und/oder das Fahrzeug 3300 in einen Chauffeur-zu-sicherem-Halt-Modus versetzen (z. B. das Fahrzeug 3300 zu einem sicheren Halt bringen).

In mindestens einer Ausführungsform kann/können der/die Prozessor(en) 3310 darüber hinaus einen Satz eingebetteter Prozessoren aufweisen, die als Audioverarbeitungsmaschine dienen können, was ein Audio-Subsystem sein kann, das eine vollständige Hardware-Unterstützung für Mehrkanal-Audio über mehrere Schnittstellen und eine breite und flexible Palette von Audio-I/O-Schnittstellen ermöglicht. In mindestens einer Ausführungsform handelt es sich bei der Audioverarbeitungsmaschine um einen dedizierten Prozessorkern mit einem digitalen Signalprozessor mit dediziertem RAM.

In mindestens einer Ausführungsform kann/können der/die Prozessor(en) 3310 darüber hinaus eine „always on“-Prozessor-Maschine aufweisen, die die notwendigen Hardware-Funktionen zur Unterstützung von Sensor-Management mit geringem Stromverbrauch und Aufwach-Anwendungsfälle bereitstellen kann. In mindestens einer Ausführungsform kann eine „always on“-Prozessor-Maschine ohne Einschränkung einen Prozessorkern, ein eng gekoppeltes RAM, unterstützende Peripheriegeräte (z. B. Timer und Interrupt-Controller), verschiedene I/O-Controller-Peripheriegeräte und Routing-Logik aufweisen.

In mindestens einer Ausführungsform kann/können der/die Prozessor(en) 3310 darüber hinaus eine Sicherheits-Cluster-Maschine aufweisen, die ohne Einschränkung ein dediziertes Prozessor-Subsystem zur Handhabung des Sicherheitsmanagements für Automobilanwendungen aufweist. In mindestens einer Ausführungsform kann eine Sicherheits-Cluster-Maschine ohne Einschränkung zwei oder mehr Prozessorkerne, ein eng gekoppeltes RAM, unterstützende Peripheriegeräte (z. B. Zeitgeber, eine Interrupt-Steuerung usw.) und/oder eine Routing-Logik aufweisen. In einem Sicherheitsmodus können in mindestens einer Ausführungsform zwei oder mehr Kerne in einem Lockstep-Modus arbeiten und als ein einziger Kern mit einer Vergleichslogik funktionieren, um etwaige Unterschiede zwischen ihren Operationen zu erkennen. In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 3310 darüber hinaus eine Echtzeit-Kamera-Maschine aufweisen, die ohne Einschränkung ein dediziertes Prozessor-Subsystem zur Handhabung des Echtzeit-Kameramanagements aufweisen kann. In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 3310 darüber hinaus einen Signalprozessor mit hohem Dynamikbereich aufweisen, der ohne Einschränkung einen Bildsignalprozessor aufweisen kann, der eine Hardware-Maschine ist, die Teil einer Kameraverarbeitungspipeline ist.

In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 3310 einen Videobildkompositor aufweisen, der ein Verarbeitungsblock sein kann (z. B. auf einem Mikroprozessor implementiert), der Videonachverarbeitungsfunktionen implementiert, die von einer Videowiedergabeanwendung benötigt werden, um ein endgültiges Bild für ein Spieler-Fenster zu erzeugen. In mindestens einer Ausführungsform kann ein Videobildkompositor eine Linsenverzerrungskorrektur an der/den Weitwinkelkamera(s) 3370, der/den Surround-Kamera(s) 3374 und/oder an dem/den Sensor(en) der Überwachungskamera(s) in der Kabine vornehmen. In mindestens einer Ausführungsform wird/werden der/die Sensor(en) der Überwachungskamera(s) in der Kabine vorzugsweise von einem neuronalen Netz überwacht, das auf einer anderen Instanz des SoC 3304 läuft und so ausgestaltet ist, dass es Ereignisse in der Kabine erkennt und entsprechend reagiert. In mindestens einer Ausführungsform kann ein System im Fahrzeuginneren ohne Einschränkung Lippenlesen durchführen, um den Mobilfunkdienst zu aktivieren und einen Anruf zu tätigen, E-Mails zu diktieren, das Fahrtziel zu ändern, das Infotainmentsystem und die Einstellungen des Fahrzeugs zu aktivieren oder zu ändern oder sprachgesteuertes Surfen im Internet zu ermöglichen. In mindestens einer Ausführungsform stehen einem Fahrer bestimmte Funktionen zur Verfügung, wenn ein Fahrzeug in einem autonomen Modus betrieben wird, und sind ansonsten deaktiviert.

In mindestens einer Ausführungsform kann der Videobildkompositor eine verbesserte zeitliche Rauschunterdrückung sowohl für eine räumliche als auch für eine zeitliche Rauschunterdrückung aufweisen. Zum Beispiel bei mindestens einer Ausführungsform, wenn Bewegung in einem Video auftritt, gewichtet die Rauschunterdrückung die räumliche Information angemessen und verringert Gewichte der Information, die von benachbarten Bildern geliefert wird. Bei mindestens einer Ausführungsform, bei der ein Bild oder ein Abschnitt eines Bildes keine Bewegung aufweist, kann die vom Videobildkompositor durchgeführte zeitliche Rauschreduzierung Informationen aus einem vorherigen Bild verwenden, um das Rauschen im aktuellen Bild zu reduzieren.

In mindestens einer Ausführungsform kann ein Videobildkompositor auch so ausgestaltet sein, dass er eine Stereorektifizierung an eingegebenen Stereolinsenrahmen durchführt. In mindestens einer Ausführungsform kann ein Videobildkompositor darüber hinaus für die Gestaltung der Benutzeroberfläche verwendet werden, wenn der Desktop des Betriebssystems in Gebrauch ist und die GPU(s) 3308 nicht zum kontinuierlichen Rendern neuer Oberflächen benötigt werden. Bei mindestens einer Ausführungsform, wenn die GPU(s) 3308 eingeschaltet sind und aktiv 3D-Rendering durchführen, kann ein Videobildkompositor verwendet werden, um die GPU(s) 3308 zu entlasten, um die Leistung und Reaktionsfähigkeit zu verbessern.

In mindestens einer Ausführungsform kann einer oder können mehrere SoC der SoC(s) 3304 darüber hinaus eine serielle (Mobile Industry Processor Interface („MIPI“-) Kameraschnittstelle zum Empfang von Video und Eingaben von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingabeblock aufweisen, der für eine Kamera und verwandte Pixeleingabefunktionen verwendet werden kann. In mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 3304 darüber hinaus eine oder mehrere Eingabe-/Ausgabe-Steuerungen aufweisen, die durch Software gesteuert werden können und für den Empfang von I/O-Signalen verwendet werden können, die keiner bestimmten Rolle zugeordnet sind.

In mindestens einer Ausführungsform kann einer oder können mehrere der SoC der SoC(s) 3304 darüber hinaus eine breite Palette von Peripherieschnittstellen aufweisen, um die Kommunikation mit Peripheriegeräten, Audio-Encodern/Decodern („Codecs“), der Energieverwaltung und/oder anderen Einrichtungen zu ermöglichen. In mindestens einer Ausführungsform kann (können) SoC(s) 3304 verwendet werden, um Daten von Kameras (z. B. verbunden über Gigabit Multimedia Serial Link und Ethernet-Kanälen), Sensoren (z. B. LIDAR-Sensor(en) 3364, RADAR-Sensor(en) 3360 usw., die über Ethernet-Kanäle verbunden sein können), Daten von Bus 3302 (z. B. Geschwindigkeit des Fahrzeugs 3300, Lenkradposition usw.), Daten von GNSS-Sensor(en) 3358 (z. B. verbunden über einen Ethernet-Bus oder einen CAN-Bus) usw. zu verarbeiten. In mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 3304 darüber hinaus dedizierte Hochleistungs-Massenspeichersteuerungen aufweisen, die ihre eigenen DMA-Maschinen aufweisen können und die verwendet werden können, um die CPU(s) 3306 von Routine-Datenverwaltungsaufgaben zu entlasten.

In mindestens einer Ausführungsform kann (können) der (die) SoC(s) 3304 eine End-to-End-Plattform mit einer flexiblen Architektur sein, die die Automatisierungsstufen 3-5 umfasst und dadurch eine umfassende funktionale Sicherheitsarchitektur bereitstellt, die Computer-Vision- und ADAS-Techniken für Diversität und Redundanz nutzt und eine Plattform für einen flexiblen, zuverlässigen Fahrsoftware-Stack zusammen mit Deep-Learning-Werkzeugen bereitstellt. In mindestens einer Ausführungsform können die SoC(s) 3304 schneller, zuverlässiger und sogar energie- und platzsparender sein als herkömmliche Systeme. Zum Beispiel können in mindestens einer Ausführungsform der/die Beschleuniger 3314 in Kombination mit der/den CPU(s) 3306, der/den GPU(s) 3308 und dem/den Datenspeicher(n) 3316 eine schnelle, effiziente Plattform für autonome Fahrzeuge der Stufe 3-5 bilden.

In mindestens einer Ausführungsform können Computer-Vision-Algorithmen auf CPUs ausgeführt werden, die unter Verwendung einer Hochsprachen-Programmierung, wie z. B. C, ausgestaltet sein können, um eine Vielzahl von Verarbeitungsalgorithmen für eine Vielzahl von visuellen Daten auszuführen. In mindestens einer Ausführungsform sind CPUs jedoch oft nicht in der Lage, die Leistungsanforderungen vieler Bildverarbeitungsanwendungen zu erfüllen, wie z. B. die Anforderungen an die Ausführungszeit und den Stromverbrauch. In mindestens einer Ausführungsform sind viele CPUs nicht in der Lage, komplexe Objekterkennungsalgorithmen in Echtzeit auszuführen, die in fahrzeuginternen ADAS-Anwendungen und in praktischen autonomen Fahrzeugen der Stufe 3-5 verwendet werden.

Ausführungsformen, wie sie hier beschrieben sind, ermöglichen die gleichzeitige und/oder sequentielle Ausführung mehrerer neuronaler Netze und die Kombination der Ergebnisse, um autonome Fahrfunktionen der Stufe 3-5 zu ermöglichen. Zum Beispiel kann in mindestens einer Ausführungsform ein CNN, das auf einem DLA oder einer diskreten GPU (z. B. GPU(s) 3320) ausgeführt wird, eine Text- und Worterkennung aufweisen, die ein Lesen und Verstehen von Verkehrsschildern, einschließlich Schildern, für die das neuronale Netz nicht speziell trainiert wurde, ermöglichen. In mindestens einer Ausführungsform kann ein DLA darüber hinaus ein neuronales Netz aufweisen, das in der Lage ist, ein Verkehrszeichen zu identifizieren, zu interpretieren und semantisch zu verstehen, und dieses semantische Verständnis an die auf einem CPU-Komplex laufenden Wegplanungsmodule weiterzugeben.

In mindestens einer Ausführungsform können mehrere neuronale Netze gleichzeitig ausgeführt werden, wie beim Fahren der Stufe 3, 4 oder 5. Zum Beispiel kann in mindestens einer Ausführungsform ein Warnschild, das besagt „Vorsicht: Blinkende Lichter deuten auf Vereisung hin“ zusammen mit einem elektrischen Licht unabhängig oder gemeinsam von mehreren neuronalen Netzen interpretiert werden. In mindestens einer Ausführungsform kann ein solches Warnschild selbst von einem ersten eingesetzten neuronalen Netz (z. B. einem trainierten neuronalen Netz) als Verkehrsschild identifiziert werden, und der Text „Blinkende Lichter deuten auf Glatteis hin“ kann von einem zweiten eingesetzten neuronalen Netz interpretiert werden, das die (vorzugsweise auf einem CPU-Komplex ausgeführte) Wegplanungssoftware des Fahrzeugs darüber informiert, dass, wenn blinkende Lichter erkannt werden, Glatteis vorliegt. In mindestens einer Ausführungsform kann das Blinklicht durch den Betrieb eines dritten neuronalen Netzes über mehrere Bilder identifiziert werden, das die Wegplanungssoftware des Fahrzeugs über ein Vorhandensein (oder ein Fehlen) von Blinklichtern informiert. In mindestens einer Ausführungsform können alle drei neuronalen Netze gleichzeitig laufen, beispielsweise innerhalb eines DLAs und/oder auf GPU(s) 3308.

In mindestens einer Ausführungsform kann ein CNN zur Gesichtserkennung und zur Identifizierung des Fahrzeugbesitzers Daten von Kamerasensoren verwenden, um die Anwesenheit eines autorisierten Fahrers und/oder Besitzers des Fahrzeugs 3300 zu identifizieren. In mindestens einer Ausführungsform kann eine immer aktive Sensorverarbeitungs-Maschine verwendet werden, um ein Fahrzeug zu entriegeln, wenn sich ein Besitzer einer Fahrertür nähert und die Lichter einschaltet, und, im Sicherheitsmodus, um das Fahrzeug zu deaktivieren, wenn der Besitzer das Fahrzeug verlässt. Auf diese Weise sorgen die SoC(s) 3304 für Sicherheit gegen Diebstahl und/oder Carjacking.

In mindestens einer Ausführungsform kann ein CNN zur Erkennung und Identifizierung von Einsatzfahrzeugen Daten von Mikrofonen 3396 verwenden, um Sirenen von Einsatzfahrzeugen zu erkennen und zu identifizieren. In mindestens einer Ausführungsform verwenden die SoC(s) 3304 ein CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung visueller Daten. In mindestens einer Ausführungsform wird ein CNN, das auf einem DLA läuft, darauf trainiert, die relative Annäherungsgeschwindigkeit von Einsatzfahrzeugen zu erkennen (z. B. unter Verwendung des Dopplereffekts). In mindestens einer Ausführungsform kann ein CNN auch so trainiert werden, dass es Einsatzfahrzeuge identifiziert, die spezifisch für das lokale Gebiet sind, in dem das Fahrzeug unterwegs ist, wie es von GNSS-Sensor(en) 5358 identifiziert wird. In mindestens einer Ausführungsform wird ein CNN bei einem Einsatz in Europa versuchen, europäische Sirenen zu erkennen, und bei einem Einsatz in Nordamerika wird ein CNN versuchen, nur nordamerikanische Sirenen zu identifizieren. In mindestens einer Ausführungsform kann, sobald ein Einsatzfahrzeug erkannt wird, ein Steuerprogramm verwendet werden, um eine Sicherheitsroutine für Einsatzfahrzeuge auszuführen, das Fahrzeug zu verlangsamen, an den Straßenrand zu fahren, das Fahrzeug zu parken und/oder das Fahrzeug im Leerlauf laufen zu lassen, mit Hilfe des/der Ultraschallsensors/en 3362, bis das (die) Einsatzfahrzeug(e) vorbeifährt (vorbeifahren).

In mindestens einer Ausführungsform kann das Fahrzeug 3300 eine oder mehrere CPU(s) 3318 (z. B. diskrete CPU(s) oderdCPU(s)) aufweisen, die über eine Hochgeschwindigkeitsverbindung (z. B. PCIe) mit dem/den SoC(s) 3304 verbunden sein können. In mindestens einer Ausführungsform kann (können) die CPU(s) 3318 beispielsweise einen X86-Prozessor aufweisen. (Eine) CPU(s) 3318 kann/können verwendet werden, um eine Vielzahl von Funktionen auszuführen, einschließlich der Schlichtung potenziell inkonsistenter Ergebnisse zwischen ADAS-Sensoren und SoC(s) 3304 und/oder der Überwachung des Status und des Zustands der Steuerung(en) 3336 und/oder eines Infotainment-Systems auf einem Chip („infotainment-SoC“) 3330, zum Beispiel.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 GPU(s) 3320 (z. B. diskrete GPU(s) oder dGPU(s)) aufweisen, die mit dem/den SoC(s) 3304 über eine Hochgeschwindigkeitsverbindung (z. B. NVIDIAs NVLINK-Kanal) gekoppelt sein können. In mindestens einer Ausführungsform kann/können GPU(s) 3320 zusätzliche künstliche Intelligenzfunktionalität bereitstellen, beispielsweise durch Ausführen redundanter und/oder unterschiedlicher neuronaler Netze, und kann/können verwendet werden, um neuronale Netze zu trainieren und/oder zu aktualisieren, was zumindest teilweise auf Eingaben (z. B. Sensordaten) von Sensoren des Fahrzeugs 3300 basiert.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus eine Netzwerkschnittstelle 3324 aufweisen, die ohne Einschränkung eine oder mehrere Funkantennen 3326 aufweisen kann (z. B. eine oder mehrere Funkantennen für verschiedene Kommunikationsprotokolle, wie z. B. eine Mobilfunkantenne, eine Bluetooth-Antenne, usw.). In mindestens einer Ausführungsform kann die Netzwerkschnittstelle 3324 verwendet werden, um eine drahtlose Verbindung zu Internet-Cloud-Diensten (z. B. mit einem oder mehreren Servern und/oder anderen Netzwerkeinrichtungen), mit anderen Fahrzeugen und/oder mit Recheneinrichtungen (z. B. Clienteinrichtungen von Fahrgästen) zu ermöglichen. In mindestens einer Ausführungsform kann zur Kommunikation mit anderen Fahrzeugen eine direkte Verbindung zwischen dem Fahrzeug 330 und einem anderen Fahrzeug und/oder eine indirekte Verbindung (z. B. über Netzwerke und das Internet) hergestellt werden. In mindestens einer Ausführungsform können direkte Verbindungen über eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung hergestellt werden. In mindestens einer Ausführungsform kann die Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung dem Fahrzeug 3300 Informationen über Fahrzeuge in der Nähe des Fahrzeugs 3300 liefern (z. B. Fahrzeuge vor, neben und/oder hinter dem Fahrzeug 3300). In mindestens einer Ausführungsform kann die vorgenannte Funktionalität Teil einer kooperativen adaptiven Geschwindigkeitsregelungsfunktion des Fahrzeugs 3300 sein.

In mindestens einer Ausführungsform kann die Netzwerkschnittstelle 3324 ein SoC aufweisen, das Modulations- und Demodulationsfunktionen bereitstellt und die Steuerung(en) 3336 in die Lage versetzt, über drahtlose Netzwerke zu kommunizieren. In mindestens einer Ausführungsform kann die Netzwerkschnittstelle 3324 ein Hochfrequenz-Frontend für die Aufwärtskonvertierung von einem Basisband auf eine Hochfrequenz und die Abwärtskonvertierung von einer Hochfrequenz auf ein Basisband aufweisen. In mindestens einer Ausführungsform können die Frequenzumwandlungen auf jede technisch mögliche Weise durchgeführt werden. Beispielsweise können Frequenzumwandlungen durch bekannte Verfahren und/oder unter Verwendung von Superheterodyn-Verfahren durchgeführt werden. In mindestens einer Ausführungsform kann die Hochfrequenz-Front-End-Funktionalität durch einen separaten Chip bereitgestellt werden. In mindestens einer Ausführungsform können die Netzwerkschnittstellen eine drahtlose Funktionalität zur Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle aufweisen.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus einen oder mehrere Datenspeicher 3328 aufweisen, die ohne Einschränkung einen Off-Chip-Speicher (z. B. Off-SoC(s) 3304) aufweisen können. In mindestens einer Ausführungsform kann (können) der (die) Datenspeicher 3328 ohne Einschränkung ein oder mehrere Speicherelemente aufweisen, darunter RAM, SRAM, dynamischer Direktzugriffsspeicher („DRAM“), Video-Direktzugriffsspeicher („VRAM“), Flash-Speicher, Festplatten und/oder andere Komponenten und/oder Einrichtungen, die mindestens ein Bit an Daten speichern können.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus GNSS-Sensor(en) 3358 (z. B. GPS- und/oder unterstützte GPS-Sensoren) aufweisen, um bei der Kartierung, der Wahrnehmung, der Generierung von Belegungsrastern und/oder der Pfadplanung zu helfen. In mindestens einer Ausführungsform kann eine beliebige Anzahl von GNSS-Sensor(en) 3358 verwendet werden, die beispielsweise und ohne Einschränkung ein GPS aufweisen, das einen USB-Anschluss mit einer Ethernet-zu-Seriell-Brücke (z. B. RS-232) verwendet.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus RADAR-Sensor(en) 3360 aufweisen. In mindestens einer Ausführungsform kann (können) der (die) RADAR-Sensor(en) 3360 von einem Fahrzeug 3300 für die Fahrzeugerkennung über große Entfernungen verwendet werden, selbst bei Dunkelheit und/oder schlechten Wetterbedingungen. In mindestens einer Ausführungsform können die RADAR-Funktionssicherheitsstufen ASIL B sein. In mindestens einer Ausführungsform kann (können) der (die) RADAR-Sensor(en) 3360 einen CAN-Bus und/oder den Bus 3302 (z. B. zur Übertragung der von dem/den RADAR-Sensor(en) 3360 generierten Daten) zur Steuerung und zum Zugriff auf Objektverfolgungsdaten verwenden, wobei bei einigen Beispielen der Zugriff auf Rohdaten über Ethernet-Kanäle erfolgt. In mindestens einer Ausführungsform kann eine breite Palette von RADAR-Sensortypen verwendet werden. Zum Beispiel und ohne Einschränkung können RADAR-Sensor(en) 3360 für die Verwendung von Front-, Heck- und Seiten-RADAR geeignet sein. In mindestens einer Ausführungsform handelt es sich bei einem oder mehreren Sensoren der der RADAR-Sensoren 3360 um (einen) Puls-Doppler-RADAR-Sensor(en).

In mindestens einer Ausführungsform kann (können) der (die) RADAR-Sensor(en) 3360 verschiedene Konfigurationen aufweisen, wie z. B. große Reichweite mit engem Sichtfeld, kurze Reichweite mit breitem Sichtfeld, seitliche Abdeckung mit kurzer Reichweite usw. In mindestens einer Ausführungsform kann das RADAR mit großer Reichweite für die adaptive Geschwindigkeitsregelung verwendet werden. In mindestens einer Ausführungsform können RADAR-Systeme mit großer Reichweite ein breites Sichtfeld bieten, was durch zwei oder mehr unabhängige Abtastungen, z. B. innerhalb eines Bereichs von 250 m (Meter), realisiert wird. In mindestens einer Ausführungsform kann/können der/die RADAR-Sensor(en) 3360 dabei helfen, zwischen stationären und sich bewegenden Objekten zu unterscheiden, und kann/können vom ADAS-System 3338 zur Notbremsunterstützung und zur Vorwärtskollisionswarnung verwendet werden. In mindestens einer Ausführungsform kann (können) der (die) Sensor(en) 3360, der (die) in einem RADAR-System mit großer Reichweite enthalten ist (sind), ohne Einschränkung ein monostatisches multimodales RADAR mit mehreren (z. B. sechs oder mehr) festen RADAR-Antennen und einer Hochgeschwindigkeits-CAN- und FlexRay-Schnittstelle aufweisen. In mindestens einer Ausführungsform mit sechs Antennen können vier Antennen in der Mitte ein fokussiertes Strahlenmuster erstellen, das dazu dient, die Umgebung des Fahrzeugs 3300 bei höheren Geschwindigkeiten mit minimalen Störungen durch den Verkehr auf den angrenzenden Fahrspuren zu erfassen. In mindestens einer Ausführungsform können die beiden anderen Antennen das Sichtfeld erweitern, so dass Fahrzeuge, die in eine Fahrspur des Fahrzeugs 3300 einfahren oder diese verlassen, schnell erfasst werden können.

In mindestens einer Ausführungsform können RADAR-Systeme mittlerer Reichweite beispielsweise eine Reichweite von bis zu 160 m (vorn) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorn) oder 150 Grad (hinten) aufweisen. In mindestens einer Ausführungsform können Kurzstrecken-RADAR-Systeme ohne Einschränkung eine beliebige Anzahl von RADAR-Sensoren 3360 aufweisen, die an beiden Enden des hinteren Stoßfängers installiert sein können. In mindestens einer Ausführungsform kann ein RADAR-Sensorsystem, wenn es an beiden Enden des hinteren Stoßfängers installiert ist, zwei Strahlen erstellen, die die toten Winkel in der Rückrichtung und neben dem Fahrzeug ständig überwachen. In mindestens einer Ausführungsform können RADAR-Systeme mit kurzer Reichweite im ADAS-System 3338 zur Erkennung des toten Winkels und/oder zur Unterstützung beim Spurwechsel verwendet werden.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus Ultraschallsensor(en) 3362 aufweisen. In mindestens einer Ausführungsform kann (können) der (die) Ultraschallsensor(en) 3362, der (die) an der Vorderseite, an der Rückseite und/oder an den Seiten des Fahrzeugs 3300 angeordnet sein kann (können), zur Einparkhilfe und/oder zur Erstellung und Aktualisierung eines Belegungsrasters verwendet werden. In mindestens einer Ausführungsform kann eine Vielzahl von Ultraschallsensoren 3362 verwendet werden, und unterschiedliche Ultraschallsensoren 3362 können für unterschiedliche Erfassungsbereiche (z. B. 2,5 m, 4 m) verwendet werden. In mindestens einer Ausführungsform kann/können der/die Ultraschallsensor(en) 3362 bei funktionalen Sicherheitsstufen von ASIL B arbeiten.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 LIDAR-Sensor(en) 3364 aufweisen. In mindestens einer Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 3364 zur Objekt- und Fußgängererkennung, Notbremsung, Kollisionsvermeidung und/oder anderen Funktionen verwendet werden. In mindestens einer Ausführungsform kann/können der/die LIDAR-Sensor(en) 3364 bei der funktionalen Sicherheitsstufe ASIL B arbeiten. In mindestens einer Ausführungsform kann das Fahrzeug 3300 mehrere LIDAR-Sensoren 3364 (z. B. zwei, vier, sechs usw.) aufweisen, die einen Ethernet-Kanal verwenden können (z. B. um Daten an einen Gigabit-Ethernet-Switch zu liefern).

In mindestens einer Ausführungsform kann/können der/die LIDAR-Sensor(en) 3364 in der Lage sein, eine Liste von Objekten und deren Entfernungen für ein 360-Grad-Sichtfeld zu liefern. In mindestens einer Ausführungsform kann/können der/die handelsübliche(n) LIDAR-Sensor(en) 3364 eine angezeigte Reichweite von etwa 100 m haben, mit einer Genauigkeit von 2 cm bis 3 cm und mit Unterstützung für eine 100-Mbps-Ethernet-Verbindung, zum Beispiel. In mindestens einer Ausführungsform können ein oder mehrere nicht vorstehende LIDAR-Sensoren verwendet werden. Bei einer solchen Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 3364 eine kleine Einrichtung aufweisen, die in die Front, das Heck, eine Seite und/oder einen Eckbereich des Fahrzeugs 3300 eingebettet sein kann. In mindestens einer Ausführungsform kann/können der/die LIDAR-Sensor(en) 3364 in einer solchen Ausführungsform ein horizontales Sichtfeld von bis zu 120 Grad und ein vertikales Sichtfeld von bis zu 35 Grad mit einer Reichweite von 200 m selbst für Objekte mit geringem Reflexionsvermögen bieten. In mindestens einer Ausführungsform kann/können der/die frontmontierte(n) LIDAR-Sensor(en) 3364 für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad ausgestaltet sein.

In mindestens einer Ausführungsform können auch LIDAR-Technologien, wie z. B. 3D Flash LIDAR, verwendet werden. In mindestens einer Ausführungsform verwendet ein 3D Flash LIDAR einen Blitz eines Lasers als Sendequelle, um die Umgebung des Fahrzeugs 3300 bis zu einer Entfernung von etwa 200 m zu beleuchten. In mindestens einer Ausführungsform weist eine Flash-LIDAR-Einheit ohne Einschränkung einen Rezeptor auf, der die Laufzeit des Laserpulses und das reflektierte Licht auf jedem Pixel aufzeichnet, was wiederum der Entfernung des Fahrzeugs 3300 zu Objekten entspricht. In mindestens einer Ausführungsform kann es der Flash-LIDAR ermöglichen, mit jedem Laserblitz hochgenaue und verzerrungsfreie Bilder der Umgebung zu generieren. In mindestens einer Ausführungsform können vier Flash-LIDAR-Sensoren eingesetzt werden, einer auf jeder Seite des Fahrzeugs 3300. In mindestens einer Ausführungsform weisen 3D-Blitz-LIDAR-Systeme ohne Einschränkung eine Festkörper-3D-Star-Array-LIDAR-Kamera auf, die außer einem Gebläse keine beweglichen Teile aufweist (z. B. eine nicht scannende LIDAR-Einrichtung). In mindestens einer Ausführungsform kann die Flash-LIDAR-Einrichtung einen 5-Nanosekunden-Laserimpuls der Klasse I (augensicher) pro Bild verwenden und das reflektierte Laserlicht als 3D-Entfernungspunktwolke und koregistrierte Intensitätsdaten erfassen.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus einen oder mehrere IMU-Sensoren 3366 aufweisen. In mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 3366 in der Mitte der Hinterachse des Fahrzeugs 3300 angeordnet sein. In mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 3366 beispielsweise und ohne Einschränkung einen oder mehrere Beschleunigungsmesser, Magnetometer, Gyroskop(e), einen Magnetkompass, Magnetkompasse und/oder andere Sensortypen aufweisen. Bei mindestens einer Ausführungsform, wie z. B. bei sechsachsigen Anwendungen, kann/können der/die IMU-Sensor(en) 3366 ohne Einschränkung Beschleunigungsmesser und Gyroskope aufweisen. Bei mindestens einer Ausführungsform, wie z. B. bei neunachsigen Anwendungen, kann/können der/die IMU-Sensor(en) 3366 ohne Einschränkung Beschleunigungsmesser, Gyroskope und Magnetometer aufweisen.

In mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 3366 als ein miniaturisiertes, hochleistungsfähiges GPS-gestütztes Trägheitsnavigationssystem („GPS/INS“) implementiert sein, das mikroelektromechanische Systeme („MEMS“) Trägheitssensoren, einen hochempfindlichen GPS-Empfänger und fortschrittliche Kalman-Filteralgorithmen kombiniert, um Schätzungen von Position, Geschwindigkeit und Lage zu liefern. In mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 3366 das Fahrzeug 3300 in die Lage versetzen, den Kurs zu schätzen, ohne dass Eingaben von einem Magnetsensor erforderlich sind, indem Änderungen der Geschwindigkeit vom GPS direkt mit dem/den IMU-Sensor(en) 3366 beobachtet und korreliert werden. In mindestens einer Ausführungsform können IMU-Sensor(en) 3366 und GNSS-Sensor(en) 3358 in einer einzigen integrierten Einheit kombiniert sein.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 ein oder mehrere Mikrofone 3396 aufweisen, die im und/oder um das Fahrzeug 3300 herum angeordnet sind. In mindestens einer Ausführungsform kann (können) das (die) Mikrofon(e) 3396 u.a. zur Erkennung und Identifizierung von Einsatzfahrzeugen verwendet werden.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus eine beliebige Anzahl von Kameratypen aufweisen, einschließlich Stereokamera(s) 3368, Weitwinkelkamera(s) 3370, Infrarotkamera(s) 3372, Surround-Kamera(s) 3374, Weitbereichskamera(s) 3398, Mittelbereichskamera(s) 3376 und/oder anderer Kameratypen. In mindestens einer Ausführungsform können Kameras verwendet werden, um Bilddaten rund um den gesamten Umfang des Fahrzeugs 3300 zu erfassen. In mindestens einer Ausführungsform hängen die Typen der verwendeten Kameras vom Fahrzeug 3300 ab. In mindestens einer Ausführungsform kann eine beliebige Kombination von Kameratypen verwendet werden, um die erforderliche Abdeckung um das Fahrzeug 3300 herum zu gewährleisten. In mindestens einer Ausführungsform kann die Anzahl der Kameras je nach Ausführungsform unterschiedlich sein. In mindestens einer Ausführungsform kann das Fahrzeug 3300 beispielsweise sechs, sieben, zehn, zwölf oder eine andere Anzahl von Kameras aufweisen. In mindestens einer Ausführungsform können die Kameras zum Beispiel und ohne Einschränkung Gigabit Multimedia Serial Link („GMSL“) und/oder eine Gigabit-Ethernet-Kommunikation unterstützen. In mindestens einer Ausführungsform kann jede Kameras eine sein, die zuvor hier in Bezug auf 33A und 33B näher beschrieben ist.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus einen oder mehrere Schwingungssensoren 3342 aufweisen. In mindestens einer Ausführungsform kann (können) der (die) Schwingungssensor(en) 3342 Schwingungen von Komponenten des Fahrzeugs 3300, wie z. B. der Achse(n), messen. Zum Beispiel können in mindestens einer Ausführungsform Änderungen der Schwingungen eine Änderung der Straßenoberfläche anzeigen. Bei mindestens einer Ausführungsform, wenn zwei oder mehr Schwingungssensoren 3342 verwendet werden, können Unterschiede zwischen den Schwingungen verwendet werden, um die Reibung oder den Schlupf der Straßenoberfläche zu bestimmen (z. B. wenn der Unterschied in den Schwingungen zwischen einer angetriebenen Achse und einer frei drehenden Achse besteht).

In mindestens einer Ausführungsform kann das Fahrzeug 3300 ein ADAS-System 3338 aufweisen. In mindestens einer Ausführungsform kann das ADAS-System 3338 bei einigen Beispielen ohne Einschränkung ein SoC aufweisen. In mindestens einer Ausführungsform kann das ADAS-System 3338 ohne Einschränkung eine beliebige Anzahl und Kombination eines autonomen/adaptiven/automatischen Geschwindigkeitsregelsystems („ACC“), eines kooperativen adaptiven Geschwindigkeitsregelsystems („CACC“), eines Vorwärtscrashwarnsystems („FCW“), eines automatischen Notbremssystems („AEB“) aufweisen, ein System zur Warnung vor dem Verlassen der Fahrspur („LDW“), ein Spurhalteassistent („LKA“), ein System zur Warnung vor dem toten Winkel („BSW“), ein System zur Warnung vor rückwärtigem Querverkehr („RCTW“), ein System zur Kollisionswarnung („CW“), ein System zur Zentrierung der Fahrspur („LC“) und/oder andere Systeme, Merkmale und/oder Funktionen.

In mindestens einer Ausführungsform kann das ACC-System RADAR-Sensor(en) 3360, LIDAR-Sensor(en) 3364 und/oder eine beliebige Anzahl von Kameras verwenden. In mindestens einer Ausführungsform kann das ACC-System ein ACC-System in Längsrichtung und/oder ein ACC-System in Querrichtung aufweisen. In mindestens einer Ausführungsform überwacht und steuert ein ACC-System in Längsrichtung den Abstand zu einem unmittelbar vor dem Fahrzeug 3300 befindlichen anderen Fahrzeug und passt die Geschwindigkeit des Fahrzeugs 3300 automatisch an, um einen sicheren Abstand zu vorausfahrenden Fahrzeugen einzuhalten. In mindestens einer Ausführungsform übernimmt das seitliche ACC-System die Abstandshaltung und rät dem Fahrzeug 3300, bei Bedarf die Fahrspur zu wechseln. In mindestens einer Ausführungsform ist das seitliche ACC-System mit anderen ADAS-Anwendungen wie LC und CW verbunden.

In mindestens einer Ausführungsform verwendet das CACC-System Informationen von anderen Fahrzeugen, die über die Netzwerkschnittstelle 3324 und/oder die Funkantenne(n) 3326 von anderen Fahrzeugen über eine drahtlose Verbindung oder indirekt über eine Netzwerkverbindung (z. B. über das Internet) empfangen werden können. In mindestens einer Ausführungsform können direkte Verbindungen durch eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung („V2V“) bereitgestellt werden, während indirekte Verbindungen durch eine Infrastruktur-zu-Fahrzeug-Kommunikationsverbindung („12V“) bereitgestellt werden können. Im Allgemeinen liefert die V2V-Kommunikation Informationen über unmittelbar vorausfahrende Fahrzeuge (z. B. Fahrzeuge, die sich unmittelbar vor und auf derselben Spur wie Fahrzeug 3300 befinden), während die 12V-Kommunikation Informationen über den weiter vorausfahrenden Verkehr liefert. In mindestens einer Ausführungsform kann ein CACC-System entweder eine oder beide I2V- und V2V-Informationsquellen aufweisen. In mindestens einer Ausführungsform kann ein CACC-System angesichts der Informationen über vorausfahrende Fahrzeuge vor Fahrzeug 3300 zuverlässiger sein und es hat das Potenzial, den Verkehrsfluss zu verbessern und Staus auf der Straße zu reduzieren.

In mindestens einer Ausführungsform ist ein FCW-System so konzipiert, dass es den Fahrer vor einer Gefahr warnt, so dass er korrigierend eingreifen kann. In mindestens einer Ausführungsform verwendet ein FCW-System eine nach vorne gerichtete Kamera und/oder RADAR-Sensor(en) 3360, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch gekoppelt ist, um dem Fahrer eine Rückmeldung bereitzustellen, z. B. mit einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente. In mindestens einer Ausführungsform kann ein FCW-System eine Warnung bereitstellen, z. B. in Form eines Tons, einer visuellen Warnung, einer Vibration und/oder eines schnellen Bremsimpulses.

In mindestens einer Ausführungsform erkennt ein AEB-System eine drohende Vorwärtskollision mit einem anderen Fahrzeug oder einem anderen Objekt und kann automatisch die Bremsen betätigen, wenn der Fahrer nicht innerhalb eines bestimmten Zeit- oder Entfernungsparameters korrigierend eingreift. In mindestens einer Ausführungsform kann das AEB-System (eine) nach vorne gerichtete Kamera(s) und/oder RADAR-Sensor(en) 3360 verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind. In mindestens einer Ausführungsform warnt das AEB-System, wenn es eine Gefahr erkennt, in der Regel zunächst den Fahrer, damit er korrigierende Maßnahmen ergreift, um eine Kollision zu vermeiden, und wenn der Fahrer keine korrigierenden Maßnahmen ergreift, kann das AEB-System automatisch die Bremsen betätigen, um die Auswirkungen der vorhergesagten Kollision zu verhindern oder zumindest abzumildern. In mindestens einer Ausführungsform kann das AEB-System Techniken wie eine dynamische Bremsunterstützung und/oder eine Crash-Imminent-Bremsung bzw. Bremsung bei bevorstehendem Zusammenstoß aufweisen.

In mindestens einer Ausführungsform bietet ein LDW-System optische, akustische und/oder taktile Warnungen, wie z. B. Lenkrad- oder Sitzvibrationen, um den Fahrer zu warnen, wenn das Fahrzeug 3300 die Fahrbahnmarkierungen überquert. In mindestens einer Ausführungsform wird das LDW-System nicht aktiviert, wenn der Fahrer ein absichtliches Verlassen der Fahrspur anzeigt, indem er z. B. einen Blinker betätigt. In mindestens einer Ausführungsform kann das LDW-System nach vorne gerichtete Kameras verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der/das elektrisch gekoppelt ist, um dem Fahrer eine Rückmeldung bereitzustellen, z. B. mit einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente. In mindestens einer Ausführungsform ist ein LKA-System eine Variante eines LDW-Systems. In mindestens einer Ausführungsform sorgt ein LKA-System für einen Lenkeingriff oder ein Bremsen, um das Fahrzeug 3300 zu korrigieren, wenn das Fahrzeug 3300 beginnt, seine Fahrspur zu verlassen.

In mindestens einer Ausführungsform erkennt und warnt ein BSW-System den Fahrer vor Fahrzeugen, die sich im toten Winkel des Fahrzeugs befinden. In mindestens einer Ausführungsform kann ein BSW-System eine optische, akustische und/oder taktile Warnung ausgeben, um darauf hinzuweisen, dass das Zusammenführen oder Wechseln der Fahrspur unsicher ist. In mindestens einer Ausführungsform kann ein BSW-System eine zusätzliche Warnung ausgeben, wenn der Fahrer einen Blinker betätigt. In mindestens einer Ausführungsform kann das BSW-System (eine) nach hinten gerichtete Kamera(s) und/oder (einen) RADAR-Sensor(s) 3360 verwenden, der/die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist/sind, der/die elektrisch mit dem Fahrerfeedback gekoppelt ist/sind, wie z. B. eine Anzeige, ein Lautsprecher und/oder eine vibrierende Komponente.

In mindestens einer Ausführungsform kann ein RCTW-System eine visuelle, akustische und/oder taktile Benachrichtigung liefern, wenn ein Objekt außerhalb des Bereichs der Rückfahrkamera erkannt wird, wenn das Fahrzeug 3300 rückwärts fährt. In mindestens einer Ausführungsform weist ein RCTW-System ein AEB-System auf, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Unfall zu vermeiden. In mindestens einer Ausführungsform kann das RCTW-System einen oder mehrere nach hinten gerichtete(n) RADAR-Sensor(en) 3360 verwenden, der/die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist/sind, der/die elektrisch gekoppelt ist/sind, um dem Fahrer eine Rückmeldung bereitzustellen, wie z. B. eine Anzeige, ein Lautsprecher und/oder eine vibrierende Komponente.

In mindestens einer Ausführungsform können herkömmliche ADAS-Systeme zu falsch-positiven Ergebnissen neigen, die für den Fahrer ärgerlich und ablenkend sein können, aber typischerweise nicht katastrophal sind, weil herkömmliche ADAS-Systeme den Fahrer warnen und ihm die Möglichkeit geben, zu entscheiden, ob eine Sicherheitsbedingung wirklich vorliegt und entsprechend zu handeln. In mindestens einer Ausführungsform entscheidet das Fahrzeug 3300 bei widersprüchlichen Ergebnissen selbst, ob das Ergebnis eines Primärrechners oder eines Sekundärrechners (z. B. eine erste Steuerung oder eine zweite Steuerung der Steuerungen 3336) beachtet werden soll. In mindestens einer Ausführungsform kann das ADAS-System 3338 beispielsweise ein Backup- und/oder Sekundärcomputer sein, der Wahrnehmungsinformationen an ein Rationalitätsmodul des Backup-Computers liefert. In mindestens einer Ausführungsform kann ein Rationalitätsmonitor des Backup-Rechners eine redundante, diverse Software auf Hardwarekomponenten ausführen, um Fehler bei der Wahrnehmung und bei dynamischen Fahraufgaben zu erkennen. In mindestens einer Ausführungsform können die Ausgaben des ADAS-Systems 3338 an eine übergeordnete MCU weitergeleitet werden. In mindestens einer Ausführungsform bestimmt eine überwachende MCU bei Konflikten zwischen Ausgaben eines Primärrechners und Ausgaben eines Sekundärrechners, wie der Konflikt beigelegt werden kann, um einen sicheren Betrieb zu gewährleisten.

In mindestens einer Ausführungsform kann ein Primärcomputer so ausgestaltet sein, dass er der übergeordneten MCU einen Vertrauenswert liefert, der das Vertrauen des Primärcomputers in das gewählte Ergebnis angibt. In mindestens einer Ausführungsform kann die überwachende MCU der Anweisung des Primärcomputers folgen, wenn der Vertrauenswert einen Schwellenwert überschreitet, unabhängig davon, ob der Sekundärcomputer ein widersprüchliches oder inkonsistentes Ergebnis liefert. Bei mindestens einer Ausführungsform, bei der der Vertrauenswert den Schwellenwert nicht erreicht und der primäre und der sekundäre Computer unterschiedliche Ergebnisse (z. B. einen Konflikt) anzeigen, kann die überwachende MCU zwischen den Computern vermitteln, um das geeignete Ergebnis zu bestimmen.

In mindestens einer Ausführungsform kann die überwachende MCU so ausgestaltet sein, dass sie ein neuronales Netz bzw. neuronale Netze ausführt, das bzw. die trainiert und so ausgestaltet ist bzw. sind, dass es bzw. sie zumindest teilweise basierend auf von Ausgaben eines Primärcomputers und Ausgaben eines Sekundärcomputers die Bedingungen bestimmt bzw. bestimmen, unter denen der Sekundärcomputer Fehlalarme auslöst. In mindestens einer Ausführungsform kann (können) das (die) neuronale(n) Netz(e) in der überwachenden MCU lernen, wann der Ausgabe des Sekundärcomputers vertraut werden kann und wann nicht. Zum Beispiel kann bei mindestens einer Ausführungsform, wenn der sekundäre Computer ein RADAR-basiertes FCW-System ist, ein neuronales Netz in der überwachenden MCU lernen, wenn das FCW-System metallische Objekte identifiziert, die in Wirklichkeit keine Gefahren sind, wie z. B. ein Abflussgitter oder ein Schachtdeckel, der einen Alarm auslöst. Bei mindestens einer Ausführungsform, wenn der Sekundärcomputer ein kamerabasiertes LDW-System ist, kann ein neuronales Netz in der überwachenden MCU lernen, das LDW-System außer Kraft zu setzen, wenn Radfahrer oder Fußgänger vorhanden sind und ein Verlassen der Fahrspur tatsächlich das sicherste Manöver ist. In mindestens einer Ausführungsform kann ein überwachendes MCU einen DLA oder eine GPU aufweisen, die für die Ausführung von neuronalen Netzen mit zugehörigem Speicher geeignet sind. In mindestens einer Ausführungsform kann die überwachende MCU eine Komponente des/der SoC(s) 3304 umfassen und/oder in einer solchen enthalten sein.

In mindestens einer Ausführungsform kann das ADAS-System 3338 einen sekundären Computer aufweisen, der die ADAS-Funktionalität unter Verwendung herkömmlicher Regeln der Computer Vision ausführt. In mindestens einer Ausführungsform kann der sekundäre Computer klassische Computer-Vision-Regeln (wenn-dann) verwenden, und das Vorhandensein eines neuronalen Netzes (von neuronalen Netzen) in der übergeordneten MCU kann die Zuverlässigkeit, Sicherheit und Leistung verbessern. In mindestens einer Ausführungsform wird das Gesamtsystem durch die unterschiedliche Implementierung und die absichtliche Nichtidentität fehlertoleranter, insbesondere gegenüber Fehlern, die durch Softwarefunktionen (oder Software-Hardware-Schnittstellen) verursacht werden. Zum Beispiel, bei mindestens einer Ausführungsform, wenn es einen Software-Bug oder Fehler in der Software gibt, die auf dem primären Computer läuft, und wenn ein nicht-identischer Software-Code, der auf dem sekundären Computer läuft, ein konsistentes Gesamtergebnis liefert, dann kann die überwachende MCU ein größeres Vertrauen haben, dass ein Gesamtergebnis korrekt ist und ein Bug in der Software oder Hardware auf dem primären Computer keinen wesentlichen Fehler verursacht.

In mindestens einer Ausführungsform kann ein Ausgabe des ADAS-Systems 3338 in den Wahrnehmungsblock des Primärrechners und/oder den Block für dynamische Fahraufgaben des Primärrechners eingespeist werden. Wenn beispielsweise in mindestens einer Ausführungsform das ADAS-System 3338 eine Vorwärtscrash-Warnung aufgrund eines unmittelbar vorausliegenden Objekts anzeigt, kann der Wahrnehmungsblock diese Information bei der Identifizierung von Objekten verwenden. In mindestens einer Ausführungsform kann der sekundäre Computer über ein eigenes neuronales Netz verfügen, das trainiert ist und so das Risiko von Fehlalarmen reduziert, wie es hier beschrieben ist.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus ein Infotainment-SoC 3330 aufweisen (z. B. ein bordeigenes Infotainment-System (IVI)). Obwohl es als SoC dargestellt und beschrieben ist, kann das Infotainment-SoC 3330 in mindestens einer Ausführungsform kein SoC sein und kann ohne Einschränkung zwei oder mehr diskrete Komponenten aufweisen. In mindestens einer Ausführungsform kann das Infotainment-SoC 3330 ohne Einschränkung eine Kombination aus Hardware und Software aufweisen, die verwendet werden kann, um Audio (z. B. Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio usw.), Video (z. B. TV, Filme, Streaming usw.), Telefon (z. B., (z. B. Freisprecheinrichtung), Netzwerkkonnektivität (z. B. LTE, WiFi usw.) und/oder Informationsdienste (z. B. Navigationssysteme, Einparkhilfe hinten, ein Radiodatensystem, fahrzeugbezogene Informationen wie Kraftstoffstand, zurückgelegte Gesamtstrecke, Bremskraftstoffstand, Ölstand, Tür öffnen/schließen, Luftfilterinformationen usw.) für das Fahrzeug 3300 bereitzustellen. Das Infotainment-SoC 3330 kann beispielsweise Radios, Plattenspieler, Navigationssysteme, Videoplayer, eine USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, WiFi, Audiobedienelemente am Lenkrad, eine Freisprecheinrichtung, ein Heads-up-Display („HUD“), eine HMI-Anzeige 3334, eine Telematikeinrichtung, ein Bedienfeld (z. B. zur Steuerung und/oder Interaktion mit verschiedenen Komponenten, Funktionen und/oder Systemen) und/oder andere Komponenten aufweisen. In mindestens einer Ausführungsform kann das Infotainment-SoC 3330 darüber hinaus verwendet werden, um dem/den Benutzer(n) des Fahrzeugs 3300 Informationen (z. B. visuell und/oder akustisch) bereitzustellen, wie z. B. Informationen vom ADAS-System 3338, Informationen zum autonomen Fahren, wie z. B. geplante Fahrzeugmanöver, Trajektorien, Umgebungsinformationen (z. B. Kreuzungsinformationen, Fahrzeuginformationen, Straßeninformationen, usw.), und/oder andere Informationen.

In mindestens einer Ausführungsform kann das Infotainment-SoC 3330 eine beliebige Menge und Art von GPU-Funktionalität aufweisen. In mindestens einer Ausführungsform kann das Infotainment-SoC 3330 über den Bus 3302 mit anderen Einrichtungen, Systemen und/oder Komponenten des Fahrzeugs 3300 kommunizieren. In mindestens einer Ausführungsform kann das Infotainment-SoC 3330 mit einer Überwachungs-MCU gekoppelt sein, so dass eine GPU des Infotainment-Systems einige Selbstfahrfunktionen ausführen kann, falls die primäre(n) Steuerung(en) 3336 (z. B. Primär- und/oder Backup-Computer des Fahrzeugs 3300) ausfallen. In mindestens einer Ausführungsform kann das Infotainment-SoC 3330 das Fahrzeug 3300 in einen Chauffeur-zu-sicherem-Halt-Modus versetzen, wie es hier beschrieben ist.

In mindestens einer Ausführungsform kann das Fahrzeug 3300 darüber hinaus ein Kombiinstrument 3332 aufweisen (z. B. ein digitales Armaturenbrett, ein elektronisches Kombiinstrument, eine digitale Instrumententafel usw.). In mindestens einer Ausführungsform kann das Kombiinstrument 3332 ohne Einschränkung eine Steuerung und/oder einen Supercomputer (z. B. eine diskrete Steuerung oder einen Supercomputer) aufweisen. In mindestens einer Ausführungsform kann das Kombiinstrument 3332 ohne Einschränkung eine beliebige Anzahl und Kombination von Instrumenten aufweisen, wie z. B. Tachometer, Kraftstoffstand, Öldruck, Drehzahlmesser, Kilometerzähler, Blinker, Schaltstellungsanzeige, Sicherheitsgurtwarnleuchte(n), Parkbremswarnleuchte(n), Motorstörungsleuchte(n), Informationen über zusätzliche Rückhaltesysteme (z. B. Airbags), Beleuchtungssteuerungen, Sicherheitssystemsteuerungen, Navigationsinformationen usw. Bei einigen Beispielen können die Informationen auf dem Infotainment-SoC 3330 und dem Kombiinstrument 3332 angezeigt und/oder gemeinsam genutzt werden. In mindestens einer Ausführungsform kann das Kombiinstrument 3332 einen Teil des Infotainment-SoC 3330 aufweisen, oder umgekehrt.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System aus 33C für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 32C gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

33D ist ein Diagramm eines Systems für die Kommunikation zwischen dem/den Cloud-basierten Server(n) und dem autonomen Fahrzeug 3300 aus 33A, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System ohne Einschränkung den/die Server 3378, das/die Netzwerk(e) 3390 und eine beliebige Anzahl und Art von Fahrzeugen, einschließlich des Fahrzeugs 3300, aufweisen. In mindestens einer Ausführungsform kann (können) der (die) Server 3378 ohne Einschränkung eine Vielzahl von GPUs 3384(A)-3384(H) (hierin kollektiv als GPUs 3384 bezeichnet), PCIe-Switches 3382(A)-3382(D) (hierin kollektiv als PCle-Switches 3382 bezeichnet), und/oder CPUs 3380(A)-3380(B) (hierin kollektiv als CPUs 3380 bezeichnet) aufweisen. In mindestens einer Ausführungsform können GPUs 3384, CPUs 3380 und PCIe-Switches 3382 über Hochgeschwindigkeitsverbindungen miteinander verbunden sein, wie z. B. und ohne Einschränkung über die von NVIDIA entwickelten NVLink-Schnittstellen 3388 und/oder PCIe-Verbindungen 3386. In mindestens einer Ausführungsform sind die GPUs 3384 über ein NVLink- und/oder NVSwitch-SoC und die GPUs 3384 und PCIe-Switches 3382 über PCIe-Verbindungen verbunden. Obwohl acht GPUs 3384, zwei CPUs 3380 und vier PCle-Switches 3382 dargestellt sind, ist dies jedoch nicht als Einschränkung zu verstehen. In mindestens einer Ausführungsform kann jeder der Server 3378 ohne Einschränkung eine beliebige Anzahl von GPUs 3384, CPUs 3380 und/oder PCIe-Switches 3382 in beliebiger Kombination aufweisen. In mindestens einer Ausführungsform kann/können der/die Server 3378 beispielsweise jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 3384 aufweisen.

In mindestens einer Ausführungsform kann (können) der (die) Server 3378 über das (die) Netzwerk(e) 3390 und von Fahrzeugen Bilddaten empfangen, die für Bilder repräsentativ sind, die unerwartete oder veränderte Straßenzustände zeigen, wie beispielsweise kürzlich begonnene Straßenarbeiten. In mindestens einer Ausführungsform kann/können der/die Server 3378 über das/die Netzwerk(e) 3390 und an Fahrzeuge aktualisierte oder sonstige neuronale Netze 3392 und/oder Karteninformationen 3394 übertragen, die ohne Einschränkung Informationen über den Verkehr und die Straßenbedingungen aufweisen. In mindestens einer Ausführungsform können die Aktualisierungen der Karteninformationen 3394 ohne Einschränkung Aktualisierungen für die HD-Karte 3322 aufweisen, z. B. Informationen zu Baustellen, Schlaglöchern, Umleitungen, Überschwemmungen und/oder anderen Hindernissen. In mindestens einer Ausführungsform können neuronale Netze 3392 und/oder Karteninformationen 3394 aus neuem Training und/oder Erfahrungen resultieren, die in Daten repräsentiert sind, die von einer beliebigen Anzahl von Fahrzeugen in der Umgebung empfangen wurden, und/oder zumindest teilweise auf einem Training basieren, das in einem Rechenzentrum durchgeführt wurde (z. B. unter Verwendung von Server(n) 3378 und/oder anderen Servern).

In mindestens einer Ausführungsform kann/können der/die Server 3378 verwendet werden, um Modelle zum maschinellen Lernen (z. B. neuronale Netze) zumindest teilweise basierend auf von Trainingsdaten zu trainieren. In mindestens einer Ausführungsform können die Trainingsdaten von Fahrzeugen und/oder in einer Simulation (z. B. unter Verwendung einer Spiel-Maschine) generiert werden. In mindestens einer Ausführungsform wird eine beliebige Menge von Trainingsdaten markiert (z. B. wenn das zugehörige neuronale Netz vom überwachten Lernen profitiert) und/oder einer anderen Vorverarbeitung unterzogen. In mindestens einer Ausführungsform wird eine beliebige Menge von Trainingsdaten nicht markiert und/oder vorverarbeitet (z. B. wenn das zugehörige neuronale Netz kein überwachtes Lernen benötigt). In mindestens einer Ausführungsform können, sobald Modelle zum maschinellen Lernen trainiert sind, Modelle zum maschinellen Lernen von Fahrzeugen verwendet werden (z. B. Übertragung an Fahrzeuge über Netzwerk(e) 3390, und/oder Modelle zum maschinellen Lernen können von Server(n) 3378 zur Fernüberwachung von Fahrzeugen verwendet werden.

In mindestens einer Ausführungsform kann (können) der (die) Server 3378 Daten von Fahrzeugen empfangen und Daten auf aktuelle neuronale Echtzeit-Netze für intelligentes Inferenzierung in Echtzeit anwenden. In mindestens einer Ausführungsform kann/können der/die Server 3378 Deep-Learning-Supercomputer und/oder dedizierte Kl-Computer aufweisen, die von GPU(s) 3384 angetrieben werden, wie z. B. die von NVIDIA entwickelten DGX- und DGX-Station-Maschinen. In mindestens einer Ausführungsform kann/können der/die Server 3378 jedoch eine Deep-Learning-Infrastruktur aufweisen, die CPUbetriebene Rechenzentren verwendet.

In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur von Server(n) 3378 zu schnellem Inferenzierung in Echtzeit fähig sein und diese Fähigkeit nutzen, um den Zustand von Prozessoren, Software und/oder zugehöriger Hardware im Fahrzeug 3300 zu bewerten und zu überprüfen. In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur beispielsweise periodische Aktualisierungen vom Fahrzeug 3300 erhalten, wie etwa eine Bildsequenz und/oder Objekte, die das Fahrzeug 3300 in dieser Bildsequenz lokalisiert hat (z. B. über Computer Vision und/oder andere maschinelle Objektklassifizierungstechniken). In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur ihr eigenes neuronales Netz laufen lassen, um Objekte zu identifizieren und sie mit den vom Fahrzeug 3300 identifizierten Objekten zu vergleichen, und wenn die Ergebnisse nicht übereinstimmen und die Deep-Learning-Infrastruktur zu dem Schluss kommt, dass die KI im Fahrzeug 3300 eine Fehlfunktion aufweist, kann/können der/die Server 3378 ein Signal an das Fahrzeug 3300 senden, das einen ausfallsicheren Computer des Fahrzeugs 3300 anweist, die Steuerung zu übernehmen, die Fahrgäste zu benachrichtigen und ein sicheres Parkmanöver durchzuführen.

In mindestens einer Ausführungsform kann/können der/die Server 3378 GPU(s) 3384 und einen oder mehrere programmierbare Inferenzbeschleuniger (z. B. NVIDIAs TensorRT 3) aufweisen. In mindestens einer Ausführungsform kann die Kombination von GPUgesteuerten Servern und Inferenzbeschleunigung eine Reaktionsfähigkeit in Echtzeit ermöglichen. Bei mindestens einer Ausführungsform, z. B. wenn die Leistung weniger kritisch ist, können für das Inferenzierung auch Server mit CPUs, FPGAs und anderen Prozessoren verwendet werden. In mindestens einer Ausführungsform wird (werden) die Hardwarestruktur(en) 3015 zur Ausführung einer oder mehrerer Ausführungsformen verwendet. Einzelheiten über die Hardwarestruktur(en) 3015 werden in Verbindung mit den 30A und/oder 30B beschrieben.

COMPUTERSYSTEME

34 ist ein Blockdiagramm, das ein beispielhaftes Computersystem veranschaulicht, das ein System mit miteinander verbundenen Einrichtungen und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das gemäß mindestens einer Ausführungsform einen Prozessor aufweist, der Ausführungseinheiten zur Ausführung eines Befehls enthält. In mindestens einer Ausführungsform kann das Computersystem 3400 ohne Einschränkung eine Komponente, wie z. B. einen Prozessor 3402, aufweisen, um Ausführungseinheiten einschließlich Logik zur Durchführung von Algorithmen zur Verarbeitung von Daten gemäß der vorliegenden Offenbarung einzusetzen, wie z. B. bei der hier beschriebenen Ausführungsform. In mindestens einer Ausführungsform kann das Computersystem 3400 Prozessoren aufweisen, wie z. B. die PENTIUM®-Prozessorfamilie, Xeon™-, Itanium®-, XScale™- und/oder StrongARM™-, Intel® Core™- oder Intel® Nervana™-Mikroprozessoren, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, technische Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 3400 eine Version des Betriebssystems WINDOWS ausführen, das von der Microsoft Corporation in Redmond, Washington, erhältlich ist, obwohl auch andere Betriebssysteme (z. B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.

Ausführungsformen können auch bei anderen Ausführungen wie Handheld-Geräten und eingebetteten Anwendungen verwendet werden. Einige Beispiele für tragbare Einrichtungen weisen Mobiltelefone, Internetprotokollgeräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs auf. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide-Area-Network-Switches („WAN“) oder jedes andere System aufweisen, das eine oder mehrere Anweisungen gemäß mindestens einer Ausführungsform ausführen kann.

In mindestens einer Ausführungsform kann das Computersystem 3400 ohne Einschränkung einen Prozessor 3402 aufweisen, der ohne Einschränkung eine oder mehrere Ausführungseinheiten 3408 aufweisen kann, um das Training eines Modells zum maschinellen Lernen und/oder Inferenzierung gemäß den hier beschriebenen Techniken durchzuführen. In mindestens einer Ausführungsform ist das Computersystem 3400 ein Einzelprozessor-Desktop- oder -Serversystem, aber in einer anderen Ausführungsform kann das Computersystem 3400 ein Multiprozessorsystem sein. In mindestens einer Ausführungsform kann der Prozessor 3402 ohne Einschränkung einen CISC-Mikroprozessor (Complex Instruction Set Computer), einen RISC-Mikroprozessor (Reduced Instruction Set Computing), einen VLIW-Mikroprozessor (Very Long Instruction Word), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder eine beliebige andere Einrichtung, wie z. B. einen digitalen Signalprozessor, aufweisen. In mindestens einer Ausführungsform kann der Prozessor 3402 mit einem Prozessorbus 3410 verbunden sein, der Datensignale zwischen dem Prozessor 3402 und anderen Komponenten im Computersystem 3400 übertragen kann.

In mindestens einer Ausführungsform kann der Prozessor 3402 ohne Einschränkung einen internen Level 1 („L1“) Cache-Speicher („Cache“) 3404 aufweisen. In mindestens einer Ausführungsform kann der Prozessor 3402 einen einzigen internen Cache oder mehrere Ebenen eines internen Caches aufweisen. In mindestens einer Ausführungsform kann sich der Cache-Speicher außerhalb des Prozessors 3402 befinden. Andere Ausführungsformen können auch eine Kombination aus internen und externen Caches aufweisen, abhängig von der jeweiligen Implementierung und den Bedürfnissen. In mindestens einer Ausführungsform kann die Registerdatei 3406 verschiedene Datentypen in verschiedenen Registern speichern, einschließlich, ohne Einschränkung, Ganzzahlregister, Gleitkommaregister, Statusregister und Befehlszeigerregister.

In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 3408, die ohne Einschränkung eine Logik zur Durchführung von Ganzzahl- und Gleitkommaoperationen aufweist, ebenfalls im Prozessor 3402. In mindestens einer Ausführungsform kann der Prozessor 3402 auch einen Nur-Lese-Speicher („ROM“) für Mikrocode („ucode“) aufweisen, der Mikrocode für bestimmte Makrobefehle speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 3408 eine Logik zur Handhabung eines gepackten Befehlssatzes 3409 aufweisen. In mindestens einer Ausführungsform können durch das Vorweisen eines gepackten Befehlssatzes 3409 in einem Befehlssatz eines Mehrzweckprozessors zusammen mit einer zugehörigen Schaltung zur Ausführung von Befehlen die von vielen Multimedia-Anwendungen verwendeten Operationen unter Verwendung gepackter Daten in einem Mehrzweckprozessor 3402 durchgeführt werden. In mindestens einer Ausführungsform können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem die volle Breite des Datenbusses eines Prozessors für die Durchführung von Operationen mit gepackten Daten genutzt wird, wodurch die Notwendigkeit entfällt, kleinere Dateneinheiten über den Datenbus des Prozessors zu übertragen, um eine oder mehrere Operationen mit einem Datenelement nach dem anderen durchzuführen.

In mindestens einer Ausführungsform kann die Ausführungseinheit 3408 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikeinrichtungen, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 3400, ohne Einschränkung, einen Speicher 3420 aufweisen. In mindestens einer Ausführungsform kann der Speicher 3420 eine dynamische Random-Access-Memory- („DRAM“) Einrichtung, statische Random-Access-Memory- („SRAM“) Einrichtung, Flash-Speichereinrichtung oder eine andere Speichereinrichtung sein. In mindestens einer Ausführungsform kann der Speicher 3420 (einen) Befehl(e) 3419 und/oder Daten 3421 speichern, die durch Datensignale dargestellt werden, die vom Prozessor 3402 ausgeführt werden können.

In mindestens einer Ausführungsform kann der Systemlogikchip mit dem Prozessorbus 3410 und dem Speicher 3420 verbunden sein. In mindestens einer Ausführungsform kann der Systemlogikchip ohne Einschränkung einen Speichersteuerungs-Hub („MCH“) 3416 aufweisen, und der Prozessor 3402 kann mit dem MCH 3416 über den Prozessorbus 3410 kommunizieren. In mindestens einer Ausführungsform kann der MCH 3416 einen Speicherpfad 3418 mit hoher Bandbreite zum Speicher 3420 für die Befehls- und Datenspeicherung sowie für die Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH 3416 Datensignale zwischen dem Prozessor 3402, dem Speicher 3420 und anderen Komponenten im Computersystem 3400 leiten und Datensignale zwischen dem Prozessorbus 3410, dem Speicher 3420 und einer System-I/O-Schnittstelle 3422 überbrücken. In mindestens einer Ausführungsform kann der Systemlogikchip einen Grafikanschluss zur Verbindung mit einer Grafiksteuerung bereitstellen. In mindestens einer Ausführungsform kann der MCH 3416 über einen Speicherpfad 3418 mit hoher Bandbreite mit dem Speicher 3420 gekoppelt sein, und die Grafik-/Videokarte 3412 kann über eine AGP-Verbindung 3414 mit dem MCH 3416 gekoppelt sein.

In mindestens einer Ausführungsform kann das Computersystem 3400 die System-I/O-Schnittstelle 3422 als einen proprietären Hub-Interface-Bus verwenden, um den MCH 3416 mit einem I/O-Controller-Hub („ICH“) 3430 zu koppeln. In mindestens einer Ausführungsform kann der ICH 3430 direkte Verbindungen zu einigen I/O-Einrichtungen über einen lokalen I/O-Bus bereitstellen. In mindestens einer Ausführungsform kann der lokale I/O-Bus ohne Einschränkung einen Hochgeschwindigkeits-I/O-Bus zur Verbindung von Peripheriegeräten mit dem Speicher 3420, dem Chipsatz und dem Prozessor 3402 aufweisen. Beispiele können unter anderem einen Audiocontroller 3429, einen Firmware-Hub („Flash-BIOS“) 3428, einen drahtlosen Transceiver3426, einen Datenspeicher 3424, einen Legacy-I/O-Controller 3423 mit Benutzereingabe- und Tastaturschnittstellen 3425, einen seriellen Erweiterungsanschluss 3427, wie einen Universal Serial Bus („USB“) -Anschluss, und eine Netzwerksteuerung 3434 aufweisen. In mindestens einer Ausführungsform kann der Datenspeicher 3424 ein Festplattenlaufwerk, ein Diskettenlaufwerk, eine CD-ROM-Einrichtung, eine Flash-Speichereinrichtung oder eine andere Massenspeichereinrichtung umfassen.

In mindestens einer Ausführungsform zeigt 34 ein System, das miteinander verbundene Hardware-Einrichtungen oder „Chips“ aufweist, während bei anderen Ausführungen 34 ein beispielhaftes SoC zeigen kann. In mindestens einer Ausführungsform können die in 34 dargestellten Einrichtungen mit proprietären Verbindungen, standardisierten Verbindungen (z. B. PCIe) oder einer Kombination davon miteinander verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 3400 über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System aus 34 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 34 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform werden/wird der Prozessor 3402 und/oder andere Komponenten des Computersystems 3400 aus 34 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

35 ist ein Blockdiagramm, das eine elektronische Einrichtung 3500 zur Verwendung eines Prozessors 3510 gemäß mindestens einer Ausführungsform zeigt. In mindestens einer Ausführungsform kann die elektronische Einrichtung 3500 beispielsweise und ohne Einschränkung ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Desktop-Computer, ein Tablet, eine mobile Einrichtung, ein Telefon, ein eingebetteter Computer oder jede andere geeignete elektronische Einrichtung sein.

In mindestens einer Ausführungsform kann die elektronische Einrichtung 3500 ohne Einschränkung einen Prozessor 3510 aufweisen, der kommunikativ mit einer beliebigen Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Einrichtungen verbunden ist. In mindestens einer Ausführungsform ist der Prozessor 3510 über einen Bus oder eine Schnittstelle gekoppelt, wie z. B. einen I²C-Bus, einen System-Management-Bus („SMBus“), einen Low-Pin-Count-Bus (LPC), ein Serial-Peripheral-Interface („SPI“), einen High-Definition-Audio-Bus („HDA“), einen Serial-Advance-Technology-Attachment-Bus („SATA“), einen Universal-Serial-Bus („USB“) (Versionen 1, 2, 3, usw.) oder einen Universal-Asynchronous-Receiver/Transmitter-Bus („UART“). In mindestens einer Ausführungsform zeigt 35 ein System, das miteinander verbundene Hardware-Einrichtungen oder „Chips“ aufweist, während bei anderen Ausführungen 35 ein beispielhaftes System on a Chip („SoC“) zeigen kann. In mindestens einer Ausführungsform können die in 35 dargestellten Einrichtungen mit proprietären Verbindungen, standardisierten Verbindungen (z. B. PCIe) oder einer Kombination davon miteinander verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten aus 35 über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden.

In mindestens einer Ausführungsform kann 35 eine Anzeige 3524, einen Touchscreen 3525, ein Touchpad 3530, eine Near Field Communications-Einheit („NFC“) 3545, einen Sensor-Hub 3540, einen Wärmesensor 3546, einen Express-Chipsatz („EC“) 3535, ein Trusted Platform Module („TPM“) 3538, BIOS/Firmware/Flash-Speicher („BIOS, FW Flash“) 3522, ein DSP 3560, ein Laufwerk 3520 wie eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine drahtlose lokale Netzwerkeinheit („WLAN“) 3550, eine Bluetooth-Einheit 3552, eine drahtlose Wide Area Network-Einheit („WWAN“) 3556, ein Global Positioning System (GPS) -Einheit 3555, eine Kamera („USB 3. 0-Kamera“) 3554, wie z. B. eine USB 3.0-Kamera, und/oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 3515, die z. B. im LPDDR3-Standard implementiert ist, aufweisen. Diese Komponenten können in jeder geeigneten Weise implementiert sein.

In mindestens einer Ausführungsform können andere Komponenten mit dem Prozessor 3510 über die hier beschriebenen Komponenten kommunikativ verbunden sein. In mindestens einer Ausführungsform können ein Beschleunigungsmesser 3541, ein Umgebungslichtsensor („ALS“) 3542, ein Kompass 3543 und ein Gyroskop 3544 kommunikativ mit dem Sensor-Hub 3540 verbunden sein. In mindestens einer Ausführungsform können ein Wärmesensor 3539, ein Lüfter 3537, eine Tastatur 3536 und ein Touchpad 3530 kommunikativ mit dem EC 3535 verbunden sein. In mindestens einer Ausführungsform können Lautsprecher 3563, ein Kopfhörer 3564 und ein Mikrofon („mic“) 3565 kommunikativ mit einer Audioeinheit („audio codec and class D amp“) 3562 gekoppelt sein, die ihrerseits kommunikativ mit dem DSP 3560 gekoppelt sein kann. In mindestens einer Ausführungsform kann die Audioeinheit 3562 beispielsweise und ohne Einschränkung einen Audiocodierer/- decoder („Codec“) und einen Verstärker der Klasse D aufweisen. In mindestens einer Ausführungsform kann die SIM-Karte („SIM“) 3557 mit der WWAN-Einheit 3556 kommunikativ gekoppelt sein. In mindestens einer Ausführungsform können Komponenten wie die WLAN-Einheit 3550 und die Bluetooth-Einheit 3552 sowie die WWAN-Einheit 3556 in einem Next Generation Form Factor („NGFF“) implementiert sein.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System aus 35 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 35 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform werden/wird das System 3500 und/oder der Prozessor 3410 aus 35 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

36 illustriert ein Computersystem 3600 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist das Computersystem 3600 ausgestaltet, um verschiedene in dieser Offenbarung beschriebene Prozesse und Verfahren zu implementieren.

In mindestens einer Ausführungsform umfasst das Computersystem 3600 ohne Einschränkung mindestens eine Zentraleinheit („CPU“) 3602, die an einen Kommunikationsbus 3610 angeschlossen ist, der unter Verwendung eines beliebigen geeigneten Protokolls implementiert ist, wie PCI („Peripheral Component Interconnect“), Peripheral Component Interconnect Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder ein anderes Bus- oder Punkt-zu-Punkt-Kommunikationsprotokoll. In mindestens einer Ausführungsform weist das Computersystem 3600 ohne Einschränkung einen Hauptspeicher 3604 und eine Steuerlogik auf (z. B. implementiert als Hardware, Software oder eine Kombination davon), und die Daten werden im Hauptspeicher 3604 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. In mindestens einer Ausführungsform stellt ein Netzwerkschnittstellen-Subsystem („Netzwerkschnittstelle“) 3622 eine Schnittstelle zu anderen Recheneinrichtungen und Netzwerken bereit, um Daten mit dem Computersystem 3600 zu empfangen und an andere Systeme zu übermitteln.

In mindestens einer Ausführungsform weist das Computersystem 3600 ohne Einschränkung Eingabeeinrichtungen 3608, ein Parallelverarbeitungssystem 3612 und Anzeigeeinrichtungen 3606 auf, die unter Verwendung einer herkömmlichen Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), einer lichtemittierenden Diode („LED“), einer Plasmaanzeige oder anderer geeigneter Anzeigetechnologien implementiert sein können. In mindestens einer Ausführungsform werden Benutzereingaben von Eingabeeinrichtungen 3608, wie Tastatur, Maus, Touchpad, Mikrofon usw., empfangen. In mindestens einer Ausführungsform kann jedes hier beschriebene Modul auf einer einzigen Halbleiterplattform angeordnet sein, um ein Verarbeitungssystem zu bilden.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System aus 36 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 36 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform werden/wird das Computersystem 3600 und/oder mindetsens eine PPU 3614 aus 36 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

37 illustriert ein Computersystem 3700 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform weist das Computersystem 3700, ohne Einschränkung, einen Computer 3710 und einen USB-Stick 3720 auf. In mindestens einer Ausführungsform kann der Computer 3710 ohne Einschränkung eine beliebige Anzahl und Art von Prozessor(en) (nicht dargestellt) und einen Speicher (nicht dargestellt) aufweisen. In mindestens einer Ausführungsform weist der Computer 3710, ohne Einschränkung, einen Server, eine Cloud-Instanz, einen Laptop und einen Desktop-Computer auf.

In mindestens einer Ausführungsform weist der USB-Stick 3720, ohne Einschränkung, eine Verarbeitungseinheit 3730, eine USB-Schnittstelle 3740 und eine USB-Schnittstellenlogik 3750 auf. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 3730 ein beliebiges Befehlsausführungssystem, ein Gerät oder eine Einrichtung sein, die in der Lage ist, Befehle auszuführen. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 3730 ohne Einschränkung eine beliebige Anzahl und Art von Verarbeitungskernen (nicht dargestellt) aufweisen. In mindestens einer Ausführungsform umfasst die Verarbeitungseinheit 3730 eine anwendungsspezifische integrierte Schaltung („ASIC“), die für die Durchführung beliebiger Mengen und Arten von Operationen im Zusammenhang mit maschinellem Lernen optimiert ist. In mindestens einer Ausführungsform ist die Verarbeitungseinheit 3730 beispielsweise eine Tensor Processing Unit („TPC“), die für die Durchführung von Inferenzierungs-Operationen des maschinellen Lernens optimiert ist. In mindestens einer Ausführungsform ist die Verarbeitungseinheit 3730 eine Bildverarbeitungseinheit („VPU“), die für die Durchführung von Bildverarbeitungs- und maschinellen Lernoperationen optimiert ist.

In mindestens einer Ausführungsform kann die USB-Schnittstelle 3740 eine beliebige Art von USB-Stecker oder USB-Buchse sein. In mindestens einer Ausführungsform ist die USB-Schnittstelle 3740 beispielsweise eine USB 3.0 Typ-C-Buchse für Daten und Strom. In mindestens einer Ausführungsform ist die USB-Schnittstelle 3740 ein USB-3.0-Typ-A-Stecker. In mindestens einer Ausführungsform kann die USB-Schnittstellenlogik 3750 eine beliebige Menge und Art von Logik aufweisen, die es der Verarbeitungseinheit 3730 ermöglicht, sich über den USB-Anschluss 3740 mit einer Einrichtung (z. B. einem Computer 3710) zu verbinden.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System aus 37 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 37 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird die Verarbeitungseinheit 3730 aus 37 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

38A zeigt eine beispielhafte Architektur, in der eine Vielzahl von GPUs 3810(1)-3810(N) mit einer Vielzahl von Mehrkern-Prozessoren 3805(1)-3805(M) über Hochgeschwindigkeitsverbindungen 3840(1)-3840(N) (z. B. Busse, Punkt-zu-Punkt-Verbindungen usw.) kommunikativ gekoppelt ist. In mindestens einer Ausführungsform unterstützen die Hochgeschwindigkeitsverbindungen 3840(1)-3840(N) einen Kommunikationsdurchsatz von 4 GB/s, 30 GB/s, 80 GB/s oder mehr. In mindestens einer Ausführungsform können verschiedene Verbindungsprotokolle verwendet werden, die PCIe 4.0 oder 5.0 und NVLink 2.0 einschließen, aber nicht darauf beschränkt sind. In verschiedenen Figuren stellen „N“ und „M“ positive ganze Zahlen dar, die von Figur zu Figur unterschiedlich sein können.

Zusätzlich und in mindestens einer Ausführungsform sind zwei oder mehr GPUs 3810 über Hochgeschwindigkeitsverbindungen 3829(1)-3829(2) miteinander verbunden, die mit ähnlichen oder anderen Protokollen/Verbindungen implementiert sein können als die für Hochgeschwindigkeitsverbindungen 3840(1)-3840(N) verwendeten. In ähnlicher Weise können zwei oder mehr Mehrkern-Prozessoren 3805 über eine Hochgeschwindigkeitsverbindung 3828 verbunden sein, bei der es sich um symmetrische Multiprozessorbusse (SMP) handeln kann, die mit 20 GB/s, 30 GB/s, 120 GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen den verschiedenen in 38A gezeigten Systemkomponenten über ähnliche Protokolle/Leitungen erfolgen (z. B. über eine gemeinsame Verbindungsstruktur).

In einer Ausführungsform ist jeder Mehrkern-Prozessor 3805 kommunikativ mit einem Prozessorspeicher 3801(1)-3801(M) über Speicherverbindungen 3826(1)-3826(M) verbunden, und jede GPU 3810(1)-3810(N) ist kommunikativ mit dem GPU-Speicher 3820(1)-3820(N) über GPU-Speicherverbindungen 3850(1)-3850(N) verbunden. In mindestens einer Ausführungsform können die Speicherverbindungen 3826 und 3850 ähnliche oder unterschiedliche Speicherzugriffstechnologien verwenden. Beispielsweise können die Prozessorspeicher 3801(1)-3801(M) und die GPU-Speicher 3820 flüchtige Speicher wie dynamische Direktzugriffsspeicher (DRAMs) (einschließlich gestapelter DRAMs), Grafik-DDR-SDRAM (GDDR) (z. B. GDDR5, GDDR6) oder High Bandwidth Memory (HBM) aufweisen und/oder nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein. In mindestens einer Ausführungsform kann ein Abschnitt der Prozessorspeicher 3801 ein flüchtiger Speicher und ein anderer Abschnitt ein nichtflüchtiger Speicher sein (z. B. unter Verwendung einer zweistufigen Speicherhierarchie (2LM)).

Wie es hier beschrieben ist, können zwar verschiedene Multikern-Prozessoren 3805 und GPUs 3810 physisch mit einem bestimmten Speicher 3801 bzw. 3820 verbunden sein, und/oder eine einheitliche Speicherarchitektur kann implementiert sein, bei der ein virtueller Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) auf verschiedene physische Speicher verteilt ist. Beispielsweise können die Prozessorspeicher 3801(1)-3801(M) jeweils 64 GB Systemadressraum umfassen, und die GPU-Speicher 3820(1)-3820(N) können jeweils 32 GB Systemadressraum umfassen, was in diesem Beispiel zu einem adressierbaren Gesamtspeicher von 256 GB führt, wenn M=2 und N=4. Andere Werte für N und M sind möglich.

38B zeigt zusätzliche Details für eine Verbindung zwischen einem Multikern-Prozessor 3807 und einem Grafikbeschleunigungsmodul 3846 gemäß einer beispielhaften Ausführungsform. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 3846 einen oder mehrere GPU-Chips aufweisen, die auf einer Linecard integriert sind, die über eine Hochgeschwindigkeitsverbindung 3840 (z. B. einen PCIe-Bus, NVLink, usw.) mit dem Prozessor 3807 verbunden ist. In mindestens einer Ausführungsform kann alternativ das Grafikbeschleunigungsmodul 3846 auf einem Gehäuse oder Chip mit dem Prozessor 3807 integriert sein.

In mindestens einer Ausführungsform weist der Prozessor 3807 eine Vielzahl von Kernen 3860A-3860D auf, jeder mit einem Translations-Lookaside-Puffer („TLB“) 3861A-3861 D und einem oder mehreren Caches 3862A-3862D. In mindestens einer Ausführungsform können die Kerne 3860A-3860D verschiedene andere Komponenten zur Ausführung von Befehlen und Verarbeitung von Daten aufweisen, die nicht dargestellt sind. In mindestens einer Ausführungsform können die Caches 3862A-3862D Level-1- (L1) und Level-2-(L2) Caches umfassen. Zusätzlich können ein oder mehrere gemeinsam genutzte Caches 3856 in den Caches 3862A-3862D vorhanden sein, die von Gruppen von Kernen 3860A-3860D gemeinsam genutzt werden. Eine Ausführungsform des Prozessors 3807 weist beispielsweise 24 Kerne auf, jeder mit seinem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2 und L3 Caches von zwei benachbarten Kernen gemeinsam genutzt. In mindestens einer Ausführungsform sind der Prozessor 3807 und das Grafikbeschleunigungsmodul 3846 mit dem Systemspeicher 3814 verbunden, der die Prozessorspeicher 3801(1)-3801(M) aus 38A aufweisen kann.

In mindestens einer Ausführungsform wird die Kohärenz von Daten und Befehlen, die in verschiedenen Caches 3862A-3862D, 3856 und im Systemspeicher 3814 gespeichert sind, wird durch Kommunikation zwischen den Kernen über einen Kohärenzbus 3864 aufrechterhalten. In mindestens einer Ausführungsform kann beispielsweise jeder Cache über eine Cache-Kohärenzlogik/-schaltung verfügen, die mit ihm verbunden ist, um als Reaktion auf erkannte Lese- oder Schreibvorgänge in bestimmten Cache-Zeilen über den Kohärenzbus 3864 zu kommunizieren. In mindestens einer Ausführungsform wird ein Cache-Snooping-Protokoll über den Kohärenzbus 3864 implementiert, um Cache-Zugriffe mitzulesen.

In mindestens einer Ausführungsform koppelt eine Proxy-Schaltung 3825 das Grafikbeschleunigungsmodul 3846 kommunikativ an den Kohärenzbus 3864, so dass das Grafikbeschleunigungsmodul 3846 an einem Cache-Kohärenzprotokoll als Peer der Kerne 3860A-3860D teilnehmen kann. In mindestens einer Ausführungsform sorgt insbesondere eine Schnittstelle 3835 für die Konnektivität mit der Proxy-Schaltung 3825 über die Hochgeschwindigkeitsverbindung 3840, und eine Schnittstelle 3837 verbindet das Grafikbeschleunigungsmodul 3846 mit der Hochgeschwindigkeitsverbindung 3840.

In mindestens einer Ausführungsform bietet eine Beschleuniger-Integrationsschaltung 3836 Cache-Verwaltungs-, Speicherzugriffs-, Kontextverwaltungs- und Unterbrechungs-Verwaltungsdienste im Auftrag einer Vielzahl von Grafikverarbeitungsmaschinen 3831(1)-3831(N) des Grafikbeschleunigungsmoduls 3846. In mindestens einer Ausführungsform können die Grafikverarbeitungsmaschinen 3831 (1)-3831 (N) können jeweils eine separate Grafikverarbeitungseinheit (GPU) umfassen. In mindestens einer Ausführungsform können die Grafikverarbeitungsmaschinen 3831(1)-3831(N) alternativ verschiedene Arten von Grafikverarbeitungsmaschinen innerhalb einer GPU umfassen, wie z. B. Grafikausführungseinheiten, Medienverarbeitungsmaschinen (z. B. Video-Encoder/Decoder), Sampler und Blit-Module. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 3846 eine GPU mit einer Vielzahl von Grafikverarbeitungseinheiten 3831(1)-3831 (N) sein, oder die Grafikverarbeitungseinheiten 3831(1)-3831(N) können einzelne GPUs sein, die in einem gemeinsamen Gehäuse, einer Linecard oder einem Chip integriert sind.

In einer Ausführungsform weist die Beschleuniger-Integrationsschaltung 3836 eine Speicherverwaltungseinheit (MMU) 3839 auf, um verschiedene Speicherverwaltungsfunktionen wie Übersetzungen von virtuellem zu physischem Speicher (auch als Übersetzungen von effektivem zu realem Speicher bezeichnet) und Speicherzugriffsprotokolle für den Zugriff auf den Systemspeicher 3814 durchzuführen. In mindestens einer Ausführungsform kann die MMU 3839 auch einen Translations-Lookaside-Buffer (TLB) (nicht gezeigt) aufweisen, um Übersetzungen von virtuellen/effektiven in physische/reale Adressen zwischenzuspeichern. In mindestens einer Ausführungsform können in einem Cache 3838 Befehle und Daten für den effizienten Zugriff durch die Grafikprozessoren 3831 (1)-3831 (N) gespeichert werden. In mindestens einer Ausführungsform werden die im Cache 3838 und in den Grafikspeichern 3833(1)-3833(M) gespeicherten Daten mit den Kern-Caches 3862A-3862D, 3856 und dem Systemspeicher 3814 kohärent gehalten, wobei möglichweise eine Abrufeinheit 3844 eingesetzt wird. Wie bereits erwähnt, kann dies über eine Proxy-Schaltung 3825 im Namen des Caches 3838 und der Speicher 3833(1)-3833(M) erfolgen (z. B. Senden von Aktualisierungen an den Cache 3838 im Zusammenhang mit Änderungen/Zugriffen auf Cache-Zeilen in den Prozessor-Caches 3862A-3862D, 3856 und Empfangen von Aktualisierungen vom Cache 3838).

In mindestens einer Ausführungsform speichert ein Satz von Registern 3845 Kontextdaten für Threads, die von Grafikverarbeitungsmaschinen 3831 (1)-3831 N) ausgeführt werden, und eine Kontextverwaltungsschaltung 3848 verwaltet Thread-Kontexte. Beispielsweise kann die Kontextverwaltungsschaltung 3848 Speicher- und Wiederherstellungsoperationen durchführen, um Kontexte verschiedener Threads während Kontextumschaltungen zu speichern und wiederherzustellen (z. B. wenn ein erster Thread gesichert und ein zweiter Thread gespeichert wird, damit ein zweiter Thread von einer Grafikverarbeitungsmaschine ausgeführt werden kann). Bei einer Kontextumschaltung kann die Kontextverwaltungsschaltung 3848 beispielsweise aktuelle Registerwerte in einem bestimmten Bereich im Speicher speichern (z. B. durch einen Kontextzeiger identifiziert). Die Registerwerte können dann bei der Rückkehr zu einem Kontext wiederhergestellt werden. In mindestens einer Ausführungsform empfängt und verarbeitet eine Unterbrechungsverwaltungsschaltung 3847 Unterbrechungen, die von Systemeinrichtungen empfangen werden.

In mindestens einer Ausführungsform werden virtuelle/effektive Adressen von einer Grafikverarbeitungsmaschine 3831 durch die MMU 3839 in reale/physische Adressen im Systemspeicher 3814 übersetzt. In mindestens einer Ausführungsform unterstützt der Beschleuniger-Integrationsschaltung 3836 mehrere (z. B. 4, 8, 16) Grafikbeschleunigermodule 3846 und/oder andere Beschleunigereinrichtungen. In mindestens einer Ausführungsform kann das Grafikbeschleunigermodul 3846 für eine einzelne Anwendung bestimmt sein, die auf dem Prozessor 3807 ausgeführt wird, oder es kann von mehreren Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform wird eine virtualisierte Grafikausführungsumgebung vorgestellt, in der die Ressourcen der Grafikprozessoren 3831(1)-3831(N) von mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Ressourcen in „Slices“ unterteilt sein, die verschiedenen VMs und/oder Anwendungen auf der Grundlage von Verarbeitungsanforderungen und Prioritäten, die mit VMs und/oder Anwendungen verbunden sind, zugewiesen werden.

In mindestens einer Ausführungsform fungiert eine Beschleuniger-Integrationsschaltung 3836 als Brücke zu einem System für das Grafikbeschleunigungsmodul 3846 und bietet Adressübersetzung und Systemspeicher-Cache-Dienste. Darüber hinaus kann in mindestens einer Ausführungsform die Beschleuniger-Integrationsschaltung 3836 Virtualisierungsfunktionen für einen Host-Prozessor bereitstellen, um die Virtualisierung der Grafikverarbeitungsmodule 3831(1)-3831(N), Interrupts und die Speicherverwaltung zu verwalten.

Da in mindestens einer Ausführungsform die Hardwareressourcen der Grafikprozessoren 3831(1)-3831(N) explizit auf einen realen Adressraum abgebildet werden, den der Host-Prozessor 3807 sieht, kann jeder Host-Prozessor diese Ressourcen direkt mit einem effektiven Adresswert adressieren. Eine Funktion der Beschleuniger-Integrationsschaltung 3836 ist in mindestens einer Ausführungsform die physische Trennung der Grafikverarbeitungsmaschinen 3831(1)-3831(N), so dass sie für ein System als unabhängige Einheiten erscheinen.

In mindestens einer Ausführungsform sind ein oder mehrere Grafikspeicher 3833(1)-3833(M) mit jeder der Grafikverarbeitungsmaschinen 3831(1)-3831(N) verbunden, und N=M. In mindestens einer Ausführungsform speichern die Grafikspeicher 3833(1)-3833(M) Anweisungen und Daten, die von jeder der Grafikverarbeitungsmaschinen 3831 (1)-3831 (N) verarbeitet werden. In mindestens einer Ausführungsform können die Grafikspeicher 3833(1)-3833(M) flüchtige Speicher wie DRAMs (einschließlich gestapelter DRAMs), GDDR-Speicher (z. B. GDDR5, GDDR6) oder HBM aufweisen und/oder können nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein.

In mindestens einer Ausführungsform können zur Verringerung des Datenverkehrs über die Hochgeschwindigkeitsverbindung 3840 Zuordnungs-Verfahren bzw. Biasing-Verfahren verwendet werden, um sicherzustellen, dass die in den Grafikspeichern 3833(1)-3833(M) gespeicherten Daten Daten sind, die am häufigsten von den Grafikverarbeitungsmaschinen 3831 (1)-3831 (N) verwendet werden und vorzugsweise nicht von den Kernen 3860A-3860D (zumindest nicht häufig) verwendet werden. In ähnlicher Weise versucht in mindestens einer Ausführungsform ein Zuordnungs-Mechanismus bzw. Biasing-Mechanismus, Daten, die von Kernen (und vorzugsweise nicht von den Grafikverarbeitungsmaschinen 3831 (1)-3831 (N)) benötigt werden, in den Caches 3862A-3862D, 3856 und im Systemspeicher 3814 zu halten.

38C zeigt eine weitere beispielhafte Ausführungsform, bei der die Beschleuniger-Integrationsschaltung 3836 in den Prozessor 3807 integriert ist. In dieser Ausführungsform kommunizieren die Grafikprozessoren 3831 (1)-3831(N) direkt über die Hochgeschwindigkeitsverbindung 3840 mit der Beschleuniger-Integrationsschaltung 3836 über die Schnittstelle 3837 und die Schnittstelle 3835 (die wiederum jede Form von Bus oder Schnittstellenprotokoll verwenden kann). In mindestens einer Ausführungsform kann die Beschleuniger-Integrationsschaltung 3836 ähnliche Operationen wie in 38B beschrieben durchführen, jedoch möglicherweise mit einem höheren Durchsatz, da sie sich in unmittelbarer Nähe zum Kohärenzbus 3864 und den Caches 3862A-3862D, 3856 befindet. In mindestens einer Ausführungsform unterstützt eine Beschleuniger-Integrationsschaltung verschiedene Programmiermodelle, einschließlich eines Programmiermodells für dedizierte Prozesse (ohne Virtualisierung des Grafikbeschleunigungsmoduls) und gemeinsam genutzter Programmiermodelle (mit Virtualisierung), die Programmiermodelle aufweisen können, die von der Beschleuniger-Integrationsschaltung 3836 gesteuert werden, und Programmiermodelle, die vom Grafikbeschleunigungsmodul 3846 gesteuert werden.

In mindestens einer Ausführungsform sind die Grafikverarbeitungsmaschinen 3831(1)-3831(N) für eine einzige Anwendung oder einen einzigen Prozess unter einem einzigen Betriebssystem bestimmt. In mindestens einer Ausführungsform kann eine einzelne Anwendung andere Anwendungsanforderungen an die Grafikverarbeitungsmaschinen 3831(1)-3831(N) weiterleiten, wodurch eine Virtualisierung innerhalb einer VM/Partition ermöglicht wird.

In mindestens einer Ausführungsform können die Grafikverarbeitungsmaschinen 3831(1)-3831(N), von mehreren VM-/Anwendungspartitionen gemeinsam genutzt werden. In mindestens einer Ausführungsform können gemeinsam genutzte Modelle einen Systemhypervisor verwenden, um die Grafikverarbeitungsmaschinen 3831(1)-3831(N) zu virtualisieren und den Zugriff durch jedes Betriebssystem zu ermöglichen. Bei Systemen mit einer einzigen Partition ohne Hypervisor gehören die Grafikprozessoren 3831(1)-3831(N) zu einem Betriebssystem. In mindestens einer Ausführungsform kann ein Betriebssystem die Grafikverarbeitungsmaschinen 3831(1)-3831(N) virtualisieren, um jedem Prozess oder jeder Anwendung Zugriff zu gewähren.

In mindestens einer Ausführungsform wählt das Grafikbeschleunigungsmodul 3846 oder eine einzelne Grafikverarbeitungsmaschine 3831(1)-3831(N) ein Prozesselement mithilfe eines Prozesshandles aus. In mindestens einer Ausführungsform werden Prozesselemente im Systemspeicher 3814 gespeichert und sind unter Verwendung einer Übersetzungstechnik von effektiver Adresse zu realer Adresse adressierbar, was hier beschrieben ist. In mindestens einer Ausführungsform kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Host-Prozess zur Verfügung gestellt wird, wenn er seinen Kontext bei der Grafikverarbeitungsmaschine 3831(1)-3831(N) registriert (d. h. wenn er die Systemsoftware aufruft, um ein Prozesselement zu einer verknüpften Prozesselementliste hinzuzufügen). In mindestens einer Ausführungsform können die unteren 16 Bits eines Prozesshandles ein Offset eines Prozesselements innerhalb einer verknüpften Prozesselementliste sein.

38D zeigt ein beispielhaftes Beschleuniger-Integrations-Slice 3890. In mindestens einer Ausführungsform umfasst ein „Slice“ einen bestimmten Abschnitt der Verarbeitungsressourcen der Beschleuniger-Integrationsschaltung 3836. In mindestens einer Ausführungsform ist eine Anwendung ein effektiver Anwendungsadressraum 3882 im Systemspeicher 3814, der Prozesselemente 3883 speichert. In mindestens einer Ausführungsform werden die Prozesselemente 3883 als Reaktion auf GPU-Aufrufe 3881 von Anwendungen 3880, die auf dem Prozessor 3807 ausgeführt werden, gespeichert. In mindestens einer Ausführungsform enthält ein Prozesselement 3883 den Prozessstatus für die entsprechende Anwendung 3880. In mindestens einer Ausführungsform kann ein im Prozesselement 3883 enthaltener Arbeitsdeskriptor (Work Descriptor (WD)) 3884 ein einzelner, von einer Anwendung angeforderter Job sein oder einen Zeiger auf eine Warteschlange von Jobs enthalten. In mindestens einer Ausführungsform ist der WD 3884 ein Zeiger auf eine Auftragsanforderungs-Warteschlange im effektiven Adressraum 3882 einer Anwendung.

In mindestens einer Ausführungsform können das Grafikbeschleunigungsmodul 3846 und/oder die einzelnen Grafikverarbeitungsmaschinen 3831(1)-3831(N) von allen oder einer Teilmenge der Prozesse in einem System gemeinsam genutzt werden. In mindestens einer Ausführungsform kann eine Infrastruktur zum Einrichten der Prozessstatus und zum Senden eines WD 3884 an ein Grafikbeschleunigungsmodul 3846 zum Starten eines Auftrags in einer virtualisierten Umgebung vorhanden sein.

In mindestens einer Ausführungsform ist ein Programmiermodell für dedizierte Prozesse implementierungsspezifisch. In mindestens einer Ausführungsform besitzt in diesem Modell ein einzelner Prozess das Grafikbeschleunigungsmodul 3846 oder eine einzelne Grafikverarbeitungsmaschine 3831. Wenn das Grafikbeschleunigungsmodul 3846 in mindestens einer Ausführungsform einem einzelnen Prozess gehört, initialisiert ein Hypervisor die Beschleuniger-Integrationsschaltung 3836 für eine besitzende Partition, und ein Betriebssystem initialisiert die Beschleuniger-Integrationsschaltung 3836 für einen besitzenden Prozess, wenn das Grafikbeschleunigungsmodul 3846 zugewiesen wird.

Im Betrieb holt eine WD-Abrufeinheit 3891 in dem Beschleuniger-Integrations-Slice 3890 in mindestens einer Ausführungsform den nächsten WD 3884 ab, der eine Angabe der Arbeit aufweist, die von einer oder mehreren Grafikverarbeitungsmaschinen des Grafikbeschleunigungsmoduls 3846 zu erledigen ist. In mindestens einer Ausführungsform können die Daten aus dem WD 3884 in Registern 3845 gespeichert und von der MMU 3839, der Unterbrechungsverwaltungsschaltung 3847 und/oder der Kontextverwaltungsschaltung 3848 verwendet werden, wie es dargestellt ist. Eine Ausführungsform der MMU 3839 weist beispielsweise eine Segment-/Seitenlaufschaltung für den Zugriff auf Segment-/Seitentabellen 3886 im virtuellen Adressraum 3885 des Betriebssystems auf. Die Unterbrechungsverwaltungsschaltung 3847 kann in mindestens einer Ausführungsform vom Grafikbeschleunigungsmodul 3846 empfangene Unterbrechungsereignisse 3892 verarbeiten. Bei der Durchführung von Grafikoperationen wird in mindestens einer Ausführungsform eine effektive Adresse 3893, die von einer Grafikverarbeitungsmaschine 3831(1)-3831(N) generiert wird, von der MMU 3839 in eine reale Adresse übersetzt.

In mindestens einer Ausführungsform werden für jede Grafikverarbeitungsmaschine 3831(1)-3831(N) und/oder jedes Grafikbeschleunigungsmodul 3846 Register 3845 dupliziert, die von einem Hypervisor oder Betriebssystem initialisiert werden können. Jedes dieser duplizierten Register kann in mindestens einer Ausführungsform in einem Beschleuniger-Integrations-Slice 3890 vorhanden sein. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, sind in Tabelle 1 aufgeführt. Tabelle 1-Vom Hypervisor initialisierte Register

Register #	Beschreibung
1	Slice-Steuerungsregister
2	Reale Adresse (RA) Bereichszeiger geplanter Prozesse
3	Autoritätsmasken-Überschreibungsregister
4	Unterbrechungsvektor-Tabelleneintrags-Offset
5	Unterbrechungsvektor-Tabelleneintragsgrenze
6	Statusregister
7	Logische Partitions-ID
8	Reale Adresse (RA) Hypervisor-Beschleuniger-Nutzungsdatensatzzeiger
9	Speicherbeschreibungsregister

Beispielhafte Register, die von einem Betriebssystem initialisiert werden können, sind in Tabelle 2 aufgeführt. Tabelle 2-lnitialisierte Register des Betriebssystems

Register #	Beschreibung
1	Prozess- und Thread-Identifikation
2	Effektive Adresse (EA) Kontext-Speicher/Wiederherstellungs-Zeiger
3	Virtuelle Adresse (VA) Beschleuniger-Nutzungsdatensatzzeiger
4	Virtuelle Adresse (VA) Zeiger auf die Speichersegmenttabelle
5	Autoritätsmaske
6	Arbeitsdeskriptor

In mindestens einer Ausführungsform ist jeder WD 3884 spezifisch für ein bestimmtes Grafikbeschleunigungsmodul 3846 und/oder die Grafikverarbeitungsmaschinen 3831(1)-3831(N). Er enthält in mindestens einer Ausführungsform alle Informationen, die von einer Grafikverarbeitungsmaschine 3831(1)-3831(N) benötigt werden, um Arbeit zu verrichten, oder er kann ein Zeiger auf einen Speicherplatz sein, an dem eine Anwendung eine Befehlswarteschlange von zu verrichtender Arbeit eingerichtet hat.

38E veranschaulicht zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsamen Modells. Diese Ausführungsform weist einen realen Hypervisor-Adressraum 3898 auf, in dem eine Prozesselementliste 3899 gespeichert ist. Auf den realen Hypervisor-Adressraum 3898 kann in mindestens einer Ausführungsform über einen Hypervisor 3896 zugegriffen werden, der Grafikbeschleunigungsmodul-Maschinen für das Betriebssystem 3895 virtualisiert.

In mindestens einer Ausführungsform erlauben gemeinsame Programmiermodelle allen oder einer Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System, ein Grafikbeschleunigungsmodul 3846 zu verwenden. Es gibt in mindestens einer Ausführungsform zwei Programmiermodelle, bei denen das Grafikbeschleunigungsmodul 3846 von mehreren Prozessen und Partitionen gemeinsam genutzt wird: nämlich zeitlich geteilte und grafisch gerichtete gemeinsame Nutzung.

Bei diesem Modell ist in mindestens einer Ausführungsform der System-Hypervisor 3896 Besitzer des Grafikbeschleunigungsmoduls 3846 und stellt seine Funktion allen Betriebssystemen 3895 zur Verfügung. Damit ein Grafikbeschleunigungsmodul 3846 die Virtualisierung durch den System-Hypervisor 3896 unterstützen kann, kann in mindestens einer Ausführungsform das Grafikbeschleunigungsmodul 3846 bestimmte Bedingungen erfüllen, wie z. B.: 1) Eine Auftragsanforderung einer Anwendung muss autonom sein (d. h. der Zustand muss zwischen den Aufträgen nicht aufrechterhalten werden), oder das Grafikbeschleunigungsmodul 3846 muss einen Mechanismus zur Kontextsicherung und -wiederherstellung bereitstellen. 2) Ein Grafikbeschleunigungsmodul 3846 garantiert, dass die Auftragsanforderung einer Anwendung in einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Grafikbeschleunigungsmodul 3846 bietet die Möglichkeit, die Verarbeitung eines Auftrags zu unterbrechen, und 3) dem Grafikbeschleunigungsmodul 3846 muss Fairness zwischen den Prozessen garantiert werden, wenn es in einem gerichteten gemeinsamen Programmiermodell arbeitet.

In mindestens einer Ausführungsform muss die Anwendung 3880 einen Systemaufruf des Betriebssystems 3895 mit einem Grafikbeschleunigungsmodultyp, einem Arbeitsdeskriptor (WD), einem AMR-Wert (Authority Mask Register) und einem CSRP-Zeiger (Context Save/Restore Area Pointer) ausführen. In mindestens einer Ausführungsform beschreibt der Typ des Grafikbeschleunigungsmoduls eine gezielte Beschleunigungsfunktion für einen Systemaufruf. In mindestens einer Ausführungsform kann der Typ des Grafikbeschleunigungsmoduls ein systemspezifischer Wert sein. In mindestens einer Ausführungsform ist der WD speziell für das Grafikbeschleunigungsmodul 3846 formatiert und kann in Form eines Befehls des Grafikbeschleunigungsmoduls 3846, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer anderen Datenstruktur vorliegen, die die vom Grafikbeschleunigungsmodul 3846 zu verrichtende Arbeit beschreibt.

In einer Ausführungsform ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. In mindestens einer Ausführungsform ähnelt ein an ein Betriebssystem übergebener Wert der Einstellung eines AMR durch eine Anwendung. Wenn die Implementierungen der Beschleuniger-Integrationsschaltung 3836 und des Grafikbeschleunigungsmoduls 3846 in mindestens einer Ausführungsform kein Benutzer-Autoritätsmasken-Überschreibungsregister (User Authority Mask Override Register (UAMOR)) unterstützen, kann ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor ein AMR in einem Hypervisor-Aufruf übergeben wird. Der Hypervisor 3896 kann in mindestens einer Ausführungsform optional einen aktuellen AMOR-Wert (Authority Mask Override Register) anwenden, bevor ein AMR in einem Prozesselement 3883 angeordnet wird. In mindestens einer Ausführungsform ist CSRP eines der Register 3845, die eine effektive Adresse eines Bereichs im effektiven Adressraum 3882 einer Anwendung für das Grafikbeschleunigungsmodul 3846 zur Speicherung und Wiederherstellung des Kontextstatus enthalten. Dieser Zeiger ist in mindestens einer Ausführungsform optional, wenn kein Zustand zwischen Aufträgen gespeichert werden muss oder wenn ein Auftrag vorzeitig beendet wird. In mindestens einer Ausführungsform kann der Kontextspeicher-/Wiederherstellungsbereich im Systemspeicher verankert sein.

Beim Empfang eines Systemaufrufs kann das Betriebssystem 3895 überprüfen, ob die Anwendung 3880 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 3846 erhalten hat. Das Betriebssystem 3895 ruft in mindestens einer Ausführungsform dann den Hypervisor 3896 mit den in Tabelle 3 dargestellten Informationen auf. Tabelle 3-Hypervisor-Aufrufparameter vom Betriebssystem

Parameter #	Beschribung
1	Ein Arbeitsdeskriptor (WD)
2	Ein Autoritätsmaskenregister- (AMR)-Wert (möglicherweise maskiert)
3	Eine effektive Adresse (EA) Kontext-Sicherungs-/Wiederherstellungs-Bereichszeigers (CSRP)
4	Eine Prozess-ID (PID) und optional eine Thread-ID (TID)
5	Eine virtuelle Adresse (VA) Beschleuniger-Nutzungsdatensatzzeiger (AURP)
6	Virtuelle Adresse eines Speichersegmenttabellenzeigers (SSTP)
7	Eine logische Interrupt-Service-Nummer (LISN)

Beim Empfang eines Hypervisor-Aufrufs überprüft in mindestens einer Ausführungsform der Hypervisor 3896, ob das Betriebssystem 3895 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 3846 erhalten hat. Der Hypervisor 3896 setzt in mindestens einer Ausführungsform dann das Prozesselement 3883 in eine verknüpfte Prozesselementliste für einen entsprechenden Grafikbeschleunigungsmodultyp 3846. Ein Prozesselement kann in mindestens einer Ausführungsform die in Tabelle 4 dargestellten Informationen aufweisen. Tabelle 4 -Prozesselementinformation

Parameter #	Beschreibung
1	Ein Arbeitsdeskriptor (WD)
2	Ein Autoritätsmaskenregister- (AMR)-Wert (möglicherweise maskiert)
3	Eine effektive Adresse (EA) Kontext-Sicherungs-/Wiederherstellungs-Bereichszeigers (CSRP)
4	Eine Prozess-ID (PID) und optional eine Thread-ID (TID)
5	Eine virtuelle Adresse (VA) Beschleuniger-Nutzungsdatensatzzeiger (AURP)
6	Virtuelle Adresse eines Speichersegmenttabellenzeigers (SSTP)
7	Eine logische Interrupt-Service-Nummer (LISN)
8	Unterbrechungsvektortabelle, abgeleitet von Hypervisor-Aufrufparametern
9	Ein Statusregister- (SR-) Wert
10	Eine logische Partitions-ID (LPID)
11	Reale Adresse (RA) Hypervisor-Beschleuniger-Nutzungsdatensatzzeiger
12	Speicherbeschreibungsregister (SDR)

In mindestens einer Ausführungsform initialisiert der Hypervisor eine Vielzahl von Registern 3845 für Beschleuniger-Integrations-Slices 3890.

Wie es in 38F dargestellt ist, wird in mindestens einer Ausführungsform ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 3801(1)-3801(N) und GPU-Speicher 3820(1)-3820(N) verwendet wird. Bei dieser Implementierung verwenden die auf den GPUs 3810(1)-3810(N) ausgeführten Operationen denselben virtuellen/effektiven Speicheradressraum für den Zugriff auf die Prozessorspeicher 3801(1)-3801(M) und umgekehrt, was die Programmierbarkeit vereinfacht. In mindestens einer Ausführungsform wird ein erster Abschnitt eines virtuellen/effektiven Adressraums dem Prozessorspeicher 3801 (1) zugewiesen, ein zweiter Abschnitt dem zweiten Prozessorspeicher 3801(N), ein dritter Abschnitt dem GPU-Speicher 3820(1) usw. In mindestens einer Ausführungsform wird dadurch ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 3801 und GPU-Speicher 3820 verteilt, wodurch jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer diesem Speicher zugeordneten virtuellen Adresse zugreifen kann.

In mindestens einer Ausführungsform stellt die Bias/Kohärenz-Management-Schaltung 3894A-3894E innerhalb einer oder mehrerer MMUs 3839A-3839E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Host-Prozessoren (z. B. 3805) und GPUs 3810 sicher und implementiert Biasing-Verfahren, die angeben, in welchen physischen Speichern bestimmte Datentypen gespeichert werden sollen. Während in mindestens einer Ausführungsform mehrere Instanzen der Bias/Kohärenz-Management-Schaltung 3894A-3894E in 38F dargestellt sind, kann die Bias/Kohärenz-Schaltung innerhalb einer MMU eines oder mehrerer Host-Prozessoren 3805 und/oder innerhalb der Beschleuniger-Integrationsschaltung 3836 implementiert sein.

Eine Ausführungsform ermöglicht es, dass GPU-Speicher 3820 als Teil des Systemspeichers abgebildet ist und dass auf ihn unter Verwendung der SVM-Technologie (Shared Virtual Memory) zugegriffen wird, ohne jedoch Leistungsnachteile zu erleiden, die mit einer vollständigen System-Cache-Kohärenz verbunden sind. In mindestens einer Ausführungsform bietet die Möglichkeit des Zugriffs auf die GPU- Speicher 3820 als Systemspeicher ohne lästigen Cache-Kohärenz-Overhead eine vorteilhafte Betriebsumgebung für GPU-Offload. Diese Anordnung ermöglicht es der Software des Host-Prozessors 3805 bei mindestens einer Ausführungsform, Operanden einzustellen und auf Berechnungsergebnisse zuzugreifen, ohne den Overhead herkömmlicher I/O-DMA-Datenkopien. Solche herkömmlichen Kopien beinhalten in mindestens einer Ausführungsform Treiberaufrufe, Unterbrechungen und speicherabbildende I/O- (MMIO-) Zugriffe, die alle im Vergleich zu einfachen Speicherzugriffen ineffizient sind. In mindestens einer Ausführungsform kann die Fähigkeit, ohne Cache-Kohärenz-Overheads auf die GPU Speicher 3820 zuzugreifen, für die Ausführungszeit einer ausgelagerten Berechnung entscheidend sein. In Fällen mit erheblichem Streaming-Schreibspeicherverkehr kann in mindestens einer Ausführungsform der Cache-Kohärenz-Overhead beispielsweise die effektive Schreibbandbreite einer GPU 3810 erheblich reduzieren. In mindestens einer Ausführungsform können die Effizienz des Operanden-Setups, die Effizienz des Ergebniszugriffs und die Effizienz der GPU-Berechnung eine Rolle bei der Bestimmung der Effektivität eines GPU-Offloads spielen.

In mindestens einer Ausführungsform wird die Auswahl eines GPU-Bias und eines Host-Prozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. Es kann in mindestens einer Ausführungsform z. B. eine Bias-Tabelle verwendet werden, die eine seitengranulare Struktur sein kann (d. h. mit der Granularität einer Speicherseite gesteuert), die 1 oder 2 Bits pro GPU-angeschlossene Speicherseite aufweist. In mindestens einer Ausführungsform kann eine Bias-Tabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU- Speicher 3820 implementiert sein, mit oder ohne Bias-Cache in einer GPU 3810 (z. B. um häufig/kürzlich verwendete Einträge einer Bias-Tabelle zu cachen). Alternativ dazu kann in mindestens einer Ausführungsform eine gesamte Bias-Tabelle in einer GPU verwaltet werden.

In mindestens einer Ausführungsform wird vor dem tatsächlichen Zugriff auf einen GPU-Speicher auf einen Bias-Tabelleneintrag zugegriffen, der jedem Zugriff auf den GPU-Speicher 3820 zugeordnet ist, was die folgenden Vorgänge bewirkt. Zunächst werden in mindestens einer Ausführungsform lokale Anfragen von GPU 3810, die ihre Seite im GPU-Bias finden, direkt an einen entsprechenden GPU-Speicher 3820 weitergeleitet. In mindestens einer Ausführungsform werden lokale Anfragen von einer GPU, die ihre Seite im Host-Bias finden, an den Prozessor 3805 weitergeleitet (z. B. über eine Hochgeschwindigkeitsverbindung). In mindestens einer Ausführungsform werden Anfragen vom Prozessor 3805, die eine angeforderte Seite im Host-Prozessor-Bias finden, wie ein normaler Speicherlesezugriff abgeschlossen. Alternativ können Anforderungen, die an eine GPU-biased Seite gerichtet sind, an die GPU 3810 weitergeleitet werden. In mindestens einer Ausführungsform kann eine GPU dann eine Seite in einen Host-Prozessor-Bias überführen, wenn sie die Seite gerade nicht verwendet. In mindestens einer Ausführungsform kann der Bias-Zustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwareunterstützten softwarebasierten Mechanismus oder, für eine begrenzte Anzahl von Fällen, einen rein hardwarebasierten Mechanismus geändert werden.

Ein Mechanismus zum Ändern des Bias-Zustands verwendet in mindestens einer Ausführungsform einen API-Aufruf (z. B. OpenCL), der wiederum den Einrichtungstreiber einer GPU aufruft, der wiederum eine Nachricht an eine GPU sendet (oder einen Befehlsdeskriptor in die Warteschlange stellt), um sie anzuweisen, einen Bias-Zustand zu ändern und für einige Übergänge einen Cache-Flushing-Vorgang in einem Host durchzuführen. In mindestens einer Ausführungsform wird die Cache-Flushing-Operation für einen Übergang von dem Bias des Host-Prozessors 3805 zum Bias der GPU verwendet, aber nicht für einen entgegengesetzten Übergang.

In mindestens einer Ausführungsform wird die Cache-Kohärenz aufrechterhalten, indem GPU-gebundene Seiten vorübergehend gerendert werden, die vom Host-Prozessor 3805 nicht gecacht werden können. Um in mindestens einer Ausführungsform auf diese Seiten zuzugreifen, kann der Prozessor 3805 den Zugriff von der GPU 3810 anfordern, die den Zugriff möglicherweise nicht sofort gewährt. Um in mindestens einer Ausführungsform die Kommunikation zwischen dem Prozessor 3805 und der GPU 3810 zu reduzieren, ist es daher vorteilhaft, sicherzustellen, dass GPU-gebundene Seiten diejenigen sind, die von einer GPU, aber nicht vom Host-Prozessor 3805 benötigt werden, und umgekehrt.

Hardware-Struktur(en) 3015 werden verwendet, um eine oder mehrere Ausführungsformen auszuführen. Einzelheiten zu der/den Hardwarestruktur(en) 3015 können hier in Verbindung mit den 30A und/oder 30B angegeben werden.

39 zeigt beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne gemäß verschiedenen hier beschriebenen Ausführungsformen hergestellt werden können. Zusätzlich zu den dargestellten Schaltungen können in mindestens einer Ausführungsform weitere Logik und Schaltkreise vorhanden sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Steuerungen für periphere Schnittstellen oder Allzweck-Prozessorkerne.

39 ist ein Blockdiagramm, das eine beispielhafte integrierte Schaltung 3900 mit einem System auf einem Chip darstellt, die unter Verwendung eines oder mehrerer IP-Kerne gemäß mindestens einer Ausführungsform hergestellt werden kann. In mindestens einer Ausführungsform weist die integrierte Schaltung 3900 einen oder mehrere Anwendungsprozessor(en) 3905 (z. B. CPUs), mindestens einen Grafikprozessor 3910 auf und kann zusätzlich einen Bildprozessor 3915 und/oder einen Videoprozessor 3920 aufweisen, von denen jeder ein modularer IP-Kern sein kann. In mindestens einer Ausführungsform weist die integrierte Schaltung 3900 eine Peripherie- oder Buslogik auf, darunter eine USB-Steuerung 3925, eine UART-Steuerung 3930, eine SPI/SDIO-Steuerung 3935 und eine I²2S/I²2C-Steuerung 3940. In mindestens einer Ausführungsform kann die integrierte Schaltung 3900 eine Anzeigeeinrichtung 3945 aufweisen, die mit einer oder mehreren HDMI-(High-Definition Multimedia Interface-) Steuerungen 3950 und einer MIPI- (Mobile Industry Processor Interface-) Anzeigenschnittstelle 3955 verbunden ist. In mindestens einer Ausführungsform kann der Speicher durch ein Flash-Speicher-Subsystem 3960 bereitgestellt sein, das einen Flash-Speicher und eine Flash-Speicher-Steuerung aufweist. In mindestens einer Ausführungsform kann die Speicherschnittstelle über eine Speichersteuerung 3965 für den Zugriff auf SDRAM- oder SRAM-Speichereinrichtungen bereitgestellt sein. In mindestens einer Ausführungsform weisen einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Maschine 3970 auf.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in der integrierten Schaltung 3900 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 39 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird die integrierte Schaltung 3900 aus 39 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

40A und 40B zeigen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne gemäß verschiedenen Ausführungsformen, wie sie hier beschrieben sind, hergestellt werden können. Zusätzlich zu den dargestellten Schaltungen können in mindestens einer Ausführungsform weitere Logik und Schaltungen vorhanden sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Steuerungen für periphere Schnittstellen oder Allzweck-Prozessorkerne.

40A und 40B sind Blockdiagramme, die beispielhafte Grafikprozessoren zur Verwendung in einem SoC gemäß den hier beschriebenen Ausführungsformen zeigen. 40A zeigt einen beispielhaften Grafikprozessor 4010 einer integrierten Schaltung mit einem System auf einem Chip, die gemäß mindestens einer Ausführungsform mittels eines oder mehrerer IP-Kerne hergestellt sein kann. 40B stellt einen zusätzlichen beispielhaften Grafikprozessor 4040 einer integrierten Schaltung mit einem System auf einem Chip dar, die gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann. 40B zeigt einen weiteren beispielhaften Grafikprozessor 4040 einer integrierten Schaltung mit einem System auf einem Chip, die gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Kerne hergestellt sein kann. In mindestens einer Ausführungsform ist der Grafikprozessor 4010 aus 40A ein stromsparender Grafikprozessorkern. In mindestens einer Ausführungsform ist der Grafikprozessor 4040 aus 40B ein Grafikprozessorkern mit höherer Leistung. In mindestens einer Ausführungsform kann jeder der Grafikprozessoren 4010, 4040 eine Variante des Grafikprozessors 3910 aus 39 sein.

In mindestens einer Ausführungsform weist der Grafikprozessor 4010 einen Vertex-prozessor 4005 und einen oder mehrere Fragmentprozessor(en) 4015A-4015N auf (z. B. 4015A, 4015B, 4015C, 4015D bis 4015N-1 und 4015N). In mindestens einer Ausführungsform kann der Grafikprozessor 4010 verschiedene Shader-Programme über eine separate Logik ausführen, so dass der Vertex-Prozessor 4005 für die Ausführung von Operationen für Vertex-Shader-Programme optimiert ist, während ein oder mehrere Fragment-Prozessor(en) 4015A-4015N Fragment- (z. B. Pixel-) Shading-Operationen für Fragment- oder Pixel-Shader-Programme ausführen. In mindestens einer Ausführungsform führt der Vertex-Prozessor 4005 eine Vertex-Verarbeitungsstufe einer 3D-Grafikpipeline durch und generiert Primitives und Vertex-Daten. In mindestens einer Ausführungsform verwenden die Fragmentprozessoren 4015A-4015N die vom Vertex-Prozessor 4005 generierten Primitiv- und Vertex-Daten, um einen Bildpuffer zu erzeugen, der auf einer Anzeigeeinrichtung angezeigt wird. In mindestens einer Ausführungsform ist/sind der/die Fragmentprozessor(en) 4015A-4015N für die Ausführung von Fragment-Shader-Programmen optimiert, wie sie in einer OpenGL-API vorgesehen sind, die verwendet werden können, um ähnliche Operationen wie ein Pixel-Shader-Programm durchzuführen, wie sie in einer Direct 3D-API vorgesehen sind.

In mindestens einer Ausführungsform weist der Grafikprozessor4010 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 4020A-4020B, einen oder mehrere Cache(s) 4025A-4025B und eine oder mehrere Schaltungsverbindungen 4030A-4030B auf. In mindestens einer Ausführungsform sorgen eine oder mehrere MMU(s) 4020A-4020B für die Zuordnung von virtuellen zu physischen Adressen für den Grafikprozessor 4010, einschließlich für den Vertex-Prozessor 4005 und/oder den/die Fragmentprozessor(en) 4015A-4015N, der/die zusätzlich zu den in einem oder mehreren Cache(s) 4025A-4025B gespeicherten Vertex- oder Bild-/Texturdaten auf im Speicher gespeicherte Vertex- oder Bild-/Texturdaten verweisen kann/können. In mindestens einer Ausführungsform kann eine oder können mehrere MMU(s) 4020A-4020B mit anderen MMUs innerhalb des Systems synchronisiert werden, einschließlich einer oder mehrerer MMUs, die einem oder mehreren Anwendungsprozessoren 3905, Bildprozessoren 3915 und/oder Videoprozessoren 3920 aus 39 zugeordnet sind, so dass sich jeder Prozessor 3905-3920 an einem gemeinsamen oder vereinheitlichten virtuellen Speichersystem beteiligen kann. In mindestens einer Ausführungsform ermöglichen eine oder mehrere Schaltungsverbindung(en) 4030A-4030B dem Grafikprozessor 4010 die Verbindung mit anderen IP-Kernen innerhalb des SoC, entweder über einen internen Bus des SoC oder über eine direkte Verbindung.

In mindestens einer Ausführungsform weist der Grafikprozessor 4040 einen oder mehrere Shader-Kern(e) 4055A-4055N auf (z. B. 4055A, 4055B, 4055C, 4055D, 4055E, 4055F bis 4055N-1 und 4055N), wie es in 40B dargestellt ist, was eine einheitliche Shader-Kern-Architektur ermöglicht, bei der ein einziger Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Compute-Shadern. In mindestens einer Ausführungsform kann die Anzahl der Shader-Kerne variieren. In mindestens einer Ausführungsform weist der Grafikprozessor 4040 einen Inter-Core-Task-Manager 4045 auf, der als Thread-Dispatcher fungiert, um Ausführungs-Threads an einen oder mehrere Shader-Kerne 4055A-4055N und eine Tiling-Einheit 4058 zu verteilen, um Tiling-Operationen für kachelbasiertes Rendering zu beschleunigen, bei denen Rendering-Operationen für eine Szene im Bildraum unterteilt sind, um beispielsweise eine lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Nutzung interner Caches zu optimieren.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in der integrierten Schaltung 40A und/oder 40B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 40A und/oder 40B gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform werden/wird der Grafikprozessor 4010 aus 40A und/oder der Grafikprozessor 4040 aus 40B eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

41A und 41B illustrieren eine zusätzliche beispielhafte Grafikprozessorlogik gemäß den hier beschriebenen Ausführungsformen. 41A zeigt einen Grafikkern 4100, der in mindestens einer Ausführungsform im Grafikprozessor 3910 aus 39 vorhanden sein kann und in mindestens einer Ausführungsform ein einheitlicher Shader-Kern 4055A-4055N wie in 40B sein kann. 41B veranschaulicht eine hochparallele Mehrzweck-Grafikverarbeitungseinheit („GPGPU“) 4130, die in mindestens einer Ausführungsform für den Einsatz auf einem Multi-Chip-Modul geeignet ist.

In mindestens einer Ausführungsform weist der Grafikkern 4100 einen gemeinsam genutzten Befehlscache 4102, eine Textureinheit 4118 und einen Cache/gemeinsamen Speicher 4120 auf, die den Ausführungsressourcen innerhalb des Grafikkerns 4100 gemeinsam sind. In mindestens einer Ausführungsform kann der Grafikkern 4100 mehrere Slices 4101A-4101N oder Partitionen für jeden Kern aufweisen, und ein Grafikprozessor kann mehrere Instanzen des Grafikkerns 4100 aufweisen. Die Slices 4101A-4101N können in mindestens einer Ausführungsform eine Unterstützungslogik aufweisen, die einen lokalen Befehlscache 4104A-4104N, einen Thread-Scheduler 4106A-4106N, einen Thread-Dispatcher4108A-4108N und einen Satz von Registern 4110A-4110N umfasst. In mindestens einer Ausführungsform können die Slices 4101A-4101N einen Satz zusätzlicher Funktionseinheiten (AFUs 4112A-4112N), Gleitkommaeinheiten (FPUs 4114A-4114N), ganzzahlige arithmetische Logikeinheiten (ALUs 4116A-4116N), Adressberechnungseinheiten (ACUs 4113A-4113N), doppeltgenaue Gleitkommaeinheiten (DPFPUs 4115A-4115N) und Matrixverarbeitungseinheiten (MPUs 4117A-4117N) aufweisen.

In mindestens einer Ausführungsform können die FPUs 4114A-4114N Gleitkommaoperationen mit einfacher Genauigkeit (32 Bit) und halber Genauigkeit (16 Bit) durchführen, während die DPFPUs 4115A-4115N Gleitkommaoperationen mit doppelter Genauigkeit (64 Bit) durchführen. In mindestens einer Ausführungsform können die ALUs 4116A-4116N Integer-Operationen mit variabler Präzision bei 8-Bit-, 16-Bit- und 32-Bit-Präzision durchführen und für Operationen mit gemischter Präzision ausgestaltet sein. In mindestens einer Ausführungsform können die MPUs 4117A-4117N auch für Matrixoperationen mit gemischter Genauigkeit ausgestaltet sein, die Gleitkomma- und 8-Bit-Ganzzahloperationen mit halber Genauigkeit aufweisen. In mindestens einer Ausführungsform können die MPUs 4117-4117N eine Vielzahl von Matrixoperationen durchführen, um Anwendungsrahmen für maschinelles Lernen zu beschleunigen, einschließlich der Unterstützung für eine beschleunigte allgemeine Matrix-Matrix-Multiplikation (GEMM). In mindestens einer Ausführungsform können die AFUs 4112A-4112N zusätzliche logische Operationen durchführen, die von Gleitkomma- oder Ganzzahl-Einheiten nicht unterstützt werden, einschließlich trigonometrischer Operationen (z. B. Sinus, Cosinus usw.).

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem Grafikkern 4100 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 41A gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Grafikkern 4100 aus 41A eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

41B veranschaulicht eine Universalverarbeitungseinheit (GPGPU) 4130, die in mindestens einer Ausführungsform so ausgestaltet sein kann, dass sie hochparallele Rechenoperationen durch ein Array von Grafikverarbeitungseinheiten ausführen kann. In mindestens einer Ausführungsform kann die GPGPU 4130 direkt mit anderen Instanzen der GPGPU 4130 verbunden sein, um einen Multi-GPU-Cluster zu bilden und die Trainingsgeschwindigkeit für tiefe neuronale Netze zu verbessern. In mindestens einer Ausführungsform weist die GPGPU 4130 eine Host-Schnittstelle 4132 auf, um eine Verbindung mit einem Host-Prozessor zu ermöglichen. In mindestens einer Ausführungsform handelt es sich bei der Host-Schnittstelle 4132 um eine PCI-Express-Schnittstelle. In mindestens einer Ausführungsform kann es sich bei der Host-Schnittstelle 4132 um eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur handeln. In mindestens einer Ausführungsform empfängt die GPGPU 4130 Befehle von einem Host-Prozessor und verwendet einen globalen Scheduler 4134, um die mit diesen Befehlen verbundenen Ausführungsthreads auf eine Reihe von Compute-Clustern 4136A-4136H zu verteilen. In mindestens einer Ausführungsform teilen sich die Compute-Cluster 4136A-4136H einen Cache-Speicher 4138. In mindestens einer Ausführungsform kann der Cache-Speicher 4138 als übergeordneter Cache für Cache-Speicher innerhalb von Compute-Clustern 4136A-4136H dienen.

In mindestens einer Ausführungsform weist die GPGPU 4130 einen Speicher4144A-4144B auf, der über eine Reihe von Speichersteuerungen 4142A-4142B mit Compute-Clustern 4136A-4136H gekoppelt ist. In mindestens einer Ausführungsform kann der Speicher 4144A-4144B verschiedene Arten von Speichereinrichtungen aufweisen, einschließlich dynamischer Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchroner Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR).

In mindestens einer Ausführungsform weisen die Compute-Cluster 4136A-4136H jeweils einen Satz von Grafikkernen auf, wie z. B. den Grafikkern 4100 aus 41A, der mehrere Arten von Ganzzahl- und Gleitkomma-Logikeinheiten aufweisen kann, die Rechenoperationen mit einer Reihe von Genauigkeiten durchführen können, die auch für Berechnungen zum maschinellen Lernen geeignet sind. Zum Beispiel kann in mindestens einer Ausführungsform mindestens eine Teilmenge von Gleitkommaeinheiten in jedem der Compute-Cluster 4136A-4136H so ausgestaltet sein, dass sie 16-Bit- oder 32-Bit-Gleitkommaoperationen durchführen, während eine andere Teilmenge von Gleitkommaeinheiten so ausgestaltet sein kann, dass sie 64-Bit-Gleitkommaoperationen durchführen kann.

In mindestens einer Ausführungsform können mehrere Instanzen der GPGPU 4130 für den Betrieb als ein Compute-Cluster ausgestaltet sein. In mindestens einer Ausführungsform variiert die von den Compute-Clustern 4136A-4136H für die Synchronisation und den Datenaustausch verwendete Kommunikation zwischen den Ausführungsformen. In mindestens einer Ausführungsform kommunizieren mehrere Instanzen der GPGPU 4130 über die Host-Schnittstelle 4132. In mindestens einer Ausführungsform weist die GPGPU 4130 einen I/O-Hub 4139 auf, der die GPGPU 4130 mit einem GPU-Link 4140 koppelt, der eine direkte Verbindung zu anderen Instanzen der GPGPU 4130 ermöglicht. In mindestens einer Ausführungsform ist die GPU-Verbindung 4140 mit einer dedizierten GPU-zu-GPU-Brücke gekoppelt, die die Kommunikation und Synchronisation zwischen mehreren Instanzen der GPGPU 4130 ermöglicht. In mindestens einer Ausführungsform ist der GPU-Link 4140 mit einer Hochgeschwindigkeits-Verbindung gekoppelt, um Daten an andere GPGPUs oder Parallelprozessoren zu senden und zu empfangen. In mindestens einer Ausführungsform befinden sich mehrere Instanzen der GPGPU 4130 in getrennten Datenverarbeitungssystemen und kommunizieren über eine Netzwerkeinrichtung, die über die Host-Schnittstelle 4132 zugänglich ist. In mindestens einer Ausführungsform kann die GPU-Verbindung 4140 so ausgestaltet sein, dass sie zusätzlich oder alternativ zur Hostschnittstelle 4132 eine Verbindung zu einem Hostprozessor ermöglicht.

In mindestens einer Ausführungsform kann die GPGPU 4130 so ausgestaltet sein, dass sie neuronale Netze trainiert. In mindestens einer Ausführungsform kann die GPGPU 4130 innerhalb einer Inferenzierungs-Plattform verwendet werden. Bei mindestens einer Ausführungsform, bei der die GPGPU 4130 für Inferenzierung verwendet wird, kann die GPGPU 4130 weniger Compute-Cluster 4136A-4136H aufweisen, als wenn die GPGPU 4130 zum Training eines neuronalen Netzes verwendet wird. In mindestens einer Ausführungsform kann sich die mit dem Speicher 4144A-4144B verbundene Speichertechnologie zwischen Inferenzierungs- und Trainingskonfigurationen unterscheiden, wobei den Trainingskonfigurationen Speichertechnologien mit höherer Bandbreite zugewiesen werden. In mindestens einer Ausführungsform kann die Inferenzierungs-Konfiguration der GPGPU 4130 Inferenzierungs-spezifische Anweisungen unterstützen. Zum Beispiel kann in mindestens einer Ausführungsform eine Inferenzierungs-Konfiguration Unterstützung für eine oder mehrere 8-Bit-Ganzzahl-Punktprodukt-Anweisungen bieten, die während Inferenzierungs-Operationen für eingesetzte neuronale Netze verwendet werden können.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in der GPGPU 4130 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 41B gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird die GPGPU 4130 aus 41B eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

42 ist ein Blockdiagramm, das ein Rechensystem 4200 gemäß mindestens einer Ausführungsform zeigt. In mindestens einer Ausführungsform weist das Rechensystem 4200 ein Verarbeitungsteilsystem 4201 mit einem oder mehreren Prozessor(en) 4202 und einem Systemspeicher 4204 auf, die über einen Verbindungspfad kommunizieren, der einen Speicher-Hub 4205 aufweisen kann. In mindestens einer Ausführungsform kann der Speicher-Hub 4205 eine separate Komponente innerhalb einer Chipsatzkomponente sein oder in einen oder mehrere Prozessor(en) 4202 integriert sein. In mindestens einer Ausführungsform ist der Speicher-Hub 4205 über eine Kommunikationsverbindung 4206 mit einem I/O-Subsystem 4211 verbunden. In mindestens einer Ausführungsform weist das I/O-Subsystem 4211 einen I/O-Hub 4207 auf, der es dem Rechensystem 4200 ermöglicht, Eingaben von einer oder mehreren Eingabeeinrichtung(en) 4208 zu empfangen. In mindestens einer Ausführungsform kann der I/O-Hub 4207 eine Anzeigesteuerung, die in einem oder mehreren Prozessor(en) 4202 enthalten sein kann, in die Lage versetzen, Ausgaben an eine oder mehrere Anzeigeeinrichtung(en) 4210A zu liefern. In mindestens einer Ausführungsform kann eine oder mehrere mit dem I/O-Hub 4207 gekoppelte Anzeigevorrichtung(en) 4210A eine lokale, interne oder eingebettete Anzeigevorrichtung aufweisen.

In mindestens einer Ausführungsform weist das Verarbeitungssubsystem 4201 einen oder mehrere parallele(n) Prozessor(en) 4212 auf, die über einen Bus oder eine andere Kommunikationsverbindung 4213 mit dem Speicher-Hub 4205 verbunden sind. In mindestens einer Ausführungsform kann es sich bei der Kommunikationsverbindung 4213 um eine beliebige Anzahl von standardbasierten Kommunikationsverbindungstechnologien oder - protokollen handeln, wie z. B. PCI Express, ist aber nicht darauf beschränkt, oder um eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur. In mindestens einer Ausführungsform bilden einige oder alle der parallelen Prozessoren 4212 ein rechnerisch fokussiertes Parallel- oder Vektorverarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern aufweisen kann, wie z. B. einen MIC-Prozessor (Many Integrated Core). In mindestens einer Ausführungsform bilden ein oder mehrere parallele(r) Prozessor(en) 4212 ein Grafikverarbeitungs-Subsystem, das Pixel an eine oder mehrere über den I/O-Hub 4207 gekoppelte Anzeigeeinrichtung(en) 4210A ausgeben kann. In mindestens einer Ausführungsform kann ein oder können mehrere Parallelprozessor(en) 4212 auch eine Anzeigesteuerung und eine Anzeigeschnittstelle (nicht gezeigt) aufweisen, um eine direkte Verbindung mit einer oder mehreren Anzeigeeinrichtung(en) 4210B zu ermöglichen.

In mindestens einer Ausführungsform kann eine Systemspeichereinheit 4214 mit dem I/O-Hub 4207 verbunden sein, um einen Speichermechanismus für das Computersystem 4200 bereitzustellen. In mindestens einer Ausführungsform kann ein I/O-Switch 4216 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, um Verbindungen zwischen dem I/O-Hub 4207 und anderen Komponenten zu ermöglichen, wie z. B. einem Netzwerkadapter 4218 und/oder einem drahtlosen Netzwerkadapter 4219, der in die Plattform integriert sein kann, und verschiedenen anderen Einrichtungen, die über eine oder mehrere Add-in-Einrichtung(en) 4220 hinzugefügt werden können. In mindestens einer Ausführungsform kann der Netzwerkadapter 4218 ein Ethernet-Adapter oder ein anderer kabelgebundener Netzwerkadapter sein. In mindestens einer Ausführungsform kann der drahtlose Netzwerkadapter 4219 eine oder mehrere Wi-Fi-, Bluetooth-, Near Field Communication (NFC)- oder andere Netzwerkeinrichtungen aufweisen, die ein oder mehrere drahtlose Funkgeräte enthalten.

In mindestens einer Ausführungsform kann das Rechensystem 4200 andere, nicht explizit dargestellte Komponenten aufweisen, einschließlich USB- oder andere Anschlüsse, optische Speicherlaufwerke, Videoaufnahmegeräte und dergleichen, die ebenfalls mit dem I/O-Hub 4207 verbunden sein können. In mindestens einer Ausführungsform können Kommunikationspfade, die verschiedene Komponenten in 42 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle implementiert sein, wie z. B. PCI (Peripheral Component Interconnect)-basierte Protokolle (z. B. PCI-Express) oder andere Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder Protokolle, wie z. B. NV-Link High-Speed-Interconnect oder Interconnect-Protokolle.

In mindestens einer Ausführungsform weisen ein oder mehrere Parallelprozessor(en) 4212 eine für die Grafik- und Videoverarbeitung optimierte Schaltung auf, die beispielsweise eine Videoausgangsschaltung umfasst und eine Grafikverarbeitungseinheit (GPU) darstellt. In mindestens einer Ausführungsform enthalten ein oder mehrere Parallelprozessoren) 4212 Schaltkreise, die für die allgemeine Verarbeitung optimiert sind. In mindestens einer Ausführungsform können Komponenten des Rechensystems 4200 mit einem oder mehreren anderen Systemelementen auf einem einzigen integrierten Schaltkreis integriert sein. Beispielsweise können in mindestens einer Ausführungsform ein oder mehrere parallele(r) Prozessor(en) 4212, ein Speicher-Hub 4205, ein Prozessor(en) 4202 und ein I/O-Hub 4207 in einer integrierten Schaltung mit einem System mit einem System auf einem Chip (SoC) integriert sein. In mindestens einer Ausführungsform können die Komponenten des Rechnersystems 4200 in einem einzigen Gehäuse integriert sein, um eine System-in-Package-Konfiguration (SIP) auszugestalten. In mindestens einer Ausführungsform kann mindestens ein Abschnitt der Komponenten des Rechensystems 4200 in ein Multi-Chip-Modul (MCM) integriert sein, das mit anderen Multi-Chip-Modulen zu einem modularen Rechensystem zusammengeschaltet sein kann.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem System 4200 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 42 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird das System 4200 aus 42 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

PROZESSOREN

43A veranschaulicht einen Parallelprozessor 4300 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können verschiedene Komponenten des Parallelprozessors 4300 unter Verwendung einer oder mehrerer integrierter Schaltungseinrichtungen, wie z. B. programmierbare Prozessoren, anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), implementiert werden. In mindestens einer Ausführungsform ist der dargestellte Parallelprozessor 4300 eine Variante eines oder mehrerer Parallelprozessoren 4212, die in 42 gemäß einer beispielhaften Ausführungsform dargestellt sind.

In mindestens einer Ausführungsform weist der Parallelprozessor 4300 eine Parallelverarbeitungseinheit 4302 auf. In mindestens einer Ausführungsform weist die Parallelverarbeitungseinheit 4302 eine I/O-Einheit 4304 auf, die die Kommunikation mit anderen Einrichtungen, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 4302, ermöglicht. In mindestens einer Ausführungsform kann die I/O-Einheit 4304 direkt mit anderen Einrichtungen verbunden sein. In mindestens einer Ausführungsform ist die I/O-Einheit 4304 über eine Hub- oder Switch-Schnittstelle, wie z. B. den Speicher-Hub 4305, mit anderen Einrichtungen verbunden. In mindestens einer Ausführungsform bilden die Verbindungen zwischen Speicher-Hub 4305 und I/O-Einheit 4304 eine Kommunikationsverbindung 4313. In mindestens einer Ausführungsform ist die I/O-Einheit 4304 mit einer Host-Schnittstelle 4306 und einem Speicher-Koppelfeld 4316 verbunden, wobei die Host-Schnittstelle 4306 Befehle zur Durchführung von Verarbeitungsvorgängen und das Speicher-Koppelfeld 4316 Befehle zur Durchführung von Speicheroperationen empfängt.

Bei mindestens einer Ausführungsform, wenn die Host-Schnittstelle 4306 einen Befehlspuffer über die I/O-Einheit 4304 empfängt, kann die Host-Schnittstelle 4306 Arbeitsoperationen zur Ausführung dieser Befehle an ein Frontend 4308 leiten. In mindestens einer Ausführungsform ist das vordere Ende 4308 mit einem Scheduler 4310 gekoppelt, der so ausgestaltet ist, dass er Befehle oder andere Arbeitselemente an eine Verarbeitungsclusteranordnung 4312 verteilt. In mindestens einer Ausführungsform stellt der Scheduler 4310 sicher, dass die Verarbeitungsclusteranordnung 4312 ordnungsgemäß ausgestaltet ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an den Cluster der Verarbeitungsclusteranordnung 4312 verteilt werden. In mindestens einer Ausführungsform ist der Scheduler 4310 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. In mindestens einer Ausführungsform ist der Mikrocontroller-implementierte Scheduler 4310 so ausgestaltet, dass er komplexe Ablaufsteuerungs- und Arbeitsverteilungsoperationen mit grober und feiner Granularität durchführen kann, was eine schnelle Unterbrechung und Kontextumschaltung von Threads ermöglicht, die auf der Verarbeitungsanordnung 4312 ausgeführt werden. In mindestens einer Ausführungsform kann die Host-Software Arbeitslasten für die Planung auf der Verarbeitungsclusteranordnung 4312 über eine von mehreren Grafikverarbeitungspfaden nachweisen. In mindestens einer Ausführungsform können die Arbeitslasten dann automatisch durch die Logik des Schedulers 4310 innerhalb eines Mikrocontrollers, der den Scheduler 4310 aufweist, auf der Verarbeitungsclusteranordnung 4312 verteilt werden.

In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 4312 bis zu „N“ Verarbeitungscluster aufweisen (z. B. Cluster 4314A, Cluster 4314B, bis Cluster 4314N), wobei „N“ eine positive ganze Zahl darstellt (welche eine andere positive ganze Zahl „N“ sein kann als die, die in den anderen Figuren eingesetzt wird). In mindestens einer Ausführungsform kann jeder Cluster 4314A-4314N der Verarbeitungsclusteranordnung 4312 eine große Anzahl von gleichzeitigen Threads ausführen. In mindestens einer Ausführungsform kann der Scheduler 4310 den Clustern 4314A-4314N der Verarbeitungsclusteranordnung 4312 Arbeit zuweisen, indem er verschiedene Ablaufsteuerungs- und/oder Arbeitsverteilungsalgorithmen verwendet, die je nach der Arbeitslast variieren können, die für jede Art von Programm oder Berechnung entsteht. In mindestens einer Ausführungsform kann die Planung dynamisch durch den Scheduler 4310 erfolgen oder teilweise durch eine Compilerlogik während der Kompilierung der Programmlogik unterstützt werden, die für die Ausführung durch die Verarbeitungsclusteranordnung 4312 ausgestaltet ist. In mindestens einer Ausführungsform können verschiedene Cluster 4314A-4314N der Verarbeitungsclusteranordnung 4312 für die Verarbeitung verschiedener Arten von Programmen oder für die Durchführung verschiedener Arten von Berechnungen zugewiesen werden.

In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 4312 so ausgestaltet sein, dass sie verschiedene Arten von Parallelverarbeitungsoperationen durchführt. In mindestens einer Ausführungsform ist die Verarbeitungsclusteranordnung 4312 so ausgestaltet, dass sie parallele Allzweck-Rechenoperationen durchführt. Zum Beispiel kann in mindestens einer Ausführungsform die Verarbeitungsclusteranordnung 4312 eine Logik aufweisen, um Verarbeitungsaufgaben auszuführen, einschließlich der Filterung von Video- und/oder Audiodaten, der Durchführung von Modellierungsoperationen, einschließlich physikalischer Operationen, und der Durchführung von Datentransformationen.

In mindestens einer Ausführungsform ist die Verarbeitungsclusteranordnung 4312 so ausgestaltet, dass sie parallele Grafikverarbeitungsoperationen durchführt. In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 4312 eine zusätzliche Logik aufweisen, um die Ausführung solcher Grafikverarbeitungsoperationen zu unterstützen, einschließlich, aber nicht beschränkt auf Texturabtastlogik, um Texturoperationen durchzuführen, sowie Tesselationslogik und andere Vertexverarbeitungslogik. In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 4312 so ausgestaltet sein, dass sie grafikverarbeitungsbezogene Shader-Programme ausführt, wie z. B. Vertex-Shader, Tesselation-Shader, Geometrie-Shader und Pixel-Shader. In mindestens einer Ausführungsform kann die Parallelverarbeitungseinheit 4302 Daten aus dem Systemspeicher über die I/O-Einheit 4304 zur Verarbeitung übertragen. In mindestens einer Ausführungsform können die übertragenen Daten während der Verarbeitung im On-Chip-Speicher (z. B. im Parallelprozessorspeicher 4322) gespeichert und dann in den Systemspeicher zurückgeschrieben werden.

Bei mindestens einer Ausführungsform, wenn die Parallelverarbeitungseinheit 4302 zur Durchführung der Grafikverarbeitung verwendet wird, kann der Scheduler 4310 so ausgestaltet sein, dass er eine Verarbeitungslast in ungefähr gleich große Tasks aufteilt, um eine bessere Verteilung der Grafikverarbeitungsoperationen auf mehrere Cluster 4314A-4314N der Verarbeitungsclusteranordnung 4312 zu ermöglichen. In mindestens einer Ausführungsform können Abschnitte der Verarbeitungsclusteranordnung 4312 so ausgestaltet sein, dass sie verschiedene Arten der Verarbeitung durchführen. Zum Beispiel kann in mindestens einer Ausführungsform ein erster Abschnitt so ausgestaltet sein, dass er Vertex-Shading und Topologiegenerierung durchführt, ein zweiter Abschnitt kann so ausgestaltet sein, dass er Tesselations- und Geometrie-Shading durchführt, und ein dritter Abschnitt kann so ausgestaltet sein, dass er Pixel-Shading oder andere Screenspace-Operationen durchführt, um ein gerendertes Bild für die Anzeige zu erzeugen. In mindestens einer Ausführungsform können Zwischendaten, die von einem oder mehreren Clustern 4314A-4314N erzeugt werden, in Puffern gespeichert werden, damit Zwischendaten zwischen den Clustern 4314A-4314N zur weiteren Verarbeitung übertragen werden können.

In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 4312 über den Scheduler 4310, der Befehle zur Definition von Verarbeitungstasks vom Frontend 4308 erhält, auszuführende Verarbeitungs-Tasks empfangen. In mindestens einer Ausführungsform können die Verarbeitungs-Tasks Indizes der zu verarbeitenden Daten aufweisen, z. B. Oberflächen- (Patch-) Daten, Primitivdaten, Vertexdaten und/oder Pixeldaten, sowie Zustandsparameter und Befehle, die definieren, wie die Daten zu verarbeiten sind (z. B. welches Programm ausgeführt werden soll). In mindestens einer Ausführungsform kann der Scheduler 4310 so ausgestaltet sein, dass er den Tasks entsprechende Indizes abruft oder Indizes vom Frontend 4308 empfängt. In mindestens einer Ausführungsform kann das Frontend 4308 so ausgestaltet sein, dass es sicherstellt, dass die Verarbeitungsclusteranordnung 4312 in einem gültigen Zustand konfiguriert ist, bevor eine durch eingehende Befehlspuffer (z. B. Batch-Puffer, Push-Puffer usw.) spezifizierte Arbeitslast eingeleitet wird.

In mindestens einer Ausführungsform kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 4302 mit dem Parallelprozessorspeicher 4322 gekoppelt sein. In mindestens einer Ausführungsform kann auf den Parallelprozessorspeicher 4322 über das Speicherkoppelfeld 4316 zugegriffen werden, die Speicheranforderungen von der Verarbeitungsclusteranordnung 4312 sowie der I/O-Einheit 4304 empfangen kann. In mindestens einer Ausführungsform kann das Speicherkoppelfeld 4316 über eine Speicherschnittstelle 4318 auf den Parallelprozessorspeicher 4322 zugreifen. In mindestens einer Ausführungsform kann die Speicherschnittstelle 4318 mehrere Partitionseinheiten aufweisen (z. B. Partitionseinheit 4320A, Partitionseinheit 4320B bis Partitionseinheit 4320N), die jeweils mit einem Abschnitt (z. B. einer Speichereinheit) des Parallelprozessorspeichers 4322 gekoppelt sein können. In mindestens einer Ausführungsform ist eine Anzahl von Partitionseinheiten 4320A-4320N so ausgestaltet, dass sie gleich einer Anzahl von Speichereinheiten ist, so dass eine erste Partitionseinheit 4320A eine entsprechende erste Speichereinheit 4324A hat, eine zweite Partitionseinheit 4320B eine entsprechende Speichereinheit 4324B hat und eine N-te Partitionseinheit 4320N eine entsprechende N-te Speichereinheit 4324N hat. In mindestens einer Ausführungsform kann eine Anzahl von Partitionseinheiten 4320A-4320N nicht gleich einer Anzahl von Speichereinheiten sein.

In mindestens einer Ausführungsform können die Speichereinheiten 4324A-4324N verschiedene Arten von Speichereinrichtungen aufweisen, einschließlich dynamischer Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchroner Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR). In mindestens einer Ausführungsform können die Speichereinheiten 4324A-4324N auch 3D-Stapelspeicher aufweisen, einschließlich, aber nicht beschränkt auf Speicher mit hoher Bandbreite (High Bandwidth Memory (HBM)). In mindestens einer Ausführungsform können Rendering-Ziele, wie z. B. Frame-Puffer oder Textur-Maps, über die Speichereinheiten 4324A-4324N hinweg gespeichert werden, so dass die Partitionseinheiten 4320A-4320N Abschnitte jedes Rendering-Ziels parallel schreiben können, um die verfügbare Bandbreite des Parallelprozessorspeichers 4322 effizient zu nutzen. In mindestens einer Ausführungsform kann eine lokale Instanz des Parallelprozessorspeichers 4322 zugunsten eines vereinheitlichten Speicherentwurfs ausgeschlossen werden, der den Systemspeicher in Verbindung mit dem lokalen Cache-Speicher nutzt.

In mindestens einer Ausführungsform kann jeder der Cluster 4314A-4314N der Verarbeitungsclusteranordnung 4312 Daten verarbeiten, die in jede der Speichereinheiten 4324A-4324N im Parallelprozessorspeicher 4322 geschrieben werden. In mindestens einer Ausführungsform kann das Speicherkoppelfeld 4316 so ausgestaltet sein, dass es eine Ausgabe jedes Clusters 4314A-4314N an eine beliebige Partitionseinheit 4320A-4320N oder an einen anderen Cluster 4314A-4314N überträgt, der zusätzliche Verarbeitungsoperationen an einer Ausgabe durchführen kann. In mindestens einer Ausführungsform kann jeder Cluster 4314A-4314N mit der Speicherschnittstelle 4318 über das Speicherkoppelfeld 4316 kommunizieren, um von verschiedenen externen Einrichtungen zu lesen oder in diese zu schreiben. In mindestens einer Ausführungsform hat das Speicherkoppelfeld 4316 eine Verbindung zur Speicherschnittstelle 4318, um mit der I/O-Einheit 4304 zu kommunizieren, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 4322, so dass die Verarbeitungseinheiten in den verschiedenen Verarbeitungsclustern 4314A-4314N mit dem Systemspeicher oder einem anderen Speicher kommunizieren können, der nicht lokal zur Parallelverarbeitungseinheit 4302 gehört. In mindestens einer Ausführungsform kann das Speicherkoppelfeld 4316 virtuelle Kanäle verwenden, um Verkehrsströme zwischen Clustern 4314A-4314N und Partitionseinheiten 4320A-4320N zu trennen.

In mindestens einer Ausführungsform können mehrere Instanzen der Parallelverarbeitungseinheit 4302 auf einer einzigen Add-in-Karte bereitgestellt sein, oder mehrere Add-in-Karten können miteinander verbunden sein. In mindestens einer Ausführungsform können verschiedene Instanzen der Parallelverarbeitungseinheit 4302 so ausgestaltet sein, dass sie auch dann zusammenarbeiten, wenn die verschiedenen Instanzen eine unterschiedliche Anzahl von Verarbeitungskernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Zum Beispiel können in mindestens einer Ausführungsform einige Instanzen der Parallelverarbeitungseinheit 4302 im Vergleich zu anderen Ausführungen Gleitkommaeinheiten mit höherer Präzision aufweisen. In mindestens einer Ausführungsform können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 4302 oder des Parallelprozessors 4300 enthalten, in einer Vielzahl von Ausführungsformen und Formfaktoren implementiert sein, einschließlich, aber nicht beschränkt auf Desktop-, Laptop- oder Handheld-Personalcomputer, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme.

43B ist ein Blockdiagramm einer Partitionseinheit 4320 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Partitionseinheit 4320 eine Instanz einer der Partitionseinheiten 4320A-4320N aus 43A. In mindestens einer Ausführungsform weist die Partitionseinheit 4320 einen L2-Cache 4321, eine Einzelbildpuffer-Schnittstelle 4325 und eine ROP 4326 (Rasteroperationseinheit) auf. Der L2-Cache 4321 ist in mindestens einer Ausführungsform ein Lese-/Schreib-Cache, der so ausgestaltet ist, dass er von dem Speicherkoppelfeld 4316 und der ROP 4326 empfangene Lade- und Speicheroperationen durchführt. In mindestens einer Ausführungsform werden Lesefehler und dringende Rückschreibanforderungen vom L2-Cache 4321 an die Einzelbildpuffer-Schnittstelle 4325 zur Verarbeitung ausgegeben. In mindestens einer Ausführungsform können Aktualisierungen auch über die Einzelbildpuffer-Schnittstelle 4325 zur Verarbeitung an einen Einzelbildpuffer gesendet werden. In mindestens einer Ausführungsform ist die Einzelbildpuffer-Schnittstelle 4325 mit einer der Speichereinheiten im Parallelprozessorspeicher verbunden, wie den Speichereinheiten 4324A-4324N aus 43 (z. B. innerhalb des Parallelprozessorspeichers 4322).

In mindestens einer Ausführungsform ist die ROP 4326 eine Verarbeitungseinheit, die Rasteroperationen wie Schablonieren, Z-Test, Überblendung usw. durchführt. In mindestens einer Ausführungsform gibt die ROP 4326 dann verarbeitete Grafikdaten aus, die im Grafikspeicher abgelegt werden. In mindestens einer Ausführungsform weist die ROP 4326 eine Komprimierungslogik auf, um Tiefen- oder Farbdaten zu komprimieren, die in den Speicher geschrieben werden, und Tiefen- oder Farbdaten zu dekomprimieren, die aus dem Speicher gelesen werden. In mindestens einer Ausführungsform kann die Komprimierungslogik eine verlustfreie Komprimierungslogik sein, die einen oder mehrere von mehreren Komprimierungsalgorithmen verwendet. In mindestens einer Ausführungsform kann die Art der von der ROP 4326 durchgeführten Komprimierung auf der Grundlage statistischer Merkmale der zu komprimierenden Daten variieren. Zum Beispiel wird in mindestens einer Ausführungsform eine Delta-Farbkompression auf Tiefen- und Farbdaten auf einer Pro-Kachel-Basis durchgeführt.

In mindestens einer Ausführungsform ist die ROP 4326 in jedem Verarbeitungscluster (z. B. Cluster 4314A-4314N aus 43A) und nicht in der Partitionseinheit 4320 vorhanden. In mindestens einer Ausführungsform werden Lese- und Schreibanforderungen für Pixeldaten über das Speicherkoppelfeld 4316 anstelle von Pixelfragmentdaten übertragen. In mindestens einer Ausführungsform können verarbeitete Grafikdaten auf einer Anzeigeeinrichtung, wie einer von einer oder mehreren Anzeigeeinrichtung(en) 4210 aus 42, zur weiteren Verarbeitung durch Prozessor(en) 4202 oder zur weiteren Verarbeitung durch eine der Verarbeitungseinheiten innerhalb des Parallelprozessors 4300 aus 43A weitergeleitet werden.

43C ist ein Blockdiagramm eines Verarbeitungsclusters 4314 innerhalb einer Parallelverarbeitungseinheit gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist ein Verarbeitungscluster eine Instanz von einem der Verarbeitungscluster 4314A-4314N aus 43A. In mindestens einer Ausführungsform kann der Verarbeitungscluster 4314 so ausgestaltet sein, dass er viele Threads parallel ausführt, wobei sich der Begriff „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingabedaten ausgeführt wird. In mindestens einer Ausführungsform werden SIMD-Befehlsausgabetechniken (Single-Instruction, Multiple-Data) verwendet, um die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Befehlseinheiten bereitzustellen. In mindestens einer Ausführungsform werden Single-Instruction-Multiple-Thread (SIMT)-Techniken verwendet, um die parallele Ausführung einer großen Anzahl von im Allgemeinen synchronisierten Threads zu unterstützen, wobei eine gemeinsame Befehlseinheit ausgestaltet ist, um Befehle an einen Satz von Verarbeitungsmaschinen innerhalb jedes der Verarbeitungscluster auszugeben.

In mindestens einer Ausführungsform kann der Betrieb des Verarbeitungsclusters 4314 über einen Pipeline-Manager 4332 gesteuert werden, der die Verarbeitungs-Tasks an parallele SIMT-Prozessoren verteilt. In mindestens einer Ausführungsform empfängt der Pipeline-Manager 4332 Anweisungen vom Scheduler 4310 der 43A und verwaltet die Ausführung dieser Anweisungen über einen Grafik-Multiprozessor 4334 und/oder eine Textureinheit 4336. In mindestens einer Ausführungsform ist der Grafikmultiprozessor 4334 eine beispielhafte Instanz eines SIMT-Parallelprozessors. In mindestens einer Ausführungsform können jedoch verschiedene Typen von SIMT-Parallelprozessoren mit unterschiedlichen Architekturen im Verarbeitungscluster 4314 vorhanden sein. In mindestens einer Ausführungsform können ein oder mehrere Instanzen des Grafik-Multiprozessors 4334 in einem Verarbeitungscluster 4314 vorhanden sein. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 4334 Daten verarbeiten, und ein Datenkoppelfeld 4340 kann verwendet werden, um die verarbeiteten Daten an eines von mehreren möglichen Zielen zu verteilen, einschließlich anderer Shader-Einheiten. In mindestens einer Ausführungsform kann der Pipeline-Manager 4332 die Verteilung der verarbeiteten Daten erleichtern, indem er Ziele für die verarbeiteten Daten angibt, die über das Datenkoppelfeld 4340 verteilt werden sollen.

In mindestens einer Ausführungsform kann jeder Grafik-Multiprozessor 4334 innerhalb des Verarbeitungsclusters 4314 einen identischen Satz funktionaler Ausführungslogik aufweisen (z. B. arithmetische Logikeinheiten, Lastspeichereinheiten usw.). In mindestens einer Ausführungsform kann die funktionale Ausführungslogik in einer Pipeline ausgestaltet sein, so dass neue Befehle ausgegeben werden können, bevor vorherige Befehle abgeschlossen sind. In mindestens einer Ausführungsform unterstützt die funktionale Ausführungslogik eine Vielzahl von Operationen, darunter Ganzzahl- und Gleitkommaarithmetik, Vergleichsoperationen, boolesche Operationen, Bitverschiebung und die Berechnung verschiedener algebraischer Funktionen. In mindestens einer Ausführungsform kann dieselbe Hardware mit Funktionseinheiten genutzt werden, um verschiedene Operationen auszuführen, und es kann eine beliebige Kombination von Funktionseinheiten vorhanden sein.

In mindestens einer Ausführungsform bilden die an den Verarbeitungscluster 4314 übertragenen Anweisungen einen Thread. In mindestens einer Ausführungsform ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungsmaschinen ausgeführt werden, eine Thread-Gruppe. In mindestens einer Ausführungsform führt die Thread-Gruppe ein gemeinsames Programm mit unterschiedlichen Eingabedaten aus. In mindestens einer Ausführungsform kann jeder Thread innerhalb einer Thread-Gruppe einer anderen Verarbeitungsmaschine innerhalb eines Grafik-Multiprozessors 4334 zugewiesen sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe weniger Threads aufweisen als die Anzahl der Verarbeitungseinheiten im Grafik-Multiprozessor 4334. In mindestens einer Ausführungsform kann, wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungsmaschinen aufweist, eine oder mehrere der Verarbeitungsmaschinen während der Zyklen, in denen diese Thread-Gruppe verarbeitet wird, im Leerlauf sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe auch mehr Threads aufweisen als eine Anzahl von Verarbeitungsmaschinen im Grafik-Multiprozessor4334. In mindestens einer Ausführungsform kann, wenn eine Thread-Gruppe mehr Threads aufweist als die Anzahl der Verarbeitungsmaschinen im Grafik-Multiprozessor 4334, die Verarbeitung über aufeinander folgende Taktzyklen erfolgen. In mindestens einer Ausführungsform können mehrere Thread-Gruppen gleichzeitig auf einem Grafik-Multiprozessor 4334 ausgeführt werden.

In mindestens einer Ausführungsform weist der Grafik-Multiprozessor 4334 einen internen Cache-Speicher auf, um Lade- und Speicheroperationen durchzuführen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 4334 auf einen internen Cache verzichten und einen Cache-Speicher (z. B. L1-Cache 4348) innerhalb des Verarbeitungsclusters 4314 verwenden. In mindestens einer Ausführungsform hat jeder Grafik-Multiprozessor4334 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten (z. B. die Partitionseinheiten 4320A-4320N aus 43A), die von allen Verarbeitungsclustern 4314 gemeinsam genutzt werden und zur Datenübertragung zwischen Threads verwendet werden können. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 4334 auch auf den globalen Speicher außerhalb des Chips zugreifen, der einen oder mehrere lokale Parallelprozessorspeicher und/oder Systemspeicher aufweisen kann. In mindestens einer Ausführungsform kann jeder Speicher außerhalb der Parallelverarbeitungseinheit 4302 als globaler Speicher verwendet werden. In mindestens einer Ausführungsform weist der Verarbeitungscluster 4314 mehrere Instanzen des Grafik-Multiprozessors 4334 auf, die sich gemeinsame Anweisungen und Daten teilen können, die im L1-Cache 4348 gespeichert sein können.

In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 4314 eine MMU 4345 (Memory Management Unit) aufweisen, die so ausgestaltet ist, dass sie virtuelle Adressen in physische Adressen umsetzt. In mindestens einer Ausführungsform können sich eine oder mehrere Instanzen der MMU 4345 innerhalb der Speicherschnittstelle 4318 aus 43A befinden. In mindestens einer Ausführungsform weist die MMU 4345 einen Satz von Seitentabelleneinträgen (PTEs) auf, die dazu dienen, eine virtuelle Adresse auf eine physische Adresse einer Kachel abzubilden (weitere Informationen über Kacheln), sowie optional einen Cache-Zeileninde. In mindestensxeiner Ausführungsform kann die MMU 4345 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches aufweisen, die sich im Grafik-Multiprozessor 4334 oder im L1-Cache 4348 oder im Verarbeitungscluster 4314 befinden können. In mindestens einer Ausführungsform wird eine physikalische Adresse verarbeitet, um den Zugriff auf die Oberflächendaten lokal zu verteilen, um eine effiziente Anforderungsverschachtelung zwischen den Partitionseinheiten zu ermöglichen. In mindestens einer Ausführungsform kann ein Cache-Zeilen-Index verwendet werden, um zu bestimmen, ob eine Anforderung für eine Cache-Zeile ein Treffer (Hit) oder Fehlzugriff (Miss) ist.

In mindestens einer Ausführungsform kann ein Verarbeitungscluster 4314 so ausgestaltet sein, dass jeder Grafik-Multiprozessor 4334 mit einer Textureinheit 4336 gekoppelt ist, um Texturabbildungsoperationen durchzuführen, z. B. Bestimmen von Texturabtastpositionen, Lesen von Texturdaten und Filtern von Texturdaten. In mindestens einer Ausführungsform werden die Texturdaten aus einem internen Textur-L1-Cache (nicht gezeigt) oder aus einem L1-Cache innerhalb des Grafik-Multiprozessors 4334 gelesen und je nach Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder dem Systemspeicher abgerufen. In mindestens einer Ausführungsform gibt jeder Grafikmultiprozessor 4334 verarbeitete Tasks an das Datenkoppelfeld 4340 aus, um die verarbeitete Task einem anderen Verarbeitungscluster 4314 zur weiteren Verarbeitung zur Verfügung zu stellen oder um die verarbeitete Task über das Speicherkoppelfeld 4316 in einem L2-Cache, im lokalen Parallelprozessorspeicher oder im Systemspeicher zu speichern. In mindestens einer Ausführungsform ist eine preROP 4342 (Pre-Raster Operations Unit) so ausgestaltet, dass sie Daten vom Grafik-Multiprozessor 4334 empfängt und Daten an ROP-Einheiten weiterleitet, die sich in den hier beschriebenen Partitionseinheiten befinden können (z. B. die Partitionseinheiten 4320A-4320N aus 43A). In mindestens einer Ausführungsform kann die preROP-Einheit 4342 Optimierungen für die Farbmischung durchführen, Pixelfarbdaten organisieren und Adressübersetzungen vornehmen.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem Grafikverarbeitungscluster 4314 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 43A, 43B und/oder 43C gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Parallelprozessor 4300 aus 43A eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

43D zeigt einen Grafik-Multiprozessor 4334 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafik-Multiprozessor 4334 mit dem Pipeline-Manager 4332 des Verarbeitungsclusters 4314 gekoppelt. In mindestens einer Ausführungsform weist der Grafikmultiprozessor 4334 eine Ausführungspipeline auf, die unter anderem einen Befehlscache 4352, eine Befehlseinheit 4354, eine Adresszuordnungseinheit 4356, eine Registerdatei 4358, einen oder mehrere GPGPU-Kerne 4362 und eine oder mehrere Lade-/Speichereinheiten 4366 aufweist. Die GPGPU-Kerne 4362 und die Lade-/Speichereinheiten 4366 sind in mindestens einer Ausführungsform über eine Speicher- und Cache-Verbindung 4368 mit dem Cache-Speicher 4372 und dem gemeinsamen Speicher 4370 verbunden.

In mindestens einer Ausführungsform empfängt der Befehlscache 4352 einen Strom von auszuführenden Befehlen vom Pipeline-Manager 4332. In mindestens einer Ausführungsform werden die Befehle im Befehlscache 4352 zwischengespeichert und von der Befehlseinheit 4354 zur Ausführung weitergeleitet. In mindestens einer Ausführungsform kann die Befehlseinheit 4354 die Befehle als Thread-Gruppen (z. B. Warps) versenden, wobei jeder Thread der Thread-Gruppe einer anderen Ausführungseinheit innerhalb der GPGPU-Kerne 4362 zugewiesen ist. In mindestens einer Ausführungsform kann ein Befehl auf einen lokalen, gemeinsam genutzten oder globalen Adressraum zugreifen, indem er eine Adresse innerhalb eines einheitlichen Adressraums angibt. In mindestens einer Ausführungsform kann die Adressabbildungseinheit 4356 verwendet werden, um Adressen in einem vereinheitlichten Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf die die Lade-/Speichereinheiten 4366 zugreifen können.

In mindestens einer Ausführungsform stellt die Registerdatei 4358 einen Satz von Registern für Funktionseinheiten des Grafik-Multiprozessors 4334 bereit. In mindestens einer Ausführungsform stellt die Registerdatei 4358 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten (z. B. GPGPU-Kerne 4362, Lade-/Speichereinheiten 4366) des Grafik-Multiprozessors 4334 verbunden sind. In mindestens einer Ausführungsform ist die Registerdatei 4358 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein eigener Abschnitt der Registerdatei 4358 zugewiesen ist. In mindestens einer Ausführungsform ist die Registerdatei 4358 auf verschiedene Warps aufgeteilt, die vom Grafikmultiprozessor 4334 ausgeführt werden.

In mindestens einer Ausführungsform können die GPGPU-Kerne 4362 jeweils Gleitkommaeinheiten (FPUs) und/oder ganzzahlige arithmetische Logikeinheiten (ALUs) aufweisen, die zur Ausführung von Anweisungen des Grafikmultiprozessors 4334 verwendet werden. Die GPGPU-Kerne 4362 können sich in mindestens einer Ausführungsform in ihrer Architektur ähneln oder unterscheiden. In mindestens einer Ausführungsform weist ein erster Abschnitt der GPGPU-Kerne 4362 eine FPU mit einfacher Genauigkeit und eine Ganzzahl-ALU auf, während ein zweiter Abschnitt der GPGPU-Kerne eine FPU mit doppelter Genauigkeit aufweist. In mindestens einer Ausführungsform können die FPUs den IEEE 754-2008-Standard für Gleitkommaarithmetik implementieren oder Gleitkommaarithmetik mit variabler Genauigkeit ermöglichen. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 4334 zusätzlich eine oder mehrere Festfunktions- oder Sonderfunktionseinheiten aufweisen, um spezifische Funktionen wie das Kopieren von Rechtecken oder Pixel-Blending-Operationen durchzuführen. In mindestens einer Ausführungsform kann einer oder können mehrere der GPGPU-Kerne 4362 auch eine feste oder spezielle Funktionslogik aufweisen.

In mindestens einer Ausführungsform weisen die GPGPU-Kerne 4362 eine SIMD-Logik auf, die in der Lage ist, einen einzigen Befehl für mehrere Datensätze auszuführen. In mindestens einer Ausführungsform können GPGPU-Kerne 4362 physikalisch SIMD4-, SIMD8- und SIMD16-Befehle und logisch SIMD1-, SIMD2- und SIMD32-Befehle ausführen. In mindestens einer Ausführungsform können SIMD-Befehle für GPGPU-Kerne zur Kompilierzeit von einem Shader-Compiler oder automatisch bei der Ausführung von Programmen generiert werden, die für SPMD- oder SIMT-Architekturen (Single Program Multiple Data) geschrieben und kompiliert wurden. In mindestens einer Ausführungsform können mehrere Threads eines Programms, das für ein SIMT-Ausführungsmodell ausgestaltet ist, über einen einzigen SIMD-Befehl ausgeführt werden. Beispielsweise können in mindestens einer Ausführungsform acht SIMT-Threads, die gleiche oder ähnliche Operationen durchführen, über eine einzige SIMD8-Logikeinheit parallel ausgeführt werden.

In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 4368 ein Verbindungsnetzwerk, das jede Funktionseinheit des Grafik-Multiprozessors 4334 mit der Registerdatei 4358 und dem gemeinsamen Speicher 4370 verbindet. In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 4368 eine Koppelfeldverbindung, die es der Lade-/Speichereinheit 4366 ermöglicht, Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher 4370 und der Registerdatei 4358 durchzuführen. In mindestens einer Ausführungsform kann die Registerdatei 4358 mit derselben Frequenz wie die GPGPU-Kerne 4362 arbeiten, so dass die Datenübertragung zwischen den GPGPU-Kernen 4362 und der Registerdatei 4358 eine sehr geringe Latenzzeit aufweist. In mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher 4370 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Grafik-Multiprozessors 4334 ausgeführt werden. In mindestens einer Ausführungsform kann der Cache-Speicher 4372 beispielsweise als Daten-Cache verwendet werden, um Texturdaten, die zwischen Funktionseinheiten und der Textureinheit 4336 übertragen werden, zwischenzuspeichern. In mindestens einer Ausführungsform kann der gemeinsame Speicher 4370 auch als programmgesteuerter Cache verwendet werden. In mindestens einer Ausführungsform können Threads, die auf GPGPU-Kernen 4362 ausgeführt werden, zusätzlich zu den automatisch zwischengespeicherten Daten, die im Cache-Speicher 4372 gespeichert sind, programmatisch Daten im gemeinsamen Speicher speichern.

In mindestens einer Ausführungsform ist ein Parallelprozessor oder eine GPGPU, wie es hier beschrieben ist, kommunikativ mit Host-/Prozessorkernen gekoppelt, um Grafikoperationen, Operationen des maschinellen Lernens, Musteranalyseoperationen und verschiedene allgemeine GPU (GPGPU)-Funktionen zu beschleunigen. In mindestens einer Ausführungsform kann die GPU über einen Bus oder eine andere Verbindung (z. B. eine Hochgeschwindigkeitsverbindung wie PCIe oder NVLink) mit dem Host-Prozessor (den Prozessorkernen) kommunikativ verbunden sein. In mindestens einer Ausführungsform kann die GPU in demselben Gehäuse oder Chip wie die Kerne integriert sein und über einen internen Prozessorbus bzw. eine interne Verbindung (d. h. innerhalb des Gehäuses oder Chips) mit den Kernen kommunizieren. In mindestens einer Ausführungsform können die Prozessorkerne unabhängig von der Art des Anschlusses der GPU der GPU Arbeit in Form von Befehlsfolgen/Befehlen zuweisen, die in einem Arbeitsdeskriptor enthalten sind. In mindestens einer Ausführungsform verwendet die GPU dann dedizierte Schaltkreise/Logiken zur effizienten Verarbeitung dieser Befehle/Anweisungen.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem Grafik-Multiprozessor 4334 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 43D gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Grafik-Multiprozessor 4334 aus 43D eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

44 zeigt ein Multi-GPU-Rechnersystem 4400 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das Multi-GPU-Rechnersystem 4400 einen Prozessor 4402 aufweisen, der über einen Host-Schnittstellen-Switch 4404 mit mehreren Universal-Grafikverarbeitungseinheiten (GPGPUs) 4406A-D verbunden ist. In mindestens einer Ausführungsform ist der Host-Schnittstellen-Switch 4404 eine PCI-Express-Switch-Einrichtung, die den Prozessor 4402 mit einem PCI-Express-Bus verbindet, über den der Prozessor 4402 mit den GPGPUs 4406A-D kommunizieren kann. Die GPGPUs 4406A-D können in mindestens einer Ausführungsform über eine Reihe von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verbindungen 4416 miteinander verbunden sein. In mindestens einer Ausführungsform sind die GPU-zu-GPU-Verbindungen 4416 mit jeder der GPGPUs 4406A-D über eine eigene GPU-Verbindung verbunden. In mindestens einer Ausführungsform ermöglichen die P2P-GPU-Verbindungen 4416 eine direkte Kommunikation zwischen den einzelnen GPGPUs 4406A-D, ohne dass eine Kommunikation über den Host-Schnittstellenbus 4404 erforderlich ist, an den der Prozessor 4402 angeschlossen ist. Bei mindestens einer Ausführungsform, bei der der GPU-zu-GPU-Verkehr auf P2P-GPU-Verbindungen 4416 geleitet wird, bleibt der Host-Schnittstellenbus 4404 für den Systemspeicherzugriff oder für die Kommunikation mit anderen Instanzen des Multi-GPU-Computersystems 4400 verfügbar, zum Beispiel über eine oder mehrere Netzwerkeinrichtungen. Während in mindestens einer Ausführungsform die GPGPUs 4406A-D mit dem Prozessor 4402 über den Host-Schnittstellen-Switch 4404 verbunden sind, weist der Prozessor 4402 in mindestens einer Ausführungsform eine direkte Unterstützung für P2P-GPU-Verbindungen 4416 auf und kann direkt mit den GPGPUs 4406A-D verbunden sein.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem Multi-GPU-Rechnersystem 4400 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 44 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird das Multi-GPU-Rechnersystem 4400 aus 44 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

45 ist ein Blockdiagramm eines Grafikprozessors 4500 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform weist der Grafikprozessor 4500 eine Ringverbindung 4502, ein Pipeline-Frontend 4504, eine Media-Maschine 4537 und Grafikkerne 4580A-4580N auf. In mindestens einer Ausführungsform verbindet die Ringverbindung 4502 den Grafikprozessor 4500 mit anderen Verarbeitungseinheiten, einschließlich anderer Grafikprozessoren oder eines oder mehrerer Mehrzweckprozessorkerne. In mindestens einer Ausführungsform ist der Grafikprozessor 4500 einer von vielen Prozessoren, die in ein Mehrkern-Verarbeitungssystem integriert sind.

In mindestens einer Ausführungsform empfängt der Grafikprozessor 4500 Stapel von Befehlen über die Ringverbindung 4502. In mindestens einer Ausführungsform werden die eingehenden Befehle von einem Befehls-Streamer 4503 im Pipeline-Frontend 4504 interpretiert. In mindestens einer Ausführungsform weist der Grafikprozessor 4500 eine skalierbare Ausführungslogik auf, um die 3D-Geometrieverarbeitung und die Medienverarbeitung über den/die Grafikkern(e) 4580A-4580N durchzuführen. In mindestens einer Ausführungsform liefert der Befehls-Streamer 4503 für 3D-Geometrieverarbeitungsbefehle Befehle an die Geometrie-Pipeline 4536. In mindestens einer Ausführungsform liefert der Befehls-Streamer 4503 für mindestens einige Medienverarbeitungsbefehle Befehle an ein Video-Frontend 4534, das mit einer Medien-Maschine 4537 gekoppelt ist. In mindestens einer Ausführungsform weist die Medien-Maschine 4537 eine Video-Qualitäts-Maschine (VQE) 4530 für die Video- und Bildnachbearbeitung und eine Multi-Format-Encoder/Decoder-Maschine (MFX) 4533 auf, um eine hardwarebeschleunigte Codierung und Decodierung von Mediendaten zu ermöglichen. In mindestens einer Ausführungsform generieren die Geometrie-Pipeline 4536 und die Medien-Maschine 4537 jeweils Ausführungs-Threads für Thread-Ausführungsressourcen, die von mindestens einem Grafikkern 4580 bereitgestellt werden.

In mindestens einer Ausführungsform weist der Grafikprozessor 4500 skalierbare Thread-Ausführungsressourcen auf, die Grafikkerne 4580A-4580N aufweisen (welche modular sein können und manchmal als Kern-Slices bezeichnet werden), von denen jeder mehrere Sub-Kerne 4550A-50N, 4560A-4560N (manchmal als Kern-Sub-Slices bezeichnet) hat. In mindestens einer Ausführungsform kann der Grafikprozessor 4500 eine beliebige Anzahl von Grafikkernen 4580A haben. In mindestens einer Ausführungsform weist der Grafikprozessor 4500 einen Grafikkern 4580A mit mindestens einem ersten Sub-Kern 4550A und einem zweiten Sub-Kern 4560A auf. In mindestens einer Ausführungsform ist der Grafikprozessor 4500 ein Niedrigleistungsprozessor mit einem einzigen Sub-Kern (z. B. 4550A). In mindestens einer Ausführungsform weist der Grafikprozessor 4500 mehrere Grafikkerne 4580A-4580N auf, von denen jeder einen Satz von ersten Sub-Kernen 4550A-4550N und einen Satz von zweiten Sub-Kernen 4560A-4560N aufweist. In mindestens einer Ausführungsform weist jeder Sub-Kern in den ersten Sub-Kernen 4550A-4550N mindestens einen ersten Satz von Ausführungseinheiten 4552A-4552N und Medien-/Textur-Sampler 4554A-4554N auf. In mindestens einer Ausführungsform weist jeder Sub-Kern in den zweiten Sub-Kernen 4560A-4560N mindestens eine zweite Gruppe von Ausführungseinheiten 4562A-4562N und Samplern 4564A-4564N auf. In mindestens einer Ausführungsform teilt sich jeder Sub-Kern 4550A-4550N, 4560A-4560N einen Satz gemeinsam genutzter Ressourcen 4570A-4570N. In mindestens einer Ausführungsform weisen die gemeinsam genutzten Ressourcen einen gemeinsamen Cache-Speicher und eine Pixeloperationslogik auf.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 3015 in dem Grafikprozessor 4500 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 45 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Grafikprozessor 4500 aus 45 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

46 ist ein Blockdiagramm, das die Mikroarchitektur eines Prozessors 4600 veranschaulicht, der logische Schaltungen zur Ausführung von Befehlen gemäß mindestens einer Ausführungsform aufweisen kann. In mindestens einer Ausführungsform kann der Prozessor 4600 Befehle ausführen, die x86-Befehle, ARM-Befehle, spezielle Befehle für anwendungsspezifische integrierte Schaltungen (ASICs) usw. aufweisen. In mindestens einer Ausführungsform kann der Prozessor 4600 Register zum Speichern gepackter Daten aufweisen, wie z. B. 64 Bit breite MMX™-Register in Mikroprozessoren, die mit der MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. In mindestens einer Ausführungsform können MMX-Register, die sowohl als Ganzzahl- als auch als Gleitkommaregister verfügbar sind, mit gepackten Datenelementen arbeiten, die mit SIMD- (Single Instruction, Multiple Data) und SSE- (Streaming SIMD Extensions) Anweisungen einhergehen. In mindestens einer Ausführungsform können 128 Bit breite XMM-Register, die sich auf SSE2-, SSE3-, SSE4-, AVX- oder darüber hinausgehende Technologien beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden enthalten. In mindestens einer Ausführungsform kann der Prozessor 4600 Anweisungen zur Beschleunigung von Algorithmen für maschinelles Lernen oder Deep Learning, Training oder Inferenzierung ausführen.

In mindestens einer Ausführungsform weist der Prozessor 4600 ein In-Order-FrontEnd („Front-End“) 4601 auf, um auszuführende Befehle abzurufen und Befehle vorzubereiten, die später in der Prozessor-Pipeline verwendet werden sollen. In mindestens einer Ausführungsform kann das Frontend 4601 mehrere Einheiten aufweisen. In mindestens einer Ausführungsform holt ein Befehls-Prefetcher 4626 Befehle aus dem Speicher und leitet sie an einen Befehlsdecodierer 4628 weiter, der wiederum Befehle decodiert oder interpretiert. In mindestens einer Ausführungsform decodiert der Befehlsdecodierer 4628 beispielsweise einen empfangenen Befehl in eine oder mehrere Operationen, die als „Mikrobefehle“ oder „Mikrooperationen“ (auch „Mikro-Ops“ oder „Uops“ genannt) bezeichnet werden und von der Maschine ausgeführt werden können. In mindestens einer Ausführungsform zerlegt der Befehlsdecodierer 4628 den Befehl in einen Op-Code und entsprechende Daten- und Steuerfelder, die von der Mikroarchitektur zur Durchführung von Operationen gemäß mindestens einer Ausführungsform verwendet werden können. In mindestens einer Ausführungsform kann ein Trace-Cache 4630 decodierte uops zu programmgeordneten Sequenzen oder Traces in einer uop-Warteschlange 4634 zur Ausführung zusammenstellen. Bei mindestens einer Ausführungsform, wenn der Trace-Cache 4630 auf eine komplexe Anweisung stößt, stellt ein Mikrocode-ROM 4632 die für den Abschluss der Operation erforderlichen uops bereit.

In mindestens einer Ausführungsform können einige Befehle in eine einzige Mikro-OP umgewandelt werden, während andere mehrere Mikro-OPs benötigen, um den Betrieb vollständig abzuschließen. In mindestens einer Ausführungsform kann der Befehlsdecodierer 4628 auf den Mikrocode-ROM 4632 zugreifen, um den Befehl auszuführen, wenn für die Ausführung eines Befehls mehr als vier Mikro-Ops erforderlich sind. In mindestens einer Ausführungsform kann ein Befehl in eine kleine Anzahl von Mikro-Ops zur Verarbeitung im Befehlsdecodierer 4628 decodiert werden. In mindestens einer Ausführungsform kann ein Befehl im Mikrocode-ROM 4632 gespeichert sein, falls eine Anzahl von Mikro-OPs zur Ausführung des Vorgangs erforderlich ist. In mindestens einer Ausführungsform bezieht sich der Trace-Cache 4630 auf ein programmierbare Logik-Anordnung („PLA“) als Einstiegspunkt, um einen korrekten Mikrobefehlszeiger für das Lesen von Mikrocode-Sequenzen zur Vervollständigung eines oder mehrerer Befehle aus dem Mikrocode-ROM 4632 zu bestimmen. In mindestens einer Ausführungsform kann das Frontend 4601 der Maschine, nachdem das Mikrocode-ROM 4632 die Sequenzierung von Mikrobefehlen für einen Befehl beendet hat, das Abrufen von Mikrobefehlen aus dem Trace-Cache 4630 wieder aufnehmen.

In mindestens einer Ausführungsform kann die Out-of-Order-Ausführungs-Maschine („Out-of-Order-Engine“) 4603 Befehle für die Ausführung vorbereiten. In mindestens einer Ausführungsform verfügt die Out-of-Order-Ausführungslogik über eine Reihe von Puffern, um den Fluss der Befehle zu glätten und neu zu ordnen, um die Leistung zu optimieren, während sie die Pipeline durchlaufen und zur Ausführung geplant werden. Die Out-of-Order-Ausführungs-Maschine 4603 weist in mindestens einer Ausführungsform ohne Einschränkung einen Allokator/Register-Renamer 4640, eine Speicher-uop-Warteschlange 4642, eine Ganzzahl/Gleitkomma-uop-Warteschlange 4644, einen Speicher-Scheduler 4646, einen schnellen Scheduler 4602, einen langsamen/allgemeinen Gleitkomma-Scheduler („slow/general FP scheduler“) 4604 und einen einfachen Gleitkomma-Scheduler („simple FP scheduler“) 4606 auf. In mindestens einer Ausführungsform werden der schnelle Scheduler 4602, der langsame/allgemeine Gleitkomma-Scheduler 4604 und der einfache Gleitkomma-Scheduler 4606 hier auch gemeinsam als „uop-Scheduler 4602, 4604, 4606“ bezeichnet. In mindestens einer Ausführungsform weist der Allokator/Register-Renamer 4640 Maschinenpuffer und Ressourcen zu, die jeder uop für seine Ausführung benötigt. In mindestens einer Ausführungsform benennt der Allokator/Register-Renamer 4640 logische Register auf Einträge in einer Registerdatei um. In mindestens einer Ausführungsform weist der Allokator/Register-Renamer 4640 außerdem jedem uop einen Eintrag in einer von zwei uop-Warteschlangen zu, der Speicher-uop-Warteschlange 4642 für Speicheroperationen und der Ganzzahl-/Gleitkomma-uop-Warteschlange 4644 für Nicht-Speicheroperationen, und zwar vor dem Speicher-Scheduler 4646 und den uop-Schedulern 4602, 4604, 4606. In mindestens einer Ausführungsform bestimmen die uop-Scheduler 4602, 4604, 4606 auf der Grundlage der Bereitschaft ihrer abhängigen Eingangsregister-Operandenquellen und der Verfügbarkeit der Ausführungsressourcen, die die uops für den Abschluss ihrer Operation benötigen, wann ein uop zur Ausführung bereit ist. In mindestens einer Ausführungsform kann der schnelle Scheduler 4602 bei jeder Hälfte des Haupttaktzyklus einplanen, während der langsame/allgemeine Gleitkomma-Scheduler 4604 und der einfache Gleitkomma-Scheduler 4606 einmal pro Hauptprozessortaktzyklus einplanen können. In mindestens einer Ausführungsform vermitteln die uop-Scheduler 4602, 4604, 4606 für Dispatch-Anschlüsse, um uops für die Ausführung zu planen.

In mindestens einer Ausführungsform weist der Ausführungsblock 4611 ohne Einschränkung ein Ganzzahl-Registerdatei/Umgehungs-Netzwerk 4608, ein(e) Gleitkommaregisterdatei/Umgehungsnetzwerk („eine FP-Registerdatei/Umgehungs-Netzwerk“) 4610, Adressgenerierungseinheiten („AGUs“) 4612 und 4614, schnelle arithmetische Logikeinheiten (ALUs) („schnelle ALUs“) 4616 und 4618, eine langsame arithmetische Logikeinheit („langsame ALU“) 4620, eine Gleitkomma-ALU („FP“) 4622 und eine Gleitkomma-Bewegungseinheit („FP-Bewegung“) 4624 auf. In mindestens einer Ausführungsform werden ein Ganzzahl-Registerdatei/Umgehungs-Netzwerk 4608 und ein Gleitkomma-Registerdatei/Umgehungs-Netzwerk 4610 hier auch als „Registerdateien 4608, 4610“ bezeichnet. In mindestens einer Ausführungsform werden die AGUSs 4612 und 4614, die schnellen ALUs 4616 und 4618, die langsame ALU 4620, die Gleitkomma-ALU 4622 und die Gleitkomma-Bewegungseinheit 4624 hier auch als „Ausführungseinheiten 4612, 4614, 4616, 4618, 4620, 4622 und 4624“ bezeichnet. In mindestens einer Ausführungsform kann der Ausführungsblock 4611 ohne Einschränkung eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Umgehungsnetzwerken, Adressgenerierungseinheiten und Ausführungseinheiten in beliebiger Kombination aufweisen.

In mindestens einer Ausführungsform können die Registernetzwerke 4608, 4610 zwischen den uop-Schedulern 4602, 4604, 4606 und den Ausführungseinheiten 4612, 4614, 4616, 4618, 4620, 4622 und 4624 angeordnet sein. In mindestens einer Ausführungsform führt das Integer-Registerdatei/Umgehungs-Netzwerk 4608 Integer-Operationen durch. In mindestens einer Ausführungsform führt das Gleitkommaregisterdatei/Umgehungs-Netzwerk 4610 Gleitkommaoperationen durch. In mindestens einer Ausführungsform kann jede der Registernetzwerke 4608, 4610 ohne Einschränkung ein Umgehungsnetzwerk aufweisen, das gerade abgeschlossene Ergebnisse, die noch nicht in die Registerdatei geschrieben wurden, umleiten oder an neue abhängige Uops weiterleiten kann. In mindestens einer Ausführungsform können die Registernetzwerke 4608, 4610 Daten miteinander austauschen. In mindestens einer Ausführungsform kann das Integer-Registerdatei/Umgehungs-Netzwerk 4608 ohne Einschränkung zwei separate Registerdateien aufweisen, eine Registerdatei für zweiunddreißig Bits von Daten niedriger Ordnung und eine zweite Registerdatei für zweiunddreißig Bits von Daten hoher Ordnung. In mindestens einer Ausführungsform kann das Gleitkomma-Registerdatei/Umgehungs-Netzwerk 4610 ohne Einschränkung 128 Bit breite Einträge aufweisen, da Gleitkomma-Befehle typischerweise Operanden mit einer Breite von 64 bis 128 Bit aufweisen.

In mindestens einer Ausführungsform können die Ausführungseinheiten 4612, 4614, 4616, 4618, 4620, 4622, 4624 Befehle ausführen. In mindestens einer Ausführungsform speichern Registernetzwerke 4608, 4610 Ganzzahl- und Gleitkommadaten-Operandenwerte, die für die Ausführung von Mikrobefehlen erforderlich sind. In mindestens einer Ausführungsform kann der Prozessor 4600 ohne Einschränkung eine beliebige Anzahl und Kombination von Ausführungseinheiten 4612, 4614, 4616, 4618, 4620, 4622, 4624 aufweisen. In mindestens einer Ausführungsform können die Gleitkomma-ALU 4622 und die Gleitkomma-Bewegungseinheit 4624 Gleitkomma-, MMX-, SIMD-, AVX- und SSE- oder andere Operationen ausführen, einschließlich spezieller maschineller Lernbefehle. In mindestens einer Ausführungsform kann die Gleitkomma-ALU 4622 ohne Einschränkung einen 64-Bitdurch-64-Bit-Gleitkomma-Teiler aufweisen, um Divisions-, Quadratwurzel- und Restwert-Mikrooperationen auszuführen. In mindestens einer Ausführungsform können Befehle, die einen Gleitkommawert beinhalten, mit Gleitkomma-Hardware verarbeitet werden. In mindestens einer Ausführungsform können ALU-Operationen an schnelle ALUs 4616, 4618 weitergeleitet werden. In mindestens einer Ausführungsform können die schnellen ALUS 4616, 4618 schnelle Operationen mit einer effektiven Latenzzeit von einem halben Taktzyklus ausführen. In mindestens einer Ausführungsform gehen die meisten komplexen ganzzahligen Operationen an die langsame ALU 4620, da die langsame ALU 4620 ohne Einschränkung ganzzahlige Ausführungshardware für Operationen mit langer Latenzzeit aufweisen kann, wie z. B. einen Multiplizierer, Schiebeeinheiten, eine Flag-Logik und eine Verzweigungsverarbeitung. In mindestens einer Ausführungsform können Speicherlade-/Speicheroperationen von AGUS 4612, 4614 ausgeführt werden. In mindestens einer Ausführungsform können die schnelle ALU 4616, die schnelle ALU 4618 und die langsame ALU 4620 Ganzzahloperationen mit 64-Bit-Datenoperanden durchführen. In mindestens einer Ausführungsform können die schnelle ALU 4616, die schnelle ALU 4618 und die langsame ALU 4620 so implementiert sein, dass sie eine Vielzahl von Datenbitgrößen unterstützen, darunter sechzehn, zweiunddreißig, 128, 256, usw. In mindestens einer Ausführungsform können die Gleitkomma-ALU 4622 und die Gleitkomma-Bewegungseinheit 4624 so implementiert sein, dass sie einen Bereich von Operanden mit Bits unterschiedlicher Breite unterstützen, so dass 128 Bit breite gepackte Datenoperanden in Verbindung mit SIMD- und Multimedia-Anweisungen arbeiten.

In mindestens einer Ausführungsform leiten die uop-Scheduler 4602, 4604, 4606 abhängige Operationen ein, bevor die Ausführung der übergeordneten Last beendet ist. In mindestens einer Ausführungsform kann der Prozessor 4600, da uops spekulativ geplant und im Prozessor 4600 ausgeführt werden können, auch eine Logik zur Behandlung von Speicherfehlern aufweisen. In mindestens einer Ausführungsform kann es, wenn ein Datenladen in den Datencache fehlerhaft ist, abhängige Operationen in der Pipeline geben, die den Scheduler mit vorübergehend falschen Daten verlassen haben. In mindestens einer Ausführungsform verfolgt ein Wiederholungsmechanismus die Anweisungen, die falsche Daten verwenden, und führt sie erneut aus. In mindestens einer Ausführungsform kann es erforderlich sein, abhängige Operationen erneut auszuführen, während unabhängige Operationen zu Ende geführt werden können. In mindestens einer Ausführungsform können Scheduler und ein Wiederholungsmechanismus von mindestens einer Ausführungsform eines Prozessors auch so ausgelegt sein, dass sie Befehlssequenzen für Textstring-Vergleichsoperationen abfangen.

In mindestens einer Ausführungsform können sich „Register“ auf prozessorinterne Speicherplätze beziehen, die als Teil von Befehlen verwendet werden können, um Operanden zu identifizieren. In mindestens einer Ausführungsform kann es sich bei den Registern um solche handeln, die von außerhalb des Prozessors (aus der Sicht eines Programmierers) verwendet werden können. In mindestens einer Ausführungsform können die Register nicht auf einen bestimmten Schaltungstyp beschränkt sein. Vielmehr kann ein Register in mindestens einer Ausführungsform Daten speichern, Daten bereitstellen und hier beschriebene Funktionen ausführen. In mindestens einer Ausführungsform können die hier beschriebenen Register durch Schaltkreise innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert sein, wie z. B. dedizierte physische Register, dynamisch zugewiesene physische Register unter Verwendung von Registerumbenennung, Kombinationen aus dedizierten und dynamisch zugewiesenen physischen Registern usw. In mindestens einer Ausführungsform werden in Ganzzahlregistern 32-Bit-Ganzzahldaten gespeichert. In mindestens einer Ausführungsform enthält eine Registerdatei auch acht Multimedia-SIMD-Register für gepackte Daten.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 3015 in den Ausführungsblock 4611 und andere gezeigte oder nicht gezeigte Speicher oder Register integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenzierungs-Verfahren eine oder mehrere der im Ausführungsblock 4611 dargestellten ALUs verwenden. Darüber hinaus können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs des Ausführungsblocks 4611 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 46 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Prozessor 4600 aus 46 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

47 zeigt gemäß mindestens einer Ausführungsform einen Deep-Learning-Anwendungsprozessor 4700. In mindestens einer Ausführungsform verwendet der Deep-Learning-Anwendungsprozessor 4700 Anweisungen, die, wenn sie vom Deep-Learning-Anwendungsprozessor 4700 ausgeführt werden, bewirken, dass der Deep-Learning-Anwendungsprozessor 4700 einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Verfahren ausführt. In mindestens einer Ausführungsform handelt es sich bei dem Deep-Learning-Anwendungsprozessor 4700 um eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einer Ausführungsform führt der Anwendungsprozessor 4700 Matrixmultiplikationsoperationen entweder „fest verdrahtet“ in Hardware als Ergebnis der Ausführung einer oder mehrerer Anweisungen oder beides durch. In mindestens einer Ausführungsform umfasst der Deep-Learning-Anwendungsprozessor 4700 ohne Einschränkung Verarbeitungscluster 4710(1)-4710(12), Inter-Chip-Verbindungen („ICLs“) 4720(1)-4720(12), Inter-Chip-Steuerungen („ICCs“) 4730(1)-4730(2), Speicher mit hoher Bandbreite der zweiten Generation („HBM2“) 4740(1)-4740(4), Speichersteuerungen („Mem Ctrlrs“) 4742(1)-4742(4), eine physikalische Schicht für Speicher mit hoher Bandbreite („HBM PHY“) 4744(1)-4744(4), eine Management-Controller-Zentraleinheit („Management-Controller-CPU“) 4750, einen Block für serielle periphere Schnittstellen, integrierte Schaltungen und allgemeine Eingaben/Ausgaben („SPI, I²C, GPIO“) 4760, eine Express-Steuerung für periphere Komponentenverbindungen und einen Block für direkten Speicherzugriff („PCle-Steuerung und DMA“) 4770 und einen Express-Anschluss für periphere Komponentenverbindungen mit sechzehn Bahnen („PCl Express x 16“) 4780.

In mindestens einer Ausführungsform können Verarbeitungscluster 4710 Operationen für Deep Learning durchführen, einschließlich Inferenz- oder Vorhersageoperationen basierend auf Gewichtungsparametern, die mit einer oder mehreren Trainingsverfahren, einschließlich der hierin beschriebenen, berechnet wurden. In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 4710 ohne Einschränkung eine beliebige Anzahl und Art von Prozessoren umfassen. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 4700 eine beliebige Anzahl und Art von Verarbeitungsclustern 4700 umfassen. In mindestens einer Ausführungsform sind die Inter-Chip-Verbindungen 4720 bidirektional. In mindestens einer Ausführungsform ermöglichen die Inter-Chip-Verbindungen 4720 und die Inter-Chip-Steuerungen 4730 mehreren Deep-Learning-Anwendungsprozessoren 4700, Informationen auszutauschen, einschließlich Aktivierungsinformationen, die aus der Ausführung eines oder mehrerer maschineller Lernalgorithmen resultieren, die in einem oder mehreren neuronalen Netzen ausgestaltet sind. In mindestens einer Ausführungsform kann der Deep Learning-Anwendungsprozessor 4700 eine beliebige Anzahl (einschließlich Null) und einen beliebigen Typ von ICLs 4720 und ICCs 4730 aufweisen.

In mindestens einer Ausführungsform stellen die HBM2s 4740 insgesamt 32 Gigabyte (GB) Speicher bereit. HBM2 4740(i) ist in mindestens einer Ausführungsform sowohl der Speichersteuerung 4742(i) als auch der HBM PHY 4744(i) zugeordnet, wobei „i“ eine beliebige ganze Zahl ist. In mindestens einer Ausführungsform kann eine beliebige Anzahl von HBM2 4740 einen beliebigen Typ und eine beliebige Gesamtmenge an Speicher mit hoher Bandbreite bereitstellen und einer beliebigen Anzahl (einschließlich Null) und einem beliebigen Typ von Speichersteuerungen 4742 und HBM PHYs 4744 zugeordnet sein. In mindestens einer Ausführungsform können SPI, I²C, GPIO 4760, PCIe-Steuerung und DMA 4770 und/oder PCle 4780 durch eine beliebige Anzahl und Art von Blöcken ersetzt werden, die eine beliebige Anzahl und Art von Kommunikationsstandards in einer technisch geeigneten Weise ermöglichen.

Die Inferenz- und/oder Trainingslogik 3015 wird zum Inferenzieren und/oder Trainieren von Operationen verwendet, die einer oder mehreren Ausführungsformen zugeordnet sind. Details zur Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit 30A und/oder 30B bereitgestellt. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor dazu verwendet, ein Modell zum maschinellen Lernen, wie z. B. ein neuronales Netz, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die dem Deep-Learning-Anwendungsprozessor 4700 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 4700 verwendet, um Informationen basierend auf einem trainierten Modell zum maschinellen Lernen (z. B. einem neuronalen Netz), das von einem anderen Prozessor oder System oder vom Deep Learning-Anwendungsprozessor 4700 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der Prozessor 4700 verwendet werden, um einen oder mehrere hierin beschriebene Anwendungsfälle eines neuronalen Netzes durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 47 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Prozessor 4700 aus 47 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

48 zeigt ein Blockdiagramm eines neuromorphen Prozessors 4800 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 4800 eine oder mehrere Eingaben von Quellen außerhalb des neuromorphen Prozessors 4800 empfangen. In mindestens einer Ausführungsform können diese Eingaben an ein oder mehrere Neuronen 4802 innerhalb des neuromorphen Prozessors 4800 übertragen werden. In mindestens einer Ausführungsform können die Neuronen 4802 und ihre Komponenten unter Verwendung von Schaltungsanordnungen oder Logik, einschließlich einer oder mehrerer arithmetischer Logikeinheiten (ALUs), implementiert sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 4800 ohne Einschränkung Tausende oder Millionen von Instanzen von Neuronen 4802 umfassen, aber jede geeignete Anzahl von Neuronen 4802 kann verwendet werden. In mindestens einer Ausführungsform kann jede Instanz eines Neurons 4802 einen Neuroneneingang 4804 und einen Neuronenausgang 4806 umfassen. In mindestens einer Ausführungsform können die Neuronen 4802 Ausgaben generieren, die an Eingänge anderer Instanzen von Neuronen 4802 übertragen werden können. Zum Beispiel können in mindestens einer Ausführungsform die Eingänge 4804 und Ausgänge 4806 der Neuronen über Synapsen 4808 miteinander verbunden sein.

In mindestens einer Ausführungsform können Neuronen 4802 und Synapsen 4808 so miteinander verbunden sein, dass der neuromorphe Prozessor 4800 arbeitet, um vom neuromorphen Prozessor 4800 empfangene Informationen zu verarbeiten oder zu analysieren. In mindestens einer Ausführungsform können die Neuronen 4802 einen Ausgabeimpuls („Spike“) senden („feuern“), wenn die über den Neuroneneingang 4804 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einer Ausführungsform können die Neuronen 4802 die an den Neuroneneingängen 4804 empfangenen Signale summieren oder integrieren. In mindestens einer Ausführungsform können die Neuronen 4802 beispielsweise als Integrate-and-Fire- Neuronen mit Leckstrom (leaky integrate-and-fire neuron) implementiert sein, wobei das Neuron 4802 eine Ausgabe unter Verwendung einer Übertragungsfunktion wie einer Sigmoid- oder Schwellenfunktion generieren („feuern“) kann, wenn eine Summe (als „Membranpotential“ bezeichnet) einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann ein „lntegrate-and-Fire“-Neuron mit Leckstrom die an den Eingängen 4804 des Neurons empfangenen Signale zu einem Membranpotential summieren und auch einen Abklingfaktor (oder ein Leckstrom) anwenden, um das Membranpotential zu reduzieren. In mindestens einer Ausführungsform kann ein „lntegrate-and-Fire“-Neuron mit Leckstrom feuern, wenn mehrere Eingabesignale an den Neuroneneingängen 4804 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (d. h. bevor ein Membranpotenzial zu niedrig abklingt, um zu feuern). In mindestens einer Ausführungsform können die Neuronen 4802 unter Verwendung von Schaltungen oder Logik implementiert sein, die Eingaben empfangen, Eingaben in ein Membranpotential integrieren und ein Membranpotential abklingen lassen. In mindestens einer Ausführungsform können die Eingaben gemittelt werden, oder es kann jede andere geeignete Übertragungsfunktion verwendet werden. Darüber hinaus können die Neuronen 4802 in mindestens einer Ausführungsform ohne Einschränkung Komparatorschaltungen oder eine Logik umfassen, die einen Ausgangsspike am Neuronenausgang 4806 generieren bzw. generiert, wenn das Ergebnis der Anwendung einer Übertragungsfunktion auf die Neuroneneingabe 4804 einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann das Neuron 4802, sobald es feuert, zuvor erhaltene Eingaben verwerfen, indem es beispielsweise ein Membranpotenzial auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einer Ausführungsform kann das Neuron 4802, sobald das Membranpotenzial auf 0 zurückgesetzt ist, nach einer geeigneten Zeitspanne (oder Refraktärzeit) den normalen Betrieb wieder aufnehmen.

In mindestens einer Ausführungsform können die Neuronen 4802 über Synapsen 4808 miteinander verbunden sein. In mindestens einer Ausführungsform können Synapsen 4808 arbeiten, um Signale von einem Ausgang eines ersten Neurons 4802 zu einem Eingang eines zweiten Neurons 4802 zu übertragen. In mindestens einer Ausführungsform können die Neuronen 4802 Informationen über mehr als eine Instanz der Synapse 4808 übertragen. In mindestens einer Ausführungsform können eine oder mehrere Instanzen eines neuronalen Ausgangs 4806 über eine Instanz einer Synapse 4808 mit einer Instanz eines neuronalen Eingangs 4804 in demselben Neuron 4802 verbunden sein. In mindestens einer Ausführungsform kann eine Instanz eines Neurons 4802, die eine über eine Instanz einer Synapse 4808 zu übertragende Ausgabe generiert, als „präsynaptisches Neuron“ in Bezug auf diese Instanz einer Synapse 4808 bezeichnet werden. In mindestens einer Ausführungsform kann eine Instanz eines Neurons 4802, die eine über eine Instanz einer Synapse 4808 übertragene Eingabe empfängt, als „postsynaptisches Neuron“ in Bezug auf diese Instanz einer Synapse 4808 bezeichnet werden. Da eine Instanz eines Neurons 4802 Eingaben von einer oder mehreren Instanzen einer Synapse 4808 empfangen und auch Ausgaben über eine oder mehrere Instanzen einer Synapse 4808 übertragen kann, kann eine einzelne Instanz eines Neurons 4802 in mindestens einer Ausführungsform sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Instanzen von Synapsen 4808 sein.

In mindestens einer Ausführungsform können die Neuronen 4802 in einer oder mehreren Schichten organisiert sein. Jede Instanz eines Neurons 4802 kann in mindestens einer Ausführungsform einen Neuronenausgang 4806 aufweisen, der sich über eine oder mehrere Synapsen 4808 zu einem oder mehreren Eingängen 4804 auffächern kann. In mindestens einer Ausführungsform können die Ausgänge 4806 von Neuronen 4802 in einer ersten Schicht 4810 mit Eingängen 4804 von Neuronen 4802 in einer zweiten Schicht 4812 verbunden sein. In mindestens einer Ausführungsform kann die Schicht 4810 als „Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform kann sich jede Instanz eines Neurons 4802 in einer Instanz einer ersten Schicht 4810 zu jeder Instanz eines Neurons 4802 in einer zweiten Schicht 4812 auffächern. In mindestens einer Ausführungsform kann die erste Schicht 4810 als „vollständig vernetzte Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform kann jede Instanz eines Neurons 4802 in einer Instanz einer zweiten Schicht 4812 zu weniger als allen Instanzen eines Neurons 4802 in einer dritten Schicht 4814 auffächern. In mindestens einer Ausführungsform kann eine zweite Schicht 4812 als eine „spärlich vernetzte Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform können sich Neuronen 4802 in der zweiten Schicht 4812 zu Neuronen 4802 in mehreren anderen Schichten auffächern, einschließlich zu Neuronen 4802 in (derselben) zweiten Schicht 4812. In mindestens einer Ausführungsform kann die zweite Schicht 4812 als eine „rekurrente Schicht“ bezeichnet werden. Der neuromorphe Prozessor 4800 kann in mindestens einer Ausführungsform ohne Einschränkung jede geeignete Kombination von rekurrenten Schichten und Feedforward-Schichten umfassen, einschließlich, ohne Einschränkung, sowohl spärlich vernetzte Feedforward-Schichten als auch vollständig vernetzte Feedforward-Schichten.

In mindestens einer Ausführungsform kann der neuromorphe Prozessor 4800 ohne Einschränkung eine rekonfigurierbare Verbindungsarchitektur oder dedizierte festverdrahtete Verbindungen umfassen, um Synapsen 4808 mit Neuronen 4802 zu verbinden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 4800 ohne Einschränkung eine Schaltungsanordnung oder Logik umfassen, die es ermöglicht, dass Synapsen je nach Bedarf basierend auf der Topologie eines neuronalen Netzes und dem Fan-in/-out von Neuronen verschiedenen Neuronen 4802 zugewiesen werden können. Beispielsweise können in mindestens einer Ausführungsform Synapsen 4808 unter Verwendung einer Verbindungsstruktur, wie z. B. einem Netzwerk auf einem Chip, oder mit dedizierten Verbindungen mit Neuronen 4802 verbunden werden. In mindestens einer Ausführungsform können die Synapsenverbindungen und deren Komponenten unter Verwendung von Schaltungsanordnungen oder Logik implementiert sein.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 48 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der neuromorphe Prozessor 4800 aus 48 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

49 ist ein Blockdiagramm eines Verarbeitungssystems gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform weist das System 4900 einen oder mehrere Prozessoren 4902 und einen oder mehrere Grafikprozessoren 4908 auf und kann ein Einzelprozessor-Desktop-System, ein Multiprozessor-Workstation-System oder ein Server-System mit einer großen Anzahl von Prozessoren 4902 oder Prozessorkernen 4907 sein. In mindestens einer Ausführungsform ist das System 4900 eine Verarbeitungsplattform, die in eine integrierte System-on-a-Chip (SoC)-Schaltung zur Verwendung in mobilen, tragbaren oder eingebetteten Einrichtungen integriert ist.

In mindestens einer Ausführungsform kann das System 4900 eine serverbasierte Spielplattform, eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine Handheld-Spielkonsole oder eine Online-Spielkonsole aufweisen oder darin integriert sein. In mindestens einer Ausführungsform ist das System 4900 ein Mobiltelefon, ein Smartphone, eine Recheneinrichtung für Tablets oder eine mobile Interneteinrichtung. In mindestens einer Ausführungsform kann das Verarbeitungssystem 4900 auch eine tragbare Einrichtung aufweisen, mit dieser gekoppelt oder in diese integriert sein, wie z. B. eine tragbare Einrichtung für eine intelligente Uhr, eine intelligente Brille, eine Augmented-Reality-Einrichtung oder eine Virtual-Reality-Einrichtung. In mindestens einer Ausführungsform ist das Verarbeitungssystem 4900 eine Fernseh- oder Set-Top-Box-Einrichtung mit einem oder mehreren Prozessoren 4902 und einer grafischen Schnittstelle, die von einem oder mehreren Grafikprozessoren 4908 generiert ist.

In mindestens einer Ausführungsform weisen ein oder mehrere Prozessoren 4902 jeweils einen oder mehrere Prozessorkerne 4907 auf, um Befehle zu verarbeiten, die, wenn sie ausgeführt werden, Operationen für System- und Benutzersoftware durchführen. In mindestens einer Ausführungsform ist jeder von einem oder mehreren Prozessorkernen 4907 so ausgestaltet, dass er eine bestimmte Befehlsfolge 4909 verarbeitet. In mindestens einer Ausführungsform kann die Befehlsfolge 4909 das Complex Instruction Set Computing (CISC), das Reduced Instruction Set Computing (RISC) oder das Rechnen über ein Very Long Instruction Word (VLIW) ermöglichen. In mindestens einer Ausführungsform können die Prozessorkerne 4907 jeweils eine andere Befehlsfolge 4909 verarbeiten, die Befehle aufweisen kann, um die Emulation anderer Befehlsfolgen zu erleichtern. In mindestens einer Ausführungsform kann der Prozessorkern 4907 auch andere verarbeitende Einrichtungen aufweisen, wie etwa einen digitalen Signalprozessor (DSP).

In mindestens einer Ausführungsform weist der Prozessor 4902 einen Cache-Speicher 4904 auf. In mindestens einer Ausführungsform kann der Prozessor 4902 einen einzigen internen Cache oder mehrere Ebenen eines internen Caches aufweisen. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 4902 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 4902 auch einen externen Cache (z. B. einen Level-3 (L3) Cache oder Last Level Cache (LLC)) (nicht dargestellt), der unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 4907 gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist zusätzlich eine Registerdatei 4906 im Prozessor 4902 vorhanden, die verschiedene Arten von Registern zur Speicherung unterschiedlicher Datentypen aufweisen kann (z. B. Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister). In mindestens einer Ausführungsform kann die Registerdatei 4906 Allzweckregister oder andere Register aufweisen.

In mindestens einer Ausführungsform ist (sind) ein oder mehrere Prozessor(en) 4902 mit einem oder mehreren Schnittstellenbus(en) 4910 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen dem Prozessor 4902 und anderen Komponenten im System 4900 zu übertragen. In mindestens einer Ausführungsform kann der Schnittstellenbus 4910 ein Prozessorbus sein, beispielsweise eine Version eines Direct Media Interface (DMI)-Busses. In mindestens einer Ausführungsform ist der Schnittstellenbus 4910 nicht auf einen DMI-Bus beschränkt und kann einen oder mehrere Peripheral Component Interconnect-Busse (z. B. PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen aufweisen. In mindestens einer Ausführungsform weisen Prozessor(en) 4902 eine integrierte Speichersteuerung 4916 und einen Plattformsteuerungs-Hub 4930 auf. In mindestens einer Ausführungsform erleichtert die Speichersteuerung 4916 die Kommunikation zwischen einer Speichereinrichtung und anderen Komponenten des Systems 4900, während der Plattform-Controller-Hub (PCH) 4930 Verbindungen zu I/O-Einrichtungen über einen lokalen I/O-Bus bereitstellt.

In mindestens einer Ausführungsform kann die Speichereinrichtung 4920 eine dynamische Direktzugriffsspeichereinrichtung (DRAM), eine statische Direktzugriffsspeichereinrichtung (SRAM), eine Flash-Speichereinrichtung, eine Phasenwechsel-Speichereinrichtung oder eine andere Speichereinrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. In mindestens einer Ausführungsform kann die Speichereinrichtung 4920 als Systemspeicher für das System 4900 arbeiten, um Daten 4922 und Befehle 4921 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 4902 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform ist die Speichersteuerung 4916 auch mit einem optionalen externen Grafikprozessor 4912 gekoppelt, der mit einem oder mehreren Grafikprozessoren 4908 in den Prozessoren 4902 kommunizieren kann, um Grafik- und Medienoperationen durchzuführen. In mindestens einer Ausführungsform kann eine Anzeigeeinrichtung 4911 an den (die) Prozessor(en) 4902 angeschlossen sein. In mindestens einer Ausführungsform kann die Anzeigeeinrichtung 4911 eine oder mehrere interne Anzeigeeinrichtungen, wie z. B. in einer mobilen elektronischen Einrichtung oder einem Laptop, oder eine externe Anzeigeeinrichtung, die über eine Anzeigeschnittstelle (z. B. DisplayPort usw.) angeschlossen ist, aufweisen. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 4911 eine am Kopf montierte Anzeige (HMD) wie eine stereoskopische Anzeigevorrichtung zur Verwendung bei Virtual-Reality-Anwendungen (VR) oder Augmented-Reality-Anwendungen (AR) aufweisen.

In mindestens einer Ausführungsform ermöglicht der Plattformsteuerungs-Hub 4930 den Anschluss von Peripheriegeräten an die Speichereinrichtung 4920 und dem Prozessor 4902 über einen Hochgeschwindigkeits-I/O-Bus. In mindestens einer Ausführungsform weisen die I/O-Peripheriegeräte unter anderem eine Audio-Steuerung 4946, eine NetzwerkSteuerung 4934, eine Firmware-Schnittstelle 4928, einen drahtlosen Transceiver 4926, Berührungssensoren 4925 und eine Einrichtung zur Datenspeicherung 4924 (z. B. Festplattenlaufwerk, Flash-Speicher usw.) auf. In mindestens einer Ausführungsform kann die Datenspeichereinrichtung 4924 über eine Speicherschnittstelle (z. B. SATA) oder über einen Peripheriebus, wie einen Peripheral Component Interconnect Bus (z. B. PCI, PCI Express), angeschlossen sein. In mindestens einer Ausführungsform können die Berührungssensoren 4925 Touchscreen-Sensoren, Drucksensoren oder Fingerabdrucksensoren aufweisen. In mindestens einer Ausführungsform kann der drahtlose Transceiver 4926 ein Wi-Fi-Transceiver, ein Bluetooth-Transceiver oder ein Mobilfunk-Transceiver wie ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver sein. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 4928 die Kommunikation mit der System-Firmware und kann z. B. eine einheitliche erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einer Ausführungsform kann die Netzwerksteuerung 4934 eine Netzwerkverbindung mit einem kabelgebundenen Netzwerk ermöglichen. In mindestens einer Ausführungsform ist eine Hochleistungs-Netzwerksteuerung (nicht dargestellt) mit dem Schnittstellenbus 4910 gekoppelt. In mindestens einer Ausführungsform handelt es sich bei der Audio-Steuerung 4946 um eine mehrkanalige High-Definition-Audio-Steuerung. In mindestens einer Ausführungsform weist das System 4900 eine optionale Legacy-I/O-Steuerung 4940 zur Kopplung von Legacy-Einrichtungen (z. B. Personal System 2 (PS/2)) mit dem System 4900 auf. In mindestens einer Ausführungsform kann der Plattformsteuerungs-Hub 4930 auch an eine oder mehrere Universal Serial Bus (USB)-Steuerungen 4942 angeschlossen sein, die Eingabeeinrichtungen wie Tastatur- und Mauskombinationen 4943, eine Kamera 4944 oder andere USB-Eingabeeinrichtungen anschließen.

In mindestens einer Ausführungsform kann eine Instanz der Speichersteuerung 4916 und des Plattformsteuerungs-Hubs 4930 in einen diskreten externen Grafikprozessor, wie den externen Grafikprozessor 4912, integriert sein. In mindestens einer Ausführungsform kann der Plattformsteuerungs-Hub 4930 und/oder die Speichersteuerung 4916 extern bezüglich eines oder mehrerer Prozessor(en) 4902 sein. Zum Beispiel kann das System 4900 in mindestens einer Ausführungsform eine externe Speichersteuerung 4916 und einen Plattformsteuerungs-Hub 4930 aufweisen, der als Speichersteuerungs-Hub und Peripherie-Steuerungs-Hub innerhalb eines System-Chipsatzes ausgestaltet sein kann, der mit dem (den) Prozessor(en) 4902 in Verbindung steht.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 3015 in den Grafikprozessor 4908 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenzierungs-Verfahren eine oder mehrere ALUs in einer 3D-Pipeline verwenden. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in den 30A oder 30B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 4908 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 49 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird das System 4900 aus 49 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

50 ist ein Blockdiagramm eines Prozessors 5000 mit einem oder mehreren Prozessorkernen 5002A-5002N, einer integrierten Speichersteuerung 5014 und einem integrierten Grafikprozessor 5008, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 5000 zusätzliche Kerne aufweisen, bis hin zu und einschließlich des zusätzlichen Kerns 5002N, der durch gestrichelte Kästchen dargestellt ist. In mindestens einer Ausführungsform weist jeder der Prozessorkerne 5002A-5002N eine oder mehrere interne Cache-Einheiten 5004A-5004N auf. In mindestens einer Ausführungsform hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 5006.

In mindestens einer Ausführungsform stellen die internen Cache-Einheiten 5004A-5004N und die gemeinsam genutzten Cache-Einheiten 5006 eine Cache-Speicherhierarchie innerhalb des Prozessors 5000 dar. In mindestens einer Ausführungsform können die Cache-Speichereinheiten 5004A-5004N mindestens eine Ebene eines Befehls- und Daten-Caches innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen eines gemeinsam genutzten Mid-Level-Caches, wie z. B. eine Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, aufweisen, wobei eine höchste Cache-Ebene vor einem externen Speicher als LLC klassifiziert ist. In mindestens einer Ausführungsform hält die Cache-Kohärenzlogik die Kohärenz zwischen verschiedenen Cache-Einheiten 5006 und 5004A-5004N aufrecht.

In mindestens einer Ausführungsform kann der Prozessor 5000 auch einen Satz von einer oder mehreren Bussteuerungseinheiten 5016 und einen Systemagentenkern 5010 aufweisen. In mindestens einer Ausführungsform verwalten eine oder mehrere Bussteuerungseinheiten 5016 einen Satz von Peripheriebussen, wie einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einer Ausführungsform bietet der Systemagenten-Kern 5010 Verwaltungsfunktionen für verschiedene Prozessorkomponenten. In mindestens einer Ausführungsform weist der Systemagenten-Kern 5010 eine oder mehrere integrierte Speichersteuerungen 5014 auf, um den Zugriff auf verschiedene externe Speichereinrichtungen (nicht dargestellt) zu verwalten.

In mindestens einer Ausführungsform weist einer oder weisen mehrere der Prozessorkerne 5002A-5002N Unterstützung für gleichzeitiges Multithreading auf. In mindestens einer Ausführungsform weist der Systemagentenkern 5010 Komponenten zur Koordinierung und zum Betrieb der Kerne 5002A-5002N während der Multithreading-Verarbeitung auf. In mindestens einer Ausführungsform kann der Systemagentenkern 5010 zusätzlich eine Leistungssteuerungseinheit (PCU) aufweisen, die Logik und Komponenten zur Regelung eines oder mehrerer Leistungszustände der Prozessorkerne 5002A-5002N und des Grafikprozessors 5008 aufweist.

In mindestens einer Ausführungsform weist der Prozessor 5000 zusätzlich einen Grafikprozessor 5008 zur Ausführung von Grafikverarbeitungsoperationen auf. In mindestens einer Ausführungsform ist der Grafikprozessor 5008 mit gemeinsamen Cache-Einheiten 5006 und dem Systemagenten-Kern 5010 gekoppelt, der eine oder mehrere integrierte Speichersteuerungen 5014 aufweist. In mindestens einer Ausführungsform weist der Systemagenten-Kern 5010 auch eine Anzeigesteuerung 5011 auf, um die Ausgabe des Grafikprozessors an eine oder mehrere gekoppelte Anzeigen zu steuern. In mindestens einer Ausführungsform kann die Anzeigesteuerung 5011 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Grafikprozessor 5008 verbunden ist, oder sie kann in den Grafikprozessor 5008 integriert sein.

In mindestens einer Ausführungsform wird eine ringbasierte Verbindungseinheit 5012 verwendet, um interne Komponenten des Prozessors 5000 zu verbinden. In mindestens einer Ausführungsform kann eine alternative Verbindungseinheit verwendet werden, wie z. B. eine Punkt-zu-Punkt-Verbindung, eine geschaltete Verbindung oder andere Techniken. In mindestens einer Ausführungsform ist der Grafikprozessor 5008 über eine I/O-Verbindung 5013 mit der Ringverbindung 5012 verbunden.

In mindestens einer Ausführungsform stellt die I/O-Verbindung 5013 mindestens eine von mehreren Arten von I/O-Verbindungen dar, die eine On-Package-I/O-Verbindung aufweisen, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 5018, wie z. B. einem eDRAM-Modul, ermöglicht. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 5002A-5002N und der Grafikprozessor 5008 das eingebettete Speichermodul 5018 als gemeinsamen Last Level Cache.

In mindestens einer Ausführungsform sind die Prozessorkerne 5002A-5002N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 5002A-5002N in Bezug auf die Befehlssatzarchitektur (ISA) heterogen, wobei ein oder mehrere Prozessorkerne 5002A-5002N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 5002A-5002N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen anderen Befehlssatz ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 5002A-5002N in Bezug auf die Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einem relativ höheren Energieverbrauch mit einem oder mehreren Kernen mit einem niedrigeren Energieverbrauch gekoppelt sind. In mindestens einer Ausführungsform kann der Prozessor 5000 auf einem oder mehreren Chips oder als integrierte SoC-Schaltung implementiert sein.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 3015 in den Grafikprozessor 5008 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenzierungs-Verfahren eine oder mehrere ALUs verwenden, die in einer 3D-Pipeline, (einem) Grafikkern(en) 5002, einer gemeinsamen Funktionslogik oder einer anderen Logik in 50 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in den 30A oder 30B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Prozessors 5000 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 50 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Prozessor 5000 aus 50 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

51 ist ein Blockdiagramm eines Grafikprozessors 5100, bei dem es sich um eine diskrete Grafikverarbeitungseinheit oder um einen mit einer Vielzahl von Prozessorkernen integrierten Grafikprozessor handeln kann. In mindestens einer Ausführungsform kommuniziert der Grafikprozessor 5100 über eine einem Speicher zugeordnete I/O-Schnittstelle mit Registern auf dem Grafikprozessor 5100 und mit Befehlen, die im Speicher abgelegt sind. In mindestens einer Ausführungsform weist der Grafikprozessor 5100 eine Speicherschnittstelle 5114 für den Zugriff auf den Speicher auf. In mindestens einer Ausführungsform ist die Speicherschnittstelle 5114 eine Schnittstelle zum lokalen Speicher, einem oder mehreren internen Caches, einem oder mehreren gemeinsam genutzten externen Caches und/oder zum Systemspeicher.

In mindestens einer Ausführungsform weist der Grafikprozessor 5100 auch eine Anzeigesteuerung 5102 auf, um Anzeigeausgangsdaten an eine Anzeigeeinrichtung 5120 zu steuern. In mindestens einer Ausführungsform weist die Anzeigesteuerung 5102 Hardware für eine oder mehrere Überlagerungsebenen für die Anzeigeeinrichtung 5120 und die Zusammensetzung mehrerer Schichten von Video- oder Benutzerschnittstellenelementen auf. In mindestens einer Ausführungsform kann die Anzeigeeinrichtung 5120 eine interne oder externe Anzeigeeinrichtung sein. In mindestens einer Ausführungsform handelt es sich bei der Anzeigeeinrichtung 5120 um eine am Kopf getragene Anzeigeeinrichtung, wie z. B. eine Virtual-Reality- (VR-) Anzeigeeinrichtung oder eine Augmented-Reality- (AR-) Anzeigeeinrichtung. In mindestens einer Ausführungsform weist der Grafikprozessor 5100 eine Videocodec-Maschine 5106 auf, um Medien in, aus oder zwischen einem oder mehreren Mediencodierformaten zu codieren, zu decodieren oder zu transcodieren, einschließlich, aber nicht beschränkt auf Moving Picture Experts Group (MPEG)-Formate wie MPEG-2, Advanced Video Coding (AVC)-Formate wie H.264 /MPEG-4 AVC, sowie die Society of Motion Picture & Television Engineers (SMPTE) 421M/VC-1 und Joint Photographic Experts Group (JPEG) Formate wie JPEG und Motion JPEG (MJPEG) Formate.

In mindestens einer Ausführungsform weist der Grafikprozessor 5100 eine BLIT-Maschine (Block Image Transfer) 5104 auf, um zweidimensionale (2D) Rasterisierungsoperationen durchzuführen, einschließlich z. B. Bit-Boundary Block Transfers. In mindestens einer Ausführungsform werden 2D-Grafikoperationen jedoch mit einer oder mehreren Komponenten der Grafikverarbeitungs-Maschine (GPE) 5110 durchgeführt. In mindestens einer Ausführungsform ist die GPE 5110 eine Rechenmaschine zur Durchführung von Grafikoperationen, die dreidimensionale (3D) Grafikoperationen und Medienoperationen einschließen.

In mindestens einer Ausführungsform weist die GPE 5110 eine 3D-Pipeline 5112 zur Durchführung von 3D-Operationen auf, wie z. B. das Rendern dreidimensionaler Bilder und Szenen unter Verwendung von Verarbeitungsfunktionen, die auf 3D-Primitivformen (z. B. Rechteck, Dreieck usw.) wirken. Die 3D-Pipeline 5112 weist in mindestens einer Ausführungsform programmierbare und feste Funktionselemente auf, die verschiedene Aufgaben ausführen und/oder Ausführungs-Threads zu einem 3D/Media-Subsystem 5115 erstellen. Während die 3D-Pipeline 5112 zur Durchführung von Medienoperationen verwendet werden kann, weist die GPE 5110 in mindestens einer Ausführungsform auch eine Medien-Pipeline 5116 auf, die zur Durchführung von Medienoperationen, wie Videonachbearbeitung und Bildverbesserung, verwendet wird.

In mindestens einer Ausführungsform weist die Medienpipeline 5116 feste Funktions- oder programmierbare Logikeinheiten auf, um eine oder mehrere spezialisierte Medienoperationen wie Videodecodierbeschleunigung, Videoentflechtung und Videocodierbeschleunigung anstelle von oder im Auftrag der Videocodec-Maschine 5106 durchzuführen. In mindestens einer Ausführungsform weist die Medien-Pipeline 5116 zusätzlich eine Thread-Spawning-Einheit auf, um Threads zur Ausführung im 3D/Media-Subsystem 5115 zu erstellen. In mindestens einer Ausführungsform führen die erstellten Threads Berechnungen für Medienoperationen auf einer oder mehreren Grafikausführungseinheiten durch, die im 3D/Media-Subsystem 5115 vorhanden sind.

In mindestens einer Ausführungsform weist das 3D/Media-Subsystem 5115 eine Logik zur Ausführung von Threads auf, die von der 3D-Pipeline 5112 und der Media-Pipeline 5116 erstellt werden. In mindestens einer Ausführungsform senden die 3D-Pipeline 5112 und die Medien-Pipeline 5116 Thread-Ausführungsanforderungen an das 3D/Media-Subsystem 5115, das eine Thread-Verteilungslogik aufweist, um verschiedene Anforderungen an verfügbare Thread-Ausführungsressourcen zu vermitteln und zu verteilen. In mindestens einer Ausführungsform weisen die Ausführungsressourcen eine Anordnung von Grafikausführungseinheiten zur Verarbeitung von 3D- und Medien-Threads auf. In mindestens einer Ausführungsform weist das 3D/Media-Subsystem 5115 einen oder mehrere interne Caches für Thread-Anweisungen und -Daten auf. In mindestens einer Ausführungsform weist das Subsystem 5115 auch einen gemeinsamen Speicher auf, einschließlich Registern und adressierbarem Speicher, um Daten zwischen Threads zu teilen und Ausgabedaten zu speichern.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 3015 in den Grafikprozessor 5100 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenzierungs-Verfahren eine oder mehrere ALUs in einer 3D-Pipeline 5112 verwenden. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in den 30A oder 30B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 5100 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 51 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Grafikprozessor 5100 aus 51 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

52 ist ein Blockdiagramm einer Grafikverarbeitungsmaschine 5210 eines Grafikprozessors gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Grafikverarbeitungsmaschine (GPE) 5210 eine Version der in 51 gezeigten GPE 5110. In mindestens einer Ausführungsform ist die Medienpipeline 5216 optional und darf nicht ausdrücklich in der GPE 5210 vorhanden sein. In mindestens einer Ausführungsform ist ein separater Medien- und/oder Bildprozessor mit der GPE 5210 verbunden.

In mindestens einer Ausführungsform ist die GPE 5210 mit einem Befehlsstreamer 5203 gekoppelt oder weist diesen auf, der einen Befehlsstrom an die 3D-Pipeline 5212 und/oder die Medienpipeline 5216 liefert. In mindestens einer Ausführungsform ist der Befehlsstreamer 5203 mit einem Speicher gekoppelt, bei dem es sich um einen Systemspeicher oder um einen oder mehrere interne Cache-Speicher und gemeinsam genutzte Cache-Speicher handeln kann. In mindestens einer Ausführungsform empfängt der Befehlsstreamer 5203 Befehle vom Speicher und sendet Befehle an die 3D-Pipeline 5212 und/oder die Medien-Pipeline 5216. In mindestens einer Ausführungsform handelt es sich bei den Befehlen um Anweisungen, Primitive oder Mikrooperationen, die aus einem Ringpuffer abgerufen werden, der Befehle für die 3D-Pipeline 5212 und die Medien-Pipeline 5216 speichert. In mindestens einer Ausführungsform kann ein Ringpuffer zusätzlich Batch-Befehlspuffer aufweisen, die Stapel von mehreren Befehlen speichern. In mindestens einer Ausführungsform können die Befehle für die 3D-Pipeline 5212 auch Verweise auf im Speicher gespeicherte Daten aufweisen, wie z. B. Vertex- und Geometriedaten für die 3D-Pipeline 5212 und/oder Bilddaten und Speicherobjekte für die Medien-Pipeline 5216. In mindestens einer Ausführungsform verarbeiten die 3D-Pipeline 5212 und die Medien-Pipeline 5216 Befehle und Daten, indem sie Operationen durchführen oder einen oder mehrere Ausführungsthreads an eine Grafikkernanordnung 5214 weiterleiten. In mindestens einer Ausführungsform weist die Grafikkernanordnung 5214 einen oder mehrere Blöcke von Grafikkernen auf (z. B. Grafikkern(e) 5215A, Grafikkern(e) 5215B), wobei jeder Block einen oder mehrere Grafikkerne aufweist. In mindestens einer Ausführungsform weist jeder Grafikkern einen Satz von Grafikausführungsressourcen auf, was eine allgemeine und eine grafikspezifische Ausführungslogik zur Durchführung von Grafik- und Rechenoperationen sowie eine Texturverarbeitungslogik mit fester Funktion und/oder eine Beschleunigungslogik für maschinelles Lernen und künstliche Intelligenz und die Inferenz- und/oder Trainingslogik 3015 in 30A und 30B einschließt.

In mindestens einer Ausführungsform weist die 3D-Pipeline 5212 eine feste Funktion und eine programmierbare Logik auf, um ein oder mehrere Shader-Programme wie Vertex-Shader, Geometrie-Shader, Pixel-Shader, Fragment-Shader, Rechen-Shader oder andere Shader-Programme zu verarbeiten, indem Befehle verarbeitet und Ausführungs-Threads an die Grafikkernanordnung 5214 gesendet werden. In mindestens einer Ausführungsform stellt die Grafikkernanordnung 5214 einen einheitlichen Block von Ausführungsressourcen für die Verarbeitung von Shader-Programmen bereit. In mindestens einer Ausführungsform weist die Mehrzweck-Ausführungslogik (z. B. Ausführungseinheiten) in den Grafikkernen 5215A-5215B der Grafikkernanordnung 5214 Unterstützung für verschiedene 3D-API-Shader-Sprachen auf und kann mehrere gleichzeitige Ausführungs-Threads ausführen, die mehreren Shadern zugeordnet sind.

In mindestens einer Ausführungsform weist die Grafikkernanordnung 5214 auch eine Ausführungslogik zur Durchführung von Medienfunktionen wie Video- und/oder Bildverarbeitung auf. In mindestens einer Ausführungsform weisen die Ausführungseinheiten zusätzlich eine Allzwecklogik auf, die so programmierbar ist, dass sie zusätzlich zu den Grafikverarbeitungsoperationen parallele Allzweckrechenoperationen durchführt.

In mindestens einer Ausführungsform können Ausgabedaten, die von Threads generiert werden, die auf der Grafikkernanordnung 5214 ausgeführt werden, an den Speicher in einem Unified Return Buffer (URB) 5218 ausgegeben werden. Der URB 5218 kann in mindestens einer Ausführungsform Daten für mehrere Threads speichern. In mindestens einer Ausführungsform kann der URB 5218 verwendet werden, um Daten zwischen verschiedenen Threads zu senden, die auf der Grafikkernanordnung 5214 ausgeführt werden. In mindestens einer Ausführungsform kann der URB 5218 zusätzlich zur Synchronisation zwischen Threads auf der Grafikkernanordnung 5214 und der festen Funktionslogik innerhalb der gemeinsam genutzten Funktionslogik 5220 verwendet werden.

In mindestens einer Ausführungsform ist die Grafikkernanordnung 5214 skalierbar, so dass die Grafikkernanordnung 5214 eine variable Anzahl von Grafikkernen aufweist, von denen jeder eine variable Anzahl von Ausführungseinheiten hat, die auf einem angestrebten Energie- und Leistungsniveau der GPE 5210 basieren. In mindestens einer Ausführungsform sind die Ausführungsressourcen dynamisch skalierbar, so dass die Ausführungsressourcen je nach Bedarf aktiviert oder deaktiviert werden können.

In mindestens einer Ausführungsform ist die Grafikkernanordnung 5214 mit der gemeinsamen Funktionslogik 5220 gekoppelt, die mehrere Ressourcen aufweist, die von den Grafikkernen im der Grafikkernanordnung 5214 gemeinsam genutzt werden. In mindestens einer Ausführungsform sind die gemeinsam genutzten Funktionen, die von der gemeinsam genutzten Funktionslogik 5220 ausgeführt werden, in Hardware-Logikeinheiten verkörpert, die der Grafikkernanordnung 5214 eine spezielle Zusatzfunktionalität bieten. In mindestens einer Ausführungsform weist die gemeinsam genutzte Funktionslogik 5220 unter anderem eine Sampler-Einheit 5221, eine Mathematik-Einheit 5222 und eine Inter-Thread-Kommunikations- (ITC-) 5223 Logik auf. In mindestens einer Ausführungsform sind ein oder mehrere Cache(s) 5225 in der gemeinsam genutzten Funktionslogik 5220 vorhanden oder mit ihr gekoppelt.

In mindestens einer Ausführungsform wird eine gemeinsam genutzte Funktion verwendet, wenn die Nachfrage nach einer speziellen Funktion nicht ausreicht, um sie in die Grafikkernanordnung 5214 aufzunehmen. In mindestens einer Ausführungsform wird eine einzelne Instanziierung einer spezialisierten Funktion in der gemeinsam genutzten Funktionslogik 5220 verwendet und von anderen Ausführungsressourcen innerhalb der Grafikkernanordnung 5214 gemeinsam genutzt. In mindestens einer Ausführungsform können bestimmte gemeinsam genutzte Funktionen innerhalb der gemeinsam genutzten Funktionslogik 5220, die vom der Grafikkernanordnung 5214 intensiv genutzt werden, in der gemeinsam genutzten Funktionslogik 5226 innerhalb der Grafikkernanordnung 5214 vorhanden sein. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 5226 innerhalb der Grafikkernanordnung 5214 einige oder alle Logiken der gemeinsam genutzten Funktionslogik 5220 aufweisen. In mindestens einer Ausführungsform können alle Logikelemente innerhalb der gemeinsam genutzten Funktionslogik 5220 innerhalb der gemeinsam genutzten Funktionslogik 5226 der Grafikkernanordnung 5214 dupliziert sein. In mindestens einer Ausführungsform ist die gemeinsam genutzte Funktionslogik 5220 zugunsten der gemeinsam genutzten Funktionslogik 5226 innerhalb der Grafikkernanordnung 5214 ausgeschlossen.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 3015 in den Grafikprozessor 5210 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenzierungs-Verfahren eine oder mehrere ALUs verwenden, die in der 3D-Pipeline 5212, dem/den Grafikkern(en) 5215, der gemeinsam genutzten Funktionslogik 5226, der gemeinsam genutzten Funktionslogik 5220 oder einer anderen Logik in 52 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in den 30A oder 30B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 5210 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 52 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird Grafikverarbeitungsmaschine 5210 aus 52 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

53 ist ein Blockdiagramm der Hardware-Logik eines Grafikprozessorkerns 5300, wie es hier in mindestens einer Ausführungsform beschrieben ist. In mindestens einer Ausführungsform ist der Grafikprozessorkern 5300 in einer Grafikkernanordnung vorhanden. In mindestens einer Ausführungsform kann der Grafikprozessorkern 5300, der manchmal auch als Kern-Slice bezeichnet wird, ein oder mehrere Grafikkerne innerhalb eines modularen Grafikprozessors sein. In mindestens einer Ausführungsform ist der Grafikprozessorkern 5300 ein Beispiel für einen Grafikkern-Slice, und ein Grafikprozessor, wie er hier beschrieben ist, kann mehrere Grafikkern-Slices aufweisen, die auf den angestrebten Energie- und Leistungshüllkurven basieren. In mindestens einer Ausführungsform kann jeder Grafikkern 5300 einen festen Funktionsblock 5330 aufweisen, der mit mehreren Unterkernen 5301A-5301 F gekoppelt ist, die auch als Unter- bzw. Sub-Slices bezeichnet werden und modulare Blöcke mit Allzweck- und fester Funktionslogik aufweisen.

In mindestens einer Ausführungsform weist der Festfunktionsblock 5330 eine Geometrie-/Festfunktionspipeline 5336 auf, die von allen Unterkernen im Grafikprozessor 5300 gemeinsam genutzt werden kann, z. B. bei Grafikprozessorimplementierungen mit geringerer Leistung und/oder geringerem Energieverbrauch. In mindestens einer Ausführungsform weist die Geometrie/Festfunktionspipeline 5336 eine 3D-Festfunktionspipeline, eine Video-Front-End-Einheit, einen Thread-Spawner und Thread-Dispatcher sowie einen Unified-Return-Puffer-Manager auf, der Unified-Return-Puffer verwaltet.

In mindestens einer Ausführungsform weist der feste Funktionsblock 5330 auch eine Grafik-SoC-Schnittstelle 5337, einen Grafik-Mikrocontroller 5338 und eine Medienpipeline 5339 auf. Die Grafik-SoC-Schnittstelle 5337 stellt in mindestens einer Ausführungsform eine Schnittstelle zwischen dem Grafikkern 5300 und anderen Prozessorkernen innerhalb einer integrierten System-on-Chip-Schaltung bereit. In mindestens einer Ausführungsform ist der Grafik-Mikrocontroller 5338 ein programmierbarer Unterprozessor, der so ausgestaltet werden kann, dass er verschiedene Funktionen des Grafikprozessors 5300 verwaltet, einschließlich Thread-Versand, Zeitplanung und Preemption. In mindestens einer Ausführungsform weist die Medienpipeline 5339 eine Logik zur Erleichterung der Decodierung, Codierung, Vorverarbeitung und/oder Nachverarbeitung von Multimediadaten, einschließlich Bild- und Videodaten, auf. In mindestens einer Ausführungsform implementiert die Medienpipeline 5339 Medienoperationen über Anforderungen an die Berechnungs- oder Abtastlogik innerhalb der Unterkerne 5301A-5301 F.

In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 5337 dem Grafikkern 5300 die Kommunikation mit Mehrzweck-Anwendungsprozessorkernen (z. B. CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen wie einem gemeinsam genutzten Cache-Speicher der letzten Ebene, einem System-RAM und/oder einem eingebettetem On-Chip- oder On-Package-DRAM. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 5337 auch die Kommunikation mit Einrichtungen mit fester Funktion innerhalb eines SoCs ermöglichen, wie z. B. Kamera-Bildgebungspipelines, und sie ermöglicht die Nutzung und/oder Implementierung globaler Speicher-Atome, die von Grafikkern 5300 und CPUs innerhalb eines SoCs gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann die Grafik-SoC-Schnittstelle 5337 auch Energieverwaltungssteuerungen für den Grafikprozessorkern 5300 implementieren und eine Schnittstelle zwischen einer Taktdomäne des Grafikprozessorkerns 5300 und anderen Taktdomänen innerhalb eines SoCs ermöglichen. In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 5337 den Empfang von Befehlspuffern von einem Befehlsstreamer und einem globalen Thread-Dispatcher, die so ausgestaltet sind, dass sie Befehle und Anweisungen für jeden von einem oder mehreren Grafikkernen innerhalb eines Grafikprozessors bereitstellen. In mindestens einer Ausführungsform können Befehle und Anweisungen an die Medienpipeline 5339 gesendet werden, wenn Medienoperationen durchgeführt werden sollen, oder an eine Geometrie- und Festfunktionspipeline (z. B. Geometrie- und Festfunktionspipeline 5336 und/oder Geometrie- und Festfunktionspipeline 5314) gesendet werden, wenn Grafikverarbeitungsoperationen durchgeführt werden sollen.

In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 5338 so ausgestaltet sein, dass er verschiedene Planungs- und Verwaltungsaufgaben für den Grafikkern 5300 ausführt. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 5338 die Planung von Grafik- und/oder Rechenaufgaben auf verschiedenen parallelen Grafik-Maschinen innerhalb von Anordnungen 5302A-5302F, 5304A-5304F von Ausführungseinheiten (EU) innerhalb der Unterkerne 5301A-5301 F durchführen. In mindestens einer Ausführungsform kann eine Host-Software, die auf einem CPU-Kern eines SoC ausgeführt wird, der den Grafikkern 5300 aufweist, Arbeitslasten an einen von mehreren Grafikprozessor-Pfaden übermitteln, die einen Planungsvorgang auf einer geeigneten Grafik-Maschine aufruft. In mindestens einer Ausführungsform weisen die Planungsvorgänge die Bestimmung der als Nächstes auszuführenden Arbeitslast, die Übermittlung einer Arbeitslast an einen Befehlsstreamer, das Vorziehen bestehender Arbeitslasten, die auf einer Maschine ausgeführt werden, die Überwachung des Fortschritts einer Arbeitslast und die Benachrichtigung der Host-Software nach Abschluss einer Arbeitslast auf. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 5338 auch stromsparende Zustände oder Leerlaufzustände für den Grafikkern 5300 erleichtern, indem er dem Grafikkern 5300 die Möglichkeit bietet, Register innerhalb des Grafikkerns 5300 über stromsparende Zustandsübergänge unabhängig von einem Betriebssystem und/oder einer Grafiktreibersoftware auf einem System zu speichern und wiederherzustellen.

In mindestens einer Ausführungsform kann der Grafikkern 5300 mehr oder weniger als die dargestellten Unterkerne 5301A-5301 F aufweisen, bis zu N modulare Unterkerne. In mindestens einer Ausführungsform kann der Grafikkern 5300 für jeden Satz von N Unterkernen auch eine gemeinsam genutzte Funktionslogik 5310, einen gemeinsam genutzten und/oder Cache-Speicher 5312, eine Geometrie-/Festfunktionspipeline 5314 sowie eine zusätzliche Festfunktionslogik 5316 aufweisen, um verschiedene Grafik- und Rechenverarbeitungsvorgänge zu beschleunigen. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 5310 logische Einheiten aufweisen (z. B. Sampler, Mathematik und/oder Inter-Thread-Kommunikationslogik), die von jedem der N Unterkerne innerhalb des Grafikkerns 5300 gemeinsam genutzt werden können. Gemeinsamer und/oder Cache-Speicher 5312 kann in mindestens einer Ausführungsform ein Cache der letzten Ebene für N Unterkerne 5301A-5301 F innerhalb des Grafikkerns 5300 sein und kann auch als gemeinsamer Speicher dienen, auf den mehrere Unterkerne zugreifen können. In mindestens einer Ausführungsform kann die Geometrie-/Festfunktionspipeline 5314 anstelle der Geometrie-/Festfunktionspipeline 5336 innerhalb des Festfunktionsblocks 5330 vorhanden sein und kann gleiche oder ähnliche Logikeinheiten aufweisen.

In mindestens einer Ausführungsform weist der Grafikkern 5300 eine zusätzliche Festfunktionslogik 5316 auf, die verschiedene Festfunktions-Beschleunigungslogiken zur Verwendung durch den Grafikkern 5300 aufweisen kann. In mindestens einer Ausführungsform weist die zusätzliche Festfunktionslogik 5316 eine zusätzliche Geometrie-Pipeline zur Verwendung beim positionsgebundenen Shading auf. Bei dem positionsgebundenen Shading gibt es mindestens zwei Geometrie-Pipelines, nämlich eine vollständige Geometrie-Pipeline innerhalb der Geometrie- und Festfunktions-Pipelines 5314, 5336, und eine Cull-Pipeline, die eine zusätzliche Geometrie-Pipeline ist und in der eine zusätzliche Festfunktionslogik 5316 enthalten sein kann. In mindestens einer Ausführungsform ist die Cull-Pipeline eine abgespeckte Version einer vollständigen Geometrie-Pipeline. In mindestens einer Ausführungsform können eine vollständige Pipeline und eine Cull-Pipeline verschiedene Instanzen einer Anwendung ausführen, wobei jede Instanz einen eigenen Kontext hat. In mindestens einer Ausführungsform kann das positionsgebundene Shading lange Cull-Läufe von verworfenen Dreiecken verbergen, so dass das Shading bei einigen Ausführungsformen früher abgeschlossen werden kann. Zum Beispiel kann in mindestens einer Ausführungsform die Cull-Pipeline-Logik innerhalb der zusätzlichen Festfunktionslogik 5316 Positions-Shader parallel zu einer Hauptanwendung ausführen und generiert im Allgemeinen kritische Ergebnisse schneller als eine vollständige Pipeline, da die Cull-Pipeline die Positionsattribute von Vertices abruft und schattiert, ohne eine Rasterung und ein Rendering von Pixeln in einen Frame-Puffer durchzuführen. In mindestens einer Ausführungsform kann die Cull-Pipeline die generierten kritischen Ergebnisse verwenden, um die Sichtbarkeitsinformationen für alle Dreiecke zu berechnen, ohne Rücksicht darauf, ob diese Dreiecke aussortiert sind. In mindestens einer Ausführungsform kann die vollständige Pipeline (die in diesem Fall als Wiederholungspipeline bezeichnet werden kann) Sichtbarkeitsinformationen verwenden, um aussortierte Dreiecke zu überspringen, um nur sichtbare Dreiecke zu schattieren, die schließlich an eine Rasterisierungsphase übergeben werden.

In mindestens einer Ausführungsform kann die zusätzliche Festfunktionslogik 5316 auch eine Logik zur Beschleunigung des maschinellen Lernens aufweisen, wie z. B. eine Logik zur Matrixmultiplikation mit fester Funktion, für Implementierungen, die Optimierungen für das Training oder Inferenzierung des maschinellen Lernens umfassen.

In mindestens einer Ausführungsform weist jeder Grafik-Unterkern 5301A-5301 F einen Satz von Ausführungsressourcen auf, die verwendet werden können, um Grafik-, Medien- und Rechenoperationen als Reaktion auf Anforderungen von Grafikpipeline-, Medienpipeline- oder Shader-Programmen durchzuführen. In mindestens einer Ausführungsform weisen die Grafik-Unterkerne 5301A-5301 F mehrere EU-Arrays 5302A-5302F, 5304A-5304F, eine Thread-Dispatch- und Inter-Thread-Kommunikationslogik (TD/IC) 5303A-5303F, einen 3D-Sampler (z. B. Textur) 5305A-5305F, einen Media-Sampler 5306A-5306F, einen Shader-Prozessor 5307A-5307F und einen gemeinsamen lokalen Speicher (SLM) 5308A-5308F auf. Die EU-Anordnungen 5302A-5302F, 5304A-5304F weisen in mindestens einer Ausführungsform jeweils mehrere Ausführungseinheiten auf, bei denen es sich um Allzweck-Grafikverarbeitungseinheiten handelt, die in der Lage sind, Gleitkomma- und Ganzzahl-/Festkomma-Logikoperationen bei einer Grafik-, Medien- oder Rechenoperation, einschließlich Grafik-, Medien- oder Rechenshader-Programmen, durchzuführen. In mindestens einer Ausführungsform führt die TD/IC-Logik 5303A-5303F lokale Thread-Dispatch- und Thread-Steuerungsoperationen für Ausführungseinheiten innerhalb eines Unterkerns durch und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Unterkerns ausgeführt werden. In mindestens einer Ausführungsform können die 3D-Sampler 5305A-5305F Textur- oder andere 3D-Grafikdaten in den Speicher einlesen. In mindestens einer Ausführungsform können die 3D-Sampler Texturdaten auf der Grundlage eines konfigurierten Abtaststatus und eines mit einer bestimmten Textur verbundenen Texturformats unterschiedlich lesen. In mindestens einer Ausführungsform können die Mediensampler 5306A-5306F ähnliche Lesevorgänge auf der Grundlage eines Typs und Formats durchführen, die mit den Mediendaten verbunden sind. In mindestens einer Ausführungsform kann jeder Grafik-Unterkern 5301A-5301 F abwechselnd einen vereinheitlichten 3D- und Medien-Sampler aufweisen. In mindestens einer Ausführungsform können Threads, die auf Ausführungseinheiten innerhalb jedes der Unterkerne 5301A-5301 F ausgeführt werden, den gemeinsamen lokalen Speicher 5308A-5308F innerhalb jedes Unterkerns nutzen, um Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, die Ausführung unter Verwendung eines gemeinsamen Pools von On-Chip-Speicher zu ermöglichen.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 3015 in den Grafikprozessor 5300 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenzierungs-Verfahren eine oder mehrere ALUs verwenden, die in einer 3D-Pipeline, einem Grafik-Mikrocontroller 5338, einer Geometrie- und Festfunktions-Pipeline 5314 und 5336 oder einer anderen Logik in 53 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in den 30A oder 30B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 5300 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 53 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der Grafikprozessorkern 5300 aus 53 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

54A und 54B zeigen die Thread-Ausführungslogik 5400, die eine Anordnung von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform aufweist. 54A illustriert mindestens eine Ausführungsform, in der die Thread-Ausführungslogik 5400 verwendet wird. 54B illustriert beispielhafte interne Details einer Grafik-Ausführungseinheit 5408 gemäß mindestens einer Ausführungsform.

Wie es in 54A dargestellt ist, weist die Thread-Ausführungslogik 5400 in mindestens einer Ausführungsform einen Shader-Prozessor 5402, einen Thread-Dispatcher 5404, einen Befehls-Cache 5406, eine skalierbare Ausführungseinheitenanordnung mit einer Vielzahl von Ausführungseinheiten 5407A-5407N und 5408A-5408N, einen Sampler 5410, einen Daten-Cache 5412 und einen Datenanschluss 5414 auf. In mindestens einer Ausführungsform kann eine skalierbare Ausführungseinheitenanordnung dynamisch skaliert werden, indem eine oder mehrere Ausführungseinheiten (z. B. eine der Ausführungseinheiten 5408A-N oder 5407A-N) auf der Grundlage der Rechenanforderungen einer Arbeitslast aktiviert oder deaktiviert werden. In mindestens einer Ausführungsform sind die skalierbaren Ausführungseinheiten über eine Verbindungsstruktur miteinander verbunden, die eine Verbindung zu jeder Ausführungseinheit herstellt. In mindestens einer Ausführungsform weist die Thread-Ausführungslogik 5400 eine oder mehrere Verbindungen zum Speicher auf, z. B. zum Systemspeicher oder zum Cache-Speicher, und zwar über einen oder mehrere der folgenden Elemente: Befehlscache 5406, Datenanschluss 5414, Sampler 5410 und Ausführungseinheiten 5407 oder 5408. In mindestens einer Ausführungsform ist jede Ausführungseinheit (z. B. 5407A) eine eigenständige programmierbare Mehrzweck-Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und dabei mehrere Datenelemente parallel für jeden Thread zu verarbeiten. In mindestens einer Ausführungsform ist die Anordnung der Ausführungseinheiten 5407 und/oder 5408 so skalierbar, dass sie eine beliebige Anzahl einzelner Ausführungseinheiten aufweist.

In mindestens einer Ausführungsform werden die Ausführungseinheiten 5407 und/oder 5408 hauptsächlich zur Ausführung von Shader-Programmen verwendet. In mindestens einer Ausführungsform kann der Shader-Prozessor 5402 verschiedene Shader-Programme verarbeiten und die mit den Shader-Programmen verbundenen Ausführungs-Threads über einen Thread-Dispatcher 5404 verteilen. In mindestens einer Ausführungsform weist der Thread-Dispatcher 5404 eine Logik auf, um Thread-Initiierungsanforderungen von Grafik- und Medienpipelines zu vermitteln und angeforderte Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 5407 und/oder 5408 zu instanziieren. In mindestens einer Ausführungsform kann eine Geometrie-Pipeline beispielsweise Vertex-, Tessellierungs- oder Geometrie-Shader an die Thread-Ausführungslogik zur Verarbeitung weiterleiten. In mindestens einer Ausführungsform kann der Thread-Dispatcher 5404 auch Laufzeit-Thread-Erzeugungs-Anforderungen von ausführenden Shader-Programmen verarbeiten.

In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 5407 und/oder 5408 einen Befehlssatz, der eine native Unterstützung für viele Standard-3D-Grafik-Shader-Befehle aufweist, so dass Shader-Programme aus Grafikbibliotheken (z. B. Direct 3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten die Vertex- und Geometrieverarbeitung (z. B. Vertex-Programme, Geometrieprogramme und/oder Vertex-Shader), die Pixelverarbeitung (z. B. Pixel-Shader, Fragment-Shader) und die allgemeine Verarbeitung (z. B. Rechen- und Media-Shader). In mindestens einer Ausführungsform ist jede der Ausführungseinheiten 5407 und/oder 5408, die eine oder mehrere arithmetische Logikeinheiten (ALUs) aufweisen, zur SIMD-Ausführung (Single Instruction Multiple Data) fähig, und der Multi-Thread-Betrieb ermöglicht trotz höherer Latenzzeiten bei Speicherzugriffen eine effiziente Ausführungsumgebung. In mindestens einer Ausführungsform verfügt jeder Hardware-Thread innerhalb jeder Ausführungseinheit über eine eigene Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Status. In mindestens einer Ausführungsform erfolgt die Ausführung mit mehreren Threads pro Takt auf Pipelines, die Ganzzahl-, Gleitkomma- und Doppelpräzisionsoperationen, SIMD-Verzweigungsfähigkeit, logische Operationen, transzendentale Operationen und andere verschiedene Operationen ausführen können. In mindestens einer Ausführungsform bewirkt die Abhängigkeitslogik in den Ausführungseinheiten 5407 und/oder 5408, dass ein wartender Thread in den Ruhezustand versetzt wird, bis die angeforderten Daten zurückgegeben wurden, während er auf Daten aus dem Speicher oder einer der gemeinsam genutzten Funktionen wartet. In mindestens einer Ausführungsform können, während ein wartender Thread schläft, Hardware-Ressourcen für die Verarbeitung anderer Threads verwendet werden. Zum Beispiel kann in mindestens einer Ausführungsform eine Ausführungseinheit während einer Verzögerung, die mit einer Vertex-Shader-Operation verbunden ist, Operationen für einen Pixel-Shader, Fragment-Shader oder eine andere Art von Shader-Programm durchführen, das einen anderen Vertex-Shader aufweist.

In mindestens einer Ausführungsform arbeitet jede Ausführungseinheit in den Ausführungseinheiten 5407 und/oder 5408 mit Anordnungen von Datenelementen. In mindestens einer Ausführungsform ist eine Anzahl von Datenelementen die „Ausführungsgröße“ oder die Anzahl von Kanälen für eine Anweisung. In mindestens einer Ausführungsform ist ein Ausführungskanal eine logische Ausführungseinheit für den Zugriff auf Datenelemente, die Maskierung und die Flusssteuerung innerhalb von Anweisungen. In mindestens einer Ausführungsform kann die Anzahl der Kanäle unabhängig von der Anzahl der physischen Arithmetic Logic Units (ALUs) oder Floating Point Units (FPUs) für einen bestimmten Grafikprozessor sein. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 5407 und/oder 5408 Ganzzahl- und Gleitkomma-Datentypen.

In mindestens einer Ausführungsform weist der Befehlssatz einer Ausführungseinheit SIMD-Befehle auf. In mindestens einer Ausführungsform können verschiedene Datenelemente als gepackter Datentyp in einem Register gespeichert werden, und die Ausführungseinheit verarbeitet verschiedene Elemente basierend auf der Datengröße der Elemente. Zum Beispiel werden in mindestens einer Ausführungsform bei der Bearbeitung eines 256 Bit breiten Vektors 256 Bits eines Vektors in einem Register gespeichert, und eine Ausführungseinheit bearbeitet einen Vektor als vier separate gepackte 64-Bit-Datenelemente (Datenelemente der Größe Quad-Word (QW), als acht separate gepackte 32-Bit-Datenelemente (Datenelemente der Größe Double Word (DW), als sechzehn separate gepackte 16-Bit-Datenelemente (Datenelemente der Größe Word (W) oder als zweiunddreißig separate 8-Bit-Datenelemente (Datenelemente der Größe Byte (B)). In mindestens einer Ausführungsform sind jedoch auch andere Vektorbreiten und Registergrößen möglich.

In mindestens einer Ausführungsform können eine oder mehrere Ausführungseinheiten zu einer fusionierten Ausführungseinheit 5409A-5409N mit einer Thread-Steuerungslogik (541 1A-541 1 N) kombiniert werden, die den fusionierten EUs gemeinsam ist, wie z. B. eine Ausführungseinheit 5407A, die mit der Ausführungseinheit 5408A in die fusionierte Ausführungseinheit 5409A fusioniert ist. In mindestens einer Ausführungsform können mehrere EUs zu einer EU-Gruppe verschmolzen werden. In mindestens einer Ausführungsform kann jede EU in einer fusionierten EU-Gruppe so ausgestaltet sein, dass sie einen separaten SIMD-Hardware-Thread ausführt, wobei die Anzahl der EUs in einer fusionierten EU-Gruppe je nach Ausführungsform variieren kann. In mindestens einer Ausführungsform können verschiedene SIMD-Breiten pro EU ausgeführt werden, die unter anderem SIMD8, SIMD16 und SIMD32 beinhalten. In mindestens einer Ausführungsform weist jede fusionierte Grafikausführungseinheit 5409A-5409N mindestens zwei Ausführungseinheiten auf. In mindestens einer Ausführungsform weist die fusionierte Ausführungseinheit 5409A beispielsweise eine erste EU 5407A, eine zweite EU 5408A und eine Thread-Steuerlogik 5411A auf, die der ersten EU 5407A und der zweiten EU 5408A gemeinsam ist. In mindestens einer Ausführungsform steuert die Thread-Steuerlogik 5411A Threads, die auf der fusionierten Grafikausführungseinheit 5409A ausgeführt werden, so dass jede EU innerhalb der fusionierten Ausführungseinheiten 5409A-5409N unter Verwendung eines gemeinsamen Befehlszeigerregisters ausgeführt werden kann.

In mindestens einer Ausführungsform weist die Thread-Ausführungslogik 5400 einen oder mehrere interne Befehls-Caches (z. B. 5406) auf, um Thread-Befehle für Ausführungseinheiten zu cachen. In mindestens einer Ausführungsform sind ein oder mehrere Daten-Caches (z. B. 5412) vorhanden, um Thread-Daten während der Thread-Ausführung zu cachen. In mindestens einer Ausführungsform ist ein Sampler 5410 vorhanden, um Textur-Sampling für 3D-Operationen und Medien-Sampling für Medien-Operationen bereitzustellen. In mindestens einer Ausführungsform weist der Sampler 5410 eine spezielle Textur- oder Mediensampling-Funktionalität auf, um Textur- oder Mediendaten während des Sampling-Prozesses zu verarbeiten, bevor er die gesampelten Daten an eine Ausführungseinheit weitergibt.

In mindestens einer Ausführungsform senden Grafik- und Medienpipelines während der Ausführung Thread-Initiierungsanforderungen an die Thread-Ausführungslogik 5400 über die Thread-Erzeugungs- und Versandlogik. In mindestens einer Ausführungsform wird, sobald eine Gruppe geometrischer Objekte verarbeitet und in Pixeldaten gerastert wurde, die Pixelprozessorlogik (z. B. Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 5402 aufgerufen, um darüber hinaus Ausgabeinformationen zu berechnen und zu veranlassen, dass die Ergebnisse in Ausgabeflächen (z. B. Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) geschrieben werden. In mindestens einer Ausführungsform berechnet ein Pixel-Shader oder Fragment-Shader die Werte verschiedener Vertex-Attribute, die über ein gerastertes Objekt interpoliert werden sollen. In mindestens einer Ausführungsform führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 5402 dann ein über eine Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. In mindestens einer Ausführungsform leitet der Shader-Prozessor 5402 zur Ausführung eines Shader-Programms Threads über den Thread-Dispatcher 5404 an eine Ausführungseinheit (z. B. 5408A) weiter. In mindestens einer Ausführungsform verwendet der Shader-Prozessor 5402 die Texturabtastlogik im Abtaster 5410, um auf Texturdaten in den im Speicher abgelegten Texturkarten zuzugreifen. In mindestens einer Ausführungsform werden durch arithmetische Operationen an Texturdaten und Eingabegeometriedaten Pixelfarbdaten für jedes geometrische Fragment berechnet oder ein oder mehrere Pixel von der weiteren Verarbeitung ausgeschlossen.

In mindestens einer Ausführungsform stellt der Datenanschluss 5414 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 5400 bereit, um verarbeitete Daten zur weiteren Verarbeitung auf einer Grafikprozessor-Ausgabepipeline in den Speicher auszugeben. In mindestens einer Ausführungsform weist der Datenanschluss 5414 einen oder mehrere Cache-Speicher (z. B. den Daten-Cache 5412) auf oder ist mit diesen gekoppelt, um Daten für den Speicherzugriff über einen Datenanschluss zwischenzuspeichern.

Wie in 54B dargestellt ist, kann eine Grafikausführungseinheit 5408 in mindestens einer Ausführungsform eine Befehlsabrufeinheit 5437, eine allgemeine Registerdateianordnung (GRF) 5424, eine architektonische Registerdateianordnung (ARF) 5426, einen Thread-Zuteiler 5422, eine Sendeeinheit 5430, eine Verzweigungseinheit 5432, einen Satz SIMD-Gleitkommaeinheiten (FPUs) 5434 und einen Satz dedizierter ganzzahliger SIMD-ALUs 5435 aufweisen. In mindestens einer Ausführungsform weisen die GRF 5424 und die ARF 5426 einen Satz allgemeiner Registerdateien und Architekturregisterdateien auf, die jedem gleichzeitigen Hardware-Thread zugeordnet sind, der in der Grafikausführungseinheit 5408 aktiv sein kann. In mindestens einer Ausführungsform wird der architektonische Zustand pro Thread in der ARF 5426 verwaltet, während die während der Thread-Ausführung verwendeten Daten in der GRF 5424 gespeichert werden. In mindestens einer Ausführungsform kann der Ausführungszustand jedes Threads, der Befehlszeiger für jeden Thread aufweist, in Thread-spezifischen Registern in der ARF 5426 gehalten werden.

In mindestens einer Ausführungsform hat die Grafikausführungseinheit 5408 eine Architektur, die eine Kombination aus simultanem Multi-Threading (SMT) und feinkörnigem Interleaved Multi-Threading (IMT) ist. In mindestens einer Ausführungsform weist die Architektur eine modulare Konfiguration auf, die zur Entwurfszeit auf der Grundlage einer angestrebten Anzahl gleichzeitiger Threads und der Anzahl von Registern pro Ausführungseinheit fein abgestimmt werden kann, wobei die Ressourcen der Ausführungseinheit auf die Logik aufgeteilt werden, die zur Ausführung mehrerer gleichzeitiger Threads verwendet wird.

In mindestens einer Ausführungsform kann die Grafikausführungseinheit 5408 mehrere Befehle gemeinsam ausgeben, die jeweils unterschiedliche Befehle sein können. In mindestens einer Ausführungsform kann der Thread-Zuteiler 5422 des Threads der Grafikausführungseinheit 5408 Anweisungen an eine der Sendeeinheiten 5430, Verzweigungseinheiten 5432 oder SIMD-FPU(s) 5434 zur Ausführung weiterleiten. In mindestens einer Ausführungsform kann jeder Thread auf 128 Allzweckregister innerhalb der GRF 5424 zugreifen, wobei jedes Register 32 Byte speichern kann, die als SIMD-8-Element-Vektor von 32-Bit-Datenelementen zugänglich sind. In mindestens einer Ausführungsform hat jeder Thread der Ausführungseinheit Zugriff auf 4 Kilobyte innerhalb der GRF 5424, obwohl die Ausführungsformen nicht so beschränkt sind und bei anderen Ausführungen mehr oder weniger Registerressourcen bereitgestellt werden können. In mindestens einer Ausführungsform können bis zu sieben Threads gleichzeitig ausgeführt werden, obwohl die Anzahl der Threads pro Ausführungseinheit je nach Ausführungsform auch variieren kann. Bei mindestens einer Ausführungsform, bei der sieben Threads auf 4 Kilobyte zugreifen können, kann die GRF 5424 insgesamt 28 Kilobyte speichern. In mindestens einer Ausführungsform können flexible Adressierungsmodi ermöglichen, dass Register gemeinsam adressiert werden, um effektiv breitere Register zu bilden oder um strided rechteckige Blockdatenstrukturen darzustellen.

In mindestens einer Ausführungsform werden Speicheroperationen, Abtastoperationen und andere Systemkommunikationen mit längerer Latenzzeit über „Sende“-Befehle abgewickelt, die von einer Nachrichten-Durchlass-Sendeeinheit 5430 ausgeführt werden. In mindestens einer Ausführungsform werden Verzweigungsbefehle an eine Verzweigungseinheit 5432 weitergeleitet, um Divergenz und eventuelle Konvergenz bezüglich SIMD zu ermöglichen.

In mindestens einer Ausführungsform weist die Grafikausführungseinheit 5408 eine oder mehrere SIMD-Gleitkommaeinheiten (FPU(s)) 5434 auf, um Gleitkommaoperationen durchzuführen. In mindestens einer Ausführungsform unterstützen die FPU(s) 5434 auch Ganzzahlberechnungen. In mindestens einer Ausführungsform kann (können) die FPU(s) 5434 bis zu einer Anzahl M von 32-Bit-Gleitkomma- (oder Ganzzahl-) Operationen oder bis zu 2M 16-Bit-Ganzzahl- oder 16-Bit-Gleitkomma-Operationen bezüglich SIMD ausführen. In mindestens einer Ausführungsform bietet mindestens eine der FPU(s) erweiterte mathematische Fähigkeiten zur Unterstützung von transzendentalen mathematischen Funktionen mit hohem Durchsatz und 64-Bit-Gleitkommaoperationen mit doppelter Genauigkeit. In mindestens einer Ausführungsform ist auch ein Satz von 8-Bit-Integer-SIMD-ALUs 5435 vorhanden, die speziell für die Durchführung von Operationen im Zusammenhang mit Berechnungen zum maschinellen Lernen optimiert sein können.

In mindestens einer Ausführungsform können Anordnungen aus mehreren Instanzen der Grafikausführungseinheit 5408 in einer Grafik-Unterkern-Gruppierung (z. B. einem Unter-Slice) instanziiert sein. In mindestens einer Ausführungsform kann die Ausführungseinheit 5408 Anweisungen über eine Vielzahl von Ausführungskanälen ausführen. In mindestens einer Ausführungsform wird jeder Thread, der auf der Grafikausführungseinheit 5408 ausgeführt wird, auf einem anderen Kanal ausgeführt.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 3015 in die Thread-Ausführungslogik 5400 integriert sein. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in den 30A oder 30B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die den ALU-Thread der Ausführungslogik 5400 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf die 54A und/oder 54B gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird die Thread-Ausführungslogik 5400 aus 54A und oder die Grafik-Ausführungslogik 5408 aus 54B eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

55 zeigt eine Parallelverarbeitungseinheit („PPU“) 5500 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die PPU 5500 mit maschinenlesbarem Code ausgestaltet, der, wenn er von der PPU 5500 ausgeführt wird, die PPU 5500 veranlasst, einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist die PPU 5500 ein Multi-Thread-Prozessor, der auf einer oder mehreren integrierten Einrichtungen implementiert ist und der Multithreading als eine Technik zum Verbergen von Latenzzeiten verwendet, die dazu dient, computerlesbare Befehle (auch als maschinenlesbare Befehle oder einfach Befehle bezeichnet) auf mehreren Threads parallel zu verarbeiten. In mindestens einer Ausführungsform bezieht sich ein Thread auf einen Ausführungsstrang und ist eine Instanziierung eines Satzes von Anweisungen, die zur Ausführung durch die PPU 5500 konfiguriert sind. In mindestens einer Ausführungsform ist die PPU 5500 eine Grafikverarbeitungseinheit („GPU“), die so konfiguriert ist, dass sie eine Grafik-Rendering-Pipeline zur Verarbeitung dreidimensionaler („3D“) Grafikdaten implementiert, um zweidimensionale („2D“) Bilddaten für die Anzeige auf einer Einrichtung wie einer Flüssigkristallanzeige („LCD“) zu generieren. In mindestens einer Ausführungsform wird die PPU 5500 verwendet, um Berechnungen wie lineare Algebra-Operationen und Operationen des maschinellen Lernens durchzuführen. 55 zeigt ein Beispiel für einen Parallelprozessor, der nur zur Veranschaulichung dient und als nicht begrenzendes Beispiel für Prozessorarchitekturen zu verstehen ist, die im Rahmen dieser Offenbarung in Betracht gezogen werden, wobei jeder geeignete Prozessor zur Ergänzung und/oder zum Ersatz desselben verwendet werden kann.

In mindestens einer Ausführungsform sind eine oder mehrere PPUs 5500 so ausgestaltet, dass sie Anwendungen für High Performance Computing („HPC“), Rechenzentren und maschinelles Lernen beschleunigen. In mindestens einer Ausführungsform ist die PPU 5500 so ausgestaltet, dass sie Deep-Learning-Systeme und -Anwendungen beschleunigt, die die folgenden nicht einschränkenden Beispiele einschließen: autonome Fahrzeugplattformen, Deep Learning, hochpräzise Sprach-, Bild- und Texterkennungssysteme, intelligente Videoanalyse, molekulare Simulationen, Arzneimittelentdeckung, Krankheitsdiagnose, Wettervorhersage, Big-Data-Analytik, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotik, Fabrikautomatisierung, Echtzeit-Sprachübersetzung, Online-Suchoptimierung und personalisierte Benutzerempfehlungen und mehr.

In mindestens einer Ausführungsform weist die PPU 5500 ohne Einschränkung eine Input/Output (I/O-)-Einheit 5506, eine Front-End-Einheit 5510, eine Scheduler-Einheit 5512, eine Arbeitsverteilungseinheit 5514, einen Hub 5516, ein Koppelfeld („XBar“) 5520, einen oder mehrere allgemeine Verarbeitungscluster („GPCs“) 5518 und eine oder mehrere Partitionseinheiten („Speicherpartitionseinheiten“) 5522 auf. In mindestens einer Ausführungsform ist die PPU 5500 mit einem Host-Prozessor oder anderen PPUs 5500 über eine oder mehrere Hochgeschwindigkeits-GPU-Verbindungen („GPU-Interconnects“) 5508 verbunden. In mindestens einer Ausführungsform ist die PPU 5500 mit einem Host-Prozessor oder anderen peripheren Einrichtungen über einen Systembus 5502 verbunden. In mindestens einer Ausführungsform ist die PPU 5500 mit einem lokalen Speicher verbunden, der eine oder mehrere Speichereinrichtungen („Speicher“) 5504 umfasst. In mindestens einer Ausführungsform weisen die Speichereinrichtungen 5504 ohne Einschränkung eine oder mehrere dynamische Direktzugriffsspeicher („DRAM“)-Einrichtungen auf. In mindestens einer Ausführungsform sind eine oder mehrere DRAM-Vorrichtungen als Subsysteme mit Speicher mit hoher Bandbreite („HBM“) ausgestaltet und/oder konfigurierbar, wobei in jeder Einrichtung mehrere DRAM-Dies gestapelt sind.

In mindestens einer Ausführungsform kann sich die Hochgeschwindigkeits-GPU-Verbindung 5508 auf eine drahtbasierte Mehrspur-Kommunikationsverbindung beziehen, die von Systemen verwendet wird, die skalierbar sind und eine oder mehrere PPUs 5500 aufweisen, die mit einer oder mehreren Zentraleinheiten („CPUs“) kombiniert sind, und die Cache-Kohärenz zwischen PPUs 5500 und CPUs sowie CPU-Mastering unterstützt. In mindestens einer Ausführungsform werden Daten und/oder Befehle durch die Hochgeschwindigkeits-GPU-Verbindung 5508 über den Hub 5516 zu/von anderen Einheiten der PPU 5500 übertragen, wie z. B. einer oder mehreren Kopiermaschinen, Video-Encodern, Video-Decodern, Energieverwaltungseinheiten und anderen Komponenten, die in 55 möglicherweise nicht explizit dargestellt sind.

In mindestens einer Ausführungsform ist die I/O-Einheit 5506 so ausgestaltet, dass sie Kommunikationen (z. B. Befehle, Daten) von einem Host-Prozessor (in 55 nicht dargestellt) über den Systembus 5502 sendet und empfängt. In mindestens einer Ausführungsform kommuniziert die I/O-Einheit 5506 mit dem Host-Prozessor direkt über den Systembus 5502 oder über eine oder mehrere zwischengeschaltete Einrichtungen wie z. B. eine Speicherbrücke. In mindestens einer Ausführungsform kann die I/O-Einheit 5506 mit einem oder mehreren anderen Prozessoren, z. B. einer oder mehreren PPUs 5500, über den Systembus 5502 kommunizieren. In mindestens einer Ausführungsform implementiert die I/O-Einheit 5506 eine Peripheral Component Interconnect Express („PCIe“) Schnittstelle für die Kommunikation über einen PCle-Bus. In mindestens einer Ausführungsform implementiert die I/O-Einheit 5506 Schnittstellen für die Kommunikation mit externen Einrichtungen.

In mindestens einer Ausführungsform decodiert die I/O-Einheit 5506 über den Systembus 5502 empfangene Pakete. In mindestens einer Ausführungsform stellen mindestens einige Pakete Befehle dar, die so ausgestaltet sind, dass sie die PPU 5500 veranlassen, verschiedene Operationen durchzuführen. In mindestens einer Ausführungsform überträgt die I/O-Einheit 5506 decodierte Befehle an verschiedene andere Einheiten der PPU 5500, wie es von den Befehlen angegeben ist. In mindestens einer Ausführungsform werden Befehle an die Front-End-Einheit 5510 und/oder an den Hub 5516 oder andere Einheiten der PPU 5500, wie eine oder mehrere Kopiermaschinen, einen Video-Encoder, einen Video-Decoder, eine Energieverwaltungseinheit usw., übertragen, (in 55 nicht explizit dargestellt). In mindestens einer Ausführungsform ist die I/O-Einheit 5506 so ausgestaltet, dass sie die Kommunikation zwischen und unter verschiedenen logischen Einheiten der PPU 5500 leitet.

In mindestens einer Ausführungsform codiert ein vom Host-Prozessor ausgeführtes Programm einen Befehlsstrom in einem Puffer, der der PPU 5500 Arbeitslasten zur Verarbeitung bereitstellt. In mindestens einer Ausführungsform umfasst eine Arbeitslast Befehle und Daten, die von diesen Befehlen verarbeitet werden sollen. In mindestens einer Ausführungsform ist der Puffer ein Bereich in einem Speicher, auf den sowohl der Host-Prozessor als auch die PPU 5500 zugreifen können (z. B. Lese-/Schreibzugriff)-eine Host-Schnittstelleneinheit kann so ausgestaltet sein, dass sie auf diesen Puffer in einem mit dem Systembus 5502 verbundenen Systemspeicher über Speicheranforderungen zugreift, die von der I/O-Einheit 5506 über den Systembus 5502 übertragen werden. In mindestens einer Ausführungsform schreibt der Host-Prozessor einen Befehlsstrom in den Puffer und überträgt dann einen Zeiger auf den Beginn des Befehlsstroms an die PPU 5500, so dass die Front-End-Einheit 5510 Zeiger auf einen oder mehrere Befehlsströme empfängt und einen oder mehrere Befehlsströme verwaltet, Befehle aus den Befehlsströmen liest und Befehle an verschiedene Einheiten der PPU 5500 weiterleitet.

In mindestens einer Ausführungsform ist die Front-End-Einheit 5510 mit der Scheduler-Einheit 5512 gekoppelt, die verschiedene GPCs 5518 zur Verarbeitung von Tasks ausgestaltet, die durch einen oder mehrere Befehlsströme definiert sind. In mindestens einer Ausführungsform ist die Scheduler-Einheit 5512 so ausgestaltet, dass sie Zustandsinformationen in Bezug auf verschiedene, von der Scheduler-Einheit 5512 verwaltete Tasks verfolgt, wobei die Zustandsinformationen angeben können, welchem der GPCs 5518 eine Task zugewiesen ist, ob die Task aktiv oder inaktiv ist, welche Prioritätsstufe der Task zugeordnet ist und so weiter. In mindestens einer Ausführungsform verwaltet die Scheduler-Einheit 5512 die Ausführung einer Vielzahl von Tasks auf einem oder mehreren GPCs 5518.

In mindestens einer Ausführungsform ist die Scheduler-Einheit 5512 mit der Arbeitsverteilungseinheit 5514 gekoppelt, die so ausgestaltet ist, dass sie Tasks zur Ausführung auf den GPCs 5518 auswählt. In mindestens einer Ausführungsform verfolgt die Arbeitsverteilungseinheit 5514 eine Anzahl geplanter Tasks, die von der Planungseinheit 5512 empfangen wurden, und die Arbeitsverteilungseinheit 5514 verwaltet einen Pool ausstehender Tasks und einen Pool aktiver Tasks für jeden der GPCs 5518. In mindestens einer Ausführungsform umfasst der Pool ausstehender Tasks eine Anzahl von Slots (z. B. 32 Slots), die Tasks enthalten, die zur Verarbeitung durch einen bestimmten GPC 5518 zugewiesen sind; der Pool aktiver Tasks kann eine Anzahl von Slots (z. B. 4 Slots) für Tasks umfassen, die aktiv von den GPCs 5518 verarbeitet werden, so dass, wenn einer der GPCs 5518 die Ausführung einer Task abschließt, diese Task aus dem Pool aktiver Tasks für den GPC 5518 entfernt wird und eine andere Task aus einem Pool ausstehender Tasks ausgewählt und zur Ausführung auf dem GPC 5518 eingeplant wird. In mindestens einer Ausführungsform wird, wenn eine aktive Task auf dem GPC 5518 im Leerlauf ist, z. B. während des Wartens auf die Auflösung einer Datenabhängigkeit, die aktive Task aus dem GPC 5518 entfernt und in den Pool der anstehenden Tasks zurückgeführt werden, während eine andere Task im Pool der anstehenden Tasks ausgewählt und für die Ausführung auf dem GPC 5518 eingeplant wird.

In mindestens einer Ausführungsform kommuniziert die Arbeitsverteilungseinheit 5514 mit einem oder mehreren GPCs 5518 über die XBar 5520. In mindestens einer Ausführungsform ist die XBar 5520 ein Verbindungsnetzwerk, das viele Einheiten der PPU 5500 mit anderen Einheiten der PPU 5500 verbindet und so ausgestaltet werden kann, dass es die Arbeitsverteilungseinheit 5514 mit einem bestimmten GPC 5518 verbindet. In mindestens einer Ausführungsform können auch eine oder mehrere andere Einheiten der PPU 5500 über den Hub 5516 mit der XBar 5520 verbunden sein.

In mindestens einer Ausführungsform werden die Tasks von der Scheduler-Einheit 5512 verwaltet und von der Arbeitsverteilungseinheit 5514 an einen der GPCs 5518 weitergeleitet. Der GPC 5518 ist in mindestens einer Ausführungsform ausgestaltet, um Tasks zu verarbeiten und Ergebnisse zu generieren. In mindestens einer Ausführungsform können die Ergebnisse von anderen Tasks innerhalb des GPC 5518 aufgenommen, über die XBar 5520 an einen anderen GPC 5518 weitergeleitet oder im Speicher 5504 abgelegt werden. In mindestens einer Ausführungsform können die Ergebnisse in den Speicher 5504 über Partitionseinheiten 5522 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 5504 implementieren. In mindestens einer Ausführungsform können die Ergebnisse über eine Hochgeschwindigkeits-GPU-Verbindung 5508 an eine andere PPU 5504 oder CPU übertragen werden. In mindestens einer Ausführungsform weist die PPU 5500 ohne Einschränkung eine Anzahl U von Partitionseinheiten 5522 auf, die einer Anzahl der mit der PPU 5500 verbundenen separaten und unterschiedlichen Speichereinrichtungen 5504 entspricht, was hier in Verbindung mit 57 ausführlicher beschrieben wird.

In mindestens einer Ausführungsform führt ein Host-Prozessor einen Treiberkern aus, der eine Anwendungsprogrammierschnittstelle („API“) implementiert, die es einer oder mehreren auf dem Host-Prozessor ausgeführten Anwendungen ermöglicht, Operationen zur Ausführung auf der PPU 5500 zu planen. In mindestens einer Ausführungsform werden mehrere Rechenanwendungen gleichzeitig von der PPU 5500 ausgeführt, und die PPU 5500 bietet Isolierung, Dienstgüte („QoS“) und unabhängige Adressräume für mehrere Rechenanwendungen. In mindestens einer Ausführungsform generiert eine Anwendung Anweisungen (z. B. in Form von API-Aufrufen), die den Treiberkern veranlassen, eine oder mehrere Tasks zur Ausführung durch die PPU 5500 zu generieren, und der Treiberkern gibt Tasks an einen oder mehrere Streams aus, die von der PPU 5500 verarbeitet werden. In mindestens einer Ausführungsform umfasst jede Task eine oder mehrere Gruppen von zusammenhängenden Threads, die als Warp bezeichnet werden können. In mindestens einer Ausführungsform umfasst ein Warp eine Vielzahl zusammengehöriger Threads (z. B. 32 Threads), die parallel ausgeführt werden können. In mindestens einer Ausführungsform können sich kooperierende Threads auf eine Vielzahl von Threads beziehen, die Anweisungen zur Ausführung von Tasks aufweisen und Daten über einen gemeinsamen Speicher austauschen. In mindestens einer Ausführungsform werden Threads und kooperierende Threads gemäß mindestens einer Ausführungsform in Verbindung mit 57 ausführlicher beschrieben.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform wird der Deep Learning-Anwendungsprozessor verwendet, um ein Modell zum maschinellen Lernen, wie z. B. ein neuronales Netz, zu trainieren, um Informationen, die der PPU 5500 zur Verfügung gestellt werden, vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der Deep Learning-Anwendungsprozessor verwendet, um Informationen auf der Grundlage eines trainierten Modells zum maschinellen Lernen (z. B. eines neuronalen Netzes), das von einem anderen Prozessor oder System oder von der PPU 5500 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann die PPU 5500 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle von neuronalen Netzen auszuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 55 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird die Parallelverarbeitungseinheit 5500 aus 55 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

56 illustriert einen allgemeinen Verarbeitungscluster („GPC“) 5600 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform handelt es sich bei dem GPC 5600 um den GPC 5518 aus 55. In mindestens einer Ausführungsform weist jeder GPC 5600 ohne Einschränkung eine Anzahl von Hardware-Einheiten für die Verarbeitung von Tasks auf, und jeder GPC 5600 weist ohne Einschränkung einen Pipeline-Manager 5602, eine Pre-Raster-Operationseinheit („preROP“) 5604, eine Raster-Maschine 5608, ein Arbeitsverteilungs-Koppelfeld („WDX“) 5616, eine Speicherverwaltungseinheit („MMU“) 5618, einen oder mehrere Datenverarbeitungscluster („DPCs“) 5606 und jede geeignete Kombination von Teilen auf.

In mindestens einer Ausführungsform wird der Betrieb des GPC 5600 durch den Pipeline-Manager 5602 gesteuert. In mindestens einer Ausführungsform verwaltet der Pipeline-Manager 5602 die Konfiguration eines oder mehrerer DPCs 5606 für die Verarbeitung von Tasks, die dem GPC 5600 zugewiesen sind. In mindestens einer Ausführungsform konfiguriert der Pipeline-Manager 5602 mindestens einen von einem oder mehreren DPCs 5606, um mindestens einen Abschnitt einer Grafik-Rendering-Pipeline zu implementieren. In mindestens einer Ausführungsform ist der DPC 5606 so ausgestaltet, dass er ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 5614 ausführt. In mindestens einer Ausführungsform ist der Pipeline-Manager 5602 so ausgestaltet, dass er die von einer Arbeitsverteilungseinheit empfangenen Pakete an geeignete logische Einheiten innerhalb des GPC 5600 weiterleitet, wobei einige Pakete an Hardwareeinheiten mit fester Funktion im preROP 5604 und/oder in der Rastermaschine 5608 weitergeleitet werden können, während andere Pakete an DPCs 5606 zur Verarbeitung durch eine Primitivmaschine 5612 oder SM 5614 weitergeleitet werden können. In mindestens einer Ausführungsform konfiguriert der Pipeline-Manager 5602 mindestens einen der DPCs 5606 zur Implementierung eines Modells eines neuronalen Netzes und/oder einer Rechenpipeline.

In mindestens einer Ausführungsform ist die preROP-Einheit 5604 so ausgestaltet, dass sie die von der Rastermaschine 5608 und den DPCs 5606 generierten Daten an eine Raster Operations („ROP“)-Einheit in der Partitionseinheit 5522 weiterleitet, die oben in Verbindung mit 55 ausführlicher beschrieben ist. In mindestens einer Ausführungsform ist die preROP-Einheit 5604 so ausgestaltet, dass sie Optimierungen für die Farbmischung durchführt, Pixeldaten organisiert, Adressübersetzungen vornimmt und vieles mehr. In mindestens einer Ausführungsform weist die Rastermaschine 5608 ohne Einschränkung eine Reihe von Hardware-Einheiten mit fester Funktion auf, die so konfiguriert sind, dass sie verschiedene Rasteroperationen durchführen, und die Rastermaschine 5608 weist ohne Einschränkung eine Setup-Maschine, eine Grobraster-Maschine, eine Culling-Maschine, eine Clipping-Maschine, eine Feinraster-Maschine, eine Tile-Coalescing-Maschine und eine beliebige geeignete Kombination davon auf. In mindestens einer Ausführungsform empfängt die Setup-Maschine transformierte Vertices und generiert Ebenengleichungen, die mit einer durch Vertices definierten geometrischen Primitive verbunden sind; die Ebenengleichungen werden an die Grobraster-Maschine übertragen, um Abdeckungsinformationen (z. B. eine x-, y-Abdeckungsmaske für eine Kachel) für die Primitive zu generieren; die Ausgabe der Grobraster-Maschine wird an die Culling-Maschine übertragen, wo Fragmente, die dem Primitive zugeordnet sind und einen z-Test nicht bestehen, aussortiert werden, und an eine Clipping-Maschine übertragen, wo Fragmente, die außerhalb eines Sichtkegelvolumens liegen, abgeschnitten werden. In mindestens einer Ausführungsform werden die Fragmente, die das Clipping und Culling überstehen, an eine Feinraster-Maschine weitergeleitet, um Attribute für Pixelfragmente auf der Grundlage der von der Setup-Maschine erstellten Ebenengleichungen zu generieren. In mindestens einer Ausführungsform umfasst die Ausgabe der Raster-Maschine 5608 Fragmente, die von einer beliebigen geeigneten Einheit, wie z. B. einem in DPC 5606 implementierten Fragment-Shader, verarbeitet werden.

In mindestens einer Ausführungsform umfasst jeder DPC 5606, der in der GPC 5600 enthalten ist, ohne Einschränkung eine M-Pipe-Steuerung („MPC“) 5610, eine Primitiv-Maschine 5612, einen oder mehrere SMs 5614 und eine beliebige geeignete Kombination davon auf. In mindestens einer Ausführungsform steuert die MPC 5610 den Betrieb der DPC 5606 und leitet die vom Pipeline-Manager 5602 empfangenen Pakete an die entsprechenden Einheiten im DPC 5606 weiter. In mindestens einer Ausführungsform werden Pakete, die einem Vertex zugeordnet sind, an die Primitiv-Maschine 5612 weitergeleitet, die so ausgestaltet ist, dass sie Vertex-Attribute, die dem Vertex zugeordnet sind, aus dem Speicher abruft; im Gegensatz dazu können Pakete, die einem Shader-Programm zugeordnet sind, an den SM 5614 übertragen werden.

In mindestens einer Ausführungsform umfasst der SM 5614 ohne Einschränkung einen programmierbaren Streaming-Prozessor, der so gestaltet ist, dass er Tasks verarbeitet, die durch eine Anzahl von Threads dargestellt werden. In mindestens einer Ausführungsform ist der SM 5614 multi-threaded und so ausgestaltet, dass er eine Vielzahl von Threads (z. B. 32 Threads) aus einer bestimmten Gruppe von Threads gleichzeitig ausführt und eine Single-Instruction, Multiple-Data („SlMD“)-Architektur implementiert, bei der jeder Thread in einer Gruppe von Threads (z. B. ein Warp) so ausgestaltet ist, dass er einen anderen Datensatz auf der Grundlage desselben Satzes von Anweisungen verarbeitet. In mindestens einer Ausführungsform führen alle Threads in einer Gruppe von Threads einen gemeinsamen Satz von Befehlen aus. In mindestens einer Ausführungsform implementiert der SM 5614 eine Single-Instruction, Multiple Thread („SIMT“)-Architektur, bei der jeder Thread in einer Gruppe von Threads so ausgestaltet ist, dass er einen anderen Datensatz auf der Grundlage dieses gemeinsamen Satzes von Befehlen verarbeitet, wobei jedoch die einzelnen Threads in der Gruppe von Threads während der Ausführung divergieren dürfen. In mindestens einer Ausführungsform werden ein Programmzähler, ein Aufrufstack und ein Ausführungsstatus für jeden Warp gehalten, wodurch die Gleichzeitigkeit zwischen Warps und die serielle Ausführung innerhalb von Warps ermöglicht wird, wenn Threads innerhalb eines Warps divergieren. In einer anderen Ausführungsform werden ein Programmzähler, ein Aufrufstack und ein Ausführungsstatus für jeden einzelnen Thread gehalten, was eine gleiche Nebenläufigkeit zwischen allen Threads innerhalb und zwischen Warps ermöglicht. In mindestens einer Ausführungsform wird der Ausführungsstatus für jeden einzelnen Thread gehalten, und Threads, die gemeinsame Befehle ausführen, können zur Verbesserung der Effizienz zusammengeführt und parallel ausgeführt werden. Mindestens eine Ausführungsform des SM 5614 wird hier ausführlicher beschrieben.

In mindestens einer Ausführungsform stellt die MMU 5618 eine Schnittstelle zwischen dem GPC 5600 und der Speicherpartitionseinheit (z. B. der Partitionseinheit 5522 in 55) bereit, und die MMU 5618 sorgt für die Übersetzung virtueller Adressen in physikalische Adressen, den Speicherschutz und die Konkurrenzbereinigung von Speicheranforderungen. In mindestens einer Ausführungsform stellt die MMU 5618 einen oder mehrere Übersetzungs-Lookaside-Puffer („TLBs“) zur Durchführung der Übersetzung virtueller Adressen in physische Adressen im Speicher bereit.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell zum maschinellen Lernen, wie z. B. ein neuronales Netz, zu trainieren, um die dem GPC 5600 bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird GPC 5600 verwendet, um Informationen auf der Grundlage eines trainierten Modells zum maschinellen Lernen (z. B. eines neuronalen Netzes), das von einem anderen Prozessor oder System oder von dem GPC 5600 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der GPC 5600 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle eines neuronalen Netzes auszuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 56 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der allgemeine Verarbeitungscluster 5600 aus 56 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

57 zeigt eine Speicherpartitionseinheit 5700 einer Parallelverarbeitungseinheit („PPU“) bei mindestens einer Ausführungsform. In mindestens einer Ausführungsform weist die Speicherpartitionierungseinheit 5700 ohne Einschränkung eine Raster Operations („ROP“)-Einheit 5702, einen Level Two („L2“)-Cache 5704, eine Speicherschnittstelle 5706 und jede geeignete Kombination davon auf. In mindestens einer Ausführungsform ist die Speicherschnittstelle 5706 mit dem Speicher gekoppelt. In mindestens einer Ausführungsform kann die Speicherschnittstelle 5706 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliches für die Hochgeschwindigkeitsdatenübertragung implementieren. In mindestens einer Ausführungsform umfasst die PPU U Speicherschnittstellen 5706, wobei U eine positive ganze Zahl ist, mit einer Speicherschnittstelle 5706 pro Paar von Partitionseinheiten 5700, wobei jedes Paar von Partitionseinheiten 5700 mit einer entsprechenden Speichereinrichtung verbunden ist. In mindestens einer Ausführungsform kann die PPU beispielsweise mit bis zu Y Speichereinrichtungen verbunden sein, wie z. B. mit Speicherstacks mit hoher Bandbreite oder mit einem synchronen dynamischen wahlfreien Grafikspeicher mit doppelter Datenrate, Version 5 („GDDR5 SDRAM“).

In mindestens einer Ausführungsform implementiert die Speicherschnittstelle 5706 eine Speicherschnittstelle der zweiten Generation mit hoher Bandbreite („HBM2“), und Y ist gleich der Hälfte von U. In mindestens einer Ausführungsform befinden sich die HBM2-Speicherstacks auf einem physischen Gehäuse mit der PPU, was im Vergleich zu herkömmlichen GDDR5-SDRAM-Systemen erhebliche Energie- und Flächeneinsparungen ermöglicht. In mindestens einer Ausführungsform weist jeder HBM2-Stack, ohne Einschränkung, vier Speicherchips auf und Y = 4, wobei jeder HBM2-Stack zwei 128-Bit-Kanäle pro Chip für insgesamt 8 Kanäle und eine Datenbusbreite von 1024 Bit aufweist. In mindestens einer Ausführungsform unterstützt der Speicher den Single-Error Correcting Double-Error Detecting („SECDED“) Error Correction Code („ECC“) zum Schutz der Daten. ECC bietet in mindestens einer Ausführungsform eine höhere Zuverlässigkeit für Datenverarbeitungsanwendungen, die empfindlich auf Datenverfälschung reagieren.

In mindestens einer Ausführungsform implementiert die PPU eine mehrstufige Speicherhierarchie. In mindestens einer Ausführungsform unterstützt die Speicherpartitionierungseinheit 5700 einen einheitlichen Speicher, um einen einzigen einheitlichen virtuellen Adressraum für die Zentraleinheit („CPU“) und den PPU-Speicher bereitzustellen, was die gemeinsame Nutzung von Daten zwischen virtuellen Speichersystemen ermöglicht. In mindestens einer Ausführungsform wird die Häufigkeit der Zugriffe einer PPU auf Speicher auf anderen Prozessoren verfolgt, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU verschoben werden, die häufiger Zugriffe auf Seiten vornimmt. In mindestens einer Ausführungsform unterstützt die Hochgeschwindigkeits-GPU-Verbindung 5508 Adressübersetzungsdienste, die es der PPU ermöglichen, direkt auf die Seitentabellen der CPU zuzugreifen und der PPU vollen Zugriff auf den CPU-Speicher zu ermöglichen.

In mindestens einer Ausführungsform übertragen Kopiermodule Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. In mindestens einer Ausführungsform können Kopiermodule Seitenfehler für Adressen generieren, die nicht in Seitentabellen abgebildet sind, und die Speicherpartitionierungseinheit 5700 bearbeitet dann die Seitenfehler, indem sie die Adressen in die Seitentabelle abbildet, woraufhin das Kopiermodul die Übertragung durchführt. In mindestens einer Ausführungsform wird der Speicher für mehrere Kopiermaschinen-Operationen zwischen mehreren Prozessoren gepinnt (d. h. ist nicht auslagerbar), wodurch der verfügbare Speicher erheblich reduziert wird. In mindestens einer Ausführungsform können mit Hardware für Seitenfehler Adressen an Kopiermaschinen weitergegeben werden, ohne Rücksicht darauf, ob Speicherseiten resident sind, und der Kopiervorgang ist transparent.

Daten aus dem Speicher 5504 aus 55 oder einem anderen Systemspeicher werden von der Speicherpartitionseinheit 5700 abgerufen und im L2-Cache 5704 gespeichert, der sich auf dem Chip befindet und in mindestens einer Ausführungsform von verschiedenen GPCs gemeinsam genutzt wird. Jede Speicherpartitionseinheit 5700 weist in mindestens einer Ausführungsform ohne Einschränkung mindestens einen Abschnitt des L2-Cache auf, der einer entsprechenden Einrichtung zugeordnet ist. In mindestens einer Ausführungsform sind Caches der unteren Ebene in verschiedenen Einheiten innerhalb von GPCs implementiert. In mindestens einer Ausführungsform kann jeder der SMs 5614 in 56 einen Level 1 Cache („L1“) implementieren, wobei der L1-Cache ein privater Speicher ist, der einem bestimmten SM 5614 zugeordnet ist, und Daten aus dem L2-Cache 5704 abgerufen und in jedem der L1-Caches zur Verarbeitung in Funktionseinheiten der SMs 5614 gespeichert werden. In mindestens einer Ausführungsform ist der L2-Cache 5704 mit der Speicherschnittstelle 5706 und der XBar 5520 verbunden, wie es in 55 dargestellt ist.

Die ROP-Einheit 5702 führt in mindestens einer Ausführungsform Grafikrasteroperationen durch, die sich auf die Pixelfarbe beziehen, wie z. B. Farbkomprimierung, Pixelüberblendung und mehr. In mindestens einer Ausführungsform implementiert die ROP-Einheit 5702 eine Tiefenprüfung in Verbindung mit der Rastermaschine 5608, wobei sie eine Tiefe für eine Abtastposition, die mit einem Pixelfragment verbunden ist, von der Culling-Maschine der Rastermaschine 5608 erhält. In mindestens einer Ausführungsform wird die Tiefe gegen eine entsprechende Tiefe in einem Tiefenpuffer für einen mit einem Fragment verbundenen Probenort getestet. In mindestens einer Ausführungsform aktualisiert die ROP-Einheit 5702 den Tiefenpuffer und überträgt das Ergebnis des Tiefentests an die Rastermaschine 5608, wenn das Fragment den Tiefentest für den Probenort besteht. Es wird deutlich, dass eine Anzahl der Partitionseinheiten 5700 von der Anzahl der GPCs abweichen kann, und daher kann jede ROP-Einheit 5702 in mindestens einer Ausführungsform mit jedem der GPCs gekoppelt sein. In mindestens einer Ausführungsform verfolgt die ROP-Einheit 5702 die von verschiedenen GPCs empfangenen Pakete und bestimmt, ob ein von der ROP-Einheit 5702 generiertes Ergebnis über das XBar 5520 weiterzuleiten ist.

58 zeigt einen Streaming-Multiprozessor („SM“) 5800 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der SM 5800 der SM aus 56. In mindestens einer Ausführungsform weist der SM 5800 ohne Einschränkung einen Befehls-Cache 5802, eine oder mehrere Scheduler-Einheiten 5804, eine Registerdatei 5808, einen oder mehrere Verarbeitungskerne („Cores“) 5810, eine oder mehrere Spezialfunktionseinheiten („SFUs“) 5812, eine oder mehrere Lade-/Speichereinheiten („LSUs“) 5814, ein Verbindungsnetzwerk 5816, einen gemeinsamen Speicher/L1-Cache 5818 und eine beliebige geeignete Kombination davon auf.

In mindestens einer Ausführungsform verteilt eine Arbeitsverteilungseinheit Tasks zur Ausführung auf allgemeinen Verarbeitungsclustern („GPCs“) von Parallelverarbeitungseinheiten („PPUs“), und jede Task wird einem bestimmten Datenverarbeitungscluster („DPC“) innerhalb eines GPCs zugewiesen, und wenn die Task mit einem Shader-Programm verbunden ist, wird die Task einem der SMs 5800 zugewiesen. In mindestens einer Ausführungsform empfängt die Scheduler-Einheit 5804 Tasks von der Arbeitsverteilungseinheit und verwaltet die Befehlsplanung für einen oder mehrere Thread-Blöcke, die dem SM 5800 zugewiesen sind. In mindestens einer Ausführungsform plant die Scheduler-Einheit 5804 Thread-Blöcke für die Ausführung als Warps von parallelen Threads, wobei jedem Thread-Block mindestens ein Warp zugewiesen wird. In mindestens einer Ausführungsform führt jeder Warp Threads aus. In mindestens einer Ausführungsform verwaltet die Scheduler-Einheit 5804 eine Vielzahl verschiedener Thread-Blöcke, indem sie den verschiedenen Thread-Blöcken Warps zuweist und dann während jedes Taktzyklus Anweisungen aus einer Vielzahl verschiedener kooperativer Gruppen an verschiedene Funktionseinheiten (z. B. Verarbeitungskerne 5810, SFUs 5812 und LSUs 5814) verteilt.

In mindestens einer Ausführungsform können sich kooperative Gruppen auf ein Programmiermodell zum Organisieren von Gruppen kommunizierender Threads beziehen, das es Entwicklern ermöglicht, die Granularität auszudrücken, mit der Threads kommunizieren, und um so reichhaltigere, effizientere parallele Dekompositionen zu ermöglichen. In mindestens einer Ausführungsform unterstützen kooperative Start-APIs die Synchronisierung zwischen Thread-Blöcken zur Ausführung paralleler Algorithmen. In mindestens einer Ausführungsform bieten Anwendungen herkömmlicher Programmiermodelle ein einziges, einfaches Konstrukt für die Synchronisierung kooperierender Threads: eine Barriere über alle Threads eines Thread-Blocks (z. B. die Funktion syncthreads()). In mindestens einer Ausführungsform können Programmierer jedoch Gruppen von Threads mit einer kleineren Granularität als der des Thread-Blocks definieren und innerhalb der definierten Gruppen synchronisieren, um eine höhere Leistung, Designflexibilität und Software-Wiederverwendung in Form von gemeinsamen gruppenweiten Funktionsschnittstellen zu ermöglichen. In mindestens einer Ausführungsform ermöglichen kooperative Gruppen Programmierern, Gruppen von Threads explizit auf Subblock- (d. h. so klein wie ein einzelner Thread) und Multiblock-Granularität zu definieren und kollektive Operationen wie die Synchronisierung auf Threads in einer kooperativen Gruppe durchzuführen. In mindestens einer Ausführungsform unterstützt das Programmiermodell eine saubere Komposition über Softwaregrenzen hinweg, so dass Bibliotheken und Dienstprogramme innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne dass Annahmen über Konvergenz getroffen werden müssen. In mindestens einer Ausführungsform ermöglichen die Primitives für kooperative Gruppen neue Muster kooperativer Parallelität, die ohne Einschränkung Erzeuger-Verbraucher-Parallelität, opportunistische Parallelität und globale Synchronisierung über ein ganzes Raster von Thread-Blöcken einschließen.

In mindestens einer Ausführungsform ist eine Dispatcher-Einheit 5806 ausgestaltet, um Anweisungen an eine oder mehrere Funktionseinheiten zu übertragen, und die Scheduler-Einheit 5804 weist ohne Einschränkung zwei Dispatcher-Einheiten 5806 auf, die es ermöglichen, dass zwei verschiedene Anweisungen aus demselben Warp während jedes Taktzyklus versandt werden. In mindestens einer Ausführungsform weist jede Scheduler-Einheit 5804 eine einzelne Dispatcher-Einheit 5806 oder zusätzliche Dispatcher-Einheiten 5806 auf.

In mindestens einer Ausführungsform weist jeder SM 5800 ohne Einschränkung eine Registerdatei 5808 auf, die einen Satz von Registern für Funktionseinheiten des SM 5800 bereitstellt. In mindestens einer Ausführungsform ist die Registerdatei 5808 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein eigener Abschnitt der Registerdatei 5808 zugewiesen ist. In mindestens einer Ausführungsform ist die Registerdatei 5808 zwischen verschiedenen Warps aufgeteilt, die von dem SM 5800 ausgeführt werden, und die Registerdatei 5808 stellt einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten verbunden sind. In mindestens einer Ausführungsform umfasst jeder SM 5800 ohne Einschränkung eine Vielzahl von L Verarbeitungskernen 5810, wobei L eine positive ganze Zahl ist. In mindestens einer Ausführungsform weist der SM 5800 ohne Einschränkung eine große Anzahl (z. B. 128 oder mehr) unterschiedlicher Verarbeitungskerne 5810 auf. In mindestens einer Ausführungsform weist jeder Verarbeitungskern 5810 ohne Einschränkung eine Vollpipeline-, Einzelpräzisions-, Doppelpräzisions- und/oder gemischte Präzisionsverarbeitungseinheit auf, die ohne Einschränkung eine arithmetische Gleitkomma-Logikeinheit und eine arithmetische Ganzzahl-Logikeinheit umfasst. In mindestens einer Ausführungsform implementieren die arithmetischen Gleitkomma-Logikeinheiten den Standard IEEE 754-4008 für Gleitkomma-Arithmetik. In mindestens einer Ausführungsform weisen die Verarbeitungskerne 5810 ohne Einschränkung 64 Gleitkomma-Kerne mit einfacher Genauigkeit (32 Bit), 64 Ganzzahl-Kerne, 32 Gleitkomma-Kerne mit doppelter Genauigkeit (64 Bit) und 8 Tensor-Kerne auf.

Tensorkerne sind gemäß mindestens einer Ausführungsform für die Durchführung von Matrixoperationen ausgestaltet. In mindestens einer Ausführungsform sind ein oder mehrere Tensorkerne in den Verarbeitungskernen 5810 vorhanden. In mindestens einer Ausführungsform sind Tensorkerne so ausgestaltet, dass sie Deep-Learning-Matrixarithmetik durchführen, wie z. B. Faltungsoperationen für das Training und Inferenzierung von neuronalen Netzen. In mindestens einer Ausführungsform arbeitet jeder Tensorkern mit einer 4x4-Matrix und führt eine Matrixmultiplikations- und Akkumulationsoperation D = A X B + C durch, wobei A, B, C und D 4x4-Matrizen sind.

In mindestens einer Ausführungsform sind die Matrixmultiplikationseingänge A und B 16-Bit-Gleitkommamatrizen und die Akkumulationsmatrizen C und D sind 16-Bit-Gleitkomma- oder 32-Bit-Gleitkommamatrizen. In mindestens einer Ausführungsform arbeiten die Tensorkerne mit 16-Bit-Gleitkomma-Eingangsdaten und 32-Bit-Gleitkomma-Akkumulation. In mindestens einer Ausführungsform werden für die 16-Bit-Gleitkommamultiplikation 64 Operationen verwendet, was zu einem Produkt mit voller Genauigkeit führt, das dann unter Verwendung einer 32-Bit-Gleitkomma-Adition mit anderen Zwischenprodukten zu einer 4x4x4-Matrixmultiplikation akkumuliert wird. In mindestens einer Ausführungsform werden Tensor-Kerne verwendet, um viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die aus diesen kleineren Elementen aufgebaut sind. In mindestens einer Ausführungsform stellt eine API wie die CUDA 9 C++ API spezialisierte Operationen zum Laden, Multiplizieren und Akkumulieren von Matrizen sowie zum Speichern von Matrizen bereit, um Tensorkerne von einem CUDA-C++-Programm aus effizient zu nutzen. In mindestens einer Ausführungsform auf CUDA-Ebene geht die Schnittstelle auf Warp-Ebene von Matrizen der Größe 16x16 aus, die sich über alle 32 Threads des Warp erstrecken.

In mindestens einer Ausführungsform umfasst jeder SM 5800 ohne Einschränkung M SFUs 5812, die spezielle Funktionen ausführen (z. B. Attributauswertung, reziproke Quadratwurzel und dergleichen). In mindestens einer Ausführungsform weisen die SFUs 5812 ohne Einschränkung eine Baum-Traversierungseinheit auf, die so ausgestaltet ist, dass sie eine hierarchische Baumdatenstruktur traversiert. In mindestens einer Ausführungsform weisen die SFUs 5812 ohne Einschränkung eine Textureinheit auf, die so konfiguriert ist, dass sie Filteroperationen für die Texturabbildung durchführt. In mindestens einer Ausführungsform sind die Textureinheiten so ausgestaltet, dass sie Texturkarten (z. B. eine 2D-Anordnung von Texeln) aus dem Speicher laden und Texturkarten abtasten, um abgetastete Texturwerte zur Verwendung in von dem SM 5800 ausgeführten Shader-Programmen zu erzeugen. In mindestens einer Ausführungsform werden die Texturkarten im gemeinsamen Speicher/L1-Cache 5818 gespeichert. In mindestens einer Ausführungsform implementieren die Textureinheiten Texturoperationen wie Filteroperationen unter Verwendung von Mip-Maps (z. B. Texturkarten mit unterschiedlichen Detailstufen). In mindestens einer Ausführungsform weist jeder SM 5800, ohne Einschränkung, zwei Textureinheiten auf.

Jeder SM 5800 umfasst, ohne Einschränkung, N LSUs 5814, die in mindestens einer Ausführungsform Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher/L1-Cache 5818 und der Registerdatei 5808 implementieren. Das Verbindungsnetzwerk 5816 verbindet in mindestens einer Ausführungsform jede Funktionseinheit mit der Registerdatei 5808 und die LSU 5814 mit der Registerdatei 5808 und dem gemeinsamen Speicher/L1-Cache 5818. In mindestens einer Ausführungsform ist das Verbindungsnetzwerk 5816 ein Koppelfeld, das so ausgestaltet sein kann, dass es jede der Funktionseinheiten mit jedem der Register in der Registerdatei 5808 verbindet und die LSUs 5814 mit der Registerdatei 5808 und den Speicherplätzen im gemeinsamen Speicher/L1-Cache 5818 verbindet.

In mindestens einer Ausführungsform ist der gemeinsam genutzte Speicher/L1-Cache 5818 eine Anordnung von On-Chip-Speicher, der in mindestens einer Ausführungsform die Datenspeicherung und die Kommunikation zwischen dem SM 5800 und der Primitiv-Maschine und zwischen Threads im SM 5800 ermöglicht. In mindestens einer Ausführungsform umfasst der gemeinsam genutzte Speicher/L1-Cache 5818 ohne Einschränkung eine Speicherkapazität von 128 KB und befindet sich im Pfad vom SM 5800 zur Partitionseinheit. In mindestens einer Ausführungsform wird der gemeinsame Speicher/L1-Cache 5818 zum Zwischenspeichern von Lese- und Schreibvorgängen verwendet. In mindestens einer Ausführungsform sind einer oder mehrere von gemeinsamem Speicher/L1-Cache 5818, L2-Cache und Arbeitsspeicher Zusatzspeicher (Backing-Stores).

Die Kombination von Daten-Cache und gemeinsam genutzter Speicherfunktionalität in einem einzigen Speicherblock bietet in mindestens einer Ausführungsform eine verbesserte Leistung für beide Arten von Speicherzugriffen. In mindestens einer Ausführungsform wird die Kapazität von Programmen, die den gemeinsam genutzten Speicher nicht verwenden, als Cache genutzt oder kann von diesen genutzt werden, z. B. wenn der gemeinsam genutzte Speicher so ausgestaltet ist, dass er die Hälfte der Kapazität nutzt, können Textur- und Lade-/Speicheroperationen die verbleibende Kapazität nutzen. Durch die Integration in den gemeinsam genutzten Speicher/L1-Cache 5818 kann der gemeinsam genutzte Speicher/L1-Cache 5818 gemäß mindestens einer Ausführungsform als durchsatzstarke Leitung für Streaming-Daten fungieren und gleichzeitig Zugriff auf häufig wiederverwendete Daten mit hoher Bandbreite und geringer Latenz bieten. In mindestens einer Ausführungsform kann, wenn sie für allgemeine parallele Berechnungen ausgestaltet ist, eine einfachere Konfiguration im Vergleich zur Grafikverarbeitung verwendet werden. In mindestens einer Ausführungsform werden Grafikverarbeitungseinheiten mit festen Funktionen umgangen, wodurch ein wesentlich einfacheres Programmiermodell entsteht. In mindestens einer Ausführungsform weist die Arbeitsverteilungseinheit in der Konfiguration für allgemeine parallele Berechnungen Blöcke von Threads direkt den DPCs zu und verteilt sie. In mindestens einer Ausführungsform führen Threads in einem Block ein gemeinsames Programm aus, wobei eine eindeutige Thread-ID in der Berechnung verwendet wird, um sicherzustellen, dass jeder Thread eindeutige Ergebnisse generiert, wobei der SM 5800 zur Ausführung des Programms und zur Durchführung von Berechnungen, der gemeinsame Speicher/L1-Cache 5818 zur Kommunikation zwischen Threads und die LSU 5814 zum Lesen und Schreiben des globalen Speichers über den gemeinsamen Speicher/L1-Cache 5818 und die Speicherpartitionseinheit verwendet werden. In mindestens einer Ausführungsform schreibt der SM 5800, wenn er für allgemeine parallele Berechnungen ausgestaltet ist, Befehle, die die Scheduler-Einheit 5804 verwenden kann, um neue Arbeiten auf DPCs zu starten.

In mindestens einer Ausführungsform ist die PPU in einem Desktop-Computer, einem Laptop-Computer, einem Tablet-Computer, Servern, Supercomputern, einem Smartphone (z. B. einer drahtlosen Handheld-Einrichtung), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einer am Kopf montierten Anzeige, einer elektronischen in der Hand gehaltenen Einrichtung usw. vorhanden oder damit verbunden. In mindestens einer Ausführungsform ist die PPU auf einem einzigen Halbleitersubstrat untergebracht. In mindestens einer Ausführungsform ist die PPU in einem System-on-a-Chip („SoC“) zusammen mit einer oder mehreren anderen Einrichtungen wie zusätzlichen PPUs, Speicher, einer CPU mit reduziertem Befehlssatz („RISC“), einer Speicherverwaltungseinheit („MMU“), einem Digital-Analog-Wandler („DAC“) und dergleichen vorhanden.

In mindestens einer Ausführungsform kann die PPU auf einer Grafikkarte vorhanden sein, die eine oder mehrere Speichereinrichtungen aufweist. In mindestens einer Ausführungsform kann die Grafikkarte so ausgestaltet sein, dass sie mit einem PCIe-Steckplatz auf einem Motherboard eines Desktop-Computers verbunden werden kann. In mindestens einer Ausführungsform kann die PPU eine integrierte Grafikverarbeitungseinheit („iGPU“) sein, die im Chipsatz der Hauptplatine vorhanden ist.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 3015 werden hier in Verbindung mit den 30A und/oder 30B beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell zum maschinellen Lernen, z. B. ein neuronales Netz, zu trainieren, um die dem SM 5800 bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der SM 5800 verwendet, um Informationen auf der Grundlage eines trainierten Modells zum maschinellen Lernen (z. B. eines neuronalen Netzes), das von einem anderen Prozessor oder System oder von dem SM 5800 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann SM der 5800 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle eines neuronalen Netzes durchzuführen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 58 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert die Inferenz- und/oder Trainingslogik 3015 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 3015 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform wird der SM 5800 aus 58 eingesetzt, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind.

Es werden Ausführungsformen offenbart, die mit einer virtualisierten Rechenplattform für weiterentwickeltes Rechnen in Bezug stehen, wie etwa Bildinferenz und Bildverarbeitung in medizinischen Anwendungen. Ohne Einschränkung können Ausführungsformen Radiografie, Magnetresonanztomografie (MRT), Nuklearmedizin, Ultraschall, Sonografie, Elastografie, fotoakustische Bildgebung, Tomografie, Echokardiografie, funktionelle Nahinfrarotspektroskopie und Magnetpartikelbildgebung oder eine Kombination davon beinhalten. In mindestens einer Ausführungsform können eine virtualisierte Rechenplattform und die hierin beschriebenen damit assoziierten Prozesse zusätzlich oder alternativ ohne Einschränkung in der Forensikanalyse, der Detektion und Bildgebung des Untergrunds (z. B. Ölexploration, Archäologie, Paläontologie usw.), der Topografie, der Ozeanografie, der Geologie, der Osteologie, der Meteorologie, der intelligenten Bereichs- oder Objektverfolgung und -überwachung, der Sensordatenverarbeitung (z. B. RADAR, SONAR, LIDAR usw.) und/oder der Genomik und Gensequenzierung verwendet werden.

Unter Bezugnahme auf 59 ist 59 ein beispielhaftes Datenablaufdiagramm für einen Prozess 5900 zum Generieren und Einsetzen einer Bildverarbeitungs- und -inferenzpipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 5900 zur Verwendung mit Bildgebungsvorrichtungen, Verarbeitungsvorrichtungen, Genomikvorrichtungen, Gensequenzierungsvorrichtungen, Radiologievorrichtungen und/oder anderen Vorrichtungstypen in einer oder mehreren Einrichtungen 5902 eingesetzt werden, wie etwa medizinischen Einrichtungen, Krankenhäusern, Gesundheitsinstituten, Kliniken, Forschungs- oder Diagnoselabors usw. In mindestens einer Ausführungsform kann der Prozess 5900 zum Durchführen einer Genomanalyse und -inferenz an Sequenzierungsdaten eingesetzt werden. Beispiele für Genomanalysen, die unter Verwendung der hierin beschriebenen Systeme und Prozesse durchgeführt werden können, beinhalten ohne Einschränkung Varianten-Calling, Mutationsdetektion und Quantifizierung der Genexpression.

In mindestens einer Ausführungsform kann der Prozess 5900 innerhalb eines Trainingssystems 5904 und/oder eines Einsatzsystems 5906 ausgeführt werden. In mindestens einer Ausführungsform kann das Trainingssystem 5904 verwendet werden, um das Training, den Einsatz und die Implementation von Modellen des maschinellen Lernens (z. B. neuronale Netze, Objektdetektionsalgorithmen, Algorithmen des maschinellen Sehens usw.) zur Verwendung in dem Einsatzsystem 5906 durchzuführen. In mindestens einer Ausführungsform kann das Einsatzsystem 5906 so konfiguriert sein, dass es Verarbeitungs- und Rechenressourcen in einer verteilten Rechenumgebung ablädt, um die Infrastrukturanforderungen in der Einrichtung 5902 zu reduzieren. In mindestens einer Ausführungsform kann das Einsatzsystem 5906 eine gestraffte Plattform zum Auswählen, individuellen Anpassen und Implementieren virtueller Instrumente zur Verwendung mit Bildgebungsvorrichtungen (z. B. MRT, CT-Scan, Röntgen, Ultraschall usw.) oder Sequenzierungsvorrichtungen in der Einrichtung 5902 bereitstellen. In mindestens einer Ausführungsform können virtuelle Instrumente softwaredefinierte Anwendungen zum Durchführen einer oder mehrerer Verarbeitungsoperationen in Bezug auf Bildgebungsdaten beinhalten, die durch Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Radiologievorrichtungen und/oder andere Vorrichtungstypen generiert werden. In mindestens einer Ausführungsform können eine oder mehrere Anwendungen in einer Pipeline Dienste (z. B. Inferenz, Visualisierung, Berechnung, KI usw.) des Einsatzsystems 5906 während der Ausführung von Anwendungen verwenden oder aufrufen.

In mindestens einer Ausführungsform können einige der Anwendungen, die in weiterentwickelten Verarbeitungs- und Inferenzpipelines verwendet werden, Modelle des maschinellen Lernens oder andere Kl verwenden, um einen oder mehrere Verarbeitungsschritte durchzuführen. In mindestens einer Ausführungsform können Modelle des maschinellen Lernens in der Einrichtung 5902 unter Verwendung von Daten 5908 (wie etwa Bildgebungsdaten) trainiert werden, die in der Einrichtung 5902 generiert wurden (und auf einem oder mehreren Servern eines Bildarchivierungs- und Kommunikationssystems (picture archiving and communication system - PACS) in der Einrichtung 5902 gespeichert sind), und sie können unter Verwendung von Bildgebungs- oder Sequenzierungsdaten 5908 aus einer anderen Einrichtung oder anderen Einrichtungen (z. B. einem anderen Krankenhaus, Labor, einer anderen Klinik usw.) oder einer Kombination davon trainiert werden. In mindestens einer Ausführungsform kann das Trainingssystem 5904 verwendet werden, um Anwendungen, Dienste und/oder andere Ressourcen zum Generieren von funktionierenden, einsatzfähigen Modellen des maschinellen Lernens für das Einsatzsystem 5906 bereitzustellen.

In mindestens einer Ausführungsform kann eine Modellregistrierungsdatenbank 5924 durch Objektspeicher unterstützt werden, der Versionierung und Objekt-Metadaten unterstützen kann. In mindestens einer Ausführungsform kann der Zugriff auf den Objektspeicher zum Beispiel durch eine mit Cloud-Speicher (z. B. einer Cloud 6026 aus 60) kompatible Anwendungsprogrammierschnittstelle (API) von innerhalb einer Cloud-Plattform erfolgen. In mindestens einer Ausführungsform können Modelle des maschinellen Lernens innerhalb der Modellregistrierungsdatenbank 5924 durch Entwickler oder Partner eines Systems, das mit einer API interagiert, hochgeladen, aufgelistet, modifiziert oder gelöscht werden. In mindestens einer Ausführungsform kann eine API Zugriff auf Verfahren bereitstellen, die es Benutzern mit zweckmäßigen Anmeldeinformationen ermöglichen, Modelle mit Anwendungen zu assoziieren, sodass Modelle als Teil der Ausführung von containerisierten Instanziierungen von Anwendungen ausgeführt werden können.

In mindestens einer Ausführungsform kann eine Trainingspipeline 6004 (60) ein Szenario beinhalten, in dem die Einrichtung 5902 ihr eigenes Modell des maschinellen Lernens trainiert oder ein bestehendes Modell des maschinellen Lernen aufweist, das optimiert oder aktualisiert werden muss. In mindestens einer Ausführungsform können Bildgebungsdaten 5908, die durch Bildgebungsvorrichtung(en), Sequenzierungsvorrichtungen und/oder andere Vorrichtungstypen generiert wurden, empfangen werden. In mindestens einer Ausführungsform kann, sobald Bildgebungsdaten 5908 empfangen werden, die Klgestützte Annotation 5910 verwendet werden, um beim Generieren von Annotationen zu helfen, die den Bildgebungsdaten 5908 entsprechen, die als Ground-Truth-Daten für ein Modell des maschinellen Lernens verwendet werden sollen. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 5910 ein oder mehrere Modelle des maschinellen Lernens (z. B. faltende neuronal Netze (CNNs)) beinhalten, die darauf trainiert werden können, Annotationen zu generieren, die bestimmten Typen von Bildgebungsdaten 5908 (z. B. von bestimmten Vorrichtungen) und/oder bestimmten Typen von Anomalien in den Bildgebungsdaten 5908 entsprechen. In mindestens einer Ausführungsform können die Kl-gestützten Annotationen 5910 dann direkt verwendet oder unter Verwendung eines Annotationswerkzeugs (z. B. von einem Forscher, Kliniker, Arzt, Wissenschaftler usw.) eingestellt oder fein abgestimmt werden, um Ground-Truth-Daten zu generieren. In mindestens einer Ausführungsform können in einigen Beispielen beschriftete Klinikdaten 5912 (z. B. Annotationen, die von einem Kliniker, Arzt, Wissenschaftler, Techniker usw. bereitgestellt werden) als Ground-Truth-Daten für das Training eines Modells des maschinellen Lernens verwendet werden. In mindestens einer Ausführungsform können die Kl-gestützten Annotationen 5910, beschrifteten Klinikdaten 5912 oder eine Kombination davon als Ground-Truth-Daten für das Training eines Modells des maschinellen Lernens verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes Modell des maschinellen Lernens als Ausgabemodell 5916 bezeichnet werden und durch das Einsatzsystem 5906 verwendet werden, wie hierin beschrieben.

In mindestens einer Ausführungsform kann die Trainingspipeline 6004 (60) ein Szenario beinhalten, in dem die Einrichtung 5902 ein Modell des maschinellen Lernens zur Verwendung beim Durchführen eines oder mehrerer Verarbeitungs-Tasks für eine oder mehrere Anwendungen in dem Einsatzsystem 5906 benötigt, die Einrichtung 5902 aber möglicherweise derzeit kein derartiges Modell des maschinellen Lernens aufweist (oder möglicherweise kein Modell aufweist, das für derartige Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform kann ein bestehendes Modell des maschinellen Lernens aus der Modellregistrierungsdatenbank 5924 ausgewählt werden. In mindestens einer Ausführungsform kann die Modellregistrierungsdatenbank 5924 Modelle des maschinellen Lernens beinhalten, die zum Durchführen einer Vielfalt von unterschiedlichen Inferenzierungs-Tasks an Bildgebungsdaten trainiert sind. In mindestens einer Ausführungsform können die Modelle des maschinellen Lernens in der Modellregistrierungsdatenbank 5924 an Bildgebungsdaten von anderen Einrichtungen als der Einrichtung 5902 trainiert worden sein (z. B. Einrichtungen, die sich an einem anderen Ort befinden). In mindestens einer Ausführungsform können die Modelle des maschinellen Lernens an Bildgebungsdaten von einem Ort, zwei Orten oder einer beliebigen Anzahl von Orten trainiert worden sein. In mindestens einer Ausführungsform kann das Training beim Trainieren an Bildgebungsdaten von einem spezifischen Ort an diesem Ort oder mindestens auf eine Weise stattfinden, mit der die Vertraulichkeit der Bildgebungsdaten geschützt wird oder die Übermittlung der Bildgebungsdaten außerhalb der Räumlichkeiten eingeschränkt wird (z. B. zur Einhaltung von HIPAA-Vorschriften, Datenschutzvorschriften usw.). In mindestens einer Ausführungsform kann ein Modell des maschinellen Lernens, sobald es an einem Ort trainiert - oder teilweise trainiert - wurde, zur Modellregistrierungsdatenbank 5924 hinzugefügt werden. In mindestens einer Ausführungsform kann ein Modell des maschinellen Lernens dann in einer beliebigen Anzahl von anderen Einrichtungen erneut trainiert oder aktualisiert werden und ein erneut trainiertes oder aktualisiertes Modell kann in der Modellregistrierungsdatenbank 5924 verfügbar gemacht werden. In mindestens einer Ausführungsform kann dann ein Modell des maschinellen Lernens aus der Modellregistrierungsdatenbank 5924 ausgewählt werden - und als Ausgabemodell 5916 bezeichnet werden - und in dem Einsatzsystem 5906 verwendet werden, um einen oder mehrere Verarbeitungs-Tasks für eine oder mehrere Anwendungen eines Einsatzsystems durchzuführen.

In mindestens einer Ausführungsform kann die Trainingspipeline 6004 (60) in einem Szenario verwendet werden, das beinhaltet, dass die Einrichtung 5902 ein Modell des maschinellen Lernens zur Verwendung beim Durchführen eines oder mehrerer Verarbeitungs-Tasks für eine oder mehrere Anwendungen in dem Einsatzsystem 5906 erfordert, die Einrichtung 5902 aber möglicherweise derzeit kein derartiges Modell des maschinellen Lernens aufweist (oder möglicherweise kein Modell aufweist, das für derartige Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform könnte ein aus der Modellregistrierungsdatenbank 5924 ausgewähltes Modell des maschinellen Lernens aufgrund von Unterschieden bei den Populationen, genetischen Variationen, der Robustheit der zum Trainieren eines Modells des maschinellen Lernens verwendeten Trainingsdaten, der Verschiedenartigkeit der Anomalien der Trainingsdaten und/oder anderer Probleme mit den Trainingsdaten nicht für die in der Einrichtung 5902 generierten Bildgebungsdaten 5908 fein abgestimmt oder optimiert sein. In mindestens einer Ausführungsform kann die Klgestützte Annotation 5910 verwendet werden, um beim Generieren von Annotationen zu helfen, die den Bildgebungsdaten 5908 entsprechen, die als Ground-Truth-Daten für das erneute Trainieren oder Aktualisieren eines Modells des maschinellen Lernens verwendet werden sollen. In mindestens einer Ausführungsform können beschriftete Klinikdaten 5912 (z. B. Annotationen, die von einem Kliniker, Arzt, Wissenschaftler usw. bereitgestellt werden) als Ground-Truth-Daten für das Training eines Modells des maschinellen Lernens verwendet werden. In mindestens einer Ausführungsform kann das erneute Trainieren oder Aktualisieren eines Modells des maschinellen Lernens als Modelltraining 5914 bezeichnet werden. In mindestens einer Ausführungsform kann das Modelltraining 5914 - z. B. Klgestützte Annotationen 5910, beschriftete Klinikdaten 5912 oder eine Kombination davon - als Ground-Truth-Daten für das erneute Training oder Aktualisieren eines Modells des maschinellen Lernens verwendet werden.

In mindestens einer Ausführungsform kann das Einsatzsystem 5906 Software 5918, Dienste 5920, Hardware 5922 und/oder andere Komponenten, Merkmale und Funktionalitäten beinhalten. In mindestens einer Ausführungsform kann das Einsatzsystem 5906 einen Software-„Stapel“ beinhalten, sodass die Software 5918 auf den Diensten 5920 aufgebaut sein kann und die Dienste 5920 verwenden kann, um einige oder alle Verarbeitungs-Tasks durchzuführen, und die Dienste 5920 und die Software 5918 können auf der Hardware 5922 aufgebaut sein und die Hardware 5922 verwenden, um Verarbeitungs-, Speicher- und/oder andere Rechen-Tasks des Einsatzsystems 5906 auszuführen.

In mindestens einer Ausführungsform kann die Software 5918 eine beliebige Anzahl von unterschiedlichen Containern beinhalten, wobei jeder Container eine Instanziierung einer Anwendung ausführen kann. In mindestens einer Ausführungsform kann jede Anwendung einen oder mehrere Verarbeitungs-Tasks in einer weiterentwickelten Verarbeitungs- und Inferenzpipeline durchführen (z. B. Inferenz, Objektdetektion, Merkmalsdetektion, Segmentierung, Bildverbesserung, Kalibrierung usw.). In mindestens einer Ausführungsform kann für jeden Typ von Bildgebungsvorrichtung (z. B. CT, MRT, Röntgen, Ultraschall, Sonografie, Echokardiografie usw.), Sequenzierungsvorrichtung, Radiologievorrichtung, Genomikvorrichtung usw. eine beliebige Anzahl von Containern vorhanden sein, die einen Datenverarbeitungs-Task in Bezug auf Bildgebungsdaten 5908 (oder andere Datentypen, wie etwa die hierin beschriebenen), die durch eine Vorrichtung generiert werden, durchführen können. In mindestens einer Ausführungsform kann eine weiterentwickelte Verarbeitungs- und Inferenzpipeline auf Grundlage von Auswahlen unterschiedlicher Container definiert werden, die zum Verarbeiten von Bildgebungsdaten 5908 gewünscht oder erforderlich sind, zusätzlich zu Containern, die Bildgebungsdaten zur Verwendung durch jeden Container und/oder zur Verwendung durch die Einrichtung 5902 nach dem Verarbeiten durch eine Pipeline empfangen und konfigurieren (z. B. zur Rückkonvertierung von Ausgaben in einen verwendbaren Datentyp, wie etwa Daten der digitalen Bildgebung und Kommunikation in der Medizin (digital imaging and communications in medicine - DICOM), Daten eines Radiologieinformationssystems (radiology information system - RIS), Daten eines Klinikinformationssystems (clinical information system - CIS), Daten zum Aufruf einer entfernten Prozedur (remote procedure call - RPC), Daten, die im Wesentlichen mit einer Schnittstelle zur Darstellungszustandsübermittlung (representation state transfer- REST) konform sind, Daten, die im Wesentlichen mit einer dateibasierten Schnittstelle konform sind, und/oder Rohdaten, zur Speicherung und Anzeige in der Einrichtung 5902). In mindestens einer Ausführungsform kann eine Kombination von Containern innerhalb der Software 5918 (die z. B. eine Pipeline bilden) als virtuelles Instrument bezeichnet werden (wie hierin detaillierter beschrieben) und ein virtuelles Instrument kann Dienste 5920 und Hardware 5922 ausnutzen, um einige oder alle Verarbeitungs-Tasks von in Containern instanziierten Anwendungen auszuführen.

In mindestens einer Ausführungsform kann eine Datenverarbeitungspipeline Eingabedaten (z. B. Bildgebungsdaten 5908) in einem DICOM-, RIS-, CIS-, REST-konformen, RPC-, Rohdaten- und/oder anderen Format als Reaktion auf eine Inferenzanforderung (z. B. eine Anforderung von einem Benutzer des Einsatzsystems 5906, wie etwa einem Kliniker, einem Arzt, einem Radiologen usw.) empfangen. In mindestens einer Ausführungsform können die Eingabedaten für ein oder mehrere Bilder, Videos und/oder andere Datendarstellungen repräsentativ sein, die durch eine oder mehrere Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Radiologievorrichtungen, Genomikvorrichtungen und/oder andere Vorrichtungstypen generiert werden. In mindestens einer Ausführungsform können die Daten als Teil der Datenverarbeitungspipeline einer Vorverarbeitung unterzogen werden, um die Daten für die Verarbeitung durch eine oder mehrere Anwendungen vorzubereiten. In mindestens einer Ausführungsform kann Nachverarbeitung an einer Ausgabe eines oder mehrerer Inferenzierungs-Tasks oder anderer Verarbeitungs-Tasks einer Pipeline durchgeführt werden, um Ausgabedaten für eine nächste Anwendung vorzubereiten und/oder um Ausgabedaten für die Übertragung und/oder Verwendung durch einen Benutzer vorzubereiten (z. B. als Reaktion auf eine Inferenzanforderung). In mindestens einer Ausführungsform können Inferenzierungs-Tasks durch ein oder mehrere Modelle des maschinellen Lernens durchgeführt werden, wie etwa trainierte oder eingesetzte neuronale Netze, die Ausgabemodelle 5916 des Trainingssystems 5904 beinhalten können.

In mindestens einer Ausführungsform können die Tasks der Datenverarbeitungspipeline in einem Container(n) eingekapselt sein, die jeweils eine diskrete, voll funktionsfähige Instanziierung einer Anwendung und einer virtualisierten Rechenumgebung darstellen, die dazu in der Lage ist, sich auf Modelle des maschinellen Lernens zu beziehen. In mindestens einer Ausführungsform können Container oder Anwendungen in einem privaten (z. B. zugriffsbeschränkten) Bereich einer Containerregistrierungsdatenbank (hierin detaillierter beschrieben) veröffentlicht werden und trainierte oder eingesetzte Modelle können in der Modellregistrierungsdatenbank 5924 gespeichert und mit einer oder mehreren Anwendungen assoziiert werden. In mindestens einer Ausführungsform können Abbilder von Anwendungen (z. B. Containerabbilder) in einer Containerregistrierungsdatenbank verfügbar sein und sobald es durch einen Benutzer aus einer Containerregistrierungsdatenbank für den Einsatz in einer Pipeline ausgewählt wurde, kann ein Abbild verwendet werden, um einen Container für eine Instanziierung einer Anwendung zur Verwendung durch das System eines Benutzers zu generieren.

In mindestens einer Ausführungsform können Entwickler (z. B. Software-Entwickler, Kliniker, Ärzte usw.) Anwendungen (z. B. als Container) zum Durchführen von Bildverarbeitung und/oder Inferenz an zugeführten Daten entwickeln, veröffentlichen und speichern. In mindestens einer Ausführungsform kann die Entwicklung, Veröffentlichung und/oder Speicherung unter Verwendung eines Software-Entwicklungskits (software development kit - SDK) durchgeführt werden, das mit einem System assoziiert ist (um z. B. sicherzustellen, dass eine entwickelte Anwendung und/oder ein entwickelter Container mit einem System konform oder kompatibel ist). In mindestens einer Ausführungsform kann eine Anwendung, die entwickelt wird, lokal (z. B. in einer ersten Einrichtung, an Daten von einer ersten Einrichtung) mit einem SDK geprüft werden, das mindestens einige der Dienste 5920 als System (z. B. System 6000 aus 60) unterstützen kann. Da DICOM-Objekte zwischen einem und Hunderten von Bildern oder anderen Datentypen enthalten können, und aufgrund einer Variation der Daten, kann ein Entwickler in mindestens einer Ausführungsform für das Verwalten (z. B. das Festlegen von Konstrukten für, den Einbau von Vorverarbeitung in eine Anwendung usw.) der Extraktion und Vorbereitung eingehender DICOM-Daten zuständig sein. In mindestens einer Ausführungsform kann eine Anwendung, sobald sie durch das System 6000 validiert wurde (z. B. bezüglich Genauigkeit, Sicherheit, Patientendatenschutz usw.), in einer Containerregistrierungsdatenbank zur Auswahl und/oder Implementation durch einen Benutzer (z. B. ein Krankenhaus, eine Klinik, ein Labor, einen Gesundheitsdienstleister usw.) verfügbar sein, um einen oder mehrere Verarbeitungs-Tasks in Bezug auf Daten in einer Einrichtung (z. B. einer zweiten Einrichtung) eines Benutzers durchzuführen.

In mindestens einer Ausführungsform können Entwickler dann Anwendungen oder Container durch ein Netz für den Zugriff und die Verwendung durch Benutzer eines Systems (z. B. des Systems 6000 aus 60) teilen. In mindestens einer Ausführungsform können abgeschlossene und validierte Anwendungen oder Container in einer Containerregistrierungsdatenbank gespeichert werden und damit assoziierte Modelle des maschinellen Lernens in der Modellregistrierungsdatenbank 5924 gespeichert werden. In mindestens einer Ausführungsform kann eine anfordernde Entität (z. B. ein Benutzer in einer medizinischen Einrichtung) - die eine Inferenz- oder Bildverarbeitungsanforderung bereitstellt-eine Containerregistrierungsdatenbank und/oder Modellregistrierungsdatenbank 5924 nach einer Anwendung, einem Container, einem Datensatz, einem Modell des maschinellen Lernens usw. durchsuchen, eine gewünschte Kombination von Elementen zur Aufnahme in die Datenverarbeitungspipeline auswählen und eine Bildverarbeitungsanforderung absenden. In mindestens einer Ausführungsform kann eine Anforderung Eingabedaten (und in einigen Beispielen damit assoziierte Patientendaten) beinhalten, die zum Durchführen einer Anforderung notwendig sind, und/oder eine Auswahl von Anwendung(en) und/oder Modellen des maschinellen Lernens beinhalten, die bei der Verarbeitung einer Anforderung ausgeführt werden sollen. In mindestens einer Ausführungsform kann eine Anforderung dann an eine oder mehrere Komponenten des Einsatzsystems 5906 (z. B. eine Cloud) übergeben werden, um die Verarbeitung der Datenverarbeitungspipeline durchzuführen. In mindestens einer Ausführungsform kann die Verarbeitung durch das Einsatzsystem 5906 die Referenzierung ausgewählter Elemente (z. B. Anwendungen, Container, Modelle usw.) aus einer Containerregistrierungsdatenbank und/oder Modellregistrierungsdatenbank 5924 beinhalten. In mindestens einer Ausführungsform können, sobald Ergebnisse durch eine Pipeline generiert wurden, die Ergebnisse als Referenz an einen Benutzer zurückgegeben werden (z. B. zur Ansicht in einer Ansichtanwendungssuite, die auf einer lokalen Arbeitsstation oder einem lokalen Endgerät in den Räumlichkeiten ausgeführt wird). In mindestens einer Ausführungsform kann ein Radiologe Ergebnisse von einer Datenverarbeitungspipeline empfangen, die eine beliebige Anzahl von Anwendungen und/oder Containern beinhaltet, wobei die Ergebnisse Anomaliedetektion in Röntgenbildern, CT-Scans, MRTs usw. beinhalten können.

In mindestens einer Ausführungsform können zur Unterstützung der Verarbeitung oder Ausführung von Anwendungen oder Containern in Pipelines die Dienste 5920 ausgenutzt werden. In mindestens einer Ausführungsform können die Dienste 5920 Rechendienste, Dienste für künstliche Intelligenz (Kl), Visualisierungsdienste und/oder andere Diensttypen beinhalten. In mindestens einer Ausführungsform können die Dienste 5920 eine Funktionalität bereitstellen, die eine oder mehrere Anwendungen in der Software 5918 gemeinsam haben, sodass die Funktionalität zu einem Dienst abstrahiert werden kann, der durch Anwendungen aufgerufen oder ausgenutzt werden kann. In mindestens einer Ausführungsform kann die durch die Dienste 5920 bereitgestellte Funktionalität dynamisch und effizienter laufen, während sie ebenfalls gut skalierbar ist, indem es Anwendungen erlaubt wird, Daten parallel zu verarbeiten (z. B. unter Verwendung einer Parallelrechenplattform 6030 (60)). Anstatt dass jede Anwendung, die eine gleiche Funktionalität teilt, die durch einen Dienst 5920 angeboten wird, eine entsprechende Instanz des Dienstes 5920 aufweisen muss, kann der Dienst 5920 in mindestens einer Ausführungsform von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Dienste einen Inferenzserver oder eine Inferenz-Engine beinhalten, der/die als nicht einschränkende Beispiele zum Ausführen von Detektions- oder Segmentierungs-Tasks verwendet werden kann. In mindestens einer Ausführungsform kann ein Modelltrainingsdienst enthalten sein, der die Fähigkeit bereitstellen kann, Modelle des maschinellen Lernens zu trainieren und/oder erneut zu trainieren. In mindestens einer Ausführungsform kann ferner ein Datenerweiterungsdienst enthalten sein, der die Extraktion, Größenänderung, Skalierung und/oder andere Erweiterung von GPU-beschleunigten Daten (z. B. DICOM-Daten, RIS-Daten, CIS-Daten, REST-konformen Daten, RPC-Daten, Rohdaten usw.) bereitstellen kann. In mindestens einer Ausführungsform kann ein Visualisierungsdienst verwendet werden, der Bild-Rendering-Effekte - wie etwa Strahlverfolgung, Rasterung, Entrauschen, Schärfung usw. - hinzufügen kann, um zweidimensionale (2D) und/oder dreidimensionale (3D) Modelle realistischer zu gestalten. In mindestens einer Ausführungsform können Dienste für virtuelle Instrumente enthalten sein, die Strahlformung, Segmentierung, Inferenzieren, Bildgebung und/oder Unterstützung für andere Anwendungen innerhalb von Pipelines virtueller Instrumente bereitstellen.

In mindestens einer Ausführungsform, in der ein Dienst 5920 einen KI-Dienst (z. B. einen Inferenzdienst) beinhaltet, können ein oder mehrere Modelle des maschinellen Lernens, die mit einer Anwendung zur Anomaliedetektion (z. B. Tumoren, Wachstumsauffälligkeiten, Narbenbildung usw.) assoziiert sind, ausgeführt werden, indem ein Inferenzdienst (z. B. ein Inferenzserver) aufgerufen wird (z. B. als API-Aufruf), um Modell(e) des maschinellen Lernens oder deren Verarbeitung als Teil der Anwendungsausführung auszuführen. In mindestens einer Ausführungsform, in der eine andere Anwendung ein oder mehrere Modelle des maschinellen Lernens für Segmentierungs-Tasks beinhaltet, kann eine Anwendung einen Inferenzdienst aufrufen, um Modelle des maschinellen Lernens zum Durchführen einer oder mehrerer mit Segmentierungs-Tasks assoziierten Verarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform kann die Software 5918, die eine weiterentwickelte Verarbeitungs- und Inferenzpipeline implementiert, die eine Segmentierungsanwendung und eine Anomaliedetektionsanwendung beinhaltet, gestrafft werden, da jede Anwendung einen gleichen Inferenzdienst zum Durchführen eines oder mehrerer Inferenzierungs-Tasks aufrufen kann.

In mindestens einer Ausführungsform kann die Hardware 5922 GPUs, CPUs, Grafikkarten, ein Kl-/Deep-Learning-System (z. B. einen KI-Supercomputer wie etwa das DGX-Supercomputersystem von NVIDIA), eine Cloud-Plattform oder eine Kombination davon beinhalten. In mindestens einer Ausführungsform können unterschiedliche Typen von Hardware 5922 verwendet werden, um eine effiziente, speziell entwickelte Unterstützung für Software 5918 und Dienste 5920 in dem Einsatzsystem 5906 bereitzustellen. In mindestens einer Ausführungsform kann die Verwendung von GPU-Verarbeitung für die lokale Verarbeitung (z. B. in der Einrichtung 5902), innerhalb eines KI/Deep-Learning-Systems, in einem Cloud-System und/oder in anderen Verarbeitungskomponenten des Einsatzsystems 5906 implementiert werden, um die Effizienz, Genauigkeit und Wirksamkeit von Bildverarbeitung, Bildrekonstruktion, Segmentierung, MRT-Untersuchungen, Schlaganfall- oder Herzinfarktdetektion (z. B. in Echtzeit), Bildqualität beim Rendern usw. zu verbessern. In mindestens einer Ausführungsform kann eine Einrichtung Bildgebungsvorrichtungen, Genomikvorrichtungen, Sequenzierungsvorrichtungen und/oder andere Vorrichtungstypen in den Räumlichkeiten beinhalten, die GPUs ausnutzen können, um Bildgebungsdaten zu generieren, die für die Anatomie eines Probanden repräsentativ sind.

In mindestens einer Ausführungsform können die Software 5918 und/oder die Dienste 5920 als nicht einschränkende Beispiele für die GPU-Verarbeitung in Bezug auf Deep Learning, maschinelles Lernen und/oder Datenverarbeitung mit hoher Rechenleistung optimiert sein. In mindestens einer Ausführungsform kann mindestens ein Teil der Rechenumgebung des Einsatzsystems 5906 und/oder des Trainingssystems 5904 in einem Rechenzentrum auf einem oder mehreren Supercomputern oder Rechensystemen mit hoher Rechenleistung mit GPU-optimierter Software (z. B. Hardware- und Software-Kombination des DGX-Systems von NVIDIA) ausgeführt werden. In mindestens einer Ausführungsform können Rechenzentren mit HIPAA-Bestimmungen konform sein, sodass der Empfang, die Verarbeitung und die Übertragung von Bildgebungsdaten und/oder anderen Patientendaten in Bezug auf den Schutz von Patientendaten sicher gehandhabt werden. In mindestens einer Ausführungsform kann die Hardware 5922 eine beliebige Anzahl von GPUs beinhalten, die zur parallelen Verarbeitung von Daten, wie hierin beschrieben, aufgerufen werden können. In mindestens einer Ausführungsform kann die Cloud-Plattform ferner GPU-Verarbeitung für die GPU-optimierte Ausführung von Deep-Learning-Tasks, Tasks des maschinellen Lernens oder anderen Rechen-Tasks beinhalten. In mindestens einer Ausführungsform kann die Cloud-Plattform (z. B. NGC von NVIDIA) unter Verwendung von Kl-/Deep-Learning-Supercomputer(n) und/oder GPU-optimierter Software (z. B. wie auf DGX-Systemen von NVIDIA bereitgestellt) als Hardware-Abstraktions- und -Skalierungsplattform ausgeführt werden. In mindestens einer Ausführungsform kann die Cloud-Plattform ein Anwendungscontainer-Clustering-System oder Orchestrierungssystem (z. B. KUBERNETES) auf mehreren GPUs integrieren, um eine nahtlose Skalierung und Lastverteilung zu ermöglichen.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 59 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet das Trainingssystem 5904 und/oder das Einsatzsystem 5906 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert das Trainingssystem 5904 und/oder das Einsatzsystem 5906 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert das Trainingssystem 5904 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt das Einsatzsystem 5906 mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

60 ist eine Systemdarstellung für ein beispielhaftes System 6000 zum Generieren und Einsetzen einer Bildgebungseinsatzpipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 6000 verwendet werden, um den Prozess 5900 aus 59 und/oder andere Prozesse, einschließlich weiterentwickelter Verarbeitungs- und Inferenzpipelines, zu implementieren. In mindestens einer Ausführungsform kann das System 6000 das Trainingssystem 5904 und das Einsatzsystem 5906 beinhalten. In mindestens einer Ausführungsform können das Trainingssystem 5904 und das Einsatzsystem 5906 unter Verwendung von Software 5918, Diensten 5920 und/oder Hardware 5922, wie hierin beschrieben, implementiert werden.

In mindestens einer Ausführungsform kann das System 6000 (z. B. das Trainingssystem 5904 und/oder das Einsatzsystem 5906) in einer Cloud-Computing-Umgebung implementiert sein (z. B. unter Verwendung der Cloud 6026). In mindestens einer Ausführungsform kann das System 6000 lokal in Bezug auf eine Einrichtung des Gesundheitswesens oder als Kombination aus sowohl Cloud- als auch lokalen Rechenressourcen implementiert werden. In mindestens einer Ausführungsform können in Ausführungsformen, in denen Cloud Computing implementiert ist, Patientendaten von einer oder mehreren Komponenten des Systems 6000 getrennt oder nicht durch diese verarbeitet werden, was die Verarbeitung nicht konform mit HIPAA- und/oder anderen Vorschriften oder Gesetzen zur Datenhandhabung und zum Datenschutz machen würde. In mindestens einer Ausführungsform kann der Zugriff auf die APIs in der Cloud 6026 durch erlassene Sicherheitsmaßnahmen oder -protokolle auf autorisierte Benutzer beschränkt sein. In mindestens einer Ausführungsform kann ein Sicherheitsprotokoll Web-Token beinhalten, die durch einen Authentifizierungsdienst (z. B. AuthN, AuthZ, Gluecon usw.) signiert sein können und eine zweckmäßige Autorisierung tragen können. In mindestens einer Ausführungsform können APIs von virtuellen Instrumenten (hierin beschrieben) oder anderen Instanziierungen des Systems 6000 auf einen Satz von öffentlichen IPs beschränkt sein, die für die Interaktion sicherheitsüberprüft oder autorisiert wurden.

In mindestens einer Ausführungsform können verschiedene Komponenten des Systems 6000 unter Verwendung beliebiger einer Vielfalt von unterschiedlichen Netztypen, einschließlich, aber nicht beschränkt auf, lokaler Netze (LANs) und/oder Weitverkehrsnetze (WANs), über drahtgebundene und/oder drahtlose Kommunikationsprotokolle miteinander kommunizieren. In mindestens einer Ausführungsform kann die Kommunikation zwischen Einrichtungen und Komponenten des Systems 6000 (z. B. zum Übertragen von Inferenzanforderungen, zum Empfangen von Ergebnissen von Inferenzanforderungen usw.) über einen Datenbus oder Datenbusse, drahtlose Datenprotokolle (Wi-Fi), drahtgebundene Datenprotokolle (z. B. Ethernet) usw. kommuniziert werden.

In mindestens einer Ausführungsform kann das Trainingssystem 5904 Trainingspipelines 6004 ausführen, die denjenigen ähnlich sind, die hierin in Bezug auf 59 beschrieben sind. In mindestens einer Ausführungsform, in der ein oder mehrere Modelle des maschinellen Lernens in Einsatzpipelines 6010 durch das Einsatzsystem 5906 verwendet werden sollen, können Trainingspipelines 6004 verwendet werden, um ein oder mehrere (z. B. vorab trainierte) Modelle zu trainieren oder erneut zu trainieren und/oder eines oder mehrere der vorab trainierten Modelle 6006 zu implementieren (z. B. ohne eine Notwendigkeit eines erneuten Trainings oder einer Aktualisierung). In mindestens einer Ausführungsform können als Ergebnis der Trainingspipelines 6004 Ausgabemodell(e) 5916 generiert werden. In mindestens einer Ausführungsform können die Trainingspipelines 6004 eine beliebige Anzahl von Verarbeitungsschritten beinhalten, zum Beispiel, aber nicht beschränkt auf, die Konvertierung oder Anpassung von Bildgebungsdaten (oder anderen Eingabedaten) (z. B. unter Verwendung eines DICOM-Adapters 6002A zum Konvertieren von DICOM-Bildern in ein anderes Format, das für die Verarbeitung durch jeweilige Modelle des maschinellen Lernens geeignet ist, wie etwa das Format der Neuroimaging Informatics Technology Initiative (NIfTI)), KI-gestützte Annotation 5910, Beschriftung oder Annotation von Bildgebungsdaten 5908, um beschriftete Klinikdaten 5912 zu generieren, Modellauswahl aus einer Modellregistrierungsdatenbank, Modelltraining 5914, Training, erneutes Training oder Aktualisieren von Modellen und/oder andere Verarbeitungsschritte. In mindestens einer Ausführungsform können für unterschiedliche Modelle des maschinellen Lernens, die durch das Einsatzsystem 5906 verwendet werden, unterschiedliche Trainingspipelines 6004 verwendet werden. In mindestens einer Ausführungsform kann für ein erstes Modell des maschinellen Lernens eine Trainingspipeline 6004 verwendet werden, die einem ersten Beispiel ähnlich ist, das in Bezug auf 59 beschrieben ist, für ein zweites Modell des maschinellen Lernens eine Trainingspipeline 6004 verwendet werden, die einem zweiten Beispiel ähnlich ist, das in Bezug auf 59 beschrieben ist, und für ein drittes Modell des maschinelles Lernens eine Trainingspipeline 6004 verwendet werden, die einem dritten Beispiel ähnlich ist, das in Bezug auf 59 beschrieben ist. In mindestens einer Ausführungsform kann eine beliebige Kombination von Tasks innerhalb des Trainingssystems 5904 verwendet werden, in Abhängigkeit davon, was für jedes jeweilige Modell des maschinellen Lernens erforderlich ist. In mindestens einer Ausführungsform können eines oder mehrere der Modelle des maschinellen Lernens bereits trainiert und einsatzbereit sein, sodass die Modelle des maschinellen Lernens möglicherweise keiner Verarbeitung durch das Trainingssystem 5904 unterzogen werden und durch das Einsatzsystem 5906 implementiert werden können.

In mindestens einer Ausführungsform können die Ausgabemodell(e) 5916 und/oder die vorab trainierte(n) Modell(e) 6006 in Abhängigkeit von der Implementation oder Ausführungsform beliebige Typen von Modellen des maschinellen Lernens beinhalten. In mindestens einer Ausführungsform und ohne Einschränkung können durch das System 6000 verwendete Modelle des maschinellen Lernens Modell(e) des maschinellen Lernens unter Verwendung von linearer Regression, logistischer Regression, Entscheidungsbäumen, Stützvektormaschinen (support vector machines - SVM), naivem Bayes-Klassifikator, k-nächstem Nachbarn (k-nearest neighbor - Knn), k-Means-Clustering, Random Forest, Dimensionsreduktionsalgorithmen, Gradientenverstärkungsalgorithmen, neuronalen Netzen (z. B. Autocodierern, faltenden, rekurrenten, Perzeptronen, langem Kurzzeitgedächtnis (Long/Short Term Memory - LSTM), Hopfield, Boltzmann, Deep Belief, entfaltenden, generierenden gegnerischen, Flüssigkeitszustandsmaschine usw.) und/oder andere Typen von Modellen des maschinellen Lernens beinhalten.

In mindestens einer Ausführungsform können die Trainingspipelines 6004 Klgestützte Annotation beinhalten, wie hierin in Bezug auf mindestens 63B detaillierter beschrieben. In mindestens einer Ausführungsform können beschriftete Klinikdaten 5912 (z. B. herkömmliche Annotation) durch eine beliebige Anzahl von Techniken generiert werden. In mindestens einer Ausführungsform können Beschriftungen oder andere Annotationen innerhalb eines Zeichenprogramms (z. B. eines Annotationsprogramms), eines Programms zur computergestützten Konstruktion (computer aided design - CAD), eines Beschriftungsprogramms, eines anderen Typs von Programm, das zum Generieren von Annotationen oder Beschriftungen für Ground Truth geeignet ist, generiert werden und/oder in einigen Beispielen von Hand gezeichnet werden. In mindestens einer Ausführungsform können die Ground-Truth-Daten synthetisch produziert (z. B. aus Computermodellen oder Renderings generiert), real produziert (z. B. aus Daten der realen Welt ausgestaltet und produziert), maschinell automatisiert (z. B. unter Verwendung von Merkmalsanalyse und Lernen, um Merkmale aus Daten zu extrahieren und dann Beschriftungen zu generieren), von Menschen annotiert (z. B. definiert ein Beschrifter oder Annotationsexperte die Stelle von Beschriftungen) und/oder eine Kombination davon sein. In mindestens einer Ausführungsform können für jede Instanz der Bildgebungsdaten 5908 (oder eines anderen Datentyps, der durch Modelle des maschinellen Lernens verwendet wird) entsprechende Ground-Truth-Daten vorhanden sein, die durch das Trainingssystem 5904 generiert werden. In mindestens einer Ausführungsform kann die KI-gestützte Annotation als Teil der Einsatzpipelines 6010 durchgeführt werden; entweder zusätzlich zu oder anstelle der Kl-gestützten Annotation, die in den Trainingspipelines 6004 enthalten ist. In mindestens einer Ausführungsform kann das System 6000 eine mehrschichtige Plattform beinhalten, die eine Software-Schicht (z. B. Software 5918) von Diagnoseanwendungen (oder anderen Anwendungstypen) beinhalten kann, die eine oder mehrere medizinische Bildgebungs- und Diagnosefunktionen durchführen kann. In mindestens einer Ausführungsform kann das System 6000 kommunikativ an (z. B. über verschlüsselte Verknüpfungen) PACS-Servernetze einer oder mehrerer Einrichtungen gekoppelt sein. In mindestens einer Ausführungsform kann das System 6000 so konfiguriert sein, dass es auf Daten (z. B. DICOM-Daten, RIS-Daten, Rohdaten, CIS-Daten, REST-konforme Daten, RPC-Daten, Rohdaten usw.) von PACS-Servern zugreift und diese referenziert (z. B. über einen DICOM-Adapter 6002 oder einen Adapter für einen anderen Datentyp, wie etwa RIS, CIS, REST-konform, RPC, Rohdaten usw.), um Operationen durchzuführen, wie etwa Trainieren von Modellen des maschinellen Lernens, Einsetzen von Modellen des maschinellen Lernens, Bildverarbeitung, Inferenzieren und/oder andere Operationen.

In mindestens einer Ausführungsform kann eine Software-Schicht als sichere, verschlüsselte und/oder authentifizierte API implementiert sein, durch die Anwendungen oder Container aus einer externen Umgebung(en) (z. B. Einrichtung 5902) ausgewählt (z. B. aufgerufen) werden können. In mindestens einer Ausführungsform können Anwendungen dann einen oder mehrere Dienste 5920 aufrufen oder ausführen, um Rechen-, Kl- oder Visualisierungs-Tasks durchzuführen, die mit jeweiligen Anwendungen assoziiert sind, und die Software 5918 und/oder die Dienste 5920 können die Hardware 5922 ausnutzen, um Verarbeitungs-Tasks auf effektive und effiziente Weise durchzuführen.

In mindestens einer Ausführungsform kann das Einsatzsystem 5906 Einsatzpipelines 6010 ausführen. In mindestens einer Ausführungsform können Einsatzpipelines 6010 eine beliebige Anzahl von Anwendungen beinhalten, die sequenziell, nicht sequenziell oder auf andere Weise auf Bildgebungsdaten (und/oder andere Datentypen) angewendet werden können, die durch Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Genomikvorrichtungen usw. generiert werden - einschließlich Kl-gestützter Annotation, wie vorstehend beschrieben. In mindestens einer Ausführungsform, wie hierin beschrieben, kann eine Einsatzpipeline 6010 für eine einzelne Vorrichtung als virtuelles Instrument für eine Vorrichtung bezeichnet werden (z. B. ein virtuelles Ultraschallinstrument, ein virtuelles CT-Scan-Instrument, ein virtuelles Sequenzierungsinstrument usw.). In mindestens einer Ausführungsform kann für eine einzelne Vorrichtung in Abhängigkeit von Informationen, die von Daten gewünscht sind, die durch eine Vorrichtung generiert wurden, mehr als eine Einsatzpipeline 6010 vorhanden sein. Wenn Detektionen von Anomalien anhand einer MRT-Maschine gewünscht sind, kann in mindestens einer Ausführungsform eine erste Einsatzpipeline 6010 vorhanden sein, und wenn Bildverbesserung anhand einer Ausgabe einer MRT-Maschine gewünscht ist, kann eine zweite Einsatzpipeline 6010 vorhanden sein.

In mindestens einer Ausführungsform können für die Einsatzpipelines 6010 verfügbare Anwendungen eine beliebige Anwendung beinhalten, die zum Durchführen von Verarbeitungs-Tasks an Bildgebungsdaten oder anderen Daten von Vorrichtungen verwendet werden kann. In mindestens einer Ausführungsform können unterschiedliche Anwendungen für die Bildverbesserung, Segmentierung, Rekonstruktion, Anomaliedetektion, Objektdetektion, Merkmalsdetektion, Behandlungsplanung, Dosimetrie, Strahlenplanung (oder andere Strahlenbehandlungsprozeduren) und/oder andere Analyse-, Bildverarbeitungs- oder Inferenzierungs-Tasks zuständig sein. In mindestens einer Ausführungsform kann das Einsatzsystem 5906 Konstrukte für jede der Anwendungen definieren, sodass die Benutzer des Einsatzsystems 5906 (z. B. medizinische Einrichtungen, Labors, Kliniken usw.) die Konstrukte verstehen und die Anwendungen für die Implementation innerhalb ihrer jeweiligen Einrichtung anpassen können. In mindestens einer Ausführungsform kann eine Anwendung zur Bildrekonstruktion für die Aufnahme in die Einsatzpipeline 6010 ausgewählt werden, doch der durch eine Bildgebungsvorrichtung generierte Datentyp kann sich von einem innerhalb einer Anwendung verwendeten Datentyp unterscheiden. In mindestens einer Ausführungsform kann der DICOM-Adapter 6002B (und/oder ein DICOM-Lesegerät) oder ein Adapter oder ein Lesegerät für einen anderen Datentyp (z. B. RIS, CIS, REST-konform, RPC, Rohdaten usw.) innerhalb der Einsatzpipeline 6010 verwendet werden, um Daten in eine Form zu konvertieren, die durch eine Anwendung innerhalb des Einsatzsystems 5906 verwendet werden kann. In mindestens einer Ausführungsform kann der Zugriff auf Bibliotheken mit DICOM-Daten, RIS-Daten, CIS-Daten, REST-konformen Daten, RPC-Daten, Rohdaten und/oder anderen Datentypen akkumuliert und vorverarbeitet werden, einschließlich des Decodierens, Extrahierens und/oder Durchführens von Faltungen, Farbkorrekturen, Schärfe-, Gamma- und/oder anderen Erweiterungen der Daten. In mindestens einer Ausführungsform können DICOM-Daten, RIS-Daten, CIS-Daten, REST-konforme Daten, RPC-Daten und/oder Rohdaten ungeordnet sein und ein Vorlauf kann ausgeführt werden, um gesammelte Daten zu organisieren oder zu sortieren. Da verschiedene Anwendungen in mindestens einer Ausführungsform Bildoperationen gemeinsam nutzen können, kann in einigen Ausführungsformen eine Datenerweiterungsbibliothek (z. B. als einer der Dienste 5920) verwendet werden, um diese Operationen zu beschleunigen. In mindestens einer Ausführungsform kann zur Vermeidung von Engpässen herkömmlicher Verarbeitungsansätze, die sich auf CPU-Verarbeitung stützen, die Parallelrechenplattform 6030 zur GPU-Beschleunigung dieser Verarbeitungs-Tasks verwendet werden.

In mindestens einer Ausführungsform kann eine Bildrekonstruktionsanwendung einen Verarbeitungs-Task beinhalten, der die Verwendung eines Modells des maschinellen Lernens beinhaltet. In mindestens einer Ausführungsform kann ein Benutzer ein eigenes Modell des maschinellen Lernens verwenden wollen oder ein Modell des maschinellen Lernens aus der Modellregistrierungsdatenbank 5924 auswählen wollen. In mindestens einer Ausführungsform kann ein Benutzer ein eigenes Modell des maschinellen Lernens implementieren oder ein Modell des maschinellen Lernens zur Aufnahme in eine Anwendung zum Durchführen eines Verarbeitungs-Tasks auswählen. In mindestens einer Ausführungsform können die Anwendungen auswählbar und individuell anpassbar sein und durch das Definieren von Konstrukten von Anwendungen werden der Einsatz und die Implementation von Anwendungen für einen konkreten Benutzer als nahtlosere Benutzererfahrung dargestellt. In mindestens einer Ausführungsform können Einsatzpipelines 6010 durch Ausnutzen anderer Merkmale des Systems 6000 - wie etwa der Dienste 5920 und der Hardware 5922 - noch benutzerfreundlicher sein, eine einfachere Integration bereitstellen und genauere, effizientere und raschere Ergebnisse produzieren.

In mindestens einer Ausführungsform kann das Einsatzsystem 5906 eine Benutzerschnittstelle 6014 (z. B. eine grafische Benutzerschnittstelle, eine Webschnittstelle usw.) beinhalten, die verwendet werden kann, um Anwendungen für die Aufnahme in die Einsatzpipeline(s) 6010 auszuwählen, Anwendungen anzuordnen, Anwendungen oder Parameter oder Konstrukte davon zu modifizieren oder zu ändern, die Einsatzpipeline(s) 6010 während des Setups und/oder des Einsatzes zu verwenden und damit zu interagieren und/oder anderweitig mit dem Einsatzsystem 5906 zu interagieren. In mindestens einer Ausführungsform, obwohl nicht in Bezug auf das Trainingssystem 5904 veranschaulicht, kann die Benutzerschnittstelle 6014 (oder eine andere Benutzerschnittstelle) zum Auswählen von Modellen für die Verwendung in dem Einsatzsystem 5906, zum Auswählen von Modellen für das Training oder das erneute Training in dem Trainingssystem 5904 und/oder zum anderweitigen Interagieren mit dem Trainingssystem 5904 verwendet werden.

In mindestens einer Ausführungsform kann der Pipelineverwalter 6012 zusätzlich zu einem Anwendungsorchestrierungssystem 6028 verwendet werden, um die Interaktion zwischen den Anwendungen oder Containern der Einsatzpipeline(s) 6010 und den Diensten 5920 und/oder der Hardware 5922 zu verwalten. In mindestens einer Ausführungsform kann der Pipelineverwalter 6012 so konfiguriert sein, dass er Interaktionen von Anwendung zu Anwendung, von Anwendung zu Dienst 5920 und/oder von Anwendung oder Dienst zu Hardware 5922 erleichtert. Obwohl er der Veranschaulichung nach in der Software 5918 enthalten ist, soll dies in mindestens einer Ausführungsform nicht einschränkend sein und in einigen Beispielen (wie z. B. in 61 veranschaulicht) kann der Pipelineverwalter 6012 in den Diensten 5920 enthalten sein. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 6028 (z. B. Kubernetes, DOCKER usw.) ein Container-Orchestrierungssystem beinhalten, das Anwendungen zu Containern als logische Einheiten zur Koordination, Verwaltung, Skalierung und zum Einsatz gruppieren kann. In mindestens einer Ausführungsform kann durch das Assoziieren von Anwendungen aus den Einsatzpipeline(s) 6010 (z. B. einer Rekonstruktionsanwendung, einer Segmentierungsanwendung usw.) mit einzelnen Containern jede Anwendung in einer in sich geschlossenen Umgebung (z. B. auf Kernel-Level) ausgeführt werden, um die Geschwindigkeit und Effizienz zu erhöhen.

In mindestens einer Ausführungsform kann jede Anwendung und/oder jeder Container (oder ein Abbild davon) einzeln entwickelt, modifiziert und eingesetzt werden (z. B. kann ein erster Benutzer oder Entwickler eine erste Anwendung entwickeln, modifizieren und einsetzen und ein zweiter Benutzer oder Entwickler eine zweite Anwendung separat von einem ersten Benutzer oder Entwickler entwickeln, modifizieren und einsetzen), was es ermöglichen kann, sich auf einen Task einer einzelnen Anwendung und/oder Container(n) zu fokussieren und zu konzentrieren, ohne durch Tasks einer anderen Anwendung(en) oder eines anderen Container(n) behindert zu werden. In mindestens einer Ausführungsform kann die Kommunikation und Kooperation zwischen unterschiedlichen Containern oder Anwendungen durch den Pipelineverwalter 6012 und das Anwendungsorchestrierungssystem 6028 unterstützt werden. In mindestens einer Ausführungsform kann, solange eine erwartete Eingabe und/oder Ausgabe jedes Containers oder jeder Anwendung einem System bekannt ist (z. B. auf Grundlage von Konstrukten von Anwendungen oder Containern), das Anwendungsorchestrierungssystem 6028 und/oder der Pipelineverwalter6012 die Kommunikation unter und zwischen jedem der Anwendungen oder Container sowie die gemeinsame Nutzung von Ressourcen unter und zwischen diesen erleichtern. Da eine oder mehrere Anwendungen oder Container in den Einsatzpipeline(s) 6010 gleiche Dienste und Ressourcen gemeinsam nutzen können, kann das Anwendungsorchestrierungssystem 6028 in mindestens einer Ausführungsform die gemeinsame Nutzung von Diensten oder Ressourcen zwischen und unter verschiedenen Anwendungen oder Containern orchestrieren, deren Last verteilen und bestimmen. In mindestens einer Ausführungsform kann ein Scheduler verwendet werden, um den Ressourcenbedarf von Anwendungen oder Containern, die derzeitige Nutzung oder geplante Nutzung dieser Ressourcen und die Ressourcenverfügbarkeit zu verfolgen. In mindestens einer Ausführungsform kann ein Scheduler somit Ressourcen unterschiedlichen Anwendungen zuweisen und Ressourcen zwischen und unter Anwendungen im Hinblick auf Bedarf und Verfügbarkeit eines Systems verteilen. In einigen Beispielen kann ein Scheduler (und/oder eine andere Komponente des Anwendungsorchestrierungssystems 6028) die Ressourcenverfügbarkeit und -verteilung auf Grundlage von Beschränkungen bestimmen, die einem System auferlegt werden (z. B. Benutzerbeschränkungen), wie etwa Dienstgüte (QoS), Dringlichkeit des Bedarfs an Datenausgaben (um z. B. zu bestimmen, ob Echtzeitverarbeitung oder verzögerte Verarbeitung ausgeführt werden soll) usw.

In mindestens einer Ausführungsform können die Dienste 5920, die durch Anwendungen oder Container in dem Einsatzsystem 5906 ausgenutzt und gemeinsam genutzt werden, Rechendienste 6016, KI-Dienste 6018, Visualisierungsdienste 6020 und/oder andere Diensttypen beinhalten. In mindestens einer Ausführungsform können Anwendungen einen oder mehrere der Dienste 5920 aufrufen (z. B. ausführen), um Verarbeitungsoperationen für eine Anwendung durchzuführen. In mindestens einer Ausführungsform können die Rechendienste 6016 durch Anwendungen ausgenutzt werden, um Superrechnen oder andere Tasks des Hochleistungsrechnens (HPC) durchzuführen. In mindestens einer Ausführungsform können die Rechendienst(e) 6016 ausgenutzt werden, um Parallelverarbeitung (z. B. unter Verwendung einer Parallelrechenplattform 6030) zum Verarbeiten von Daten durch eine oder mehrere Anwendungen und/oder einen oder mehrere Tasks einer einzelnen Anwendung im Wesentlichen simultan durchzuführen. In mindestens einer Ausführungsform kann die Parallelrechenplattform 6030 (z. B. CUDA von NVIDIA) Universaldatenverarbeitung auf GPUs (GPGPU) ermöglichen (z. B. GPUs 6022). In mindestens einer Ausführungsform kann eine Software-Schicht der Parallelrechenplattform 6030 Zugriff auf virtuelle Anweisungssätze und Parallelberechnungselemente von GPUs zur Ausführung von Rechenkernels bereitstellen. In mindestens einer Ausführungsform kann die Parallelrechenplattform 6030 Speicher beinhalten und in einigen Ausführungsformen kann ein Speicher zwischen und unter mehreren Containern und/oder zwischen und unter unterschiedlichen Verarbeitungs-Tasks innerhalb eines einzelnen Containers gemeinsam genutzt werden. In mindestens einer Ausführungsform können Aufrufe für Interprozesskommunikation (inter-process communication - IPC) für mehrere Container und/oder für mehrere Prozesse innerhalb eines Containers generiert werden, um gleiche Daten aus einem gemeinsam genutzten Speichersegment der Parallelrechenplattform 6030 zu verwenden (z. B., wenn mehrere unterschiedliche Stufen einer Anwendung oder mehrere Anwendungen gleiche Informationen verarbeiten). In mindestens einer Ausführungsform können gleiche Daten an einem gleichem Speicherort für eine beliebige Anzahl von Verarbeitungs-Tasks verwendet werden (z. B. zur gleichen Zeit, zu unterschiedlichen Zeiten usw.), anstatt eine Kopie der Daten zu erstellen und die Daten an unterschiedliche Orte in dem Speicher zu verschieben (z. B. eine Lese-/Schreiboperation). In mindestens einer Ausführungsform können, da Daten verwendet werden, um neue Daten als Ergebnis der Verarbeitung zu generieren, diese Informationen über einen neuen Ort von Daten gespeichert und von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können ein Ort von Daten und ein Ort von aktualisierten oder modifizierten Daten Teil einer Definition sein, wie Nutzdaten innerhalb von Containern zu verstehen sind.

In mindestens einer Ausführungsform können die KI-Dienste 6018 ausgenutzt werden, um Inferenzdienste zum Ausführen von Modell(en) des maschinellen Lernens durchzuführen, die mit Anwendungen assoziiert sind (z. B. mit dem Durchführen eines oder mehrerer Verarbeitungs-Tasks einer Anwendung beauftragt). In mindestens einer Ausführungsform können die KI-Dienste 6018 das KI-System 6024 ausnutzen, um Modell(e) des maschinellen Lernens (z. B. neuronale Netze wie etwa CNNs) für Segmentierung, Rekonstruktion, Objektdetektion, Merkmalsdetektion, Klassifizierung und/oder andere Inferenzierungs-Tasks auszuführen. In mindestens einer Ausführungsform können die Anwendungen der Einsatzpipeline(s) 6010 eines oder mehrere der Ausgabemodelle 5916 aus dem Trainingssystem 5904 und/oder andere Modelle der Anwendungen verwenden, um Inferenz an Bildgebungsdaten (z. B. DICOM-Daten, RIS-Daten, CIS-Daten, REST-konformen Daten, RPC-Daten, Rohdaten usw.) durchzuführen. In mindestens einer Ausführungsform können zwei oder mehr Beispiele für das Inferenzieren unter Verwendung des Anwendungsorchestrierungssystems 6028 (z. B. eines Schedulers) verfügbar sein. In mindestens einer Ausführungsform kann eine erste Kategorie einen Pfad mit hoher Priorität/geringer Latenz beinhalten, der höhere Service Level Agreements erreichen kann, wie etwa zum Durchführen von Inferenz an dringenden Anforderungen während eines Notfalls oder für einen Radiologen während der Diagnose. In mindestens einer Ausführungsform kann eine zweite Kategorie einen Pfad mit Standardpriorität beinhalten, der für Anforderungen verwendet werden kann, die nicht dringend sind oder bei denen die Analyse zu einem späteren Zeitpunkt durchgeführt werden kann. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 6028 Ressourcen (z. B. Dienste 5920 und/oder Hardware 5922) auf Grundlage von Prioritätspfaden für unterschiedliche Inferenzierungs-Tasks der KI-Dienste 6018 verteilen.

In mindestens einer Ausführungsform kann der gemeinsam genutzte Datenspeicher mit den KI-Diensten 6018 innerhalb des Systems 6000 verbunden sein. In mindestens einer Ausführungsform kann der gemeinsam genutzte Datenspeicher als Cache (oder anderer Speichervorrichtungstyp) arbeiten und zum Verarbeiten von Inferenzanforderungen von Anwendungen verwendet werden. In mindestens einer Ausführungsform kann, wenn eine Inferenzanforderung abgesendet wird, eine Anforderung durch einen Satz von API-Instanzen des Einsatzsystems 5906 empfangen werden und eine oder mehrere Instanzen können ausgewählt werden (z. B. für beste Anpassung, für Lastverteilung usw.), um eine Anforderung zu verarbeiten. In mindestens einer Ausführungsform kann zum Verarbeiten einer Anforderung eine Anforderung in eine Datenbank eingegeben werden, ein Modell des maschinellen Lernens kann aus der Modellregistrierungsdatenbank 5924 lokalisiert werden, falls es sich nicht bereits in einem Cache befindet, ein Validierungsschritt kann sicherstellen, dass ein zweckmäßiges Modell des maschinellen Lernens in einen Cache (z. B. einen gemeinsam genutzten Datenspeicher) geladen wird, und/oder eine Kopie eines Modells kann in einem Cache gesichert werden. In mindestens einer Ausführungsform kann ein Scheduler (z. B. des Pipelineverwalters 6012) verwendet werden, um eine Anwendung zu starten, auf die in einer Anforderung verwiesen wird, falls eine Anwendung nicht bereits läuft oder falls nicht genügend Instanzen einer Anwendung vorhanden sind. In mindestens einer Ausführungsform kann ein Inferenzserver gestartet werden, falls ein Inferenzserver zum Ausführen eines Modells nicht bereits gestartet ist. In mindestens einer Ausführungsform kann pro Modell eine beliebige Anzahl von Inferenzservern gestartet werden. In mindestens einer Ausführungsform können in einem Pull-Modell, in dem Inferenzserver geclustert sind, Modelle zwischengespeichert werden, wann immer eine Lastverteilung vorteilhaft ist. In mindestens einer Ausführungsform können Inferenzserver statisch in entsprechende, verteilte Server geladen werden.

In mindestens einer Ausführungsform kann das Inferenzieren unter Verwendung eines Inferenzservers durchgeführt werden, der in einem Container läuft. In mindestens einer Ausführungsform kann eine Instanz eines Inferenzservers mit einem Modell (und optional einer Vielzahl von Versionen eines Modells) assoziiert sein. In mindestens einer Ausführungsform kann, falls eine Instanz eines Inferenzservers nicht existiert, wenn eine Anforderung zum Durchführen einer Inferenz an einem Modell empfangen wird, eine neue Instanz geladen werden. In mindestens einer Ausführungsform kann beim Starten eines Inferenzservers ein Modell an einen Inferenzserver übergeben werden, sodass der gleiche Container zum Bedienen unterschiedlicher Modelle verwendet werden kann, solange der Inferenzserver als andere Instanz läuft.

In mindestens einer Ausführungsform kann während der Anwendungsausführung eine Inferenzanforderung für eine gegebene Anwendung empfangen werden und ein Container (der z. B. eine Instanz eines Inferenzservers hostet) geladen werden (falls nicht bereits geschehen) und eine Startprozedur aufgerufen werden. In mindestens einer Ausführungsform kann Vorverarbeitungslogik in einem Container eingehende Daten laden, decodieren und/oder beliebige zusätzliche Vorverarbeitung an diesen durchführen (z. B. unter Verwendung von CPU(s) und/oder GPU(s)). In mindestens einer Ausführungsform kann ein Container, sobald die Daten für die Inferenz vorbereitet sind, eine Inferenz nach Bedarf an den Daten durchführen. In mindestens einer Ausführungsform kann dies einen einzelnen Inferenzaufruf an einem Bild (z. B. einem Handröntgenbild) beinhalten oder Inferenz an Hunderten von Bildern (z. B. einem Brust-CT) erfordern. In mindestens einer Ausführungsform kann eine Anwendung Ergebnisse vor dem Abschluss zusammenfassen, was ohne Einschränkung eine einzelne Konfidenzbewertung, eine Segmentierung auf Pixellevel, eine Segmentierung auf Voxellevel, das Generieren einer Visualisierung oder das Generieren von Text zum Zusammenfassen von Befunden beinhalten kann. In mindestens einer Ausführungsform können unterschiedlichen Modellen oder Anwendungen unterschiedliche Prioritäten zugeordnet werden. Zum Beispiel können einige Modelle eine Echtzeitpriorität (TAT weniger als eine Minute) aufweisen, während andere eine niedrigere Priorität aufweisen können (z. B. TAT weniger als 10 Minuten). In mindestens einer Ausführungsform können die Modellausführungszeiten von der anfordernden Institution oder Entität gemessen werden und die Zeit für die Traversierung des Partnernetzes sowie die Ausführung auf einem Inferenzdienst beinhalten.

In mindestens einer Ausführungsform kann die Übermittlung von Anforderungen zwischen den Diensten 5920 und den Inferenzanwendungen hinter einem Software-Entwicklungskit (SDK) verborgen sein und der robuste Transport durch eine Warteschlange bereitgestellt sein. In mindestens einer Ausführungsform wird eine Anforderung über eine API für eine einzelne Anwendungs-/Tenant-ID-Kombination in einer Warteschlange platziert und ein SDK entnimmt eine Anforderung aus einer Warteschlange und gibt eine Anforderung einer Anwendung. In mindestens einer Ausführungsform kann ein Name einer Warteschlange in einer Umgebung bereitgestellt sein, aus der ein SDK diesen aufnimmt. In mindestens einer Ausführungsform kann die asynchrone Kommunikation durch eine Warteschlange nützlich sein, da sie es einer beliebigen Instanz einer Anwendung ermöglichen kann, die Arbeit aufzunehmen, sobald sie verfügbar wird. In mindestens einer Ausführungsform können die Ergebnisse durch eine Warteschlange zurück übermittelt werden, um sicherzustellen, dass keine Daten verloren gehen. In mindestens einer Ausführungsform können Warteschlangen auch eine Fähigkeit bereitstellen, Arbeit zu segmentieren, da Arbeit mit höchster Priorität an eine Warteschlange gehen kann, mit der die meisten Instanzen einer Anwendung verbunden sind, während Arbeit mit niedrigster Priorität an eine Warteschlange gehen kann, mit der nur eine einzelne Instanz verbunden ist, die Tasks in einer Reihenfolge verarbeitet, in der sie empfangen werden. In mindestens einer Ausführungsform kann eine Anwendung auf einer GPU-beschleunigten Instanz laufen, die in der Cloud 6026 generiert wurde, und ein Inferenzdienst kann das Inferenzieren auf einer GPU durchführen.

In mindestens einer Ausführungsform können die Visualisierungsdienste 6020 ausgenutzt werden, um Visualisierungen zur Ansicht von Ausgaben von Anwendungen und/oder Einsatzpipeline(s) 6010 zu generieren. In mindestens einer Ausführungsform können die GPUs 6022 durch die Visualisierungsdienste 6020 ausgenutzt werden, um Visualisierungen zu generieren. In mindestens einer Ausführungsform können Rendering-Effekte, wie etwa Strahlverfolgung, durch die Visualisierungsdienste 6020 implementiert werden, um Visualisierungen mit höherer Qualität zu generieren. In mindestens einer Ausführungsform können Visualisierungen ohne Einschränkung 2D-Bild-Renderings, 3D-Volumen-Renderings, 3D-Volumenrekonstruktionen, 2D-Tomografiescheiben, Virtual-Reality-Anzeigen, Augmented-Reality-Anzeigen usw. beinhalten. In mindestens einer Ausführungsform können virtualisierte Umgebungen verwendet werden, um eine virtuelle interaktive Anzeige oder Umgebung (z. B. eine virtuelle Umgebung) für die Interaktion durch Benutzer eines Systems (z. B. Ärzte, Pfleger, Radiologen usw.) zu generieren. In mindestens einer Ausführungsform können die Visualisierungsdienste 6020 einen internen Visualizer, Kinematik und/oder andere Rendering- oder Bildverarbeitungsfähigkeiten oder -funktionen (z. B. Strahlverfolgung, Rasterung, interne Optik usw.) beinhalten.

In mindestens einer Ausführungsform kann die Hardware 5922 GPUs 6022, das Kl-System 6024, die Cloud 6026 und/oder beliebige andere Hardware beinhalten, die zum Ausführen des Trainingssystems 5904 und/oder des Einsatzsystems 5906 verwendet wird. In mindestens einer Ausführungsform können die GPUs 6022 (z. B. TESLA- und/oder QUADRO-GPUs von NVIDIA) eine beliebige Anzahl von GPUs beinhalten, die zum Ausführen von Verarbeitungs-Tasks von Rechendiensten 6016, KI-Diensten 6018, Visualisierungsdiensten 6020, anderen Diensten und/oder beliebigen von Merkmalen oder Funktionen der Software 5918 verwendet werden können. In Bezug auf die KI-Dienste 6018 können die GPUs 6022 zum Beispiel zum Durchführen von Vorverarbeitung an Bildgebungsdaten (oder anderen Datentypen, die durch Modelle des maschinellen Lernens verwendet werden), Nachverarbeitung an Ausgaben der Modelle des maschinellen Lernens und/oder zum Durchführen von Inferenzieren (z. B. zum Ausführen von Modellen des maschinellen Lernens) verwendet werden. In mindestens einer Ausführungsform können die Cloud 6026, das KI-System 6024 und/oder andere Komponenten des Systems 6000 die GPUs 6022 verwenden. In mindestens einer Ausführungsform kann die Cloud 6026 eine GPU-optimierte Plattform für Deep-Learning-Tasks beinhalten. In mindestens einer Ausführungsform kann das KI-System 6024 GPUs verwenden und die Cloud 6026 - oder mindestens ein Abschnitt, der mit Deep Learning oder Inferenzieren beauftragt ist - kann unter Verwendung eines oder mehrerer KI-Systeme 6024 ausgeführt werden. Obwohl es sich bei der Hardware 5922 der Veranschaulichung nach um diskrete Komponenten handelt, soll dies demnach nicht einschränkend sein und beliebige Komponenten der Hardware 5922 können mit beliebigen anderen Komponenten der Hardware 5922 kombiniert oder durch diese ausgenutzt werden.

In mindestens einer Ausführungsform kann das KI-System 6024 ein speziell entwickeltes Rechensystem (z. B. einen Supercomputer oder einen HPC) beinhalten, das für Inferenzieren, Deep Learning, maschinelles Lernen und/oder andere Tasks der künstlichen Intelligenz konfiguriert ist. In mindestens einer Ausführungsform kann das KI-System 6024 (z. B. DGX von NVIDIA) GPU-optimierte Software (z. B. einen Software-Stapel) beinhalten, die unter Verwendung einer Vielzahl von GPUs 6022 zusätzlich zu CPUs, RAM, Datenspeicher und/oder anderen Komponenten, Merkmalen oder Funktionen ausgeführt werden kann. In mindestens einer Ausführungsform können ein oder mehrere KI-Systeme 6024 in der Cloud 6026 (z. B. in einem Rechenzentrum) implementiert sein, um einige oder alle der KI-basierten Verarbeitungs-Tasks des Systems 6000 durchzuführen.

In mindestens einer Ausführungsform kann die Cloud 6026 eine GPU-beschleunigte Infrastruktur (z. B. NGC von NVIDIA) beinhalten, die eine GPU-optimierte Plattform zum Ausführen von Verarbeitungs-Tasks des Systems 6000 bereitstellen kann. In mindestens einer Ausführungsform kann die Cloud 6026 ein KI-System(e) 6024 zum Durchführen eines oder mehrerer KI-basierter Tasks des Systems 6000 beinhalten (z. B. als Hardware-Abstraktions- und -Skalierungsplattform). In mindestens einer Ausführungsform kann die Cloud 6026 in das Anwendungsorchestrierungssystem 6028 integriert sein, das mehrere GPUs ausnutzt, um eine nahtlose Skalierung und Lastverteilung zwischen und unter den Anwendungen und Diensten 5920 zu ermöglichen. In mindestens einer Ausführungsform kann die Cloud 6026 damit beauftragt sein, mindestens einige der Dienste 5920 des Systems 6000 auszuführen, einschließlich der Rechendienste 6016, der KI-Dienste 6018 und/oder der Visualisierungsdienste 6020, wie hierin beschrieben. In mindestens einer Ausführungsform kann die Cloud 6026 Inferenz mit kleinen und großen Batches durchführen (z. B. unter Ausführung von TENSOR RT von NVIDIA), eine beschleunigte Parallelrechen-API und - Plattform 6030 bereitstellen (z. B. CUDA von NVIDIA), ein Anwendungsorchestrierungssystem 6028 ausführen (z. B. KUBERNETES), eine Grafik-Rendering-API und -Plattform bereitstellen (z. B. für Strahlverfolgung, 2D-Grafik, 3D-Grafik und/oder andere Rendering-Techniken, um Kinematik mit höherer Qualität zu erzeugen) und/oder sie kann andere Funktionen für das System 6000 bereitstellen.

In mindestens einer Ausführungsform kann die Cloud 6026 in dem Bestreben, die Vertraulichkeit von Patientendaten zu wahren (z. B., wenn Patientendaten oder -akten außerhalb der Räumlichkeiten verwendet werden sollen), eine Registrierungsdatenbank beinhalten - wie etwa eine Deep-Learning-Containerregistrierungsdatenbank. In mindestens einer Ausführungsform kann eine Registrierungsdatenbank Container für Instanziierungen von Anwendungen speichern, die Vorverarbeitungs-, Nachverarbeitungs- oder andere Verarbeitungs-Tasks an Patientendaten durchführen können. In mindestens einer Ausführungsform kann die Cloud 6026 Daten empfangen, die Patientendaten sowie Sensordaten in Containern beinhalten, die angeforderte Verarbeitung nur für die Sensordaten in diesen Containern durchführen und dann eine resultierende Ausgabe und/oder Visualisierungen an zweckmäßige Parteien und/oder Vorrichtungen weiterleiten (z. B. medizinische Vorrichtungen in den Räumlichkeiten, die zur Visualisierung oder Diagnose verwendet werden), ohne dass Patientendaten extrahiert oder gespeichert müssen oder anderweitig darauf zugegriffen werden muss. In mindestens einer Ausführungsform wird die Vertraulichkeit der Patientendaten in Übereinstimmung mit HIPAA- und/oder anderen Datenvorschriften gewahrt.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 60 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet das Trainingssystem 6004 und/oder das Einsatzsystem 6006 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert das Trainingssystem 6004 und/oder das Einsatzsystem 6006 mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform trainiert das Trainingssystem 6004 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1), das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform führt das Einsatzsystem 6006 mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, die zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben. In mindestens einer Ausführungsform beinhaltet mindestens eine Komponente der Hardware 6022 mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116) und/oder implementiert mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 beschrieben wurde.

61 beinhaltet eine beispielhafte Veranschaulichung einer Einsatzpipeline 6010A zum Verarbeiten von Bildgebungsdaten gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 6000 - und insbesondere das Einsatzsystem 5906 -verwendet werden, um die Einsatzpipeline(s) 6010A individuell anzupassen, zu aktualisieren und/oder in eine oder mehrere Produktionsumgebungen zu integrieren. In mindestens einer Ausführungsform beinhaltet die Einsatzpipeline 6010A aus 61 ein nicht einschränkendes Beispiel für eine Einsatzpipeline 6010A, die durch einen konkreten Benutzer (oder ein Team von Benutzern) in einer Einrichtung (z. B. in einem Krankenhaus, einer Klinik, einem Labor, einer Forschungsumgebung usw.) individuell definiert sein kann. In mindestens einer Ausführungsform kann ein Benutzer zum Definieren von Einsatzpipelines 6010A für einen CT-Scanner 6102 - zum Beispiel aus einer Containerregistrierungsdatenbank - eine oder mehrere Anwendungen auswählen, die spezifische Funktionen oder Tasks in Bezug auf die durch den CT-Scanner 6102 generierten Bildgebungsdaten durchführen. In mindestens einer Ausführungsform können Anwendungen auf die Einsatzpipeline 6010A als Container angewendet werden, die die Dienste 5920 und/oder Hardware 5922 des Systems 6000 ausnutzen können. Darüber hinaus kann die Einsatzpipeline 6010A zusätzliche Verarbeitungs-Tasks oder Anwendungen beinhalten, die implementiert werden können, um Daten für die Verwendung durch Anwendungen vorzubereiten (z. B. können der DICOM-Adapter 6002B und ein DICOM-Lesegerät 6106 in der Einsatzpipeline 6010A verwendet werden, um Daten für die Verwendung durch eine CT-Rekonstruktion 6108, eine Organsegmentierung 6110 usw. vorzubereiten). In mindestens einer Ausführungsform kann die Einsatzpipeline 6010A für einen konsistenten Einsatz, eine einmalige Verwendung oder für eine andere Häufigkeit oder ein anderes Intervall individuell angepasst oder ausgewählt werden. In mindestens einer Ausführungsform kann ein Benutzer die CT-Rekonstruktion 6108 und die Organsegmentierung 6110 für mehrere Probanden über ein spezifisches Intervall wünschen und daher die Pipeline 6010A für diesen Zeitraum einsetzen. In mindestens einer Ausführungsform kann ein Benutzer für jede Anforderung von dem System 6000 die Anwendungen auswählen, die ein Benutzer möchte, um Verarbeitung an diesen Daten für diese Anforderung durchzuführen. In mindestens einer Ausführungsform kann die Einsatzpipeline 6010A in einem beliebigen Intervall eingestellt werden und aufgrund der Anpassungsfähigkeit und Skalierbarkeit einer Container-Struktur innerhalb des Systems 6000 kann dies ein nahtloser Prozess sein.

In mindestens einer Ausführungsform kann die Einsatzpipeline 6010A aus 61 einen CT-Scanner 6102 zum Generieren von Bildgebungsdaten eines Patienten oder Probanden beinhalten. In mindestens einer Ausführungsform können die Bildgebungsdaten von dem CT-Scanner 6102 auf einem PACS-Server(n) 6104 gespeichert werden, die mit einer Einrichtung assoziiert sind, in der sich der CT-Scanner 6102 befindet. In mindestens einer Ausführungsform kann der/können die PACS-Server 6104 Software- und/oder Hardware-Komponenten beinhalten, die mit den Bildgebungsmodalitäten (z. B. dem CT-Scanner 6102) in einer Einrichtung eine direkte Schnittstelle bilden können. In mindestens einer Ausführungsform kann der DICOM-Adapter 6002B das Senden und Empfangen von DICOM-Objekten unter Verwendung von DICOM-Protokollen ermöglichen. In mindestens einer Ausführungsform kann der DICOM-Adapter 6002B bei der Vorbereitung oder Konfiguration von DICOM-Daten von PACS-Server(n) 6104 für die Verwendung durch die Einsatzpipeline 6010A helfen. In mindestens einer Ausführungsform kann der Pipeline-Manager 6012 Daten an die Einsatzpipeline 6010A durchrouten, sobald DICOM-Daten durch den DICOM-Adapter 6002B verarbeitet sind. In mindestens einer Ausführungsform kann das DICOM-Lesegerät 6106 Bilddateien und etwaige damit assoziierte Metadaten aus DICOM-Daten extrahieren (z. B. Sinogramm-Rohdaten, wie in der Visualisierung 6116A veranschaulicht). In mindestens einer Ausführungsform können Arbeitsdateien, die extrahiert werden, in einem Cache gespeichert werden, um eine schnellere Verarbeitung durch andere Anwendungen in der Einsatzpipeline 6010A zu ermöglichen. In mindestens einer Ausführungsform kann, sobald das DICOM-Lesegerät 6106 das Extrahieren und/oder Speichern von Daten beendet hat, ein Abschlusssignal an den Pipelineverwalter 6012 kommuniziert werden. In mindestens einer Ausführungsform kann der Pipelineverwalter 6012 dann eine oder mehrere andere Anwendungen oder Container in der Einsatzpipeline 6010A initiieren oder aufrufen.

In mindestens einer Ausführungsform kann die Anwendung und/oder der Container für die CT-Rekonstruktion 6108 ausgeführt werden, sobald Daten (z. B. Sinogramm-Rohdaten) für die Verarbeitung durch die Anwendung für die CT-Rekonstruktion 6108 verfügbar sind. In mindestens einer Ausführungsform kann die CT-Rekonstruktion 6108 Sinogramm-Rohdaten aus einem Cache lesen, eine Bilddatei aus den Sinogramm-Rohdaten rekonstruieren (wie z. B. in der Visualisierung 6116B veranschaulicht) und die resultierende Bilddatei in einem Cache speichern. In mindestens einer Ausführungsform kann bei Abschluss der Rekonstruktion dem Pipelineverwalter 6012 signalisiert werden, dass der Rekonstruktions-Task abgeschlossen ist. In mindestens einer Ausführungsform kann, sobald die Rekonstruktion abgeschlossen ist und eine rekonstruierte Bilddatei in einem Cache (oder einer anderen Speichervorrichtung) gespeichert werden kann, die Anwendung und/oder der Container für die Organsegmentierung 6110 durch den Pipelineverwalter 6012 ausgelöst werden. In mindestens einer Ausführungsform kann die Anwendung und/oder der Container für die Organsegmentierung 6110 eine Bilddatei aus einem Cache lesen, eine Bilddatei normalisieren oder in ein für die Inferenz geeignetes Format konvertieren (z. B. eine Bilddatei in eine Eingabeauflösung eines Modells des maschinellen Lernens konvertieren) und die Inferenz gegen ein normalisiertes Bild ausführen. Um Inferenz an einem normalisierten Bild auszuführen, kann sich die Anwendung und/oder der Container für die Organsegmentierung 6110 in mindestens einer Ausführungsform auf die Dienste 5920 stützen und der Pipelineverwalter 6012 und/oder das Anwendungsorchestrierungssystem 6028 können die Verwendung der Dienste 5920 durch die Anwendung und/oder den Container für die Organsegmentierung 6110 erleichtern. Zum Beispiel kann in mindestens einer Ausführungsform die Anwendung und/oder der Container für die Organsegmentierung 6110 die Kl-Dienste 6018 ausnutzen, um Inferenz an einem normalisierten Bild durchzuführen, und die KI-Dienste 6018 können die Hardware 5922 (z. B. das KI-System 6024) ausnutzen, um die KI-Dienste 6018 auszuführen. In mindestens einer Ausführungsform kann ein Ergebnis einer Inferenz eine Maskendatei sein (wie z. B. in der Visualisierung 6116C veranschaulicht), die in einem Cache (oder einer anderen Speichervorrichtung) gespeichert werden kann.

In mindestens einer Ausführungsform kann, sobald Anwendungen, die DICOM-Daten und/oder aus DICOM-Daten extrahierte Daten verarbeiten, die Verarbeitung abgeschlossen haben, ein Signal für den Pipelineverwalter 6012 generiert werden. In mindestens einer Ausführungsform kann der Pipelineverwalter 6012 dann ein DICOM-Schreibgerät 6112 ausführen, um Ergebnisse aus einem Cache (oder einer anderen Speichervorrichtung) zu lesen und Ergebnisse in ein DICOM-Format (z. B. als DICOM-Ausgabe 6114) zur Verwendung durch Benutzer in einer Einrichtung, die eine Anforderung generierten, zu verpacken. In mindestens einer Ausführungsform kann die DICOM-Ausgabe 6114 dann an den DICOM-Adapter 6002B übertragen werden, um die DICOM-Ausgabe 6114 für die Speicherung auf den PACS-Server(n) 6104 vorzubereiten (z. B. zum Ansehen durch ein DICOM-Betrachtungsgerät in einer Einrichtung). In mindestens einer Ausführungsform können als Reaktion auf eine Anforderung zur Rekonstruktion und Segmentierung Visualisierungen 6116B und 6116C generiert werden und einem Benutzer für Diagnose-, Forschungs- und/oder andere Zwecke zur Verfügung gestellt werden.

Obwohl als konsekutive Anwendung in der Einsatzpipeline 6010A veranschaulicht, können die Anwendungen für die CT-Rekonstruktion 6108 und die Organsegmentierung 6110 in mindestens einer Ausführungsform parallel verarbeitet werden. In mindestens einer Ausführungsform, in der die Anwendungen keine Abhängigkeiten voneinander aufweisen und Daten für jede Anwendung verfügbar sind (z. B., nachdem das DICOM-Lesegerät 6106 Daten extrahiert hat), können Anwendungen gleichzeitig, im Wesentlichen gleichzeitig oder mit einer gewissen Überlappung ausgeführt werden. In mindestens einer Ausführungsform, in der zwei oder mehr Anwendungen ähnliche Dienste 5920 erfordern, kann ein Scheduler des Systems 6000 zur Lastverteilung und zum Verteilen von Rechen- oder Verarbeitungsressourcen zwischen und unter verschiedenen Anwendungen verwendet werden. In mindestens einer Ausführungsform kann die Parallelrechenplattform 6030 zum Durchführen von Parallelverarbeitung für Anwendungen verwendet werden, um die Laufzeit der Einsatzpipeline 6010A zu verkürzen, um Ergebnisse in Echtzeit bereitzustellen.

In mindestens einer Ausführungsform und unter Bezugnahme auf 62A-62B kann das Einsatzsystem 5906 als ein oder mehrere virtuelle Instrumente implementiert werden, um unterschiedliche Funktionalitäten - wie etwa Bildverarbeitung, Segmentierung, Verbesserung, Kl, Visualisierung und Inferenzieren - mit Bildgebungsvorrichtungen (z. B. CT-Scannern, Röntgenmaschinen, MRT-Maschinen usw.), Sequenzierungsvorrichtungen, Genomikvorrichtungen und/oder anderen Vorrichtungstypen durchzuführen. In mindestens einer Ausführungsform kann das System 6000 die Erstellung und Bereitstellung von virtuellen Instrumenten ermöglichen, die eine softwaredefinierte Einsatzpipeline 6010 beinhalten können, die durch eine Vorrichtung(en) generierte rohe/unverarbeitete Eingabedaten empfangen und verarbeitete/rekonstruierte Daten ausgeben kann. In mindestens einer Ausführungsform können Einsatzpipelines 6010 (z. B. 6010A und 6010B), die virtuelle Instrumente darstellen, Intelligenz in einer Pipeline implementieren, wie etwa durch Ausnutzen von Modellen des maschinellen Lernens, um einem System containerisierte Inferenzunterstützung bereitzustellen. In mindestens einer Ausführungsform können virtuelle Instrumente eine beliebige Anzahl von Containern ausführen, die jeweils Instanziierungen von Anwendungen beinhalten. In mindestens einer Ausführungsform, wie etwa, wenn Echtzeitverarbeitung gewünscht ist, können Einsatzpipelines 6010, die virtuelle Instrumente darstellen, statisch sein (z. B. können Container und/oder Anwendungen festgelegt sein), während in anderen Beispielen Container und/oder Anwendungen für virtuelle Instrumente aus einem Pool von Anwendungen oder Ressourcen (z. B. innerhalb einer Containerregistrierungsdatenbank k) ausgewählt werden können (z. B. pro Anforderung).

In mindestens einer Ausführungsform kann das System 6000 als ein oder mehrere virtuelle Instrumente in den Räumlichkeiten in einer Einrichtung instanziiert oder ausgeführt werden, zum Beispiel in einem Rechensystem, das neben einer Radiologiemaschine, einer Bildgebungsvorrichtung und/oder einem anderen Vorrichtungstyp in einer Einrichtung eingesetzt wird oder anderweitig in Kommunikation damit steht. In mindestens einer Ausführungsform kann jedoch eine Installation in den Räumlichkeiten innerhalb eines Rechensystems einer Vorrichtung selbst (z. B. eines Rechensystems, das einstückig zu einer Bildgebungsvorrichtung ist), in einem lokalen Rechenzentrum (z. B. einem Rechenzentrum in den Räumlichkeiten) und/oder in einer Cloud-Umgebung (z. B. in der Cloud 6026) instanziiert oder ausgeführt werden. In mindestens einer Ausführungsform kann das Einsatzsystem 5906, das als virtuelles Instrument arbeitet, in einigen Beispielen durch einen Supercomputer oder ein anderes HPC-System instanziiert werden. In mindestens einer Ausführungsform kann die Installation in den Räumlichkeiten Verwendungen mit hoher Bandbreite (zum Beispiel über lokale Kommunikationsschnittstellen mit höherem Durchsatz, wie etwa HF über Ethernet) für die Echtzeitverarbeitung ermöglichen. In mindestens einer Ausführungsform kann Verarbeitung in Echtzeit oder nahezu in Echtzeit besonders nützlich sein, wenn ein virtuelles Instrument eine Ultraschallvorrichtung oder eine andere Bildgebungsmodalität unterstützt, bei der sofortige Visualisierungen erwartet oder für genaue Diagnosen und Analysen erforderlich sind. In mindestens einer Ausführungsform kann eine Cloud-Computing-Architektur zu dynamischem Bursting zu einem Cloud-Computing-Dienstleister oder einem anderen Rechencluster in der Lage sein, wenn die lokale Nachfrage die Kapazität oder Fähigkeit vor Ort übersteigt. In mindestens einer Ausführungsform kann eine Cloud-Architektur, wenn sie implementiert ist, für das Training neuronaler Netze oder anderer Modelle des maschinellen Lernens abgestimmt werden, wie hierin in Bezug auf das Trainingssystem 5904 beschrieben. In mindestens einer Ausführungsform können Modelle des maschinellen Lernens mit vorhandenen Trainingspipelines kontinuierlich lernen und sich verbessern, wenn sie zusätzliche Daten von Vorrichtungen verarbeiten, die sie unterstützen. In mindestens einer Ausführungsform können virtuelle Instrumente unter Verwendung von zusätzlichen Daten, neuen Daten, existierenden Modellen des maschinellen Lernens und/oder aktualisierten Modellen des maschinellen Lernens kontinuierlich verbessert werden.

In mindestens einer Ausführungsform kann ein Rechensystem einen Teil der oder die gesamte hierin beschriebene Hardware 5922 beinhalten und die Hardware 5922 kann auf beliebige einer Reihe von Weisen verteilt sein, einschließlich innerhalb einer Vorrichtung, als Teil einer Rechenvorrichtung, die an eine Vorrichtung gekoppelt ist und sich in deren Nähe befindet, in einem lokalen Rechenzentrum in einer Einrichtung und/oder in der Cloud 6026. Da das Einsatzsystem 5906 und die damit assoziierten Anwendungen oder Container in Software erstellt werden (z. B. als diskrete containerisierte Instanziierungen von Anwendungen), können in mindestens einer Ausführungsform das Verhalten, der Betrieb und die Konfiguration von virtuellen Instrumenten sowie die durch virtuelle Instrumente generierten Ausgaben nach Wunsch modifiziert oder individuell angepasst werden, ohne dass die Rohausgabe einer Vorrichtung, die ein virtuelles Instrument unterstützt, geändert oder verändert werden muss.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 61 gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet mindestens eine Komponente, die in Bezug auf 61 gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert mindestens eine Komponente, die in Bezug auf 61 gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform führt mindestens eine Komponente, die in Bezug auf 61 gezeigt oder beschrieben ist, mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

62A beinhaltet ein beispielhaftes Datenablaufdiagramm eines virtuellen Instruments, das eine Ultraschallvorrichtung unterstützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Einsatzpipeline 6010B einen oder mehrere der Dienste 5920 des Systems 6000 ausnutzen. In mindestens einer Ausführungsform können die Einsatzpipeline 6010B und die Dienste 5920 die Hardware 5922 eines Systems entweder lokal oder in der Cloud 6026 ausnutzen. In mindestens einer Ausführungsform, obwohl nicht veranschaulicht, kann der Prozess 6200 durch den Pipelineverwalter 6012, das Anwendungsorchestrierungssystem 6028 und/oder die Parallelrechenplattform 6030 erleichtert werden.

In mindestens einer Ausführungsform kann der Prozess 6200 den Empfang von Bildgebungsdaten von einer Ultraschallvorrichtung 6202 beinhalten. In mindestens einer Ausführungsform können die Bildgebungsdaten auf den PACS-Server(n) in einem DICOM-Format (oder einem anderen Format, wie etwa RIS, CIS, REST-konform, RPC, Rohdaten usw.) gespeichert sein und durch das System 6000 zur Verarbeitung durch die Einsatzpipeline 6010 empfangen werden, die als virtuelles Instrument (z. B. ein virtueller Ultraschall) für die Ultraschallvorrichtung 6202 ausgewählt oder individuell angepasst wurde. In mindestens einer Ausführungsform können die Bildgebungsdaten direkt von einer Bildgebungsvorrichtung (z. B. Ultraschallvorrichtung 6202) empfangen und durch ein virtuelles Instrument verarbeitet werden. In mindestens einer Ausführungsform kann ein Wandler oder ein anderer Signalkonverter, der kommunikativ zwischen einer Bildgebungsvorrichtung und einem virtuellen Instrument gekoppelt ist, die durch eine Bildgebungsvorrichtung generierten Signaldaten in Bilddaten umwandeln, die durch ein virtuelles Instrument verarbeitet werden können. In mindestens einer Ausführungsform können Rohdaten und/oder Bilddaten auf das DICOM-Lesegerät 6106 angewendet werden, um Daten zur Verwendung durch Anwendungen oder Container der Einsatzpipeline 6010B zu extrahieren. In mindestens einer Ausführungsform kann das DICOM-Lesegerät 6106 die Datenerweiterungsbibliothek 6214 (z. B. DALI von NVIDIA) als Dienst 5920 (z. B. als einen der Rechendienste(s) 6016) nutzen, um Daten zu extrahieren, deren Größe zu ändern, sie neu zu skalieren und/oder anderweitig für die Verwendung durch Anwendungen oder Container vorzubereiten.

In mindestens einer Ausführungsform kann, sobald die Daten vorbereitet sind, eine Anwendung und/oder ein Container für die Rekonstruktion 6206 ausgeführt werden, um die Daten von der Ultraschallvorrichtung 6202 in eine Bilddatei zu rekonstruieren. In mindestens einer Ausführungsform kann nach der Rekonstruktion 6206 oder gleichzeitig mit der Rekonstruktion 6206 eine Anwendung und/oder ein Container für die Detektion 6208 zur Anomaliedetektion, zur Objektdetektion, zur Merkmalsdetektion und/oder zu anderen Detektions-Tasks in Bezug auf die Daten ausgeführt werden. In mindestens einer Ausführungsform kann eine während der Rekonstruktion 6206 generierte Bilddatei während der Detektion 6208 verwendet werden, um Anomalien, Objekte, Merkmale usw. zu identifizieren. In mindestens einer Ausführungsform kann die Anwendung für die Detektion 6208 eine Inferenz-Engine 6216 (z. B. als einen der KI-Dienste(s) 6018) ausnutzen, um Inferenz an Daten durchzuführen, um Detektionen zu generieren. In mindestens einer Ausführungsform können ein oder mehrere Modelle des maschinellen Lernens (z. B. aus dem Trainingssystem 5904) durch die Anwendung für die Detektion 6208 ausgeführt oder aufgerufen werden.

In mindestens einer Ausführungsform können, sobald die Rekonstruktion 6206 und/oder Detektion 6208 abgeschlossen ist/sind, die aus diesen Anwendungen und/oder Containern ausgegebenen Daten verwendet werden, um Visualisierungen 6210 zu generieren, wie etwa die Visualisierung 6212 (z. B. eine Graustufenausgabe), die auf einer Arbeitsstation oder einem Anzeigeendgerät angezeigt wird. In mindestens einer Ausführungsform kann die Visualisierung es einem Techniker oder einem anderen Benutzer ermöglichen, die Ergebnisse der Einsatzpipeline 6010B in Bezug auf die Ultraschallvorrichtung 6202 zu visualisieren. In mindestens einer Ausführungsform kann die Visualisierung 6210 durch Ausnutzen einer Rendering-Komponente 6218 des Systems 6000 (z. B. eines der Visualisierungsdienste(s) 6020) ausgeführt werden. In mindestens einer Ausführungsform kann die Rendering-Komponente 6218 einen 2D-, OpenGL- oder Strahlverfolgungsdienst ausführen, um die Visualisierung 6212 zu generieren.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 62A gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet mindestens eine Komponente, die in Bezug auf 62A gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert mindestens eine Komponente, die in Bezug auf 62A gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform führt mindestens eine Komponente, die in Bezug auf 62A gezeigt oder beschrieben ist, mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

62B beinhaltet ein beispielhaftes Datenablaufdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Einsatzpipeline 6010C einen oder mehrere der Dienste 5920 des Systems 6000 ausnutzen. In mindestens einer Ausführungsform können die Einsatzpipeline 6010C und die Dienste 5920 die Hardware 5922 eines Systems entweder lokal oder in der Cloud 6026 ausnutzen. In mindestens einer Ausführungsform, obwohl nicht veranschaulicht, kann der Prozess 6220 durch den Pipelineverwalter 6012, das Anwendungsorchestrierungssystem 6028 und/oder die Parallelrechenplattform 6030 erleichtert werden.

In mindestens einer Ausführungsform kann der Prozess 6220 beinhalten, dass der CT-Scanner 6222 Rohdaten generiert, die durch das DICOM-Lesegerät 6106 empfangen werden können (z. B. direkt, über einen PACS-Server 6104, nach der Verarbeitung usw.). In mindestens einer Ausführungsform kann ein virtuelles CT (durch die Einsatzpipeline 6010C instanziiert) eine erste Echtzeitpipeline zum Überwachen eines Patienten (z. B. Patientenbewegungsdetektions-KI 6226) und/oder zum Einstellen oder Optimieren der Belichtung des CT-Scanners 6222 (z. B. unter Verwendung der Belichtungssteuer-Kl 6224) beinhalten. In mindestens einer Ausführungsform können eine oder mehrere der Anwendungen (z. B. 6224 und 6226) einen Dienst 5920 ausnutzen, wie etwa die KI-Dienst(e) 6018. In mindestens einer Ausführungsform können die Ausgaben der Anwendung (oder des Containers) für die Belichtungssteuer-Kl 6224 und/oder der Anwendung (oder des Containers) für die Patientenbewegungsdetektions-KI 6226 als Rückmeldung an den CT-Scanner 6222 und/oder einen Techniker verwendet werden, um die Belichtung (oder andere Einstellungen des CT-Scanners 6222) einzustellen und/oder einen Patienten zu informieren, sich weniger zu bewegen.

In mindestens einer Ausführungsform kann die Einsatzpipeline 6010C eine Nicht-Echtzeitpipeline zum Analysieren der durch den CT-Scanner 6222 generierten Daten beinhalten. In mindestens einer Ausführungsform kann eine zweite Pipeline die Anwendung und/oder den Container für die CT-Rekonstruktion 6108, eine Anwendung und/oder einen Container für eine Grobdetektions-KI 6228, eine Anwendung und/oder einen Container für eine Feindetektions-KI 6232 (wenn z. B. bestimmte Ergebnisse durch die Grobdetektions-Kl 6228 detektiert werden), eine Anwendung und/oder einen Container für eine Visualisierung 6230 und eine Anwendung und/oder einen Container für das DICOM-Schreibgerät 6112 (und/oder ein Schreibgerät für einen anderen Datentyp, wie etwa RIS, CIS, REST-konform, RPC, Rohdaten usw.) beinhalten. In mindestens einer Ausführungsform können die durch den CT-Scanner 6222 generierten Rohdaten durch Pipelines der Einsatzpipeline 6010C (als virtuelles CT-Instrument instanziiert) gegeben werden, um Ergebnisse zu generieren. In mindestens einer Ausführungsform können die Ergebnisse von dem DICOM-Schreibgerät 6112 zur Anzeige übertragen und/oder auf den PACS-Server(n) 6104 zum/zur späteren Abruf, Analyse oder Anzeige durch einen Techniker, eine Fachkraft oder einen anderen Benutzer gespeichert werden.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 62B gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet mindestens eine Komponente, die in Bezug auf 62B gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert mindestens eine Komponente, die in Bezug auf 62B gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform führt mindestens eine Komponente, die in Bezug auf 62B gezeigt oder beschrieben ist, mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

63A veranschaulicht ein Datenablaufdiagramm für einen Prozess 6300 zum Trainieren, erneuten Trainieren oder Aktualisieren eines Modells des maschinellen Lernens gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 6300 als nicht einschränkendes Beispiel unter Verwendung des Systems 6000 aus 60 ausgeführt werden. In mindestens einer Ausführungsform kann der Prozess 6300 die Dienste 5920 und/oder die Hardware 5922 des Systems 6000 ausnutzen, wie hierin beschrieben. In mindestens einer Ausführungsform können verfeinerte Modelle 6312, die durch den Prozess 6300 generiert wurden, durch das Einsatzsystem 5906 für eine oder mehrere containerisierte Anwendungen in Einsatzpipelines 6010 ausgeführt werden.

In mindestens einer Ausführungsform kann das Modelltraining 5914 das erneute Trainieren oder Aktualisieren eines anfänglichen Modells 6304 (z. B. eines vorab trainierten Modells) unter Verwendung neuer Trainingsdaten (z. B. neuer Eingabedaten, wie etwa des Kundendatensatzes 6306, und/oder neuer mit den Eingabedaten assoziierter Ground-Truth-Daten) beinhalten. In mindestens einer Ausführungsform können zum erneuten Trainieren oder Aktualisieren des anfänglichen Modells 6304 die Ausgabe- oder Verlustschicht(en) des anfänglichen Modells 6304 zurückgesetzt oder gelöscht und/oder durch aktualisierte oder neue Ausgabe- oder Verlustschicht(en) ersetzt werden. In mindestens einer Ausführungsform kann das anfängliche Modell 6304 bereits fein abgestimmte Parameter (z. B. Gewichtungen und/oder Verzerrungen) aufweisen, die aus einem früheren Training übriggeblieben sind, sodass das Training oder das erneute Training 5914 nicht so lange dauern oder so viel Verarbeitung erfordern kann wie das Training eines Modells von Grund auf. In mindestens einer Ausführungsform können während des Modelltrainings 5914 durch Zurücksetzen oder Ersetzen der Ausgabe- oder Verlustschicht(en) des anfänglichen Modells 6304 die Parameter aktualisiert und für einen neuen Datensatz auf Grundlage von Verlustberechnungen neu abgestimmt werden, die mit der Genauigkeit der Ausgabe- oder Verlustschicht(en) beim Generieren von Vorhersagen an einem neuen Kundendatensatz 6306 (z. B. Bilddaten 5908 aus 59) assoziiert sind.

In mindestens einer Ausführungsform können die vorab trainierten Modelle 6006 in einem Datenspeicher oder einer Registrierungsdatenbank (z. B. der Modellregistrierungsdatenbank 5924 aus 59) gespeichert sein. In mindestens einer Ausführungsform können die vorab trainierten Modelle 6006 zumindest teilweise in einer oder mehreren anderen Einrichtungen als der Einrichtung, die den Prozess 6300 ausführt, trainiert worden sein. In mindestens einer Ausführungsform können zum Schutz der Privatsphäre und der Rechte von Patienten, Probanden oder Klienten unterschiedlicher Einrichtungen die vorab trainierten Modelle 6006 in den Räumlichkeiten unter Verwendung von Kunden- oder Patientendaten, die in den Räumlichkeiten generiert wurden, trainiert worden sein. In mindestens einer Ausführungsform können die vorab trainierten Modelle 6006 unter Verwendung der Cloud 6026 und/oder anderer Hardware 5922 trainiert werden, aber vertrauliche, datenschutzrechtlich geschützte Patientendaten dürfen nicht an beliebige Komponenten der Cloud 6026 (oder anderer Hardware außerhalb der eigenen Räumlichkeiten) übermittelt werden, durch diese verwendet werden oder für diese zugänglich sein. In mindestens einer Ausführungsform, in der ein vorab trainiertes Modell 6006 unter Verwendung von Patientendaten von mehr als einer Einrichtung trainiert wird, kann das vorab trainierte Modell 6006 einzeln für jede Einrichtung trainiert worden sein, bevor es an Patienten- oder Kundendaten einer anderen Einrichtung trainiert wird. In mindestens einer Ausführungsform, wie etwa, wenn Kunden- oder Patientendaten von Datenschutzbedenken ausgenommen wurden (z. B. durch eine Verzichtserklärung, für die experimentelle Verwendung usw.) oder wenn Kunden- oder Patientendaten in einem öffentlichen Datensatz enthalten sind, können Kunden- oder Patientendaten von einer beliebigen Anzahl von Einrichtungen verwendet werden, um das vorab trainierte Modell 6006 innerhalb und/oder außerhalb der eigenen Räumlichkeiten zu trainieren, wie etwa in einem Rechenzentrum oder einer anderen Cloud-Computing-Infrastruktur.

In mindestens einer Ausführungsform kann ein Benutzer beim Auswählen von Anwendungen zur Verwendung in den Einsatzpipelines 6010 auch Modelle des maschinellen Lernens auswählen, die für spezifische Anwendungen verwendet werden sollen. In mindestens einer Ausführungsform kann ein Benutzer kein Modell zur Verwendung aufweisen, sodass ein Benutzer ein vorab trainiertes Modell 6006 zum Verwenden mit einer Anwendung auswählen kann. In mindestens einer Ausführungsform ist das vorab trainierte Modell 6006 möglicherweise nicht dafür optimiert, genaue Ergebnisse an dem Kundendatensatz 6306 einer Einrichtung eines Benutzers zu generieren (z. B. auf Grundlage der Patientenvielfalt, der Demografie, der Typen der verwendeten medizinischen Bildgebungsvorrichtungen usw.). In mindestens einer Ausführungsform kann das vorab trainierte Modell 6006 vordem Einsetzen des vorab trainierten Modells 6006 in der Einsatzpipeline 6010 zur Verwendung mit einer Anwendung(en) für die Verwendung in einer jeweiligen Einrichtung aktualisiert, erneut trainiert und/oder fein abgestimmt werden.

In mindestens einer Ausführungsform kann ein Benutzer ein vorab trainiertes Modell 6006 auswählen, das aktualisiert, erneut trainiert und/oder fein abgestimmt werden soll, und das vorab trainierte Modell 6006 kann als anfängliches Modell 6304 für das Trainingssystem 5904 innerhalb des Prozesses 6300 bezeichnet werden. In mindestens einer Ausführungsform kann der Kundendatensatz 6306 (z. B. Bildgebungsdaten, Genomikdaten, Sequenzierungsdaten oder andere Datentypen, die durch Vorrichtungen in einer Einrichtung generiert werden) verwendet werden, um das Modelltraining 5914 (das ohne Einschränkung Transferlernen beinhalten kann) an dem anfänglichen Modell 6304 durchzuführen, um das verfeinerte Modell 6312 zu generieren. In mindestens einer Ausführungsform können die Ground-Truth-Daten, die dem Kundendatensatz 6306 entsprechen, durch das Trainingssystem 5904 generiert werden. In mindestens einer Ausführungsform können Ground-Truth-Daten zumindest teilweise von Klinikern, Wissenschaftlern, Ärzten, Fachkräften in einer Einrichtung generiert werden (z. B. als beschriftete Klinikdaten 5912 aus 59).

In mindestens einer Ausführungsform kann die KI-gestützte Annotation 5910 in einigen Beispielen verwendet werden, um Ground-Truth-Daten zu generieren. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 5910 (z. B. unter Verwendung eines SDK für die KI-gestützt Annotation implementiert) Modelle des maschinellen Lernens (z. B. neuronale Netze) ausnutzen, um vorgeschlagene oder vorhergesagte Ground-Truth-Daten für einen Kundendatensatz zu generieren. In mindestens einer Ausführungsform kann der Benutzer 6310 Annotationswerkzeuge innerhalb einer Benutzerschnittstelle (einer grafischen Benutzerschnittstelle (graphical user interface - GUI)) auf der Rechenvorrichtung 6308 verwenden.

In mindestens einer Ausführungsform kann der Benutzer 6310 über die Rechenvorrichtung 6308 mit einer GUI interagieren, um Annotationen oder automatische Annotationen zu bearbeiten oder fein abzustimmen. In mindestens einer Ausführungsform kann ein Polygonbearbeitungsmerkmal verwendet werden, um Vertices eines Polygons an genauere oder feiner abgestimmte Stellen zu verschieben.

In mindestens einer Ausführungsform können, sobald Ground-Truth-Daten mit dem Kundendatensatz 6306 assoziiert sind, die Ground-Truth-Daten (z. B. aus Kl-gestützter Annotation, manueller Beschriftung usw.) während des Modelltrainings 5914 durch verwendet werden, um das verfeinerte Modell 6312 zu generieren. In mindestens einer Ausführungsform kann der Kundendatensatz 6306 beliebig oft auf das anfängliche Modell 6304 angewendet werden und die Ground-Truth-Daten können verwendet werden, um die Parameter des anfänglichen Modells 6304 zu aktualisieren, bis ein akzeptables Genauigkeitslevel für das verfeinerte Modell 6312 erreicht ist. In mindestens einer Ausführungsform kann das verfeinerte Modell 6312, sobald das verfeinerte Modell 6312 generiert ist, innerhalb einer oder mehrerer Einsatzpipelines 6010 in einer Einrichtung zum Durchführen eines oder mehrerer Verarbeitungs-Tasks in Bezug auf medizinische Bildgebungsdaten eingesetzt werden.

In mindestens einer Ausführungsform kann das verfeinerte Modell 6312 in die vorab trainierten Modellen 6006 in der Modellregistrierungsdatenbank 5924 hochgeladen werden, um durch eine andere Einrichtung ausgewählt zu werden. In mindestens einer Ausführungsform kann dieser Prozess in einer beliebigen Anzahl von Einrichtungen durchgeführt werden, sodass das verfeinerte Modell 6312 an neuen Datensätzen beliebig oft weiter verfeinert werden kann, um ein universelleres Modell zu generieren.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 63A gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet mindestens eine Komponente, die in Bezug auf 63A gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert mindestens eine Komponente, die in Bezug auf 63A gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform führt mindestens eine Komponente, die in Bezug auf 63A gezeigt oder beschrieben ist (z. B. eine oder mehrere Komponenten des Modelltrainingssystems 6304), mindestens eine Trainings-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

63B ist eine beispielhafte Veranschaulichung einer Client-Server-Architektur 6332 zum Erweitern von Annotationswerkzeugen mit vorab trainierten Annotationsmodellen gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können die Kl-gestützten Annotationswerkzeuge 6336 auf Grundlage einer Client-Server-Architektur 6332 instanziiert werden. In mindestens einer Ausführungsform können die Annotationswerkzeuge 6336 in Bildgebungsanwendungen zum Beispiel Radiologen beim Identifizieren von Organen und Auffälligkeiten unterstützen. In mindestens einer Ausführungsform können Bildgebungsanwendungen Software-Werkzeuge beinhalten, die dem Benutzer 6310 dabei helfen, als nicht einschränkendes Beispiel einige Extrempunkte an einem konkreten Organ von Interesse auf Rohbildern 6334 (z. B. auf einem 3D-MRT- oder CT-Scan) zu identifizieren und automatisch annotierte Ergebnisse für alle 2D-Scheiben eines konkreten Organs zu empfangen. In mindestens einer Ausführungsform können die Ergebnisse in einem Datenspeicher als Trainingsdaten 6338 gespeichert und als (zum Beispiel und ohne Einschränkung) Ground-Truth-Daten für das Training verwendet werden. In mindestens einer Ausführungsform kann, wenn die Rechenvorrichtung 6308 Extrempunkte für die Klgestützte Annotation 5910 sendet, ein Deep-Learning-Modell diese Daten zum Beispiel als Eingabe empfangen und Inferenzergebnisse eines segmentierten Organs oder einer Auffälligkeit zurückgeben. In mindestens einer Ausführungsform können vorab instanziierte Annotationswerkzeuge, wie etwa das KI-gestützte Annotationswerkzeug 6336B in 63B, durch Vornehmen von API-Aufrufen (z. B. API-Aufruf 6344) an einen Server, wie etwa einen Annotationsassistenzserver 6340, erweitert werden, der einen Satz von vorab trainierten Modellen 6342 beinhalten kann, der zum Beispiel in einer Annotationsmodellregistrierungsdatenbank gespeichert ist. In mindestens einer Ausführungsform kann eine Annotationsmodellregistrierungsdatenbank vorab trainierte Modelle 6342 (z. B. Modelle des maschinellen Lernens, wie etwa Deep-Learning-Modelle) speichern, die vorab trainiert sind, um eine KI-gestützte Annotation an einem konkreten Organ oder einer Auffälligkeit durchzuführen. In mindestens einer Ausführungsform können diese Modelle durch Verwenden von Trainingspipelines 6004 weiter aktualisiert werden. In mindestens einer Ausführungsform können vorab installierte Annotationswerkzeuge im Verlauf der Zeit verbessert werden, wenn neue beschriftete Klinikdaten 5912 hinzugefügt werden.

Die Inferenz- und/oder Trainingslogik 3015 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen assoziiert sind. Details bezüglich der Inferenz- und/oder Trainingslogik 3015 sind hierin in Verbindung mit 30A und/oder 30B bereitgestellt.

In mindestens einer Ausführungsform wird mindestens eine Komponente, die in Bezug auf 63B gezeigt oder beschrieben ist, verwendet, um Verfahren und/oder Funktionen zu implementieren, die in Verbindung mit den 1-29 beschrieben sind. In mindestens einer Ausführungsform beinhaltet mindestens eine Komponente, die in Bezug auf 63B gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf 1 beschrieben ist, und/oder führt ihn aus (z. B. Deep-Learning-Compiler 102, Rewriter 110, Code-Generator 116). In mindestens einer Ausführungsform implementiert mindestens eine Komponente, die in Bezug auf 63B gezeigt oder beschrieben ist, mindestens einen Aspekt, der in Bezug auf das Verfahren 400 aus 4 gezeigt und/oder beschrieben ist. In mindestens einer Ausführungsform führt mindestens eine Komponente, die in Bezug auf 63B gezeigt oder beschrieben ist (z. B. Kl-gestütztes Annotationswerkzeug 6336 und/oder Annotationsassistenzserver 6340), mindestens eine Inferenzierungs-Operation unter Verwendung einer Darstellung eines Computerprogramms (z. B. Code 106 oder Laufzeitcode 120 aus 1) durch, das zwei oder mehr Operationen und/oder Anweisungen zu einem Software-Kernel zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert, wie in Bezug auf eine oder mehrere der 1-29 beschrieben.

Mindestens eine Ausführungsform der Offenbarung kann mit Blick auf die folgenden Sätze beschrieben werden.

1. Prozessor, umfassend:
- eine oder mehrere Schaltungen, um zu bewirken, dass zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert werden.
2. Prozessor nach Satz 1, wobei der Graph eine Darstellung eines Computerprogramms für maschinelles Lernen ist.
3. Prozessor nach einem der Sätze 1-2, wobei die zwei oder mehr unabhängigen Operationen eine erste unabhängige Operation in einem ersten Satz von Knoten des Graphen und eine zweite unabhängige Operation in einem zweiten Satz von Knoten des Graphen beinhalten und die eine oder mehreren Schaltungen bewirken, dass der erste Satz von Knoten mit dem zweiten Satz von Knoten gemäß einer Kombinationsregel kombiniert wird.
4. Prozessor nach einem der Sätze 1-3, wobei die eine oder mehreren Schaltungen bewirken, dass eine Liste von Operationen zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen aktualisiert wird, und bewirken, dass die zwei oder mehr Operationen zumindest teilweise basierend auf der aktualisierten Liste der Operationen kombiniert werden.
5. Prozessor nach einem der Sätze 1-4, wobei die zwei oder mehr Operationen eine oder mehrere Operationen beinhalten, die durch Kombination der zwei oder mehr unabhängigen Operationen eingeführt wurden.
6. Prozessor nach einem der Sätze 1-5, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Matrixmultiplikationsoperationen beinhalten.
7. Prozessor nach einem der Sätze 1-6, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Faltungsoperationen beinhalten.
8. Prozessor nach einem der Sätze 1-7, wobei der Graph eine zweite Version eines Graphen ist und die eine oder mehreren Schaltungen bewirken, dass die zweite Version des Graphen zumindest teilweise basierend auf einer ersten Version des Graphen generiert wird, und die Kombination von zwei oder mehr unabhängigen Operationen, und die eine oder mehreren Schaltungen bewirken, dass die zwei oder mehr Operationen zumindest teilweise basierend auf dem Traversieren der zweiten Version des Graphen kombiniert werden.
9. Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, die, wenn sie von einem Prozessor ausgeführt werden, den Prozessor zumindest zu Folgendem veranlassen:
- Kombinieren von zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen.
10. Maschinenlesbares Medium nach Satz 9, wobei der Graph eine Darstellung eines neuronalen Netzes ist und die zwei oder mehr unabhängigen Operationen eine oder mehrere Faltungsoperationen beinhalten.
11. Maschinenlesbares Medium nach einem der Sätze 9-10, wobei die zwei oder mehr Operationen eine Teilungsoperation und eine Verkettungsoperation beinhalten, die durch die Kombination von zwei oder mehr unabhängigen Operationen in den Graphen eingeführt werden.
12. Maschinenlesbares Medium nach einem der Sätze 9-11, wobei die Anweisungen, wenn sie von dem Prozessor ausgeführt werden, bewirken, dass der Prozessor eine Arbeitsliste zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen aktualisiert und die zwei oder mehr Operationen zumindest teilweise basierend auf der aktualisierten Arbeitsliste kombiniert.
13. Maschinenlesbares Medium nach einem der Sätze 9-12, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr unabhängige punktweise Operationen beinhalten.
14. Maschinenlesbares Medium nach einem der Sätze 9-13, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Faltungsoperationen beinhalten, und die zwei oder mehr Operationen eine Teilungsoperation und eine Verkettungsoperation beinhalten.
15. System, umfassend:
- einen oder mehrere Prozessoren zum Kombinieren von zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen; und
- einen oder mehrere Speicher zum Speichern eines aktualisierten Graphen, der einen Satz von Knoten enthält, der zumindest teilweise auf den kombinierten zwei oder mehr Operationen basiert.
16. System nach Anspruch 15, wobei der Graph eine Darstellung eines Computerprogramms für maschinelles Lernen ist und die zwei oder mehr Operationen eine Teilungsoperation und eine Verkettungsoperation beinhalten, die durch die Kombination von zwei oder mehr unabhängigen Operationen in den Graphen eingeführt wurden.
17. System nach einem der Sätze 15-16, wobei der eine oder die mehreren Prozessoren eine Arbeitsliste zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen aktualisieren und die zwei oder mehr Operationen zumindest teilweise basierend auf der aktualisierten Arbeitsliste kombinieren sollen.
18. System nach einem der Sätze 15-17, wobei der eine oder die mehreren Prozessoren eine Arbeitsliste zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen aktualisieren sollen, wobei die Arbeitsliste eine Gruppe von Operationen enthält, die mit einem Gruppenschlüssel assoziiert ist, und die zwei oder mehr Operationen sind in der Gruppe von Operationen enthalten.
19. System nach einem der Sätze 15-18, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Faltungsoperationen beinhalten und die zwei oder mehr Operationen eine Verkettungsoperation beinhalten.
20. System nach einem der Sätze 15-19, wobei die zwei oder mehr Operationen eine Teilungsoperation beinhalten.
21. Verfahren, umfassend: Kombinieren von zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen.
22. Verfahren nach Satz 21, wobei der Graph eine Darstellung eines neuralen Netzes ist.
23. Verfahren nach einem der Sätze 21-22, wobei die zwei oder mehr unabhängigen Operationen eine erste unabhängige Operation in einem ersten Satz von Knoten des Graphen und eine zweite unabhängige Operation in einem zweiten Satz von Knoten des Graphen beinhalten, wobei das Verfahren ferner ein Kombinieren des ersten Satzes von Knoten mit dem zweiten Satz von Knoten gemäß einer horizontalen Fusionsregel beinhaltet.
24. Verfahren nach einem der Sätze 21-23, wobei der Graph eine zweite Version des Graphen ist und das Verfahren ferner ein Kombinieren der zwei oder mehr unabhängigen Operationen in einer ersten Version des Graphen beinhaltet, um die zweite Version des Graphen zu generieren.
25. Verfahren nach einem der Sätze 21-24, wobei der Graph eine Darstellung eines neuronalen Netzes ist und das Verfahren ferner ein Aktualisieren einer Arbeitsliste zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen und ein Kombinieren der zwei oder mehr Operationen zumindest teilweise basierend auf der Arbeitsliste beinhaltet.
26. Verfahren nach einem der Sätze 21-25, wobei das Verfahren ferner ein Kombinieren der zwei oder mehr unabhängigen Operationen zumindest teilweise basierend auf einer Arbeitsliste beinhaltet, die ein gruppiertes Arbeitselement beinhaltet, das mit den zwei oder mehr unabhängigen Operationen und einem Gruppenschlüssel assoziiert ist.
27. Fahrzeug, umfassend:
- ein Computer-Vision-System, das einen oder mehrere Prozessoren beinhaltet, um ein oder mehrere Objekte zumindest teilweise basierend auf einem Durchführen einer oder mehrerer Inferenzoperationen unter Verwendung von zwei oder mehr Operationen, die durch einen Compiler zu einem Software-Kernel kombiniert werden, zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen zu identifizieren; und
- eins oder mehrere von einem Antriebssystem, einem Richtungssteuerungssystem und einem Fahrzeugführer-Benachrichtigungssystem, um eine oder mehrere Aktionen zumindest teilweise basierend auf dem identifizierten einen oder den identifizierten mehreren Objekten durchzuführen.
28. Fahrzeug nach Satz 27, wobei die zwei oder mehr Operationen durch den Compiler zumindest teilweise basierend auf einem aktualisierten neuronalen Netzgraphen zu dem Software-Kernel kombiniert werden.
29. Fahrzeug nach einem der Sätze 27-28, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Matrixmultiplikationsoperationen beinhalten und die zwei oder mehr Operationen eine oder mehrere von einer Teilungsoperation und einer Verkettungsoperation beinhalten, die durch die Kombination von zwei oder mehr unabhängigen Operationen in einen Graphen eingeführt werden.
30. Fahrzeug nach einem der Sätze 27-29, wobei die zwei oder mehr Operationen durch den Compiler zumindest teilweise basierend auf einer nach der Kombination von zwei oder mehr unabhängigen Operationen aktualisierten Arbeitsliste zu dem Softwarekern kombiniert werden.
31. Fahrzeug nach einem der Sätze 27-30, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Faltungsoperationen beinhalten.
32. Fahrzeug nach einem der Sätze 27-31, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr punktweise Operationen beinhalten.

In mindestens einer Ausführungsform kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche halbleiterbasierte integrierte Schaltung oder einen solchen Chip beziehen. In mindestens einer Ausführungsform können Multi-Chip-Module mit erhöhter Verbindungsfähigkeit verwendet werden, die den chipinternen Betrieb simulieren und wesentliche Verbesserungen gegenüber der Nutzung einer herkömmlichen Implementation mit einer zentralen Verarbeitungseinheit („CPU“) und einem Bus bieten. In mindestens einer Ausführungsform können verschiedene Module je nach Wunsch des Benutzers auch separat oder in verschiedenen Kombinationen von Halbleiterplattformen untergebracht sein.

In mindestens einer Ausführungsform, unter erneuter Bezugnahme auf 36, sind Computerprogramme in Form von maschinenlesbarem ausführbarem Code oder Computersteuerlogik-Algorithmen in dem Hauptspeicher 3604 und/oder Sekundärspeicher gespeichert. Falls sie durch einen oder mehrere Prozessoren ausgeführt werden, ermöglichen es Computerprogramme dem System 3600, verschiedene Funktionen gemäß mindestens einer Ausführungsform durchzuführen. In mindestens einer Ausführungsform sind Arbeitsspeicher 3604, Datenspeiche und/oder beliebiger anderer Speicher mögliche Beispiele für computerlesbare Medien. In mindestens einer Ausführungsform kann sich der Sekundärspeicher auf ein(e) beliebige(s) geeignete(s) Speichervorrichtung oder -system beziehen, wie etwa ein Festplattenlaufwerk und/oder ein Wechselspeicherlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein Digital-Versatile-Disk-(„DVD“-)Laufwerk, eine Aufzeichnungsvorrichtung, einen Universal-Serial-Bus-(„USB“-)Flash-Speicher usw. darstellt. In mindestens einer Ausführungsform werden die Architektur und/oder die Funktionalität verschiedener vorheriger Figuren im Kontext der CPU 3602, des Parallelverarbeitungssystems 3612, einer integrierten Schaltung, die mindestens zu einem Teil der Fähigkeiten sowohl der CPU 3602 als auch des Parallelverarbeitungssystems 3612 in der Lage ist, eines Chipsatzes (z. B. einer Gruppe integrierter Schaltungen, die so ausgestaltet ist, dass sie als Einheit zum Durchführen verwandter Funktionen arbeitet und verkauft wird, usw.) und/oder einer beliebigen geeigneten Kombination integrierter Schaltung(en) implementiert.

In mindestens einer Ausführungsform werden die Architektur und/oder Funktionalität verschiedener vorhergehender Figuren im Kontext eines allgemeinen Computersystems, eines Leiterplattensystems, eines für Unterhaltungszwecke dedizierten Spielekonsolensystems, eines anwendungsspezifischen Systems und mehr implementiert. In mindestens einer Ausführungsform kann das Computersystem 3600 die Form eines Desktop-Computers, eines Laptop-Computers, eines Tablet-Computers, von Servern, von Supercomputern, eines Smartphones (z. B. einer drahtlosen tragbaren Vorrichtung), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, einer am Kopf befestigten Anzeige, einer tragbaren elektronischen Vorrichtung, einer Mobiltelefonvorrichtung, eines Fernsehgeräts, einer Arbeitsstation, von Spielekonsolen, eines eingebetteten Systems und/oder eines beliebigen anderen Typs von Logik annehmen.

In mindestens einer Ausführungsform beinhaltet das Parallelverarbeitungssystem 3612 ohne Einschränkung eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 3614 und damit assoziierte Speicher 3616. In mindestens einer Ausführungsform sind die PPUs 3614 über eine Zusammenschaltung 3618 und einen Switch 3620 oder Multiplexer mit einem Host-Prozessor oder anderen Peripherievorrichtungen verbunden. In mindestens einer Ausführungsform verteilt das Parallelverarbeitungssystem 3612 Rechen-Tasks auf PPUs 3614, die parallelisierbar sein können - zum Beispiel als Teil der Verteilung von Rechen-Tasks auf mehrere Thread-Blöcke einer Grafikverarbeitungseinheit („GPU“). In mindestens einer Ausführungsform wird der Speicher von einigen oder allen PPUs 3614 gemeinsam genutzt und ist er für diese zugänglich (z. B. für Lese- und/oder Schreibzugriff), obwohl ein derartiger gemeinsam genutzter Speicher Einbußen bei der Rechenleistung in Bezug auf die Verwendung von lokalem Speicher und Registern, die in einer PPU 3614 resident sind, mit sich bringen kann. In mindestens einer Ausführungsform wird der Betrieb der PPUs 3614 durch Verwendung eines Befehls wie etwa _syncthreads() synchronisiert, wobei alle Threads in einem Block (z. B. über mehrere PPUs 3614 hinweg ausgeführt) einen bestimmten Punkt der Codeausführung erreichen müssen, bevor sie fortfahren.

Andere Variationen liegen innerhalb des Geistes der vorliegenden Offenbarung. Somit können zwar bezüglich der offenbarten Verfahren diverse Modifikationen und alternative Konstruktionen vorgenommen werden, bestimmte veranschaulichte Ausführungsformen davon werden jedoch in den Zeichnungen gezeigt und wurden vorangehend ausführlich beschrieben. Allerdings versteht es sich, dass nicht die Absicht verfolgt wird, die Offenbarung auf die spezifische(n) offenbarte(n) Form oder Formen einzuschränken, sondern die Absicht ganz im Gegenteil darin besteht, sämtliche Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Geist und Umfang der wie in den beigefügten Ansprüchen definierten Offenbarung fallen.

Die Verwendung der Ausdrücke „ein“ und „eine“ und „der/die/das“ und ähnlicher Referenten im Kontext des Beschreibens offenbarter Ausführungsformen (insbesondere im Kontext der folgenden Ansprüche) ist so auszulegen, dass sie sowohl den Singular als auch den Plural abdeckt, sofern hierin nichts anderes angegeben ist oder der Kontext dem eindeutig widerspricht, und nicht als Definition eines Ausdrucks. Die Ausdrücke „umfassend“, „aufweisend“, „beinhaltend“ und „enthaltend“ sind als offene Ausdrücke auszulegen (die „einschließlich, aber nicht beschränkt auf“ bedeuten), sofern nicht anderweitig angemerkt. Wenn es unmodifiziert vorliegt und sich auf physische Verbindungen bezieht, ist „verbunden“ als teilweise oder vollständig ineinander enthalten, aneinander angebracht oder aneinander angefügt auszulegen, auch wenn ein Element dazwischenliegt. Die Nennung von Wertebereichen hierin soll lediglich als kurzes Verfahren zur einzelnen Bezugnahme auf jeden separaten Wert dienen, der in den Bereich fällt, es sei denn, hierin ist etwas anderes angegeben, und jeder separate Wert ist in die Beschreibung eingeschlossen, als ob er einzeln hierin wiedergegeben wäre. In mindestens einer Ausführungsform ist die Verwendung des Ausdrucks „Satz“ bzw. „Menge“ (z. B. „ein Satz bzw. eine Menge von Gegenständen“) oder „Teilmenge“ als eine nicht leere Sammlung auszulegen, die ein oder mehrere Elemente umfasst, es sei denn, es ist etwas anderes angemerkt oder der Kontext widerspricht dem. Sofern nichts anderes angegeben ist oder der Kontext dem widerspricht, bezeichnet ferner der Ausdruck „Teilmenge“ eines entsprechenden Satzes nicht notwendigerweise eine richtige Teilmenge des entsprechenden Satzes, sondern die Teilmenge und der entsprechende Satz können gleich sein.

Sofern nicht spezifisch etwas anderes genannt ist oder der Kontext dem eindeutig widerspricht, ist verbindende Sprache, wie etwa Formulierungen der Form „wenigstens eines von A, B und C“ oder „mindestens eines von A, B und C“, andernfalls in dem Kontext zu verstehen, in dem sie allgemein verwendet werden, um darzustellen, dass ein Gegenstand, ein Ausdruck usw. entweder A oder B oder C oder eine beliebige nicht leere Teilmenge des Satzes aus A und B und C sein kann. Zum Beispiel beziehen sich in dem veranschaulichenden Beispiel für einen Satz, der drei Elemente aufweist, die verbindenden Formulierungen „wenigstens eines von A, B und C“ und „mindestens eines von A, B und C“ auf einen beliebigen der folgenden Sätze: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Somit soll derartige verbindende Sprache im Allgemeinen nicht implizieren, dass bestimmte Ausführungen es erforderlich machen, dass mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden ist. Sofern nichts anderes angemerkt ist oder der Kontext dem widerspricht, gibt der Ausdruck „Vielzahl“ einen Zustand der Pluralität an (z. B. gibt „eine Vielzahl von Gegenständen“ mehrere Gegenstände an). In mindestens einer Ausführungsform beträgt die Anzahl der Gegenstände in einer Vielzahl mindestens zwei, es können aber auch mehr sein, wenn dies entweder explizit oder durch den Kontext angegeben ist. Sofern nichts anderes genannt ist oder es anderweitig aus dem Kontext ersichtlich ist, bedeutet die Formulierung „auf Grundlage von“ „mindestens zum Teil auf Grundlage von“ und nicht „ausschließlich auf Grundlage von“.

Hierin beschriebene Operationen von Verfahren können in einer beliebigen geeigneten Reihenfolge durchgeführt werden, sofern hierin nichts anderes angegeben ist oder der Kontext dem eindeutig widerspricht. In mindestens einer Ausführungsform wird ein Verfahren, wie etwa die hierin beschriebenen Verfahren (oder Variationen und/oder Kombinationen davon), unter der Steuerung von einem oder mehreren Computersystemen durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind, und es ist als Code (z. B. ausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen), der zusammen auf einem oder mehreren Prozessoren ausgeführt wird, durch Hardware oder Kombinationen davon implementiert. In mindestens einer Ausführungsform ist Code auf einem computerlesbaren Speichermedium gespeichert, zum Beispiel in Form eines Computerprogramms, das eine Vielzahl von Anweisungen umfasst, die durch einen oder mehrere Prozessoren ausgeführt werden können. In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nichttransitorisches computerlesbares Speichermedium, das transitorische Signale (z. B. eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung) ausschließt, aber nichttransitorische Datenspeicherschaltungen (z. B. Puffer, Cache und Warteschlangen) innerhalb von Sendeempfängern von transitorischen Signalen einschließt. In mindestens einer Ausführungsform ist der Code (z. B. ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nichttransitorischen computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen gespeichert sind (oder einem anderen Speicher zum Speichern ausführbarer Anweisungen), die bei Ausführung (d. h. als Ergebnis der Ausführung) durch einen oder mehrere Prozessoren eines Computersystems das Computersystem dazu veranlassen, hierin beschriebene Operationen durchzuführen. Ein Satz von nichttransitorischen computerlesbaren Speichermedien umfasst in mindestens einer Ausführungsform mehrere nichttransitorische computerlesbare Speichermedien und einem oder mehreren der einzelnen nichttransitorischen Speichermedien mehrerer nichttransitorischer computerlesbarer Speichermedien fehlt der gesamte Code, während mehrere nichttransitorische computerlesbare Speichermedien zusammen den gesamten Code speichern. In mindestens einer Ausführungsform werden die ausführbaren Anweisungen so ausgeführt, dass unterschiedliche Anweisungen durch unterschiedliche Prozessoren ausgeführt werden - zum Beispiel speichert ein nichttransitorisches computerlesbares Speichermedium Anweisungen und eine hauptsächliche zentrale Verarbeitungseinheit („CPU“) führt einige der Anweisungen aus, während eine Grafikverarbeitungseinheit („GPU“) andere Anweisungen ausführt. In mindestens einer Ausführungsform weisen unterschiedliche Komponenten eines Computersystems separate Prozessoren auf und unterschiedliche Prozessoren führen unterschiedliche Teilmengen von Anweisungen aus.

In mindestens einer Ausführungsform ist eine arithmetische Logikeinheit eine kombinatorische Logikschaltung, die eine oder mehrere Eingaben verarbeitet, um ein Ergebnis zu erzeugen. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit von einem Prozessor verwendet, um mathematische Operationen wie Addition, Subtraktion oder Multiplikation durchzuführen. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit verwendet, um logische Operationen wie logisches AND/OR oder XOR zu implementieren. In mindestens einer Ausführungsform ist eine arithmetische Logikeinheit zustandslos und besteht aus physikalischen Schaltkomponenten wie Halbleitertransistoren, die so angeordnet sind, dass sie logische Gatter bilden. In mindestens einer Ausführungsform kann eine arithmetische Logikeinheit intern als zustandsabhängige Logikschaltung mit einem zugehörigen Taktgeber arbeiten. In mindestens einer Ausführungsform kann eine arithmetische Logikeinheit als asynchrone Logikschaltung aufgebaut sein, deren interner Zustand nicht in einem zugehörigen Registersatz gehalten wird. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit von einem Prozessor verwendet, um in einem oder mehreren Registern des Prozessors gespeicherte Operanden zu kombinieren und eine Ausgabe zu erzeugen, die vom Prozessor in einem anderen Register oder einem Speicherplatz gespeichert werden kann.

In mindestens einer Ausführungsform übergibt der Prozessor als Ergebnis der Verarbeitung eines vom Prozessor abgerufenen Befehls einen oder mehrere Eingaben oder Operanden an eine arithmetische Logikeinheit, wodurch die arithmetische Logikeinheit veranlasst wird, ein Ergebnis zu erzeugen, das zumindest teilweise auf einem Befehlscode basiert, der den Eingängen der arithmetischen Logikeinheit bereitgestellt wird. In mindestens einer Ausführungsform basieren die vom Prozessor an die ALU gelieferten Befehlscodes zumindest zum Teil auf dem vom Prozessor ausgeführten Befehl. In mindestens einer Ausführungsform verarbeitet die kombinatorische Logik in der ALU die Eingaben und erzeugt eine Ausgabe, die auf einen Bus innerhalb des Prozessors gelegt wird. In mindestens einer Ausführungsform wählt der Prozessor ein Zielregister, einen Speicherplatz, eine Ausgabeeinrichtung oder einen Ausgabespeicherplatz auf dem Ausgangsbus aus, so dass ein Takt des Prozessors bewirkt, dass die von der ALU erzeugten Ergebnisse an den gewünschten Ort gesendet werden.

Im Rahmen dieser Anwendung wird der Begriff arithmetische Logikeinheit oder ALU verwendet, um sich auf jede logische Rechenschaltung zu beziehen, die Operanden verarbeitet, um ein Ergebnis zu erzeugen. Im vorliegenden Dokument kann sich der Begriff ALU beispielsweise auf eine Gleitkommaeinheit, einen DSP, einen Tensor Core, einen Shader Core, einen Coprozessor oder eine CPU beziehen.

Dementsprechend sind in mindestens einer Ausführungsform Computersysteme so konfiguriert, dass sie einen oder mehrere Dienste implementieren, die einzeln oder zusammen Operationen der hierin beschriebenen Prozesse durchführen, und derartige Computersysteme sind mit geeigneter Hardware und/oder Software konfiguriert, die eine Durchführung der Operationen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der vorliegenden Offenbarung implementiert, eine einzelne Vorrichtung und in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Vorrichtungen umfasst, die unterschiedlich arbeiten, sodass das verteilte Computersystem die hierin beschriebenen Operationen durchführt und sodass eine einzelne Vorrichtung nicht alle Operationen durchführt.

Die Verwendung jeglicher und aller Beispiele oder beispielhafter Wortwahl (z. B. „wie etwa“), die hierin bereitgestellt ist, soll lediglich die Ausführungsformen der Offenbarung besser verdeutlichen und stellt keine Einschränkung des Umfangs der Offenbarung dar, es sei denn, es ist etwas anderes beansprucht. Keinerlei Wortwahl in der Beschreibung sollte so ausgelegt werden, dass sie ein beliebiges nicht beanspruchtes Element als für die Umsetzung der Offenbarung wesentlich angibt.

Jegliche Bezugnahmen, einschließlich Veröffentlichungen, Patentanmeldungen und Patenten, die hierin genannt werden, sind hiermit durch Bezugnahme in demselben Maße aufgenommen, als wäre jede Bezugnahme einzeln und spezifisch als durch Bezugnahme eingeschlossen angegeben und in ihrer Gesamtheit hierin dargelegt.

In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ zusammen mit ihren Ableitungen verwendet werden. Es versteht sich, dass diese Ausdrücke nicht als Synonyme füreinander beabsichtigt sein können. Vielmehr kann in konkreten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzugeben, dass zwei oder mehr Elemente in direktem oder indirektem physischem oder elektrischem Kontakt miteinander stehen. Mit „gekoppelt“ kann auch gemeint sein, dass zwei oder mehr Elemente nicht in direktem Kontakt miteinander stehen, jedoch trotzdem miteinander zusammenwirken oder interagieren.

Sofern nicht ausdrücklich anders angegeben, versteht es sich, dass sich Begriffe wie „Verarbeitung“, „Berechnung“, „Berechnen“, „Bestimmen“ oder dergleichen in der gesamten Beschreibung auf Handlungen und/oder Prozesse eines Computers oder Rechensystems oder einer ähnlichen elektronischen Rechenvorrichtung, die Daten, die als physische, z. B. elektronische, Größen in den Registern und/oder Speichern des Rechensystems dargestellt sind, manipulieren und/oder in andere Daten umwandeln, die auf ähnliche Weise als physische Größen in den Speichern, Registern oder anderen derartigen Informationsspeicher-, -übertragungs- oder -anzeigevorrichtungen des Rechensystems dargestellt sind.

Auf ähnliche Weise kann sich der Ausdruck „Prozessor“ auf eine beliebige Vorrichtung oder einen beliebigen Abschnitt einer Vorrichtung beziehen, die/der elektronische Daten aus Registern und/oder Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten umwandelt, die in Registern und/oder Speicher gespeichert werden können. Als nicht einschränkende Beispiele kann der „Prozessor“ eine CPU oder eine GPU sein. Eine „Rechenplattform“ kann einen oder mehrere Prozessoren umfassen. Wie hierin verwendet, können „Software“-Prozesse zum Beispiel Software- und/oder Hardware-Entitäten beinhalten, die im Verlauf der Zeit Arbeit verrichten, wie etwa Tasks, Threads und intelligente Agenten. Außerdem kann sich jeder Prozess auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. In mindestens einer Ausführungsform werden die Ausdrücke „System“ und „Verfahren“ hierin insofern austauschbar verwendet, dass ein System ein oder mehrere Verfahren verkörpern kann und die Verfahren als System betrachtet werden können.

Im vorliegenden Dokument kann auf das Erlangen, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Teilsystem, ein Computersystem oder eine computerimplementierte Maschine Bezug genommen werden. In mindestens einer Ausführungsform kann der Prozess des Erlangens, Erfassens, Empfangens oder Eingebens von analogen und digitalen Daten auf eine Vielfalt von Weisen erzielt werden, wie etwa durch das Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs einer Anwendungsprogrammierschnittstelle. In mindestens einer Ausführungsform können Prozesse des Erlangens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch das Übermitteln von Daten über eine serielle oder parallele Schnittstelle erfolgen. In mindestens einer Ausführungsform können Prozesse des Erlangens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch das Übermitteln von Daten über ein Computernetz von der bereitstellenden Entität zu der erfassenden Entität erfolgen. In mindestens einer Ausführungsform kann auch auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Darstellen von analogen oder digitalen Daten Bezug genommen werden. In verschiedenen Beispielen können Prozesse des Bereitstellens, Ausgebens, Übertragens, Sendens oder Darstellens von analogen oder digitalen Daten durch das Übermitteln von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Interprozesskommunikationsmechanismus erfolgen.

Auch wenn die Beschreibungen hierin beispielhafte Implementationen der beschriebenen Techniken darlegen, können auch andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sie sollen im Umfang dieser Offenbarung liegen. Darüber hinaus könnten, obwohl spezifische Verteilungen von Zuständigkeiten vorstehend zum Zwecke der Beschreibung definiert sein können, verschiedene Funktionen und Zuständigkeiten in Abhängigkeit von den Umständen anders verteilt und aufgeteilt werden.

Obwohl der Gegenstand ferner in für Strukturmerkmale und/oder Verfahrenshandlungen spezifischer Sprache beschrieben wurde, versteht sich, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht unbedingt auf die beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden spezifische Merkmale und Handlungen als beispielhafte Formen zum Implementieren der Ansprüche offenbart.

Claims

Prozessor, umfassend: eine oder mehrere Schaltungen, um zu bewirken, dass zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen kombiniert werden.
Prozessor nach Anspruch 1, wobei der Graph eine Darstellung eines Computerprogramms für maschinelles Lernen ist.
Prozessor nach Anspruch 1 oder 2, wobei die zwei oder mehr unabhängigen Operationen eine erste unabhängige Operation in einem ersten Satz von Knoten des Graphen und eine zweite unabhängige Operation in einem zweiten Satz von Knoten des Graphen beinhalten und die eine oder mehreren Schaltungen bewirken, dass der erste Satz von Knoten mit dem zweiten Satz von Knoten gemäß einer Kombinationsregel kombiniert wird.
Prozessor nach einem der vorhergehenden Ansprüche, wobei die eine oder mehreren Schaltungen bewirken, dass eine Liste von Operationen zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen aktualisiert wird, und bewirken, dass die zwei oder mehr Operationen zumindest teilweise basierend auf der aktualisierten Liste der Operationen kombiniert werden.
Prozessor nach einem der vorhergehenden Ansprüche, wobei die zwei oder mehr Operationen eine oder mehrere Operationen beinhalten, die durch Kombination der zwei oder mehr unabhängigen Operationen eingeführt wurden.
Prozessor nach einem der vorhergehenden Ansprüche, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Matrixmultiplikationsoperationen beinhalten.
Prozessor nach einem der vorhergehenden Ansprüche, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Faltungsoperationen beinhalten.
Prozessor nach einem der vorhergehenden Ansprüche, wobei der Graph eine zweite Version eines Graphen ist und die eine oder mehreren Schaltungen bewirken, dass die zweite Version des Graphen zumindest teilweise basierend auf einer ersten Version des Graphen generiert wird, und die Kombination von zwei oder mehr unabhängigen Operationen, und die eine oder mehreren Schaltungen bewirken, dass die zwei oder mehr Operationen zumindest teilweise basierend auf dem Traversieren der zweiten Version des Graphen kombiniert werden.
Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, die, wenn sie von einem Prozessor ausgeführt werden, den Prozessor zumindest zu Folgendem veranlassen: Kombinieren von zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen.
Maschinenlesbares Medium nach Anspruch 9, wobei der Graph eine Darstellung eines neuronalen Netzes ist und die zwei oder mehr unabhängigen Operationen eine oder mehrere Faltungsoperationen beinhalten.
Maschinenlesbares Medium nach Anspruch 9 oder 10, wobei die zwei oder mehr Operationen eine Teilungsoperation und eine Verkettungsoperation beinhalten, die durch die Kombination von zwei oder mehr unabhängigen Operationen in den Graphen eingeführt werden.
Maschinenlesbares Medium nach einem der Ansprüche 9 bis 11, wobei die Anweisungen, wenn sie von dem Prozessor ausgeführt werden, bewirken, dass der Prozessor eine Arbeitsliste zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen aktualisiert und die zwei oder mehr Operationen zumindest teilweise basierend auf der aktualisierten Arbeitsliste kombiniert.
Maschinenlesbares Medium nach einem der Ansprüche 9 bis 12, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr unabhängige punktweise Operationen beinhalten.
Maschinenlesbares Medium nach einem der Ansprüche 9 bis 13, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Faltungsoperationen beinhalten, und die zwei oder mehr Operationen eine Teilungsoperation und eine Verkettungsoperation beinhalten.
System, umfassend: einen oder mehrere Prozessoren zum Kombinieren von zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen; und einen oder mehrere Speicher zum Speichern eines aktualisierten Graphen, der einen Satz von Knoten enthält, der zumindest teilweise auf den kombinierten zwei oder mehr Operationen basiert.
System nach Anspruch 15, wobei der Graph eine Darstellung eines Computerprogramms für maschinelles Lernen ist und die zwei oder mehr Operationen eine Teilungsoperation und eine Verkettungsoperation beinhalten, die durch die Kombination von zwei oder mehr unabhängigen Operationen in den Graphen eingeführt wurden.
System nach Anspruch 15 oder 16, wobei der eine oder die mehreren Prozessoren eine Arbeitsliste zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen aktualisieren und die zwei oder mehr Operationen zumindest teilweise basierend auf der aktualisierten Arbeitsliste kombinieren sollen.
System nach einem der Ansprüche 15 bis 17, wobei der eine oder die mehreren Prozessoren eine Arbeitsliste zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen aktualisieren sollen, wobei die Arbeitsliste eine Gruppe von Operationen enthält, die mit einem Gruppenschlüssel assoziiert ist, und die zwei oder mehr Operationen sind in der Gruppe von Operationen enthalten.
System nach einem der Ansprüche 15 bis 18, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Faltungsoperationen beinhalten und die zwei oder mehr Operationen eine Verkettungsoperation beinhalten.
System nach einem der Ansprüche 15 bis 19, wobei die zwei oder mehr Operationen eine Teilungsoperation beinhalten.
Verfahren, umfassend: Kombinieren von zwei oder mehr Operationen in einem Graphen zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen.
Verfahren nach Anspruch 21, wobei der Graph eine Darstellung eines neuralen Netzes ist.
Verfahren nach Anspruch 21 oder 22, wobei die zwei oder mehr unabhängigen Operationen eine erste unabhängige Operation in einem ersten Satz von Knoten des Graphen und eine zweite unabhängige Operation in einem zweiten Satz von Knoten des Graphen beinhalten, wobei das Verfahren ferner ein Kombinieren des ersten Satzes von Knoten mit dem zweiten Satz von Knoten gemäß einer horizontalen Fusionsregel beinhaltet.
Verfahren nach einem der Ansprüche 21 bis 23, wobei der Graph eine zweite Version des Graphen ist und das Verfahren ferner ein Kombinieren der zwei oder mehr unabhängigen Operationen in einer ersten Version des Graphen beinhaltet, um die zweite Version des Graphen zu generieren.
Verfahren nach einem der Ansprüche 21 bis 24, wobei der Graph eine Darstellung eines neuronalen Netzes ist und das Verfahren ferner ein Aktualisieren einer Arbeitsliste zumindest teilweise basierend auf den kombinierten zwei oder mehr unabhängigen Operationen und ein Kombinieren der zwei oder mehr Operationen zumindest teilweise basierend auf der Arbeitsliste beinhaltet.
Verfahren nach einem der Ansprüche 21 bis 25, wobei das Verfahren ferner ein Kombinieren der zwei oder mehr unabhängigen Operationen zumindest teilweise basierend auf einer Arbeitsliste beinhaltet, die ein gruppiertes Arbeitselement beinhaltet, das mit den zwei oder mehr unabhängigen Operationen und einem Gruppenschlüssel assoziiert ist.
Fahrzeug, umfassend: ein Computer-Vision-System, das einen oder mehrere Prozessoren beinhaltet, um ein oder mehrere Objekte zumindest teilweise basierend auf einem Durchführen einer oder mehrerer Inferenzoperationen unter Verwendung von zwei oder mehr Operationen, die durch einen Compiler zu einem Software-Kernel kombiniert werden, zumindest teilweise basierend auf einer anderen Kombination von zwei oder mehr unabhängigen Operationen zu identifizieren; und eins oder mehrere von einem Antriebssystem, einem Richtungssteuerungssystem und einem Fahrzeugführer-Benachrichtigungssystem, um eine oder mehrere Aktionen zumindest teilweise basierend auf dem identifizierten einen oder den identifizierten mehreren Objekten durchzuführen.
Fahrzeug nach Anspruch 27, wobei die zwei oder mehr Operationen durch den Compiler zumindest teilweise basierend auf einem aktualisierten neuronalen Netzgraphen zu dem Software-Kernel kombiniert werden.
Fahrzeug nach Anspruch 27 oder 28, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Matrixmultiplikationsoperationen beinhalten und die zwei oder mehr Operationen eine oder mehrere von einer Teilungsoperation und einer Verkettungsoperation beinhalten, die durch die Kombination von zwei oder mehr unabhängigen Operationen in einen Graphen eingeführt werden.
Fahrzeug nach einem der Ansprüche 27 bis 29, wobei die zwei oder mehr Operationen durch den Compiler zumindest teilweise basierend auf einer nach der Kombination von zwei oder mehr unabhängigen Operationen aktualisierten Arbeitsliste zu dem Softwarekern kombiniert werden.
Fahrzeug nach einem der Ansprüche 27 bis 30, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr Faltungsoperationen beinhalten.
Fahrzeug nach einem der Ansprüche 27 bis 31, wobei die zwei oder mehr unabhängigen Operationen zwei oder mehr punktweise Operationen beinhalten.