DE102022109521A1 - Techniken zur Parallelausführung - Google Patents

Techniken zur Parallelausführung Download PDF

Info

Publication number
DE102022109521A1
DE102022109521A1 DE102022109521.5A DE102022109521A DE102022109521A1 DE 102022109521 A1 DE102022109521 A1 DE 102022109521A1 DE 102022109521 A DE102022109521 A DE 102022109521A DE 102022109521 A1 DE102022109521 A1 DE 102022109521A1
Authority
DE
Germany
Prior art keywords
instructions
operations
processors
speculatively
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022109521.5A
Other languages
English (en)
Inventor
Justin Wang
Dz-ching Ju
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of DE102022109521A1 publication Critical patent/DE102022109521A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/44—Encoding
    • G06F8/443—Optimisation
    • G06F8/4441—Reducing the execution time required by the program code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3842—Speculative instruction execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/44—Encoding
    • G06F8/445—Exploiting fine grain parallelism, i.e. parallelism at instruction level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/45—Exploiting coarse grain parallelism in compilation, i.e. parallelism between groups of instructions
    • G06F8/451—Code distribution
    • G06F8/452—Loops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/22—Microcontrol or microprogram arrangements
    • G06F9/28—Enhancement of operational speed, e.g. by using several microcontrol devices operating in parallel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3005—Arrangements for executing specific machine instructions to perform operations for flow control
    • G06F9/30058—Conditional branch instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3888—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple threads [SIMT] in parallel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Devices For Executing Special Programs (AREA)
  • Image Analysis (AREA)
  • Advance Control (AREA)

Abstract

Vorrichtungen, Systeme und Techniken zum Identifizieren von Anweisungen für eine weiterentwickelte Ausführung. In mindestens einer Ausführungsform führt ein Prozessor eine oder mehrere Anweisungen aus, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind.

Description

  • GEBIET
  • Mindestens eine Ausführungsform betrifft Verarbeitungsressourcen, die zur Durchführung und Erleichterung der künstlichen Intelligenz verwendet werden. Zum Beispiel betrifft mindestens eine Ausführungsform Prozessoren oder Computersysteme, die zur Durchführung des Trainings und/oder Inferenz unter Verwendung neuronaler Netze gemäß verschiedenen hierin beschriebenen neuen Techniken verwendet werden.
  • HINTERGRUND
  • Das Training von neuronalen Netzen und/oder die Inferenz mit Hilfe von neuronalen Netzen kann erhebliche Speicher-, Zeit- oder Rechenressourcen beanspruchen. Die Menge an Speicher-, Zeit- oder Rechenressourcen, die für das Training neuronaler Netze und/oder die Inferenz mit Hilfe neuronaler Netze verwendet wird, kann verbessert werden.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das ein System zum Identifizieren von Anweisungen darstellt, die spekulativ ausgeführt werden können, gemäß mindestens einer Ausführungsform;
    • 2 ist ein Blockdiagramm, das ein System zum spekulativen Ausführen von Anweisungen durch Starten von einem Host zu einer Vorrichtung gemäß mindestens einer Ausführungsform darstellt;
    • 3 ist ein Flussdiagramm einer Technik zum Erzeugen von Anweisungen gemäß mindestens einer Ausführungsform;
    • 4 ist ein Flussdiagramm einer Technik zum Identifizieren möglicher spekulativer Anweisungen, gemäß mindestens einer Ausführungsform;
    • 5 ist ein Flussdiagramm einer Technik zum spekulativen Starten von Anweisungen gemäß mindestens einer Ausführungsform;
    • 6 stellt einen Vergleich der Inferenzoperationen dar, die im Laufe der Zeit durchgeführt werden, gemäß mindestens einer Ausführungsform;
    • 7A stellt die Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform dar;
    • 7B stellt die Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform dar;
    • 8 stellt das Training und den Einsatz eines neuronalen Netzes gemäß mindestens einer Ausführungsform dar;
    • 9 stellt ein Beispiel für ein Rechenzentrumssystem gemäß mindestens einer Ausführungsform dar;
    • 10A stellt ein Beispiel eines autonomen Fahrzeugs gemäß mindestens einer Ausführungsform dar;
    • 10B stellt ein Beispiel für Kamerastandorte und Sichtfelder für das autonome Fahrzeug der 10A gemäß mindestens einer Ausführungsform dar;
    • 10C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug der 10A gemäß mindestens einer Ausführungsform darstellt;
    • 10D ist ein Diagramm, das ein System für die Kommunikation zwischen Cloudbasierten Server(n) und dem autonomen Fahrzeug der 10A gemäß mindestens einer Ausführungsform darstellt;
    • 11 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform zeigt;
    • 12 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform zeigt;
    • 13 stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
    • 14 stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
    • 15A stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
    • 15B stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
    • 15C stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
    • 15D stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
    • 15E und 15F stellen ein gemeinsames Programmiermodell gemäß mindestens einer Ausführungsform dar;
    • 16 stellt beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform dar;
    • 17A und 17B stellen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform dar;
    • 18A und 18B stellen zusätzliche beispielhafte Grafikprozessorlogik gemäß mindestens einer Ausführungsform dar;
    • 19 stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
    • 20A stellt einen Parallelprozessor gemäß mindestens einer Ausführungsform dar;
    • 20B stellt eine Partitionseinheit gemäß mindestens einer Ausführungsform dar;
    • 20C stellt einen Verarbeitungscluster gemäß mindestens einer Ausführungsform dar;
    • 20D stellt einen Grafik-Multiprozessor gemäß mindestens einer Ausführungsform dar;
    • 21 stellt ein System mit mehreren Grafikverarbeitungseinheiten (GPU) gemäß mindestens einer Ausführungsform dar;
    • 22 stellt einen Grafikprozessor gemäß mindestens einer Ausführungsform dar;
    • 23 ist ein Blockdiagramm, das eine Prozessor-Mikroarchitektur für einen Prozessor gemäß mindestens einer Ausführungsform darstellt;
    • 24 stellt einen Deep-Learning-Anwendungsprozessor gemäß mindestens einer Ausführungsform dar;
    • 25 ist ein Blockdiagramm, das einen beispielhaften neuromorphen Prozessor gemäß mindestens einer Ausführungsform darstellt;
    • 26 stellt mindestens Teile eines Grafikprozessors gemäß einer oder mehrerer Ausführungsformen dar;
    • 27 stellt mindestens Teile eines Grafikprozessors gemäß einer oder mehrerer Ausführungsformen dar;
    • 28 stellt mindestens Teile eines Grafikprozessors gemäß einer oder mehrerer Ausführungsformen dar;
    • 29 ist ein Blockdiagramm einer Grafikverarbeitungs-Engine eines Grafikprozessors gemäß mindestens einer Ausführungsform;
    • 30 ist ein Blockdiagramm von mindestens Teilen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform;
    • 31A und 31B zeigen die Thread-Ausführungslogik mit einer Anordnung von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform;
    • 32 stellt eine Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform dar;
    • 33 stellt einen allgemeinen Verarbeitungscluster („GPC“) gemäß mindestens einer Ausführungsform dar;
    • 34 stellt eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform dar;
    • 35 stellt einen Streaming-Multiprozessor gemäß mindestens einer Ausführungsform dar.
    • 36 ist ein Beispiel eines Datenflussdiagramms für eine fortgeschrittene Datenverarbeitungspipeline gemäß mindestens einer Ausführungsform dar;
    • 37 ist ein Systemdiagramm für ein Beispielsystem zum Trainieren, Anpassen, Instanziieren und Einsetzen von Modellen für maschinelles Lernen in einer hochentwickelten Datenverarbeitungspipeline gemäß mindestens einer Ausführungsform;
    • 38 enthält eine beispielhafte Darstellung einer hochentwickelten Datenverarbeitungspipeline 3710A zur Verarbeitung von Bilddaten gemäß mindestens einer Ausführungsform;
    • 39A stellt ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments, das ein Ultraschallgerät unterstützt, gemäß mindestens einer Ausführungsform dar;
    • 39B stellt ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform dar;
    • 40A stellt ein Datenflussdiagramm für einen Prozess zum Trainieren eines maschinellen Lernmodells gemäß mindestens einer Ausführungsform dar; und
    • 40B ist eine beispielhafte Darstellung einer Client-Server-Architektur zur Verbesserung von Anmerkungswerkzeugen mit vorab trainierten Annotationsmodellen gemäß mindestens einer Ausführungsform.
  • AUSFÜHRLICHE BESCHREIBUNG
  • 1 ist ein Blockdiagramm, das ein System 100 zum Identifizieren von Anweisungen zeigt, die spekulativ parallel ausgeführt werden können, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet ein Deep-Learning (DL)-Compiler 102 eine Darstellung eines Computerprogramms 104, um eine modifizierte Darstellung eines Computerprogramms 106 zu erzeugen, die mindestens eine spekulativ durchführbare Operation angibt. In mindestens einer Ausführungsform ist der DL-Compiler 102 ein Computerprogramm, das auf einem Prozessor (z. B. einer CPU) läuft und über eine Anwendungsprogrammierschnittstelle (API) zugänglich ist. In mindestens einer Ausführungsform umfasst die Darstellung des Computerprogramms 104 Anweisungen, die von einem Host (z. B. einem Computersystem mit einer CPU) auf einer Vorrichtung (z. B. einer Parallelverarbeitungseinheit (PPU) wie einer Grafikverarbeitungseinheit (GPU)) gestartet werden. In mindestens einer Ausführungsform umfasst die Darstellung des Computerprogramms 104 Operationen, die ein neuronales Netz verwenden, wie z. B. ein rekurrentes neuronales Netz (RNN). In mindestens einer Ausführungsform handelt es sich bei der Darstellung des Computerprogramms 104 um eine graphische Darstellung.
  • In mindestens einer Ausführungsform umfasst die modifizierte Darstellung des Computerprogramms 106 Anweisungen, die von einem Host (z. B. einem Computersystem mit einer CPU) auf einer Vorrichtung (z. B. einer PPU, GPU oder einem anderen geeigneten Beschleunigungsvorrichtung) gestartet werden sollen, und zeigt Anweisungen an, die vom Host spekulativ auf der Vorrichtung gestartet werden können. In mindestens einer Ausführungsform ist die modifizierte Darstellung des Computerprogramms 106 eine modifizierte Graphendarstellung. In mindestens einer Ausführungsform umfasst die modifizierte Darstellung des Computerprogramms 106 die Darstellung des Computerprogramms 104 und eine Liste und/oder eine andere Datenstruktur, die Operationen in der Darstellung des Computerprogramms 104 anzeigt, die sicher spekulativ auszuführen sind. In mindestens einer Ausführungsform ist die modifizierte Darstellung des Computerprogramms 106 eine markierte und/oder mit Annotationen versehene Version der Darstellung des Computerprogramms 104.
  • In mindestens einer Ausführungsform erzeugt der Deep-Learning-Compiler 102 auch einen Speicherzuweisungsplan 108, der mindestens teilweise auf der modifizierten Darstellung des Computerprogramms 106 basiert. In mindestens einer Ausführungsform umfasst der Speicherzuweisungsplan 108 erweiterte Live-Bereiche für Variablen und/oder Werte (z. B. Tensoren), die in Anweisungen (z. B. Operationen) verwendet werden, die eine Angabe aufweisen, dass sie spekulativ ausgeführt werden können. In mindestens einer Ausführungsform erzeugt der Deep-Learning-Compiler 102 erweiterte Live-Bereiche und speichert eine Angabe auf erweiterte Live-Bereiche in einer modifizierten Darstellung des Computerprogramms 106 oder einer anderen Datenstruktur anstelle des Speicherzuweisungsplans 108 oder zusätzlich zu diesem.
  • In mindestens einer Ausführungsform erzeugt ein Stream-Scheduler 110 des Deep-Learning-Compilers 102 eine modifizierte Darstellung eines Computerprogramms 106. In mindestens einer Ausführungsform ist der Stream-Scheduler 110 ein Computerprogramm, das auf einem Prozessor (z. B. einer CPU) läuft und über eine API zugänglich ist. In mindestens einer Ausführungsform identifiziert der Stream-Scheduler 106 Operationen in der Darstellung eines Computerprogramms 104, die spekulativ ausgeführt werden können, und die modifizierte Darstellung eines Computerprogramms 106 enthält mindestens eine Angabe auf eine Operation, die spekulativ ausgeführt werden kann. In mindestens einer Ausführungsform führt der Stream-Scheduler 110 das Stream-Scheduling nur innerhalb eines Basisblocks durch (z. B. überschneiden sich keine Aufgaben aus verschiedenen Basisblöcken). In mindestens einer Ausführungsform führt der Stream-Scheduler 110 ein Stream-Scheduling innerhalb und zwischen Basisblöcken durch. In mindestens einer Ausführungsform erzeugt ein anderer Teil des Deep-Learning-Compilers 102 anstelle des Stream-Schedulers 110 oder zusätzlich zu diesem mindestens einen Teil der modifizierten Darstellung des Computerprogramms 106.
  • In mindestens einer Ausführungsform erzeugt ein Speicherzuordner 112 des Deep-Learning-Compilers 102 einen Speicherzuweisungsplan 108 und/oder andere Angaben zu erweiterten Live-Bereichen. In mindestens einer Ausführungsform ist der Speicherzuordner 112 ein Computerprogramm, das auf einem Prozessor (z. B. einer CPU) läuft und über eine API zugänglich ist. In mindestens einer Ausführungsform erzeugt ein anderer Teil des Deep-Learning-Compilers 102 den Speicherzuweisungsplan 108 und/oder andere Angaben zu erweiterten Live-Bereichen anstelle des Speicherzuordners 112 oder zusätzlich zu diesem.
  • In mindestens einer Ausführungsform findet der DL-Compiler 102 erweiterte Ausführungsmöglichkeiten (z. B. mit dem Stream-Scheduler 110), die mindestens teilweise auf der Darstellung des Computerprogramms 104 (z. B. einem Graphen) basieren, findet Operationen, die während dieser Möglichkeiten sicher ausgeführt werden können, und weist Speicheradressen entsprechend zu (z. B. mit dem Speicherzuordner 112). In mindestens einer Ausführungsform bezieht sich die fortgeschrittene Ausführung und/oder die spekulative Durchführung von Anweisungen oder Operationen auf das Starten von Anweisungen (z. B. eine oder mehrere Operationen in Kerneln) von einem Host zu einer Vorrichtung, bevor eine Angabe (z. B. ein Wert einer Verzweigungsbedingung, der während eines Kopiervorgangs von der Vorrichtung zum Host empfangen wird) empfangen wird, dass gestartete Anweisungen benötigt werden. In mindestens einer Ausführungsform kann mindestens eine Aktion des DL-Compilers 102 anhand des folgenden Pseudocodes beschrieben werden:
 spec_ops = { every advanced execution opportunity }
 for (op in spec_ops):
        for (x in subsequent operations(op)):
            x.safe = true
            if (x changes random state OR
                  x overwrites outputs OR
                  x uses scanned inputs or outputs OR 
                  x.stream != op.stream): #conditions that can cause side effect
             x.safe = false
         for (v in parent(x)):
             if (!v.safe):
                  x.safe = false
             if (x. safe):
                   if (x. liverange. start after spec_op):
                        x.liverange.start = spec_op
                   if (x.liverange. end before spec_op):
                        x.liverange = spec_op
  • In mindestens einer Ausführungsform erzeugt der DL-Compiler 102 eine Liste jede Spekulationsmöglichkeit, indem er Vorrichtung-zu-Host-Kopieroperationen in der Darstellung des Computerprogramms 104 findet. In mindestens einer Ausführungsform erzeugt der DL-Compiler 102 eine Liste von Spekulationsmöglichkeiten basierend auf mindestens einer anderen Art von Operation anstelle von oder zusätzlich zu den Vorrichtung-zu-Host-Kopieroperationen. In mindestens einer Ausführungsform wird die Liste der Spekulationsmöglichkeiten der Variablen spec ops zugewiesen, wie im obigen Pseudocode angegeben. In mindestens einer Ausführungsform durchläuft der DL-Compiler 102 die Knoten der Darstellung des Computerprogramms 104 mindestens teilweise basierend auf der ermittelten Spekulationsmöglichkeiten. In mindestens einer Ausführungsform wählt der DL-Compiler 102 eine Verzweigung aus einer Vielzahl von Verzweigungen aus, die auf eine bedingte Verzweigung folgt, die mit einer Spekulationsmöglichkeit verbunden ist (z. B. eine Verzweigung, die auf den Wert einer Bedingung folgt, die Wahr ist, oder eine Verzweigung, die auf den Wert einer Bedingung folgt, die Falsch ist). In mindestens einer Ausführungsform verwendet der DL-Compiler 102 eine heuristische Technik, um eine Verzweigung aus einer Vielzahl von Verzweigungen auszuwählen (z. B. Auswahl der Verzweigung, die zum Schleifenanfang zurückkehrt, wenn die Schleife typischerweise viele Male iteriert). In mindestens einer Ausführungsform durchläuft der DL-Compiler 102 die Knoten in der ausgewählten Verzweigung (z. B. die Knoten in subsequent operations(op)), um festzustellen, ob die Operationen sicher durchgeführt werden können. In mindestens einer Ausführungsform geht der DL-Compiler 102 zunächst davon aus, dass Operationen sicher ausgeführt werden können, kennzeichnet sie jedoch als unsicher, wenn bestimmte Operationen ausgeführt werden (z. B. solche, die den Zufallszustand ändern, Ausgänge überschreiben, gescannte Eingänge verwenden, Signalbefehle verwenden, Wartebefehle verwenden, einen anderen Strom verwenden und/oder einen übergeordneten Knoten haben, der nicht als sicher gekennzeichnet ist), da die Ausführung dieser Arten von Operationen unerwünschte Nebenwirkungen verursachen kann, wenn sie spekulativ ausgeführt werden. In mindestens einer Ausführungsform erweitert der DL-Compiler 102 die Live-Bereiche von Variablen für Operationen, die als sicher für die spekulative Ausführung gekennzeichnet sind.
  • In mindestens einer Ausführungsform erzeugt der Deep-Learning-Compiler 102, auch wenn er als Compiler bezeichnet wird, eine modifizierte Darstellung des Computerprogramms 106 (z. B. mit Stream-Scheduler 110) und einen Speicherzuweisungsplan 108 (z. B. mit Speicherzuordner 112), erzeugt aber keinen Laufzeitcode, der ausreicht, um ein Computerprogramm auszuführen, das der Darstellung eines Computerprogramms 104 entspricht. In mindestens einer Ausführungsform wird die Darstellung eines Computerprogramms 104 durch ein Deep-Learning-Framework (z. B. TensorFlow oder PyTorch) erzeugt. In mindestens einer Ausführungsform ist die Darstellung des Computerprogramms 104 ein Graph. In mindestens einer Ausführungsform arbeiten der Stream-Scheduler 110 und der Speicherzuordner 112 über eine gemeinsame API. In mindestens einer Ausführungsform erzeugt ein Compiler und/oder Interpreter 114 Laufzeitcode 116, der mindestens teilweise auf der modifizierten Darstellung des Computerprogramms 106 und dem Speicherzuweisungsplan 108 basiert. In mindestens einer Ausführungsform ist der Speicherzuweisungsplan 108 als Teil der modifizierten Darstellung des Computerprogramms 106 enthalten. In mindestens einer Ausführungsform erzeugt der Compiler/Interpreter 114 den Laufzeitcode 116 mindestens teilweise basierend auf anderer Eingaben 118 (z. B. Teile eines Computerprogramms, die nicht durch eine graphische Darstellung eines neuronalen Netzes repräsentiert werden), zusätzlich zur modifizierten Darstellung des Computerprogramms 106 und des Speicherzuweisungsplans 108. In mindestens einer Ausführungsform erzeugt der DL-Compiler 102 Laufzeitcode 116 (z. B. durch Integration des Compilers/Interpreters 114 in den DL-Compiler 102). In mindestens einer Ausführungsform wird der Laufzeitcode 116 zur späteren Verwendung gespeichert (z. B. in einem Speicher und/oder einer dauerhaften Speichereinrichtung). In mindestens einer Ausführungsform wird der Laufzeitcode 116 kurz nach der Erzeugung verwendet (z. B. gerade rechtzeitig für die Ausführung kompiliert). In mindestens einer Ausführungsform sind der Stream-Scheduler 110, der Speicherzuordner 112 und der Compiler/Interpreter 114 (z. B. als Compiler) in einen kombinierten Compiler integriert, der die in Bezug auf den Stream-Scheduler 110, den Speicherzuordner 112 und den Compiler/Interpreter 114 beschriebenen Operationen durchführt, um den Laufzeitcode 116 zur Kompilierzeit zu erzeugen. In mindestens einer Ausführungsform ist der kombinierte Compiler über eine API zugänglich.
  • In mindestens einer Ausführungsform handelt es sich bei der Darstellung eines Computerprogramms 104 um strukturierte Daten (z. B. Daten gemäß einem vorgegebenen Format und/oder einer vorgegebenen Syntax), die ein vollständiges Computerprogramm darstellen. In mindestens einer Ausführungsform handelt es sich bei der Darstellung eines Computerprogramms 104 um strukturierte Daten, die eher einen Teil eines Computerprogramms als ein ganzes Computerprogramm darstellen, wobei die Darstellung einen gerichteten azyklischen Graphen (DAG) definieren kann, um eine Verwendung von Tensor-Daten in einem neuronalen Deep-Learning-Netz anzuzeigen. In mindestens einer Ausführungsform stellt jeder Knoten des DAG eine Operation dar, die eine Tensor-Ausgabe erzeugt, und jede Kante stellt eine Tensor-Produzenten-Verbraucher-Beziehung dar. In mindestens einer Ausführungsform startet ein Client, der das System 100 verwendet (z. B. eine Anwendung, die das System 100 zum Kompilieren und/oder Ausführen eines Trainings- und/oder Inferenzverfahrens für ein neuronales Netz mit tiefem Lernen verwendet), Anweisungen, die mindestens teilweise basierend auf des Laufzeitcodes 116, der modifizierten Darstellung des Programms 106 und/oder des Speicherzuweisungsplans 108 spekulativ ausgeführt werden.
  • In mindestens einer Ausführungsform erzeugt der DL-Compiler 102 eine modifizierte Darstellung des Computerprogramms 106, die mindestens teilweise auf dem Hinzufügen eines oder mehrerer Angaben zur Darstellung des Computerprogramms 104 beruht. In mindestens einer Ausführungsform werden die Angaben als Annotationen bezeichnet. In mindestens einer Ausführungsform erzeugt der DL-Compiler 102 anstelle oder zusätzlich zum Hinzufügen von Angaben zur Darstellung des Computerprogramms 104 eine Datenstruktur, die eine Liste von Anweisungen in der Darstellung des Computerprogramms 104 enthält, die sicher spekulativ auszuführen sind. In mindestens einer Ausführungsform umfasst die Darstellung des Computerprogramms 104 einen Graphen, der eine Inferenz unter Verwendung eines neuronalen Netzes (z. B. eines rekurrenten neuronalen Netzes (RNN)) durchführt. In mindestens einer Ausführungsform umfasst die Darstellung des Computerprogramms 104 einen Graphen, der ein Training unter Verwendung eines neuronalen Netzes (z. B. eines RNN) durchführt. In mindestens einer Ausführungsform ist die Darstellung des Computerprogramms 104 für eine Bildverarbeitungsanwendung bestimmt.
  • 2 ist ein Blockdiagramm, das ein System 200 zur spekulativen Ausführung von Anweisungen durch Start von einem Host 202 zu einer Vorrichtung 204 gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform ist der Host 202 ein Computersystem, das einen Prozessor 206 (z. B. eine CPU) und einen Speicher 208 umfasst. In mindestens einer Ausführungsform ist die Vorrichtung 204 ein Beschleuniger, der einen Prozessor 210 (z. B. einen oder mehrere parallele Prozessoren) und einen Speicher 212 umfasst. In mindestens einer Ausführungsform ist die Vorrichtung 204 eine PPU oder eine GPU. In mindestens einer Ausführungsform läuft der DL-Compiler 102 der 1 auf dem Host 202.
  • In mindestens einer Ausführungsform startet der Host 202 Operationen und/oder Anweisungen, die auf der Vorrichtung 204 ausgeführt werden sollen (z. B. durch das Starten von parallelen Verarbeitungsframework-Anweisungen wie Compute Unified Device Architecture (CUDA) Kernel. In mindestens einer Ausführungsform startet der Host 202 eine oder mehrere Anweisungen, die von der Vorrichtung 204 spekulativ ausgeführt werden sollen, mindestens teilweise basierend auf eines oder mehrerer Hinweise, dass Operationen spekulativ ausgeführt werden können (z. B. kommentierte Anweisungen und/oder Operationen der modifizierten Darstellung des Computerprogramms 106 und/oder des Laufzeitcodes 116 der 1). In mindestens einer Ausführungsform erweitern der Host 202 und/oder die Vorrichtung 204 die Live-Bereiche von Variablen mindestens teilweise basierend auf von erweiterten Live-Bereichen, die vom DL-Compiler 102 der 1 identifiziert werden.
  • In mindestens einer Ausführungsform startet ein Executor (aus Gründen der Übersichtlichkeit nicht dargestellt), der auf dem Host 202 läuft, spekulativ Anweisungen, die mindestens teilweise auf einer modifizierten Darstellung eines Computerprogramms basieren (z. B. einer modifizierten Darstellung des Computerprogramms 106 und/oder des Laufzeitcodes 116 der 1). In mindestens einer Ausführungsform läuft der Executor auf einer CPU (z. B. dem Prozessor 206) und startet Anweisungen (z. B. als Kernel) auf einer Parallelverarbeitungseinheit (z. B. einer GPU). In mindestens einer Ausführungsform ist der Executor eine virtuelle Maschine, die auf dem Prozessor 206 (z. B. einer CPU) läuft.
  • In mindestens einer Ausführungsform wird während der Ausführung eines kompilierten Graphen (z. B. der modifizierten Darstellung 106 oder des Laufzeitcodes 116 der 1) beim Auftreten einer Anweisung mit einer Annotation, die anzeigt, dass eine Operation spekulativ ausgeführt werden kann, mindestens ein Aspekt des Ausführungsprozesses durch den folgenden Pseudocode beschrieben:
    •  //launch async copy
 cuMemcpyAsync(dst, src, nb, strm);
 //Create and record event for copy
 CUevent event;
 cuEventCreate(&event));
 cuEventRecord(event, strm);
 // while waiting for event, launch safe-to-speculate instructions
 int count = 0;
 while (cuEventQuery(event) == CUDA_ERROR_NOT_READY)
 {
        if (count < safe_insn.size()) {
            Execute_insn(safe_insn[count]);
            count++;
            }
 }
 cuEventDestroy(event);
  • In mindestens einer Ausführungsform startet der Host 202 Operationen, die spekulativ auf der Vorrichtung 204 ausgeführt werden, indem er Kernel verwendet, die vom Host 202 gestartet und von der Vorrichtung 204 ausgeführt werden. In mindestens einer Ausführungsform bezieht sich die erweiterte Ausführung und/oder die spekulative Ausführung von Anweisungen oder Operationen auf das Starten von Kerneln, bevor eine Angabe (z. B. ein Wert einer Verzweigungsbedingung, der während eines Kopiervorgangs von der Vorrichtung zum Host empfangen wird) empfangen wird, dass der gestartete Kernel benötigt wird. In mindestens einer Ausführungsform bietet das Starten von Kemeln auf diese Weise Leistungsvorteile, was jedoch zur Folge hat, dass in einigen Fällen ein Kernel ausgeführt wird, der möglicherweise nicht benötigt wird.
  • In mindestens einer Ausführungsform enthält der Prozessor 210 der Vorrichtung 204 eine oder mehrere Schaltungen zum Ausführen einer oder mehrerer Anweisungen, die von einem Compiler (z. B. DL-Compiler 102 der 1) als spekulativ parallel auszuführen identifiziert worden sind. In mindestens einer Ausführungsform umfasst das System 200 einen oder mehrere Speicher zum Speichern von Anweisungen, die als spekulativ parallel auszuführen identifiziert wurden (z. B. Speicher 208 vor dem Kernel-Startbefehl und Speicher 212 nach dem Kernel-Startbefehl, während die Vorrichtung 204 Anweisungen ausführt). In mindestens einer Ausführungsform bedeutet die Identifizierung von spekulativ parallel auszuführenden Anweisungen (z. B. auf einer PPU oder GPU), dass die Anweisungen eine Kennung (z. B. ein Etikett, eine Annotation oder eine andere geeignete Kennung, die den Anweisungen zugeordnet ist) enthalten, so dass ein Host (z. B. Host 202) Anweisungen auf einer Vorrichtung starten kann (z. B. unter Verwendung eines Kernel-Startvorgangs), bevor er sicher ist, dass die Anweisungen benötigt werden (z. B. bevor ein Wert, der eine Verzweigungsbedingung anzeigt, vom Host in einem Kopiervorgang von der Vorrichtung zum Host empfangen wird).
  • In mindestens einer Ausführungsform wurden Anweisungen identifiziert, die vom Compiler spekulativ parallel ausgeführt werden sollen, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen, und eine oder mehrere Schaltungen des Prozessors 210 sollen eine oder mehrere Anweisungen ausführen, mindestens teilweise basierend auf dem Empfang eines Befehls von einem anderen Prozessor (z. B. dem Prozessor 206 des Host 202). In mindestens einer Ausführungsform wurden Anweisungen identifiziert, die spekulativ von einem Compiler parallel ausgeführt werden sollen, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen zwischen einer Parallelverarbeitungseinheit (z. B. Vorrichtung 204) und einem Host-Computersystem (z. B. Host 202) und der Kennzeichnung sicherer Operationen im Anschluss an einen oder mehrere identifizierte Kopieroperationen. In mindestens einer Ausführungsform ist zu verstehen, dass Kopieroperationen von verallgemeinerten Vorrichtung-zu-Host-Kopieroperationen (z. B. in der Darstellung des Computerprogramms 104) identifiziert werden, dass sie aber, wenn sie ausgeführt werden, in Bezug auf eine bestimmte Vorrichtung (z. B. Vorrichtung 204) und einen bestimmten Host (z. B. Host 202) ausgeführt werden. In mindestens einer Ausführungsform enthalten die Anweisungen erweiterte Live-Bereiche für Variablen, die von Operationen verwendet werden, die mit Anweisungen verbunden sind, die als spekulativ auszuführen identifiziert worden sind. In mindestens einer Ausführungsform beziehen sich Anweisungen, die als spekulativ parallel ausführbar identifiziert wurden, auf Anweisungen, die spekulativ ausgeführt werden können, nicht notwendigerweise, dass sie es auch werden. In mindestens einer Ausführungsform stoppt der Host 202 die spekulative Ausführung von Anweisungen, die auf eine Verzweigungsbedingung folgen, nachdem er einen Wert erhalten hat, der diese Verzweigungsbedingung anzeigt, selbst wenn der Host 202 noch nicht alle möglichen Anweisungen ausgeführt hat, die auf diese Verzweigungsbedingung folgen und von einem Compiler als spekulativ auszuführen identifiziert wurden.
  • In mindestens einer Ausführungsform ist der Prozessor 210 Teil einer PPU, und eine oder mehrere Schaltungen des Prozessors 210 sollen eine oder mehrere Anweisungen ausführen, die für eine erweiterte Ausführung identifiziert wurden, nachdem sie einen Kernel-Startbefehl von einem Host-Computersystem (z. B. Host 202) erhalten haben. In mindestens einer Ausführungsform sind die für die erweiterte Ausführung identifizierten Anweisungen Teil einer while-Schleife. In mindestens einer Ausführungsform sind die für die fortgeschrittene Ausführung identifizierten Anweisungen Teil einer anderen Art von Schleife (z. B. einer Zählschleife) oder einer anderen Art von Codeabschnitt nach einer Verzweigungsbedingung. In mindestens einer Ausführungsform implementieren die Anweisungen einen Teil einer Inferenzoperation unter Verwendung eines rekurrenten neuronalen Netzes. In mindestens einer Ausführungsform wurden die Anweisungen vom Compiler mindestens teilweise basierend auf dem Finden einer oder mehrerer bedingter Verzweigungen in einer Darstellung eines Computerprogramms (z. B. Darstellung des Computerprogramms 104 der 1) identifiziert, das ein neuronales Netz verwendet. In mindestens einer Ausführungsform starten ein oder mehrere Prozessoren des Hosts 202 (z. B. Prozessor 206) eine oder mehrere Anweisungen spekulativ zur Ausführung durch einen oder mehrere Prozessoren des Geräts 204 (z. B. Prozessor 210), und ein oder mehrere Prozessoren des Hosts 202 beenden das spekulative Starten von Anweisungen als Reaktion auf den Empfang eines Werts über eine Kopieroperation (z. B. von der Vorrichtung 204), der eine Bedingung erfüllt, die einem oder mehreren spekulativ ausgeführten Anweisungen in einer Darstellung eines Computerprogramms vorausgeht.
  • 3 zeigt ein Flussdiagramm einer Technik 300 zur Erzeugung von Anweisungen gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird das Verfahren 300 von mindestens einer Schaltung, mindestens einem System, mindestens einem Prozessor, mindestens einer Grafikverarbeitungseinheit, mindestens einem Parallelprozessor und/oder mindestens einem anderen hierin beschriebenen und/oder gezeigten Prozessor oder einer Komponente davon ausgeführt. In mindestens einer Ausführungsform wird mindestens ein Aspekt der Technik 300 durch den DL-Compiler 102 der 1 ausgeführt.
  • In mindestens einer Ausführungsform umfasst das Verfahren 300 in einem Block 302 die Identifizierung von Spekulationsmöglichkeiten (z. B. in der Darstellung des Computerprogramms 104 der 1). In mindestens einer Ausführungsform umfasst die Identifizierung von Spekulationsmöglichkeiten das Finden von Vorrichtung-zu-Host-Kopieroperationen. In mindestens einer Ausführungsform handelt es sich bei Operationen, die eine erweiterte Ausführung anderer Operationen ermöglichen, um asynchrone Vorrichtung-zu-Host-Kopien. In mindestens einer Ausführungsform wird, wenn auslagerbarer Speicher für asynchrone Vorrichtung-zu-Host-Kopien verwendet wird, so dass er sich auch bei asynchronen Kopien synchron verhält, während der Ausführung spekulativer Operationen eine andere Form von Speicher verwendet (z. B. Pinned Memory), damit Operationen spekulativ ausgeführt werden können. In mindestens einer Ausführungsform umfasst die Ermittlung von Spekulationsmöglichkeiten das Finden von Operationen, die Kopieroperationen von Vorrichtung zu Host entsprechen und die sicher gestartet werden können, bevor die zu kopierenden Daten empfangen werden. In mindestens einer Ausführungsform umfasst die Ermittlung von Spekulationsmöglichkeiten das Durchsuchen einer Darstellung eines Computerprogramms (z. B. eines Graphen) nach Vorrichtung-zu-Host-Kopien (z. B. während des Stream-Scheduling). In mindestens einer Ausführungsform werden die beim Durchsuchen des Graphen gefundenen Vorrichtung-zu-Host-Kopien als Spekulationspunkte behandelt.
  • In mindestens einer Ausführungsform umfasst die Technik 300 in Block 304 die Kennzeichnung sicherer Operationen. In mindestens einer Ausführungsform umfasst die Kennzeichnung sicherer Operationen die Identifizierung sicherer Operationen. In mindestens einer Ausführungsform werden sichere Operationen als sicher angesehen, wenn sie keine Nebeneffekte erzeugen (z. B. Änderung eines zufälligen Zustands), keine Datenabhängigkeiten unterbrechen und den Speicher von Tensoren, die während der Kopieroperation aktiv sind, nicht überschreiben. In mindestens einer Ausführungsform werden für jeden Spekulationspunkt (z. B. identifiziert durch die in Block 302 gefundenen Vorrichtung-zu-Host-Kopieroperationen) aufeinanderfolgende Operationen in Ausführungsreihenfolge iteriert. In mindestens einer Ausführungsform werden die Iterationen bei Erreichen des Endes eines Basisblocks, einer Wartezeit auf einem Standardstrom oder eines Spekulationspunktes, der derselbe Spekulationspunkt sein kann, abgebrochen. In mindestens einer Ausführungsform wird eine Operation als unsicher gekennzeichnet, wenn sie Nebeneffekte erzeugt (z. B. etwas anderes als Eingaben und Ausgaben ändern kann, wie zufällige oder einige benutzerdefinierte Operationen), gescannte Eingaben/Ausgaben verwendet, einen nicht standardmäßigen Stream verwendet, ein Signal oder eine Warteanweisung ist oder von einer anderen unsicheren Operation abhängt. In mindestens einer Ausführungsform werden gescannte Eingaben/Ausgaben als sicher und nicht als unsicher behandelt, wenn zusätzliche Prüfungen auf Speichergrenzen erfüllt sind. In mindestens einer Ausführungsform werden alle anderen Operationen als sicher behandelt. In mindestens einer Ausführungsform werden die Operationen als sicher oder unsicher gekennzeichnet (z. B. mit einer Datenstruktur, einem Vermerk, einem Etikett oder in einer separaten Datenstruktur, die die Operationen den entsprechenden Sicherheitsangaben zuordnet).
  • In mindestens einer Ausführungsform wird die Identifizierung von Spekulationsmöglichkeiten in Block 302 und die Kennzeichnung sicherer Operationen in Block 304 anhand des folgenden Pseudocode-Beispiels näher erläutert:
    •  Tensors a, b, and f are live into BB1.
 BB1:
 1. c = add a b
 2. d = rand a // unsafe
 3. e = conv c f
 4. g = add d e // unsafe, depends on d
 5. d2h copy g
 6. cjmp g [BB1, BB2]
 BB2...
  • In mindestens einer Ausführungsform wird in Bezug auf den obigen Pseudocode zunächst ein Basisblock (z. B. durch den Deep-Learning-Compiler 102 der 1) nach Deviceto-Host-Kopien (d2h) durchsucht, was in diesem Fall Operation (op) 5 ist. In mindestens einer Ausführungsform fährt die Technik fort, durch die Operationen zu iterieren, beginnend bei op 5 (z. B., wo d2h gefunden wurde), wobei die Unterbrechungsbedingungen für die Iteration das Ende des Basisblocks, Stream-0-Wartezeiten und andere Spekulationspunkte sind, mit einer besonderen Behandlung für cjmp, um zum Beginn des Basisblocks zurückzuschleifen. In mindestens einer Ausführungsform geht der Iterator während der Iteration bei op 6 zu op 1. In mindestens einer Ausführungsform ist op 1 als sicher markiert. In mindestens einer Ausführungsform ist op 2 ein zufälliger op, der zu Seiteneffekten führt und daher als unsicher gekennzeichnet ist. In mindestens einer Ausführungsform wird op 3 als sicher gekennzeichnet. In mindestens einer Ausführungsform hängt op 4 von d aus op 2 ab und ist daher als unsicher gekennzeichnet. In mindestens einer Ausführungsform hört die Iteration bei op 5 auf, wobei op 1 und op 3 zuvor als sicher markiert wurden.
  • In mindestens einer Ausführungsform umfasst die Technik 300 in einem Block 306 die Erweiterung von Live-Intervallen von Variablen. In mindestens einer Ausführungsform umfasst das Erweitern von Live-Intervallen von Variablen das Scannen eines Graphen (z. B. die modifizierte Darstellung des Computerprogramms 106 der 1) nach Spekulationspunkten, dann werden für jede Operation, die als sicher für Spekulationen markiert wurde, Live-Bereiche von Tensoren, die von der Operation verwendet werden, erweitert, um sicherzustellen, dass sie während Spekulationspunkten live sind. In mindestens einer Ausführungsform wird durch die Erweiterung der aktiven Bereiche sichergestellt, dass nach der Ressourcenzuweisung keine Verletzung der Anti-Abhängigkeit und/oder der Ausgabeabhängigkeit auftritt. In mindestens einer Ausführungsform wird die Erweiterung der Live-Intervalle von Variablen in Block 306 bei der Speicherzuweisung unter der Annahme verwendet, dass Operationen außer der Reihe ausgeführt werden können.
  • In mindestens einer Ausführungsform umfasst das Verfahren 300 in einem Block 308 das Erzeugen von Anweisungen (z. B. eine modifizierte Darstellung des Computerprogramms 106, des Speicherzuweisungsplans 108 und/oder des Laufzeitcodes 116 der 1). In mindestens einer Ausführungsform umfasst das Verfahren 300 in einem Block 310 die Durchführung anderer Aktionen. In mindestens einer Ausführungsform umfasst die Durchführung anderer Aktionen in Block 310 das Verschieben eines Kopiervorgangs in den erzeugten Anweisungen und/oder in der modifizierten Darstellung eines Computerprogramms, beispielsweise durch Verschieben eines Kopiervorgangs von einem Vorrichtung zu einem Host, so dass er entweder direkt nach der Definition einer Gerätevariablen oder direkt vor der Verwendung einer Hostvariablen erfolgt, wenn sich der Kopiervorgang nicht bereits an einer solchen Position befindet.
  • In mindestens einer Ausführungsform wird die Technik 300 mindestens teilweise durch die Ausführung eines Satzes von Anweisungen (z. B. von einem nicht transitorischen maschinenlesbaren Medium) unter Verwendung eines oder mehrerer Prozessoren (z. B. des Hosts 202 der 2 oder eines anderen geeigneten Prozessors, wie hier gezeigt oder beschrieben) durchgeführt. In mindestens einer Ausführungsform umfasst das Verfahren 300 die Identifizierung einer oder mehrerer Anweisungen, die spekulativ parallel ausgeführt werden sollen (z. B. unter Verwendung des DL-Compilers 102 der 1). In mindestens einer Ausführungsform umfasst die Technik 300 die Identifizierung von spekulativ auszuführenden Anweisungen, die mindestens teilweise auf der Identifizierung von Kopieroperationen (z. B. in Block 302) zwischen einer Parallelverarbeitungseinheit und einem Host-Computersystem in einer Darstellung eines Computerprogramms basieren. In mindestens einer Ausführungsform identifiziert die Technik 300 Operationen, die auf eine Kopieroperation folgen und deren Ausführung sicher ist (z. B. in Block 304). In mindestens einer Ausführungsform umfasst die Technik 300 die Kennzeichnung von Operationen, deren spekulative Ausführung sicher ist (z. B. in Block 304). In mindestens einer Ausführungsform umfasst die Technik 300 die Erweiterung eines Live-Bereichs von Variablen, die mit Operationen verbunden sind, die als sicher für die spekulative Ausführung gekennzeichnet sind (z. B. in Block 306). In mindestens einer Ausführungsform umfasst die Technik 300 das Durchsuchen einer Darstellung eines Computerprogramms nach Kopieroperationen zwischen einer GPU und einem Host-Computersystem und das Identifizieren von Kopieroperationen, die auf Kopieroperationen folgen und sicher spekulativ auszuführen sind. In mindestens einer Ausführungsform umfasst die Technik 300 die Erweiterung eines Live-Bereichs von Variablen, die mit identifizierten Operationen verbunden sind, die spekulativ parallel ausgeführt werden sollen. In mindestens einer Ausführungsform umfasst die Technik 300 das Finden einer bedingten Verzweigung in einer Darstellung eines Computerprogramms, die mindestens teilweise auf der Identifizierung einer Kopieroperation in der Darstellung des Computerprogramms basiert, das Auswählen eines Pfades aus einer Vielzahl von Pfaden, die auf die bedingte Verzweigung folgen, und das Identifizieren von Anweisungen im ausgewählten Pfad, die sicher spekulativ auszuführen sind.
  • 4 zeigt ein Flussdiagramm eines Verfahrens 400 zur Identifizierung möglicher spekulativer Anweisungen gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird das Verfahren 400 von mindestens einer Schaltung, mindestens einem System, mindestens einem Prozessor, mindestens einer Grafikverarbeitungseinheit, mindestens einem Parallelprozessor und/oder mindestens einem anderen hierin beschriebenen und/oder gezeigten Prozessor oder einer Komponente davon ausgeführt. In mindestens einer Ausführungsform werden ein oder mehrere Aspekte der Technik 400 durch den DL-Compiler 102 der 1 ausgeführt.
  • In mindestens einer Ausführungsform umfasst das Verfahren 400 in einem Block 402 die Identifizierung einer Darstellung eines Satzes von Anweisungen (z. B. die Darstellung des Computerprogramms 104 der 1). In mindestens einer Ausführungsform umfasst die Identifizierung einer Darstellung eines Befehlssatzes den Empfang eines API-Funktionsaufrufs, der eine Darstellung des Befehlssatzes (z. B. einen Graphen), einen Zeiger auf die Darstellung des Befehlssatzes, einen Link auf die Darstellung des Befehlssatzes oder eine andere geeignete Art der Identifizierung der Darstellung des Befehlssatzes enthält.
  • In mindestens einer Ausführungsform umfasst das Verfahren 400 in einem Block 404 das Finden von Vorrichtung-zu-Host-Kopieroperationen (z. B. in der Darstellung des Computerprogramms 104 der 1). In mindestens einer Ausführungsform umfasst das Finden von Vorrichtung-zu-Host-Kopieroperationen das Durchlaufen der Darstellung des Satzes von Anweisungen, die in Block 402 identifiziert wurden, um nach Vorrichtung-zu-Host-Kopieroperationen zu suchen und diese zu finden. In mindestens einer Ausführungsform umfasst die Technik 400 die Suche nach bedingten Verzweigungen in Block 404 auf eine andere oder zusätzliche Weise als die Suche nach Vorrichtung-zu-Host-Kopieroperationen. In mindestens einer Ausführungsform umfasst das Finden von Vorrichtung-zu-Host-Kopieroperationen die Suche nach asynchronen Vorrichtung-zu-Host-Kopieroperationen.
  • In mindestens einer Ausführungsform umfasst das Verfahren 400 in einem Block 406 die Auswahl von Verzweigungspfaden. In mindestens einer Ausführungsform umfasst die Auswahl von Verzweigungspfaden in Block 406 die Auswahl eines oder mehrerer Verzweigungspfade aus einer Vielzahl von Verzweigungspfaden. In mindestens einer Ausführungsform umfasst die Auswahl von Verzweigungspfaden in Block 406 die Verwendung einer Heuristik zur Auswahl eines Verzweigungspfads (z. B. die Auswahl eines Pfads, der eine zusätzliche Iterationsanweisung in einer Schleife anstelle von Anweisungen nach Beendigung der Schleife ausführt, wenn die Schleife typischerweise viele Male ausgeführt wird). In mindestens einer Ausführungsform umfasst die Technik 400 in einem Block 408 die Durchführung anderer Aktionen. In mindestens einer Ausführungsform umfasst die Durchführung anderer Aktionen in Block 408 die Rückkehr zu Block 404, um zusätzliche Kopieroperationen zu identifizieren.
  • 5 zeigt ein Flussdiagramm eines Verfahrens 500 zum spekulativen Starten von Anweisungen gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird das Verfahren 500 von mindestens einer Schaltung, mindestens einem System, mindestens einem Prozessor, mindestens einer Grafikverarbeitungseinheit, mindestens einem Parallelprozessor und/oder mindestens einem anderen hierin beschriebenen und/oder dargestellten Prozessor oder einer Komponente davon ausgeführt. In mindestens einer Ausführungsform umfasst das Verfahren 500 in einem Block 502 das Identifizieren einer Spekulationsmöglichkeit. In mindestens einer Ausführungsform umfasst das Identifizieren einer Spekulationsmöglichkeit in Block 502 das Identifizieren eines Punktes in einem Deep-Learning-Netzwerk, an dem ein Host auf eine Vorrichtung warten muss, bevor er in der Lage ist, eine Verzweigung auszuwählen, die er in einem Kontrollfluss (z. B. Operationen, die Verzweigungsbedingungen kopieren) vornehmen kann. In mindestens einer Ausführungsform umfasst die Identifizierung einer Spekulationsmöglichkeit in Block 502 die Identifizierung eines Kopiervorgangs von der Vorrichtung zum Host. In mindestens einer Ausführungsform umfasst die Identifizierung einer Spekulationsmöglichkeit in Block 502 die Identifizierung einer Operation, die zuvor (z. B. durch eine Annotation, ein Etikett oder eine andere geeignete Kennung) als sicher für die spekulative Ausführung identifiziert wurde (z. B. durch den DL-Compiler 102 der 1).
  • In mindestens einer Ausführungsform umfasst das Verfahren 500 in einem Block 504 das spekulative Starten von Anweisungen. In mindestens einer Ausführungsform wird das spekulative Starten von Anweisungen in Block 504 vom Host 202 der 2 durchgeführt. In mindestens einer Ausführungsform wird das spekulative Starten von Anweisungen in Block 504 von einem Executor (z. B. einer virtuellen Maschine, die auf einem Host läuft) ausgeführt. In mindestens einer Ausführungsform umfasst das spekulative Starten von Anweisungen in Block 504 das Starten von Kernel nach einer Verzweigungsbedingung, bevor sicher ist, dass Kernel benötigt werden.
  • In mindestens einer Ausführungsform umfasst das Verfahren 500 in einem Block 506 die Durchführung anderer Aktionen. In mindestens einer Ausführungsform umfasst die Durchführung anderer Aktionen in Block 506 die Rückkehr zu Block 502, um eine nächste Spekulationsmöglichkeit zu identifizieren. In mindestens einer Ausführungsform umfasst die Durchführung anderer Aktionen in Block 506 das Außerkraftsetzen von Vorrichtung-zu-Host-Kopierbefehlen, einschließlich des Kopierens in einen angehefteten Speicher, des Erzeugens eines Ereignisses, des Aufzeichnens auf diesem Ereignis, des Startens sicherer Operationen während der Abfrage des Ereignisses (z. B. in Block 504) und des Zerstörens des Ereignisses. In mindestens einer Ausführungsform wird eine Außerkraftsetzung innerhalb einer Kopierimplementierung durch den folgenden Pseudocode beschrieben:
    •  // inside copy implementation
 // coping to pinned memory (memcpy is async)
 const CUresult cpy = cudaWrapApi(cuMemcpyAsync((CUdeviceptr)dst, (CUdeviceptr)src, nb,
 strm));
 CUevent event = 0;



 const CUresult res = cudaWrapApi(cuEventCreate(&event, CU_EVENT_DISABLE_TIMING));
 const CUresult sy = cudaWrapApi(cuEventRecord(event, strm));
 int kernel_count = 0;
  
 //speculative_ids contains program counters of instructions to speculate
 while (cudaWrapApi(cuEventQuery(event)) == CUDA_ERROR_NOT_READY)
 {
        if (kernel_count < speculative)ids.size()0
        {
            vm -> execute_insn(speculative_ids[kernel_count]);
            vm -> skip_insn.insert(speculative_ids[kernel_count]);
            kernel_count++;
        }
 }
 const CUresult des = cudaWrapApi(cuEventDestroy(event));
  • In mindestens einer Ausführungsform, wie im obigen Pseudocode gezeigt, umfasst die Übersteuerung die Möglichkeit, dass ein Befehl andere Anweisungen auslöst, und eine Möglichkeit, Anweisungen während des Hauptausführungskontexts zu überspringen.
  • In mindestens einer Ausführungsform umfasst die Durchführung anderer Aktionen in Block 506 die Ausführung (z. B. durch die Vorrichtung 204 der 2) einer oder mehrerer Anweisungen, die von einem Compiler (z. B. DL-Compiler 102 der 1) als spekulativ parallel ausführbar identifiziert wurden. In mindestens einer Ausführungsform wurden die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert, mindestens teilweise basierend auf dem Identifizieren von Operationen, die keinen Zufallszustand ändern, keine Ausgaben überschreiben, keine Signalbefehle verwenden und keine Wartebefehle verwenden. In mindestens einer Ausführungsform wurden Anweisungen so identifiziert, dass sie von einem Compiler spekulativ parallel ausgeführt werden, mindestens teilweise basierend auf dem Identifizieren einer bedingten Verzweigung und dem Auswählen eines Pfads aus einer Vielzahl von Pfaden, die auf die bedingte Verzweigung folgen. In mindestens einer Ausführungsform wurden Anweisungen so identifiziert, dass sie spekulativ parallel von einem Compiler ausgeführt werden, der mindestens teilweise auf der Identifizierung von Kopieroperationen basiert. In mindestens einer Ausführungsform enthalten die Anweisungen erweiterte Live-Bereiche für Variablen, die in spekulativ ausgeführten Operationen verwendet werden. In mindestens einer Ausführungsform implementieren die Anweisungen einen Teil einer Inferenzoperation unter Verwendung eines neuronalen Netzes.
  • 6 zeigt einen Vergleich 600 von Inferenzoperationen, die gemäß mindestens einer Ausführungsform im Laufe der Zeit durchgeführt werden. In mindestens einer Ausführungsform veranschaulicht eine erste vereinfachte Darstellung 602 die Inferenzoperationen, die mindestens teilweise auf einem neuronalen Netz basieren, das im Laufe der Zeit ohne Verwendung einer erweiterten Ausführung ausgeführt wird. In mindestens einer Ausführungsform veranschaulicht eine zweite vereinfachte Darstellung 604 Inferenzoperationen, die im Laufe der Zeit unter Verwendung desselben neuronalen Netzwerks wie bei der ersten vereinfachten Darstellung 602, aber unter Verwendung einer erweiterten Ausführung (z. B. wie in Bezug auf eine oder mehrere der 1-5 beschrieben) durchgeführt werden.
  • In mindestens einer Ausführungsform umfasst die erste vereinfachte Darstellung 602 einen oberen Teil 606, der die auf einem Host-Computersystem ausgeführten Operationen veranschaulicht, und einen unteren Teil 608, der die auf einer Vorrichtung (z. B. einer PPU oder einer GPU) ausgeführten Operationen veranschaulicht. In mindestens einer Ausführungsform umfasst die zweite vereinfachte Darstellung 604 einen oberen Teil 610, der auf einem Host-Computersystem ausgeführte Operationen veranschaulicht, und einen unteren Teil 612, der auf einer Vorrichtung (z. B. einer PPU oder einer GPU) ausgeführte Operationen veranschaulicht.
  • In mindestens einer Ausführungsform wird bei einer Inferenz ohne Durchführung spekulativer Operationen das Ende einer ersten Iteration (z. B. einer while-Schleife für ein RNN) durch eine Zeile 614 und das Ende einer zweiten Iteration durch eine Zeile 616 markiert. In mindestens einer Ausführungsform wird bei einer Inferenz, die die Durchführung spekulativer Operationen umfasst (z. B. wie in einer oder mehreren der 1-5 beschrieben), das Ende einer ersten Iteration durch eine Zeile 618 und das Ende einer zweiten Iteration durch eine Zeile 620 markiert.
  • In mindestens einer Ausführungsform ist eine Lücke 622 in der zweiten Iteration der auf der Vorrichtung durchgeführten Operationen vorhanden, die im unteren Teil 608 angezeigt wird, bevor eine erste Operation 614 der zweiten Iteration auf der Vorrichtung durchgeführt wird. In mindestens einer Ausführungsform resultiert die Lücke 622 aus der Anforderung, dass das Hostsystem auf das Ergebnis einer von der Vorrichtung zurückgegebenen Bedingung wartet (z. B. den Wert einer Variablen, die anzeigt, ob die Schleife beendet ist), bevor es weitere Operationen auf der Vorrichtung ausführt. In mindestens einer Ausführungsform wartet das Hostsystem auf den Abschluss eines Synchronisationsvorgangs 624 (z. B. eines Stream-Synchronisationsvorgangs zwischen Hostsystem und Vorrichtung), bevor es weitere Anweisungen ausführt, wenn die Durchführung spekulativer Operationen nicht unterstützt wird. In mindestens einer Ausführungsform ist bei einer Inferenz, die die Durchführung spekulativer Operationen umfasst, keine Lücke ähnlich der Lücke 622 vorhanden, bevor eine erste Operation 626 auf der Vorrichtung durchgeführt wird. In mindestens einer Ausführungsform, wenn die Durchführung spekulativer Operationen unterstützt wird, startet das Hostsystem Kernel für die nächste Iteration (z. B. Kernel, die Anweisungen enthalten, die als sicher für eine erweiterte Ausführung gekennzeichnet sind), ohne eine Synchronisationsoperation durchzuführen und/oder bevor das Hostsystem eine Angabe erhalten hat, dass Kernel für die nächste Iteration benötigt werden. In mindestens einer Ausführungsform führt das Starten von Kerneln für die nächste Iteration auf diese Weise dazu, dass die Vorrichtung die Arbeit schneller ausführen kann (z. B. ohne eine Lücke wie die Lücke 622 vor der ersten Operation 626). In mindestens einer Ausführungsform führt dies zu Leistungsvorteilen wie einer höheren Auslastung des Geräts und/oder einer kürzeren Zeit bis zum Abschluss einer Iteration im Vergleich zu einem System, das die Durchführung spekulativer Operationen nicht unterstützt.
  • In mindestens einer Ausführungsform zeigt der Vergleich 600 vereinfachte Darstellungen von Operationen eines Decoders (z. B. ein natürliches Sprachmodell wie ein Tacotron-2-Decoder oder ein anderer geeigneter Decoder) im Zeitverlauf (z. B. eine Iteration zwischen Zeile 614 und Zeile 616 für ein System, das keine spekulativen Operationen unterstützt, und eine Iteration zwischen Zeile 618 und Zeile 620 für ein System, das spekulative Operationen unterstützt). In mindestens einer Ausführungsform zeigt der Vergleich 600 vereinfachte Darstellungen von Systemspuren (z. B. wie sie von einem Systemleistungsanalysetool wie NVIDIA Nsight Systems oder einem anderen geeigneten Leistungsanalysetool erzeugt werden).
  • In mindestens einer Ausführungsform veranschaulicht der Vergleich 600, dass die Durchführung spekulativer Operationen (z. B. wie in Bezug auf eine oder mehrere der 1-5 beschrieben) zu einer größeren Parallelität und/oder Auslastung führen kann als bei herkömmlichen Ansätzen, die eine Synchronisierung an jedem Verzweigungspunkt erfordern. In mindestens einer Ausführungsform bietet die Durchführung spekulativer Operationen Leistungsvorteile gegenüber herkömmlichen Ansätzen, bei denen ein Hostsystem nur die Arbeit bis zu einer Verzweigung starten kann und warten muss, bis die Vorrichtung fertig ist, bevor es einen Pfad auswählt. In mindestens einer Ausführungsform führt die Durchführung spekulativer Operationen (z. B. wie in einer oder mehreren der 1 bis 5 beschrieben) zu Leistungsvorteilen bei der Inferenz und/oder beim Training mit RNNs, bei denen eine Ausgabe von Knoten als Eingabe zurückgeführt wird und sich RNNs wie Schleifen von Knoten über eine Zeitsequenz verhalten. In mindestens einer Ausführungsform erhöht die Durchführung spekulativer Operationen die Auslastung eines Geräts (z. B. des Geräts 204 in 2) und bietet eine Leistungsverbesserung von etwa 15 % im Vergleich zu älteren Techniken, die keine spekulativen Operationen durchführen (z. B. keine Kernel von einem Host zu einer Vorrichtung starten, bevor sicher ist, dass sie benötigt werden). In mindestens einer Ausführungsform gilt die Durchführung spekulativer Operationen (z. B. wie in einer oder mehreren der 1-5 beschrieben) für Hostsysteme, die Kernel spekulativ auf GPUs starten, die selbst nicht über hardwaregestützte Out-of-Order-Ausführung oder Verzweigungsvorhersage verfügen. In mindestens einer Ausführungsform kann die Durchführung spekulativer Operationen (z. B. wie in Bezug auf eine oder mehrere der 1-5 beschrieben) in Bezug auf den folgenden Pseudocode erörtert werden: 
    •  while(cond_host): #looping RNN body
         R1 = A1 * A2 # All work is done on device
         R2 = B1-B2
         cond_device = R10 < R11
         cond_host = memcpyDeviceToHost(cond_device)
 output = sqrt (R12) # after loop
  • In mindestens einer Ausführungsform werden die Anweisungen in der while-Schleife des obigen Pseudocodes vom Host gestartet und auf der Vorrichtung berechnet. In mindestens einer Ausführungsform muss der Host, nachdem alle Anweisungen gestartet wurden, warten, bis die letzte Speicherkopie abgeschlossen ist, bevor er weitere Anweisungen starten kann (z. B. ohne erweiterte Ausführung). In mindestens einer Ausführungsform mit erweiterter Ausführung (z. B. wie in einer oder mehreren der 1-5 beschrieben) kann der Host fortfahren, Anweisungen für die nächste Iteration zu starten, bevor er die Schleifenbedingung auswertet.
  • INFERENZ- UND TRAININGSLOGIK
  • 7A zeigt die Inferenz- und/oder Trainingslogik 715, die zur Durchführung von Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet wird. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden weiter unten in Verbindung mit 7A und/oder 7B beschrieben.
  • In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung einen Code- und/oder Datenspeicher 701 umfassen, um Vorwärts- und/oder Ausgangsgewichte und/oder Eingangs-/Ausgangsdaten und/oder andere Parameter zu speichern, um Neuronen oder Schichten eines neuronalen Netzes zu konfigurieren, das in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder zur Inferenzverwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 715 einen Code- und/oder Datenspeicher 701 enthalten oder mit diesem gekoppelt sein, um einen Graphencode oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge steuert, in der Gewichts- und/oder andere Parameterinformationen geladen werden, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend als arithmetische Logikeinheiten (ALUs) bezeichnet). In mindestens einer Ausführungsform lädt ein Code, z. B. ein Graphencode, Gewichtungs- oder andere Parameterinformationen in Prozessor-ALUs basierend auf einer Architektur eines neuronalen Netzes, der ein solcher Code entspricht. In mindestens einer Ausführungsform speichert der Code- und/oder Datenspeicher 701 Gewichtungsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzes, das während der Vorwärtspropagierung von Eingabe-/Ausgabedaten und/oder Gewichtungsparametern während des Trainings und/oder der Inferenz unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform kann ein beliebiger Teil des Code- und/oder Datenspeichers 701 in einen anderen On-Chip- oder Off-Chip-Datenspeicher aufgenommen werden, einschließlich des L1-, L2- oder L3-Cachespeichers oder Systemspeichers eines Prozessors.
  • In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 701 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen sein. In mindestens einer Ausführungsform kann der Code und/oder der Code- und/oder Datenspeicher 701 ein Cache-Speicher, ein dynamischer zufällig adressierbarer Speicher („DRAM“), ein statischer zufällig adressierbarer Speicher („SRAM“), ein nichtflüchtiger Speicher (z. B. ein Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann die Wahl, ob der Code- und/oder Code- und/oder Datenspeicher 701 intern oder extern zu einem Prozessor ist, oder ob er DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgröße der bei der Inferenz und/oder dem Training eines neuronalen Netzes verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
  • In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung einen Code- und/oder Datenspeicher 705 umfassen, um Rückwärts- und/oder Ausgangsgewichts- und/oder Eingangs-/Ausgangsdaten zu speichern, die Neuronen oder Schichten eines neuronalen Netzes entsprechen, das in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder zur Inferenz verwendet wird. In mindestens einer Ausführungsform speichert der Code- und/oder Datenspeicher 705 Gewichtsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzes, das in Verbindung mit einer oder mehreren Ausführungsformen während der Rückwärtspropagation von Eingabe-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenz unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 715 einen Code- und/oder Datenspeicher 705 enthalten oder mit diesem gekoppelt sein, um einen Graphencode oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge steuert, in der Gewichts- und/oder andere Parameterinformationen geladen werden, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend arithmetische Logikeinheiten (ALUs)).
  • In mindestens einer Ausführungsform bewirkt ein Code, z. B. ein Graphencode, das Laden von Gewichts- oder anderen Parameterinformationen in Prozessor-ALUs basierend auf einer Architektur eines neuronalen Netzes, dem dieser Code entspricht. In mindestens einer Ausführungsform kann ein beliebiger Teil des Codes und/oder des Datenspeichers 705 in einen anderen On-Chip- oder Off-Chip-Datenspeicher aufgenommen werden, einschließlich des L1-, L2- oder L3-Cachespeichers oder des Systemspeichers eines Prozessors. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 705 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen sein. In mindestens einer Ausführungsform kann der Code- und/oder Datenspeicher 705 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann die Entscheidung, ob der Code- und/oder Datenspeicher 705 intern oder extern zu einem Prozessor ist, oder ob er DRAM, SRAM, Flash-Speicher oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgröße der bei der Inferenz und/oder dem Training eines neuronalen Netzes verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
  • In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 separate Speicherstrukturen sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 eine kombinierte Speicherstruktur sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 teilweise kombiniert und teilweise getrennt sein. In mindestens einer Ausführungsform kann ein beliebiger Teil des Code- und/oder Datenspeichers 701 und des Code- und/oder Datenspeichers 705 in einen anderen On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, integriert werden.
  • In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung eine oder mehrere arithmetische Logikeinheit(en) („ALU(s)“) 710 umfassen, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, um logische und/oder mathematische Operationen durchzuführen, die mindestens teilweise auf Trainings- und/oder Inferenzcode (z. B. Graphencode) basieren oder von diesem angezeigt werden, deren Ergebnis in einem Aktivierungsspeicher 720 gespeicherte Aktivierungen (z. B. Ausgabewerte von Schichten oder Neuronen innerhalb eines neuronalen Netzes) erzeugen kann, die Funktionen von in Code- und/oder Datenspeicher 701 und/oder Code- und/oder Datenspeicher 705 gespeicherten Eingabe/Ausgabe- und/oder Gewichtsparameterdaten sind. In mindestens einer Ausführungsform werden die im Aktivierungsspeicher 720 gespeicherten Aktivierungen gemäß linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die von der/den ALU(s) 710 als Reaktion auf Ausführungsbefehle oder anderen Code ausgeführt wird, wobei im Code- und/oder Datenspeicher 705 und/oder Datenspeicher 701 gespeicherte Gewichtungswerte als Operanden zusammen mit anderen Werten, wie z. B. Bias-Werten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, verwendet werden, die ganz oder teilweise im Code- und/oder Datenspeicher 705 oder Code- und/oder Datenspeicher 701 oder einem anderen Speicher auf oder außerhalb des Chips gespeichert sein können.
  • In mindestens einer Ausführungsform sind die ALU(s) 710 in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen enthalten, während in einer anderen Ausführungsform die ALU(s) 710 extern zu einem Prozessor oder einem anderen Hardware-Logikgerät oder einer Schaltung sein können, die sie verwenden (z. B. ein Co-Prozessor). In mindestens einer Ausführungsform können die ALUs 710 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Bank von ALUs enthalten sein, auf die die Ausführungseinheiten eines Prozessors entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlichen Typs (z. B. zentrale Verarbeitungseinheiten, Grafikverarbeitungseinheiten, feste Funktionseinheiten usw.) zugreifen können. In mindestens einer Ausführungsform können sich der Code- und/oder Datenspeicher 701, der Code- und/oder Datenspeicher 705 und der Aktivierungsspeicher 720 einen Prozessor oder eine andere Hardware-Logikvorrichtung oder -schaltung teilen, während sie sich in einer anderen Ausführungsform in verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen oder in einer Kombination aus gleichen und verschiedenen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen befinden können. In mindestens einer Ausführungsform kann ein beliebiger Teil des Aktivierungsspeichers 720 in einen anderen On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Cachespeichers oder Systemspeichers eines Prozessors, integriert sein. Darüber hinaus kann der Inferenz- und/oder Trainingscode zusammen mit anderem Code gespeichert werden, auf den ein Prozessor oder eine andere Hardware-Logik oder -Schaltung zugreifen kann und der mit Hilfe der Abruf-, Dekodier-, Planungs-, Ausführungs-, Ausscheidungs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet wird.
  • In mindestens einer Ausführungsform kann der Aktivierungsspeicher 720 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann sich der Aktivierungsspeicher 720 vollständig oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen befinden. In mindestens einer Ausführungsform kann die Wahl, ob der Aktivierungsspeicher 720 beispielsweise innerhalb oder außerhalb eines Prozessors liegt oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speichertyp besteht, von dem verfügbaren Speicher auf dem Chip bzw. außerhalb des Chips, den Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzfunktionen, der Stapelgröße der bei der Inferenz und/oder dem Training eines neuronalen Netzes verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
  • In mindestens einer Ausführungsform kann die in 7A dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung („ASIC“) verwendet werden, wie z. B. einer TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z. B. „Lake Crest“) Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 7A dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit Hardware der Zentraleinheit („CPU“), der Grafikverarbeitungseinheit („GPU“) oder anderer Hardware, wie z. B. feldprogrammierbaren Gate-Arrays („FPGAs“), verwendet werden.
  • 7B zeigt die Inferenz- und/oder Trainingslogik 715 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung eine Hardware-Logik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzes entsprechen. In mindestens einer Ausführungsform kann die in 7B dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) verwendet werden, wie z. B. der TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana®-Prozessor (z. B. „Lake Crest“) von Intel Corp. In mindestens einer Ausführungsform kann die in 7B dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit Hardware der Zentraleinheit (CPU), der Grafikverarbeitungseinheit (GPU) oder anderer Hardware, wie z. B. feldprogrammierbare Gate-Arrays (FPGAs), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715, ohne Einschränkung, den Code- und/oder Datenspeicher 701 und den Code- und/oder Datenspeicher 705, die zum Speichern von Code (z. B. Graphencode), Gewichtswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform, die in 7B dargestellt ist, ist jeder Code- und/oder Datenspeicher 701 und jeder Code- und/oder Datenspeicher 705 mit einer dedizierten Rechenressource verbunden, wie z.B. Rechenhardware 702 bzw. Rechenhardware 706. In mindestens einer Ausführungsform umfasst jede der Berechnungshardware 702 und der Berechnungshardware 706 eine oder mehrere ALUs, die mathematische Funktionen, wie lineare algebraische Funktionen, nur auf Informationen ausführen, die im Code- und/oder Datenspeicher 701 bzw. im Code- und/oder Datenspeicher 705 gespeichert sind, wobei das Ergebnis im Aktivierungsspeicher 720 gespeichert wird.
  • In mindestens einer Ausführungsform entsprechen jeder der Code- und/oder Datenspeicher 701 und 705 und die entsprechende Rechenhardware 702 bzw. 706 verschiedenen Schichten eines neuronalen Netzes, so dass die resultierende Aktivierung von einem Speicher-/Rechenpaar 701/702 aus Code- und/oder Datenspeicher 701 und Rechenhardware 702 als Eingabe für ein nächstes Speicher-/Rechenpaar 705/706 aus Code- und/oder Datenspeicher 705 und Rechenhardware 706 bereitgestellt wird, um eine konzeptionelle Organisation eines neuronalen Netzes widerzuspiegeln. In mindestens einer Ausführungsform kann jedes der Speicher-/Rechenpaare 701/702 und 705/706 mehr als einer neuronalen Netzschicht entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher-/Rechenpaare (nicht dargestellt) im Anschluss an oder parallel zu den Speicher-/Rechenpaaren 701/702 und 705/706 in die Inferenz- und/oder Trainingslogik 715 einbezogen werden.
  • TRAINING UND EINSATZ NEURONALER NETZE
  • 8 illustriert das Training und den Einsatz eines tiefen neuronalen Netzwerks gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird ein untrainiertes neuronales Netz 806 unter Verwendung eines Trainingsdatensatzes 802 trainiert. In mindestens einer Ausführungsform ist das Trainingsframework 804 ein PyTorch-Framework, während in anderen Ausführungsformen das Trainingsframework 804 ein TensorFlow-, Boost-, Caffe-, Microsoft Cognitive Toolkit/CNTK-, MXNet-, Chainer-, Keras-, Deeplearning4j- oder anderes Trainingsframework ist. In mindestens einer Ausführungsform trainiert das TrainingsFramework 804 ein untrainiertes neuronales Netzwerk 806 und ermöglicht dessen Training unter Verwendung der hier beschriebenen Verarbeitungsressourcen, um ein trainiertes neuronales Netzwerk 808 zu erzeugen. In mindestens einer Ausführungsform können die Gewichte zufällig oder durch Vortraining mit einem Deep Belief Network ausgewählt werden. In mindestens einer Ausführungsform kann das Training entweder auf überwachte, teilweise überwachte oder nicht überwachte Weise durchgeführt werden.
  • In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 806 durch überwachtes Lernen trainiert, wobei der Trainingsdatensatz 802 eine Eingabe enthält, die mit einer gewünschten Ausgabe für eine Eingabe gepaart ist, oder wobei der Trainingsdatensatz 802 eine Eingabe mit einer bekannten Ausgabe enthält und eine Ausgabe des neuronalen Netzes 806 manuell eingestuft wird. In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 806 auf überwachte Weise trainiert und verarbeitet Eingaben aus dem Trainingsdatensatz 802 und vergleicht die resultierenden Ausgaben mit einem Satz von erwarteten oder gewünschten Ausgaben. In mindestens einer Ausführungsform werden die Fehler dann durch das untrainierte neuronale Netz 806 zurückverfolgt. In mindestens einer Ausführungsform passt der Trainingsframework 804 die Gewichte an, die das untrainierte neuronale Netz 806 steuern. In mindestens einer Ausführungsform enthält der Trainingsframework 804 Werkzeuge, um zu überwachen, wie gut das untrainierte neuronale Netz 806 zu einem Modell konvergiert, wie z. B. dem trainierten neuronalen Netz 808, das geeignet ist, basierend auf von Eingabedaten, wie z. B. einem neuen Datensatz 812, korrekte Antworten zu erzeugen, wie z. B. im Ergebnis 814. In mindestens einer Ausführungsform trainiert der Trainingsframework 804 das untrainierte neuronale Netz 806 wiederholt, während er die Gewichte anpasst, um eine Ausgabe des untrainierten neuronalen Netzes 806 unter Verwendung einer Verlustfunktion und eines Anpassungsalgorithmus, wie z. B. stochastischer Gradientenabstieg, zu verfeinern. In mindestens einer Ausführungsform trainiert der Trainingsframework 804 das untrainierte neuronale Netz 806, bis das untrainierte neuronale Netz 806 eine gewünschte Genauigkeit erreicht. In mindestens einer Ausführungsform kann das trainierte neuronale Netz 808 dann eingesetzt werden, um eine beliebige Anzahl von maschinellen Lernoperationen zu implementieren.
  • In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 806 unter Verwendung von unüberwachtem Lernen trainiert, wobei das untrainierte neuronale Netz 806 versucht, sich selbst unter Verwendung unmarkierter Daten zu trainieren. In mindestens einer Ausführungsform enthält der Trainingsdatensatz 802 für das unüberwachte Lernen Eingabedaten ohne zugehörige Ausgabedaten oder „Ground-Truth-Daten“. In mindestens einer Ausführungsform kann das untrainierte neuronale Netz 806 Gruppierungen innerhalb des Trainingsdatensatzes 802 erlernen und bestimmen, wie einzelne Eingaben mit dem untrainierten Datensatz 802 zusammenhängen. In mindestens einer Ausführungsform kann das unüberwachte Training verwendet werden, um eine selbstorganisierende Karte im trainierten neuronalen Netz 808 zu erzeugen, die in der Lage ist, Operationen durchzuführen, die bei der Reduzierung der Dimensionalität des neuen Datensatzes 812 nützlich sind. In mindestens einer Ausführungsform kann unüberwachtes Training auch zur Erkennung von Anomalien verwendet werden, was die Identifizierung von Datenpunkten im neuen Datensatz 812 ermöglicht, die von den normalen Mustern des neuen Datensatzes 812 abweichen.
  • In mindestens einer Ausführungsform kann halbüberwachtes Lernen verwendet werden, d. h. eine Technik, bei der der Trainingsdatensatz 802 eine Mischung aus beschrifteten und unbeschrifteten Daten enthält. In mindestens einer Ausführungsform kann der Trainingsframework 804 verwendet werden, um inkrementelles Lernen durchzuführen, z. B. durch übertragene Lerntechniken. In mindestens einer Ausführungsform ermöglicht das inkrementelle Lernen dem trainierten neuronalen Netz 808, sich an einen neuen Datensatz 812 anzupassen, ohne das Wissen zu vergessen, das dem trainierten neuronalen Netz 808 während des anfänglichen Trainings eingeflößt wurde.
  • DATENZENTRUM
  • 9 zeigt ein Beispiel für ein Rechenzentrum 900, in dem mindestens eine Ausführungsform verwendet werden kann. In mindestens einer Ausführungsform umfasst das Rechenzentrum 900 eine Rechenzentrumsinfrastrukturschicht 910, eine Framework-Schicht 920, eine Softwareschicht 930 und eine Anwendungsschicht 940.
  • In mindestens einer Ausführungsform, wie in 9 dargestellt, kann die Infrastrukturschicht 910 des Rechenzentrums einen Ressourcen-Orchestrator 912, gruppierte Rechenressourcen 914 und Knoten-Rechenressourcen („Knoten-C.R.s“) 916(1)-916(N) umfassen, wobei „N“ eine positive ganze Zahl darstellt (die eine andere ganze Zahl „N“ sein kann als in anderen Figuren verwendet). In mindestens einer Ausführungsform können die Knoten C.R.s 916(1)-916(N) eine beliebige Anzahl von Zentraleinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, feldprogrammierbare Gate-Arrays (FPGAs), Grafikprozessoren usw.) umfassen, sind aber nicht darauf beschränkt.), Speichervorrichtungen 918(1)-918(N) (z. B. dynamischer Festspeicher, Festkörperspeicher oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabevorrichtungen („NW I/O“), Netzwerk-Switches, virtuelle Maschinen („VMs“), Stromversorgungsmodule und Kühlmodule usw. In mindestens einer Ausführungsform können ein oder mehrere Knoten-C.R.s unter den Knoten-C.R.s 916(1)-916(N) ein Server mit einer oder mehreren der oben genannten Rechenleistungen sein.
  • In mindestens einer Ausführungsform können die gruppierten Rechenressourcen 914 separate Gruppierungen von Knoten-C.R.s umfassen, die in einem oder mehreren Racks (nicht dargestellt) oder in vielen Racks in Datenzentren an verschiedenen geografischen Standorten (ebenfalls nicht dargestellt) untergebracht sind. In mindestens einer Ausführungsform können separate Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechenressourcen 914 gruppierte Rechen-, Netzwerk-, Speicher- oder Speicherressourcen umfassen, die zur Unterstützung einer oder mehrerer Arbeitslasten konfiguriert oder zugewiesen werden können. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s mit CPUs oder Prozessoren in einem oder mehreren Racks gruppiert werden, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform können ein oder mehrere Racks auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination enthalten.
  • In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 912 einen oder mehrere Knoten C.R.s 916(1)-916(N) und/oder gruppierte Rechenressourcen 914 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 912 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 900 enthalten. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 712 Hardware, Software oder eine Kombination davon umfassen.
  • In mindestens einer Ausführungsform, wie in 9 gezeigt, umfasst die Framework-Schicht 920 einen Job Scheduler 922, einen Konfigurationsmanager 924, einen Ressourcenmanager 926 und ein verteiltes Dateisystem 928. In mindestens einer Ausführungsform kann die Framework-Schicht 920 ein Framework zur Unterstützung der Software 932 der Softwareschicht 930 und/oder einer oder mehrerer Anwendungen 942 der Anwendungsschicht 940 enthalten. In mindestens einer Ausführungsform können die Software 932 oder die Anwendung(en) 942 jeweils webbasierte Dienstsoftware oder Anwendungen umfassen, wie sie beispielsweise von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann die Framework-Schicht 920 eine Art von freiem und quelloffenem Software-Webanwendungs-Framework wie Apache Spark™ (im Folgenden „Spark“) sein, das ein verteiltes Dateisystem 928 für die Verarbeitung großer Datenmengen (z. B. „Big Data“) nutzen kann, ist aber nicht darauf beschränkt. In mindestens einer Ausführungsform kann der Job Scheduler 922 einen Spark-Treiber enthalten, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 900 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsmanager 924 in der Lage sein, verschiedene Schichten zu konfigurieren, z. B. die Softwareschicht 930 und die Framework-Schicht 920 einschließlich Spark und das verteilte Dateisystem 928 zur Unterstützung der Verarbeitung großer Datenmengen. In mindestens einer Ausführungsform kann der Ressourcenmanager 926 in der Lage sein, geclusterte oder gruppierte Computerressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 928 und des Job Schedulers 922 zugeordnet sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Rechenressourcen gruppierte Rechenressourcen 914 auf der Infrastrukturschicht 910 des Rechenzentrums umfassen. In mindestens einer Ausführungsform kann der Ressourcenmanager 926 mit dem Ressourcen-Orchestrator 912 koordiniert werden, um diese zugeordneten oder zugewiesenen Computerressourcen zu verwalten.
  • In mindestens einer Ausführungsform kann die in der Softwareschicht 930 enthaltene Software 932 Software enthalten, die von mindestens Teilen der Knoten C.R.s 916(1)-916(N), der gruppierten Rechenressourcen 914 und/oder des verteilten Dateisystems 928 der Framework-Schicht 920 verwendet wird. In mindestens einer Ausführungsform können eine oder mehrere Arten von Software unter anderem Internet-Suchsoftware, E-Mail-Virenscan-Software, Datenbanksoftware und Software für Streaming-Videoinhalte umfassen.
  • In mindestens einer Ausführungsform kann (können) die in der Anwendungsschicht 940 enthaltene(n) Anwendung(en) 942 eine oder mehrere Arten von Anwendungen umfassen, die von mindestens Teilen der Knoten C.R.s 916(1)-916(N), den gruppierten Rechenressourcen 914 und/oder dem verteilten Dateisystem 928 der Framework-Schicht 920 verwendet werden. In mindestens einer Ausführungsform können eine oder mehrere Arten von Anwendungen eine beliebige Anzahl von Genomanwendungen, eine kognitive Rechenanwendung und eine maschinelle Lernanwendung, einschließlich Trainings- oder Inferenzsoftware, maschinelle Lernsoftware (z. B. PyTorch, TensorFlow, Caffe usw.) oder andere maschinelle Lernanwendungen, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden, umfassen, sind aber nicht darauf beschränkt.
  • In mindestens einer Ausführungsform können der Konfigurationsmanager 924, der Ressourcenmanager 926 und der Ressourcen-Orchestrator 912 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren, die auf einer beliebigen Menge und Art von Daten basieren, die auf jede technisch mögliche Weise erfasst werden. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Rechenzentrumsbetreiber des Rechenzentrums 900 davon entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht funktionierende Teile eines Rechenzentrums zu vermeiden.
  • In mindestens einer Ausführungsform kann das Datenzentrum 900 Werkzeuge, Dienste, Software oder andere Ressourcen enthalten, um ein oder mehrere maschinelle Lernmodelle zu trainieren oder Informationen unter Verwendung eines oder mehrerer maschineller Lernmodelle gemäß einer oder mehrerer hierin beschriebener Ausführungsformen vorherzusagen oder abzuleiten. Zum Beispiel kann in mindestens einer Ausführungsform ein maschinelles Lernmodell trainiert werden, indem Gewichtsparameter gemäß einer neuronalen Netzwerkarchitektur unter Verwendung von Software und Computerressourcen berechnet werden, die oben in Bezug auf das Datenzentrum 900 beschrieben wurden. In mindestens einer Ausführungsform können trainierte maschinelle Lernmodelle, die einem oder mehreren neuronalen Netzen entsprechen, verwendet werden, um Informationen abzuleiten oder vorherzusagen, wobei die oben beschriebenen Ressourcen in Bezug auf das Datenzentrum 900 verwendet werden, indem Gewichtungsparameter verwendet werden, die durch eine oder mehrere hier beschriebene Trainingstechniken berechnet werden.
  • In mindestens einer Ausführungsform kann das Datenzentrum CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um das Training und/oder die Inferenz mit den oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst konfiguriert werden, um Benutzern das Training oder die Inferenz von Informationen zu ermöglichen, wie z. B. Bilderkennung, Spracherkennung oder andere Dienste der künstlichen Intelligenz.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System 9 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 9 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • AUTONOMES FAHRZEUG
  • 10A zeigt ein Beispiel für ein autonomes Fahrzeug 1000 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das autonome Fahrzeug 1000 (hier alternativ als „Fahrzeug 1000“ bezeichnet) ohne Einschränkung ein Personenkraftwagen sein, wie z. B. ein Pkw, ein Lkw, ein Bus und/oder eine andere Art von Fahrzeug, das einen oder mehrere Fahrgäste aufnehmen kann. In mindestens einer Ausführungsform kann das Fahrzeug 1000 ein Sattelschlepper sein, der für den Transport von Gütern verwendet wird. In mindestens einer Ausführungsform kann das Fahrzeug 1000 ein Flugzeug, ein Roboterfahrzeug oder eine andere Art von Fahrzeug sein.
  • Autonome Fahrzeuge können in Form von Automatisierungsstufen beschrieben werden, die von der National Highway Traffic Safety Administration („NHTSA“), einer Abteilung des US-Verkehrsministeriums, und der Society of Automotive Engineers („SAE“) „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ (z. B. Standard Nr. J3016-201806, veröffentlicht am 15. Juni 2018, Standard Nr. J3016-201609, veröffentlicht am 30. September 2016, sowie frühere und zukünftige Versionen dieses Standards) definiert werden. In mindestens einer Ausführungsform kann das Fahrzeug 1000 in der Lage sein, Funktionen gemäß einer oder mehrerer der Stufen 1 bis 5 der autonomen Fahrstufen auszuführen. Zum Beispiel kann das Fahrzeug 1000 in mindestens einer Ausführungsform je nach Ausführungsform bedingt automatisiert (Stufe 3), hochautomatisiert (Stufe 4) und/oder vollständig automatisiert (Stufe 5) sein.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 ohne Einschränkung Komponenten wie ein Fahrgestell, eine Fahrzeugkarosserie, Räder (z.B. 2, 4, 6, 8, 18, etc.), Reifen, Achsen und andere Komponenten eines Fahrzeugs umfassen. In mindestens einer Ausführungsform kann das Fahrzeug 1000 ohne Einschränkung ein Antriebssystem 1050 umfassen, wie z. B. einen Verbrennungsmotor, ein Hybrid-Elektrokraftwerk, einen reinen Elektromotor und/oder einen anderen Antriebssystemtyp. In mindestens einer Ausführungsform kann das Antriebssystem 1050 mit einem Antriebsstrang des Fahrzeugs 1000 verbunden sein, der ohne Einschränkung ein Getriebe umfassen kann, um den Antrieb des Fahrzeugs 1000 zu ermöglichen. In mindestens einer Ausführungsform kann das Antriebssystem 1050 als Reaktion auf den Empfang von Signalen von einer Drosselklappe/einem Gaspedal (1052) gesteuert werden.
  • In mindestens einer Ausführungsform wird ein Lenksystem 1054, das ohne Einschränkung ein Lenkrad umfassen kann, verwendet, um das Fahrzeug 1000 zu lenken (z. B. entlang eines gewünschten Weges oder einer Route), wenn das Antriebssystem 1050 in Betrieb ist (z. B. wenn das Fahrzeug 1000 in Bewegung ist). In mindestens einer Ausführungsform kann das Lenksystem 1054 Signale von dem/den Lenkaktor(en) 1056 empfangen. In mindestens einer Ausführungsform kann ein Lenkrad für die vollständige Automatisierung (Stufe 5) optional sein. In mindestens einer Ausführungsform kann ein Bremssensorsystem 1046 verwendet werden, um die Fahrzeugbremsen als Reaktion auf den Empfang von Signalen von Bremsbetätigungselement(en) 1048 und/oder Bremssensoren zu betätigen.
  • In mindestens einer Ausführungsform liefern Steuergerät(e) 1036, die ohne Einschränkung ein oder mehrere System-on-Chips („SoCs“) (in 10A nicht dargestellt) und/oder Grafikverarbeitungseinheiten („GPU(s)“) umfassen können, Signale (z. B. repräsentativ für Anweisungen) an eine oder mehrere Komponenten und/oder Systeme des Fahrzeugs 1000. In mindestens einer Ausführungsform kann (können) das (die) Steuergerät(e) 1036 beispielsweise Signale zur Betätigung der Fahrzeugbremsen über den (die) Bremsaktuator(en) 1048, zur Betätigung des Lenksystems 1054 über den (die) Lenkaktuator(en) 1056 und zur Betätigung des Antriebssystems 1050 über den (die) Gashebel/Beschleuniger 1052 senden. In mindestens einer Ausführungsform kann (können) das (die) Steuergerät(e) 1036 eine oder mehrere an Bord befindliche (z. B. integrierte) Rechenvorrichtungen umfassen, die Sensorsignale verarbeiten und Betriebsbefehle ausgeben (z. B. Signale, die Anweisungen darstellen), um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Führen des Fahrzeugs 1000 zu unterstützen. In mindestens einer Ausführungsform kann (können) die Steuereinheit(en) 1036 eine erste Steuereinheit für autonome Fahrfunktionen, eine zweite Steuereinheit für funktionale Sicherheitsfunktionen, eine dritte Steuereinheit für Funktionen der künstlichen Intelligenz (z. B. Computer Vision), eine vierte Steuereinheit für Infotainment-Funktionen, eine fünfte Steuereinheit für Redundanz in Notfällen und/oder andere Steuereinheiten umfassen. In mindestens einer Ausführungsform kann ein einziges Steuergerät zwei oder mehr der oben genannten Funktionen übernehmen, zwei oder mehr Steuergeräte können eine einzige Funktion übernehmen und/oder eine beliebige Kombination davon.
  • In mindestens einer Ausführungsform liefert (liefern) die Steuereinheit(en) 1036 Signale zur Steuerung einer oder mehrerer Komponenten und/oder Systeme des Fahrzeugs 1000 als Reaktion auf Sensordaten, die von einem oder mehreren Sensoren (z. B. Sensoreingaben) empfangen werden. In mindestens einer Ausführungsform können Sensordaten beispielsweise und ohne Einschränkung von einem oder mehreren Sensoren des globalen Navigationssatellitensystems („GNSS“) 1058 (z. B. Global Positioning System"-Sensor(en)), RADAR-Sensor(en) 1060, Ultraschallsensor(en) 1062, LIDAR-Sensor(en) 1064, Trägheitsmesseinheit(en)-Sensor(en) 1066 (z. B. Beschleunigungsmesser, Gyroskop(e), Magnetkompass oder Magnetkompasse, Magnetometer usw.), Mikrofon(e) 1096), Mikrofon(e) 1096, Stereokamera(s) 1068, Weitwinkelkamera(s) 1070 (z. B. Fischaugenkameras), Infrarotkamera(s) 1072, Umgebungskamera(s) 1074 (z. B. 360-Grad-Kameras), Kameras mit großer Reichweite (in 10A nicht dargestellt), Mittelbereichskamera(s) (in 10A), Geschwindigkeitssensor(en) 1044 (z. B. zur Messung der Geschwindigkeit des Fahrzeugs 1000), Schwingungssensor(en) 1042, Lenksensor(en) 1040, Bremssensor(en) (z. B. als Teil des Bremssensorsystems 1046) und/oder andere Sensortypen.
  • In mindestens einer Ausführungsform können ein oder mehrere Steuergeräte 1036 Eingaben (z. B. in Form von Eingabedaten) von einem Kombiinstrument 1032 des Fahrzeugs 1000 empfangen und Ausgaben (z. B. in Form von Ausgabedaten, Anzeigedaten usw.) über eine Mensch-Maschine-Schnittstelle („HMI“)-Angabe 1034, einen akustischen Melder, einen Lautsprecher und/oder über andere Komponenten des Fahrzeugs 1000 bereitstellen. In mindestens einer Ausführungsform können die Ausgaben Informationen wie Fahrzeuggeschwindigkeit, Drehzahl, Zeit, Kartendaten (z. B. eine hochauflösende Karte (in 10A nicht dargestellt)), Standortdaten (z. B. der Standort des Fahrzeugs 1000, z. B. auf einer Karte), Richtung, Standort anderer Fahrzeuge (z. B. ein Belegungsraster), Informationen über Objekte und den Status von Objekten, wie von dem/den Controller(n) 1036 wahrgenommen, usw. umfassen. Zum Beispiel kann in mindestens einer Ausführungsform die HMI-Angabe 1034 Informationen über das Vorhandensein eines oder mehrerer Objekte (z. B. ein Straßenschild, ein Warnschild, eine sich ändernde Ampel usw.) und/oder Informationen über Fahrmanöver anzeigen, die das Fahrzeug durchgeführt hat, gerade durchführt oder durchführen wird (z. B. Spurwechsel jetzt, Ausfahrt 34B in zwei Meilen usw.).
  • In mindestens einer Ausführungsform umfasst das Fahrzeug 1000 außerdem eine Netzwerkschnittstelle 1024, die Funkantenne(n) 1026 und/oder Modem(e) zur Kommunikation über ein oder mehrere Netzwerke verwenden kann. Zum Beispiel kann in mindestens einer Ausführungsform die Netzwerkschnittstelle 1024 in der Lage sein, über Long-Term Evolution („LTE“), Breiband-Codevielfachzugriff („WCDMA“), Universal Mobile Telecommunications System („UMTS“), Global System for Mobile communication („GSM“), IMT-CDMA Multi-Carrier („CDMA2000“) Netzwerke usw. zu kommunizieren. In mindestens einer Ausführungsform können die drahtlose(n) Antenne(n) 1026 auch die Kommunikation zwischen Objekten in der Umgebung (z. B. Fahrzeuge, mobile Geräte usw.) ermöglichen, wobei lokale Netzwerke wie Bluetooth, Bluetooth Low Energy („LE“), Z-Wave, ZigBee usw. und/oder Weitverkehrsnetze mit geringer Leistung („LPWANs“) wie LoRaWAN, SigFox usw. verwendet werden.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System 10A für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 10A gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 des Fahrzeugs 1000 (in 10C als Teil der CPU(s) 1006 und GPU(s) 1008 dargestellt) mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik 715 mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform umfasst das Fahrzeug 1000 ein Computervision-System, das einen oder mehrere Prozessoren umfasst, um eine oder mehrere Trajektorien eines entsprechenden einen oder mehrerer Objekte zu identifizieren, mindestens teilweise basierend auf dem Ausführen von einer oder mehreren Inferenzoperationen unter Verwendung einer Darstellung eines Computerprogramms, das eine oder mehrere Anweisungen umfasst, die von einem Compiler (z.B. DL-Compiler 102 der 1) als spekulativ parallel durchführbar identifiziert wurden. In mindestens einer Ausführungsform umfasst das Fahrzeug 1000 eines oder mehrere von einem Antriebssystem, einem Richtungssteuerungssystem und einem Fahrzeugführerbenachrichtigungssystem, um eine oder mehrere Aktionen (z. B. Beschleunigung, Bremsen, Lenken, Warnsignal) mindestens teilweise basierend auf einer oder mehrerer identifizierter Trajektorien durchzuführen.
  • 10B zeigt ein Beispiel für Kamerapositionen und Sichtfelder für das autonome Fahrzeug 1000 der 10A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform sind die Kameras und die jeweiligen Sichtfelder ein Ausführungsbeispiel und nicht als einschränkend zu verstehen. Zum Beispiel können in mindestens einer Ausführungsform zusätzliche und/oder alternative Kameras enthalten sein und/oder die Kameras können sich an verschiedenen Stellen des Fahrzeugs 1000 befinden.
  • In mindestens einer Ausführungsform kann es sich bei den Kameratypen um Digitalkameras handeln, die für die Verwendung mit Komponenten und/oder Systemen des Fahrzeugs 1000 angepasst werden können, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform kann (können) die Kamera(s) mit der Fahrzeugsicherheits-Integritätsstufe („ASIL“) B und/oder einer anderen ASIL arbeiten. In mindestens einer Ausführungsform können die Kameratypen je nach Ausführungsform eine beliebige Bildaufnahmerate erreichen, z. B. 60 Frames pro Sekunde (fps), 1220 fps, 240 fps usw. In mindestens einer Ausführungsform können die Kameras einen Rollblendenverschluss, globale Blendenverschluss, einen anderen Verschlusstyp oder eine Kombination davon verwenden. In mindestens einer Ausführungsform kann die Farbfilteranordnung eine Rot-Klar-Klar-Klar-Farbfilteranordnung („RCCC“), eine Rot-Klar-Klar-Blau-Farbfilteranordnung („RCCB“), eine Rot-Blau-Grün-Klar-Farbfilteranordnung („RBGC“), eine Foveon X3-Farbfilteranordnung, eine Bayer-Sensor-Farbfilteranordnung („RGGB“), eine Monochromsensor-Farbfilteranordnung und/oder eine andere Art von Farbfilteranordnung umfassen. In mindestens einer Ausführungsform können zur Erhöhung der Lichtempfindlichkeit Clear-Pixel-Kameras, wie z. B. Kameras mit einer RCCC-, einer RCCB- und/oder einer RBGC-Farbfilteranordnung, verwendet werden.
  • In mindestens einer Ausführungsform können eine oder mehrere Kameras verwendet werden, um Funktionen fortschrittlicher Fahrerassistenzsysteme („ADAS“) auszuführen (z. B. als Teil einer redundanten oder ausfallsicheren Konstruktion). Zum Beispiel kann in mindestens einer Ausführungsform eine Multifunktions-Monokamera installiert werden, um Funktionen wie Spurhalteassistent, Verkehrszeichenassistent und intelligente Scheinwerfersteuerung bereitzustellen. In mindestens einer Ausführungsform können eine oder mehrere der Kameras (z. B. alle Kameras) gleichzeitig Bilddaten (z. B. Video) aufzeichnen und bereitstellen.
  • In mindestens einer Ausführungsform können eine oder mehrere Kameras in einer Montagebaugruppe, z. B. einer kundenspezifisch gestalteten (dreidimensional („3D“) gedruckten) Baugruppe, montiert werden, um Streulicht und Reflexionen aus dem Inneren des Fahrzeugs 1000 (z. B. Reflexionen vom Armaturenbrett, die in den Windschutzscheibenspiegeln reflektiert werden) auszuschalten, die die Fähigkeit der Kamera zur Bilddatenerfassung beeinträchtigen können. In Bezug auf die Montage von Außenspiegeln kann in mindestens einer Ausführungsform der Außenspiegel kundenspezifisch 3D-gedruckt werden, so dass eine Kameramontageplatte der Form eines Außenspiegels entspricht. In mindestens einer Ausführungsform können die Kamera(s) in die Außenspiegel integriert werden. In mindestens einer Ausführungsform können bei Seitenkameras die Kamera(s) auch in vier Säulen an jeder Ecke der Kabine integriert werden.
  • In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Teile einer Umgebung vor dem Fahrzeug 1000 umfasst (z. B. nach vorne gerichtete Kameras), für die Umgebungsansicht verwendet werden, um dabei zu helfen, nach vorne gerichtete Pfade und Hindernisse zu identifizieren, sowie mit Hilfe eines oder mehrerer Steuergeräte 1036 und/oder Steuer-SoCs bei der Bereitstellung von Informationen zu helfen, die für die Erstellung eines Belegungsgitters und/oder die Bestimmung bevorzugter Fahrzeugpfade entscheidend sind. In mindestens einer Ausführungsform können nach vorne gerichtete Kameras verwendet werden, um viele ähnliche ADAS-Funktionen wie LIDAR auszuführen, einschließlich, ohne Einschränkung, Notbremsung, Fußgängererkennung und Kollisionsvermeidung. In mindestens einer Ausführungsform können nach vorne gerichtete Kameras auch für ADAS-Funktionen und - Systeme verwendet werden, einschließlich, aber nicht beschränkt auf Spurverlassenswarnungen („LDW“), autonome Geschwindigkeitsregelung („ACC“) und/oder andere Funktionen wie Verkehrszeichenerkennung.
  • In mindestens einer Ausführungsform kann eine Vielzahl von Kameras in einer nach vorne gerichteten Konfiguration verwendet werden, z. B. eine monokulare Kameraplattform mit einem CMOS („Komplementär-Metalloxid-Halbleiter“) Farbbildsensor. In mindestens einer Ausführungsform kann eine Weitwinkelkamera 1070 verwendet werden, um Objekte zu erkennen, die von der Peripherie her ins Blickfeld kommen (z. B. Fußgänger, kreuzenden Verkehr oder Fahrräder). Obwohl in 10B nur eine Weitwinkelkamera 1070 dargestellt ist, können in anderen Ausführungsformen beliebig viele (einschließlich null) Weitwinkelkameras am Fahrzeug 1000 vorhanden sein. In mindestens einer Ausführungsform kann eine beliebige Anzahl von Weitwinkelkameras 1098 (z. B. ein Weitwinkel-Stereokamerapaar) zur tiefenbasierten Objekterkennung verwendet werden, insbesondere für Objekte, für die ein neuronales Netz noch nicht trainiert wurde. In mindestens einer Ausführungsform können die Weitwinkelkamera(s) 1098 auch zur Objekterkennung und -klassifizierung sowie zur grundlegenden Objektverfolgung verwendet werden.
  • In mindestens einer Ausführungsform kann eine beliebige Anzahl von Stereokamera(s) 1068 auch in einer nach vorne gerichteten Konfiguration enthalten sein. In mindestens einer Ausführungsform können eine oder mehrere der Stereokamera(s) 1068 eine integrierte Steuereinheit enthalten, die eine skalierbare Verarbeitungseinheit umfasst, die eine programmierbare Logik („FPGA“) und einen Multicore-Mikroprozessor mit einer integrierten Controller Area Network („CAN“)- oder Ethernet-Schnittstelle auf einem einzigen Chip bereitstellen kann. In mindestens einer Ausführungsform kann eine solche Einheit verwendet werden, um eine 3D-Karte der Umgebung des Fahrzeugs 1000 zu erstellen, einschließlich einer Abstandsschätzung für alle Punkte in einem Bild. In mindestens einer Ausführungsform können eine oder mehrere der Stereokamera(s) 1068 ohne Einschränkung kompakte Stereosicht-Sensoren umfassen, die ohne Einschränkung zwei Kameralinsen (je eine links und rechts) und einen Bildverarbeitungschip enthalten können, der die Entfernung zwischen Fahrzeug 1000 und Zielobjekt messen und die erzeugten Informationen (z. B. Metadaten) verwenden kann, um autonome Notbrems- und Spurhaltewarnfunktionen zu aktivieren. In mindestens einer Ausführungsform können auch andere Arten von Stereokameras 1068 zusätzlich oder alternativ zu den hier beschriebenen verwendet werden.
  • In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Teile der Umgebung an den Seiten des Fahrzeugs 1000 einschließt (z. B. Seitenkameras), für die Umgebungsansicht verwendet werden und Informationen liefern, die zur Erstellung und Aktualisierung eines Belegungsrasters sowie zur Erzeugung von Seitenaufprallwarnungen verwendet werden. In mindestens einer Ausführungsform könnte(n) die Umgebungskamera(s) 1074 (z. B. vier Umgebungskameras, wie in 10B dargestellt) am Fahrzeug 1000 positioniert werden. In mindestens einer Ausführungsform kann (können) die Umgebungskamera(s) 1074 ohne Einschränkung eine beliebige Anzahl und Kombination von Weitwinkelkameras, Fischaugenkameras, 360-Grad-Kameras und/oder ähnlichen Kameras umfassen. Zum Beispiel können in mindestens einer Ausführungsform vier Fischaugenkameras an der Vorderseite, der Rückseite und den Seiten des Fahrzeugs 1000 positioniert sein. In mindestens einer Ausführungsform kann das Fahrzeug 1000 drei Umgebungskameras 1074 (z. B. links, rechts und hinten) verwenden und eine oder mehrere andere Kameras (z. B. eine nach vorne gerichtete Kamera) als vierte Umgebungskamera nutzen.
  • In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Teile der Umgebung hinter dem Fahrzeug 1000 einschließt (z. B. Rückfahrkameras), für die Einparkhilfe, die Umgebungsansicht, Heckkollisionswarnungen und das Erstellen und Aktualisieren eines Belegungsrasters verwendet werden. In mindestens einer Ausführungsform kann eine Vielzahl von Kameras verwendet werden, einschließlich, aber nicht beschränkt auf Kameras, die auch als nach vorne gerichtete Kameras geeignet sind (z. B. Fernkameras 1098 und/oder Mittelbereichskamera(s) 1076, Stereokamera(s) 1068, Infrarotkamera(s) 1072 usw.), wie hier beschrieben.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System 10B für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 10B gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 des Fahrzeugs 1000 (in 10C als Teil der CPU(s) 1006 und GPU(s) 1008 dargestellt) mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • 10C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug 1000 der 10A gemäß mindestens einer Ausführungsform zeigt. In mindestens einer Ausführungsform ist jede Komponente, jedes Merkmal und jedes System des Fahrzeugs 1000 in 10C so dargestellt, dass es über einen Bus 1002 verbunden ist. In mindestens einer Ausführungsform kann der Bus 1002, ohne Einschränkung, eine CAN-Datenschnittstelle (hier alternativ als „CAN-Bus“ bezeichnet) umfassen. In mindestens einer Ausführungsform kann ein CAN ein Netzwerk innerhalb des Fahrzeugs 1000 sein, das zur Unterstützung der Steuerung verschiedener Merkmale und Funktionen des Fahrzeugs 1000 verwendet wird, wie z. B. die Betätigung von Bremsen, Beschleunigung, Bremsen, Lenkung, Scheibenwischern usw. In mindestens einer Ausführungsform kann der Bus 1002 so konfiguriert sein, dass er Dutzende oder sogar Hunderte von Knoten aufweist, von denen jeder seine eigene eindeutige Kennung hat (z. B. eine CAN-ID). In mindestens einer Ausführungsform kann der Bus 1002 ausgelesen werden, um den Lenkradwinkel, die Fahrgeschwindigkeit, die Motorumdrehungen pro Minute („RPM“), die Tastenpositionen und/oder andere Fahrzeugstatusanzeigen zu ermitteln. In mindestens einer Ausführungsform kann der Bus 1002 ein CAN-Bus sein, der ASIL B-konform ist.
  • In mindestens einer Ausführungsform können zusätzlich zu oder alternativ zu CAN auch FlexRay- und/oder Ethernet-Protokolle verwendet werden. In mindestens einer Ausführungsform kann es eine beliebige Anzahl von Bussen geben, die den Bus 1002 bilden, darunter, ohne Einschränkung, null oder mehr CAN-Busse, null oder mehr FlexRay-Busse, null oder mehr Ethernet-Busse und/oder null oder mehr andere Arten von Bussen, die unterschiedliche Protokolle verwenden. In mindestens einer Ausführungsform können zwei oder mehr Busse verwendet werden, um unterschiedliche Funktionen auszuführen, und/oder sie können zur Redundanz verwendet werden. So kann beispielsweise ein erster Bus für die Kollisionsvermeidungsfunktionalität und ein zweiter Bus für die Betätigungssteuerung verwendet werden. In mindestens einer Ausführungsform kann jeder Bus des Busses 1002 mit beliebigen Komponenten des Fahrzeugs 1000 kommunizieren, und zwei oder mehr Busse des Busses 1002 können mit entsprechenden Komponenten kommunizieren. In mindestens einer Ausführungsform kann jedes von einer beliebigen Anzahl von System(en) auf Chip(s) („SoC(s)“) 1004 (wie SoC 1004(A) und SoC 1004(B)), jedes der Steuergeräte 1036 und/oder jeder Computer im Fahrzeug Zugriff auf dieselben Eingangsdaten (z. B. Eingaben von Sensoren des Fahrzeugs 1000) haben und mit einem gemeinsamen Bus, wie dem CAN-Bus, verbunden sein.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 ein oder mehrere Steuergeräte 1036 enthalten, wie sie hier in Bezug auf 10A beschrieben sind. In mindestens einer Ausführungsform kann (können) Steuergerät(e) 1036 für eine Vielzahl von Funktionen verwendet werden. In mindestens einer Ausführungsform kann (können) das (die) Steuergerät(e) 1036 mit verschiedenen anderen Komponenten und Systemen des Fahrzeugs 1000 gekoppelt sein und für die Steuerung des Fahrzeugs 1000, die künstliche Intelligenz des Fahrzeugs 1000, das Infotainment des Fahrzeugs 1000 und/oder andere Funktionen verwendet werden.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 eine beliebige Anzahl von SoCs 1004 enthalten. In mindestens einer Ausführungsform kann jeder der SoCs 1004 ohne Einschränkung zentrale Verarbeitungseinheiten („CPU(s)“) 1006, Grafikverarbeitungseinheiten („GPU(s)“) 1008, Prozessor(en) 1010, Cache(s) 1012, Beschleuniger 1014, Datenspeicher 1016 und/oder andere nicht dargestellte Komponenten und Merkmale umfassen. In mindestens einer Ausführungsform können die SoC(s) 1004 zur Steuerung des Fahrzeugs 1000 in einer Vielzahl von Plattformen und Systemen verwendet werden. In mindestens einer Ausführungsform können SoC(s) 1004 beispielsweise in einem System (z. B. dem System des Fahrzeugs 1000) mit einer High-Definition („HD“)-Karte 1022 kombiniert werden, die über die Netzwerkschnittstelle 1024 von einem oder mehreren Servern (in 10C nicht dargestellt) Kartenauffrischungen und/oder -aktualisierungen erhalten kann.
  • In mindestens einer Ausführungsform kann (können) die CPU(s) 1006 einen CPU-Cluster oder CPU-Komplex (hier alternativ als „CCPLEX“ bezeichnet) umfassen. In mindestens einer Ausführungsform kann (können) die CPU(s) 1006 mehrere Kerne und/oder Level-2-Caches („L2“) enthalten. Beispielsweise kann (können) die CPU(s) 1006 in mindestens einer Ausführungsform acht Kerne in einer kohärenten Multiprozessorkonfiguration umfassen. In mindestens einer Ausführungsform kann (können) die CPU(s) 1006 vier Dual-Core-Cluster umfassen, wobei jeder Cluster über einen dedizierten L2-Cache verfügt (z. B. einen L2-Cache mit 2 Megabyte (MB)). In mindestens einer Ausführungsform kann (können) die CPU(s) 1006 (z. B. CCPLEX) so konfiguriert sein, dass sie gleichzeitige Cluster-Operationen unterstützen, so dass eine beliebige Kombination von Clustern von CPU(s) 1006 zu einem bestimmten Zeitpunkt aktiv sein kann.
  • In mindestens einer Ausführungsform können eine oder mehrere der CPU(s) 1006 Energieverwaltungsfunktionen implementieren, die ohne Einschränkung eines oder mehrere der folgenden Merkmale umfassen: einzelne Hardwareblöcke können im Leerlauf automatisch getaktet werden, um dynamische Energie zu sparen; jeder Kerntakt kann getaktet werden, wenn ein solcher Kern aufgrund der Ausführung von Wait for Interrupt („WFI“)/Wait for Event („WFE“)-Anweisungen nicht aktiv Anweisungen ausführt, jeder Kern kann unabhängig stromgesteuert sein; jeder Kerncluster kann unabhängig taktgesteuert sein, wenn alle Kerne taktgesteuert oder stromgesteuert sind; und/oder jeder Kerncluster kann unabhängig stromgesteuert sein, wenn alle Kerne stromgesteuert sind. In mindestens einer Ausführungsform kann/können die CPU(s) 1006 außerdem einen erweiterten Algorithmus zur Verwaltung von Energiezuständen implementieren, bei dem zulässige Energiezustände und erwartete Aufwachzeiten festgelegt werden und die Hardware/der Mikrocode bestimmt, welcher Energiezustand für Kern, Cluster und CCPLEX am besten ist. In mindestens einer Ausführungsform können die Prozessorkerne vereinfachte Sequenzen für die Eingabe des Energiezustands in Software unterstützen, wobei die Arbeit an den Mikrocode ausgelagert wird.
  • In mindestens einer Ausführungsform kann (können) die GPU(s) 1008 eine integrierte GPU umfassen (hier alternativ als „iGPU“ bezeichnet). In mindestens einer Ausführungsform kann (können) die GPU(s) 1008 programmierbar sein und für parallele Arbeitslasten effizient sein. In mindestens einer Ausführungsform kann (können) die GPU(s) 1008 einen erweiterten Tensor-Befehlssatz verwenden. In mindestens einer Ausführungsform kann (können) der (die) GPU(s) 1008 einen oder mehrere Streaming-Mikroprozessoren enthalten, wobei jeder Streaming-Mikroprozessor einen Cache der Ebene eins („L1“) enthalten kann (z. B. einen L1-Cache mit einer Speicherkapazität von mindestens 96 KB), und zwei oder mehr Streaming-Mikroprozessoren können sich einen L2-Cache teilen (z. B. einen L2-Cache mit einer Speicherkapazität von 512 KB). In mindestens einer Ausführungsform kann (können) die GPU(s) 1008 mindestens acht Streaming-Mikroprozessoren umfassen. In mindestens einer Ausführungsform kann (können) die GPU(s) 1008 eine oder mehrere Anwendungsprogrammierschnittstellen (API(s)) für Berechnungen verwenden. In mindestens einer Ausführungsform kann (können) die GPU(s) 1008 eine oder mehrere parallele Rechenplattformen und/oder Programmiermodelle (z. B. das CUDA-Modell von NVIDIA) verwenden.
  • In mindestens einer Ausführungsform können eine oder mehrere der GPU(s) 1008 für die beste Leistung in Automobil- und eingebetteten Anwendungsfällen energieoptimiert sein. In mindestens einer Ausführungsform könnte(n) die GPU(s) 1008 beispielsweise auf Fin-Feldeffekttransistor-Schaltkreisen („FinFET“) hergestellt werden. In mindestens einer Ausführungsform kann jeder Streaming-Mikroprozessor eine Anzahl von gemischt-präzisen Rechenkernen enthalten, die in mehrere Blöcke unterteilt sind. Beispielsweise könnten 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke unterteilt werden. In mindestens einer Ausführungsform könnten jedem Verarbeitungsblock 16 FP32-Kerne, 8 FP64-Kerne, 16 INT32-Kerne, zwei NVIDIA Tensor-Kerne mit gemischter Genauigkeit für Deep-Learning-Matrixarithmetik, ein Befehlscache der Ebene Null („L0“), ein Warp-Scheduler, eine Dispatch-Einheit und/oder eine 64-KB-Registerdatei zugewiesen werden. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren unabhängige parallele Ganzzahl- und Gleitkommadatenpfade umfassen, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Berechnungen und Adressierungsberechnungen zu ermöglichen. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren eine unabhängige Thread-Scheduling-Fähigkeit aufweisen, um eine feinkörnigere Synchronisierung und Zusammenarbeit zwischen parallelen Threads zu ermöglichen. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren einen kombinierten L1-Datencache und eine gemeinsam genutzte Speichereinheit umfassen, um die Leistung zu verbessern und gleichzeitig die Programmierung zu vereinfachen.
  • In mindestens einer Ausführungsform können eine oder mehrere der GPU(s) 1008 einen Speicher mit hoher Bandbreite („HBM“) und/oder ein 16-GB-HBM2-Speicher-Subsystem enthalten, um in einigen Beispielen eine Spitzen-Speicherbandbreite von etwa 900 GB/Sekunde bereitzustellen. In mindestens einer Ausführungsform kann zusätzlich oder alternativ zum HBM-Speicher ein synchroner Grafik-Direktzugriffsspeicher („SGRAM“) verwendet werden, z. B. ein synchroner Grafik-Doppeldatenraten-Direktzugriffsspeicher vom Typ 5 („GDDR5“).
  • In mindestens einer Ausführungsform kann (können) die GPU(s) 1008 eine einheitliche Speichertechnologie umfassen. In mindestens einer Ausführungsform kann die Unterstützung von Adressübersetzungsdiensten („ATS“) verwendet werden, damit die GPU(s) 1008 direkt auf Seitentabellen der CPU(s) 1006 zugreifen kann. In mindestens einer Ausführungsform kann eine Adressübersetzungsanforderung an die CPU(s) 1006 übertragen werden, wenn eine GPU der GPU(s) 1008 Speicherverwaltungseinheit („MMU“) einen Fehler feststellt. Als Reaktion darauf kann die CPU der CPU(s) 1006 in ihren Seitentabellen nach einer virtuell-physikalischen Zuordnung für eine Adresse suchen und die Übersetzung zurück an die GPU(s) 1008 übertragen, in mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Unified-Memory-Technologie einen einzigen vereinheitlichten virtuellen Adressraum für den Speicher sowohl der CPU(s) 1006 als auch der GPU(s) 1008 ermöglichen, wodurch die Programmierung der GPU(s) 1008 und die Portierung von Anwendungen auf die GPU(s) 1008 vereinfacht wird.
  • In mindestens einer Ausführungsform kann (können) die GPU(s) 1008 eine beliebige Anzahl von Zugriffszählern enthalten, die die Häufigkeit des Zugriffs der GPU(s) 1008 auf den Speicher anderer Prozessoren verfolgen können. In mindestens einer Ausführungsform können Zugriffszähler dazu beitragen, dass Speicherseiten in den physischen Speicher eines Prozessors verschoben werden, der am häufigsten auf Seiten zugreift, wodurch die Effizienz von Speicherbereichen, die von Prozessoren gemeinsam genutzt werden, verbessert wird.
  • In mindestens einer Ausführungsform können ein oder mehrere SoC(s) 1004 eine beliebige Anzahl von Cache(s) 1012 enthalten, einschließlich der hier beschriebenen. In mindestens einer Ausführungsform könnte(n) der/die Cache(s) 1012 beispielsweise einen Level-3-Cache („L3“) umfassen, der sowohl für die CPU(s) 1006 als auch für die GPU(s) 1008 verfügbar ist (z. B. der mit der/den CPU(s) 1006 und der/den GPU(s) 1008 verbunden ist). In mindestens einer Ausführungsform kann (können) der (die) Cache(s) 1012 einen Write-Back-Cache umfassen, der die Zustände von Zeilen verfolgen kann, beispielsweise durch Verwendung eines Cache-Kohärenzprotokolls (z. B. MEI, MESI, MSI usw.). In mindestens einer Ausführungsform kann ein L3-Cache je nach Ausführungsform 4 MB Speicher oder mehr umfassen, obwohl auch kleinere Cache-Größen verwendet werden können.
  • In mindestens einer Ausführungsform können ein oder mehrere SoC(s) 1004 einen oder mehrere Beschleuniger 1014 (z. B. Hardware-Beschleuniger, Software-Beschleuniger oder eine Kombination davon) enthalten. In mindestens einer Ausführungsform kann (können) SoC(s) 1004 einen Hardware-Beschleunigungscluster enthalten, der optimierte Hardware-Beschleuniger und/oder einen großen On-Chip-Speicher umfassen kann. In mindestens einer Ausführungsform kann ein großer On-Chip-Speicher (z. B. 4 MB SRAM) einen Hardware-Beschleunigungscluster in die Lage versetzen, neuronale Netzwerke und andere Berechnungen zu beschleunigen. In mindestens einer Ausführungsform kann ein Hardware-Beschleunigungscluster zur Ergänzung der GPU(s) 1008 und zur Auslagerung einiger Aufgaben der GPU(s) 1008 verwendet werden (z. B. um mehr Zyklen der GPU(s) 1008 für die Durchführung anderer Aufgaben freizugeben). In mindestens einer Ausführungsform könnte(n) der/die Beschleuniger 1014 für gezielte Arbeitslasten verwendet werden (z. B. Wahrnehmung, Faltungsneuronale Netze („CNNs“), rekurrente Neuronale Netze („RNNs“) usw.), die stabil genug sind, um für eine Beschleunigung geeignet zu sein. In mindestens einer Ausführungsform kann ein CNN ein regionenbasiertes oder regionales neuronales Faltungsnetz („RCN“) und ein schnelles RCN (z. B. für die Objekterkennung) oder eine andere Art von CNN umfassen.
  • In mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 1014 (z. B. ein Hardware-Beschleunigungscluster) einen oder mehrere Deep-Learning-Beschleuniger („DLA“) enthalten. In mindestens einer Ausführungsform kann (können) der (die) DLA ohne Einschränkung eine oder mehrere Tensor Processing Units („TPUs“) umfassen, die so konfiguriert sein können, dass sie zusätzliche zehn Billionen Operationen pro Sekunde für Deep-Learning-Anwendungen und Inferencing bereitstellen. In mindestens einer Ausführungsform kann es sich bei den TPUs um Beschleuniger handeln, die für die Ausführung von Bildverarbeitungsfunktionen (z. B. für CNNs, RCNNs usw.) konfiguriert und optimiert sind. In mindestens einer Ausführungsform können die DLA(s) darüber hinaus für einen bestimmten Satz neuronaler Netzwerktypen und Gleitkommaoperationen sowie für Inferencing optimiert sein. In mindestens einer Ausführungsform kann das Design von DLA(s) mehr Leistung pro Millimeter bieten als ein typischer Allzweck-GPU und übertrifft die Leistung einer CPU in der Regel bei weitem. In mindestens einer Ausführungsform kann (können) die TPU(s) mehrere Funktionen ausführen, einschließlich einer Einzelinstanz-Faltungsfunktion, die z. B. INT8-, INT16- und FP16-Datentypen sowohl für Merkmale als auch für Gewichte sowie Postprozessorfunktionen unterstützt. In mindestens einer Ausführungsform können DLA(s) schnell und effizient neuronale Netze, insbesondere CNNs, auf verarbeiteten oder unverarbeiteten Daten für eine Vielzahl von Funktionen ausführen, darunter beispielsweise und ohne Einschränkung: ein CNN für die Identifizierung und Erkennung von Objekten unter Verwendung von Daten von Kamerasensoren; ein CNN für die Abstandsschätzung unter Verwendung von Daten von Kamerasensoren; ein CNN für die Erkennung und Identifizierung von Einsatzfahrzeugen und die Erkennung unter Verwendung von Daten von Mikrofonen; ein CNN für die Gesichtserkennung und die Identifizierung von Fahrzeugbesitzern unter Verwendung von Daten von Kamerasensoren; und/oder ein CNN für sicherheitsrelevante Ereignisse.
  • In mindestens einer Ausführungsform können DLA(s) jede Funktion der GPU(s) 1008 ausführen, und durch die Verwendung eines Inferenzbeschleunigers kann ein Entwickler beispielsweise entweder DLA(s) oder GPU(s) 1008 für eine beliebige Funktion anvisieren. In mindestens einer Ausführungsform kann ein Entwickler beispielsweise die Verarbeitung von CNNs und Gleitkommaoperationen auf die DLA(s) konzentrieren und andere Funktionen der GPU(s) 1008 und/oder dem/den Beschleuniger(n) 1014 überlassen.
  • In mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 1014 einen programmierbaren Bildverarbeitungsbeschleuniger („PVA“) umfassen, der hier alternativ auch als Computervision-Beschleuniger bezeichnet werden kann. In mindestens einer Ausführungsform kann der PVA so konzipiert und konfiguriert sein, dass er Computervision-Algorithmen für fortschrittliche Fahrerassistenzsysteme („ADAS“) 1038, autonomes Fahren, Augmented-Reality-Anwendungen („AR“) und/oder Virtual-Reality-Anwendungen („VR“) beschleunigt. In mindestens einer Ausführungsform kann die PVA ein Gleichgewicht zwischen Leistung und Flexibilität bieten. In mindestens einer Ausführungsform kann jede PVA beispielsweise und ohne Einschränkung eine beliebige Anzahl von Rechenkernen mit reduziertem Befehlssatz („RISC“), direkten Speicherzugriff („DMA“) und/oder eine beliebige Anzahl von Vektorprozessoren umfassen.
  • In mindestens einer Ausführungsform können die RISC-Kerne mit Bildsensoren (z. B. den Bildsensoren der hier beschriebenen Kameras), Bildsignalprozessoren usw. zusammenwirken. In mindestens einer Ausführungsform kann jeder RISC-Kern eine beliebige Menge an Speicher enthalten. In mindestens einer Ausführungsform können die RISC-Kerne je nach Ausführungsform eine beliebige Anzahl von Protokollen verwenden. In mindestens einer Ausführungsform können RISC-Kerne ein Echtzeitbetriebssystem („RTOS“) ausführen. In mindestens einer Ausführungsform können RISC-Kerne mit einem oder mehreren integrierten Schaltkreisen, anwendungsspezifischen integrierten Schaltkreisen („ASICs“) und/oder Speicherbausteinen implementiert werden. In mindestens einer Ausführungsform können RISC-Kerne beispielsweise einen Befehls-Cache und/oder einen eng gekoppelten Arbeitsspeicher enthalten.
  • In mindestens einer Ausführungsform kann DMA es Komponenten der PVA ermöglichen, unabhängig von der/den CPU(s) 1006 auf den Systemspeicher zuzugreifen. In mindestens einer Ausführungsform kann DMA eine beliebige Anzahl von Merkmalen unterstützen, die zur Optimierung einer PVA verwendet werden, einschließlich, aber nicht beschränkt auf die Unterstützung mehrdimensionaler Adressierung und/oder zirkulärer Adressierung. In mindestens einer Ausführungsform kann DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, die ohne Einschränkung Blockbreite, Blockhöhe, Blocktiefe, horizontale Blockabstufung, vertikale Blockabstufung und/oder Tiefenabstufung umfassen können.
  • In mindestens einer Ausführungsform können Vektorprozessoren programmierbare Prozessoren sein, die so konzipiert sein können, dass sie die Programmierung von Computervision-Algorithmen effizient und flexibel ausführen und Signalverarbeitungsfunktionen bereitstellen. In mindestens einer Ausführungsform kann eine PVA einen PVA-Kern und zwei Vektorverarbeitungs-Subsystem-Partitionen umfassen. In mindestens einer Ausführungsform kann ein PVA-Kern ein Prozessor-Subsystem, DMA-Engine(s) (z.B. zwei DMA-Engines) und/oder andere Peripheriegeräte umfassen. In mindestens einer Ausführungsform kann ein Vektorverarbeitungs-Subsystem als primäre Verarbeitungseinheit einer PVA arbeiten und eine Vektorverarbeitungseinheit („VPU“), einen Befehlscache und/oder einen Vektorspeicher (z. B. „VMEM“) umfassen. In mindestens einer Ausführungsform kann der VPU-Kern einen digitalen Signalprozessor umfassen, wie z. B. einen digitalen Signalprozessor mit einem einzigen Befehl und mehreren Daten („SIMD“) und einem sehr langen Befehlswort („VLIW“). In mindestens einer Ausführungsform kann eine Kombination aus SIMD und VLIW den Durchsatz und die Geschwindigkeit erhöhen.
  • In mindestens einer Ausführungsform kann jeder der Vektorprozessoren einen Befehls-Cache enthalten und mit einem dedizierten Speicher verbunden sein. Infolgedessen kann in mindestens einer Ausführungsform jeder der Vektorprozessoren so konfiguriert sein, dass er unabhängig von anderen Vektorprozessoren arbeitet. In mindestens einer Ausführungsform können Vektorprozessoren, die in einer bestimmten PVA enthalten sind, so konfiguriert sein, dass sie Datenparallelität verwenden. Zum Beispiel können in mindestens einer Ausführungsform mehrere Vektorprozessoren, die in einer einzigen PVA enthalten sind, einen gemeinsamen Computervision-Algorithmus ausführen, jedoch auf verschiedenen Regionen eines Bildes. In mindestens einer Ausführungsform können in einer bestimmten PVA enthaltene Vektorprozessoren gleichzeitig verschiedene Computervision-Algorithmen auf einem Bild ausführen oder sogar verschiedene Algorithmen auf aufeinanderfolgenden Bildern oder Teilen eines Bildes ausführen. In mindestens einer Ausführungsform kann unter anderem eine beliebige Anzahl von PVAs in einem Hardware-Beschleunigungscluster enthalten sein, und in jeder PVA kann eine beliebige Anzahl von Vektorprozessoren enthalten sein. In mindestens einer Ausführungsform kann die PVA einen zusätzlichen Speicher mit Fehlerkorrekturcode („ECC“) enthalten, um die allgemeine Systemsicherheit zu erhöhen.
  • In mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 1014 ein Computervision-Netzwerk auf dem Chip und einen statischen Direktzugriffsspeicher („SRAM“) umfassen, um einen SRAM mit hoher Bandbreite und geringer Latenz für den (die) Beschleuniger 1014 bereitzustellen. In mindestens einer Ausführungsform kann der On-Chip-Speicher mindestens 4 MB SRAM umfassen, z. B. und ohne Einschränkung acht feldkonfigurierbare Speicherblöcke, auf die sowohl eine PVA als auch eine DLA zugreifen können. In mindestens einer Ausführungsform kann jedes Paar von Speicherblöcken eine erweiterte periphere Busschnittstelle („APB“), Konfigurationsschaltungen, einen Controller und einen Multiplexer umfassen. In mindestens einer Ausführungsform kann jede Art von Speicher verwendet werden. In mindestens einer Ausführungsform können eine PVA und eine DLA über einen Backbone auf den Speicher zugreifen, der einer PVA und einer DLA einen Hochgeschwindigkeitszugriff auf den Speicher ermöglicht. In mindestens einer Ausführungsform kann ein Backbone ein Computervision-Netzwerk auf dem Chip umfassen, das eine PVA und eine DLA mit dem Speicher verbindet (z. B. unter Verwendung von APB).
  • In mindestens einer Ausführungsform kann ein Computervision-Netz auf dem Chip eine Schnittstelle enthalten, die vor der Übertragung von Steuersignalen/Adressen/Daten feststellt, dass sowohl eine PVA als auch eine DLA einsatzbereite und gültige Signale liefern. In mindestens einer Ausführungsform kann eine Schnittstelle getrennte Phasen und getrennte Kanäle für die Übertragung von Steuersignalen/Adressen/Daten sowie eine Burst-Kommunikation für die kontinuierliche Datenübertragung vorsehen. In mindestens einer Ausführungsform kann eine Schnittstelle den Normen der Internationalen Organisation für Normung („ISO“) 26262 oder der Internationalen Elektrotechnischen Kommission („IEC“) 61508 entsprechen, obwohl auch andere Normen und Protokolle verwendet werden können.
  • In mindestens einer Ausführungsform können ein oder mehrere SoC(s) 1004 einen Echtzeit-Strahlenverfolgungs-Hardwarebeschleuniger enthalten. In mindestens einer Ausführungsform kann der Echtzeit-Strahlenverfolgungs-Hardwarebeschleuniger verwendet werden, um schnell und effizient Positionen und Ausmaße von Objekten (z. B. innerhalb eines Weltmodells) zu bestimmen, um Echtzeit-Visualisierungssimulationen zu erzeugen, für die RADAR-Signalinterpretation, für die Schallausbreitungssynthese und/oder -analyse, für die Simulation von SONAR-Systemen, für die allgemeine Wellenausbreitungssimulation, für den Vergleich mit LIDAR-Daten zum Zweck der Lokalisierung und/oder für andere Funktionen und/oder für andere Zwecke.
  • In mindestens einer Ausführungsform können der oder die Beschleuniger 1014 eine breite Palette von Anwendungen für das autonome Fahren haben. In mindestens einer Ausführungsform kann eine PVA für wichtige Verarbeitungsschritte in ADAS und autonomen Fahrzeugen verwendet werden. In mindestens einer Ausführungsform eignen sich die Fähigkeiten einer PVA gut für algorithmische Bereiche, die eine vorhersehbare Verarbeitung mit geringem Stromverbrauch und geringer Latenz benötigen. Mit anderen Worten, eine PVA eignet sich gut für halbdichte oder dichte reguläre Berechnungen, selbst bei kleinen Datensätzen, die vorhersehbare Laufzeiten mit geringer Latenz und geringem Stromverbrauch erfordern. In mindestens einer Ausführungsform, wie z. B. im Fahrzeug 1000, könnten PVAs so konzipiert sein, dass sie klassische Computervision-Algorithmen ausführen, da sie bei der Objekterkennung und bei der Verarbeitung ganzzahliger mathematischer Daten effizient sein können.
  • Zum Beispiel wird gemäß mindestens einer Ausführungsform der Technologie eine PVA verwendet, um Computer-Stereosehen durchzuführen. In mindestens einer Ausführungsform kann in einigen Beispielen ein auf semiglobalem Matching basierender Algorithmus verwendet werden, obwohl dies nicht als Einschränkung gedacht ist. In mindestens einer Ausführungsform verwenden Anwendungen für das autonome Fahren der Stufen 3 bis 5 eine fliegende Bewegungsabschätzung/Stereoabgleich (z. B. Struktur aus Bewegung, Fußgängererkennung, Fahrspurerkennung usw.). In mindestens einer Ausführungsform kann eine PVA Computer-Stereo-Vision-Funktionen auf Eingaben von zwei monokularen Kameras ausführen.
  • In mindestens einer Ausführungsform kann eine PVA verwendet werden, um einen dichten optischen Fluss durchzuführen. In mindestens einer Ausführungsform könnte eine PVA beispielsweise RADAR-Rohdaten verarbeiten (z. B. unter Verwendung einer 4D-Fast-FourierTransformation), um verarbeitete RADAR-Daten bereitzustellen. In mindestens einer Ausführungsform wird eine PVA für die Verarbeitung von Flugzeittiefendaten verwendet, z. B. durch Verarbeitung von Flugzeit-Rohdaten, um verarbeitete Flugzeitdaten zu erhalten.
  • In mindestens einer Ausführungsform kann ein DLA verwendet werden, um jede Art von Netz zur Verbesserung der Kontrolle und der Fahrsicherheit zu betreiben, einschließlich beispielsweise und ohne Einschränkung eines neuronalen Netzes, das für jede Objekterkennung ein Maß für das Vertrauen ausgibt. In mindestens einer Ausführungsform kann die Konfidenz als Wahrscheinlichkeit dargestellt oder interpretiert werden, oder als relative „Gewichtung“ jeder Erkennung im Vergleich zu anderen Erkennungen. In mindestens einer Ausführungsform ermöglicht ein Vertrauensmaß dem System, weitere Entscheidungen darüber zu treffen, welche Erkennungen als echte positive Erkennungen und welche als falsch positive Erkennungen betrachtet werden sollten. In mindestens einer Ausführungsform kann ein System einen Schwellenwert für die Zuverlässigkeit festlegen und nur Erkennungen, die den Schwellenwert überschreiten, als echte positive Erkennungen betrachten. In einer Ausführungsform, in der ein automatisches Notbremssystem („AEB“) verwendet wird, würden falsch positive Erkennungen dazu führen, dass das Fahrzeug automatisch eine Notbremsung durchführt, was natürlich unerwünscht ist. In mindestens einer Ausführungsform können sehr sichere Erkennungen als Auslöser für AEB in Betracht gezogen werden. In mindestens einer Ausführungsform kann ein DLA ein neuronales Netz zur Regression des Konfidenzwertes einsetzen. In mindestens einer Ausführungsform kann das neuronale Netz als Eingabe mindestens eine Teilmenge von Parametern verwenden, wie z. B. die Abmessungen des Begrenzungsrahmens, die (z. B. von einem anderen Teilsystem) erhaltene Schätzung der Bodenebene, die Ausgabe des/der IMU-Sensors/en 1066, die mit der Ausrichtung des Fahrzeugs 1000 korreliert, die Entfernung, die Schätzungen der 3D-Position des Objekts, die vom neuronalen Netz und/oder anderen Sensoren (z. B. LIDAR-Sensor/en 1064 oder RADAR-Sensor/en 1060) erhalten werden, und andere.
  • In mindestens einer Ausführungsform können ein oder mehrere SoC(s) 1004 einen oder mehrere Datenspeicher 1016 (z. B. Speicher) enthalten. In mindestens einer Ausführungsform kann (können) der (die) Datenspeicher 1016 ein On-Chip-Speicher des (der) SoC(s) 1004 sein, der (die) neuronale(n) Netzwerke speichern kann (können), die auf der (den) GPU(s) 1008 und/oder einer DLA ausgeführt werden sollen. In mindestens einer Ausführungsform kann (können) der (die) Datenspeicher 1016 groß genug sein, um mehrere Instanzen von neuronalen Netzen aus Gründen der Redundanz und Sicherheit zu speichern. In mindestens einer Ausführungsform kann (können) der (die) Datenspeicher 1016 L2 oder L3 Cache(s) umfassen.
  • In mindestens einer Ausführungsform können ein oder mehrere SoC(s) 1004 eine beliebige Anzahl von Prozessoren 1010 (z. B. eingebettete Prozessoren) enthalten. In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1010 einen Boot- und Energieverwaltungsprozessor umfassen, bei dem es sich um einen dedizierten Prozessor und ein Subsystem handeln kann, um Boot-Energie- und Verwaltungsfunktionen und die damit verbundene Sicherheitsdurchsetzung zu handhaben. In mindestens einer Ausführungsform kann ein Boot- und Energieverwaltungsprozessor Teil einer Bootsequenz von SoC(s) 1004 sein und Laufzeit-Energieverwaltungsdienste bereitstellen. In mindestens einer Ausführungsform kann ein Boot-Energieversorgungs- und -Verwaltungsprozessor Takt- und Spannungsprogrammierung, Unterstützung bei Systemübergängen mit niedrigem Energiebedarf, Verwaltung von SoC(s) 1004-Temperaturen und Temperatursensoren und/oder Verwaltung von SoC(s) 1004-Energieversorgungszuständen bieten. In mindestens einer Ausführungsform kann jeder Temperatursensor als Ringoszillator implementiert sein, dessen Ausgangsfrequenz proportional zur Temperatur ist, und SoC(s) 1004 kann Ringoszillatoren verwenden, um die Temperaturen von CPU(s) 1006, GPU(s) 1008 und/oder Beschleuniger(n) 1014 zu erfassen. In mindestens einer Ausführungsform kann ein Boot- und Energieverwaltungsprozessor, wenn festgestellt wird, dass die Temperaturen einen Schwellenwert überschreiten, in eine Temperaturfehlerroutine eintreten und die SoC(s) 1004 in einen Zustand mit geringerer Leistung versetzen und/oder das Fahrzeug 1000 in einen Chauffeur-zu-sicherem-Halt-Modus versetzen (z. B. das Fahrzeug 1000 zu einem sicheren Halt bringen).
  • In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1010 außerdem eine Reihe eingebetteter Prozessoren enthalten, die als Audioverarbeitungsmodul dienen können, das ein Audio-Subsystem sein kann, das eine vollständige Hardware-Unterstützung für Mehrkanal-Audio über mehrere Schnittstellen und eine breite und flexible Palette von Audio-I/O-Schnittstellen ermöglicht. In mindestens einer Ausführungsform ist eine Audioverarbeitungs-Engine ein dedizierter Prozessorkern mit einem digitalen Signalprozessor mit dediziertem RAM
  • In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1010 außerdem eine immer- eingeschaltete Prozessor-Engine enthalten, die die erforderlichen Hardwarefunktionen zur Unterstützung der Sensorverwaltung mit geringem Stromverbrauch und des Aufwachens von Anwendungsfällen bereitstellen kann. In mindestens einer Ausführungsform kann eine stets- eingeschaltete Prozessor-Engine ohne Einschränkung einen Prozessorkern, einen eng gekoppelten Arbeitsspeicher, unterstützende Peripheriegeräte (z. B. Timer und Interrupt-Controller), verschiedene I/O-Controller-Peripheriegeräte und Routing-Logik umfassen.
  • In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1010 außerdem eine Sicherheits-Cluster-Engine enthalten, die ohne Einschränkung ein spezielles Prozessor-Subsystem für das Sicherheitsmanagement von Automobilanwendungen umfasst. In mindestens einer Ausführungsform kann eine Sicherheits-Cluster-Engine ohne Einschränkung zwei oder mehr Prozessorkerne, einen eng gekoppelten Arbeitsspeicher, unterstützende Peripheriegeräte (z. B. Zeitgeber, einen Interrupt-Controller usw.) und/oder eine Routing-Logik umfassen. In einem Sicherheitsmodus können zwei oder mehr Kerne in mindestens einer Ausführungsform in einem Lockstep-Modus arbeiten und als ein einziger Kern mit einer Vergleichslogik zur Erkennung von Unterschieden zwischen ihren Operationen funktionieren. In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1010 außerdem eine Echtzeit-Kamera-Engine enthalten, die ohne Einschränkung ein dediziertes Prozessor-Subsystem zur Handhabung des Echtzeit-Kameramanagements umfassen kann. In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1010 außerdem einen Signalprozessor mit hohem Dynamikbereich umfassen, der unter anderem einen Bildsignalprozessor umfassen kann, der eine Hardware-Engine ist, die Teil einer Kameraverarbeitungspipeline ist.
  • In mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1010 einen Videobildkompositor enthalten, der ein Verarbeitungsblock sein kann (z. B. auf einem Mikroprozessor implementiert), der Videonachbearbeitungsfunktionen implementiert, die von einer Videowiedergabeanwendung benötigt werden, um ein endgültiges Bild für ein Player-Fenster zu erzeugen. In mindestens einer Ausführungsform kann ein Videobildkompositor eine Linsenverzerrungskorrektur an der (den) Weitwinkelkamera(s) 1070, der (den) Surround-Kamera(s) 1074 und/oder an dem (den) Sensor(en) der Überwachungskamera(s) in der Kabine vornehmen. In mindestens einer Ausführungsform wird/werden der/die Sensor(en) der Überwachungskamera(n) in der Kabine vorzugsweise von einem neuronalen Netz überwacht, das auf einer anderen Instanz des SoC 1004 läuft und so konfiguriert ist, dass es Ereignisse in der Kabine erkennt und entsprechend reagiert. In mindestens einer Ausführungsform kann ein System im Fahrzeuginneren ohne Einschränkung Lippenlesen durchführen, um den Mobilfunkdienst zu aktivieren und einen Anruf zu tätigen, E-Mails zu diktieren, den Zielort eines Fahrzeugs zu ändern, das Infotainmentsystem und die Einstellungen eines Fahrzeugs zu aktivieren oder zu ändern oder sprachgesteuertes Surfen im Internet zu ermöglichen. In mindestens einer Ausführungsform stehen dem Fahrer bestimmte Funktionen zur Verfügung, wenn das Fahrzeug in einem autonomen Modus betrieben wird, und sind ansonsten deaktiviert.
  • In mindestens einer Ausführungsform kann ein Videobildkompositor eine verbesserte zeitliche Rauschunterdrückung sowohl für die räumliche als auch für die zeitliche Rauschunterdrückung umfassen. In mindestens einer Ausführungsform, in der Bewegung in einem Video vorkommt, gewichtet die Rauschunterdrückung die räumlichen Informationen entsprechend und verringert die Gewichtung der Informationen, die von benachbarten Bildern geliefert werden. In mindestens einer Ausführungsform, in der ein Bild oder ein Teil eines Bildes keine Bewegung enthält, kann die vom Videobildkompositor durchgeführte zeitliche Rauschunterdrückung Informationen aus einem früheren Bild verwenden, um das Rauschen im aktuellen Bild zu reduzieren.
  • In mindestens einer Ausführungsform kann ein Videobildkompositor auch so konfiguriert sein, dass er eine Stereorektifizierung an eingegebenen Stereolinsenbildern durchführt. In mindestens einer Ausführungsform kann ein Videobild-Compositor außerdem für die Gestaltung der Benutzeroberfläche verwendet werden, wenn ein Betriebssystem-Desktop in Gebrauch ist und die GPU(s) 1008 nicht ständig neue Oberflächen rendern müssen. In mindestens einer Ausführungsform kann ein Videobildkompositor verwendet werden, um die GPU(s) 1008 zu entlasten und so die Leistung und Reaktionsfähigkeit zu verbessern, wenn die GPU(s) 1008 eingeschaltet sind und aktiv 3D-Rendering durchführen.
  • In mindestens einer Ausführungsform können ein oder mehrere SoC(s) 1004 außerdem eine serielle MIPI-Kameraschnittstelle für den Empfang von Video und Eingaben von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingabeblock enthalten, der für eine Kamera und damit verbundene Pixeleingabefunktionen verwendet werden kann. In mindestens einer Ausführungsform können ein oder mehrere SoC(s) 1004 außerdem einen oder mehrere Eingangs-/Ausgangs-Controller enthalten, die durch Software gesteuert werden können und für den Empfang von I/O-Signalen verwendet werden können, die keiner bestimmten Rolle zugeordnet sind.
  • In mindestens einer Ausführungsform können ein oder mehrere SoC(s) 1004 darüber hinaus eine breite Palette von Peripherieschnittstellen umfassen, um die Kommunikation mit Peripheriegeräten, Audio-Encodern/Decodern („Codecs“), Energieverwaltung und/oder anderen Geräten zu ermöglichen. In mindestens einer Ausführungsform können SoC(s) 1004 verwendet werden, um Daten von Kameras (z. B. über Gigabit Multimedia Serial Link und Ethernet-Kanäle), Sensoren (z. B. LIDAR-Sensor(en) 1064, RADAR-Sensor(en) 1060 usw. die über Ethernet-Kanäle verbunden sein können), Daten vom Bus 1002 (z. B. Geschwindigkeit des Fahrzeugs 1000, Lenkradposition usw.), Daten von GNSS-Sensor(en) 1058 (z. B. über einen Ethernet-Bus oder einen CAN-Bus verbunden) usw. In mindestens einer Ausführungsform können ein oder mehrere SoC von SoC(s) 1004 außerdem dedizierte Hochleistungs-Massenspeicher-Controller enthalten, die ihre eigenen DMA-Engines enthalten können und dazu verwendet werden können, die CPU(s) 1006 von Routineaufgaben der Datenverwaltung zu entlasten.
  • In mindestens einer Ausführungsform kann (können) SoC(s) 1004 eine End-to-End-Plattform mit einer flexiblen Architektur sein, die die Automatisierungsebenen 3 bis 5 überspannt und dadurch eine umfassende funktionale Sicherheitsarchitektur bereitstellt, die Computervision- und ADAS-Techniken für Diversität und Redundanz nutzt und eine Plattform für einen flexiblen, zuverlässigen Fahrsoftware-Stack zusammen mit Deep-Learning-Tools bereitstellt. In mindestens einer Ausführungsform können die SoC(s) 1004 schneller, zuverlässiger und sogar energie- und platzsparender sein als herkömmliche Systeme. Zum Beispiel können in mindestens einer Ausführungsform der oder die Beschleuniger 1014 in Kombination mit CPU(s) 1006, GPU(s) 1008 und Datenspeicher(n) 1016 eine schnelle, effiziente Plattform für autonome Fahrzeuge der Stufe 3-5 bilden.
  • In mindestens einer Ausführungsform können Computervision-Algorithmen auf CPUs ausgeführt werden, die mit Hilfe einer Hochsprachenprogrammierung, wie z. B. C, konfiguriert werden können, um eine Vielzahl von Verarbeitungsalgorithmen für eine Vielzahl visueller Daten auszuführen. In mindestens einer Ausführungsform sind CPUs jedoch oft nicht in der Lage, die Leistungsanforderungen vieler Bildverarbeitungsanwendungen zu erfüllen, z. B. in Bezug auf die Ausführungszeit und den Stromverbrauch. In mindestens einer Ausführungsform sind viele CPUs nicht in der Lage, komplexe Objekterkennungsalgorithmen in Echtzeit auszuführen, die in fahrzeuginternen ADAS-Anwendungen und in praktischen autonomen Fahrzeugen der Stufe 3-5 verwendet werden.
  • Die hier beschriebenen Ausführungsformen ermöglichen es, dass mehrere neuronale Netze gleichzeitig und/oder nacheinander ausgeführt und die Ergebnisse miteinander kombiniert werden können, um autonome Fahrfunktionen der Stufe 3-5 zu ermöglichen. Zum Beispiel kann in mindestens einer Ausführungsform ein CNN, das auf einer DLA oder einer diskreten GPU (z. B. GPU(s) 1020) ausgeführt wird, eine Text- und Worterkennung umfassen, die das Lesen und Verstehen von Verkehrszeichen ermöglicht, einschließlich Zeichen, für die ein neuronales Netz nicht speziell trainiert wurde. In mindestens einer Ausführungsform kann eine DLA außerdem ein neuronales Netz enthalten, das in der Lage ist, ein Zeichen zu identifizieren, zu interpretieren und semantisch zu verstehen und dieses semantische Verständnis an Wegplanungsmodule weiterzugeben, die auf einem CPU-Komplex laufen.
  • In mindestens einer Ausführungsform können mehrere neuronale Netze gleichzeitig betrieben werden, wie z. B. beim Fahren der Stufe 3, 4 oder 5. In mindestens einer Ausführungsform kann beispielsweise ein Warnschild mit der Aufschrift „Vorsicht: Blinkende Lichter weisen auf Glatteis hin“ zusammen mit einem elektrischen Licht von mehreren neuronalen Netzen unabhängig oder gemeinsam interpretiert werden. In mindestens einer Ausführungsform kann ein solches Warnschild selbst von einem ersten eingesetzten neuronalen Netz (z. B. einem trainierten neuronalen Netz) als Verkehrszeichen identifiziert werden, und der Text „Blinkende Lichter deuten auf Eisglätte hin“ kann von einem zweiten eingesetzten neuronalen Netz interpretiert werden, das die Wegplanungssoftware eines Fahrzeugs (die vorzugsweise auf einem CPU-Komplex ausgeführt wird) darüber informiert, dass Eisglätte vorliegt, wenn blinkende Lichter erkannt werden. In mindestens einer Ausführungsform kann ein Blinklicht durch den Betrieb eines dritten neuronalen Netzes über mehrere Frames identifiziert werden, das die Wegplanungssoftware eines Fahrzeugs über das Vorhandensein (oder Nichtvorhandensein) von Blinklichtern informiert. In mindestens einer Ausführungsform können alle drei neuronalen Netze gleichzeitig laufen, z. B. innerhalb einer DLA und/oder auf GPU(s) 1008.
  • In mindestens einer Ausführungsform kann ein CNN zur Gesichtserkennung und Identifizierung des Fahrzeugbesitzers Daten von Kamerasensoren verwenden, um die Anwesenheit eines autorisierten Fahrers und/oder Besitzers des Fahrzeugs 1000 zu identifizieren. In mindestens einer Ausführungsform kann eine „Alwayson“-Sensorverarbeitungs-Engine verwendet werden, um ein Fahrzeug zu entriegeln, wenn sich ein Besitzer der Fahrertür nähert und das Licht einschaltet, und um in einem Sicherheitsmodus ein solches Fahrzeug zu deaktivieren, wenn ein Besitzer das Fahrzeug verlässt. Auf diese Weise sorgen die SoC(s) 1004 für Sicherheit gegen Diebstahl und/oder Carjacking.
  • In mindestens einer Ausführungsform kann ein CNN zur Erkennung und Identifizierung von Einsatzfahrzeugen Daten von Mikrofonen 1096 verwenden, um Sirenen von Einsatzfahrzeugen zu erkennen und zu identifizieren. In mindestens einer Ausführungsform verwenden die SoC(s) 1004 ein CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung visueller Daten. In mindestens einer Ausführungsform wird ein CNN, das auf einem DLA läuft, so trainiert, dass es die relative Annäherungsgeschwindigkeit eines Einsatzfahrzeugs erkennt (z. B. unter Verwendung des Dopplereffekts). In mindestens einer Ausführungsform kann ein CNN auch so trainiert werden, dass es Einsatzfahrzeuge identifiziert, die spezifisch für ein lokales Gebiet sind, in dem ein Fahrzeug unterwegs ist, wie von GNSS-Sensor(en) 1058 identifiziert. In mindestens einer Ausführungsform wird ein CNN bei Betrieb in Europa versuchen, europäische Sirenen zu erkennen, und bei Betrieb in Nordamerika wird ein CNN versuchen, nur nordamerikanische Sirenen zu identifizieren. In mindestens einer Ausführungsform kann ein Steuerprogramm, sobald ein Einsatzfahrzeug erkannt wird, dazu verwendet werden, eine Sicherheitsroutine für Einsatzfahrzeuge auszuführen, ein Fahrzeug abzubremsen, an den Straßenrand zu fahren, ein Fahrzeug zu parken und/oder ein Fahrzeug im Leerlauf laufen zu lassen, und zwar mit Hilfe des/der Ultraschallsensors/en 1062, bis die Einsatzfahrzeuge passieren.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 eine oder mehrere CPU(s) 1018 (z. B. diskrete CPU(s) oder dCPU(s)) enthalten, die über eine Hochgeschwindigkeitsverbindung (z. B. PCIe) mit dem/den SoC(s) 1004 verbunden sein können. In mindestens einer Ausführungsform kann (können) die CPU(s) 1018 beispielsweise einen X86-Prozessor umfassen. Die CPU(s) 1018 kann/können verwendet werden, um eine Vielzahl von Funktionen auszuführen, einschließlich der Schlichtung potenziell widersprüchlicher Ergebnisse zwischen ADAS-Sensoren und SoC(s) 1004 und/oder der Überwachung des Status und des Zustands des/der Controller(s) 1036 und/oder eines Infotainment-Systems auf einem Chip („Infotainment-SoC“) 1030, zum Beispiel.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 GPU(s) 1020 (z. B. diskrete GPU(s) oder dGPU(s)) enthalten, die über eine Hochgeschwindigkeitsverbindung (z. B. NVIDIAs NVLINK-Kanal) mit dem/den SoC(s) 1004 gekoppelt sein können. In mindestens einer Ausführungsform kann (können) GPU(s) 1020 zusätzliche Funktionen der künstlichen Intelligenz bereitstellen, z. B. durch Ausführen redundanter und/oder unterschiedlicher neuronaler Netze, und kann (können) verwendet werden, um neuronale Netze zu trainieren und/oder zu aktualisieren, die mindestens teilweise auf Eingaben (z. B. Sensordaten) von Sensoren eines Fahrzeugs 1000 basieren.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 ferner eine Netzwerkschnittstelle 1024 enthalten, die ohne Einschränkung eine oder mehrere drahtlose Antennen 1026 (z. B. eine oder mehrere drahtlose Antennen für verschiedene Kommunikationsprotokolle, wie eine Mobilfunkantenne, eine Bluetooth-Antenne usw.) umfassen kann. In mindestens einer Ausführungsform kann die Netzwerkschnittstelle 1024 verwendet werden, um eine drahtlose Verbindung mit Internet-Cloud-Diensten (z. B. mit Servern und/oder anderen Netzwerkgeräten), mit anderen Fahrzeugen und/oder mit Computergeräten (z. B. Client-Geräten von Fahrgästen) zu ermöglichen. In mindestens einer Ausführungsform kann zur Kommunikation mit anderen Fahrzeugen eine direkte Verbindung zwischen dem Fahrzeug 100 und einem anderen Fahrzeug und/oder eine indirekte Verbindung (z. B. über Netzwerke und das Internet) hergestellt werden. In mindestens einer Ausführungsform können direkte Verbindungen über eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung hergestellt werden. In mindestens einer Ausführungsform kann eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung dem Fahrzeug 1000 Informationen über Fahrzeuge in der Nähe des Fahrzeugs 1000 liefern (z. B. Fahrzeuge vor, neben und/oder hinter dem Fahrzeug 1000). In mindestens einer Ausführungsform kann die vorgenannte Funktionalität Teil einer kooperativen adaptiven Geschwindigkeitsregelungsfunktion des Fahrzeugs 1000 sein.
  • In mindestens einer Ausführungsform kann die Netzwerkschnittstelle 1024 einen SoC enthalten, der Modulations- und Demodulationsfunktionen bereitstellt und es dem/den Controller(n) 1036 ermöglicht, über drahtlose Netzwerke zu kommunizieren. In mindestens einer Ausführungsform kann die Netzwerkschnittstelle 1024 ein Funkfrequenz-Frontend für die Aufwärtskonvertierung von Basisband auf Funkfrequenz und die Abwärtskonvertierung von Funkfrequenz auf Basisband enthalten. In mindestens einer Ausführungsform können die Frequenzumwandlungen auf jede technisch mögliche Weise durchgeführt werden. Beispielsweise können Frequenzumwandlungen durch bekannte Verfahren und/oder unter Verwendung von Superheterodyn-Verfahren durchgeführt werden. In mindestens einer Ausführungsform kann die Hochfrequenz-Frontend-Funktionalität durch einen separaten Chip bereitgestellt werden. In mindestens einer Ausführungsform können die Netzwerkschnittstellen drahtlose Funktionen für die Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle umfassen.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 ferner einen oder mehrere Datenspeicher 1028 umfassen, die ohne Einschränkung einen Speicher außerhalb des Chips (z. B. außerhalb des SoCs 1004) umfassen können. In mindestens einer Ausführungsform kann (können) der (die) Datenspeicher 1028 ohne Einschränkung ein oder mehrere Speicherelemente umfassen, darunter RAM, SRAM, dynamischer Direktzugriffsspeicher („DRAM“), Video-Direktzugriffsspeicher („VRAM“), Flash-Speicher, Festplatten und/oder andere Komponenten und/oder Geräte, die mindestens ein Bit an Daten speichern können.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 außerdem GNSS-Sensor(en) 1058 (z.B. GPS und/oder unterstützte GPS-Sensoren) enthalten, um bei der Kartierung, der Wahrnehmung, der Erstellung von Belegungsrastern und/oder der Wegplanung zu helfen. In mindestens einer Ausführungsform kann eine beliebige Anzahl von GNSS-Sensor(en) 1058 verwendet werden, beispielsweise und ohne Einschränkung ein GPS, das einen USB-Anschluss mit einer Ethernet-zu-Seriell-Brücke (z. B. RS-232) verwendet.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 außerdem RADAR-Sensor(en) 1060 enthalten. In mindestens einer Ausführungsform kann (können) der (die) RADAR-Sensor(en) 1060 vom Fahrzeug 1000 für die Erkennung von Fahrzeugen mit großer Reichweite verwendet werden, selbst bei Dunkelheit und/oder schlechten Wetterbedingungen. In mindestens einer Ausführungsform können die RADAR-Funktionssicherheitsstufen ASIL B sein. In mindestens einer Ausführungsform kann/können der/die RADAR-Sensor(en) 1060 einen CAN-Bus und/oder Bus 1002 (z. B. zur Übertragung von Daten, die von dem/den RADAR-Sensor(en) 1060 erzeugt wurden) zur Steuerung und zum Zugriff auf Objektverfolgungsdaten verwenden, wobei in einigen Beispielen der Zugang zu Ethernet-Kanälen zum Zugriff auf Rohdaten möglich ist. In mindestens einer Ausführungsform kann eine breite Palette von RADAR-Sensortypen verwendet werden. Zum Beispiel und ohne Einschränkung können RADAR-Sensor(en) 1060 für die Verwendung von Front-, Heck- und Seiten-RADAR geeignet sein. In mindestens einer Ausführungsform ist ein oder mehrere Sensoren des RADAR-Sensors/der RADAR-Sensoren 1060 ein Puls-Doppler-RADAR-Sensor.
  • In mindestens einer Ausführungsform kann (können) der (die) RADAR-Sensor(en) 1060 verschiedene Konfigurationen umfassen, z. B. mit großer Reichweite und engem Sichtfeld, mit geringer Reichweite und breitem Sichtfeld, mit seitlicher Abdeckung im Nahbereich usw. In mindestens einer Ausführungsform kann RADAR mit großer Reichweite für die adaptive Geschwindigkeitsregelung verwendet werden. In mindestens einer Ausführungsform können RADAR-Systeme mit großer Reichweite ein breites Sichtfeld bieten, das durch zwei oder mehr unabhängige Abtastungen, z. B. innerhalb eines Bereichs von 250 m (Meter), realisiert wird. In mindestens einer Ausführungsform kann/können der/die RADAR-Sensor(en) 1060 dabei helfen, zwischen statischen und sich bewegenden Objekten zu unterscheiden, und kann/können vom ADAS-System 1038 zur Notbremsunterstützung und zur Vorwärtskollisionswarnung verwendet werden. In mindestens einer Ausführungsform können die Sensoren 1060, die in einem RADARSystem mit großer Reichweite enthalten sind, ohne Einschränkung ein monostatisches multimodales RADAR mit mehreren (z. B. sechs oder mehr) festen RADAR-Antennen und einer Hochgeschwindigkeits-CAN- und FlexRay-Schnittstelle umfassen. In mindestens einer Ausführungsform mit sechs Antennen können vier Antennen in der Mitte ein fokussiertes Strahlenmuster erzeugen, das dazu dient, die Umgebung des Fahrzeugs bei höheren Geschwindigkeiten mit minimalen Störungen durch den Verkehr auf den angrenzenden Fahrspuren zu erfassen. In mindestens einer Ausführungsform können zwei weitere Antennen das Sichtfeld erweitern, so dass Fahrzeuge, die in eine Fahrspur des Fahrzeugs 1000 einfahren oder diese verlassen, schnell erfasst werden können.
  • In mindestens einer Ausführungsform können RADAR-Systeme mittlerer Reichweite beispielsweise eine Reichweite von bis zu 160 m (vorne) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorne) oder 150 Grad (hinten) aufweisen. In mindestens einer Ausführungsform können RADAR-Systeme mit geringer Reichweite ohne Einschränkung eine beliebige Anzahl von RADAR-Sensoren 1060 umfassen, die an beiden Enden eines hinteren Stoßfängers installiert werden können. Wenn ein RADAR-Sensorsystem an beiden Enden eines hinteren Stoßfängers installiert ist, kann es in mindestens einer Ausführungsform zwei Strahlen erzeugen, die ständig tote Winkel in Richtung nach hinten und neben einem Fahrzeug überwachen. In mindestens einer Ausführungsform können RADAR-Systeme mit kurzer Reichweite im ADAS-System 1038 zur Erkennung des toten Winkels und/oder als Spurwechselassistent verwendet werden.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 außerdem Ultraschallsensor(en) 1062 enthalten. In mindestens einer Ausführungsform kann (können) der (die) Ultraschallsensor(en) 1062, der (die) an einer vorderen, hinteren und/oder seitlichen Stelle des Fahrzeugs 1000 angeordnet sein kann (können), zur Einparkhilfe und/oder zur Erstellung und Aktualisierung eines Belegungsrasters verwendet werden. In mindestens einer Ausführungsform kann eine Vielzahl von Ultraschallsensoren 1062 verwendet werden, und unterschiedliche Ultraschallsensoren 1062 können für unterschiedliche Erfassungsbereiche (z. B. 2,5 m, 4 m) verwendet werden. In mindestens einer Ausführungsform kann (können) der (die) Ultraschallsensor(en) 1062 bei funktionalen Sicherheitsstufen von ASIL B arbeiten.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 LIDAR-Sensor(en) 1064 enthalten. In mindestens einer Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 1064 für die Erkennung von Objekten und Fußgängern, Notbremsungen, Kollisionsvermeidung und/oder andere Funktionen verwendet werden. In mindestens einer Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 1064 auf der funktionalen Sicherheitsstufe ASIL B betrieben werden. In mindestens einer Ausführungsform kann das Fahrzeug 1000 mehrere LIDAR-Sensoren 1064 (z. B. zwei, vier, sechs usw.) umfassen, die einen Ethernet-Kanal verwenden können (z. B. zur Bereitstellung von Daten an einen Gigabit-Ethernet-Switch).
  • In mindestens einer Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 1064 in der Lage sein, eine Liste von Objekten und deren Entfernungen für ein 360-Grad-Sichtfeld zu liefern. In mindestens einer Ausführungsform kann (können) der (die) handelsübliche(n) LIDAR-Sensor(en) 1064 eine beworbene Reichweite von etwa 100 m haben, mit einer Genauigkeit von 2 cm bis 3 cm und mit Unterstützung für eine 100-Mbps-Ethernet-Verbindung, zum Beispiel. In mindestens einer Ausführungsform können ein oder mehrere nicht vorspringende LIDAR-Sensoren verwendet werden. In einer solchen Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 1064 ein kleines Gerät umfassen, das in eine Front-, Heck-, Seiten- und/oder Eckposition des Fahrzeugs 1000 eingebettet werden kann. In mindestens einer Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 1064 in einer solchen Ausführungsform ein horizontales Sichtfeld von bis zu 120 Grad und ein vertikales Sichtfeld von 35 Grad mit einer Reichweite von 200 m selbst für Objekte mit geringem Reflexionsvermögen bieten. In mindestens einer Ausführungsform kann (können) der (die) frontmontierte(n) LIDAR-Sensor(en) 1064 für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad konfiguriert werden.
  • In mindestens einer Ausführungsform können auch LIDAR-Technologien, wie 3D-Blitz-LIDAR, verwendet werden. In mindestens einer Ausführungsform wird beim 3D-Blitz-LIDAR ein Laserblitz als Übertragungsquelle verwendet, um die Umgebung des Fahrzeugs 1000 bis zu einer Entfernung von etwa 200 m zu beleuchten. In mindestens einer Ausführungsform umfasst eine Blitz-LIDAR-Einheit unter anderem einen Rezeptor, der die Laufzeit des Laserpulses und das reflektierte Licht an jedem Pixel aufzeichnet, was wiederum einer Entfernung von Fahrzeug 1000 zu Objekten entspricht. In mindestens einer Ausführungsform kann Flash-LIDAR es ermöglichen, mit jedem Laserblitz hochgenaue und verzerrungsfreie Bilder der Umgebung zu erzeugen. In mindestens einer Ausführungsform können vier Flash-LIDAR-Sensoren eingesetzt werden, einer an jeder Seite des Fahrzeugs 1000. In mindestens einer Ausführungsform umfassen 3D-Blitz-LIDAR-Systeme ohne Einschränkung eine 3D-Star-Array-LIDAR-Festkörperkamera, die außer einem Gebläse keine beweglichen Teile aufweist (z. B. ein nicht scannendes LIDAR-Gerät). In mindestens einer Ausführungsform kann das Blitz-LIDAR-Gerät einen 5-Nanosekunden-Laserimpuls der Klasse I (augensicher) pro Bild verwenden und das reflektierte Laserlicht als 3D-Entfernungspunktwolke und koregistrierte Intensitätsdaten erfassen.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 außerdem einen oder mehrere IMU-Sensoren 1066 umfassen. In mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 1066 in der Mitte der Hinterachse des Fahrzeugs 1000 angeordnet sein. In mindestens einer Ausführungsform kann (können) der (die) IMU-Sensor(en) 1066 beispielsweise und ohne Einschränkung einen oder mehrere Beschleunigungsmesser, Magnetometer, Gyroskop(e), einen Magnetkompass, Magnetkompasse und/oder andere Sensortypen umfassen. In mindestens einer Ausführungsform, wie z. B. bei sechsachsigen Anwendungen, kann/können der/die IMU-Sensor(en) 1066 ohne Einschränkung Beschleunigungsmesser und Gyroskope umfassen. In mindestens einer Ausführungsform, z. B. bei neunachsigen Anwendungen, kann (können) der (die) IMU-Sensor(en) 1066 ohne Einschränkung Beschleunigungsmesser, Gyroskope und Magnetometer umfassen.
  • In mindestens einer Ausführungsform kann (können) der (die) IMU-Sensor(en) 1066 als ein miniaturisiertes, hochleistungsfähiges GPS-gestütztes Trägheitsnavigationssystem („GPS/INS“) implementiert werden, das mikroelektromechanische Systeme („MEMS“) Trägheitssensoren, einen hochempfindlichen GPS-Empfänger und fortschrittliche Kalman-Filteralgorithmen kombiniert, um Schätzungen von Position, Geschwindigkeit und Lage zu liefern. In mindestens einer Ausführungsform können die IMU-Sensoren 1066 das Fahrzeug 1000 in die Lage versetzen, seinen Kurs zu schätzen, ohne dass Eingaben von einem Magnetsensor erforderlich sind, indem Änderungen der Geschwindigkeit von einem GPS direkt beobachtet und mit den IMU-Sensoren 1066 korreliert werden. In mindestens einer Ausführungsform können IMU-Sensor(en) 1066 und GNSS-Sensor(en) 1058 in einer einzigen integrierten Einheit kombiniert werden.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 Mikrofon(e) 1096 enthalten, die im und/oder am Fahrzeug 1000 angebracht sind. In mindestens einer Ausführungsform kann (können) das (die) Mikrofon(e) 1096 u. a. zur Erkennung und Identifizierung von Einsatzfahrzeugen verwendet werden.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 darüber hinaus eine beliebige Anzahl von Kameratypen umfassen, einschließlich Stereokamera(s) 1068, Weitwinkelkamera(s) 1070, Infrarotkamera(s) 1072, Umgebungskamera(s) 1074, Weitbereichskamera(s) 1098, Mittelbereichskamera(s) 1076 und/oder andere Kameratypen. In mindestens einer Ausführungsform können Kameras verwendet werden, um Bilddaten rund um den gesamten Umfang des Fahrzeugs 1000 zu erfassen. In mindestens einer Ausführungsform hängt es vom Fahrzeug 1000 ab, welche Arten von Kameras verwendet werden. In mindestens einer Ausführungsform kann eine beliebige Kombination von Kameratypen verwendet werden, um die erforderliche Abdeckung um das Fahrzeug 1000 herum zu gewährleisten. In mindestens einer Ausführungsform kann die Anzahl der eingesetzten Kameras je nach Ausführungsform unterschiedlich sein. In mindestens einer Ausführungsform könnte das Fahrzeug 1000 beispielsweise sechs, sieben, zehn, zwölf oder eine andere Anzahl von Kameras umfassen. In mindestens einer Ausführungsform können die Kameras zum Beispiel und ohne Einschränkung Gigabit Multimedia Serial Link („GMSL“) und/oder Gigabit Ethernet-Kommunikation unterstützen. In mindestens einer Ausführungsform kann jede Kamera so beschaffen sein, wie zuvor in Bezug auf 10A und 10B näher beschrieben.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 außerdem einen oder mehrere Schwingungssensoren 1042 umfassen. In mindestens einer Ausführungsform kann (können) der (die) Schwingungssensor(en) 1042 Schwingungen von Komponenten des Fahrzeugs 1000, wie etwa der Achse(n), messen. Zum Beispiel können in mindestens einer Ausführungsform Änderungen der Vibrationen eine Änderung der Straßenoberfläche anzeigen. In mindestens einer Ausführungsform können bei Verwendung von zwei oder mehr Schwingungssensoren 1042 die Unterschiede zwischen den Schwingungen zur Bestimmung der Reibung oder des Schlupfes der Straßenoberfläche verwendet werden (z. B. wenn ein Unterschied in den Schwingungen zwischen einer angetriebenen Achse und einer frei drehenden Achse besteht).
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 das ADAS-System 1038 umfassen. In mindestens einer Ausführungsform kann das ADAS-System 1038 in einigen Beispielen ohne Einschränkung einen SoC enthalten. In mindestens einer Ausführungsform kann das ADAS-System 1038 ohne Einschränkung eine beliebige Anzahl und Kombination eines autonomen/adaptiven/automatischen Geschwindigkeitsregelsystems („ACC“), eines kooperativen adaptiven Geschwindigkeitsregelsystems („CACC“), eines Vorwärts-Crash-Warnsystems („FCW“), eines automatischen Notbremssystems („AEB“) ein System zur Warnung vor dem Verlassen der Fahrspur („LDW“), ein Spurhalteassistent („LKA“), ein System zur Warnung vor dem toten Winkel („BSW“), ein System zur Warnung vor rückwärtigem Querverkehr („RCTW“), ein System zur Kollisionswarnung („CW“), ein System zur Zentrierung der Fahrspur („LC“) und/oder andere Systeme, Merkmale und/oder Funktionen.
  • In mindestens einer Ausführungsform kann das ACC-System RADAR-Sensor(en) 1060, LIDAR-Sensor(en) 1064 und/oder eine beliebige Anzahl von Kameras verwenden. In mindestens einer Ausführungsform kann das ACC-System ein ACC-System in Längsrichtung und/oder ein ACC-System in Querrichtung umfassen. In mindestens einer Ausführungsform überwacht und steuert ein ACC-System in Längsrichtung den Abstand zu einem anderen Fahrzeug unmittelbar vor dem Fahrzeug 1000 und passt die Geschwindigkeit des Fahrzeugs 1000 automatisch an, um einen sicheren Abstand zu vorausfahrenden Fahrzeugen einzuhalten. In mindestens einer Ausführungsform übernimmt ein seitliches ACC-System die Abstandshaltung und rät dem Fahrzeug 1000, bei Bedarf die Spur zu wechseln. In mindestens einer Ausführungsform ist ein seitliches ACC-System mit anderen ADAS-Anwendungen wie LC und CW verbunden.
  • In mindestens einer Ausführungsform verwendet ein CACC-System Informationen von anderen Fahrzeugen, die über die Netzwerkschnittstelle 1024 und/oder die Funkantenne(n) 1026 von anderen Fahrzeugen über eine drahtlose Verbindung oder indirekt über eine Netzwerkverbindung (z. B. über das Internet) empfangen werden können. In mindestens einer Ausführungsform können direkte Verbindungen durch eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung („V2V“) bereitgestellt werden, während indirekte Verbindungen durch eine Infrastruktur-zu-Fahrzeug-Kommunikationsverbindung („I2V“) bereitgestellt werden können. Im Allgemeinen liefert die V2V-Kommunikation Informationen über unmittelbar vorausfahrende Fahrzeuge (z. B. Fahrzeuge, die sich unmittelbar vor und auf derselben Spur wie Fahrzeug 1000 befinden), während die I2V-Kommunikation Informationen über den weiter vorausfahrenden Verkehr liefert. In mindestens einer Ausführungsform kann ein CACC-System entweder eine oder beide I2V- und V2V-Informationsquellen enthalten. In mindestens einer Ausführungsform kann ein CACC-System angesichts der Informationen über Fahrzeuge vor dem Fahrzeug 1000 zuverlässiger sein und hat das Potenzial, den Verkehrsfluss zu verbessern und Staus auf der Straße zu verringern.
  • In mindestens einer Ausführungsform ist ein FCW-System so konzipiert, dass es einen Fahrer vor einer Gefahr warnt, so dass dieser korrigierend eingreifen kann. In mindestens einer Ausführungsform verwendet ein FCW-System eine nach vorne gerichtete Kamera und/oder RADAR-Sensor(en) 1060, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch gekoppelt ist, um dem Fahrer eine Rückmeldung zu geben, z. B. eine Angabe, einen Lautsprecher und/oder eine vibrierende Komponente. In mindestens einer Ausführungsform kann ein FCW-System eine Warnung ausgeben, z. B. in Form eines Tons, einer optischen Warnung, einer Vibration und/oder eines schnellen Bremsimpulses.
  • In mindestens einer Ausführungsform erkennt ein AEB-System einen drohenden Zusammenstoß mit einem anderen Fahrzeug oder einem anderen Objekt und kann automatisch die Bremsen betätigen, wenn der Fahrer nicht innerhalb eines bestimmten Zeit- oder Entfernungsparameters korrigierend eingreift. In mindestens einer Ausführungsform kann das AEB-System (eine) nach vorne gerichtete Kamera(s) und/oder RADAR-Sensor(en) 1060 verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC verbunden sind. In mindestens einer Ausführungsform wird ein AEB-System, wenn es eine Gefahr erkennt, typischerweise zuerst einen Fahrer warnen, damit er korrigierende Maßnahmen ergreift, um eine Kollision zu vermeiden, und wenn dieser Fahrer keine korrigierenden Maßnahmen ergreift, kann das AEB-System automatisch die Bremsen betätigen, um die Auswirkungen einer vorhergesagten Kollision zu verhindern oder mindestens zu mildern. In mindestens einer Ausführungsform kann ein AEB-System Techniken wie eine dynamische Bremsunterstützung und/oder eine Crash-Imminent-Bremsung umfassen.
  • In mindestens einer Ausführungsform bietet ein LDW-System visuelle, akustische und/oder taktile Warnungen, wie z. B. Lenkrad- oder Sitzvibrationen, um den Fahrer zu warnen, wenn das Fahrzeug 1000 die Fahrbahnmarkierungen überschreitet. In mindestens einer Ausführungsform wird ein LDW-System nicht aktiviert, wenn ein Fahrer ein absichtliches Verlassen der Fahrspur anzeigt, z. B. durch Betätigen eines Blinkers. In mindestens einer Ausführungsform kann ein LDW-System nach vorne gerichtete Kameras verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch gekoppelt ist, um dem Fahrer eine Rückmeldung zu geben, z. B. über eine Angabe, einen Lautsprecher und/oder eine vibrierende Komponente. In mindestens einer Ausführungsform ist ein LKA-System eine Variante eines LDW-Systems. In mindestens einer Ausführungsform liefert ein LKA-System einen Lenkeingriff oder eine Bremsung, um das Fahrzeug 1000 zu korrigieren, wenn das Fahrzeug 1000 beginnt, seine Fahrspur zu verlassen.
  • In mindestens einer Ausführungsform erkennt und warnt ein BSW-System den Fahrer vor Fahrzeugen im toten Winkel des Fahrzeugs. In mindestens einer Ausführungsform kann ein BSW-System eine visuelle, akustische und/oder taktile Warnung ausgeben, um darauf hinzuweisen, dass das Zusammenführen oder Wechseln der Fahrspur unsicher ist. In mindestens einer Ausführungsform kann ein BSW-System eine zusätzliche Warnung ausgeben, wenn ein Fahrer einen Blinker betätigt. In mindestens einer Ausführungsform kann ein BSW-System (eine) nach hinten gerichtete Kamera(s) und/oder (einen) RADAR-Sensor(s) 1060 verwenden, der/die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist/sind, der/die elektrisch mit dem Fahrerfeedback gekoppelt ist/sind, wie z. B. ein Display, ein Lautsprecher und/oder eine vibrierende Komponente.
  • In mindestens einer Ausführungsform kann ein RCTW-System eine visuelle, akustische und/oder taktile Benachrichtigung ausgeben, wenn ein Objekt außerhalb des Bereichs der Rückfahrkamera erkannt wird, während das Fahrzeug 1000 rückwärts fährt. In mindestens einer Ausführungsform umfasst ein RCTW-System ein AEB-System, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Unfall zu vermeiden. In mindestens einer Ausführungsform kann ein RCTW-System einen oder mehrere nach hinten gerichtete(n) RADAR-Sensor(en) 1060 verwenden, der/die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist/sind, der/die elektrisch gekoppelt ist/sind, um dem Fahrer eine Rückmeldung zu geben, z. B. eine Angabe, einen Lautsprecher und/oder eine vibrierende Komponente.
  • In mindestens einer Ausführungsform kann es bei herkömmlichen ADAS-Systemen zu falsch-positiven Ergebnissen kommen, die für den Fahrer ärgerlich und ablenkend sein können, aber in der Regel nicht katastrophal sind, da herkömmliche ADAS-Systeme den Fahrer warnen und ihm die Möglichkeit geben, zu entscheiden, ob ein Sicherheitszustand wirklich vorliegt und entsprechend zu handeln. In mindestens einer Ausführungsform entscheidet das Fahrzeug 1000 bei widersprüchlichen Ergebnissen selbst, ob das Ergebnis eines primären Computers oder eines sekundären Computers (z. B. eines ersten Steuergeräts oder eines zweiten Steuergeräts der Steuergeräte 1036) zu berücksichtigen ist. Zum Beispiel kann in mindestens einer Ausführungsform das ADAS-System 1038 ein Backup- und/oder Sekundärcomputer sein, der einem Rationalitätsmodul des Backup-Computers Wahrnehmungsinformationen liefert. In mindestens einer Ausführungsform kann ein Rationalitätsmonitor eines Ersatzrechners redundante, unterschiedliche Software auf Hardwarekomponenten ausführen, um Fehler bei der Wahrnehmung und bei dynamischen Fahraufgaben zu erkennen. In mindestens einer Ausführungsform können die Ausgaben des ADAS-Systems 1038 an eine übergeordnete MCU weitergeleitet werden. In mindestens einer Ausführungsform bestimmt eine übergeordnete MCU, wie der Konflikt zu lösen ist, um einen sicheren Betrieb zu gewährleisten, wenn die Ausgaben eines Primärrechners und die Ausgaben eines Sekundärrechners in Konflikt geraten.
  • In mindestens einer Ausführungsform kann ein primärer Computer so konfiguriert sein, dass er einer übergeordneten MCU einen Vertrauenswert liefert, der das Vertrauen des primären Computers in ein gewähltes Ergebnis angibt. In mindestens einer Ausführungsform kann die überwachende MCU der Anweisung des Primärcomputers folgen, wenn der Vertrauenswert einen Schwellenwert überschreitet, unabhängig davon, ob der Sekundärcomputer ein widersprüchliches oder inkonsistentes Ergebnis liefert. In mindestens einer Ausführungsform kann eine überwachende MCU in Fällen, in denen ein Vertrauenswert einen Schwellenwert nicht erreicht und in denen Primär- und Sekundärcomputer unterschiedliche Ergebnisse (z. B. einen Konflikt) anzeigen, zwischen den Computern vermitteln, um ein geeignetes Ergebnis zu bestimmen.
  • In mindestens einer Ausführungsform kann eine überwachende MCU so konfiguriert sein, dass sie ein neuronales Netz bzw. neuronale Netze ausführt, das bzw. die so trainiert und konfiguriert ist bzw. sind, dass es bzw. sie mindestens teilweise basierend auf der Ausgaben eines Primärcomputers und der Ausgaben eines Sekundärcomputers die Bedingungen bestimmt bzw. bestimmen, unter denen der Sekundärcomputer Fehlalarme auslöst. In mindestens einer Ausführungsform kann (können) das (die) neuronale(n) Netz(e) in einer Überwachungs-MCU lernen, wann der Ausgabe eines Sekundärcomputers vertraut werden kann und wann nicht. Wenn es sich bei dem sekundären Computer beispielsweise um ein RADAR-basiertes FCW-System handelt, kann(n) ein neuronales Netz(e) in der überwachenden MCU lernen, wann ein FCW-System metallische Objekte identifiziert, die in Wirklichkeit keine Gefahr darstellen, wie etwa ein Abflussgitter oder ein Schachtdeckel, der einen Alarm auslöst. In mindestens einer Ausführungsform kann ein neuronales Netz in einer Überwachungs-MCU lernen, den Spurhalteassistenten außer Kraft zu setzen, wenn Radfahrer oder Fußgänger anwesend sind und ein Verlassen der Fahrspur tatsächlich das sicherste Manöver ist, wenn es sich bei dem sekundären Computer um ein kamerabasiertes Spurhalteassistentensystem handelt. In mindestens einer Ausführungsform kann eine überwachende MCU mindestens eine DLA oder eine GPU enthalten, die für die Ausführung neuronaler Netze mit zugehörigem Speicher geeignet ist. In mindestens einer Ausführungsform kann eine Überwachungs-MCU eine Komponente des/der SoC(s) 1004 umfassen und/oder als solche enthalten sein.
  • In mindestens einer Ausführungsform kann das ADAS-System 1038 einen sekundären Computer umfassen, der die ADAS-Funktionen unter Verwendung herkömmlicher Regeln der Computer Vision ausführt. In mindestens einer Ausführungsform kann dieser sekundäre Computer klassische Regeln des Computersehens (wenn-dann) verwenden, und das Vorhandensein eines neuronalen Netzes (von neuronalen Netzen) in einer übergeordneten MCU kann die Zuverlässigkeit, Sicherheit und Leistung verbessern. In mindestens einer Ausführungsform macht beispielsweise die unterschiedliche Implementierung und die absichtliche Nichtidentität ein Gesamtsystem fehlertoleranter, insbesondere gegenüber Fehlern, die durch Softwarefunktionen (oder Software-Hardware-Schnittstellen) verursacht werden. Wenn beispielsweise in mindestens einer Ausführungsform ein Softwarefehler in der auf einem primären Computer laufenden Software auftritt und nicht identischer Softwarecode auf einem sekundären Computer läuft, der ein konsistentes Gesamtergebnis liefert, kann eine überwachende MCU mit größerer Sicherheit davon ausgehen, dass das Gesamtergebnis korrekt ist und ein Fehler in der Software oder Hardware auf dem primären Computer keinen wesentlichen Fehler verursacht.
  • In mindestens einer Ausführungsform kann eine Ausgabe des ADAS-Systems 1038 in den Wahrnehmungsblock eines Primärrechners und/oder in den Block für dynamische Fahraufgaben eines Primärrechners eingespeist werden. Wenn das ADAS-System 1038 beispielsweise eine Warnung vor einem Aufprall aufgrund eines unmittelbar vorausliegenden Objekts anzeigt, kann ein Wahrnehmungsblock diese Informationen bei der Identifizierung von Objekten verwenden. In mindestens einer Ausführungsform kann ein Sekundärcomputer über ein eigenes neuronales Netz verfügen, das trainiert ist und somit das Risiko von Fehlalarmen verringert, wie hier beschrieben.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 außerdem ein Infotainment-SoC 1030 (z. B. ein bordeigenes Infotainment-System (IVI)) enthalten. Obwohl als SoC dargestellt und beschrieben, kann das Infotainment-System-SoC 1030 in mindestens einer Ausführungsform kein SoC sein und kann ohne Einschränkung zwei oder mehr diskrete Komponenten umfassen. In mindestens einer Ausführungsform kann der Infotainment-SoC 1030 ohne Einschränkung eine Kombination aus Hardware und Software umfassen, die verwendet werden kann, um Audio (z. B. Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio usw.), Video (z. B. TV, Filme, Streaming usw.), Telefon (z. B.), Telefon (z. B. Freisprecheinrichtung), Netzwerkkonnektivität (z. B. LTE, WiFi usw.) und/oder Informationsdienste (z. B. Navigationssysteme, Einparkhilfe hinten, ein Radiodatensystem, fahrzeugbezogene Informationen wie Kraftstoffstand, zurückgelegte Gesamtstrecke, Bremskraftstoffstand, Ölstand, Tür öffnen/schließen, Luftfilterinformationen usw.) an das Fahrzeug 1000. Der Infotainment-SoC 1030 könnte beispielsweise Radios, Plattenspieler, Navigationssysteme, Videoplayer, USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, WiFi, Audiobedienelemente am Lenkrad, eine Freisprecheinrichtung, ein Heads-up-Display („HUD“), ein HMI-Display 1034, ein Telematikgerät, ein Bedienfeld (z. B. zur Steuerung und/oder Interaktion mit verschiedenen Komponenten, Funktionen und/oder Systemen) und/oder andere Komponenten umfassen. In mindestens einer Ausführungsform kann der Infotainment-SoC 1030 ferner dazu verwendet werden, dem/den Benutzer(n) des Fahrzeugs 1000 Informationen (z. B. visuell und/oder akustisch) zur Verfügung zu stellen, wie z. B. Informationen vom ADAS-System 1038, autonome Fahrinformationen wie geplante Fahrzeugmanöver, Trajektorien, Umgebungsinformationen (z. B. Kreuzungsinformationen, Fahrzeuginformationen, Straßeninformationen usw.) und/oder andere Informationen.
  • In mindestens einer Ausführungsform kann der Infotainment-SoC 1030 eine beliebige Menge und Art von GPU-Funktionalität enthalten. In mindestens einer Ausführungsform kann der Infotainment-SoC 1030 über den Bus 1002 mit anderen Geräten, Systemen und/oder Komponenten des Fahrzeugs 1000 kommunizieren. In mindestens einer Ausführungsform kann der Infotainment-SoC 1030 mit einer Überwachungs-MCU gekoppelt sein, so dass eine GPU eines Infotainment-Systems einige Selbstfahrfunktionen ausführen kann, falls die primäre(n) Steuereinheiten) 1036 (z. B. primäre und/oder Backup-Computer des Fahrzeugs 1000) ausfallen. In mindestens einer Ausführungsform kann der Infotainment-SoC 1030 das Fahrzeug 1000 in einen Chauffeurmodus bis zum sicheren Anhalten versetzen, wie hierin beschrieben.
  • In mindestens einer Ausführungsform kann das Fahrzeug 1000 ferner ein Kombiinstrument 1032 (z. B. ein digitales Armaturenbrett, ein elektronisches Kombiinstrument, eine digitale Instrumententafel usw.) enthalten. In mindestens einer Ausführungsform kann das Kombiinstrument 1032 ohne Einschränkung ein Steuergerät und/oder einen Supercomputer (z. B. ein diskretes Steuergerät oder einen Supercomputer) umfassen. In mindestens einer Ausführungsform kann das Kombiinstrument 1032 ohne Einschränkung eine beliebige Anzahl und Kombination von Instrumenten wie Tachometer, Kraftstoffstand, Öldruck, Drehzahlmesser, Kilometerzähler, Blinker, Schaltstellungsanzeige, Sicherheitsgurt-Warnleuchte(n), Parkbrems-Warnleuchte(n), Motor-Fehlfunktionsleuchte(n), Informationen über zusätzliche Rückhaltesysteme (z. B. Airbags), Beleuchtungssteuerungen, Sicherheitssystemsteuerungen, Navigationsinformationen usw. enthalten. In einigen Beispielen können Informationen angezeigt und/oder zwischen dem Infotainment SoC 1030 und dem Kombiinstrument 1032 ausgetauscht werden. In mindestens einer Ausführungsform kann das Kombiinstrument 1032 ein Teil des Infotainment-SoC 1030 sein oder umgekehrt.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System 10C für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 10C gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • 10D ist ein Diagramm eines Systems für die Kommunikation zwischen dem/den cloudbasierten Server(n) und dem autonomen Fahrzeug 1000 der 10A, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System ohne Einschränkung den/die Server 1078, das/die Netzwerk(e) 1090 und eine beliebige Anzahl und Art von Fahrzeugen, einschließlich des Fahrzeugs 1000, umfassen. In mindestens einer Ausführungsform kann (können) der (die) Server 1078 ohne Einschränkung eine Vielzahl von GPUs 1084(A)-1084(H) (hier zusammenfassend als GPUs 1084 bezeichnet), PCIe-Switches 1082(A)-1082(D) (hier zusammenfassend als PCIe-Switches 1082 bezeichnet) und/oder CPUs 1080(A)-1080(B) (hier zusammenfassend als CPUs 1080 bezeichnet) umfassen. In mindestens einer Ausführungsform können die GPUs 1084, die CPUs 1080 und die PCIe-Switches 1082 über Hochgeschwindigkeitsverbindungen miteinander verbunden werden, wie z. B. und ohne Einschränkung die von NVIDIA entwickelten NVLink-Schnittstellen 1088 und/oder PCIe-Verbindungen 1086. In mindestens einer Ausführungsform sind die Grafikprozessoren 1084 über ein NVLink- und/oder NVSwitch-SoC und die Grafikprozessoren 1084 und PCIe-Switches 1082 über PCIe-Verbindungen verbunden. Obwohl acht GPUs 1084, zwei CPUs 1080 und vier PCIe-Switches 1082 dargestellt sind, ist dies nicht als Einschränkung zu verstehen. In mindestens einer Ausführungsform kann jeder der Server 1078 ohne Einschränkung eine beliebige Anzahl von GPUs 1084, CPUs 1080 und/oder PCIe-Switches 1082 in beliebiger Kombination enthalten. Zum Beispiel könnte(n) in mindestens einer Ausführungsform der/die Server 1078 jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 1084 umfassen.
  • In mindestens einer Ausführungsform kann (können) der (die) Server 1078 über das (die) Netzwerk(e) 1090 und von den Fahrzeugen Bilddaten empfangen, die für Bilder repräsentativ sind, die unerwartete oder veränderte Straßenbedingungen zeigen, wie z. B. kürzlich begonnene Straßenbauarbeiten. In mindestens einer Ausführungsform kann/können der/die Server 1078 über das/die Netzwerk(e) 1090 und an die Fahrzeuge aktualisierte oder andere neuronale Netze 1092 und/oder Karteninformationen 1094, einschließlich, ohne Einschränkung, Informationen über den Verkehr und die Straßenbedingungen, übertragen. In mindestens einer Ausführungsform können die Aktualisierungen der Karteninformationen 1094 ohne Einschränkung Aktualisierungen für die HD-Karte 1022 umfassen, wie z. B. Informationen über Baustellen, Schlaglöcher, Umleitungen, Überschwemmungen und/oder andere Hindernisse. In mindestens einer Ausführungsform können die neuronalen Netze 1092 und/oder die Karteninformationen 1094 aus neuem Training und/oder aus Erfahrungen resultieren, die in Daten dargestellt sind, die von einer beliebigen Anzahl von Fahrzeugen in einer Umgebung empfangen wurden, und/oder mindestens teilweise auf einem Training basieren, das in einem Datenzentrum durchgeführt wurde (z. B. unter Verwendung von Server(n) 1078 und/oder anderen Servern).
  • In mindestens einer Ausführungsform können die Server 1078 dazu verwendet werden, Modelle für maschinelles Lernen (z. B. neuronale Netze) mindestens teilweise basierend auf von Trainingsdaten zu trainieren. In mindestens einer Ausführungsform können die Trainingsdaten von Fahrzeugen und/oder in einer Simulation (z. B. unter Verwendung einer Spiel-Engine) erzeugt werden. In mindestens einer Ausführungsform wird eine beliebige Menge von Trainingsdaten markiert (z. B. wenn das zugehörige neuronale Netz vom überwachten Lernen profitiert) und/oder einer anderen Vorverarbeitung unterzogen. In mindestens einer Ausführungsform wird eine beliebige Menge von Trainingsdaten nicht markiert und/oder vorverarbeitet (z. B. wenn das zugehörige neuronale Netz kein überwachtes Lernen benötigt). In mindestens einer Ausführungsform können die maschinellen Lernmodelle, sobald sie trainiert sind, von den Fahrzeugen verwendet werden (z. B. durch Übertragung an die Fahrzeuge über das/die Netzwerk(e) 1090), und/oder die maschinellen Lernmodelle können von dem/den Server(n) 1078 zur Fernüberwachung der Fahrzeuge verwendet werden.
  • In mindestens einer Ausführungsform können Server 1078 Daten von Fahrzeugen empfangen und Daten auf aktuelle neuronale Netze in Echtzeit für intelligente Schlussfolgerungen in Echtzeit anwenden. In mindestens einer Ausführungsform können Server 1078 Deep-Learning-Supercomputer und/oder dedizierte KI-Computer umfassen, die von GPU(s) 1084 angetrieben werden, wie z. B. die von NVIDIA entwickelten DGX- und DGX-Station-Maschinen. In mindestens einer Ausführungsform kann (können) der (die) Server 1078 jedoch auch eine Deep-Learning-Infrastruktur umfassen, die CPU-betriebene Rechenzentren verwendet.
  • In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur des/der Server(s) 1078 in der Lage sein, schnelle Echtzeit-Inferenz durchzuführen und diese Fähigkeit zu nutzen, um den Zustand von Prozessoren, Software und/oder zugehöriger Hardware im Fahrzeug 1000 zu bewerten und zu überprüfen. Zum Beispiel kann die Deep-Learning-Infrastruktur in mindestens einer Ausführungsform periodische Aktualisierungen vom Fahrzeug 1000 empfangen, wie z. B. eine Sequenz von Bildern und/oder Objekten, die das Fahrzeug 1000 in dieser Sequenz von Bildern lokalisiert hat (z. B. über Computer Vision und/oder andere maschinelle Objektklassifizierungsverfahren). In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur ihr eigenes neuronales Netzwerk laufen lassen, um Objekte zu identifizieren und sie mit den vom Fahrzeug 1000 identifizierten Objekten zu vergleichen. Wenn die Ergebnisse nicht übereinstimmen und die Deep-Learning-Infrastruktur zu dem Schluss kommt, dass die KI im Fahrzeug 1000 eine Fehlfunktion aufweist, kann der Server 1078 ein Signal an das Fahrzeug 1000 senden, das einen ausfallsicheren Computer des Fahrzeugs 1000 anweist, die Kontrolle zu übernehmen, die Fahrgäste zu benachrichtigen und ein sicheres Parkmanöver durchzuführen.
  • In mindestens einer Ausführungsform können die Server 1078 GPU(s) 1084 und einen oder mehrere programmierbare Inferenzbeschleuniger (z. B. NVIDIAs TensorRT 3-Geräte) enthalten. In mindestens einer Ausführungsform kann eine Kombination aus GPU-gesteuerten Servern und Inferenzbeschleunigung eine Echtzeit-Reaktionsfähigkeit ermöglichen. In mindestens einer Ausführungsform, z. B. wenn die Leistung weniger kritisch ist, können Server, die von CPUs, FPGAs und anderen Prozessoren angetrieben werden, für die Inferenzbildung verwendet werden. In mindestens einer Ausführungsform werden Hardware-Struktur(en) 715 verwendet, um eine oder mehrere Ausführungsformen durchzuführen. Einzelheiten zu der/den Hardwarestruktur(en) 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben.
  • COMPUTERSYSTEME
  • 11 ist ein Blockdiagramm, das ein beispielhaftes Computersystem veranschaulicht, das ein System mit miteinander verbundenen Geräten und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor gebildet wird, der Ausführungseinheiten zur Ausführung eines Befehls enthalten kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Computersystem 1100 ohne Einschränkung eine Komponente wie einen Prozessor 1102 enthalten, um Ausführungseinheiten einschließlich Logik zur Durchführung von Algorithmen zur Verarbeitung von Daten gemäß der vorliegenden Offenbarung, wie in der hier beschriebenen Ausführungsform, zu verwenden. In mindestens einer Ausführungsform kann das Computersystem 1100 Prozessoren enthalten, wie die PENTIUM®-Prozessorfamilie, Xeon™, Itanium®, XScale™ und/oder StrongARM™, Intel® Core™ oder Intel® Nervana™-Mikroprozessoren, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, technische Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 1100 eine Version des WINDOWS-Betriebssystems ausführen, das von der Microsoft Corporation in Redmond, Washington, erhältlich ist, obwohl auch andere Betriebssysteme (z. B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.
  • Die Ausführungsformen können auch in anderen Geräten wie Handheld-Geräten und eingebetteten Anwendungen verwendet werden. Einige Beispiele für Handheld-Geräte sind Mobiltelefone, Internetprotokollgeräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide Area Network („WAN“)-Switches oder jedes andere System umfassen, das eine oder mehrere Anweisungen gemäß mindestens einer Ausführungsform ausführen kann.
  • In mindestens einer Ausführungsform kann das Computersystem 1100, ohne Einschränkung, einen Prozessor 1102 enthalten, der, ohne Einschränkung, eine oder mehrere Ausführungseinheiten 1108 enthalten kann, um ein maschinelles Lernmodelltraining und/oder eine Inferenz gemäß den hier beschriebenen Techniken durchzuführen. In mindestens einer Ausführungsform ist das Computersystem 1100 ein Einzelprozessor-Desktop- oder - Serversystem, aber in einer anderen Ausführungsform kann das Computersystem 1100 ein Multiprozessorsystem sein. In mindestens einer Ausführungsform kann der Prozessor 1102 ohne Einschränkung einen CISC-Mikroprozessor (Complex Instruction Set Computer), einen RISC-Mikroprozessor (Reduced Instruction Set Computing), einen VLIW-Mikroprozessor (Very Long Instruction Word), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder jedes andere Prozessorgerät, wie z.B. einen digitalen Signalprozessor, umfassen. In mindestens einer Ausführungsform kann der Prozessor 1102 mit einem Prozessorbus 1110 verbunden sein, der Datensignale zwischen dem Prozessor 1102 und anderen Komponenten im Computersystem 1100 übertragen kann.
  • In mindestens einer Ausführungsform kann der Prozessor 1102, ohne Einschränkung, einen internen Cache-Speicher („Cache“) 1104 der Ebene 1 („L1“) enthalten. In mindestens einer Ausführungsform kann der Prozessor 1102 einen einzigen internen Cache oder mehrere Ebenen von internem Cache haben. In mindestens einer Ausführungsform kann sich der Cache-Speicher außerhalb des Prozessors 1102 befinden. Andere Ausführungsformen können auch eine Kombination aus internen und externen Cachespeichern enthalten, je nach der jeweiligen Implementierung und den Bedürfnissen. In mindestens einer Ausführungsform kann eine Registerdatei 1106 verschiedene Datentypen in verschiedenen Registern speichern, darunter, ohne Einschränkung, Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister.
  • In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 1108, einschließlich, ohne Einschränkung, der Logik zur Durchführung von Ganzzahl- und Gleitkommaoperationen, ebenfalls im Prozessor 1102. In mindestens einer Ausführungsform kann der Prozessor 1102 auch einen Nur-Lese-Speicher („ROM“) für Mikrocode („ucode“) enthalten, der Mikrocode für bestimmte Makrobefehle speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 1108 eine Logik zur Verarbeitung eines gepackten Befehlssatzes 1109 enthalten. In mindestens einer Ausführungsform können durch die Aufnahme des gepackten Befehlssatzes 1109 in den Befehlssatz eines Mehrzweckprozessors zusammen mit der zugehörigen Schaltung zur Ausführung von Anweisungen Operationen, die von vielen Multimedia-Anwendungen verwendet werden, unter Verwendung gepackter Daten im Prozessor 1102 durchgeführt werden. In mindestens einer Ausführungsform können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem die volle Breite des Datenbusses eines Prozessors für die Durchführung von Operationen mit gepackten Daten genutzt wird, wodurch die Notwendigkeit entfällt, kleinere Dateneinheiten über den Datenbus des Prozessors zu übertragen, um eine oder mehrere Operationen mit jeweils einem Datenelement durchzuführen.
  • In mindestens einer Ausführungsform kann die Ausführungseinheit 1108 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikgeräten, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 1100, ohne Einschränkung, einen Speicher 1120 enthalten. In mindestens einer Ausführungsform kann der Speicher 1120 ein dynamischer Speicher mit wahlfreiem Zugriff („DRAM“), ein statischer Speicher mit wahlfreiem Zugriff („SRAM“), ein Flash-Speicher oder ein anderes Speichermedium sein. In mindestens einer Ausführungsform kann der Speicher 1120 Anweisung(en) 1119 und/oder Daten 1121 speichern, die durch Datensignale dargestellt werden, die vom Prozessor 1102 ausgeführt werden können.
  • In mindestens einer Ausführungsform kann ein Systemlogikchip mit dem Prozessorbus 1110 und dem Speicher 1120 verbunden sein. In mindestens einer Ausführungsform kann ein Systemlogikchip ohne Einschränkung einen Speicher-Controller-Hub („MCH“) 1116 umfassen, und der Prozessor 1102 kann mit dem MCH 1116 über den Prozessorbus 1110 kommunizieren. In mindestens einer Ausführungsform kann der MCH 1116 einen Speicherpfad 1118 mit hoher Bandbreite zum Speicher 1120 für die Befehls- und Datenspeicherung und für die Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH 1116 Datensignale zwischen dem Prozessor 1102, dem Speicher 1120 und anderen Komponenten im Computersystem 1100 leiten und Datensignale zwischen dem Prozessorbus 1110, dem Speicher 1120 und einer System-I/O-Schnittstelle 1122 überbrücken. In mindestens einer Ausführungsform kann ein Systemlogikchip einen Grafikport zur Verbindung mit einem Grafikcontroller bereitstellen. In mindestens einer Ausführungsform kann der MCH 1116 über einen Speicherpfad 1118 mit hoher Bandbreite mit dem Speicher 1120 verbunden sein, und eine Grafik-/Videokarte 1112 kann über eine AGP-Verbindung 1114 mit dem MCH 1116 verbunden sein.
  • In mindestens einer Ausführungsform kann das Computersystem 1100 die System-I/O-Schnittstelle 1122 als proprietären Hub-Schnittstellenbus verwenden, um den MCH 1116 mit einem I/O-Controller-Hub („ICH“) 1130 zu verbinden. In mindestens einer Ausführungsform kann der ICH 1130 direkte Verbindungen zu einigen I/O-Geräten über einen lokalen I/O-Bus bereitstellen. In mindestens einer Ausführungsform kann ein lokaler I/O-Bus ohne Einschränkung einen Hochgeschwindigkeits-I/O-Bus zur Verbindung von Peripheriegeräten mit dem Speicher 1120, einem Chipsatz und dem Prozessor 1102 umfassen. Beispiele hierfür sind u. a. ein Audiocontroller 1129, ein Firmware-Hub („Flash-BIOS“) 1128, ein drahtloser Transceiver 1126, ein Datenspeicher 1124, ein Alt-I/O-Controller 1123 mit Benutzereingabe- und Tastaturschnittstellen 1125, ein serieller Erweiterungsport 1127, z. B. ein Universal Serial Bus („USB“)-Port, und ein Netzwerkcontroller 1134. In mindestens einer Ausführungsform kann der Datenspeicher 1124 ein Festplattenlaufwerk, ein Diskettenlaufwerk, eine CD-ROM-Vorrichtung, eine Flash-Speichervorrichtung oder ein anderes Massenspeichervorrichtung umfassen.
  • In mindestens einer Ausführungsform zeigt 11 ein System, das miteinander verbundene Hardware-Geräte oder „Chips“ umfasst, während in anderen Ausführungsformen 11 einen beispielhaften SoC zeigen kann. In mindestens einer Ausführungsform können die in 11 dargestellten Geräte mit proprietären Verbindungen, standardisierten Verbindungen (z. B. PCIe) oder einer Kombination davon miteinander verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 1100 über Compute-Express-Link (CXL) -Verbindungen miteinander verbunden.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System 11 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 11 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Prozessor 1102 und/oder andere Komponenten des Computersystems 1100 der 11 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 12 ist ein Blockdiagramm, das ein elektronisches Vorrichtung 1200 zur Verwendung eines Prozessors 1210 gemäß mindestens einer Ausführungsform zeigt. In mindestens einer Ausführungsform kann das elektronische Vorrichtung 1200 zum Beispiel und ohne Einschränkung ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Desktop, ein Tablet, eine mobile Vorrichtung, ein Telefon, ein eingebetteter Computer oder eine andere geeignete elektronische Vorrichtung sein.
  • In mindestens einer Ausführungsform kann das elektronische Vorrichtung 1200 ohne Einschränkung einen Prozessor 1210 enthalten, der mit einer beliebigen Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Geräten kommunikativ verbunden ist. In mindestens einer Ausführungsform ist der Prozessor 1210 über einen Bus oder eine Schnittstelle gekoppelt, wie z. B. einen I2 C-Bus, einen System-Management-Bus („SMBus“), einen Low-Pin-Count-Bus (LPC), eine serielle Peripherieschnittstelle („SPI“), einen High-Definition-Audio-Bus („HDA“), einen Serial-Advance-Technology-Attachment-Bus („SATA“), einen Universal Serial Bus („USB“) (Versionen 1, 2, 3 usw.), oder ein Universal Asynchronous Receiver/Transmitter („UART“) Bus. In mindestens einer Ausführungsform veranschaulicht 12 ein System, das miteinander verbundene Hardware-Geräte oder „Chips“ umfasst, während in anderen Ausführungsformen 12 einen beispielhaften SoC veranschaulichen kann. In mindestens einer Ausführungsform können die in 12 dargestellten Geräte mit proprietären Verbindungen, standardisierten Verbindungen (z. B. PCIe) oder einer Kombination davon verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten der 12 über Compute-Express-Link (CXL) -Verbindungen miteinander verbunden.
  • In mindestens einer Ausführungsform kann 12 ein Display 1224, einen Touchscreen 1225, ein Touchpad 1230, eine Near Field Communications-Einheit („NFC“) 1245, einen Sensor-Hub 1240, einen Wärmesensor 1246, einen Express-Chipsatz („EC“) 1235, ein Trusted Platform Module („TPM“) 1238, BIOS/Firmware/Flash-Speicher („BIOS, FW Flash“) 1222, einen DSP 1260, ein Laufwerk 1220 wie eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine drahtlose lokale Netzwerkeinheit („WLAN“) 1250, eine Bluetooth-Einheit 1252, eine drahtlose Wide Area Network-Einheit („WWAN“) 1256, eine Global Positioning System (GPS) Einheit 1255, eine Kamera („USB 3.0-Kamera“) 1254, wie z. B. eine USB 3.0-Kamera, und/oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 1215, die z. B. nach einem LPDDR3-Standard implementiert ist. Diese Komponenten können in jeder geeigneten Weise implementiert werden.
  • In mindestens einer Ausführungsform können andere Komponenten über hierin beschriebene Komponenten mit dem Prozessor 1210 kommunikativ verbunden sein. In mindestens einer Ausführungsform können ein Beschleunigungsmesser 1241, ein Umgebungslichtsensor („ALS“) 1242, ein Kompass 1243 und ein Gyroskop 1244 kommunikativ mit dem Sensor-Hub 1240 verbunden sein. In mindestens einer Ausführungsform können ein Temperatursensor 1239, ein Lüfter 1237, eine Tastatur 1236 und ein Touchpad 1230 kommunikativ mit dem EC 1235 verbunden sein. In mindestens einer Ausführungsform können Lautsprecher 1263, Kopfhörer 1264 und ein Mikrofon („mic“) 1265 kommunikativ mit einer Audioeinheit („Audio-Codec und Class D Amp“) 1262 gekoppelt sein, die wiederum kommunikativ mit dem DSP 1260 gekoppelt sein kann. In mindestens einer Ausführungsform kann die Audioeinheit 1262 beispielsweise und ohne Einschränkung einen Audiocodierer/- decodierer („Codec“) und einen Verstärker der Klasse D umfassen. In mindestens einer Ausführungsform kann eine SIM-Karte („SIM“) 1257 kommunikativ mit der WWAN-Einheit 1256 gekoppelt sein. In mindestens einer Ausführungsform können Komponenten wie die WLAN-Einheit 1250 und die Bluetooth-Einheit 1252 sowie die WWAN-Einheit 1256 in einem Next Generation Form Factor („NGFF“) implementiert sein.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System 12 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 12 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird das System 1200 und/oder der Prozessor 1210 der 12 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 13 illustriert ein Computersystem 1300 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist das Computersystem 1300 so konfiguriert, dass es verschiedene in dieser Offenbarung beschriebene Prozesse und Methoden implementiert.
  • In mindestens einer Ausführungsform umfasst das Computersystem 1300 ohne Einschränkung mindestens eine Zentraleinheit („CPU“) 1302, die mit einem Kommunikationsbus 1310 verbunden ist, der unter Verwendung eines beliebigen geeigneten Protokolls, wie PCI („Peripheral Component Interconnect“), Peripheral Component Interconnect Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder eines anderen Bus- oder Punkt-zu-Punkt-Kommunikationsprotokolls bzw. anderer Protokolle implementiert ist. In mindestens einer Ausführungsform umfasst das Computersystem 1300 ohne Einschränkung einen Hauptspeicher 1304 und eine Steuerlogik (z. B. implementiert als Hardware, Software oder eine Kombination davon), und Daten werden im Hauptspeicher 1304 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. In mindestens einer Ausführungsform bietet ein Netzwerkschnittstellen-Subsystem („Netzwerkschnittstelle“) 1322 eine Schnittstelle zu anderen Computergeräten und Netzwerken, um Daten von anderen Systemen zu empfangen und an andere Systeme mit dem Computersystem 1300 zu übertragen.
  • In mindestens einer Ausführungsform umfasst das Computersystem 1300 unter anderem Eingabegeräte 1308, ein Parallelverarbeitungssystem 1312 und Anzeigegeräte 1306, die mit einer herkömmlichen Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), einer Leuchtdiodenanzeige („LED“), einer Plasmaanzeige oder anderen geeigneten Anzeigetechnologien realisiert werden können. In mindestens einer Ausführungsform werden Benutzereingaben von Eingabegeräten 1308 wie Tastatur, Maus, Touchpad, Mikrofon usw. empfangen. In mindestens einer Ausführungsform kann jedes hier beschriebene Modul auf einer einzigen Halbleiterplattform untergebracht werden, um ein Verarbeitungssystem zu bilden.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System 13 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 13 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird das Computersystem 1300 und/oder mindestens eine PPU 1314 der 13 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 14 illustriert ein Computersystem 1400 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das Computersystem 1400, ohne Einschränkung, einen Computer 1410 und einen USB-Stick 1420. In mindestens einer Ausführungsform kann der Computer 1410 ohne Einschränkung eine beliebige Anzahl und einen beliebigen Typ von Prozessor(en) (nicht dargestellt) und einen Speicher (nicht dargestellt) umfassen. In mindestens einer Ausführungsform umfasst der Computer 1410 ohne Einschränkung einen Server, eine Cloud-Instanz, einen Laptop und einen Desktop-Computer.
  • In mindestens einer Ausführungsform umfasst der USB-Stick 1420, ohne Einschränkung, eine Verarbeitungseinheit 1430, eine USB-Schnittstelle 1440 und eine USB-Schnittstellenlogik 1450. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 1430 ein beliebiges Befehlsausführungssystem, eine beliebige Vorrichtung oder ein beliebiges Gerät sein, das in der Lage ist, Anweisungen auszuführen. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 1430 ohne Einschränkung eine beliebige Anzahl und Art von Verarbeitungskernen (nicht dargestellt) umfassen. In mindestens einer Ausführungsform umfasst die Verarbeitungseinheit 1430 eine anwendungsspezifische integrierte Schaltung („ASIC“), die für die Durchführung einer beliebigen Anzahl und Art von Operationen im Zusammenhang mit maschinellem Lernen optimiert ist. Zum Beispiel ist die Verarbeitungseinheit 1430 in mindestens einer Ausführungsform eine Tensor Processing Unit („TPC“), die für die Durchführung von maschinellen Lernoperationen optimiert ist. In mindestens einer Ausführungsform ist die Verarbeitungseinheit 1430 eine Bildverarbeitungseinheit („VPU“), die für die Durchführung von Bildverarbeitungs- und maschinellen Lernoperationen optimiert ist.
  • In mindestens einer Ausführungsform kann die USB-Schnittstelle 1440 eine beliebige Art von USB-Stecker oder USB-Buchse sein. In mindestens einer Ausführungsform ist die USB-Schnittstelle 1440 beispielsweise eine USB 3.0 Typ-C-Buchse für Daten und Strom. In mindestens einer Ausführungsform ist die USB-Schnittstelle 1440 ein USB-3.0-Typ-A-Anschluss. In mindestens einer Ausführungsform kann die USB-Schnittstellenlogik 1450 eine beliebige Menge und Art von Logik enthalten, die es der Verarbeitungseinheit 1430 ermöglicht, mit Geräten (z. B. Computer 1410) über den USB-Anschluss 1440 zu kommunizieren.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System 14 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 14 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird die Verarbeitungseinheit 1430 der 14 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 15A zeigt eine beispielhafte Architektur, bei der eine Vielzahl von GPUs 1510(1)-1510(N) über Hochgeschwindigkeitsverbindungen 1540(1)-1540(N) (z. B. Busse, Punkt-zu-Punkt-Verbindungen usw.) kommunikativ mit einer Vielzahl von Multicore-Prozessoren 1505(1)-1505(M) gekoppelt ist. In mindestens einer Ausführungsform unterstützen die Hochgeschwindigkeitsverbindungen 1540(1)-1540(N) einen Kommunikationsdurchsatz von 4 GB/s, 30 GB/s, 80 GB/s oder mehr. In mindestens einer Ausführungsform können verschiedene Verbindungsprotokolle verwendet werden, einschließlich, aber nicht beschränkt auf PCIe 4.0 oder 5.0 und NVLink 2.0. In verschiedenen Figuren stehen „N“ und „M“ für positive ganze Zahlen, deren Werte von Abbildung zu Abbildung unterschiedlich sein können.
  • Darüber hinaus und in mindestens einer Ausführungsform sind zwei oder mehr GPUs 1510 über Hochgeschwindigkeitsverbindungen 1529(1)-1529(2) miteinander verbunden, die unter Verwendung ähnlicher oder anderer Protokolle/Leitungen als die für Hochgeschwindigkeitsverbindungen 1540(1)-1540(N) verwendeten implementiert werden können. In ähnlicher Weise können zwei oder mehr Multi-Core-Prozessoren 1505 über eine Hochgeschwindigkeitsverbindung 1528 verbunden sein, bei der es sich um symmetrische Multiprozessor-Busse (SMP) handeln kann, die mit 20 GB/s, 30 GB/s, 120 GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen den verschiedenen in 15A dargestellten Systemkomponenten über ähnliche Protokolle/Verbindungen (z. B. über eine gemeinsame Verbindungsstruktur) erfolgen.
  • In mindestens einer Ausführungsform ist jeder Multi-Core-Prozessor 1505 über Speicherverbindungen 1526(1)-1526(M) kommunikativ mit einem Prozessorspeicher 1501(1)-1501(M) verbunden, und jede GPU 1510(1)-1510(N) ist über GPU-Speicherverbindungen 1550(1)-1550(N) kommunikativ mit GPU-Speicher 1520(1)-1520(N) verbunden. In mindestens einer Ausführungsform können die Speicherverbindungen 1526 und 1550 ähnliche oder unterschiedliche Speicherzugriffstechnologien verwenden. Bei den Prozessorspeichern 1501(1)-1501(M) und den GPU-Speichern 1520 kann es sich beispielsweise um flüchtige Speicher wie dynamische Direktzugriffsspeicher (DRAMs) (einschließlich gestapelter DRAMs), Grafik-DDR-SDRAM (GDDR) (z. B. GDDR5, GDDR6) oder High Bandwidth Memory (HBM) und/oder um nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram handeln. In mindestens einer Ausführungsform kann ein Teil der Prozessorspeicher 1501 ein flüchtiger Speicher und ein anderer Teil ein nichtflüchtiger Speicher sein (z. B. unter Verwendung einer zweistufigen Speicherhierarchie (2LM)).
  • Wie hierin beschrieben, können verschiedene Multi-Core-Prozessoren 1505 und GPUs 1510 zwar physisch mit einem bestimmten Speicher 1501 bzw. 1520 gekoppelt sein, und/oder es kann eine einheitliche Speicherarchitektur implementiert werden, bei der ein virtueller Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) auf verschiedene physische Speicher verteilt ist. Beispielsweise können die Prozessorspeicher 1501(1)-1501(M) jeweils 64 GB Systemadressraum und die GPU-Speicher 1520(1)-1520(N) jeweils 32 GB Systemadressraum umfassen, so dass sich bei M=2 und N=4 insgesamt 256 GB adressierbarer Speicher ergeben. Andere Werte für N und M sind möglich.
  • 15B zeigt zusätzliche Details für eine Verbindung zwischen einem Multi-Core-Prozessor 1507 und einem Grafikbeschleunigungsmodul 1546 gemäß einer beispielhaften Ausführungsform. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 1546 einen oder mehrere GPU-Chips enthalten, die auf einer Leitungskarte integriert sind, die über eine Hochgeschwindigkeitsverbindung 1540 (z. B. einen PCIe-Bus, NVLink usw.) mit dem Prozessor 1507 verbunden ist. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 1546 alternativ auf einem Gehäuse oder Chip mit dem Prozessor 1507 integriert sein.
  • In mindestens einer Ausführungsform umfasst der Prozessor 1507 eine Vielzahl von Kernen 1560A-1560D, die jeweils über einen Translation-Lookaside-Buffer („TLB“) 1561A-1561D und einen oder mehrere Caches 1562A-1562D verfügen. In mindestens einer Ausführungsform können die Kerne 1560A-1560D verschiedene andere Komponenten zur Ausführung von Anweisungen und zur Verarbeitung von Daten enthalten, die nicht dargestellt sind. In mindestens einer Ausführungsform können die Caches 1562A-1562D Level 1 (L1) und Level 2 (L2) Caches umfassen. Darüber hinaus können ein oder mehrere gemeinsam genutzte Caches 1556 in den Caches 1562A-1562D enthalten sein und von Gruppen von Kernen 1560A-1560D gemeinsam genutzt werden. Eine Ausführungsform des Prozessors 1507 umfasst beispielsweise 24 Kerne, jeder mit einem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2 und L3 Caches von zwei benachbarten Kernen gemeinsam genutzt. In mindestens einer Ausführungsform sind der Prozessor 1507 und das Grafikbeschleunigungsmodul 1546 mit dem Systemspeicher 1514 verbunden, zu dem auch die Prozessorspeicher 1501(1)-1501(M) aus 15A gehören können.
  • In mindestens einer Ausführungsform wird die Kohärenz für Daten und Anweisungen, die in verschiedenen Caches 1562A-1562D, 1556 und im Systemspeicher 1514 gespeichert sind, über eine Inter-Core-Kommunikation über einen Kohärenzbus 1564 aufrechterhalten. In mindestens einer Ausführungsform kann beispielsweise jeder Cache über eine Cache-Kohärenzlogik/-schaltung verfügen, die ihm zugeordnet ist, um als Reaktion auf erkannte Lese- oder Schreiboperationen in bestimmten Cache-Zeilen über den Kohärenzbus 1564 zu kommunizieren. In mindestens einer Ausführungsform wird ein Cache-Snooping-Protokoll über den Kohärenzbus 1564 implementiert, um Cache-Zugriffe zu snoopen.
  • In mindestens einer Ausführungsform koppelt eine Proxy-Schaltung 1525 das Grafikbeschleunigungsmodul 1546 kommunikativ an den Kohärenzbus 1564, so dass das Grafikbeschleunigungsmodul 1546 als Peer der Kerne 1560A-1560D an einem Cache-Kohärenzprotokoll teilnehmen kann. Insbesondere bietet in mindestens einer Ausführungsform eine Schnittstelle 1535 Konnektivität mit der Proxy-Schaltung 1525 über die Hochgeschwindigkeitsverbindung 1540, und eine Schnittstelle 1537 verbindet das Grafikbeschleunigungsmodul 1546 mit der Hochgeschwindigkeitsverbindung 1540.
  • In mindestens einer Ausführungsform stellt eine Beschleunigerintegrationsschaltung 1536 Cache-Verwaltung, Speicherzugriff, Kontextverwaltung und Interrupt-Verwaltungsdienste für eine Vielzahl von Grafikverarbeitungseinheiten 1531(1)-1531(N) des Grafikbeschleunigungsmoduls 1546 bereit. In mindestens einer Ausführungsform können die Grafikverarbeitungsmodule 1531(1)-1531(N) jeweils eine separate Grafikverarbeitungseinheit (GPU) umfassen. In mindestens einer Ausführungsform können die Grafikverarbeitungsmodule 1531(1)-1531(N) alternativ verschiedene Arten von Grafikverarbeitungsmodulen innerhalb einer GPU umfassen, wie z. B. Grafikausführungseinheiten, Medienverarbeitungsmodule (z. B. Video-Encoder/Decoder), Sampler und Blit-Module. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 1546 ein Grafikprozessor mit mehreren Grafikverarbeitungsmodulen 1531(1)-1531(N) sein, oder die Grafikverarbeitungsmodule 1531(1)-1531(N) können einzelne Grafikprozessoren sein, die in einem gemeinsamen Gehäuse, einer Linecard oder einem Chip integriert sind.
  • In mindestens einer Ausführungsform enthält die Beschleuniger-Integrationsschaltung 1536 eine Speicherverwaltungseinheit (MMU) 1539 zur Durchführung verschiedener Speicherverwaltungsfunktionen, wie z. B. Übersetzungen von virtuellem in physischen Speicher (auch als Übersetzungen von effektivem in realen Speicher bezeichnet) und Speicherzugriffsprotokolle für den Zugriff auf den Systemspeicher 1514. In mindestens einer Ausführungsform kann die MMU 1539 auch einen Translations-Lookaside-Buffer (TLB) (nicht dargestellt) zur Zwischenspeicherung von Übersetzungen von virtuellen/effektiven in physische/reale Adressen enthalten. In mindestens einer Ausführungsform kann ein Cache 1538 Anweisungen und Daten für einen effizienten Zugriff durch die Grafikprozessoren 1531(1)-1531(N) speichern. In mindestens einer Ausführungsform werden die im Cache 1538 und in den Grafikspeichern 1533(1)-1533(M) gespeicherten Daten mit den Kern-Caches 1562A-1562D, 1556 und dem Systemspeicher 1514 kohärent gehalten, möglicherweise unter Verwendung einer Abrufeinheit 1544. Wie bereits erwähnt, kann dies über die Proxy-Schaltung 1525 im Namen des Cache-Speicher 1538 und der Speicher 1533(1)-1533(M) erfolgen (z. B. Senden von Aktualisierungen an den Cache-Speicher 1538 im Zusammenhang mit Änderungen/Zugriffen auf Cache-Zeilen in den Prozessor-Cachespeichern 1562A-1562D, 1556 und Empfangen von Aktualisierungen vom Cache-Speicher 1538).
  • In mindestens einer Ausführungsform speichert ein Satz von Registern 1545 Kontextdaten für Threads, die von den Grafikprozessoren 1531(1)-1531(N) ausgeführt werden, und eine Kontextverwaltungsschaltung 1548 verwaltet Thread-Kontexte. Beispielsweise kann die Kontextverwaltungsschaltung 1548 Speicher- und Wiederherstellungsoperationen durchführen, um die Kontexte verschiedener Threads während Kontextumschaltungen zu speichern und wiederherzustellen (z. B. wenn ein erster Thread gespeichert und ein zweiter Thread gespeichert werden, damit ein zweiter Thread von einer Grafikverarbeitungs-Engine ausgeführt werden kann). Bei einer Kontextumschaltung kann die Kontextverwaltungsschaltung 1548 beispielsweise aktuelle Registerwerte in einem bestimmten Bereich im Speicher speichern (z. B. durch einen Kontextzeiger identifiziert). Die Registerwerte können dann bei der Rückkehr zu einem Kontext wiederhergestellt werden. In mindestens einer Ausführungsform empfängt und verarbeitet eine Unterbrechungsverwaltungsschaltung 1547 Unterbrechungen, die von Systemgeräten eingehen.
  • In mindestens einer Ausführungsform werden virtuelle/effektive Adressen von einer Grafikverarbeitungs-Engine 1531 durch die MMU 1539 in reale/physische Adressen im Systemspeicher 1514 übersetzt. In mindestens einer Ausführungsform unterstützt die Beschleunigerintegrationsschaltung 1536 mehrere (z. B. 4, 8, 16) Grafikbeschleunigermodule 1546 und/oder andere Beschleunigergeräte. In mindestens einer Ausführungsform kann das Grafikbeschleunigermodul 1546 für eine einzelne Anwendung bestimmt sein, die auf dem Prozessor 1507 ausgeführt wird, oder es kann von mehreren Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform wird eine virtualisierte Grafikausführungsumgebung dargestellt, in der die Ressourcen der Grafikprozessoren 1531(1)-1531(N) von mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Ressourcen in „Slices“ unterteilt werden, die verschiedenen VMs und/oder Anwendungen basierend auf der mit den VMs und/oder Anwendungen verbundenen Verarbeitungsanforderungen und Prioritäten zugewiesen werden.
  • In mindestens einer Ausführungsform fungiert die Beschleunigerintegrationsschaltung 1536 als Brücke zu einem System für das Grafikbeschleunigungsmodul 1546 und bietet Adressübersetzung und Systemspeicher-Cache-Dienste. Darüber hinaus kann die Beschleunigerintegrationsschaltung 1536 in mindestens einer Ausführungsform Virtualisierungsfunktionen für einen Host-Prozessor bereitstellen, um die Virtualisierung der Grafikverarbeitungsmodule 1531(1)-1531(N), Unterbrechungen und die Speicherverwaltung zu verwalten.
  • Da in mindestens einer Ausführungsform die Hardware-Ressourcen der Grafikprozessoren 1531(1)-1531(N) explizit einem realen Adressraum zugeordnet sind, den der Host-Prozessor 1507 sieht, kann jeder Host-Prozessor diese Ressourcen direkt über einen effektiven Adresswert adressieren. In mindestens einer Ausführungsform besteht eine Funktion der Beschleunigerintegrationsschaltung 1536 in der physischen Trennung der Grafikprozessoren 1531(1)-1531(N), so dass sie für ein System als unabhängige Einheiten erscheinen.
  • In mindestens einer Ausführungsform sind ein oder mehrere Grafikspeicher 1533(1)-1533(M) mit jeder der Grafikverarbeitungsmaschinen 1531(1)-1531(N) verbunden, wobei N=M ist. In mindestens einer Ausführungsform speichern die Grafikspeicher 1533(1)-1533(M) Anweisungen und Daten, die von jeder der Grafikverarbeitungsmaschinen 1531(1)-1531(N) verarbeitet werden. In mindestens einer Ausführungsform kann es sich bei den Grafikspeichern 1533(1)-1533(M) um flüchtige Speicher wie DRAMs (einschließlich gestapelter DRAMs), GDDR-Speicher (z. B. GDDR5, GDDR6) oder HBM und/oder um nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram handeln.
  • In mindestens einer Ausführungsform können zur Verringerung des Datenverkehrs über die Hochgeschwindigkeitsverbindung 1540 Vorspannungstechniken verwendet werden, um sicherzustellen, dass die in den Grafikspeichern 1533(1)-1533(M) gespeicherten Daten Daten sind, die am häufigsten von den Grafikverarbeitungsmaschinen 1531(1)-1531(N) und vorzugsweise nicht von den Kernen 1560A-1560D (mindestens nicht häufig) verwendet werden. In ähnlicher Weise wird in mindestens einer Ausführungsform versucht, Daten, die von den Kernen (und vorzugsweise nicht von den Grafikverarbeitungsmaschinen 1531(1)-1531(N)) benötigt werden, in den Caches 1562A-1562D, 1556 und im Systemspeicher 1514 zu halten.
  • zeigt eine weitere beispielhafte Ausführungsform, bei der die Beschleunigerintegrationsschaltung 1536 in den Prozessor 1507 integriert ist. In dieser Ausführungsform kommunizieren die Grafikprozessoren 1531(1)-1531(N) direkt über die Hochgeschwindigkeitsverbindung 1540 mit der Beschleunigerintegrationsschaltung 1536 über die Schnittstelle 1537 und die Schnittstelle 1535 (die wiederum eine beliebige Form von Bus oder Schnittstellenprotokoll sein kann). In mindestens einer Ausführungsform kann die Beschleuniger-Integrationsschaltung 1536 ähnliche Operationen durchführen, wie sie in 15B beschrieben sind, jedoch möglicherweise mit einem höheren Durchsatz, da sie sich in unmittelbarer Nähe zum Kohärenzbus 1564 und den Caches 1562A-1562D, 1556 befindet. In mindestens einer Ausführungsform unterstützt eine Beschleuniger-Integrationsschaltung verschiedene Programmiermodelle, darunter ein Programmiermodell mit dediziertem Prozess (ohne Virtualisierung des Grafikbeschleunigungsmoduls) und gemeinsam genutzte Programmiermodelle (mit Virtualisierung), die Programmiermodelle umfassen können, die von der Beschleuniger-Integrationsschaltung 1536 gesteuert werden, sowie Programmiermodelle, die vom Grafikbeschleunigungsmodul 1546 gesteuert werden.
  • In mindestens einer Ausführungsform sind die Grafikprozessoren 1531(1)-1531(N) für eine einzige Anwendung oder einen einzigen Prozess unter einem einzigen Betriebssystem vorgesehen. In mindestens einer Ausführungsform kann eine einzelne Anwendung andere Anwendungsanforderungen an die Grafikprozessoren 1531(1)-1531(N) weiterleiten und so für eine Virtualisierung innerhalb einer VM/Partition sorgen.
  • In mindestens einer Ausführungsform können die Grafikprozessoren 1531(1)-1531(N) von mehreren VM/Anwendungspartitionen gemeinsam genutzt werden. In mindestens einer Ausführungsform können gemeinsam genutzte Modelle einen Systemhypervisor zur Virtualisierung der Grafikprozessoren 1531(1)-1531(N) verwenden, um den Zugriff durch jedes Betriebssystem zu ermöglichen. In mindestens einer Ausführungsform sind die Grafikprozessoren 1531(1)-1531(N) bei Systemen mit einer Partition ohne Hypervisor Eigentum eines Betriebssystems. In mindestens einer Ausführungsform kann ein Betriebssystem die Grafikprozessoren 1531(1)-1531(N) virtualisieren, um jedem Prozess oder jeder Anwendung Zugriff zu gewähren.
  • In mindestens einer Ausführungsform wählt das Grafikbeschleunigungsmodul 1546 oder eine einzelne Grafikverarbeitungs-Engine 1531(1)-1531(N) ein Prozesselement mithilfe eines Prozesshandles aus. In mindestens einer Ausführungsform werden die Prozesselemente im Systemspeicher 1514 gespeichert und sind unter Verwendung einer hier beschriebenen Übersetzungstechnik von effektiven Adressen in reale Adressen adressierbar. In mindestens einer Ausführungsform kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Host-Prozess zur Verfügung gestellt wird, wenn er seinen Kontext bei der Grafikverarbeitungs-Engine 1531(1)-1531(N) registriert (d. h. wenn er die Systemsoftware aufruft, um ein Prozesselement zu einer verknüpften Prozesselementliste hinzuzufügen). In mindestens einer Ausführungsform können die unteren 16 Bits eines Prozesshandles ein Offset eines Prozesselements innerhalb einer verknüpften Prozesselementliste sein.
  • 15D zeigt ein beispielhaftes Beschleuniger-Integrations-Slice 1590. In mindestens einer Ausführungsform umfasst ein „Slice“ einen bestimmten Teil der Verarbeitungsressourcen der Beschleunigerintegrationsschaltung 1536. In mindestens einer Ausführungsform speichert eine Anwendung im effektiven Adressraum 1582 des Systemspeichers 1514 Prozesselemente 1583. In mindestens einer Ausführungsform werden die Prozesselemente 1583 als Reaktion auf GPU-Aufrufe 1581 von Anwendungen 1580, die auf dem Prozessor 1507 ausgeführt werden, gespeichert. In mindestens einer Ausführungsform enthält ein Prozesselement 1583 einen Prozessstatus für die entsprechende Anwendung 1580. In mindestens einer Ausführungsform kann ein im Prozesselement 1583 enthaltener Arbeitsdeskriptor (WD) 1584 ein einzelner, von einer Anwendung angeforderter Job sein oder einen Zeiger auf eine Warteschlange von Jobs enthalten. In mindestens einer Ausführungsform ist der WD 1584 ein Zeiger auf eine Auftragsanforderungswarteschlange im effektiven Adressraum 1582 einer Anwendung.
  • In mindestens einer Ausführungsform können das Grafikbeschleunigungsmodul 1546 und/oder die einzelnen Grafikprozessoren 1531(1)-1531(N) von allen oder einer Teilmenge der Prozesse in einem System gemeinsam genutzt werden. In mindestens einer Ausführungsform kann eine Infrastruktur zum Einrichten von Prozesszuständen und zum Senden eines WD 1584 an ein Grafikbeschleunigungsmodul 1546 zum Starten eines Auftrags in einer virtualisierten Umgebung enthalten sein.
  • In mindestens einer Ausführungsform ist ein Programmiermodell für dedizierte Prozesse implementierungsspezifisch. In mindestens einer Ausführungsform ist bei diesem Modell ein einzelner Prozess Eigentümer des Grafikbeschleunigungsmoduls 1546 oder einer einzelnen Grafikverarbeitungs-Engine 1531. In mindestens einer Ausführungsform, wenn das Grafikbeschleunigungsmodul 1546 einem einzelnen Prozess gehört, initialisiert ein Hypervisor die Beschleunigerintegrationsschaltung 1536 für eine eigene Partition und ein Betriebssystem initialisiert die Beschleunigerintegrationsschaltung 1536 für einen eigenen Prozess, wenn das Grafikbeschleunigungsmodul 1546 zugewiesen wird.
  • In mindestens einer Ausführungsform holt eine WD-Abrufeinheit 1591 in der Beschleunigerintegrationsscheibe 1590 im Betrieb die nächste WD 1584 ab, die eine Angabe auf die von einer oder mehreren Grafikverarbeitungsmaschinen des Grafikbeschleunigungsmoduls 1546 zu verrichtende Arbeit enthält. In mindestens einer Ausführungsform können die Daten von WD 1584 in Registern 1545 gespeichert und von der MMU 1539, der Unterbrechungsverwaltungsschaltung 1547 und/oder der Kontextverwaltungsschaltung 1548 verwendet werden, wie dargestellt. Eine Ausführungsform der MMU 1539 umfasst beispielsweise eine Segment-/Seitenlaufschaltung für den Zugriff auf Segment-/Seitentabellen 1586 innerhalb eines virtuellen OS-Adressraums 1585. In mindestens einer Ausführungsform kann die Unterbrechungsverwaltungsschaltung 1547 die vom Grafikbeschleunigungsmodul 1546 empfangenen Unterbrechungsereignisse 1592 verarbeiten. In mindestens einer Ausführungsform wird bei der Durchführung von Grafikoperationen eine von einer Grafikverarbeitungs-Engine 1531(1)-1531(N) erzeugte effektive Adresse 1593 von der MMU 1539 in eine reale Adresse übersetzt.
  • In mindestens einer Ausführungsform sind die Register 1545 für jede Grafikverarbeitungs-Engine 1531(1)-1531(N) und/oder jedes Grafikbeschleunigungsmodul 1546 dupliziert und können von einem Hypervisor oder einem Betriebssystem initialisiert werden. In mindestens einer Ausführungsform kann jedes dieser duplizierten Register in einem Beschleuniger-Integrations-Slice 1590 enthalten sein. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, sind in Tabelle 1 aufgeführt. Tabelle 1 -Hypervisor-initialisierte Register
    Register # Beschreibung
    1 Slice-Steuerregister
    2 Bereichszeiger geplanter Prozesse realer Adressen (RA)
    3 Berechtigungsmasken-Überschreibungsregister
    4 Interrupt-Vektortabelleneintragsoffset
    5 Interrupt-Vektortabelleneintragsbegrenzung
    6 Zustandsregister
    7 Logische Partition ID
    8 Hypervisor Beschleunigernutzungs-Datensatzzeiger realer Adressen (RA)
    9 Speicherbeschreibungsregister
  • Beispiele für Register, die von einem Betriebssystem initialisiert werden können, sind in Tabelle 2 aufgeführt. Tabelle 2 -Betriebssystem-initialisierte Register
    Register # Beschreibung
    1 Prozess- und Thread-Identifikation
    2 Kontext-Sicherungs-/Wiederherstellungs-Zeiger effektiver Adressen (EA)
    3 Beschleunigernutzungs-Datensatzzeiger virtueller Adressen (VA)
    4 Speichersegment-Tabellenzeiger virtueller Adressen (VA)
    5 Berechtigungsmaske
    6 Arbeitsdeskriptor
  • In mindestens einer Ausführungsform ist jedes WD 1584 spezifisch für ein bestimmtes Grafikbeschleunigungsmodul 1546 und/oder die Grafikprozessoren 1531(1)-1531(N). In mindestens einer Ausführungsform enthält er alle Informationen, die eine Grafikverarbeitungs-Engine 1531(1)-1531(N) benötigt, um Arbeit zu verrichten, oder er kann ein Zeiger auf einen Speicherplatz sein, an dem eine Anwendung eine Befehlswarteschlange für zu verrichtende Arbeit eingerichtet hat.
  • 15E zeigt zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsamen Modells. Diese Ausführungsform umfasst einen realen Hypervisor-Adressraum 1598, in dem eine Prozesselementliste 1599 gespeichert ist. In mindestens einer Ausführungsform ist der reale Hypervisor-Adressraum 1598 über einen Hypervisor 1596 zugänglich, der die Grafikbeschleunigungsmodul-Engines für das Betriebssystem 1595 virtualisiert.
  • In mindestens einer Ausführungsform ermöglichen gemeinsam genutzte Programmiermodelle, dass alle oder eine Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System ein Grafikbeschleunigungsmodul 1546 verwenden. In mindestens einer Ausführungsform gibt es zwei Programmiermodelle, bei denen das Grafikbeschleunigungsmodul 1546 von mehreren Prozessen und Partitionen gemeinsam genutzt wird, nämlich die zeitlich geschnittene gemeinsame Nutzung und die grafisch gerichtete gemeinsame Nutzung.
  • In mindestens einer Ausführungsform besitzt der Systemhypervisor 1596 in diesem Modell das Grafikbeschleunigungsmodul 1546 und stellt seine Funktion allen Betriebssystemen 1595 zur Verfügung. In mindestens einer Ausführungsform kann ein Grafikbeschleunigungsmodul 1546 zur Unterstützung der Virtualisierung durch den Systemhypervisor 1596 bestimmte Anforderungen erfüllen, wie z. B. (1) die Auftragsanforderung einer Anwendung muss autonom sein (d. h. der Zustand muss zwischen den Aufträgen nicht aufrechterhalten werden), oder das Grafikbeschleunigungsmodul 1546 muss einen Mechanismus zum Speichern und Wiederherstellen des Kontexts bieten, (2) das Grafikbeschleunigungsmodul 1546 garantiert, dass die Auftragsanforderung einer Anwendung in einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Grafikbeschleunigungsmodul 1546 bietet die Möglichkeit, die Verarbeitung eines Auftrags vorzuziehen, und (3) das Grafikbeschleunigungsmodul 1546 muss beim Betrieb in einem gerichteten gemeinsamen Programmiermodell Fairness zwischen den Prozessen garantieren.
  • In mindestens einer Ausführungsform muss die Anwendung 1580 einen Systemaufruf des Betriebssystems 1595 mit einem Grafikbeschleunigungsmodultyp, einem Work Descriptor (WD), einem AMR-Wert (Authority Mask Register) und einem CSRP (Context Save/Restore Area Pointer) durchführen. In mindestens einer Ausführungsform beschreibt der Grafikbeschleunigungsmodultyp eine gezielte Beschleunigungsfunktion für einen Systemaufruf. In mindestens einer Ausführungsform kann der Grafikbeschleunigungsmodultyp ein systemspezifischer Wert sein. In mindestens einer Ausführungsform ist WD speziell für das Grafikbeschleunigungsmodul 1546 formatiert und kann in Form eines Grafikbeschleunigungsmodul-Befehls, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer anderen Datenstruktur vorliegen, die die vom Grafikbeschleunigungsmodul 1546 zu verrichtende Arbeit beschreibt.
  • In mindestens einer Ausführungsform ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. In mindestens einer Ausführungsform entspricht ein an ein Betriebssystem übergebener Wert der Einstellung eines AMR durch eine Anwendung. In mindestens einer Ausführungsform kann ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor ein AMR in einem Hypervisor-Aufruf übergeben wird, wenn die Beschleunigerintegrationsschaltung 1536 (nicht dargestellt) und das Grafikbeschleunigungsmodul 1546 kein User Authority Mask Override Register (UAMOR) unterstützen. In mindestens einer Ausführungsform kann der Hypervisor 1596 optional einen aktuellen AMOR-Wert (Authority Mask Override Register) anwenden, bevor ein AMR in das Prozesselement 1583 gestellt wird. In mindestens einer Ausführungsform ist CSRP eines der Register 1545, die eine effektive Adresse eines Bereichs im effektiven Adressraum 1582 einer Anwendung für das Grafikbeschleunigungsmodul 1546 zum Speichern und Wiederherstellen des Kontextstatus enthalten. In mindestens einer Ausführungsform ist dieser Zeiger optional, wenn kein Zustand zwischen Aufträgen gespeichert werden muss oder wenn ein Auftrag vorzeitig beendet wird. In mindestens einer Ausführungsform kann der Kontextspeicher-/Wiederherstellungsbereich ein angehefteter Systemspeicher sein.
  • Beim Empfang eines Systemaufrufs kann das Betriebssystem 1595 überprüfen, ob die Anwendung 1580 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 1546 erhalten hat. In mindestens einer Ausführungsform ruft das Betriebssystem 1595 dann den Hypervisor 1596 mit den in Tabelle 3 aufgeführten Informationen auf. Tabelle 3-OS-zu-Hypervisor-Aufrufparameter
    Parameter # Beschreibung
    1 Ein Arbeitsdeskriptor (WD)
    2 Einen Wert des Berechtigungsmaskenregisters (AMR) (möglicherweise maskiert)
    3 Einen Kontextsicherungs-/Wiederherstellungs-Bereichszeiger (CSRP) effektiver Adressen (EA)
    4 Eine Prozess-ID (PID) und optionale Thread-ID (TID)
    5 Ein Beschleunigernutzungs-Datensatzzeiger (AURP) virtueller Adressen (VA)
    6 Virtuelle Adresse des Speichersegment-Tabellenzeigers (SSTP))
    7 Eine logische Interrupt-Dienstnummer (LISN)
  • In mindestens einer Ausführungsform prüft der Hypervisor 1596 beim Empfang eines Hypervisor-Aufrufs, ob das Betriebssystem 1595 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 1546 erhalten hat. In mindestens einer Ausführungsform setzt der Hypervisor 1596 dann das Prozesselement 1583 in eine verknüpfte Prozesselementliste für einen entsprechenden Grafikbeschleunigungsmodultyp 1546. In mindestens einer Ausführungsform kann ein Prozesselement die in Tabelle 4 dargestellten Informationen enthalten. Tabelle 4 -Prozesselement-Informationen
    Element # Beschreibung
    1 Einen Arbeitsdeskriptor (WD)
    2 Einen Wert des Berechtigungsmaskenregisters (AMR) (möglicherweise maskiert).
    3 Einen Kontextsicherungs-/Wiederherstellungs-Bereichszeiger (CSRP) effektiver Adressen (EA)
    4 Eine Prozess-ID (PID) und optionale Thread-ID (TID)
    5 Einen Beschleunigernutzungs-Datensatzzeiger (AURP) virtueller Adressen (VA)
    6 Virtuelle Adresse des Speichersegment-Tabellenzeigers (SSTP)
    7 Eine logische Interrupt-Dienstnummer (LISN)
    8 Interrupt-Vektortabelle, abgeleitet von Hypervisor-Aufrufparametern
    9 Einen Wert des Zustandsregisters (SR)
    10 Eine logische Partitions-ID (LPID)
    11 Eine Hypervisor-Beschleunigernutzungs-Datensatzzeiger realer Adressen (RA)
    12 Speicher-Deskriptorregister (SDR)
  • In mindestens einer Ausführungsform initialisiert der Hypervisor eine Vielzahl von Registern 1545 für Beschleunigerintegrationsscheiben 1590.
  • Wie in 15F dargestellt, wird in mindestens einer Ausführungsform ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 1501(1)-1501(N) und GPU-Speicher 1520(1)-1520(N) verwendet wird. In dieser Implementierung verwenden Operationen, die auf den GPUs 1510(1)-1510(N) ausgeführt werden, denselben virtuellen/effektiven Speicheradressraum für den Zugriff auf die Prozessorspeicher 1501(1)-1501(M) und umgekehrt, was die Programmierbarkeit vereinfacht. In mindestens einer Ausführungsform wird ein erster Teil eines virtuellen/effektiven Adressraums dem Prozessorspeicher 1501(1) zugewiesen, ein zweiter Teil dem zweiten Prozessorspeicher 1501(N), ein dritter Teil dem GPU-Speicher 1520(1) usw. In mindestens einer Ausführungsform wird ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 1501 und GPU-Speicher 1520 verteilt, so dass jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer diesem Speicher zugeordneten virtuellen Adresse zugreifen kann.
  • In mindestens einer Ausführungsform stellt die Vorspannungs-/Kohärenzverwaltungsschaltung 1594A-1594E in einer oder mehreren MMUs 1539A-1539E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Host-Prozessoren (z. B. 1505) und GPUs 1510 sicher und implementiert Vorspannungsverfahren, die angeben, in welchen physischen Speichern bestimmte Datentypen gespeichert werden sollten. In mindestens einer Ausführungsform, in der mehrere Instanzen der Bias/Kohärenz-Management-Schaltung 1594A-1594E in 15F dargestellt sind, kann die Bias/Kohärenz-Schaltung in einer MMU eines oder mehrerer Host-Prozessoren 1505 und/oder in der Beschleuniger-Integrationsschaltung 1536 implementiert sein.
  • In einer Ausführungsform können die GPU-Speicher 1520 als Teil des Systemspeichers abgebildet und mit Hilfe der SVM-Technologie (Shared Virtual Memory) angesprochen werden, ohne dass die mit der vollständigen System-Cache-Kohärenz verbundenen Leistungsnachteile in Kauf genommen werden müssen. In mindestens einer Ausführungsform bietet die Möglichkeit, auf die GPU-Speicher 1520 als Systemspeicher ohne lästigen Cache-Kohärenz-Overhead zuzugreifen, eine vorteilhafte Betriebsumgebung für GPU-Offload. In mindestens einer Ausführungsform erlaubt diese Anordnung der Software des Host-Prozessors 1505, Operanden einzustellen und auf Berechnungsergebnisse zuzugreifen, ohne den Overhead traditioneller I/O-DMA-Datenkopien. In mindestens einer Ausführungsform sind solche herkömmlichen Kopien mit Treiberaufrufen, Unterbrechungen und speicherabbildenden I/O-Zugriffen (MMIO) verbunden, die alle im Vergleich zu einfachen Speicherzugriffen ineffizient sind. In mindestens einer Ausführungsform kann die Fähigkeit, auf GPU-Speicher 1520 ohne Cache-Kohärenz-Overheads zuzugreifen, für die Ausführungszeit einer ausgelagerten Berechnung entscheidend sein. In mindestens einer Ausführungsform kann der Cache-Kohärenz-Overhead zum Beispiel in Fällen mit erheblichem Streaming-Schreibspeicherverkehr die effektive Schreibbandbreite einer GPU 1510 erheblich reduzieren. In mindestens einer Ausführungsform können die Effizienz der Operandeneinrichtung, die Effizienz des Ergebniszugriffs und die Effizienz der GPU-Berechnung eine Rolle bei der Bestimmung der Effektivität eines GPU-Offloads spielen.
  • In mindestens einer Ausführungsform wird die Auswahl des GPU-Bias und des Host-Prozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. In mindestens einer Ausführungsform kann beispielsweise eine Bias-Tabelle verwendet werden, bei der es sich um eine seitengranulare Struktur (z. B. mit der Granularität einer Speicherseite) handeln kann, die 1 oder 2 Bits pro GPU-angeschlossene Speicherseite umfasst. In mindestens einer Ausführungsform kann eine Bias-Tabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU-Speicher 1520 implementiert werden, mit oder ohne Bias-Cache in einer GPU 1510 (z. B. um häufig/kürzlich verwendete Einträge einer Bias-Tabelle zwischenzuspeichern). Alternativ dazu kann in mindestens einer Ausführungsform eine gesamte Bias-Tabelle in einer GPU verwaltet werden.
  • In mindestens einer Ausführungsform wird vor dem eigentlichen Zugriff auf einen GPU-Speicher auf einen Bias-Tabelleneintrag zugegriffen, der mit jedem Zugriff auf einen GPU-Speicher 1520 verbunden ist, was folgende Operationen auslöst. In mindestens einer Ausführungsform werden lokale Anfragen von einer GPU 1510, die ihre Seite in GPU-Bias finden, direkt an einen entsprechenden GPU-Speicher 1520 weitergeleitet. In mindestens einer Ausführungsform werden lokale Anfragen von einer GPU, die ihre Seite im Host-Bias finden, an den Prozessor 1505 weitergeleitet (z. B. über eine Hochgeschwindigkeitsverbindung wie hier beschrieben). In mindestens einer Ausführungsform schließen Anforderungen vom Prozessor 1505, die eine angeforderte Seite im Host-Prozessor-Bias finden, eine Anforderung wie eine normale Speicherlesung ab. Alternativ können Anforderungen, die an eine GPU-vorgespannte Seite gerichtet sind, an eine GPU 1510 weitergeleitet werden. In mindestens einer Ausführungsform kann eine GPU dann eine Seite in einen Host-Prozessor-Bias überführen, wenn sie die Seite gerade nicht verwendet. In mindestens einer Ausführungsform kann der Bias-Zustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwareunterstützten softwarebasierten Mechanismus oder, für eine begrenzte Anzahl von Fällen, durch einen rein hardwarebasierten Mechanismus geändert werden.
  • In mindestens einer Ausführungsform verwendet ein Mechanismus zum Ändern des Bias-Zustands einen API-Aufruf (z. B. OpenCL), der wiederum den Gerätetreiber eines Grafikprozessors aufruft, der seinerseits eine Nachricht an einen Grafikprozessor sendet (oder einen Befehlsdeskriptor in die Warteschlange stellt), um ihn anzuweisen, einen Bias-Zustand zu ändern und bei einigen Übergängen einen Cache-Flushing-Vorgang in einem Host durchzuführen. In mindestens einer Ausführungsform wird ein Cache-Flushing-Vorgang für den Übergang von der Vorspannung des Host-Prozessors 1505 zur Vorspannung der GPU verwendet, nicht aber für den entgegengesetzten Übergang.
  • In mindestens einer Ausführungsform wird die Cache-Kohärenz aufrechterhalten, indem GPU-basierte Seiten vom Host-Prozessor 1505 vorübergehend nicht gecacht werden. In mindestens einer Ausführungsform kann der Prozessor 1505, um auf diese Seiten zuzugreifen, den Zugriff von der GPU 1510 anfordern, die den Zugriff sofort gewähren kann oder auch nicht. Um die Kommunikation zwischen dem Prozessor 1505 und der GPU 1510 zu reduzieren, ist es in mindestens einer Ausführungsform vorteilhaft, dafür zu sorgen, dass GPU-gebundene Seiten diejenigen sind, die von einer GPU, aber nicht vom Host-Prozessor 1505 benötigt werden, und umgekehrt.
  • Hardware-Struktur(en) 715 werden verwendet, um eine oder mehrere Ausführungsformen auszuführen. Einzelheiten zu einer Hardware-Struktur (bzw. zu Hardware-Strukturen) 715 können hier in Verbindung mit 7A und/oder 7B angegeben werden.
  • 16 zeigt beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne gemäß verschiedenen hier beschriebenen Ausführungsformen hergestellt werden können. Zusätzlich zu den dargestellten Schaltungen können in mindestens einer Ausführungsform weitere Logik und Schaltungen enthalten sein, darunter zusätzliche Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Mehrzweckprozessorkerne.
  • 16 ist ein Blockdiagramm, das eine beispielhafte integrierte System-on-Chip-Schaltung 1600 veranschaulicht, die unter Verwendung eines oder mehrerer IP-Kerne gemäß mindestens einer Ausführungsform hergestellt werden kann. In mindestens einer Ausführungsform umfasst die integrierte Schaltung 1600 einen oder mehrere Anwendungsprozessor(en) 1605 (z. B. CPUs), mindestens einen Grafikprozessor 1610 und kann zusätzlich einen Bildprozessor 1615 und/oder einen Videoprozessor 1620 umfassen, von denen jeder ein modularer IP-Kern sein kann. In mindestens einer Ausführungsform umfasst der integrierte Schaltkreis 1600 eine Peripherie- oder Buslogik, einschließlich eines USB-Controllers 1625, eines UART-Controllers 1630, eines SPI/SDIO-Controllers 1635 und eines I2 2S/I2 2C-Controllers 1640. In mindestens einer Ausführungsform kann der integrierte Schaltkreis 1600 eine Anzeigevorrichtung 1645 umfassen, die mit einem oder mehreren HDMI-Controllern (High-Definition Multimedia Interface) 1650 und einer MIPI-Anzeigeschnittstelle 1655 (Mobile Industry Processor Interface) verbunden ist. In mindestens einer Ausführungsform kann die Speicherung durch ein Flash-Speicher-Subsystem 1660 mit Flash-Speicher und einem Flash-Speicher-Controller erfolgen. In mindestens einer Ausführungsform kann eine Speicherschnittstelle über einen Speicher-Controller 1665 für den Zugriff auf SDRAM- oder SRAM-Speichergeräte bereitgestellt werden. In mindestens einer Ausführungsform enthalten einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Engine 1670.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 in der integrierten Schaltung 1600 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen eines neuronalen Netzes, Funktionen und/oder Architekturen eines neuronalen Netzes oder hier beschriebenen Anwendungsfällen eines neuronalen Netzes berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 16 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird die integrierte Schaltung 1600 der 16 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 17A-17B zeigen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne gemäß verschiedenen hier beschriebenen Ausführungsformen hergestellt werden können. Zusätzlich zu den dargestellten Schaltungen können in mindestens einer Ausführungsform weitere Logik und Schaltungen enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Peripherieschnittstellen-Controller oder Allzweck-Prozessorkerne.
  • 17A-17B sind Blockdiagramme, die beispielhafte Grafikprozessoren zur Verwendung in einem SoC gemäß den hier beschriebenen Ausführungsformen zeigen. 17A zeigt einen beispielhaften Grafikprozessor 1710 eines integrierten System-on-Chip-Schaltkreises, der gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Cores hergestellt werden kann. 17B zeigt einen weiteren beispielhaften Grafikprozessor 1740 eines integrierten System-on-Chip-Schaltkreises, der gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Cores hergestellt werden kann. In mindestens einer Ausführungsform ist der Grafikprozessor 1710 aus 17A ein Grafikprozessorkern mit geringem Stromverbrauch. In mindestens einer Ausführungsform ist der Grafikprozessor 1740 in 17B ein Grafikprozessorkern mit höherer Leistung. In mindestens einer Ausführungsform kann jeder der Grafikprozessoren 1710, 1740 eine Variante des Grafikprozessors 1610 der 16 sein.
  • In mindestens einer Ausführungsform umfasst der Grafikprozessor 1710 einen Vertex-Prozessor 1705 und einen oder mehrere Fragment-Prozessor(en) 1715A-1715N (z. B. 1715A, 1715B, 1715C, 1715D bis 1715N-1 und 1715N). In mindestens einer Ausführungsform kann der Grafikprozessor 1710 verschiedene Shader-Programme über eine separate Logik ausführen, so dass der Vertex-Prozessor 1705 für die Ausführung von Operationen für Vertex-Shader-Programme optimiert ist, während ein oder mehrere Fragment-Prozessor(en) 1715A-1715N Fragment- (z. B. Pixel-) Shading-Operationen für Fragment- oder Pixel-Shader-Programme ausführen. In mindestens einer Ausführungsform führt der Vertex-Prozessor 1705 eine Vertex-Verarbeitungsstufe einer 3D-Grafikpipeline durch und erzeugt Primitive und Vertex-Daten. In mindestens einer Ausführungsform verwenden die Fragmentprozessoren 1715A-1715N die vom Vertexprozessor 1705 erzeugten Primitiv- und Vertexdaten, um einen Framebuffer zu erzeugen, der auf einem Anzeigegerät angezeigt wird. In mindestens einer Ausführungsform ist/sind der/die Fragmentprozessor(en) 1715A-1715N für die Ausführung von Fragment-Shader-Programmen optimiert, wie sie in einer OpenGL-API vorgesehen sind, die zur Durchführung ähnlicher Operationen wie ein Pixel-Shader-Programm verwendet werden kann, wie es in einer Direct 3D API vorgesehen ist.
  • In mindestens einer Ausführungsform umfasst der Grafikprozessor 1710 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 1720A-1720B, Cache(s) 1725A-1725B und Schaltungsverbindung(en) 1730A-1730B. In mindestens einer Ausführungsform sorgen eine oder mehrere MMU(s) 1720A-1720B für die Zuordnung von virtuellen zu physischen Adressen für den Grafikprozessor 1710, einschließlich für den Scheitelpunktprozessor 1705 und/oder den/die Fragmentprozessor(en) 1715A-1715N, der/die auf Scheitelpunkt- oder Bild-/Texturdaten verweisen kann/können, die im Speicher gespeichert sind, zusätzlich zu Scheitelpunkt- oder Bild-/Texturdaten, die in einem oder mehreren Cache(s) 1725A-1725B gespeichert sind. In mindestens einer Ausführungsform können eine oder mehrere MMU(s) 1720A-1720B mit anderen MMUs innerhalb eines Systems synchronisiert werden, einschließlich einer oder mehrerer MMUs, die einem oder mehreren Anwendungsprozessor(en) 1605, Bildprozessoren 1615 und/oder Videoprozessoren 1620 der 16 zugeordnet sind, so dass jeder Prozessor 1605-1620 an einem gemeinsam genutzten oder vereinheitlichten virtuellen Speichersystem teilnehmen kann. In mindestens einer Ausführungsform ermöglichen eine oder mehrere Schaltungsverbindung(en) 1730A-1730B dem Grafikprozessor 1710 die Verbindung mit anderen IP-Kernen innerhalb des SoC, entweder über einen internen Bus des SoC oder über eine direkte Verbindung.
  • In mindestens einer Ausführungsform umfasst der Grafikprozessor 1740 einen oder mehrere Shader-Kerne 1755A-1755N (z. B. 1755A, 1755B, 1755C, 1755D, 1755E, 1755F, bis 1755N-1 und 1755N), wie in 17B, die eine einheitliche Shader-Kern-Architektur vorsieht, bei der ein einzelner Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Compute-Shadern. In mindestens einer Ausführungsform kann die Anzahl der Shader-Kerne variieren. In mindestens einer Ausführungsform umfasst der Grafikprozessor 1740 einen Inter-Core-Task-Manager 1745, der als Thread-Dispatcher fungiert, um Ausführungs-Threads an einen oder mehrere Shader-Kerne 1755A-1755N zu verteilen, sowie eine Tiling-Einheit 1758 zur Beschleunigung von Tiling-Operationen für kachelbasiertes Rendering, bei denen Rendering-Operationen für eine Szene im Bildraum unterteilt werden, um beispielsweise die lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Nutzung interner Caches zu optimieren.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 in der integrierten Schaltung 17A und/oder 17B für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 17A und/oder 17B gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Grafikprozessor 1710 der 17A und/oder der Grafikprozessor 1740 der 17B verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 18A-18B zeigen zusätzliche beispielhafte Grafikprozessorlogik gemäß den hier beschriebenen Ausführungsformen. 18A zeigt einen Grafikkern 1800, der in mindestens einer Ausführungsform im Grafikprozessor 1610 der 16 enthalten sein kann und in mindestens einer Ausführungsform ein einheitlicher Shader-Kern 1755A-1755N wie in 17B sein kann. 18B zeigt eine hochparallele Mehrzweck-Grafikverarbeitungseinheit („GPGPU“) 1830, die in mindestens einer Ausführungsform für den Einsatz auf einem Mehrchipmodul geeignet ist.
  • In mindestens einer Ausführungsform umfasst der Grafikkern 1800 einen gemeinsam genutzten Befehlscache 1802, eine Textureinheit 1818 und einen Cache/gemeinsamen Speicher 1820, die den Ausführungsressourcen im Grafikkern 1800 gemeinsam sind. In mindestens einer Ausführungsform kann der Grafikkern 1800 mehrere Slices 1801A-1801N oder eine Partition für jeden Kern enthalten, und ein Grafikprozessor kann mehrere Instanzen des Grafikkerns 1800 enthalten. In mindestens einer Ausführungsform können die Slices 1801A-1801N eine Unterstützungslogik mit einem lokalen Befehlscache 1804A-1804N, einem Thread-Scheduler 1806A-1806N, einem Thread-Dispatcher 1808A-1808N und einem Satz von Registern 1810A-1810N enthalten. In mindestens einer Ausführungsform können die Slices 1801A-1801N einen Satz zusätzlicher Funktionseinheiten (AFUs 1812A-1812N), Gleitkommaeinheiten (FPUs 1814A-1814N), ganzzahlige arithmetische Logikeinheiten (ALUs 1816A-1816N), Adressberechnungseinheiten (ACUs 1813A-1813N), doppelpräzise Gleitkommaeinheiten (DPFPUs 1815A-1815N) und Matrixverarbeitungseinheiten (MPUs 1817A-1817N) enthalten.
  • In mindestens einer Ausführungsform können die FPUs 1814A-1814N Gleitkommaoperationen mit einfacher Genauigkeit (32 Bit) und halber Genauigkeit (16 Bit) durchführen, während die DPFPUs 1815A-1815N Gleitkommaoperationen mit doppelter Genauigkeit (64 Bit) durchführen. In mindestens einer Ausführungsform können die ALUs 1816A-1816N Integer-Operationen mit variabler Präzision bei 8-Bit-, 16-Bit- und 32-Bit-Präzision durchführen und für Operationen mit gemischter Präzision konfiguriert werden. In mindestens einer Ausführungsform können die MPUs 1817A-1817N auch für Matrixoperationen mit gemischter Genauigkeit konfiguriert werden, einschließlich Gleitkomma- und 8-Bit-Ganzzahloperationen mit halber Genauigkeit. In mindestens einer Ausführungsform können die MPUs 1817-1817N eine Vielzahl von Matrixoperationen durchführen, um Anwendungsframeworks für maschinelles Lernen zu beschleunigen, einschließlich der Unterstützung für eine beschleunigte allgemeine Matrix-Matrix-Multiplikation (GEMM). In mindestens einer Ausführungsform können die AFUs 1812A-1812N zusätzliche logische Operationen durchführen, die von Gleitkomma- oder Ganzzahl-Einheiten nicht unterstützt werden, einschließlich trigonometrischer Operationen (z. B. Sinus, Kosinus usw.).
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im Grafikkern 1800 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 18A gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Grafikkern 1800 der 18A verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 18B zeigt eine Universal Processing Unit (GPGPU) 1830, die so konfiguriert werden kann, dass sie in mindestens einer Ausführungsform hochparallele Rechenoperationen durch ein Array von Grafikverarbeitungseinheiten ermöglicht. In mindestens einer Ausführungsform kann die GPGPU 1830 direkt mit anderen Instanzen der GPGPU 1830 verbunden werden, um einen Multi-GPU-Cluster zu bilden und die Trainingsgeschwindigkeit für tiefe neuronale Netze zu verbessern. In mindestens einer Ausführungsform umfasst die GPGPU 1830 eine Host-Schnittstelle 1832, um eine Verbindung mit einem Host-Prozessor zu ermöglichen. In mindestens einer Ausführungsform ist die Host-Schnittstelle 1832 eine PCI-Express-Schnittstelle. In mindestens einer Ausführungsform kann die Hostschnittstelle 1832 eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einer Ausführungsform empfängt die GPGPU 1830 Anweisungen von einem Host-Prozessor und verwendet einen globalen Scheduler 1834, um die mit diesen Anweisungen verbundenen Ausführungs-Threads auf eine Reihe von Rechenclustern 1836A-1836H zu verteilen. In mindestens einer Ausführungsform teilen sich die Rechencluster 1836A-1836H einen Cache-Speicher 1838. In mindestens einer Ausführungsform kann der Cache-Speicher 1838 als übergeordneter Cache für Cache-Speicher in den Rechenclustern 1836A-1836H dienen.
  • In mindestens einer Ausführungsform umfasst die GPGPU 1830 einen Speicher 1844A-1844B, der über eine Reihe von Speichercontrollern 1842A-1842B mit den Rechenclustern 1836A-1836H verbunden ist. In mindestens einer Ausführungsform kann der Speicher 1844A-1844B verschiedene Arten von Speichervorrichtungen umfassen, darunter einen dynamischen Direktzugriffsspeicher (DRAM) oder einen Grafik-Direktzugriffsspeicher, wie z. B. einen synchronen Grafik-Direktzugriffsspeicher (SGRAM), einschließlich eines Grafik-Doppeldatenraten-Speichers (GDDR).
  • In mindestens einer Ausführungsform enthalten die Rechencluster 1836A-1836H jeweils einen Satz von Grafikkernen, wie z. B. den Grafikkern 1800 der 18A, der mehrere Arten von Ganzzahl- und Gleitkomma-Logikeinheiten enthalten kann, die Rechenoperationen mit einer Reihe von Genauigkeiten durchführen können, die auch für maschinelle Lernberechnungen geeignet sind. Zum Beispiel kann in mindestens einer Ausführungsform mindestens eine Teilmenge der Gleitkommaeinheiten in jedem der Rechencluster 1836A-1836H so konfiguriert sein, dass sie 16-Bit- oder 32-Bit-Gleitkommaoperationen durchführen, während eine andere Teilmenge der Gleitkommaeinheiten so konfiguriert sein kann, dass sie 64-Bit-Gleitkommaoperationen durchführt.
  • In mindestens einer Ausführungsform können mehrere Instanzen der GPGPU 1830 so konfiguriert werden, dass sie als Compute-Cluster arbeiten. In mindestens einer Ausführungsform variiert die von den Rechenclustern 1836A-1836H für die Synchronisierung und den Datenaustausch verwendete Kommunikation je nach Ausführungsform. In mindestens einer Ausführungsform kommunizieren mehrere Instanzen der GPGPU 1830 über die Host-Schnittstelle 1832. In mindestens einer Ausführungsform umfasst die GPGPU 1830 einen I/O-Hub 1839, der die GPGPU 1830 mit einer GPU-Verbindung 1840 koppelt, die eine direkte Verbindung zu anderen Instanzen der GPGPU 1830 ermöglicht. In mindestens einer Ausführungsform ist die GPU-Verbindung 1840 mit einer dedizierten GPU-zu-GPU-Brücke verbunden, die die Kommunikation und Synchronisation zwischen mehreren Instanzen der GPGPU 1830 ermöglicht. In mindestens einer Ausführungsform ist die GPU-Verbindung 1840 mit einem Hochgeschwindigkeits-Interconnect gekoppelt, um Daten an andere GPGPUs oder Parallelprozessoren zu senden und zu empfangen. In mindestens einer Ausführungsform befinden sich mehrere GPGPU-Instanzen 1830 in getrennten Datenverarbeitungssystemen und kommunizieren über ein Netzwerkgerät, das über die Host-Schnittstelle 1832 zugänglich ist. In mindestens einer Ausführungsform kann die GPU-Verbindung 1840 so konfiguriert sein, dass sie zusätzlich oder alternativ zur Host-Schnittstelle 1832 eine Verbindung zu einem Host-Prozessor ermöglicht.
  • In mindestens einer Ausführungsform kann die GPGPU 1830 für das Training neuronaler Netze konfiguriert werden. In mindestens einer Ausführungsform kann die GPGPU 1830 in einer Inferencing-Plattform verwendet werden. In mindestens einer Ausführungsform, in der die GPGPU 1830 für Inferencing verwendet wird, kann die GPGPU 1830 weniger Rechencluster 1836A-1836H umfassen, als wenn die GPGPU 1830 für das Training eines neuronalen Netzes verwendet wird. In mindestens einer Ausführungsform kann sich die mit dem Speicher 1844A-1844B verbundene Speichertechnologie zwischen Inferenz- und Trainingskonfigurationen unterscheiden, wobei den Trainingskonfigurationen Speichertechnologien mit höherer Bandbreite zugewiesen werden. In mindestens einer Ausführungsform kann eine Inferenzkonfiguration der GPGPU 1830 spezifische Inferenzanweisungen unterstützen. In mindestens einer Ausführungsform kann eine Inferencing-Konfiguration beispielsweise eine oder mehrere 8-Bit-Integer-Punktprodukt-Anweisungen unterstützen, die bei Inferencing-Operationen für eingesetzte neuronale Netze verwendet werden können.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 in der GPGPU 1830 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 18B gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird die GPGPU 1830 der 18B verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 19 ist ein Blockdiagramm, das ein Rechensystem 1900 gemäß mindestens einer Ausführungsform darstellt. In mindestens einer Ausführungsform umfasst das Rechensystem 1900 eine Verarbeitungssubsystem 1901 mit einem oder mehreren Prozessoren 1902 und einem Systemspeicher 1904, der über einen Interconnect-Weg kommuniziert, der einen Speicher-Hub 1905 umfassen kann. In mindestens einer Ausführungsform kann der Speicher-Hub 1905 eine getrennte Komponente innerhalb einer Chipsatzkomponente sein oder kann in einen oder mehrerer Prozessoren 1902 integriert sein. In mindestens einer Ausführungsform ist der Speicher-Hub 1905 über eine Kommunikationsverbindung 1906 mit einem I/O-Subsystem 1911 gekoppelt. In mindestens einer Ausführungsform umfasst das I/O-Subsystem 1911 einen I/O-Hub 1907, der es dem Rechensystem 1900 ermöglichen kann, Eingaben von einem oder mehreren Eingabevorrichtung(en) 1908 zu empfangen. In mindestens einer Ausführungsform kann es der I/O-Hub 1907 einem Anzeigecontroller ermöglichen, der in einem oder mehreren Prozessoren 1902 enthalten ist, Ausgaben an eine oder mehrere Anzeigevorrichtung(en) 1910A bereitstellen. In mindestens einer Ausführungsform können eine oder mehrere mit dem I/O-Hub 1907 gekoppelte Anzeigevorrichtung(en) 1910A eine lokale, interne oder eingebettete Anzeigevorrichtung umfassen.
  • In mindestens einer Ausführungsform umfasst das Verarbeitungsteilsystem 1901 einen oder mehrere parallele(n) Prozessor(en) 1912, der/die mit dem Speicher-Hub 1905 über einen Bus oder eine andere Kommunikationsverbindung 1913 verbunden ist/sind. In mindestens einer Ausführungsform kann die Kommunikationsverbindung 1913 eine beliebige Anzahl von standardbasierten Kommunikationsverbindungstechnologien oder -protokollen verwenden, wie z. B., aber nicht beschränkt auf PCI Express, oder eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einer Ausführungsform bilden ein oder mehrere parallele(r) Prozessor(en) 1912 ein rechnerisch fokussiertes Parallel- oder Vektorverarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern umfassen kann, wie z. B. ein Many Integrated Core (MIC) Prozessor. In mindestens einer Ausführungsform bilden einige oder alle Parallelprozessoren 1912 ein Grafikverarbeitungs-Subsystem, das Pixel an eine oder mehrere Anzeigevorrichtung(en) 1910A ausgeben kann, die über den I/O-Hub 1907 gekoppelt sind. In mindestens einer Ausführungsform kann (können) der (die) Parallelprozessor(en) 1912 auch eine Anzeigesteuerung und eine Anzeigeschnittstelle (nicht dargestellt) enthalten, um eine direkte Verbindung zu einem oder mehreren Anzeigegerät(en) 1910B zu ermöglichen.
  • In mindestens einer Ausführungsform kann eine Systemspeichereinheit 1914 mit dem I/O-Hub 1907 verbunden werden, um einen Speichermechanismus für das Computersystem 1900 bereitzustellen. In mindestens einer Ausführungsform kann ein I/O-Switch 1916 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, der Verbindungen zwischen dem I/O-Hub 1907 und anderen Komponenten ermöglicht, wie z. B. einem Netzwerkadapter 1918 und/oder einem drahtlosen Netzwerkadapter 1919, der in die Plattform integriert werden kann, und verschiedenen anderen Geräten, die über ein oder mehrere Zusatzvorrichtungen 1920 hinzugefügt werden können. In mindestens einer Ausführungsform kann der Netzwerkadapter 1918 ein Ethernet-Adapter oder ein anderer kabelgebundener Netzwerkadapter sein. In mindestens einer Ausführungsform kann der drahtlose Netzwerkadapter 1919 eines oder mehrere der folgenden Geräte umfassen: Wi-Fi, Bluetooth, Near Field Communication (NFC) oder ein anderes Netzwerkgerät, das ein oder mehrere drahtlose Funkgeräte umfasst.
  • In mindestens einer Ausführungsform kann das Computersystem 1900 andere, nicht explizit dargestellte Komponenten enthalten, einschließlich USB- oder andere Anschlussverbindungen, optische Speicherlaufwerke, Videoaufnahmegeräte und dergleichen, die ebenfalls an den I/O-Hub 1907 angeschlossen werden können. In mindestens einer Ausführungsform können Kommunikationspfade, die verschiedene Komponenten in 19 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle implementiert werden, wie z. B. auf PCI (Peripheral Component Interconnect) basierende Protokolle (z. B. PCI-Express) oder andere Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder Protokolle, wie z. B. NV-Link-Hochgeschwindigkeits-Verbindungen oder Verbindungsprotokolle.
  • In mindestens einer Ausführungsform enthält (enthalten) der (die) Parallelprozessor(en) 1912 eine Schaltung, die für die Grafik- und Videoverarbeitung optimiert ist, z. B. eine Videoausgangsschaltung, und stellt (stellen) eine Grafikverarbeitungseinheit (GPU) dar. In mindestens einer Ausführungsform enthalten der/die Parallelprozessor(en) 1912 eine für die allgemeine Verarbeitung optimierte Schaltung. In mindestens einer Ausführungsform können Komponenten des Computersystems 1900 mit einem oder mehreren anderen Systemelementen auf einer einzigen integrierten Schaltung integriert sein. Zum Beispiel können in mindestens einer Ausführungsform der/die Parallelprozessor(en) 1912, der Speicher-Hub 1905, der/die Prozessor(en) 1902 und der I/O-Hub 1907 in eine integrierte Schaltung eines System-on-Chip (SoC) integriert werden. In mindestens einer Ausführungsform können die Komponenten des Rechnersystems 1900 in ein einziges Gehäuse integriert werden, um eine System-in-Package-Konfiguration (SIP) zu bilden. In mindestens einer Ausführungsform kann mindestens ein Teil der Komponenten des Rechnersystems 1900 in ein Multi-Chip-Modul (MCM) integriert werden, das mit anderen Multi-Chip-Modulen zu einem modularen Rechnersystem verbunden werden kann.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System Fig. 1900 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 19 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird das System 1900 der 19 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • PROZESSOREN
  • 20A zeigt einen Parallelprozessor 2000 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können verschiedene Komponenten des Parallelprozessors 2000 mit einem oder mehreren integrierten Schaltkreisen, wie programmierbaren Prozessoren, anwendungsspezifischen integrierten Schaltkreisen (ASICs) oder feldprogrammierbaren Gate-Arrays (FPGAs), implementiert werden. In mindestens einer Ausführungsform ist der dargestellte Parallelprozessor 2000 eine Variante eines oder mehrerer Parallelprozessoren 1912, die in 19 gemäß einer beispielhaften Ausführungsform dargestellt sind.
  • In mindestens einer Ausführungsform umfasst der Parallelprozessor 2000 eine Parallelverarbeitungseinheit 2002. In mindestens einer Ausführungsform umfasst die Parallelverarbeitungseinheit 2002 eine I/O-Einheit 2004, die die Kommunikation mit anderen Geräten, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 2002, ermöglicht. In mindestens einer Ausführungsform kann die I/O-Einheit 2004 direkt mit anderen Geräten verbunden sein. In mindestens einer Ausführungsform ist die I/O-Einheit 2004 über eine Hub- oder Switch-Schnittstelle, wie z. B. einen Memory Hub 2005, mit anderen Geräten verbunden. In mindestens einer Ausführungsform bilden die Verbindungen zwischen dem Memory Hub 2005 und der I/O-Einheit 2004 eine Kommunikationsverbindung 2013. In mindestens einer Ausführungsform ist die I/O-Einheit 2004 mit einer Host-Schnittstelle 2006 und einer Speicherkreuzschiene 2016 verbunden, wobei die Host-Schnittstelle 2006 Anweisungen zur Durchführung von Verarbeitungsoperationen und die Speicherkreuzschiene 2016 Anweisungen zur Durchführung von Speicheroperationen empfängt.
  • In mindestens einer Ausführungsform kann die Host-Schnittstelle 2006, wenn sie einen Befehlspuffer über die I/O-Einheit 2004 empfängt, Arbeitsoperationen zur Ausführung dieser Anweisungen an ein Frontend 2008 weiterleiten. In mindestens einer Ausführungsform ist das Frontend 2008 mit einem Scheduler 2010 gekoppelt, der so konfiguriert ist, dass er Anweisungen oder andere Arbeitselemente an ein Verarbeitungscluster-Array 2012 verteilt. In mindestens einer Ausführungsform stellt der Scheduler 2010 sicher, dass das Verarbeitungscluster-Array 2012 ordnungsgemäß konfiguriert ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an ein Cluster des Verarbeitungscluster-Arrays 2012 verteilt werden. In mindestens einer Ausführungsform wird der Scheduler 2010 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. In mindestens einer Ausführungsform ist der in einem Mikrocontroller implementierte Scheduler 2010 so konfigurierbar, dass er komplexe Scheduling- und Arbeitsverteilungsoperationen mit grober und feiner Granularität durchführt, was eine schnelle Vorkaufsberechtigung und Kontextumschaltung von Threads ermöglicht, die auf dem Verarbeitungs-Array 2012 ausgeführt werden. In mindestens einer Ausführungsform kann die Host-Software Arbeitslasten für die Planung auf dem Verarbeitungscluster-Array 2012 über einen von mehreren Grafikverarbeitungspfaden nachweisen. In mindestens einer Ausführungsform können die Arbeitslasten dann automatisch durch die Logik des Schedulers 2010 in einem Mikrocontroller, der den Scheduler 2010 enthält, auf das Verarbeitungsarray Cluster 2012 verteilt werden.
  • In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 2012 bis zu „N“ Verarbeitungscluster umfassen (z. B. Cluster 2014A, Cluster 2014B bis Cluster 2014N), wobei „N“ eine positive ganze Zahl darstellt (die eine andere ganze Zahl „N“ sein kann als in anderen Figuren verwendet). In mindestens einer Ausführungsform kann jeder Cluster 2014A-2014N des Verarbeitungscluster-Arrays 2012 eine große Anzahl von gleichzeitigen Threads ausführen. In mindestens einer Ausführungsform kann der Scheduler 2010 den Clustern 2014A-2014N des Verarbeitungscluster-Arrays 2012 Arbeit zuweisen, indem er verschiedene Scheduling- und/oder Arbeitsverteilungsalgorithmen verwendet, die in Abhängigkeit von der Arbeitslast variieren können, die für jede Art von Programm oder Berechnung entsteht. In mindestens einer Ausführungsform kann die Planung dynamisch durch den Scheduler 2010 erfolgen oder teilweise durch die Compilerlogik während der Kompilierung der Programmlogik, die für die Ausführung durch das Verarbeitungscluster-Array 2012 konfiguriert ist, unterstützt werden. In mindestens einer Ausführungsform können verschiedene Cluster 2014A-2014N des Verarbeitungscluster-Arrays 2012 für die Verarbeitung verschiedener Programmtypen oder für die Durchführung verschiedener Berechnungsarten zugewiesen werden.
  • In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 2012 so konfiguriert werden, dass es verschiedene Arten von parallelen Verarbeitungsoperationen durchführt. In mindestens einer Ausführungsform ist das Verarbeitungscluster-Array 2012 so konfiguriert, dass es parallele Allzweck-Rechenoperationen durchführt. Zum Beispiel kann in mindestens einer Ausführungsform das Verarbeitungscluster-Array 2012 eine Logik zur Ausführung von Verarbeitungsaufgaben enthalten, einschließlich der Filterung von Video- und/oder Audiodaten, der Durchführung von Modellierungsoperationen, einschließlich physikalischer Operationen, und der Durchführung von Datentransformationen.
  • In mindestens einer Ausführungsform ist das Verarbeitungscluster-Array 2012 so konfiguriert, dass es parallele Grafikverarbeitungsoperationen durchführt. In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 2012 zusätzliche Logik enthalten, um die Ausführung solcher Grafikverarbeitungsoperationen zu unterstützen, einschließlich, aber nicht beschränkt auf, Texturabtastlogik zur Durchführung von Texturoperationen sowie Tesselationslogik und andere Vertex-Verarbeitungslogik. In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 2012 so konfiguriert werden, dass es grafikverarbeitungsbezogene Shader-Programme ausführt, wie z. B. Vertex-Shader, Tessellation-Shader, Geometrie-Shader und Pixel-Shader, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform kann die Parallelverarbeitungseinheit 2002 Daten aus dem Systemspeicher über die I/O-Einheit 2004 zur Verarbeitung übertragen. In mindestens einer Ausführungsform können die übertragenen Daten während der Verarbeitung im On-Chip-Speicher (z. B. im Parallelprozessorspeicher 2022) gespeichert und dann in den Systemspeicher zurückgeschrieben werden.
  • In mindestens einer Ausführungsform, wenn die Parallelverarbeitungseinheit 2002 für die Grafikverarbeitung verwendet wird, kann der Scheduler 2010 so konfiguriert werden, dass er eine Verarbeitungslast in ungefähr gleich große Aufgaben aufteilt, um eine bessere Verteilung der Grafikverarbeitungsoperationen auf mehrere Cluster 2014A-2014N des Verarbeitungscluster-Arrays 2012 zu ermöglichen. In mindestens einer Ausführungsform können Teile des Verarbeitungscluster-Arrays 2012 so konfiguriert werden, dass sie verschiedene Arten der Verarbeitung durchführen. Beispielsweise kann in mindestens einer Ausführungsform ein erster Teil so konfiguriert sein, dass er Vertex-Shading und Topologieerzeugung durchführt, ein zweiter Teil kann so konfiguriert sein, dass er Tesselation und Geometrie-Shading durchführt, und ein dritter Teil kann so konfiguriert sein, dass er Pixel-Shading oder andere Bildschirmoperationen durchführt, um ein gerendertes Bild zur Angabe zu erzeugen. In mindestens einer Ausführungsform können Zwischendaten, die von einem oder mehreren der Cluster 2014A-2014N erzeugt werden, in Puffern gespeichert werden, damit Zwischendaten zur weiteren Verarbeitung zwischen den Clustern 2014A-2014N übertragen werden können.
  • In mindestens einer Ausführungsform kann das Verarbeitungscluster-Array 2012 über den Scheduler 2010, der Anweisungen zur Definition von Verarbeitungsaufgaben vom Frontend 2008 empfängt, auszuführende Verarbeitungsaufgaben empfangen. In mindestens einer Ausführungsform können die Verarbeitungsaufgaben Indizes der zu verarbeitenden Daten enthalten, z. B. Oberflächen- (Patch-) Daten, Primitivdaten, Scheitelpunktdaten und/oder Pixeldaten, sowie Zustandsparameter und Anweisungen, die definieren, wie die Daten verarbeitet werden sollen (z. B. welches Programm ausgeführt werden soll). In mindestens einer Ausführungsform kann der Scheduler 2010 so konfiguriert sein, dass er den Aufgaben entsprechende Indizes abruft oder Indizes vom Frontend 2008 empfängt. In mindestens einer Ausführungsform kann das vordere Ende 2008 so konfiguriert sein, dass es sicherstellt, dass das Verarbeitungscluster-Array 2012 in einen gültigen Zustand versetzt wird, bevor eine durch eingehende Befehlspuffer (z. B. Batch-Puffer, Push-Puffer usw.) spezifizierte Arbeitslast eingeleitet wird.
  • In mindestens einer Ausführungsform kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 2002 mit einem Parallelprozessorspeicher 2022 gekoppelt werden. In mindestens einer Ausführungsform kann auf den Parallelprozessorspeicher 2022 über die Speicherkreuzschiene 2016 zugegriffen werden, die Speicheranforderungen von der Verarbeitungsclusteranordnung 2012 sowie der I/O-Einheit 2004 empfangen kann. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 2016 über eine Speicherschnittstelle 2018 auf den parallelen Prozessorspeicher 2022 zugreifen. In mindestens einer Ausführungsform kann die Speicherschnittstelle 2018 mehrere Partitionseinheiten (z. B. Partitionseinheit 2020A, Partitionseinheit 2020B bis Partitionseinheit 2020N) umfassen, die jeweils mit einem Teil (z. B. Speichereinheit) des parallelen Prozessorspeichers 2022 verbunden werden können. In mindestens einer Ausführungsform ist eine Anzahl von Partitionseinheiten 2020A-2020N so konfiguriert, dass sie gleich einer Anzahl von Speichereinheiten ist, so dass eine erste Partitionseinheit 2020A eine entsprechende erste Speichereinheit 2024A hat, eine zweite Partitionseinheit 2020B eine entsprechende Speichereinheit 2024B hat und eine N-te Partitionseinheit 2020N eine entsprechende N-te Speichereinheit 2024N hat. In mindestens einer Ausführungsform kann die Anzahl der Partitionseinheiten 2020A-2020N nicht gleich der Anzahl der Speichereinheiten sein.
  • In mindestens einer Ausführungsform können die Speichereinheiten 2024A-2024N verschiedene Arten von Speichervorrichtungen enthalten, einschließlich dynamischer Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchroner Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR). In mindestens einer Ausführungsform können die Speichereinheiten 2024A-2024N auch 3D-Stapelspeicher umfassen, einschließlich, aber nicht beschränkt auf HBM-Speicher (High Bandwidth Memory). In mindestens einer Ausführungsform können Rendering-Ziele, wie Bildpuffer oder Textur-Maps, in den Speichereinheiten 2024A-2024N gespeichert werden, so dass die Partitionseinheiten 2020A-2020N Teile jedes Rendering-Ziels parallel schreiben können, um die verfügbare Bandbreite des Parallelprozessorspeichers 2022 effizient zu nutzen. In mindestens einer Ausführungsform kann eine lokale Instanz des parallelen Prozessorspeichers 2022 zugunsten eines einheitlichen Speicherdesigns ausgeschlossen werden, das den Systemspeicher in Verbindung mit dem lokalen Cache-Speicher nutzt.
  • In mindestens einer Ausführungsform kann jeder der Cluster 2014A-2014N des Verarbeitungscluster-Arrays 2012 Daten verarbeiten, die in jede der Speichereinheiten 2024A-2024N im Parallelprozessorspeicher 2022 geschrieben werden. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 2016 so konfiguriert sein, dass sie eine Ausgabe jedes Clusters 2014A-2014N an eine beliebige Partitionseinheit 2020A-2020N oder an einen anderen Cluster 2014A-2014N überträgt, der zusätzliche Verarbeitungsoperationen an einer Ausgabe durchführen kann. In mindestens einer Ausführungsform kann jeder Cluster 2014A-2014N mit der Speicherschnittstelle 2018 über die Speicherkreuzschiene 2016 kommunizieren, um aus verschiedenen externen Speichergeräten zu lesen oder in diese zu schreiben. In mindestens einer Ausführungsform hat die Speicherkreuzschiene 2016 eine Verbindung zur Speicherschnittstelle 2018, um mit der I/O-Einheit 2004 zu kommunizieren, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 2022, wodurch die Verarbeitungseinheiten in den verschiedenen Verarbeitungsclustern 2014A-2014N mit dem Systemspeicher oder einem anderen Speicher kommunizieren können, der nicht lokal zur Parallelverarbeitungseinheit 2002 ist. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 2016 virtuelle Kanäle verwenden, um Verkehrsströme zwischen Clustern 2014A-2014N und Partitionseinheiten 2020A-2020N zu trennen.
  • In mindestens einer Ausführungsform können mehrere Instanzen der Parallelverarbeitungseinheit 2002 auf einer einzigen Add-in-Karte bereitgestellt werden, oder mehrere Add-in-Karten können miteinander verbunden werden. In mindestens einer Ausführungsform können verschiedene Instanzen der Parallelverarbeitungseinheit 2002 so konfiguriert werden, dass sie zusammenarbeiten, auch wenn die verschiedenen Instanzen eine unterschiedliche Anzahl von Prozessorkernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Zum Beispiel können in mindestens einer Ausführungsform einige Instanzen der Parallelverarbeitungseinheit 2002 im Vergleich zu anderen Instanzen Gleitkommaeinheiten mit höherer Präzision enthalten. In mindestens einer Ausführungsform können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 2002 oder des Parallelprozessors 2000 enthalten, in einer Vielzahl von Konfigurationen und Formfaktoren implementiert werden, einschließlich, aber nicht beschränkt auf Desktop-, Laptop- oder Handheld-Personalcomputer, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme.
  • 20B ist ein Blockdiagramm einer Unterteilungseinheit 2020 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Partitionseinheit 2020 eine Instanz einer der Partitionseinheiten 2020A-2020N aus 20A. In mindestens einer Ausführungsform umfasst die Partitionseinheit 2020 einen L2-Cache 2021, eine Framebuffer-Schnittstelle 2025 und eine ROP 2026 (Rasteroperationseinheit). In mindestens einer Ausführungsform ist der L2-Cache 2021 ein Lese-/Schreib-Cache, der so konfiguriert ist, dass er von der Speicherkreuzschiene 2016 und der ROP 2026 empfangene Lade- und Speicheroperationen durchführt. In mindestens einer Ausführungsform werden Lesefehler und dringende Rückschreibanforderungen vom L2-Cache 2021 an die Bildpufferschnittstelle 2025 zur Verarbeitung ausgegeben. In mindestens einer Ausführungsform können Aktualisierungen auch über die Framebuffer-Schnittstelle 2025 zur Verarbeitung an einen Framebuffer gesendet werden. In mindestens einer Ausführungsform ist die Framebuffer-Schnittstelle 2025 mit einer der Speichereinheiten im parallelen Prozessorspeicher verbunden, z. B. mit den Speichereinheiten 2024A-2024N der 20 (z. B. im parallelen Prozessorspeicher 2022).
  • In mindestens einer Ausführungsform ist die ROP 2026 eine Verarbeitungseinheit, die Rasteroperationen wie Schablonen, Z-Tests, Überblendungen usw. durchführt. In mindestens einer Ausführungsform gibt die ROP 2026 dann verarbeitete Grafikdaten aus, die im Grafikspeicher abgelegt werden. In mindestens einer Ausführungsform umfasst die ROP 2026 eine Komprimierungslogik, um in den Speicher geschriebene Tiefen- oder Farbdaten zu komprimieren und aus dem Speicher gelesene Tiefen- oder Farbdaten zu dekomprimieren. In mindestens einer Ausführungsform kann die Komprimierungslogik eine verlustfreie Komprimierungslogik sein, die einen oder mehrere von mehreren Komprimierungsalgorithmen verwendet. In mindestens einer Ausführungsform kann die Art der Komprimierung, die von ROP 2026 durchgeführt wird, basierend auf statistischer Merkmale der zu komprimierenden Daten variieren. In mindestens einer Ausführungsform wird beispielsweise eine Delta-Farbkomprimierung für Tiefen- und Farbdaten auf einer Kachelbasis durchgeführt.
  • In mindestens einer Ausführungsform ist die ROP 2026 in jedem Verarbeitungscluster (z. B. Cluster 2014A-2014N der 20A) statt in der Partitionseinheit 2020 enthalten. In mindestens einer Ausführungsform werden Lese- und Schreibanforderungen für Pixeldaten über die Speicherkreuzschiene 2016 anstelle von Pixelfragmentdaten übertragen. In mindestens einer Ausführungsform können verarbeitete Grafikdaten auf einem Anzeigegerät angezeigt werden, z. B. auf einem oder mehreren Anzeigegeräten 1910 der 19, zur weiteren Verarbeitung durch Prozessor(en) 1902 weitergeleitet werden oder zur weiteren Verarbeitung durch eine der Verarbeitungseinheiten im Parallelprozessor 2000 der 20A weitergeleitet werden.
  • 20C ist ein Blockdiagramm eines Verarbeitungsclusters 2014 innerhalb einer Parallelverarbeitungseinheit gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist ein Verarbeitungscluster eine Instanz von einem der Verarbeitungscluster 2014A-2014N aus 20A. In mindestens einer Ausführungsform kann der Verarbeitungscluster 2014 so konfiguriert sein, dass er viele Threads parallel ausführt, wobei sich „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingabedaten ausgeführt wird. In mindestens einer Ausführungsform werden SIMD-Befehlsausgabetechniken (Single-Instruction, Multiple-Data) verwendet, um die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Befehlseinheiten bereitzustellen. In mindestens einer Ausführungsform werden SIMT-Techniken (Single-Instruction, Multiple-Thread) verwendet, um die parallele Ausführung einer großen Anzahl von im Allgemeinen synchronisierten Threads zu unterstützen, wobei eine gemeinsame Befehlseinheit verwendet wird, die so konfiguriert ist, dass sie Anweisungen an einen Satz von Verarbeitungsmaschinen in jedem der Verarbeitungscluster ausgibt.
  • In mindestens einer Ausführungsform kann der Betrieb des Verarbeitungsclusters 2014 über einen Pipeline-Manager 2032 gesteuert werden, der die Verarbeitungsaufgaben an die parallelen SIMT-Prozessoren verteilt. In mindestens einer Ausführungsform empfängt der Pipeline-Manager 2032 Anweisungen vom Scheduler 2010 der 20A und verwaltet die Ausführung dieser Anweisungen über einen Grafik-Multiprozessor 2034 und/oder eine Textureinheit 2036. In mindestens einer Ausführungsform ist der Grafik-Multiprozessor 2034 eine beispielhafte Instanz eines SIMT-Parallelprozessors. In mindestens einer Ausführungsform können jedoch verschiedene Arten von SIMT-Parallelprozessoren mit unterschiedlichen Architekturen im Verarbeitungscluster 2014 enthalten sein. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Grafik-Multiprozessors 2034 in einem Verarbeitungscluster 2014 enthalten sein. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 2034 Daten verarbeiten, und eine Datenkreuzschiene 2040 kann verwendet werden, um die verarbeiteten Daten an eines von mehreren möglichen Zielen, einschließlich anderer Shader-Einheiten, zu verteilen. In mindestens einer Ausführungsform kann der Pipeline-Manager 2032 die Verteilung verarbeiteter Daten erleichtern, indem er Ziele für verarbeitete Daten angibt, die über die Datenkreuzschiene 2040 verteilt werden sollen.
  • In mindestens einer Ausführungsform kann jeder Grafik-Multiprozessor 2034 innerhalb des Verarbeitungsclusters 2014 einen identischen Satz funktionaler Ausführungslogik enthalten (z. B. arithmetische Logikeinheiten, Ladespeichereinheiten usw.). In mindestens einer Ausführungsform kann die funktionale Ausführungslogik in einer Pipeline konfiguriert werden, in der neue Anweisungen ausgegeben werden können, bevor vorherige Anweisungen abgeschlossen sind. In mindestens einer Ausführungsform unterstützt die funktionale Ausführungslogik eine Vielzahl von Operationen, darunter Ganzzahl- und Gleitkommaarithmetik, Vergleichsoperationen, boolesche Operationen, Bitverschiebung und die Berechnung verschiedener algebraischer Funktionen. In mindestens einer Ausführungsform kann dieselbe Hardware mit funktionalen Einheiten genutzt werden, um verschiedene Operationen durchzuführen, und es kann eine beliebige Kombination von funktionalen Einheiten vorhanden sein.
  • In mindestens einer Ausführungsform bilden die an den Verarbeitungscluster 2014 übermittelten Anweisungen einen Thread. In mindestens einer Ausführungsform ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungsmaschinen ausgeführt werden, eine Thread-Gruppe. In mindestens einer Ausführungsform führt eine Thread-Gruppe ein gemeinsames Programm auf unterschiedlichen Eingabedaten aus. In mindestens einer Ausführungsform kann jeder Thread innerhalb einer Thread-Gruppe einer anderen Verarbeitungs-Engine innerhalb eines Grafik-Multiprozessors 2034 zugewiesen werden. In mindestens einer Ausführungsform kann eine Thread-Gruppe weniger Threads umfassen als die Anzahl der Verarbeitungseinheiten im Grafik-Multiprozessor 2034. Wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungsmaschinen umfasst, können in mindestens einer Ausführungsform eine oder mehrere der Verarbeitungsmaschinen während der Zyklen, in denen diese Thread-Gruppe verarbeitet wird, im Leerlauf sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe auch mehr Threads umfassen als eine Anzahl von Verarbeitungsmaschinen innerhalb des Grafik-Multiprozessors 2034. Wenn eine Thread-Gruppe mehr Threads umfasst als die Anzahl der Verarbeitungseinheiten im Grafik-Multiprozessor 2034, kann die Verarbeitung in mindestens einer Ausführungsform in aufeinanderfolgenden Taktzyklen erfolgen. In mindestens einer Ausführungsform können mehrere Thread-Gruppen gleichzeitig auf einem Grafik-Multiprozessor 2034 ausgeführt werden.
  • In mindestens einer Ausführungsform umfasst der Grafik-Multiprozessor 2034 einen internen Cache-Speicher zur Durchführung von Lade- und Speicheroperationen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 2034 auf einen internen Cache verzichten und einen Cache-Speicher (z. B. L1-Cache 2048) im Verarbeitungscluster 2014 verwenden. In mindestens einer Ausführungsform hat jeder Grafik-Multiprozessor 2034 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten (z. B. Partitionseinheiten 2020A-2020N der 20A), die von allen Verarbeitungsclustern 2014 gemeinsam genutzt werden und zur Datenübertragung zwischen Threads verwendet werden können. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 2034 auch auf den globalen Speicher außerhalb des Chips zugreifen, der einen oder mehrere lokale Parallelprozessorspeicher und/oder Systemspeicher umfassen kann. In mindestens einer Ausführungsform kann jeder Speicher außerhalb der Parallelverarbeitungseinheit 2002 als globaler Speicher verwendet werden. In mindestens einer Ausführungsform umfasst der Verarbeitungscluster 2014 mehrere Instanzen des Grafik-Multiprozessors 2034 und kann gemeinsame Anweisungen und Daten nutzen, die im L1-Cache 2048 gespeichert werden können.
  • In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 2014 eine MMU 2045 (Memory Management Unit) enthalten, die so konfiguriert ist, dass sie virtuelle Adressen in physische Adressen umwandelt. In mindestens einer Ausführungsform können sich eine oder mehrere Instanzen der MMU 2045 innerhalb der Speicherschnittstelle 2018 der 20A befinden. In mindestens einer Ausführungsform umfasst die MMU 2045 einen Satz von Seitentabelleneinträgen (PTEs), die zur Abbildung einer virtuellen Adresse auf eine physische Adresse einer Kachel verwendet werden, und optional einen Cache-Zeilenindex. In mindestens einer Ausführungsform kann die MMU 2045 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches enthalten, die sich im Grafik-Multiprozessor 2034 oder L1 2048-Cache oder im Verarbeitungscluster 2014 befinden können. In mindestens einer Ausführungsform wird eine physikalische Adresse verarbeitet, um den Zugriff auf Oberflächendaten lokal zu verteilen, um eine effiziente Verschachtelung von Anforderungen zwischen den Partitionseinheiten zu ermöglichen. In mindestens einer Ausführungsform kann ein Cache-Zeilenindex verwendet werden, um festzustellen, ob eine Anforderung für eine Cache-Zeile ein Treffer ist oder nicht.
  • In mindestens einer Ausführungsform kann ein Verarbeitungscluster 2014 so konfiguriert sein, dass jeder Grafikmultiprozessor 2034 mit einer Textureinheit 2036 gekoppelt ist, um Texturabbildungsoperationen durchzuführen, z. B. Bestimmen von Texturmusterpositionen, Lesen von Texturdaten und Filtern von Texturdaten. In mindestens einer Ausführungsform werden die Texturdaten aus einem internen Textur-L1-Cache (nicht dargestellt) oder aus einem L1-Cache innerhalb des Grafik-Multiprozessors 2034 gelesen und je nach Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder dem Systemspeicher abgerufen. In mindestens einer Ausführungsform gibt jeder Grafikmultiprozessor 2034 verarbeitete Aufgaben an die Datenkreuzschiene 2040 aus, um verarbeitete Aufgaben an einen anderen Verarbeitungscluster 2014 zur weiteren Verarbeitung weiterzuleiten oder um verarbeitete Aufgaben in einem L2-Cache, einem lokalen Parallelprozessorspeicher oder Systemspeicher über die Speicherkreuzschiene 2016 zu speichern. In mindestens einer Ausführungsform ist eine preROP 2042 (pre-raster operations unit) so konfiguriert, dass sie Daten vom Grafik-Multiprozessor 2034 empfängt und Daten an ROP-Einheiten weiterleitet, die sich in den hier beschriebenen Partitionseinheiten befinden können (z. B. Partitionseinheiten 2020A-2020N in 20A). In mindestens einer Ausführungsform kann die preROP-Einheit 2042 Optimierungen für die Farbmischung, die Organisation von Pixelfarbdaten und die Durchführung von Adressübersetzungen vornehmen.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im Grafikverarbeitungscluster 2014 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, neuronalen Netzfunktionen und/oder -architekturen oder den hier beschriebenen Anwendungsfällen für neuronale Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in den 20A, 20B und/oder 20C gezeigte oder beschriebene Komponente verwendet, um die in Verbindung mit den 1-6 beschriebenen Techniken und/oder Funktionen zu implementieren. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Parallelprozessor 2000 der 20A verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 20D zeigt einen Grafik-Multiprozessor 2034 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafik-Multiprozessor 2034 mit dem Pipeline-Manager 2032 des Verarbeitungsclusters 2014 verbunden. In mindestens einer Ausführungsform verfügt der Grafikmultiprozessor 2034 über eine Ausführungspipeline, die unter anderem einen Befehlscache 2052, eine Befehlseinheit 2054, eine Adresszuordnungseinheit 2056, eine Registerdatei 2058, einen oder mehrere GPGPU-Kerne 2062 und eine oder mehrere Lade-/Speichereinheiten 2066 umfasst. In mindestens einer Ausführungsform sind die GPGPU-Kerne 2062 und die Lade-/Speichereinheiten 2066 über eine Speicher- und Cache-Verbindung 2068 mit dem Cache-Speicher 2072 und dem gemeinsamen Speicher 2070 verbunden.
  • In mindestens einer Ausführungsform erhält der Befehls-Cache 2052 einen Strom von auszuführenden Anweisungen vom Pipeline-Manager 2032. In mindestens einer Ausführungsform werden die Anweisungen im Befehlscache 2052 zwischengespeichert und von einer Befehlseinheit 2054 zur Ausführung weitergeleitet. In mindestens einer Ausführungsform kann die Befehlseinheit 2054 Anweisungen als Thread-Gruppen (z. B. Warps) versenden, wobei jeder Thread der Thread-Gruppe einer anderen Ausführungseinheit innerhalb der GPGPU-Kerne 2062 zugewiesen ist. In mindestens einer Ausführungsform kann ein Befehl auf einen lokalen, gemeinsam genutzten oder globalen Adressraum zugreifen, indem er eine Adresse innerhalb eines einheitlichen Adressraums angibt. In mindestens einer Ausführungsform kann die Adressabbildungseinheit 2056 verwendet werden, um Adressen in einem einheitlichen Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf die die Lade-/Speichereinheiten 2066 zugreifen können.
  • In mindestens einer Ausführungsform bietet die Registerdatei 2058 einen Satz von Registern für Funktionseinheiten des Grafik-Multiprozessors 2034. In mindestens einer Ausführungsform stellt die Registerdatei 2058 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten (z. B. GPGPU-Kerne 2062, Lade-/Speichereinheiten 2066) des Grafik-Multiprozessors 2034 verbunden sind. In mindestens einer Ausführungsform wird die Registerdatei 2058 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein eigener Teil der Registerdatei 2058 zugewiesen wird. In mindestens einer Ausführungsform ist die Registerdatei 2058 auf verschiedene Warps aufgeteilt, die vom Grafik-Multiprozessor 2034 ausgeführt werden.
  • In mindestens einer Ausführungsform können die GPGPU-Kerne 2062 jeweils Gleitkommaeinheiten (FPUs) und/oder ganzzahlige arithmetische Logikeinheiten (ALUs) enthalten, die zur Ausführung von Anweisungen des Grafik-Multiprozessors 2034 verwendet werden. In mindestens einer Ausführungsform können die GPGPU-Kerne 2062 eine ähnliche Architektur aufweisen oder sich in der Architektur unterscheiden. In mindestens einer Ausführungsform umfasst ein erster Teil der GPGPU-Kerne 2062 eine FPU mit einfacher Genauigkeit und eine Ganzzahl-ALU, während ein zweiter Teil der GPGPU-Kerne eine FPU mit doppelter Genauigkeit umfasst. In mindestens einer Ausführungsform können die FPUs IEEE 754-2008 Standard-Gleitkomma-Arithmetik implementieren oder Gleitkomma-Arithmetik mit variabler Genauigkeit ermöglichen. In mindestens einer Ausführungsform kann der Grafik-Multiprozessor 2034 zusätzlich eine oder mehrere Festfunktions- oder Spezialfunktionseinheiten enthalten, um spezifische Funktionen wie das Kopieren von Rechtecken oder Pixel-Mischoperationen durchzuführen. In mindestens einer Ausführungsform können einer oder mehrere der GPGPU-Kerne 2062 auch eine Logik mit festen Funktionen oder Sonderfunktionen enthalten.
  • In mindestens einer Ausführungsform enthalten die GPGPU-Kerne 2062 eine SIMD-Logik, die in der Lage ist, einen einzigen Befehl auf mehreren Datensätzen auszuführen. In mindestens einer Ausführungsform können die GPGPU-Kerne 2062 physikalisch SIMD4-, SIMD8- und SIMD16-Anweisungen und logisch SIMD1-, SIMD2- und SIMD32-Anweisungen ausführen. In mindestens einer Ausführungsform können SIMD-Anweisungen für GPGPU-Kerne zur Kompilierzeit von einem Shader-Compiler oder automatisch bei der Ausführung von Programmen erzeugt werden, die für SPMD- oder SIMT-Architekturen (Single Program Multiple Data) geschrieben und kompiliert wurden. In mindestens einer Ausführungsform können mehrere Threads eines für ein SIMT-Ausführungsmodell konfigurierten Programms über einen einzigen SIMD-Befehl ausgeführt werden. Beispielsweise können in mindestens einer Ausführungsform acht SIMT-Threads, die gleiche oder ähnliche Operationen durchführen, parallel über eine einzige SIMD8-Logikeinheit ausgeführt werden.
  • In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 2068 ein Verbindungsnetzwerk, das jede Funktionseinheit des Grafik-Multiprozessors 2034 mit der Registerdatei 2058 und dem gemeinsamen Speicher 2070 verbindet. In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 2068 eine Kreuzschienenverbindung, die es der Lade-/Speichereinheit 2066 ermöglicht, Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher 2070 und der Registerdatei 2058 durchzuführen. In mindestens einer Ausführungsform kann die Registerdatei 2058 mit der gleichen Frequenz wie die GPGPU-Kerne 2062 arbeiten, so dass die Datenübertragung zwischen den GPGPU-Kernen 2062 und der Registerdatei 2058 eine sehr geringe Latenzzeit haben kann. In mindestens einer Ausführungsform kann der gemeinsame Speicher 2070 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Grafik-Multiprozessors 2034 ausgeführt werden. In mindestens einer Ausführungsform kann der Cache-Speicher 2072 beispielsweise als Daten-Cache verwendet werden, um Texturdaten, die zwischen Funktionseinheiten und der Textureinheit 2036 übertragen werden, zwischenzuspeichern. In mindestens einer Ausführungsform kann der gemeinsame Speicher 2070 auch als programmverwalteter Cache verwendet werden. In mindestens einer Ausführungsform können Threads, die auf GPGPU-Kernen 2062 ausgeführt werden, zusätzlich zu den automatisch im Cache-Speicher 2072 gespeicherten Daten programmatisch Daten im gemeinsam genutzten Speicher speichern.
  • In mindestens einer Ausführungsform ist ein Parallelprozessor oder eine GPGPU, wie hier beschrieben, kommunikativ mit Host-/Prozessorkernen verbunden, um Grafikoperationen, Operationen des maschinellen Lernens, Musteranalyseoperationen und verschiedene allgemeine GPU-Funktionen (GPGPU) zu beschleunigen. In mindestens einer Ausführungsform kann eine GPU über einen Bus oder eine andere Verbindung (z. B. eine Hochgeschwindigkeitsverbindung wie PCIe oder NVLink) mit dem Host-Prozessor/den Prozessorkernen kommunikativ verbunden sein. In mindestens einer Ausführungsform kann ein Grafikprozessor als Kerne in ein Gehäuse oder einen Chip integriert sein und über einen internen Prozessorbus bzw. eine interne Verbindung innerhalb eines Gehäuses oder Chips mit den Kernen kommunizieren. In mindestens einer Ausführungsform können Prozessorkerne unabhängig von der Art und Weise, in der ein Grafikprozessor angeschlossen ist, einem solchen Grafikprozessor Arbeit in Form von Sequenzen von Anweisungen/Anweisungen zuweisen, die in einem Arbeitsdeskriptor enthalten sind. In mindestens einer Ausführungsform verwendet die GPU dann eine spezielle Schaltung/Logik zur effizienten Verarbeitung dieser Anweisungen/Anweisungen.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im Grafik-Multiprozessor 2034 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder der hier beschriebenen Anwendungsfälle neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 20D gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Grafik-Multiprozessor 2034 der 20D verwendet, um die in Verbindung mit den 1-6 beschriebenen Techniken und/oder Funktionen zu implementieren.
  • 21 zeigt ein Multi-GPU-Rechnersystem 2100 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das Multi-GPU-Computersystem 2100 einen Prozessor 2102 umfassen, der über einen Host-Schnittstellenschalter 2104 mit mehreren Universal-Grafikverarbeitungseinheiten (GPGPUs) 2106A-D verbunden ist. In mindestens einer Ausführungsform ist der Host-Interface-Switch 2104 eine PCI-Express-Switch-Vorrichtung, die den Prozessor 2102 mit einem PCI-Express-Bus verbindet, über den der Prozessor 2102 mit den GPGPUs 2106A-D kommunizieren kann. In mindestens einer Ausführungsform können die GPGPUs 2106A-D über eine Reihe von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verbindungen 2116 miteinander verbunden werden. In mindestens einer Ausführungsform sind die GPU-zu-GPU-Verbindungen 2116 mit jeder der GPGPUs 2106A-D über eine dedizierte GPU-Verbindung verbunden. In mindestens einer Ausführungsform ermöglichen die P2P-GPU-Verbindungen 2116 eine direkte Kommunikation zwischen den einzelnen GPGPUs 2106A-D, ohne dass eine Kommunikation über den Host-Schnittstellenbus 2104 erforderlich ist, an den der Prozessor 2102 angeschlossen ist. In mindestens einer Ausführungsform, bei der der GPU-zu-GPU-Verkehr auf P2P-GPU-Verbindungen 2116 geleitet wird, bleibt der Host-Schnittstellenbus 2104 für den Zugriff auf den Systemspeicher oder für die Kommunikation mit anderen Instanzen des Multi-GPU-Computersystems 2100 verfügbar, zum Beispiel über ein oder mehrere Netzwerkgeräte. Während in mindestens einer Ausführungsform die GPGPUs 2106A-D über den Host-Schnittstellenschalter 2104 mit dem Prozessor 2102 verbunden sind, bietet der Prozessor 2102 in mindestens einer Ausführungsform direkte Unterstützung für P2P-GPU-Verbindungen 2116 und kann direkt mit den GPGPUs 2106A-D verbunden werden.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im Multi-GPU-Computersystem 2100 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 21 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird das Multi-GPU-Computersystem 2100 der 21 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 22 ist ein Blockdiagramm eines Grafikprozessors 2200 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst der Grafikprozessor 2200 eine Ringverbindung 2202, ein Pipeline-Frontend 2204, eine Medien-Engine 2237 und Grafikkerne 2280A-2280N. In mindestens einer Ausführungsform verbindet die Ringverbindung 2202 den Grafikprozessor 2200 mit anderen Verarbeitungseinheiten, einschließlich anderer Grafikprozessoren oder eines oder mehrerer Allzweckprozessorkerne. In mindestens einer Ausführungsform ist der Grafikprozessor 2200 einer von vielen Prozessoren, die in ein Multi-Core-Verarbeitungssystem integriert sind.
  • In mindestens einer Ausführungsform empfängt der Grafikprozessor 2200 Stapel von Anweisungen über die Ringverbindung 2202. In mindestens einer Ausführungsform werden die eingehenden Anweisungen von einem Befehls-Streamer 2203 im Pipeline-Frontend 2204 interpretiert. In mindestens einer Ausführungsform umfasst der Grafikprozessor 2200 eine skalierbare Ausführungslogik zur Durchführung der 3D-Geometrieverarbeitung und der Medienverarbeitung über Grafikkerne 2280A-2280N. In mindestens einer Ausführungsform liefert der Befehls-Streamer 2203 für 3D-Geometrieverarbeitungsbefehle Anweisungen an die Geometrie-Pipeline 2236. In mindestens einer Ausführungsform liefert der Befehls-Streamer 2203 für mindestens einige Medienverarbeitungsbefehle Anweisungen an ein Video-Frontend 2234, das mit der Medien-Engine 2237 gekoppelt ist. In mindestens einer Ausführungsform umfasst die Medien-Engine 2237 eine Video Quality Engine (VQE) 2230 für die Video- und Bildnachbearbeitung und eine Multiformat-Codier-/Decodier-Engine (MFX) 2233 für die hardwarebeschleunigte Codierung und Decodierung von Mediendaten. In mindestens einer Ausführungsform erzeugen die Geometrie-Pipeline 2236 und die Medien-Engine 2237 jeweils Ausführungs-Threads für Thread-Ausführungsressourcen, die von mindestens einem Grafikkern 2280 bereitgestellt werden.
  • In mindestens einer Ausführungsform umfasst der Grafikprozessor 2200 skalierbare Thread-Ausführungsressourcen mit Grafikkernen 2280A-2280N (die modular sein können und manchmal als Core-Slices bezeichnet werden), die jeweils mehrere Sub-Cores 2250A-50N, 2260A-2260N (manchmal als Core-Sub-Slices bezeichnet) aufweisen. In mindestens einer Ausführungsform kann der Grafikprozessor 2200 eine beliebige Anzahl von Grafikkernen 2280A haben. In mindestens einer Ausführungsform umfasst der Grafikprozessor 2200 einen Grafikkern 2280A mit mindestens einem ersten Unterkern 2250A und einem zweiten Unterkern 2260A. In mindestens einer Ausführungsform ist der Grafikprozessor 2200 ein Niedrigleistungsprozessor mit einem einzigen Unterkern (z. B. 2250A). In mindestens einer Ausführungsform umfasst der Grafikprozessor 2200 mehrere Grafikkerne 2280A-2280N, die jeweils einen Satz erster Unterkerne 2250A-2250N und einen Satz zweiter Unterkerne 2260A-2260N umfassen. In mindestens einer Ausführungsform umfasst jeder Unterkern in den ersten Unterkernen 2250A-2250N mindestens einen ersten Satz von Ausführungseinheiten 2252A-2252N und Medien-/Textur-Sampler 2254A-2254N. In mindestens einer Ausführungsform umfasst jeder Unterkern in den zweiten Unterkernen 2260A-2260N mindestens eine zweite Gruppe von Ausführungseinheiten 2262A-2262N und Samplern 2264A-2264N. In mindestens einer Ausführungsform teilt sich jeder Unterkern 2250A-2250N, 2260A-2260N einen Satz gemeinsamer Ressourcen 2270A-2270N. In mindestens einer Ausführungsform umfassen die gemeinsam genutzten Ressourcen einen gemeinsam genutzten Cache-Speicher und eine Pixeloperationslogik.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im Grafikprozessor 2200 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 22 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Grafikprozessor 2200 der 22 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 23 ist ein Blockdiagramm, das die Mikroarchitektur eines Prozessors 2300 veranschaulicht, der gemäß mindestens einer Ausführungsform Logikschaltungen zur Ausführung von Anweisungen enthalten kann. In mindestens einer Ausführungsform kann der Prozessor 2300 Anweisungen ausführen, darunter x86-Anweisungen, ARM-Anweisungen, spezielle Anweisungen für anwendungsspezifische integrierte Schaltungen (ASICs) usw. In mindestens einer Ausführungsform kann der Prozessor 2300 Register zur Speicherung gepackter Daten enthalten, wie z. B. 64-Bit breite MMX™-Register in Mikroprozessoren, die mit der MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. In mindestens einer Ausführungsform können MMX-Register, die sowohl als Ganzzahl- als auch als Gleitkommaregister verfügbar sind, mit gepackten Datenelementen arbeiten, die Single Instruction, Multiple Data („SIMD“) und Streaming SIMD Extensions („SSE“) Anweisungen begleiten. In mindestens einer Ausführungsform können 128 Bit breite XMM-Register, die sich auf die SSE2-, SSE3-, SSE4-, AVX- oder darüber hinausgehende Technologien beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden enthalten. In mindestens einer Ausführungsform kann der Prozessor 2300 Anweisungen zur Beschleunigung von Algorithmen für maschinelles Lernen oder Deep Learning, Training oder Inferenz ausführen.
  • In mindestens einer Ausführungsform umfasst der Prozessor 2300 ein Frontend („Frontend“) 2301 zum Abrufen von auszuführenden Anweisungen und zur Vorbereitung von Anweisungen, die später in einer Prozessor-Pipeline verwendet werden sollen. In mindestens einer Ausführungsform kann das vordere Ende 2301 mehrere Einheiten umfassen. In mindestens einer Ausführungsform holt ein Anweisungsvorabrufer 2326 Anweisungen aus dem Speicher und leitet sie an einen Anweisungsdecoder 2328 weiter, der wiederum Anweisungen dekodiert oder interpretiert. In mindestens einer Ausführungsform dekodiert der Befehlsdekodierer 2328 beispielsweise einen empfangenen Befehl in eine oder mehrere Operationen, die als „Mikrobefehle“ oder „Mikrooperationen“ (auch „Mikro-Ops“ oder „Uops“ genannt) bezeichnet werden und von einer Maschine ausgeführt werden können. In mindestens einer Ausführungsform zerlegt der Befehlsdecoder 2328 einen Befehl in einen Op-Code und entsprechende Daten- und Steuerfelder, die von der Mikroarchitektur verwendet werden können, um Operationen gemäß mindestens einer Ausführungsform durchzuführen. In mindestens einer Ausführungsform kann ein Trace-Cache 2330 dekodierte UOPs in programmgesteuerte Sequenzen oder Traces in einer UOP-Warteschlange 2334 zur Ausführung zusammenstellen. Wenn der Trace-Cache 2330 auf einen komplexen Befehl stößt, stellt ein Mikrocode-ROM 2332 in mindestens einer Ausführungsform die für die Ausführung einer Operation erforderlichen uops bereit.
  • In mindestens einer Ausführungsform können einige Anweisungen in ein einziges Mikro-OP umgewandelt werden, während andere mehrere Mikro-OPs benötigen, um vollständig ausgeführt zu werden. In mindestens einer Ausführungsform kann der Anweisungsdecoder 2328 auf den Mikrocode-ROM 2332 zugreifen, um den Befehl auszuführen, wenn mehr als vier Mikro-Ops zur Ausführung des Befehls erforderlich sind. In mindestens einer Ausführungsform kann ein Befehl in eine kleine Anzahl von Mikro-Ops für die Verarbeitung im Anweisungsdecoder 2328 decodiert werden. In mindestens einer Ausführungsform kann ein Befehl im Mikrocode-ROM 2332 gespeichert werden, falls eine Anzahl von Mikro-OPs zur Ausführung einer solchen Operation erforderlich ist. In mindestens einer Ausführungsform bezieht sich der Trace-Cache 2330 auf ein programmierbares Logik-Array („PLA“) als Einstiegspunkt, um einen korrekten Mikrobefehlszeiger für das Lesen von Mikrocode-Sequenzen zu bestimmen, um eine oder mehrere Anweisungen aus dem Mikrocode-ROM 2332 gemäß mindestens einer Ausführungsform zu vervollständigen. In mindestens einer Ausführungsform kann das Frontend 2301 einer Maschine, nachdem das Mikrocode-ROM 2332 die Sequenzierung von Mikrobefehlen für einen Befehl beendet hat, das Abrufen von Mikrobefehlen aus dem Trace-Cache 2330 wieder aufnehmen.
  • In mindestens einer Ausführungsform kann die Out-of-Order-Ausführungslogik („Outof-Order-Engine“) 2303 Anweisungen zur Ausführung vorbereiten. In mindestens einer Ausführungsform verfügt die Logik für die Ausführung außerhalb der Reihenfolge über eine Reihe von Puffern, um den Fluss der Anweisungen zu glätten und neu zu ordnen, um die Leistung zu optimieren, während sie eine Pipeline durchlaufen und für die Ausführung geplant werden. In mindestens einer Ausführungsform umfasst die Ausführungslogik 2303 ohne Einschränkung einen Zuweiser/Registerumbenenner 2340, eine Speicher-uop-Warteschlange 2342, eine Ganzzahl/Gleitkomma-uop-Warteschlange 2344, einen Speicher-Scheduler 2346, einen schnellen Scheduler 2302, einen langsamen/allgemeinen Gleitkomma-Scheduler („slow/general FP scheduler“) 2304 und einen einfachen Gleitkomma-Scheduler („simple FP scheduler“) 2306. In mindestens einer Ausführungsform werden der schnelle Scheduler 2302, der langsame/allgemeine Gleitkomma-Scheduler 2304 und der einfache Gleitkomma-Scheduler 2306 hier auch gemeinsam als „uop-Scheduler 2302, 2304, 2306“ bezeichnet. In mindestens einer Ausführungsform weist der Zuweiser/Registerumbenenner 2340 Maschinenpuffer und Ressourcen zu, die jeder uop für seine Ausführung benötigt. In mindestens einer Ausführungsform benennt der Zuweiser/Register Renamer 2340 logische Register auf Einträge in einer Registerdatei um. In mindestens einer Ausführungsform weist der Zuweiser/Registerumbenenner 2340 außerdem jedem uop einen Eintrag in einer von zwei uop-Warteschlangen zu, der Speicher-uop-Warteschlange 2342 für Speicheroperationen und der Ganzzahl-/Gleitkomma-uop-Warteschlange 2344 für Nicht-Speicheroperationen, die dem Speicher-Scheduler 2346 und den uop-Schedulern 2302, 2304, 2306 vorangestellt ist. In mindestens einer Ausführungsform bestimmen die uop-Scheduler 2302, 2304, 2306 basierend auf der Bereitschaft ihrer abhängigen Eingangsregister-Operandenquellen und der Verfügbarkeit der Ausführungsressourcen, die die uops zur Durchführung ihrer Operation benötigen, wann ein uop zur Ausführung bereit ist. In mindestens einer Ausführungsform kann der schnelle Scheduler 2302 in jeder Hälfte eines Haupttaktzyklus einen Zeitplan erstellen, während der langsame/allgemeine Gleitkomma-Scheduler 2304 und der einfache Gleitkomma-Scheduler 2306 einen Zeitplan pro Hauptprozessor-Taktzyklus erstellen können. In mindestens einer Ausführungsform vermitteln die uop-Scheduler 2302, 2304, 2306 für Dispatch-Ports, um uops zur Ausführung zu planen.
  • In mindestens einer Ausführungsform umfasst der Ausführungsblock 2311, ohne Einschränkung, eine Ganzzahlregisterdatei/ein Umgehungsnetzwerk 2308, eine Gleitkommaregisterdatei/ein Umgehungsnetzwerk („FP- RegisterdateiIU mgehungsnetzwerk“) 2310, Adressgenerierungseinheiten („AGUs“) 2312 und 2314, schnelle arithmetische Logikeinheiten (ALUs) („fast ALUs“) 2316 und 2318, eine langsame arithmetische Logikeinheit („slow ALU“) 2320, eine Gleitkomma-ALU („FP“) 2322 und eine Gleitkomma-Bewegungseinheit („FP move“) 2324. In mindestens einer Ausführungsform werden die Ganzzahl-Registerdatei bzw. das Umgehungsnetzwerk 2308 und die Gleitkomma-Registerdatei bzw. das Umgehungsnetzwerk 2310 hier auch als „Registerdateien 2308, 2310“ bezeichnet. In mindestens einer Ausführungsform werden die AGUSs 2312 und 2314, die schnellen ALUs 2316 und 2318, die langsame ALU 2320, die Gleitkomma-ALU 2322 und die Gleitkomma-Bewegungseinheit 2324 hier auch als „Ausführungseinheiten 2312, 2314, 2316, 2318, 2320, 2322 und 2324“ bezeichnet. In mindestens einer Ausführungsform kann der Ausführungsblock 2311 ohne Einschränkung eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Umgehungsnetzwerken, Adressgenerierungseinheiten und Ausführungseinheiten in beliebiger Kombination enthalten.
  • In mindestens einer Ausführungsform können die Registernetzwerke 2308, 2310 zwischen den UOP-Schedulern 2302, 2304, 2306 und den Ausführungseinheiten 2312, 2314, 2316, 2318, 2320, 2322 und 2324 angeordnet sein. In mindestens einer Ausführungsform führt das Integer-Register-File/Umgehungsnetzwerk 2308 Integer-Operationen durch. In mindestens einer Ausführungsform führt die Gleitkommaregisterdatei/das Umgehungsnetzwerk 2310 Gleitkommaoperationen durch. In mindestens einer Ausführungsform kann jedes der Registernetzwerke 2308, 2310 ohne Einschränkung ein Umgehungsnetzwerk enthalten, das gerade abgeschlossene Ergebnisse, die noch nicht in eine Registerdatei geschrieben wurden, umgehen oder an neue abhängige Uops weiterleiten kann. In mindestens einer Ausführungsform können die Registernetzwerke 2308, 2310 Daten miteinander austauschen. In mindestens einer Ausführungsform kann das Integer-Registerdatei/Umgehungsnetzwerk 2308 ohne Einschränkung zwei separate Registerdateien umfassen, eine Registerdatei für zweiunddreißig Bits von Daten niedriger Ordnung und eine zweite Registerdatei für zweiunddreißig Bits von Daten hoher Ordnung. In mindestens einer Ausführungsform kann das Fließkomma-Registerdatei/Umgehungsnetzwerk 2310 ohne Einschränkung 128 Bit breite Einträge enthalten, da Fließkomma-Anweisungen typischerweise Operanden mit einer Breite von 64 bis 128 Bit haben.
  • In mindestens einer Ausführungsform können die Ausführungseinheiten 2312, 2314, 2316, 2318, 2320, 2322, 2324 Anweisungen ausführen. In mindestens einer Ausführungsform speichern die Registernetzwerke 2308, 2310 Ganzzahl- und Gleitkommadaten-Operandenwerte, die für die Ausführung von Mikrobefehlen erforderlich sind. In mindestens einer Ausführungsform kann der Prozessor 2300 ohne Einschränkung eine beliebige Anzahl und Kombination von Ausführungseinheiten 2312, 2314, 2316, 2318, 2320, 2322, 2324 umfassen. In mindestens einer Ausführungsform können die Fließkomma-ALU 2322 und die Fließkomma-Bewegungseinheit 2324 Fließkomma-, MMX-, SIMD-, AVX- und SSE- oder andere Operationen ausführen, einschließlich spezieller maschineller Lernbefehle. In mindestens einer Ausführungsform kann die Gleitkomma-ALU 2322 ohne Einschränkung einen 64-Bit-mal-64-Bit-Gleitkomma-Teiler enthalten, um die Mikrooperationen Teilen, Quadratwurzel und Rest auszuführen. In mindestens einer Ausführungsform können Anweisungen, die einen Gleitkommawert beinhalten, mit Gleitkommahardware verarbeitet werden. In mindestens einer Ausführungsform können ALU-Operationen an die schnellen ALUs 2316, 2318 weitergeleitet werden. In mindestens einer Ausführungsform können die schnellen ALUS 2316, 2318 schnelle Operationen mit einer effektiven Latenz von einem halben Taktzyklus ausführen. In mindestens einer Ausführungsform gehen die meisten komplexen ganzzahligen Operationen an die langsame ALU 2320, da die langsame ALU 2320 ohne Einschränkung ganzzahlige Ausführungshardware für Operationen mit langer Latenzzeit enthalten kann, wie z. B. einen Multiplizierer, Verschiebungen, Flag-Logik und Verzweigungsverarbeitung. In mindestens einer Ausführungsform können Speicherlade-/Speicheroperationen von den AGUs 2312, 2314 ausgeführt werden. In mindestens einer Ausführungsform können die schnelle ALU 2316, die schnelle ALU 2318 und die langsame ALU 2320 Ganzzahloperationen mit 64-Bit-Datenoperanden durchführen. In mindestens einer Ausführungsform können die schnelle ALU 2316, die schnelle ALU 2318 und die langsame ALU 2320 so implementiert werden, dass sie eine Vielzahl von Datenbitgrößen unterstützen, darunter sechzehn, zweiunddreißig, 128, 256, usw. In mindestens einer Ausführungsform können die Gleitkomma-ALU 2322 und die Gleitkomma-Bewegungseinheit 2324 so implementiert werden, dass sie eine Reihe von Operanden mit Bits unterschiedlicher Breite unterstützen, z. B. 128 Bit breite gepackte Datenoperanden in Verbindung mit SIMD- und Multimedia-Anweisungen.
  • In mindestens einer Ausführungsform werden abhängige Operationen von den UOP-Schedulern 2302, 2304, 2306 abgewickelt, bevor die Ausführung einer übergeordneten Last beendet ist. Da in mindestens einer Ausführungsform UOPs spekulativ geplant und im Prozessor 2300 ausgeführt werden können, kann der Prozessor 2300 auch Logik zur Behandlung von Speicherfehlern enthalten. In mindestens einer Ausführungsform kann es, wenn eine Datenlast in einem Daten-Cache fehlschlägt, abhängige Operationen in einer Pipeline geben, die einen Scheduler mit vorübergehend falschen Daten zurückgelassen haben. In mindestens einer Ausführungsform verfolgt ein Wiedergabemechanismus Anweisungen, die falsche Daten verwenden, und führt sie erneut aus. In mindestens einer Ausführungsform müssen abhängige Operationen möglicherweise erneut abgespielt werden, während unabhängige Operationen abgeschlossen werden können. In mindestens einer Ausführungsform können Scheduler und ein Wiedergabemechanismus mindestens einer Ausführungsform eines Prozessors auch so ausgelegt sein, dass sie Befehlssequenzen für Text-String-Vergleichsoperationen abfangen.
  • In mindestens einer Ausführungsform kann sich der Begriff „Register“ auf prozessorinterne Speicherplätze beziehen, die als Teil von Anweisungen zur Identifizierung von Operanden verwendet werden können. In mindestens einer Ausführungsform können Register solche sein, die von außerhalb eines Prozessors (aus der Sicht eines Programmierers) verwendet werden können. In mindestens einer Ausführungsform können die Register nicht auf einen bestimmten Schaltungstyp beschränkt sein. Vielmehr kann ein Register in mindestens einer Ausführungsform Daten speichern, Daten bereitstellen und die hier beschriebenen Funktionen ausführen. In mindestens einer Ausführungsform können die hierin beschriebenen Register durch Schaltungen innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert werden, wie z. B. dedizierte physische Register, dynamisch zugewiesene physische Register unter Verwendung von Registerumbenennung, Kombinationen aus dedizierten und dynamisch zugewiesenen physischen Registern usw. In mindestens einer Ausführungsform werden in Ganzzahlregistern 32-Bit-Ganzzahldaten gespeichert. Eine Registerdatei mindestens einer Ausführungsform enthält auch acht Multimedia-SIMD-Register für gepackte Daten.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Ausführungsblock 2311 und andere gezeigte oder nicht gezeigte Speicher oder Register integriert werden. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der im Ausführungsblock 2311 dargestellten ALUs verwenden. Darüber hinaus können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die die ALUs des Ausführungsblocks 2311 so konfigurieren, dass sie einen oder mehrere der hierin beschriebenen maschinellen Lernalgorithmen, neuronalen Netzarchitekturen, Anwendungsfälle oder Trainingstechniken ausführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 23 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Prozessor 2300 der 23 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 24 zeigt einen Deep-Learning-Anwendungsprozessor 2400 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet der Anwendungsprozessor 2400 für tiefes Lernen Anweisungen, die, wenn sie vom Anwendungsprozessor 2400 für tiefes Lernen ausgeführt werden, den Anwendungsprozessor 2400 für tiefes Lernen veranlassen, einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist der Deep-Learning-Anwendungsprozessor 2400 eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einer Ausführungsform führt der Anwendungsprozessor 2400 Matrixmultiplikationsoperationen entweder „fest verdrahtet“ in der Hardware als Ergebnis der Ausführung einer oder mehrerer Anweisungen oder beides durch. In mindestens einer Ausführungsform umfasst der Deep-Learning-Anwendungsprozessor 2400, ohne Einschränkung, Verarbeitungscluster 2410(1)-2410(12), Inter-Chip-Links („ICLs“) 2420(1)-2420(12), Inter-Chip-Controller („ICCs“) 2430(1)-2430(2), Hochbreitenspeicher der zweiten Generation („HBM2“) 2440(1)-2440(4), Speicher-Controller („Mem Ctrlrs“) 2442(1)-2442(4), physikalische Schicht für Hochbreitenspeicher („HBM PHY“) 2444(1)-2444(4), eine Management-Controller-Zentraleinheit („Management-Controller-CPU“) 2450, ein Serial Peripheral Interface, Inter-Integrated Circuit und General Purpose Input/Output Block („SPI, I2 C, GPIO“) 2460, ein Peripheral Component Interconnect Express Controller und Direct Memory Access Block („PCIe Controller und DMA“) 2470 und ein Peripheral Component Interconnect Express Port mit sechzehn Spuren („PCI Express × 16“) 2480.
  • In mindestens einer Ausführungsform können die Verarbeitungscluster 2410 Deep-Learning-Operationen durchführen, einschließlich Inferenz- oder Vorhersageoperationen basierend auf von Gewichtungsparametern, die mit einem oder mehreren Trainingsverfahren, einschließlich der hierin beschriebenen, berechnet wurden. In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 2410, ohne Einschränkung, eine beliebige Anzahl und Art von Prozessoren umfassen. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 2400 eine beliebige Anzahl und Art von Verarbeitungsclustern 2400 umfassen. In mindestens einer Ausführungsform sind die Inter-Chip-Verbindungen 2420 bidirektional. In mindestens einer Ausführungsform ermöglichen Inter-Chip-Links 2420 und Inter-Chip-Controller 2430 mehreren Deep-Learning-Anwendungsprozessoren 2400 den Austausch von Informationen, einschließlich Aktivierungsinformationen, die aus der Ausführung eines oder mehrerer maschineller Lernalgorithmen resultieren, die in einem oder mehreren neuronalen Netzen verkörpert sind. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 2400 eine beliebige Anzahl (einschließlich Null) und einen beliebigen Typ von ICLs 2420 und ICCs 2430 umfassen.
  • In mindestens einer Ausführungsform bieten die HBM2 2440 insgesamt 32 Gigabyte (GB) Speicher. In mindestens einer Ausführungsform ist der HBM2 2440(i) sowohl dem Speicher-Controller 2442(i) als auch dem HBM PHY 2444(i) zugeordnet, wobei „i“ eine beliebige ganze Zahl ist. In mindestens einer Ausführungsform kann eine beliebige Anzahl von HBM2 2440 einen beliebigen Typ und eine beliebige Gesamtmenge an Speicher mit hoher Bandbreite bereitstellen und mit einer beliebigen Anzahl (einschließlich Null) und einem beliebigen Typ von Speicher-Controllern 2442 und HBM PHYs 2444 verbunden sein. In mindestens einer Ausführungsform können SPI, I2 C, GPIO 2460, PCIe Controller und DMA 2470 und/oder PCIe 2480 durch eine beliebige Anzahl und einen beliebigen Typ von Blöcken ersetzt werden, die eine beliebige Anzahl und einen beliebigen Typ von Kommunikationsstandards in einer technisch machbaren Weise ermöglichen.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein maschinelles Lernmodell, wie z. B. ein neuronales Netzwerk, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die dem Deep-Learning-Anwendungsprozessor 2400 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 2400 verwendet, um Informationen basierend auf eines trainierten maschinellen Lernmodells (z. B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder vom Deep-Learning-Anwendungsprozessor 2400 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der Prozessor 2400 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle für neuronale Netze durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 24 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 2400 der 24 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 25 ist ein Blockdiagramm eines neuromorphen Prozessors 2500 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2500 eine oder mehrere Eingaben von Quellen außerhalb des neuromorphen Prozessors 2500 empfangen. In mindestens einer Ausführungsform können diese Eingaben an ein oder mehrere Neuronen 2502 innerhalb des neuromorphen Prozessors 2500 übertragen werden. In mindestens einer Ausführungsform können die Neuronen 2502 und ihre Komponenten unter Verwendung von Schaltungen oder Logik, einschließlich einer oder mehrerer arithmetischer Logikeinheiten (ALUs), implementiert werden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2500 ohne Einschränkung Tausende oder Millionen von Instanzen von Neuronen 2502 umfassen, aber es kann jede geeignete Anzahl von Neuronen 2502 verwendet werden. In mindestens einer Ausführungsform kann jede Instanz des Neurons 2502 einen Neuroneneingang 2504 und einen Neuronenausgang 2506 aufweisen. In mindestens einer Ausführungsform können die Neuronen 2502 Ausgänge erzeugen, die an Eingänge anderer Instanzen von Neuronen 2502 übertragen werden können. Zum Beispiel können in mindestens einer Ausführungsform die Neuroneneingänge 2504 und die Neuronenausgänge 2506 über Synapsen 2508 miteinander verbunden sein.
  • In mindestens einer Ausführungsform können die Neuronen 2502 und die Synapsen 2508 so miteinander verbunden sein, dass der neuromorphe Prozessor 2500 die vom neuromorphen Prozessor 2500 empfangenen Informationen verarbeitet oder analysiert. In mindestens einer Ausführungsform können die Neuronen 2502 einen Ausgangsimpuls (oder „Feuer“ oder „Spike“) senden, wenn die über den Neuroneneingang 2504 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einer Ausführungsform können die Neuronen 2502 die an den Neuroneneingängen 2504 empfangenen Signale summieren oder integrieren. In mindestens einer Ausführungsform können die Neuronen 2502 beispielsweise als undichte Integrations- und Feuerneuronen implementiert werden, wobei das Neuron 2502 eine Ausgabe (oder ein „Feuer“) unter Verwendung einer Übertragungsfunktion wie einer Sigmoid- oder Schwellenwertfunktion erzeugen kann, wenn eine Summe (als „Membranpotenzial“ bezeichnet) einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann ein undichtes Integrations- und Feuerneuron die an den Neuroneneingängen 2504 empfangenen Signale zu einem Membranpotenzial summieren und auch einen Abklingfaktor (oder ein Leck) anwenden, um ein Membranpotenzial zu reduzieren. In mindestens einer Ausführungsform kann ein leaky integrate-and-fire Neuron feuern, wenn mehrere Eingangssignale an den Neuroneneingängen 2504 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (d.h. bevor ein Membranpotential zu niedrig abfällt, um zu feuern). In mindestens einer Ausführungsform können Neuronen 2502 mit Hilfe von Schaltkreisen oder Logik implementiert werden, die Eingaben empfangen, Eingaben in ein Membranpotenzial integrieren und ein Membranpotenzial abbauen. In mindestens einer Ausführungsform können die Eingänge gemittelt werden, oder es kann jede andere geeignete Übertragungsfunktion verwendet werden. Darüber hinaus können die Neuronen 2502 in mindestens einer Ausführungsform ohne Einschränkung Komparatorschaltungen oder -logik enthalten, die eine Ausgangsspitze am Neuronenausgang 2506 erzeugen, wenn das Ergebnis der Anwendung einer Übertragungsfunktion auf den Neuroneneingang 2504 einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann das Neuron 2502, sobald es feuert, zuvor empfangene Eingangsinformationen ignorieren, indem es beispielsweise ein Membranpotenzial auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einer Ausführungsform kann das Neuron 2502 nach dem Zurücksetzen des Membranpotenzials auf 0 nach einer geeigneten Zeitspanne (oder Refraktärzeit) den normalen Betrieb wieder aufnehmen.
  • In mindestens einer Ausführungsform können die Neuronen 2502 durch Synapsen 2508 miteinander verbunden sein. In mindestens einer Ausführungsform können die Synapsen 2508 dazu dienen, Signale von einem Ausgang eines ersten Neurons 2502 zu einem Eingang eines zweiten Neurons 2502 zu übertragen. In mindestens einer Ausführungsform können Neuronen 2502 Informationen über mehr als eine Instanz der Synapse 2508 übertragen. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Neuronenausgangs 2506 über eine Instanz der Synapse 2508 mit einer Instanz des Neuroneneingangs 2504 im selben Neuron 2502 verbunden sein. In mindestens einer Ausführungsform kann eine Instanz des Neurons 2502, die eine über eine Instanz der Synapse 2508 zu übertragende Ausgabe erzeugt, als „präsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 2508 bezeichnet werden. In mindestens einer Ausführungsform kann eine Instanz des Neurons 2502, die eine über eine Instanz der Synapse 2508 übertragene Eingabe empfängt, als „postsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 2508 bezeichnet werden. Da eine Instanz des Neurons 2502 Eingaben von einer oder mehreren Instanzen der Synapse 2508 empfangen und auch Ausgaben über eine oder mehrere Instanzen der Synapse 2508 übertragen kann, kann eine einzelne Instanz des Neurons 2502 daher sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Instanzen von Synapsen 2508 sein, in mindestens einer Ausführungsform.
  • In mindestens einer Ausführungsform können die Neuronen 2502 in einer oder mehreren Schichten organisiert sein. In mindestens einer Ausführungsform kann jede Instanz des Neurons 2502 einen Neuronenausgang 2506 haben, der sich über eine oder mehrere Synapsen 2508 zu einem oder mehreren Neuroneneingängen 2504 auffächern kann. In mindestens einer Ausführungsform können die Neuronenausgänge 2506 der Neuronen 2502 in einer ersten Schicht 2510 mit den Neuroneneingängen 2504 der Neuronen 2502 in einer zweiten Schicht 2512 verbunden sein. In mindestens einer Ausführungsform kann die Schicht 2510 als „Feed-Forward-Schicht“ bezeichnet werden. „In mindestens einer Ausführungsform kann sich jede Instanz eines Neurons 2502 in einer Instanz der ersten Schicht 2510 zu jeder Instanz eines Neurons 2502 in der zweiten Schicht 2512 auffächern. In mindestens einer Ausführungsform kann die erste Schicht 2510 als eine „vollständig verbundene Vorwärtsschicht“ bezeichnet werden. „In mindestens einer Ausführungsform kann jede Instanz des Neurons 2502 in einer Instanz der zweiten Schicht 2512 auf weniger als alle Instanzen des Neurons 2502 in einer dritten Schicht 2514 ausfächern. In mindestens einer Ausführungsform kann die zweite Schicht 2512 als eine „spärlich verbundene Vorwärtsschicht“ bezeichnet werden. „In mindestens einer Ausführungsform können sich Neuronen 2502 in der zweiten Schicht 2512 zu Neuronen 2502 in mehreren anderen Schichten auffächern, einschließlich zu Neuronen 2502 auch in der zweiten Schicht 2512. In mindestens einer Ausführungsform kann die zweite Schicht 2512 als eine „rekurrente Schicht“ bezeichnet werden. „In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2500 ohne Einschränkung jede geeignete Kombination von rekurrenten Schichten und Vorwärtsschichten umfassen, einschließlich, ohne Einschränkung, sowohl spärlich verbundene Vorwärtsschichten als auch vollständig verbundene Vorwärtsschichten.
  • In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2500 ohne Einschränkung eine rekonfigurierbare Verbindungsarchitektur oder dedizierte festverdrahtete Verbindungen enthalten, um die Synapsen 2508 mit den Neuronen 2502 zu verbinden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2500 ohne Einschränkung eine Schaltung oder Logik enthalten, die es ermöglicht, Synapsen je nach Bedarf basierend auf der Topologie des neuronalen Netzes und des Neuronen-Fan-In/Out verschiedenen Neuronen 2502 zuzuordnen. Zum Beispiel können in mindestens einer Ausführungsform Synapsen 2508 mit Neuronen 2502 über eine Verbindungsstruktur, wie z. B. ein Network-on-Chip, oder über dedizierte Verbindungen verbunden werden. In mindestens einer Ausführungsform können die Synapsenverbindungen und ihre Komponenten mit Hilfe von Schaltkreisen oder Logik implementiert werden.
  • In mindestens einer Ausführungsform wird mindestens eine in 25 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird der neuromorphe Prozessor 2500 der 25 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 26 ist ein Blockdiagramm eines Verarbeitungssystems gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das System 2600 einen oder mehrere Prozessoren 2602 und einen oder mehrere Grafikprozessoren 2608 und kann ein Einzelprozessor-Desktop-System, ein Multiprozessor-Workstation-System oder ein Server-System mit einer großen Anzahl von Prozessoren 2602 oder Prozessorkernen 2607 sein. In mindestens einer Ausführungsform ist das System 2600 eine Verarbeitungsplattform, die in einen integrierten System-on-a-Chip (SoC)-Schaltkreis zur Verwendung in mobilen, tragbaren oder eingebetteten Geräten integriert ist.
  • In mindestens einer Ausführungsform kann das System 2600 eine serverbasierte Spielplattform, eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine Handheld-Spielkonsole oder eine Online-Spielkonsole umfassen oder in diese integriert sein. In mindestens einer Ausführungsform ist das System 2600 ein Mobiltelefon, ein Smartphone, ein Tablet-Computergerät oder ein mobiles Internetgerät. In mindestens einer Ausführungsform kann das Verarbeitungssystem 2600 auch eine tragbare Vorrichtung umfassen, mit diesem gekoppelt oder in dieses integriert sein, wie z. B. eine tragbare Vorrichtung für eine intelligente Uhr, eine intelligente Brille, eine Vorrichtung für erweiterte Realität oder eine Vorrichtung für virtuelle Realität. In mindestens einer Ausführungsform ist das Verarbeitungssystem 2600 ein Fernsehgerät oder ein Set-Top-Box-Vorrichtung mit einem oder mehreren Prozessoren 2602 und einer grafischen Schnittstelle, die von einem oder mehreren Grafikprozessoren 2608 erzeugt wird.
  • In mindestens einer Ausführungsform umfassen ein oder mehrere Prozessoren 2602 jeweils einen oder mehrere Prozessorkerne 2607 zur Verarbeitung von Anweisungen, die bei ihrer Ausführung Operationen für System- und Anwendersoftware durchführen. In mindestens einer Ausführungsform ist jeder von einem oder mehreren Prozessorkernen 2607 so konfiguriert, dass er eine bestimmte Befehlssequenz 2609 verarbeitet. In mindestens einer Ausführungsform kann die Befehlssequenz 2609 das Complex Instruction Set Computing (CISC), das Reduced Instruction Set Computing (RISC) oder das Rechnen über ein Very Long Instruction Word (VLIW) erleichtern. In mindestens einer Ausführungsform können die Prozessorkerne 2607 jeweils eine andere Befehlsfolge 2609 verarbeiten, die Anweisungen zur Erleichterung der Emulation anderer Befehlsfolgen enthalten kann. In mindestens einer Ausführungsform kann der Prozessorkern 2607 auch andere Verarbeitungsgeräte, wie einen digitalen Signalprozessor (DSP), enthalten.
  • In mindestens einer Ausführungsform umfasst der Prozessor 2602 einen Cache-Speicher 2604. In mindestens einer Ausführungsform kann der Prozessor 2602 einen einzigen internen Cache-Speicher oder mehrere Ebenen von internen Cache-Speichern haben. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 2602 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 2602 auch einen externen Cache (z.B. einen Level-3 (L3) Cache oder Last Level Cache (LLC)) (nicht gezeigt), der unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 2607 gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist zusätzlich eine Registerdatei 2606 im Prozessor 2602 enthalten, die verschiedene Arten von Registern zur Speicherung unterschiedlicher Datentypen (z. B. Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister) enthalten kann. In mindestens einer Ausführungsform kann die Registerdatei 2606 Allzweckregister oder andere Register enthalten.
  • In mindestens einer Ausführungsform ist/sind ein oder mehrere Prozessor(en) 2602 mit einem oder mehreren Schnittstellenbus(en) 2610 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen dem Prozessor 2602 und anderen Komponenten im System 2600 zu übertragen. In mindestens einer Ausführungsform kann der Schnittstellenbus 2610 ein Prozessorbus sein, wie z. B. eine Version eines Direct Media Interface (DMI) Bus. In mindestens einer Ausführungsform ist der Schnittstellenbus 2610 nicht auf einen DMI-Bus beschränkt, sondern kann einen oder mehrere Peripheral Component Interconnect-Busse (z. B. PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen umfassen. In mindestens einer Ausführungsform umfassen Prozessor(en) 2602 einen integrierten Speicher-Controller 2616 und einen Plattform-Controller-Hub 2630. In mindestens einer Ausführungsform erleichtert der Speicher-Controller 2616 die Kommunikation zwischen einem Speichergerät und anderen Komponenten des Systems 2600, während der Plattform-Controller-Hub (PCH) 2630 Verbindungen zu I/O-Geräten über einen lokalen I/O-Bus bereitstellt.
  • In mindestens einer Ausführungsform kann eine Speichervorrichtung 2620 ein dynamischer Direktzugriffsspeicher (DRAM), ein statischer Direktzugriffsspeicher (SRAM), ein Flash-Speicher, ein Phasenwechsel-Speicher oder eine andere Speichervorrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. In mindestens einer Ausführungsform kann die Speichervorrichtung 2620 als Systemspeicher für das System 2600 arbeiten, um Daten 2622 und Anweisungen 2621 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 2602 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform ist der Speichercontroller 2616 auch mit einem optionalen externen Grafikprozessor 2612 verbunden, der mit einem oder mehreren Grafikprozessoren 2608 in den Prozessoren 2602 kommunizieren kann, um Grafik- und Medienoperationen durchzuführen. In mindestens einer Ausführungsform kann eine Anzeigevorrichtung 2611 an den/die Prozessor(en) 2602 angeschlossen werden. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 2611 eine oder mehrere interne Anzeigevorrichtungen, wie in einer mobilen elektronischen Vorrichtung oder einem Laptop, oder eine externe Anzeigevorrichtung umfassen, die über eine Anzeigeschnittstelle (z. B. DisplayPort usw.) angeschlossen ist. In mindestens einer Ausführungsform kann das Anzeigegerät 2611 ein kopfmontiertes Display (HMD) wie ein stereoskopisches Anzeigegerät zur Verwendung in Anwendungen der virtuellen Realität (VR) oder der erweiterten Realität (AR) umfassen.
  • In mindestens einer Ausführungsform ermöglicht der Plattform-Controller-Hub 2630 den Anschluss von Peripheriegeräten an das Speichergerät 2620 und den Prozessor 2602 über einen Hochgeschwindigkeits-I/O-Bus. In mindestens einer Ausführungsform umfassen die I/O-Peripheriegeräte unter anderem einen Audiocontroller 2646, einen Netzwerkcontroller 2634, eine Firmware-Schnittstelle 2628, einen drahtlosen Transceiver 2626, Berührungssensoren 2625 und ein Datenspeichergerät 2624 (z. B. Festplattenlaufwerk, Flash-Speicher usw.). In mindestens einer Ausführungsform kann das Datenspeichergerät 2624 über eine Speicherschnittstelle (z. B. SATA) oder über einen Peripheriebus, wie einen Peripheral Component Interconnect Bus (z. B. PCI, PCI Express), angeschlossen werden. In mindestens einer Ausführungsform können die Berührungssensoren 2625 Touchscreen-Sensoren, Drucksensoren oder Fingerabdrucksensoren umfassen. In mindestens einer Ausführungsform kann der drahtlose Transceiver 2626 ein Wi-Fi-Transceiver, ein Bluetooth-Transceiver oder ein Mobilfunk-Transceiver wie ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver sein. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 2628 die Kommunikation mit der System-Firmware und kann z. B. eine einheitliche erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einer Ausführungsform kann der Netzwerk-Controller 2634 eine Netzwerkverbindung mit einem kabelgebundenen Netzwerk ermöglichen. In mindestens einer Ausführungsform ist ein Hochleistungsnetzwerk-Controller (nicht dargestellt) mit dem Schnittstellenbus 2610 gekoppelt. In mindestens einer Ausführungsform ist der Audiocontroller 2646 ein Multikanal-High-Definition-Audiocontroller. In mindestens einer Ausführungsform enthält das System 2600 einen optionalen Alt-I/O-Controller 2640 zur Kopplung von Alt-Geräten (z. B. Personal System 2 (PS/2)) mit dem System 2600. In mindestens einer Ausführungsform kann der Plattform-Controller-Hub 2630 auch mit einem oder mehreren Universal Serial Bus (USB)-Controllern 2642 verbunden werden, die Eingabegeräte wie Tastatur- und Mauskombinationen 2643, eine Kamera 2644 oder andere USB-Eingabegeräte anschließen.
  • In mindestens einer Ausführungsform kann eine Instanz des Speicher-Controllers 2616 und des Plattform-Controller-Hubs 2630 in einen diskreten externen Grafikprozessor, wie den externen Grafikprozessor 2612, integriert sein. In mindestens einer Ausführungsform können Plattform-Controller-Hub 2630 und/oder Speicher-Controller 2616 extern zu einem oder mehreren Prozessoren 2602 sein. Zum Beispiel kann das System 2600 in mindestens einer Ausführungsform einen externen Speicher-Controller 2616 und einen Plattform-Controller-Hub 2630 enthalten, der als Speicher-Controller-Hub und Peripherie-Controller-Hub innerhalb eines System-Chipsatzes konfiguriert sein kann, der mit dem/den Prozessor(en) 2602 kommuniziert.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 2608 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die in einer 3D-Pipeline enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 2608 konfigurieren, um einen oder mehrere hier beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 26 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird das System 2600 der 26 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 27 ist ein Blockdiagramm eines Prozessors 2700 mit einem oder mehreren Prozessorkernen 2702A-2702N, einem integrierten Speichercontroller 2714 und einem integrierten Grafikprozessor 2708, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 2700 zusätzliche Kerne bis hin zu und einschließlich des zusätzlichen Kerns 2702N umfassen, der durch gestrichelte Kästchen dargestellt ist. In mindestens einer Ausführungsform enthält jeder der Prozessorkerne 2702A-2702N eine oder mehrere interne Cache-Einheiten 2704A-2704N. In mindestens einer Ausführungsform hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 2706.
  • In mindestens einer Ausführungsform stellen die internen Cache-Einheiten 2704A-2704N und die gemeinsam genutzten Cache-Einheiten 2706 eine Cache-Speicherhierarchie im Prozessor 2700 dar. In mindestens einer Ausführungsform können die Cache-Speichereinheiten 2704A-2704N mindestens eine Ebene von Befehls- und Datencache innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen von gemeinsam genutztem Mid-Level-Cache, wie z. B. eine Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, umfassen, wobei die höchste Cache-Ebene vor dem externen Speicher als LLC klassifiziert ist. In mindestens einer Ausführungsform hält die Cache-Kohärenzlogik die Kohärenz zwischen verschiedenen Cache-Einheiten 2706 und 2704A-2704N aufrecht.
  • In mindestens einer Ausführungsform kann der Prozessor 2700 auch einen Satz von einer oder mehreren Bussteuerungseinheiten 2716 und einen Systemagenten-Kern 2710 enthalten. In mindestens einer Ausführungsform verwalten die Bus-Controller-Einheiten 2716 eine Reihe von Peripherie-Bussen, wie einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einer Ausführungsform bietet der Systemagentenkern 2710 Verwaltungsfunktionen für verschiedene Prozessorkomponenten. In mindestens einer Ausführungsform umfasst der Systemagenten-Kern 2710 einen oder mehrere integrierte Speicher-Controller 2714 zur Verwaltung des Zugriffs auf verschiedene externe Speichergeräte (nicht dargestellt).
  • In mindestens einer Ausführungsform unterstützen einer oder mehrere der Prozessorkerne 2702A-2702N das gleichzeitige Multithreading. In mindestens einer Ausführungsform umfasst der Systemagentenkern 2710 Komponenten zur Koordinierung und zum Betrieb der Kerne 2702A-2702N während der Multithreading-Verarbeitung. In mindestens einer Ausführungsform kann der Systemagenten-Kern 2710 zusätzlich eine Energiesteuerungseinheit (PCU) enthalten, die Logik und Komponenten zur Regelung eines oder mehrerer Energiezustände der Prozessorkerne 2702A-2702N und des Grafikprozessors 2708 umfasst.
  • In mindestens einer Ausführungsform enthält der Prozessor 2700 zusätzlich einen Grafikprozessor 2708 zur Ausführung von Grafikverarbeitungsoperationen. In mindestens einer Ausführungsform ist der Grafikprozessor 2708 mit gemeinsam genutzten Cache-Einheiten 2706 und dem Systemagenten-Kern 2710 verbunden, der einen oder mehrere integrierte Speicher-Controller 2714 enthält. In mindestens einer Ausführungsform umfasst der Systemagenten-Kern 2710 auch einen Display-Controller 2711 zur Ansteuerung der Grafikprozessor-Ausgabe an ein oder mehrere gekoppelte Displays. In mindestens einer Ausführungsform kann der Display-Controller 2711 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Grafikprozessor 2708 verbunden ist, oder er kann in den Grafikprozessor 2708 integriert sein.
  • In mindestens einer Ausführungsform wird eine ringbasierte Verbindungseinheit 2712 verwendet, um die internen Komponenten des Prozessors 2700 zu verbinden. In mindestens einer Ausführungsform kann eine alternative Verbindungseinheit verwendet werden, wie z. B. eine Punkt-zu-Punkt-Verbindung, eine geschaltete Verbindung oder andere Techniken. In mindestens einer Ausführungsform ist der Grafikprozessor 2708 über eine I/O-Verbindung 2713 mit der Ringverbindungseinheit 2712 verbunden.
  • In mindestens einer Ausführungsform stellt die I/O-Verbindung 2713 mindestens eine von mehreren Arten von I/O-Verbindungen dar, einschließlich einer I/O-Verbindung auf dem Gehäuse, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 2718, beispielsweise einem eDRAM-Modul, erleichtert. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 2702A-2702N und der Grafikprozessor 2708 das eingebettete Speichermodul 2718 als gemeinsamen Last Level Cache.
  • In mindestens einer Ausführungsform sind die Prozessorkerne 2702A-2702N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 2702A-2702N in Bezug auf die Befehlssatzarchitektur (ISA) heterogen, wobei ein oder mehrere Prozessorkerne 2702A-2702N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 2702A-2702N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen anderen Befehlssatz ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 2702A-2702N in Bezug auf die Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einem relativ höheren Energieverbrauch mit einem oder mehreren Leistungskernen mit einem niedrigeren Energieverbrauch gekoppelt sind. In mindestens einer Ausführungsform kann der Prozessor 2700 auf einem oder mehreren Chips oder als integrierte SoC-Schaltung implementiert werden.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 2708 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs in einer 3D-Pipeline, Grafikkern(e) 2702, gemeinsam genutzte Funktionslogik oder andere Logik in 27 verwenden. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Prozessors 2700 konfigurieren, um einen oder mehrere hier beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 27 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Prozessor 2700 der 27 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 28 ist ein Blockdiagramm eines Grafikprozessors 2800, bei dem es sich um eine diskrete Grafikverarbeitungseinheit oder um einen Grafikprozessor handeln kann, der in eine Vielzahl von Rechenkernen integriert ist. In mindestens einer Ausführungsform kommuniziert der Grafikprozessor 2800 über eine speicherabgebildete I/O-Schnittstelle mit Registern im Grafikprozessor 2800 und mit Anweisungen, die im Speicher abgelegt sind. In mindestens einer Ausführungsform umfasst der Grafikprozessor 2800 eine Speicherschnittstelle 2814 für den Zugriff auf den Speicher. In mindestens einer Ausführungsform ist die Speicherschnittstelle 2814 eine Schnittstelle zum lokalen Speicher, einem oder mehreren internen Caches, einem oder mehreren gemeinsam genutzten externen Caches und/oder zum Systemspeicher.
  • In mindestens einer Ausführungsform umfasst der Grafikprozessor 2800 auch eine Anzeigesteuerung 2802 zur Ansteuerung von Anzeigeausgangsdaten an eine Anzeigegerät 2820. In mindestens einer Ausführungsform umfasst die Anzeigesteuerung 2802 Hardware für eine oder mehrere Überlagerungsebenen für das Anzeigegerät 2820 und die Zusammensetzung mehrerer Schichten von Video- oder Benutzerschnittstellenelementen. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 2820 eine interne oder externe Anzeigevorrichtung sein. In mindestens einer Ausführungsform handelt es sich bei der Anzeigevorrichtung 2820 um eine kopfgetragene Anzeigevorrichtung, beispielsweise eine Anzeigevorrichtung für virtuelle Realität (VR) oder eine Anzeigevorrichtung für erweiterte Realität (AR). In mindestens einer Ausführungsform umfasst der Grafikprozessor 2800 eine Videocodec-Engine 2806 zum Codieren, Decodieren oder Transcodieren von Medien in, aus oder zwischen einem oder mehreren Mediencodierformaten, einschließlich, aber nicht beschränkt auf MPEG-Formate (Moving Picture Experts Group) wie MPEG-2, AVC-Formate (Advanced Video Coding) wie H.264/MPEG-4 AVC, sowie Society of Motion Picture & Television Engineers (SMPTE) 421M/VC-1 und Joint Photographic Experts Group (JPEG) Formate wie JPEG und Motion JPEG (MJPEG) Formate.
  • In mindestens einer Ausführungsform umfasst der Grafikprozessor 2800 eine BLIT-Engine 2804 (Block Image Transfer), um zweidimensionale (2D-)Rasteroperationen durchzuführen, z. B. die Übertragung von Blöcken mit Bitgrenzen. In mindestens einer Ausführungsform werden 2D-Grafikoperationen jedoch mit einer oder mehreren Komponenten einer Grafikverarbeitungs-Engine (GPE) 2810 durchgeführt. In mindestens einer Ausführungsform ist die GPE 2810 eine Rechen-Engine zur Durchführung von Grafikoperationen, einschließlich dreidimensionaler (3D) Grafikoperationen und Medienoperationen.
  • In mindestens einer Ausführungsform umfasst die GPE 2810 eine 3D-Pipeline 2812 zur Durchführung von 3D-Operationen, wie z. B. das Rendern dreidimensionaler Bilder und Szenen unter Verwendung von Verarbeitungsfunktionen, die auf 3D-Primitivformen (z. B. Rechteck, Dreieck usw.) wirken. In mindestens einer Ausführungsform umfasst die 3D-Pipeline 2812 programmierbare und feste Funktionselemente, die verschiedene Aufgaben ausführen und/oder Ausführungs-Threads an ein 3D/Media-Subsystem 2815 übergeben. Während die 3D-Pipeline 2812 zur Durchführung von Medienoperationen verwendet werden kann, umfasst die GPE 2810 in mindestens einer Ausführungsform auch eine Medien-Pipeline 2816, die zur Durchführung von Medienoperationen, wie z. B. Videonachbearbeitung und Bildverbesserung, verwendet wird.
  • In mindestens einer Ausführungsform umfasst die Medien-Pipeline 2816 feste Funktions- oder programmierbare Logikeinheiten, um eine oder mehrere spezialisierte Medienoperationen wie Videodekodierungsbeschleunigung, Videoentflechtung und Videokodierungsbeschleunigung anstelle oder im Auftrag der Video-Codec-Engine 2806 durchzuführen. In mindestens einer Ausführungsform umfasst die Medien-Pipeline 2816 zusätzlich eine Thread-Spawning-Einheit, um Threads zur Ausführung auf dem 3D/Media-Subsystem 2815 zu erzeugen. In mindestens einer Ausführungsform führen die erzeugten Threads Berechnungen für Medienoperationen auf einer oder mehreren Grafikausführungseinheiten durch, die im 3D/Medien-Teilsystem 2815 enthalten sind.
  • In mindestens einer Ausführungsform enthält das 3D/Media-Subsystem 2815 eine Logik zur Ausführung von Threads, die von der 3D-Pipeline 2812 und der Media-Pipeline 2816 erzeugt werden. In mindestens einer Ausführungsform senden die 3D-Pipeline 2812 und die Medien-Pipeline 2816 Thread-Ausführungsanforderungen an das 3D/Media-Subsystem 2815, das eine Thread-Verteilungslogik für die Vermittlung und Verteilung verschiedener Anforderungen an verfügbare Thread-Ausführungsressourcen enthält. In mindestens einer Ausführungsform umfassen die Ausführungsressourcen ein Array von Grafikausführungseinheiten zur Verarbeitung von 3D- und Medienthreads. In mindestens einer Ausführungsform umfasst das 3D/Media-Subsystem 2815 einen oder mehrere interne Caches für Thread-Anweisungen und -Daten. In mindestens einer Ausführungsform umfasst das Subsystem 2815 auch einen gemeinsamen Speicher, einschließlich Registern und adressierbarem Speicher, um Daten zwischen Threads gemeinsam zu nutzen und Ausgabedaten zu speichern.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 2800 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die in der 3D-Pipeline 2812 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 2800 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 28 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Grafikprozessor 2800 der 28 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 29 ist ein Blockdiagramm einer Grafikverarbeitungs-Engine 2910 eines Grafikprozessors gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Grafikverarbeitungs-Engine (GPE) 2910 eine Version der in 28 gezeigten GPE 2810. In mindestens einer Ausführungsform ist eine Medienpipeline 2916 optional und kann nicht explizit in GPE 2910 enthalten sein. In mindestens einer Ausführungsform ist ein separater Medien- und/oder Bildprozessor mit der GPE 2910 verbunden.
  • In mindestens einer Ausführungsform ist GPE 2910 mit einem Befehls-Streamer 2903 gekoppelt oder enthält einen solchen, der einen Befehlsstrom an eine 3D-Pipeline 2912 und/oder Medien-Pipeline 2916 liefert. In mindestens einer Ausführungsform ist der Befehls-Streamer 2903 mit einem Speicher gekoppelt, bei dem es sich um einen Systemspeicher oder um einen oder mehrere interne Cache-Speicher und gemeinsam genutzte Cache-Speicher handeln kann. In mindestens einer Ausführungsform empfängt der Befehls-Streamer 2903 Anweisungen vom Speicher und sendet Anweisungen an die 3D-Pipeline 2912 und/oder die Medien-Pipeline 2916. In mindestens einer Ausführungsform handelt es sich bei den Anweisungen um Anweisungen, Primitive oder Mikrooperationen, die aus einem Ringpuffer abgerufen werden, der Anweisungen für die 3D-Pipeline 2912 und die Media-Pipeline 2916 speichert. In mindestens einer Ausführungsform kann ein Ringpuffer zusätzlich Batch-Befehlspuffer enthalten, die Stapel von mehreren Anweisungen speichern. In mindestens einer Ausführungsform können die Anweisungen für die 3D-Pipeline 2912 auch Verweise auf Daten enthalten, die im Speicher gespeichert sind, wie z. B. Scheitelpunkt- und Geometriedaten für die 3D-Pipeline 2912 und/oder Bilddaten und Speicherobjekte für die Medien-Pipeline 2916, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform verarbeiten die 3D-Pipeline 2912 und die Medien-Pipeline 2916 Anweisungen und Daten, indem sie Operationen durchführen oder einen oder mehrere Ausführungs-Threads an ein Grafikkern-Array 2914 weiterleiten. In mindestens einer Ausführungsform umfasst das Grafikkern-Array 2914 einen oder mehrere Blöcke von Grafikkernen (z. B. Grafikkern(e) 2915A, Grafikkern(e) 2915B), wobei jeder Block einen oder mehrere Grafikkerne umfasst. In mindestens einer Ausführungsform umfasst jeder Grafikkern einen Satz von Grafikausführungsressourcen, die eine allgemeine und eine grafikspezifische Ausführungslogik zur Durchführung von Grafik- und Rechenoperationen sowie eine Texturverarbeitungslogik mit fester Funktion und/oder eine Logik zur Beschleunigung des maschinellen Lernens und der künstlichen Intelligenz umfassen, einschließlich der Inferenz- und/oder Trainingslogik 715 in 7A und 7B.
  • In mindestens einer Ausführungsform umfasst die 3D-Pipeline 2912 eine feste Funktion und programmierbare Logik zur Verarbeitung eines oder mehrerer Shader-Programme, wie z. B. Vertex-Shader, Geometrie-Shader, Pixel-Shader, Fragment-Shader, Compute-Shader oder andere Shader-Programme, durch die Verarbeitung von Anweisungen und die Weiterleitung von Ausführungsthreads an das Grafikkern-Array 2914. In mindestens einer Ausführungsform bietet das Grafikkern-Array 2914 einen einheitlichen Block von Ausführungsressourcen für die Verarbeitung von Shader-Programmen. In mindestens einer Ausführungsform umfasst eine Mehrzweck-Ausführungslogik (z. B. Ausführungseinheiten) in den Grafikkernen 2915A-2915B des Grafikkern-Arrays 2914 Unterstützung für verschiedene 3D-API-Shader-Sprachen und kann mehrere gleichzeitige Ausführungs-Threads ausführen, die mit mehreren Shadern verbunden sind.
  • In mindestens einer Ausführungsform umfasst das Grafikkern-Array 2914 auch eine Ausführungslogik zur Durchführung von Medienfunktionen, wie Video- und/oder Bildverarbeitung. In mindestens einer Ausführungsform umfassen die Ausführungseinheiten zusätzlich eine Allzwecklogik, die so programmiert werden kann, dass sie zusätzlich zu den Grafikverarbeitungsoperationen parallele Allzweckrechenoperationen durchführt.
  • In mindestens einer Ausführungsform können Ausgabedaten, die von Threads erzeugt werden, die auf dem Grafikkern-Array 2914 ausgeführt werden, in einem Unified Return Buffer (URB) 2918 an den Speicher ausgegeben werden. In mindestens einer Ausführungsform kann der URB 2918 Daten für mehrere Threads speichern. In mindestens einer Ausführungsform kann der URB 2918 verwendet werden, um Daten zwischen verschiedenen Threads zu senden, die auf dem Grafikkern-Array 2914 ausgeführt werden. In mindestens einer Ausführungsform kann URB 2918 zusätzlich für die Synchronisierung zwischen Threads auf dem Grafikkern-Array 2914 und fester Funktionslogik innerhalb der gemeinsamen Funktionslogik 2920 verwendet werden.
  • In mindestens einer Ausführungsform ist das Grafikkern-Array 2914 skalierbar, so dass das Grafikkern-Array 2914 eine variable Anzahl von Grafikkernen umfasst, von denen jeder eine variable Anzahl von Ausführungseinheiten hat, die auf dem angestrebten Energie- und Leistungsniveau des GPE 2910 basieren. In mindestens einer Ausführungsform sind die Ausführungsressourcen dynamisch skalierbar, so dass die Ausführungsressourcen je nach Bedarf aktiviert oder deaktiviert werden können.
  • In mindestens einer Ausführungsform ist das Grafikkern-Array 2914 mit der gemeinsamen Funktionslogik 2920 gekoppelt, die mehrere Ressourcen enthält, die von den Grafikkernen im Grafikkern-Array 2914 gemeinsam genutzt werden. In mindestens einer Ausführungsform sind die gemeinsam genutzten Funktionen, die von der gemeinsam genutzten Funktionslogik 2920 ausgeführt werden, in Hardware-Logikeinheiten verkörpert, die dem Grafikkern-Array 2914 eine spezielle Zusatzfunktionalität bieten. In mindestens einer Ausführungsform umfasst die gemeinsam genutzte Funktionslogik 2920 unter anderem eine Sampler-Einheit 2921, eine Recheneinheit 2922 und eine Inter-Thread-Kommunikationslogik (ITC) 2923. In mindestens einer Ausführungsform sind ein oder mehrere Cache(s) 2925 in der gemeinsamen genutzten Funktionslogik 2920 enthalten oder mit ihr verbunden.
  • In mindestens einer Ausführungsform wird eine gemeinsam genutzte Funktion verwendet, wenn die Nachfrage nach einer spezialisierten Funktion für die Aufnahme in das Grafikkern-Array 2914 nicht ausreicht. In mindestens einer Ausführungsform wird eine einzelne Instanziierung einer spezialisierten Funktion in der gemeinsam genutzten Funktionslogik 2920 verwendet und mit anderen Ausführungsressourcen innerhalb des Grafikkern-Arrays 2914 geteilt. In mindestens einer Ausführungsform können bestimmte gemeinsam genutzte Funktionen innerhalb der gemeinsam genutzten Funktionslogik 2920, die vom Grafikkern-Array 2914 intensiv genutzt werden, in die gemeinsam genutzte Funktionslogik 2926 innerhalb des Grafikkern-Arrays 2914 aufgenommen werden. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 2926 innerhalb des Grafikkernarrays 2914 einige oder alle Logiken innerhalb der gemeinsam genutzten Funktionslogik 2920 enthalten. In mindestens einer Ausführungsform können alle Logikelemente in der gemeinsam genutzten Funktionslogik 2920 in der gemeinsam genutzten Funktionslogik 2926 des Grafikkernarrays 2914 dupliziert werden. In mindestens einer Ausführungsform ist die gemeinsam genutzte Funktionslogik 2920 zugunsten der gemeinsam genutzten Funktionslogik 2926 im Grafikkern-Array 2914 ausgeschlossen.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 2910 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere der ALUs verwenden, die in der 3D-Pipeline 2912, dem/den Grafikkern(en) 2915, der gemeinsam genutzten Funktionslogik 2926, der gemeinsam genutzten Funktionslogik 2920 oder einer anderen Logik in 29 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 2910 konfigurieren, um einen oder mehrere hier beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 29 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird die Grafikverarbeitungs-Engine 2910 der 29 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 30 ist ein Blockdiagramm der Hardware-Logik eines Grafikprozessorkerns 3000 gemäß mindestens einer hier beschriebenen Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessorkern 3000 in einem Grafikkern-Array enthalten. In mindestens einer Ausführungsform kann der Grafikprozessorkern 3000, der manchmal auch als Core Slice bezeichnet wird, ein oder mehrere Grafikkerne innerhalb eines modularen Grafikprozessors sein. In mindestens einer Ausführungsform ist der Grafikprozessorkern 3000 ein Beispiel für ein Grafikkern-Slice, und ein hierin beschriebener Grafikprozessor kann mehrere Grafikkern-Slice basierend auf der angestrebten Energie- und Leistungsumfänge umfassen. In mindestens einer Ausführungsform kann jeder Grafikprozessorkern 3000 einen festen Funktionsblock 3030 umfassen, der mit mehreren Unterkernen 3001A-3001F gekoppelt ist, die auch als Unterscheiben bezeichnet werden und modulare Blöcke mit Mehrzweck- und fester Funktionslogik umfassen.
  • In mindestens einer Ausführungsform umfasst der Festfunktionsblock 3030 eine Geometrie- und Festfunktionspipeline 3036, die von allen Unterkernen im Grafikprozessor 3000 gemeinsam genutzt werden kann, z. B. in Grafikprozessorimplementierungen mit geringerer Leistung und/oder geringerem Energieverbrauch. In mindestens einer Ausführungsform umfasst die Geometrie- und Festfunktionspipeline 3036 eine 3D-Festfunktionspipeline, eine Video-Frontend-Einheit, einen Thread-Spawner und Thread-Dispatcher sowie einen Unified-Return-Puffer-Manager, der Unified-Return-Puffer verwaltet.
  • In mindestens einer Ausführungsform umfasst der feste Funktionsblock 3030 auch eine Grafik-SoC-Schnittstelle 3037, einen Grafik-Mikrocontroller 3038 und eine Medien-Pipeline 3039. In mindestens einer Ausführungsform stellt die Grafik-SoC-Schnittstelle 3037 eine Schnittstelle zwischen dem Grafikkern 3000 und anderen Prozessorkernen innerhalb einer integrierten System-on-Chip-Schaltung bereit. In mindestens einer Ausführungsform ist der Grafik-Mikrocontroller 3038 ein programmierbarer Unterprozessor, der so konfiguriert werden kann, dass er verschiedene Funktionen des Grafikprozessors 3000 verwaltet, einschließlich Thread-Dispatching, Scheduling und Preemption. In mindestens einer Ausführungsform enthält die Medienpipeline 3039 eine Logik zur Erleichterung der Dekodierung, Kodierung, Vorverarbeitung und/oder Nachbearbeitung von Multimediadaten, einschließlich Bild- und Videodaten. In mindestens einer Ausführungsform implementiert die Medien-Pipeline 3039 Medienoperationen über Anforderungen an die Rechen- oder Abtastlogik innerhalb der Sub-Cores 3001A-3001F.
  • In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 3037 dem Grafikkern 3000 die Kommunikation mit Mehrzweck-Anwendungsprozessorkernen (z. B. CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen wie einem gemeinsam genutzten Cache-Speicher der letzten Ebene, System-RAM und/oder eingebettetem On-Chip- oder On-Package-DRAM. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 3037 auch die Kommunikation mit Geräten mit fester Funktion innerhalb eines SoCs ermöglichen, wie z. B. Kamera-Bildgebungspipelines, und sie ermöglicht die Nutzung und/oder Implementierung globaler Speicher-Atome, die von Grafikkern 3000 und CPUs innerhalb eines SoCs gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann die Grafik-SoC-Schnittstelle 3037 auch Energieverwaltungssteuerungen für den Grafikprozessorkern 3000 implementieren und eine Schnittstelle zwischen einer Taktdomäne des Grafikprozessorkerns 3000 und anderen Taktdomänen innerhalb eines SoCs ermöglichen. In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 3037 den Empfang von Befehlspuffern von einem Befehls-Streamer und einem globalen Thread-Dispatcher, die so konfiguriert sind, dass sie Anweisungen und Anweisungen für jeden von einem oder mehreren Grafikkernen innerhalb eines Grafikprozessors bereitstellen. In mindestens einer Ausführungsform können Anweisungen und Anweisungen an die Medienpipeline 3039 gesendet werden, wenn Medienoperationen durchgeführt werden sollen, oder an eine Geometrie- und Festfunktionspipeline (z. B. Geometrie- und Festfunktionspipeline 3036 und/oder eine Geometrie- und Festfunktionspipeline 3014), wenn Grafikverarbeitungsoperationen durchgeführt werden sollen.
  • In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3038 so konfiguriert werden, dass er verschiedene Planungs- und Verwaltungsaufgaben für den Grafikkern 3000 durchführt. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3038 die Planung von Grafik- und/oder Rechenlasten auf verschiedenen parallelen Grafik-Engines in den Arrays 3002A-3002F, 3004A-3004F der Ausführungseinheiten (EU) in den Sub-Cores 3001A-3001F durchführen. In mindestens einer Ausführungsform kann Host-Software, die auf einem CPU-Kern eines SoC mit Grafikkern 3000 ausgeführt wird, Arbeitslasten an einen von mehreren Grafikprozessorpfaden übermitteln, der einen Planungsvorgang auf einer geeigneten Grafik-Engine aufruft. In mindestens einer Ausführungsform umfassen die Planungsoperationen die Bestimmung der als Nächstes auszuführenden Arbeitslast, die Übermittlung einer Arbeitslast an einen Befehls-Streamer, das Vorziehen bestehender Arbeitslasten, die auf einer Engine laufen, die Überwachung des Fortschritts einer Arbeitslast und die Benachrichtigung der Host-Software, wenn eine Arbeitslast abgeschlossen ist. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3038 auch stromsparende oder Leerlaufzustände für den Grafikkern 3000 ermöglichen, indem er dem Grafikkern 3000 die Möglichkeit bietet, unabhängig von einem Betriebssystem und/oder einer Grafiktreibersoftware auf einem System Register innerhalb des Grafikkerns 3000 über stromsparende Zustandsübergänge zu speichern und wiederherzustellen.
  • In mindestens einer Ausführungsform kann der Grafikkern 3000 mehr oder weniger als die dargestellten Unterkerne 3001A-3001F haben, bis zu N modulare Unterkerne. Für jeden Satz von N Unterkernen kann der Grafikkern 3000 in mindestens einer Ausführungsform auch eine gemeinsam genutzte Funktionslogik 3010, einen gemeinsam genutzten und/oder Cache-Speicher 3012, eine Geometrie-/Festfunktionspipeline 3014 sowie eine zusätzliche Festfunktionslogik 3016 zur Beschleunigung verschiedener Grafik- und Rechenverarbeitungsoperationen umfassen. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 3010 Logikeinheiten (z. B. Sampler, Mathematik und/oder Inter-Thread-Kommunikationslogik) umfassen, die von allen N Sub-Cores innerhalb des Grafikkerns 3000 gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann der gemeinsam genutzte und/oder Cache-Speicher 3012 ein Cache der letzten Ebene für N Unterkerne 3001A-3001F innerhalb des Grafikkerns 3000 sein und kann auch als gemeinsam genutzter Speicher dienen, auf den mehrere Unterkerne zugreifen können. In mindestens einer Ausführungsform kann die Geometrie-/Festfunktionspipeline 3014 anstelle der Geometrie-/Festfunktionspipeline 3036 im Festfunktionsblock 3030 enthalten sein und ähnliche Logikeinheiten umfassen.
  • In mindestens einer Ausführungsform umfasst der Grafikkern 3000 zusätzliche feste Funktionslogik 3016, die verschiedene feste Funktionsbeschleunigungslogik zur Verwendung durch den Grafikkern 3000 umfassen kann. In mindestens einer Ausführungsform umfasst die zusätzliche feste Funktionslogik 3016 eine zusätzliche Geometrie-Pipeline zur Verwendung beim positionsabhängigen Schattieren. Bei der positionsabhängigen Schattierung gibt es mindestens zwei Geometrie-Pipelines, nämlich eine vollständige Geometrie-Pipeline innerhalb der Geometrie- und Festfunktions-Pipelines 3014, 3036 und eine Cull-Pipeline, eine zusätzliche Geometrie-Pipeline, die in der zusätzlichen Festfunktionslogik 3016 enthalten sein kann. In mindestens einer Ausführungsform ist eine Cull-Pipeline eine abgespeckte Version einer vollständigen Geometrie-Pipeline. In mindestens einer Ausführungsform können eine vollständige Pipeline und eine Cull-Pipeline verschiedene Instanzen einer Anwendung ausführen, wobei jede Instanz einen eigenen Kontext hat. In mindestens einer Ausführungsform kann die reine Positionsschattierung lange Cull-Läufe von verworfenen Dreiecken ausblenden, so dass die Schattierung in einigen Fällen früher abgeschlossen werden kann. Zum Beispiel kann in mindestens einer Ausführungsform die Cull-Pipeline-Logik innerhalb der zusätzlichen festen Funktionslogik 3016 Positions-Shader parallel zu einer Hauptanwendung ausführen und generiert im Allgemeinen kritische Ergebnisse schneller als eine vollständige Pipeline, da eine Cull-Pipeline Positionsattribute von Scheitelpunkten abruft und schattiert, ohne eine Rasterung und ein Rendering von Pixeln in einen Frame-Buffer durchzuführen. In mindestens einer Ausführungsform kann eine Cull-Pipeline die generierten kritischen Ergebnisse verwenden, um Sichtbarkeitsinformationen für alle Dreiecke zu berechnen, unabhängig davon, ob diese Dreiecke gecullt werden. In mindestens einer Ausführungsform kann eine vollständige Pipeline (die in diesem Fall als Replay-Pipeline bezeichnet werden kann) Sichtbarkeitsinformationen verwenden, um aussortierte Dreiecke zu überspringen und nur sichtbare Dreiecke zu schattieren, die schließlich an eine Rasterphase weitergeleitet werden.
  • In mindestens einer Ausführungsform kann die zusätzliche feste Funktionslogik 3016 auch eine Logik zur Beschleunigung des maschinellen Lernens umfassen, z. B. eine feste Funktionslogik für die Matrixmultiplikation, für Implementierungen, die Optimierungen für das Training oder die Inferenz des maschinellen Lernens beinhalten.
  • In mindestens einer Ausführungsform enthält jeder Grafik-Sub-Kern 3001A-3001F einen Satz von Ausführungsressourcen, die zur Durchführung von Grafik-, Medien- und Rechenoperationen als Reaktion auf Anforderungen von Grafik-Pipeline-, Medien-Pipeline- oder Shader-Programmen verwendet werden können. In mindestens einer Ausführungsform umfassen die Grafiksubkerne 3001A-3001F mehrere EU-Arrays 3002A-3002F, 3004A-3004F, Thread-Dispatch- und Inter-Thread-Kommunikationslogik (TD/IC) 3003A-3003F, einen 3D-(z. B. Textur-)Sampler 3005A-3005F, einen Medien-Sampler 3006A-3006F, einen Shader-Prozessor 3007A-3007F und einen gemeinsamen lokalen Speicher (SLM) 3008A-3008F. In mindestens einer Ausführungsform enthalten die EU-Arrays 3002A-3002F, 3004A-3004F jeweils mehrere Ausführungseinheiten, bei denen es sich um Mehrzweck-Grafikverarbeitungseinheiten handelt, die in der Lage sind, Gleitkomma- und Ganzzahl-/Festkomma-Logikoperationen im Dienste einer Grafik-, Medien- oder Rechenoperation, einschließlich Grafik-, Medien- oder Rechen-Shader-Programmen, durchzuführen. In mindestens einer Ausführungsform führt die TD/IC-Logik 3003A-3003F lokale Thread-Dispatch- und Thread-Steuerungsoperationen für Ausführungseinheiten innerhalb eines Teilkerns durch und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Teilkerns ausgeführt werden. In mindestens einer Ausführungsform können die 3D-Sampler 3005A-3005F Textur- oder andere 3D-Grafikdaten in den Speicher einlesen. In mindestens einer Ausführungsform können 3D-Abtaster Texturdaten basierend auf eines konfigurierten Abtaststatus und eines Texturformats, das mit einer bestimmten Textur verbunden ist, unterschiedlich lesen. In mindestens einer Ausführungsform können die Mediensampler 3006A-3006F ähnliche Leseoperationen basierend auf eines Typs und Formats durchführen, die mit den Mediendaten verbunden sind. In mindestens einer Ausführungsform kann jeder Grafik-Subkern 3001A-3001F abwechselnd einen vereinheitlichten 3D- und Medien-Sampler enthalten. In mindestens einer Ausführungsform können Threads, die auf Ausführungseinheiten in jedem der Teilkerne 3001A-3001F ausgeführt werden, den gemeinsamen lokalen Speicher 3008A-3008F in jedem Teilkern nutzen, damit Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, einen gemeinsamen Pool von On-Chip-Speicher nutzen können.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in den Grafikprozessor 3000 integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs in einer 3D-Pipeline, einen Grafik-Mikrocontroller 3038, eine Geometrie- und Festfunktions-Pipeline 3014 und 3036 oder eine andere Logik in 30 verwenden. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 3000 konfigurieren, um einen oder mehrere hier beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 30 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform wird der Grafikprozessorkern 3000 der 30 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • Die 31A-31B zeigen die Thread-Ausführungslogik 3100 mit einer Anordnung von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform. 31A zeigt mindestens eine Ausführungsform, in der die Thread-Ausführungslogik 3100 verwendet wird. 31B illustriert beispielhafte interne Details einer Grafikausführungseinheit 3108 gemäß mindestens einer Ausführungsform.
  • Wie in 31A dargestellt, umfasst die Thread-Ausführungslogik 3100 in mindestens einer Ausführungsform einen Shader-Prozessor 3102, einen Thread-Dispatcher 3104, einen Befehls-Cache 3106, ein skalierbares Ausführungseinheiten-Array mit einer Vielzahl von Ausführungseinheiten 3107A-3107N und 3108A-3108N, einen Sampler 3110, einen Daten-Cache 3112 und einen Datenport 3114. In mindestens einer Ausführungsform kann ein skalierbares Ausführungseinheiten-Array dynamisch skaliert werden, indem eine oder mehrere Ausführungseinheiten (z. B. eine der Ausführungseinheiten 3108A-N oder 3107A-N) basierend auf der Rechenanforderungen einer Arbeitslast aktiviert oder deaktiviert werden. In mindestens einer Ausführungsform sind die skalierbaren Ausführungseinheiten über eine Verbindungsstruktur miteinander verbunden, die eine Verbindung zu jeder Ausführungseinheit herstellt. In mindestens einer Ausführungsform umfasst die Thread-Ausführungslogik 3100 eine oder mehrere Verbindungen zum Speicher, z. B. zum Systemspeicher oder zum Cache-Speicher, über einen oder mehrere Befehls-Cachespeicher 3106, den Datenport 3114, den Sampler 3110 und die Ausführungseinheiten 3107 oder 3108. In mindestens einer Ausführungsform ist jede Ausführungseinheit (z. B. 3107A) eine eigenständige programmierbare Mehrzweck-Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und dabei mehrere Datenelemente parallel für jeden Thread zu verarbeiten. In mindestens einer Ausführungsform ist die Anordnung der Ausführungseinheiten 3107 und/oder 3108 so skalierbar, dass sie eine beliebige Anzahl einzelner Ausführungseinheiten umfasst.
  • In mindestens einer Ausführungsform werden die Ausführungseinheiten 3107 und/oder 3108 hauptsächlich zur Ausführung von Shader-Programmen verwendet. In mindestens einer Ausführungsform kann der Shader-Prozessor 3102 verschiedene Shader-Programme verarbeiten und die mit den Shader-Programmen verbundenen Ausführungs-Threads über einen Thread-Dispatcher 3104 verteilen. In mindestens einer Ausführungsform umfasst der Thread-Dispatcher 3104 eine Logik zur Vermittlung von Thread-Initiierungsanforderungen von Grafik- und Medienpipelines und zur Instanziierung angeforderter Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 3107 und/oder 3108. In mindestens einer Ausführungsform kann eine Geometrie-Pipeline beispielsweise Vertex-, Tessellation- oder Geometrie-Shader zur Verarbeitung an die Thread-Ausführungslogik weiterleiten. In mindestens einer Ausführungsform kann der Thread-Dispatcher 3104 auch Laufzeit-Thread-Spawning-Anforderungen von ausführenden Shader-Programmen verarbeiten.
  • In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 3107 und/oder 3108 einen Befehlssatz, der native Unterstützung für viele Standard-3D-Grafik-Shader-Anweisungen enthält, so dass Shader-Programme aus Grafikbibliotheken (z. B. Direct 3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten die Scheitelpunkt- und Geometrieverarbeitung (z. B. Scheitelpunktprogramme, Geometrieprogramme und/oder Scheitelpunkt-Shader), die Pixelverarbeitung (z. B. Pixel-Shader, Fragment-Shader) und die allgemeine Verarbeitung (z. B. Compute- und Media-Shader). In mindestens einer Ausführungsform ist jede der Ausführungseinheiten 3107 und/oder 3108, die eine oder mehrere arithmetische Logikeinheiten (ALUs) umfassen, zur SIMD-Ausführung (Single Instruction Multiple Data) fähig, und der Multi-Thread-Betrieb ermöglicht trotz höherer Latenzzeiten bei Speicherzugriffen eine effiziente Ausführungsumgebung. In mindestens einer Ausführungsform hat jeder Hardware-Thread innerhalb jeder Ausführungseinheit eine eigene Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Status. In mindestens einer Ausführungsform erfolgt die Ausführung in mehreren Ausgaben pro Takt auf Pipelines, die Ganzzahl-, Gleitkomma- und Doppelpräzisionsoperationen, SIMD-Verzweigungsfähigkeit, logische Operationen, transzendentale Operationen und andere verschiedene Operationen ausführen können. In mindestens einer Ausführungsform bewirkt die Abhängigkeitslogik in den Ausführungseinheiten 3107 und/oder 3108, dass ein wartender Thread in den Ruhezustand versetzt wird, bis die angeforderten Daten zurückgegeben wurden, während er auf Daten aus dem Speicher oder eine der gemeinsam genutzten Funktionen wartet. In mindestens einer Ausführungsform können, während ein wartender Thread schläft, Hardware-Ressourcen für die Verarbeitung anderer Threads verwendet werden. In mindestens einer Ausführungsform kann eine Ausführungseinheit beispielsweise während einer Verzögerung, die mit einer Vertex-Shader-Operation verbunden ist, Operationen für einen Pixel-Shader, Fragment-Shader oder eine andere Art von Shader-Programm, einschließlich eines anderen Vertex-Shaders, durchführen.
  • In mindestens einer Ausführungsform arbeitet jede Ausführungseinheit in den Ausführungseinheiten 3107 und/oder 3108 mit Arrays von Datenelementen. In mindestens einer Ausführungsform ist eine Anzahl von Datenelementen eine „Ausführungsgröße“ oder eine Anzahl von Kanälen für eine Anweisung. In mindestens einer Ausführungsform ist ein Ausführungskanal eine logische Ausführungseinheit für den Datenelementzugriff, die Maskierung und die Flusssteuerung innerhalb von Anweisungen. In mindestens einer Ausführungsform kann die Anzahl der Kanäle unabhängig von der Anzahl der physischen arithmetischen Logikeinheiten (ALUs) oder Gleitkommaeinheiten (FPUs) eines bestimmten Grafikprozessors sein. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 3107 und/oder 3108 Ganzzahl- und Gleitkomma-Datentypen.
  • In mindestens einer Ausführungsform enthält der Befehlssatz einer Ausführungseinheit SIMD-Anweisungen. In mindestens einer Ausführungsform können verschiedene Datenelemente als gepackter Datentyp in einem Register gespeichert werden, und die Ausführungseinheit verarbeitet verschiedene Elemente basierend auf der Datengröße der Elemente. Beispielsweise werden in mindestens einer Ausführungsform bei der Bearbeitung eines 256 Bit breiten Vektors 256 Bits eines Vektors in einem Register gespeichert und eine Ausführungseinheit bearbeitet einen Vektor als vier separate gepackte 64-Bit-Datenelemente (Datenelemente der Größe Quad-Word (QW)), acht separate gepackte 32-Bit-Datenelemente (Datenelemente der Größe Double Word (DW)), sechzehn separate gepackte 16-Bit-Datenelemente (Datenelemente der Größe Word (W)) oder zweiunddreißig separate 8-Bit-Datenelemente (Datenelemente der Größe Byte (B)). In mindestens einer Ausführungsform sind jedoch auch andere Vektorbreiten und Registergrößen möglich.
  • In mindestens einer Ausführungsform können eine oder mehrere Ausführungseinheiten zu einer verschmolzenen Ausführungseinheit 3109A-3109N zusammengefasst werden, die über eine gemeinsame Fadensteuerungslogik (3111A-3111N) für verschmolzene EUs verfügt, wie z. B. die mit der Ausführungseinheit 3108A zur verschmolzenen Ausführungseinheit 3109A verschmolzene Ausführungseinheit 3107A. In mindestens einer Ausführungsform können mehrere EUs zu einer EU-Gruppe verschmolzen werden. In mindestens einer Ausführungsform kann jede EU in einer fusionierten EU-Gruppe so konfiguriert werden, dass sie einen separaten SIMD-Hardware-Thread ausführt, wobei die Anzahl der EUs in einer fusionierten EU-Gruppe je nach Ausführungsform variieren kann. In mindestens einer Ausführungsform können verschiedene SIMD-Breiten pro EU ausgeführt werden, einschließlich, aber nicht beschränkt auf SIMD8, SIMD16 und SIMD32. In mindestens einer Ausführungsform umfasst jede fusionierte Grafikausführungseinheit 3109A-3109N mindestens zwei Ausführungseinheiten. In mindestens einer Ausführungsform umfasst die fusionierte Ausführungseinheit 3109A beispielsweise eine erste EU 3107A, eine zweite EU 3108A und eine Thread-Steuerlogik 3111A, die der ersten EU 3107A und der zweiten EU 3108A gemeinsam ist. In mindestens einer Ausführungsform steuert die Thread-Steuerlogik 3111A Threads, die auf der fusionierten Grafikausführungseinheit 3109A ausgeführt werden, so dass jede EU innerhalb der fusionierten Ausführungseinheiten 3109A-3109N unter Verwendung eines gemeinsamen Befehlszeigerregisters ausgeführt werden kann.
  • In mindestens einer Ausführungsform sind ein oder mehrere interne Befehls-Caches (z. B. 3106) in der Thread-Ausführungslogik 3100 enthalten, um Thread-Anweisungen für Ausführungseinheiten zu cachen. In mindestens einer Ausführungsform sind ein oder mehrere Datencaches (z. B. 3112) enthalten, um Thread-Daten während der Thread-Ausführung zwischenzuspeichern. In mindestens einer Ausführungsform ist der Sampler 3110 enthalten, um Textur-Sampling für 3D-Operationen und Medien-Sampling für Medien-Operationen bereitzustellen. In mindestens einer Ausführungsform umfasst der Sampler 3110 eine spezielle Textur- oder Mediensampling-Funktionalität, um Textur- oder Mediendaten während des Sampling-Prozesses zu verarbeiten, bevor die gesampelten Daten an eine Ausführungseinheit weitergeleitet werden.
  • In mindestens einer Ausführungsform senden Grafik- und Medienpipelines während der Ausführung Thread-Initiierungsanforderungen an die Thread-Ausführungslogik 3100 über die Thread-Spawning- und Dispatch-Logik. In mindestens einer Ausführungsform wird, sobald eine Gruppe geometrischer Objekte verarbeitet und in Pixeldaten gerastert wurde, die Pixelprozessorlogik (z. B. Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 3102 aufgerufen, um weitere Ausgabeinformationen zu berechnen und zu veranlassen, dass die Ergebnisse in Ausgabeflächen (z. B. Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) geschrieben werden. In mindestens einer Ausführungsform berechnet ein Pixel-Shader oder ein Fragment-Shader die Werte verschiedener Vertex-Attribute, die über ein gerastertes Objekt interpoliert werden sollen. In mindestens einer Ausführungsform führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 3102 dann ein über die Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. In mindestens einer Ausführungsform leitet der Shader-Prozessor 3102 zur Ausführung eines Shader-Programms Threads über den Thread-Dispatcher 3104 an eine Ausführungseinheit (z. B. 3108A) weiter. In mindestens einer Ausführungsform verwendet der Shader-Prozessor 3102 die Texturabtastlogik im Abtaster 3110, um auf Texturdaten in den im Speicher gespeicherten Texturkarten zuzugreifen. In mindestens einer Ausführungsform werden durch arithmetische Operationen an Texturdaten und Eingangsgeometriedaten Pixelfarbdaten für jedes geometrische Fragment berechnet oder ein oder mehrere Pixel von der weiteren Verarbeitung ausgeschlossen.
  • In mindestens einer Ausführungsform stellt der Datenport 3114 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 3100 bereit, um verarbeitete Daten zur weiteren Verarbeitung in einer Grafikprozessor-Ausgabepipeline in den Speicher auszugeben. In mindestens einer Ausführungsform umfasst der Datenanschluss 3114 einen oder mehrere Cache-Speicher (z. B. den Daten-Cache 3112) oder ist mit diesen gekoppelt, um Daten für den Speicherzugriff über einen Datenanschluss zu cachen.
  • Wie in 31B dargestellt, kann eine Grafikausführungseinheit 3108 in mindestens einer Ausführungsform eine Anweisungsabrufeinheit 3137, ein allgemeines Registerdateiarray (GRF) 3124, ein Architekturregisterdateiarray (ARF) 3126, einen Thread-Arbiter 3122, eine Sendeeinheit 3130, eine Verzweigungseinheit 3132, einen Satz SIMD-Gleitkommaeinheiten (FPUs) 3134 und einen Satz dedizierter SIMD-Ganzzahl-ALUs 3135 umfassen. In mindestens einer Ausführungsform umfassen GRF 3124 und ARF 3126 einen Satz allgemeiner Registerdateien und Architekturregisterdateien, die mit jedem gleichzeitigen Hardware-Thread verbunden sind, der in der Grafikausführungseinheit 3108 aktiv sein kann. In mindestens einer Ausführungsform wird der architektonische Zustand pro Thread in ARF 3126 verwaltet, während die während der Thread-Ausführung verwendeten Daten in GRF 3124 gespeichert werden. In mindestens einer Ausführungsform kann der Ausführungsstatus jedes Threads, einschließlich der Befehlszeiger für jeden Thread, in Thread-spezifischen Registern im ARF 3126 gespeichert werden.
  • In mindestens einer Ausführungsform weist die Grafikausführungseinheit 3108 eine Architektur auf, die eine Kombination aus simultanem Multi-Threading (SMT) und feinkörnigem Interleaved Multi-Threading (IMT) ist. In mindestens einer Ausführungsform weist die Architektur eine modulare Konfiguration auf, die zur Entwurfszeit basierend auf einer angestrebten Anzahl gleichzeitiger Threads und der Anzahl von Registern pro Ausführungseinheit fein abgestimmt werden kann, wobei die Ressourcen der Ausführungseinheit auf die Logik aufgeteilt werden, die zur Ausführung mehrerer gleichzeitiger Threads verwendet wird.
  • In mindestens einer Ausführungsform kann die Grafikausführungseinheit 3108 mehrere Anweisungen gemeinsam ausgeben, wobei es sich um unterschiedliche Anweisungen handeln kann. In mindestens einer Ausführungsform kann der Thread-Arbiter 3122 des Threads der Grafikausführungseinheit 3108 Anweisungen zur Ausführung an eine der folgenden Einheiten weiterleiten: Sendeeinheit 3130, Verzweigungseinheit 3132 oder SIMD-FPU(s) 3134. In mindestens einer Ausführungsform kann jeder Ausführungs-Thread auf 128 Allzweckregister innerhalb des GRF 3124 zugreifen, wobei jedes Register 32 Byte speichern kann, die als SIMD-8-Element-Vektor von 32-Bit-Datenelementen zugänglich sind. In mindestens einer Ausführungsform hat jeder Ausführungseinheitsthread Zugriff auf 4 Kilobyte innerhalb des GRF 3124, obwohl die Ausführungsformen nicht so beschränkt sind und in anderen Ausführungsformen mehr oder weniger Registerressourcen bereitgestellt werden können. In mindestens einer Ausführungsform können bis zu sieben Threads gleichzeitig ausgeführt werden, obwohl die Anzahl der Threads pro Ausführungseinheit je nach Ausführungsform auch variieren kann. In mindestens einer Ausführungsform, in der sieben Threads auf 4 Kilobyte zugreifen können, kann der GRF 3124 insgesamt 28 Kilobyte speichern. In mindestens einer Ausführungsform können flexible Adressierungsmodi ermöglichen, dass Register gemeinsam adressiert werden, um effektiv breitere Register zu bilden oder um geschichtete rechteckige Blockdatenstrukturen darzustellen.
  • In mindestens einer Ausführungsform werden Speicheroperationen, Abtastoperationen und andere Systemkommunikationen mit längerer Latenzzeit über „Sende“-Anweisungen abgewickelt, die durch Nachrichtenübermittlung an die Sendeeinheit 3130 ausgeführt werden. In mindestens einer Ausführungsform werden Verzweigungsbefehle an die Verzweigungseinheit 3132 weitergeleitet, um SIMD-Divergenz und eventuelle Konvergenz zu erleichtern.
  • In mindestens einer Ausführungsform umfasst die Grafikausführungseinheit 3108 eine oder mehrere SIMD-Gleitkommaeinheiten (FPU(s)) 3134 zur Durchführung von Gleitkommaoperationen. In mindestens einer Ausführungsform unterstützen die FPU(s) 3134 auch Ganzzahlberechnungen. In mindestens einer Ausführungsform kann (können) die FPU(s) 3134 bis zu einer Anzahl M von 32-Bit-Gleitkomma- (oder Ganzzahl-) Operationen oder bis zu 2M 16-Bit-Ganzzahl- oder 16-Bit-Gleitkomma-Operationen SIMD-ausführen. In mindestens einer Ausführungsform bietet mindestens eine FPU erweiterte mathematische Fähigkeiten zur Unterstützung von transzendentalen mathematischen Funktionen mit hohem Durchsatz und 64-Bit-Gleitkommaoperationen mit doppelter Genauigkeit. In mindestens einer Ausführungsform ist auch eine Reihe von ganzzahligen 8-Bit-SIMD-ALUs 3135 vorhanden, die speziell für die Durchführung von Operationen im Zusammenhang mit maschinellen Lernberechnungen optimiert sein können.
  • In mindestens einer Ausführungsform können Anordnungen mehrerer Instanzen der Grafikausführungseinheit 3108 in einer Gruppierung von Grafik-Subkernen (z. B. einem Sub-Slice) instanziiert werden. In mindestens einer Ausführungsform kann die Ausführungseinheit 3108 Anweisungen über eine Vielzahl von Ausführungskanälen ausführen. In mindestens einer Ausführungsform wird jeder Thread, der von der Grafikausführungseinheit 3108 ausgeführt wird, auf einem anderen Kanal ausgeführt.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform können Teile oder die Gesamtheit der Inferenz- und/oder Trainingslogik 715 in die Thread-Ausführungslogik 3100 integriert werden. Darüber hinaus können in mindestens einer Ausführungsform die hier beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen als der in 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs der Ausführungslogik 3100 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 31A und/oder 31B gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird die Thread-Ausführungslogik 3100 der 31A und/oder die Grafikausführungseinheit 3108 der 31B verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 32 zeigt eine Parallelverarbeitungseinheit („PPU“) 3200 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die PPU 3200 mit maschinenlesbarem Code konfiguriert, der, wenn er von der PPU 3200 ausgeführt wird, die PPU 3200 veranlasst, einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Techniken durchzuführen. In mindestens einer Ausführungsform ist die PPU 3200 ein Multi-Thread-Prozessor, der auf einem oder mehreren integrierten Schaltkreisen implementiert ist und der Multithreading als eine Technik zum Verbergen von Latenzzeiten verwendet, die dazu dient, computerlesbare Anweisungen (auch als maschinenlesbare Anweisungen oder einfach Anweisungen bezeichnet) auf mehreren Threads parallel zu verarbeiten. In mindestens einer Ausführungsform bezieht sich ein Thread auf einen Ausführungsstrang und ist eine Instanziierung eines Satzes von Anweisungen, die zur Ausführung durch die PPU 3200 konfiguriert sind. In mindestens einer Ausführungsform ist die PPU 3200 eine Grafikverarbeitungseinheit („GPU“), die so konfiguriert ist, dass sie eine Grafik-Rendering-Pipeline für die Verarbeitung dreidimensionaler („3D“) Grafikdaten implementiert, um zweidimensionale („2D“) Bilddaten für die Angabe auf einem Anzeigegerät, z. B. einem Flüssigkristallanzeigegerät („LCD“), zu erzeugen. In mindestens einer Ausführungsform wird die PPU 3200 zur Durchführung von Berechnungen wie linearen Algebra-Operationen und Operationen des maschinellen Lernens verwendet. 32 zeigt ein Beispiel für einen Parallelprozessor, der nur der Veranschaulichung dient und als nicht begrenztes Beispiel für Prozessorarchitekturen zu verstehen ist, die im Rahmen dieser Offenbarung in Betracht gezogen werden, und dass jeder geeignete Prozessor zur Ergänzung und/oder zum Ersatz desselben verwendet werden kann.
  • In mindestens einer Ausführungsform sind eine oder mehrere PPUs 3200 so konfiguriert, dass sie High Performance Computing („HPC“), Rechenzentren und maschinelle Lernanwendungen beschleunigen. In mindestens einer Ausführungsform ist die PPU 3200 so konfiguriert, dass sie Deep-Learning-Systeme und -Anwendungen beschleunigt, darunter die folgenden nicht einschränkenden Beispiele: autonome Fahrzeugplattformen, Deep Learning, hochpräzise Sprach-, Bild- und Texterkennungssysteme, intelligente Videoanalyse, molekulare Simulationen, Arzneimittelentdeckung, Krankheitsdiagnose, Wettervorhersage, Big-Data-Analyse, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotik, Fabrikautomatisierung, Echtzeit-Sprachübersetzung, Online-Suchoptimierung und personalisierte Benutzerempfehlungen und mehr.
  • In mindestens einer Ausführungsform umfasst die PPU 3200 unter anderem eine Input/Output-Einheit 3206, eine Frontend-Einheit 3210, eine Scheduler-Einheit 3212, eine Arbeitsverteilungseinheit 3214, einen Hub 3216, eine Crossbar („XBar“) 3220, einen oder mehrere General Processing Cluster („GPCs“) 3218 und eine oder mehrere Partitionseinheiten („Memory Partition Units“) 3222. In mindestens einer Ausführungsform ist die PPU 3200 mit einem Host-Prozessor oder anderen PPUs 3200 über eine oder mehrere Hochgeschwindigkeits-GPU-Interconnects („GPU-Interconnects“) 3208 verbunden. In mindestens einer Ausführungsform ist die PPU 3200 mit einem Host-Prozessor oder anderen Peripheriegeräten über einen Systembus 3202 verbunden. In mindestens einer Ausführungsform ist die PPU 3200 mit einem lokalen Speicher verbunden, der eine oder mehrere Speichervorrichtungen („Speicher“) 3204 umfasst. In mindestens einer Ausführungsform umfassen die Speichervorrichtungen 3204 ohne Einschränkung einen oder mehrere dynamische Direktzugriffsspeicher („DRAM“). In mindestens einer Ausführungsform sind eine oder mehrere DRAM-Vorrichtungen als Subsysteme mit hohem Bandbreitenspeicher („HBM“) konfiguriert und/oder konfigurierbar, wobei mehrere DRAM-Chips in jeder Vorrichtung gestapelt sind.
  • In mindestens einer Ausführungsform kann sich die Hochgeschwindigkeits-GPU-Verbindung 3208 auf eine drahtgebundene Mehrspur-Kommunikationsverbindung beziehen, die von Systemen verwendet wird, die skalierbar sind und eine oder mehrere PPUs 3200 in Kombination mit einer oder mehreren Zentraleinheiten („CPUs“) umfassen, die Cache-Kohärenz zwischen PPUs 3200 und CPUs sowie CPU-Mastering unterstützen. In mindestens einer Ausführungsform werden Daten und/oder Anweisungen von der Hochgeschwindigkeits-GPU-Verbindung 3208 über den Hub 3216 an/von anderen Einheiten der PPU 3200 übertragen, wie z. B. einer oder mehreren Kopiermaschinen, Video-Encodern, Video-Decodern, Energieverwaltungseinheiten und anderen Komponenten, die in 32 möglicherweise nicht explizit dargestellt sind.
  • In mindestens einer Ausführungsform ist die I/O-Einheit 3206 so konfiguriert, dass sie Kommunikationen (z. B. Anweisungen, Daten) von einem Host-Prozessor (in 32 nicht dargestellt) über den Systembus 3202 sendet und empfängt. In mindestens einer Ausführungsform kommuniziert die I/O-Einheit 3206 mit dem Host-Prozessor direkt über den Systembus 3202 oder über ein oder mehrere Zwischengeräte wie eine Speicherbrücke. In mindestens einer Ausführungsform kann die I/O-Einheit 3206 über den Systembus 3202 mit einem oder mehreren anderen Prozessoren, z. B. einer oder mehreren PPUs 3200, kommunizieren. In mindestens einer Ausführungsform implementiert die I/O-Einheit 3206 eine Peripheral Component Interconnect Express („PCIe“)-Schnittstelle für die Kommunikation über einen PCIe-Bus. In mindestens einer Ausführungsform implementiert die I/O-Einheit 3206 Schnittstellen für die Kommunikation mit externen Geräten.
  • In mindestens einer Ausführungsform dekodiert die I/O-Einheit 3206 über den Systembus 3202 empfangene Pakete. In mindestens einer Ausführungsform stellen mindestens einige Pakete Anweisungen dar, die so konfiguriert sind, dass sie die PPU 3200 veranlassen, verschiedene Operationen durchzuführen. In mindestens einer Ausführungsform überträgt die I/O-Einheit 3206 dekodierte Anweisungen an verschiedene andere Einheiten der PPU 3200, wie von den Anweisungen vorgegeben. In mindestens einer Ausführungsform werden Anweisungen an die Frontend-Einheit 3210 und/oder an den Hub 3216 oder andere Einheiten der PPU 3200, wie z. B. eine oder mehrere Kopiermaschinen, einen Video-Encoder, einen Video-Decoder, eine Energieverwaltungseinheit usw. (in 32 nicht explizit dargestellt), übertragen. In mindestens einer Ausführungsform ist die I/O-Einheit 3206 so konfiguriert, dass sie die Kommunikation zwischen und unter verschiedenen logischen Einheiten der PPU 3200 leitet.
  • In mindestens einer Ausführungsform kodiert ein vom Host-Prozessor ausgeführtes Programm einen Befehlsstrom in einem Puffer, der der PPU 3200 Arbeitslasten zur Verarbeitung bereitstellt. In mindestens einer Ausführungsform umfasst eine Arbeitslast Anweisungen und Daten, die von diesen Anweisungen verarbeitet werden sollen. In mindestens einer Ausführungsform ist ein Puffer ein Bereich in einem Speicher, auf den sowohl ein Host-Prozessor als auch die PPU 3200 zugreifen können (z. B. Lesen/Schreiben) - eine Host-Schnittstelleneinheit kann so konfiguriert sein, dass sie auf diesen Puffer in einem Systemspeicher, der mit dem Systembus 3202 verbunden ist, über Speicheranforderungen zugreift, die über den Systembus 3202 von der I/O-Einheit 3206 übertragen werden. In mindestens einer Ausführungsform schreibt ein Host-Prozessor einen Befehlsstrom in einen Puffer und überträgt dann einen Zeiger auf den Beginn eines Befehlsstroms an die PPU 3200, so dass die Frontend-Einheit 3210 Zeiger auf einen oder mehrere Befehlsströme empfängt und einen oder mehrere Befehlsströme verwaltet, indem sie Anweisungen aus Befehlsströmen liest und Anweisungen an verschiedene Einheiten der PPU 3200 weiterleitet.
  • In mindestens einer Ausführungsform ist die Frontend-Einheit 3210 mit der Scheduler-Einheit 3212 gekoppelt, die verschiedene GPCs 3218 zur Verarbeitung von Aufgaben konfiguriert, die durch einen oder mehrere Befehlsströme definiert sind. In mindestens einer Ausführungsform ist die Scheduler-Einheit 3212 so konfiguriert, dass sie Zustandsinformationen in Bezug auf verschiedene Aufgaben verfolgt, die von der Scheduler-Einheit 3212 verwaltet werden, wobei die Zustandsinformationen angeben können, welchem der GPCs 3218 eine Aufgabe zugewiesen ist, ob die Aufgabe aktiv oder inaktiv ist, welche Prioritätsstufe der Aufgabe zugeordnet ist und so weiter. In mindestens einer Ausführungsform verwaltet die Scheduler-Einheit 3212 die Ausführung einer Vielzahl von Aufgaben auf einem oder mehreren GPCs 3218.
  • In mindestens einer Ausführungsform ist die Planungseinheit 3212 mit der Arbeitsverteilungseinheit 3214 gekoppelt, die so konfiguriert ist, dass sie Aufgaben zur Ausführung auf den GPCs 3218 verteilt. In mindestens einer Ausführungsform verfolgt die Arbeitsverteilungseinheit 3214 eine Anzahl geplanter Aufgaben, die von der Scheduler-Einheit 3212 empfangen wurden, und die Arbeitsverteilungseinheit 3214 verwaltet einen Pool ausstehender Aufgaben und einen Pool aktiver Aufgaben für jeden GPC 3218. In mindestens einer Ausführungsform umfasst der Pool ausstehender Aufgaben eine Anzahl von Slots (z.B. 32 Slots), die Aufgaben enthalten, die zur Verarbeitung durch einen bestimmten GPC 3218 zugewiesen sind; ein Pool aktiver Aufgaben kann eine Anzahl von Slots (z.B. Ein aktiver Aufgabenpool kann eine Anzahl von Slots (z.B. 4 Slots) für Aufgaben umfassen, die aktiv von den GPCs 3218 verarbeitet werden, so dass, wenn einer der GPCs 3218 die Ausführung einer Aufgabe beendet, diese Aufgabe aus dem aktiven Aufgabenpool für den GPC 3218 entfernt wird und eine andere Aufgabe aus einem ausstehenden Aufgabenpool ausgewählt und für die Ausführung auf dem GPC 3218 geplant wird. In mindestens einer Ausführungsform wird eine aktive Aufgabe, die sich auf dem GPC 3218 im Leerlauf befindet, z. B. während sie darauf wartet, dass eine Datenabhängigkeit aufgelöst wird, aus dem GPC 3218 entfernt und in den Pool der anhängigen Aufgaben zurückgeführt, während eine andere Aufgabe aus dem Pool der anhängigen Aufgaben ausgewählt und für die Ausführung auf dem GPC 3218 geplant wird.
  • In mindestens einer Ausführungsform kommuniziert die Arbeitsverteilungseinheit 3214 mit einem oder mehreren GPCs 3218 über XBar 3220. In mindestens einer Ausführungsform ist die XBar 3220 ein Verbindungsnetzwerk, das viele Einheiten der PPU 3200 mit anderen Einheiten der PPU 3200 verbindet und so konfiguriert werden kann, dass es die Arbeitsverteilungseinheit 3214 mit einem bestimmten GPC 3218 verbindet. In mindestens einer Ausführungsform können eine oder mehrere andere Einheiten der PPU 3200 auch über den Hub 3216 mit der XBar 3220 verbunden sein.
  • In mindestens einer Ausführungsform werden die Aufgaben von der Scheduler-Einheit 3212 verwaltet und von der Arbeitsverteilungseinheit 3214 an einen der GPCs 3218 weitergeleitet. In mindestens einer Ausführungsform ist der GPC 3218 so konfiguriert, dass er die Aufgabe verarbeitet und Ergebnisse erzeugt. In mindestens einer Ausführungsform können die Ergebnisse von anderen Aufgaben innerhalb des GPC 3218 verbraucht, über die XBar 3220 an einen anderen GPC 3218 weitergeleitet oder im Speicher 3204 gespeichert werden. In mindestens einer Ausführungsform können die Ergebnisse in den Speicher 3204 über Partitionseinheiten 3222 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 3204 implementieren. In mindestens einer Ausführungsform können die Ergebnisse über die Hochgeschwindigkeits-GPU-Verbindung 3208 an eine andere PPU oder CPU übertragen werden. In mindestens einer Ausführungsform umfasst die PPU 3200, ohne Einschränkung, eine Anzahl U von Partitionseinheiten 3222, die einer Anzahl von separaten und unterschiedlichen Speichervorrichtungen 3204 entspricht, die mit der PPU 3200 verbunden sind, wie hierin in Verbindung mit 34 ausführlicher beschrieben.
  • In mindestens einer Ausführungsform führt ein Host-Prozessor einen Treiberkern aus, der eine Anwendungsprogrammierschnittstelle („API“) implementiert, die es einer oder mehreren Anwendungen, die auf einem Host-Prozessor ausgeführt werden, ermöglicht, Operationen zur Ausführung auf der PPU 3200 zu planen. In mindestens einer Ausführungsform werden mehrere Rechenanwendungen gleichzeitig von der PPU 3200 ausgeführt, und die PPU 3200 bietet Isolierung, Dienstgüte („QoS“) und unabhängige Adressräume für mehrere Rechenanwendungen. In mindestens einer Ausführungsform erzeugt eine Anwendung Anweisungen (z. B. in Form von API-Aufrufen), die einen Treiberkern dazu veranlassen, eine oder mehrere Aufgaben zur Ausführung durch die PPU 3200 zu erzeugen, und dieser Treiberkern gibt Aufgaben an einen oder mehrere Ströme aus, die von der PPU 3200 verarbeitet werden. In mindestens einer Ausführungsform umfasst jede Aufgabe eine oder mehrere Gruppen von zusammenhängenden Threads, die als Warp bezeichnet werden können. In mindestens einer Ausführungsform umfasst ein Warp eine Vielzahl zusammenhängender Threads (z. B. 32 Threads), die parallel ausgeführt werden können. In mindestens einer Ausführungsform können sich kooperierende Threads auf eine Vielzahl von Threads beziehen, die Anweisungen zur Ausführung von Aufgaben enthalten und Daten über einen gemeinsamen Speicher austauschen. In mindestens einer Ausführungsform werden Threads und kooperierende Threads in Verbindung mit 34 ausführlicher beschrieben.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein maschinelles Lernmodell, wie z. B. ein neuronales Netzwerk, zu trainieren, um der PPU 3200 bereitgestellte Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um Informationen basierend auf eines trainierten maschinellen Lernmodells (z. B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder von der PPU 3200 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann die PPU 3200 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle für neuronale Netze durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 32 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird die Parallelverarbeitungseinheit 3200 der 32 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit den 1-6 beschrieben sind.
  • 33 zeigt einen allgemeinen Verarbeitungscluster („GPC“) 3300 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform handelt es sich bei GPC 3300 um GPC 3218 aus 32. In mindestens einer Ausführungsform umfasst jeder GPC 3300, ohne Einschränkung, eine Anzahl von Hardware-Einheiten zur Verarbeitung von Aufgaben, und jeder GPC 3300 umfasst, ohne Einschränkung, einen Pipeline-Manager 3302, eine Pre-RasterOperationseinheit („preROP“) 3304, eine Raster-Engine 3308, eine Arbeitsverteilungskreuzschiene („WDX“) 3316, eine Speicherverwaltungseinheit („MMU“) 3318, einen oder mehrere Datenverarbeitungscluster („DPCs“) 3306 und eine beliebige geeignete Kombination von Teilen.
  • In mindestens einer Ausführungsform wird der Betrieb des GPC 3300 vom Pipeline-Manager 3302 gesteuert. In mindestens einer Ausführungsform verwaltet der Pipeline-Manager 3302 die Konfiguration eines oder mehrerer DPCs 3306 für die Verarbeitung von Aufgaben, die dem GPC 3300 zugewiesen sind. In mindestens einer Ausführungsform konfiguriert der Pipeline-Manager 3302 mindestens einen von einem oder mehreren DPCs 3306, um mindestens einen Teil einer Grafik-Rendering-Pipeline zu implementieren. In mindestens einer Ausführungsform ist DPC 3306 so konfiguriert, dass er ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 3314 ausführt. In mindestens einer Ausführungsform ist der Pipeline-Manager 3302 so konfiguriert, dass er die von einer Arbeitsverteilungseinheit empfangenen Pakete an die entsprechenden logischen Einheiten innerhalb des GPC 3300 weiterleitet, wobei einige Pakete an Hardwareeinheiten mit fester Funktion im preROP 3304 und/oder in der Raster-Engine 3308 weitergeleitet werden können, während andere Pakete an die DPCs 3306 zur Verarbeitung durch eine Primitive-Engine 3312 oder SM 3314 weitergeleitet werden können. In mindestens einer Ausführungsform konfiguriert der Pipeline-Manager 3302 mindestens eine der DPCs 3306 für die Implementierung eines neuronalen Netzwerkmodells und/oder einer Rechenpipeline.
  • In mindestens einer Ausführungsform ist die preROP-Einheit 3304 so konfiguriert, dass sie die von der Raster-Engine 3308 und den DPCs 3306 erzeugten Daten an eine Raster Operations („ROP“)-Einheit in der Partitionseinheit 3222 weiterleitet, die oben in Verbindung mit 32 näher beschrieben ist. In mindestens einer Ausführungsform ist die preROP-Einheit 3304 so konfiguriert, dass sie Optimierungen für die Farbmischung durchführt, Pixeldaten organisiert, Adressübersetzungen vornimmt und vieles mehr. In mindestens einer Ausführungsform umfasst die Raster-Engine 3308 ohne Einschränkung eine Reihe von Hardware-Einheiten mit fester Funktion, die so konfiguriert sind, dass sie verschiedene Rasteroperationen durchführen, und die Raster-Engine 3308 umfasst ohne Einschränkung eine Setup-Maschine, eine Grobraster-Maschine, eine Culling-Maschine, eine Clipping-Maschine, eine Feinraster-Maschine, eine Kachel-Koaleszenz-Maschine und jede geeignete Kombination davon. In mindestens einer Ausführungsform empfängt die Setup-Engine transformierte Scheitelpunkte und erzeugt Ebenengleichungen, die mit einer durch Scheitelpunkte definierten geometrischen Primitive verbunden sind; die Ebenengleichungen werden an eine Grobraster-Engine übertragen, um Abdeckungsinformationen (z. B. eine x-, y-Abdeckungsmaske für eine Kachel) für die Primitive zu erzeugen; die Ausgabe einer Grobraster-Engine wird an eine Culling-Engine übertragen, in der Fragmente, die mit einer Primitive verbunden sind und einen z-Test nicht bestehen, aussortiert werden, und an eine Clipping-Engine übertragen, in der Fragmente, die außerhalb eines Sichtkegelstumpfes liegen, abgeschnitten werden. In mindestens einer Ausführungsform werden Fragmente, die das Beschneiden und Aussortieren überstehen, an eine Feinraster-Engine weitergeleitet, um Attribute für Pixelfragmente basierend auf von Ebenengleichungen zu erzeugen, die von einer Setup-Engine generiert werden. In mindestens einer Ausführungsform umfasst die Ausgabe der Raster-Engine 3308 Fragmente, die von einer geeigneten Einheit verarbeitet werden, z. B. von einem in DPC 3306 implementierten Fragment-Shader.
  • In mindestens einer Ausführungsform umfasst jeder im GPC 3300 enthaltene DPC 3306 ohne Einschränkung einen M-Pipe-Controller („MPC“) 3310, eine primitive Engine 3312, einen oder mehrere SMs 3314 und eine beliebige geeignete Kombination davon. In mindestens einer Ausführungsform steuert MPC 3310 den Betrieb von DPC 3306 und leitet die vom Pipeline-Manager 3302 empfangenen Pakete an die entsprechenden Einheiten in DPC 3306 weiter. In mindestens einer Ausführungsform werden Pakete, die einem Scheitelpunkt zugeordnet sind, an die Primitive Engine 3312 weitergeleitet, die so konfiguriert ist, dass sie Scheitelpunktattribute, die einem Scheitelpunkt zugeordnet sind, aus dem Speicher abruft.
  • In mindestens einer Ausführungsform umfasst SM 3314, ohne Einschränkung, einen programmierbaren Streaming-Prozessor, der so konfiguriert ist, dass er Aufgaben verarbeitet, die durch eine Anzahl von Threads repräsentiert werden. In mindestens einer Ausführungsform ist der SM 3314 mit mehreren Threads ausgestattet und so konfiguriert, dass er mehrere Threads (z. B. 32 Threads) aus einer bestimmten Gruppe von Threads gleichzeitig ausführt und eine SIMD-Architektur („Single-Instruction, Multiple-Data“) implementiert, bei der jeder Thread in einer Gruppe von Threads (z. B. ein Warp) so konfiguriert ist, dass er einen anderen Datensatz basierend auf desselben Befehlssatzes verarbeitet. In mindestens einer Ausführungsform führen alle Threads in einer Gruppe von Threads einen gemeinsamen Satz von Anweisungen aus. In mindestens einer Ausführungsform implementiert SM 3314 eine SIMT-Architektur („Single-Instruction, Multiple Thread“), bei der jeder Thread in einer Gruppe von Threads so konfiguriert ist, dass er einen anderen Datensatz basierend auf dieses gemeinsamen Befehlssatzes verarbeitet, wobei jedoch einzelne Threads in einer Gruppe von Threads während der Ausführung divergieren dürfen. In mindestens einer Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden Warp beibehalten, wodurch die Gleichzeitigkeit zwischen Warps und die serielle Ausführung innerhalb von Warps ermöglicht wird, wenn die Threads innerhalb eines Warps divergieren. In einer anderen Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungsstatus für jeden einzelnen Thread beibehalten, was eine gleiche Gleichzeitigkeit zwischen allen Threads innerhalb und zwischen Warps ermöglicht. In mindestens einer Ausführungsform wird der Ausführungsstatus für jeden einzelnen Thread beibehalten, und Threads, die gemeinsame Anweisungen ausführen, können zur Verbesserung der Effizienz zusammengeführt und parallel ausgeführt werden. Mindestens eine Ausführungsform von SM 3314 wird hier näher beschrieben.
  • In mindestens einer Ausführungsform stellt die MMU 3318 eine Schnittstelle zwischen dem GPC 3300 und einer Speicherpartitionierungseinheit (z. B. der Partitionierungseinheit 3222 in 32) bereit, und die MMU 3318 sorgt für die Übersetzung virtueller Adressen in physische Adressen, den Speicherschutz und die Arbitrierung von Speicheranforderungen. In mindestens einer Ausführungsform bietet die MMU 3318 einen oder mehrere Übersetzungs-Lookaside-Puffer („TLBs“) für die Übersetzung virtueller Adressen in physische Adressen im Speicher.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein maschinelles Lernmodell, wie z. B. ein neuronales Netzwerk, zu trainieren, um die dem GPC 3300 bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird GPC 3300 verwendet, um Informationen basierend auf eines trainierten maschinellen Lernmodells (z. B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder von GPC 3300 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann GPC 3300 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle für neuronale Netze durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 33 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird der allgemeine Verarbeitungscluster 3300 der 33 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • 34 zeigt eine Speicherpartitionseinheit 3400 einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst die Speicherpartitionseinheit 3400 ohne Einschränkung eine Rasteroperationseinheit 3402, einen Level-2-Cache 3404, eine Speicherschnittstelle 3406 und eine beliebige geeignete Kombination davon. In mindestens einer Ausführungsform ist die Speicherschnittstelle 3406 mit dem Speicher verbunden. In mindestens einer Ausführungsform kann die Speicherschnittstelle 3406 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliches für die Hochgeschwindigkeitsdatenübertragung implementieren. In mindestens einer Ausführungsform umfasst die PPU U Speicherschnittstellen 3406, wobei U eine positive ganze Zahl ist, mit einer Speicherschnittstelle 3406 pro Paar von Partitionseinheiten 3400, wobei jedes Paar von Partitionseinheiten 3400 mit einem entsprechenden Speichergerät verbunden ist. In mindestens einer Ausführungsform kann die PPU beispielsweise mit bis zu Y Speichervorrichtungen verbunden sein, z. B. mit Speicherstapeln mit hoher Bandbreite oder mit einem synchronen dynamischen Direktzugriffsspeicher für Grafiken mit doppelter Datenrate, Version 5 („GDDR5 SDRAM“).
  • In mindestens einer Ausführungsform implementiert die Speicherschnittstelle 3406 eine Speicherschnittstelle der zweiten Generation mit hoher Bandbreite („HBM2“), und Y entspricht der Hälfte von U. In mindestens einer Ausführungsform befinden sich die HBM2-Speicherstapel auf einem physischen Gehäuse mit einer PPU, was im Vergleich zu herkömmlichen GDDR5-SDRAM-Systemen erhebliche Energie- und Flächeneinsparungen ermöglicht. In mindestens einer Ausführungsform umfasst jeder HBM2-Stapel, ohne Einschränkung, vier Speicherchips mit Y=4, wobei jeder HBM2-Stapel zwei 128-Bit-Kanäle pro Chip für insgesamt 8 Kanäle und eine Datenbusbreite von 1024 Bit umfasst. In mindestens einer Ausführungsform unterstützt dieser Speicher den Single-Error Correcting Double-Error Detecting („SECDED“) Error Correction Code („ECC“) zum Schutz der Daten. In mindestens einer Ausführungsform kann ECC eine höhere Zuverlässigkeit für Datenverarbeitungsanwendungen bieten, die empfindlich auf Datenbeschädigungen reagieren.
  • In mindestens einer Ausführungsform implementiert die PPU eine mehrstufige Speicherhierarchie. In mindestens einer Ausführungsform unterstützt die Speicherpartitionierungseinheit 3400 einen einheitlichen Speicher, um einen einzigen einheitlichen virtuellen Adressraum für den Speicher der Zentraleinheit („CPU“) und der PPU bereitzustellen und die gemeinsame Nutzung von Daten zwischen virtuellen Speichersystemen zu ermöglichen. In mindestens einer Ausführungsform wird die Häufigkeit von Zugriffen einer PPU auf einen Speicher, der sich auf anderen Prozessoren befindet, verfolgt, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU verschoben werden, die häufiger auf Seiten zugreift. In mindestens einer Ausführungsform unterstützt die Hochgeschwindigkeits-GPU-Verbindung 3208 Adressübersetzungsdienste, die es der PPU ermöglichen, direkt auf die Seitentabellen der CPU zuzugreifen, und einen vollständigen Zugriff auf den CPU-Speicher durch eine PPU ermöglichen.
  • In mindestens einer Ausführungsform übertragen Kopiermodule Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. In mindestens einer Ausführungsform können Kopiermodule Seitenfehler für Adressen erzeugen, die nicht in Seitentabellen abgebildet sind, und die Speicherpartitionierungseinheit 3400 bearbeitet dann Seitenfehler, indem sie Adressen in Seitentabellen abbildet, woraufhin das Kopiermodul eine Übertragung durchführt. In mindestens einer Ausführungsform wird der Speicher für mehrere Kopieroperationen zwischen mehreren Prozessoren gepinnt (d. h. nicht auslagerbar), wodurch der verfügbare Speicher erheblich reduziert wird. In mindestens einer Ausführungsform können bei Hardware-Seitenfehlern Adressen an Kopiermaschinen weitergegeben werden, ohne dass es darauf ankommt, ob Speicherseiten vorhanden sind, und ein Kopiervorgang ist transparent.
  • Daten aus dem Speicher 3204 der 32 oder einem anderen Systemspeicher werden von der Speicherpartitionseinheit 3400 abgerufen und im L2-Cache 3404 gespeichert, der sich auf dem Chip befindet und gemäß mindestens einer Ausführungsform von verschiedenen GPCs gemeinsam genutzt wird. In mindestens einer Ausführungsform umfasst jede Speicherpartitionseinheit 3400, ohne Einschränkung, mindestens einen Teil des L2-Cache, der einem entsprechenden Speichergerät zugeordnet ist. In mindestens einer Ausführungsform sind Caches der unteren Ebene in verschiedenen Einheiten innerhalb der GPCs implementiert. In mindestens einer Ausführungsform kann jeder der SMs 3314 in 33 einen Cache der Ebene 1 („L1“) implementieren, wobei dieser L1-Cache ein privater Speicher ist, der einem bestimmten SM 3314 zugeordnet ist, und Daten aus dem L2-Cache 3404 abgerufen und in jedem L1-Cache zur Verarbeitung in Funktionseinheiten der SMs 3314 gespeichert werden. In mindestens einer Ausführungsform ist der L2-Cache 3404 mit der Speicherschnittstelle 3406 und der in 32 dargestellten XBar 3220 verbunden.
  • In mindestens einer Ausführungsform führt die ROP-Einheit 3402 Grafikrasteroperationen durch, die sich auf die Pixelfarbe beziehen, wie z. B. Farbkomprimierung, Pixelüberblendung und mehr. In mindestens einer Ausführungsform implementiert die ROP-Einheit 3402 die Tiefenprüfung in Verbindung mit der Raster-Engine 3308, wobei sie eine Tiefe für eine Abtastposition, die mit einem Pixelfragment verbunden ist, von einer Culling-Engine der Raster-Engine 3308 empfängt. In mindestens einer Ausführungsform wird die Tiefe mit einer entsprechenden Tiefe in einem Tiefenpuffer für eine einem Fragment zugeordnete Abtaststelle verglichen. In mindestens einer Ausführungsform aktualisiert die ROP-Einheit 3402 den Tiefenpuffer und überträgt das Ergebnis dieses Tiefentests an die Raster-Engine 3308, wenn das Fragment den Tiefentest für diesen Probenort besteht. Es wird deutlich, dass die Anzahl der Teilungseinheiten 3400 sich von der Anzahl der GPCs unterscheiden kann, so dass jede ROP-Einheit 3402 in mindestens einer Ausführungsform mit jedem GPC gekoppelt sein kann. In mindestens einer Ausführungsform verfolgt die ROP-Einheit 3402 die von verschiedenen GPCs empfangenen Pakete und bestimmt, ob ein von der ROP-Einheit 3402 erzeugtes Ergebnis über die XBar 3220 weitergeleitet werden soll.
  • 35 zeigt einen Streaming-Multiprozessor („SM“) 3500 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der SM 3500 der SM der 33. In mindestens einer Ausführungsform umfasst SM 3500 ohne Einschränkung einen Befehls-Cache 3502, eine oder mehrere Scheduler-Einheiten 3504, eine Registerdatei 3508, einen oder mehrere Verarbeitungskerne („Cores“) 3510, eine oder mehrere Spezialfunktionseinheiten („SFUs“) 3512, eine oder mehrere Lade-/Speichereinheiten („LSUs“) 3514, ein Verbindungsnetzwerk 3516, einen gemeinsamen Speicher/L1-Cache 3518 und/oder eine beliebige geeignete Kombination davon.
  • In mindestens einer Ausführungsform verteilt eine Arbeitsverteilungseinheit Aufgaben zur Ausführung auf allgemeinen Verarbeitungsclustern („GPCs“) von Parallelverarbeitungseinheiten („PPUs“), und jede Aufgabe wird einem bestimmten Datenverarbeitungscluster („DPC“) innerhalb eines GPCs zugewiesen, und wenn eine Aufgabe mit einem Shader-Programm verbunden ist, wird diese Aufgabe einem der SMs 3500 zugewiesen. In mindestens einer Ausführungsform empfängt die Scheduler-Einheit 3504 Aufgaben von einer Arbeitsverteilungseinheit und verwaltet die Befehlsplanung für einen oder mehrere Thread-Blöcke, die dem SM 3500 zugewiesen sind. In mindestens einer Ausführungsform plant die Scheduler-Einheit 3504 Thread-Blöcke für die Ausführung als Warps von parallelen Threads, wobei jedem Thread-Block mindestens ein Warp zugewiesen wird. In mindestens einer Ausführungsform führt jeder Warp Threads aus. In mindestens einer Ausführungsform verwaltet die Scheduler-Einheit 3504 eine Vielzahl verschiedener Thread-Blöcke, indem sie den verschiedenen Thread-Blöcken Warps zuweist und dann während jedes Taktzyklus Anweisungen aus einer Vielzahl verschiedener kooperativer Gruppen an verschiedene Funktionseinheiten (z. B. Verarbeitungskerne 3510, SFUs 3512 und LSUs 3514) verteilt.
  • In mindestens einer Ausführungsform können sich kooperative Gruppen auf ein Programmiermodell für die Organisation von Gruppen kommunizierender Threads beziehen, das es den Entwicklern ermöglicht, die Granularität auszudrücken, mit der Threads miteinander kommunizieren, und so reichhaltigere, effizientere parallele Dekompositionen zu ermöglichen. In mindestens einer Ausführungsform unterstützen kooperative Start-APIs die Synchronisierung zwischen Thread-Blöcken zur Ausführung paralleler Algorithmen. In mindestens einer Ausführungsform bieten Anwendungen herkömmlicher Programmiermodelle ein einziges, einfaches Konstrukt für die Synchronisierung kooperierender Threads: eine Barriere für alle Threads eines Thread-Blocks (z. B. die Funktion syncthreads( )). In mindestens einer Ausführungsform können Programmierer jedoch Gruppen von Threads mit einer kleineren Granularität als der des Thread-Blocks definieren und innerhalb der definierten Gruppen synchronisieren, um eine höhere Leistung, Designflexibilität und Software-Wiederverwendung in Form von gemeinsamen gruppenweiten Funktionsschnittstellen zu ermöglichen. In mindestens einer Ausführungsform ermöglicht es Cooperative Groups Programmierern, Gruppen von Threads explizit auf Subblock- (d. h. so klein wie ein einzelner Thread) und Multiblock-Granularität zu definieren und kollektive Operationen wie die Synchronisierung auf Threads in einer kooperativen Gruppe durchzuführen. In mindestens einer Ausführungsform unterstützt dieses Programmiermodell eine saubere Komposition über Softwaregrenzen hinweg, so dass Bibliotheken und Dienstprogramme innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne Annahmen über die Konvergenz treffen zu müssen. In mindestens einer Ausführungsform ermöglichen die Primitive für kooperative Gruppen neue Muster kooperativer Parallelität, einschließlich, aber nicht beschränkt auf Producer-Consumer-Parallelität, opportunistische Parallelität und globale Synchronisierung über ein ganzes Netz von Thread-Blöcken.
  • In mindestens einer Ausführungsform ist eine Dispatch-Einheit 3506 so konfiguriert, dass sie Anweisungen an eine oder mehrere Funktionseinheiten und die Scheduler-Einheit 3504 überträgt, und umfasst ohne Einschränkung zwei Dispatch-Einheiten 3506, die es ermöglichen, dass zwei verschiedene Anweisungen aus einem gemeinsamen Warp während jedes Taktzyklus versendet werden. In mindestens einer Ausführungsform umfasst jede Scheduler-Einheit 3504 eine einzelne Dispatch-Einheit 3506 oder zusätzliche Dispatch-Einheiten 3506.
  • In mindestens einer Ausführungsform enthält jedes SM 3500 ohne Einschränkung eine Registerdatei 3508, die einen Satz von Registern für Funktionseinheiten des SM 3500 bereitstellt. In mindestens einer Ausführungsform ist die Registerdatei 3508 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein bestimmter Teil der Registerdatei 3508 zugewiesen ist. In mindestens einer Ausführungsform wird die Registerdatei 3508 zwischen verschiedenen Warps aufgeteilt, die von SM 3500 ausgeführt werden, und die Registerdatei 3508 stellt einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten verbunden sind. In mindestens einer Ausführungsform umfasst jedes SM 3500, ohne Einschränkung, eine Vielzahl von L Verarbeitungskernen 3510, wobei L eine positive ganze Zahl ist. In mindestens einer Ausführungsform umfasst SM 3500 ohne Einschränkung eine große Anzahl (z. B. 128 oder mehr) unterschiedlicher Verarbeitungskerne 3510. In mindestens einer Ausführungsform umfasst jeder Verarbeitungskern 3510 ohne Einschränkung eine vollpipeline, einfachpräzise, doppeltpräzise und/oder gemischtpräzise Verarbeitungseinheit, die ohne Einschränkung eine arithmetische Gleitkomma-Logikeinheit und eine arithmetische Ganzzahl-Logikeinheit umfasst. In mindestens einer Ausführungsform implementieren die arithmetischen Logikeinheiten für Gleitkommaberechnungen den IEEE 754-2008-Standard für Gleitkommaarithmetik. In mindestens einer Ausführungsform umfassen die Verarbeitungskerne 3510 ohne Einschränkung 64 Gleitkomma-Kerne mit einfacher Genauigkeit (32 Bit), 64 Ganzzahl-Kerne, 32 Gleitkomma-Kerne mit doppelter Genauigkeit (64 Bit) und 8 Tensor-Kerne.
  • Tensorkerne sind so konfiguriert, dass sie gemäß mindestens einer Ausführungsform Matrixoperationen durchführen. In mindestens einer Ausführungsform sind ein oder mehrere Tensorkerne in den Verarbeitungskernen 3510 enthalten. In mindestens einer Ausführungsform sind die Tensorkerne so konfiguriert, dass sie Deep-Learning-Matrixarithmetik durchführen, wie z. B. Faltungsoperationen für das Training neuronaler Netze und Inferenz. In mindestens einer Ausführungsform arbeitet jeder Tensorkern mit einer 4x4-Matrix und führt eine Matrixmultiplikations- und Akkumulationsoperation durch, D = A X B + C, wobei A, B, C und D 4x4-Matrizen sind.
  • In mindestens einer Ausführungsform sind die Matrixmultiplikationseingänge A und B 16-Bit-Gleitkommamatrizen und die Akkumulationsmatrizen C und D 16-Bit-Gleitkomma- oder 32-Bit-Gleitkommamatrizen. In mindestens einer Ausführungsform arbeiten die Tensorkerne mit 16-Bit-Gleitkomma-Eingangsdaten und 32-Bit-Gleitkomma-Akkumulation. In mindestens einer Ausführungsform verwendet die 16-Bit-Gleitkommamultiplikation 64 Operationen und ergibt ein Produkt mit voller Genauigkeit, das dann durch 32-Bit-Gleitkommaaddition mit anderen Zwischenprodukten zu einer 4x4x4-Matrixmultiplikation akkumuliert wird. In mindestens einer Ausführungsform werden Tensor-Kerne verwendet, um viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die aus diesen kleineren Elementen aufgebaut sind. In mindestens einer Ausführungsform stellt eine API, wie z. B. eine CUDA 9 C++ API, spezialisierte Operationen zum Laden, Multiplizieren und Akkumulieren von Matrizen und zum Speichern von Matrizen bereit, um Tensorkerne von einem CUDA-C++ Programm aus effizient zu nutzen. In mindestens einer Ausführungsform geht eine Schnittstelle auf Warp-Ebene auf CUDA-Ebene von Matrizen der Größe 16x16 aus, die sich über alle 32 Threads des Warp erstrecken.
  • In mindestens einer Ausführungsform umfasst jeder SM 3500 ohne Einschränkung M SFUs 3512, die spezielle Funktionen ausführen (z. B. Attributauswertung, reziproke Quadratwurzel und dergleichen). In mindestens einer Ausführungsform umfassen die SFUs 3512 ohne Einschränkung eine Baumverarbeitungseinheit, die zum Durchlaufen einer hierarchischen Baumdatenstruktur konfiguriert ist. In mindestens einer Ausführungsform umfassen die SFUs 3512 ohne Einschränkung eine Textureinheit, die so konfiguriert ist, dass sie Filteroperationen für die Texturabbildung durchführt. In mindestens einer Ausführungsform sind die Textureinheiten so konfiguriert, dass sie Texturkarten (z. B. ein 2D-Array von Texeln) aus dem Speicher laden und Texturkarten abtasten, um abgetastete Texturwerte zur Verwendung in Shader-Programmen zu erzeugen, die von SM 3500 ausgeführt werden. In mindestens einer Ausführungsform werden die Texturkarten im gemeinsamen Speicher/L1-Cache 3518 gespeichert. In mindestens einer Ausführungsform implementieren Textureinheiten Texturoperationen wie Filteroperationen unter Verwendung von Mip-Maps (z. B. Texturkarten mit unterschiedlichen Detailstufen), gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst jedes SM 3500, ohne Einschränkung, zwei Textureinheiten.
  • Jedes SM 3500 umfasst ohne Einschränkung N LSUs 3514, die in mindestens einer Ausführungsform Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher/L1-Cache 3518 und der Registerdatei 3508 durchführen. Das Verbindungsnetzwerk 3516 verbindet in mindestens einer Ausführungsform jede Funktionseinheit mit der Registerdatei 3508 und die LSU 3514 mit der Registerdatei 3508 und dem gemeinsamen Speicher/L1-Cache 3518. In mindestens einer Ausführungsform ist das Verbindungsnetzwerk 3516 eine Kreuzschiene, die so konfiguriert werden kann, dass sie beliebige Funktionseinheiten mit beliebigen Registern in der Registerdatei 3508 verbindet und LSUs 3514 mit der Registerdatei 3508 und Speicherplätzen im gemeinsamen Speicher/L1-Cache 3518 verbindet.
  • In mindestens einer Ausführungsform ist der gemeinsam genutzte Speicher/L1-Cache 3518 ein Array von On-Chip-Speicher, der die Datenspeicherung und die Kommunikation zwischen SM 3500 und Primitive Engine sowie zwischen Threads in SM 3500 ermöglicht. In mindestens einer Ausführungsform umfasst der gemeinsame Speicher/L1-Cache 3518 ohne Einschränkung 128 KB Speicherkapazität und befindet sich in einem Pfad vom SM 3500 zu einer Partitionseinheit. In mindestens einer Ausführungsform wird der gemeinsame Speicher/L1-Cache 3518 zum Zwischenspeichern von Lese- und Schreiboperationen verwendet. In mindestens einer Ausführungsform handelt es sich bei einem oder mehreren von gemeinsamem Speicher/L1-Cache 3518, L2-Cache und Arbeitsspeicher um Backing-Stores.
  • Die Kombination von Datencache- und Shared-Memory-Funktionen in einem einzigen Speicherblock bietet in mindestens einer Ausführungsform eine verbesserte Leistung für beide Arten von Speicherzugriffen. In mindestens einer Ausführungsform wird die Kapazität von Programmen, die den gemeinsam genutzten Speicher nicht verwenden, als Cache genutzt oder kann von ihnen genutzt werden, z. B. wenn der gemeinsam genutzte Speicher so konfiguriert ist, dass er die Hälfte einer Kapazität nutzt, und Textur- und Lade-/Speicheroperationen die verbleibende Kapazität nutzen können. Die Integration in den gemeinsam genutzten Speicher/L1-Cache 3518 ermöglicht es dem gemeinsam genutzten Speicher/L1-Cache 3518, als durchsatzstarke Leitung für Streaming-Daten zu fungieren und gleichzeitig mit hoher Bandbreite und geringer Latenz auf häufig wiederverwendete Daten zuzugreifen, wie es in mindestens einer Ausführungsform vorgesehen ist. In mindestens einer Ausführungsform kann bei der Konfiguration für parallele Allzweckberechnungen eine einfachere Konfiguration als bei der Grafikverarbeitung verwendet werden. In mindestens einer Ausführungsform werden Grafikverarbeitungseinheiten mit festen Funktionen umgangen, wodurch ein wesentlich einfacheres Programmiermodell entsteht. In einer Konfiguration für allgemeine parallele Berechnungen weist eine Arbeitsverteilungseinheit in mindestens einer Ausführungsform Blöcke von Threads direkt den DPCs zu und verteilt sie. In mindestens einer Ausführungsform führen Threads in einem Block ein gemeinsames Programm aus, wobei eine eindeutige Thread-ID in der Berechnung verwendet wird, um sicherzustellen, dass jeder Thread eindeutige Ergebnisse erzeugt, wobei SM 3500 zur Ausführung des Programms und zur Durchführung von Berechnungen, gemeinsamer Speicher/L1-Cache 3518 zur Kommunikation zwischen Threads und LSU 3514 zum Lesen und Schreiben des globalen Speichers durch gemeinsamen Speicher/L1-Cache 3518 und Speicherpartitionseinheit verwendet werden. In mindestens einer Ausführungsform schreibt SM 3500, wenn es für allgemeine parallele Berechnungen konfiguriert ist, Anweisungen, die die Scheduler-Einheit 3504 verwenden kann, um neue Arbeiten auf DPCs zu starten.
  • In mindestens einer Ausführungsform ist eine PPU in einem Desktop-Computer, einem Laptop-Computer, einem Tablet-Computer, Servern, Supercomputern, einem Smartphone (z. B. einem drahtlosen Handheld-Gerät), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einem Head-Mounted-Display, einem elektronischen Handheld-Gerät usw. enthalten oder damit verbunden. In mindestens einer Ausführungsform ist eine PPU auf einem einzigen Halbleitersubstrat untergebracht. In mindestens einer Ausführungsform ist eine PPU in einem System-on-a-Chip („SoC“) zusammen mit einer oder mehreren anderen Vorrichtungen wie zusätzlichen PPUs, Speicher, einer CPU mit reduziertem Befehlssatz („RISC“), einer Speicherverwaltungseinheit („MMU“), einem Digital-Analog-Wandler („DAC“) und dergleichen enthalten.
  • In mindestens einer Ausführungsform kann eine PPU in einer Grafikkarte enthalten sein, die eine oder mehrere Speichervorrichtungen umfasst. In mindestens einer Ausführungsform kann diese Grafikkarte so konfiguriert sein, dass sie mit einem PCIe-Steckplatz auf einer Hauptplatine eines Desktop-Computers verbunden werden kann. In mindestens einer Ausführungsform kann diese PPU eine integrierte Grafikverarbeitungseinheit („iGPU“) sein, die im Chipsatz einer Hauptplatine enthalten ist.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein maschinelles Lernmodell, wie z. B. ein neuronales Netzwerk, zu trainieren, um die dem SM 3500 bereitgestellten Informationen vorherzusagen oder abzuleiten. In mindestens einer Ausführungsform wird SM 3500 verwendet, um Informationen basierend auf eines trainierten maschinellen Lernmodells (z. B. eines neuronalen Netzwerks), das von einem anderen Prozessor oder System oder von SM 3500 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann SM 3500 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle für neuronale Netze durchzuführen.
  • In mindestens einer Ausführungsform wird mindestens eine in 35 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 715 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert die Inferenz- und/oder Trainingslogik 715 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt die Inferenz- und/oder Trainingslogik mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in einer oder mehreren der 1-6 beschrieben. In mindestens einer Ausführungsform wird SM 3500 der 35 verwendet, um Techniken und/oder Funktionen zu implementieren, die im Zusammenhang mit 1-6 beschrieben sind.
  • Es werden Ausführungsformen offengelegt, die sich auf eine virtualisierte Computerplattform für fortschrittliche Datenverarbeitung beziehen, wie z. B. Bildinferenz und Bildverarbeitung in medizinischen Anwendungen. Ohne Einschränkung können die Ausführungsformen Radiographie, Magnetresonanztomographie (MRT), Nuklearmedizin, Ultraschall, Sonographie, Elastographie, photoakustische Bildgebung, Tomographie, Echokardiographie, funktionelle Nahinfrarotspektroskopie und Magnetpartikelbildgebung oder eine Kombination davon umfassen. In mindestens einer Ausführungsform können eine virtualisierte Computerplattform und die hierin beschriebenen zugehörigen Prozesse zusätzlich oder alternativ, ohne Einschränkung, in der forensischen Analyse, der Erkennung und Abbildung des Untergrunds (z. B. Ölexploration, Archäologie, Paläontologie usw.), der Topografie, der Ozeanografie, der Geologie, der Osteologie, der Meteorologie, der intelligenten Verfolgung und Überwachung von Gebieten oder Objekten, der Verarbeitung von Sensordaten (z. B. RADAR, SONAR, LIDAR usw.) und/oder der Genomik und Gensequenzierung eingesetzt werden.
  • Mit Bezug auf 36 ist 36 ein beispielhaftes Datenflussdiagramm für einen Prozess 3600 zum Erzeugen und Bereitstellen einer Bildverarbeitungs- und Inferenzpipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 3600 zur Verwendung mit Bildgebungsgeräten, Verarbeitungsgeräten, Genomikgeräten, Gensequenzierungsgeräten, Radiologiegeräten und/oder anderen Gerätetypen in einer oder mehreren Einrichtungen 3602, wie z. B. medizinischen Einrichtungen, Krankenhäusern, Gesundheitsinstituten, Kliniken, Forschungs- oder Diagnoselabors usw., eingesetzt werden. In mindestens einer Ausführungsform kann der Prozess 3600 eingesetzt werden, um eine genomische Analyse und Inferenz von Sequenzierungsdaten durchzuführen. Beispiele für genomische Analysen, die mit den hier beschriebenen Systemen und Verfahren durchgeführt werden können, sind unter anderem Variantenaufrufe, Mutationsnachweis und Quantifizierung der Genexpression.
  • In mindestens einer Ausführungsform kann der Prozess 3600 innerhalb eines Trainingssystems 3604 und/oder eines Einsatzsystems 3606 ausgeführt werden. In mindestens einer Ausführungsform kann das Trainingssystem 3604 verwendet werden, um das Training, den Einsatz und die Implementierung von maschinellen Lernmodellen (z. B. neuronale Netze, Objekterkennungsalgorithmen, Computervision-Algorithmen usw.) zur Verwendung im Einsatzsystem 3606 durchzuführen. In mindestens einer Ausführungsform kann das Bereitstellungssystem 3606 so konfiguriert sein, dass es Verarbeitungs- und Rechenressourcen auf eine verteilte Computerumgebung verlagert, um die Infrastrukturanforderungen in der Einrichtung 3602 zu verringern. In mindestens einer Ausführungsform kann das Bereitstellungssystem 3606 eine optimierte Plattform für die Auswahl, Anpassung und Implementierung virtueller Instrumente zur Verwendung mit Bildgebungsgeräten (z. B. MRT, CT-Scan, Röntgen, Ultraschall usw.) oder Sequenzierungsgeräten in der Einrichtung 3602 bereitstellen. In mindestens einer Ausführungsform können virtuelle Instrumente softwaredefinierte Anwendungen zur Durchführung einer oder mehrerer Verarbeitungsoperationen in Bezug auf Bildgebungsdaten umfassen, die von Bildgebungsgeräten, Sequenzierungsgeräten, Radiologiegeräten und/oder anderen Gerätetypen erzeugt werden. In mindestens einer Ausführungsform können eine oder mehrere Anwendungen in einer Pipeline Dienste (z. B. Inferenz, Visualisierung, Berechnung, KI usw.) des Bereitstellungssystems 3606 während der Ausführung von Anwendungen nutzen oder aufrufen.
  • In mindestens einer Ausführungsform können einige der Anwendungen, die in hochentwickelten Verarbeitungs- und Schlussfolgerungspipelines verwendet werden, maschinelle Lernmodelle oder andere KI verwenden, um einen oder mehrere Verarbeitungsschritte durchzuführen. In mindestens einer Ausführungsform können maschinelle Lernmodelle in der Einrichtung 3602 unter Verwendung von Daten 3608 (z. B. Bildgebungsdaten) trainiert werden, die in der Einrichtung 3602 generiert (und auf einem oder mehreren PACS-Servern (Picture Archiving and Communication System) in der Einrichtung 3602 gespeichert) wurden, oder unter Verwendung von Bildgebungs- oder Sequenzierungsdaten 3608 aus einer anderen Einrichtung oder anderen Einrichtungen (z. B. einem anderen Krankenhaus, Labor, einer Klinik usw.) oder einer Kombination davon. In mindestens einer Ausführungsform kann das Trainingssystem 3604 verwendet werden, um Anwendungen, Dienste und/oder andere Ressourcen für die Erzeugung funktionierender, einsatzfähiger maschineller Lernmodelle für das Einsatzsystem 3606 bereitzustellen.
  • In mindestens einer Ausführungsform kann eine Modellregister 3624 durch einen Objektspeicher unterstützt werden, der die Versionierung und Objektmetadaten unterstützen kann. In mindestens einer Ausführungsform kann der Objektspeicher z. B. über eine mit dem Cloud-Speicher (z. B. die Cloud 3726 in 37) kompatible Anwendungsprogrammierschnittstelle (API) innerhalb einer Cloud-Plattform zugänglich sein. In mindestens einer Ausführungsform können Modelle für maschinelles Lernen in der Modellregister 3624 von Entwicklern oder Partnern eines Systems, das mit einer API interagiert, hochgeladen, aufgelistet, geändert oder gelöscht werden. In mindestens einer Ausführungsform kann eine API Zugang zu Methoden bieten, die es Nutzern mit entsprechenden Berechtigungsnachweisen ermöglichen, Modelle mit Anwendungen zu verknüpfen, so dass Modelle als Teil der Ausführung von containerisierten Instanziierungen von Anwendungen ausgeführt werden können.
  • In mindestens einer Ausführungsform kann eine Trainingspipeline 3704 (37) ein Szenario umfassen, in dem die Einrichtung 3602 ihr eigenes maschinelles Lernmodell trainiert oder ein bestehendes maschinelles Lernmodell hat, das optimiert oder aktualisiert werden muss. In mindestens einer Ausführungsform können Bildgebungsdaten 3608, die von Bildgebungsgeräten, Sequenziergeräten und/oder anderen Gerätetypen erzeugt wurden, empfangen werden. In mindestens einer Ausführungsform kann, sobald die Bilddaten 3608 empfangen wurden, die KI-gestützte Annotation 3610 verwendet werden, um bei der Erzeugung von Annotationen zu helfen, die den Bilddaten 3608 entsprechen und als Ground-Truth-Daten für ein maschinelles Lernmodell verwendet werden sollen. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 3610 ein oder mehrere maschinelle Lernmodelle (z. B. Faltungsneuronale Netze (CNNs)) umfassen, die trainiert werden können, um Annotationen zu erzeugen, die bestimmten Arten von Bilddaten 3608 (z. B. von bestimmten Geräten) und/oder bestimmten Arten von Anomalien in Bilddaten 3608 entsprechen. In mindestens einer Ausführungsform können die KI-unterstützten Annotationen 3610 dann direkt verwendet oder mit einem Annotationswerkzeug (z. B. von einem Forscher, Kliniker, Arzt, Wissenschaftler usw.) angepasst oder feinabgestimmt werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform können in einigen Beispielen markierte Klinikdaten 3612 (z. B. Annotationen, die von einem Kliniker, Arzt, Wissenschaftler, Techniker usw. bereitgestellt werden) als Ground-Truth-Daten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform können KI-gestützte Annotationen 3610, markierte Klinikdaten 3612 oder eine Kombination davon als Ground-Truth-Daten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes maschinelles Lernmodell als Ausgabemodell 3616 bezeichnet werden und vom Einsatzsystem 3606, wie hier beschrieben, verwendet werden.
  • In mindestens einer Ausführungsform kann die Trainingspipeline 3704 (37) ein Szenario umfassen, in dem die Einrichtung 3602 ein maschinelles Lernmodell zur Verwendung bei der Durchführung einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Bereitstellungssystem 3606 benötigt, aber die Einrichtung 3602 verfügt möglicherweise derzeit nicht über ein solches maschinelles Lernmodell (oder verfügt möglicherweise nicht über ein Modell, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform kann ein vorhandenes maschinelles Lernmodell aus der Modellregister 3624 ausgewählt werden. In mindestens einer Ausführungsform kann die Modellregister 3624 Modelle für maschinelles Lernen enthalten, die für die Durchführung einer Vielzahl unterschiedlicher Schlussfolgerungen aus Bilddaten trainiert wurden. In mindestens einer Ausführungsform können die maschinellen Lernmodelle in der Modellregister 3624 auf Bildgebungsdaten von anderen Einrichtungen als der Einrichtung 3602 (z. B. Einrichtungen an einem anderen Standort) trainiert worden sein. In mindestens einer Ausführungsform können die maschinellen Lernmodelle auf Bildgebungsdaten von einem Standort, zwei Standorten oder einer beliebigen Anzahl von Standorten trainiert worden sein. In mindestens einer Ausführungsform kann das Training mit Bildgebungsdaten eines bestimmten Standorts an diesem Standort oder mindestens in einer Weise stattfinden, die die Vertraulichkeit der Bildgebungsdaten schützt oder die Übertragung von Bildgebungsdaten außerhalb des Standorts einschränkt (z. B. zur Einhaltung von HIPAA-Vorschriften, Datenschutzbestimmungen usw.). In mindestens einer Ausführungsform kann ein Modell des maschinellen Lernens, sobald es an einem Ort trainiert - oder teilweise trainiert - wurde, zum Modellregister 3624 hinzugefügt werden. In mindestens einer Ausführungsform kann ein maschinelles Lernmodell dann an einer beliebigen Anzahl anderer Einrichtungen neu trainiert oder aktualisiert werden, und ein neu trainiertes oder aktualisiertes Modell kann in der Modellregister 3624 verfügbar gemacht werden. In mindestens einer Ausführungsform kann dann ein maschinelles Lernmodell aus dem Modellregister 3624 ausgewählt - und als Ausgabemodell 3616 bezeichnet - werden und im Einsatzsystem 3606 verwendet werden, um eine oder mehrere Verarbeitungsaufgaben für eine oder mehrere Anwendungen eines Einsatzsystems durchzuführen.
  • In mindestens einer Ausführungsform kann die Trainingspipeline 3704 (37) in einem Szenario verwendet werden, in dem die Einrichtung 3602 ein maschinelles Lernmodell zur Verwendung bei der Durchführung einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Einsatzsystem 3606 benötigt, die Einrichtung 3602 aber möglicherweise derzeit nicht über ein solches maschinelles Lernmodell verfügt (oder nicht über ein Modell, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform könnte ein aus dem Modellregister 3624 ausgewähltes maschinelles Lernmodell aufgrund von Unterschieden in den Populationen, genetischen Variationen, der Robustheit der zum Trainieren eines maschinellen Lernmodells verwendeten Trainingsdaten, der Vielfalt der Anomalien in den Trainingsdaten und/oder anderer Probleme mit den Trainingsdaten nicht für die in der Einrichtung 3602 erzeugten Bildgebungsdaten 3608 feinabgestimmt oder optimiert sein. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 3610 zur Unterstützung bei der Erzeugung von Annotationen verwendet werden, die den Bildgebungsdaten 3608 entsprechen, die als Basisdaten für das Neutrainieren oder Aktualisieren eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform können markierte Klinikdaten 3612 (z. B. Annotationen, die von einem Kliniker, Arzt, Wissenschaftler usw. bereitgestellt werden) als Ground-Truth-Daten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann das Umlernen oder Aktualisieren eines maschinellen Lernmodells als Modelltraining 3614 bezeichnet werden. In mindestens einer Ausführungsform kann die Modellschulung 3614 - z. B. KI-unterstützte Annotationen 3610, markierte Klinikdaten 3612 oder eine Kombination davon - als Ground-Truth-Daten für die Umschulung oder Aktualisierung eines maschinellen Lernmodells verwendet werden.
  • In mindestens einer Ausführungsform kann das Bereitstellungssystem 3606 Software 3618, Dienste 3620, Hardware 3622 und/oder andere Komponenten, Merkmale und Funktionen enthalten. In mindestens einer Ausführungsform kann das Bereitstellungssystem 3606 einen Software-„Stack“ enthalten, so dass die Software 3618 auf den Diensten 3620 aufgebaut sein kann und die Dienste 3620 zur Ausführung einiger oder aller Verarbeitungsaufgaben verwenden kann, und die Dienste 3620 und die Software 3618 können auf der Hardware 3622 aufgebaut sein und die Hardware 3622 zur Ausführung von Verarbeitungs-, Speicher- und/oder anderen Rechenaufgaben des Bereitstellungssystems 3606 verwenden.
  • In mindestens einer Ausführungsform kann die Software 3618 eine beliebige Anzahl von verschiedenen Containern enthalten, wobei jeder Container eine Instanziierung einer Anwendung ausführen kann. In mindestens einer Ausführungsform kann jede Anwendung eine oder mehrere Verarbeitungsaufgaben in einer hochentwickelten Verarbeitungs- und Schlussfolgerungspipeline durchführen (z. B. Schlussfolgerung, Objekterkennung, Merkmalserkennung, Segmentierung, Bildverbesserung, Kalibrierung usw.). In mindestens einer Ausführungsform kann es für jede Art von Bildgebungsgerät (z. B. CT, MRI, Röntgen, Ultraschall, Sonografie, Echokardiografie usw.), Sequenzierungsgerät, Radiologiegerät, Genomikgerät usw. eine beliebige Anzahl von Containern geben, die eine Datenverarbeitungsaufgabe in Bezug auf die von einem Gerät erzeugten Bildgebungsdaten 3608 (oder andere Datentypen, wie die hierin beschriebenen) durchführen können. In mindestens einer Ausführungsform kann eine erweiterte Verarbeitungs- und Inferenzpipeline basierend auf der Auswahl verschiedener Container definiert werden, die für die Verarbeitung von Bilddaten 3608 erwünscht oder erforderlich sind, zusätzlich zu Containern, die Bilddaten zur Verwendung durch jeden Container und/oder zur Verwendung durch die Einrichtung 3602 nach der Verarbeitung durch eine Pipeline empfangen und konfigurieren (z. B. (z. B. zur Rückkonvertierung von Ausgaben in einen verwendbaren Datentyp, wie DICOM-Daten (Digital Imaging and Communications in Medicine), RIS-Daten (Radiology Information System), CIS-Daten (Clinical Information System), RPC-Daten (Remote Procedure Call), Daten, die im Wesentlichen mit einer REST-Schnittstelle (Representation State Transfer) konform sind, Daten, die im Wesentlichen mit einer dateibasierten Schnittstelle konform sind, und/oder Rohdaten, zur Speicherung und Angabe in der Einrichtung 3602). In mindestens einer Ausführungsform kann eine Kombination von Containern innerhalb der Software 3618 (die z. B. eine Pipeline bilden) als virtuelles Instrument bezeichnet werden (wie hierin ausführlicher beschrieben), und ein virtuelles Instrument kann Dienste 3620 und Hardware 3622 nutzen, um einige oder alle Verarbeitungsaufgaben von in Containern instanziierten Anwendungen auszuführen.
  • In mindestens einer Ausführungsform kann eine Datenverarbeitungspipeline Eingabedaten (z. B. Bildgebungsdaten 3608) in einem DICOM-, RIS-, CIS-, REST-konformen, RPC-, Roh- und/oder anderen Format als Reaktion auf eine Inferenzanforderung (z. B. eine Anforderung von einem Benutzer des Bereitstellungssystems 3606, wie einem Kliniker, einem Arzt, einem Radiologen usw.) empfangen. In mindestens einer Ausführungsform können die Eingabedaten ein oder mehrere Bilder, Videos und/oder andere Datendarstellungen darstellen, die von einem oder mehreren Bildgebungsgeräten, Sequenzierungsgeräten, Radiologiegeräten, Genomikgeräten und/oder anderen Gerätetypen erzeugt werden. In mindestens einer Ausführungsform können die Daten als Teil der Datenverarbeitungspipeline einer Vorverarbeitung unterzogen werden, um die Daten für die Verarbeitung durch eine oder mehrere Anwendungen vorzubereiten. In mindestens einer Ausführungsform kann eine Nachverarbeitung an einer Ausgabe einer oder mehrerer Inferenzaufgaben oder anderer Verarbeitungsaufgaben einer Pipeline durchgeführt werden, um Ausgabedaten für eine nächste Anwendung vorzubereiten und/oder um Ausgabedaten für die Übertragung und/oder Verwendung durch einen Benutzer vorzubereiten (z. B. als Antwort auf eine Inferenzanforderung). In mindestens einer Ausführungsform können Inferenzaufgaben von einem oder mehreren maschinellen Lernmodellen durchgeführt werden, wie z. B. von trainierten oder eingesetzten neuronalen Netzen, die Ausgabemodelle 3616 des Trainingssystems 3604 enthalten können.
  • In mindestens einer Ausführungsform können Aufgaben der Datenverarbeitungspipeline in einem oder mehreren Containern gekapselt werden, die jeweils eine diskrete, voll funktionsfähige Instanziierung einer Anwendung und einer virtualisierten Rechenumgebung darstellen, die in der Lage ist, Modelle für maschinelles Lernen zu referenzieren. In mindestens einer Ausführungsform können Container oder Anwendungen in einem privaten (z. B. zugangsbeschränkten) Bereich einer Containerregistrierung (hierin ausführlicher beschrieben) veröffentlicht werden, und trainierte oder eingesetzte Modelle können in der Modellregister 3624 gespeichert und mit einer oder mehreren Anwendungen verknüpft werden. In mindestens einer Ausführungsform können Bilder von Anwendungen (z. B. Container-Images) in einer Container-Registry verfügbar sein, und sobald sie von einem Benutzer aus einer Container-Registry für den Einsatz in einer Pipeline ausgewählt wurden, kann ein Image verwendet werden, um einen Container für eine Instanziierung einer Anwendung zur Verwendung durch das System eines Benutzers zu erzeugen.
  • In mindestens einer Ausführungsform können Entwickler (z. B. Softwareentwickler, Kliniker, Ärzte usw.) Anwendungen (z. B. in Form von Containern) entwickeln, veröffentlichen und speichern, um Bildverarbeitung und/oder Inferenz auf bereitgestellte Daten durchzuführen. In mindestens einer Ausführungsform kann die Entwicklung, Veröffentlichung und/oder Speicherung unter Verwendung eines Softwareentwicklungskits (SDK) erfolgen, das mit einem System verbunden ist (z. B. um sicherzustellen, dass eine entwickelte Anwendung und/oder ein entwickelter Container mit einem System konform oder kompatibel ist). In mindestens einer Ausführungsform kann eine entwickelte Anwendung lokal (z. B. in einer ersten Einrichtung, mit Daten aus einer ersten Einrichtung) mit einem SDK getestet werden, das mindestens einige der Dienste 3620 als System unterstützen kann (z. B. System 3700 der 37). Da DICOM-Objekte zwischen einem und Hunderten von Bildern oder anderen Datentypen enthalten können, kann in mindestens einer Ausführungsform ein Entwickler dafür verantwortlich sein, die Extraktion und Aufbereitung eingehender DICOM-Daten zu verwalten (z. B. Konstrukte festzulegen, Vorverarbeitungen in eine Anwendung einzubauen usw.). In mindestens einer Ausführungsform kann eine Anwendung nach ihrer Validierung durch das System 3700 (z. B. hinsichtlich Genauigkeit, Sicherheit, Datenschutz für Patienten usw.) in einem Container-Register zur Auswahl und/oder Implementierung durch einen Benutzer (z. B. ein Krankenhaus, eine Klinik, ein Labor, einen Gesundheitsdienstleister usw.) verfügbar sein, um eine oder mehrere Verarbeitungsaufgaben in Bezug auf Daten in einer Einrichtung (z. B. einer zweiten Einrichtung) eines Benutzers durchzuführen.
  • In mindestens einer Ausführungsform können Entwickler dann Anwendungen oder Container über ein Netzwerk für den Zugriff und die Verwendung durch Benutzer eines Systems freigeben (z. B. System 3700 der 37). In mindestens einer Ausführungsform können fertige und validierte Anwendungen oder Container in einem Containerregister und zugehörige Modelle für maschinelles Lernen im Modellregister 3624 gespeichert werden. In mindestens einer Ausführungsform kann eine anfragende Einheit (z. B. ein Benutzer in einer medizinischen Einrichtung), die eine Inferenz- oder Bildverarbeitungsanforderung stellt, ein Containerregister und/oder Modellregister 3624 nach einer Anwendung, einem Container, einem Datensatz, einem maschinellen Lernmodell usw. durchsuchen, eine gewünschte Kombination von Elementen zur Aufnahme in die Datenverarbeitungspipeline auswählen und eine Bildverarbeitungsanforderung übermitteln. In mindestens einer Ausführungsform kann eine Anforderung Eingabedaten (und in einigen Beispielen zugehörige Patientendaten) enthalten, die zur Durchführung einer Anforderung erforderlich sind, und/oder eine Auswahl von Anwendungen und/oder maschinellen Lernmodellen, die bei der Verarbeitung einer Anforderung ausgeführt werden sollen. In mindestens einer Ausführungsform kann eine Anforderung dann an eine oder mehrere Komponenten des Bereitstellungssystems 3606 (z. B. eine Cloud) weitergeleitet werden, um die Verarbeitung der Datenverarbeitungspipeline durchzuführen. In mindestens einer Ausführungsform kann die Verarbeitung durch das Bereitstellungssystem 3606 die Referenzierung ausgewählter Elemente (z. B. Anwendungen, Container, Modelle usw.) aus einer Containerregistrierung und/oder Modellregister 3624 umfassen. In mindestens einer Ausführungsform können die Ergebnisse, sobald sie von einer Pipeline erzeugt wurden, an einen Benutzer als Referenz zurückgegeben werden (z. B. zur Angabe in einer Anzeigeanwendungssuite, die auf einer lokalen, vor Ort befindlichen Workstation oder einem Terminal ausgeführt wird). In mindestens einer Ausführungsform kann ein Radiologe Ergebnisse von einer Datenverarbeitungspipeline erhalten, die eine beliebige Anzahl von Anwendungen und/oder Containern enthält, wobei die Ergebnisse die Erkennung von Anomalien in Röntgenbildern, CT-Scans, MRTs usw. umfassen können.
  • In mindestens einer Ausführungsform können zur Unterstützung der Verarbeitung oder Ausführung von Anwendungen oder Containern in Pipelines Dienste 3620 genutzt werden. In mindestens einer Ausführungsform können die Dienste 3620 Rechendienste, Dienste für künstliche Intelligenz (KI), Visualisierungsdienste und/oder andere Diensttypen umfassen. In mindestens einer Ausführungsform können die Dienste 3620 Funktionen bereitstellen, die einer oder mehreren Anwendungen in der Software 3618 gemeinsam sind, so dass die Funktionen zu einem Dienst abstrahiert werden können, der von Anwendungen aufgerufen oder genutzt werden kann. In mindestens einer Ausführungsform kann die von den Diensten 3620 bereitgestellte Funktionalität dynamisch und effizienter ablaufen und gleichzeitig gut skalieren, indem sie Anwendungen die parallele Verarbeitung von Daten ermöglicht (z. B. unter Verwendung einer Parallelrechenplattform 3730 (37)). In mindestens einer Ausführungsform muss nicht jede Anwendung, die dieselbe von einem Dienst 3620 angebotene Funktionalität nutzt, über eine eigene Instanz des Dienstes 3620 verfügen, sondern der Dienst 3620 kann von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Dienste einen Inferenzserver oder eine Inferenz-Engine umfassen, der/die zur Ausführung von Erkennungs- oder Segmentierungsaufgaben verwendet werden kann. In mindestens einer Ausführungsform kann ein Modellschulungsdienst enthalten sein, der die Schulung und/oder Umschulung von Modellen des maschinellen Lernens ermöglicht. In mindestens einer Ausführungsform kann ferner ein Datenerweiterungsdienst enthalten sein, der GPU-beschleunigte Daten (z. B. DICOM, RIS, CIS, REST-konforme Daten, RPC, Rohdaten usw.) extrahieren, in der Größe verändern, skalieren und/oder andere Erweiterungen vornehmen kann. In mindestens einer Ausführungsform kann ein Visualisierungsdienst verwendet werden, der Bildwiedergabeeffekte - wie Raytracing, Rasterung, Rauschunterdrückung, Schärfung usw. - hinzufügen kann. - um zweidimensionalen (2D) und/oder dreidimensionalen (3D) Modellen mehr Realismus zu verleihen. In mindestens einer Ausführungsform können Dienste für virtuelle Instrumente enthalten sein, die Strahlformung, Segmentierung, Inferenz, Bildgebung und/oder Unterstützung für andere Anwendungen innerhalb von Pipelines virtueller Instrumente bieten.
  • In mindestens einer Ausführungsform, in der ein Dienst 3620 einen KI-Dienst (z. B. einen Inferenzdienst) umfasst, können ein oder mehrere maschinelle Lernmodelle, die mit einer Anwendung zur Erkennung von Anomalien (z. B. Tumoren, Wachstumsanomalien, Narbenbildung usw.) verbunden sind, ausgeführt werden, indem ein Inferenzdienst (z. B. ein Inferenzserver) aufgerufen wird (z. B. als API-Aufruf), um ein oder mehrere maschinelle Lernmodelle oder deren Verarbeitung als Teil der Anwendungsausführung auszuführen. In mindestens einer Ausführungsform, in der eine andere Anwendung ein oder mehrere maschinelle Lernmodelle für Segmentierungsaufgaben enthält, kann eine Anwendung einen Inferenzdienst aufrufen, um maschinelle Lernmodelle auszuführen, um eine oder mehrere der mit Segmentierungsaufgaben verbundenen Verarbeitungsoperationen durchzuführen. In mindestens einer Ausführungsform kann die Software 3618, die eine fortgeschrittene Verarbeitungs- und Inferenzpipeline implementiert, die eine Segmentierungsanwendung und eine Anomalieerkennungsanwendung umfasst, rationalisiert werden, da jede Anwendung denselben Inferenzdienst zur Durchführung einer oder mehrerer Inferenzaufgaben aufrufen kann.
  • In mindestens einer Ausführungsform kann die Hardware 3622 GPUs, CPUs, Grafikkarten, ein KI/Deep-Learning-System (z. B. ein KI-Supercomputer wie das DGX-Supercomputersystem von NVIDIA), eine Cloud-Plattform oder eine Kombination davon umfassen. In mindestens einer Ausführungsform können verschiedene Arten von Hardware 3622 verwendet werden, um eine effiziente, zweckgebundene Unterstützung für Software 3618 und Dienste 3620 im Bereitstellungssystem 3606 bereitzustellen. In mindestens einer Ausführungsform kann die Verwendung von GPU-Verarbeitung für die Verarbeitung lokal (z. B. in der Einrichtung 3602), innerhalb eines KI/Deep-Learning-Systems, in einem Cloud-System und/oder in anderen Verarbeitungskomponenten des Bereitstellungssystems 3606 implementiert werden, um die Effizienz, Genauigkeit und Wirksamkeit von Bildverarbeitung, Bildrekonstruktion, Segmentierung, MRT-Untersuchungen, Schlaganfall- oder Herzinfarkt-Erkennung (z. B. in Echtzeit), Bildqualität beim Rendern usw. zu verbessern. In mindestens einer Ausführungsform kann eine Einrichtung bildgebende Geräte, Genomikgeräte, Sequenzierungsgeräte und/oder andere Gerätetypen vor Ort umfassen, die GPUs nutzen können, um bildgebende Daten zu erzeugen, die für die Anatomie eines Patienten repräsentativ sind.
  • In mindestens einer Ausführungsform können die Software 3618 und/oder die Dienste 3620 für die GPU-Verarbeitung im Hinblick auf Deep Learning, maschinelles Lernen und/oder Hochleistungsrechnen optimiert sein, als nicht einschränkende Beispiele. In mindestens einer Ausführungsform kann mindestens ein Teil der Rechenumgebung des Bereitstellungssystems 3606 und/oder des Schulungssystems 3604 in einem Rechenzentrum auf einem oder mehreren Supercomputern oder Hochleistungsrechnern mit GPU-optimierter Software (z. B. einer Hardware- und Softwarekombination des DGX-Systems von NVIDIA) ausgeführt werden. In mindestens einer Ausführungsform können die Rechenzentren den Bestimmungen des HIPAA entsprechen, so dass der Empfang, die Verarbeitung und die Übertragung von Bildgebungsdaten und/oder anderen Patientendaten im Hinblick auf den Schutz der Patientendaten sicher gehandhabt wird. In mindestens einer Ausführungsform kann die Hardware 3622 eine beliebige Anzahl von GPUs umfassen, die zur parallelen Verarbeitung von Daten, wie hier beschrieben, herangezogen werden können. In mindestens einer Ausführungsform kann die Cloud-Plattform außerdem eine GPU-Verarbeitung für die GPU-optimierte Ausführung von Deep-Learning-Aufgaben, maschinellen Lernaufgaben oder anderen Rechenaufgaben umfassen. In mindestens einer Ausführungsform kann die Cloud-Plattform (z. B. NVIDIAs NGC) unter Verwendung von KI/Deep-Learning-Supercomputern und/oder GPU-optimierter Software (z. B. wie auf NVIDIAs DGX-Systemen) als Hardware-Abstraktions- und Skalierungsplattform ausgeführt werden. In mindestens einer Ausführungsform kann die Cloud-Plattform ein Anwendungscontainer-Clustering-System oder ein Orchestrierungssystem (z. B. KUBERNETES) auf mehreren GPUs integrieren, um eine nahtlose Skalierung und Lastverteilung zu ermöglichen.
  • In mindestens einer Ausführungsform wird mindestens eine in 36 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst das Trainingssystem 3604 und/oder das Bereitstellungssystem 3606 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert das Trainingssystem 3604 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt das Einsatzsystem 3606 mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • 37 ist ein Systemdiagramm für ein Beispielsystem 3700 zum Erzeugen und Bereitstellen einer Bildverarbeitungsbereitstellungspipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 3700 verwendet werden, um den Prozess 3600 der 36 und/oder andere Prozesse einschließlich fortgeschrittener Verarbeitungs- und Inferenzpipelines zu implementieren. In mindestens einer Ausführungsform kann das System 3700 das Schulungssystem 3604 und das Einsatzsystem 3606 umfassen. In mindestens einer Ausführungsform können das Schulungssystem 3604 und das Bereitstellungssystem 3606 unter Verwendung von Software 3618, Diensten 3620 und/oder Hardware 3622, wie hierin beschrieben, implementiert werden.
  • In mindestens einer Ausführungsform kann das System 3700 (z. B. das Schulungssystem 3604 und/oder das Einsatzsystem 3606) in einer Cloud-Computing-Umgebung implementiert werden (z. B. unter Verwendung der Cloud 3726). In mindestens einer Ausführungsform kann das System 3700 lokal in Bezug auf eine Einrichtung des Gesundheitswesens oder als eine Kombination aus Cloud- und lokalen Rechenressourcen implementiert werden. In mindestens einer Ausführungsform können in Ausführungsformen, in denen Cloud Computing implementiert ist, Patientendaten von einer oder mehreren Komponenten des Systems 3700 abgetrennt oder von diesen nicht verarbeitet werden, was dazu führen würde, dass die Verarbeitung nicht mit dem HIPAA und/oder anderen Datenhandhabungs- und Datenschutzvorschriften oder -gesetzen übereinstimmt. In mindestens einer Ausführungsform kann der Zugriff auf APIs in der Cloud 3726 durch festgelegte Sicherheitsmaßnahmen oder -protokolle auf autorisierte Benutzer beschränkt werden. In mindestens einer Ausführungsform kann ein Sicherheitsprotokoll Web-Token enthalten, die von einem Authentifizierungsdienst (z. B. AuthN, AuthZ, Gluecon usw.) signiert werden und eine entsprechende Autorisierung enthalten können. In mindestens einer Ausführungsform können APIs virtueller Instrumente (wie hier beschrieben) oder andere Instanzen des Systems 3700 auf eine Reihe öffentlicher IPs beschränkt sein, die für die Interaktion überprüft oder autorisiert wurden.
  • In mindestens einer Ausführungsform können verschiedene Komponenten des Systems 3700 unter Verwendung einer Vielzahl verschiedener Netzwerktypen, einschließlich, aber nicht beschränkt auf lokale Netze (LANs) und/oder Weitverkehrsnetze (WANs), über verdrahtete und/oder drahtlose Kommunikationsprotokolle miteinander kommunizieren. In mindestens einer Ausführungsform kann die Kommunikation zwischen Einrichtungen und Komponenten des Systems 3700 (z. B. zum Übertragen von Ableitungsanforderungen, zum Empfangen von Ergebnissen von Ableitungsanforderungen usw.) über einen Datenbus oder Datenbusse, drahtlose Datenprotokolle (Wi-Fi), verdrahtete Datenprotokolle (z. B. Ethernet) usw. erfolgen.
  • In mindestens einer Ausführungsform kann das Trainingssystem 3604 Trainingspipelines 3704 ausführen, ähnlich denen, die hier in Bezug auf 36 beschrieben sind. In mindestens einer Ausführungsform, in der ein oder mehrere maschinelle Lernmodelle in Bereitstellungspipelines 3710 durch das Bereitstellungssystem 3606 verwendet werden sollen, können die Trainingspipelines 3704 verwendet werden, um ein oder mehrere (z. B. vortrainierte) Modelle zu trainieren oder neu zu trainieren und/oder ein oder mehrere vortrainierte Modelle 3706 zu implementieren (z. B. ohne die Notwendigkeit einer erneuten Schulung oder Aktualisierung). In mindestens einer Ausführungsform können als Ergebnis der Trainings-Pipelines 3704 Ausgabemodell(e) 3616 erzeugt werden. In mindestens einer Ausführungsform können die Trainings-Pipelines 3704 eine beliebige Anzahl von Verarbeitungsschritten umfassen, wie z. B. die Konvertierung oder Anpassung von Bilddaten (oder anderen Eingabedaten) (z. B. (z. B. unter Verwendung des DICOM-Adapters 3702A zur Konvertierung von DICOM-Bildern in ein anderes Format, das für die Verarbeitung durch entsprechende maschinelle Lernmodelle geeignet ist, wie z. B. das Format der Neuroimaging Informatics Technology Initiative (NIfTI)), die KI-gestützte Annotation 3610, die Beschriftung oder Annotation von Bilddaten 3608 zur Erzeugung von beschrifteten Klinikdaten 3612, die Modellauswahl aus einem Modellregister, das Modelltraining 3614, das Training, die Umschulung oder Aktualisierung von Modellen und/oder andere Verarbeitungsschritte. In mindestens einer Ausführungsform können für verschiedene maschinelle Lernmodelle, die vom Einsatzsystem 3606 verwendet werden, verschiedene Trainingspipelines 3704 verwendet werden. In mindestens einer Ausführungsform kann für ein erstes maschinelles Lernmodell eine Trainingspipeline 3704 verwendet werden, die einem ersten Beispiel ähnlich ist, das in Bezug auf 36 beschrieben ist, für ein zweites maschinelles Lernmodell kann eine Trainingspipeline 3704 verwendet werden, die einem zweiten Beispiel ähnlich ist, das in Bezug auf 36 beschrieben ist, und für ein drittes maschinelles Lernmodell kann eine Trainingspipeline 3704 verwendet werden. In mindestens einer Ausführungsform kann eine beliebige Kombination von Aufgaben innerhalb des Schulungssystems 3604 verwendet werden, je nachdem, was für jedes jeweilige maschinelle Lernmodell erforderlich ist. In mindestens einer Ausführungsform können eines oder mehrere der maschinellen Lernmodelle bereits trainiert und einsatzbereit sein, so dass die maschinellen Lernmodelle keiner Verarbeitung durch das Trainingssystem 3604 unterzogen und durch das Einsatzsystem 3606 implementiert werden können.
  • In mindestens einer Ausführungsform können das/die Ausgabemodell(e) 3616 und/oder das/die vortrainierte(n) Modell(e) 3706 alle Arten von maschinellen Lernmodellen umfassen, je nach Implementierung oder Ausführungsform. In mindestens einer Ausführungsform und ohne Einschränkung können die vom System 3700 verwendeten maschinellen Lernmodelle maschinelle Lernmodelle unter Verwendung von linearer Regression, logistischer Regression, Entscheidungsbäumen, Support-Vektor-Maschinen (SVM), Naive Bayes, k-nächster Nachbar (Knn), K-Mittel-Clustering, Random Forest, Dimensionalitätsreduktionsalgorithmen, Gradient-Boosting-Algorithmen, neuronalen Netzen (z. B. Autocodierer, Faltungsalgorithmen, rekurrente Algorithmen, Perceptrons, Long/Short Term Memory (LSTM), Hopfield, Boltzmann, Deep Belief, Deconvolutional, Generative Adversarial, Liquid State Machine usw.) und/oder andere Arten von maschinellen Lernmodellen.
  • In mindestens einer Ausführungsform können die Trainingspipelines 3704 eine KI-gestützte Annotation umfassen, wie hierin in Bezug auf mindestens 40B ausführlicher beschrieben. In mindestens einer Ausführungsform können markierte Klinikdaten 3612 (z. B. herkömmliche Beschriftungen) durch eine beliebige Anzahl von Techniken erzeugt werden. In mindestens einer Ausführungsform können Beschriftungen oder andere Annotationen in einem Zeichenprogramm (z. B. einem Annotationsprogramm), einem CAD-Programm (Computer Aided Design), einem Beschriftungsprogramm oder einer anderen Art von Programm erzeugt werden, das zur Erzeugung von Annotationen oder Beschriftungen für die Grundwahrheit geeignet ist, und/oder in einigen Beispielen von Hand gezeichnet werden. In mindestens einer Ausführungsform können die Ground-Truth-Daten synthetisch erzeugt werden (z. B. aus Computermodellen oder Renderings), real erzeugt werden (z. B. aus realen Daten entworfen und erzeugt werden), maschinell automatisiert werden (z. B. unter Verwendung von Merkmalsanalyse und Lernen, um Merkmale aus Daten zu extrahieren und dann Beschriftungen zu erzeugen), von Menschen beschriftet werden (z. B. legt ein Beschriftungsexperte die Position der Beschriftungen fest) und/oder eine Kombination davon. In mindestens einer Ausführungsform kann es für jede Instanz von Bilddaten 3608 (oder anderen Datentypen, die von maschinellen Lernmodellen verwendet werden) entsprechende Ground-Truth-Daten geben, die vom Trainingssystem 3604 erzeugt werden. In mindestens einer Ausführungsform kann die KI-gestützte Annotation als Teil der Einsatzpipelines 3710 durchgeführt werden; entweder zusätzlich zu oder anstelle der KI-gestützten Annotation, die in den Trainingspipelines 3704 enthalten ist. In mindestens einer Ausführungsform kann das System 3700 eine mehrschichtige Plattform umfassen, die eine Softwareschicht (z. B. Software 3618) von Diagnoseanwendungen (oder anderen Anwendungstypen) enthalten kann, die eine oder mehrere medizinische Bildgebungs- und Diagnosefunktionen ausführen können. In mindestens einer Ausführungsform kann das System 3700 kommunikativ (z. B. über verschlüsselte Verbindungen) mit PACS-Servernetzwerken einer oder mehrerer Einrichtungen verbunden sein. In mindestens einer Ausführungsform kann das System 3700 so konfiguriert sein, dass es auf Daten (z. B. DICOM-Daten, RIS-Daten, Rohdaten, CIS-Daten, REST-konforme Daten, RPC-Daten, Rohdaten usw.) von PACS-Servern zugreift und diese referenziert (z. B. über einen DICOM-Adapter 3702 oder einen anderen Datentypadapter wie RIS, CIS, REST-konforme Daten, RPC, Rohdaten usw.), um Operationen wie das Trainieren von Modellen des maschinellen Lernens, den Einsatz von Modellen des maschinellen Lernens, die Bildverarbeitung, Inferenz und/oder andere Operationen durchzuführen.
  • In mindestens einer Ausführungsform kann eine Softwareschicht als sicheres, verschlüsseltes und/oder authentifiziertes API implementiert werden, über das Anwendungen oder Container von einer oder mehreren externen Umgebungen (z. B. Einrichtung 3602) aufgerufen werden können. In mindestens einer Ausführungsform können Anwendungen dann einen oder mehrere Dienste 3620 zur Durchführung von Rechen-, KI- oder Visualisierungsaufgaben im Zusammenhang mit den jeweiligen Anwendungen aufrufen oder ausführen, und die Software 3618 und/oder die Dienste 3620 können die Hardware 3622 nutzen, um Verarbeitungsaufgaben auf effektive und effiziente Weise durchzuführen.
  • In mindestens einer Ausführungsform kann das Bereitstellungssystem 3606 Bereitstellungspipelines 3710 ausführen. In mindestens einer Ausführungsform können Bereitstellungspipelines 3710 eine beliebige Anzahl von Anwendungen enthalten, die sequentiell, nicht sequentiell oder auf andere Weise auf Bildgebungsdaten (und/oder andere Datentypen) angewendet werden können, die von Bildgebungsgeräten, Sequenzierungsgeräten, Genomikgeräten usw. erzeugt werden. - einschließlich KI-gestützter Annotation, wie oben beschrieben. In mindestens einer hier beschriebenen Ausführungsform kann eine Bereitstellungspipeline 3710 für ein einzelnes Gerät als virtuelles Instrument für ein Gerät bezeichnet werden (z. B. ein virtuelles Ultraschallinstrument, ein virtuelles CT-Scan-Instrument, ein virtuelles Sequenzierungsinstrument usw.). In mindestens einer Ausführungsform kann es für ein einzelnes Gerät mehr als eine Einsatzpipeline 3710 geben, je nachdem, welche Informationen aus den von einem Gerät erzeugten Daten gewünscht werden. In mindestens einer Ausführungsform kann es eine erste Bereitstellungspipeline 3710 geben, wenn die Erkennung von Anomalien von einem MRT-Gerät gewünscht wird, und eine zweite Bereitstellungspipeline 3710, wenn eine Bildverbesserung von der Ausgabe eines MRT-Geräts gewünscht wird.
  • In mindestens einer Ausführungsform können die für die Bereitstellungspipelines 3710 verfügbaren Anwendungen alle Anwendungen umfassen, die für die Verarbeitung von Bilddaten oder anderen Daten von Geräten verwendet werden können. In mindestens einer Ausführungsform können verschiedene Anwendungen für Bildverbesserung, Segmentierung, Rekonstruktion, Anomalieerkennung, Objekterkennung, Merkmalserkennung, Behandlungsplanung, Dosimetrie, Strahlenplanung (oder andere Strahlenbehandlungsverfahren) und/oder andere Analyse-, Bildverarbeitungs- oder Inferenzaufgaben zuständig sein. In mindestens einer Ausführungsform kann das Bereitstellungssystem 3606 Konstrukte für jede der Anwendungen definieren, so dass die Benutzer des Bereitstellungssystems 3606 (z. B. medizinische Einrichtungen, Labore, Kliniken usw.) die Konstrukte verstehen und die Anwendungen für die Implementierung innerhalb ihrer jeweiligen Einrichtung anpassen können. In mindestens einer Ausführungsform kann eine Anwendung zur Bildrekonstruktion für die Aufnahme in die Bereitstellungspipeline 3710 ausgewählt werden, aber der von einem bildgebenden Gerät erzeugte Datentyp kann sich von einem in einer Anwendung verwendeten Datentyp unterscheiden. In mindestens einer Ausführungsform kann der DICOM-Adapter 3702B (und/oder ein DICOM-Lesegerät) oder ein anderer Datentyp-Adapter oder ein anderes Lesegerät (z. B. RIS, CIS, REST-konform, RPC, raw usw.) in der Bereitstellungspipeline 3710 verwendet werden, um Daten in eine Form zu konvertieren, die von einer Anwendung im Bereitstellungssystem 3606 verwendet werden kann. In mindestens einer Ausführungsform kann der Zugriff auf DICOM-, RIS-, CIS-, REST-konforme, RPC-, Rohdaten- und/oder andere Datentypbibliotheken akkumuliert und vorverarbeitet werden, einschließlich der Dekodierung, Extraktion und/oder Durchführung von Faltungen, Farbkorrekturen, Schärfe, Gamma und/oder anderen Erweiterungen der Daten. In mindestens einer Ausführungsform können DICOM-, RIS-, CIS-, REST-konforme, RPC- und/oder Rohdaten ungeordnet sein und ein Vorlauf kann ausgeführt werden, um die gesammelten Daten zu organisieren oder zu sortieren. Da in mindestens einer Ausführungsform verschiedene Anwendungen gemeinsame Bildoperationen durchführen können, kann in einigen Ausführungsformen eine Datenerweiterungsbibliothek (z. B. als einer der Dienste 3620) verwendet werden, um diese Operationen zu beschleunigen. In mindestens einer Ausführungsform kann zur Vermeidung von Engpässen bei herkömmlichen Verarbeitungsansätzen, die sich auf die CPU-Verarbeitung stützen, eine parallele Rechenplattform 3730 zur GPU-Beschleunigung dieser Verarbeitungsaufgaben verwendet werden.
  • In mindestens einer Ausführungsform kann eine Bildrekonstruktionsanwendung eine Verarbeitungsaufgabe umfassen, die die Verwendung eines maschinellen Lernmodells beinhaltet. In mindestens einer Ausführungsform kann ein Benutzer sein eigenes maschinelles Lernmodell verwenden oder ein maschinelles Lernmodell aus der Modellregister 3624 auswählen. In mindestens einer Ausführungsform kann ein Benutzer sein eigenes maschinelles Lernmodell implementieren oder ein maschinelles Lernmodell zur Aufnahme in eine Anwendung zur Durchführung einer Verarbeitungsaufgabe auswählen. In mindestens einer Ausführungsform können Anwendungen auswählbar und anpassbar sein, und durch die Definition von Konstrukten von Anwendungen wird die Bereitstellung und Implementierung von Anwendungen für einen bestimmten Benutzer als eine nahtlosere Benutzererfahrung dargestellt. In mindestens einer Ausführungsform können Entwicklungspipelines 3710 durch die Nutzung anderer Merkmale des Systems 3700 - wie Dienste 3620 und Hardware 3622 - noch benutzerfreundlicher sein, eine einfachere Integration ermöglichen und genauere, effizientere und zeitgerechtere Ergebnisse liefern.
  • In mindestens einer Ausführungsform kann das Bereitstellungssystem 3606 eine Benutzerschnittstelle 3714 (z. B. eine grafische Benutzerschnittstelle, eine Webschnittstelle usw.) enthalten, die verwendet werden kann, um Anwendungen zur Aufnahme in die Bereitstellungspipeline(s) 3710 auszuwählen, Anwendungen anzuordnen, Anwendungen oder Parameter oder Konstrukte davon zu modifizieren oder zu ändern, die Bereitstellungspipeline(s) 3710 während der Einrichtung und/oder Bereitstellung zu verwenden und mit ihr zu interagieren und/oder anderweitig mit dem Bereitstellungssystem 3606 zu interagieren. In mindestens einer Ausführungsform, die in Bezug auf das Schulungssystem 3604 nicht dargestellt ist, kann die Benutzerschnittstelle 3714 (oder eine andere Benutzerschnittstelle) zur Auswahl von Modellen für die Verwendung im Einsatzsystem 3606, zur Auswahl von Modellen für das Training oder das erneute Training im Schulungssystem 3604 und/oder für die sonstige Interaktion mit dem Schulungssystem 3604 verwendet werden.
  • In mindestens einer Ausführungsform kann der Pipeline-Manager 3712 zusätzlich zu einem Anwendungs-Orchestrierungssystem 3728 verwendet werden, um die Interaktion zwischen Anwendungen oder Containern der Bereitstellungspipeline(s) 3710 und Diensten 3620 und/oder Hardware 3622 zu verwalten. In mindestens einer Ausführungsform kann der Pipeline-Manager 3712 so konfiguriert sein, dass er die Interaktion von Anwendung zu Anwendung, von Anwendung zu Dienst 3620 und/oder von Anwendung oder Dienst zu Hardware 3622 erleichtert. In mindestens einer Ausführungsform ist der Pipeline-Manager 3712 in den Diensten 3620 enthalten, obwohl er als in der Software 3618 enthalten dargestellt ist, was jedoch nicht als Einschränkung zu verstehen ist, und in einigen Beispielen (z. B. wie in 38 dargestellt) kann der Pipeline-Manager 3712 in den Diensten 3620 enthalten sein. In mindestens einer Ausführungsform kann das Anwendungs-Orchestrierungssystem 3728 (z. B. Kubernetes, DOCKER usw.) ein Container-Orchestrierungssystem umfassen, das Anwendungen in Containern als logische Einheiten zur Koordination, Verwaltung, Skalierung und Bereitstellung gruppieren kann. In mindestens einer Ausführungsform kann durch die Zuordnung von Anwendungen aus der/den Bereitstellungspipeline(s) 3710 (z. B. eine Rekonstruktionsanwendung, eine Segmentierungsanwendung usw.) zu einzelnen Containern jede Anwendung in einer in sich geschlossenen Umgebung (z. B. auf Kernel-Ebene) ausgeführt werden, um die Geschwindigkeit und Effizienz zu erhöhen.
  • In mindestens einer Ausführungsform kann jede Anwendung und/oder jeder Container (oder ein Image davon) individuell entwickelt, modifiziert und bereitgestellt werden (z. B. kann ein erster Benutzer oder Entwickler eine erste Anwendung entwickeln, modifizieren und bereitstellen, und ein zweiter Benutzer oder Entwickler kann eine zweite Anwendung separat von einem ersten Benutzer oder Entwickler entwickeln, modifizieren und bereitstellen), was die Konzentration auf und die Aufmerksamkeit für eine Aufgabe einer einzelnen Anwendung und/oder eines einzelnen Containers ermöglichen kann, ohne durch Aufgaben einer anderen Anwendung oder eines anderen Containers behindert zu werden. In mindestens einer Ausführungsform kann die Kommunikation und Zusammenarbeit zwischen verschiedenen Containern oder Anwendungen durch den Pipeline-Manager 3712 und das Anwendungs-Orchestrierungssystem 3728 unterstützt werden. In mindestens einer Ausführungsform kann, solange eine erwartete Eingabe und/oder Ausgabe jedes Containers oder jeder Anwendung einem System bekannt ist (z. B. basierend auf von Konstrukten von Anwendungen oder Containern), das Anwendungs-Orchestrierungssystem 3728 und/oder der Pipeline-Manager 3712 die Kommunikation zwischen den Anwendungen oder Containern und die gemeinsame Nutzung von Ressourcen zwischen ihnen erleichtern. In mindestens einer Ausführungsform, da eine oder mehrere Anwendungen oder Container in der/den Bereitstellungspipeline(s) 3710 dieselben Dienste und Ressourcen gemeinsam nutzen können, kann das Anwendungsorchestrierungssystem 3728 die gemeinsame Nutzung von Diensten oder Ressourcen zwischen verschiedenen Anwendungen oder Containern orchestrieren, ausgleichen und bestimmen. In mindestens einer Ausführungsform kann ein Scheduler verwendet werden, um die Ressourcenanforderungen von Anwendungen oder Containern, die aktuelle oder geplante Nutzung dieser Ressourcen und die Ressourcenverfügbarkeit zu verfolgen. In mindestens einer Ausführungsform kann ein Scheduler auf diese Weise verschiedenen Anwendungen Ressourcen zuweisen und Ressourcen zwischen und unter Anwendungen im Hinblick auf die Anforderungen und die Verfügbarkeit eines Systems verteilen. In einigen Beispielen kann ein Scheduler (und/oder eine andere Komponente des Anwendungsorchestrierungssystems 3728) die Ressourcenverfügbarkeit und -verteilung basierend auf von Einschränkungen bestimmen, die einem System auferlegt werden (z. B. Benutzereinschränkungen), wie z. B. Dienstgüte (QoS), Dringlichkeit des Bedarfs an Datenausgaben (z. B. um zu bestimmen, ob Echtzeitverarbeitung oder verzögerte Verarbeitung ausgeführt werden soll) usw.
  • In mindestens einer Ausführungsform können die von Anwendungen oder Containern im Bereitstellungssystem 3606 genutzten und gemeinsam genutzten Dienste 3620 Rechendienste 3716, KI-Dienste 3718, Visualisierungsdienste 3720 und/oder andere Diensttypen umfassen. In mindestens einer Ausführungsform können Anwendungen einen oder mehrere der Dienste 3620 aufrufen (z. B. ausführen), um Verarbeitungsoperationen für eine Anwendung durchzuführen. In mindestens einer Ausführungsform können die Rechendienste 3716 von Anwendungen genutzt werden, um Supercomputing- oder andere High-Performance-Computing-Aufgaben (HPC) durchzuführen. In mindestens einer Ausführungsform kann/können der/die Rechendienst(e) 3716 genutzt werden, um eine parallele Verarbeitung (z. B. unter Verwendung einer Parallelrechenplattform 3730) zur Verarbeitung von Daten durch eine oder mehrere Anwendungen und/oder eine oder mehrere Aufgaben einer einzelnen Anwendung im Wesentlichen gleichzeitig durchzuführen. In mindestens einer Ausführungsform kann die parallele Datenverarbeitungsplattform 3730 (z. B. NVIDIAs CUDA) die allgemeine Datenverarbeitung auf GPUs (GPGPU) (z. B. GPUs 3722) ermöglichen. In mindestens einer Ausführungsform kann eine Softwareschicht der Parallelrechenplattform 3730 Zugriff auf virtuelle Befehlssätze und parallele Rechenelemente von GPUs für die Ausführung von Rechenkernen bieten. In mindestens einer Ausführungsform kann die parallele Rechenplattform 3730 Speicher enthalten, und in einigen Ausführungsformen kann ein Speicher zwischen mehreren Containern und/oder zwischen verschiedenen Verarbeitungsaufgaben innerhalb eines einzelnen Containers gemeinsam genutzt werden. In mindestens einer Ausführungsform können IPC-Aufrufe (Inter-Process Communication) für mehrere Container und/oder für mehrere Prozesse innerhalb eines Containers generiert werden, um dieselben Daten aus einem gemeinsam genutzten Speichersegment der parallelen Rechnerplattform 3730 zu verwenden (z. B. wenn mehrere verschiedene Stufen einer Anwendung oder mehrere Anwendungen dieselben Informationen verarbeiten). In mindestens einer Ausführungsform können dieselben Daten an derselben Stelle eines Speichers für eine beliebige Anzahl von Verarbeitungsaufgaben verwendet werden (z. B. zur selben Zeit, zu verschiedenen Zeiten usw.), anstatt eine Kopie der Daten zu erstellen und die Daten an verschiedene Stellen im Speicher zu verschieben (z. B. eine Lese-/Schreiboperation). In mindestens einer Ausführungsform können bei der Verwendung von Daten zur Erzeugung neuer Daten als Ergebnis der Verarbeitung diese Informationen über einen neuen Speicherort der Daten gespeichert und von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können der Speicherort von Daten und der Speicherort von aktualisierten oder geänderten Daten Teil einer Definition sein, wie eine Nutzlast innerhalb von Containern zu verstehen ist.
  • In mindestens einer Ausführungsform können KI-Dienste 3718 genutzt werden, um Inferenzdienste zur Ausführung von maschinellen Lernmodellen durchzuführen, die mit Anwendungen verknüpft sind (z. B. mit der Aufgabe, eine oder mehrere Verarbeitungsaufgaben einer Anwendung auszuführen). In mindestens einer Ausführungsform können die KI-Dienste 3718 das KI-System 3724 nutzen, um maschinelle Lernmodelle (z. B. neuronale Netze wie CNNs) für Segmentierung, Rekonstruktion, Objekterkennung, Merkmalserkennung, Klassifizierung und/oder andere Inferenzaufgaben auszuführen. In mindestens einer Ausführungsform können die Anwendungen der Bereitstellungspipeline(s) 3710 ein oder mehrere Ausgabemodelle 3616 aus dem Trainingssystem 3604 und/oder andere Modelle von Anwendungen verwenden, um Rückschlüsse auf Bilddaten (z. B. DICOM-Daten, RIS-Daten, CIS-Daten, REST-konforme Daten, RPC-Daten, Rohdaten usw.) zu ziehen. In mindestens einer Ausführungsform können zwei oder mehr Beispiele für die Inferenz unter Verwendung des Anwendungsorchestrierungssystems 3728 (z. B. ein Scheduler) verfügbar sein. In mindestens einer Ausführungsform kann eine erste Kategorie einen Pfad mit hoher Priorität/geringer Latenz umfassen, der höhere Dienstgütevereinbarungen erreichen kann, z. B. für die Durchführung von Inferenzen bei dringenden Anfragen während eines Notfalls oder für einen Radiologen während der Diagnose. In mindestens einer Ausführungsform kann eine zweite Kategorie einen Pfad mit Standardpriorität umfassen, der für Anfragen verwendet werden kann, die nicht dringlich sind oder bei denen die Analyse zu einem späteren Zeitpunkt durchgeführt werden kann. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 3728 Ressourcen (z. B. Dienste 3620 und/oder Hardware 3622) basierend auf von Prioritätspfaden für verschiedene Inferenzaufgaben der KI-Dienste 3718 verteilen.
  • In mindestens einer Ausführungsform kann ein gemeinsam genutzter Speicher an die KI-Dienste 3718 im System 3700 angebunden werden. In mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher als Cache (oder ein anderer Speichergerätetyp) fungieren und zur Verarbeitung von Inferenzanforderungen von Anwendungen verwendet werden. In mindestens einer Ausführungsform kann, wenn eine Ableitungsanforderung übermittelt wird, eine Anforderung von einer Reihe von API-Instanzen des Bereitstellungssystems 3606 empfangen werden, und eine oder mehrere Instanzen können ausgewählt werden (z. B. für beste Anpassung, für Lastausgleich usw.), um eine Anforderung zu verarbeiten. In mindestens einer Ausführungsform kann zur Bearbeitung einer Anfrage eine Anfrage in eine Datenbank eingegeben werden, ein maschinelles Lernmodell kann aus der Modellregister 3624 gefunden werden, wenn es sich nicht bereits in einem Cache befindet, ein Validierungsschritt kann sicherstellen, dass ein geeignetes maschinelles Lernmodell in einen Cache (z. B. einen gemeinsamen Speicher) geladen wird, und/oder eine Kopie eines Modells kann in einem Cache gespeichert werden. In mindestens einer Ausführungsform kann ein Scheduler (z. B. des Pipeline-Managers 3712) verwendet werden, um eine Anwendung zu starten, auf die in einer Anforderung verwiesen wird, wenn eine Anwendung noch nicht läuft oder wenn nicht genügend Instanzen einer Anwendung vorhanden sind. In mindestens einer Ausführungsform kann ein Inferenzserver gestartet werden, wenn er noch nicht gestartet ist, um ein Modell auszuführen. In mindestens einer Ausführungsform kann eine beliebige Anzahl von Inferenzservern pro Modell gestartet werden. In mindestens einer Ausführungsform können in einem Pull-Modell, in dem die Inferenzserver geclustert sind, die Modelle zwischengespeichert werden, wenn ein Lastausgleich vorteilhaft ist. In mindestens einer Ausführungsform können Inferenzserver statisch in entsprechende, verteilte Server geladen werden.
  • In mindestens einer Ausführungsform kann die Inferenzbildung mit Hilfe eines Inferenzservers durchgeführt werden, der in einem Container läuft. In mindestens einer Ausführungsform kann eine Instanz eines Inferenzservers mit einem Modell (und optional mit mehreren Versionen eines Modells) verbunden sein. In mindestens einer Ausführungsform kann eine neue Instanz eines Inferenzservers geladen werden, wenn eine Anforderung zur Durchführung einer Inferenz an einem Modell nicht vorhanden ist. In mindestens einer Ausführungsform kann beim Starten eines Inferenzservers ein Modell an einen Inferenzserver übergeben werden, so dass ein und derselbe Container zur Bedienung verschiedener Modelle verwendet werden kann, solange der Inferenzserver als eine andere Instanz läuft.
  • In mindestens einer Ausführungsform kann während der Anwendungsausführung eine Inferenzanforderung für eine bestimmte Anwendung empfangen werden, und ein Container (z. B. der eine Instanz eines Inferenzservers beherbergt) kann geladen werden (falls nicht bereits geschehen), und eine Startprozedur kann aufgerufen werden. In mindestens einer Ausführungsform kann die Vorverarbeitungslogik in einem Container eingehende Daten laden, dekodieren und/oder eine zusätzliche Vorverarbeitung durchführen (z. B. unter Verwendung von CPU(s) und/oder GPU(s)). In mindestens einer Ausführungsform kann ein Container, sobald die Daten für die Inferenz vorbereitet sind, die Inferenz wie erforderlich an den Daten durchführen. In mindestens einer Ausführungsform kann dies einen einzigen Inferenzaufruf für ein Bild (z. B. ein Handröntgenbild) umfassen oder eine Inferenz für Hunderte von Bildern (z. B. ein Brust-CT) erfordern. In mindestens einer Ausführungsform kann eine Anwendung die Ergebnisse vor der Fertigstellung zusammenfassen, was ohne Einschränkung einen einzelnen Konfidenzwert, eine Segmentierung auf Pixelebene, eine Segmentierung auf Voxel-Ebene, die Erstellung einer Visualisierung oder die Erstellung von Text zur Zusammenfassung der Ergebnisse umfassen kann. In mindestens einer Ausführungsform können verschiedenen Modellen oder Anwendungen unterschiedliche Prioritäten zugewiesen werden. Beispielsweise können einige Modelle eine Echtzeitpriorität (TAT weniger als eine Minute) haben, während andere eine niedrigere Priorität haben (z. B. TAT weniger als 10 Minuten). In mindestens einer Ausführungsform kann die Ausführungszeit des Modells von der anfragenden Institution oder Einrichtung aus gemessen werden und kann die Zeit für die Durchquerung des Partnernetzes sowie die Ausführung in einem Inferenzdienst umfassen.
  • In mindestens einer Ausführungsform kann die Übertragung von Anfragen zwischen den Diensten 3620 und den Ableitungsanwendungen hinter einem Softwareentwicklungskit (SDK) verborgen sein, und ein robuster Transport kann über eine Warteschlange erfolgen. In mindestens einer Ausführungsform wird eine Anfrage über eine API für eine individuelle Anwendung/Mieter-ID-Kombination in eine Warteschlange gestellt, und ein SDK zieht eine Anfrage aus einer Warteschlange und gibt eine Anfrage an eine Anwendung weiter. In mindestens einer Ausführungsform kann der Name einer Warteschlange in einer Umgebung angegeben werden, aus der ein SDK sie abruft. In mindestens einer Ausführungsform kann die asynchrone Kommunikation über eine Warteschlange nützlich sein, da sie es jeder Instanz einer Anwendung ermöglicht, die Arbeit aufzunehmen, sobald sie verfügbar ist. In mindestens einer Ausführungsform können die Ergebnisse über eine Warteschlange zurückübertragen werden, um sicherzustellen, dass keine Daten verloren gehen. In mindestens einer Ausführungsform können Warteschlangen auch die Möglichkeit bieten, Arbeit zu segmentieren, da Arbeit mit höchster Priorität an eine Warteschlange gehen kann, an die die meisten Instanzen einer Anwendung angeschlossen sind, während Arbeit mit niedrigster Priorität an eine Warteschlange gehen kann, an die nur eine einzige Instanz angeschlossen ist, die Aufgaben in der empfangenen Reihenfolge bearbeitet. In mindestens einer Ausführungsform kann eine Anwendung auf einer GPUbeschleunigten Instanz laufen, die in der Cloud 3726 generiert wird, und ein Inferenzdienst kann Inferenzen auf einer GPU durchführen.
  • In mindestens einer Ausführungsform können Visualisierungsdienste 3720 genutzt werden, um Visualisierungen für die Angabe der Ausgaben von Anwendungen und/oder der Bereitstellungspipeline(s) 3710 zu erzeugen. In mindestens einer Ausführungsform können die GPUs 3722 von den Visualisierungsdiensten 3720 genutzt werden, um Visualisierungen zu erzeugen. In mindestens einer Ausführungsform können Rendering-Effekte, wie z. B. RayTracing, von Visualisierungsdiensten 3720 implementiert werden, um Visualisierungen von höherer Qualität zu erzeugen. In mindestens einer Ausführungsform können die Visualisierungen ohne Einschränkung 2D-Bildwiedergaben, 3D-Volumenwiedergaben, 3D-Volumenrekonstruktionen, 2D-Tomographieschichten, Virtual-Reality-Anzeigen, Augmented-Reality-Anzeigen usw. umfassen. In mindestens einer Ausführungsform können virtualisierte Umgebungen verwendet werden, um eine virtuelle interaktive Angabe oder Umgebung (z. B. eine virtuelle Umgebung) für die Interaktion durch Benutzer eines Systems (z. B. Ärzte, Krankenschwestern, Radiologen usw.) zu erzeugen. In mindestens einer Ausführungsform können die Visualisierungsdienste 3720 einen internen Visualisierer, Kinematiken und/oder andere Rendering- oder Bildverarbeitungsfähigkeiten oder -funktionen umfassen (z. B. Raytracing, Rasterisierung, interne Optik usw.).
  • In mindestens einer Ausführungsform kann die Hardware 3622 GPUs 3722, das KI-System 3724, die Cloud 3726 und/oder jede andere Hardware umfassen, die für die Ausführung des Trainingssystems 3604 und/oder des Einsatzsystems 3606 verwendet wird. In mindestens einer Ausführungsform können die GPUs 3722 (z. B. NVIDIAs TESLA und/oder QUADRO GPUs) eine beliebige Anzahl von GPUs umfassen, die für die Ausführung von Verarbeitungsaufgaben von Berechnungsdiensten 3716, KI-Diensten 3718, Visualisierungsdiensten 3720, anderen Diensten und/oder beliebigen Merkmalen oder Funktionen der Software 3618 verwendet werden können. In Bezug auf die KI-Dienste 3718 können GPUs 3722 beispielsweise zur Vorverarbeitung von Bilddaten (oder anderen Datentypen, die von maschinellen Lernmodellen verwendet werden), zur Nachverarbeitung von Ausgaben von maschinellen Lernmodellen und/oder zur Durchführung von Inferenzen (z. B. zur Ausführung von maschinellen Lernmodellen) verwendet werden. In mindestens einer Ausführungsform können die Cloud 3726, das KI-System 3724 und/oder andere Komponenten des Systems 3700 GPUs 3722 verwenden. In mindestens einer Ausführungsform kann die Cloud 3726 eine GPU-optimierte Plattform für Deep-Learning-Aufgaben enthalten. In mindestens einer Ausführungsform kann das KI-System 3724 GPUs verwenden, und die Cloud 3726 - oder mindestens ein Teil, der mit Deep Learning oder Inferencing beauftragt ist - kann unter Verwendung eines oder mehrerer KI-Systeme 3724 ausgeführt werden. Obwohl die Hardware 3622 als diskrete Komponenten dargestellt ist, ist dies nicht als Einschränkung zu verstehen, und alle Komponenten der Hardware 3622 können mit anderen Komponenten der Hardware 3622 kombiniert oder von ihnen genutzt werden.
  • In mindestens einer Ausführungsform kann das KI-System 3724 ein speziell entwickeltes Rechensystem (z. B. einen Supercomputer oder einen HPC) umfassen, das für Inferencing, Deep Learning, maschinelles Lernen und/oder andere Aufgaben der künstlichen Intelligenz konfiguriert ist. In mindestens einer Ausführungsform kann das KI-System 3724 (z. B. NVIDIAs DGX) GPU-optimierte Software (z. B. einen Software-Stack) enthalten, die unter Verwendung einer Vielzahl von GPUs 3722 ausgeführt werden kann, zusätzlich zu CPUs, RAM, Speicher und/oder anderen Komponenten, Merkmalen oder Funktionen. In mindestens einer Ausführungsform können ein oder mehrere KI-Systeme 3724 in der Cloud 3726 (z. B. in einem Rechenzentrum) implementiert werden, um einige oder alle KI-basierten Verarbeitungsaufgaben des Systems 3700 auszuführen.
  • In mindestens einer Ausführungsform kann die Cloud 3726 eine GPU-beschleunigte Infrastruktur (z. B. NVIDIAs NGC) enthalten, die eine GPU-optimierte Plattform für die Ausführung von Verarbeitungsaufgaben des Systems 3700 bereitstellen kann. In mindestens einer Ausführungsform kann die Cloud 3726 ein oder mehrere KI-Systeme 3724 zur Ausführung einer oder mehrerer KI-basierter Aufgaben des Systems 3700 enthalten (z. B. als Hardware-Abstraktions- und Skalierungsplattform). In mindestens einer Ausführungsform kann die Cloud 3726 in das Anwendungsorchestrierungssystem 3728 integriert werden, das mehrere GPUs nutzt, um eine nahtlose Skalierung und einen Lastausgleich zwischen und unter Anwendungen und Diensten 3620 zu ermöglichen. In mindestens einer Ausführungsform kann die Cloud 3726 damit beauftragt werden, mindestens einige der Dienste 3620 des Systems 3700 auszuführen, einschließlich der Rechendienste 3716, der KI-Dienste 3718 und/oder der Visualisierungsdienste 3720, wie hier beschrieben. In mindestens einer Ausführungsform kann die Cloud 3726 kleine und große Batch-Inferenzen durchführen (z. B. mit NVIDIAs TENSOR RT), eine beschleunigte parallele Rechen-API und -Plattform 3730 bereitstellen (z. B. NVIDIAs CUDA), ein Anwendungsorchestrierungssystem 3728 ausführen (z.z. B. KUBERNETES), eine Grafik-Rendering-API und -Plattform (z. B. für Raytracing, 2D-Grafik, 3D-Grafik und/oder andere Rendering-Techniken, um qualitativ hochwertigere Kinofilme zu erzeugen) und/oder andere Funktionen für das System 3700 bereitstellen kann.
  • In mindestens einer Ausführungsform kann die Cloud 3726 in dem Bestreben, die Vertraulichkeit der Patientendaten zu wahren (z. B. wenn Patientendaten oder -aufzeichnungen außerhalb der eigenen Räumlichkeiten verwendet werden sollen), eine Registry enthalten, wie z. B. eine Deep-Learning-Container-Registry. In mindestens einer Ausführungsform kann eine Registry Container für Instanziierungen von Anwendungen speichern, die Vorverarbeitungen, Nachverarbeitungen oder andere Verarbeitungsaufgaben für Patientendaten durchführen können. In mindestens einer Ausführungsform kann die Cloud 3726 Daten empfangen, die sowohl Patientendaten als auch Sensordaten in Containern enthalten, die angeforderte Verarbeitung nur für die Sensordaten in diesen Containern durchführen und dann eine resultierende Ausgabe und/oder Visualisierungen an geeignete Parteien und/oder Geräte (z. B. medizinische Geräte vor Ort, die zur Visualisierung oder Diagnose verwendet werden) weiterleiten, ohne dass die Patientendaten extrahiert, gespeichert oder anderweitig darauf zugegriffen werden muss. In mindestens einer Ausführungsform wird die Vertraulichkeit der Patientendaten in Übereinstimmung mit dem HIPAA und/oder anderen Datenvorschriften gewahrt.
  • In mindestens einer Ausführungsform wird mindestens eine in 37 gezeigte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst das Trainingssystem 3704 und/oder das Einsatzsystem 3706 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform trainiert das Trainingssystem 3704 mindestens ein untrainiertes oder teilweise trainiertes neuronales Netz unter Verwendung einer Darstellung eines Computerprogramms, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform führt das Einsatzsystem 3706 mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben. In mindestens einer Ausführungsform umfasst mindestens eine Komponente der Hardware 3722 mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus.
  • 38 enthält eine Beispielabbildung einer Bereitstellungspipeline 3710A zur Verarbeitung von Bildgebungsdaten gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 3700 - und insbesondere das Bereitstellungssystem 3606 - zur Anpassung, Aktualisierung und/oder Integration der Bereitstellungspipeline(s) 3710A in eine oder mehrere Produktionsumgebungen verwendet werden. In mindestens einer Ausführungsform umfasst die Bereitstellungspipeline 3710A der 38 ein nicht begrenztes Beispiel einer Bereitstellungspipeline 3710A, die von einem bestimmten Benutzer (oder einem Team von Benutzern) in einer Einrichtung (z. B. in einem Krankenhaus, einer Klinik, einem Labor, einer Forschungsumgebung usw.) individuell definiert werden kann. In mindestens einer Ausführungsform kann ein Benutzer zur Definition von Bereitstellungspipelines 3710A für einen CT-Scanner 3802 eine oder mehrere Anwendungen, die bestimmte Funktionen oder Aufgaben in Bezug auf die vom CT-Scanner 3802 erzeugten Bildgebungsdaten ausführen, z. B. aus einer Container-Registrierung auswählen. In mindestens einer Ausführungsform können Anwendungen auf die Bereitstellungspipeline 3710A als Container angewendet werden, die Dienste 3620 und/oder Hardware 3622 des Systems 3700 nutzen können. Darüber hinaus kann die Bereitstellungspipeline 3710A zusätzliche Verarbeitungsaufgaben oder Anwendungen enthalten, die implementiert werden können, um Daten für die Verwendung durch Anwendungen vorzubereiten (z. B. können der DICOM-Adapter 3702B und der DICOM-Leser 3806 in der Bereitstellungspipeline 3710A verwendet werden, um Daten für die Verwendung durch die CT-Rekonstruktion 3808, die Organsegmentierung 3810 usw. vorzubereiten). In mindestens einer Ausführungsform kann die Bereitstellungspipeline 3710A für eine gleichmäßige Bereitstellung, eine einmalige Verwendung oder für eine andere Häufigkeit oder ein anderes Intervall angepasst oder ausgewählt werden. In mindestens einer Ausführungsform kann ein Benutzer die CT-Rekonstruktion 3808 und die Organsegmentierung 3810 für mehrere Probanden über einen bestimmten Zeitraum hinweg wünschen und daher die Pipeline 3710A für diesen Zeitraum einsetzen. In mindestens einer Ausführungsform kann ein Benutzer für jede Anfrage vom System 3700 die Anwendungen auswählen, die er für die Verarbeitung dieser Daten für diese Anfrage verwenden möchte. In mindestens einer Ausführungsform kann die Bereitstellungspipeline 3710A in jedem beliebigen Intervall angepasst werden, und aufgrund der Anpassbarkeit und Skalierbarkeit einer Containerstruktur innerhalb des Systems 3700 kann dies ein nahtloser Prozess sein.
  • In mindestens einer Ausführungsform kann die Bereitstellungspipeline 3710A der 38 einen CT-Scanner 3802 umfassen, der Bilddaten eines Patienten oder Probanden erzeugt. In mindestens einer Ausführungsform können die Bilddaten des CT-Scanners 3802 auf einem PACS-Server 3804 gespeichert werden, der zu einer Einrichtung gehört, in der sich der CT-Scanner 3802 befindet. In mindestens einer Ausführungsform kann (können) der (die) PACS-Server 3804 Software- und/oder Hardware-Komponenten enthalten, die direkt mit den Bildgebungsmodalitäten (z. B. dem CT-Scanner 3802) in einer Einrichtung verbunden werden können. In mindestens einer Ausführungsform kann der DICOM-Adapter 3702B das Senden und Empfangen von DICOM-Objekten unter Verwendung von DICOM-Protokollen ermöglichen. In mindestens einer Ausführungsform kann der DICOM-Adapter 3702B bei der Vorbereitung oder Konfiguration von DICOM-Daten von PACS-Server(n) 3804 zur Verwendung durch die Bereitstellungspipeline 3710A helfen. In mindestens einer Ausführungsform kann der Pipeline-Manager 3712 nach der Verarbeitung der DICOM-Daten über den DICOM-Adapter 3702B die Daten an die Bereitstellungspipeline 3710A weiterleiten. In mindestens einer Ausführungsform kann der DICOM-Leser 3806 Bilddateien und zugehörige Metadaten aus DICOM-Daten extrahieren (z. B. Sinogramm-Rohdaten, wie in der Visualisierung 3816A dargestellt). In mindestens einer Ausführungsform können die extrahierten Arbeitsdateien zur schnelleren Verarbeitung durch andere Anwendungen in der Bereitstellungspipeline 3710A in einem Cache gespeichert werden. In mindestens einer Ausführungsform kann, sobald das DICOM-Lesegerät 3806 die Extraktion und/oder Speicherung von Daten beendet hat, ein Signal der Fertigstellung an den Pipeline-Manager 3712 übermittelt werden. In mindestens einer Ausführungsform kann der Pipeline-Manager 3712 dann eine oder mehrere andere Anwendungen oder Container in der Bereitstellungspipeline 3710A initiieren oder aufrufen.
  • In mindestens einer Ausführungsform kann die Anwendung CT-Rekonstruktion 3808 und/oder der Container ausgeführt werden, sobald Daten (z. B. Sinogramm-Rohdaten) zur Verarbeitung durch die Anwendung CT-Rekonstruktion 3808 verfügbar sind. In mindestens einer Ausführungsform kann die CT-Rekonstruktion 3808 Sinogramm-Rohdaten aus einem Zwischenspeicher lesen, eine Bilddatei aus Sinogramm-Rohdaten rekonstruieren (z. B. wie in der Visualisierung 3816B dargestellt) und die resultierende Bilddatei in einem Zwischenspeicher speichern. In mindestens einer Ausführungsform kann bei Abschluss der Rekonstruktion dem Pipeline-Manager 3712 signalisiert werden, dass die Rekonstruktionsaufgabe abgeschlossen ist. In mindestens einer Ausführungsform kann, sobald die Rekonstruktion abgeschlossen ist und eine rekonstruierte Bilddatei in einem Cache (oder einem anderen Speichergerät) gespeichert werden kann, die Organsegmentierungsanwendung 3810 und/oder der Container vom Pipeline-Manager 3712 ausgelöst werden. In mindestens einer Ausführungsform kann die Organsegmentierungsanwendung 3810 und/oder der Container eine Bilddatei aus einem Cache lesen, eine Bilddatei normalisieren oder in ein für die Inferenz geeignetes Format konvertieren (z. B. eine Bilddatei in eine Eingabeauflösung eines maschinellen Lernmodells konvertieren) und die Inferenz anhand eines normalisierten Bildes ausführen. In mindestens einer Ausführungsform kann die Organsegmentierungsanwendung 3810 und/oder der Container auf Dienste 3620 zurückgreifen, um die Inferenz auf einem normalisierten Bild auszuführen, und der Pipeline-Manager 3712 und/oder das Anwendungs-Orchestrierungssystem 3728 können die Nutzung der Dienste 3620 durch die Organsegmentierungsanwendung 3810 und/oder den Container erleichtern. In mindestens einer Ausführungsform kann beispielsweise die Organsegmentierungsanwendung 3810 und/oder der Container die KI-Dienste 3718 nutzen, um Inferenzen auf einem normalisierten Bild durchzuführen, und die KI-Dienste 3718 können die Hardware 3622 (z. B. das KI-System 3724) nutzen, um die KI-Dienste 3718 auszuführen. In mindestens einer Ausführungsform kann das Ergebnis einer Inferenz eine Maskendatei sein (z. B. wie in der Visualisierung 3816C dargestellt), die in einem Cache (oder einem anderen Speichergerät) gespeichert werden kann.
  • In mindestens einer Ausführungsform kann, sobald Anwendungen, die DICOM-Daten und/oder aus DICOM-Daten extrahierte Daten verarbeiten, die Verarbeitung abgeschlossen haben, ein Signal für den Pipeline-Manager 3712 erzeugt werden. In mindestens einer Ausführungsform kann der Pipeline-Manager 3712 dann den DICOM-Schreiber 3812 ausführen, um die Ergebnisse aus einem Cache (oder einem anderen Speichergerät) zu lesen und die Ergebnisse in ein DICOM-Format (z. B. als DICOM-Ausgabe 3814) zu verpacken, damit sie von den Benutzern in einer Einrichtung, die eine Anfrage gestellt haben, verwendet werden können. In mindestens einer Ausführungsform kann die DICOM-Ausgabe 3814 dann an den DICOM-Adapter 3702B übertragen werden, um die DICOM-Ausgabe 3814 für die Speicherung auf dem/den PACS-Server(n) 3804 vorzubereiten (z. B. für die Angabe durch einen DICOM-Viewer in einer Einrichtung). In mindestens einer Ausführungsform können als Reaktion auf eine Anforderung zur Rekonstruktion und Segmentierung Visualisierungen 3816B und 3816C erzeugt werden, die einem Benutzer für Diagnosen, Untersuchungen und/oder andere Zwecke zur Verfügung stehen.
  • Obwohl als aufeinanderfolgende Anwendungen in der Bereitstellungspipeline 3710A dargestellt, können die Anwendungen CT-Rekonstruktion 3808 und Organsegmentierung 3810 in mindestens einer Ausführungsform parallel verarbeitet werden. In mindestens einer Ausführungsform, in der die Anwendungen nicht voneinander abhängig sind und Daten für jede Anwendung zur Verfügung stehen (z. B. nachdem der DICOM-Leser 3806 Daten extrahiert hat), können die Anwendungen gleichzeitig, im Wesentlichen gleichzeitig oder mit einer gewissen Überlappung ausgeführt werden. In mindestens einer Ausführungsform, in der zwei oder mehr Anwendungen ähnliche Dienste 3620 benötigen, kann ein Scheduler des Systems 3700 zum Lastausgleich und zur Verteilung von Rechen- oder Verarbeitungsressourcen zwischen und unter verschiedenen Anwendungen verwendet werden. In mindestens einer Ausführungsform kann in einigen Ausführungsformen die parallele Rechenplattform 3730 zur parallelen Verarbeitung von Anwendungen verwendet werden, um die Laufzeit der Bereitstellungspipeline 3710A zu verkürzen und Echtzeitergebnisse zu liefern.
  • In mindestens einer Ausführungsform und unter Bezugnahme auf 39A-39B kann das Bereitstellungssystem 3606 als ein oder mehrere virtuelle Instrumente implementiert werden, um verschiedene Funktionalitäten - wie Bildverarbeitung, Segmentierung, Verbesserung, KI, Visualisierung und Inferenz - mit bildgebenden Geräten (z. B. CT-Scannern, Röntgengeräten, MRT-Geräten usw.), Sequenzierungsgeräten, Genomikgeräten und/oder anderen Gerätetypen durchzuführen. In mindestens einer Ausführungsform kann das System 3700 die Erstellung und Bereitstellung virtueller Instrumente ermöglichen, die eine softwaredefinierte Bereitstellungspipeline 3710 umfassen können, die von einem oder mehreren Geräten erzeugte rohe/unverarbeitete Eingangsdaten empfangen und verarbeitete/rekonstruierte Daten ausgeben kann. In mindestens einer Ausführungsform können Bereitstellungspipelines 3710 (z. B. 3710A und 3710B), die virtuelle Instrumente darstellen, Intelligenz in eine Pipeline implementieren, z. B. durch die Nutzung von Modellen für maschinelles Lernen, um einem System containerisierte Inferenzunterstützung zu bieten. In mindestens einer Ausführungsform können virtuelle Instrumente eine beliebige Anzahl von Containern ausführen, die jeweils Instanzen von Anwendungen enthalten. In mindestens einer Ausführungsform, z. B. wenn Echtzeitverarbeitung erwünscht ist, können Bereitstellungspipelines 3710, die virtuelle Instrumente darstellen, statisch sein (z. B. können Container und/oder Anwendungen festgelegt werden), während in anderen Beispielen Container und/oder Anwendungen für virtuelle Instrumente aus einem Pool von Anwendungen oder Ressourcen (z. B. innerhalb einer Containerregistrierung) ausgewählt werden können (z. B. auf einer Basis pro Anforderung).
  • In mindestens einer Ausführungsform kann das System 3700 als ein oder mehrere virtuelle Instrumente vor Ort in einer Einrichtung instanziiert oder ausgeführt werden, z. B. in einem Computersystem, das neben einer radiologischen Maschine, einem bildgebenden Gerät und/oder einem anderen Gerätetyp in einer Einrichtung eingesetzt wird oder anderweitig damit kommuniziert. In mindestens einer Ausführungsform kann jedoch eine Vor-Ort-Installation in einem Rechnersystem eines Geräts selbst (z. B. einem in ein bildgebendes Gerät integrierten Rechnersystem), in einem lokalen Rechenzentrum (z. B. einem Rechenzentrum vor Ort) und/oder in einer Cloud-Umgebung (z. B. in der Cloud 3726) instanziiert oder ausgeführt werden. In mindestens einer Ausführungsform kann das Einsatzsystem 3606, das als virtuelles Instrument arbeitet, in einigen Beispielen von einem Supercomputer oder einem anderen HPC-System instanziiert werden. In mindestens einer Ausführungsform kann die Installation vor Ort die Nutzung hoher Bandbreiten (z. B. über lokale Kommunikationsschnittstellen mit höherem Durchsatz, wie RF over Ethernet) für die Echtzeitverarbeitung ermöglichen. In mindestens einer Ausführungsform kann die Echtzeit- oder echtzeitnahe Verarbeitung besonders nützlich sein, wenn ein virtuelles Instrument ein Ultraschallgerät oder eine andere Bildgebungsmodalität unterstützt, bei der sofortige Visualisierungen erwartet oder für genaue Diagnosen und Analysen benötigt werden. In mindestens einer Ausführungsform kann eine Cloud-Computing-Architektur in der Lage sein, dynamisches Bursting zu einem Cloud-Computing-Dienstanbieter oder einem anderen Rechencluster durchzuführen, wenn die lokale Nachfrage die Kapazität oder Fähigkeit vor Ort übersteigt. In mindestens einer Ausführungsform kann eine Cloud-Architektur, wenn sie implementiert ist, für das Training neuronaler Netze oder anderer maschineller Lernmodelle abgestimmt werden, wie hierin in Bezug auf das Trainingssystem 3604 beschrieben. In mindestens einer Ausführungsform können maschinelle Lernmodelle mit vorhandenen Trainingspipelines kontinuierlich lernen und sich verbessern, wenn sie zusätzliche Daten von den von ihnen unterstützten Geräten verarbeiten. In mindestens einer Ausführungsform können virtuelle Instrumente kontinuierlich verbessert werden, indem zusätzliche Daten, neue Daten, bestehende maschinelle Lernmodelle und/oder neue oder aktualisierte maschinelle Lernmodelle verwendet werden.
  • In mindestens einer Ausführungsform kann ein Computersystem einen Teil oder die gesamte hier beschriebene Hardware 3622 enthalten, und die Hardware 3622 kann auf verschiedene Arten verteilt werden, z. B. innerhalb eines Geräts, als Teil eines Computergeräts, das mit einem Gerät gekoppelt ist und sich in der Nähe eines Geräts befindet, in einem lokalen Rechenzentrum in einer Einrichtung und/oder in der Cloud 3726. In mindestens einer Ausführungsform können, da das Bereitstellungssystem 3606 und die zugehörigen Anwendungen oder Container in Software erstellt werden (z. B. als diskrete containerisierte Instanziierungen von Anwendungen), das Verhalten, der Betrieb und die Konfiguration virtueller Instrumente sowie die von virtuellen Instrumenten erzeugten Ausgaben nach Wunsch modifiziert oder angepasst werden, ohne dass die Rohausgabe eines Geräts, das ein virtuelles Instrument unterstützt, geändert oder verändert werden muss.
  • In mindestens einer Ausführungsform wird mindestens eine in 38 dargestellte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst mindestens eine in 38 dargestellte oder beschriebene Komponente mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform führt mindestens eine in 38 dargestellte oder beschriebene Komponente mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • 39A zeigt ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments, das ein Ultraschallgerät unterstützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Bereitstellungspipeline 3710B einen oder mehrere der Dienste 3620 des Systems 3700 nutzen. In mindestens einer Ausführungsform können die Bereitstellungspipeline 3710B und die Dienste 3620 die Hardware 3622 eines Systems entweder lokal oder in der Cloud 3726 nutzen. In mindestens einer Ausführungsform, obwohl nicht dargestellt, kann der Prozess 3900 durch den Pipeline-Manager 3712, das Anwendungsorchestrierungssystem 3728 und/oder die parallele Rechenplattform 3730 unterstützt werden.
  • In mindestens einer Ausführungsform kann der Prozess 3900 den Empfang von Bilddaten von einem Ultraschallgerät 3902 umfassen. In mindestens einer Ausführungsform können die Bilddaten auf einem oder mehreren PACS-Servern in einem DICOM-Format (oder einem anderen Format, wie RIS, CIS, REST-konform, RPC, Rohdaten usw.) gespeichert sein und vom System 3700 zur Verarbeitung durch die Bereitstellungspipeline 3710 empfangen werden, die als virtuelles Instrument (z. B. ein virtueller Ultraschall) für das Ultraschallgerät 3902 ausgewählt oder angepasst wird. In mindestens einer Ausführungsform können Bilddaten direkt von einem Bildgebungsgerät (z. B. Ultraschallgerät 3902) empfangen und von einem virtuellen Instrument verarbeitet werden. In mindestens einer Ausführungsform kann ein Wandler oder ein anderer Signalwandler, der kommunikativ zwischen einer Bildgebungsvorrichtung und einem virtuellen Instrument angeschlossen ist, von einer Bildgebungsvorrichtung erzeugte Signaldaten in Bilddaten umwandeln, die von einem virtuellen Instrument verarbeitet werden können. In mindestens einer Ausführungsform können Rohdaten und/oder Bilddaten dem DICOM-Lesegerät 3806 zugeführt werden, um Daten zur Verwendung durch Anwendungen oder Container der Bereitstellungspipeline 3710B zu extrahieren. In mindestens einer Ausführungsform kann das DICOM-Lesegerät 3806 die Datenerweiterungsbibliothek 3914 (z. B. DALI von NVIDIA) als Dienst 3620 (z. B. als einer der Rechendienste 3716) nutzen, um Daten zu extrahieren, in der Größe anzupassen, neu zu skalieren und/oder anderweitig für die Verwendung durch Anwendungen oder Container vorzubereiten.
  • In mindestens einer Ausführungsform kann, sobald die Daten vorbereitet sind, eine Anwendung und/oder ein Container 3906 zur Rekonstruktion der Daten aus dem Ultraschallgerät 3902 in eine Bilddatei ausgeführt werden. In mindestens einer Ausführungsform kann nach der Rekonstruktion 3906 oder gleichzeitig mit der Rekonstruktion 3906 eine Erkennungsanwendung 3908 und/oder ein Erkennungscontainer zur Erkennung von Anomalien, Objekten, Merkmalen und/oder anderen Erkennungsaufgaben im Zusammenhang mit den Daten ausgeführt werden. In mindestens einer Ausführungsform kann eine während der Rekonstruktion 3906 erzeugte Bilddatei während der Erkennung 3908 verwendet werden, um Anomalien, Objekte, Merkmale usw. zu erkennen. In mindestens einer Ausführungsform kann die Anwendung zur Erkennung 3908 eine Inferenz-Engine 3916 (z. B. als einer der KI-Dienste 3718) nutzen, um aus den Daten Schlüsse zu ziehen und Erkennungen zu generieren. In mindestens einer Ausführungsform können ein oder mehrere maschinelle Lernmodelle (z. B. vom Trainingssystem 3604) von der Anwendung Erkennung 3908 ausgeführt oder aufgerufen werden.
  • In mindestens einer Ausführungsform können nach Abschluss der Rekonstruktion 3906 und/oder der Erkennung 3908 die von diesen Anwendungen und/oder Containern ausgegebenen Daten verwendet werden, um Visualisierungen 3910 zu erzeugen, wie z. B. eine Visualisierung 3912 (z. B. eine Graustufenausgabe), die auf einer Workstation oder einem Anzeigeterminal angezeigt wird. In mindestens einer Ausführungsform kann die Visualisierung einem Techniker oder einem anderen Benutzer ermöglichen, die Ergebnisse der Einsatzpipeline 3710B in Bezug auf das Ultraschallgerät 3902 zu visualisieren. In mindestens einer Ausführungsform kann die Visualisierung 3910 durch Nutzung einer Rendering-Komponente 3918 des Systems 3700 (z. B. einer der Visualisierungsdienste 3720) ausgeführt werden. In mindestens einer Ausführungsform kann die Rendering-Komponente 3918 einen 2D-, OpenGL- oder Raytracing-Dienst ausführen, um die Visualisierung 3912 zu erzeugen.
  • In mindestens einer Ausführungsform wird mindestens eine in 39A dargestellte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst mindestens eine in 39A dargestellte oder beschriebene Komponente mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform führt mindestens eine in 39A gezeigte oder beschriebene Komponente mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • 39B zeigt ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Bereitstellungspipeline 3710C einen oder mehrere der Dienste 3620 des Systems 3700 nutzen. In mindestens einer Ausführungsform können die Bereitstellungspipeline 3710C und die Dienste 3620 die Hardware 3622 eines Systems entweder lokal oder in der Cloud 3726 nutzen. In mindestens einer Ausführungsform, obwohl nicht dargestellt, kann der Prozess 3920 durch den Pipeline-Manager 3712, das Anwendungs-Orchestrierungssystem 3728 und/oder die Plattform für paralleles Rechnen 3730 unterstützt werden.
  • In mindestens einer Ausführungsform kann der Prozess 3920 einen CT-Scanner 3922 umfassen, der Rohdaten erzeugt, die vom DICOM-Lesegerät 3806 empfangen werden können (z. B. direkt, über einen PACS-Server 3804, nach der Verarbeitung usw.). In mindestens einer Ausführungsform kann ein virtueller CT (instanziiert durch die Bereitstellungspipeline 3710C) eine erste Echtzeitpipeline zur Überwachung eines Patienten (z. B. Patientenbewegungs-Erkennungs-KI 3926) und/oder zur Anpassung oder Optimierung der Belichtung des CT-Scanners 3922 (z. B. unter Verwendung der Belichtungssteuerungs-KI 3924) umfassen. In mindestens einer Ausführungsform können eine oder mehrere der Anwendungen (z. B. 3924 und 3926) einen Dienst 3620, wie z. B. KI-Dienst(e) 3718, in Anspruch nehmen. In mindestens einer Ausführungsform können die Ausgaben der Belichtungssteuerungs-KI 3924 Anwendung (oder Containers) und/oder der Patientenbewegungs-Erkennungs-KI 3926 Anwendung (oder Containers) als Rückmeldung an den CT-Scanner 3922 und/oder einen Techniker verwendet werden, um die Belichtung (oder andere Einstellungen des CT-Scanners 3922) anzupassen und/oder einen Patienten zu informieren, sich weniger zu bewegen.
  • In mindestens einer Ausführungsform kann die Einsatzpipeline 3710C eine Nicht-Echtzeit-Pipeline zur Analyse der vom CT-Scanner 3922 erzeugten Daten umfassen. In mindestens einer Ausführungsform kann eine zweite Pipeline die Anwendung und/oder den Container für die CT-Rekonstruktion 3808, die Anwendung und/oder den Container für die Groberkennungs-KI 3928, die Anwendung und/oder den Container für die Feinerkennungs-KI 3932 (z. B. wenn bestimmte Ergebnisse durch die Groberkennungs-KI 3928 erkannt werden), die Anwendung und/oder den Container für die Visualisierung 3930 und die Anwendung und/oder den Container für den DICOM-Schreiber 3812 (und/oder einen anderen Datentyp, wie RIS, CIS, REST-konform, RPC, Rohdaten usw.) umfassen. In mindestens einer Ausführungsform können die vom CT-Scanner 3922 erzeugten Rohdaten durch die Pipelines der (als virtuelles CT-Instrument instanziierten) Bereitstellungspipeline 3710C geleitet werden, um Ergebnisse zu erzeugen. In mindestens einer Ausführungsform können die Ergebnisse des DICOM-Schreibers 3812 zur Angabe übertragen und/oder auf dem/den PACS-Server(n) 3804 gespeichert werden, damit sie später von einem Techniker, Arzt oder einem anderen Benutzer abgerufen, analysiert oder angezeigt werden können.
  • In mindestens einer Ausführungsform wird mindestens eine in 39B dargestellte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst mindestens eine in 39B dargestellte oder beschriebene Komponente mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform führt mindestens eine in 39B dargestellte oder beschriebene Komponente mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • 40A zeigt ein Datenflussdiagramm für einen Prozess 4000 zum Trainieren, Neutrainieren oder Aktualisieren eines maschinellen Lernmodells gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 4000 unter Verwendung des Systems 3700 der 37 als nicht einschränkendes Beispiel ausgeführt werden. In mindestens einer Ausführungsform kann der Prozess 4000 die Dienste 3620 und/oder die Hardware 3622 des Systems 3700 nutzen, wie hierin beschrieben. In mindestens einer Ausführungsform können verfeinerte Modelle 4012, die durch den Prozess 4000 erzeugt wurden, durch das Bereitstellungssystem 3606 für eine oder mehrere containerisierte Anwendungen in Bereitstellungspipelines 3710 ausgeführt werden.
  • In mindestens einer Ausführungsform kann das Modelltraining 3614 das Neutrainieren oder Aktualisieren eines anfänglichen Modells 4004 (z. B. eines vortrainierten Modells) unter Verwendung neuer Trainingsdaten (z. B. neuer Eingabedaten, wie dem Kundendatensatz 4006, und/oder neuer Ground-Truth-Daten, die mit den Eingabedaten verbunden sind) umfassen. In mindestens einer Ausführungsform kann zum erneuten Trainieren oder Aktualisieren des Ausgangsmodells 4004 die Ausgangs- oder Verlustschicht(en) des Ausgangsmodells 4004 zurückgesetzt oder gelöscht und/oder durch eine aktualisierte oder neue Ausgangs- oder Verlustschicht(en) ersetzt werden. In mindestens einer Ausführungsform kann das ursprüngliche Modell 4004 bereits fein abgestimmte Parameter (z.B. Gewichte und/oder Verzerrungen) haben, die von einem früheren Training übrig geblieben sind, so dass das Training oder die Umschulung 3614 nicht so lange dauert oder so viel Verarbeitung erfordert wie das Training eines Modells von Grund auf. In mindestens einer Ausführungsform können während des Modelltrainings 3614 durch Zurücksetzen oder Ersetzen der Ausgangs- oder Verlustschicht(en) des ursprünglichen Modells 4004 die Parameter aktualisiert und für einen neuen Datensatz neu abgestimmt werden, und zwar basierend auf von Verlustberechnungen, die mit der Genauigkeit der Ausgangs- oder Verlustschicht(en) bei der Erstellung von Vorhersagen für einen neuen Kundendatensatz 4006 (z. B. Bilddaten 3608 der 36) verbunden sind.
  • In mindestens einer Ausführungsform können vortrainierte Modelle 3706 in einem Datenspeicher oder Register (z.B. Modellregister 3624 der 36) gespeichert werden. In mindestens einer Ausführungsform können die vorab trainierten Modelle 3706 mindestens teilweise in einer oder mehreren anderen Einrichtungen als der Einrichtung, die den Prozess 4000 ausführt, trainiert worden sein. In mindestens einer Ausführungsform können zum Schutz der Privatsphäre und der Rechte von Patienten, Probanden oder Kunden verschiedener Einrichtungen vortrainierte Modelle 3706 vor Ort trainiert worden sein, wobei Kunden- oder Patientendaten verwendet wurden, die vor Ort generiert wurden. In mindestens einer Ausführungsform können vortrainierte Modelle 3706 unter Verwendung der Cloud 3726 und/oder anderer Hardware 3622 trainiert werden, aber vertrauliche, datenschutzrechtlich geschützte Patientendaten dürfen nicht an Komponenten der Cloud 3726 (oder anderer externer Hardware) übertragen werden, von diesen verwendet werden oder für diese zugänglich sein. In mindestens einer Ausführungsform, in der ein vortrainiertes Modell 3706 unter Verwendung von Patientendaten von mehr als einer Einrichtung trainiert wird, kann das vortrainierte Modell 3706 individuell für jede Einrichtung trainiert worden sein, bevor es auf Patienten- oder Kundendaten von einer anderen Einrichtung trainiert wird. In mindestens einer Ausführungsform, z. B. wenn Kunden- oder Patientendaten aus Datenschutzgründen freigegeben wurden (z. B. durch eine Verzichtserklärung, für experimentelle Zwecke usw.) oder wenn Kunden- oder Patientendaten in einem öffentlichen Datensatz enthalten sind, können Kunden- oder Patientendaten aus einer beliebigen Anzahl von Einrichtungen zum Trainieren des vortrainierten Modells 3706 vor Ort und/oder außerhalb der Einrichtung verwendet werden, z. B. in einem Rechenzentrum oder einer anderen Cloud-Computing-Infrastruktur.
  • In mindestens einer Ausführungsform kann ein Benutzer bei der Auswahl von Anwendungen zur Verwendung in Bereitstellungspipelines 3710 auch Modelle für maschinelles Lernen auswählen, die für bestimmte Anwendungen verwendet werden sollen. In mindestens einer Ausführungsform kann ein Benutzer kein Modell zur Verwendung haben, so dass ein Benutzer ein vortrainiertes Modell 3706 zur Verwendung mit einer Anwendung auswählen kann. In mindestens einer Ausführungsform kann das vortrainierte Modell 3706 nicht dafür optimiert sein, genaue Ergebnisse für den Kundendatensatz 4006 einer Einrichtung eines Benutzers zu erzeugen (z. B. basierend auf der Patientenvielfalt, der demografischen Merkmale, der Arten der verwendeten medizinischen Bildgebungsgeräte usw.). In mindestens einer Ausführungsform kann das vortrainierte Modell 3706 vor der Bereitstellung in der Bereitstellungspipeline 3710 zur Verwendung mit einer oder mehreren Anwendungen aktualisiert, neu trainiert und/oder für die Verwendung in einer entsprechenden Einrichtung feinabgestimmt werden.
  • In mindestens einer Ausführungsform kann ein Benutzer ein vortrainiertes Modell 3706 auswählen, das aktualisiert, neu trainiert und/oder feinabgestimmt werden soll, und das vortrainierte Modell 3706 kann als Ausgangsmodell 4004 für das Trainingssystem 3604 innerhalb des Verfahrens 4000 bezeichnet werden. In mindestens einer Ausführungsform kann der Kundendatensatz 4006 (z. B. Bildgebungsdaten, Genomikdaten, Sequenzierungsdaten oder andere Datentypen, die von Geräten in einer Einrichtung erzeugt werden) verwendet werden, um das Modelltraining 3614 (das ohne Einschränkung Transferlernen umfassen kann) am Ausgangsmodell 4004 durchzuführen, um ein verfeinertes Modell 4012 zu erzeugen. In mindestens einer Ausführungsform können die dem Kundendatensatz 4006 entsprechenden Ground-Truth-Daten vom Trainingssystem 3604 erzeugt werden. In mindestens einer Ausführungsform können die Ground-Truth-Daten mindestens teilweise von Klinikern, Wissenschaftlern, Ärzten, Praktikern in einer Einrichtung generiert werden (z. B. als markierte Klinikdaten 3612 der 36).
  • In mindestens einer Ausführungsform kann die KI-gestützte Beschriftung 3610 in einigen Beispielen verwendet werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 3610 (z. B. unter Verwendung eines KI-gestützten Annotations-SDK) maschinelle Lernmodelle (z. B. neuronale Netze) nutzen, um vorgeschlagene oder vorhergesagte Ground-Truth-Daten für einen Kundendatensatz zu erzeugen. In mindestens einer Ausführungsform kann der Benutzer 4010 Annotationswerkzeuge innerhalb einer Benutzeroberfläche (einer grafischen Benutzeroberfläche (GUI)) auf dem Computergerät 4008 verwenden.
  • In mindestens einer Ausführungsform kann der Benutzer 4010 über das Computergerät 4008 mit einer grafischen Benutzeroberfläche interagieren, um Annotationen oder automatische Annotationen zu bearbeiten oder fein abzustimmen. In mindestens einer Ausführungsform kann eine Polygonbearbeitungsfunktion verwendet werden, um Eckpunkte eines Polygons an genauere oder feiner abgestimmte Positionen zu verschieben.
  • In mindestens einer Ausführungsform können, sobald dem Kundendatensatz 4006 Ground-Truth-Daten zugeordnet sind, Ground-Truth-Daten (z. B. aus KI-gestützter Annotation, manueller Beschriftung usw.) während des Modelltrainings 3614 verwendet werden, um ein verfeinertes Modell 4012 zu erzeugen. In mindestens einer Ausführungsform kann der Kundendatensatz 4006 beliebig oft auf das Ausgangsmodell 4004 angewendet werden, und die Ground-Truth-Daten können zur Aktualisierung der Parameter des Ausgangsmodells 4004 verwendet werden, bis ein akzeptables Genauigkeitsniveau für das verfeinerte Modell 4012 erreicht ist. In mindestens einer Ausführungsform kann das verfeinerte Modell 4012, sobald es generiert ist, in einer oder mehreren Einsatzpipelines 3710 in einer Einrichtung eingesetzt werden, um eine oder mehrere Verarbeitungsaufgaben in Bezug auf medizinische Bildgebungsdaten durchzuführen.
  • In mindestens einer Ausführungsform kann das verfeinerte Modell 4012 in das Modellregister 3624 zu den bereits trainierten Modellen 3706 hochgeladen werden, um von einer anderen Einrichtung ausgewählt zu werden. In mindestens einer Ausführungsform kann dieser Prozess in einer beliebigen Anzahl von Einrichtungen durchgeführt werden, so dass das verfeinerte Modell 4012 beliebig oft an neuen Datensätzen weiter verfeinert werden kann, um ein universelleres Modell zu erzeugen.
  • In mindestens einer Ausführungsform wird mindestens eine in 40A dargestellte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst mindestens eine in 40A dargestellte oder beschriebene Komponente mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform führt mindestens eine in 40A gezeigte oder beschriebene Komponente (z. B. eine oder mehrere Komponenten des Modelltrainingssystems 4004) mindestens einen Trainingsvorgang unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ durchgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • 40B ist eine beispielhafte Darstellung einer Client-Server-Architektur 4032 zur Verbesserung von Annotationswerkzeugen mit vorab trainierten Annotationsmodellen gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können KI-gestützte Annotationswerkzeuge 4036 basierend auf einer Client-Server-Architektur 4032 instanziiert werden. In mindestens einer Ausführungsform können Annotationswerkzeuge 4036 in bildgebenden Anwendungen Radiologen beispielsweise bei der Identifizierung von Organen und Anomalien unterstützen. In mindestens einer Ausführungsform können Bildgebungsanwendungen Softwaretools enthalten, die dem Benutzer 4010 helfen, als nicht einschränkendes Beispiel einige extreme Punkte auf einem bestimmten Organ von Interesse in Rohbildern 4034 (z. B. in einem 3D-MRI- oder CT-Scan) zu identifizieren und automatisch kommentierte Ergebnisse für alle 2D-Schichten eines bestimmten Organs zu erhalten. In mindestens einer Ausführungsform können die Ergebnisse in einem Datenspeicher als Trainingsdaten 4038 gespeichert und als (z. B. und ohne Einschränkung) Ground-Truth-Daten für das Training verwendet werden. In mindestens einer Ausführungsform kann ein Deep-Learning-Modell, wenn die Datenverarbeitungsvorrichtung 4008 Extrempunkte für die KI-gestützte Annotation 3610 sendet, diese Daten als Eingabe empfangen und Schlussfolgerungsergebnisse eines segmentierten Organs oder einer Abnormalität zurückgeben. In mindestens einer Ausführungsform können voreingestellte Annotationswerkzeuge, wie das KI-unterstützte Annotationswerkzeug 4036B in 40B, durch API-Aufrufe (z. B. API-Aufruf 4044) an einen Server, wie einen Annotationsassistenzserver 4040, verbessert werden, der einen Satz von vortrainierten Modellen 4042 enthalten kann, die beispielsweise in einer Annotationsmodellregistrierung gespeichert sind. In mindestens einer Ausführungsform kann eine Annotationsmodellregistrierung vortrainierte Modelle 4042 (z. B. Modelle für maschinelles Lernen, wie Deep-Learning-Modelle) speichern, die vortrainiert sind, um eine KI-gestützte Annotation für ein bestimmtes Organ oder eine Anomalie durchzuführen. In mindestens einer Ausführungsform können diese Modelle mit Hilfe von Trainingspipelines 3704 weiter aktualisiert werden. In mindestens einer Ausführungsform können die vorinstallierten Annotationswerkzeuge im Laufe der Zeit verbessert werden, wenn neue markierte Klinikdaten 3612 hinzugefügt werden.
  • Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 715 werden hier in Verbindung mit 7A und/oder 7B beschrieben.
  • In mindestens einer Ausführungsform wird mindestens eine in 40B dargestellte oder beschriebene Komponente verwendet, um Techniken und/oder Funktionen zu implementieren, die in Verbindung mit 1-6 beschrieben sind. In mindestens einer Ausführungsform umfasst mindestens eine in 40B dargestellte oder beschriebene Komponente mindestens einen in 1 beschriebenen Aspekt (z. B. Deep-Learning-Compiler 102, Stream-Scheduler 110, Speicherzuordner 112) und/oder führt diesen aus. In mindestens einer Ausführungsform führt mindestens eine in 37B gezeigte oder beschriebene Komponente (z. B. das KI-gestützte Annotationswerkzeug 3736 und/oder der Annotationsassistenzserver 4040) mindestens eine Inferenzoperation unter Verwendung einer Darstellung eines Computerprogramms durch, das Operationen und/oder Anweisungen angibt, die spekulativ ausgeführt werden können, wie in Bezug auf eine oder mehrere der 1-6 beschrieben.
  • Mindestens eine Ausführungsform der Offenbarung kann im Hinblick auf die folgenden Abschnitte beschrieben werden:
    1. 1. Prozessor, der aufweist: eine oder mehrere Schaltungen zum Ausführen einer oder mehrerer Anweisungen, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind.
    2. 2. Prozessor nach Klausel 1, wobei die eine oder die mehreren Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen, und die eine oder die mehreren Schaltungen die eine oder die mehreren Anweisungen mindestens teilweise basierend auf dem Empfang eines Befehls von einem anderen Prozessor ausführen sollen.
    3. 3. Prozessor nach einer der Klauseln 1 bis 3, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen zwischen einer Parallelverarbeitungseinheit und einem Host-Computersystem und dem Kennzeichnen sicherer Operationen, die einer oder mehreren identifizierten Kopieroperationen folgen.
    4. 4. Prozessor nach einer der Klauseln 1 bis 3, wobei die Anweisungen erweiterte Live-Bereiche für Variablen enthalten, die von Operationen verwendet werden, die mit Anweisungen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    5. 5. Prozessor nach einer der Klauseln 1 bis 4, wobei der Prozessor Teil einer Parallelverarbeitungseinheit ist und die eine oder mehreren Schaltungen die eine oder mehreren Anweisungen nach dem Empfang eines Kernel-Startbefehls von einem Host-Computersystem ausführen sollen.
    6. 6. Prozessor nach einer der Klauseln 1 bis 5, wobei die Anweisungen Teil einer while-Schleife sind.
    7. 7. Prozessor nach einer der Klauseln 1 bis 6, wobei die Anweisungen einen Teil einer Inferenzoperation unter Verwendung eines rekurrenten neuronalen Netzes implementieren.
    8. 8. System, das aufweist:
      • einen oder mehrere Prozessoren zum Ausführen einer oder mehrerer Anweisungen, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind; und
      • einen oder mehrere Speicher zum Speichern der einen oder mehreren Anweisungen.
    9. 9. System nach Klausel 8, wobei Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen von einer Parallelverarbeitungseinheit zu einem Host-Computersystem.
    10. 10. System nach einer der Klauseln 8 bis 9, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Finden einer oder mehrerer bedingter Verzweigungen in einer Darstellung eines Computerprogramms, das ein neuronales Netz verwendet.
    11. 11. System nach einer der Klauseln 8 bis 10, wobei der eine oder die mehreren Prozessoren ein erster oder mehrere Prozessoren sind und das System ferner einen zweiten oder mehrere Prozessoren aufweist, um die eine oder die mehreren Anweisungen zur Ausführung durch den ersten oder die mehreren Prozessoren zu starten.
    12. 12. System nach einer der Klauseln 8 bis 11, wobei der eine oder die mehreren Prozessoren ein erster oder mehrere Prozessoren sind, das System ferner einen zweiten oder mehrere Prozessoren aufweist, um die eine oder die mehreren Anweisungen zur Ausführung durch den ersten oder die mehreren Prozessoren zu starten, und der zweite oder die mehreren Prozessoren das Starten von Anweisungen spekulativ als Reaktion auf den Empfang eines Wertes über eine Kopieroperation stoppen sollen, der eine Bedingung erfüllt, die der einen oder den mehreren Anweisungen in einer Darstellung eines Computerprogramms vorausgeht.
    13. 13. System nach einer der Klauseln 8 bis 12, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf der Kennzeichnung von Operationen, die sicher spekulativ auszuführen sind.
    14. 14. System nach einer der Klauseln 8 bis 13, wobei Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Durchsuchen einer Darstellung eines Computerprogramms nach Kopieroperationen und dem Identifizieren von Operationen, die auf die Kopieroperationen folgen, die sicher spekulativ auszuführen sind.
    15. 15. System nach einer der Klauseln 8 bis 14, wobei die Anweisungen Teil einer while-Schleife sind, die einen Teil einer Inferenzoperation unter Verwendung eines neuronalen Netzes implementiert.
    16. 16. Verfahren, das aufweist: Ausführen einer oder mehrerer Anweisungen, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind.
    17. 17. Verfahren nach Klausel 16, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Operationen, die nicht einen Zufallszustand ändern, Ausgaben überschreiben, einen Signalbefehl verwenden oder einen Wartebefehl verwenden.
    18. 18. Verfahren nach einer der Klauseln 16 bis 17, wobei Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind sollen, mindestens teilweise basierend auf dem Identifizieren einer bedingten Verzweigung und dem Auswählen eines Pfades aus einer Vielzahl von Pfaden, die der bedingten Verzweigung folgen.
    19. 19. Verfahren nach einer der Klauseln 16 bis 18, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen.
    20. 20. Verfahren nach einer der Klauseln 16 bis 19, wobei die Anweisungen erweiterte Live-Bereiche für Variablen enthalten, die in spekulativ durchgeführten Operationen verwendet werden.
    21. 21. Verfahren nach einer der Klauseln 16 bis 20, wobei Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind sollen, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen, und wobei die Anweisungen einen Teil einer Inferenzoperation unter Verwendung eines neuronalen Netzwerks implementieren.
    22. 22. Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, mindestens:
      • eine oder mehrere Anweisungen zu identifizieren, die spekulativ parallel ausgeführt werden sollen.
    23. 23. Maschinenlesbares Medium nach Klausel 22, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, ferner den einen oder die mehreren Prozessoren veranlassen, mindestens die spekulativ parallel auszuführenden Anweisungen zu identifizieren, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen zwischen einer Parallelverarbeitungseinheit und einem Host-Computersystem in einer Darstellung eines Computerprogramms.
    24. 24. Maschinenlesbares Medium nach einer der Klauseln 22 bis 23, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren ferner veranlassen, mindestens Operationen nach einer Kopieroperation zu identifizieren, die sicher auszuführen sind.
    25. 25. Maschinenlesbares Medium nach einer der Klauseln 22 bis 24, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren ferner veranlassen, mindestens Operationen zu kennzeichnen, die sicher spekulativ auszuführen sind.
    26. 26. Maschinenlesbares Medium nach einer der Klauseln 22 bis 25, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, ferner den einen oder die mehreren Prozessoren veranlassen, mindestens Operationen zu kennzeichnen, die sicher spekulativ auszuführen sind, und einen Live-Bereich von Variablen zu erweitern, die mit Operationen verbunden sind, die als sicher spekulativ auszuführen gekennzeichnet sind.
    27. 27. Maschinenlesbares Medium nach einer der Klauseln 22 bis 26, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren außerdem veranlassen, mindestens eine Darstellung eines Computerprogramms nach Kopieroperationen zwischen einer Grafikverarbeitungseinheit und einem Host-Computersystem zu durchsuchen und Operationen zu identifizieren, die auf die Kopieroperationen folgen und sicher spekulativ auszuführen sind.
    28. 28. Maschinenlesbares Medium nach einer der Klauseln 22 bis 27, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren ferner veranlassen, mindestens einen Live-Bereich von Variablen zu erweitern, die mit Operationen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    29. 29. Maschinenlesbares Medium nach einer der Klauseln 22 bis 28, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, ferner den einen oder die mehreren Prozessoren veranlassen, mindestens eine bedingte Verzweigung in einer Darstellung eines Computerprogramms zu finden, mindestens teilweise basierend auf dem Identifizieren einer Kopieroperation in der Darstellung des Computerprogramms, einen Pfad aus einer Vielzahl von Pfaden auszuwählen, die der bedingten Verzweigung folgen, und Anweisungen in dem ausgewählten Pfad zu identifizieren, die sicher spekulativ auszuführen sind.
    30. 30. Fahrzeug, das aufweist:
      • ein Computervision-System, das einen oder mehrere Prozessoren enthält, um eine oder mehrere Trajektorien eines entsprechenden einen oder mehrerer Objekte zu identifizieren, mindestens teilweise basierend auf dem Ausführen von einer oder mehreren Inferenzoperationen unter Verwendung einer Darstellung eines Computerprogramms, das eine oder mehrere Anweisungen enthält, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind; und
      • eines oder mehrere von einem Antriebssystem, einem Richtungssteuerungssystem und einem Fahrzeugführerbenachrichtigungssystem, um eine oder mehrere Aktionen durchzuführen, mindestens teilweise basierend auf der einen oder den mehreren identifizierten Trajektorien.
    31. 31. Fahrzeug nach Klausel 30, wobei der eine oder die mehreren Prozessoren einen oder mehrere erste Prozessoren in einem Host-Computersystem und einen oder mehrere zweite Prozessoren in einer Parallelverarbeitungseinheit aufweisen, wobei der eine oder die mehreren zweiten Prozessoren Anweisungen spekulativ ausführen sollen, mindestens teilweise basierend auf dem Empfang eines Befehls vom Host-Computersystem, der einen Kernel startet, der die Anweisungen auf der Parallelverarbeitungseinheit enthält.
    32. 32. Fahrzeug nach einer der Klauseln 30 bis 31, wobei die eine oder die mehreren Anweisungen vom Compiler als spekulativ auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen.
    33. 33. Fahrzeug nach einer der Klauseln 30 bis 32, wobei die eine oder die mehreren Anweisungen vom Compiler als spekulativ auszuführen identifiziert worden sind, mindestens teilweise basierend auf Kennzeichnen sicherer Operationen.
    34. 34. Fahrzeug nach einer der Klauseln 30 bis 33, wobei die Anweisungen erweiterte Live-Bereiche für Variablen enthalten, die von Operationen verwendet werden, die mit Anweisungen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    35. 35. Fahrzeug nach einer der Klauseln 30 bis 34, wobei die Anweisungen einen Teil einer Inferenzoperation unter Verwendung eines rekurrenten neuronalen Netzes implementieren.
    36. 36. Prozessor, der aufweist: eine oder mehrere Schaltungen zum Identifizieren einer oder mehrerer Anweisungen, die spekulativ parallel ausgeführt werden sollen.
    37. 37. Prozessor nach Klausel 36, wobei der eine oder die mehreren Schaltungen dazu dienen, die spekulativ parallel auszuführenden Anweisungen mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen zwischen einer Parallelverarbeitungseinheit und einem Host-Computersystem in einer Darstellung eines Computerprogramms zu identifizieren.
    38. 38. Prozessor nach einer der Klauseln 36 bis 37, wobei die eine oder die mehreren Schaltungen ferner dazu dienen, mindestens Operationen zu identifizieren, die auf eine Kopieroperation folgen und sicher ausgeführt werden können.
    39. 39. Prozessor nach einer der Klauseln 36 bis 38, wobei der eine oder die mehreren Schaltungen ferner mindestens Operationen kennzeichnen, die sicher spekulativ auszuführen sind.
    40. 40. Prozessor nach einer der Klauseln 36 bis 39, wobei der eine oder die mehreren Schaltungen ferner mindestens Operationen kennzeichnen, die sicher spekulativ auszuführen sind, und einen Live-Bereich von Variablen erweitern, die mit Operationen verbunden sind, die als sicher spekulativ auszuführen gekennzeichnet sind.
    41. 41. Prozessor nach einer der Klauseln 36 bis 40, wobei eine oder mehrere Schaltungen ferner mindestens eine Darstellung eines Computerprogramms nach Kopieroperationen zwischen einer Grafikverarbeitungseinheit und einem Host-Computersystem durchsuchen und Operationen identifizieren, die auf die Kopieroperationen folgen und sicher spekulativ auszuführen sind.
    42. 42. Prozessor nach einer der Klauseln 36 bis 41, wobei der eine oder die mehreren Schaltungen ferner dazu dienen, mindestens einen Live-Bereich von Variablen zu erweitern, die mit Operationen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    43. 43. Prozessor nach einer der Klauseln 36 bis 42, wobei der eine oder die mehreren Schaltungen ferner mindestens teilweise dazu dienen, eine bedingte Verzweigung in einer Darstellung eines Computerprogramms zu finden, mindestens basierend auf dem Identifizieren einer Kopieroperation in der Darstellung des Computerprogramms, einen Pfad aus einer Vielzahl von Pfaden auszuwählen, die der bedingten Verzweigung folgen, und Anweisungen in dem ausgewählten Pfad zu identifizieren, die sicher spekulativ auszuführen sind.
    44. 44. System, das aufweist:
      • einen oder mehrere Prozessoren zum Identifizieren von einer oder mehreren Anweisungen, die spekulativ parallel ausgeführt werden sollen; und
      • einen oder mehrere Speicher zum Speichern der einen oder mehreren Anweisungen.
    45. 45. System nach Klausel 44, wobei der eine oder die mehreren Prozessoren dazu dienen, mindestens die Anweisungen zu identifizieren, die spekulativ parallel ausgeführt werden sollen, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen zwischen einer Parallelverarbeitungseinheit und einem Host-Computersystem in einer Darstellung eines Computerprogramms.
    46. 46. System nach einer der Klauseln 44 bis 45, wobei der eine oder die mehreren Prozessoren dazu dienen, mindestens Operationen nach einer Kopieroperation zu identifizieren, die sicher auszuführen sind.
    47. 47. System nach einer der Klauseln 44 bis 46, wobei der eine oder die mehreren Prozessoren dazu dienen, mindestens Operationen zu kennzeichnen, die sicher spekulativ auszuführen sind.
    48. 48. System nach einer der Klauseln 44 bis 47, wobei der eine oder die mehreren Prozessoren dazu dienen, mindestens Operationen zu kennzeichnen, die sicher spekulativ auszuführen sind, und einen Live-Bereich von Variablen zu erweitern, die mit Operationen verbunden sind, die als sicher spekulativ auszuführen gekennzeichnet sind.
    49. 49. System nach einer der Klauseln 44 bis 48, wobei der eine oder die mehreren Prozessoren dazu dienen, mindestens eine Darstellung eines Computerprogramms nach Kopieroperationen zwischen einer Grafikverarbeitungseinheit und einem Host-Computersystem zu durchsuchen und Operationen zu identifizieren, die auf die Kopieroperationen folgen und sicher spekulativ auszuführen sind.
    50. 50. System nach einer der Klauseln 44 bis 49, wobei der eine oder die mehreren Prozessoren dazu dienen, mindestens einen Live-Bereich von Variablen zu erweitern, die mit Operationen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    51. 51. System nach einer der Klauseln 44 bis 50, wobei der eine oder die mehreren Prozessoren dazu dienen, mindestens eine bedingte Verzweigung in einer Darstellung eines Computerprogramms zu finden, mindestens basierend auf dem Identifizieren einer Kopieroperation in der Darstellung des Computerprogramms, einen Pfad aus einer Vielzahl von Pfaden auswählen, die der bedingten Verzweigung folgen, und Anweisungen in dem ausgewählten Pfad identifizieren, die sicher spekulativ auszuführen sind.
    52. 52. Verfahren, das aufweist:
      • Identifizieren einer oder mehrerer Anweisungen, die spekulativ parallel ausgeführt werden sollen.
    53. 53. Verfahren nach Klausel 52, wobei das Identifizieren der spekulativ parallel auszuführenden Anweisungen mindestens teilweise auf dem Identifizieren von Kopieroperationen zwischen einer Parallelverarbeitungseinheit und einem Host-Computersystem in einer Darstellung eines Computerprogramms basiert.
    54. 54. Verfahren nach einer der Klauseln 52 bis 53, wobei das Identifizieren der spekulativ parallel auszuführenden Anweisungen das Identifizieren von Operationen nach einer Kopieroperation aufweist, die sicher auszuführen sind.
    55. 55. Verfahren nach einer der Klauseln 52 bis 54, das ferner das Kennzeichnen von Operationen aufweist, die sicher spekulativ auszuführen sind.
    56. 56. Verfahren nach einer der Klauseln 52 bis 55, das ferner das Kennzeichnen von Operationen aufweist, die sicher spekulativ auszuführen sind, und das Erweitern eines Live-Bereichs von Variablen, die mit Operationen verbunden sind, die als sicher spekulativ auszuführen gekennzeichnet sind.
    57. 57. Verfahren nach einer der Klauseln 52 bis 56, das ferner das Durchsuchen einer Darstellung eines Computerprogramms nach Kopieroperationen zwischen einer Grafikverarbeitungseinheit und einem Host-Computersystem und das Identifizieren von Operationen aufweist, die auf die Kopieroperationen folgen und sicher spekulativ auszuführen sind.
    58. 58. Verfahren nach einem der Paragraphen 52 bis 57, das ferner das Erweitern eines Live-Bereichs von Variablen aufweist, die mit Operationen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    59. 59. Verfahren nach einem der Paragraphen 52 bis 58, das ferner aufweist:
      • Finden einer bedingten Verzweigung in einer Darstellung eines Computerprogramms, mindestens teilweise basieren auf dem Identifizieren einer Kopieroperation in der Darstellung des Computerprogramms;
      • Auswählen eines Pfades aus einer Vielzahl von Pfaden, die der bedingten Verzweigung folgen; und
      • Identifizieren von Anweisungen im ausgewählten Pfad, die sicher spekulativ auszuführen sind.
  • In mindestens einer Ausführungsform kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche integrierte Schaltung oder einen Chip auf Halbleiterbasis beziehen. In mindestens einer Ausführungsform können Multi-Chip-Module mit erhöhter Konnektivität verwendet werden, die einen On-Chip-Betrieb simulieren und wesentliche Verbesserungen gegenüber der Verwendung einer herkömmlichen Zentraleinheit („CPU“) und einer Bus-Implementierung bieten. In mindestens einer Ausführungsform können verschiedene Module auch separat oder in verschiedenen Kombinationen von Halbleiterplattformen je nach den Wünschen des Benutzers untergebracht werden.
  • In mindestens einer Ausführungsform, die sich auf 13 bezieht, werden Computerprogramme in Form von maschinenlesbarem, ausführbarem Code oder Computersteuerungslogik-Algorithmen im Hauptspeicher 1304 und/oder im Sekundärspeicher gespeichert. Computerprogramme, die von einem oder mehreren Prozessoren ausgeführt werden, ermöglichen es dem System 1300, verschiedene Funktionen gemäß mindestens einer Ausführungsform auszuführen. In mindestens einer Ausführungsform sind Speicher 1304, Speicher und/oder jeder andere Speicher mögliche Beispiele für computerlesbare Medien. In mindestens einer Ausführungsform kann sich der Sekundärspeicher auf jedes geeignete Speichergerät oder -system beziehen, wie z. B. ein Festplattenlaufwerk und/oder ein Wechselspeicherlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein DVD-Laufwerk, ein Aufzeichnungsgerät, einen USB-Flash-Speicher usw. darstellt. In mindestens einer Ausführungsform werden die Architektur und/oder die Funktionalität verschiedener vorhergehender Figuren im Zusammenhang mit der CPU 1302, dem Parallelverarbeitungssystem 1312, einer integrierten Schaltung, die mindestens einen Teil der Fähigkeiten sowohl der CPU 1302 als auch des Parallelverarbeitungssystems 1312 besitzt, einem Chipsatz (z. B. einer Gruppe integrierter Schaltungen, die so konzipiert sind, dass sie als Einheit arbeiten und verkauft werden, um verwandte Funktionen auszuführen, usw.) und/oder einer beliebigen geeigneten Kombination integrierter Schaltungen implementiert.
  • In mindestens einer Ausführungsform werden die Architektur und/oder die Funktionalität verschiedener vorhergehender Figuren im Kontext eines allgemeinen Computersystems, eines Leiterplattensystems, eines Spielkonsolensystems für Unterhaltungszwecke, eines anwendungsspezifischen Systems und mehr implementiert. In mindestens einer Ausführungsform kann das Computersystem 1300 die Form eines Desktop-Computers, eines Laptops, eines Tablet-Computers, eines Servers, eines Supercomputers, eines Smartphones (z. B. eines drahtlosen Handgeräts), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, eines Head-Mounted-Displays, eines elektronischen Handgeräts, eines Mobiltelefons, eines Fernsehers, einer Workstation, einer Spielkonsole, eines eingebetteten Systems und/oder einer anderen Art von Logik haben.
  • In mindestens einer Ausführungsform umfasst das Parallelverarbeitungssystem 1312 ohne Einschränkung eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 1314 und zugehörige Speicher 1316. In mindestens einer Ausführungsform sind die PPUs 1314 über eine Zwischenverbindung 1318 und einen Schalter 1320 oder Multiplexer mit einem Host-Prozessor oder anderen Peripheriegeräten verbunden. In mindestens einer Ausführungsform verteilt das Parallelverarbeitungssystem 1312 Rechenaufgaben auf die PPUs 1314, die parallelisierbar sein können - beispielsweise als Teil der Verteilung von Rechenaufgaben auf mehrere Thread-Blöcke der Grafikverarbeitungseinheit („GPU“). In mindestens einer Ausführungsform wird der Speicher gemeinsam genutzt und ist für einige oder alle PPUs 1314 zugänglich (z. B. für Lese- und/oder Schreibzugriffe), obwohl ein solcher gemeinsam genutzter Speicher Leistungseinbußen im Vergleich zur Verwendung von lokalem Speicher und Registern, die in einer PPU 1314 resident sind, mit sich bringen kann. In mindestens einer Ausführungsform wird der Betrieb der PPUs 1314 durch Verwendung eines Befehls wie _syncthreads() synchronisiert, wobei alle Threads in einem Block (z. B. über mehrere PPUs 1314 ausgeführt) einen bestimmten Punkt der Codeausführung erreichen müssen, bevor sie fortfahren.
  • Andere Variationen sind im Sinne der vorliegenden Offenbarung. Während die offengelegten Techniken für verschiedene Modifikationen und alternative Konstruktionen anfällig sind, sind bestimmte illustrierte Ausführungsformen davon in den Zeichnungen dargestellt und wurden oben im Detail beschrieben. Es sollte jedoch verstanden werden, dass nicht beabsichtigt ist, die Offenbarung auf eine bestimmte Form oder bestimmte Formen zu beschränken, sondern dass im Gegenteil beabsichtigt ist, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Geist und den Umfang der Offenbarung fallen, wie in den beigefügten Ansprüchen definiert.
  • Die Verwendung der Begriffe „ein“ und „ein“ und „der“ und ähnlicher Bezeichnungen im Zusammenhang mit der Beschreibung offengelegter Ausführungsformen (insbesondere im Zusammenhang mit den folgenden Ansprüchen) ist so auszulegen, dass sie sowohl die Einzahl als auch die Mehrzahl umfasst, sofern hierin nichts anderes angegeben ist oder der Kontext nicht eindeutig widerspricht, und nicht als Definition eines Begriffs. Die Begriffe „bestehend aus“, „mit“, „einschließlich“ und „enthaltend“ sind als offene Begriffe zu verstehen (im Sinne von „einschließlich, aber nicht beschränkt auf‟), sofern nicht anders angegeben. Der Begriff „verbunden“ ist, wenn er unverändert bleibt und sich auf physikalische Verbindungen bezieht, als teilweise oder ganz in ihm enthalten, an ihm befestigt oder mit ihm verbunden zu verstehen, auch wenn etwas dazwischen liegt. Die Aufzählung von Wertebereichen soll lediglich als Abkürzungsmethode dienen, um sich individuell auf jeden einzelnen Wert zu beziehen, der in den Bereich fällt, sofern hier nichts anderes angegeben ist, und jeder einzelne Wert wird in die Spezifikation aufgenommen, als ob er hier einzeln aufgeführt wäre. In mindestens einer Ausführungsform ist die Verwendung des Begriffs „Menge“ (z. B. „eine Menge von Gegenständen“) oder „Teilmenge“, sofern nicht anders angegeben oder durch den Kontext widerlegt, als eine nicht leere Sammlung zu verstehen, die ein oder mehrere Elemente umfasst. Sofern nicht anders vermerkt oder durch den Kontext widerlegt, bezeichnet der Begriff „Teilmenge“ einer entsprechenden Menge nicht notwendigerweise eine echte Teilmenge der entsprechenden Menge, sondern Teilmenge und entsprechende Menge können gleich sein.
  • Konjunktionale Ausdrücke, wie z. B. Sätze der Form „mindestens eines von A, B und C“ oder „mindestens eines von A, B und C“, werden, sofern nicht ausdrücklich anders angegeben oder durch den Kontext eindeutig widerlegt, im Allgemeinen so verstanden, dass ein Gegenstand, Begriff usw, entweder A oder B oder C oder eine beliebige, nicht leere Teilmenge der Menge von A und B und C sein kann. So beziehen sich beispielsweise in dem anschaulichen Beispiel einer Menge mit drei Mitgliedern die konjunktiven Ausdrücke „mindestens eines von A, B und C“ und „mindestens eines von A, B und C“ auf eine der folgenden Mengen: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Derartige konjunktivische Formulierungen sind also nicht generell so zu verstehen, dass bei bestimmten Ausführungsformen jeweils mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden sein muss. Sofern nicht anders vermerkt oder durch den Kontext widerlegt, bezeichnet der Begriff „Mehrzahl“ einen Zustand der Pluralität (z. B. „eine Mehrzahl von Elementen“ bezeichnet mehrere Elemente). In mindestens einer Ausführungsform beträgt die Anzahl der Elemente in einer Mehrzahl mindestens zwei, kann aber auch mehr sein, wenn dies entweder ausdrücklich oder durch den Kontext angegeben wird. Sofern nicht anders angegeben oder aus dem Kontext klar hervorgeht, bedeutet der Ausdruck „basierend auf" mindestens teilweise basierend auf und nicht „ausschließlich basierend auf‟.
  • Die Operationen der hier beschriebenen Prozesse können in jeder geeigneten Reihenfolge durchgeführt werden, sofern hier nichts anderes angegeben ist oder der Kontext nicht eindeutig dagegen spricht. In mindestens einer Ausführungsform wird ein Prozess wie die hier beschriebenen Prozesse (oder Variationen und/oder Kombinationen davon) unter der Kontrolle eines oder mehrerer Computersysteme durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind und als Code (z. B. ausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen) implementiert sind, die gemeinsam auf einem oder mehreren Prozessoren, durch Hardware oder Kombinationen davon ausgeführt werden. In mindestens einer Ausführungsform ist der Code auf einem computerlesbaren Speichermedium gespeichert, z. B. in Form eines Computerprogramms, das eine Vielzahl von Anweisungen umfasst, die von einem oder mehreren Prozessoren ausgeführt werden können. In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nichttransitorisches computerlesbares Speichermedium, das transitorische Signale (z. B. eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung) ausschließt, aber nichttransitorische Datenspeicherschaltungen (z. B. Puffer, Cache und Warteschlangen) innerhalb von Transceivern für transitorische Signale enthält. In mindestens einer Ausführungsform ist Code (z.B. ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nichttransitorischen, computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen (oder ein anderer Speicher zum Speichern ausführbarer Anweisungen) gespeichert sind, die, wenn sie von einem oder mehreren Prozessoren eines Computersystems ausgeführt werden (d.h. als Ergebnis der Ausführung), das Computersystem veranlassen, hierin beschriebene Operationen durchzuführen. In mindestens einer Ausführungsform umfasst der Satz nichttransitorischer computerlesbarer Speichermedien mehrere nichttransitorische computerlesbare Speichermedien, und auf einem oder mehreren der einzelnen nichttransitorischen Speichermedien mehrerer nichttransitorischer computerlesbarer Speichermedien fehlt der gesamte Code, während auf mehreren nichttransitorischen computerlesbaren Speichermedien gemeinsam der gesamte Code gespeichert ist. In mindestens einer Ausführungsform werden ausführbare Anweisungen so ausgeführt, dass verschiedene Anweisungen von verschiedenen Prozessoren ausgeführt werden - zum Beispiel speichert ein nicht-übertragbares computerlesbares Speichermedium Anweisungen und eine zentrale Verarbeitungseinheit („CPU“) führt einige der Anweisungen aus, während eine Grafikverarbeitungseinheit („GPU“) andere Anweisungen ausführt. In mindestens einer Ausführungsform haben verschiedene Komponenten eines Computersystems getrennte Prozessoren, und verschiedene Prozessoren führen verschiedene Teilmengen von Anweisungen aus.
  • In mindestens einer Ausführungsform ist eine arithmetische Logikeinheit ein Satz von kombinatorischen Logikschaltungen, die eine oder mehrere Eingaben verarbeiten, um ein Ergebnis zu erzeugen. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit von einem Prozessor verwendet, um mathematische Operationen wie Addition, Subtraktion oder Multiplikation durchzuführen. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit verwendet, um logische Operationen wie logisches AND/OR oder XOR durchzuführen. In mindestens einer Ausführungsform ist eine arithmetische Logikeinheit zustandslos und besteht aus physikalischen Schaltkomponenten wie Halbleitertransistoren, die zur Bildung logischer Gatter angeordnet sind. In mindestens einer Ausführungsform kann eine arithmetische Logikeinheit intern als zustandsabhängige Logikschaltung mit einem zugehörigen Taktgeber arbeiten. In mindestens einer Ausführungsform kann eine arithmetische Logikeinheit als asynchrone Logikschaltung aufgebaut sein, deren interner Zustand nicht in einem zugehörigen Registersatz gehalten wird. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit von einem Prozessor verwendet, um in einem oder mehreren Registern des Prozessors gespeicherte Operanden zu kombinieren und eine Ausgabe zu erzeugen, die vom Prozessor in einem anderen Register oder einem Speicherplatz gespeichert werden kann.
  • In mindestens einer Ausführungsform gibt der Prozessor als Ergebnis der Verarbeitung eines vom Prozessor abgerufenen Befehls einen oder mehrere Eingänge oder Operanden an eine arithmetische Logikeinheit weiter, wodurch die arithmetische Logikeinheit veranlasst wird, ein Ergebnis zu erzeugen, das mindestens teilweise auf einem Befehlscode basiert, der den Eingängen der arithmetischen Logikeinheit bereitgestellt wird. In mindestens einer Ausführungsform basieren die vom Prozessor an die ALU gelieferten Befehlscodes mindestens teilweise auf dem vom Prozessor ausgeführten Befehl. In mindestens einer Ausführungsform verarbeitet die kombinatorische Logik in der ALU die Eingänge und erzeugt einen Ausgang, der auf einen Bus innerhalb des Prozessors gelegt wird. In mindestens einer Ausführungsform wählt der Prozessor ein Zielregister, einen Speicherplatz, ein Ausgabegerät oder einen Ausgabespeicherplatz auf dem Ausgangsbus aus, so dass das Takten des Prozessors bewirkt, dass die von der ALU erzeugten Ergebnisse an den gewünschten Ort gesendet werden.
  • Im Rahmen dieser Anwendung wird der Begriff arithmetische Logikeinheit (ALU) verwendet, um sich auf jede logische Rechenschaltung zu beziehen, die Operanden verarbeitet, um ein Ergebnis zu erzeugen. Im vorliegenden Dokument kann sich der Begriff ALU beispielsweise auf eine Gleitkommaeinheit, einen DSP, einen Tensor-Kern, einen Shader-Kern, einen Koprozessor oder eine CPU beziehen.
  • Dementsprechend sind in mindestens einer Ausführungsform Computersysteme so konfiguriert, dass sie einen oder mehrere Dienste implementieren, die einzeln oder gemeinsam Operationen der hierin beschriebenen Prozesse durchführen, und solche Computersysteme sind mit geeigneter Hardware und/oder Software konfiguriert, die die Durchführung von Operationen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der vorliegenden Offenbarung implementiert, ein einzelnes Gerät und in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Geräte umfasst, die unterschiedlich arbeiten, so dass das verteilte Computersystem die hierin beschriebenen Operationen durchführt und ein einzelnes Gerät nicht alle Operationen durchführt.
  • Die Verwendung von Beispielen oder beispielhaften Ausdrücken (z.B. „wie“) dient lediglich der besseren Veranschaulichung von Ausführungsformen der Offenbarung und stellt keine Einschränkung des Umfangs der Offenbarung dar, sofern nicht anders angegeben. Keine Formulierung in der Beschreibung sollte so ausgelegt werden, dass ein nicht beanspruchtes Element als wesentlich für die Praxis der Offenbarung angesehen wird.
  • Alle hierin zitierten Referenzen, einschließlich Veröffentlichungen, Patentanmeldungen und Patente, werden hiermit durch Verweis in demselben Umfang einbezogen, als ob jede Referenz einzeln und ausdrücklich als durch Verweis einbezogen angegeben wäre und hier in ihrer Gesamtheit wiedergegeben würde.
  • In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ sowie ihre Ableitungen verwendet werden. Es ist zu verstehen, dass diese Begriffe nicht als Synonyme füreinander zu verstehen sind. Vielmehr kann in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzuzeigen, dass zwei oder mehr Elemente in direktem oder indirektem physischem oder elektrischem Kontakt zueinander stehen. „Gekoppelt“ kann auch bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt zueinander stehen, aber dennoch miteinander zusammenarbeiten oder interagieren.
  • Sofern nicht ausdrücklich anders angegeben, beziehen sich Begriffe wie „Verarbeitung“, „Berechnung“, „Berechnen“, „Bestimmen“ usw. in der gesamten Spezifikation auf Aktionen und/oder Prozesse eines Computers oder Rechensystems oder eines ähnlichen elektronischen Rechengeräts, die Daten, die als physikalische, z. B. elektronische, Größen in den Registern und/oder Speichern des Rechensystems dargestellt werden, manipulieren und/oder in andere Daten umwandeln, die in ähnlicher Weise als physikalische Größen in den Speichern, Registern oder anderen Informationsspeicher-, Übertragungs- oder Anzeigegeräten des Rechensystems dargestellt werden.
  • In ähnlicher Weise kann sich der Begriff „Prozessor“ auf ein Gerät oder einen Teil eines Geräts beziehen, das elektronische Daten aus Registern und/oder einem Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten umwandelt, die in Registern und/oder einem Speicher gespeichert werden können. Als nicht einschränkende Beispiele kann ein „Prozessor“ eine CPU oder eine GPU sein. Eine „Datenverarbeitungsplattform“ kann einen oder mehrere Prozessoren umfassen. Der hier verwendete Begriff „Software“-Prozesse kann z. B. Software- und/oder Hardware-Einheiten umfassen, die im Laufe der Zeit Arbeit verrichten, wie z. B. Aufgaben, Threads und intelligente Agenten. Jeder Prozess kann sich auch auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. In mindestens einer Ausführungsform werden die Begriffe „System“ und „Methode“ hier austauschbar verwendet, da ein System eine oder mehrere Methoden umfassen kann und Methoden als ein System betrachtet werden können.
  • Im vorliegenden Dokument kann auf das Beschaffen, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Teilsystem, ein Computersystem oder eine computerimplementierte Maschine Bezug genommen werden. In mindestens einer Ausführungsform kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens analoger und digitaler Daten auf verschiedene Weise erfolgen, z. B. durch Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs an eine Anwendungsprogrammierschnittstelle. In mindestens einer Ausführungsform können Prozesse zum Erhalten, Erfassen, Empfangen oder Eingeben analoger oder digitaler Daten durch die Übertragung von Daten über eine serielle oder parallele Schnittstelle durchgeführt werden. In mindestens einer Ausführungsform können Prozesse der Beschaffung, der Erfassung, des Empfangs oder der Eingabe analoger oder digitaler Daten durch die Übertragung von Daten über ein Computernetz von der bereitstellenden Einheit zur erfassenden Einheit durchgeführt werden. In mindestens einer Ausführungsform kann auch auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Präsentieren analoger oder digitaler Daten Bezug genommen werden. In verschiedenen Beispielen können Prozesse der Bereitstellung, Ausgabe, Übertragung, Sendung oder Darstellung analoger oder digitaler Daten durch die Übertragung von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Interprozess-Kommunikationsmechanismus durchgeführt werden.
  • Obwohl in den vorliegenden Beschreibungen Beispielimplementierungen der beschriebenen Techniken dargelegt werden, können auch andere Architekturen zur Implementierung der beschriebenen Funktionen verwendet werden, die in den Anwendungsbereich dieser Offenlegung fallen sollen. Darüber hinaus können, obwohl oben zu Beschreibungszwecken spezifische Verteilungen von Verantwortlichkeiten definiert sind, verschiedene Funktionen und Verantwortlichkeiten je nach den Umständen auf unterschiedliche Weise verteilt und aufgeteilt werden.
  • Auch wenn der Gegenstand in einer Sprache beschrieben wurde, die sich auf strukturelle Merkmale und/oder methodische Handlungen bezieht, ist zu verstehen, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden die spezifischen Merkmale und Handlungen als beispielhafte Formen der Umsetzung der Ansprüche offengelegt.

    • Claims (35)

    1. Prozessor, der aufweist: einer oder mehreren Schaltungen zum Ausführen einer oder mehrerer Anweisungen, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind.
    2. Prozessor nach Anspruch 1, wobei die eine oder die mehreren Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen, und wobei die eine oder die mehreren Schaltungen die eine oder die mehreren Anweisungen mindestens teilweise basierend auf dem Empfang eines Befehls von einem anderen Prozessor ausführen sollen.
    3. Prozessor nach Anspruch 1 oder 2, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen zwischen einer Parallelverarbeitungseinheit und einem Host-Computersystem und Kennzeichnen sicherer Operationen, die einer oder mehreren identifizierten Kopieroperationen folgen.
    4. Prozessor nach einem der vorhergehenden Ansprüche, wobei die Anweisungen erweiterte Live-Bereiche für Variablen enthalten, die von Operationen verwendet werden, die mit Anweisungen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    5. Prozessor nach einem der vorhergehenden Ansprüche, wobei der Prozessor Teil einer Parallelverarbeitungseinheit ist und die eine oder mehreren Schaltungen die eine oder mehreren Anweisungen nach dem Empfang eines Kernel-Startbefehls von einem Host-Computersystem ausführen sollen.
    6. Prozessor nach einem der vorhergehenden Ansprüche, wobei die Anweisungen Teil einer while-Schleife sind.
    7. Prozessor nach einem der vorhergehenden Ansprüche, wobei die Anweisungen einen Teil einer Inferenzoperation unter Verwendung eines rekurrenten neuronalen Netzes implementieren.
    8. System, das aufweist: einen oder mehrere Prozessoren zum Ausführen einer oder mehrerer Anweisungen, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind; und einen oder mehrere Speicher zum Speichern der einen oder mehreren Anweisungen.
    9. System nach Anspruch 8, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen von einer Parallelverarbeitungseinheit zu einem Host-Computersystem.
    10. System nach Anspruch 8 oder 9, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Finden einer oder mehrerer bedingter Verzweigungen in einer Darstellung eines Computerprogramms, das ein neuronales Netz verwendet.
    11. System nach einem der Ansprüche 8 bis 10, wobei der eine oder die mehreren Prozessoren ein erster oder mehrere Prozessoren sind und das System ferner einen zweiten oder mehrere Prozessoren aufweist, um die eine oder die mehreren Anweisungen zur Ausführung durch den ersten oder die mehreren Prozessoren zu starten.
    12. System nach einem der Ansprüche 8 bis 11, wobei der eine oder die mehreren Prozessoren ein erster oder mehrere Prozessoren sind, das System ferner einen zweiten oder mehrere Prozessoren aufweist, um die eine oder die mehreren Anweisungen zur Ausführung durch den ersten oder die mehreren Prozessoren zu starten, und der zweite oder die mehreren Prozessoren das Starten von Anweisungen spekulativ als Reaktion auf den Empfang eines Wertes über eine Kopieroperation stoppen sollen, der eine Bedingung erfüllt, die der einen oder den mehreren Anweisungen in einer Darstellung eines Computerprogramms vorausgeht.
    13. System nach einem der Ansprüche 8 bis 12, wobei die Anweisungen vom Compiler als parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf Kennzeichnen von Operationen, die sicher spekulativ auszuführen sind.
    14. System nach einem der Ansprüche 8 bis 13, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Durchsuchen einer Darstellung eines Computerprogramms nach Kopieroperationen und dem Identifizieren von Operationen, die auf die Kopieroperationen folgen und sicher spekulativ auszuführen sind.
    15. System nach einem der Ansprüche 8 bis 14, wobei die Anweisungen Teil einer while-Schleife sind, die einen Teil einer Inferenzoperation unter Verwendung eines neuronalen Netzes implementiert.
    16. Verfahren, das aufweist: Ausführen einer oder mehrerer Anweisungen, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind.
    17. Verfahren nach Anspruch 16, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Operationen, die nicht einen Zufallszustand ändern, Ausgaben überschreiben, einen Signalbefehl verwenden oder einen Wartebefehl verwenden.
    18. Verfahren nach Anspruch 16 oder 17, wobei Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren einer bedingten Verzweigung und dem Auswählen eines Pfades aus einer Vielzahl von Pfaden, die der bedingten Verzweigung folgen.
    19. Verfahren nach einem der Ansprüche 16 bis 18, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen.
    20. Verfahren nach einem der Ansprüche 16 bis 19, wobei die Anweisungen erweiterte Live-Bereiche für Variablen enthalten, die in spekulativ durchgeführten Operationen verwendet werden.
    21. Verfahren nach einem der Ansprüche 16 bis 20, wobei die Anweisungen vom Compiler als spekulativ parallel auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen, und wobei die Anweisungen einen Teil einer Inferenzoperation unter Verwendung eines neuronalen Netzwerks implementieren.
    22. Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, mindestens: eine oder mehrere Anweisungen zu identifizieren, die spekulativ parallel ausgeführt werden sollen.
    23. Maschinenlesbares Medium nach Anspruch 22, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, ferner den einen oder die mehreren Prozessoren veranlassen, mindestens die spekulativ parallel auszuführenden Anweisungen zu identifizieren, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen zwischen einer Parallelverarbeitungseinheit und einem Host-Computersystem in einer Darstellung eines Computerprogramms.
    24. Maschinenlesbares Medium nach Anspruch 22 oder 23, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren ferner veranlassen, mindestens Operationen nach einer Kopieroperation zu identifizieren, die sicher auszuführen sind.
    25. Maschinenlesbares Medium nach einem der Ansprüche 22 bis 24, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren ferner veranlassen, mindestens Operationen zu kennzeichnen, die sicher spekulativ auszuführen sind.
    26. Maschinenlesbares Medium nach einem der Ansprüche 22 bis 25, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren ferner veranlassen, mindestens Operationen zu kennzeichnen, die sicher spekulativ auszuführen sind, und einen Live-Bereich von Variablen zu erweitern, die mit Operationen verbunden sind, die als sicher spekulativ auszuführen gekennzeichnet sind.
    27. Maschinenlesbares Medium nach einem der Ansprüche 22 bis 26, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren ferner veranlassen, mindestens eine Darstellung eines Computerprogramms nach Kopieroperationen zwischen einer Grafikverarbeitungseinheit und einem Host-Computersystem zu durchsuchen und Operationen zu identifizieren, die auf die Kopieroperationen folgen und sicher spekulativ auszuführen sind.
    28. Maschinenlesbares Medium nach einem der Ansprüche 22 bis 27, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren ferner veranlassen, mindestens einen Live-Bereich von Variablen zu erweitern, die mit Anweisungen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    29. Maschinenlesbares Medium nach einem der Ansprüche 22 bis 28, wobei der Satz von Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, ferner den einen oder die mehreren Prozessoren veranlassen, mindestens eine bedingte Verzweigung in einer Darstellung eines Computerprogramms zu finden, mindestens teilweise basierend auf dem Identifizieren einer Kopieroperation in der Darstellung des Computerprogramms, einen Pfad aus einer Mehrzahl von Pfaden auszuwählen, die der bedingten Verzweigung folgen, und Anweisungen in dem ausgewählten Pfad zu identifizieren, die sicher spekulativ auszuführen sind.
    30. Fahrzeug, das aufweist: ein Computervision-System, das einen oder mehrere Prozessoren enthält, um eine oder mehrere Trajektorien eines entsprechenden einen oder mehrerer Objekte zu identifizieren, mindestens teilweise basierend auf dem Ausführen von einer oder mehreren Inferenzoperationen unter Verwendung einer Darstellung eines Computerprogramms, das eine oder mehrere Anweisungen enthält, die von einem Compiler als spekulativ parallel auszuführen identifiziert worden sind; und eines oder mehrere von einem Antriebssystem, einem Richtungssteuerungssystem und einem Fahrzeugführerbenachrichtigungssystem, um eine oder mehrere Aktionen durchzuführen, mindestens teilweise basierend auf der einen oder den mehreren identifizierten Trajektorien.
    31. Fahrzeug nach Anspruch 30, wobei der eine oder die mehreren Prozessoren einen oder mehrere erste Prozessoren in einem Host-Computersystem und einen oder mehrere zweite Prozessoren in einer Parallelverarbeitungseinheit aufweisen, wobei der eine oder die mehreren zweiten Prozessoren Anweisungen spekulativ ausführen sollen, mindestens teilweise basierend auf dem Empfang eines Befehls vom Host-Computersystem, der einen Kernel, der die Anweisungen enthält, in der Parallelverarbeitungseinheit startet.
    32. Fahrzeug nach Anspruch 30 oder 31, wobei die eine oder die mehreren Anweisungen vom Compiler als spekulativ auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Identifizieren von Kopieroperationen.
    33. Fahrzeug nach einem der Ansprüche 30 bis 32, wobei die eine oder die mehreren Anweisungen vom Compiler als spekulativ auszuführen identifiziert worden sind, mindestens teilweise basierend auf dem Kennzeichnen sicherer Operationen.
    34. Fahrzeug nach einem der Ansprüche 30 bis 33, wobei die Anweisungen erweiterte Live-Bereiche für Variablen enthalten, die von Operationen verwendet werden, die mit Anweisungen verbunden sind, die als spekulativ auszuführen identifiziert worden sind.
    35. Fahrzeug nach einem der Ansprüche 30 bis 34, wobei die Anweisungen einen Teil einer Inferenzoperation unter Verwendung eines rekurrenten neuronalen Netzes implementieren.
    DE102022109521.5A 2021-04-23 2022-04-20 Techniken zur Parallelausführung Pending DE102022109521A1 (de)

    Applications Claiming Priority (2)

    Application Number Priority Date Filing Date Title
    US17/239,376 US12056494B2 (en) 2021-04-23 2021-04-23 Techniques for parallel execution
    US17/239,376 2021-04-23

    Publications (1)

    Publication Number Publication Date
    DE102022109521A1 true DE102022109521A1 (de) 2022-10-27

    Family

    ID=81851825

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    DE102022109521.5A Pending DE102022109521A1 (de) 2021-04-23 2022-04-20 Techniken zur Parallelausführung

    Country Status (7)

    Country Link
    US (1) US12056494B2 (de)
    JP (1) JP2022167854A (de)
    KR (1) KR20220149798A (de)
    CN (1) CN115237551A (de)
    AU (2) AU2022202661B2 (de)
    DE (1) DE102022109521A1 (de)
    GB (1) GB2609700B (de)

    Families Citing this family (6)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US11218416B1 (en) * 2020-08-18 2022-01-04 Verizon Patent And Licensing Inc. Service aware admission control for IoT applications
    US11995420B2 (en) * 2021-08-19 2024-05-28 Red Hat, Inc. Generating a build process for building software in a target environment
    US20230069049A1 (en) * 2021-08-23 2023-03-02 Robert Bosch Gmbh System and method for a natural language understanding system based on iterative intent detection and slot filling neural layers
    US11714649B2 (en) * 2021-11-29 2023-08-01 Shandong Lingneng Electronic Technology Co., Ltd. RISC-V-based 3D interconnected multi-core processor architecture and working method thereof
    US20240169023A1 (en) * 2022-11-21 2024-05-23 Nvidia Corporation Application programming interface to indicate matrix multiply-accumulate
    CN117539646B (zh) * 2024-01-09 2024-04-26 深圳百城精工有限公司 基于云端的电梯数据并行处理方法及系统

    Family Cites Families (22)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US20030014612A1 (en) * 1999-05-11 2003-01-16 William N. Joy Multi-threaded processor by multiple-bit flip-flop global substitution
    US6748589B1 (en) * 1999-10-20 2004-06-08 Transmeta Corporation Method for increasing the speed of speculative execution
    US6986131B2 (en) * 2002-06-18 2006-01-10 Hewlett-Packard Development Company, L.P. Method and apparatus for efficient code generation for modulo scheduled uncounted loops
    US7024663B2 (en) * 2002-07-10 2006-04-04 Micron Technology, Inc. Method and system for generating object code to facilitate predictive memory retrieval
    US20050144602A1 (en) * 2003-12-12 2005-06-30 Tin-Fook Ngai Methods and apparatus to compile programs to use speculative parallel threads
    US7428632B2 (en) * 2004-09-14 2008-09-23 Arm Limited Branch prediction mechanism using a branch cache memory and an extended pattern cache
    US20100325399A1 (en) * 2008-08-15 2010-12-23 Apple Inc. Vector test instruction for processing vectors
    US8225074B2 (en) * 2008-10-02 2012-07-17 Nec Laboratories America, Inc. Methods and systems for managing computations on a hybrid computing platform including a parallel accelerator
    US20100153776A1 (en) * 2008-12-12 2010-06-17 Sun Microsystems, Inc. Using safepoints to provide precise exception semantics for a virtual machine
    GB0907559D0 (en) * 2009-05-01 2009-06-10 Optos Plc Improvements relating to processing unit instruction sets
    US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
    US20170212791A1 (en) * 2014-08-15 2017-07-27 Intel Corporation Facilitating dynamic thread-safe operations for variable bit-length transactions on computing devices
    US9508260B2 (en) * 2014-10-31 2016-11-29 Toyota Motor Engineering & Manufacturing North America, Inc. Method to improve parking space identification in autonomous driving
    US11275590B2 (en) * 2015-08-26 2022-03-15 Huawei Technologies Co., Ltd. Device and processing architecture for resolving execution pipeline dependencies without requiring no operation instructions in the instruction memory
    US10332320B2 (en) 2017-04-17 2019-06-25 Intel Corporation Autonomous vehicle advanced sensing and response
    US11188337B2 (en) * 2018-09-28 2021-11-30 The Florida State University Research Foundation, Inc. Micro-architecture designs and methods for eager execution and fetching of instructions
    KR102132722B1 (ko) 2018-11-23 2020-07-10 인하대학교 산학협력단 영상 내 다중 객체 추적 방법 및 시스템
    US11481953B2 (en) * 2019-05-28 2022-10-25 Advanced Micro Devices, Inc. Command processor based multi dispatch scheduler
    CN112183712A (zh) 2019-07-03 2021-01-05 安徽寒武纪信息科技有限公司 深度学习算法的编译方法、装置及相关产品
    US12045319B2 (en) * 2020-05-13 2024-07-23 International Business Machines Corporation First-order logical neural networks with bidirectional inference
    US11568228B2 (en) * 2020-06-23 2023-01-31 Sandisk Technologies Llc Recurrent neural network inference engine with gated recurrent unit cell and non-volatile memory arrays
    US11210073B1 (en) * 2020-07-29 2021-12-28 SparkCognition, Inc. Translating text encodings of machine learning models to executable code

    Also Published As

    Publication number Publication date
    GB2609700A (en) 2023-02-15
    US12056494B2 (en) 2024-08-06
    JP2022167854A (ja) 2022-11-04
    AU2022202661A1 (en) 2022-11-10
    AU2024203233A1 (en) 2024-06-06
    KR20220149798A (ko) 2022-11-08
    US20220342673A1 (en) 2022-10-27
    AU2022202661B2 (en) 2024-02-15
    GB202205832D0 (en) 2022-06-08
    GB2609700B (en) 2024-08-07
    CN115237551A (zh) 2022-10-25

    Similar Documents

    Publication Publication Date Title
    DE102021124008A1 (de) Training eines neuronalen netzes unter verwendung robuster temporaler ensemblebildung
    DE102022110000A1 (de) Dynamische gewichtsaktualisierungen für neuronale netzwerke
    DE112021001164T5 (de) Dynamischer lastausgleich von operationen für deeplearning- analysen in echtzeit
    DE112021005717T5 (de) Modell zum maschinellen Lernen für die Aufgaben- und Bewegungsplanung
    DE112020005364T5 (de) Api für rekurrente neuronale netze
    DE102021122617A1 (de) Globales föderiertes training für neuronale netze
    DE112021002945T5 (de) Kontextbezogene Bildübersetzung mit Hilfe neuronaler Netze
    DE112021004282T5 (de) Gitter-basierte techniken des neuronalen faltungsnetzes
    DE102022114796A1 (de) Pretraining-framework für neuronale netzwerke
    DE112021001102T5 (de) Hybride quantisierung von neuronalen netzen für edge-computing-anwendungen
    DE112021003301T5 (de) Techniken zur klassifikation mit neuronalen netzen
    DE112021000953T5 (de) Erzeugung von kennzeichen mittels neuronaler netze
    DE102021132071A1 (de) Scheduler für neuronales netz
    DE112021001807T5 (de) Beschleunigtes Training für neuronale Netzmodelle
    DE112021001461T5 (de) Verbesserte objektidentifizierung mittels eines oder mehrerer neuronaler netze
    DE102022124368A1 (de) Sichere ausführung für mehrprozessoreinrichtungen mittels vertrauenswürdiger ausführungsumgebungen
    DE102021110778A1 (de) Inhaltsverwaltung unter verwendung eines oder mehrerer neuronaler netzwerke
    DE102022109521A1 (de) Techniken zur Parallelausführung
    DE102021131760A1 (de) Anwendungsprogrammierschnittstelle für berechnungen einesneuronalen netzes
    DE102022108420A1 (de) Kernelerzeugung für neuronale netzwerke
    DE112021007439T5 (de) Erzeugung von begrenzungsrahmen
    DE112021000909T5 (de) Textzeichenfolgenzusammenfassung
    DE102022113062A1 (de) Verfahren zur klassifizierung mit neuronalen netzen
    DE112022004942T5 (de) Techniken zum Inferieren von Informationen
    DE102022108711A1 (de) Techniken zur kombination von operationen

    Legal Events

    Date Code Title Description
    R012 Request for examination validly filed
    R082 Change of representative

    Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE