DE112021007439T5

DE112021007439T5 - Erzeugung von begrenzungsrahmen

Info

Publication number: DE112021007439T5
Application number: DE112021007439.3T
Authority: DE
Inventors: Yichun SHEN; Wanli Jiang; Junghyun Kwon; SiYi Li; Sangmin Oh; Minwoo Park
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2024-01-25
Also published as: WO2022205138A1; GB2610457A; US20220318559A1; GB202204311D0; CN115812222A

Abstract

Vorrichtungen, Systeme (1400, 1600, 1700, 2200, 2400, 2900, 4000, 4300) und Techniken zum Identifizieren von Begrenzungsrahmen (104, 204, 206, 208, 210, 306, 308, 504, 506, 508)von Objekten in einem Bild (100, 200). In mindestens einer Ausführungsform werden Begrenzungsrahmen (104, 204, 206, 208, 210, 306, 308, 504, 506, 508)in einem Bild (100, 200) unter Verwendung eines Schnittpunkt über Vereinigung-Schwellenwerts bestimmt, der zumindest teilweise auf der Größe eines Objekts basiert.

Description

TECHNISCHER BEREICH
Mindestens eine Ausführungsform bezieht sich auf Verarbeitungsressourcen, die zum Erzeugen von Begrenzungsrahmen um Objekte innerhalb Bildern verwendet werden. Beispielsweise bezieht sich mindestens eine Ausführungsform auf Prozessoren oder Computersysteme, die zwischen alternativen Begrenzungsrahmenvorschlägen zumindest teilweise basierend auf der Größe eines Objekts innerhalb eines Bildes unterscheiden.
STAND DER TECHNIK
Das Gebiet der Computervision ist ein wichtiger Entwicklungsbereich, der die Automatisierung vieler Aufgaben ermöglicht. Ein wichtiges Problem für viele Computervision-Systeme ist eine Lokalisierung und Identifizierung von Objekten innerhalb eines Gesichtsfeldes. Oft wird dieses Problem zum Teil durch das Erzeugen eines Begrenzungsrahmens um ein Objekt innerhalb eines Bildes gelöst. Ein Begrenzungsrahmen ist ein Kasten, ein Kreis, eine Markierung oder eine Angabe einer Region eines Bildes, die den Ort eines Objekts innerhalb eines Bildes anzeigt. Ein genauer Begrenzungsrahmen hilft im Allgemeinen einem Steuersystem, indem er genauere Informationen über den Ort eines Objekts innerhalb eines Begrenzungsrahmens bereitstellt. Daher ist die Verbesserung der Techniken zur Begrenzungsrahmenerzeugung ein wichtiges Problem.
KURZE BESCHREIBUNG DER ZEICHNUNGEN

1 veranschaulicht ein Beispiel eines Begrenzungsrahmens um ein Fahrzeug herum innerhalb eines Bildes in mindestens in einer Ausführungsform;
2 veranschaulicht ein Beispiel eines Satzes von Kandidaten-Begrenzungsrahmen für ein Objekt innerhalb eines Bildes in mindestens einer Ausführungsform;
3 veranschaulicht ein Beispiel für das Bestimmen von Schnittpunkt über Vereinigung (intersection over union - „IOU“) für ein Paar von Begrenzungsrahmen in mindestens einer Ausführungsform;
4 veranschaulicht ein Beispiel für einen Code zum Filtern eines Satzes von Kandidaten-Begrenzungsrahmen für ein Objekt, in mindestens einer Ausführungsform;
5 veranschaulicht ein Beispiel für einen Satz von Begrenzungsrahmen für ein großes Objekt in mindestens einer Ausführungsform;
6 veranschaulicht ein Beispiel für einen Satz von Begrenzungsrahmen für ein kleines Objekt in mindestens einer Ausführungsform;
7 veranschaulicht ein Beispiel für einen Code zum Filtern eines Satzes von Kandidaten-Begrenzungsrahmen für ein Objekt basierend auf einer Größe eines Objekts innerhalb eines Bildes, in mindestens einer Ausführungsform;
8 veranschaulicht ein Beispiel von Testergebnissen, die die Genauigkeit der Begrenzungsrahmenerzeugung für mindestens eine Ausführungsform zeigen;
9 veranschaulicht ein Beispiel eines Prozesses, der als Ergebnis der Durchführung durch einen oder mehrere Prozessoren eines Computersystems ein Computersystem veranlasst, einen Satz von Begrenzungsrahmenkandidaten zu filtern, in mindestens einer Ausführungsform;
10A veranschaulicht Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform;
10B veranschaulicht Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform;
11 veranschaulicht Training und Einsatz eines neuronalen Netzes gemäß mindestens einer Ausführungsform;
12 veranschaulicht ein beispielhaftes Rechenzentrumssystem gemäß mindestens einer Ausführungsform;
13A veranschaulicht ein autonomes Fahrzeug gemäß mindestens einer Ausführungsform;
13B veranschaulicht ein Beispiel für Kamerapositionen und Sichtfelder für ein autonomes Fahrzeug aus 13A gemäß mindestens einer Ausführungsform;
13C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für ein autonomes Fahrzeug aus 13A gemäß mindestens einer Ausführungsform;
13D ist ein Diagramm eines Systems für Kommunikation zwischen den cloudbasierten Servern und einem autonomen Fahrzeug aus 13A gemäß mindestens einer Ausführungsform;
14 ist ein Blockdiagramm, das ein Computersystem veranschaulicht, gemäß mindestens einer Ausführungsform;
15 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform veranschaulicht;
16 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
17 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
18A veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
18B veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
18C veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
18D veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
18E und 18F veranschaulichen ein gemeinsam genutztes Programmiermodell gemäß mindestens einer Ausführungsform;
19 veranschaulicht beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform;
20A und 20B veranschaulichen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform;
21A und 21B veranschaulichen zusätzliche beispielhafte Grafikprozessorlogik gemäß mindestens einer Ausführungsform;
22 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
23A veranschaulicht einen Parallelprozessor gemäß mindestens einer Ausführungsform;
23B veranschaulicht eine Partitionseinheit gemäß mindestens einer Ausführungsform;
23C veranschaulicht ein Verarbeitungscluster gemäß mindestens einer Ausführungsform;
23D veranschaulicht einen Grafikmultiprozessor gemäß mindestens einer Ausführungsform;
24 veranschaulicht ein System mit mehreren Grafikverarbeitungseinheiten (graphics processing unit - GPU) gemäß mindestens einer Ausführungsform;
25 veranschaulicht einen Grafikprozessor gemäß mindestens einer Ausführungsform;
26 ist ein Blockdiagramm, das eine Prozessor-Mikroarchitektur für einen Prozessor veranschaulicht, gemäß mindestens einer Ausführungsform;
27 veranschaulicht einen Deep-Learning-Anwendungsprozessor gemäß mindestens einer Ausführungsform;
28 ist ein Blockdiagramm, das einen beispielhaften neuromorphen Prozessor veranschaulicht, gemäß mindestens einer Ausführungsform;
29 veranschaulicht zumindest Teile eines Grafikprozessors gemäß einer oder mehrerer Ausführungsformen;
30 veranschaulicht mindestens Teile eines Grafikprozessors gemäß einer oder mehrerer Ausführungsformen;
31 veranschaulicht mindestens Teile eines Grafikprozessors gemäß einer oder mehrerer Ausführungsformen;
32 ist ein Blockdiagramm einer Grafikverarbeitungs-Engine eines Grafikprozessors gemäß mindestens einer Ausführungsform;
33 ist ein Blockdiagramm von mindestens Teilen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform;
34A und 34B veranschaulichen Thread-Ausführungslogik einschließlich eines Arrays von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform;
35 veranschaulicht eine Parallelverarbeitungseinheit (parallel processing unit - „PPU“) gemäß mindestens einer Ausführungsform;
36 veranschaulicht ein allgemeines Verarbeitungscluster (general processing cluster - „GPC“) gemäß mindestens einer Ausführungsform;
37 veranschaulicht eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform;
38 veranschaulicht einen Streaming-Multiprozessor gemäß mindestens einer Ausführungsform;
39 ist ein Beispiel für ein Datenflussdiagramm für eine fortgeschrittene Datenverarbeitungspipeline gemäß mindestens einer Ausführungsform;
40 ist ein Systemdiagramm für ein Beispielsystem zum Trainieren, Anpassen, Instanziieren und Bereitstellen von Modellen für maschinelles Lernen in einer fortgeschrittenen Datenverarbeitungspipeline gemäß mindestens einer Ausführungsform;
41 beinhaltet eine beispielhafte Veranschaulichung einer fortgeschrittenen Datenverarbeitungspipeline 4010A zur Verarbeitung von Bilddaten gemäß mindestens einer Ausführungsform;
42A beinhaltet ein Beispiel eines Datenflussdiagramms eines virtuellen Instruments, das eine Ultraschallvorrichtung unterstützt, gemäß mindestens einer Ausführungsform;
42B beinhaltet ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform;
43A veranschaulicht ein Datenflussdiagramm für einen Prozess zum Trainieren eines maschinellen Lernmodells gemäß mindestens einer Ausführungsform; und
43B ist eine beispielhafte Veranschaulichung einer Client-Server-Architektur zum Verbessern von Anmerkungswerkzeugen mit vortrainierten Anmerkungsmodellen gemäß mindestens Ausführungsform.

DETAILLIERTE BESCHREIBUNG
Dieses Dokument beschreibt Systeme und Verfahren zur Erstellung genauer Begrenzungsrahmen um ein oder mehrere Objekte innerhalb eines Bildes. In mindestens einer Ausführungsform wird ein Bild über eine Kamera, eine Videokamera oder ein Abbildungssystem erhalten. In mindestens einer Ausführungsform wird ein Bild von einem Computersystem verarbeitet, das ausführbare Anweisungen ausführt, die in einem nicht-transitorischen computerlesbaren Speicher gespeichert sind und ein Computersystem veranlassen, eine Vielzahl von potenziellen Begrenzungsrahmen um Objekte innerhalb eines Bildes zu identifizieren. In mindestens einer Ausführungsform werden für jedes Objekt mehrere Kandidaten-Begrenzungsrahmen erzeugt. In mindestens einer Ausführungsform wird für jeden Kandidaten-Begrenzungsrahmen ein zugehöriges Konfidenzmaß erzeugt. In mindestens einer Ausführungsform wird ein Begrenzungsrahmen, der das höchste Konfidenzniveau aufweist, als Begrenzungsrahmen für ein zugehöriges Objekt ausgewählt. In mindestens einer Ausführungsform wird ein ausgewählter Begrenzungsrahmen mit anderen Begrenzungsrahmen verglichen, um zu bestimmen, ob ein anderer Begrenzungsrahmen ein Begrenzungsrahmen für ein unterschiedliches Objekt oder ein gleiches Objekt wie ein ausgewählter Begrenzungsrahmen ist. In mindestens einer Ausführungsform wird diese Bestimmung durch den Vergleich einer Schnittmenge über Vereinigung („IOU“) für zwei Kandidaten-Begrenzungsrahmen und den Vergleich von IOU mit einem festen Schwellenwert vorgenommen. In mindestens einer Ausführungsform wird die nicht-maximale Unterdrückung (non-maximum suppression - „NMS“) verwendet, um Begrenzungsrahmenvorschläge mit lokal-maximaler Konfidenz zu erhalten, während benachbarte Begrenzungsrahmenvorschläge mit nicht-maximaler Konfidenz unterdrückt werden. In mindestens einer Ausführungsform kann anstelle von IOU ein Abstand-Schnittpunkt über Vereinigung (distance intersection over union - „D-IOU“) oder ein vollständiger IOU(complete IOU - „C-IOU“)-Verlust verwendet werden. In mindestens einer Ausführungsform können andere Maße verwendet werden, die ein Maß für die Ähnlichkeit des Begrenzungsrahmens bereitstellen.
In mindestens einer Ausführungsform wird ein Schwellenwert basierend auf einer Größe einer Darstellung eines Objekts innerhalb eines bestimmten Bildes verwendet, um einen Schwellenwert zu bestimmen, mit dem IOU verglichen werden soll. In mindestens einer Ausführungsform basiert ein Schwellenwert auf einer Größe eines ausgewählten Begrenzungsrahmens für ein Objekt. In mindestens einer Ausführungsform basiert ein Schwellenwert auf einer vorhergesagten Größe eines zu erkennenden Objekttyps. In mindestens einer Ausführungsform wird eine Größenschätzung eines Objekts innerhalb dieses Bildes basierend auf einer typischen Größe eines zu erkennenden Objekttyps, einem Abstand eines Objekts zu einer Kamera und einem Sichtfeld einer Kamera bestimmt. In mindestens einer Ausführungsform wird der Abstand zu einer Kamera mit Hilfe einer Tiefenkamera, eines Sonarsensors, eines Radarsensors oder eines Lasersensors bestimmt.
In mindestens einer Ausführungsform wird ein Satz von Kandidaten-Begrenzungsrahmen mit zugehörigen Konfidenz-Levels unter Verwendung eines IOU-Schwellenwerts verarbeitet, der eine Funktion einer Größe eines Objekts innerhalb eines Bildes ist. In mindestens einer Ausführungsform ist der IOU-Schwellenwert als eine Stufenfunktion mit einem festen Schwellenwert für jeden einer Vielzahl von Grö-ßenbereichen eines Objekts definiert. In mindestens einer Ausführungsform ist der IOU-Schwellenwert als Funktion einer Fläche eines vorgeschlagenen Begrenzungsrahmens definiert.
In mindestens einer Ausführungsform weisen Begrenzungsrahmen, die unterschiedliche Anteile eines analysierten Bildes umfassen, von Natur aus unterschiedliche Überlappungsgrade auf, da es von Natur aus weniger Spielraum für Fehler gibt, wenn ein Objekt im Vergleich zur Bildgröße groß wird. In mindestens einer Ausführungsform gleicht daher die Verwendung eines variablen Schwellenwerts für IOU diesen Unterschied in der Genauigkeit aus, was zu einer genaueren Projektion suboptimaler Begrenzungsrahmenkandidaten für ein bestimmtes Objekt und einer daraus resultierenden Verbesserung der innerhalb eines Bildes im Allgemeinen bestimmten Begrenzungsrahmen führt.
1 veranschaulicht ein Beispiel eines Begrenzungsrahmens um ein Fahrzeug innerhalb eines Bildes in mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird ein Bild 100 von einem Computersystem verarbeitet, das Objekte innerhalb des Bildes 100, wie beispielsweise ein Fahrzeug 102, identifiziert und einen Begrenzungsrahmen 104 bestimmt, der das Fahrzeug 102 annähernd umschließt. In mindestens einer Ausführungsform besteht ein Computersystem aus einem oder mehreren Prozessoren und einem maschinenlesbaren Speicher, der ausführbare Anweisungen speichert, die als Ergebnis der Ausführung durch ein Computersystem ein Computersystem veranlassen, das Bild 100 zu verarbeiten und einen oder mehrere Begrenzungsrahmen zu identifizieren. In mindestens einer Ausführungsform kann das Bild 100 von einer Kamera, einem Radar-Bildgebungsgerät, einem medizinischen Bildgebungsgerät, einem Laser-Bildgebungsgerät, einer Videokamera oder einem Sonargerät benötigt werden.
In mindestens einer Ausführungsform ist der Begrenzungsrahmen 104 ein Rechteck, das das Fahrzeug 102 umschließt. In mindestens einer Ausführungsform kann der Begrenzungsrahmen 104 ein Kreis, ein Polygon oder ein Satz von Markierungen sein, die die Umgebung eines bestimmten Objekts kennzeichnen. In mindestens einer Ausführungsform ist der Begrenzungsrahmen 104 ein Satz von Markierungen, die die Ecken eines Rechtecks anzeigen. In mindestens einer Ausführungsform sind mehrere Objekte im Bild 100 vorhanden, und ein Computersystem erzeugt eine Vielzahl von Begrenzungsrahmen, einen für jedes Objekt.
2 veranschaulicht ein Beispiel eines Satzes von Kandidaten-Begrenzungsrahmen für ein Objekt innerhalb eines Bildes 200, in mindestens einer Ausführungsform. In mindestens einer Ausführungsform erzeugt ein Computersystem eine Vielzahl von Kandidaten-Begrenzungsrahmen 204, 206, 208, 210 für ein Fahrzeug 202. In mindestens einer Ausführungsform erzeugt das Computersystem ein Maß an Konfidenz für jeden Begrenzungsrahmen der Kandidaten-Begrenzungsrahmen 204, 206, 208 und 210. In mindestens einer Ausführungsform sind mehrere Objekte im Bild 200 vorhanden, und ein Computersystem erzeugt eine Vielzahl von möglichen Begrenzungsrahmen, wobei jeder Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist. In mindestens einer Ausführungsform ist ein Konfidenzmaß ein Maß, das anzeigt, wie gut ein bestimmter Begrenzungsrahmen ein zugeordnetes Objekt zu umschließen scheint. In mindestens einer Ausführungsform weisen Begrenzungsrahmen, die die Größe eines Objekts überschreiten, oder falsch positionierte Begrenzungsrahmen niedrigere Konfidenzmaße auf als solche, die ein zugeordnetes Objekt genauer lokalisieren.
In mindestens einer Ausführungsform sind in Bild 200 mehrere Objekte vorhanden, und es wird ein Prozess durchgeführt, um Cluster von Begrenzungsrahmen zu identifizieren, die jedem Objekt zugeordnet sind. In mindestens einer Ausführungsform identifiziert ein Computersystem einen bestimmten Begrenzungsrahmen innerhalb jedes Clusters, der den Ort und die Größe eines darunter liegenden Objekts am genauesten anzeigt. In mindestens einer Ausführungsform ermöglichen es Konfidenzmaße einem Computersystem, einen Begrenzungsrahmen zur Darstellung eines Objekts im Gegensatz zu einem anderen zu wählen. In mindestens einer Ausführungsform werden nach der Auswahl eines bestimmten Begrenzungsrahmens, der ein Objekt darstellt, unzulässige Begrenzungsrahmen, die keine anderen Objekte darstellen, entfernt. In mindestens einer Ausführungsform wird das Identifizieren von falschen Kandidaten-Begrenzungsrahmen mit Hilfe eines Ähnlichkeitsmaßes zwischen Begrenzungsrahmen erreicht, wobei das Ähnlichkeitsmaß eine Funktion der Größe und des Ortes der Rahmen sein kann. In mindestens einer Ausführungsform wird das Ähnlichkeitsmaß basierend auf der Größe und dem Ort der Rahmen unter Verwendung der von den Rahmen gemeinsam belegten Fläche (Vereinigung) und der Fläche der Überlappung der Rahmen (Schnittpunkt) berechnet. In mindestens einer Ausführungsform wird das Maß als Schnittpunkt über Vereinigung („IOU“) eines ausgewählten Begrenzungsrahmens und eines nahe gelegenen Begrenzungsrahmens mit einem Schwellenwert berechnet. In mindestens einer Ausführungsform wird, wenn ein IOU einen Schwellenwert für ein Paar von Begrenzungsrahmen überschreitet, davon ausgegangen, dass beide Begrenzungsrahmen einem einzigen Objekt in einem Bild zugeordnet sind, und einer von ihnen wird entfernt. In mindestens einer Ausführungsform wird dieser Prozess so lange wiederholt, bis unerwünschte Begrenzungsrahmen um einen ausgewählten Begrenzungsrahmen beseitigt sind. In mindestens einer Ausführungsform wird davon ausgegangen, dass ein nahe gelegener Begrenzungsrahmen mit einem IOU-Schwellenwert, der unter einem Schwellenwert liegt, ein unterschiedliches Objekt darstellt und daher in einem Satz von Kandidaten-Begrenzungsrahmen beibehalten wird. In mindestens einer Ausführungsform wird ein neuer Begrenzungsrahmen mit maximaler Konfidenz identifiziert, von dem angenommen wird, dass er einem zusätzlichen Objekt in einem Bild zugeordnet ist, und es werden wiederum unerwünschte Begrenzungsrahmen basierend auf dem IOU-Schwellenwert entfernt. In mindestens einer Ausführungsform wird für einen resultierenden Satz von Begrenzungsrahmen davon ausgegangen, dass jeder Begrenzungsrahmen ein unterschiedliches Objekt in einem Bild darstellt.
3 veranschaulicht ein Beispiel für das Bestimmen von Schnittpunkten über Vereinigung („IOU“) für ein Paar von Begrenzungsrahmen in mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Schnittpunkt über Vereinigung (IOU) definiert als eine Schnittfläche 304, die von einem ersten Begrenzungsrahmen 306 und einem zweiten Begrenzungsrahmen 308 geteilt wird, unterteilt durch eine Vereinigungsfläche 310 des ersten Begrenzungsrahmens 306 und des zweiten Begrenzungsrahmens 308. In mindestens einer Ausführungsform ist zum Beispiel ein Schnittpunkt über Vereinigung von zwei identischen Begrenzungsrahmen gleicher Größe eins, da Schnittpunkt und Vereinigung gleich sind. In mindestens einer Ausführungsform, in einem anderen Beispiel, weisen zwei Begrenzungsrahmen, die sich nicht überlappen, einen Schnittpunkt über Vereinigung von Null auf. In mindestens einer Ausführungsform weisen Begrenzungsrahmenpaare, die sich teilweise überlappen, Schnittpunkte über Vereinigung mit Werten zwischen Null und Eins auf. In mindestens einer Ausführungsform kann der erste Begrenzungsrahmen 306 oder der zweite Begrenzungsrahmen 308 rechteckig, kreisförmig oder eine beliebige Form oder sogar unterschiedliche Formen aufweisen. In mindestens einer Ausführungsform ist Schnittmenge über Vereinigung ein numerisches Verhältnis.
4 veranschaulicht in mindestens einer Ausführungsform ein Beispiel für eine Codierung zum Filtern eines Satzes von Kandidaten-Begrenzungsrahmen für ein Objekt. In mindestens einer Ausführungsform führt ein Computersystem einen Algorithmus zur Objekterkennung durch, der einen Satz von Begrenzungsrahmenvorschlägen erzeugt. In mindestens einer Ausführungsform können die Begrenzungsrahmenvorschläge mehrere Vorschläge für ein einzelnes Objekt beinhalten. In mindestens einer Ausführungsform kann ein Bild eine Vielzahl von Objekten beinhalten. In mindestens einer Ausführungsform weist jeder Begrenzungsrahmenvorschlag bzw. Kandidaten-Begrenzungsrahmen ein zugeordnetes Konfidenzmaß auf, das von einem Algorithmus erzeugt wird. In mindestens einer Ausführungsform ist ein Konfidenzmaß ein numerischer Wert, der ein Level an Genauigkeit in Bezug auf Ort, Größe oder eine Kombination aus beidem für einen Kandidaten-Begrenzungsrahmen darstellt. In mindestens einer Ausführungsform wird ein Filterprozess verwendet, um zu bestimmen, welcher Begrenzungsrahmenvorschlag am wahrscheinlichsten einem zugrundeliegenden Objekt zugeordnet werden kann, wobei es sich bei den Begrenzungsrahmenvorschlägen wahrscheinlich um falsche Kandidaten-Begrenzungsrahmen handelt, die einem bereits lokalisierten Objekt zugeordnet sind. In mindestens einer Ausführungsform erzeugt ein Begrenzungsrahmen-Algorithmus eine Vielzahl von Kandidaten-Begrenzungsrahmen für ein einzelnes Objekt, wobei jeder Begrenzungsrahmen ein zugeordnetes Konfidenz-Level aufweist. In mindestens einer Ausführungsform bestimmt das System, ob ein Begrenzungsrahmen einem Objekt zugeordnet ist, das bereits durch einen anderen Begrenzungsrahmen mit hoher Konfidenz identifiziert wurde.
4 veranschaulicht eine Ausführungsform eines Filteralgorithmus namens nicht-maximale Unterdrückung oder („NMS“). In mindestens einer Ausführungsform wählt NMS einen Begrenzungsrahmen aus, der den höchsten Konfidenzwert aufweist. In mindestens einer Ausführungsform durchläuft NMS eine Schleife durch einen verbleibenden Satz von Kandidaten-Begrenzungsrahmen und bestimmt für jeden Begrenzungsrahmen einen zugeordneten IOU-Schwellenwert in Zeile 8, der mit einem Schwellenwert verglichen wird. In mindestens einer Ausführungsform wird ein fester Schwellenwert verwendet. In mindestens einer Ausführungsform wird der zugeordnete Kandidaten-Begrenzungsrahmen aus einem Satz verbleibender Begrenzungsrahmen entfernt, wenn ein IOU-Schwellenwert größer als ein Schwellenwert ist. In mindestens einer Ausführungsform werden dadurch unerwünschte Begrenzungsrahmen für ein Objekt, das einem ausgewählten Begrenzungsrahmen mit hoher Konfidenz zugeordnet ist, entfernt.
5 veranschaulicht ein Beispiel für einen Satz von Begrenzungsrahmen für ein großes Objekt in mindestens einer Ausführungsform. In mindestens einer Ausführungsform werden große Objekte in einem Bild identifiziert, wobei groß als ein Objekt definiert ist, das einen wesentlichen Teil des Sichtfeldes eines verfügbaren Bildes einnimmt. 5 ist ein Beispiel für ein solches Bild. In mindestens einer Ausführungsform erzeugt ein Computer, der einen Begrenzungsrahmen-Algorithmus durchführt, einen Satz von Kandidaten-Begrenzungsrahmen 504, 506, 508 für einen LKW 502. In mindestens einer Ausführungsform nimmt der LKW 502 einen wesentlichen Teil des Bildes ein. In mindestens einer Ausführungsform ist die einem Begrenzungsrahmen zugeordnete Variabilität tendenziell geringer, da ein zu ortendes Objekt einen wesentlichen Teil des Bildes einnimmt. In mindestens einer Ausführungsform führt dies zu relativ höheren Schnittpunkt über Vereinigung-Werten für unechte Begrenzungsrahmen.
6 veranschaulicht ein Beispiel für einen Satz von Begrenzungsrahmen für ein kleines Objekt in mindestens einer Ausführungsform. In mindestens einer Ausführungsform werden kleine Objekte in einem Bild identifiziert, wobei klein als ein Objekt definiert ist, das einen kleinen Teil des Sichtfeldes eines Bildes einnimmt. In mindestens einer Ausführungsform ist 6 ein Beispiel für ein solches Bild. In mindestens einer Ausführungsform erzeugt ein Computer, der einen Begrenzungsrahmen-Algorithmus durchführt, einen Satz von Kandidaten-Begrenzungsrahmen 604 und 606. In mindestens einer Ausführungsform sind die Schnittpunkt über Vereinigung-Werte für Kandidaten-Begrenzungsrahmen aufgrund der geringeren Größe eines Objekts innerhalb eines umgebenden Bildes tendenziell kleiner.
7 veranschaulicht ein Beispiel für eine Codierung zum Filtern eines Satzes von Kandidaten-Begrenzungsrahmen für ein Objekt basierend auf einer Größe eines Objekts innerhalb eines Bildes in mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Code in ausführbare Anweisungen kompiliert werden, die als Ergebnis der Ausführung durch einen oder mehrere Prozessoren eines Computersystems ein Computersystem veranlassen, einen Filteralgorithmus zu implementieren. In mindestens einer Ausführungsform wird ein Computersystem mit einem Satz von Kandidaten-Begrenzungsrahmen für ein Bild bereitgestellt. In mindestens einer Ausführungsform kann der Satz von Kandidaten-Begrenzungsrahmen ein oder mehrere Objekte darstellen. In mindestens einer Ausführungsform identifiziert ein Filteralgorithmus lokale Konfidenzmaxima aus einem Satz von Konfidenzmaßen, die den Kandidaten-Begrenzungsrahmen zugeordnet sind.
In mindestens einer Ausführungsform wählt ein Computersystem einen Kandidaten-Begrenzungsrahmen aus, der ein ausreichendes Konfidenzmaß aufweist, um anzuzeigen, dass ein zugeordnetes Objekt ordnungsgemäß lokalisiert ist. In mindestens einer Ausführungsform wählt ein Computersystem einen Kandidaten-Begrenzungsrahmen aus, der ein maximales Konfidenz-Level aufweist. In mindestens einer Ausführungsform werden die verbleibenden Kandidaten-Begrenzungsrahmen mit einem ausgewählten Kandidaten-Begrenzungsrahmen verglichen, indem ein Schnittpunkt über Vereinigung bestimmt und ein ermittelter Schnittpunkt über Vereinigung mit einem Schwellenwert verglichen wird, wobei ein Schwellenwert zumindest teilweise auf der Größe eines zu erkennenden Objekts basiert. In mindestens einer Ausführungsform basiert die Größe eines Objekts mindestens teilweise auf der Größe eines ausgewählten Begrenzungsrahmens. In mindestens einer Ausführungsform wird die Größe eines Objekts basierend auf einer Eigenschaft eines Objekts geschätzt, wie beispielsweise einer charakteristischen Größe eines Autos, einer Person oder eines anderen zu erkennenden Objekts, sowie auf optischen Eigenschaften einer Bildgebungsvorrichtung, die zur Aufnahme eines Bildes verwendet wird, wie beispielsweise dem optischen Sichtfeld und dem geschätzten Abstand zu einem Objekt.
In mindestens einer Ausführungsform ist eine Funktion, die die Objektgröße mit dem IOU-Schwellenwert verknüpft, als Tabelle implementiert, in der Bereiche der Objektgröße mit diskreten höheren Schwellenwerten verknüpft sind. In mindestens einer Ausführungsform wird der IOU-Schwellenwert als eine lineare Funktion der Fläche eines ausgewählten Begrenzungsrahmens bestimmt. In mindestens einer Ausführungsform ist der IOU-Schwellenwert eine Funktion der Länge oder Breite eines ausgewählten Begrenzungsrahmens. In mindestens einer Ausführungsform ist der IOU-Schwellenwert zwischen einem Minimal- und einem Maximalschwellenwert gedeckelt. In mindestens einer Ausführungsform wird der IOU-Schwellenwert in Abhängigkeit vom erkannten Objekttyp bestimmt. In mindestens einer Ausführungsform wird der IOU-Schwellenwert als Funktion des Abstands zu einem Objekt von einer Kamera bestimmt, mit der ein Bild aufgenommen wurde. In mindestens einer Ausführungsform ist der IOU-Schwellenwert eine Funktion der Höhe und Breite eines zugeordneten Begrenzungsrahmens. In mindestens einer Ausführungsform ist der IOU-Schwellenwert eine Funktion entweder eines ausgewählten Begrenzungsrahmens, eines Begrenzungsrahmens, mit dem ein ausgewählter Begrenzungsrahmen verglichen wird, oder eine Funktion der Größen beider Begrenzungsrahmen.
8 veranschaulicht ein Beispiel für Testergebnisse, die die Genauigkeit der Erzeugung von Begrenzungsrahmen für mindestens eine Ausführungsform zeigen. In mindestens einer Ausführungsform veranschaulicht eine erste Tabelle 802 eine Tabelle, die eine Funktion von Objektgröße zu IOU-Schwellenwert darstellt. In mindestens einer Ausführungsform werden verschiedene Bereiche der Begrenzungsrahmenhöhe verwendet, um die erste Tabelle 802 zu indizieren und einen zugeordneten IOU-Schwellenwert zu identifizieren. In mindestens einer Ausführungsform impliziert eine größere Höhe eines Begrenzungsrahmens einen höheren IOU-Schwellenwert.
In mindestens einer Ausführungsform veranschaulicht eine zweite Tabelle 804 die Testergebnisse, die bei Verwendung eines IOU-Schwellenwerts erzielt wurden, der zumindest teilweise auf der Objektgröße basiert. In mindestens einer Ausführungsform erhöht sich die mittlere Präzision (mean average precision - „MAP“) für Fahrzeuge, Fahrräder und Personen, wenn größenabhängige Schwellenwerte als IOU-Schwellenwerte verwendet werden. In mindestens einer Ausführungsform erhöht sich die MAP um 0,03, wenn sie auf Begrenzungsrahmen von Fahrzeugen angewendet wird, und noch mehr, wenn sie auf Begrenzungsrahmen angewendet wird, die Personen und Fahrrädern zugeordnet sind.
9 veranschaulicht ein Beispiel für einen Prozess, der als Ergebnis der Durchführung durch einen oder mehrere Prozessoren eines Computersystems ein Computersystem veranlasst, einen Satz von Begrenzungsrahmen-Kandidaten zu filtern, in mindestens einer Ausführungsform. In mindestens einer Ausführungsform bestimmt ein Computersystem bei Block 902 einen Satz von Begrenzungsrahmen für ein oder mehrere Objekte in einem Bild. In mindestens einer Ausführungsform werden die Begrenzungsrahmen unter Verwendung eines Algorithmus bestimmt, der Kandidaten-Begrenzungsrahmen identifiziert und ein zugeordnetes Konfidenzmaß für jeden Begrenzungsrahmen bereitstellt. In mindestens einer Ausführungsform ordnet ein Computersystem bei Block 904 jeden Begrenzungsrahmen nach Konfidenz ein. In mindestens einer Ausführungsform beginnt ein Computersystem dann einen Prozess zur Untersuchung von Begrenzungsrahmen, um Begrenzungsrahmen zu identifizieren, die einem Objekt zugeordnet sind, sowie Begrenzungsrahmen, die Duplikate oder falsche Begrenzungsrahmen sind.
In mindestens einer Ausführungsform leitet ein Computersystem bei Block 906 eine Schleife ein, indem es einen Ergebnissatz von Begrenzungsrahmen zu einem leeren Satz macht und einen Begrenzungsrahmen aus einem Satz von Kandidaten-Begrenzungsrahmen auswählt, der das höchste Level an Konfidenz aufweist. In mindestens einer Ausführungsform wird ein ausgewählter Begrenzungsrahmen in einen Ergebnissatz von Begrenzungsrahmen verschoben. In mindestens einer Ausführungsform beginnt ein Computersystem bei Block 908 eine Schleife, die über jeden verbleibenden Kandidaten-Begrenzungsrahmen in einem Satz von Kandidaten-Begrenzungsrahmen iteriert. In mindestens einer Ausführungsform bestimmt ein Computersystem bei Block 910 einen Schnittpunkt über Vereinigung für einen ausgewählten Begrenzungsrahmen und einen integrierten Begrenzungsrahmen in einem Satz von Kandidaten-Begrenzungsrahmen. In mindestens einer Ausführungsform wird bei Block 912 ein Schnittpunkt über Vereinigung mit einem Schwellenwert verglichen. In mindestens einer Ausführungsform ist ein Schwellenwert eine Funktion der vorhergesagten Größe eines Objekts (wie die Größe eines zugeordneten Begrenzungsrahmens), wie oben beschrieben.
In mindestens einer Ausführungsform vergleicht ein Computersystem bei Entscheidungsblock 914 einen bestimmten IOU mit einem bei Block 912 bestimmten IOU-Schwellenwert. In mindestens einer Ausführungsform schreitet, wenn ein IOU größer als ein bestimmter Schwellenwert ist, die Ausführung zu Block 916 fort und ein Computersystem entfernt einen Begrenzungsrahmen aus einem Satz von Kandidaten-Begrenzungsrahmen. In mindestens einer Ausführungsform bestimmt ein Computersystem, dass ein entfernter Begrenzungsrahmen einem ausgewählten Begrenzungsrahmen mit hoher Konfidenz zugeordnet ist, der bei Block 906 identifiziert wurde. In mindestens einer Ausführungsform fährt die Ausführung mit dem Entscheidungsblock 918 fort, wenn ein IOU nicht größer als ein bestimmter Schwellenwert ist. In mindestens einer Ausführungsform kehrt die Ausführung bei Entscheidungsblock 918 zu Block 908 zurück, bis alle Begrenzungsrahmen in einem Satz von Begrenzungsrahmen iteriert wurden.
In mindestens einer Ausführungsform geht die Ausführung bei Block 920, nachdem alle Begrenzungsrahmen iteriert worden sind, zu Block 922 über, wenn ein Satz von Begrenzungsrahmen leer ist, und ein endgültiger Satz von Begrenzungsrahmen besteht nur aus den bei Block 906 ausgewählten Begrenzungsrahmen. In mindestens einer Ausführungsform kehrt die Ausführung, wenn ein Satz von Begrenzungsrahmen nicht leer ist, zu Block 906 zurück, und ein Begrenzungsrahmen mit der höchsten Konfidenz wird in einen Ergebnissatz verschoben.
INFERENZ- UND TRAININGSLOGIK
10A veranschaulicht eine Inferenz- und/oder Trainingslogik 1015, die verwendet wird, um Inferenz- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind nachstehend in Verbindung mit den 10A und/oder 10B bereitgestellt.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 ohne Einschränkung einen Code- und/oder Datenspeicher 1001 beinhalten, um Vorwärts- und/oder Ausgangsgewichts- und/oder Eingangs-/Ausgangsdaten und/oder andere Parameter zu speichern, um Neuronen oder Schichten eines neuronalen Netzes zu konfigurieren, das in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder zum Inferenzieren verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 1015 einen Code- und/oder Datenspeicher 1001 beinhalten oder mit diesem gekoppelt sein, um den Grafikcode oder andere Software zur Steuerung des Timings und/oder der Reihenfolge zu speichern, in der Gewichtungs- und/oder andere Parameterinformationen geladen werden sollen, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend als arithmetische Logikeinheiten (arithmetic Ausbildung logic units - ALUs) bezeichnet). In mindestens einer Ausführungsform lädt ein Code, wie z. B. ein Graphencode, Gewichtungs- oder andere Parameterinformationen basierend auf einer Architektur eines neuronalen Netzes, dem dieser Code entspricht, in Prozessor-ALUs. In mindestens einer Ausführungsform speichert der Code- und/oder Datenspeicher 1001 Gewichtungsparameter und/oder Eingangs-/Ausgangsdaten jeder Schicht eines neuronalen Netzes, das während der Vorwärtspropagierung von Eingangs-/Ausgangsdaten und/oder Gewichtungsparametern während des Trainings und/oder Inferenzierens unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 1001 einen anderen On-Chip- oder Off-Chip-Datenspeicher beinhalten, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors.
In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 1001 intern oder extern zu einem oder mehreren Prozessoren oder anderen logischen Hardware-Vorrichtungen oder -Schaltungen sein. In mindestens einer Ausführungsform kann der Code und/oder der Code- und/oder Datenspeicher 1001 ein Cache-Speicher, ein dynamischer zufällig adressierbarer Speicher („DRAM“), ein statischer zufällig adressierbarer Speicher („SRAM“), ein nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. Zumindest in einer Ausführungsform kann eine Entscheidung, ob der Code und/oder Code- und/oder Datenspeicher 1001 zum Beispiel prozessorintern oder -extern ist oder DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, von dem verfügbaren On-Chip oder Off-Chip-Speicher, den Latenzanforderungen der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, der Stapelgröße der beim Inferenzieren und/oder dem Training eines neuronalen Netzes verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 ohne Einschränkung einen Code- und/oder Datenspeicher 1005 beinhalten, um Rückwärts- und/oder Ausgangsgewichtungs- und/oder Eingangs-/Ausgangsdaten zu speichern, die Neuronen oder Schichten eines neuronalen Netzes entsprechen, das trainiert und/oder zum Inferenzieren in Aspekten einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform speichert der Code- und/oder Datenspeicher 1005 Gewichtungsparameter und/oder Eingangs-/Ausgangsdaten jeder Schicht eines neuronalen Netzes, das während der Rückwärtspropagierung von Eingangs-/Ausgangsdaten und/oder Gewichtungsparametern während des Trainings und/oder Inferenzierens unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 1015 einen Code- und/oder Datenspeicher 1005 beinhalten oder mit diesem gekoppelt sein, um den Grafikcode oder andere Software zur Steuerung des Timings und/oder der Reihenfolge zu speichern, in der Gewichtungs- und/oder andere Parameterinformationen geladen werden sollen, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend als arithmetische Logikeinheiten (arithmetic logic units - ALUs) bezeichnet).
In mindestens einer Ausführungsform verursacht ein Code, wie ein Graphencode, ein Laden von Gewichtungs- oder anderen Parameterinformationen basierend auf einer Architektur eines neuronalen Netzes, dem dieser Code entspricht, in Prozessor-ALUs. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 1005 einen anderen On-Chip- oder Off-Chip-Datenspeicher beinhalten, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 1005 intern oder extern zu einem oder mehreren Prozessoren oder anderen logischen Hardware-Vorrichtungen oder -Schaltungen sein. In mindestens einer Ausführungsform kann der Code- und/oder Datenspeicher 1005 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann die Entscheidung, ob der Code- und/oder Datenspeicher 1005 zum Beispiel prozessorintern oder -extern ist oder DRAM, SRAM, Flash-Speicher oder einen anderen Speichertyp umfasst, von dem verfügbaren On-Chip oder Off-Chip-Speicher, den Latenzanforderungen der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, der Stapelgröße der beim Inferenzieren und/oder dem Training eines neuronalen Netzes verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 1001 und der Code- und/oder Datenspeicher 1005 separate Speicherstrukturen sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 1001 und der Code- und/oder Datenspeicher 1005 dieselbe Speicherstruktur sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 1001 und der Code- und/oder Datenspeicher 1005 teilweise kombiniert und teilweise getrennt sein. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 1001 und des Code- und/oder Datenspeichers 1005 einen anderen On-Chip- oder Off-Chip-Datenspeicher beinhalten, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 ohne Einschränkung eine oder mehrere arithmetische Logikeinheiten („ALUs“) 1010 beinhalten, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, um logische und/oder mathematische Operationen auszuführen, die zumindest teilweise auf einem Trainings- und/oder Inferenzcode (z. B. Graphencode) basieren oder durch diesen angezeigt werden, deren Ergebnis in einem Aktivierungsspeicher 1020 gespeicherte Aktivierungen (z. B. Ausgangswerte von Schichten oder Neuronen innerhalb eines neuronalen Netzes) erzeugen kann, die Funktionen von im Code- und/oder Datenspeicher 1001 und/oder Code- und/oder Datenspeicher 1005 gespeicherten Eingangs-/Ausgangs- und/oder Gewichtungsparameterdaten sind. In mindestens einer Ausführungsform werden die im Aktivierungsspeicher 1020 gespeicherten Aktivierungen gemäß linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die von den ALUs 1010 als Reaktion auf das Ausführen von Anweisungen oder anderem Code ausgeführt wird, wobei im Code- und/oder Datenspeicher 1005 und/oder Datenspeicher 1001 gespeicherte Gewichtungswerte als Operanden zusammen mit anderen Werten, wie Bias-Werten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, verwendet werden, die ganz oder teilweise im Code- und/oder Datenspeicher 1005 oder im Code- und/oder Datenspeicher 1001 oder in einem anderen Speicher On- oder Off-Chip gespeichert sein können.
In mindestens einer Ausführungsform sind ALUs 1010 in einem oder mehreren Prozessoren oder anderen logischen Hardware-Vorrichtungen oder -Schaltungen beinhaltet, während in einer anderen Ausführungsform ALUs 1010 extern zu einem Prozessor oder einer anderen logischen Hardware-Vorrichtung oder -Schaltung, der/die sie verwendet (z. B. ein Co-Prozessor), sein können. In mindestens einer Ausführungsform können ALUs 1010 in den Ausführungseinheiten eines Prozessors oder in einer Bank von ALUs beinhaltet sein, auf die die Ausführungseinheiten eines Prozessors entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlichen Typs (z. B. Zentraleinheiten, Grafikverarbeitungseinheiten, feste Funktionseinheiten usw.) zugreifen können. In mindestens einer Ausführungsform können sich der Code- und/oder Datenspeicher 1001, der Code- und/oder Datenspeicher 1005 und der Aktivierungsspeicher 1020 einen Prozessor oder eine anderen logischen Vorrichtung oder Schaltung teilen, während sie sich in einer anderen Ausführungsform in verschiedenen Prozessoren oder anderen logischen Vorrichtungen oder Schaltungen befinden können, oder in einer Kombination aus gleichen und verschiedenen Prozessoren oder anderen logischen Vorrichtungen oder Schaltungen. In mindestens einer Ausführungsform kann jeder Teil des Aktivierungsspeichers 1020 einen anderen On-Chip- oder Off-Chip-Datenspeicher beinhalten, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors. Darüber hinaus kann der Inferenzierungs- und/oder Trainingscode zusammen mit anderem Code gespeichert werden, auf den ein Prozessor oder eine andere Hardware-Logik oder -Schaltung zugreifen kann und der mit Hilfe der Abruf-, Decodierungs-, Planungs-, Ausführungs-, Ausscheidungs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet wird.
In mindestens einer Ausführungsform kann der Aktivierungsspeicher 1020 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann sich der Aktivierungsspeicher 1020 vollständig oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen befinden. Zumindest in einer Ausführungsform kann die Entscheidung, ob der Aktivierungsspeicher 1020 zum Beispiel prozessorintern oder -extern ist oder DRAM, SRAM, Flash-Speicher oder einen anderen Speichertyp umfasst, von dem verfügbaren On-Chip oder Off-Chip-Speicher, den Latenzanforderungen der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, der Stapelgröße der beim Inferenzieren und/oder dem Training eines neuronalen Netzes verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform kann die in 10A veranschaulichte Inferenz- und/oder Trainingslogik 1015 in Verbindung mit einem anwendungsspezifischen integrierten Schaltkreis (application-specific integrated circuit - „ASIC“) verwendet werden, wie etwa einer TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (inference processing unit - IPU) von Graphcore™ oder einem Nervana®-Prozessor (z. B. „Lake Crest“) von Intel Corp. In mindestens einer Ausführungsform kann die in 10A veranschaulichte Inferenz- und/oder Trainingslogik 1015 in Verbindung mit Hardware der Zentraleinheit („CPU“), der Grafikverarbeitungseinheit (graphics processing unit - „GPU“) oder anderer Hardware, wie etwa feldprogrammierbaren Gate-Arrays (field programmable gate arrays - „FPGAs“), verwendet werden.
10B veranschaulicht die Inferenz- und/oder Trainingslogik 1015, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 ohne Einschränkung eine Hardware-Logik beinhalten, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtungswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzes entsprechen. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015, veranschaulicht in 10B in Verbindung mit einem anwendungsspezifischen integrierten Schaltkreis (ASIC) wie der TensorFlow® Processing Unit von Google, einer Inference Processing Unit (IPU) von Graphcore™ oder einem Ner-vana®-Prozessor (z. B. „Lake Crest“) von Intel Corp verwendet werden. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015, veranschaulich in 10B, in Verbindung mit Hardware der Zentralverarbeitungseinheit (CPU), Hardware der Grafikverarbeitungseinheit (GPU) oder anderer Hardware, wie etwa feldprogrammierbaren Gate-Arrays (FPGAs), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 1015 ohne Einschränkung Code- und/oder Datenspeicher 1001 und Code- und/oder Datenspeicher 1005, die zum Speichern von Code (z. B. Diagrammcode), Gewichtungsswerten und/oder anderen Informationen, einschließlich Bias-Werten, Gradienteninformationen, Momentumwerten und/oder andere Parameter- oder Hyperparameterinformationen verwendet werden können. In mindestens einer in FIG. In 10B ist jeder Code- und/oder Datenspeicher 1001 und Code- und/oder Datenspeicher 1005 einer dedizierten Rechenressource zugeordnet, beispielsweise Rechenhardware 1002 bzw. Rechenhardware 1006. In mindestens einer Ausführungsform umfasst jede der Rechenhardware 1002 und der Rechenhardware 1006 eine oder mehrere ALUs, die mathematische Funktionen, wie lineare algebraische Funktionen, nur auf Informationen ausführen, die im Code- und/oder Datenspeicher 1001 und/oder Code- und/oder Datenspeicher 1005 gespeichert sind, und deren Ergebnis im Aktivierungsspeicher 1020 gespeichert wird.
In mindestens einer Ausführungsform entsprechen jeder der Code- und/oder Datenspeicher 1001 und 1005 und die entsprechende Rechenhardware 1002 bzw. 1006 verschiedenen Schichten eines neuronalen Netzes, so dass die resultierende Aktivierung von einem „Speicher-/Rechenpaar 1001/1002“ des Code- und/oder Datenspeichers 1001 und der Rechenhardware 1002 als Eingang für das nächste „Speicher-/Rechenpaar 1005/1006“ des Code- und/oder Datenspeichers 1005 und der Rechenhardware 1006 bereitgestellt wird, um die konzeptionelle Organisation eines neuronalen Netzes zu spiegeln. In mindestens einer Ausführungsform kann jedes der Speicher-/Rechenpaare 1001/1002 und 1005/1006 mehr als einer neuronalen Netzschicht entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher-/Rechenpaare (nicht dargestellt) im Anschluss an oder parallel zu den Speicher-/Rechenpaaren 1001/1002 und 1005/1006 in der Inferenz- und/oder Trainingslogik 1015 beinhaltet sein.
TRAINING UND EINSATZ EINES NEURONALEN NETZES
11 veranschaulicht Training und Einsatz eines tiefen neuronalen Netzes gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 1106 unter Verwendung eines Trainingsdatensatzes 1102 trainiert. In mindestens einer Ausführungsform ist das Trainings-Framework 1104 ein PyTorch-Framework, wohingegen das Trainings-Framework 1104 in anderen Ausführungsformen ein TensorFlow-, Boost-, Caffe-, Microsoft-Cognitive-Toolkit/CNTK-, MXNet-, Chainer-, Keras-, Deeplearning4j- oder ein anderes Trainings-Framework ist. In mindestens einer Ausführungsform trainiert das Trainings-Framework 1104 ein untrainiertes neuronales Netz 1106 und ermöglicht, dass es unter Verwendung der hierin beschriebenen Verarbeitungsressourcen trainiert wird, um ein trainiertes neuronales Netz 1108 zu erzeugen. In mindestens einer Ausführungsform können die Gewichtungen zufällig oder durch Vorabtraining unter Verwendung eines Deep-Belief-Netzes gewählt werden. In mindestens einer Ausführungsform kann das Training entweder auf überwachte, teilweise überwachte oder nicht überwachte Weise durchgeführt werden.
In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 1106 unter Verwendung von überwachtem Lernen trainiert, wobei der Trainingsdatensatz 1102 eine Eingabe beinhaltet, die mit einer gewünschten Ausgabe für eine Eingabe gepaart ist, oder wobei der Trainingsdatensatz 1102 eine Eingabe mit einer bekannten Ausgabe beinhaltet und eine Ausgabe des neuronalen Netzes 1106 manuell eingestuft wird. In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 1106 auf überwachte Weise trainiert und es verarbeitet Eingaben aus dem Trainingsdatensatz 1102 und vergleicht die resultierenden Ausgaben mit einem Satz von erwarteten oder gewünschten Ausgaben. In mindestens einer Ausführungsform werden Fehler dann durch das untrainierte neuronale Netz 1106 rückpropagiert. In mindestens einer Ausführungsform stellt das Trainings-Framework 1104 Gewichtungen ein, die das untrainierte neuronale Netz 1106 steuern. In mindestens einer Ausführungsform beinhaltet das Trainings-Framework 1104 Werkzeuge, um zu überwachen, wie gut das untrainierte neuronale Netz 1106 zu einem Modell konvergiert, wie etwa dem trainierten neuronalen Netz 1108, das dazu geeignet ist, korrekte Antworten zu erzeugen, wie etwa in dem Ergebnis 1114, die auf Eingabedaten wie etwa einem neuen Datensatz 1112 basieren. In mindestens einer Ausführungsform trainiert das Trainings-Framework 1104 das untrainierte neuronale Netz 1106 wiederholt, während Gewichtungen eingestellt werden, um eine Ausgabe des untrainierten neuronalen Netzes 1106 unter Verwendung einer Verlustfunktion und eines Einstellungsalgorithmus, wie etwa des stochastischen Gradientenabstiegs, zu verfeinern. In mindestens einer Ausführungsform trainiert das Trainings-Framework 1104 das untrainierte neuronale Netz 1106, bis das untrainierte neuronale Netz 1106 eine gewünschte Genauigkeit erreicht. In mindestens einer Ausführungsform kann das trainierte neuronale Netz 1108 dann zum Implementieren einer beliebigen Anzahl von Operationen des maschinellen Lernens eingesetzt werden.
In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 1106 unter Verwendung von unüberwachtem Lernen trainiert, wobei das untrainierte neuronale Netz 1106 versucht, sich selbst unter Verwendung unmarkierter Daten zu trainieren. In mindestens einer Ausführungsform beinhaltet der Trainingsdatensatz 1102 für nicht überwachtes Lernen Eingabedaten ohne assoziierte Ausgabedaten oder „Ground-Truth“-Daten. In mindestens einer Ausführungsform kann das untrainierte neuronale Netz 1106 Gruppierungen innerhalb des Trainingsdatensatzes 1102 lernen und bestimmen, wie einzelne Eingaben mit dem untrainierten Datensatz 1102 in Bezug stehen. In mindestens einer Ausführungsform kann nicht überwachtes Training verwendet werden, um eine selbstorganisierende Karte in dem trainierten neuronalen Netz 1108 zu erzeugen, die dazu in der Lage ist, Operationen durchzuführen, die beim Reduzieren der Dimensionalität des neuen Datensatzes 1112 nützlich sind. In mindestens einer Ausführungsform kann nicht überwachtes Training auch verwendet werden, um Anomaliedetektion durchzuführen, was die Identifizierung von Datenpunkten in dem neuen Datensatz 1112 ermöglicht, die von normalen Mustern des neuen Datensatzes 1112 abweichen.
In mindestens einer Ausführungsform kann halbüberwachtes Lernen verwendet werden, wobei es sich um eine Technik handelt, bei der der Trainingsdatensatz 1102 eine Mischung aus beschrifteten und unbeschrifteten Daten beinhaltet. In mindestens einer Ausführungsform kann das Trainings-Framework 1104 verwendet werden, um inkrementelles Lernen durchzuführen, wie etwa durch Transferlerntechniken. In mindestens einer Ausführungsform ermöglicht das inkrementelle Lernen dem trainierten neuronalen Netz 1108, sich an den neuen Datensatz 1112 anzupassen, ohne das Wissen zu vergessen, das dem trainierten neuronalen Netz 1108 während des anfänglichen Trainings vermittelt wurde.
RECHENZENTRUM
12 veranschaulicht ein Beispiel für ein Rechenzentrum 1200, in welchem mindestens eine Ausführungsform verwendet werden kann. In mindestens einer Ausführungsform beinhaltet ein Rechenzentrum 1200 eine Rechenzentrumsinfrastrukturschicht 1210, eine Framework-Schicht 1220, eine Softwareschicht 1230 und eine Anwendungsschicht 1240.
In mindestens einer Ausführungsform kann eine Rechenzentrumsinfrastrukturschicht 1210, wie in 12 gezeigt, einen Ressourcen-Orchestrator 1212, gruppierte Rechenressourcen 1214 und Knoten-Rechenressourcen (node computing ressources - „Knoten-C.R.s“) 1216(1)-1216(N) beinhalten, wobei „N“ eine positive ganze Zahl darstellt (die eine andere ganze Zahl „N“ sein kann, als in anderen Figuren verwendet). In mindestens einer Ausführungsform können die Knoten-C.R.s 1216(1)-1216(N) eine beliebige Anzahl von zentralen Verarbeitungseinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, feldprogrammierbarer Gate-Arrays (FPGAs), Grafikprozessoren usw.), Speichervorrichtungen 1218(1)-1218(N) (z. B. dynamischer Festwertspeicher, Festkörperspeicher oder Festplattenlaufwerke), Vorrichtungen zur Netz-Eingabe/Ausgabe (network input/output - „NW-E/A“), Netz-Switches, virtuellen Maschinen (virtual machines - „VMs“), Leistungsmodulen und Kühlmodulen usw. beinhalten, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform kann es sich bei einer oder mehreren Knoten-C.R.s aus den Knoten-C.R.s 1216(1)-1216(N) um einen Server handeln, der eine oder mehrere der vorstehend erwähnten Rechenressourcen aufweist.
In mindestens einer Ausführungsform können die gruppierten Rechenressourcen 1214 separate Gruppierungen von Knoten-C.R.s beinhalten, die in einem oder mehreren Racks (nicht gezeigt) oder in vielen Racks in Datenzentren an verschiedenen geografischen Standorten (ebenfalls nicht gezeigt) untergebracht sind. In mindestens einer Ausführungsform können separate Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechenressourcen 1214 gruppierte Rechen-, Netz-, Speicher- oder Storage-Ressourcen beinhalten, die dazu konfiguriert oder zugewiesen sein können, eine oder mehrere Arbeitslasten zu unterstützen. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s, die CPUs oder Prozessoren beinhalten, in einem oder mehreren Racks gruppiert werden, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform können ein oder mehrere Racks auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzschaltern in beliebiger Kombination beinhalten.
In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 1212 einen oder mehrere Knoten-C.R.s 1216(1)-1216(N) und/oder gruppierte Rechenressourcen 1214 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 1212 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 1200 beinhalten. In mindestens einer Ausführungsform kann der Ressourcenorchestrator 1012 Hardware, Software oder eine Kombination daraus beinhalten.
In mindestens einer Ausführungsform beinhaltet die Framework-Schicht 1220, wie in 12 gezeigt, einen Aufgaben-Scheduler 1222, einen Konfigurationsmanager 1224, einen Ressourcenmanager 1226 und ein verteiltes Dateisystem 1228. In mindestens einer Ausführungsform kann die Framework-Schicht 1220 ein Framework zur Unterstützung der Software 1232 der Softwareschicht 1230 und/oder einer oder mehrerer Anwendungen 1242 der Anwendungsschicht 1240 beinhalten. In mindestens einer Ausführungsform kann die Software 1232 bzw. die Anwendung 1242 webbasierte Dienstsoftware oder Anwendungen beinhalten, wie sie beispielsweise von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann es sich bei der Framework-Schicht 1220 um eine Art freien und quelloffenen Software-Webanwendungsrahmen wie etwa Apache Spark™ (im Folgenden „Spark“) handeln, der das verteilte Dateisystem 1228 für die Verarbeitung großer Datenmengen (z. B. „Big Data“) verwenden kann, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform kann der Job-Scheduler 1232 einen Spark-Treiber beinhalten, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 1200 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsmanager 1224 in der Lage sein, verschiedene Schichten zu konfigurieren, wie z. B. die Softwareschicht 1230 und die Framework-Schicht 1220, die Spark und ein verteiltes Dateisystem 1228 zur Unterstützung einer groß angelegten Datenverarbeitung beinhaltet. In mindestens einer Ausführungsform kann der Ressourcenmanager 1226 in der Lage sein, geclusterte oder gruppierte Computerressourcen zu verwalten, die dem verteilten Dateisystem 1228 und dem Aufgaben-Scheduler 1222 zugeordnet sind oder zugewiesen werden. In mindestens einer Ausführungsform können geclusterte oder gruppierte Rechenressourcen die gruppierten Rechenressourcen 1214 auf der Infrastrukturschicht 1210 des Rechenzentrums beinhalten. In mindestens einer Ausführungsform kann sich der Ressourcenmanager 1226 mit dem Ressourcenorchestrator 1212 abstimmen, um diese zugeordneten oder zugewiesenen Computerressourcen zu verwalten.
In mindestens einer Ausführungsform kann die in der Softwareschicht 1230 beinhaltete Software 1232 Software beinhalten, die zumindest von Teilen der Knoten C.R.s 1216(1)-1216(N), den gruppierten Rechenressourcen 1214 und/oder dem verteilten Dateisystem 1228 der Frameworkschicht 1220 verwendet wird. In mindestens einer Ausführungsform können eine oder mehrere Arten von Software, Internet-Webseiten-Such-Software, E-Mail-Virenscan-Software, Datenbank-Software und Streaming-Video-Content-Software beinhalten, sind aber nicht darauf beschränkt.
In mindestens einer Ausführungsform können die in der Anwendungsschicht 1240 beinhalteten Anwendungen 1242 eine oder mehrere Arten von Anwendungen beinhalten, die von mindestens Teilen der Knoten C.R.s 1216(1)-1216(N), gruppierten Rechenressourcen 1214 und/oder verteilten Dateisystemen 1228 der Framework-schicht 1220 verwendet werden. In mindestens einer Ausführungsform können eine oder mehrere Arten von Anwendungen eine beliebige Anzahl von Genomanwendungen, kognitiven Berechnungen und Anwendungen für maschinelles Lernen beinhalten, die Trainings- oder Inferenzierungssoftware, Framework-Software für maschinelles Lernen (z. B. PyTorch, TensorFlow, Caffe usw.) oder andere Anwendungen für maschinelles Lernen, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden, beinhalten, sind aber nicht darauf beschränkt.
In mindestens einer Ausführungsform können der Konfigurationsmanager 1224, der Ressourcenmanager 1226 und der Ressourcen-Orchestrator 1212 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen basierend auf einer beliebigen Menge und Art von Daten implementieren, die auf jede technisch machbare Weise erfasst werden. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Rechenzentrumsbetreiber des Rechenzentrums 1200 davon entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht ausführende Teile eines Rechenzentrums zu vermeiden.
In mindestens einer Ausführungsform kann das Rechenzentrum 1200 Werkzeuge, Dienste, Software oder andere Ressourcen beinhalten, um ein oder mehrere maschinelle Lernmodelle zu trainieren oder Informationen unter Verwendung eines oder mehrerer maschineller Lernmodelle gemäß einer oder mehrerer hierin beschriebener Ausführungsformen vorherzusagen oder abzuleiten. Zum Beispiel kann in mindestens einer Ausführungsform ein maschinelles Lernmodell trainiert werden, indem die Gewichtungsparameter gemäß einer neuronalen Netzarchitektur unter Verwendung von Software und Rechenressourcen berechnet werden, die oben in Bezug auf das Rechenzentrum 1200 beschrieben wurden. In mindestens einer Ausführungsform können trainierte maschinelle Lernmodelle, die einem oder mehreren neuronalen Netzen entsprechen, verwendet werden, um Informationen abzuleiten oder vorherzusagen, wobei die oben beschriebenen Ressourcen in Bezug auf das Rechenzentrum 1200 verwendet werden, indem Gewichtungsparameter verwendet werden, die durch eine oder mehrere hierin beschriebene Trainingstechniken berechnet werden.
In mindestens einer Ausführungsform kann ein Rechenzentrum CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um das Training und/oder Inferenzieren unter Verwendung der oben beschriebenen Ressourcen auszuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst dazu konfiguriert sein, um Benutzern das Trainieren oder Durchführen des Inferenzierens von Informationen zu ermöglichen, wie z. B. Bilderkennung, Spracherkennung oder andere Dienste künstlicher Intelligenz.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System 12 für Inferenzier- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann das Rechenzentrum 1200 zur Implementierung eines Computersystems verwendet werden, das zur Verarbeitung von Bildern und zur Kennzeichnung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert das Rechenzentrum 1200 einen Satz möglicher Begrenzungsrahmen und filtert dann einen Satz mithilfe der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
AUTONOMES FAHRZEUG
13A veranschaulicht ein autonomes Fahrzeug 1300 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das autonome Fahrzeug 1300 (hierin alternativ als „Fahrzeug 1300“ bezeichnet) ohne Einschränkung ein Personenfahrzeug sein, wie etwa ein Pkw, ein Lkw, ein Bus und/oder eine andere Art von Fahrzeug, das einen oder mehrere Fahrgäste aufnimmt. In mindestens einer Ausführungsform kann das Fahrzeug 1300 ein Sattelschlepper sein, der für den Transport von Fracht verwendet wird. In mindestens einer Ausführungsform kann das Fahrzeug 1300 ein Flugzeug, ein Roboterfahrzeug oder eine andere Art von Fahrzeug sein.
Autonome Fahrzeuge können in Form von Automatisierungsstufen beschrieben werden, die von der National Highway Traffic Safety Administration („NHTSA), einer Abteilung des US-Verkehrsministeriums, und der Society of Automotive Engineers („SAE) definiert werden. „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ (z. B. Standard-Nr. J 3016-201806 , veröffentlicht am 15. Juni 2018, Standard-Nr. J 3016-201609 , veröffentlicht am 30. September 2016, sowie frühere und zukünftige Versionen dieses Standards). In mindestens einer Ausführungsform kann das Fahrzeug 1300 in der Lage sein, gemäß einer oder mehrerer der Stufen 1 bis 5 der autonomen Fahrstufen zu funktionieren. Zum Beispiel kann Fahrzeug 1300 in mindestens einer Ausführungsform in der Lage sein, je nach Ausführungsform bedingt automatisiert (Level 3), hochautomatisiert (Level 4) und/oder vollständig automatisiert (Level 5) zu sein.
In mindestens einer Ausführungsform kann Fahrzeug 1300 ohne Einschränkung Komponenten wie ein Fahrgestell, eine Fahrzeugkarosserie, Räder (z. B. 2, 4, 6, 8, 18, usw.), Reifen, Achsen und andere Komponenten eines Fahrzeugs beinhalten. In mindestens einer Ausführungsform kann Fahrzeug 1300 ohne Einschränkung ein Antriebssystem 1350 beinhalten, wie z. B. einen Verbrennungsmotor, eine Hybrid-Elektro-Antriebsmaschine, einen vollelektrischen Motor und/oder einen anderen Antriebssystemtyp. In mindestens einer Ausführungsform kann ein Antriebssystem 1350 mit einem Antriebsstrang eines Fahrzeugs 1300 verbunden sein, der unter anderem ein Getriebe beinhalten kann, um den Antrieb eines Fahrzeugs 1300 zu ermöglichen. In mindestens einer Ausführungsform kann ein Antriebssystem 1350 als Reaktion auf den Empfang von Signalen von einem Gaspedal/Fahrpedalen 1352 gesteuert werden.
In mindestens einer Ausführungsform wird ein Lenksystem 1354, das ohne Einschränkung ein Lenkrad beinhalten kann, verwendet, um ein Fahrzeug 1300 (z. B. entlang eines gewünschten Weges oder einer Route) zu lenken, wenn ein Antriebssystem 1350 in Betrieb ist (z. B. wenn Fahrzeug 1300 in Bewegung ist). In mindestens einer Ausführungsform kann ein Lenksystem 1354 Signale von einem oder mehreren Lenkaktoren 1356 empfangen. In mindestens einer Ausführungsform kann ein Lenkrad für die Funktionalität einer vollständigen Automatisierung (Level 5) optional sein. In mindestens einer Ausführungsform kann ein Bremssensorsystem 1346 verwendet werden, um die Fahrzeugbremsen als Reaktion auf den Empfang von Signalen von einem oder mehreren Bremsaktuatoren 1348 und/oder Bremssensoren zu betätigen.
In mindestens einer Ausführungsform können die Controller 1336, die ohne Einschränkung ein oder mehrere System-on-Chips („SoCs“) (in 13A nicht dargestellt) und/oder eine oder mehrere Grafikverarbeitungseinheiten („GPUs“) beinhalten können, Signale (z. B. repräsentativ für Befehle) an eine oder mehrere Komponenten und/oder Systeme des Fahrzeugs 1300 bereitstellen. In mindestens einer Ausführungsform können die Controller 1336 beispielsweise Signale zur Betätigung der Fahrzeugbremsen über die Bremsaktuatoren 1348, zur Betätigung eines Lenksystems 1354 über die Lenkaktuatoren 1356 und zur Betätigung eines Antriebssystems 1350 über das Gaspedal/die Fahrpedale 1352 senden. In mindestens einer Ausführungsform kann der Controller 1336 eine oder mehrere bordeigene (z. B. integrierte) Vorrichtungen beinhalten, die Sensorsignale verarbeiten und Betriebsbefehle (z. B. Signale, die Befehle darstellen) ausgeben, um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Führen eines Fahrzeugs 1300 zu unterstützen. In einer Ausführungsform können Controller 1336 einen ersten Controller für autonome Fahrfunktionen, einen zweiten Controller für funktionale Sicherheitsfunktionen, einen dritten Controller für die Funktionalität der künstlichen Intelligenz (z. B. Computervision), einen vierten Controller für Infotainment-Funktionalität, einen fünften Controller für Redundanz im Notfall und/oder andere Controller beinhalten. In mindestens einer Ausführungsform kann ein einzelner Controller zwei oder mehr der oben beschriebenen Funktionen übernehmen, zwei oder mehr Controller können eine einzige Funktion übernehmen und/oder eine beliebige Kombination davon.
In mindestens einer Ausführungsform liefern die Controller 1336 Signale zur Steuerung einer oder mehrerer Komponenten und/oder Systeme eines Fahrzeugs 1300 als Reaktion auf Sensordaten, die von einem oder mehreren Sensoren (z. B. Sensoreingängen) empfangen werden. In mindestens einer Ausführungsform können Sensordaten beispielsweise und ohne Einschränkung von globalen Satellitennavigationssystem(„GNSS“)-Sensoren 1358 (z. B. Global Positioning System-Sensoren), RADAR-Sensoren 1360, Ultraschallsensoren 1362, LIDAR-Sensoren 1364, Sensoren der Trägheitsmesseinheit („IMU“) 1366 (z. B., Beschleunigungsmesser, Gyroskope, Magnetkompass oder Magnetkompasse, Magnetometer usw.), Mikrofone 1396, Stereokameras 1368, Weitwinkelkameras 1370 (z. B, Fischaugenkameras), Infrarotkameras 1372, Umgebungskameras 1374 (z. B. 360-Grad-Kameras), Langstreckenkameras (in 13A nicht dargestellt), Mittelstreckenkameras (in 13A nicht dargestellt), Geschwindigkeitssensoren 1344 (z. B. zur Messung der Geschwindigkeit des Fahrzeugs 1300), Schwingungssensoren 1342, Lenksensoren 1340, Bremssensoren (z. B. als Teil des Bremssensorsystems 1346) und/oder andere Sensortypen.
In mindestens einer Ausführungsform können ein oder mehrere Controller 1336 Eingänge (z. B. in Form von Eingangsdaten) von einem Kombiinstrument 1332 eines Fahrzeugs 1300 empfangen und Ausgänge (z. B. in Form von Ausgangsdaten, Anzeigedaten usw.) über eine Mensch-Maschine-Schnittstelle (human-machine interface - „HMI“)-Anzeige 1334, einen akustischen Melder, einen Lautsprecher und/oder über andere Komponenten eines Fahrzeugs 1300 bereitstellen. In mindestens einer Ausführungsform können die Ausgaben Informationen wie Fahrzeuggeschwindigkeit, Geschwindigkeit, Zeit, Kartendaten (z. B. eine hochauflösende Karte (in 13A nicht dargestellt), Standortdaten (z. B. Standort des Fahrzeugs 1300, z. B. auf einer Karte), Richtung, Standort anderer Fahrzeuge (z. B. ein Belegungsraster), Informationen über Objekte und Status von Objekten, wie sie von Controllern 1336 wahrgenommen werden, usw. beinhalten. Zum Beispiel kann in mindestens einer Ausführungsform die HMI-Anzeige 1334 Informationen über das Vorhandensein eines oder mehrerer Objekte (z. B. ein Straßenschild, ein Warnschild, eine sich ändernde Ampel usw.) und/oder Informationen über Fahrmanöver anzeigen, die das Fahrzeug durchgeführt hat, gerade durchführt oder durchführen wird (z. B. jetzt die Spur wechseln, in zwei Meilen die Ausfahrt 34B nehmen usw.).
In einer Ausführungsform beinhaltet Fahrzeug 1300 ferner eine Netzschnittstelle 1324, die drahtlose Antennen 1326 und/oder Modems zur Kommunikation über ein oder mehrere Netze verwenden kann. Zum Beispiel kann in mindestens einer Ausführungsform die Netzschnittstelle 1324 in der Lage sein, über Long-Term Evolution („LTE“), Wideband Code Division Multiple Access („WCDMA“), Universal Mobile Telecommunications System („UMTS“), Global System for Mobile communication („GSM“), IMT-CDMA Multi-Carrier („CDMA2000“), usw. zu kommunizieren. In mindestens einer Ausführungsform können die drahtlosen Antennen 1326 auch die Kommunikation zwischen Objekten in der Umgebung (z. B. Fahrzeuge, mobile Vorrichtungen usw.) ermöglichen, wobei lokale Netze wie Bluetooth, Bluetooth Low Energy („LE“), Z-Wave, ZigBee usw. und/oder Weitverkehrsnetze mit geringer Leistung („LPWANs“) wie LoRaWAN, SigFox usw. verwendet werden..
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System der 13A für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
In mindestens einer Ausführungsform umfasst das autonome Fahrzeug 1300 Kameras, Radar- oder Laser-Bildgebungsgeräte, die Bilder sammeln. In mindestens einer Ausführungsform werden Bilder verwendet, um Objekte in der Nähe des autonomen Fahrzeugs 1300 zu verfolgen. In mindestens einer Ausführungsform werden Objekte mithilfe von Begrenzungsrahmen verfolgt, die wie oben beschrieben gefiltert werden.
13B veranschaulicht ein Beispiel für Kamerapositionen und Sichtfelder für das autonome Fahrzeug 1300 von 13A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform sind die Kameras und die jeweiligen Sichtfelder ein Beispiel für eine Ausführungsform und nicht als einschränkend zu betrachten. Zum Beispiel können in mindestens einer Ausführungsform zusätzliche und/oder alternative Kameras beinhaltet sein und/oder Kameras können an verschiedenen Stellen eines Fahrzeugs 1300 angeordnet sein.
In mindestens einer Ausführungsform können die Kameratypen für Kameras Digitalkameras beinhalten, die für die Verwendung mit Komponenten und/oder Systemen eines Fahrzeugs 1300 angepasst werden können, sind aber nicht darauf beschränkt. In mindestens einem Ausführungsform können Kameras mit der Sicherheitsstufe B (Automotive Safety Integrity Level, „ASIL) und/oder mit einem anderen ASIL betrieben werden. In mindestens einer Ausführungsform können die Kameratypen je nach Ausführungsform jede beliebige Bildaufnahmerate, wie 60 Bilder pro Sekunde (frames per second - fps), 1220 fps, 240 fps usw., erreichen. In mindestens einer Ausführungsform können die Kameras Rolling Shutter, Global Shutter, einen anderen Verschlusstyp oder eine Kombination davon verwenden. In mindestens einer Ausführungsform kann eine Farbfilteranordnung eine Rot-Klar-Klar-Klar-Farbfilteranordnung („RCCC“), eine Rot-Klar-Klar-Blau-Farbfilteranordnung („RCCB“), eine Rot-Blau-Grün-Klar-Farbfilteranordnung („RBGC“), eine Foveon X3-Farbfilteranordnung, eine Bayer-Sensor-Farbfilteranordnung („RGGB“), eine Monochromsensor-Farbfilteranordnung und/oder eine andere Art von Farbfilteranordnung beinhalten. In mindestens einer Ausführungsform können Clear-Pixel-Kameras, wie Kameras mit einem RCCC, einem RCCB und/oder einem RBGC-Farbfilter-Array, eingesetzt werden, um die Lichtempfindlichkeit zu erhöhen.
In mindestens einer Ausführungsform können eine oder mehrere Kameras zur Ausführung von Fahrerassistenzsystem-Funktionen (Advanced Driver Assistance Systems - „ADAS“) verwendet werden (z. B. als Teil eines redundanten oder ausfallsicheren Designs). Zum Beispiel kann in mindestens einer Ausführungsform eine Multifunktions-Monokamera installiert werden, die Funktionen wie Spurhalteassistent, Verkehrszeichenassistent und intelligente Scheinwerfersteuerung bietet. In mindestens einer Ausführungsform können eine oder mehrere Kameras (z. B. alle Kameras) Bilddaten (z. B. Video) gleichzeitig aufzeichnen und bereitstellen.
In mindestens einer Ausführungsform können eine oder mehrere Kameras in einer Montageeinheit montiert werden, z. B. in einer kundenspezifischen (dreidimensionalen („3D“)-gedruckten) Baugruppe, um Streulicht und Reflexionen aus einem Fahrzeug 1300 zu entfernen (z. B. Reflexionen eines Armaturenbretts, die in Windschutzscheibenspiegeln reflektiert werden), was die Aufnahmefähigkeit einer Kamera beeinträchtigen kann. In Bezug auf die Montage von Seitenspiegel-Baugruppen können in mindestens einer Ausführungsform Seitenpiegel-Baugruppen kundenspezifisch 3D-gedruckt werden, so dass eine Montageplatte einer Kamera der Form eines Seitenspiegels entspricht. In mindestens einer Ausführungsform können Kameras in Seitenspiegeln integriert werden. In mindestens einer Ausführungsform können die Kameras für Seitenkameras auch in vier Säulen an jeder Ecke der Kabine integriert werden.
In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Teile einer Umgebung vor einem Fahrzeug 1300 beinhaltet (z. B. nach vorne gerichtete Kameras), für die Umgebungsansicht verwendet werden, um dabei zu helfen, nach vorne gerichtete Pfade und Hindernisse zu identifizieren, und um mit Hilfe eines oder mehrerer Controller 1336 und/oder Steuer-SoCs Informationen bereitzustellen, die für die Erstellung eines Belegungsgitters und/oder die Bestimmung bevorzugter Fahrzeugpfade entscheidend sind. In mindestens einer Ausführungsform, können nach vorne gerichtete Kameras verwendet werden, um viele der ähnlichen ADAS-Funktionen wie LIDAR auszuführen, einschließlich, ohne Einschränkung, Notbremsung, Fußgängererkennung und Kollisionsvermeidung. In mindestens einer Ausführungsform können nach vorne gerichtete Kameras auch für ADAS-Funktionen und - Systeme verwendet werden wie, ohne Einschränkung, Spurhalteassistenten („Lane Departure Warnings - LDW), autonome Geschwindigkeitsregelung (Autonomous Cruise Control - ACC) und/oder andere Funktionen wie die Verkehrszeichenerkennung verwendet werden.
In mindestens einer Ausführungsform kann eine Vielzahl von Kameras in einer nach vorne gerichteten Konfiguration verwendet werden, darunter beispielsweise eine monokulare Kameraplattform, die einen CMOS(„Komplementärer Metalloxid-Halbleiter“)-Farbbildgeber umfasst. In mindestens einer Ausführungsform kann eine Weitwinkelkamera 1370 verwendet werden, um Objekte zu erkennen, die von der Peripherie her ins Blickfeld geraten (z. B. Fußgänger, kreuzenden Verkehr oder Fahrräder). Obwohl in 13B nur eine Weitwinkelkamera 1370 veranschaulicht ist, kann in anderen Ausführungsformen eine beliebige Anzahl am Fahrzeug 1300 vorhanden sein. In mindestens einer Ausführungsform können Langstreckenkameras 1398 (z. B. ein Langsicht-Stereokamerapaar) für die tiefenbasierte Objekterkennung verwendet werden, insbesondere für Objekte, für die noch kein neuronales Netz ausgebildet wurde. In mindestens einer Ausführungsform können Langstreckenkameras 1398 auch zur Objekterkennung und -klassifizierung sowie zur einfachen Objektverfolgung verwendet werden.
In mindestens einer Ausführungsform kann auch eine beliebige Anzahl von Stereokameras 1368 in einer nach vorne gerichteten Konfiguration beinhaltet sein. In mindestens einer Ausführungsform können eine oder mehrere Stereokameras 1368 eine integrierte Steuereinheit beinhalten, die eine skalierbare Verarbeitungseinheit umfasst, die eine programmierbare Logik („FPGA“) und einen Multicore-Mikroprozessor mit einer integrierten Controller Area Network („CAN“)- oder Ethernet-Schnittstelle auf einem einzigen Chip bereitstellen kann. In mindestens einer Ausführungsform kann eine solche Einheit verwendet werden, um eine 3D-Karte der Umgebung von Fahrzeug 1300 zu erstellen, die eine Abstandsschätzung für alle Punkte in einem Bild beinhaltet. In mindestens einer Ausführungsform können eine oder mehrere der Stereokameras 1368 ohne Einschränkung kompakte Stereosicht-Sensoren beinhalten, die ohne Einschränkung zwei Kameralinsen (je eine links und rechts) und einen Bildverarbeitungschip beinhalten können, der den Abstand zwischen Fahrzeug 1300 und einem Zielobjekt messen und die erzeugten Informationen (z. B. Metadaten) verwenden kann, um autonome Notbrems- und Spurhaltewarnfunktionen zu aktivieren. In mindestens einer Ausführungsform können andere Arten von Stereokameras 1368 zusätzlich zu den hierin beschriebenen oder alternativ dazu verwendet werden.
In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Teile der Umgebung seitlich des Fahrzeugs 1300 beinhaltet (z. B. Seitenkameras), für die Umgebungsansicht verwendet werden, die Informationen zur Erstellung und Aktualisierung eines Belegungsrasters sowie zur Erzeugung von Seitenaufprallwarnungen liefert. Zum Beispiel könnten in mindestens einer Ausführungsform die Umgebungskameras 1374 (z. B. vier Umgebungskameras, wie in 13B veranschaulicht) am Fahrzeug 1300 positioniert werden. In mindestens einer Ausführungsform können die Rundumkameras 1374 ohne Einschränkung eine beliebige Anzahl und Kombination von Weitwinkelkameras, Fischaugenkameras, 360-Grad-Kameras und/oder Ähnlichem beinhalten. Zum Beispiel können in mindestens einer Ausführungsform vier Fischaugenkameras an der Vorderseite, der Rückseite und den Seiten des Fahrzeugs 1300 positioniert werden. In mindestens einer Ausführungsform kann Fahrzeug 1300 drei Rundumkameras 1374 (z. B. links, rechts und hinten) verwenden und eine oder mehrere andere Kameras (z. B. eine nach vorne gerichtete Kamera) als vierte Rundumkamera nutzen.
In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Teile der Umgebung hinter Fahrzeug 1300 beinhaltet (z. B. Rückfahrkameras), für die Einparkhilfe, die Umgebungsansicht, die Warnung bei Heckkollisionen und die Erstellung und Aktualisierung eines Belegungsrasters verwendet werden. In mindestens einer Ausführungsform kann eine Vielzahl von Kameras verwendet werden, einschließlich, aber nicht beschränkt auf Kameras, die auch als nach vorne gerichtete Kameras geeignet sind (z. B. Langstreckenkameras 1398 und/oder Mittelstreckenkameras 1376, Stereokameras 1368, Infrarotkameras 1372 usw.), wie hierin beschrieben.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System der 13B für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
In mindestens einer Ausführungsform beinhaltet das Fahrzeug 1300 Kameras, Radar- oder Laser-Bildgebungsvorrichtungen, die Bilder sammeln. In mindestens einer Ausführungsform werden Bilder verwendet, um Objekte in der Nähe des autonomen Fahrzeugs 1300 zu verfolgen. In mindestens einer Ausführungsform werden Objekte mithilfe von Begrenzungsrahmen verfolgt, die wie oben beschrieben gefiltert werden.
13C ist ein Blockdiagramm, das eine Beispiel-Systemarchitektur für das autonome Fahrzeug 1300 von 13A veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform sind alle Komponenten, Merkmale und Systeme des Fahrzeugs 1300 in 13C so veranschaulicht, dass sie über einen Bus 1302 verbunden sind. In mindestens einer Ausführungsform kann Bus 1302 ohne Einschränkung eine CAN-Datenschnittstelle beinhalten (hierin alternativ als „CAN-Bus“ bezeichnet). In mindestens einer Ausführungsform kann ein CAN ein Netz innerhalb des Fahrzeugs 1300 sein, das zur Unterstützung der Steuerung verschiedener Merkmale und Funktionen eines Fahrzeugs 1300 verwendet wird, wie z. B. Betätigung von Bremsen, Beschleunigung, Bremsen, Lenkung, Scheibenwischern usw. In mindestens einer Ausführungsform kann Bus 1302 dazu konfiguriert sein, Dutzende oder sogar Hunderte von Knoten zu haben, jeder mit seinem eigenen eindeutigen Bezeichner (z. B. einer CAN-ID). In mindestens einer Ausführungsform kann Bus 1302 ausgelesen werden, um den Lenkradwinkel, die Fahrgeschwindigkeit, die Motordrehzahl (revolutions per minute - „RPM“), die Tastenpositionen und/oder andere Fahrzeugstatusanzeigen zu ermitteln. In mindestens einer Ausführungsform kann es sich bei dem Bus 1302 um einen CAN-Bus handeln, der ASIL B-konform ist.
In mindestens einer Ausführungsform können zusätzlich zu oder alternativ zu CAN auch FlexRay und/oder Ethernet-Protokolle verwendet werden. In mindestens einer Ausführungsform kann es eine beliebige Anzahl von Bussen geben, die den Bus 1302 bilden, der ohne Einschränkung null oder mehr CAN-Busse, null oder mehr FlexRay-Busse, null oder mehr Ethernet-Busse und/oder null oder mehr andere Arten von Bussen mit unterschiedlichen Protokollen beinhalten kann. In mindestens einer Ausführungsform können zwei oder mehr Busse verwendet werden, um verschiedene Funktionen auszuführen und/oder um Redundanz zu gewährleisten. Beispielsweise kann ein erster Bus zur Kollisionsvermeidung und ein zweiter Bus zur Ansteuerung verwendet werden. In mindestens einer Ausführungsform kann jeder Bus 1302 mit beliebigen Komponente eines Fahrzeugs 1300 kommunizieren, und zwei oder mehr Busse 1302 können mit denselben Komponenten kommunizieren. In mindestens einer Ausführungsform kann jedes einer beliebigen Anzahl von Systemen auf Chips („SoCs“) 1304 (wie etwa SoC 1304(A) und SoC 1304(B), jeder der Controller 1336 und/oder jeder Computer innerhalb des Fahrzeugs Zugriff auf die gleichen Eingabedaten (z. B. Eingaben von Sensoren des Fahrzeugs 1300) haben und mit einem gemeinsamen Bus, wie etwa dem CAN-Bus, verbunden sein.
In mindestens einer Ausführungsform kann ein Fahrzeug 1300 einen oder mehrere Controller 1336 beinhalten, wie hierin in Bezug auf 13A. In mindestens einer Ausführungsform können die Controller 1336 für eine Vielzahl von Funktionen verwendet werden. In mindestens einer Ausführungsform können Controller 1336 mit verschiedenen anderen Komponenten und Systemen eines Fahrzeugs 1300 gekoppelt sein und zur Steuerung eines Fahrzeugs 1300, zur künstlichen Intelligenz eines Fahrzeugs 1300, zum Infotainment eines Fahrzeugs 1300 und/oder anderen Funktionen verwendet werden.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 eine beliebige Anzahl von SoCs 1304 beinhalten. In mindestens einer Ausführungsform kann jedes der SoCs 1304 ohne Einschränkung zentrale Verarbeitungseinheiten („CPUs“) 1306, Grafikverarbeitungseinheiten („GPUs“) 1308, Prozessoren 1310, Caches 1312, einen oder mehrere Beschleuniger 1314, einen oder mehrere Datenspeicher 1316 und/oder andere nicht veranschaulichte Komponenten und Merkmale beinhalten. In mindestens einer Ausführungsform können SoCs 1304 verwendet werden, um ein Fahrzeug 1300 in einer Reihe von Plattformen und Systemen zu steuern. Zum Beispiel können in mindestens einer Ausführungsform SoCs 1304 in einem System (z. B. dem System des Fahrzeugs 1300) mit einer hochauflösenden (High Definition - „HD“) Zuordnung 1322 kombiniert werden, die über eine Netzschnittstelle 1324 von einem oder mehreren Servern (in 13C nicht gezeigt) Aktualisierungen der Zuordnung und/oder Updates erhalten kann.
In mindestens einer Ausführungsform können die CPUs 1306 einen CPU-Cluster oder CPU-Komplex (hierin alternativ als „CCPLEX“ bezeichnet) beinhalten. In mindestens einer Ausführungsform können die CPUs 1306 mehrere Kerne und/oder Level Two („L2“)-Caches beinhalten. In einigen Ausführungsformen können die CPUs 1306 beispielsweise acht Kerne in einer kohärenten Multi-Prozessor-Konfiguration beinhalten. In mindestens einer Ausführungsform können die CPUs 1306 vier Dual-Core-Cluster beinhalten, wobei jeder Cluster über einen dedizierten L2-Cache (z. B. einen 2 Megabyte(MB)-Cache) verfügt. In mindestens einer Ausführungsform können die CPUs 1306 (z. B. CCPLEX) dazu konfiguriert sein, gleichzeitige Clusteroperationen zu unterstützen, so dass eine beliebige Kombination von Clustern von CPUs 1306 zu einem bestimmten Zeitpunkt aktiv sein kann.
In mindestens einer Ausführungsform können eine oder mehrere CPUs 1306 Energieverwaltungsfunktionen implementieren, die ohne Einschränkung eines oder mehrere der folgenden Merkmale beinhalten: Einzelne Hardwareblöcke können im Leerlauf automatisch getaktet werden, um dynamischen Strom zu sparen; jeder Kerntakt kann getaktet werden, wenn ein solcher Kern aufgrund der Ausführung von Wait for Interrupt („WFI“)/Wait for Event („WFE“)-Befehlen nicht aktiv Befehle ausführt; jeder Kern kann unabhängig stromgesteuert sein; jeder Kerncluster kann unabhängig taktgesteuert sein, wenn alle Kerne taktgesteuert oder stromgesteuert sind; und/oder jeder Kerncluster kann unabhängig stromgesteuert sein, wenn alle Kerne stromgesteuert sind. In mindestens einer Ausführungsform können die CPUs 1306 ferner einen erweiterten Algorithmus für die Verwaltung von Energiezuständen implementieren, bei dem zulässige Energiezustände und erwartete Aufwachzeiten spezifiziert werden und die Hardware/der Mikrocode den besten Energiezustand für Kern, Cluster und CCPLEX bestimmen, um einzutreten In mindestens einer Ausführungsform können die Prozessorkerne vereinfachte Sequenzen für die Eingabe des Energiezustands in der Software unterstützen, wobei die Arbeit in den Mikrocode ausgelagert wird.
In mindestens einer Ausführungsform können die GPUs 1308 eine integrierte GPU beinhalten (hierin alternativ als „iGPU“ bezeichnet). In mindestens einer Ausführungsform können die GPUs 1308 programmierbar sein und für parallele Arbeitslasten effizient sein. In mindestens einer Ausführungsform können die GPUs 1308 einen erweiterten Tensor-Anweisungssatz verwenden. In mindestens einer Ausführungsform können die GPUs 1308 einen oder mehrere Streaming-Mikroprozessoren beinhalten, wobei jeder Streaming-Mikroprozessor einen Level Eins(„L1“)-Cache (z. B. einen L1-Cache mit einer Speicherkapazität von mindestens 96 KB) beinhalten kann und zwei oder mehr Streaming-Mikroprozessoren sich einen L2-Cache (z. B. einen L2-Cache mit einer Speicherkapazität von 512 KB) teilen können. In mindestens einer Ausführungsform können die GPUs 1308 mindestens acht Streaming-Mikroprozessoren beinhalten. In mindestens einer Ausführungsform können die GPUs 1308 eine oder mehrere Anwendungsprogrammierschnittstellen (application programming interfaces - APIs) für Berechnungen verwenden. In mindestens einer Ausführungsform können die GPUs 1308 eine oder mehrere parallele Rechenplattformen und/oder Programmiermodelle (z. B. CUDA-Modell von NVIDIA) verwenden.
In mindestens einer Ausführungsform können eine oder mehrere GPUs 1308 für die beste Leistung in Kraftfahrzeugen und eingebetteten Anwendungen optimiert sein. Zum Beispiel könnten die GPUs 1308 in mindestens einer Ausführungsform auf Schaltkreisen mit Fin-Feldeffekttransistoren („FinFET“) hergestellt werden. In mindestens einer Ausführungsform kann jeder Streaming-Mikroprozessor eine Anzahl von in mehrere Blöcke unterteilten gemischt-präzisen Verarbeitungskernen beinhalten. Zum Beispiel könnten 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke unterteilt werden. In mindestens einer Ausführungsform könnten jedem Verarbeitungsblock 16 FP32 Kerne, 8 FP64 Kerne, 16 INT32 Kerne, zwei NVIDIA Tensor Cores mit gemischter Genauigkeit für Deep Learning-Matrixarithmetik, ein Level Zero („L0“) Befehlscache, ein Warp Scheduler, eine Dispatch-Einheit und/oder eine 64 KB große Registerdatei zugewiesen werden. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren unabhängige parallele Ganzzahl- und Gleitkomma-Datenpfade beinhalten, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Berechnungen und Adressierungsberechnungen zu ermöglichen. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren eine unabhängige Thread-Planung beinhalten, um eine feinere Synchronisierung und Zusammenarbeit zwischen parallelen Threads zu ermöglichen. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren einen kombinierten L1-Datencache und eine gemeinsam genutzte Speichereinheit beinhalten, um die Leistung zu verbessern und die Programmierung zu vereinfachen.
In mindestens einer Ausführungsform können eine oder mehrere GPUs 1308 einen Speicher mit hoher Bandbreite (High Bandwidth Memory - „HBM“) und/oder ein 16 GB HBM2-Speicherteilsystem beinhalten, um in einigen Beispielen eine Spitzenspeicherbandbreite von etwa 900 GB/s zu bieten. In mindestens einer Ausführungsform kann zusätzlich zu oder alternativ von einem HBM-Speicher ein synchroner Grafik-Random-Access-Speicher („SGRAM) verwendet werden, z. B. ein synchroner Grafik-Random-Access-Speicher („GDDR5) mit doppelter Datenrate vom Typ fünf.
In mindestens einer Ausführungsform können die GPUs 1308 Unified-Memory-Technologie beinhalten. In mindestens einer Ausführungsform kann die Unterstützung von Adress Translation Services („ATS“) verwendet werden, um den GPUs 1308 den direkten Zugriff auf die CPUs 1306-Seitentabellen zu ermöglichen. In mindestens einer Ausführungsform kann, wenn die Speicherverwaltungseinheit (memory management unit - „MMU“) einer GPU der GPUs 1308 einen Fehler erleidet, eine Adressübersetzungsanforderung an die CPUs 1306 übertragen werden. Als Reaktion darauf können 2 CPUs der CPUs 1306 in ihren Seitentabellen nach Virtuellem-zu-Physisch-Mapping für eine Adresse suchen und die Übersetzung zurück an die GPUs 1308 übermitteln. In mindestens einer Ausführungsform kann die Unified-Memory-Technologie einen einzigen einheitlichen virtuellen Adressraum für den Speicher der CPUs 1306 und der GPUs 1308 ermöglichen, wodurch die Programmierung der GPUs 1308 und die Portierung von Anwendungen auf die GPUs 1308 vereinfacht wird.
In mindestens einer Ausführungsform können die GPUs 1308 eine beliebige Anzahl von Zugriffszählern beinhalten, die die Häufigkeit des Zugriffs der GPUs 1308 auf den Speicher anderer Prozessoren verfolgen können. In mindestens einer Ausführungsform können Zugriffszähler dazu beitragen, dass Speicherseiten in den physischen Speicher eines Prozessors verschoben werden, der am häufigsten auf Seiten zugreift, wodurch die Effizienz von Speicherbereichen, die von mehreren Prozessoren gemeinsam genutzt werden, verbessert wird.
In mindestens einer Ausführungsform können eines oder mehrere SoCs 1304 eine beliebige Anzahl von Caches 1312 beinhalten, einschließlich der hier beschriebenen. Zum Beispiel könnten die Caches 1312 in mindestens einer Ausführungsform einen Level Drei-Cache („L3“) beinhalten, der sowohl für die CPUs 1306 als auch für die GPUs 1308 zur Verfügung steht (z. B. der mit den CPUs 1306 und den GPUs 1308 verbunden ist). In mindestens einer Ausführungsform können die Caches 1312 einen Write-Back-Cache beinhalten, der die Zustände von Zeilen verfolgen kann, z. B. durch Verwendung eines Cache-Kohärenzprotokolls (z. B. MEI, MESI, MSI usw.). In mindestens einer Ausführungsform kann ein L3-Cache kann je nach Ausführungsform 4 MB oder mehr Speicher beinhalten, wobei jedoch kleinere Cachegrößen verwendet werden können.
In mindestens einer Ausführungsform können eines oder mehrere SoCs 1304 einen oder mehrere Beschleuniger 1314 (z. B. Hardware-Beschleuniger, Software-Beschleuniger oder eine Kombination davon) beinhalten. In mindestens einer Ausführungsform können die SoCs 1304 einen Hardware-Beschleunigungscluster beinhalten, der optimierte Hardware-Beschleuniger und/oder einen großen On-Chip-Speicher beinhalten kann. In mindestens einer Ausführungsform kann der große On-Chip-Speicher (z. B. 4 MB SRAM) es einem Hardware-Beschleunigungscluster ermöglichen, neuronale Netze und andere Berechnungen zu beschleunigen. In mindestens einer Ausführungsform kann der Hardware-Beschleunigungscluster kann verwendet werden, um die GPUs 1308 zu ergänzen und einige Aufgaben der GPUs 1308 zu entlasten (z. B. um mehr Zyklen der GPUs 1308 für die Ausführung anderer Aufgaben freizumachen). In mindestens einer Ausführungsform könnten Beschleuniger 1314 für gezielte Arbeitslasten (z. B. Wahrnehmung, Faltungsneuronale Netze (convolutional neural networks - „CNNs“), rekurrente neuronale Netze (recurrent neural networks - „RNNs“) usw.) verwendet werden, die stabil genug sind, um für eine Beschleunigung geeignet zu sein. In mindestens einer Ausführungsform kann ein CNN ein regionenbasiertes oder regionale neuronale Faltungsnetze („RCNNs“) und ein schnelle RCNNs (z. B. für die Objekterkennung) oder eine andere Art von CNN beinhalten.
In mindestens einer Ausführungsform können die Beschleuniger 1314 einen oder mehrere Deep-Learning-Beschleuniger („DLA“) beinhalten. In mindestens einer Ausführungsform kann die DLA ohne Einschränkung eine oder mehrere Tensor-Verarbeitungseinheiten (tensor processing units - „TPUs“) beinhalten, die dazu konfiguriert sein können, zusätzliche zehn Billionen Operationen pro Sekunde für Deep-Learning-Anwendungen und Inferenzieren bereitzustellen. In mindestens einer Ausführungsform können TPUs Beschleuniger sein, die dazu konfiguriert und optimiert sind, Bildverarbeitungsfunktionen auszuführen (z. B. für CNNs, RCNNs usw.). In mindestens einer Ausführungsform können die DLAs ferner für einen bestimmten Satz neuronaler Netztypen und Gleitkommaoperationen sowie für Inferenzierungen optimiert werden. In mindestens einer Ausführungsform kann die Konstruktion der DLAs mehr Leistung pro Millimeter bieten als eine typische Allzweck-GPU und übertrifft in der Regel die Leistung einer CPU erheblich. In mindestens einer Ausführungsform können die TPUs mehrere Funktionen ausführen, einschließlich einer eininstanzigen Faltungsfunktion, die z. B. INT8, INT16 und FP16-Datentypen für Merkmale und Gewichte sowie Post-Prozessor-Funktionen. In mindestens einer Ausführungsform können die DLAs schnell und effizient neuronale Netze, insbesondere CNNs, auf bearbeiteten oder unbearbeiteten Daten für eine Vielzahl von Funktionen ausführen, einschließlich beispielsweise und ohne Einschränkung: Ein CNN zur Objektidentifizierung und -erkennung mithilfe von Daten von Kamerasensoren; ein CNN für die Abstandsabschätzung mit Daten von Kamerasensoren, ein CNN für die Erkennung und Identifizierung von Rettungsfahrzeugen und Erkennung mit Daten von Mikrofonen; ein CNN für die Gesichtserkennung und die Identifizierung von Fahrzeugbesitzern durch Verwendung von Daten von Kamerasensoren und/oder ein CNN für Sicherheits- und/oder sicherheitsrelevante Ereignisse.
In mindestens einer Ausführungsform können die DLAs jede Funktion der GPUs 1308 ausführen, und durch die Verwendung eines Inferenzbeschleunigers kann ein Entwickler beispielsweise für jede Funktion entweder die DLAs oder die GPUs 1308 als Ziel verwenden. Zum Beispiel kann ein Designer in mindestens einer Ausführungsform die Verarbeitung von CNNs und Gleitkommaoperationen auf DLAs konzentrieren und andere Funktionen GPUs 1308 und/oder Beschleunigern 1314 überlassen.
In mindestens einer Ausführungsform können die Beschleuniger 1314 einen programmierbaren Bildverarbeitungsbeschleuniger („PVA“) umfassen, der hier alternativ auch als Computervision-Beschleuniger bezeichnet werden kann. In mindestens einer Ausführungsform können die PVAs so konzipiert und dazu konfiguriert sein, Computervision-Algorithmen für ein Fahrerassistenzsystem („ADAS“) 1338, autonomes Fahren, Augmented-Reality-Anwendungen („AR“) und/oder Virtual-Reality-Anwendungen („VR“) zu beschleunigen. In mindestens einer Ausführungsform kann der PVA ein Gleichgewicht zwischen Leistung und Flexibilität bieten. Zum Beispiel kann in mindestens einer Ausführungsform jeder PVA, beispielhaft und ohne Einschränkung, eine beliebige Anzahl von Reduced Instruction Set Computer („RISC-Kernen, direkten Speicherzugriff (direct memory access - „DMA) und/oder eine beliebige Anzahl von Vektorprozessoren beinhalten.
In mindestens einer Ausführungsform können RISC-Kerne mit Bildsensoren (z. B. den Bildsensoren der hierin beschriebenen Kameras), Bildsignalprozessoren usw. zusammenwirken. In mindestens einer Ausführungsform kann jeder RISC-Kern eine beliebige Menge an Speicher beinhalten. In mindestens einer Ausführungsform können die RISC-Kerne je nach Ausführungsform eine beliebige Anzahl von Protokollen verwenden. In mindestens einer Ausführungsform können RISC-Kerne ein Echtzeitbetriebssystem (real-time operating system - „RTOS“) ausführen. In mindestens einer Ausführungsform können RISC-Kerne mit einer oder mehreren integrierten Vorrichtungen, anwendungsspezifischen integrierten Schaltungen („ASICs“) und/oder Speichervorrichtungen implementiert werden. Zum Beispiel könnten RISC-Kerne in mindestens einer Ausführungsform einen Befehls-Cache und/oder einen eng gekoppelten RAM beinhalten.
In mindestens einer Ausführungsform kann der DMA es Komponenten der PVA ermöglichen, unabhängig von den CPUs 1306 auf den Systemspeicher zuzugreifen. In mindestens einer Ausführungsform kann der DMA eine beliebige Anzahl von Merkmalen unterstützen, die zur Optimierung eines PVA verwendet werden, einschließlich, aber nicht beschränkt auf die Unterstützung von mehrdimensionaler Adressierung und/oder zirkulärer Adressierung. In mindestens einer Ausführungsform kann der DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, die ohne Einschränkung Blockbreite, Blockhöhe, Blocktiefe, horizontale Blockabstufung, vertikale Blockabstufung und/oder Tiefenabstufung beinhalten können.
In mindestens einer Ausführungsform können Vektorprozessoren programmierbare Prozessoren sein, die so konzipiert sein können, dass sie die Programmierung für Computervision-Algorithmen effizient und flexibel ausführen und Signalverarbeitungsfunktionen bereitstellen. In mindestens einer Ausführungsform kann ein PVA einen PVA-Kern und zwei Teilsystempartitionen für die Vektorverarbeitung beinhalten. In mindestens einer Ausführungsform kann ein PVA-Kern ein Prozessorteilsystem, DMA-Engines (z. B. zwei DMA-Engines) und/oder andere Peripheriegeräte beinhalten. In mindestens einer Ausführungsform kann das Teilsystem für die Vektorverarbeitung kann als primäre Verarbeitungseinheit eines PVA verwendet werden und eine Vektorverarbeitungseinheit (vector processing unit - „VPU“), einen Befehlsspeicher und/oder einen Vektorspeicher (z. B. „VMEM“) beinhalten. In mindestens einer Ausführungsform kann ein VPU-Kern kann einen digitalen Signalprozessor wie z. B. einen Single Instruction Multiple Data („SIMD“), und einen Very Long Instruction Word („VLIW”) -Digital-Signalprozessor beinhalten. In mindestens einer Ausführungsform kann eine Kombination aus SIMD und VLIW den Durchsatz und die Geschwindigkeit erhöhen.
In mindestens einer Ausführungsform kann jeder Vektorprozessor einen Befehlscache beinhalten und mit einem dedizierten Speicher verbunden sein. Infolgedessen kann in mindestens einer Ausführungsform jeder Vektorprozessor dazu konfiguriert sein, unabhängig von anderen Vektorprozessoren zu arbeiten. In mindestens einer Ausführungsform können die Vektorprozessoren, die in einem bestimmten PVA beinhaltet sind, so konfiguriert sein, dass sie Datenparallelität verwenden. Zum Beispiel kann in mindestens einer Ausführungsform eine Vielzahl von Vektorprozessoren, die in einer einzigen PVA enthalten sind, einen gemeinsamen Computervision-Algorithmus ausführen, jedoch für unterschiedliche Bildbereiche. In mindestens einer Ausführungsform können die in einem bestimmten PVA beinhalteten Vektorprozessoren gleichzeitig verschiedene Computervision-Algorithmen für ein Bild oder sogar verschiedene Algorithmen für aufeinander folgende Bilder oder Teile eines Bildes ausführen. In mindestens einer Ausführungsform kann unter anderem eine beliebige Anzahl von PVAs in einem Hardware-Beschleunigungscluster beinhaltet sein und jeder PVA kann eine beliebige Anzahl von Vektorprozessoren beinhalten. In mindestens einer Ausführungsform kann der PVA einen zusätzlichen ECC-Speicher beinhalten, um die Sicherheit des Gesamtsystems zu erhöhen.
In mindestens einer Ausführungsform kann können die Beschleuniger 1314 ein On-Chip-Computervision-Netz und einen statischen Direktzugriffsspeicher (static random-access memory - „SRAM“ beinhalten, um SRAM mit hoher Bandbreite und geringer Latenz für die Beschleuniger 1314 bereitzustellen. In mindestens einer Ausführungsform kann der On-Chip-Speicher mindestens 4 MB SRAM umfassen, der zum Beispiel und ohne Einschränkung aus acht feldkonfigurierbaren Speicherblöcken besteht, auf die sowohl eine PVA als auch eine DLA zugreifen können. In mindestens einer Ausführungsform kann jedes Paar von Speicherblöcken eine erweiterte Peripheriebus-Schnittstelle (advanced peripheral bus - „APB“), eine Konfigurationsschaltung, einen Controller und einen Multiplexer beinhalten. In mindestens einer Ausführungsform kann jede Art von Speicher verwendet werden. In mindestens einer Ausführungsform können ein PVA und ein DLA über ein Backbone auf den Speicher zugreifen, das der PVA und der DLA einen Hochgeschwindigkeitszugriff auf den Speicher ermöglicht. In mindestens einer Ausführungsform kann ein Backbone ein On-Chip-Computervision-Netz beinhalten, das einen PVA und einen DLA mit dem Speicher verbindet (z. B. über APB).
In mindestens einer Ausführungsform kann ein On-Chip-Computervision-Netz eine Schnittstelle beinhalten, die vor der Übermittlung von Steuersignalen/Adressen/Daten bestimmt, dass sowohl PVA als auch DLA einsatzbereite und gültige Signale liefern. In mindestens einer Ausführungsform kann eine Schnittstelle separate Phasen und separate Kanäle für die Übermittlung von Steuersignalen/Adressen/Daten sowie eine Burst-Kommunikation für eine kontinuierliche Datenübertragung vorsehen. In mindestens einer Ausführungsform kann eine Schnittstelle den Normen der International Organization for Standardization („ISO“) 26262 oder der International Electrotechnical Commission („IEC“) 61508 entsprechen, obwohl andere Normen und Protokolle verwendet werden können.
In mindestens einer Ausführungsform können ein oder mehrere SoCs 1304 einen Echtzeit-Raytracing-Hardwarebeschleuniger beinhalten. In mindestens einer Ausführungsform kann der Echtzeit-Hardware-Beschleuniger für das Raytracing zur schnellen und effizienten Bestimmung der Positionen und Ausmaße von Objekten (z. B. innerhalb eines Weltmodells), zur Erzeugung von Echtzeit-Visualisierungssimulationen, zur Interpretation von RADARsignalen, zur Schallausbreitungssynthese und/oder -analyse, zur Simulation von SONARsystemen, zur allgemeinen Wellenausbreitungssimulation, zum Vergleich mit LIDAR-Daten für Zwecke der Lokalisierung und/oder anderer Funktionen und/oder für andere Zwecke verwendet werden.
In mindestens einer Ausführungsform können die Beschleuniger 1314 eine Vielzahl von Einsatzmöglichkeiten für autonomes Fahren aufweisen. In mindestens einer Ausführungsform kann ein PVA für wichtige Verarbeitungsschritte in ADAS und autonomen Fahrzeugen verwendet werden kann. In mindestens einer Ausführungsform passen die Fähigkeiten eines PVA gut zu algorithmischen Domänen, die eine vorhersehbare Verarbeitung bei geringer Leistungsaufnahme und geringer Latenz benötigen. Mit anderen Worten bietet ein PVA gute Leistung bei halbdichten oder dichten regulären Berechnungen, selbst bei kleinen Datensätzen, die vorhersehbare Laufzeiten mit geringer Latenz und geringem Energieverbrauch benötigen können. In mindestens einer Ausführungsform, wie etwa im Fahrzeug 1300, könnten PVAs so konzipiert sein, dass sie klassische Computervision-Algorithmen ausführen, da sie bei der Objekterkennung effizient sind und mit ganzzahliger Mathematik arbeiten können.
Zum Beispiel wird gemäß mindestens einer Ausführungsform der Technologie eine PVA verwendet, um Computervision durchzuführen. In einigen Beispielen kann ein auf semiglobalem Abgleich basierender Algorithmus verwendet werden, obwohl dies nicht einschränkend sein soll. In mindestens einer Ausführungsform verwenden Anwendungen für das autonome Fahren der Stufen 3-5 Bewegungsschätzungen/Stereoabgleich während der Fahrt (z. B. Struktur aus Bewegung, Fußgängererkennung, Fahrspurerkennung usw.). In mindestens einer Ausführungsform kann ein PVA Computer-Stereo-Vision-Funktionen anhand der Eingaben von zwei monokularen Kameras ausführen.
In mindestens einer Ausführungsform kann ein PVA verwendet werden, um einen dichten optischen Fluss auszuführen. Zum Beispiel könnte der PVA in mindestens einer Ausführungsform RADAR-Rohdaten verarbeiten (z. B. mit einer 4D-Fast-Fourier-Transformation), um verarbeitete RADAR-Daten bereitzustellen. In mindestens einer Ausführungsform wird ein PVA für die Verarbeitung der Flugzeittiefe verwendet, indem Flugzeit-Rohdaten verarbeitet werden, um z. B. verarbeitete Flugzeitdaten zu erhalten.
In mindestens einer Ausführungsform kann ein DLA verwendet werden, um jede Art von Netz zu betreiben, um die Kontrolle und die Fahrsicherheit zu verbessern, was zum Beispiel und ohne Einschränkung ein neuronales Netz beinhaltet, das für jede Objekterkennung ein Maß für die Konfidenz ausgibt. In mindestens einer Ausführungsform kann die Konfidenz als Wahrscheinlichkeit dargestellt oder interpretiert werden, oder als relative „Gewichtung“ jeder Erkennung im Vergleich zu anderen Erkennungen. In mindestens einer Ausführungsform ermöglicht ein Konfidenzmaß es einem System, weitere Entscheidungen darüber zu treffen, welche Detektionen als richtig positive Detektionen und nicht als falsch positive Detektionen betrachtet werden sollten. In mindestens einer Ausführungsform kann ein System einen Schwellenwert für die Konfidenz festlegen und nur Detektionen, die den Schwellenwert überschreiten, als richtig positive Detektionen betrachten. In einer Ausführungsform, in der ein automatisches Notbrems(automatic emergency braking - „AEB“)-System verwendet wird, würden falsch positive Erkennungen dazu führen, dass das Fahrzeug automatisch eine Notbremsung durchführt, was natürlich unerwünscht ist. In mindestens einer Ausführungsform können Detektionen mit hoher Konfidenz als Auslöser für AEB betrachtet werden. In mindestens einer Ausführungsform kann ein DLA ein neuronale Netz zur Regressierung des Konfidenzwertes einsetzen. In mindestens einer Ausführungsform kann ein neuronales Netz als Eingang mindestens eine Teilmenge von Parametern verwenden, wie z. B. die Abmessungen des Begrenzungsrahmens, eine (z. B. von einem anderen Teilsystem) erhaltene Schätzung der Bodenebene, den Ausgang der IMU-Sensoren 1366, der mit der Ausrichtung des Fahrzeugs 1300 korreliert, die Entfernung, die Schätzung der 3D-Position des Objekts, die von einem neuronalen Netz und/oder anderen Sensoren (z. B. LIDAR-Sensoren 1364 oder RADAR-Sensoren 1360) erhalten wird, und andere.
In mindestens einer Ausführungsform können ein oder mehrere SoCs 1304 einen oder mehrere Datenspeicher 1316 (z. B. einen Speicher) beinhalten. In mindestens einer Ausführungsform können die Datenspeicher 1316 ein On-Chip-Speicher der SoCs 1304 sein, die neuronale Netze speichern können, die auf GPUs 1308 und/oder einem DLA ausgeführt werden sollen. In mindestens einer Ausführungsform können die Datenspeicher 1316 groß genug sein, um mehrere Instanzen von neuronalen Netzen aus Redundanz- und Sicherheitsgründen zu speichern. In mindestens einer Ausführungsform können die Datenspeicher 1316 L2- oder L3-Caches beinhalten.
In mindestens einer Ausführungsform können ein oder mehrere SoCs 1304 eine beliebige Anzahl von Prozessoren 1310 (z. B. eingebettete Prozessoren) beinhalten. In mindestens einer Ausführungsform können die Prozessoren 1310 einen Boot- und Energieverwaltungsprozessor beinhalten, der ein dedizierter Prozessor und ein Teilsystem sein kann, um die Boot-Energie- und Verwaltungsfunktionen sowie die damit verbundene Sicherheitsdurchsetzung zu handhaben. In mindestens einer Ausführungsform kann ein Boot- und Energieverwaltungsprozessor Teil einer Bootsequenz des/der SoCs 1304 sein und Energieverwaltungsdienste zur Laufzeit bereitstellen. In mindestens einer Ausführungsform kann ein Bootenergie- und Verwaltungsprozessor kann die Taktfrequenz- und Spannungsprogrammierung, Unterstützung bei Übergängen des Energiesparzustands des Systems, die Verwaltung von SoC 1304-Thermik und Temperatursensoren und/oder die Verwaltung der SoC 1304-Leistungszustände bereitstellen. In mindestens einer Ausführungsform kann jeder Temperatursensor als Ringoszillator implementiert sein, dessen Ausgangsfrequenz proportional zur Temperatur ist, und SoCs 1304 können Ringoszillatoren verwenden, um Temperaturen von CPUs 1306 und GPUs zu erfassen. 1308 und/oder Beschleuniger 1314. Wenn in mindestens einer Ausführungsform festgestellt wird, dass die Temperaturen einen Schwellenwert überschreiten, kann ein Boot- und Energieverwaltungsprozessor in eine Temperaturfehlerroutine eintreten und die SoCs 1304 auf eine niedrigere Leistung versetzen Zustand und/oder Versetzen des Fahrzeugs 1300 in einen Chauffeur-Modus zum sicheren Stoppen (z. B. Fahrzeug 1300 zu einem sicheren Stopp bringen).
In mindestens einer Ausführungsform können die Prozessoren 1310 ferner einen Satz von eingebetteten Prozessoren beinhalten, die als Audioverarbeitungs-Engine dienen können, die ein Audioteilsystem sein kann, das eine vollständige Hardware-Unterstützung für Mehrkanal-Audio über mehrere Schnittstellen sowie eine breite und flexible Palette von Audio-E/A-Schnittstellen ermöglicht. In mindestens einer Ausführungsform ist eine Audioverarbeitungs-Engine ein dedizierter Prozessorkern mit einem digitalen Signalprozessor mit dediziertem RAM.
In mindestens einer Ausführungsform können die Prozessoren 1310 ferner einen Always-on-Prozessor-Engine beinhalten, der die erforderlichen Hardwarefunktionen zur Unterstützung der Sensorverwaltung mit niedrigem Energieverbrauch und der Anwendungsfälle für das Einschalten bietet. In mindestens einer Ausführungsform kann ein Always-on-Prozessor-Engine, ohne Einschränkung, einen Prozessorkern, einen eng gekoppelten RAM, unterstützende Peripheriegeräte (z. B. Timer und Interrupt-Controller), verschiedene E/A-Controller-Peripheriegeräte und Routing-Logik beinhalten.
In mindestens einer Ausführungsform können die Prozessoren 1310 ferner eine Sicherheits-Cluster-Engine beinhalten, die, ohne Einschränkung, ein dediziertes Prozessor-Teilsystem für das Sicherheitsmanagement für Automobilanwendungen enthält. In mindestens einer Ausführungsform kann eine Sicherheitscluster-Engine ohne Einschränkung zwei oder mehr Prozessorkerne, einen eng gekoppelten RAM, unterstützende Peripheriegeräte (z. B. Timer, eine Unterbrechungssteuerung usw.) und/oder Routing-Logik beinhalten. In einem Sicherheitsmodus können zwei oder mehr Kerne, in mindestens einer Ausführungsform, in einem Lockstep-Modus betrieben werden und als ein einzelner Kern mit Vergleichslogik funktionieren, um Unterschiede zwischen ihren Operationen zu erkennen. In mindestens einer Ausführungsform können die Prozessoren 1310 ferner einen Echtzeit-Kamera-Engine beinhalten, die, ohne Einschränkung, ein dediziertes Prozessor-Teilsystem für die Echtzeitkameraverwaltung beinhalten kann. In mindestens einer Ausführungsform können die Prozessoren 1310 ferner einen Signalprozessor mit hohem Dynamikbereich beinhalten, der, ohne Einschränkung, einen Bildsignalprozessor beinhalten kann, der als Hardware-Engine Teil der Kameraverarbeitungspipeline ist.
In mindestens einer Ausführungsform können die Prozessoren 1310 einen Videobild-Compositor beinhalten, der ein Verarbeitungsblock sein kann (z. B. auf einem Mikroprozessor implementiert), der Video-Nachbearbeitungsfunktionen implementiert, die von einer Videowiedergabeanwendung benötigt werden, um ein endgültiges Bild für ein Playerfenster zu erzeugen. In mindestens einer Ausführungsform kann ein Videobild-Compositor die Objektivverzerrungskorrektur an Weitwinkelkameras 1370, Rundumkameras 1374 und/oder an Sensoren der Fahrgastraum-Überwachungskamera ausführen. In mindestens einer Ausführungsform werden Sensoren der Fahrgastraum-Überwachungskamera wird vorzugsweise von einem neuronalen Netz überwacht, das auf einer anderen Instanz des SoC 1304 läuft und dazu konfiguriert ist, Ereignisse im Fahrgastraum zu identifizieren und entsprechend zu reagieren. In mindestens einer Ausführungsform kann ein kabineninternes System ohne Einschränkung Lippenlesen durchführen, um den Mobilfunkdienst zu aktivieren und einen Anruf zu tätigen, E-Mails zu diktieren, ein Ziel eines Fahrzeugs zu ändern, ein Infotainmentsystem eines Fahrzeugs und dessen Einstellungen zu aktivieren oder zu ändern oder sprachaktiviertes Surfen im Internet bereitzustellen. In mindestens einer Ausführungsform stehen einem Fahrer bestimmte Funktionen zur Verfügung, wenn ein Fahrzeug in einem autonomen Modus betrieben wird, und sind andernfalls deaktiviert.
Der Videobild-Compositor kann eine verbesserte zeitliche Rauschunterdrückung zur räumlichen und zeitlichen Rauschunterdrückung beinhalten. Zum Beispiel, in mindestens einer Ausführungsform, wenn Bewegung in einem Video auftritt, gewichtet die Rauschunterdrückung die räumlichen Informationen angemessen, indem sie die Gewichtung der Informationen, die von benachbarten Bildern bereitgestellt werden, verringert. In mindestens einer Ausführungsform, in der ein Bild oder ein Teil eines Bildes keine Bewegung beinhaltet, kann die vom Videobildkompositor ausgeführte zeitliche Rauschreduzierung Informationen aus einem früheren Bild verwenden, um das Rauschen in einem aktuellen Bild zu reduzieren.
In mindestens einer Ausführungsform kann ein Videobildkompositor auch dazu konfiguriert sein, eine Stereorektifizierung an eingegebenen Stereolinsenbildern auszuführen. In mindestens einer Ausführungsform kann ein Videobildkompositor ferner für die Benutzerschnittstellenzusammensetzung verwendet werden, wenn ein Desktop des Betriebssystems in Verwendung ist und die GPUs 1308 nicht zum kontinuierlichen Rendern neuer Oberflächen erforderlich sind. Wenn die GPUs 1308 eingeschaltet sind und aktiv 3D-Rendering durchführen, kann in mindestens einer Ausführungsform ein Videobildkompositor verwendet werden, um die GPUs 1308 abzuladen, um die Rechenleistung und Reaktionsfähigkeit zu verbessern.
In mindestens einer Ausführungsform können ein oder mehrere SoCs der SoCs 1304 ferner eine serielle Schnittstelle für mobile Industrieprozessorschnittstellen (mobile industry processor interface - „MIPI“) für den Empfang von Video und Input von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingangsblock beinhalten, der für Kamera- und verwandte Pixeleingabefunktionen verwendet werden kann. In mindestens einer Ausführungsform können ein oder mehrere SoCs 1304 ferner Eingabe-/Ausgabesteuerungen beinhalten, die von der Software gesteuert werden kann und für den Empfang von E/A-Signalen verwendet werden kann, die nicht einer bestimmten Rolle zugewiesen sind.
In mindestens einer Ausführungsform können ein oder mehrere SoCs der SoCs 1304 ferner eine breite Palette von Peripherieschnittstellen beinhalten, um die Kommunikation mit Peripheriegeräten, Audiocodierer/-decodierer („Codecs“), Energieverwaltung und/oder anderen Geräten zu ermöglichen. In mindestens einer Ausführungsform können die SoCs 1304 verwendet werden, um Daten von Kameras (z. B. über Gigabit-Multimedia-Serial-Link- und Ethernet-Kanäle verbunden), Sensoren (z. B. LIDAR-Sensoren 1364, RADAR-Sensoren 1360 usw., die über Ethernet-Kanäle verbunden sein können), Daten von dem Bus 1302 (z. B. Geschwindigkeit des Fahrzeugs 1300, Lenkradposition usw.), Daten von GNSS-Sensoren 1358 (z. B. über einen Ethernet-Bus oder einen CAN-Bus verbunden) usw. zu verarbeiten. In mindestens einer Ausführungsform können ein oder mehrere SoC der SoCs 1304 ferner dedizierte Massenspeichersteuerungen mit hoher Rechenleistung beinhalten, die eigene DMA-Engines beinhalten können und die verwendet werden können, um CPUs 1306 routinemäßige Datenverwaltungs-Tasks abzunehmen.
In mindestens einer Ausführungsform können die SoCs 1304 eine ganzheitliche Plattform mit einer flexiblen Architektur sein, die die Automatisierungsstufen 3-5 umfasst und somit eine umfassende funktionale Sicherheitsarchitektur bietet, die Computervision und ADAS-Techniken für Vielfalt und Redundanz effizient nutzt, eine Plattform für einen flexiblen, zuverlässigen Fahrsoftware-Stack bietet, zusammen mit Deep-Learning-Tools. In mindestens einer Ausführungsform können die SoCs 1304 schneller, zuverlässiger und noch energieeffizienter und platzsparender als herkömmliche Systeme sein. Zum Beispiel kann in mindestens einer Ausführungsform der Beschleuniger 1314 in Kombination mit CPU 1306, GPU 1308 und Datenspeicher 1316 eine schnelle, effiziente Plattform für autonome Fahrzeuge der Levels 3-5 bereitstellen.
In mindestens einer Ausführungsform können Computervision-Algorithmen auf CPUs ausgeführt werden, die mit einer übergeordneten Programmiersprache wie etwa C konfiguriert werden können, um eine Vielzahl von Verarbeitungsalgorithmen über eine Vielzahl von visuellen Daten auszuführen. Jedoch können in mindestens einer Ausführungsform CPUs oft nicht die Leistungsanforderungen vieler Computervision-Anwendungen erfüllen, wie die, die mit der Ausführungszeit und dem Stromverbrauch zusammenhängen. In mindestens einer Ausführungsform sind viele CPUs nicht in der Lage, komplexe Objekterkennungsalgorithmen in Echtzeit auszuführen, die in fahrzeuginternen ADAS-Anwendungen und in praktischen autonomen Fahrzeugen der Levels 3-5 verwendet werden.
Die hierin beschriebenen Ausführungsformen ermöglichen es, dass mehrere neuronale Netze simultan und/oder sequenziell durchgeführt und die Ergebnisse miteinander kombiniert werden, um eine autonome Fahrfunktionalität der Levels 3-5 zu ermöglichen. Zum Beispiel kann in mindestens einer Ausführungsform ein CNN, das auf einem DLA oder einer diskreten GPU (z. B. GPUs 1320) ausgeführt wird, eine Text- und Worterkennung beinhalten, die das Lesen und Verstehen von Verkehrsschildern ermöglicht, einschließlich Schildern, für die ein neuronales Netz nicht speziell trainiert worden ist. In mindestens einer Ausführungsform kann ein DLA ferner ein neuronale Netz beinhalten, das dazu in der Lage ist, ein Zeichen zu identifizieren, zu interpretieren und ein semantisches Verständnis davon bereitzustellen und dieses semantische Verständnis an Pfadplanungsmodule weiterzugeben, die auf einem CPU-Komplex laufen.
In mindestens einer Ausführungsform können mehrere neuronale Netze gleichzeitig betrieben werden, wie es für das Fahrlevel 3, 4 oder 5 erforderlich ist. In mindestens einer Ausführungsform kann zum Beispiel ein Warnschild mit der Aufschrift „Vorsicht: Blinkende Lichter weisen auf Vereisung hin“ zusammen mit einem elektrischen Licht durch mehrere neuronale Netze unabhängig oder gemeinsam interpretiert werden. In mindestens einer Ausführungsform kann ein derartiges Warnschild selbst durch ein erstes eingesetztes neuronales Netz (z. B. ein neuronales Netz, das trainiert wurde) als Verkehrsschild identifiziert werden und ein Text „Blinkende Lichter weisen auf Vereisung hin“ kann durch ein zweites eingesetztes neuronales Netz interpretiert werden, das eine Pfadplanungssoftware des Fahrzeugs (die vorzugsweise auf einem CPU-Komplex ausgeführt wird) darüber informiert, dass, wenn blinkende Lichter detektiert werden, vereiste Bedingungen vorliegen. In mindestens einer Ausführungsform kann ein Blitzlicht durch den Betrieb eines dritten neuronalen Netzes, das die Wegplanungssoftware des Fahrzeugs über das Vorhandensein (oder Fehlen) von Blitzlichtern informiert, über mehrere Frames identifiziert werden. In mindestens einer Ausführungsform können alle drei neuronalen Netze gleichzeitig ausgeführt werden, z. B. innerhalb einer DLA und/oder auf GPUs 1308.
In mindestens einer Ausführungsform kann ein CNN zur Gesichtserkennung und Fahrzeugidentifikation Daten von Kamerasensoren verwenden, um die Anwesenheit eines autorisierten Fahrers und/oder Fahrzeugbesitzers zu identifizieren 1300. In mindestens einer Ausführungsform kann eine Always-On-Sensorverarbeitungs-Engine verwendet werden, um ein Fahrzeug zu entriegeln, wenn sich ein Besitzer einer Fahrertür nähert und Lichter einschaltet, und um in einem Sicherheitsmodus ein derartiges Fahrzeug zu deaktivieren, wenn ein Besitzer ein derartiges Fahrzeug verlässt. Auf diese Weise stellen die SoCs 1304 einen Schutz gegen Diebstahl und/oder Carjacking bereit.
In mindestens einer Ausführungsform kann ein CNN zur Erkennung und Identifizierung von Rettungsfahrzeugen Daten von Mikrofonen 1396 verwenden, um Sirenen von Notfahrzeugen zu erkennen und zu identifizieren. In mindestens einer Ausführungsform verwenden die SoCs 1304 das a CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung visueller Daten. In mindestens einer Ausführungsform wird ein CNN, das auf einem DLA läuft, so trainiert, dass es eine relative Annäherungsgeschwindigkeit eines Einsatzfahrzeugs erkennt (z. B. unter Verwendung des Dopplereffekts). In mindestens einer Ausführungsform kann ein CNN auch so trainiert werden, dass es Einsatzfahrzeuge identifiziert, die spezifisch für ein lokales Gebiet sind, in dem ein Fahrzeug unterwegs ist, wie es von GNSS-Sensoren 1358 identifiziert wird. In mindestens einer Ausführungsform wird ein CNN bei Betrieb in Europa versuchen, europäische Sirenen zu erkennen, und bei Betrieb in Nordamerika wird ein CNN versuchen, nur nordamerikanische Sirenen zu identifizieren. In mindestens einer Ausführungsform kann ein Steuerprogramm, sobald ein Einsatzfahrzeug erkannt wird, dazu verwendet werden, eine Sicherheitsroutine für Einsatzfahrzeuge auszuführen, ein Fahrzeug abzubremsen, an den Straßenrand zu fahren, ein Fahrzeug zu parken und/oder ein Fahrzeug im Leerlauf laufen zu lassen, und zwar mit Hilfe des Ultraschallsensors/der Ultraschallsensoren 1362, bis die Einsatzfahrzeuge vorbeifahren.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 eine CPU 1318 (z. B. diskrete CPU oder dCPU) enthalten, die über eine Hochgeschwindigkeitsverbindung (z. B. PCIe) mit dem SoC 1304 gekoppelt werden kann. In mindestens einer Ausführungsform kann die CPU 1318 z. B. einen X86-Prozessor beinhalten. Die CPU 1318 kann zur Ausführung einer Vielzahl von Funktionen verwendet werden, einschließlich beispielsweise der Beurteilung potenziell inkonsistenter Ergebnisse zwischen ADAS-Sensoren und dem SoC 1304 und/oder Überwachung des Status und Zustands der Controller 1336 und/oder eines Infotainment-Systems auf einem Chip („Infotainment-SoC“) 1330.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 GPUs 1320 (z. B. diskrete GPUs oder dGPUs) beinhalten, die über eine Hochgeschwindigkeitsverbindung (z. B. NVIDIA's NVLINK-Kanal) mit dem SoC 1304 gekoppelt sein können. In mindestens einer Ausführungsform können die GPUs 1320 eine zusätzliche Funktionalität für künstliche Intelligenz bereitstellen, wie etwa durch Ausführen redundanter und/oder unterschiedlicher neuronaler Netze, und sie können zum Trainieren und/oder Aktualisieren neuronaler Netze mindestens zum Teil auf Grundlage von Eingaben (z. B. Sensordaten) von Sensoren eines Fahrzeugs 1300 verwendet werden.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ferner die Netzschnittstelle 1324 beinhalten, die ohne Einschränkung drahtlose Antennen 1326 beinhalten kann (z. B. eine oder mehrere drahtlose Antennen für unterschiedliche Kommunikationsprotokolle, wie etwa eine Mobilfunkantenne, eine Bluetooth-Antenne usw.). In mindestens einer Ausführungsform kann die Netzschnittstelle 1324 verwendet werden, um eine drahtlose Verbindungsfähigkeit mit Internet-Cloud-Diensten (z. B. mit Servern und/oder anderen Netzvorrichtungen), mit anderen Fahrzeugen und/oder mit Rechenvorrichtungen (z. B. Client-Vorrichtungen von Fahrgästen) zu ermöglichen. In mindestens einer Ausführungsform kann zum Kommunizieren mit anderen Fahrzeugen eine direkte Verknüpfung zwischen Fahrzeug 130 und einem anderen Fahrzeug hergestellt werden und/oder eine indirekte Verknüpfung (z. B. über Netze und über das Internet) hergestellt werden. In mindestens einer Ausführungsform können direkte Verknüpfungen unter Verwendung einer Fahrzeug-zu-Fahrzeug-Kommunikationsverknüpfung bereitgestellt werden. In mindestens einer Ausführungsform kann eine Fahrzeug-zu-Fahrzeug-Kommunikationsverknüpfung dem Fahrzeug 1300 Informationen über Fahrzeuge in der Nähe des Fahrzeugs 1300 bereitstellen (z. B. Fahrzeuge vor, neben und/oder hinter dem Fahrzeug 1300). In mindestens einer Ausführungsform kann eine derartige vorgenannte Funktionalität Teil einer kooperativen adaptiven Geschwindigkeitssteuerungsfunktionalität des Fahrzeugs 1300 sein.
In mindestens einer Ausführungsform kann die Netzschnittstelle 1324 ein SoC beinhalten, das eine Modulations- und Demodulationsfunktionalität bereitstellt und es den Controllern 1336 ermöglicht, über drahtlose Netze zu kommunizieren. In mindestens einer Ausführungsform kann die Netzschnittstelle 1324 kann ein Hochfrequenz-Front-End für die Up-Konvertierung von Basisband zu Hochfrequenz und Down-Konvertierung von Hochfrequenz zu Basisband enthalten. In mindestens einer Ausführungsform können Frequenzkonvertierungen auf eine beliebige technisch machbare Weise durchgeführt werden. Die Frequenzkonvertierungen könnten z. B. durch hinreichend bekannte Prozesse und/oder unter Verwendung von Überlagerungsverfahren durchgeführt werden. In mindestens einer Ausführungsform kann die Hochfrequenz-Frontend-Funktionalität durch einen separaten Chip bereitgestellt sein. In mindestens einer Ausführungsform kann die Netzschnittstellen eine drahtlose Funktionalität zur Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle beinhalten.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ferner einen oder mehrere Datenspeicher 1328 beinhalten, die ohne Einschränkung chipexternen (z. B. außerhalb der SoCs 1304 liegenden) Speicher beinhalten können. In mindestens einer Ausführungsform kann der/können die Datenspeicher 1328 ohne Einschränkung ein oder mehrere Speicherelemente beinhalten, darunter RAM, SRAM, dynamischen Direktzugriffsspeicher (dynamic random-access memory - „DRAM“), Video-Direktzugriffsspeicher (video random-access memory - „VRAM“), Flashspeicher, Festplatten und/oder andere Komponenten und/oder Vorrichtungen, die mindestens ein Datenbit speichern können.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ferner GNSS-Sensoren 1358 (z. B. GPS- und/oder unterstützte GPS-Sensoren) beinhalten, um bei Funktionen zur Kartierung, Wahrnehmung, Erzeugung des Belegungsgitters und/oder Pfadplanung zu unterstützen. In mindestens einer Ausführungsform kann eine beliebige Anzahl von GNSS-Sensoren 1358 verwendet werden, einschließlich zum Beispiel und ohne Einschränkung eines GPS unter Verwendung eines USB-Steckers mit einer Ethernet-zu-Seriell-Brücke (z. B. RS-232-Brücke).
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ferner RADAR-Sensoren 1360 beinhalten. In mindestens einer Ausführungsform können die RADAR-Sensoren 1360 durch das Fahrzeug 1300 zur Fahrzeugdetektion mit großer Reichweite verwendet werden, auch bei Dunkelheit und/oder schlechten Wetterbedingungen. In mindestens einer Ausführungsform können die RADAR-Funktionssicherheitslevel ASIL B sein. In mindestens einer Ausführungsform können die RADAR-Sensoren 1360 einen CAN-Bus und/oder den Bus 1302 (z. B. zum Übertragen der durch die RADAR-Sensoren 1360 erzeugten Daten) zum Steuern von und Zugriff auf Objektverfolgungsdaten verwenden, wobei in einigen Beispielen Zugriff auf Ethernet-Kanäle zum Zugreifen auf Rohdaten besteht. In mindestens einer Ausführungsform kann eine große Vielfalt von RADAR-Sensortypen verwendet werden. Zum Beispiel und ohne Einschränkung können die RADAR-Sensoren 1360 für die Verwendung als Front-, Heck- und Seiten-RADAR geeignet sein. In mindestens einer Ausführungsform handelt es sich bei einem oder mehreren Sensoren der RADAR-Sensoren 1360 um einen Impuls-Doppler-RADAR-Sensor.
In mindestens einer Ausführungsform können die RADAR-Sensoren 1360 unterschiedliche Konfigurationen beinhalten, z. B. mit großer Reichweite und schmalem Sichtfeld, mit geringer Reichweite und breitem Sichtfeld, mit seitlicher Abdeckung mit kurzer Reichweite usw. In mindestens einer Ausführungsform kann das RADAR mit großer Reichweite für die adaptive Geschwindigkeitssteuerungsfunktionalität verwendet werden. In mindestens einer Ausführungsform können RADAR-Systeme mit gro-ßer Reichweite ein breites Sichtfeld bereitstellen, das durch zwei oder mehr unabhängige Scans realisiert wird, wie etwa innerhalb einer Reichweite von 250 m (Metern). In mindestens einer Ausführungsform können die RADAR-Sensoren 1360 dabei helfen, zwischen statischen und sich bewegenden Objekten zu unterscheiden, und durch das ADAS-System 1338 für den Notbremsassistenten und die Vorwärtskollisionswarnung verwendet werden. In mindestens einer Ausführungsform können die Sensoren 1360, die in einem RADAR-System mit großer Reichweite enthalten sind, ohne Einschränkung ein monostatisches multimodales RADAR mit mehreren (z. B. sechs oder mehr) festen RADAR-Antennen und einer Hochgeschwindigkeits-CAN- und FlexRay-Schnittstelle beinhalten. In mindestens einer Ausführungsform mit sechs Antennen können vier zentrale Antennen ein fokussiertes Strahlenmuster erzeugen, das dazu ausgestaltet ist, die Umgebung des Fahrzeugs 1300 bei höheren Geschwindigkeiten mit minimalen Störungen durch den Verkehr auf den benachbarten Fahrspuren aufzuzeichnen. In mindestens einer Ausführungsform können zwei weitere Antennen das Sichtfeld erweitern, wodurch es möglich ist, Fahrzeuge, die in eine Fahrspur des Fahrzeugs 1300 einfahren oder diese verlassen, schnell zu detektieren.
In mindestens einer Ausführungsform können RADAR-Systeme mit mittlerer Reichweite beispielsweise eine Reichweite von bis zu 160 m (vorne) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorne) oder 150 Grad (hinten) beinhalten. In mindestens einer Ausführungsform können RADAR-Systeme mit kurzer Reichweite ohne Einschränkung eine beliebige Anzahl von RADAR-Sensoren 1360 beinhalten, die für die Installation an beiden Enden eines hinteren Stoßfängers ausgestaltet sind. Wenn das RADAR-Sensorsystem an beiden Enden eines hinteren Stoßfängers installiert ist, kann es in mindestens einer Ausführungsform zwei Strahlen erzeugen, die tote Winkel in einer rückwärtigen Richtung und neben einem Fahrzeug konstant überwachen. In mindestens einer Ausführungsform können RADAR-Systeme mit kurzer Reichweite in dem ADAS-System 1338 zur Detektion des toten Winkels und/oder zur Spurwechselassistenz verwendet werden.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ferner Ultraschallsensoren 1362 beinhalten. In mindestens einer Ausführungsform können die Ultraschallsensoren 1362, die an einer vorderen, einer hinteren und/oder seitlichen Stelle des Fahrzeugs 1300 positioniert sein können, für die Einparkhilfe und/oder zum Erstellen und Aktualisieren eines Belegungsgitters verwendet werden. In mindestens einer Ausführungsform kann eine große Vielfalt von Ultraschallsensoren 1362 verwendet werden und können unterschiedliche Ultraschallsensoren 1362 für unterschiedliche Detektionsreichweiten (z. B. 2,5 m, 4 m) verwendet werden. In mindestens einer Ausführungsform können die Ultraschallsensoren 1362 bei funktionellen Sicherheitslevels von ASIL B betrieben werden.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 LIDAR-Sensoren 1364 beinhalten. In mindestens einer Ausführungsform können die LIDAR Sensoren 1364 für die Objekt- und Fußgängererkennung, Notbremsung, Kollisionsvermeidung und/oder andere Funktionen verwendet werden. In mindestens einer Ausführungsform können die LIDAR-Sensoren 1364 auf der funktionalen Sicherheitsstufe A-SIL B arbeiten. In mindestens einer Ausführungsform kann das Fahrzeug 1300 mehrere LIDAR-Sensoren 1364 (z. B. zwei, vier, sechs usw.) beinhalten, die einen Ethernet-Kanal verwenden können (z. B. zur Bereitstellung von Daten an einen Gigabit-Ethernet-Switch).
In mindestens einer Ausführungsform können die LIDAR-Sensoren 1364 eine Liste von Objekten und deren Entfernungen für ein 360-Grad-Sichtfeld bereitstellen. In mindestens einer Ausführungsform können handelsübliche LIDAR-Sensoren 1364 zum Beispiel eine beworbene Reichweite von ungefähr 100 m aufweisen, mit einer Genauigkeit von 2 cm bis 3 cm und mit Unterstützung für eine 100-Mbps-Ethernet-Verbindung. In mindestens einer Ausführungsform können ein oder mehrere nicht vorstehende LIDAR-Sensoren verwendet werden. In solch einer Ausführungsform können die LIDAR-Sensoren 1364 eine kleine Vorrichtung beinhalten, die in einer Front-, einer Heck-, einer Seiten- und/oder einer Eckposition des Fahrzeugs 1300 eingebettet werden kann. In mindestens einer Ausführungsform können die LIDAR-Sensoren 1364 in einer solchen Ausführungsform ein horizontales Sichtfeld von bis zu 120 Grad und ein vertikales Sichtfeld von bis zu 35 Grad bereitstellen, mit einer Reichweite von 200 m selbst für Objekte mit geringer Reflexion. In mindestens einer Ausführungsform können die frontmontierten LIDAR-Sensoren 1364 für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad konfiguriert sein.
In mindestens einer Ausführungsform können auch LIDAR-Technologien wie 3D-Flash-LIDAR verwendet werden. In mindestens einer Ausführungsform verwendet 3D-Flash-LIDAR einen Flash eines Lasers als Übermittlungsquelle, um die Umgebung des Fahrzeugs 1300 bis zu einer Entfernung von etwa 200 m zu beleuchten. In mindestens einer Ausführungsform beinhaltet eine Flash-LIDAR-Einheit ohne Einschränkung einen Rezeptor, der die Laufzeit des Laserpulses und das reflektierte Licht an jedem Pixel aufzeichnet, was wiederum einer Entfernung von Fahrzeug 1300 zu Objekten entspricht. In mindestens einer Ausführungsform kann Flash-LIDAR ermöglichen, dass mit jedem Laserblitz hochgenaue und verzeichnungsfreie Bilder der Umgebung erzeugt werden. In mindestens einer Ausführungsform können vier LIDAR-Blitzsensoren eingesetzt werden, einer an jeder Seite von Fahrzeugs 1300. In mindestens einer Ausführungsform beinhalten 3D-Flash-LIDAR-Systeme ohne Einschränkung eine Festkörper-3D-Staring-Array-LIDAR-Kamera ohne bewegliche Teile außer einem Lüfter (z. B. eine nicht scannende LIDAR-Vorrichtung). In mindestens einer Ausführungsform kann die Flash-LIDAR-Vorrichtung einen 5-Nanosekunden-Laserimpuls der Klasse I (augensicher) pro Frame verwenden und das reflektierte Laserlicht als 3D-Entfernungspunktwolke und koregistrierte Intensitätsdaten aufnehmen.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ferner IMU-Sensoren 1366 beinhalten. In mindestens einer Ausführungsform können die IMU-Sensoren 1366 Mitte der Hinterachse des Fahrzeugs 1300 angeordnet sein. In mindestens einer Ausführungsform können die IMU-Sensoren 1366 beispielsweise und ohne Einschränkung einen oder mehrere Beschleunigungsmesser, Magnetometer, Gyroskope, einen Magnetkompass, Magnetkompasse und/oder andere Sensortypen beinhalten. In mindestens einer Ausführungsform, wie z. B. bei sechsachsigen Anwendungen, können die IMU-Sensoren 1366 ohne Einschränkung Beschleunigungsmesser und Gyroskope beinhalten. In mindestens einer Ausführungsform, wie bei neunachsigen Anwendungen, können die IMU-Sensoren 1366 ohne Einschränkung Beschleunigungsmesser, Gyroskope und Magnetometer beinhalten.
In mindestens einer Ausführungsform können die IMU-Sensoren 1366 als Miniatur-GPS-Aided Inertial Navigation System (GPS/INS) implementiert werden, das Inertialsensoren mikroelektromechanischer Systeme (micro-electro-mechanical systems - „MEMS“), einen hochempfindlichen GPS-Empfänger und fortschrittliche Kalman-Filteralgorithmen kombiniert, um Abschätzungen von Position, Geschwindigkeit und Neigung zu liefern. In mindestens einer Ausführungsform können IMU-Sensoren 1366 das Fahrzeug 1300 in die Lage versetzen, seinen Kurs zu schätzen, ohne dass eine Eingabe von einem Magnetsensor erforderlich ist, indem Geschwindigkeitsänderungen direkt von einem GPS zu IMU-Sensoren 1366 beobachtet und korreliert werden. In mindestens einer Ausführungsform können IMU-Sensoren 1366 und GNSS-Sensoren 1358 in einer einzigen integrierten Einheit kombiniert werden.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 mit Mikrofonen 1396 ausgestattet sein, die in und/oder um das Fahrzeug 1300 platziert sind. In mindestens einer Ausführungsform, können Mikrofone 1396 unter anderem zur Erkennung und Identifizierung von Rettungsfahrzeugen verwendet werden.
Das Fahrzeug 1300 kann außerdem eine beliebige Anzahl von Kameratypen umfassen, einschließlich Stereokameras 1368, Weitwinkelkameras 1370, Infrarotkameras 1372, Rundumkameras 1374, Langstreckenkameras 1398 und Mittelstreckenkameras 1376 und/oder andere Kameratypen. In mindestens einer Ausführungsform können Kameras verwendet werden, um Bilddaten rund um den gesamten Umfang des Fahrzeugs 1300 zu erfassen. In mindestens einer Ausführungsform hängt die Art der verwendeten Kameras vom Fahrzeug 1300 ab. In mindestens einer Ausführungsform kann eine beliebige Kombination von Kameratypen verwendet werden, um die erforderliche Abdeckung um das Fahrzeug 1300 herum bereitzustellen. In mindestens einer Ausführungsform kann eine Anzahl der eingesetzten Kameras in Abhängigkeit von der Ausführungsform unterschiedlich sein. Zum Beispiel könnte das Fahrzeug 1300 in mindestens einer Ausführungsform sechs Kameras, sieben Kameras, zehn Kameras, zwölf Kameras oder eine andere Anzahl von Kameras beinhalten. In mindestens einer Ausführungsform, können Kameras zum Beispiel und ohne Einschränkung Gigabit Multimedia Serial Link („GMSL“) und/oder Gigabit Ethernet-Kommunikationen unterstützen. In mindestens einer Ausführungsform kann jede Kamera so beschaffen sein, wie hierin zuvor in Bezug auf 13A und 13B näher beschrieben.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ferner Vibrationssensoren 1342 beinhalten. In mindestens einer Ausführungsform können die Schwingungssensoren 1342 die Schwingungen der Komponenten des Fahrzeugs 1300, wie etwa der Achsen, messen. Zum Beispiel können in mindestens einer Ausführungsform Änderungen der Schwingungen eine Änderung des Straßenbelags angeben. In mindestens einer Ausführungsform können bei Verwendung von zwei oder mehr Vibrationssensoren 1342 Unterschiede zwischen Vibrationen zur Bestimmung der Reibung oder des Schlupfes der Fahrbahnoberfläche verwendet werden (z. B. wenn ein Vibrationsunterschied zwischen einer elektrisch angetriebenen und einer frei drehenden Achse besteht).
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ADAS-System 1338 beinhalten. In mindestens einer Ausführungsform kann das ADAS-System 1338 in einigen Beispielen ohne Einschränkung einen SoC beinhalten. In mindestens einer Ausführungsform kann das ADAS-System 1338 ohne Einschränkung eine beliebige Anzahl und Kombination eines autonomen/adaptiven/automatischen Geschwindigkeitsregelungssystems (autonomous/adaptive/automatic cruise control - „ACC“), eines kooperativen adaptiven Geschwindigkeitsregelungssystems (cooperative adaptive cruise control - „CACC“), eines Aufprallwarnungssystems (forward crash warning - „FCW“), eines automatischen Notbremssystems (automatic emergency braking - „AEB“), eines Spurverlassenswarnungssystems (lane departure warning - „LDW“), eines Spurhalteassistenzsystems (lane keep assist - „LKA“), eines Totwinkel-Warnsystems (blind spot warning - „BSW“), eines Heckbereichswarnsystems (rear cross-traffic warning - „RCTW“), eines Kollisionswarnsystems(collision warning system - „CW“), eines Fahrbahnzentriersystems (lane centering - „LC“) und/oder andere Merkmale und Funktionalitäten beinhalten.
In mindestens einer Ausführungsform kann das ACC-System RADAR-Sensoren 1360, LIDAR-Sensoren 1364 und/oder eine beliebige Anzahl von Kameras verwenden. In mindestens einer Ausführungsform kann das ACC-System ein ACC-System in Längsrichtung und/oder ein ACC-System in Querrichtung beinhalten. In mindestens einer Ausführungsform überwacht und steuert ein ACC-System in Längsrichtung den Abstand zu einem anderen Fahrzeug unmittelbar vor dem Fahrzeug 1300 und passt die Geschwindigkeit des Fahrzeugs 1300 automatisch an, um einen sicheren Abstand zu vorausfahrenden Fahrzeugen einzuhalten. In mindestens einer Ausführungsform führt das seitliche ACC-System die Abstandshaltung aus und rät dem Fahrzeug 1300, wenn nötig die Spur zu wechseln. In mindestens einer Ausführungsform ist eine seitliche ACC mit anderen ADAS-Anwendungen, wie zum Beispiel LC und CW, verbunden.
In mindestens einer Ausführungsform verwendet ein CACC-System Informationen von anderen Fahrzeugen, die über die Netzschnittstelle 1324 und/oder die Funkantennen 1326 von anderen Fahrzeugen über eine drahtlose Verknüpfung oder indirekt über eine Netzverbindung (z. B. über Die das Internet) empfangen werden können. In mindestens einer Ausführungsform können direkte Verknüpfungen durch eine Fahrzeug-zu-Fahrzeug- (vehicle-to-vehicle - „V2V“-) Kommunikationsverknüpfung bereitgestellt werden, während indirekte Verknüpfungen durch eine Infrastrukturzu-Fahrzeug- (infrastructure-to-vehicle - „I2V“-) Kommunikationsverknüpfung bereitgestellt werden können. Im Allgemeinen stellt die V2V-Kommunikation Informationen über unmittelbar vorausfahrende Fahrzeuge bereit (z. B. Fahrzeuge, die sich unmittelbar vor und auf derselben Spur wie Fahrzeug 1300 befinden), während die I2V-Kommunikation Informationen über den weiter vorausfahrenden Verkehr bereitstellt. In mindestens einer Ausführungsform kann ein CACC-System entweder eine oder beide der 12V- und V2V-Informationsquellen beinhalten. In mindestens einer Ausführungsform kann ein CACC-System angesichts der Informationen über Fahrzeuge vor dem Fahrzeug 1300 zuverlässiger sein und das Potenzial aufweisen, den Verkehrsfluss zu verbessern und Staus auf der Straße zu reduzieren.
In mindestens einer Ausführungsform ist ein FCW-System so konzipiert, dass es den Fahrer vor einer Gefahr warnt, so dass der Fahrer Korrekturmaßnahmen ergreifen kann. In mindestens einer Ausführungsform verwendet ein FCW-System eine nach vorne gerichtete Kamera und/oder RADAR-Sensoren 1360 gekoppelt an einen dedizierten Prozessor, DSP, FPGA und/oder ASIC, der elektrisch mit dem Fahrer-Feedback gekoppelt ist, z. B. einem Display, Lautsprecher und/oder einer vibrierenden Komponente. In mindestens einer Ausführungsform kann ein FCW-System eine Warnung bereitstellen, z. B. in Form eines Tons, einer optischen Warnung, einer Vibration und/oder eines schnellen Bremsimpulses.
In mindestens einer Ausführungsform erkennt ein AEB-System einen drohenden Zusammenstoß mit einem anderen Fahrzeug oder einem anderen Objekt und kann automatisch die Bremsen betätigen, wenn der Fahrer nicht innerhalb eines bestimmten Zeit- oder Entfernungsparameters korrigierend eingreift. In mindestens einer Ausführungsform kann das AEB-System (eine) nach vorne gerichtete Kameras und/oder RADAR-Sensoren 1360 verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind. In mindestens einer Ausführungsform wird ein AEB-System, wenn es eine Gefahr nachweist, typischerweise zunächst den Fahrer warnen, damit er korrigierende Maßnahmen ergreift, um eine Kollision zu vermeiden, und wenn dieser Fahrer keine korrigierenden Maßnahmen ergreift, kann das AEB-System automatisch die Bremsen betätigen, um die Auswirkungen einer vorhergesagten Kollision zu verhindern oder zumindest abzuschwächen. In mindestens einer Ausführungsform kann das AEB-System Techniken, wie zum Beispiel dynamische Bremsunterstützung und/oder Bremsung aufgrund eines bevorstehenden Zusammenstoßes, beinhalten.
In mindestens einer Ausführungsform stellt ein LDW-System optische, akustische und/oder taktile Warnungen bereit, wie Lenkrad- oder Sitzvibrationen, um den Fahrer zu warnen, wenn das Fahrzeug 1300 die Fahrbahnmarkierungen überquert. In mindestens einer Ausführungsform wird ein LDW-System nicht aktiviert, wenn ein Fahrer ein absichtliches Verlassen der Spur durch Betätigung eines Blinkers anzeigt. In mindestens einer Ausführungsform kann ein LDW-System nach vorne gerichtete Kameras verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch gekoppelt ist, um eine Rückmeldung an den Fahrer bereitzustellen, wie eine Anzeige, einen Lautsprecher und/oder eine vibrierende Komponente. In mindestens einer Ausführungsform ist ein LKA-System eine Variation des LDW-Systems. In mindestens einer Ausführungsform stellt ein LKA-System eine Eingabe in die Lenkung oder eine Bremsung bereit, um das Fahrzeug 1300 zu korrigieren, wenn das Fahrzeug 1300 beginnt, seine Spur zu verlassen.
In mindestens einer Ausführungsform erkennt und warnt ein BSW-System den Fahrer vor Fahrzeugen, die sich im toten Winkel des Fahrzeugs befinden. In mindestens einer Ausführungsform kann ein BSW-System einen optischen, akustischen und/oder taktilen Alarm bereitstellen, um anzugeben, dass Einfädeln in oder Wechseln der Fahrspuren unsicher ist. In mindestens einer Ausführungsform kann ein BSW-System eine zusätzliche Warnung ausgeben, wenn der Fahrer den Blinker betätigt. In mindestens einer Ausführungsform kann ein BSW-System nach hinten gerichtete Kameras und/oder RADAR-Sensoren 1360 verwenden, die mit einem/einer dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, die elektrisch mit einer Rückmeldung des Fahrers gekoppelt sind, wie z. B. einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente.
In mindestens einer Ausführungsform kann ein RCTW-System eine visuelle, akustische und/oder taktile Benachrichtigung bereitstellen, wenn beim Rückwärtsfahren des Fahrzeugs 1300 ein Objekt außerhalb einer Reichweite der Rückfahrkamera erkannt wird. In mindestens einer Ausführungsform beinhaltet ein RCTW-System das AEB-System, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Zusammenstoß zu vermeiden. In mindestens einer Ausführungsform kann ein RCTW-System einen oder mehrere nach hinten gerichtete RADAR-Sensoren 1360 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch gekoppelt ist, um ein Fahrer-Feedback bereitzustellen, wie eine Anzeige, einen Lautsprecher und/oder eine vibrierende Komponente.
In mindestens einer Ausführungsform können herkömmliche ADAS-Systeme zu falsch-positiven Ergebnissen neigen, die für den Fahrer ärgerlich und ablenkend sein können, aber typischerweise nicht katastrophal sind, weil herkömmliche ADAS-Systeme einen Fahrer warnen und dem Fahrer die Möglichkeit geben, zu entscheiden, ob eine Sicherheitsbedingung wirklich vorliegt und entsprechend zu handeln. In mindestens einer Ausführungsform entscheidet das Fahrzeug 1300 bei widersprüchlichen Ergebnissen selbst, ob das Ergebnis eines primären Computers oder eines sekundären Computers (z. B. eines ersten Controllers oder eines zweiten Controllers 1336) zu berücksichtigen ist. Zum Beispiel kann in mindestens einer Ausführungsform das ADAS-System 1338 ein Backup- und/oder Sekundärcomputer sein, der Wahrnehmungsinformationen für ein Rationalitätsmodul des Backup-Computers bereitstellt. In mindestens einer Ausführungsform kann ein Rationalitätsmonitor des Backup-Computers eine redundante, diverse Software auf Hardware-Komponenten ausführen, um Fehler in der Wahrnehmung und bei dynamischen Fahr-Tasks zu erkennen. In mindestens einer Ausführungsform können die Ausgaben des ADAS-Systems 1338 an eine übergeordnete MCU bereitgestellt werden. In mindestens einer Ausführungsform, wenn Ausgaben eines primären Computers und Ausgaben von einem sekundären Computer einander widersprechen, bestimmt eine übergeordnete MCU, wie der Widerspruch beizulegen ist, um einen sicheren Betrieb sicherzustellen.
In mindestens einer Ausführungsform kann ein primärer Computer konfiguriert werden, um einer übergeordneten MCU einen Konfidenzwert bereitzustellen, der anzeigt, wie groß die Konfidenz des primären Computers in ein ausgewähltes Ergebnis ist. In mindestens einer Ausführungsform kann die übergeordnete MCU, wenn der Konfidenzwert einen Schwellenwert überschreitet, der Anweisung des primären Computers folgen, unabhängig davon, ob der sekundäre Computer ein widersprüchliches oder inkonsistentes Ergebnis bereitstellt. In mindestens einer Ausführungsform kann eine übergeordnete MCU, wenn ein Konfidenzwert einen Schwellenwert nicht erreicht und primäre und sekundäre Computer unterschiedliche Ergebnisse (z. B. einen Konflikt) anzeigen, zwischen den Computern vermitteln, um ein angemessenes Ergebnis zu bestimmen.
In mindestens einer Ausführungsform kann die übergeordnete MCU kann konfiguriert sein, um ein neuronales Netz auszuführen, das ausgebildet und konfiguriert ist, um basierend auf den Ausgaben des primären Computers und den Ausgaben des sekundären Computers Bedingungen zu bestimmen, unter denen der sekundäre Computer Fehlalarme ausgibt. In mindestens einer Ausführungsform können die neuronalen Netze in einer übergeordneten MCU lernen, wann die Ausgabe eines sekundären Computers vertrauenswürdig ist und wann nicht. Zum Beispiel können in mindestens einer Ausführungsform, wenn es sich bei dem sekundären Computer beispielsweise um ein RADAR-basiertes FCW-System handelt, neuronale Netze in dieser übergeordneten MCU erkennen, wann ein FCW-System metallische Objekte identifiziert, die tatsächlich keine Gefahren darstellen, wie z. B. ein Drainagerost oder eine Schachtabdeckung, die einen Alarm auslöst. In mindestens einer Ausführungsform kann ein neuronales Netz in einer übergeordneten MCU lernen, die LDW außer Kraft zu setzen, wenn ein sekundäres Computersystem ein kamerabasiertes LDW-System ist und ein Verlassen der Spur tatsächlich das sicherste Manöver ist. In mindestens einer Ausführungsform kann eine übergeordnete MCU mindestens eines von einem DLA oder einer GPU beinhalten, der/die für die Ausführung von neuronalen Netzen mit zugeordnetem Speicher geeignet ist. In mindestens einer Ausführungsform kann die übergeordnete MCU eine Komponente des SoCs 1304 umfassen und/oder als solche enthalten sein.
In mindestens einer Ausführungsform kann das ADAS-System 1338 einen sekundären Computer beinhalten, der die ADAS-Funktionalität nach den herkömmlichen Regeln der Computervision ausführt. In mindestens einer Ausführungsform kann dieser sekundäre Computer klassische Regeln des maschinellen Sehens (wenndann) verwenden und kann das Vorhandensein von neuronalen Netzen in einer übergeordneten MCU die Zuverlässigkeit, Sicherheit und Performance verbessern. Zum Beispiel wird in mindestens einer Ausführungsform durch die unterschiedliche Implementierung und die absichtliche Nicht-Identität ein Gesamtsystem fehlertoleranter, insbesondere gegenüber Fehlern, die durch die Softwarefunktionalität (oder die Software-Hardware-Schnittstelle) verursacht werden. Zum Beispiel kann in mindestens einer Ausführungsform, wenn es einen Softwarefehler in der Software gibt, die auf einem primären Computer durchgeführt wird, und ein nicht identischer Softwarecode, der auf einem sekundären Computer durchgeführt wird, ein konsistentes Gesamtergebnis aufweist, eine überwachende MCU eine größere Konfidenz haben, dass ein Gesamtergebnis korrekt ist und ein Fehler in der Software oder Hardware auf diesem primären Computer keinen wesentlichen Fehler verursacht.
In mindestens einer Ausführungsform kann eine Ausgabe des ADAS-Systems 1338 in den Wahrnehmungsblock des primären Computers und/oder in den Block für dynamische Fahraufgaben des primären Computers eingespeist werden. Zum Beispiel kann in mindestens einer Ausführungsform, wenn das ADAS-System 1338 eine Vorwärtscrash-Warnung aufgrund eines unmittelbar vorausliegenden Objekts anzeigt, ein Wahrnehmungsblock diese Information bei der Identifizierung von Objekten verwenden. In mindestens einer Ausführungsform kann ein sekundärer Computer über sein eigenes neuronale Netz verfügen, das trainiert ist und somit ein Risiko von falsch positiven Ergebnissen reduziert, wie hierin beschrieben.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 ferner einen Infotainment-SoC 1330 (z. B. ein bordeigenes Infotainment-System (IVI)) beinhalten. Obwohl als SoC veranschaulicht und beschrieben, kann das Infotainment-System SoC 1330 in mindestens einer Ausführungsform kein SoC sein und kann ohne Einschränkung zwei oder mehr diskrete Komponenten beinhalten. In mindestens einer Ausführungsform kann das Infotainment-SoC 1330 ohne Einschränkung eine Kombination aus Hardware und Software umfassen, die verwendet werden kann, um dem Fahrzeug 1300 Audio (z. B. Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio usw.), Video (z. B. TV, Filme, Streaming usw.), Telefon (z. B. Freisprechfunktion), Netzkonnektivität (z. B. LTE, WiFi, Usw.) und/oder Informationsdienste (z. B. Navigationssysteme, Einparkhilfe hinten, ein Funkdatensystem, fahrzeugbezogene Informationen wie Kraftstoffstand, zurückgelegte Gesamtstrecke, Bremsflüssigkeitsstand, Ölstand, Tür auf/zu, Luftfilterinformationen usw.) bereitzustellen. Zum Beispiel könnte das Infotainment-SoC 1330 Radios, CD-Player, Navigationssysteme, Videoplayer, USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, WiFi, Lenkrad-Audiosteuerungen, freihändige Sprachsteuerung, ein Heads-Up-Display („HUD), HMI-Display 1334, ein Telematikgerät, ein Bedienfeld (z. B. zur Steuerung und/oder Interaktion mit verschiedenen Komponenten, Funktionen und/oder Systemen“) und/oder andere Komponenten beinhalten. In mindestens einer Ausführungsform kann das Infotainment-SoC 1330 außerdem dazu verwendet werden, Informationen (z. B. visuell und/oder hörbar) für Benutzer eines Fahrzeugs 1300 bereitzustellen, z. B. Informationen von ADAS-System 1338, Informationen zum autonomen Fahren wie geplante Fahrzeugmanöver, Trajektorien, Umgebungsdaten (z. B. Kreuzungsinformationen, Fahrzeuginformationen, Straßeninformationen usw.) und/oder andere Informationen.
In mindestens einer Ausführungsform kann der Infotainment-SoC 1330 eine beliebige Menge und Art von GPU-Funktionalität beinhalten. In mindestens einer Ausführungsform kann der Infotainment-SoC 1330 über den Bus 1302 mit anderen Vorrichtungen, Systemen und/oder Komponenten des Fahrzeugs 1300 kommunizieren. In mindestens einer Ausführungsform kann der Infotainment-SoC 1330 mit einer übergeordneten MCU gekoppelt sein, sodass eine GPU eines Infotainment-Systems einige Selbstfahrfunktionen ausführen kann, falls die primären Controller 1336 (z. B. Primär- und/oder Backup-Computer des Fahrzeugs 1300) ausfallen. In mindestens einer Ausführungsform kann das Infotainment-SoC 1330 das Fahrzeug 1300 in den sicheren Stopp-Modus versetzen, wie hier beschrieben.
In mindestens einer Ausführungsform kann das Fahrzeug 1300 außerdem ein Kombiinstrument 1332 (z. B. ein digitales Armaturenbrett, ein elektronisches Kombiinstrument, eine digitale Instrumententafel usw.) enthalten. In mindestens einer Ausführungsform kann das Kombiinstrument 1332 einen Controller und/oder Supercomputer (z. B. einen diskreten Controller oder Supercomputer) enthalten. In mindestens einer Ausführungsform kann das Kombiinstrument 1332 ohne Einschränkung eine beliebige Anzahl und Kombination eines Satzes von Instrumenten beinhalten, wie etwa Tachometer, Kraftstoffstand, Öldruck, Drehzahlmesser, Kilometerzähler, Blinker, Schaltstellungsanzeige, Sicherheitsgurt-Warnleuchten, Parkbrems-Warnleuchten, Motor-Fehlfunktionsleuchten, Informationen über zusätzliche Rückhaltesysteme (z. B. Airbag), Beleuchtungssteuerungen, Sicherheitssystemsteuerungen, Navigationsinformationen usw. In einigen Beispielen können die Informationen auf dem Infotainment SoC 1330 und dem Kombiinstrument 1332 angezeigt und/oder gemeinsam genutzt werden. In mindestens einer Ausführungsform kann das Kombiinstrument 1332 als Teil des Infotainment-SoC 1330 oder umgekehrt aufgenommen werden.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System der 13C für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
In mindestens einer Ausführungsform beinhaltet das Fahrzeug 1300 Kameras, Radar- oder Laser-Bildgebungsvorrichtungen, die Bilder sammeln. In mindestens einer Ausführungsform werden Bilder verwendet, um Objekte in der Nähe des autonomen Fahrzeugs 1300 zu verfolgen. In mindestens einer Ausführungsform werden Objekte mithilfe von Begrenzungsrahmen verfolgt, die wie oben beschrieben gefiltert werden.
13D ist ein Diagramm eines Systems 1376 für die Kommunikation zwischen cloud-basierten Servern und dem autonomen Fahrzeug 1300 aus 13A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 1376 ohne Einschränkung Server 1378, Netze 1390 und eine beliebige Anzahl und Art von Fahrzeugen, einschließlich des Fahrzeugs 1300, beinhalten. In mindestens einer Ausführungsform können die Server 1378 ohne Einschränkung eine Vielzahl von GPUs 1384(A)-1384(H) (zusammenfassend als GPUs 1384 bezeichnet), PCIe-Switches 1382(A)-1382(D) (gemeinsam als PCIe-Switches 1382 bezeichnet) und/oder CPUs 1380(A)-1380(B) (gemeinsam als CPUs 1380 bezeichnet) enthalten. In mindestens einer Ausführungsform können GPUs 1384, CPUs 1380 und PCIe-Switches 1382 mit Hochgeschwindigkeitsverbindungen wie beispielsweise den von NVIDIA entwickelten NVLink-Schnittstellen 1388 und/oder PCIe Connections 1386 verbunden werden. In mindestens einer Ausführungsform sind die GPUs 1384 über einen NVLink und/oder NVSwitch SoC angeschlossen und die GPUs 1384 und die PCIe-Switches 1382 über PCIe-Verbindungen. Obwohl acht GPUs 1384, vier CPUs 1380 und zwei PCIe-Switches 1382 abgebildet sind, soll dies nicht als einschränkend verstanden werden. In mindestens einer Ausführungsform kann jeder Server 1378 ohne Einschränkung eine beliebige Anzahl von GPUs 1384, CPUs 1380 und/oder PCIe-Switches 1382 in beliebiger Kombination enthalten. Zum Beispiel könnten in mindestens einer Ausführungsform die Server 1378 jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 1384 enthalten.
In mindestens einer Ausführungsform könne die Server 1378 über Netze 1390 und von Fahrzeugen Bilddaten empfangen, die für Bilder stehen, die unerwartete oder veränderte Straßenbedingungen zeigen, wie z. B. kürzlich begonnene Straßenarbeiten. In mindestens einer Ausführungsform können die Server 1378 über die Netze 1390 und an die Fahrzeuge aktualisierte oder andere neuronale Netze 1392 und/oder Zuordnungen 1394 übermitteln, die ohne Einschränkung Informationen über den Verkehr und die Straßenverhältnisse beinhalten. In mindestens einer Ausführungsform können Aktualisierungen der Karteninformationen 1394 ohne Einschränkung Aktualisierungen für die HD-Karte 1322 beinhalten, wie beispielsweise Informationen über Baustellen, Schlaglöcher, Umleitungen, Überschwemmungen und/oder andere Hindernisse. In mindestens einer Ausführungsform können neuronale Netze 1392 und/oder Karteninformationen 1394 aus neuem Training und/oder Erfahrungen resultieren, die in Daten dargestellt sind, die von einer beliebigen Anzahl von Fahrzeugen in der Umgebung empfangen wurden, und/oder zumindest teilweise auf einem Training basieren, das in einem Datenzentrum ausgeführt wurde (z. B. unter Verwendung von Servern 1378 und/oder anderen Servern).
In mindestens einer Ausführungsform können die Server 1378 verwendet werden, um maschinelle Lernmodelle (z. B. neuronale Netze) zu trainieren, die zumindest teilweise auf Trainingsdaten basieren. In mindestens einer Ausführungsform können die Ausbildungsdaten von den Fahrzeugen erzeugt und/oder in einer Simulation (z. B. mit einem Game-Engine) erzeugt werden. In mindestens einer Ausführungsform wird eine beliebige Menge von Trainingsdaten markiert (z. B. wenn das zugeordnete neuronale Netz von überwachtem Lernen profitiert) und/oder einer anderen Vorverarbeitung unterzogen. In mindestens einer Ausführungsform wird eine beliebige Menge von Trainingsdaten nicht mit Tags versehen und/oder vorverarbeitet (z. B., wenn das damit assoziierte neuronale Netz kein überwachtes Lernen erfordert). In mindestens einer Ausführungsform können die Machine-Learning-Modelle, sobald sie trainiert sind, von den Fahrzeugen verwendet werden (z. B. über die Netze 1390 an die Fahrzeuge übermittelt werden), und/oder die Machine-Learning-Modelle können von den Servern 1378 zur Fernüberwachung der Fahrzeuge verwendet werden.
In mindestens einer Ausführungsform können die Server 1378 Daten von Fahrzeugen empfangen und Daten auf aktuelle neuronale Netze für intelligentes Inferenzieren in Echtzeit anwenden. In mindestens einer Ausführungsform können die Server 1378 Deep-Learning-Supercomputer und/oder dedizierte KI-Computer mit GPUs 1384 umfassen, wie z. B. DGX- und DGX-Stationsmaschinen, die von NVIDIA entwickelt wurden. In mindestens einer Ausführungsform können die Server 1378 jedoch auch eine Deep-Learning-Infrastruktur beinhalten, die CPU-betriebene Rechenzentren verwendet.
In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur der Server 1378 eine schnelle Echtzeit-Inferenzierung ermöglichen und diese Funktion nutzen, um den Zustand von Prozessoren, Software und/oder der zugehörigen Hardware im Fahrzeug 1300 zu bewerten und zu überprüfen. In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur beispielsweise regelmäßige Aktualisierungen vom Fahrzeug 1300 erhalten, wie z. B. eine Abfolge von Bildern und/oder Objekten, die Fahrzeug 1300 in dieser Abfolge von Bildern lokalisiert hat (z. B. durch Computervision und/oder andere Techniken zur Klassifizierung von Machine-Learning-Objekten). In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur ein eigenes neuronales Netz betreiben, um Objekte zu identifizieren und sie mit vom Fahrzeug 1300 identifizierten Objekten zu vergleichen. Wenn die Ergebnisse nicht übereinstimmen und die Infrastruktur zu dem Schluss kommt, dass die KI im Fahrzeug 1300 defekt ist, kann der Server 1378 ein Signal an Fahrzeug 1300 senden, das einen ausfallsicheren Computer des Fahrzeugs 1300 anweist, die Kontrolle zu übernehmen, die Passagiere zu benachrichtigen und ein sicheres Einparkmanöver durchzuführen.
In mindestens einer Ausführungsform können die Server 1378 GPUs 1384 und einen oder mehrere programmierbare Inferenzbeschleuniger (z. B. NVIDIA TensorRT 3-Vorrichtungen) beinhalten. In mindestens einer Ausführungsform kann eine Kombination von GPU-angetriebenen Servern und Ableitungsbeschleunigung eine Reaktionsfähigkeit in Echtzeit ermöglichen. In mindestens einer Ausführungsform, wie etwa, wenn die Rechenleistung weniger kritisch ist, können durch CPUs, FPGAs und andere Prozessoren angetriebene Server zum Inferenzieren verwendet werden. In mindestens einer Ausführungsform werden Hardware-Strukturen 1015 zum Ausführen einer oder mehrerer Ausführungsformen verwendet. Details zu Hardwarestrukturen 1015 werden hierin in Verbindung mit 10A und/oder 10B bereitgestellt.
COMPUTERSYSTEME
14 ist ein Blockdiagramm, das ein beispielhaftes Computersystem veranschaulicht, das ein System mit miteinander verbundenen Vorrichtungen und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor gebildet wird, der Ausführungseinheiten zur Ausführung einer Anweisung gemäß mindestens einer Ausführungsform beinhalten kann. In mindestens einer Ausführungsform kann ein Computersystem 1400 ohne Einschränkung eine Komponente, wie einen Prozessor 1402, beinhalten, um Ausführungseinheiten einzusetzen, die eine Logik beinhalten, um Algorithmen für Prozessdaten gemäß der vorliegenden Offenbarung auszuführen, wie in der hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform kann das Computersystem 1400 Prozessoren beinhalten, wie z. B. die PENTIUM®-Prozessorfamilie, Xeon™, Itanium®, XScale™ und/oder StrongARM™, Intel® Core™ oder Intel® Nervana™-Mikroprozessoren, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, technische Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 1400 eine Version des Betriebssystems WINDOWS der Microsoft Corporation aus Redmond, Washington, ausführen, obwohl auch andere Betriebssysteme (z. B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.
Ausführungsformen können auch in anderen Vorrichtungen wie Handheld-Geräten und eingebetteten Anwendungen verwendet werden. Einige Beispiele für tragbare Vorrichtungen beinhalten Mobiltelefone, Internetprotokoll-Vorrichtungen, Digitalkameras, persönliche digitale Assistenten (personal digital assistants - „PDAs“) und tragbare PCs. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzcomputer („NetPCs“), Set-Top-Boxen, Netz-Hubs, Wide-Area-Network-Switches („WAN“) oder jedes andere System beinhalten, das eine oder mehrere Anweisungen gemäß mindestens einer Ausführungsform ausführen kann.
In mindestens einer Ausführungsform kann das Computersystem 1400 ohne Einschränkung einen Prozessor 1402 beinhalten, der ohne Einschränkung eine oder mehrere Ausführungseinheiten 1408 beinhalten kann, um ein maschinelles Lernmodelltraining und/oder Inferenzieren gemäß den hierin beschriebenen Techniken auszuführen. In mindestens einer Ausführungsform ist das Computersystem 1400 ein Einzelprozessor-Desktop- oder -Serversystem, aber in einer anderen Ausführungsform kann das Computersystem 1400 ein Multiprozessorsystem sein. In mindestens einer Ausführungsform kann der Prozessor 1402 ohne Einschränkung einen Mikroprozessor für einen Complex Instruction Set Computer („CISC“), einen Mikroprozessor für Reduced Instruction Set Computing („RISC“), einen Very-Long-Instruction-Word-(„VLIW“-)Mikroprozessor, einen Prozessor, der eine Kombination von Anweisungssätzen implementiert, oder eine beliebige andere Prozessorvorrichtung, wie etwa einen digitalen Signalprozessor, beinhalten. In mindestens einer Ausführungsform kann der Prozessor 1402 mit einem Prozessorbus 1410 gekoppelt sein, der Datensignale zwischen dem Prozessor 1402 und anderen Komponenten im Computersystem 1400 übermitteln kann.
In mindestens einer Ausführungsform kann der Prozessor 1402 ohne Einschränkung einen internen Level 1 („L1“)-Cache-Speicher („Cache“) 1404 beinhalten. In mindestens einer Ausführungsform kann der Prozessor 1402 einen einzigen internen Cache oder mehrere Ebenen eines internen Cache aufweisen. In mindestens einer Ausführungsform kann sich der Cache-Speicher außerhalb des Prozessors 1402 befinden. Andere Ausführungsformen können auch eine Kombination von sowohl internen als auch externen Caches beinhalten, abhängig von der jeweiligen Implementierung und den Bedürfnissen. In mindestens einer Ausführungsform kann eine Registerdatei 1406 verschiedene Datentypen in verschiedenen Registern speichern, die ohne Einschränkung Ganzzahlregister, Gleitkommaregister, Zustandsregister und ein Anweisungszeigerregister beinhalten.
In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 1408, die ohne Einschränkung eine Logik zum Ausführen von Ganzzahl- und Gleitkommaoperationen beinhaltet, ebenfalls im Prozessor 1402. In mindestens einer Ausführungsform kann Prozessor 1402 auch einen Nur-Lese-Speicher („ROM“) für Mikrocode („ucode“) beinhalten, der Mikrocode für bestimmte Makroanweisungen speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 1408 eine Logik zur Verarbeitung eines gepackten Satzes von Anweisungen 1409 beinhalten. In mindestens einer Ausführungsform können durch das Beinhalten des gepackten Anweisungssatzes 1409 in einem Anweisungssatz eines Mehrzweckprozessors zusammen mit einem zugehörigen Schaltkreis zur Ausführung von Anweisungen Operationen, die von vielen Multimedia-Anwendungen verwendet werden, unter Verwendung gepackter Daten im Prozessor 1402 ausgeführt werden. In mindestens einer Ausführungsform können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem die gesamte Breite des Datenbusses eines Prozessors zum Ausführen von Operationen mit gepackten Daten genutzt wird, wodurch die Notwendigkeit entfällt, kleinere Dateneinheiten über den Datenbus des Prozessors zu übertragen, um eine oder mehrere Operationen mit einem Datenelement nach dem anderen auszuführen.
In mindestens einer Ausführungsform kann die Ausführungseinheit 1408 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikvorrichtungen, DSPs und anderen Arten von logischen Schaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 1400 ohne Einschränkung einen Speicher 1420 beinhalten. In mindestens einer Ausführungsform kann der Speicher 1420 eine Vorrichtung mit dynamischem Direktzugriffsspeicher („DRAM“), eine Vorrichtung mit statischem Direktzugriffsspeicher („SRAM“), eine Flash-Speichervorrichtung oder eine andere Speichervorrichtung sein. In mindestens einer Ausführungsform kann der Speicher 1420 Anweisungen 1419 und/oder Daten 1421 speichern, die durch Datensignale dargestellt werden, die vom Prozessor 1402 ausgeführt werden können.
In mindestens einer Ausführungsform kann ein Systemlogikchip an den Prozessorbus 1410 und den Speicher 1420 gekoppelt sein. In mindestens einer Ausführungsform kann ein Systemlogikchip ohne Einschränkung einen Speichersteuerungs-Hub (memory controller hub - „MCH“) 1416 beinhalten und der Prozessor 1402 mit dem MCH 1416 über den Prozessorbus 1410 kommunizieren. In mindestens einer Ausführungsform kann der MCH 1416 einen Speicherpfad 1418 mit hoher Bandbreite zum Speicher 1420 zur Speicherung von Anweisungen und Daten sowie zur Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH 1416 Datensignale zwischen dem Prozessor 1402, dem Speicher 1420 und anderen Komponenten des Computersystems 1400 leiten und Datensignale zwischen dem Prozessorbus 1410, dem Speicher 1420 und einer System-E/A-Schnittstelle 1422 überbrücken. In mindestens einer Ausführungsform kann ein Systemlogikchip einen Grafikport zur Kopplung mit einem Grafikcontroller bereitstellen. In mindestens einer Ausführungsform kann MCH 1416 über einen Speicherpfad 1418 mit hoher Bandbreite an den Speicher 1420 gekoppelt sein, und Grafik-/Videokarte 1412 kann über eine Accelerated a Graphics Port („AGP“)-Verbindung 1414 mit MCH 1416 gekoppelt sein.
In mindestens einer Ausführungsform kann das Computersystem 1400 die System-E/A-Schnittstelle 1422 als proprietären Hub-Schnittstellenbus verwenden, um MCH 1416 mit einem E/A-Controller-Hub (I/O controller hub - „ICH“) 1430 zu koppeln. In mindestens einer Ausführungsform kann der ICH 1430 direkte Verbindungen zu einigen E/A-Vorrichtungen über einen lokalen E/A-Bus bereitstellen. In mindestens einer Ausführungsform kann ein lokaler E/A-Bus ohne Einschränkung einen Hochgeschwindigkeits-E/A-Bus zum Anschluss von Peripherievorrichtungen an den Speicher 1420, einen Chipsatz und den Prozessor 1402 beinhalten. Beispiele können ohne Einschränkung eine Audiocontroller 1429, einen Firmware-Hub („Flash-BIOS“) 1428, einen drahtlosen Sendeempfänger 1426, einen Datenspeicher 1424, einen Legacy-E/A-Controller 1423, der Benutzereingaben und Tastaturschnittstellen 1425 enthält, einen seriellen Erweiterungsport 1427, wie z. B. einen Universal-Serial-Bus-Port („USB“), und einen Netzcontroller 1434 beinhalten. In mindestens einer Ausführungsform kann der Datenspeicher 1424 ein Festplattenlaufwerk, ein Diskettenlaufwerk, eine CD-ROM-Vorrichtung, eine Flash-Speichervorrichtung oder eine andere Massenspeichereinrichtung umfassen.
In mindestens einer Ausführungsform veranschaulicht 14 ein System, das miteinander verbundene Hardware-Vorrichtungen oder „Chips“ beinhaltet, während in anderen Ausführungsformen 14 einen beispielhaften SoC veranschaulichen kann. In mindestens einer Ausführungsform können die in 14 veranschaulichten Vorrichtungen mit proprietären Verbindungen, standardisierten Verbindungen (z. B. PCIe) oder einer Kombination davon miteinander verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 1400 über Compute-Express-Link (CXL)-Verknüpfungen miteinander verbunden.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System der 14 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
In mindestens einer Ausführungsform kann das Computersystem 1400 verwendet werden, um ein Computersystem zu implementieren, das Bilder verarbeitet und Objekte mit einem oder mehreren Begrenzungsrahmen kennzeichnet. In mindestens einer Ausführungsform identifiziert das Computersystem 1400 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
15 ist ein Blockdiagramm, das eine elektronische Vorrichtung 1500 zur Verwendung eines Prozessors 1510 gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform kann die elektronische Vorrichtung 1500 beispielsweise und ohne Einschränkung ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Desktop, ein Tablet, eine mobile Vorrichtung, ein Telefon, ein eingebetteter Computer oder eine andere geeignete elektronische Vorrichtung sein.
In mindestens einer Ausführungsform kann die elektronische Vorrichtung 1500 ohne Einschränkung einen Prozessor 1510 beinhalten, der kommunikativ mit einer beliebigen Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Vorrichtungen gekoppelt ist. In mindestens einer Ausführungsform ist der Prozessor 1510 unter Verwendung eines Busses oder einer Schnittstelle gekoppelt, wie etwa eines I²C-Busses, eines Systemverwaltungsbusses (System Management Bus - „SMBus“), eines Low-Pin-Count(LPC-)Busses, einer seriellen Peripherieschnittstelle (Serial Peripheral Interface - „SPI“), eines High-Definition-Audio(„HDA“-)Busses, eines Serial-Advance-Technology-Attachment(„SATA“-)Busses, eines Universal Serial Bus („USB“) (Version 1, 2, 3 usw.) oder eines Universal-Asynchronous-Receiver/Transmitter(„UART“-)Busses. In mindestens einer Ausführungsform veranschaulicht 15 ein System, das zusammengeschaltete Hardware-Vorrichtungen oder „Chips“ beinhaltet, während in anderen Ausführungsformen 15 einen beispielhaften SoC veranschaulichen kann. In mindestens einer Ausführungsform können die in 15 veranschaulichten Vorrichtungen mit proprietären Zusammenschaltungen, standardisierten Zusammenschaltungen (z. B. PCIe) oder einer Kombination davon zusammengeschaltet werden. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten von 15 unter Verwendung von Compute Express Link(CXL)-Verknüpfungen zusammengeschaltet
In mindestens einer Ausführungsform kann 15 eine Anzeige 1524, einen Touchscreen 1525, ein Touchpad 1530, eine Einheit zur Nahfeldkommunikation (Near Field Communications - „NFC“) 1545, einen Sensor-Hub 1540, einen Thermosensor 1546, einen Express-Chipsatz (Express Chipset - „EC“) 1535, ein Trusted Platform Module („TPM“) 1538, BIOS-/Firmware-/Flash-Speicher („BIOS, FW-Flash“) 1522, einen DSP 1560, ein Laufwerk 1520, wie etwa ein Halbleiterlaufwerk (Solid State Disk - „SSD“) oder ein Festplattenlaufwerk (Hard Disk Drive - „HDD“), eine Einheit für ein drahtloses lokales Netz (wireless local area network - „WLAN“) 1550, eine Bluetooth-Einheit 1552, eine Einheit für ein drahtloses Weitverkehrsnetz (Wireless Wide Area Network - „W1Λ/AN“) 1556, eine Global-Positioning-System(GPS-)Einheit 1555, eine Kamera („USB-3.0-Kamera“) 1554, wie etwa eine USB-3.0-Kamera, und/oder eine Low-Power-Double-Data-Rate-(„LPDDR“-)Speichereinheit („LPDDR3“) 1515, die zum Beispiel im LPDDR3-Standard implementiert ist, beinhalten. Diese Komponenten können in jeder geeigneten Weise umgesetzt werden.
In mindestens einer Ausführungsform können andere Komponenten durch hierin beschriebene Komponenten kommunikativ an den Prozessor 1510 gekoppelt sein. In mindestens einer Ausführungsform können ein Beschleunigungsmesser 1541, ein Umgebungslichtsensor (ambient light sensor - „ALS“) 1542, ein Kompass 1543 und ein Gyroskop 1544 kommunikativ an den Sensor-Hub 1540 gekoppelt sein. In mindestens einer Ausführungsform können ein Thermosensor 1539, ein Lüfter 1537, eine Tastatur 1536 und ein Touchpad 1530 kommunikativ an den EC 1535 gekoppelt sein. In mindestens einer Ausführungsform können Lautsprecher 1563, Kopfhörer 1564 und a ein Mikrofon („Mikro“) 1565 kommunikativ an eine Audioeinheit („Audiocodec und Klasse-D-Verst.“) 1562 gekoppelt sein, die wiederum kommunikativ an den DSP 1560 gekoppelt sein kann. In mindestens einer Ausführungsform kann die Audioeinheit 1562 zum Beispiel und ohne Einschränkung einen Audiocodierer/-decodierer („Codec“) und einen Klasse-D-Verstärker beinhalten. In mindestens einer Ausführungsform kann eine SIM-Karte („SIM“) 1557 kommunikativ an die WWAN-Einheit 1556 gekoppelt sein. In mindestens einer Ausführungsform können Komponenten wie etwa die WLAN-Einheit 1550 und die Bluetooth-Einheit 1552 sowie die WWAN-Einheit 1556 in einem Next Generation Form Factor („NGFF“) implementiert sein.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System der 15 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
In mindestens einer Ausführungsform kann die elektronische Vorrichtung 1500 zur Implementierung eines Computersystems verwendet werden, das zur Berechnung von Bildern und zur Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert die elektronische Vorrichtung 1500 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
16 veranschaulicht ein Computersystem 1600 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist das Computersystem 1600 dazu konfiguriert, verschiedene in dieser Offenbarung beschriebene Prozesse und Verfahren zu implementieren.
In mindestens einer Ausführungsform umfasst das Computersystem 1600 ohne Einschränkung mindestens eine Zentralverarbeitungseinheit („CPU“) 1602, die an einen Kommunikationsbus 1610 angeschlossen ist, der unter Verwendung eines beliebigen geeigneten Protokolls implementiert ist, wie PCI („Peripheral Component Interconnect“), Peripheral Component Interconnect Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder ein anderes Bus- oder Punkt-zu-Punkt-Kommunikationsprotokoll. In mindestens einer Ausführungsform beinhaltet das Computersystem 1600 ohne Einschränkung einen Hauptspeicher 1604 und eine Steuerlogik (z. B. implementiert als Hardware, Software oder eine Kombination davon), und Daten werden im Hauptspeicher 1604 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. In mindestens einer Ausführungsform stellt ein Netzschnittstellen-Teilsystem („Netzschnittstelle“) 1622 eine Schnittstelle zu anderen Rechenvorrichtungen und Netzen bereit, um Daten von anderen Systemen mit Computersystem 1600 zu empfangen und an diese zu übermitteln.
In mindestens einer Ausführungsform beinhaltet das Computersystem 1600 ohne Einschränkung Eingabevorrichtungen 1608, ein paralleles Verarbeitungssystem 1612 und Anzeigevorrichtungen 1606, die mit einer herkömmlichen Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), einer Leuchtdiodenanzeige („LED“), einer Plasmaanzeige oder anderen geeigneten Anzeigetechnologien implementiert werden können. In mindestens einer Ausführungsform werden Benutzereingaben von Eingabevorrichtungen 1608 wie Tastatur, Maus, Touchpad, Mikrofon usw. empfangen. In mindestens einer Ausführungsform kann jedes hierin beschriebene Modul auf einer einzigen Halbleiterplattform untergebracht werden, um ein Verarbeitungssystem zu bilden.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System der 16 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
In mindestens einer Ausführungsform kann das Computersystem 1600 zur Implementierung eines Computersystems verwendet werden, das zur Berechnung von Bildern und zur Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert das Computersystem 1600 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
17 veranschaulicht ein Computersystem 1700 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet das Computersystem 1700 ohne Einschränkung einen Computer 1710 und einen USB-Stick 1720 beinhalten. In mindestens einer Ausführungsform kann Computer 1710 ohne Einschränkung eine beliebige Anzahl und Art von Prozessoren (nicht gezeigt) und einen Speicher (nicht gezeigt) umfassen. In mindestens einer Ausführungsform beinhaltet Computer 1710 ohne Einschränkung einen Server, eine Cloud-Instanz, ein Laptop und ein Desktop-Computer.
In mindestens einer Ausführungsform beinhaltet der USB-Stick 1720 ohne Einschränkung eine Verarbeitungseinheit 1730, eine USB-Schnittstelle 1740 und eine USB-Schnittstellenlogik 1750. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 1730 ein beliebiges System, Gerät oder Gerät zur Befehlsausführung sein in der Lage, Anweisungen auszuführen. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 1730 ohne Einschränkung eine beliebige Anzahl und Art von Verarbeitungskernen (nicht gezeigt) beinhalten. In mindestens einer Ausführungsform umfasst die Verarbeitungseinheit 1730 eine anwendungsspezifische integrierte Schaltung („ASIC“), die so optimiert ist, dass sie eine beliebige Anzahl und Art von Operationen im Zusammenhang mit maschinellem Lernen ausführen kann. Zum Beispiel ist die Verarbeitungseinheit 1730 in mindestens einer Ausführungsform eine Tensoverarbeitungseinheit (tensor processing unit - „TPC“), die für das Ausführen von maschinellen Lernoperationen optimiert ist. In mindestens einer Ausführungsform ist die Verarbeitungseinheit 1730 eine Bildverarbeitungseinheit („VPU“), die für das Ausführen von Operationen des maschinellen Sehens und des maschinellen Lernens optimiert ist.
In mindestens einer Ausführungsform kann die USB-Schnittstelle 1740 eine beliebige Art von USB-Stecker oder USB-Buchse sein. Zum Beispiel ist in mindestens einer Ausführungsform die USB-Schnittstelle 1740 eine USB-3.0-Typ-C-Buchse für Daten und Strom. In mindestens einer Ausführungsform ist die USB-Schnittstelle 1740 ein USB-3.0-Typ-A-Stecker. In mindestens einer Ausführungsform kann die USB-Schnittstellenlogik 1750 eine beliebige Menge und Art von Logik beinhalten, die es der Verarbeitungseinheit 1730 ermöglicht, mit Vorrichtungen (z. B. Computer 1710) über den USB-Anschluss 1740 zu kommunizieren.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System der 17 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
In mindestens einer Ausführungsform kann das Computersystem 1700 zur Implementierung eines Computersystems verwendet werden, das zur Berechnung von Bildern und zur Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert das Computersystem 1700 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
18A veranschaulicht eine beispielhafte Architektur, bei der eine Vielzahl von GPUs 1810(1)-1810(N) über Hochgeschwindigkeitsverknüpfungen 1840(1)-1840(N) (z. B. Busse, Punkt-zu-Punkt-Verbindungen usw.) kommunikativ mit einer Vielzahl von Mehrkernprozessoren 1805(1)-1805(M) gekoppelt ist. In mindestens einer Ausführungsform unterstützen die Hochgeschwindigkeitsverknüpfungen 1840(1)-1840(N) einen Kommunikationsdurchsatz von 4 GB/s, 30 GB/s, 80 GB/s oder mehr. In mindestens einer Ausführungsform können verschiedene Zusammenschaltungsprotokolle verwendet werden, einschließlich, aber nicht beschränkt auf, PCIe 4.0 oder 5.0 und NVLink2.0. In verschiedenen Figuren stellen „N“ und „M“ positive Ganzzahlen dar, deren Werte von Figur zu Figur unterschiedlich sein können.
Zusätzlich und in mindestens einer Ausführungsform sind zwei oder mehr der GPUs 1810 über Hochgeschwindigkeitsverknüpfungen 1829(1)-1829(2) miteinander verbunden, die unter Verwendung ähnlicher oder anderer Protokolle/Verbindungen als die für Hochgeschwindigkeitsverknüpfungen 1840(1)-1840(N) verwendeten implementiert werden können. In ähnlicher Weise können zwei oder mehr Mehrkernprozessoren 1805 über eine Hochgeschwindigkeitsverknüpfung 1828 verbunden sein, bei der es sich um symmetrische Multiprozessorbusse (SMP) handeln kann, die mit 20 GB/s, 30 GB/s, 120 GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen den verschiedenen in 18A dargestellten Systemkomponenten über ähnliche Protokolle/Verknüpfungen (z. B. über eine gemeinsame Zwischenverbindungsstruktur) abgewickelt werden.
In mindestens einer Ausführungsform ist jeder Mehrkernprozessor 1805 jeweils über Speicherzusammenschaltungen 1826(1)-1826(M) kommunikativ an einen Prozessorspeicher 1801(1)-1801(M) gekoppelt und jede GPU 1810(1)-1810(N) jeweils über GPU-Speicherzusammenschaltungen 1850(1)-1850(N) kommunikativ an den GPU-Speicher 1820(1)-1820(N) gekoppelt. In mindestens einer Ausführungsform können die Speicherverbindungen 1826 und 1850 ähnliche oder unterschiedliche Speicherzugriffstechnologien verwenden. Bei den Prozessorspeichern 1801(1)-1801(M) und den GPU-Speichern 1820 kann es sich beispielsweise und ohne Einschränkung um flüchtige Speicher, wie etwa dynamische Direktzugriffsspeicher (DRAMs) (einschließlich gestapelter DRAMs), Grafik-DDR-SDRAM (GDDR) (z. B. GDDR5, GDDR6) oder Speicher mit hoher Bandbreite (High Bandwidth Memory - HBM), und/oder um nichtflüchtige Speicher, wie etwa 3D XPoint oder Nano-Ram, handeln. In mindestens einer Ausführungsform kann ein Abschnitt der Prozessorspeicher 1801 flüchtiger Speicher sein und ein anderer Abschnitt nichtflüchtiger Speicher sein (z. B. unter Verwendung einer Speicherhierarchie mit zwei Levels (two-level memory - 2LM)).
Obwohl, wie hierin beschrieben, verschiedene Mehrkernprozessoren 1805 und GPUs 1810 physisch mit einem bestimmten Speicher 1801 bzw. 1820 gekoppelt sein können und/oder eine einheitliche Speicherarchitektur implementiert werden kann, bei der ein virtueller Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) auf verschiedene physische Speicher verteilt ist. Zum Beispiel können die Prozessorspeicher 1801(1)-1801(M) jeweils 64 GB Systemadressraum umfassen, und die GPU-Speicher 1820(1)-1820(N) können jeweils 32 GB Systemadressraum umfassen, was insgesamt 256 GB adressierbaren Speicher ergibt, wenn M=2 und N=4. Andere Werte für N und M sind möglich.
18B veranschaulicht zusätzliche Details für eine Verbindung zwischen einem Mehrkernprozessor 1807 und einem Grafikbeschleunigungsmodul 1846 gemäß einer beispielhaften Ausführungsform. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 1846 einen oder mehrere GPU-Chips beinhalten, die auf einer Leitungskarte integriert sind, die über eine Hochgeschwindigkeits-Verknüpfung 1840 (z. B. einen PCIe-Bus, NVLink usw.) mit dem Prozessor 1807 gekoppelt ist. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 1846 alternativ auf einem Gehäuse oder Chip mit dem Prozessor 1807 integriert sein.
In mindestens einer Ausführungsform beinhaltet der Prozessor 1807 eine Vielzahl von Kernen 1860A-1860D, jeweils mit einem Translation-Lookaside-Buffer („TLB“) 1861A-1861 D und einem oder mehreren Caches 1862A-1862D. In mindestens einer Ausführungsform können die Kerne 1860A-1860D verschiedene andere Komponenten zur Ausführung von Anweisungen und zur Verarbeitung von Daten beinhalten, die nicht veranschaulicht sind. In mindestens einer Ausführungsform können die Caches 1862A-1862D Level 1(L1)- und Level 2(L2)-Caches umfassen. Darüber hinaus können ein oder mehrere gemeinsam genutzte Caches 1856 in den Caches 1862A-1862D enthalten sein und von Sätzen von Kernen 1860A-1860D gemeinsam genutzt werden. Zum Beispiel beinhaltet eine Ausführungsform des Prozessors 1807 24 Kerne, jeder mit seinem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2- und L3-Caches von zwei benachbarten Kernen gemeinsam genutzt. In mindestens einer Ausführungsform sind der Prozessor 1807 und das Grafikbeschleunigungsmodul 1846 mit dem Systemspeicher 1814 verbunden, der die Prozessorspeicher 1801(1)-1801(M) von 18A umfassen kann.
In mindestens einer Ausführungsform wird die Kohärenz für Daten und Anweisungen, die in den verschiedenen Caches 1862A-1862D, 1856 und im Systemspeicher 1814 gespeichert sind, durch Zwischenkernkommunikation über einen Kohärenzbus 1864 aufrechterhalten. Zum Beispiel kann in mindestens einer Ausführungsform jeder Cache über eine Cache-Kohärenzlogik/einen Schaltkreis verfügen, die bzw. der mit ihm verbunden ist, um als Reaktion auf erkannte Lese- oder Schreibvorgänge in bestimmten Cache-Zeilen über den Kohärenzbus 1864 zu kommunizieren. In mindestens einer Ausführungsform wird ein Cache-Snooping-Protokoll über den Kohärenzbus 1864 implementiert, um Cache-Zugriffe auszuspähen.
In mindestens einer Ausführungsform koppelt eine Proxy-Schaltung 1825 das Grafikbeschleunigungsmodul 1846 kommunikativ an den Kohärenzbus 1864, so dass das Grafikbeschleunigungsmodul 1846 als Peer der Kerne 1860A-1860D an einem Cache-Kohärenzprotokoll teilnehmen kann. Insbesondere wird in mindestens einer Ausführungsform über eine Schnittstelle 1835 eine Verbindung zur Proxy-Schaltung 1825 über die Hochgeschwindigkeitsverknüpfung 1840 bereitgestellt, und eine Schnittstelle 1837 verbindet das Grafikbeschleunigungsmodul 1846 mit der Hochgeschwindigkeitsverknüpfung 1840.
In mindestens einer Ausführungsform stellt eine Beschleunigerintegrationsschaltung 1836 Cache-Management-, Speicherzugriffs-, Kontextmanagement- und Interrupt-Management-Dienste für eine Vielzahl von Grafikverarbeitungs-Engines 1831(1)-1831(N) des Grafikbeschleunigungsmoduls 1846 bereit. In mindestens einer Ausführungsform können die Grafikverarbeitungsmodule 1831(1)-1831(N) jeweils eine separate Grafikverarbeitungseinheit (GPU) umfassen. In mindestens einer Ausführungsform können die Grafikverarbeitungsmodule 1831(1)-1831(N) alternativ verschiedene Arten von Grafikverarbeitungsmodulen innerhalb einer GPU umfassen, z. B. Grafikausführungseinheiten, Medienverarbeitungsmodule (z. B. Videocodierer/-decodierer), Abtaster und Blit-Module. In mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 1846 eine GPU mit einer Vielzahl von Grafikverarbeitungsmodulen 1831(1)-1831(N) sein, oder es kann sich bei den Grafikverarbeitungsmodulen 1831(1)-1831(N) um einzelne GPUs handeln, die in einem gemeinsamen Gehäuse, einer Linecard oder einem Chip integriert sind.
In mindestens einer Ausführungsform beinhaltet die Beschleunigerintegrationsschaltung 1836 eine Speicherverwaltungseinheit (MMU) 1839 zum Ausführen verschiedener Speicherverwaltungsfunktionen wie Übersetzungen von virtuellem in physischen Speicher (auch als Übersetzungen von effektivem in realen Speicher bezeichnet) und Speicherzugriffsprotokolle für den Zugriff auf den Systemspeicher 1814. In mindestens einer Ausführungsform kann die MMU 1839 auch einen Translations-Lookaside-Buffer (TLB) (nicht gezeigt) zum Zwischenspeichern von Übersetzungen von virtuellen/effektiven in physische/reale Adressen beinhalten. In mindestens einer Ausführungsform kann ein Cache 1838 Befehle und Daten für einen effizienten Zugriff durch die Grafikprozessoren 1831(1)-1831(N) speichern. In mindestens einer Ausführungsform werden die im Cache 1838 und in den Grafikspeichern 1833(1)-1833(M) gespeicherten Daten mit den Kern-Caches 1862A-1862D, 1856 und dem Systemspeicher 1814 kohärent gehalten, möglicherweise unter Verwendung einer Abrufeinheit 1844. Wie bereits erwähnt, kann dies über eine Proxy-Schaltung 1825 im Namen des Cache 1838 und der Speicher 1833(1)-1833(M) erfolgen (z. B. Senden von Aktualisierungen an den Cache 1838 im Zusammenhang mit Änderungen/Zugriffen auf Cache-Zeilen in den Prozessor-Caches 1862A-1862D, 1856 und Empfangen von Aktualisierungen vom Cache 1838).
In mindestens einer Ausführungsform speichert ein Satz von Registern 1845 Kontextdaten für Threads, die von den Grafikprozessoren 1831 (1)-1831 (N) ausgeführt werden, und eine Kontextverwaltungsschaltung 1848 verwaltet die Thread-Kontexte. Zum Beispiel kann die Kontextverwaltungsschaltung 1848 Speicher- und Wiederherstellungsoperationen ausführen, um die Kontexte verschiedener Threads während Kontextumschaltungen zu speichern und wiederherzustellen (z. B. wenn ein erster Thread gespeichert und ein zweiter Thread gespeichert wird, damit ein zweiter Thread von einer Grafikverarbeitungsengine ausgeführt werden kann). Zum Beispiel kann die Schaltung 1848 für die Kontextverwaltung bei einem Kontextwechsel die aktuellen Registerwerte in einem bestimmten Bereich im Speicher speichern (z. B. identifiziert durch einen Kontextzeiger). Sie kann dann die Registerwerte wiederherstellen, wenn sie zu einem Kontext zurückkehrt. In mindestens einer Ausführungsform empfängt und verarbeitet eine Unterbrechungsmanagement-Schaltung 1847 von Systemvorrichtungen empfangene Unterbrechungen.
In mindestens einer Ausführungsform werden virtuelle/effektive Adressen von einer Grafikverarbeitungs-Engine 1831 durch die MMU 1839 in reale/physikalische Adressen im Systemspeicher 1814 übersetzt. In mindestens einer Ausführungsform unterstützt die Beschleuniger-Integrationsschaltung 1836 mehrere (z. B. 4, 8, 16) Grafikbeschleunigermodule 1846 und/oder andere Beschleunigervorrichtungen. In mindestens einer Ausführungsform kann das Grafikbeschleunigermodul 1846 für eine einzige, auf dem Prozessor 1807 ausgeführte Anwendung bestimmt sein oder von mehreren Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform wird eine virtualisierte Grafikausführungsumgebung vorgestellt, in der die Ressourcen der Grafikverarbeitungsengines 1831(1)-1831(N) mit mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Ressourcen in „Slices“ unterteilt werden, die verschiedenen VMs und/oder Anwendungen basierend auf den Verarbeitungsanforderungen und den mit den VMs und/oder Anwendungen verbundenen Prioritäten zugewiesen werden.
In mindestens einer Ausführungsform führt die Beschleunigerintegrationsschaltung 1836 als Brücke zu einem System für das Grafikbeschleunigungsmodul 1846 aus und stellt Adressübersetzungs- und Systemspeicher-Cache-Dienste bereit. Darüber hinaus kann in mindestens einer Ausführungsform die Beschleunigerintegrationsschaltung 1836 Virtualisierungseinrichtungen für einen Host-Prozessor bereitstellen, um die Virtualisierung der Grafikverarbeitungsengines 1831(1)-1831(N), Unterbrechungen und das Speicherverwaltungsmanagement zu verwalten.
In mindestens einer Ausführungsform kann jeder Hostprozessor diese Ressourcen direkt mit einem effektiven Adresswert adressieren, da die Hardwareressourcen der Grafikverarbeitungsengines 1831(1)-1831(N) explizit einem realen Adressraum zugeordnet sind, der vom Hostprozessor 1807 gesehen wird. In mindestens einer Ausführungsform besteht eine Funktion der Beschleuniger-Integrationsschaltung 1836 in der physischen Trennung der Grafikverarbeitungsengines 1831(1)-1831(N), so dass sie für ein System als unabhängige Einheiten erscheinen.
In mindestens einer Ausführungsform sind ein oder mehrere Grafikspeicher 1833(1)-1833(M) mit jeder der Grafikverarbeitungsengines 1831(1)-1831(N) gekoppelt, wobei N=M ist. In mindestens einer Ausführungsform speichern die Grafikspeicher 1833(1)-1833(M) Anweisungen und Daten, die von jeder der Grafikverarbeitungsengines 1831(1)-1831(N) verarbeitet werden. In mindestens einer Ausführungsform kann es sich bei den Grafikspeichern 1833(1)-1833(M) um flüchtige Speicher wie DRAMs (z. B. gestapelte DRAMs), GDDR-Speicher (z. B. GDDR5, GDDR6) oder HBM und/oder um nichtflüchtige Speicher wie 3D-XPoint oder Nano-Ram handeln.
In mindestens einer Ausführungsform können zur Reduzierung des Datenverkehrs über die Hochgeschwindigkeitsverknüpfung 1840 Verzerrungstechniken verwendet werden, um sicherzustellen, dass die in den Grafikspeichern 1833(1)-1833(M) gespeicherten Daten von den Grafikverarbeitungsengines 1831(1)-1831(N) am häufigsten und von den Kernen 1860A-1860D vorzugsweise nicht (zumindest nicht häufig) verwendet werden. In mindestens einer Ausführungsform versucht ein Verzerrungsmechanismus, die von den Kernen (und vorzugsweise nicht von den Grafikverarbeitungsengines 1831(1)-1831(N)) benötigten Daten in den Caches 1862A-1862D, 1856 und im Systemspeicher 1814 zu halten.
18C veranschaulicht eine weitere beispielhafte Ausführungsform, bei der die Beschleunigerintegrationsschaltung 1836 in den Prozessor 1807 integriert ist. In dieser Ausführungsform kommunizieren die Grafikverarbeitungsengines 1831(1)-1831(N) direkt über die Hochgeschwindigkeits-Verknüpfung 1840 mit der Beschleunigerintegrationsschaltung 1836 über die Schnittstelle 1837 und die Schnittstelle 1835 (die wiederum eine beliebige Form von Bus- oder Schnittstellenprotokoll sein kann). In mindestens einer Ausführungsform kann die Beschleuniger-Integrationsschaltung 1836 ähnliche Operationen ausführen, wie sie in 18B beschrieben sind, jedoch möglicherweise mit einem höheren Durchsatz, da sie sich in unmittelbarer Nähe zum Kohärenzbus 1864 und den Caches 1862A-1862D, 1856 befindet. In mindestens einer Ausführungsform unterstützt eine Beschleuniger-Integrationsschaltung verschiedene Programmiermodelle, einschließlich eines Programmiermodells für dedizierte Prozesse (ohne Virtualisierung des Grafikbeschleunigungsmoduls) und gemeinsam genutzte Programmiermodelle (mit Virtualisierung), die Programmiermodelle beinhalten können, die von der Beschleuniger-Integrationsschaltung 1836 gesteuert werden, sowie Programmiermodelle, die vom Grafikbeschleunigungsmodul 1846 gesteuert werden.
In mindestens einer Ausführungsform sind die Grafikverarbeitungsengines 1831(1)-1831(N) für eine einzige Anwendung oder einen einzigen Prozess unter einem einzigen Betriebssystem vorgesehen. In mindestens einer Ausführungsform kann eine einzelne Anwendung Anforderungen anderer Anwendungen an die Grafikverarbeitungsengines 1831(1)-1831(N) weiterleiten, wodurch eine Virtualisierung innerhalb einer VM/Partition bereitgestellt wird.
In mindestens einer Ausführungsform können die Grafikverarbeitungsengines 1831(1)-1831(N) von mehreren VM-/Anwendungspartitionen gemeinsam genutzt werden. In mindestens einer Ausführungsform können gemeinsam genutzte Modelle einen Systemhypervisor zur Virtualisierung der Grafikverarbeitungsengines 1831(1)-1831(N) verwenden, um den Zugriff durch jedes Betriebssystem zu ermöglichen. In mindestens einer Ausführungsform sind die Grafikverarbeitungsengines 1831(1)-1831(N) bei Systemen mit einer Partition ohne Hypervisor Eigentum eines Betriebssystems. In mindestens einer Ausführungsform kann ein Betriebssystem die Grafikverarbeitungsengines 1831(1)-1831(N) virtualisieren, um den Zugriff auf jeden Prozess oder jede Anwendung bereitzustellen.
In mindestens einer Ausführungsform wählt das Grafikbeschleunigungsmodul 1846 oder eine einzelne Grafikverarbeitungsengine 1831(1)-1831(N) ein Prozesselement mithilfe eines Prozesshandles aus. In mindestens einer Ausführungsform werden die Prozesselemente im Systemspeicher 1814 gespeichert und sind unter Verwendung einer hierin beschriebenen Übersetzungstechnik von effektiven Adressen in reale Adressen adressierbar. In mindestens einer Ausführungsform kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Hostprozess bereitgestellt wird, wenn er seinen Kontext bei der Grafikverarbeitungsengine 1831(1)-1831(N) registriert (das heißt, wenn er die Systemsoftware aufruft, um ein Prozesselement zu einer verknüpften Prozesselementliste hinzuzufügen). In mindestens einer Ausführungsform können die unteren 16 Bits eines Prozesshandles ein Offset eines Prozesselements innerhalb einer verknüpften Prozesselementliste sein.
18D veranschaulicht einen beispielhaften Beschleunigerintegrations-Slice 1890. In mindestens einer Ausführungsform umfasst ein „Slice“ einen bestimmten Abschnitt der Verarbeitungsressourcen der Beschleunigerintegrationsschaltung 1836. In mindestens einer Ausführungsform speichert ein anwendungswirksamer Adressraum 1882 im Systemspeicher 1814 Prozesselemente 1883. In mindestens einer Ausführungsform werden die Prozesselemente 1883 als Reaktion auf GPU-Aufrufe 1881 von Anwendungen 1880, die auf dem Prozessor 1807 ausgeführt werden, gespeichert. In mindestens einer Ausführungsform enthält ein Prozesselement 1883 den Prozesszustand für die entsprechende Anwendung 1880. In mindestens einer Ausführungsform kann ein im Prozesselement 1883 enthaltener Arbeitsdeskriptor (work descriptor - WD) 1884 eine einzelne von einer Anwendung angeforderte Aufgabe sein oder einen Zeiger auf eine Warteschlange von Aufträgen enthalten. In mindestens einer Ausführungsform ist der WD 1884 ein Zeiger auf eine Warteschlange von Anforderungen im effektiven Adressraum 1882 einer Anwendung.
In mindestens einer Ausführungsform können das Grafikbeschleunigungsmodul 1846 und/oder einzelne Grafikverarbeitungsengines 1831(1)-1831(N) von allen oder einer Teilmenge der Prozesse in einem System gemeinsam genutzt werden. In mindestens einer Ausführungsform kann eine Infrastruktur zum Einrichten von Prozesszuständen und zum Senden eines WD 1884 an ein Grafikbeschleunigungsmodul 1846 zum Starten eines Auftrags in einer virtualisierten Umgebung enthalten sein.
In mindestens einer Ausführungsform ist ein Programmiermodell für dedizierte Prozesse implementierungsspezifisch. In mindestens einer Ausführungsform besitzt in diesem Modell ein einzelner Prozess das Grafikbeschleunigungsmodul 1846 oder eine individuelle Grafikverarbeitungsengine 1831. In mindestens einer Ausführungsform, wenn das Grafikbeschleunigungsmodul 1846 im Besitz eines einzelnen Prozesses ist, initialisiert ein Hypervisor die Beschleunigerintegrationsschaltung 1836 für eine besitzende Partition und ein Betriebssystem initialisiert die Beschleunigerintegrationsschaltung 1836 für einen besitzenden Prozess, wenn das Grafikbeschleunigungsmodul 1846 zugewiesen wird.
In mindestens einer Ausführungsform holt eine WD-Abrufeinheit 1891 im Slice 1890 für die Beschleunigerintegration die nächste WD 1884 ab, die eine Angabe der von einer oder mehreren Grafikverarbeitungsengines des Grafikbeschleunigungsmoduls 1846 zu verrichtenden Arbeit beinhaltet. In mindestens einer Ausführungsform können die Daten von WD 1884 in Registern 1845 gespeichert und von der MMU 1839, der Schaltung für das Unterbrechungsmanagement 1847 und/oder der Schaltung für das Kontextmanagement 1848 verwendet werden, wie veranschaulicht. Zum Beispiel beinhaltet eine Ausführungsform der MMU 1839 einen Schaltkreis für den Zugriff auf Segment-/Seitentabellen 1886 innerhalb eines virtuellen Adressraums eines Betriebssystems 1885. In mindestens einer Ausführungsform kann die Schaltung 1847 für das Unterbrechungsmanagement die vom Grafikbeschleunigungsmodul 1846 empfangenen Unterbrechungsereignisse 1892 verarbeiten. In mindestens einer Ausführungsform wird beim Ausführen von Grafikoperationen eine von einer Grafikverarbeitungsengine 1831(1)-1831(N) erzeugte effektive Adresse 1893 von der MMU 1839 in eine reale Adresse übersetzt.

In mindestens einer Ausführungsform sind die Register 1845 für jede Grafikverarbeitungsengine 1831(1)-1831(N) und/oder jedes Grafikbeschleunigungsmodul 1846 dupliziert und können von einem Hypervisor oder einem Betriebssystem initialisiert werden. In mindestens einer Ausführungsform kann jedes dieser duplizierten Register in einem Slice 1890 zur Beschleunigerintegration beinhalten. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, sind in Tabelle 1 aufgeführt. Tabelle 1 - Durch Hypervisor initialisierte Register

Register-Nr.	Beschreibung
1	Slice-Steuerregister
2	Bereichszeiger geplante Prozesse reale Adresse (RA)
3	Autoritätsmasken-Überschreibungsregister
4	Unterbrechungsvektor-Tabelleneintragsversatz
5	Unterbrechungsvektor-Tabelleneintragsbegrenzung
6	Zustandsregister
7	Logische Partitions-ID
8	Datensatzzeiger Hypervisor-Beschleuniger-Nutzung reale Adresse (RA)
9	Speicherbeschreibungsregister

Beispielhafte Register, die von einem Betriebssystem initialisiert werden können, sind in Tabelle 2 aufgeführt. Tabelle 2 - Durch das Betriebssystem initialisierte Register

Register-Nr.	Beschreibung
1	Prozess- und Thread-Identifikation
2	Kontext-Speicher/Wiederherstellungs-Zeiger effektive Adresse (EA)
3	Datensatzzeiger Beschleuniger-Nutzung virtuelle Adresse (VA)
4	Speichersegmenttabellenzeiger virtuelle Adresse (VA)
5	Autoritätsmaske
6	Arbeitsdeskriptor

In mindestens einer Ausführungsform ist jedes WD 1884 spezifisch für ein bestimmtes Grafikbeschleunigungsmodul 1846 und/oder die Grafikverarbeitungsengines 1831(1)-1831(N). In mindestens einer Ausführungsform enthält er alle Informationen, die eine Grafikverarbeitungsengine 1831(1)-1831(N) benötigt, um ihre Arbeit zu verrichten, oder er kann ein Zeiger auf einen Speicherplatz sein, an dem eine Anwendung eine Befehlswarteschlange für die zu verrichtende Arbeit eingerichtet hat.
18E veranschaulicht zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells. Diese Ausführungsform beinhaltet einen realen Hypervisor-Adressraum 1898, in dem eine Prozesselementliste 1899 gespeichert ist. In mindestens einer Ausführungsform ist der reale Hypervisor-Adressraum 1898 über einen Hypervisor 1896 zugänglich, der die Grafikbeschleunigungsmodul-Engines für das Betriebssystem 1895 virtualisiert.
In mindestens einer Ausführungsform erlauben gemeinsame Programmiermodelle allen oder einer Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System, ein Grafikbeschleunigungsmodul 1846 zu verwenden. In mindestens einer Ausführungsform gibt es zwei Programmiermodelle, bei denen das Grafikbeschleunigungsmodul 1846 von mehreren Prozessen und Partitionen gemeinsam genutzt wird, nämlich die gemeinsame Nutzung nach Zeitscheiben und die gemeinsame Nutzung nach Grafikrichtung.
In mindestens einer Ausführungsform besitzt in diesem Modell der Systemhypervisor 1896 das Grafikbeschleunigungsmodul 1846 und stellt seine Funktion allen Betriebssystemen 1895 zur Verfügung. In mindestens einer Ausführungsform kann ein Grafikbeschleunigungsmodul 1846 zur Unterstützung der Virtualisierung durch den Systemhypervisor 1896 bestimmte Anforderungen erfüllen, z. B. (1) die Anforderung einer Anwendung muss autonom sein (d. h. der Zustand muss zwischen den Aufträgen nicht aufrechterhalten werden), oder das Grafikbeschleunigungsmodul 1846 muss einen Mechanismus zum Speichern und Wiederherstellen des Kontexts bereitstellen, (2) das Grafikbeschleunigungsmodul 1846 garantiert, dass die Anforderung einer Anwendung innerhalb einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Grafikbeschleunigungsmodul 1846 stellt die Möglichkeit bereit, die Verarbeitung eines Auftrags vorzuziehen, und (3) das Grafikbeschleunigungsmodul 1846 muss eine Fairness zwischen den Prozessen garantieren, wenn es in einem gerichteten gemeinsamen Programmiermodell arbeitet.
In mindestens einer Ausführungsform muss die Anwendung 1880 einen Systemaufruf des Betriebssystems 1895 mit einem Grafikbeschleunigungsmodultyp, einem Arbeitsdeskriptor (WD), einem Autoritätsmaskenregisterwert (authority mask register - AMR) und einem Kontextsicherungs-/Wiederherstellungsbereichszeiger (context save/restore area pointer - CSRP) durchführen. In mindestens einer Ausführungsform beschreibt der Grafikbeschleunigungsmodultyp eine gezielte Beschleunigungsfunktion für einen Systemaufruf. In mindestens einer Ausführungsform kann es sich bei dem Grafikbeschleunigungsmodultyp um einen systemspezifischen Wert handeln. In mindestens einer Ausführungsform ist WD speziell für das Grafikbeschleunigungsmodul 1846 formatiert und kann in Form eines Befehls des Grafikbeschleunigungsmoduls 1846, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer anderen Datenstruktur vorliegen, die die vom Grafikbeschleunigungsmodul 1846 zu verrichtende Arbeit beschreibt.
In mindestens einer Ausführungsform ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. In mindestens einer Ausführungsform ähnelt ein an ein Betriebssystem übergebener Wert einer Anwendung, die einen AMR einstellt. In mindestens einer Ausführungsform, wenn die Beschleunigerintegrationsschaltung 1836 (nicht gezeigt) und das Grafikbeschleunigungsmodul 1846 kein Benutzerautoritätsmasken-Überschreibungsregister (User Authority Mask Override Register - UAMOR) unterstützen, kann ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor ein AMR in einem Hypervisor-Aufruf übergeben wird. In mindestens einer Ausführungsform kann der Hypervisor 1896 optional einen aktuellen Autoritätsmasken-Überschreibungsregister (AMOR)-Wert anwenden, bevor ein AMR in das Prozesselement 1883 eingefügt wird. In mindestens einer Ausführungsform ist CSRP eines der Register 1845, die eine effektive Adresse eines Bereichs im effektiven Adressraum 1882 einer Anwendung für das Grafikbeschleunigungsmodul 1846 zum Sichern und Wiederherstellen des Kontextzustands enthalten. In mindestens einer Ausführungsform ist dieser Zeiger optional, wenn kein Zustand zwischen Aufgaben gespeichert werden muss oder wenn eine Aufgabe vorzeitig beendet wird. In mindestens einer Ausführungsform kann der Kontextsicherungs-/Wiederherstellungsbereich im Systemspeicher gepinnt sein.

Beim Empfang eines Systemaufrufs kann das Betriebssystem 1895 überprüfen, ob die Anwendung 1880 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 1846 erhalten hat. In mindestens einer Ausführungsform ruft das Betriebssystem 1895 dann den Hypervisor 1896 mit den in Tabelle 3 aufgeführten Informationen auf. Tabelle 3 - OS zu Hypervisor-Aufrufparametern

Parameter-Nr.	Beschreibung
1	Ein Arbeitsdeskriptor (WD)
2	Ein Autoritätsmaskenregister(AMR)-Wert (möglicherweise maskiert)
3	Ein Kontext-Sicherungs-/-Wiederherstellungsbereichszeiger (CSRP) mit effektiver Adresse (EA)
4	Eine Prozess-ID (PID) und optionale Thread-ID (TID)
5	Ein Beschleunigernutzungsdatensatzzeiger (accelerator utilization record pointer - AURP) mit virtueller Adresse (VA)
6	Virtuelle Adresse eines Speichersegmenttabellenzeigers (storage segment table pointer - SSTP)
7	Eine logische Unterbrechungsdienstnummer (logical interrupt service number - LISN)

In mindestens einer Ausführungsform prüft der Hypervisor 1896 beim Empfang eines Hypervisor-Aufrufs, ob das Betriebssystem 1895 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 1846 erhalten hat. In mindestens einer Ausführungsform nimmt der Hypervisor 1896 dann das Prozesselement 1883 in eine mit Prozesselementen verknüpfte Liste für einen entsprechenden Grafikbeschleunigungsmodultyp 1846 auf. In mindestens einer Ausführungsform kann ein Prozesselement die in Tabelle 4 dargestellten Informationen beinhalten. Tabelle 4 - Prozesselementinformationen

Element-Nr.	Beschreibung
1	Ein Arbeitsdeskriptor (WD)
2	Ein Autoritätsmaskenregister(AMR)-Wert (möglicherweise maskiert)
3	Ein Kontext-Sicherungs-Z-Wiederherstellungsbereichszeiger (CSRP) mit effektiver Adresse (EA)
4	Eine Prozess-ID (PID) und optionale Thread-ID (TID)
5	Ein Beschleunigernutzungsdatensatzzeiger (accelerator utilization record pointer - AU RP) mit virtueller Adresse (VA)
6	Virtuelle Adresse eines Speichersegmenttabellenzeigers (storage segment table pointer - SSTP)
7	Eine logische Unterbrechungsdienstnummer (logical interrupt service number - LISN)
8	Unterbrechungsvektortabelle, abgeleitet von Hypervisor-Aufrufparametern
9	Ein Zustandsregister(SR)-Wert
10	Eine logische Partitions-ID (LPID)
11	Ein Datensatzzeiger Hypervisor-Beschleuniger-Nutzung mit realer Adresse (RA)
12	Speicherdeskriptorregister (Storage Descriptor Register - SDR)

In mindestens einer Ausführungsform initialisiert der Hypervisor eine Vielzahl von Registern 1845 für Beschleunigerintegrations-Slices 1890.
Wie in 18F veranschaulicht, wird in mindestens einer Ausführungsform ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 1801(1)-1801(N) und GPU-Speicher 1820(1)-1820(N) verwendet wird. In dieser Implementierung nutzen Operationen, die auf den GPUs 1810(1)-1810(N) ausgeführt werden, denselben virtuellen/effektiven Speicheradressraum, um auf die Prozessorspeicher 1801(1)-1801(M) zuzugreifen und umgekehrt, was die Programmierbarkeit vereinfacht. In mindestens einer Ausführungsform wird ein erster Abschnitt eines virtuellen/effektiven Adressraums dem Prozessorspeicher 1801(1) zugewiesen, ein zweiter Abschnitt dem zweiten Prozessorspeicher 1801(N), ein dritter Abschnitt dem GPU-Speicher 1820(1) usw. In mindestens einer Ausführungsform wird dadurch ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 1801 und GPU-Speicher 1820 verteilt, so dass jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer diesem Speicher zugeordneten virtuellen Adresse zugreifen kann.
In mindestens einer Ausführungsform gewährleistet der Schaltkreis 1894A-1894E innerhalb einer oder mehrerer MMUs 1839A-1839E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Hostprozessoren (z. B. 1805) und GPUs 1810 und implementiert Verzerrungstechniken, die angeben, in welchen physischen Speichern bestimmte Datentypen gespeichert werden sollten. In mindestens einer Ausführungsform kann, während in 18F mehrere Instanzen des Bias/Kohärenz-Management-Schaltkreises 1894A-1894E veranschaulicht sind, der Bias/Kohärenz-Schaltkreis innerhalb einer MMU eines oder mehrerer Hostprozessoren 1805 und/oder innerhalb der Beschleunigerintegrationsschaltung 1836 implementiert werden.
In einer Ausführungsform können GPU-Speicher 1820 als Teil des Systemspeichers zugeordnet werden und der Zugriff erfolgt über die Technologie des gemeinsam genutzten virtuellen Speichers (SVM), ohne dass die mit der vollständigen System-Cache-Kohärenz verbundenen Leistungsnachteile auftreten. In mindestens einer Ausführungsform wird durch die Möglichkeit des Zugriffs auf GPU-Speicher 1820 als Systemspeicher ohne lästigen Cache-Kohärenz-Overhead eine vorteilhafte Betriebsumgebung für GPU-Offload bereitgestellt. In mindestens einer Ausführungsform erlaubt diese Anordnung der Software des Hostprozessors 1805, Operanden einzustellen und auf Berechnungsergebnisse zuzugreifen, ohne den Overhead traditioneller E/A-DMA-Datenkopien. In mindestens einer Ausführungsform sind solche herkömmlichen Kopien mit Treiberaufrufen, Unterbrechungen und Memory-Mapped-E/A-Zugriffen (MMIO) verbunden, die alle im Vergleich zu einfachen Speicherzugriffen ineffizient sind. In mindestens einer Ausführungsform kann die Fähigkeit, auf GPU-Speicher 1820 ohne Cache-Kohärenz-Overheads zuzugreifen, für die Ausführungszeit einer ausgelagerten Berechnung entscheidend sein. In mindestens einer Ausführungsform kann der Cache-Kohärenz-Overhead in Fällen mit erheblichem Streaming-Schreibspeicherverkehr beispielsweise die effektive Schreibbandbreite einer GPU 1810 erheblich reduzieren. In mindestens einer Ausführungsform können die Effizienz der Operandeneinrichtung, die Effizienz des Ergebniszugriffs und die Effizienz der GPU-Berechnung eine Rolle beim Bestimmen der Effektivität einer GPU-Offload spielen.
In mindestens einer Ausführungsform wird die Auswahl eines GPU-Bias und eines Hostprozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. In mindestens einer Ausführungsform kann beispielsweise eine Verzerrungstabelle verwendet werden, bei der es sich um eine seitengranulare Struktur (z. B. mit der Granularität einer Speicherseite) handeln kann, die 1 oder 2 Bits pro GPU-angeschlossene Speicherseite beinhaltet. In mindestens einer Ausführungsform kann eine Verzerrungstabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU-Speicher 1820 implementiert werden, mit oder ohne Verzerrungscache in einer GPU 1810 (z. B. um häufig/kürzlich verwendete Einträge einer Verzerrungstabelle zwischenzuspeichern). Alternativ dazu kann in mindestens einer Ausführungsform eine gesamte Verzerrungstabelle in einer GPU geführt werden.
In mindestens einer Ausführungsform wird eine Verzerrungstabelle, die jedem Zugriff auf einen an die GPU angebundenen Speicher 1820 zugeordnet ist, vor dem tatsächlichen Zugriff auf einen GPU-Speicher aufgerufen, wodurch folgende Operationen ausgelöst werden. In mindestens einer Ausführungsform werden lokale Anforderungen von einer GPU 1810, die ihre Seite in der GPU-Verzerrung finden, direkt an einen entsprechenden GPU-Speicher 1820 weitergeleitet. In mindestens einer Ausführungsform werden lokale Anforderungen von einer GPU, die ihre Seite in der Verzerrung des Hosts finden, an den Prozessor 1805 weitergeleitet (z. B. über eine Hochgeschwindigkeits-Verknüpfung wie hierin beschrieben). In mindestens einer Ausführungsform schließen Anforderungen von Prozessor 1805, die eine angeforderte Seite in der Hostprozessor-Verzerrung finden, eine Anforderung wie eine normale Speicherlesung ab. Alternativ können Anforderungen, die an eine GPU-vorverzerrte Seite gerichtet sind, an eine GPU 1810 weitergeleitet werden. In mindestens einer Ausführungsform kann eine GPU dann eine Seite in eine Hostprozessor-Verzerrung überführen, wenn sie die Seite gerade nicht verwendet. In mindestens einer Ausführungsform kann der Verzerrungszustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwareunterstützten softwarebasierten Mechanismus oder, für einen begrenzten Satz von Fällen, durch einen rein hardwarebasierten Mechanismus geändert werden.
In mindestens einer Ausführungsform verwendet ein Mechanismus zum Ändern des Verzerrungszustands einen API-Aufruf (z. B. OpenCL), der wiederum den Gerätetreiber einer GPU aufruft, der wiederum eine Nachricht (oder einen Befehlsdeskriptor) an eine GPU sendet, um sie anzuweisen, einen Verzerrungszustand zu ändern und bei einigen Übergängen eine Operation zum Spülen des Cache in einem Host auszuführen. In mindestens einer Ausführungsform wird eine Cache-Flushing Operation für einen Übergang von einer Hostprozessor 1805 Verzerrung zu einer GPU Verzerrung verwendet, jedoch nicht für einen entgegengesetzten Übergang.
In mindestens einer Ausführungsform wird die Cache-Kohärenz dadurch aufrechterhalten, dass GPU-ausgerichtete Seiten vom Hostprozessor 1805 vorübergehend nicht gecacht werden können. In mindestens einer Ausführungsform kann der Prozessor 1805 für den Zugriff auf diese Seiten eine Anforderung an die GPU 1810 stellen, die den Zugriff möglicherweise nicht sofort gewährt. In mindestens einer Ausführungsform ist es somit zur Reduzierung der Kommunikation zwischen Prozessor 1805 und GPU 1810 von Vorteil, sicherzustellen, dass GPU-bezogene Seiten diejenigen sind, die von einem GPU, aber nicht vom Hostprozessor 1805 benötigt werden, und umgekehrt.
Die Hardwarestrukturen 1015 werden verwendet, um eine oder mehrere Ausführungsformen durchzuführen. Details zu einer Hardwarestruktur 1015 werden hierin in Verbindung mit den 10A und/oder 10B bereitgestellt.
19 veranschaulicht beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden können, gemäß verschiedenen hierin beschriebenen Ausführungsformen. Zusätzlich zu den veranschaulichten Schaltungen können in mindestens einer Ausführungsform weitere Logik und Schaltungen enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Controller für periphere Schnittstellen oder Allzweckprozessorkerne.
19 ist ein Blockdiagramm, das eine beispielhafte integrierte Schaltung 1900 als System auf einem Chip, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet die integrierte Schaltung 1900 einen oder mehrere Anwendungsprozessoren 1905 (z. B. CPUs), mindestens einen Grafikprozessor 1910 und kann zusätzlich einen Bildprozessor 1915 und/oder einen Videoprozessor 1920 beinhalten, von denen jeder ein modularer IP-Kern sein kann. In mindestens einer Ausführungsform beinhaltet die integrierte Schaltung 1900 eine Peripherie- oder Buslogik, die einen USB-Controller 1925, einen UART-Controller 1930, einen SPI/SDIO-Controller 1935 und einen I²2S/I²2C-Controller 1940 beinhaltet. In mindestens einer Ausführungsform kann die integrierte Schaltung 1900 eine Anzeigevorrichtung 1945 beinhalten, die mit einem oder mehreren Controllern gekoppelt ist, nämlich einem HDMI-Controller 1950 (High-Definition Multimedia Interface) und einer MIPI-Schnittstelle 1955 (Mobile Industry Processor Interface). In mindestens einer Ausführungsform kann die Speicherung durch ein Flash-Speicher-Teilsystem 1960 bereitgestellt werden, das einen Flash-Speicher und einen Flash-Speichercontroller beinhaltet. In mindestens einer Ausführungsform kann eine Speicherschnittstelle über einen Speichercontroller 1965 für den Zugriff auf SDRAM- oder SRAM-Speichervorrichtungen bereitgestellt werden. In mindestens einer Ausführungsform beinhalten einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Engine 1970.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 in der integrierten Schaltung 1900 für Inferenzier- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann das System auf einer integrierten Chip-Schaltung 1900 zur Implementierung eines Computersystems verwendet werden, das zur Berechnung von Bildern und zur Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert das System auf einer integrierten Chip-Schaltung 1900 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
20A-20B veranschaulichen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden können, gemäß verschiedenen hierin beschriebenen Ausführungsformen. Zusätzlich zu den veranschaulichten Schaltungen können in mindestens einer Ausführungsform weitere Logik und Schaltungen enthalten sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Controller für periphere Schnittstellen oder Allzweckprozessorkerne.
20A-20B sind Blockdiagramme, die beispielhafte Grafikprozessoren zur Verwendung in einem SoC gemäß den hierin beschriebenen Ausführungsformen veranschaulichen. 20A veranschaulicht einen beispielhaften Grafikprozessor 2010 einer integrierten System-on-Chip-Schaltung, die unter Verwendung eines oder mehrerer IP-Cores hergestellt werden kann, gemäß mindestens einer Ausführungsform. 20B veranschaulicht einen zusätzlichen beispielhaften Grafikprozessor 2040 einer integrierten Schaltung als System auf einem Chip, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessor 2010 aus 20A ein Grafikprozessorkern mit niedriger Leistung. In mindestens einer Ausführungsform ist der Grafikprozessor 2040 aus 20B ein Grafikprozessorkern mit höherer Leistung. In mindestens einer Ausführungsform kann jeder der Grafikprozessoren 2010, 2040 eine Variante des Grafikprozessors 1910 von 19 sein.
In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2010 einen Vertex-Prozessor 2005 und einen oder mehrere Fragment-Prozessoren 2015A-2015N (z. B. 2015A, 2015B, 2015C, 2015D, bis 2015N-1 und 2015N). In mindestens einer Ausführungsform kann der Grafikprozessor 2010 derartig unterschiedliche Shader-Programme über getrennte Logik ausführen, dass der Vertex-Prozessor 2005 optimiert ist, um Operationen für Vertex-Shader-Programme auszuführen, während ein oder mehrere Fragmentprozessoren 2015A-2015N Shading-Operationen für Fragmente (z. B. Pixel) für Fragment- oder Pixel-Shader-Programme ausführen. In mindestens einer Ausführungsform führt der Vertex-Prozessor 2005 eine Vertex-Verarbeitungsstufe einer 3D-Grafikpipeline durch und erzeugt Primitive und Vertex-Daten. In mindestens einer Ausführungsform verwenden ein oder mehrere Fragmentprozessoren 2015A-2015N Primitiv- und Vertex-Daten, die vom Vertex-Prozessor 2005 erzeugt werden, um einen Bildspeicher zu erzeugen, der auf einer Anzeigevorrichtung angezeigt wird. In mindestens einer Ausführungsform sind ein oder mehrere Fragmentprozessoren 2015A-2015N optimiert, um Fragment-Shader-Programme auszuführen, wie in einer OpenGL-API bereitgestellt, die verwendet werden können, um ähnliche Operationen wie ein Pixel-Shader-Programm durchzuführen, wie es in einer Direct 3D-API vorgesehen ist.
In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2010 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 2020A-2020B, Caches 2025A-2025B und Schaltungszusammenschaltungen 2030A-2030B. In mindestens einer Ausführungsform stellen eine oder mehrere MMUs 2020A-2020B die Zuordnung von virtuellen zu physischen Adressen für den Grafikprozessor 2010 bereit, einschließlich für den Vertex-Prozessor 2005 und/oder die Fragment-Prozessoren 2015A-2015N, die zusätzlich zu den in einem oder mehreren Caches 2025A-2025B gespeicherten Vertex- oder Bild-/Texturdaten auf im Speicher gespeicherte Vertex- oder Bild-/Texturdaten verweisen kann. In mindestens einer Ausführungsform können eine oder mehrere MMUs 2020A-2020B mit anderen MMUs innerhalb eines Systems synchronisiert werden, einschließlich einer oder mehrerer MMUs, die einem oder mehreren Anwendungsprozessoren 1905, Bildprozessoren 1915 und/oder Videoprozessoren 1920 von 19 zugeordnet sind, so dass jeder Prozessor 1905-1920 an einem gemeinsam genutzten oder vereinheitlichten virtuellen Speichersystem teilnehmen kann. In mindestens einer Ausführungsform ermöglichen eine oder mehrere Schaltungsverbindungen 2030A-2030B dem Grafikprozessor 2010 die Verbindung mit anderen IP-Kernen innerhalb des SoCs, entweder über einen internen Bus des SoCs oder über eine direkte Verbindung.
In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2040 einen oder mehrere Shader-Kerne 2055A-2055N (z. B., 2055A, 2055B, 2055C, 2055D, 2055E, 2055F, bis 2055N-1 und 2055N), wie in 20B gezeigt, die eine einheitliche Shader-Kern-Architektur bereitstellt, in der ein einziger Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Compute-Shadern. In mindestens einer Ausführungsform kann die Anzahl der Shader-Kerne variieren. In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2040 einen Zwischenkern-Taskmanager 2045, der als Thread-Dispatcher fungiert, um Ausführungs-Threads an einen oder mehrere Shader-Kerne 2055A-2055N zu verteilen, sowie eine Kachelungseinheit 2058, um Kachelungsoperationen für kachelbasiertes Rendering zu beschleunigen, bei denen Rendering-Operationen für eine Szene im Bildraum unterteilt werden, um beispielsweise die lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Nutzung interner Caches zu optimieren.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 in der integrierten Schaltung 20A und/oder 20B für Inferenzier- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, einen Grafikprozessor 2040 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Grafikprozessor 2040 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
21A-21B veranschaulichen zusätzliche beispielhafte Grafikprozessorlogik, gemäß hierin beschriebenen Ausführungsformen; 21A veranschaulicht einen Grafikkern 2100, der in mindestens einer Ausführungsform im Grafikprozessor 1910 von 19 enthalten sein kann und ein einheitlicher Shader-Kern 2055A-2055N wie in 20B sein kann. 21B veranschaulicht eine hochparallele Allzweck-Grafikverarbeitungseinheit (general-purpose graphics processing unit - „GPGPU“) 2130, die in mindestens einer Ausführungsform für den Einsatz auf einem Multi-Chip-Modul geeignet ist.
In mindestens einer Ausführungsform beinhaltet der Grafikkern 2100 einen gemeinsam genutzten Anweisungs-Cache 2102, eine Textureinheit 2118 und einen Cache/gemeinsamen Speicher 2120, die den Ausführungsressourcen innerhalb des Grafikkerns 2100 gemeinsam sind. In mindestens einer Ausführungsform kann der Grafikkern 2100 mehrere Slices 2101A-2101N oder eine Partition für jeden Kern beinhalten, und ein Grafikprozessor kann mehrere Instanzen des Grafikkerns 2100 beinhalten. In mindestens einer Ausführungsform können die Slices 2101A-2101N eine Unterstützungslogik beinhalten, die einen lokalen Anweisungs-Cache 2104A-2104N, einen Thread-Scheduler 2106A-2106N, einen Thread-Dispatcher 2108A-2108N und einen Satz von Registern 2110A-2110N umfasst. In mindestens einer Ausführungsform können die Slices 2101A-2101N einen Satz zusätzlicher Funktionseinheiten (AFUs 2112A-2112N), Gleitkommaeinheiten (FPUs 2114A-2114N), Ganzzahl-Arithmetik-Logikeinheiten (ALUs 2116A-2116N) beinhalten, Adressberechnungseinheiten (ACUs 2113A-2113N), doppelt genaue Gleitkommaeinheiten (DPFPUs 2115A-2115N) und Matrixverarbeitungseinheiten (MPUs 2117A-2117N).
In mindestens einer Ausführungsform können die FPUs 2114A-2114N Gleitkommaoperationen mit einfacher Genauigkeit (32 Bit) und halber Genauigkeit (16 Bit) ausführen, während die DPFPUs 2115A-2115N Gleitkommaoperationen mit doppelter Genauigkeit (64 Bit) ausführen. In mindestens einer Ausführungsform können die ALUs 2116A-2116N Ganzzahloperationen mit variabler Präzision bei 8-Bit-, 16-Bit- und 32-Bit-Präzision ausführen und für Operationen mit gemischter Präzision konfiguriert werden. In mindestens einer Ausführungsform können die MPUs 2117A-2117N auch für Matrixoperationen mit gemischter Genauigkeit konfiguriert sein, die Gleitkomma- und 8-Bit-Ganzzahloperationen mit halber Genauigkeit beinhalten. In mindestens einer Ausführungsform können die MPUs 2117-2117N eine Vielzahl von Matrixoperationen ausführen, um Anwendungs-Frameworks für maschinelles Lernen zu beschleunigen, was die Unterstützung einer beschleunigten allgemeinen Matrix-Matrix-Multiplikation (general matrix to matrix multiplication - GEMM) beinhaltet. In mindestens einer Ausführungsform können die AFUs 2112A-2112N zusätzliche logische Operationen ausführen, die von Gleitkomma- oder Ganzzahl-Einheiten nicht unterstützt werden, einschließlich trigonometrischer Operationen (z. B. Sinus, Kosinus usw.).
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 in Grafikkern 2100 für Inferenzier- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, einen Grafikkern 2100 beinhalten, der bei der Verarbeitung von Kandidaten-Begrenzungsrahmen hilft. In mindestens einer Ausführungsform führt der Grafikkern 2100 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
21 B veranschaulicht eine Allzweck-Grafikverarbeitungseinheit (GPGPU) 2130, die so konfiguriert werden kann, dass sie in mindestens einer Ausführungsform hochparallele Rechenoperationen durch ein Array von Grafikverarbeitungseinheiten ausführen kann. In mindestens einer Ausführungsform kann die GPGPU 2130 direkt mit anderen Instanzen der GPGPU 2130 verknüpft werden, um einen Multi-GPU-Cluster zu bilden und die Trainingsgeschwindigkeit für tiefe neuronale Netze zu verbessern. In mindestens einer Ausführungsform beinhaltet die GPGPU 2130 eine Host-Schnittstelle 2132, um eine Verbindung mit einem Hostprozessor zu ermöglichen. In mindestens einer Ausführungsform ist die Host-Schnittstelle 2132 eine PCI-Express-Schnittstelle. In mindestens einer Ausführungsform kann es sich bei der Hostschnittstelle 2132 um eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur handeln. In mindestens einer Ausführungsform empfängt die GPGPU 2130 Befehle von einem Hostprozessor und verwendet einen globalen Scheduler 2134, um die mit diesen Befehlen verbundenen Ausführungsthreads auf einen Satz von Rechenclustern 2136A-2136H zu verteilen. In mindestens einer Ausführungsform teilen sich die Rechencluster 2136A-2136H einen Cache-Speicher 2138. In mindestens einer Ausführungsform kann der Cache-Speicher 2138 als übergeordneter Cache für Cache-Speicher innerhalb von Rechenclustern 2136A-2136H dienen.
In mindestens einer Ausführungsform beinhaltet die GPGPU 2130 Speicher 2144A-2144B, die über einen Satz von Speichercontrollern 2142A-2142B mit Rechenclustern 2136A-2136H gekoppelt sind. In mindestens einer Ausführungsform können die Speicher 2144A-2144B verschiedene Arten von Speichervorrichtungen beinhalten, einschließlich eines dynamischen Direktzugriffsspeichers (DRAM) oder eines Grafik-Direktzugriffsspeichers, wie z. B. eines synchronen Grafik-Direktzugriffsspeichers (SGRAM), einschließlich eines Grafik-Doppeldatenraten-Speichers (GDDR).
In mindestens einer Ausführungsform beinhalten die Rechencluster 2136A-2136H jeweils einen Satz von Grafikkernen, wie z. B. den Grafikkern 2100 von 21A, der mehrere Arten von Ganzzahl- und Gleitkomma-Logikeinheiten beinhalten kann, die Rechenoperationen mit einer Reihe von Genauigkeiten ausführen können, die auch für maschinelle Lernberechnungen geeignet sind. Zum Beispiel kann in mindestens einer Ausführungsform mindestens eine Teilmenge von Gleitkommaeinheiten in jedem der Rechencluster 2136A-2136H so konfiguriert sein, dass sie 16-Bit- oder 32-Bit-Gleitkommaoperationen ausführen, während eine andere Teilmenge von Gleitkommaeinheiten so konfiguriert sein kann, dass sie 64-Bit-Gleitkommaoperationen ausführen kann.
In mindestens einer Ausführungsform können mehrere Instanzen der GPGPU 2130 dazu konfiguriert sein, als Rechencluster zu arbeiten. In mindestens einer Ausführungsform variiert die von den Rechenclustern 2136A-2136H für die Synchronisierung und den Datenaustausch verwendete Kommunikation zwischen den Ausführungsformen. In mindestens einer Ausführungsform kommunizieren mehrere Instanzen der GPGPU 2130 über die Hostschnittstelle 2132. In mindestens einer Ausführungsform beinhaltet die GPGPU 2130 einen E/A-Hub 2139, der die GPGPU 2130 mit einer GPU-Verknüpfung 2140 koppelt, die eine direkte Verbindung zu anderen Instanzen der GPGPU 2130 ermöglicht. In mindestens einer Ausführungsform ist die GPU-Verknüpfung 2140 mit einer dedizierten GPU-zu-GPU-Brücke gekoppelt, die die Kommunikation und Synchronisation zwischen mehreren Instanzen der GPGPU 2130 ermöglicht. In mindestens einer Ausführungsform ist die GPU-Verbindung 2140 mit einer Hochgeschwindigkeitsverbindung gekoppelt, um Daten an andere GPGPUs oder Parallelprozessoren zu übermitteln und zu empfangen. In mindestens einer Ausführungsform befinden sich mehrere Instanzen der GPGPU 2130 in getrennten Datenverarbeitungssystemen und kommunizieren über eine Netzvorrichtung, die über die Hostschnittstelle 2132 zugänglich ist. In mindestens einer Ausführungsform kann die GPU-Verknüpfung 2140 dazu konfiguriert sein, eine Verbindung zu einem Hostprozessor zusätzlich oder alternativ zur Hostschnittstelle 2132 zu ermöglichen.
In mindestens einer Ausführungsform kann die GPGPU 2130 dazu konfiguriert sein, neuronale Netze zu trainieren. In mindestens einer Ausführungsform kann die GPGPU 2130 innerhalb einer Inferenzierungsplattform verwendet werden. In mindestens einer Ausführungsform, in der die GPGPU 2130 zum Inferenzieren verwendet wird, kann die GPGPU 2130 weniger Rechencluster 2136A-2136H beinhalten, als wenn die GPGPU 2130 zum Trainieren eines neuronalen Netzes verwendet wird. In mindestens einer Ausführungsform kann sich die mit dem Speicher 2144A-2144B verbundene Speichertechnologie zwischen Inferenzierungs- und Trainingskonfigurationen unterscheiden, wobei den Trainingskonfigurationen Speichertechnologien mit höherer Bandbreite gewidmet sind. In mindestens einer Ausführungsform kann eine Inferenzierungskonfiguration der GPGPU 2130 inferenzierungsspezifische Anweisungen unterstützen. Zum Beispiel kann in mindestens einer Ausführungsform eine Inferenzierungskonfiguration Unterstützung für eine oder mehrere ganzzahlige 8-Bit-Punktprodukt-Anweisungen bereitstellen, die während Inferenzierungsoperationen für eingesetzte neuronale Netze verwendet werden können.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 in GPGPU 2130 für Inferenzier- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, GPGPU 2130 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt die GPGPU 2130 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
22 ist ein Blockdiagramm, das ein Computersystem 2200 veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet das Rechensystem 2200 ein Verarbeitungsteilsystem 2201 mit einem oder mehreren Prozessoren 2202 und einem Systemspeicher 2204, die über einen Verbindungspfad kommunizieren, der einen Speicher-Hub 2205 beinhalten kann. In mindestens einer Ausführungsform kann der Speicher-Hub 2205 eine separate Komponente innerhalb einer Chipsatzkomponente sein oder in einen oder mehrere Prozessoren 2202 integriert sein. In mindestens einer Ausführungsform ist der Speicher-Hub 2205 über eine Verknüpfung 2206 mit einem E/A-Teilsystem 2211 gekoppelt. In mindestens einer Ausführungsform beinhaltet das E/A-Teilsystem 2211 einen E/A-Hub 2207, der es dem Rechensystem 2200 ermöglichen kann, Eingaben von einer oder mehreren Empfangsvorrichtungen 2208 zu empfangen. In mindestens einer Ausführungsform kann der E/A-Hub 2207 einen Anzeigecontroller, der in einem oder mehreren Prozessoren 2202 enthalten sein kann, in die Lage versetzen, Ausgaben für eine oder mehrere Anzeigevorrichtungen 2210A bereitzustellen. In mindestens einer Ausführungsform kann eine oder mehrere mit dem E/A-Hub 2207 gekoppelte Vorrichtungen 2210A eine lokale, interne oder eingebettete Anzeigevorrichtung beinhalten.
In mindestens einer Ausführungsform beinhaltet das Verarbeitungsteilsystem 2201 einen oder mehrere parallele Prozessoren 2212, die über einen Bus oder eine andere Verknüpfung 2213 mit dem Speicher-Hub 2205 gekoppelt sind. In mindestens einer Ausführungsform kann die Verknüpfung 2213 eine beliebige Anzahl von standardbasierten Verknüpfungstechnologien oder Protokollen verwenden, wie PCI Express, aber nicht darauf beschränkt, oder kann eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einer Ausführungsform bilden ein oder mehrere Parallelprozessoren 2212 ein rechenintensives Parallel- oder Vektorverarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern beinhalten kann, wie z. B. ein Many Integrated Core-(MIC-)Prozessor. In mindestens einer Ausführungsform bilden einige oder alle Parallelprozessoren 2212 ein Teilsystem für die Grafikverarbeitung, das Pixel an eine oder mehrere Anzeigevorrichtungen 2210A ausgeben kann, die über den E/A-Hub 2207 gekoppelt sind. In mindestens einer Ausführungsform können die Parallelprozessoren 2212 auch einen Anzeigecontroller und eine Anzeigeschnittstelle (nicht gezeigt) beinhalten, um eine direkte Verbindung mit einer oder mehreren Anzeigevorrichtungen 2210B zu ermöglichen.
In mindestens einer Ausführungsform kann eine Systemspeichereinheit 2214 an den E/A-Hub 2207 angeschlossen werden, um einen Speichermechanismus für das Computersystem 2200 bereitzustellen. In mindestens einer Ausführungsform kann ein E/A-Switch 2216 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, der Verbindungen zwischen dem E/A-Hub 2207 und anderen Komponenten ermöglicht, wie z. B. einem Netzadapter 2218 und/oder einem drahtlosen Netzadapter 2219, der in die Plattform integriert werden kann, und verschiedenen anderen Vorrichtungen, die über eine oder mehrere Add-in-Vorrichtungen 2220 hinzugefügt werden können. In mindestens einer Ausführungsform kann der Netzadapter 2218 ein Ethernet-Adapter oder ein anderer kabelgebundener Netzadapter sein. In mindestens einer Ausführungsform kann der drahtlose Netzadapter 2219 eine oder mehrere Wi-Fi-, Bluetooth-, Near Field Communication (NFC)- oder andere Netz-Vorrichtungen beinhalten, die ein oder mehrere drahtlose Funkgeräte beinhalten.
In mindestens einer Ausführungsform kann das Computersystem 2200 weitere, nicht explizit dargestellte Komponenten beinhalten, einschließlich USB- oder andere Anschlussverbindungen, optische Speicherlaufwerke, Videoaufnahmegeräte und dergleichen, die ebenfalls mit dem E/A-Hub 2207 verbunden sein können. In mindestens einer Ausführungsform können Kommunikationspfade, die verschiedene Komponenten in 22 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle implementiert werden, wie z. B. auf PCI (Peripheral Component Interconnect) basierende Protokolle (z. B. PCI-Express) oder andere Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder Protokolle, wie NV-Link-Hochgeschwindigkeitsverknüpfung oder Verknüpfungsprotokolle.
In mindestens einer Ausführungsform enthalten die Parallelprozessoren 2212 einen für die Grafik- und Videoverarbeitung optimierten Schaltkreis, der beispielsweise eine Schaltung für die Videoausgabe beinhaltet und eine Grafikverarbeitungseinheit (GPU) darstellt. In mindestens einer Ausführungsform enthalten die Parallelprozessoren 2212 einen Schaltkreis, der für die allgemeine Verarbeitung optimiert ist. In mindestens einer Ausführungsform können Komponenten des Computersystems 2200 mit einem oder mehreren anderen Systemelementen auf einer einzigen integrierten Schaltung integriert sein. Zum Beispiel können in mindestens einer Ausführungsform die Parallelprozessoren 2212, der Speicher-Hub 2205, die Prozessoren 2202 und der E/A-Hub 2207 in eine integrierte Schaltung eines System on Chip (SoCs) integriert werden. In mindestens einer Ausführungsform können Komponenten des Computersystems 2200 in ein einziges Gehäuse integriert werden, um eine System-in-Package-Konfiguration (SIP) zu bilden. In mindestens einer Ausführungsform kann zumindest ein Abschnitt der Komponenten des Rechensystems 2200 in ein Multi-Chip-Modul (MCM) integriert werden, das mit anderen Multi-Chip-Modulen zu einem modularen Rechensystem zusammengeschaltet werden kann.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 im System der FIG. 2200 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hierin beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
In mindestens einer Ausführungsform kann das Computersystem 2200 zur Implementierung eines Computersystems verwendet werden, das zur Verarbeitung von Bildern und zur Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert das Computersystem 2200 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
PROZESSOREN
23A veranschaulicht einen Parallelprozessor 2300 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können verschiedene Komponenten des Parallelprozessors 2300 unter Verwendung einer oder mehrerer integrierter Vorrichtungen, wie programmierbare Prozessoren, anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate Arrays (FPGAs), implementiert werden. In mindestens einer Ausführungsform ist der veranschaulichte Parallelprozessor 2300 eine Variante eines oder mehrerer Parallelprozessoren 2212, die in 22 gemäß einer beispielhaften Ausführungsform dargestellt sind.
In mindestens einer Ausführungsform beinhaltet der Parallelprozessor 2300 eine Parallelverarbeitungseinheit 2302. In mindestens einer Ausführungsform beinhaltet die Parallelverarbeitungseinheit 2302 eine E/A-Einheit 2304, die die Kommunikation mit anderen Vorrichtungen, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 2302, ermöglicht. In mindestens einer Ausführungsform kann die E/A-Einheit 2304 direkt mit anderen Vorrichtungen verbunden sein. In mindestens einer Ausführungsform ist die E/A-Einheit 2304 über eine Hub- oder Switch-Schnittstelle, wie z. B. einen Speicher-Hub 2305, mit anderen Vorrichtungen verbunden. In mindestens einer Ausführungsform bilden die Verbindungen zwischen dem Speicher-Hub 2305 und der E/A-Einheit 2304 eine Verknüpfung 2313. In mindestens einer Ausführungsform ist die E/A-Einheit 2304 mit einer Hostschnittstelle 2306 und einer Speicherkreuzschiene 2316 verbunden, wobei die Hostschnittstelle 2306 Befehle zum Ausführen von Verarbeitungsoperationen und die Speicherkreuzschiene 2316 Befehle zum Ausführen von Speicheroperationen empfängt.
In mindestens einer Ausführungsform, wenn die Hostschnittstelle 2306 einen Befehlspuffer über die E/A-Einheit 2304 empfängt, kann die Hostschnittstelle 2306 Arbeitsoperationen zum Ausführen dieser Befehle an ein Frontend 2308 leiten. In mindestens einer Ausführungsform ist das Frontend 2308 mit einem Scheduler 2310 gekoppelt, der dazu konfiguriert ist, Befehle oder andere Arbeitselemente an ein Verarbeitungscluster Array 2312 zu verteilen. In mindestens einer Ausführungsform stellt der Scheduler 2310 sicher, dass das Verarbeitungsclusterarray 2312 ordnungsgemäß konfiguriert ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an ein Cluster des Verarbeitungscluster-Arrays 2312 verteilt werden. In mindestens einer Ausführungsform ist der Scheduler 2310 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. In mindestens einer Ausführungsform ist der von einem Mikrocontroller implementierte Scheduler 2310 so konfigurierbar, dass er komplexe Operationen zur Zeitplanung und Arbeitsverteilung mit grober und feiner Granularität ausführen kann, was eine schnelle Vorrangschaltung und Kontextumschaltung von Threads ermöglicht, die auf dem Verarbeitungsarray 2312 ausgeführt werden. In mindestens einer Ausführungsform kann die Hostsoftware Arbeitslasten für die Planung auf dem Verarbeitungsclusterarray 2312 über einen von mehreren Grafikverarbeitungspfaden nachweisen. In mindestens einer Ausführungsform können die Arbeitslasten dann durch die Logik des Schedulers 2310 in einem Mikrocontroller, der den Scheduler 2310 beinhaltet, automatisch über den Verarbeitungsarraycluster 2312 verteilt werden.
In mindestens einer Ausführungsform kann das Array 2312 bis zu „N“ Verarbeitungscluster beinhalten (z. B. Cluster 2314A, Cluster 2314B bis hin zu Cluster 2314N), wobei „N“ eine positive ganze Zahl darstellt (die eine andere ganze Zahl „N“ sein kann als in anderen Figuren verwendet). In mindestens einer Ausführungsform kann jeder Cluster 2314A-2314N des Verarbeitungsclusterarrays 2312 eine große Anzahl von gleichzeitigen Threads ausführen. In mindestens einer Ausführungsform kann der Scheduler 2310 den Clustern 2314A-2314N des Verarbeitungsclusterarrays 2312 Arbeit zuweisen, indem er verschiedene Scheduling- und/oder Arbeitsverteilungsalgorithmen verwendet, die in Abhängigkeit von der Arbeitslast variieren können, die für jede Art von Programm oder Berechnung entsteht. In mindestens einer Ausführungsform kann das Scheduling dynamisch durch den Scheduler 2310 gehandhabt werden oder teilweise durch die Compilerlogik während der Kompilierung der Programmlogik unterstützt werden, die für die Ausführung durch das Verarbeitungsclusterarray 2312 ausgestaltet ist. In mindestens einer Ausführungsform können verschiedene Cluster 2314A-2314N des Verarbeitungsclusterarrays 2312 für die Verarbeitung verschiedener Programmtypen oder für die Durchführung verschiedener Arten von Berechnungen zugewiesen werden.
In mindestens einer Ausführungsform kann das Verarbeitungsclusterarray 2312 dazu konfiguriert sein, verschiedene Arten von parallelen Verarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform ist das Verarbeitungsclusterarray 2312 dazu konfiguriert, parallele Rechenoperationen für allgemeine Zwecke auszuführen. Zum Beispiel kann in mindestens einer Ausführungsform das Verarbeitungsclusterarray 2312 eine Logik zur Ausführung von Verarbeitungsaufgaben beinhalten, die das Filtern von Video- und/oder Audiodaten, das Ausführen von Modellierungsoperationen, einschließlich physikalischer Operationen, und das Ausführen von Datentransformationen umfasst.
In mindestens einer Ausführungsform ist das Verarbeitungsclusterarray 2312 dazu konfiguriert, parallele Grafikverarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform kann das Verarbeitungsclusterarray 2312 zusätzliche Logik beinhalten, um die Ausführung solcher Grafikverarbeitungsoperationen zu unterstützen, einschließlich, aber nicht beschränkt auf, Texturabtastlogik, um Texturoperationen auszuführen, sowie Tesselationslogik und andere Vertexverarbeitungslogik. In mindestens einer Ausführungsform kann das Verarbeitungsclusterarray 2312 dazu konfiguriert sein, grafikverarbeitungsbezogene Shader-Programme auszuführen, wie, Vertex-Shader, Tesselation-Shader, Geometrie-Shader und Pixel-Shader. In mindestens einer Ausführungsform kann die Parallelverarbeitungseinheit 2302 Daten aus dem Systemspeicher über die E/A-Einheit 2304 zur Verarbeitung übertragen. In mindestens einer Ausführungsform können die übertragenen Daten während der Verarbeitung im On-Chip-Speicher (z. B. im Parallelprozessorspeicher 2322) gespeichert und anschließend in den Systemspeicher zurückgeschrieben werden.
In mindestens einer Ausführungsform, wenn die Parallelverarbeitungseinheit 2302 zum Ausführen der Grafikverarbeitung verwendet wird, kann der Scheduler 2310 so konfigurierbar sein, dass er ein Verarbeitungspensum in ungefähr gleich große Aufgaben aufteilt, um eine bessere Verteilung der Grafikverarbeitungsoperationen auf mehrere Cluster 2314A-2314N des Verarbeitungsclusterarrays 2312 zu ermöglichen. In mindestens einer Ausführungsform können Abschnitte des Verarbeitungsclusterarrays 2312 so konfiguriert sein, dass sie verschiedene Arten der Verarbeitung ausführen. Zum Beispiel kann in mindestens einer Ausführungsform ein erster Abschnitt dazu konfiguriert sein, Vertex-Shading und Topologieerzeugung auszuführen, ein zweiter Abschnitt kann dazu konfiguriert sein, Tesselation und Geometrie-Shading auszuführen, und ein dritter Abschnitt kann dazu konfiguriert sein, Pixel-Shading oder andere Bildschirmoperationen auszuführen, um ein gerendertes Bild für die Anzeige zu erzeugen. In mindestens einer Ausführungsform können Zwischendaten, die von einem oder mehreren der Cluster 2314A-2314N erzeugt wurden, in Puffern gespeichert werden, damit Zwischendaten zur weiteren Verarbeitung zwischen den Clustern 2314A-2314N übermittelt werden können.
In mindestens einer Ausführungsform kann das Verarbeitungsclusterarray 2312 über den Scheduler 2310, der Befehle zur Definition von Verarbeitungsaufgaben vom Frontend 2308 erhält, auszuführende Verarbeitungsaufgaben empfangen. In mindestens einer Ausführungsform können die Verarbeitungsaufgaben Indizes der zu verarbeitenden Daten beinhalten, z. B. Oberflächen- (Patch-) Daten, Primitivdaten, Scheitelpunktdaten und/oder Pixeldaten, sowie Zustandsparameter und Befehle, die definieren, wie die Daten zu verarbeiten sind (z. B. welches Programm ausgeführt werden soll). In mindestens einer Ausführungsform kann der Scheduler 2310 dazu konfiguriert sein, den Aufgaben entsprechende Indizes abzurufen, oder er kann Indizes vom Frontend 2308 empfangen. In mindestens einer Ausführungsform kann das Frontend 2308 so konfiguriert werden, dass sichergestellt wird, dass das Verarbeitungsclusterarray 2312 in einen gültigen Zustand konfiguriert ist, bevor eine durch eingehende Befehlspuffer (z. B. Batch-Puffer, Push-Puffer usw.) spezifizierte Arbeitslast eingeleitet wird.
In mindestens einer Ausführungsform kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 2302 mit einem Parallelprozessorspeicher 2322 gekoppelt sein. In mindestens einer Ausführungsform kann auf den Parallelprozessorspeicher 2322 über die Speicherkreuzschiene 2316 zugegriffen werden, die Speicheranforderungen vom Verarbeitungsclusterarray 2312 sowie von der E/A-Einheit 2304 empfangen kann. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 2316 über eine Speicherschnittstelle 2318 auf den parallelen Prozessorspeicher 2322 zugreifen. In mindestens einer Ausführungsform kann die Speicherschnittstelle 2318 mehrere Partitionseinheiten (z. B. Partitionseinheit 2320A, Partitionseinheit 2320B bis Partitionseinheit 2320N) beinhalten, die jeweils mit einem Abschnitt (z. B. Speichereinheit) des parallelen Prozessorspeichers 2322 gekoppelt werden können. In mindestens einer Ausführungsform ist eine Anzahl von Partitionseinheiten 2320A-2320N dazu konfiguriert, gleich einer Anzahl von Speichereinheiten zu sein, so dass eine erste Partitionseinheit 2320A eine entsprechende erste Speichereinheit 2324A aufweist, eine zweite Partitionseinheit 2320B eine entsprechende Speichereinheit 2324B aufweist und eine N-te Partitionseinheit 2320N eine entsprechende N-te Speichereinheit 2324N aufweist. In mindestens einer Ausführungsform kann die Anzahl der Partitionseinheiten 2320A-2320N nicht gleich der Anzahl der Speichereinheiten sein.
In mindestens einer Ausführungsform können die Speichereinheiten 2324A-2324N verschiedene Arten von Speichervorrichtungen beinhalten, einschließlich eines dynamischen Direktzugriffsspeichers (DRAM) oder eines Grafik-Direktzugriffsspeichers, wie z. B. eines synchronen Grafik-Direktzugriffsspeichers (SGRAM), einschließlich eines Grafik-Doppeldatenraten(GDDR)-Speichers. In mindestens einer Ausführungsform können die Speichereinheiten 2324A-2324N auch einen 3D-Stapelspeicher beinhalten, der unter anderem einen Speicher mit hoher Bandbreite (HBM) beinhaltet. In mindestens einer Ausführungsform können Rendering-Ziele, wie Frame-Puffer oder Textur-Zuordnungen, über die Speichereinheiten 2324A-2324N hinweg gespeichert werden, wodurch die Partitionseinheiten 2320A-2320N Abschnitte jedes Rendering-Ziels parallel schreiben können, um die verfügbare Bandbreite des Parallelprozessorspeichers 2322 effizient zu nutzen. In mindestens einer Ausführungsform kann eine lokale Instanz des parallelen Prozessorspeichers 2322 zugunsten eines einheitlichen Speicherdesigns ausgeschlossen werden, das den Systemspeicher in Verbindung mit dem lokalen Cache-Speicher nutzt.
In mindestens einer Ausführungsform kann jedes der Cluster 2314A-2314N des Verarbeitungsclusterarrays 2312 Daten verarbeiten, die in jede der Speichereinheiten 2324A-2324N im Parallelprozessorspeicher 2322 geschrieben werden. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 2316 dazu konfiguriert sein, eine Ausgabe jedes Clusters 2314A-2314N an eine beliebige Partitionseinheit 2320A-2320N oder an einen anderen Cluster 2314A-2314N zu übertragen, der zusätzliche Operationen an einer Ausgabe ausführen kann. In mindestens einer Ausführungsform kann jeder Cluster 2314A-2314N über die Speicherkreuzschiene 2316 mit der Speicherschnittstelle 2318 kommunizieren, um von verschiedenen externen Speichervorrichtungen zu lesen oder in diese zu schreiben. In mindestens einer Ausführungsform weist die Speicherkreuzschiene 2316 eine Verbindung zur Speicherschnittstelle 2318 auf, um mit der E/A-Einheit 2304 zu kommunizieren, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 2322, die es den Verarbeitungseinheiten innerhalb der verschiedenen Verarbeitungscluster 2314A-2314N ermöglicht, mit dem Systemspeicher oder einem anderen Speicher zu kommunizieren, der nicht lokal zur Parallelverarbeitungseinheit 2302 gehört. In mindestens einer Ausführungsform kann die Speicherkreuzschiene 2316 virtuelle Kanäle verwenden, um Verkehrsströme zwischen Clustern 2314A-2314N und Partitionseinheiten 2320A-2320N zu trennen.
In mindestens einer Ausführungsform können mehrere Instanzen der Parallelverarbeitungseinheit 2302 auf einer einzigen Add-in-Karte bereitgestellt werden, oder es können mehrere Add-in-Karten zusammengeschaltet werden. In mindestens einer Ausführungsform können verschiedene Instanzen der Parallelverarbeitungseinheit 2302 so konfiguriert sein, dass sie auch dann zusammenarbeiten, wenn die verschiedenen Instanzen eine unterschiedliche Anzahl von Verarbeitungskernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Zum Beispiel können in mindestens einer Ausführungsform einige Instanzen der Parallelverarbeitungseinheit 2302 Gleitkommaeinheiten mit höherer Präzision im Vergleich zu anderen Instanzen beinhalten. In mindestens einer Ausführungsform können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 2302 oder des Parallelprozessors 2300 enthalten, in einer Vielzahl von Ausführungsformen und Formfaktoren implementiert werden, die unter anderem Desktop-, Laptop- oder Handheld-PCs, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme beinhalten.
23B ist ein Blockdiagramm einer Partitionseinheit 2320 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Partitionseinheit 2320 eine Instanz einer der Partitionseinheiten 2320A-2320N aus 23A. In mindestens einer Ausführungsform beinhaltet die Partitionseinheit 2320 einen L2-Cache 2321, eine Frame-Puffer-Schnittstelle 2325 und eine ROP 2326 (Raster Operations Unit). In mindestens einer Ausführungsform ist der L2-Cache 2321 ein Lese-/Schreib-Cache, der dazu konfiguriert ist, Lade- und Speicheroperationen auszuführen, die von der Speicherkreuzschiene 2316 und der ROP 2326 empfangen werden. In mindestens einer Ausführungsform werden Lesefehler und dringende Rückschreibanforderungen vom L2-Cache 2321 an die Frame-Puffer-Schnittstelle 2325 zur Verarbeitung ausgegeben. In mindestens einer Ausführungsform können Aktualisierungen auch über die Frame-Puffer-Schnittstelle 2325 zur Verarbeitung an einen Frame-Puffer gesendet werden. In mindestens einer Ausführungsform ist die Frame-Puffer-Schnittstelle 2325 mit einer der Speichereinheiten im parallelen Prozessorspeicher verbunden, wie etwa den Speichereinheiten 2324A-2324N von 23 (z. B. im parallelen Prozessorspeicher 2322).
In mindestens einer Ausführungsform ist ROP 2326 eine Verarbeitungseinheit, die Rasteroperationen wie Schablonen, Z-Test, Überblendung usw. ausführt. In mindestens einer Ausführungsform gibt ROP 2326 dann verarbeitete Grafikdaten aus, die im Grafikspeicher abgelegt werden. In mindestens einer Ausführungsform beinhaltet ROP 2326 eine Komprimierungslogik zur Komprimierung von Tiefen- oder Farbdaten, die in den Speicher geschrieben werden, und zur Dekomprimierung von Tiefen- oder Farbdaten, die aus dem Speicher gelesen werden. In mindestens einer Ausführungsform kann die Komprimierungslogik eine verlustfreie Komprimierungslogik sein, die einen oder mehrere von mehreren Komprimierungsalgorithmen verwendet. In mindestens einer Ausführungsform kann eine Art der von der ROP 2326 durchgeführten Komprimierung auf der Grundlage statistischer Merkmale der zu komprimierenden Daten variieren. Zum Beispiel wird in mindestens einer Ausführungsform eine Delta-Farbkomprimierung für Tiefen- und Farbdaten auf einer Pro-Kachel-Basis ausgeführt.
In mindestens einer Ausführungsform ist ROP 2326 in jedem Verarbeitungscluster (z. B. Cluster 2314A-2314N von 23A) und nicht in der Partitionseinheit 2320 enthalten. In mindestens einer Ausführungsform werden Lese- und Schreibanforderungen für Pixeldaten über die Speicherkreuzschiene 2316 anstelle von Pixelfragmentdaten übermittelt. In mindestens einer Ausführungsform können verarbeitete Grafikdaten auf einer Vorrichtung, wie einer oder mehreren Anzeigevorrichtungen 2210 aus 22, zur weiteren Verarbeitung durch Prozessoren 2202 oder zur weiteren Verarbeitung durch eine der Verarbeitungseinheiten im Parallelprozessor 2300 aus 23A weitergeleitet werden.
23C ist ein Blockdiagramm eines Verarbeitungsclusters 2314 innerhalb einer Parallelverarbeitungseinheit gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist ein Verarbeitungscluster eine Instanz von einem der Verarbeitungscluster 2314A-2314N von 23A. In mindestens einer Ausführungsform kann der Verarbeitungscluster 2314 dazu konfiguriert sein, viele Threads parallel auszuführen, wobei sich „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingabedaten ausgeführt wird. In mindestens einer Ausführungsform werden SIMD-Befehlsausgabetechniken (Single-Instruction, Multiple-Data) verwendet, um die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Anweisungseinheiten bereitzustellen. In mindestens einer Ausführungsform werden Single-Instruction-Multiple-Thread (SIMT)-Techniken verwendet, um die parallele Ausführung einer großen Anzahl von im Allgemeinen synchronisierten Threads zu unterstützen, wobei eine gemeinsame Anweisungseinheit verwendet wird, die dazu konfiguriert ist, Anweisungen an einen Satz von Verarbeitungsengines innerhalb jedes der Verarbeitungscluster auszugeben.
In mindestens einer Ausführungsform kann die Operation des Verarbeitungsclusters 2314 über einen Pipelinemanager 2332 gesteuert werden, der die Verarbeitungsaufgaben auf parallele SIMT-Prozessoren verteilt. In mindestens einer Ausführungsform empfängt der Pipelinemanager 2332 Anweisungen vom Scheduler 2310 von 23A und verwaltet die Ausführung dieser Anweisungen über einen Grafikmultiprozessor 2334 und/oder eine Textureinheit 2336. In mindestens einer Ausführungsform ist der Grafikmultiprozessor 2334 eine beispielhafte Instanz eines SIMT-Parallelprozessors. In mindestens einer Ausführungsform können jedoch verschiedene Typen von SIMT-Parallelprozessoren mit unterschiedlichen Architekturen im Verarbeitungscluster 2314 enthalten sein. In mindestens einer Ausführungsform können ein oder mehrere Instanzen des Grafikmultiprozessors 2334 in einem Verarbeitungscluster 2314 enthalten sein. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 2334 Daten verarbeiten, und eine Datenkreuzschiene 2340 kann verwendet werden, um die verarbeiteten Daten an eines von mehreren möglichen Zielen zu verteilen, die andere Shader-Einheiten beinhalten. In mindestens einer Ausführungsform kann der Pipelinemanager 2332 die Verteilung der verarbeiteten Daten erleichtern, indem er Ziele für die über die Datenkreuzschiene 2340 zu verteilenden verarbeiteten Daten angibt.
In mindestens einer Ausführungsform kann jeder Grafikmultiprozessor 2334 innerhalb des Verarbeitungsclusters 2314 einen identischen Satz funktionaler Ausführungslogik beinhalten (z. B. arithmetische Logikeinheiten, Ladespeichereinheiten usw.). In mindestens einer Ausführungsform kann die funktionale Ausführungslogik dazu in einer Pipeline konfiguriert sein, so dass neue Anweisungen ausgegeben werden können, bevor vorherige Anweisungen abgeschlossen sind. In mindestens einer Ausführungsform unterstützt die funktionale Ausführungslogik eine Vielzahl von Operationen, die Ganzzahl- und Gleitkomma-Arithmetik, Vergleichsoperationen, Bool'sche Operationen, Bit-Shifting und die Berechnung verschiedener algebraischer Funktionen beinhalten. In mindestens einer Ausführungsform kann dieselbe Hardware mit Funktionseinheiten genutzt werden, um verschiedene Operationen auszuführen, und es kann jede beliebige Kombination von Funktionseinheiten vorhanden sein.
In mindestens einer Ausführungsform bilden die dem Verarbeitungscluster 2314 übermittelten Anweisungen einen Thread. In mindestens einer Ausführungsform ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungsengines ausgeführt werden, eine Thread-Gruppe. In mindestens einer Ausführungsform führt eine Thread-Gruppe ein gemeinsames Programm auf unterschiedlichen Eingabedaten aus. In mindestens einer Ausführungsform kann jeder Thread innerhalb einer Thread-Gruppe einer anderen Verarbeitungsengine innerhalb eines Grafikmultiprozessors 2334 zugewiesen werden. In mindestens einer Ausführungsform kann eine Thread-Gruppe weniger Threads beinhalten als eine Anzahl von Verarbeitungsengines innerhalb des Grafikmultiprozessors 2334. In mindestens einer Ausführungsform können sich, wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungsengines beinhaltet, eine oder mehrere der Verarbeitungsengines während der Zyklen, in denen diese Thread-Gruppe verarbeitet wird, im Leerlauf befinden. In mindestens einer Ausführungsform kann eine Thread-Gruppe auch mehr Threads beinhalten als eine Anzahl von Verarbeitungsengines innerhalb des Grafikmultiprozessors 2334. In mindestens einer Ausführungsform, wenn eine Thread-Gruppe mehr Threads beinhaltet als die Anzahl der Verarbeitungsengines im Grafikmultiprozessor 2334, kann die Verarbeitung in aufeinanderfolgenden Taktzyklen ausgeführt werden. In mindestens einer Ausführungsform können mehrere Thread-Gruppen gleichzeitig auf einem Grafikmultiprozessor 2334 ausgeführt werden.
In mindestens einer Ausführungsform beinhaltet der Grafikmultiprozessor 2334 einen internen Cache-Speicher zum Ausführen von Lade- und Speicheroperationen. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 2334 auf einen internen Cache verzichten und einen Cache-Speicher (z. B. L1-Cache 2348) innerhalb des Verarbeitungsclusters 2314 verwenden. In mindestens einer Ausführungsform hat jeder Grafikmultiprozessor 2334 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten (z. B. die Partitionseinheiten 2320A-2320N von 23A), die von allen Verarbeitungsclustern 2314 gemeinsam genutzt werden und zur Datenübertragung zwischen Threads verwendet werden können. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 2334 auch auf den globalen Speicher außerhalb des Chips zugreifen, der einen oder mehrere lokale Parallelprozessorspeicher und/oder Systemspeicher beinhalten kann. In mindestens einer Ausführungsform kann jeder Speicher außerhalb der Parallelverarbeitungseinheit 2302 als globaler Speicher verwendet werden. In mindestens einer Ausführungsform beinhaltet der Verarbeitungscluster 2314 mehrere Instanzen des Grafikmultiprozessors 2334 und kann gemeinsame Anweisungen und Daten nutzen, die im L1-Cache 2348 gespeichert sein können.
In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 2314 eine MMU 2345 (Speicherverwaltungseinheit) beinhalten, die dazu konfiguriert ist, virtuelle Adressen in physische Adressen zuzuordnen. In mindestens einer Ausführungsform können sich eine oder mehrere Instanzen der MMU 2345 innerhalb der Speicherschnittstelle 2318 von 23A befinden. In mindestens einer Ausführungsform beinhaltet die MMU 2345 einen Satz von Seitentabelleneinträgen (page table entries - PTEs), die zur Zuordnung einer virtuellen Adresse zu einer physischen Adresse einer Kachel verwendet werden, sowie optional einen Cache-Zeilenindex. In mindestens einer Ausführungsform kann die MMU 2345 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches beinhalten, die sich im Grafikmultiprozessor 2334 oder im L1-Cache 2348 oder im Verarbeitungscluster 2314 befinden können. In mindestens einer Ausführungsform wird eine physische Adresse verarbeitet, um den Zugriff auf Oberflächendaten lokal zu verteilen und eine effiziente Verschachtelung der Anforderungen zwischen den Partitionseinheiten zu ermöglichen. In mindestens einer Ausführungsform kann ein Cache-Zeilenindex verwendet werden, um zu bestimmen, ob eine Anforderung für eine Cache-Zeile ein Hit oder Miss ist.
In mindestens einer Ausführungsform kann das Verarbeitungscluster 2314 so konfiguriert sein, dass jeder Grafikmultiprozessor 2334 mit einer Textureinheit 2336 gekoppelt ist, um Textur-Zuordnungsoperationen auszuführen, z. B. Bestimmen von Textur-Abtast-Positionen, Lesen von Texturdaten und Filtern von Texturdaten. In mindestens einer Ausführungsform werden die Texturdaten aus einem internen Textur-L1-Cache (nicht dargestellt) oder aus einem L1-Cache innerhalb des Grafikmultiprozessors 2334 gelesen und je nach Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder dem Systemspeicher abgerufen. In mindestens einer Ausführungsform gibt jeder Grafikmultiprozessor 2334 verarbeitete Aufgaben an die Datenkreuzschiene 2340 aus, um die verarbeitete Aufgabe einem anderen Verarbeitungscluster 2314 zur weiteren Verarbeitung bereitzustellen oder um die verarbeitete Aufgabe über die Speicherkreuzschiene 2316 in einem L2-Cache, im lokalen Parallelprozessorspeicher oder im Systemspeicher zu speichern. In mindestens einer Ausführungsform ist eine preROP 2342 (pre-raster operations unit) so konfiguriert, dass sie Daten vom Grafikmultiprozessor 2334 empfängt und Daten an ROP-Einheiten weiterleitet, die sich in den hierin beschriebenen Partitionseinheiten befinden können (z. B. die Partitionseinheiten 2320A-2320N in 23A). In mindestens einer Ausführungsform kann die preROP-Einheit 2342 Optimierungen für die Farbmischung, das Organisieren von Pixelfarbdaten und das Ausführen von Adressübersetzungen ausführen.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 in Grafikverarbeitungscluster 2314 für Inferenzier- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, einen Parallelprozessor 2300 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Parallelprozessor 2300 Anweisungen aus, die zumindest zum Teil die oben beschriebenen Techniken implementieren.
23D zeigt einen Grafikmultiprozessor 2334, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Grafikmultiprozessor 2334 mit dem Pipelinemanager 2332 des Verarbeitungsclusters 2314 gekoppelt. In mindestens einer Ausführungsform verfügt der Grafikmultiprozessor 2334 über eine Ausführungspipeline, die unter anderem einen Anweisungs-Cache 2352, eine Anweisungseinheit 2354, eine Adressenzuordnungseinheit 2356, eine Registerdatei 2358, einen oder mehrere Allzweck-Grafikverarbeitungseinheiten (GPGPU-Kerne) 2362 und eine oder mehrere Lade-/Speichereinheiten 2366 beinhaltet. In mindestens einer Ausführungsform sind die GPGPU-Kerne 2362 und die Lade-/Speichereinheiten 2366 über eine Speicher- und Cache-Verbindung 2368 mit dem Cache-Speicher 2372 und dem gemeinsamen Speicher 2370 gekoppelt.
In mindestens einer Ausführungsform empfängt der Anweisungscache 2352 einen Strom von Anweisungen zur Ausführung vom Pipelinemanager 2332. In mindestens einer Ausführungsform werden die Anweisungen im Anweisungscache 2352 zwischengespeichert und von einer Anweisungseinheit 2354 zur Ausführung zugewiesen. In mindestens einer Ausführungsform kann die Anweisungseinheit 2354 Anweisungen in Form von Thread-Gruppen (z. B. Warps) versenden, wobei jeder Thread einer Thread-Gruppe einer anderen Ausführungseinheit innerhalb der GPGPU-Kerne 2362 zugewiesen ist. In mindestens einer Ausführungsform kann eine Anweisung auf einen lokalen, gemeinsam genutzten oder globalen Adressraum zugreifen, indem sie eine Adresse innerhalb eines einheitlichen Adressraums angibt. In mindestens einer Ausführungsform kann die Adresszuordnungseinheit 2356 dazu verwendet werden, Adressen in einem einheitlichen Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf die die Lade-/Speichereinheiten 2366 zugreifen können.
In mindestens einer Ausführungsform stellt die Registerdatei 2358 einen Satz von Registern für Funktionseinheiten des Grafikmultiprozessors 2334 bereit. In mindestens einer Ausführungsform stellt die Registerdatei 2358 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten (z. B. GPGPU-Kerne 2362, Lade-/Speichereinheiten 2366) des Grafikmultiprozessors 2334 verbunden sind. In mindestens einer Ausführungsform wird die Registerdatei 2358 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein eigener Teil der Registerdatei 2358 zugewiesen wird. In mindestens einer Ausführungsform ist die Registerdatei 2358 auf verschiedene Warps aufgeteilt, die vom Grafikmultiprozessor 2334 ausgeführt werden.
In mindestens einer Ausführungsform können die GPGPU-Kerne 2362 jeweils Gleitkommaeinheiten (FPUs) und/oder ganzzahlige arithmetische Logikeinheiten (ALUs) beinhalten, die zur Ausführung von Anweisungen des Grafikmultiprozessors 2334 verwendet werden. In mindestens einer Ausführungsform können die GPGPU-Kerne 2362 eine ähnliche Architektur aufweisen oder sich in der Architektur unterscheiden. In mindestens einer Ausführungsform beinhaltet ein erster Abschnitt der GPGPU-Kerne 2362 eine FPU mit einfacher Genauigkeit und eine Ganzzahl-ALU, während ein zweiter Abschnitt der GPGPU-Kerne eine FPU mit doppelter Genauigkeit beinhaltet. In mindestens einer Ausführungsform können FPUs IEEE 754-2008 Standard-Gleitkomma-Arithmetik implementieren oder Gleitkomma-Arithmetik mit variabler Genauigkeit ermöglichen. In mindestens einer Ausführungsform kann der Grafikmultiprozessor 2334 zusätzlich eine oder mehrere Festfunktions- oder Sonderfunktionseinheiten beinhalten, um spezifische Operationen wie das Kopieren von Rechtecken oder das Überblenden von Pixeln auszuführen. In mindestens einer Ausführungsform kann einer oder mehrere der GPGPU-Kerne 2362 auch eine feste oder spezielle Funktionslogik beinhalten.
In mindestens einer Ausführungsform beinhalten die GPGPU-Kerne 2362 eine SIMD-Logik, die in der Lage ist, eine einzige Anweisung auf mehrere Sätze von Daten auszuführen. In mindestens einer Ausführungsform können GPGPU-Kerne 2362 physisch SIMD4-, SIMD8- und SIMD16-Anweisungen und logisch SIMD1-, SIMD2- und SIMD32-Anweisungen ausführen. In mindestens einer Ausführungsform können SIMD-Anweisungen für GPGPU-Kerne zur Kompilierzeit von einem Shader-Compiler oder automatisch bei der Ausführung von Programmen erzeugt werden, die für SPMD- oder SIMT-Architekturen (Single Program Multiple Data) geschrieben und kompiliert wurden. In mindestens einer Ausführungsform können mehrere Threads eines für ein SIMT-Ausführungsmodell konfigurierten Programms über eine einzelne SIMD-Anweisung ausgeführt werden. Zum Beispiel können in mindestens einer Ausführungsform acht SIMT-Threads, die gleiche oder ähnliche Operationen ausführen, parallel über eine einzige SIMD8-Logikeinheit ausgeführt werden.
In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 2368 ein Netz, das jede Funktionseinheit des Grafikmultiprozessors 2334 mit der Registerdatei 2358 und dem gemeinsamen Speicher 2370 verbindet. In mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 2368 eine Kreuzschienenverbindung, die es der Lade-/Speichereinheit 2366 ermöglicht, Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher 2370 und der Registerdatei 2358 durchzuführen. In mindestens einer Ausführungsform kann die Registerdatei 2358 mit derselben Frequenz arbeiten wie die GPGPU-Kerne 2362, somit kann die Datenübertragung zwischen den GPGPU-Kernen 2362 und der Registerdatei 2358 eine sehr geringe Latenz aufweisen. In mindestens einer Ausführungsform kann ein gemeinsamer Speicher 2370 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Grafikmultiprozessors 2334 ausgeführt werden. In mindestens einer Ausführungsform kann der Cache-Speicher 2372 beispielsweise als Datencache verwendet werden, um zwischen Funktionseinheiten und der Textureinheit 2336 kommunizierte Texturdaten zwischenzuspeichern. In mindestens einer Ausführungsform kann der gemeinsame Speicher 2370 auch als programmverwalteter Cache verwendet werden. In mindestens einer Ausführungsform können Threads, die auf GPGPU-Kernen 2362 ausgeführt werden, zusätzlich zu den automatisch zwischengespeicherten Daten, die im Cache-Speicher 2372 gespeichert sind, programmatisch Daten im gemeinsamen Speicher speichern.
In mindestens einer Ausführungsform ist ein Parallelprozessor oder eine GPGPU, wie hierin beschrieben, kommunikativ mit Host-/Prozessorkernen gekoppelt, um Grafikoperationen, Operationen des maschinellen Lernens, Musteranalyseoperationen und verschiedene GPU-Funktionen für allgemeine Zwecke (GPGPU) zu beschleunigen. In mindestens einer Ausführungsform kann eine GPU über einen Bus oder eine andere Zusammenschaltung (z. B. eine Hochgeschwindigkeitsverbindung wie PCIe oder NVLink) mit dem Hostprozessor/den Kernen kommunikativ gekoppelt sein. In mindestens einer Ausführungsform kann eine GPU als Kerne in ein Gehäuse oder einen Chip integriert und über einen internen Prozessorbus/eine interne Verbindung innerhalb eines Gehäuses oder Chips mit den Kernen kommunikativ gekoppelt sein. In mindestens einer Ausführungsform können die Prozessorkerne unabhängig von einer Art der Anbindung einer GPU einer solchen GPU Arbeit in einer Form von Sequenzen von Befehlen/Anweisungen zuweisen, die in einem Arbeitsdeskriptor enthalten sind. In mindestens einer Ausführungsform verwendet die GPU dann dedizierte Schaltkreise/Logiken zur effizienten Verarbeitung dieser Befehle/Anweisungen.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 in Grafik-Multiprozessor 2334 für Inferenzier- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann ein Computersystem, das ein wie oben beschriebenes Begrenzungsrahmen-Filtersystem implementiert, einen Grafikmultiprozessor 2334 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Grafikmultiprozessor 2334 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
24 veranschaulicht ein Multi-GPU-Rechensystem 2400 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das Multi-GPU-Computersystem 2400 einen Prozessor 2402 beinhalten, der über eine Hostschnittstelle 2404 mit mehreren Allzweck-Grafikverarbeitungseinheiten (GPGPUs) 2406A-D gekoppelt ist. In mindestens einer Ausführungsform ist die Hostschnittstelle 2404 eine PCI-Express-Switch-Vorrichtung, die den Prozessor 2402 mit einem PCI-Express-Bus koppelt, über den der Prozessor 2402 mit den GPGPUs 2406A-D kommunizieren kann. In mindestens einer Ausführungsform können die GPGPUs 2406A-D über einen Satz von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verknüpfungen 2416 miteinander verbunden werden. In mindestens einer Ausführungsform sind die GPU-zu-GPU-Verbindungen 2416 über eine dedizierte GPU-Verknüpfung mit jeder der GPGPUs 2406A-D verbunden. In mindestens einer Ausführungsform ermöglichen die P2P-GPU-Verknüpfungen 2416 eine direkte Kommunikation zwischen den einzelnen GPGPUs 2406A-D, ohne dass eine Kommunikation über die Hostschnittstellenbus 2404 erforderlich ist, an die der Prozessor 2402 angeschlossen ist. In mindestens einer Ausführungsform, bei der der GPU-zu-GPU-Verkehr auf P2P-GPU-Verknüpfungen 2416 geleitet wird, bleibt die Hostschnittstelle 2404 für den Zugriff auf den Systemspeicher oder für die Kommunikation mit anderen Instanzen des Multi-GPU-Rechensystems 2400 verfügbar, zum Beispiel über eine oder mehrere Netzvorrichtungen. Während in mindestens einer Ausführungsform die GPGPUs 2406A-D über die Hostschnittstelle 2404 mit dem Prozessor 2402 verbunden sind, beinhaltet der Prozessor 2402 in mindestens einer Ausführungsform eine direkte Unterstützung für P2P GPU-Verknüpfungen 2416 und kann direkt mit den GPGPUs 2406A-D verbunden werden.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 in Multi-GPGPU-Rechensystem 2400 für Inferenzierungs- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann das Multi-GPU-Rechensystem 2400 zur Implementierung eines Computersystems verwendet werden, das zur Verarbeitung von Bildern und zur Ausgestaltung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert das Multi-GPU-Rechensystem 2400 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
25 ist ein Blockdiagramm eines Grafikprozessors 2500 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2500 eine Ringzusammenschaltung 2502, ein Pipeline-Frontend 2504, eine Medienengine 2537 und die Grafikkerne 2580A-2580N. In mindestens einer Ausführungsform koppelt die Ringzusammenschaltung 2502 den Grafikprozessor 2500 mit anderen Verarbeitungseinheiten, die andere Grafikprozessoren oder einen oder mehrere Allzweck-Prozessorkerne beinhalten. In mindestens einer Ausführungsform ist der Grafikprozessor 2500 einer von vielen Prozessoren, die in ein Mehrkernverarbeitungssystem integriert sind.
In mindestens einer Ausführungsform empfängt der Grafikprozessor 2500 über die Ringzusammenschaltung 2502 Stapel von Befehlen. In mindestens einer Ausführungsform werden die eingehenden Befehle von einem Befehlsstreamer 2503 im Pipeline-Frontend 2504 interpretiert. In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2500 eine skalierbare Ausführungslogik zur Ausführung der 3D-Geometrieverarbeitung und der Medienverarbeitung über die Grafikkerne 2580A-2580N. In mindestens einer Ausführungsform liefert der Befehlsstreamer 2503 für 3D-Geometrieverarbeitungsbefehle Befehle an die Geometrie-Pipeline 2536. In mindestens einer Ausführungsform liefert der Befehlsstreamer 2503 für mindestens einige Medienverarbeitungsbefehle Befehle an ein Video-Frontend 2534, das mit der Medienengine 2537 gekoppelt ist. In mindestens einer Ausführungsform beinhaltet die Medienengine 2537 eine Video Quality Engine (VQE) 2530 für die Video- und Bildnachbearbeitung und eine Multi-Format Encode/Decode (MFX) 2533 Engine, um eine hardwarebeschleunigte Codierung und Decodierung von Mediendaten bereitzustellen. In mindestens einer Ausführungsform erzeugen die Geometrie-Pipeline 2536 und die Medienengine 2537 jeweils Ausführungs-Threads für Thread-Ausführungsressourcen, die von mindestens einem Grafikkern 2580 bereitgestellt werden.
In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2500 skalierbare Thread-Ausführungsressourcen mit Grafikkernen 2580A-2580N (die modular sein können und manchmal als Kern-Slices bezeichnet werden), die jeweils mehrere Teilkerne 2550A-50N, 2560A-2560N (manchmal als Kern-Sub-Slices bezeichnet) aufweisen. In mindestens einer Ausführungsform kann der Grafikprozessor 2500 eine beliebige Anzahl von Grafikkernen 2580A aufweisen. In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2500 einen Grafikkern 2580A mit mindestens einem ersten Teilkern 2550A und einem zweiten Teilkern 2560A. In mindestens einer Ausführungsform ist der Grafikprozessor 2500 ein Niedrigleistungsprozessor mit einem einzigen Teilkern (z. B. 2550A). In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 2500 mehrere Grafikkerne 2580A-2580N, die jeweils einen Satz von ersten Teilkernen 2550A-2550N und einen Satz von zweiten Teilkernen 2560A-2560N beinhalten. In mindestens einer Ausführungsform beinhaltet jeder Teilkern in den ersten Teilkernen 2550A-2550N mindestens einen ersten Satz von Ausführungseinheiten 2552A-2552N und Medien-/Textur-Abtaster 2554A-2554N. In mindestens einer Ausführungsform beinhaltet jeder Teilkern in den zweiten Teilkernen 2560A-2560N mindestens einen zweiten Satz von Ausführungseinheiten 2562A-2562N und Abtastern 2564A-2564N. In mindestens einer Ausführungsform teilt sich jeder Teilkern 2550A-2550N, 2560A-2560N einen Satz von gemeinsam genutzten Ressourcen 2570A-2570N. In mindestens einer Ausführungsform beinhalten die gemeinsam genutzten Ressourcen einen gemeinsamen Cache-Speicher und eine Pixel-Operationslogik.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1015 in Grafikprozessor 2500 für Inferenzier- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen des neuronalen Netzes, Funktionen und/oder Architekturen des neuronalen Netzes oder hierin beschriebenen Anwendungsfällen des neuronalen Netzes berechnet wurden.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, einen Grafikprozessor 2500 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Grafikprozessor 2500 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
26 ist ein Blockdiagramm, das die Mikroarchitektur für einen Prozessor 2600, der Logikschaltungen zum Durchführen von Anweisungen beinhalten kann, gemäß mindestens einer Ausführungsform veranschaulicht. In mindestens einer Ausführungsform kann der Prozessor 2600 Anweisungen ausführen, einschließlich x86-Anweisungen, ARM-Anweisungen, spezialisierter Anweisungen für anwendungsspezifische integrierte Schaltungen (ASICs) usw. In mindestens einer Ausführungsform kann der Prozessor 2600 Register zum Speichern gepackter Daten beinhalten, wie etwa 64 Bit breite MMX™-Register in Mikroprozessoren, die mit der MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. In mindestens einer Ausführungsform können MMX-Register, die sowohl als Ganzzahl- als auch als Gleitkommaregister verfügbar sind, mit gepackten Datenelementen betreibbar sein, die Single Instruction, Multiple Data („SIMD“) und Streaming SIMD Extensions („SSE“) Anweisungen begleiten. In mindestens einer Ausführungsform können 128 Bit breite XMM-Register, die sich auf die SSE2-, SSE3-, SSE4-, AVX- oder darüber hinausgehende Technologien beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden halten. In mindestens einer Ausführungsform kann der Prozessor 2600 Anweisungen zum Beschleunigen von Algorithmen für maschinelles Lernen oder Deep Learning, Training oder Inferenzieren durchführen.
In mindestens einer Ausführungsform beinhaltet der Prozessor 2600 ein In-Order-Front-End („Front-End“) 2601 zum Abrufen von auszuführenden Anweisungen und zur Vorbereitung von Anweisungen, die später in einer Prozessor-Pipeline verwendet werden sollen. In mindestens einer Ausführungsform kann das Frontend 2601 mehrere Einheiten beinhalten. In mindestens einer Ausführungsform ruft ein Anweisungsvorabrufer 2626 Anweisungen aus dem Speicher ab und leitet sie an einen Anweisungsdecodierer 2628 weiter, der seinerseits Anweisungen decodiert oder interpretiert. Zum Beispiel decodiert in mindestens einer Ausführungsform der Anweisungsdecodierer 2628 eine empfangene Anweisung in eine oder mehrere Operationen, die als „Mikroanweisungen“ oder „Mikrooperationen“ (auch „Mikro-Ops“ oder „Uops“ genannt) bezeichnet werden und von einer Maschine ausgeführt werden können. In mindestens einer Ausführungsform zerlegt der Anweisungsdecodierer 2628 eine Anweisung in einen Op-Code und entsprechende Daten- und Steuerfelder, die von der Mikroarchitektur zur Ausführung von Operationen gemäß mindestens einer Ausführungsform verwendet werden können. In mindestens einer Ausführungsform kann ein Trace-Cache 2630 decodierte uops zu programmgeordneten Sequenzen oder Traces in einer uop-Warteschlange 2634 zur Ausführung zusammenstellen. In mindestens einer Ausführungsform stellt ein Mikrocode-ROM 2632, wenn der Trace-Cache 2630 auf eine komplexe Anweisung stößt, die für den Abschluss einer Operation erforderlichen uops bereit.
In mindestens einer Ausführungsform können einige Anweisungen in einen einzigen Mikro-OP umgewandelt werden, während andere mehrere Mikro-OPs benötigen, um eine vollständige Operation durchzuführen. In mindestens einer Ausführungsform kann der Anweisungsdecodierer 2628 auf das Mikrocode-ROM 2632 zugreifen, um die Anweisung auszuführen, wenn mehr als vier Mikro-OPs für die Ausführung einer Anweisung erforderlich sind. In mindestens einer Ausführungsform kann eine Anweisung zur Verarbeitung im Anweisungsdecodierer 2628 in eine kleine Anzahl von Mikro-Ops decodiert werden. In mindestens einer Ausführungsform kann eine Anweisung im Mikrocode-ROM 2632 gespeichert werden, falls eine Anzahl von Mikro-OPs zur Durchführung einer solchen Operation erforderlich ist. In mindestens einer Ausführungsform bezieht sich der Trace-Cache 2630 auf ein programmierbares Logik-Array („PLA“) als Einstiegspunkt, um einen korrekten Mikrobefehlszeiger zum Lesen von Mikrocode-Sequenzen zu bestimmen, um eine oder mehrere Anweisungen aus dem Mikrocode-ROM 2632 gemäß mindestens einer Ausführungsform zu vervollständigen. In mindestens einer Ausführungsform kann das Frontend 2601 einer Maschine, nachdem das Mikrocode-ROM 2632 die Sequenzierung von Mikro-Ops für eine Anweisung beendet hat, das Abrufen von Mikro-Ops aus dem Trace-Cache 2630 wieder aufnehmen.
In mindestens einer Ausführungsform kann die Out-of-Order-Ausführungsengine („out of order engine“) 2603 Anweisungen für die Ausführung vorbereiten. In mindestens einer Ausführungsform verfügt die Out-of-Order-Ausführungslogik über eine Reihe von Puffern, um den Fluss der Anweisungen zu glätten und neu zu ordnen, um die Leistung zu optimieren, während sie eine Pipeline durchlaufen und für die Ausführung geplant werden. In mindestens einer Ausführungsform beinhaltet die Ausführungsengine 2603 ohne Einschränkung einen Zuweiser/Registerumbenenner 2640, eine Speicher-Uop-Warteschlange 2642, eine Ganzzahl/Gleitkomma-Uop-Warteschlange 2644, einen Speicher-Scheduler 2646, einen schnellen Scheduler 2602, einen langsamen/allgemeinen Gleitkomma-Scheduler („slow/general FP scheduler“) 2604 und einen einfachen Gleitkomma-Scheduler („simple FP scheduler“) 2606. In mindestens einer Ausführungsform werden der schnelle Scheduler 2602, der langsame/allgemeine Gleitkomma-Scheduler 2604 und der einfache Gleitkomma-Scheduler 2606 hierin auch als „uop-Scheduler 2602, 2604, 2606“ bezeichnet. In mindestens einer Ausführungsform weist der Zuweiser/Registerumbenenner 2640 den Maschinenpuffern und -ressourcen zu, die jeder uop zur Ausführung benötigt. In mindestens einer Ausführungsform benennt der Zuweiser/Registerumbenenner 2640 logische Register auf Einträge in einer Registerdatei um. In mindestens einer Ausführungsform weist der Zuweiser/Registerumbenenner 2640 außerdem jedem uop einen Eintrag in einer von zwei uop-Warteschlangen zu, der Speicher-uop-Warteschlange 2642 für Speicheroperationen und der Ganzzahl-/Gleitkomma-uop-Warteschlange 2644 für Nicht-Speicheroperationen, und zwar vor dem Speicher-Scheduler 2646 und den uop-Schedulern 2602, 2604, 2606. In mindestens einer Ausführungsform bestimmen die uop-Scheduler 2602, 2604, 2606 basierend auf der Bereitschaft ihrer abhängigen Eingaberegister-Operandenquellen und der Verfügbarkeit der Ausführungsressourcen, die die uops für den Abschluss ihrer Operation benötigen, wann ein uop zur Ausführung bereit ist. In mindestens einer Ausführungsform kann der schnelle Scheduler 2602 in jeder Hälfte eines Haupttaktzyklus einen Zeitplan erstellen, während der langsame/allgemeine Gleitkomma-Scheduler 2604 und der einfache Gleitkomma-Scheduler 2606 einen Zeitplan pro Hauptprozessortaktzyklus erstellen können. In mindestens einer Ausführungsform vermitteln die uop-Scheduler 2602, 2604, 2606 für Dispatch-Ports, um uops für die Ausführung zu planen.
In mindestens einer Ausführungsform beinhaltet der Ausführungsblock 2611 ohne Einschränkung ein Ganzzahl-Registerdatei/Bypass-Netz 2608, ein Gleitkommaregisterdatei/Bypass-Netz („FP-Registerdatei/Bypass-Netz“) 2610, Adressgenerierungseinheiten („AGUs“) 2612 und 2614, schnelle arithmetische Logikeinheiten (ALUs) („fast ALUs“) 2616 und 2618, eine langsame arithmetische Logikeinheit („slow ALU“) 2620, eine Gleitkomma-ALU („FP“) 2622 und eine Gleitkomma-Bewegungseinheit („FP move“) 2624. In mindestens einer Ausführungsform werden Ganzzahl-Registerdatei/Bypass-Netz 2608 und Gleitkomma-Registerdatei/Bypass-Netz 2610 hierin auch als „Registerdateien 2608, 2610“ bezeichnet. In mindestens einer Ausführungsform werden die AGUSs 2612 und 2614, die schnellen ALUs 2616 und 2618, die langsame ALU 2620, die Gleitkomma-ALU 2622 und die Gleitkomma-Bewegungseinheit 2624 hierin auch als „Ausführungseinheiten 2612, 2614, 2616, 2618, 2620, 2622 und 2624“ bezeichnet. In mindestens einer Ausführungsform kann der Ausführungsblock 2611 ohne Einschränkung eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Bypass-Netzen, Adressgenerierungseinheiten und Ausführungseinheiten in beliebiger Kombination beinhalten.
In mindestens einer Ausführungsform können Registernetze 2608, 2610 zwischen den uop-Schedulern 2602, 2604, 2606 und den Ausführungseinheiten 2612, 2614, 2616, 2618, 2620, 2622 und 2624 angeordnet sein. In mindestens einer Ausführungsform führt das Ganzzahl-Registerdatei/Bypass-Netz 2608 Ganzzahl-Operationen aus. In mindestens einer Ausführungsform führt das Gleitkomma-Registerdatei/Bypass-Netz 2610 Gleitkomma-Operationen aus. In mindestens einer Ausführungsform kann jedes der Registernetze 2608, 2610 ohne Einschränkung ein Bypass-Netz beinhalten, das gerade abgeschlossene Ergebnisse, die noch nicht in eine Registerdatei geschrieben wurden, umgehen oder an neue abhängige Uops weiterleiten kann. In mindestens einer Ausführungsform können die Registernetze 2608, 2610 Daten miteinander kommunizieren. In mindestens einer Ausführungsform kann das Ganzzahl-Registerdatei/Bypass-Netz 2608 ohne Einschränkung zwei getrennte Registerdateien beinhalten, eine Registerdatei für zweiunddreißig Datenbits niedriger Ordnung und eine zweite Registerdatei für zweiunddreißig Datenbits hoher Ordnung. In mindestens einer Ausführungsform kann das Gleitkomma-Registerdatei/Bypass-Netz 2610 ohne Einschränkung 128 Bit breite Einträge beinhalten, da Gleitkomma-Anweisungen typischerweise Operanden mit einer Breite von 64 bis 128 Bit haben.
In mindestens einer Ausführungsform können die Ausführungseinheiten 2612, 2614, 2616, 2618, 2620, 2622, 2624 Anweisungen ausführen. In mindestens einer Ausführungsform speichern die Netze 2608, 2610 Ganzzahl- und Gleitkomma-Operandenwerte, die für die Ausführung von Mikrobefehlen erforderlich sind. In mindestens einer Ausführungsform kann der Prozessor 2600 ohne Einschränkung eine beliebige Anzahl und Kombination von Ausführungseinheiten 2612, 2614, 2616, 2618, 2620, 2622, 2624 beinhalten. In mindestens einer Ausführungsform können die Gleitkomma-ALU 2622 und die Gleitkomma-Bewegungseinheit 2624 Gleitkomma-, MMX-, SIMD-, AVX- und SSE- oder andere Operationen ausführen, die spezielle maschinelle Lernanweisungen beinhalten. In mindestens einer Ausführungsform kann die Gleitkomma-ALU 2622 ohne Einschränkung einen 64-Bit-mal-64-Bit-Gleitkomma-Teiler beinhalten, um Divisions-, Quadratwurzel- und Restmikrooperationen auszuführen. In mindestens einer Ausführungsform können Anweisungen, die einen Gleitkommawert beinhalten, mit Gleitkomma-Hardware verarbeitet werden. In mindestens einer Ausführungsform können ALU-Operationen an schnelle ALUs 2616, 2618 weitergegeben werden. In mindestens einer Ausführungsform können schnelle ALUS 2616, 2618 schnelle Operationen mit einer effektiven Latenzzeit von einem halben Taktzyklus ausführen. In mindestens einer Ausführungsform gehen die meisten komplexen Ganzzahl-Operationen an die langsame ALU 2620, da die langsame ALU 2620 ohne Einschränkung Ganzzahl-Ausführungshardware für Operationen mit langer Latenzzeit beinhalten kann, wie z. B. einen Multiplizierer, Verschiebungen, Flag-Logik und Verzweigungsverarbeitung. In mindestens einer Ausführungsform können Speicherlade-/Speicheroperationen von den AGUs 2612, 2614 ausgeführt werden. In mindestens einer Ausführungsform können die schnelle ALU 2616, die schnelle ALU 2618 und die langsame ALU 2620 Ganzzahl-Operationen mit 64-Bit-Datenoperanden ausführen. In mindestens einer Ausführungsform können die schnelle ALU 2616, die schnelle ALU 2618 und die langsame ALU 2620 so implementiert werden, dass sie eine Vielzahl von Datenbitgrößen unterstützen, die sechzehn, zweiunddreißig, 128, 256 usw. beinhalten. In mindestens einer Ausführungsform können die Gleitkomma-ALU 2622 und die Gleitkomma-Bewegungseinheit 2624 so implementiert werden, dass sie eine Reihe von Operanden mit Bits unterschiedlicher Breite unterstützen, wie z. B. 128 Bit breite gepackte Datenoperanden in Verbindung mit SIMD- und Multimedia-Anweisungen.
In mindestens einer Ausführungsform leiten die uop-Scheduler 2602, 2604, 2606 abhängige Operationen ein, bevor die Ausführung einer übergeordneten Last beendet ist. In mindestens einer Ausführungsform kann der Prozessor 2600, da uops spekulativ geplant und im Prozessor 2600 ausgeführt werden können, auch eine Logik zur Behandlung von Speicherfehlern beinhalten. In mindestens einer Ausführungsform kann es, wenn eine Datenlast in einem Daten-Cache fehlschlägt, abhängige Operationen in einer Pipeline geben, die einen Scheduler mit vorübergehend falschen Daten zurückgelassen haben. In mindestens einer Ausführungsform verfolgt ein Wiederholungsmechanismus Anweisungen, die fehlerhafte Daten verwenden, und führt sie erneut aus. In mindestens einer Ausführungsform kann es erforderlich sein, abhängige Operationen erneut abzuspielen, während unabhängige Operationen abgeschlossen werden können. In mindestens einer Ausführungsform können die Scheduler und ein Wiedergabemechanismus mindestens einer Ausführungsform eines Prozessors auch so ausgelegt sein, dass sie Anweisungssequenzen für Zeichenkettenvergleichsoperationen abfangen.
In mindestens einer Ausführungsform können sich „Register“ auf bordeigene Prozessorspeicherorte beziehen, die als Teil von Anweisungen zum Identifizieren von Operanden verwendet werden können. In mindestens einer Ausführungsform können Register derartige sein, die von außerhalb eines Prozessors (aus der Perspektive eines Programmierers) verwendet werden können. In mindestens einer Ausführungsform können die Register nicht auf einen bestimmten Schaltungstyp beschränkt sein. Vielmehr kann ein Register in mindestens einer Ausführungsform Daten speichern, Daten bereitstellen und die hierin beschriebenen Funktionen durchführen. In mindestens einer Ausführungsform können die hierin beschriebenen Register von einem Schaltkreis innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert werden, wie z. B. dedizierte physische Register, dynamisch zugewiesene physische Register unter Verwendung von Registerumbenennungen, Kombinationen aus dedizierten und dynamisch zugewiesenen physischen Registern etc. In mindestens einer Ausführungsform speichern Ganzzahl-Register 32-Bit-Ganzzahl-Daten. Eine Registerdatei in mindestens einer Ausführungsform enthält auch acht Multimedia-SIMD-Register für gepackte Daten.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1015 in den Ausführungsblock 2611 und andere dargestellte oder nicht dargestellte Speicher oder Register einbezogent werden. Zum Beispiel können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenzierungsverfahren eine oder mehrere der im Ausführungsblock 2611 veranschaulichten ALUs verwenden. Darüber hinaus können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs des Ausführungsblocks 2611 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzarchitekturen, Anwendungsfälle oder Trainingstechniken auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, den Prozessor 2600 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Prozessor 2600 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
27 veranschaulicht einen Deep-Learning-Anwendungsprozessor 2700 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet der Deep Learning-Anwendungsprozessor 2700 Anweisungen, die, wenn sie vom Deep Learning-Anwendungsprozessor 2700 ausgeführt werden, den Deep Learning-Anwendungsprozessor 2700 veranlassen, einige oder alle der in dieser Offenbarung beschriebenen Verfahren und Techniken auszuführen. In mindestens einer Ausführungsform ist der Deep-Learning-Anwendungsprozessor 2700 eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einer Ausführungsform führt der Anwendungsprozessor 2700 Matrixmultiplikationsoperationen entweder „fest verdrahtet“ in der Hardware als Ergebnis der Ausführung einer oder mehrerer Anweisungen oder beides durch. In mindestens einer Ausführungsform beinhaltet der Deep-Learning-Anwendungsprozessor 2700 ohne Einschränkung Verarbeitungscluster 2710(1)-2710(12), Inter-Chip Verknüpfungen („ICLs“) 2720(1)-2720(12), Inter-Chip-Controller („ICCs“) 2730(1)-2730(2), Speicher mit hoher Bandbreite der zweiten Generation („HBM2“) 2740(1)-2740(4), Speichercontroller („Mem Ctrlrs“) 2742(1)-2742(4), physische Schicht für Speicher mit hoher Bandbreite („HBM PHY“) 2744(1)-2744(4), eine Management-Controller-Zentraleinheit („Management-Controller-CPU“) 2750, einen Serial Peripheral Interface, Inter-Integrated Circuit und General Purpose Input/Output Block („SPI, I²C, GPIO“) 2760, einen Peripheral Component Interconnect Express Controller und Direct Memory Access Block („PCIe Controller und DMA“) 2770 und einen sechzehnspurigen Peripheral Component Interconnect Express Port („PCI Express × 16“) 2780.
In mindestens einer Ausführungsform können die Verarbeitungscluster 2710 Deep-Learning-Operationen ausführen, die Inferenz- oder Vorhersageoperationen beinhalten, die auf Gewichtungsparametern basieren, die mit einem oder mehreren Trainingsverfahren, einschließlich der hierin beschriebenen, berechnet wurden. In mindestens einer Ausführungsform kann jedes Verarbeitungscluster 2710 ohne Einschränkung eine beliebige Anzahl und Art von Prozessoren beinhalten. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor2700 eine beliebige Anzahl und Art von Verarbeitungsclustern 2700 beinhalten. In mindestens einer Ausführungsform sind die Inter-Chip-Verknüpfungen 2720 bidirektional. In mindestens einer Ausführungsform ermöglichen Inter-Chip-Verknüpfungen 2720 und Inter-Chip-Controller 2730 mehreren Deep-Learning-Anwendungsprozessoren 2700 den Austausch von Informationen, einschließlich Aktivierungsinformationen, die sich aus der Ausführung eines oder mehrerer maschineller Lernalgorithmen ergeben, die in einem oder mehreren neuronalen Netzen verkörpert sind. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 2700 eine beliebige Anzahl (einschließlich Null) und Art von ICLs 2720 und ICCs 2730 beinhalten.
In mindestens einer Ausführungsform stellen die HBM2s 2740 insgesamt 32 Gigabyte (GB) Speicher bereit. In mindestens einer Ausführungsform ist der HBM2 2740(i) sowohl mit dem Speichercontroller 2742(i) als auch mit dem HBM PHY 2744(i) verbunden, wobei „i“ eine beliebige Ganzzahl ist. In mindestens einer Ausführungsform kann eine beliebige Anzahl von HBM2 2740 einen beliebigen Typ und eine beliebige Gesamtmenge von Speicher mit hoher Bandbreite bereitstellen und mit einer beliebigen Anzahl (einschließlich Null) und einem beliebigen Typ von Speichercontrollern 2742 und HBM PHYs 2744 verbunden sein. In mindestens einer Ausführungsform können SPI, I²C, GPIO 2760, PCIe Controller und DMA 2770 und/oder PCIe 2780 durch eine beliebige Anzahl und einen beliebigen Typ von Blöcken ersetzt werden, die eine beliebige Anzahl und einen beliebigen Typ von Kommunikationsstandards in einer beliebigen technisch machbaren Weise ermöglichen.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor dazu verwendet, ein maschinelles Lernmodell, wie z. B. ein neuronales Netz, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die dem Deep-Learning-Anwendungsprozessor 2700 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 2700 verwendet, um Informationen basierend auf einem trainierten maschinellen Lernmodell (z. B. einem neuronalen Netz), das von einem anderen Prozessor oder System oder vom Deep-Learning-Anwendungsprozessor 2700 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der Prozessor 2700 verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netze auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, den Prozessor 2700 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Prozessor 2700 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
28 ist ein Blockdiagramm eines neuromorphen Prozessors 2800 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2800 eine oder mehrere Eingaben von Quellen außerhalb des neuromorphen Prozessors 2800 empfangen. In mindestens einer Ausführungsform können diese Eingaben an ein oder mehrere Neuronen 2802 im neuromorphen Prozessor 2800 übermittelt werden. In mindestens einer Ausführungsform können die Neuronen 2802 und ihre Komponenten unter Verwendung von Schaltkreisen oder Logik implementiert werden, die eine oder mehrere arithmetische Logikeinheiten (ALUs) beinhalten. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2800 ohne Einschränkung Tausende oder Millionen von Instanzen von Neuronen 2802 beinhalten, es kann jedoch jede geeignete Anzahl von Neuronen 2802 verwendet werden. In mindestens einer Ausführungsform kann jede Instanz des Neurons 2802 eine Neuroneneingang 2804 und einen Neuronenausgang 2806 beinhalten. In mindestens einer Ausführungsform können die Neuronen 2802 Ausgaben erzeugen, die an Eingänge anderer Instanzen von Neuronen 2802 übertragen werden können. Zum Beispiel können in mindestens einer Ausführungsform Neuroneneingänge 2804 und Neuronenausgänge 2806 über Synapsen 2808 zusammengeschaltet sein.
In mindestens einer Ausführungsform können die Neuronen 2802 und die Synapsen 2808 so miteinander verbunden sein, dass der neuromorphe Prozessor 2800 arbeitet, um die vom neuromorphen Prozessor 2800 empfangenen Informationen zu verarbeiten oder zu analysieren. In mindestens einer Ausführungsform können die Neuronen 2802 einen Ausgabeimpuls (oder „Feuer“ oder „Spike“) übermitteln, wenn die über den Neuroneneingang 2804 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einer Ausführungsform können die Neuronen 2802 die an den Neuroneneingängen 2804 empfangenen Signale summieren oder integrieren. Zum Beispiel können in mindestens einer Ausführungsform die Neuronen 2802 als undichte Integrations- und Feuerneuronen implementiert werden, wobei, wenn eine Summe (als „Membranpotential“ bezeichnet) einen Schwellenwert überschreitet, das Neuron 2802 eine Ausgabe (oder ein „Feuer“) unter Verwendung einer Übertragungsfunktion wie einer Sigmoid- oder Schwellenfunktion erzeugen kann. In mindestens einer Ausführungsform kann ein „leaky integrate-and-fire“-Neuron die an den Eingängen des Neurons 2804 empfangenen Signale zu einem Membranpotenzial summieren und auch einen Abklingfaktor (oder ein Leck) anwenden, um ein Membranpotenzial zu reduzieren. In mindestens einer Ausführungsform kann ein „leaky integrate-andfire“-Neuron feuern, wenn mehrere Eingangssignale an den Neuroneneingängen 2804 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (d. h. bevor ein Membranpotenzial zu niedrig abfällt, um zu feuern). In mindestens einer Ausführungsform können die Neuronen 2802 mit Hilfe von Schaltungen oder Logik implementiert werden, die Eingaben empfangen, Eingaben in ein Membranpotential integrieren und ein Membranpotential abbauen. In mindestens einer Ausführungsform können die Eingaben gemittelt werden, oder es kann jede andere geeignete Übertragungsfunktion verwendet werden. Darüber hinaus können die Neuronen 2802 in mindestens einer Ausführungsform ohne Einschränkung Komparatorschaltungen oder - logik beinhalten, die einen Ausgangs-Spike an dem Neuronenausgang 2806 erzeugen, wenn das Ergebnis der Anwendung einer Übertragungsfunktion auf den Neuroneneingang 2804 einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann das Neuron 2802, sobald es feuert, zuvor empfangene Eingaben ignorieren, indem es zum Beispiel ein Membranpotential auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einer Ausführungsform kann das Neuron 2802 nach dem Zurücksetzen des Membranpotenzials auf 0 nach einer geeigneten Zeitspanne (oder Refraktärzeit) seine normale Operation wieder aufnehmen.
In mindestens einer Ausführungsform können die Neuronen 2802 über Synapsen 2808 miteinander verbunden sein. In mindestens einer Ausführungsform können die Synapsen 2808 so arbeiten, dass sie Signale von einem Ausgang eines ersten Neurons 2802 zu einem Eingang eines zweiten Neurons 2802 übertragen. In mindestens einer Ausführungsform können die Neuronen 2802 Informationen über mehr als eine Instanz der Synapse 2808 übermitteln. In mindestens einer Ausführungsform können eine oder mehrere Ausgänge des Neurons 2806 über eine Synapse 2808 mit einem Eingang des Neurons 2804 desselben Neurons 2802 verbunden sein. In mindestens einer Ausführungsform kann ein Neuron 2802, das eine Ausgabe erzeugt, die über eine Synapse 2808 zu übermitteln ist, als „präsynaptisches Neuron“ in Bezug auf diese Synapse 2808 bezeichnet werden. In mindestens einer Ausführungsform kann ein Neuron 2802, das eine über eine Synapse 2808 übermittelte Eingabe empfängt, als „postsynaptisches Neuron“ in Bezug auf diese Synapse 2808 bezeichnet werden. Da ein Neuron 2802 Eingaben von einer oder mehreren Synapsen 2808 erhalten und auch Ausgaben über eine oder mehrere Synapsen 2808 übermitteln kann, kann ein einzelnes Neuron 2802 in mindestens einer Ausführungsform sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Synapsen 2808 sein.
In mindestens einer Ausführungsform können die Neuronen 2802 in einer oder mehreren Schichten organisiert sein. In mindestens einer Ausführungsform kann jede Instanz des Neurons 2802 einen Neuronenausgang 2806 aufweisen, der sich über eine oder mehrere Synapsen 2808 zu einem oder mehreren Neuroneneingängen 2804 ausbreiten kann. In mindestens einer Ausführungsform können die Neuronenausgänge 2806 der Neuronen 2802 in einer ersten Schicht 2810 mit den Neuroneneingängen 2804 der Neuronen 2802 in einer zweiten Schicht 2812 verbunden werden. In mindestens einer Ausführungsform kann die Schicht 2810 als „Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform kann sich jede Instanz des Neurons 2802 in einer Instanz der ersten Schicht 2810 zu jeder Instanz des Neurons 2802 in der zweiten Schicht 2812 auffächern. In mindestens einer Ausführungsform kann die erste Schicht 2810 als „vollständig verbundene Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform kann sich jede Instanz des Neurons 2802 in einer Instanz der zweiten Schicht 2812 auf weniger als alle Instanzen des Neurons 2802 in einer dritten Schicht 2814 auffächern. In mindestens einer Ausführungsform kann die zweite Schicht 2812 als eine „spärlich verbundene Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform können sich die Neuronen 2802 in der zweiten Schicht 2812 zu Neuronen 2802 in mehreren anderen Schichten auffächern, was auch Neuronen 2802 in der zweiten Schicht 2812 beinhaltet. In mindestens einer Ausführungsform kann die zweite Schicht 2812 als „rekurrente Schicht“ bezeichnet werden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2800 ohne Einschränkung jede geeignete Kombination von rekurrenten Schichten und Feed-Forward-Schichten beinhalten, die ohne Einschränkung sowohl spärlich verbundene Feed-Forward-Schichten als auch vollständig verbundene Feed-Forward-Schichten beinhalten.
In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2800 ohne Einschränkung eine rekonfigurierbare Verbindungsarchitektur oder dedizierte festverdrahtete Verbindungen beinhalten, um die Synapse 2808 mit den Neuronen 2802 zu verbinden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2800 ohne Einschränkung einen Schaltkreis oder eine Logik beinhalten, die es ermöglicht, Synapsen je nach Bedarf basierend auf der Topologie des neuronalen Netzes und dem Neuronen-Fan-in/out verschiedenen Neuronen 2802 zuzuordnen. Zum Beispiel können in mindestens einer Ausführungsform die Synapsen 2808 mit den Neuronen 2802 über eine Verbindungsstruktur, wie z. B. ein Netz auf einem Chip, oder über dedizierte Verbindungen verbunden werden. In mindestens einer Ausführungsform können die Synapsenverbindungen und ihre Komponenten durch Schaltkreise oder Logik implementiert werden.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, einen neuromorphen Prozessor 2800 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der neuromorphe Prozessor 2800 Anweisungen aus, die zumindest zum Teil die oben beschriebenen Techniken implementieren.
29 ist ein Blockdiagramm, das eines Verarbeitungssystems, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet das System 2900 einen oder mehrere Prozessoren 2902 und einen oder mehrere Grafikprozessoren 2908 und kann ein Einzelprozessor-Desktop-System, ein Multiprozessor-Workstation-System oder ein Serversystem mit einer großen Anzahl von Prozessoren 2902 oder Prozessorkernen 2907 sein. In mindestens einer Ausführungsform ist das System 2900 eine Verarbeitungsplattform, die in eine integrierte Schaltung eines System-on-a-Chip (SoC) zur Verwendung in mobilen, tragbaren oder eingebetteten Vorrichtungen integriert ist.
In mindestens einer Ausführungsform kann das System 2900 eine serverbasierte Spielplattform, eine Spielkonsole, die eine Spiel- und Medienkonsole beinhaltet, eine mobile Spielkonsole, eine Handheld-Spielkonsole oder eine Online-Spielkonsole beinhalten oder in diese integriert werden. In mindestens einer Ausführungsform ist das System 2900 ein Mobiltelefon, ein Smartphone, eine Rechenvorrichtung für Tablets oder eine mobile Internetvorrichtung. In mindestens einer Ausführungsform kann das Verarbeitungssystem 2900 auch eine tragbare Vorrichtung beinhalten, mit dieser gekoppelt oder in diese integriert sein, wie beispielsweise eine tragbare Vorrichtung in Form einer intelligenten Uhr, einer Smart Eyewear-Vorrichtung, einer Augmented-Reality-Vorrichtung oder einer Virtual-Reality-Vorrichtung. In mindestens einer Ausführungsform ist das Verarbeitungssystem 2900 eine Vorrichtung für einen Fernseher oder eine Set-Top-Box mit einem oder mehreren Prozessoren 2902 und einer grafischen Schnittstelle, die von einem oder mehreren Grafikprozessoren 2908 erzeugt wird.
In mindestens einer Ausführungsform beinhalten ein oder mehrere Prozessoren 2902 jeweils einen oder mehrere Prozessorkerne 2907 zur Verarbeitung von Anweisungen, die, wenn sie ausgeführt werden, Operationen für System- und Benutzersoftware ausführen. In mindestens einer Ausführungsform ist jeder von einem oder mehreren Prozessorkernen 2907 dazu konfiguriert, eine bestimmte Anweisungssequenz 2909 zu verarbeiten. In mindestens einer Ausführungsform kann die Anweisungssequenz 2909 das Complex Instruction Set Computing (CISC), das Reduced Instruction Set Computing (RISC) oder das Rechnen über ein Very Long Instruction Word (VLIW) erleichtern. In mindestens einer Ausführungsform können die Prozessorkerne 2907 jeweils eine andere Sequenz 2909 verarbeiten, die Anweisungen beinhalten kann, um die Emulation anderer Sequenzen zu erleichtern. In mindestens einer Ausführungsform kann der Prozessorkern 2907 auch andere Verarbeitungsvorrichtungen beinhalten, beispielsweise einen digitalen Signalprozessor (DSP).
In mindestens einer Ausführungsform beinhaltet der Prozessor 2902 einen Cache-Speicher 2904. In mindestens einer Ausführungsform kann der Prozessor 2902 einen einzigen internen Cache oder mehrere Ebenen eines internen Cache aufweisen. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 2902 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 2902 auch einen externen Cache (z. B. einen Level 3(L3)-Cache oder Last Level Cache (LLC)) (nicht gezeigt), der unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 2907 gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist zusätzlich eine Registerdatei 2906 im Prozessor 2902 enthalten, die verschiedene Arten von Registern zur Speicherung unterschiedlicher Datentypen beinhalten kann (z. B. Ganzzahlregister, Gleitkommaregister, Zustandsregister und ein Anweisungszeigerregister). In mindestens einer Ausführungsform kann die Registerdatei 2906 Allzweckregister oder andere Register beinhalten.
In mindestens einer Ausführungsform sind ein oder mehrere Controller 2902 mit einem oder mehreren Schnittstellenbussen 2910 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen Prozessor 2902 und anderen Komponenten im Verarbeitungssystem 2900 zu übermitteln. In mindestens einer Ausführungsform kann der Schnittstellenbus 2910 ein Prozessorbus sein, beispielsweise eine Version eines Direct Media Interface-(DMI-)Busses. In mindestens einer Ausführungsform ist der Schnittstellenbus 2910 nicht auf einen DMI-Bus beschränkt, sondern kann einen oder mehrere Peripheral Component Interconnect-Busse (z. B. PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen beinhalten. In mindestens einer Ausführungsform beinhalten Prozessoren 2902 einen integrierten Speichercontroller 2916 und einen Plattform-Controller-Hub 2930. In mindestens einer Ausführungsform erleichtert der Speichercontroller 2916 die Kommunikation zwischen einer Vorrichtung und anderen Komponenten des Systems 2900, während der Plattform-Controller-Hub (PCH) 2930 Verbindungen zu E/A-Vorrichtungen über einen lokalen E/A-Bus bereitstellt.
In mindestens einer Ausführungsform kann eine Speichervorrichtung 2920 eine dynamische Direktzugriffsspeicher-Vorrichtung (DRAM), eine statische Direktzugriffsspeicher-Vorrichtung (SRAM), eine Flash-Speicher-Vorrichtung, eine Phasenwechsel-Speicher-Vorrichtung oder eine andere Speichervorrichtung mit geeigneter Leistung sein, die als Prozessspeicher dient. In mindestens einer Ausführungsform kann die Speichervorrichtung 2920 als Systemspeicher für das System 2900 arbeiten, um Daten 2922 und Anweisungen 2921 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 2902 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform ist der Speichercontroller 2916 auch mit einem optionalen externen Grafikprozessor 2912 gekoppelt, der mit einem oder mehreren Grafikprozessoren 2908 in Prozessoren 2902 kommunizieren kann, um Grafik- und Medienoperationen auszuführen. In mindestens einer Ausführungsform kann eine Anzeigevorrichtung 2911 an die Prozessoren 2902 angeschlossen werden. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 2911 eine oder mehrere interne Anzeigevorrichtungen beinhalten, wie z. B. in einer mobilen elektronischen Vorrichtung oder einem Laptop, oder eine externe Anzeigevorrichtung, die über eine Anzeigeschnittstelle (z. B. DisplayPort usw.) angeschlossen ist. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 2911 eine kopfmontierte Anzeige (head mounted display - HMD) beinhalten, wie eine stereoskopische Anzeigevorrichtung zur Verwendung in Virtual-Reality-Anwendungen (VR) oder Augmented-Reality-Anwendungen (AR).
In mindestens einer Ausführungsform ermöglicht der Plattform-Controller-Hub 2930 den Anschluss von Peripheriegeräten an die Speichervorrichtung 2920 und den Prozessor 2902 über einen Hochgeschwindigkeits-E/A-Bus. In mindestens einer Ausführungsform beinhalten die E/A-Peripheriegeräte unter anderem einen Audiocontroller 2946, einen Netzcontroller 2934, eine Firmware-Schnittstelle 2928, einen drahtlosen Sendeempfänger 2926, Berührungssensoren 2925 und einen Datenspeicher 2924 (z. B. eine Festplatte, einen Flash-Speicher usw.). In mindestens einer Ausführungsform kann die Datenspeichervorrichtung 2924 über eine Speicherschnittstelle (z. B. SATA) oder über einen Peripheriebus, wie z. B. einen Peripheral Component Interconnect Bus (z. B. PCI, PCI Express), angeschlossen werden. In mindestens einer Ausführungsform können die Berührungssensoren 2925 Touchscreen-Sensoren, Drucksensoren oder Fingerabdrucksensoren beinhalten. In mindestens einer Ausführungsform kann der drahtlose Sendeempfänger 2926 ein Wi-Fi-Sendeempfänger, ein Bluetooth-Sendeempfänger oder ein Sendeempfänger für ein mobiles Netz sein, z. B. ein 3G-, 4G- oder Long Term Evolution (LTE)-Sendeempfänger. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 2928 die Kommunikation mit der System-Firmware und kann z. B. eine einheitliche erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einer Ausführungsform kann der Netzcontroller 2934 eine Netzverbindung mit einem kabelgebundenen Netz ermöglichen. In mindestens einer Ausführungsform ist ein leistungsstarker Netzcontroller (nicht dargestellt) mit dem Schnittstellenbus 2910 gekoppelt. In mindestens einer Ausführungsform ist der Audiocontroller 2946 ein Multikanal-High-Definition-Audiocontroller. In mindestens einer Ausführungsform beinhaltet das System 2900 einen optionalen E/A-Controller 2940 zur Kopplung älterer Vorrichtungen (z. B. Personal System 2 (PS/2)) mit dem System 2900. In mindestens einer Ausführungsform kann der Plattform-Controller-Hub 2930 auch mit einem oder mehreren Universal Serial Bus (USB)-Controllern 2942 verbunden werden, die Eingabevorrichtungen wie Tastatur- und Mauskombinationen 2943, eine Kamera 2944 oder andere USB-Eingabevorrichtungen anschließen.
In mindestens einer Ausführungsform kann eine Instanz des Speichercontrollers 2916 und des Speicher-Hubs 2930 in einen diskreten externen Grafikprozessor, z. B. den externen Grafikprozessor 2912, integriert sein. In mindestens einer Ausführungsform kann der Plattform-Controller-Hub 2930 und/oder der Speichercontroller 2916 extern zu einem oder mehreren Prozessoren 2902 sein. Zum Beispiel kann das System 2900 in mindestens einer Ausführungsform einen externen Speichercontroller 2916 und einen Plattformcontroller-Hub 2930 beinhalten, der als Speichercontroller-Hub und Peripheriecontroller-Hub innerhalb eines Systemchipsets konfiguriert sein kann, das mit den Prozessoren 2902 kommuniziert.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1015 in den Grafikprozessor 2900 einbezogen sein. Zum Beispiel können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenzierungstechniken eine oder mehrere ALUs verwenden, die in einer 3D-Pipeline enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in 10A oder 10B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform, können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs von Grafikprozessor 2900 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzarchitekturen, Anwendungsfälle oder Trainingstechniken auszuführen.
In mindestens einer Ausführungsform kann das System 2900 zur Implementierung eines Computersystems verwendet werden, das zur Berechnung von Bildern und zur Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert das System 2900 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
30 ist ein Blockdiagramm eines Prozessors 3000 mit einem oder mehreren Prozessorkernen 3002A-3002N, einem integrierten Speichercontroller 3014 und einem integrierten Grafikprozessor 3008, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 3000 zusätzliche Kerne beinhalten, bis hin zu und einschließlich des zusätzlichen Kerns 3002N, der durch gestrichelte Kästchen dargestellt ist. In mindestens einer Ausführungsform beinhaltet jeder der Prozessorkerne 3002A-3002N eine oder mehrere interne Cache-Einheiten 3004A-3004N. In mindestens einer Ausführungsform hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 3006.
In mindestens einer Ausführungsform bilden die internen Cache-Einheiten 3004A-3004N und die gemeinsam genutzten Cache-Einheiten 3006 eine Cache-Speicherhierarchie innerhalb des Prozessors 3000. In mindestens einer Ausführungsform können die Cache-Speichereinheiten 3004A-3004N mindestens eine Ebene von Anweisungs- und Datencache innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen von gemeinsam genutztem Mid-Level-Cache, wie z. B. eine Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, beinhalten, wobei die höchste Cache-Ebene vor dem externen Speicher als LLC klassifiziert wird. In mindestens einer Ausführungsform hält die Cache-Kohärenzlogik die Kohärenz zwischen den verschiedenen Cache-Einheiten 3006 und 3004A-3004N aufrecht.
In mindestens einer Ausführungsform kann der Prozessor 3000 auch einen Satz von einer oder mehreren Bus-Controller-Einheiten 3016 und einen Systemagenten-Kern 3010 beinhalten. In mindestens einer Ausführungsform verwalten die Bus-Controller-Einheiten 3016 einen Satz von Peripherie-Bussen, wie einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einer Ausführungsform stellt der Systemagentenkern 3010 Verwaltungsfunktionen für verschiedene Prozessorkomponenten bereit. In mindestens einer Ausführungsform beinhaltet der Systemagenten-Kern 3010 einen oder mehrere integrierte Controller 3014 zur Verwaltung des Zugriffs auf verschiedene externe Speichervorrichtungen (nicht dargestellt).
In mindestens einer Ausführungsform beinhaltet einer oder mehrere der Prozessorkerne 3002A-3002N Unterstützung für simultanes Multithreading. In mindestens einer Ausführungsform beinhaltet der Systemagenten-Kern 3010 Komponenten zur Koordinierung und Operation der Kerne 3002A-3002N während der Multithreading-Verarbeitung. In mindestens einer Ausführungsform kann der Systemagenten-Kern 3010 zusätzlich eine Energiesteuerungseinheit (PCU) beinhalten, die Logik und Komponenten zur Regelung eines oder mehrerer Energiezustände der Prozessorkerne 3002A-3002N und des Grafikprozessors 3008 beinhaltet.
In mindestens einer Ausführungsform beinhaltet der Prozessor 3000 zusätzlich den Grafikprozessor 3008 zur Ausführung von Operationen zur Grafikverarbeitung. In mindestens einer Ausführungsform ist der Grafikprozessor 3008 mit gemeinsam genutzten Cache-Einheiten 3006 und einem Systemagenten-Kern 3010 gekoppelt, der einen oder mehrere integrierte Speichercontroller 3014 beinhaltet. In mindestens einer Ausführungsform beinhaltet der Systemagenten-Kern 3010 auch einen Anzeigecontroller 3011 zur Ansteuerung der Ausgabe des Grafikprozessors an eine oder mehrere gekoppelte Anzeigen. In mindestens einer Ausführungsform kann der Anzeigecontroller 3011 auch ein separates Modul sein, das über mindestens eine Zusammenschaltung mit dem Grafikprozessor 3008 gekoppelt ist, oder er kann in den Grafikprozessor 3008 integriert sein.
In mindestens einer Ausführungsform wird eine Ringzusammenschaltung 3012 verwendet, um interne Komponenten des Prozessors 3000 zu koppeln. In mindestens einer Ausführungsform kann eine alternative Verbindungseinheit verwendet werden, beispielsweise eine Punkt-zu-Punkt-Verbindung, eine geschaltete Verbindung oder eine andere Technik. In mindestens einer Ausführungsform ist der Grafikprozessor 3008 mit der Ringzusammenschaltung 3012 über eine E/A-Verbindung 3013 gekoppelt.
In mindestens einer Ausführungsform stellt die E/A-Verknüpfung 3013 mindestens eine von mehreren Arten von E/A-Verbindungen dar, einschließlich einer E/A-Verknüpfung auf dem Gehäuse, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 3018, z. B. einem eDRAM-Modul, ermöglicht. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 3002A-3002N und der Grafikprozessor 3008 das eingebettete Speichermodul 3018 als gemeinsamen Last Level-Cache.
In mindestens einer Ausführungsform sind die Prozessorkerne 3002A-3002N homogene Kerne, die eine gemeinsame Anweisungssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 3002A-3002N in Bezug auf die Anweisungssatzarchitektur (ISA) heterogen, wobei einer oder mehrere der Prozessorkerne 3002A-3002N einen gemeinsamen Anweisungssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 3002A-3002N eine Teilmenge eines gemeinsamen Anweisungssatzes oder einen anderen Anweisungssatz ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 3002A-3002N in Bezug auf die Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einem relativ höheren Stromverbrauch mit einem oder mehreren Kernen mit einem niedrigeren Stromverbrauch gekoppelt sind. In mindestens einer Ausführungsform kann der Prozessor 3000 auf einem oder mehreren Chips oder als integrierte SoC-Schaltung implementiert sein.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1015 in den Grafikprozessor 3010 einbezogen sein. Zum Beispiel können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenzierungsverfahren eine oder mehrere ALUs in einer 3D-Pipeline, einen oder mehrere Grafikkerne 3002, gemeinsam genutzte Funktionslogik oder andere Logik in 30 verwenden. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in 10A oder 10B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform, können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs von Prozessor 3000 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzarchitekturen, Anwendungsfälle oder Trainingstechniken auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, den Prozessor 3000 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Prozessor 3000 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
31 ist ein Blockdiagramm eines Grafikprozessors 3100, bei dem es sich um eine diskrete Grafikverarbeitungseinheit oder um einen mit einer Vielzahl von Verarbeitungskernen integrierten Grafikprozessor handeln kann. In mindestens einer Ausführungsform kommuniziert der Grafikprozessor 3100 über eine dem Speicher zugeordnete E/A-Schnittstelle mit Registern des Grafikprozessors 3100 und mit im Speicher abgelegten Befehlen. In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 3100 eine Speicherschnittstelle 3114 für den Zugriff auf den Speicher. In mindestens einer Ausführungsform ist die Speicherschnittstelle 3114 eine Schnittstelle zum lokalen Speicher, zu einem oder mehreren internen Caches, zu einem oder mehreren gemeinsam genutzten externen Caches und/oder zum Systemspeicher.
In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 3100 auch einen Anzeigecontroller 3102 zur Steuerung der Ausgabe von Anzeigedaten an eine Anzeigevorrichtung 3120. In mindestens einer Ausführungsform beinhaltet der Anzeigecontroller 3102 Hardware für eine oder mehrere Überlagerungsebenen für die Anzeigevorrichtung 3120 und die Zusammensetzung mehrerer Schichten von Video- oder Benutzerschnittstellenelementen. In mindestens einer Ausführungsform kann es sich bei der Anzeigevorrichtung 3120 um eine interne oder externe Anzeigevorrichtung handeln. In mindestens einer Ausführungsform handelt es sich bei der Anzeigevorrichtung 3120 um eine kopfmontierte Anzeigevorrichtung, beispielsweise eine Anzeigevorrichtung für virtuelle Realität (VR) oder eine Anzeigevorrichtung für erweiterte Realität (AR). In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 3100 eine Videocodec-Engine 3106 zum Codieren, Decodieren oder Transcodieren von Medien in, aus oder zwischen einem oder mehreren Mediencodierformaten, einschließlich, aber nicht beschränkt auf Moving Picture Experts Group (MPEG)-Formate wie MPEG-2, Advanced Video Coding (AVC)-Formate wie H.264 /MPEG-4 AVC, sowie Society of Motion Picture & Television Engineers (SMPTE) 421M/VC-1 und Joint Photographic Experts Group (JPEG) Formate wie JPEG und Motion JPEG (MJPEG) Formate.
In mindestens einer Ausführungsform beinhaltet der Grafikprozessor 3100 eine Block Image Transfer (BLIT)-Engine 3104, um zweidimensionale (2D) Rasterisierungsoperationen auszuführen, die zum Beispiel Bit-Boundary Block Transfers beinhalten. In mindestens einer Ausführungsform werden 2D-Grafikoperationen jedoch mit einer oder mehreren Komponenten einer Grafikverarbeitungsengine (GPE) 3110 ausgeführt. In mindestens einer Ausführungsform ist die GPE 3110 eine Rechenengine zum Ausführen von Grafikoperationen, die dreidimensionale (3D) Grafikoperationen und Medienoperationen beinhalten.
In mindestens einer Ausführungsform beinhaltet die GPE 3110 eine 3D-Pipeline 3112 zum Ausführen von 3D-Operationen, wie z. B. das Rendern dreidimensionaler Bilder und Szenen unter Verwendung von Verarbeitungsfunktionen, die auf 3D-Primitivformen (z. B. Rechteck, Dreieck usw.) wirken. In mindestens einer Ausführungsform beinhaltet die 3D-Pipeline 3112 programmierbare und Festfunktionselemente, die verschiedene Aufgaben ausführen und/oder Ausführungsthreads an ein 3D/Media-Teilsystem 3115 weiterleiten. Während die 3D-Pipeline 3112 zum Durchführen von Medienoperationen verwendet werden kann, beinhaltet die GPE 3110 in mindestens einer Ausführungsform auch eine Medienpipeline 3116, die zum Durchführen von Medienoperationen, wie etwa Videonachverarbeitung und Bildverbesserung, verwendet wird.
In mindestens einer Ausführungsform beinhaltet die Medienpipeline 3116 Festfunktions- oder programmierbare Logikeinheiten, um eine oder mehrere spezialisierte Operationen im Medienbereich auszuführen, wie z. B. Videodecodierbeschleunigung, Videoentflechtung und Videocodierbeschleunigung anstelle oder im Auftrag der Videocodec-Engine 3106. In mindestens einer Ausführungsform beinhaltet die Medienpipeline 3116 zusätzlich eine Thread-Spawning-Einheit, um Threads zur Ausführung im 3D/Media-Teilsystem 3115 zu erzeugen. In mindestens einer Ausführungsform führen die gespawnten Threads Berechnungen für Medienoperationen auf einer oder mehreren Grafikausführungseinheiten aus, die im 3D/Media-Teilsystem 3115 enthalten sind.
In mindestens einer Ausführungsform beinhaltet das 3D/Medien-Teilsystem 3115 eine Logik zur Ausführung von Threads, die von der 3D-Pipeline 3112 und der Medienpipeline 3116 erzeugt wurden. In mindestens einer Ausführungsform senden die 3D-Pipeline 3112 und die Medienpipeline 3116 Thread-Ausführungsanforderungen an das 3D/Media-Teilsystem 3115, das eine Thread-Dispatch-Logik beinhaltet, um verschiedene Anforderungen an verfügbare Thread-Ausführungsressourcen zu vermitteln und zu verteilen. In mindestens einer Ausführungsform beinhalten die Ausführungsressourcen ein Array von Grafikausführungseinheiten zur Verarbeitung von 3D- und Medienthreads. In mindestens einer Ausführungsform beinhaltet das 3D/Medien-Teilsystem 3115 einen oder mehrere interne Caches für Thread-Anweisungen und Daten. In mindestens einer Ausführungsform beinhaltet das Teilsystem 3115 auch einen gemeinsam genutzten Speicher, der Register und adressierbaren Speicher beinhaltet, um Daten zwischen Threads gemeinsam zu nutzen und um Ausgabedaten zu speichern.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1015 in den Grafikprozessor 3100 einbezogen sein. Zum Beispiel können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenzierungsverfahren eine oder mehrere der in der 3D-Pipeline 3112 verkörperten ALUs verwenden. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in 10A oder 10B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform, können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs von Grafikprozessor 3100 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzarchitekturen, Anwendungsfälle oder Trainingstechniken auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, einen Grafikprozessor 3100 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Grafikprozessor 3100 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
32 ist ein Blockdiagramm einer Grafikverarbeitungs-Engine 3210 eines Grafikprozessors gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Grafikverarbeitungsengine (GPE) 3210 eine Version der in 31 gezeigten GPE 3110. In mindestens einer Ausführungsform ist eine Medienpipeline 3216 optional und kann nicht explizit in GPE 3210 enthalten sein. In mindestens einer Ausführungsform ist ein separater Medien- und/oder Bildprozessor mit GPE 3210 gekoppelt.
In mindestens einer Ausführungsform ist die GPE 3210 mit einem Befehlsstreamer 3203 gekoppelt oder beinhaltet einen solchen, der einen Befehlsstrom an eine 3D-Pipeline 3212 und/oder Medienpipeline 3216 bereitstellt. In mindestens einer Ausführungsform ist der Befehlsstreamer 3203 mit einem Speicher gekoppelt, bei dem es sich um einen Systemspeicher oder um einen oder mehrere interne Cache-Speicher und gemeinsam genutzte Cache-Speicher handeln kann. In mindestens einer Ausführungsform empfängt der Befehlsstreamer 3203 Befehle vom Speicher und sendet Befehle an die 3D-Pipeline 3212 und/oder die Medienpipeline 3216. In mindestens einer Ausführungsform handelt es sich bei den Befehlen um Anweisungen, Primitive oder Mikrooperationen, die aus einem Ringpuffer abgerufen werden, in dem Befehle für die 3D-Pipeline 3212 und die Medienpipeline 3216 gespeichert sind. In mindestens einer Ausführungsform kann ein Ringpuffer zusätzlich Batch-Befehlspuffer beinhalten, die Stapel von mehreren Befehlen speichern. In mindestens einer Ausführungsform können die Befehle für die 3D-Pipeline 3212 auch Verweise auf im Speicher gespeicherte Daten beinhalten, wie beispielsweise, aber nicht ausschließlich, Scheitelpunkt- und Geometriedaten für die 3D-Pipeline 3212 und/oder Bilddaten und Speicherobjekte für die Medienpipeline 3216. In mindestens einer Ausführungsform verarbeiten die 3D-Pipeline 3212 und die Medienpipeline 3216 Befehle und Daten, indem sie Operationen ausführen oder einen oder mehrere Ausführungsthreads an ein Grafikkern-Array 3214 weiterleiten. In mindestens einer Ausführungsform beinhaltet das Grafikkern-Array 3214 einen oder mehrere Blöcke von Grafikkernen (z. B. Grafikkerne 3215A, Grafikkerne 3215B), wobei jeder Block einen oder mehrere Grafikkerne beinhaltet. In mindestens einer Ausführungsform beinhaltet jeder Grafikkern einen Satz von Grafikausführungsressourcen, der eine allgemeine und eine grafikspezifische Ausführungslogik zum Ausführen von Grafik- und Rechenoperationen sowie eine Texturverarbeitungslogik mit fester Funktion und/oder eine Beschleunigungslogik für maschinelles Lernen und künstliche Intelligenz beinhaltet, einschließlich der Inferenz- und/oder Trainingslogik 1015 in 10A und 10B.
In mindestens einer Ausführungsform beinhaltet die 3D-Pipeline 3212 eine Festfunktion und eine programmierbare Logik zur Verarbeitung eines oder mehrerer Shader-Programme, wie z. B. Vertex-Shader, Geometrie-Shader, Pixel-Shader, Fragment-Shader, Compute-Shader oder andere Shader-Programme, durch Verarbeitung von Anweisungen und Weiterleitung von Ausführungsthreads an das Grafikkern-Array 3214. In mindestens einer Ausführungsform stellt das Grafikkern-Array 3214 einen einheitlichen Block von Ausführungsressourcen zur Verwendung bei der Verarbeitung von Shader-Programmen bereit. In mindestens einer Ausführungsform beinhaltet eine Mehrzweck-Ausführungslogik (z. B. Ausführungseinheiten) in den Grafikkernen 3215A-3215B des Grafikkern-Arrays 3214 Unterstützung für verschiedene 3D-API-Shader-Sprachen und kann mehrere gleichzeitige Ausführungsthreads ausführen, die mit mehreren Shadern verbunden sind.
In mindestens einer Ausführungsform beinhaltet das Grafikkern-Array 3214 auch eine Ausführungslogik zum Ausführen von Medienfunktionen, wie Video- und/oder Bildverarbeitung. In mindestens einer Ausführungsform beinhalten die Ausführungseinheiten zusätzlich eine Allzwecklogik, die so programmiert werden kann, dass sie zusätzlich zu den Grafikverarbeitungsoperationen parallele Rechenoperationen für allgemeine Zwecke ausführt.
In mindestens einer Ausführungsform können Ausgabedaten, die von Threads erzeugt werden, die auf dem Grafikkern-Array 3214 ausgeführt werden, in einem Unified Return Buffer (URB) 3218 an den Speicher ausgegeben werden. In mindestens einer Ausführungsform kann der URB 3218 Daten für mehrere Threads speichern. In mindestens einer Ausführungsform kann URB 3218 verwendet werden, um Daten zwischen verschiedenen Threads zu senden, die auf dem Grafikkern-Array 3214 ausgeführt werden. In mindestens einer Ausführungsform kann URB 3218 zusätzlich für die Synchronisierung zwischen Threads auf dem Grafikkern-Array 3214 und der festen Funktionslogik innerhalb der gemeinsam genutzten Funktionslogik 3220 verwendet werden.
In mindestens einer Ausführungsform ist das Grafikkern-Array 3214 skalierbar, so dass das Grafikkern-Array 3214 eine variable Anzahl von Grafikkernen beinhaltet, von denen jeder eine variable Anzahl von Ausführungseinheiten basierend auf einem angestrebten Energie- und Leistungsniveau von GPE 3210 aufweist. In mindestens einer Ausführungsform sind die Ausführungsressourcen dynamisch skalierbar, so dass die Ausführungsressourcen je nach Bedarf aktiviert oder deaktiviert werden können.
In mindestens einer Ausführungsform ist das Grafikkern-Array 3214 mit der gemeinsamen Funktionslogik 3220 gekoppelt, die mehrere Ressourcen beinhaltet, die von den Grafikkernen im Grafikkern-Array 3214 gemeinsam genutzt werden. In mindestens einer Ausführungsform sind die von der gemeinsam genutzten Funktionslogik 3220 ausgeführten Funktionen in Hardware-Logikeinheiten verkörpert, die dem Grafikkern-Array 3214 eine spezielle Zusatzfunktionalität bereitstellen. In mindestens einer Ausführungsform beinhaltet die gemeinsam genutzte Funktionslogik 3220, ohne darauf beschränkt zu sein, eine Abtaster-Einheit 3221, eine mathematische Einheit 3222 und eine Inter-Thread-Kommunikationslogik (ITC) 3223. In mindestens einer Ausführungsform sind ein oder mehrere Caches 3225 in der gemeinsamen Funktionslogik 3220 enthalten oder mit ihr gekoppelt.
In mindestens einer Ausführungsform wird eine gemeinsam genutzte Funktion verwendet, wenn die Nachfrage nach einer speziellen Funktion nicht ausreicht, um sie in das Grafikkern-Array 3214 aufzunehmen. In mindestens einer Ausführungsform wird eine einzelne Instanziierung einer spezialisierten Funktion in der gemeinsam genutzten Funktionslogik 3220 verwendet und mit anderen Ausführungsressourcen im Grafikkern-Array 3214 geteilt. In mindestens einer Ausführungsform können bestimmte gemeinsam genutzte Funktionen innerhalb der gemeinsam genutzten Funktionslogik 3220, die vom Grafikkern-Array 3214 intensiv genutzt werden, in der gemeinsam genutzten Funktionslogik 3516 innerhalb des Grafikkern-Arrays 3214 enthalten sein. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 3516 innerhalb des Grafikkern-Arrays 3214 einen Teil oder die gesamte Logik der gemeinsam genutzten Funktionslogik 3220 beinhalten. In mindestens einer Ausführungsform können alle Logikelemente der gemeinsam genutzten Funktionslogik 3220 in der gemeinsam genutzten Funktionslogik 3226 des Grafikkern-Arrays 3214 dupliziert werden. In mindestens einer Ausführungsform ist die gemeinsam genutzte Funktionslogik 3220 zugunsten der gemeinsam genutzten Funktionslogik 3226 im Grafikkern-Array 3214 ausgeschlossen.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1015 in den Grafikprozessor 3210 einbezogen sein. Zum Beispiel können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenzierungsverfahren eine oder mehrere ALUs verwenden, die in der 3D-Pipeline 3212, den Grafikkernen 3215, der gemeinsam genutzten Funktionslogik 3226, der gemeinsam genutzten Funktionslogik 3220 oder einer anderen Logik in 32 enthalten sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in 10A oder 10B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform, können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs von Grafikprozessor 3210 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzarchitekturen, Anwendungsfälle oder Trainingstechniken auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, eine Grafikverarbeitungsengine 3210 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt die Grafikverarbeitungsengine 3210 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
33 ist ein Blockdiagramm der Hardware-Logik eines Grafikprozessorkerns 3300, gemäß mindestens einer hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform ist der Grafikprozessorkern 3300 in einem Grafikkern-Array enthalten. In mindestens einer Ausführungsform kann der Grafikprozessorkern 3300, der manchmal auch als Kern-Slice bezeichnet wird, ein oder mehrere Grafikkerne innerhalb eines modularen Grafikprozessors sein. In mindestens einer Ausführungsform ist der Grafikprozessorkern 3300 ein Beispiel für ein Grafikkern-Slice, und ein hierin beschriebener Grafikprozessor kann mehrere Grafikkern-Slices beinhalten, basierend auf den angestrebten Energie- und Leistungshüllkurven. In mindestens einer Ausführungsform kann jeder Grafikkern 3300 einen festen Funktionsblock 3330 beinhalten, der mit mehreren Teilkernen 3301A-3301 F gekoppelt ist, die auch als Slice bezeichnet werden und modulare Blöcke von Mehrzweck- und fester Funktionslogik beinhalten.
In mindestens einer Ausführungsform beinhaltet der Festfunktionsblock 3330 eine Geometrie- und Festfunktionspipeline 3336, die von allen Teilkernen im Grafikprozessor 3300 gemeinsam genutzt werden kann, zum Beispiel in Grafikprozessorimplementierungen mit geringerer Leistung und/oder geringerem Stromverbrauch. In mindestens einer Ausführungsform beinhaltet die Geometrie- und Festfunktionspipeline 3336 eine 3D-Festfunktionspipeline, eine Video-Front-End-Einheit, einen Thread-Spawner und Thread-Dispatcher sowie einen Unified-Return-Puffer-Manager, der Unified-Return-Puffer verwaltet.
In mindestens einer Ausführungsform beinhaltet der Festfunktionsblock 3330 auch eine Grafik-SoC-Schnittstelle 3337, einen Grafik-Mikrocontroller 3338 und eine Medienpipeline 3339. In mindestens einer Ausführungsform stellt die Grafik-SoC-Schnittstelle 3337 eine Schnittstelle zwischen dem Grafikkern 3300 und anderen Prozessorkernen innerhalb einer integrierten System-on-Chip-Schaltung bereit. In mindestens einer Ausführungsform ist der Grafik-Mikrocontroller 3338 ein programmierbarer Unterprozessor, der dazu konfigurierbar ist, verschiedene Funktionen des Grafikprozessors 3300 zu verwalten, einschließlich Thread-Dispatching, -Scheduling und -Präemption. In mindestens einer Ausführungsform beinhaltet die Medienpipeline 3339 eine Logik zur Erleichterung der Decodierung, Codierung, Vorverarbeitung und/oder Nachverarbeitung von Multimediadaten, einschließlich Bild- und Videodaten. In mindestens einer Ausführungsform implementiert die Medienpipeline 3339 Medienoperationen über Anforderungen an die Rechen- oder Abtast-Logik innerhalb der Teilkerne 3301 A-3301 F.
In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 3337 dem Grafikkern 3300 die Kommunikation mit Allzweck-Anwendungsprozessorkernen (z. B. CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen wie einem gemeinsam genutzten Cache-Speicher der letzten Ebene, System-RAM und/oder eingebettetem On-Chip- oder On-Package-DRAM. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 3337 auch die Kommunikation mit Vorrichtungen mit fester Funktion innerhalb eines SoCs ermöglichen, wie Kamera-Bildgebungspipelines, und ermöglicht die Nutzung und/oder Implementierung globaler Speicher-Atomik, die von Grafikkern 3300 und CPUs innerhalb eines SoCs gemeinsam genutzt werden kann. In mindestens einer Ausführungsform kann die Grafik-SoC-Schnittstelle 3337 auch Energieverwaltungssteuerungen für den Grafikprozessorkern 3300 implementieren und eine Schnittstelle zwischen einer Taktdomäne des Grafikprozessorkerns 3300 und anderen Taktdomänen innerhalb eines SoCs ermöglichen. In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 3337 den Empfang von Befehlspuffern von einem Befehlsstreamer und einem globalen Thread-Dispatcher, die dazu konfiguriert sind, Befehle und Anweisungen für jeden von einem oder mehreren Grafikkernen innerhalb eines Grafikprozessors bereitzustellen. In mindestens einer Ausführungsform können Befehle und Anweisungen an die Medienpipeline 3339 gesendet werden, wenn Medienoperationen ausgeführt werden sollen, oder an eine Geometrie- und Festfunktionspipeline (z. B. Geometrie- und Festfunktionspipeline 3336 und/oder eine Geometrie- und Festfunktionspipeline 3314), wenn Grafikverarbeitungsoperationen ausgeführt werden sollen.
In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3338 so konfiguriert sein, dass er verschiedene Planungs- und Verwaltungsaufgaben für den Grafikkern 3300 ausführt. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3338 die Planung von Grafik- und/oder Rechenaufgaben für verschiedene parallele Grafikmaschinen in den Arrays 3302A-3302F, 3304A-3304F der Ausführungseinheiten (execution unit - EU) in den Teilkernen 3301A-3301 F durchführen. In mindestens einer Ausführungsform kann Hostsoftware, die auf einem CPU-Kern eines SoC ausgeführt wird, der den Grafikkern 3300 beinhaltet, Arbeitslasten an einen von mehreren Grafikprozessorpfaden weiterleiten, der eine Planungsoperation auf einer geeigneten Grafikengine aufruft. In mindestens einer Ausführungsform beinhalten die Planungsoperationen das Bestimmen der als nächstes auszuführenden Arbeitslast, das Übermitteln einer Arbeitslast an einen Befehlsstreamer, das Vorziehen bestehender Arbeitslasten, die auf einer Engine laufen, das Überwachen des Fortschritts einer Arbeitslast und das Benachrichtigen der Host-Software, wenn eine Arbeitslast abgeschlossen ist. In mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3338 auch Niedrigstrom- oder Leerlaufzustände für den Grafikkern 3300 erleichtern, indem er dem Grafikkern 3300 die Fähigkeit bereitstellt, Register innerhalb des Grafikkerns 3300 über Niedrigstrom-Zustandsübergänge unabhängig von einem Betriebssystem und/oder einer Grafiktreibersoftware auf einem System zu speichern und wiederherzustellen.
In mindestens einer Ausführungsform kann der Grafikkern 3300 mehr oder weniger als die veranschaulichten Teilkerne 3301A-3301 F haben, bis zu N modulare Teilkerne. Für jeden Satz von N Teilkernen kann der Grafikkern 3300 in mindestens einer Ausführungsform auch eine gemeinsam genutzte Funktionslogik 3310, einen gemeinsam genutzten und/oder Cache-Speicher 3312, eine Geometrie-ZFestfunktionspipeline 3314 sowie eine zusätzliche Festfunktionslogik 3316 zur Beschleunigung verschiedener Grafik- und Rechenoperationen beinhalten. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 3310 Logikeinheiten (z. B. Abtaster, Mathematik und/oder Inter-Thread-Kommunikationslogik) beinhalten, die von jedem N Teilkern innerhalb des Grafikkerns 3300 gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann der gemeinsam genutzte und/oder Cache-Speicher 3312 ein Cache der letzten Ebene für die N Teilkerne 3301A-3301 F innerhalb des Grafikkerns 3300 sein und kann auch als gemeinsam genutzter Speicher dienen, auf den mehrere Teilkerne zugreifen können. In mindestens einer Ausführungsform kann die Geometrie/Festfunktions-Pipeline 3314 anstelle der Geometrie/Festfunktions-Pipeline 3336 im Festfunktionsblock 3330 enthalten sein und ähnliche Logikeinheiten beinhalten.
In mindestens einer Ausführungsform beinhaltet der Grafikkern 3300 eine zusätzliche Festfunktionslogik 3316, die verschiedene Festfunktions-Beschleunigungslogiken zur Verwendung durch den Grafikkern 3300 beinhalten kann. In mindestens einer Ausführungsform beinhaltet die zusätzliche Festfunktionslogik 3316 eine zusätzliche Geometrie-Pipeline zur Verwendung im positionsabhängigen Schattieren. Beim positionsabhängigen Shading gibt es mindestens zwei Geometrie-Pipelines, nämlich eine vollständige Geometrie-Pipeline in den Geometrie- und Festfunktions-Pipelines 3314, 3336 und eine Cull-Pipeline, eine zusätzliche Geometrie-Pipeline, die in der zusätzlichen Festfunktionslogik 3316 enthalten sein kann. In mindestens einer Ausführungsform ist eine Cull-Pipeline eine abgespeckte Version einer vollständigen Geometrie-Pipeline. In mindestens einer Ausführungsform können eine vollständige Pipeline und eine Cull-Pipeline unterschiedliche Instanzen einer Anwendung ausführen, wobei jede Instanz einen getrennten Kontext aufweist. In mindestens einer Ausführungsform kann das positionsbezogene Shading lange Cull-Läufe von verworfenen Dreiecken ausblenden, so dass das Shading in einigen Fällen früher abgeschlossen werden kann. Zum Beispiel kann in mindestens einer Ausführungsform die Cull-Pipeline-Logik innerhalb der zusätzlichen Festfunktionslogik 3316 Positions-Shader parallel zu einer Hauptanwendung ausführen und erzeugt im Allgemeinen kritische Ergebnisse schneller als eine vollständige Pipeline, da eine Cull-Pipeline Positionsattribute von Scheitelpunkten abruft und schattiert, ohne eine Rasterung und ein Rendering von Pixeln in einen Frame-Puffer durchzuführen. In mindestens einer Ausführungsform kann eine Cull-Pipeline die erzeugten kritischen Ergebnisse verwenden, um Sichtbarkeitsinformationen für alle Dreiecke zu berechnen, ohne Rücksicht darauf, ob diese Dreiecke gecullt werden. In mindestens einer Ausführungsform kann eine vollständige Pipeline (die in diesem Fall als Replay-Pipeline bezeichnet werden kann) Sichtbarkeitsinformationen verwenden, um aussortierte Dreiecke zu überspringen und nur sichtbare Dreiecke zu shaden, die schließlich an eine Rasterisierungsphase weitergeleitet werden.
In mindestens einer Ausführungsform kann die zusätzliche Festfunktionslogik 3316 auch eine Logik zur Beschleunigung des maschinellen Lernens beinhalten, wie z. B. eine Festfunktions-Matrixmultiplikationslogik, für Implementierungen, die Optimierungen für das Training oder Inferenzieren des maschinellen Lernens beinhalten.
In mindestens einer Ausführungsform beinhaltet jeder grafische Teilkern 3301A-3301F einen Satz von Ausführungsressourcen, die zur Ausführung von Grafik-, Medien- und Rechenoperationen als Reaktion auf Anforderungen von Grafikpipeline-, Medienpipeline- oder Shader-Programmen verwendet werden können. In mindestens einer Ausführungsform beinhalten die Grafik-Teilkerne 3301A-3301 F mehrere EU-Arrays 3302A-3302F, 3304A-3304F, Thread-Zuteilung und Zwischen-Thread-Kommunikation (thread dispatch/inter-thread communication - TD/IC) 3303A-3303F, einen 3D-Abtaster (z. B. für Texturen) 3305A-3305F, einen Media-Abtaster 3306A-3306F, einen Shader-Prozessor 3307A-3307F und einen gemeinsamen lokalen Speicher (SLM) 3308A-3308F. In mindestens einer Ausführungsform beinhalten die EU-Arrays 3302A-3302F, 3304A-3304F jeweils mehrere Ausführungseinheiten, bei denen es sich um Allzweck-Grafikverarbeitungseinheiten handelt, die in der Lage sind, Gleitkomma- und Ganzzahl/Festkomma-Logikoperationen im Dienste einer Grafik-, Medien- oder Rechenoperation auszuführen, die Grafik-, Medien- oder Rechenshader-Programme beinhalten. In mindestens einer Ausführungsform führt die TD/IC-Logik 3303A-3303F lokale Thread-Versand- und Thread-Steuerungsoperationen für Ausführungseinheiten innerhalb eines Teilkerns aus und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Teilkerns ausgeführt werden. In mindestens einer Ausführungsform können die 3D-Abtaster 3305A-3305F Textur- oder andere 3D-Grafikdaten in den Speicher einlesen. In mindestens einer Ausführungsform können 3D-Abtaster Texturdaten basierend auf einem konfigurierten Abtastzustand und einem mit einer bestimmten Textur verbundenen Texturformat unterschiedlich lesen. In mindestens einer Ausführungsform können die Medienabtaster 3306A-3306F ähnliche Leseoperationen basierend auf einem Typ und einem Format ausführen, die mit den Mediendaten verbunden sind. In mindestens einer Ausführungsform kann jeder Grafik-Teilkern 3301A-3301 F abwechselnd einen vereinheitlichten 3D- und Medienabtaster beinhalten. In mindestens einer Ausführungsform können Threads, die auf Ausführungseinheiten innerhalb jedes der Teilkerne 3301A-3301 F ausgeführt werden, den gemeinsamen lokalen Speicher 3308A-3308F innerhalb jedes Teilkerns nutzen, damit Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, einen gemeinsamen Pool von On-Chip-Speicher nutzen können.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1015 in den Grafikprozessor 3310 einbezogen sein. Zum Beispiel können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenzierungsverfahren eine oder mehrere ALUs in einer 3D-Pipeline, einen Grafik-Mikrocontroller 3338, eine Geometrie- und Festfunktions-Pipeline 3314 und 3336 oder eine andere Logik in 33 verwenden. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in 10A oder 10B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform, können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs von Grafikprozessor 3300 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzarchitekturen, Anwendungsfälle oder Trainingstechniken auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, einen Grafikprozessorkern 3300 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der Grafikprozessorkern 3300 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
34A-34B veranschaulichen die Thread-Ausführungslogik 3400, die ein Array von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform beinhaltet; 34A veranschaulicht mindestens eine Ausführungsform, in der die Thread-Ausführungslogik 3400 verwendet wird. 34B veranschaulicht beispielhafte interne Details einer Grafikausführungseinheit 3408 gemäß mindestens einer Ausführungsform.
Wie in 34A veranschaulicht, beinhaltet die Thread-Ausführungslogik 3400 in mindestens einer Ausführungsform einen Shader-Prozessor 3402, einen Thread-Dispatcher 3404, einen Anweisungs-Cache 3406, ein skalierbares Ausführungseinheiten-Array, das eine Vielzahl von Ausführungseinheiten 3407A-3407N und 3408A-3408N beinhaltet, einen Abtaster 3410, einen Daten-Cache 3412 und einen Datenport 3414. In mindestens einer Ausführungsform kann ein skalierbares Array von Ausführungseinheiten dynamisch skaliert werden, indem eine oder mehrere Ausführungseinheiten (z. B. eine der Ausführungseinheiten 3408A-N oder 3407A-N) basierend auf den Rechenanforderungen einer Arbeitslast aktiviert oder deaktiviert werden. In mindestens einer Ausführungsform sind die skalierbaren Ausführungseinheiten über eine Verbindungsstruktur zusammengeschaltet, die mit jeder Ausführungseinheit verknüpft ist. In mindestens einer Ausführungsform beinhaltet die Thread-Ausführungslogik 3400 eine oder mehrere Verbindungen zum Speicher, z. B. zum Systemspeicher oder zum Cache-Speicher, über einen oder mehrere der folgenden Elemente: Anweisungs-Cache 3406, Datenport 3414, Abtaster 3410 und Ausführungseinheiten 3407 oder 3408. In mindestens einer Ausführungsform ist jede Ausführungseinheit (z. B. 3407A) eine eigenständige programmierbare Mehrzweck-Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und dabei mehrere Datenelemente parallel für jeden Thread zu verarbeiten. In mindestens einer Ausführungsform ist das Array der Ausführungseinheiten 3407 und/oder 3408 so skalierbar, dass es eine beliebige Anzahl einzelner Ausführungseinheiten beinhaltet.
In mindestens einer Ausführungsform werden die Ausführungseinheiten 3407 und/oder 3408 hauptsächlich zur Ausführung von Shader-Programmen verwendet. In mindestens einer Ausführungsform kann der Shader-Prozessor 3402 verschiedene Shader-Programme verarbeiten und die mit den Shader-Programmen verbundenen Ausführungsthreads über einen Thread-Dispatcher 3404 verteilen. In mindestens einer Ausführungsform beinhaltet der Thread-Dispatcher 3404 eine Logik zur Vermittlung von Thread-Initiierungsanforderungen von Grafik- und Medienpipelines und zur Instanziierung angeforderter Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 3407 und/oder 3408. Zum Beispiel kann in mindestens einer Ausführungsform eine Geometrie-Pipeline Vertex-, Tesselations- oder Geometrie-Shader zur Verarbeitung an die Thread-Ausführungslogik weiterleiten. In mindestens einer Ausführungsform kann der Thread-Dispatcher 3404 auch Laufzeit-Thread-Spawning-Anforderungen von ausführenden Shader-Programmen verarbeiten.
In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 3407 und/oder 3408 einen Satz von Anweisungen, der eine native Unterstützung für viele Standard-3D-Grafik-Shader-Anweisungen beinhaltet, so dass Shader-Programme aus Grafikbibliotheken (z. B. Direct-3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten die Scheitelpunkt- und Geometrieverarbeitung (z. B. Scheitelpunktprogramme, Geometrieprogramme und/oder Scheitelpunkt-Shader), die Pixelverarbeitung (z. B. Pixel-Shader, Fragment-Shader) und die allgemeine Verarbeitung (z. B. Compute- und Media-Shader). In mindestens einer Ausführungsform ist jede der Ausführungseinheiten 3407 und/oder 3408, die eine oder mehrere arithmetische Logikeinheiten (ALUs) beinhalten, zur SIMD-Ausführung (Single Instruction Multiple Data) fähig, und die Operation mit mehreren Threads ermöglicht eine effiziente Ausführungsumgebung trotz höherer Latenzzeiten bei Speicherzugriffen. In mindestens einer Ausführungsform verfügt jeder Hardware-Thread innerhalb jeder Ausführungseinheit über eine eigene Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Zustand. In mindestens einer Ausführungsform erfolgt die Ausführung in Pipelines, die Ganzzahl-, Gleitkomma- und Doppelpräzisionsoperationen, SIMD-Verzweigungsfähigkeit, logische Operationen, transzendentale Operationen und andere verschiedene Operationen ausführen können, in mehreren Schritten pro Takt. In mindestens einer Ausführungsform bewirkt die Abhängigkeitslogik in den Ausführungseinheiten 3407 und/oder 3408, dass ein wartender Thread in den Ruhezustand versetzt wird, bis die angeforderten Daten zurückgegeben worden sind, während er auf Daten aus dem Speicher oder einer der gemeinsam genutzten Funktionen wartet. In mindestens einer Ausführungsform können, während ein wartender Thread schläft, Hardware-Ressourcen für die Verarbeitung anderer Threads verwendet werden. Zum Beispiel kann in mindestens einer Ausführungsform eine Ausführungseinheit während einer Verzögerung, die mit einer Vertex-Shader-Operation verbunden ist, Operationen für einen Pixel-Shader, Fragment-Shader oder eine andere Art von Shader-Programm ausführen, die einen anderen Vertex-Shader beinhalten.
In mindestens einer Ausführungsform arbeitet jede Ausführungseinheit in den Ausführungseinheiten 3407 und/oder 3408 mit Arrays von Datenelementen. In mindestens einer Ausführungsform ist eine Anzahl von Datenelementen eine „Ausführungsgröße“ oder eine Anzahl von Kanälen für eine Anweisung. In mindestens einer Ausführungsform ist ein Ausführungskanal eine logische Ausführungseinheit für den Zugriff auf Datenelemente, die Maskierung und die Flusssteuerung innerhalb von Befehlen. In mindestens einer Ausführungsform kann die Anzahl der Kanäle unabhängig von der Anzahl der physischen arithmetischen Logikeinheiten (ALUs) oder Gleitkomma-Einheiten (FPUs) eines bestimmten Grafikprozessors sein. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 3407 und/oder 3408 Ganzzahl- und Gleitkomma-Datentypen.
In mindestens einer Ausführungsform beinhaltet ein Satz von Anweisungen für die Ausführungseinheit SIMD-Anweisungen. In mindestens einer Ausführungsform können verschiedene Datenelemente als ein gepackter Datentyp in einem Register gespeichert werden, und eine Ausführungseinheit wird verschiedene Elemente basierend auf der Datengröße der Elemente verarbeiten. Zum Beispiel werden in mindestens einer Ausführungsform bei der Bearbeitung eines 256 Bit breiten Vektors 256 Bits eines Vektors in einem Register gespeichert, und eine Ausführungseinheit bearbeitet den Vektor als vier getrennte gepackte 64-Bit-Datenelemente (Datenelemente der Größe Quad-Word (QW)), acht getrennte gepackte 32-Bit-Datenelemente (Datenelemente der Größe Double Word (DW)), sechzehn getrennte gepackte 16-Bit-Datenelemente (Datenelemente der Größe Word (W)) oder zweiunddreißig getrennte 8-Bit-Datenelemente (Datenelemente der Größe Byte (B)). In mindestens einer Ausführungsform sind jedoch unterschiedliche Vektorbreiten und Registergrößen möglich.
In mindestens einer Ausführungsform können eine oder mehrere Ausführungseinheiten zu einer fusionierten Ausführungseinheit 3409A-3409N zusammengefasst werden, die über eine Thread-Steuerungslogik (3411A-3411N) verfügt, die den fusionierten EUs gemeinsam ist, wie z. B. die Ausführungseinheit 3407A, die mit der Ausführungseinheit 3408A zur fusionierten Ausführungseinheit 3409Afusioniert ist. In mindestens einer Ausführungsform können mehrere EUs zu einer EU-Gruppe verschmolzen werden. In mindestens einer Ausführungsform kann jede EU in einer fusionierten EU-Gruppe so konfiguriert sein, dass sie einen separaten SIMD-Hardware-Thread ausführt, wobei die Anzahl der EUs in einer fusionierten EU-Gruppe gemäß verschiedenen Ausführungsformen variieren kann. In mindestens einer Ausführungsform können verschiedene SIMD-Breiten pro EU ausgeführt werden, die SIMD8, SIMD16 und SIMD32 beinhalten, aber nicht darauf beschränkt sind. In mindestens einer Ausführungsform beinhaltet jede fusionierte Grafikausführungseinheit 3409A-3409N mindestens zwei Ausführungseinheiten. Zum Beispiel beinhaltet in mindestens einer Ausführungsform die verschmolzene Ausführungseinheit 3409A eine erste EU 3407A, eine zweite EU 3408A und eine Thread-Steuerlogik 3411A, die der ersten EU 3407A und der zweiten EU 3408A gemeinsam ist. In mindestens einer Ausführungsform steuert die Thread-Steuerlogik 3411 A Threads, die auf der fusionierten Grafikausführungseinheit 3409A ausgeführt werden, so dass jede EU innerhalb der fusionierten Ausführungseinheiten 3409A-3409N unter Verwendung eines gemeinsamen Anweisungszeigerregisters ausgeführt werden kann.
In mindestens einer Ausführungsform beinhaltet die Thread-Ausführungslogik 3400 einen oder mehrere interne Anweisungs-Caches (z. B. 3406), um Thread-Anweisungen für Ausführungseinheiten zwischenzuspeichern. In mindestens einer Ausführungsform sind ein oder mehrere Daten-Caches (z. B. 3412) enthalten, um Thread-Daten während der Thread-Ausführung zu cachen. In mindestens einer Ausführungsform ist ein Abtaster 3410 enthalten, der Texturabtastungen für 3D-Operationen und Medienabtastungen für Medienoperationen bereitstellt. In mindestens einer Ausführungsform beinhaltet der Abtaster 3410 eine spezielle Textur- oder Medienabtaster-Funktionalität, um Textur- oder Mediendaten während des Abtastprozesses zu verarbeiten, bevor die abgetasteten Daten einer Ausführungseinheit bereitgestellt werden.
In mindestens einer Ausführungsform senden Grafik- und Medienpipelines während der Ausführung Anforderungen zur Thread-Initialisierung an die Thread-Ausführungslogik 3400 über eine Thread-Spawning- und Versandlogik. In mindestens einer Ausführungsform wird, sobald eine Gruppe geometrischer Objekte verarbeitet und in Pixeldaten gerastert wurde, die Pixelprozessorlogik (z. B. Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 3402 aufgerufen, um weitere Ausgabeinformationen zu berechnen und die Ergebnisse in Ausgabeflächen (z. B. Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) zu schreiben. In mindestens einer Ausführungsform berechnet ein Pixel-Shader oder ein a Fragment-Shader die Werte verschiedener Vertex-Attribute, die über ein gerastertes Objekt interpoliert werden sollen. In mindestens einer Ausführungsform führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 3402 dann ein über eine Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. In mindestens einer Ausführungsform sendet der Shader-Prozessor 3402 zur Ausführung eines Shader-Programms Threads über den Thread-Dispatcher 3404 an eine Ausführungseinheit (z. B. 3408A). In mindestens einer Ausführungsform verwendet der Shader-Prozessor 3402 die Textur-Abtast-Logik im Abtaster 3410, um auf Texturdaten in den im Speicher abgelegten Textur-Zuordnungen zuzugreifen. In mindestens einer Ausführungsform werden durch arithmetische Operationen an Texturdaten und Eingabegeometriedaten Pixelfarbdaten für jedes geometrische Fragment berechnet oder ein oder mehrere Pixel von der weiteren Verarbeitung ausgeschlossen.
In mindestens einer Ausführungsform stellt der Datenanschluss 3414 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 3400 bereit, um verarbeitete Daten zur weiteren Verarbeitung in einer Grafikprozessor-Ausgabepipeline in den Speicher auszugeben. In mindestens einer Ausführungsform beinhaltet der Datenport 3414 einen oder mehrere Cache-Speicher (z. B. den Daten-Cache 3412) oder ist mit diesen gekoppelt, um Daten für den Speicherzugriff über einen Datenport zu cachen.
Wie in 34B veranschaulicht, kann eine Grafikausführungseinheit 3408 in mindestens einer Ausführungsform eine Anweisungsabrufeinheit 3437, ein Array allgemeiner Registerdateien (general register file array - GRF) 3424, ein Array architektonischer Registerdateien (architectural register file array - ARF) 3426, einen Thread-Arbiter 3422, eine Sendeeinheit 3430, eine Verzweigungseinheit 3432, einen Satz SIMD-Gleitkommaeinheiten (FPUs) 3434 und einen Satz dedizierter ganzzahliger SIMD-ALUs 3435 beinhalten. In mindestens einer Ausführungsform beinhalten GRF 3424 und ARF 3426 einen Satz allgemeiner Registerdateien und Architekturregisterdateien, die mit jedem gleichzeitigen Hardware-Thread verbunden sind, der in der Grafikausführungseinheit 3408 aktiv sein kann. In mindestens einer Ausführungsform wird der Architekturzustand pro Thread in ARF 3426 verwaltet, während die während der Thread-Ausführung verwendeten Daten in GRF 3424 gespeichert werden. In mindestens einer Ausführungsform kann der Ausführungszustand jedes Threads, einschließlich der Anweisungszeiger für jeden Thread, in Thread-spezifischen Registern im ARF 3426 gespeichert werden.
In mindestens einer Ausführungsform weist die Grafikausführungseinheit 3408 eine Architektur auf, die eine Kombination aus Simultaneous Multi-Threading (Simultaneous Multi-Threading - SMT) und feinkörnigem Interleaved Multi-Threading (Interleaved Multi-Threading - IMT) ist. In mindestens einer Ausführungsform weist die Architektur eine modulare Konfiguration auf, die zur Entwurfszeit basierend auf einer Zielanzahl gleichzeitiger Threads und einer Anzahl von Registern pro Ausführungseinheit fein abgestimmt werden kann, wobei die Ressourcen der Ausführungseinheit auf die Logik aufgeteilt werden, die zur Ausführung mehrerer gleichzeitiger Threads verwendet wird.
In mindestens einer Ausführungsform kann die Grafikausführungseinheit 3408 mehrere Anweisungen gemeinsam ausgeben, wobei es sich um unterschiedliche Anweisungen handeln kann. In mindestens einer Ausführungsform kann der Thread-Arbiter 3422 des Threads der Grafikausführungseinheit 3408 Anweisungen zur Ausführung an eine der folgenden Einheiten weiterleiten: Sendeeinheit 3430, Verzweigungseinheit 3432 oder SIMD-FPUs 3434. In mindestens einer Ausführungsform kann jeder Ausführungsthread auf 128 Allzweckregister innerhalb des GRF 3424 zugreifen, wobei jedes Register 32 Byte speichern kann, die als SIMD-8-Element-Vektor von 32-Bit-Datenelementen zugänglich sind. In mindestens einer Ausführungsform hat jeder Ausführungsthread Zugriff auf 4 Kilobyte innerhalb des GRF 3424, obwohl die Ausführungsformen nicht so begrenzt sind und in anderen Ausführungsformen mehr oder weniger Registerressourcen bereitgestellt werden können. In mindestens einer Ausführungsform können bis zu sieben Threads gleichzeitig ausgeführt werden, wobei die Anzahl der Threads pro Ausführungseinheit je nach Ausführungsform auch variieren kann. In mindestens einer Ausführungsform, in der sieben Threads auf 4 Kilobyte zugreifen können, kann der GRF 3424 insgesamt 28 Kilobyte speichern. In mindestens einer Ausführungsform können durch flexible Adressierungsmodi Register gemeinsam adressiert werden, um effektiv breitere Register zu bilden oder um geschichtete rechteckige Blockdatenstrukturen darzustellen.
In mindestens einer Ausführungsform werden Speicheroperationen, Abtasteroperationen und andere Systemkommunikationen mit längerer Latenzzeit über „Sende“-Anweisungen abgewickelt, die durch Nachrichtenübermittlung an die Sendeeinheit 3430 ausgeführt werden. In mindestens einer Ausführungsform werden Verzweigungsanweisungen an die Verzweigungseinheit 3432 weitergeleitet, um SIMD-Divergenz und eventuelle Konvergenz zu erleichtern.
In mindestens einer Ausführungsform beinhaltet die Grafikausführungseinheit 3408 eine oder mehrere SIMD-Gleitkomma-Einheiten (FPUs) 3434 zum Ausführen von Gleitkomma-Operationen. In mindestens einer Ausführungsform unterstützen die FPUs 3434 auch Ganzzahl-Berechnungen. In mindestens einer Ausführungsform können die FPUs 3434 bis zu M Gleitkomma- (oder Ganzzahl-) Operationen mit 32 Bit SIMD ausführen oder bis zu 2M Ganzzahl- oder Gleitkomma-Operationen mit 16 Bit-SIMD ausführen. In mindestens einer Ausführungsform stellt mindestens eine FPU erweiterte mathematische Fähigkeiten bereit, um transzendentale mathematische Funktionen mit hohem Durchsatz und 64-Bit-Gleitkommaoperationen mit doppelter Genauigkeit zu unterstützen. In mindestens einer Ausführungsform ist auch ein Satz von 8-Bit-Ganzzahl-SIMD-ALUs 3435 vorhanden, die speziell für die Ausführung von Operationen im Zusammenhang mit Berechnungen zum maschinellen Lernen optimiert sein können.
In mindestens einer Ausführungsform können Arrays aus mehreren Instanzen der Grafikausführungseinheit 3408 in einer Gruppierung von Grafik-Teilkernen (z. B. einem Slice) instanziiert werden. In mindestens einer Ausführungsform kann die Ausführungseinheit 3408 Anweisungen über eine Vielzahl von Ausführungskanälen ausführen. In mindestens einer Ausführungsform wird jeder von der Grafikausführungseinheit 3408 ausgeführte Thread in einem anderen Kanal ausgeführt.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die Gesamtheit der Inferenz- und/oder Trainingslogik 1015 in die Thread-Ausführungslogik 3400 integriert werden. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen als der in 10A oder 10B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform, können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs von Thread-Ausführungslogik 3400 konfigurieren, um einen oder mehrere hierin beschriebene maschinelle Lernalgorithmen, neuronale Netzarchitekturen, Anwendungsfälle oder Trainingstechniken auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, eine Grafikausführungseinheit 3408 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt die Grafikausführungseinheit 3408 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
35 veranschaulicht eine Parallelverarbeitungseinheit (parallel processing unit - „PPU“) 3500 gemäß mindestens einer Ausführungsform; In mindestens einer Ausführungsform ist die PPU 3500 mit maschinenlesbarem Code konfiguriert, der, wenn er von der PPU 3500 ausgeführt wird, die PPU 3500 veranlasst, einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Techniken auszuführen. In mindestens einer Ausführungsform ist die PPU 3500 ein Multi-Thread-Prozessor, der auf einer oder mehreren integrierten Schaltungsvorrichtungen implementiert ist und der Multithreading als latenzverbergende Technik nutzt, um computerlesbare Anweisungen (auch als maschinenlesbare Anweisungen oder einfach Anweisungen bezeichnet) auf mehreren Threads parallel zu verarbeiten. In mindestens einer Ausführungsform bezieht sich ein Thread auf einen Ausführungsthread und ist eine Instanziierung eines Satzes von Anweisungen, die dazu konfiguriert sind, von der PPU 3500 ausgeführt zu werden. In mindestens einer Ausführungsform ist die PPU 3500 eine Grafikverarbeitungseinheit („GPU“), die dazu konfiguriert ist, eine Grafik-Rendering-Pipeline zur Verarbeitung dreidimensionaler („3D“) Grafikdaten zu implementieren, um zweidimensionale („2D“) Bilddaten für die Anzeige auf einer Vorrichtung wie einer Flüssigkristallanzeige („LCD“) zu erzeugen. In mindestens einer Ausführungsform wird die PPU 3500 verwendet, um Operationen wie lineare Algebra und maschinelles Lernen auszuführen. 35 veranschaulicht einen beispielhaften Parallelprozessor, der lediglich der Veranschaulichung dient und als nicht einschränkendes Beispiel für Prozessorarchitekturen zu verstehen ist, die im Rahmen dieser Offenbarung in Betracht gezogen werden, und dass jeder geeignete Prozessor zur Ergänzung und/oder zum Ersatz desselben verwendet werden kann.
In mindestens einer Ausführungsform sind eine oder mehrere PPUs 3500 dazu konfiguriert, High Performance Computing („HPC“), Rechenzentren und maschinelle Lernanwendungen zu beschleunigen. In mindestens einer Ausführungsform ist die PPU 3500 dazu konfiguriert, Deep-Learning-Systeme und -Anwendungen zu beschleunigen, die folgende nicht einschränkende Beispiele beinhalten: autonome Fahrzeugplattformen, Deep Learning, hochpräzise Sprach-, Bild- und Texterkennungssysteme, intelligente Videoanalyse, Molekularsimulationen, Arzneimittelentdeckung, Krankheitsdiagnose, Wettervorhersage, Big-Data-Analytik, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotik, Fabrikautomatisierung, Echtzeit-Sprachübersetzung, Online-Suchoptimierung und personalisierte Benutzerempfehlungen und mehr.
In mindestens einer Ausführungsform beinhaltet die PPU 3500 unter anderem eine Eingabe/Ausgabe-Einheit 3506, eine Frontend-Einheit 3510, eine Scheduler-Einheit 3512, eine Arbeitsverteilungseinheit 3514, einen Hub 3516, eine Kreuzschiene (crossbar - „XBar“) 3520, einen oder mehrere allgemeine Verarbeitungscluster („GPCs“) 3518 und eine oder mehrere Partitionseinheiten („Speicherpartitionseinheiten“) 3522. In mindestens einer Ausführungsform ist die PPU 3500 mit einem Hostprozessor oder anderen PPUs 3500 über eine oder mehrere Hochgeschwindigkeits-GPU-Zusammenschaltungen („GPU-Zusammenschaltungen“) 3508 verbunden. In mindestens einer Ausführungsform ist die PPU 3500 über einen Systembus 3502 mit einem Hostprozessor oder anderen Peripheriegeräten verbunden. In mindestens einer Ausführungsform ist die PPU 3500 mit einem lokalen Speicher verbunden, der eine oder mehrere Speichervorrichtungen („Speicher“) 3504 umfasst. In mindestens einer Ausführungsform beinhalten die Speichervorrichtungen 3504 ohne Einschränkung eine oder mehrere dynamische Direktzugriffsspeicher („DRAM“)-Vorrichtungen. In mindestens einer Ausführungsform sind eine oder mehrere DRAM-Vorrichtungen als HBM-Teilsysteme konfiguriert und/oder konfigurierbar, wobei mehrere DRAM Chips in jeder Vorrichtung gestapelt sind.
In mindestens einer Ausführungsform kann sich die Hochgeschwindigkeits-GPU-Zusammenschaltung 3508 auf eine drahtgebundene Mehrspur-Kommunikationsverbindung beziehen, die von Systemen zur Skalierung verwendet wird und eine oder mehrere PPUs 3500 in Kombination mit einer oder mehreren Zentraleinheiten („CPUs“) beinhaltet, die Cache-Kohärenz zwischen PPUs 3500 und CPUs sowie CPU-Mastering unterstützt. In mindestens einer Ausführungsform werden Daten und/oder Befehle über die Hochgeschwindigkeits-GPU-Zusammenschaltung 3508 über den Hub 3516 an/von anderen Einheiten der PPU 3500 übermittelt, wie z. B. eine oder mehrere Kopierengines, Videocodierer, Videodecodierer, Energieverwaltungseinheiten und andere Komponenten, die in 35 möglicherweise nicht explizit veranschaulicht sind.
In mindestens einer Ausführungsform ist die E/A-Einheit 3506 dazu konfiguriert, Kommunikationen (z. B. Befehle, Daten) von einem Hostprozessor (in 35 nicht veranschaulicht) über den Systembus 3502 zu übermitteln und zu empfangen. In mindestens einer Ausführungsform kommuniziert die E/A-Einheit 3506 mit dem Hostprozessor direkt über den Systembus 3502 oder über eine oder mehrere zwischengeschaltete Vorrichtungen, wie eine Speicherbrücke. In mindestens einer Ausführungsform kann die E/A-Einheit 3506 über den Systembus 3502 mit einem oder mehreren anderen Prozessoren kommunizieren, wie beispielsweise mit einer oder mehreren PPUs 3500. In mindestens einer Ausführungsform implementiert die E/A-Einheit 3506 eine Peripheral Component Interconnect Express („PCIe“)-Schnittstelle für die Zusammenschaltung über einen PCIe-Bus. In mindestens einer Ausführungsform implementiert die E/A-Einheit 3506 Schnittstellen für die Kommunikation mit externen Vorrichtungen.
In mindestens einer Ausführungsform decodiert die E/A-Einheit 3506 über den Systembus 3502 empfangene Pakete. In mindestens einer Ausführungsform stellen zumindest einige Pakete Befehle dar, die dazu konfiguriert sind, die PPU 3500 zum Ausführen verschiedener Operationen zu veranlassen. In mindestens einer Ausführungsform übermittelt die E/A-Einheit 3506 decodierte Befehle an verschiedene andere Einheiten der PPU 3500, wie durch die Befehle angegeben. In mindestens einer Ausführungsform werden die Befehle an die Frontend-Einheit 3510 und/oder an den Hub 3516 oder andere Einheiten der PPU 3500 übermittelt, wie z. B. eine oder mehrere Kopierengines, einen Videocodierer, einen Videodecodierer, eine Energieverwaltungseinheit usw. (in 35 nicht explizit veranschaulicht). In mindestens einer Ausführungsform ist die E/A-Einheit 3506 dazu konfiguriert, die Kommunikation zwischen und unter verschiedenen Logikeinheiten der PPU 3500 zu leiten.
In mindestens einer Ausführungsform codiert ein vom Hostprozessor ausgeführtes Programm einen Befehlsstrom in einem Puffer, der der PPU 3500 Arbeitslasten zur Verarbeitung bereitstellt. In mindestens einer Ausführungsform umfasst eine Arbeitslast Anweisungen und Daten, die von diesen Anweisungen verarbeitet werden sollen. In mindestens einer Ausführungsform ist ein Puffer ein Bereich in einem Speicher, auf den sowohl ein Hostprozessor als auch die PPU 3500 zugreifen können (z. B. lesen/schreiben) - eine Hostschnittstelle kann so konfiguriert sein, dass sie auf diesen Puffer in einem mit dem Systembus 3502 verbundenen Systemspeicher über Speicheranforderungen zugreift, die von der E/A-Einheit 3506 über den Systembus 3502 übermittelt werden. In mindestens einer Ausführungsform schreibt ein Hostprozessor einen Befehlsstrom in einen Puffer und übermittelt dann einen Zeiger auf den Beginn eines Befehlsstroms an die PPU 3500, so dass die Frontend-Einheit 3510 Zeiger auf einen oder mehrere Befehlsströme empfängt und einen oder mehrere Befehlsströme verwaltet, wobei sie Befehle aus den Befehlsströmen liest und Befehle an verschiedene Einheiten der PPU 3500 weiterleitet.
In mindestens einer Ausführungsform ist die Frontend-Einheit 3510 mit der Scheduler-Einheit 3512 gekoppelt, die verschiedene GPCs 3518 so konfiguriert, dass sie durch einen oder mehrere Befehlsströme definierte Aufgaben verarbeiten. In mindestens einer Ausführungsform ist die Scheduler-Einheit 3512 dazu konfiguriert, Zustandsinformationen zu verfolgen, die sich auf verschiedene, von der Scheduler-Einheit 3512 verwaltete Aufgaben beziehen, wobei die Zustandsinformationen angeben können, welchem der GPCs 3518 eine Aufgabe zugewiesen ist, ob die Aufgabe aktiv oder inaktiv ist, welche Prioritätsstufe der Aufgabe zugeordnet ist und so weiter. In mindestens einer Ausführungsform verwaltet die Scheduler-Einheit 3512 die Ausführung einer Vielzahl von Aufgaben auf einem oder mehreren der GPCs 3518.
In mindestens einer Ausführungsform ist die Scheduler-Einheit 3512 mit der Arbeitsverteilungseinheit 3514 gekoppelt, die dazu konfiguriert ist, Aufgaben zur Ausführung auf den GPCs 3518 zu verteilen. In mindestens einer Ausführungsform verfolgt die Arbeitsverteilungseinheit 3514 eine Anzahl geplanter Aufgaben, die sie von der Scheduler-Einheit 3512 erhalten hat, und die Arbeitsverteilungseinheit 3514 verwaltet einen Pool anhängiger Aufgaben und einen Pool aktiver Aufgaben für jeden der GPCs 3518. In mindestens einer Ausführungsform umfasst der Pool anhängiger Aufgaben eine Anzahl von Slots (z. B. 32 Slots), die Aufgaben enthalten, die zur Verarbeitung durch einen bestimmten GPC 3518 zugewiesen sind; ein Pool aktiver Aufgaben kann eine Anzahl von Slots (z. B. 4 Slots) für Aufgaben umfassen, die aktiv von den GPCs 3518 verarbeitet werden, so dass, wenn einer der GPCs 3518 die Ausführung einer Aufgabe abschließt, diese Aufgabe aus dem Pool aktiver Aufgaben für den GPC 3518 entfernt wird und eine andere Aufgabe aus einem Pool anhängiger Aufgaben ausgewählt und für die Ausführung auf dem GPC 3518 geplant wird. Somit wird in mindestens einer Ausführungsform, wenn sich eine aktive Aufgabe auf dem GPC 3518 im Leerlauf befindet, z. B. während des Wartens auf die Auflösung einer Datenabhängigkeit, diese aktive Aufgabe aus dem GPC 3518 entfernt und in den Pool der anhängigen Aufgaben zurückgeführt, während eine andere Aufgabe in diesem Pool der anhängigen Aufgaben ausgewählt und für die Ausführung auf dem GPC 3518 geplant wird.
In mindestens einer Ausführungsform kommuniziert die Arbeitsverteilungseinheit 3514 mit einem oder mehreren GPCs 3518 über die XBar 3520. In mindestens einer Ausführungsform ist XBar 3520 ein Netz, das viele Einheiten der PPU 3500 mit anderen Einheiten der PPU 3500 koppelt und dazu konfiguriert werden kann, die Arbeitsverteilungseinheit 3514 mit einem bestimmten GPC 3518 zu verbinden. In mindestens einer Ausführungsform können auch eine oder mehrere andere Einheiten der PPU 3500 über den Hub 3516 mit der XBar 3520 verbunden sein.
In mindestens einer Ausführungsform werden die Aufgaben von der Scheduler-Einheit 3512 verwaltet und von der Arbeitsverteilungseinheit 3514 an einen der GPCs 3518 weitergeleitet. In mindestens einer Ausführungsform ist der GPC 3518 dazu konfiguriert, Aufgaben zu verarbeiten und Ergebnisse zu erzeugen. In mindestens einer Ausführungsform können die Ergebnisse von anderen Aufgaben innerhalb des GPC 3518 verbraucht, über die XBar 3520 an einen anderen GPC 3518 weitergeleitet oder im Speicher 3504 gespeichert werden. In mindestens einer Ausführungsform können die Ergebnisse über Partitionseinheiten 3522 in den Speicher 3504 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 3504 implementieren. In mindestens einer Ausführungsform können die Ergebnisse über eine Hochgeschwindigkeits-GPU-Zusammenschaltung 3508 an eine andere PPU 3504 oder CPU übermittelt werden. In mindestens einer Ausführungsform beinhaltet die PPU 3500 ohne Einschränkung eine Anzahl U von Partitionseinheiten 3522, die einer Anzahl von separaten und unterschiedlichen Speichervorrichtungen 3504 entspricht, die mit der PPU 3500 gekoppelt sind, wie hierin in Verbindung mit 37 näher beschrieben.
In mindestens einer Ausführungsform führt ein Hostprozessor ein Treiberkernel aus, der eine Anwendungsprogrammierschnittstelle („API“) implementiert, die es einer oder mehreren auf einem Hostprozessor ausgeführten Anwendungen ermöglicht, Operationen zur Ausführung auf der PPU 3500 zu planen. In mindestens einer Ausführungsform werden mehrere Rechenanwendungen gleichzeitig von der PPU 3500 ausgeführt, und die PPU 3500 stellt Isolierung, Dienstgüte (quality of service - „QoS“) und unabhängige Adressräume für mehrere Rechenanwendungen bereit. In mindestens einer Ausführungsform erzeugt eine Anwendung Anweisungen (z. B. in Form von API-Aufrufen), die einen Treiberkernel dazu veranlassen, eine oder mehrere Aufgaben zur Ausführung durch die PPU 3500 zu erzeugen, und dieser Treiberkernel gibt Aufgaben an einen oder mehrere Streams aus, die von der PPU 3500 verarbeitet werden. In mindestens einer Ausführungsform umfasst jede Aufgabe eine oder mehrere Gruppen von zusammenhängenden Threads, die als Warp bezeichnet werden können. In mindestens einer Ausführungsform umfasst ein Warp eine Vielzahl von zusammenhängenden Threads (z. B. 32 Threads), die parallel ausgeführt werden können. In mindestens einer Ausführungsform können sich kooperierende Threads auf eine Vielzahl von Threads beziehen, die Anweisungen zum Ausführen von Aufgaben beinhalten und Daten über einen gemeinsamen Speicher austauschen. In mindestens einer Ausführungsform werden Threads und kooperierende Threads in Verbindung mit 37 ausführlicher beschrieben.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor dazu verwendet, ein maschinelles Lernmodell, wie z. B. ein neuronales Netz, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die der PPU 3500 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 3500 verwendet, um Informationen basierend auf einem trainierten maschinellen Lernmodell (z. B. einem neuronalen Netz), das von einem anderen Prozessor oder System oder PPU 3500 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann die PPU 3500 verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netze auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, PPU 3500 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt die PPU 3500 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
36 veranschaulicht ein allgemeines Verarbeitungscluster (general processing cluster-„GPC“) 3600 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform entspricht der GPC 3600 dem GPC 3518 aus 35. In mindestens einer Ausführungsform beinhaltet jeder GPC 3600 ohne Einschränkung eine Anzahl von Hardware-Einheiten zur Verarbeitung von Aufgaben, und jeder GPC 3600 beinhaltet ohne Einschränkung einen Pipelinemanager 3602, eine Pre-Raster-Operationseinheit („preROP“) 3604, eine Raster-Engine 3608, eine Arbeitsverteilungs-Kreuzschiene („WDX“) 3616, eine Speicherverwaltungseinheit („MMU“) 3618, einen oder mehrere Datenverarbeitungs-Cluster („DPCs“) 3606 und jede geeignete Kombination von Teilen.
In mindestens einer Ausführungsform wird die Operation des GPC 3600 durch den Pipeline Manager 3602 gesteuert. In mindestens einer Ausführungsform verwaltet der Pipelinemanager 3602 die Konfiguration eines oder mehrerer DPCs 3606 für die Verarbeitung von Aufgaben, die dem GPC 3600 zugeordnet sind. In mindestens einer Ausführungsform konfiguriert der Pipelinemanager 3602 mindestens einen von einem oder mehreren DPCs 3606 dazu, um mindestens einen Abschnitt einer Grafik-Rendering-Pipeline zu implementieren. In mindestens einer Ausführungsform ist DPC 3606 dazu konfiguriert, ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 3614 auszuführen. In mindestens einer Ausführungsform ist der Pipelinemanager 3602 dazu konfiguriert, von einer Arbeitsverteilungseinheit empfangene Pakete an geeignete Logikeinheiten innerhalb des GPC 3600 weiterzuleiten, wobei einige Pakete an Hardwareeinheiten mit fester Funktion im preROP 3604 und/oder in der Rasterengine 3608 weitergeleitet werden können, während andere Pakete an DPCs 3606 zur Verarbeitung durch eine Primitivengine 3612 oder SM 3614 weitergeleitet werden können. In mindestens einer Ausführungsform konfiguriert der Pipelinemanager 3602 mindestens einen der DPCs 3606 dazu, ein neuronales Netzmodell und/oder eine Rechenpipeline zu implementieren.
In mindestens einer Ausführungsform ist die preROP-Einheit 3604 dazu konfiguriert, die von der Rasterengine 3608 und den DPCs 3606 erzeugten Daten an eine Rasteroperations („ROP“)-Einheit in der Partitionseinheit 3522 weiterzuleiten, die oben in Verbindung mit 35 näher beschrieben ist. In mindestens einer Ausführungsform ist die preROP-Einheit 3604 dazu konfiguriert, Optimierungen für die Farbmischung auszuführen, Pixeldaten zu organisieren, Adressübersetzungen vorzunehmen und mehr. In mindestens einer Ausführungsform beinhaltet die Rasterengine 3608 ohne Einschränkung eine Anzahl von Hardwareeinheiten mit fester Funktion, die dazu konfiguriert sind, verschiedene Operationen auszuführen, und die Rasterengine 3608 beinhaltet ohne Einschränkung eine Setup-Engine, eine Grobraster-Engine, eine Culling-Engine, eine Clipping-Engine, eine Feinraster-Engine, eine Tile-Coalescing-Engine und jede geeignete Kombination davon. In mindestens einer Ausführungsform empfängt die Setup-Engine transformierte Scheitelpunkte und erzeugt Ebenengleichungen, die mit einer durch Scheitelpunkte definierten geometrischen Primitive verknüpft sind; die Ebenengleichungen werden an eine grobe Rasterengine übermittelt, um Abdeckungsinformationen (z. B. eine x-, y-Abdeckungsmaske für eine Kachel) für die Primitive zu erzeugen; die Ausgabe einer groben Rasterengine wird an eine Culling-Engine übermittelt, in der Fragmente, die mit einer Primitive verknüpft sind und einen z-Test nicht bestehen, aussortiert werden, und an eine Clipping-Engine übermittelt, in der Fragmente, die außerhalb eines Sichtkegelstumpfes liegen, abgeschnitten werden. In mindestens einer Ausführungsform werden Fragmente, die das Beschneiden und Aussortieren überstehen, an eine feine Rasterengine weitergeleitet, um Attribute für Pixelfragmente basierend auf Ebenengleichungen zu erzeugen, die von einer Setup-Engine erzeugt werden. In mindestens einer Ausführungsform umfasst eine Ausgabe der Rasterengine 3608 Fragmente, die von einer beliebigen geeigneten Einheit verarbeitet werden sollen, beispielsweise von einem in DPC 3606 implementierten Fragment-Shader.
In mindestens einer Ausführungsform umfasst jeder DPC 3606, der in GPC 3600 enthalten ist, ohne Einschränkung einen M-Pipe-Controller („MPC“) 3610, eine Primitivengine 3612, einen oder mehrere SMs 3614 und jede geeignete Kombination davon. In mindestens einer Ausführungsform steuert MPC 3610 die Operation von DPC 3606 und leitet die vom Pipelinemanager 3602 empfangenen Pakete an die entsprechenden Einheiten in DPC 3606 weiter. In mindestens einer Ausführungsform werden Pakete, die einem Vertex zugeordnet sind, an die Primitivengine 3612 weitergeleitet, die dazu konfiguriert ist, Vertex-Attribute, die einem Vertex zugeordnet sind, aus dem Speicher zu holen; im Gegensatz dazu können Pakete, die einem Shader-Programm zugeordnet sind, an SM 3614 übermittelt werden.
In mindestens einer Ausführungsform umfasst SM 3614 ohne Einschränkung einen programmierbaren Streaming-Prozessor, der dazu konfiguriert ist, Aufgaben zu verarbeiten, die durch eine Anzahl von Threads repräsentiert werden. In mindestens einer Ausführungsform ist der SM 3614 mit mehreren Threads ausgestattet und so konfiguriert, dass er eine Vielzahl von Threads (z. B. 32 Threads) aus einer bestimmten Gruppe von Threads gleichzeitig ausführt und eine SIMD-Architektur („Single-Instruction, Multiple-Data“) implementiert, bei der jeder Thread in einer Gruppe von Threads (z. B. ein Warp) so konfiguriert ist, dass er einen anderen Datensatz basierend auf demselben Anweisungssatz verarbeitet. In mindestens einer Ausführungsform führen alle Threads in einer Gruppe von Threads einen gemeinsamen Anweisungssatz aus. In mindestens einer Ausführungsform implementiert SM 3614 eine Single-Instruction, Multiple Thread („SIMT“)-Architektur, bei der jeder Thread in einer Gruppe von Threads so konfiguriert ist, dass er einen verschiedenen Satz von Datensätzen basierend auf diesem gemeinsamen Satz von Anweisungen verarbeitet, wobei jedoch einzelne Threads in einer Gruppe von Threads während der Durchführung divergieren dürfen. In mindestens einer Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungszustand für jeden a Warp beibehalten, wodurch die Gleichzeitigkeit zwischen Warps und die serielle Ausführung innerhalb von Warps ermöglicht wird, wenn die Threads innerhalb eines Warps divergieren. In einer anderen Ausführungsform werden ein Programmzähler, ein Aufrufstapel und ein Ausführungszustand für jeden einzelnen Thread beibehalten, was gleiche Gleichzeitigkeit zwischen allen Threads innerhalb und zwischen Warps ermöglicht. In mindestens einer Ausführungsform wird der Ausführungszustand für jeden einzelnen Thread beibehalten, und Threads, die gemeinsame Anweisungen ausführen, können zur Verbesserung der Effizienz zusammengeführt und parallel ausgeführt werden. Mindestens eine Ausführungsform von SM 3614 wird hierin ausführlicher beschrieben.
In mindestens einer Ausführungsform stellt die MMU 3618 eine Schnittstelle zwischen dem GPC 3600 und einer Speicherpartitionseinheit (z. B. der Partitionseinheit 3522 von 35) bereit, und die MMU 3618 stellt die Übersetzung virtueller Adressen in physische Adressen, den Speicherschutz und die Arbitrierung von Speicheranforderungen bereit. In mindestens einer Ausführungsform stellt MMU 3618 einen oder mehrere Übersetzungs-Lookaside-Buffer (translation lookaside buffers - „TLBs“) bereit, um die Übersetzung von virtuellen Adressen in physische Adressen im Speicher auszuführen.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor dazu verwendet, ein maschinelles Lernmodell, wie z. B. ein neuronales Netz, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die der GPC 3600 bereitgestellt werden. In mindestens einer Ausführungsform wird die GPC 3600 verwendet, um Informationen basierend auf einem trainierten maschinellen Lernmodell (z. B. einem neuronalen Netz), das von einem anderen Prozessor oder System oder von der GPC 3600 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann die GPC 3600 verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netze auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein wie oben beschriebenes Begrenzungsrahmen-Filtersystem implementiert, einen allgemeinen Verarbeitungscluster („GPC“) 3600 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt der allgemeine Verarbeitungscluster („GPC“) 3600 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
37 veranschaulicht eine Speicherpartitionseinheit 3700 einer Parallelverarbeitungseinheit („PPU“), gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet die Speicherpartitionseinheit 3700 ohne Einschränkung eine Rasteroperations („ROP“)-Einheit 3702, einen Level Two („L2“)-Cache 3704, eine Speicherschnittstelle 3706 und eine beliebige geeignete Kombination davon. In mindestens einer Ausführungsform ist die Speicherschnittstelle 3706 mit dem Speicher gekoppelt. In mindestens einer Ausführungsform kann die Speicherschnittstelle 3706 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliches für die Hochgeschwindigkeitsdatenübertragung implementieren. In mindestens einer Ausführungsform umfasst die PPU U Speicherschnittstellen 3706, wobei U eine positive Ganzzahl ist, mit einer Speicherschnittstelle 3706 pro Paar von Partitionseinheiten 3700, wobei jedes Paar von Partitionseinheiten 3700 mit einer entsprechenden Speichervorrichtung verbunden ist. Zum Beispiel kann die PPU in mindestens einer Ausführungsform mit bis zu Y Speichervorrichtungen verbunden sein, wie z. B. Speicherstapel mit hoher Bandbreite oder synchroner dynamischer Direktzugriffsspeicher für Grafikkarten mit doppelter Datenrate, Version 5 („GDDR5 SDRAM“).
In mindestens einer Ausführungsform implementiert die Speicherschnittstelle 3706 eine Speicherschnittstelle der zweiten Generation mit hoher Bandbreite („HBM2“), und Y entspricht der Hälfte von U. In mindestens einer Ausführungsform befinden sich HBM2-Speicherstapel in einem physischen Gehäuse mit einer PPU, was im Vergleich zu herkömmlichen GDDR5-SDRAM-Systemen erhebliche Energie- und Flächeneinsparungen bereitstellt. In mindestens einer Ausführungsform beinhaltet jeder HBM2-Stapel, ohne Einschränkung, vier Speicherchips mit Y=4, wobei jeder HBM2-Stapel zwei 128-Bit-Kanäle pro Chip für insgesamt 8 Kanäle und eine Datenbusbreite von 1024 Bit beinhaltet. In mindestens einer Ausführungsform unterstützt der Speicher den Single-Error Correcting Double-Error Detecting („SECDED“) Error Correction Code („ECC“) zum Schutz der Daten. In mindestens einer Ausführungsform kann ECC eine höhere Zuverlässigkeit für Rechenanwendungen bereitstellen, die sensibel auf Datenverfälschungen reagieren.
In mindestens einer Ausführungsform implementiert die PPU eine mehrstufige Speicherhierarchie. In mindestens einer Ausführungsform unterstützt die Partitionseinheit 3700 einen einheitlichen Speicher, um einen einzigen einheitlichen virtuellen Adressraum für die Zentralverarbeitungseinheit („CPU“) und den PPU-Speicher bereitzustellen, was die gemeinsame Nutzung von Daten zwischen virtuellen Speichersystemen ermöglicht. In mindestens einer Ausführungsform wird die Häufigkeit der Zugriffe einer PPU auf einen Speicher, der sich auf anderen Prozessoren befindet, verfolgt, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU verschoben werden, die häufiger auf Seiten zugreift. In mindestens einer Ausführungsform unterstützt die Hochgeschwindigkeits-GPU-Verbindung 3508 Adressübersetzungsdienste, die es der PPU ermöglichen, direkt auf die Seitentabellen einer CPU zuzugreifen und der a PPU vollen Zugriff auf den CPU-Speicher zu ermöglichen.
In mindestens einer Ausführungsform übertragen Kopierengines Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. In mindestens einer Ausführungsform können Kopierengines Seitenfehler für Adressen erzeugen, die nicht in Seitentabellen zugeordnet sind, und die Speicherpartitionseinheit 3700 bedient dann die Seitenfehler, indem sie die Adressen in die Seitentabelle zuordnet, woraufhin die Kopierengine eine Übertragung durchführt. In mindestens einer Ausführungsform ist der Speicher für Operationen mehrerer Kopierengines zwischen mehreren Prozessoren gepinnt (d. h. nicht auslagerbar), was den verfügbaren Speicher erheblich reduziert. In mindestens einer Ausführungsform können bei Hardware-Seitenfehlern Adressen an Kopierengines weitergegeben werden, ohne dass es darauf ankommt, ob Speicherseiten vorhanden sind, und ein Kopiervorgang ist transparent.
Daten aus dem Speicher 3504 von 35 oder einem anderen Systemspeicher werden von der Speicherpartitionseinheit 3700 abgerufen und im L2-Cache 3704 gespeichert, der sich gemäß mindestens einer Ausführungsform auf dem Chip befindet und von verschiedenen GPCs gemeinsam genutzt wird. Jede Speicherpartitionseinheit 3700 beinhaltet in mindestens einer Ausführungsform ohne Einschränkung mindestens einen Abschnitt des L2-Cache, der einer entsprechenden Speichervorrichtung zugeordnet ist. In mindestens einer Ausführungsform sind Caches der unteren Ebene in verschiedenen Einheiten innerhalb der GPCs implementiert. In mindestens einer Ausführungsform kann jeder der SMs 3614 in 36 einen Cache der Ebene 1 („L1“) implementieren, wobei dieser L1-Cache ein privater Speicher ist, der für einen bestimmten SM 3614 bestimmt ist, und Daten aus dem L2-Cache 3704 abgerufen und in jedem L1-Cache zur Verarbeitung in Funktionseinheiten der SMs 3614 gespeichert werden. In mindestens einer Ausführungsform ist der L2-Cache 3704 mit der Speicherschnittstelle 3706 und der in 35 dargestellten XBar 3520 gekoppelt.
Die ROP-Einheit 3702 führt in mindestens einer Ausführungsform Grafikrasteroperationen aus, die sich auf die Pixelfarbe beziehen, wie z. B. Farbkomprimierung, Pixelüberblendung und mehr. In mindestens einer Ausführungsform implementiert die ROP-Einheit 3702 eine Tiefenprüfung in Verbindung mit der Rasterengine 3608, wobei sie eine Tiefe für eine Abtastposition, die einem Pixelfragment zugeordnet ist, von einer Culling-Engine der Rasterengine 3608 empfängt. In mindestens einer Ausführungsform wird die Tiefe gegen eine entsprechende Tiefe in einem Tiefenpuffer für eine mit einem Fragment verbundene Abtastposition getestet. In mindestens einer Ausführungsform aktualisiert die ROP-Einheit 3702 den Tiefenpuffer und übermittelt das Ergebnis der Tiefenprüfung an die Rasterengine 3608, wenn das Fragment die Tiefenprüfung für den Abtast-Ort besteht. Es versteht sich, dass die Anzahl der Partitionseinheiten 3700 von der Anzahl der GPCs abweichen kann, und daher kann jede ROP-Einheit 3702 in mindestens einer Ausführungsform mit jedem GPC gekoppelt sein. In mindestens einer Ausführungsform verfolgt die ROP-Einheit 3702 die von verschiedenen GPCs empfangenen Pakete und bestimmt, ob ein von der ROP-Einheit 3702 erzeugtes Ergebnis über die XBar 3520 weitergeleitet werden soll.
38 veranschaulicht einen Streaming-Multiprozessor („SM“) 3800, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform entspricht der SM 3800 dem SM aus 36. In mindestens einer Ausführungsform beinhaltet SM 3800 ohne Einschränkung einen Anweisungs-Cache 3802, eine oder mehrere Scheduler-Einheiten 3804, eine Registerdatei 3808, einen oder mehrere Verarbeitungskerne („Cores“) 3810, eine oder mehrere Spezialfunktionseinheiten („SFUs“) 3812, eine oder mehrere Lade-/Speichereinheiten („LSUs“) 3814, ein Netz zur Zusammenschaltung 3816, einen gemeinsamen Speicher/Level-One-Cache 3818 und/oder jede geeignete Kombination davon.
In mindestens einer Ausführungsform verteilt eine Arbeitsverteilungseinheit Aufgaben zur Ausführung auf allgemeinen Verarbeitungsclustern („GPCs“) von Parallelverarbeitungseinheiten („PPUs“), und jede Aufgabe wird einem bestimmten Datenverarbeitungscluster („DPC“) innerhalb eines GPCs zugewiesen, und wenn eine Aufgabe mit einem Shader-Programm verbunden ist, wird diese Aufgabe einem der SMs 3800 zugewiesen. In mindestens einer Ausführungsform empfängt die Scheduler-Einheit 3804 Aufgaben von einer Arbeitsverteilungseinheit und verwaltet die Anweisungsplanung für einen oder mehrere Thread-Blöcke, die dem SM 3800 zugewiesen sind. In mindestens einer Ausführungsform plant die Scheduler-Einheit 3804 Thread-Blöcke für die Ausführung als Warps von parallelen Threads, wobei jedem Thread-Block mindestens ein Warp zugewiesen wird. In mindestens einer Ausführungsform führt jeder Warp Threads aus. In mindestens einer Ausführungsform verwaltet die Scheduler-Einheit 3804 eine Vielzahl verschiedener Thread-Blöcke, indem sie verschiedenen Thread-Blöcken Warps zuweist und dann während jedes Taktzyklus Anweisungen aus einer Vielzahl verschiedener kooperativer Gruppen an verschiedene Funktionseinheiten (z. B. Verarbeitungskerne 3810, SFUs 3812 und LSUs 3814) versendet.
In mindestens einer Ausführungsform können sich kooperative Gruppen auf ein Programmiermodell zur Organisation von Gruppen kommunizierender Threads beziehen, das es den Entwicklern ermöglicht, die Granularität auszudrücken, mit der die Threads kommunizieren, und so reichhaltigere, effizientere parallele Dekompositionen zu ermöglichen. In mindestens einer Ausführungsform unterstützen kooperative Start-APIs die Synchronisierung zwischen Thread-Blöcken zur Ausführung paralleler Algorithmen. In mindestens einer Ausführungsform stellen Anwendungen von herkömmlichen Programmiermodellen ein einziges, einfaches Konstrukt für die Synchronisierung kooperierender Threads bereit: eine Barriere über alle Threads eines Threadblocks (z. B. die syncthreads()-Funktion). In mindestens einer Ausführungsform können Programmierer jedoch Gruppen von Threads mit einer kleineren Granularität als Thread-Blöcke definieren und innerhalb der definierten Gruppen synchronisieren, um eine höhere Leistung, mehr Flexibilität beim Entwurf und eine Wiederverwendung der Software in Form von gruppenweiten Funktionsschnittstellen zu ermöglichen. In mindestens einer Ausführungsform ermöglichen kooperative Gruppen Programmierern, Gruppen von Threads explizit auf Sub-Block- (d. h. so klein wie ein einzelner Thread) und Multi-Block-Granularität zu definieren und kollektive Operationen wie die Synchronisierung auf Threads in einer kooperativen Gruppe auszuführen. In mindestens einer Ausführungsform unterstützt dieses Programmiermodell eine saubere Anordnung über Softwaregrenzen hinweg, so dass Bibliotheken und Dienstprogrammfunktionen innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne Annahmen über Annäherung treffen zu müssen. In mindestens einer Ausführungsform ermöglichen die Primitive der kooperativen Gruppen neue Muster kooperativer Parallelität, die ohne Einschränkung Produzent-Verbraucher-Parallelität, opportunistische Parallelität und globale Synchronisierung über ein gesamtes Gitter von Thread-Blöcken beinhalten.
In mindestens einer Ausführungsform ist eine Dispatch-Einheit 3806 so konfiguriert, dass sie Anweisungen an eine oder mehrere Funktionseinheiten und die Scheduler-Einheit 3804 übermittelt, und beinhaltet ohne Einschränkung zwei Dispatch-Einheiten 3806, die es ermöglichen, dass zwei verschiedene Anweisungen aus einem gemeinsamen Warp während jedes Taktzyklus übermittelt werden. In mindestens einer Ausführungsform beinhaltet jede Scheduler-Einheit 3804 eine einzelne Dispatch-Einheit 3806 oder zusätzliche Dispatch-Einheiten 3806.
In mindestens einer Ausführungsform beinhaltet jedes SM 3800 in mindestens einer Ausführungsform ohne Einschränkung eine Registerdatei 3808, die einen Satz von Registern für Funktionseinheiten des SM 3800 bereitstellt. In mindestens einer Ausführungsform ist die Registerdatei 3808 zwischen jeder Funktionseinheit unterteilt, so dass jeder Funktionseinheit ein eigener Teil der Registerdatei 3808 zugewiesen wird. In mindestens einer Ausführungsform ist die Registerdatei 3808 zwischen verschiedenen Warps aufgeteilt, die vom SM 3800 ausgeführt werden, und die Registerdatei 3808 stellt einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten verbunden sind. In mindestens einer Ausführungsform umfasst jedes SM 3800, ohne Einschränkung, eine Vielzahl von L Verarbeitungskernen 3810, wobei L eine positive Ganzzahl ist. In mindestens einer Ausführungsform beinhaltet der SM 3800 ohne Einschränkung eine große Anzahl (z. B. 128 oder mehr) von verschiedenen Verarbeitungskernen 3810. In mindestens einer Ausführungsform beinhaltet jeder Verarbeitungskern 3810 ohne Einschränkung eine Vollpipeline-, einfachpräzise, doppeltpräzise und/oder gemischtpräzise Verarbeitungseinheit, die ohne Einschränkung eine arithmetische Gleitkomma-Logikeinheit und eine arithmetische Ganzzahl-Logikeinheit beinhaltet. In mindestens einer Ausführungsform implementieren die Gleitkomma-Arithmetik-Logikeinheiten den IEEE 754-2008-Standard für Gleitkomma-Arithmetik. In mindestens einer Ausführungsform beinhalten die Verarbeitungskerne 3810 ohne Einschränkung 64 Gleitkomma-Kerne mit einfacher Genauigkeit (32 Bit), 64 Ganzzahl-Kerne, 32 Gleitkomma-Kerne mit doppelter Genauigkeit (64 Bit) und 8 Tensor-kerne.
Tensorkerne sind dazu konfiguriert, Matrixoperationen gemäß mindestens einer Ausführungsform auszuführen. In mindestens einer Ausführungsform sind ein oder mehrere Tensorkerne in den Verarbeitungskernen 3810 enthalten. In mindestens einer Ausführungsform sind Tensorkerne dazu konfiguriert, Deep-Learning-Matrixarithmetik auszuführen, wie z. B. Faltungsoperationen für das Training und Inferenzieren neuronaler Netze. In mindestens einer Ausführungsform arbeitet jeder Tensorkern mit einer 4×4-Matrix und führt eine Matrixmultiplikations- und Akkumulationsoperation D = A X B + C durch, wobei A, B, C und D 4×4-Matrizen sind.
In mindestens einer Ausführungsform sind die Eingaben für den Multiplikator A und B 16-Bit-Gleitkomma-Matrizen und die Akkumulationsmatrizen C und D 16-Bit-Gleitkomma- oder 32-Bit-Gleitkomma-Matrizen. In mindestens einer Ausführungsform arbeiten die Tensorkerne mit 16-Bit-Gleitkomma-Eingangsdaten und 32-Bit-Gleitkomma-Akkumulation. In mindestens einer Ausführungsform verwendet der 16-Bit Multiplikator mit Gleitkomma 64 Operationen und ergibt ein Produkt mit voller Präzision, das dann mittels 32-Bit Gleitkomma-Addition mit anderen Zwischenprodukten zu einer 4x4x4-Matrix-Multiplikation akkumuliert wird. Tensor-Kerne werden verwendet, um viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die aus diesen kleineren Elementen aufgebaut sind. In mindestens einer Ausführungsform exponiert eine API, wie z. B. eine CUDA 9 C++ API, spezialisierte Operationen zum Laden, Multiplizieren und Akkumulieren von Matrizen sowie zum Speichern von Matrizen, um Tensorkerne eines CUDA-C++-Programms effizient zu nutzen. In mindestens einer Ausführungsform geht eine Schnittstelle auf Warp-Ebene auf CUDA-Ebene von Matrizen der Größe 16x16 aus, die sich über alle 32 Threads des Warp erstrecken.
In mindestens einer Ausführungsform umfasst jeder SM 3800 ohne Einschränkung M SFUs 3812, die spezielle Funktionen ausführen (z. B. Attributbewertung, reziproke Quadratwurzel und dergleichen). In mindestens einer Ausführungsform beinhalten die SFUs 3812 ohne Einschränkung eine Baumtraversaleinheit, die dazu konfiguriert ist, eine hierarchische Baumdatenstruktur zu durchlaufen. In mindestens einer Ausführungsform beinhalten die SFUs 3812 ohne Einschränkung eine Textureinheit, die dazu konfiguriert ist, Operationen zur Filterung von Texturkarten auszuführen. In mindestens einer Ausführungsform sind Textureinheiten dazu konfiguriert, Texturzuordnungen (z. B. ein 2D-Array von Texeln) aus dem Speicher zu laden und Texturzuordnungen abzutasten, um abgetastete Texturwerte zur Verwendung in von SM 3800 ausgeführten Shaderprogrammen zu erzeugen. In mindestens einer Ausführungsform werden die Texturzuordnungen im gemeinsamen Speicher/L1-Cache 3818 gespeichert. In mindestens einer Ausführungsform implementieren Textureinheiten Texturoperationen, wie z. B. Filteroperationen unter Verwendung von Mip-Maps (z. B. Textur-Maps mit unterschiedlichen Detailstufen), gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beinhaltet jedes SM 3800, ohne Einschränkung, zwei Textureinheiten.
Jedes SM 3800 umfasst ohne Einschränkung N LSUs 3814, die in mindestens einer Ausführungsform Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher/L1-Cache 3818 und der Registerdatei 3808 implementieren. Zusammenschaltungsnetz 3816 verbindet in mindestens einer Ausführungsform jede Funktionseinheit mit der Registerdatei 3808 und die LSU 3814 mit der Registerdatei 3808 und dem gemeinsam genutzten Speicher/L1-Cache 3818. In mindestens einer Ausführungsform ist das Zusammenschaltungsnetz 3816 eine Kreuzschiene, die dazu konfigurierbar ist, beliebige Funktionseinheiten mit beliebigen Registern in der Registerdatei 3808 zu verbinden und LSUs 3814 mit der Registerdatei 3808 und Speicherplätzen im gemeinsam genutzten Speicher/L1-Cache 3818 zu verbinden.
In mindestens einer Ausführungsform ist der gemeinsam genutzte Speicher/L1-Cache 3818 ein Array von On-Chip-Speicher, der die Datenspeicherung und die Kommunikation zwischen SM 3800 und Primitivengine sowie zwischen Threads im SM 3800 ermöglicht. In mindestens einer Ausführungsform umfasst der gemeinsame Speicher/L1-Cache 3818 ohne Einschränkung eine Speicherkapazität von 128 KB und befindet sich in einem Pfad vom SM 3800 zu einer Partitionseinheit. In mindestens einer Ausführungsform wird der gemeinsame Speicher/L1-Cache 3818 zum Zwischenspeichern von Lese- und Schreibvorgängen verwendet. In mindestens einer Ausführungsform sind der gemeinsam genutzte Speicher/L1-Cache 3818, der L2-Cache und der Arbeitsspeicher Sicherungsspeicher.
Die Kombination von Datencache und gemeinsamem Speicher in einem einzigen Speicherblock stellt in mindestens einer Ausführungsform eine verbesserte Leistung für beide Arten von Speicherzugriffen bereit. In mindestens einer Ausführungsform wird die Kapazität von Programmen, die den gemeinsam genutzten Speicher nicht verwenden, als Cache genutzt oder kann von diesen genutzt werden, beispielsweise wenn der gemeinsam genutzte Speicher so konfiguriert ist, dass die Hälfte der Kapazität genutzt wird, und Textur- und Lade-/Speicheroperationen die verbleibende Kapazität nutzen können. Durch die Integration in den gemeinsam genutzten Speicher/L1-Cache 3818 kann der gemeinsam genutzte Speicher/L1-Cache 3818 gemäß mindestens einer Ausführungsform als durchsatzstarke Leitung für Streaming-Daten fungieren und gleichzeitig einen Zugriff auf häufig wiederverwendete Daten mit hoher Bandbreite und geringer Latenz bereitstellen. In mindestens einer Ausführungsform kann, wenn sie für allgemeine parallele Berechnungen konfiguriert ist, eine einfachere Konfiguration im Vergleich zur Grafikverarbeitung verwendet werden. In mindestens einer Ausführungsform werden Grafikverarbeitungseinheiten mit Festfunktionen umgangen, wodurch ein wesentlich einfacheres Programmiermodell entsteht. In mindestens einer Ausführungsform weist eine Arbeitsverteilungseinheit in einer Konfiguration für parallele Berechnungen mit allgemeinem Verwendungszweck Blöcke von Threads direkt den DPCs zu und verteilt sie. In mindestens einer Ausführungsform führen Threads in einem Block ein gemeinsames Programm aus, wobei eine eindeutige Thread-ID bei der Berechnung verwendet wird, um sicherzustellen, dass jeder Thread eindeutige Ergebnisse erzeugt, wobei SM 3800 zur Ausführung des Programms und zur Durchführung von Berechnungen, gemeinsamer Speicher/L1-Cache 3818 zur Kommunikation zwischen Threads und LSU 3814 zum Lesen und Schreiben des globalen Speichers über gemeinsamen Speicher/L1-Cache 3818 und die Speicherpartitionseinheit verwendet werden. In mindestens einer Ausführungsform schreibt SM 3800, wenn es für allgemeine parallele Berechnungen konfiguriert ist, Befehle, die die Scheduler-Einheit 3804 verwenden kann, um neue Arbeiten auf DPCs zu starten.
In mindestens einer Ausführungsform ist eine PPU in einem Desktop-Computer, einem Laptop-Computer, einem Tablet-Computer, Servern, Supercomputern, einem Smartphone (z. B. einer drahtlosen, handgehaltenen Vorrichtung), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einer kopfmontierten Anzeige, einem handgehaltenen elektronischen Gerät und mehr enthalten oder damit gekoppelt. In mindestens einer Ausführungsform ist eine PPU auf einem einzelnen Halbleitersubstrat realisiert. In mindestens einer Ausführungsform ist eine PPU in einem System auf einem Chip („SoC“) zusammen mit einer oder mehreren anderen Vorrichtungen enthalten, wie etwa zusätzlichen PPUs, Speicher, einer Reduced-Instruction-Set-Computer-(„RISC“-)CPU, einer Speicherverwaltungseinheit („MMU“), einem Digital-Analog-Wandler (digital-to-analog converter-„DAC“) und dergleichen.
In mindestens einer Ausführungsform kann eine PPU in einer Grafikkarte enthalten sein, die eine oder mehrere Speichervorrichtungen beinhaltet. In mindestens einer Ausführungsform kann die Grafikkarte dazu konfiguriert sein, mit einem PCIe-Steckplatz auf einer Hauptplatine eines Desktop-Computers verbunden zu werden. In mindestens einer Ausführungsform kann diese PPU eine integrierte Grafikverarbeitungseinheit („iGPU“) sein, die im Chipsatz einer Hauptplatine beinhaltet ist.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor dazu verwendet, ein maschinelles Lernmodell, wie z. B. ein neuronales Netz, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die der SM 3800 bereitgestellt werden. In mindestens einer Ausführungsform wird die SM 3800 verwendet, um Informationen basierend auf einem trainierten maschinellen Lernmodell (z. B. einem neuronalen Netz), das von einem anderen Prozessor oder System oder von der SM 3800 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann die SM 3800 verwendet werden, um einen oder mehrere der hierin beschriebenen Anwendungsfälle für neuronale Netze auszuführen.
In mindestens einer Ausführungsform kann ein Computersystem, das ein Begrenzungsrahmen-Filtersystem wie oben beschrieben implementiert, SM 3800 beinhalten, um bei der Verarbeitung von Kandidaten-Begrenzungsrahmen zu unterstützen. In mindestens einer Ausführungsform führt die SM 3800 Anweisungen aus, die zumindest teilweise die oben beschriebenen Techniken implementieren.
Es werden Ausführungsformen offenbart, die sich auf eine virtualisierte Rechenplattform für fortgeschrittenes Rechnen beziehen, wie z.B. Inferenzieren von Bildern und Bildverarbeitung in medizinischen Anwendungen. Ohne Einschränkung können die Ausführungsformen Radiographie, Magnetresonanztomographie (MRT), Nuklearmedizin, Ultraschall, Sonographie, Elastographie, photoakustische Bildgebung, Tomographie, Echokardiographie, funktionelle Nahinfrarotspektroskopie und Magnetpartikel-Bildgebung oder eine Kombination davon beinhalten. In mindestens einer Ausführungsform können eine virtualisierte Rechenplattform und die hierin beschriebenen zugehörigen Prozesse zusätzlich oder alternativ ohne Einschränkung in der forensischen Analyse, der Erkennung und Abbildung des Untergrunds (z. B. Ölexploration, Archäologie, Paläontologie usw.), der Topografie, der Ozeanografie, der Geologie, der Osteologie, der Meteorologie, der intelligenten Gebiets- oder Objektverfolgung und -überwachung, der Sensordatenverarbeitung (z. B. RADAR, SONAR, LIDAR usw.) und/oder der Genomik und Gensequenzierung eingesetzt werden.
In Bezug auf 39 ist 39 ein beispielhaftes Datenflussdiagramm für einen Prozess 3900 zur Erzeugung und zum Einsatz einer Bildverarbeitungs- und Inferenzierungsppeline, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 3900 zur Verwendung mit Bildverarbeitungsvorrichtungen, Verarbeitungsvorrichtungen, Genomikvorrichtungen, Gensequenzierungsvorrichtungen, Radiologievorrichtungen und/oder anderen Vorrichtungstypen in einer oder mehreren Einrichtungen 3902 eingesetzt werden, beispielsweise in medizinischen Einrichtungen, Krankenhäusern, Gesundheitsinstituten, Kliniken, Forschungs- oder Diagnoselabors usw. In mindestens einer Ausführungsform kann der Prozess 3900 eingesetzt werden, um genomische Analysen und Inferenzieren von Sequenzierungsdaten auszuführen. Beispiele für genomische Analysen, die mit den hierin beschriebenen Systemen und Verfahren ausgeführt werden können, beinhalten ohne Einschränkung Variantenaufrufe, Erkennung von Mutationen und Quantifizierung der Genexpression.
In mindestens einer Ausführungsform kann der Prozess 3900 innerhalb eines Trainingssystems 3904 und/oder eines Einsatzsystems 3906 ausgeführt werden. In mindestens einer Ausführungsform kann das Trainingssystem 3904 verwendet werden, um das Training, die Ausführung und die Implementierung von Modellen des maschinellen Lernens (z. B. neuronale Netze, Algorithmen zur Objekterkennung, Algorithmen zur Computervision usw.) zur Verwendung im Einsatzsystem 3906 durchzuführen. In mindestens einer Ausführungsform kann das Einsatzsystem 3906 dazu konfiguriert sein, Verarbeitungs- und Rechenressourcen in eine verteilte Rechenumgebung zu verlagern, um die Infrastrukturanforderungen in der Einrichtung 3902 zu reduzieren. In mindestens einer Ausführungsform kann das Einsatzsystem 3906 eine rationalisierte Plattform für die Auswahl, Anpassung und Implementierung virtueller Instrumente zur Verwendung mit Bildgebungsvorrichtungen (z. B. MRT, CT-Scan, Röntgen, Ultraschall usw.) oder Sequenzierungsvorrichtungen in der Einrichtung 3902 bereitstellen. In mindestens einer Ausführungsform können virtuelle Instrumente softwaredefinierte Anwendungen beinhalten, um eine oder mehrere Operationen zur Verarbeitung von Bildgebungsdaten auszuführen, die von Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Radiologievorrichtungen und/oder anderen Gerätetypen erzeugt wurden. In mindestens einer Ausführungsform können eine oder mehrere Anwendungen in einer Einsatzpipeline Dienste (z. B. Inferenz-, Visualisierungs-, Rechen-, KI-Dienste usw.) des Einsatzsystems 3906 während der Ausführung von Anwendungen nutzen oder in Anspruch nehmen.
In mindestens einer Ausführungsform können einige der in fortgeschrittenen Verarbeitungs- und Inferenzierungspipelines verwendeten Anwendungen maschinelle Lernmodelle oder andere KI verwenden, um einen oder mehrere Verarbeitungsschritte auszuführen. In mindestens einer Ausführungsform können maschinelle Lernmodelle in der Einrichtung 3902 unter Verwendung von Daten 3908 (z. B. Bildgebungsdaten) trainiert werden, die in der Einrichtung 3902 erzeugt wurden (und auf einem oder mehreren PACS-Servern (Picture Archiving and Communication System) in der Einrichtung 3902 gespeichert sind), sie können unter Verwendung von Bildgebungs- oder Sequenzierungsdaten 3908 aus einer anderen Einrichtung oder anderen Einrichtungen (z. B. einem anderen Krankenhaus, Labor, einer Klinik usw.) oder einer Kombination davon trainiert werden. In mindestens einer Ausführungsform kann das Trainingssystem 3904 verwendet werden, um Anwendungen, Dienste und/oder andere Ressourcen für die Erzeugung funktionierender, einsatzfähiger maschineller Lernmodelle für das Einsatzsystem 3906 bereitzustellen.
In mindestens einer Ausführungsform kann eine Modellregistrierung 3924 durch einen Objektspeicher unterstützt werden, der Versionierung und Objektmetadaten unterstützen kann. In mindestens einer Ausführungsform kann der Zugriff auf den Objektspeicher beispielsweise über eine mit dem Cloud-Speicher (z. B. eine Cloud 4026 von 40) kompatible Anwendungsprogrammierschnittstelle (API) von einer Cloud-Plattform aus erfolgen. In mindestens einer Ausführungsform können Modelle für maschinelles Lernen in der Modellregistrierung 3924 von Entwicklern oder Partnern eines Systems, das mit einer API interagiert, hochgeladen, aufgelistet, geändert oder gelöscht werden. In mindestens einer Ausführungsform kann eine API den Zugriff auf Verfahren bereitstellen, die es Benutzern mit entsprechenden Anmeldeinformationen ermöglichen, Modelle mit Anwendungen zu verknüpfen, so dass Modelle als Teil der Ausführung von containerisierten Instanziierungen von Anwendungen ausgeführt werden können.
In mindestens einer Ausführungsform kann eine Trainingspipeline 4004 ( 40) ein Szenario beinhalten, in dem die Einrichtung 3902 ihr eigenes maschinelles Lernmodell trainiert oder ein bestehendes maschinelles Lernmodell hat, das optimiert oder aktualisiert werden muss. In mindestens einer Ausführungsform können Bildgebungsdaten 3908, die von Bildgebungsvorrichtungen, Sequenziervorrichtungen und/oder anderen Vorrichtungstypen erzeugt wurden, empfangen werden. In mindestens einer Ausführungsform kann nach dem Empfang der Bildgebungsdaten 3908 die KI-gestützte Kommentierung 3910 zur Unterstützung bei der Erzeugung von Kommentaren verwendet werden, die den Bildgebungsdaten 3908 entsprechen und als Ground-Truth-Daten für ein maschinelles Lernmodell verwendet werden. In mindestens einer Ausführungsform kann die KI-gestützte Anmerkung 3910 ein oder mehrere maschinelle Lernmodelle (z. B. Faltungsneuronale Netze (CNNs)) beinhalten, die trainiert werden können, um Anmerkungen zu erzeugen, die bestimmten Arten von Bilddaten 3908 (z. B. von bestimmten Vorrichtungen) und/oder bestimmten Arten von Anomalien in Bilddaten 3908 entsprechen. In mindestens einer Ausführungsform können die KI-gestützten Anmerkungen 3910 dann direkt verwendet oder mit einem Anmerkungswerkzeug (z. B. von einem Forscher, einem Kliniker, einem Arzt, einem Wissenschaftler usw.) angepasst oder feinabgestimmt werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform können in einigen Beispielen beschriftete Klinikdaten 3912 (z. B. Anmerkungen, die von einem Kliniker, Arzt, Wissenschaftler, Techniker usw. bereitgestellt werden) als Ground-Truth-Daten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform können KI-gestützte Annotationen 3910, beschriftete Klinikdaten 3912 oder eine Kombination davon als Ground-Truth-Daten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes maschinelles Lernmodell als Ausgabemodell 3916 bezeichnet werden und kann vom Einsatzsystem 3906, wie hierin beschrieben, verwendet werden.
In mindestens einer Ausführungsform kann die Einsatzpipeline 4004 (40) ein Szenario beinhalten, in dem die Einrichtung 3902 ein maschinelles Lernmodell zur Verwendung beim Ausführen einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Einsatzsystem 3906 benötigt, die Einrichtung 3902 aber möglicherweise derzeit nicht über ein solches maschinelles Lernmodell verfügt (oder nicht über ein Modell, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform kann ein vorhandenes maschinelles Lernmodell aus der Modellregistrierung 3924 ausgewählt werden. In mindestens einer Ausführungsform kann die Modellregistrierung 3924 maschinelle Lernmodelle beinhalten, die darauf trainiert sind, eine Vielzahl von unterschiedlichen Inferenzaufgaben auf Bildgebungsdaten auszuführen. In mindestens einer Ausführungsform können die maschinellen Lernmodelle im Modellregister 3924 auf Bildgebungsdaten von anderen Einrichtungen als der Einrichtung 3902 (z. B. von entfernt gelegenen Einrichtungen) trainiert worden sein. In mindestens einer Ausführungsform können die maschinellen Lernmodelle auf Bildgebungsdaten von einem Standort, zwei Standorten oder einer beliebigen Anzahl von Standorten trainiert worden sein. In mindestens einer Ausführungsform kann das Training mit Bildgebungsdaten eines bestimmten Ortes an diesem Ort oder zumindest auf eine Weise erfolgen, die die Vertraulichkeit der Bildgebungsdaten schützt oder die Übertragung von Bildgebungsdaten außerhalb des Ortes einschränkt (z. B. zur Einhaltung von HIPAA-Vorschriften, Datenschutzbestimmungen usw.). In mindestens einer Ausführungsform kann ein Modell des maschinellen Lernens, nachdem es an einem Ort trainiert - oder teilweise trainiert - wurde, dem Modellregister 3924 hinzugefügt werden. In mindestens einer Ausführungsform kann ein maschinelles Lernmodell dann an einer beliebigen Anzahl anderer Einrichtungen neu trainiert oder aktualisiert werden, und ein neu trainiertes oder aktualisiertes Modell kann in der Modellregistrierung 3924 verfügbar gemacht werden. In mindestens einer Ausführungsform kann dann ein maschinelles Lernmodell aus der Modellregistrierung 3924 ausgewählt - und als Ausgabemodell 3916 bezeichnet - werden und im Einsatzsystem 3906 verwendet werden, um eine oder mehrere Verarbeitungsaufgaben für eine oder mehrere Anwendungen eines Einsatzsystems auszuführen.
In mindestens einer Ausführungsform kann die Einsatzpipeline 4004 (40) in einem Szenario verwendet werden, das eine Einrichtung 3902 beinhaltet, die ein maschinelles Lernmodell zur Verwendung beim Ausführen einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Einsatzsystem 3906 benötigt, aber die Einrichtung 3902 verfügt möglicherweise derzeit nicht über ein solches maschinelles Lernmodell (oder verfügt möglicherweise nicht über ein Modell, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform könnte ein aus dem Modellregister 3924 ausgewähltes maschinelles Lernmodell aufgrund von Unterschieden in den Populationen, genetischen Variationen, der Robustheit der zum Trainieren eines maschinellen Lernmodells verwendeten Trainingsdaten, der Vielfalt der Anomalien der Trainingsdaten und/oder anderer Probleme mit den Trainingsdaten nicht für die in der Einrichtung 3902 erzeugten Bildgebungsdaten 3908 feinabgestimmt oder optimiert sein. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 3910 zur Unterstützung bei der Erzeugung von Annotationen verwendet werden, die den Bildgebungsdaten 3908 entsprechen, die als Ground-Truth-Daten für das Neutrainieren oder Aktualisieren eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform können beschriftete Klinikdaten 3912 (z. B. Anmerkungen, die von einem Kliniker, Arzt, Wissenschaftler usw. bereitgestellt werden) als Ground-Truth-Daten für das Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann das Neutrainieren oder Aktualisieren eines maschinellen Lernmodells als Modelltraining 3914 bezeichnet werden. In mindestens einer Ausführungsform kann das Modelltraining 3914 - z. B. KI-gestützte Annotationen 3910, beschriftete Klinikdaten 3912 oder eine Kombination davon - als Ground-Truth-Daten zum Neutrainieren oder Aktualisieren eines maschinellen Lernmodells verwendet werden.
In mindestens einer Ausführungsform kann das Einsatzsystem 3906 Software 3918, Dienste 3920, Hardware 3922 und/oder andere Komponenten, Merkmale und Funktionen beinhalten. In mindestens einer Ausführungsform kann das Einsatzsystem 3906 einen Software-„Stapel“ beinhalten, so dass die Software 3918 auf den Diensten 3920 aufgebaut sein kann und die Dienste 3920 verwenden kann, um einige oder alle Verarbeitungsaufgaben auszuführen, und die Dienste 3920 und die Software 3918 auf der Hardware 3922 aufgebaut sein können und die Hardware 3922 verwenden können, um Verarbeitungs-, Speicher- und/oder andere Rechenaufgaben des Einsatzsystems 3906 auszuführen.
In mindestens einer Ausführungsform kann die Software 3918 eine beliebige Anzahl von verschiedenen Containern beinhalten, wobei jeder Container eine Instanziierung einer Anwendung ausführen kann. In mindestens einer Ausführungsform kann jede Anwendung eine oder mehrere Verarbeitungsaufgaben in einer erweiterten Verarbeitungs- und Inferenzierungspipeline ausführen (z. B. Inferenzierung, Objekterkennung, Merkmalserkennung, Segmentierung, Bildverbesserung, Kalibrierung usw.). In mindestens einer Ausführungsform kann es für jede Art von Bildgebungsvorrichtung (z. B. CT, MRT, Röntgen, Ultraschall, Sonografie, Echokardiografie usw.), Sequenzierungsvorrichtung, Radiologievorrichtung, Genomikvorrichtung usw. eine beliebige Anzahl von Containern geben, die eine Datenverarbeitungsaufgabe in Bezug auf die von einer Vorrichtung erzeugten Bildgebungsdaten 3908 (oder andere Datentypen, wie die hierin beschriebenen) ausführen können. In mindestens einer Ausführungsform kann eine erweiterte Verarbeitungs- und Inferenzierungspipeline basierend auf der Auswahl verschiedener Container definiert werden, die für die Verarbeitung von Bilddaten 3908 erwünscht oder erforderlich sind, zusätzlich zu Containern, die Bilddaten zur Verwendung durch jeden Container und/oder zur Verwendung durch die Einrichtung 3902 nach der Verarbeitung durch eine Pipeline empfangen und konfigurieren (z. B. um Ausgaben zurück in einen verwendbaren Datentyp zu konvertieren, wie z. B. DICOM-Daten (Digital Imaging and Communications in Medicine), RIS-Daten (Radiology Information System), CIS-Daten (Clinical Information System), RPC-Daten (Remote Procedure Call), Daten, die im Wesentlichen mit einer REST-Schnittstelle (Representation State Transfer) konform sind, Daten, die im Wesentlichen mit einer dateibasierten Schnittstelle konform sind, und/oder Rohdaten, zur Speicherung und Anzeige in der Einrichtung 3902). In mindestens einer Ausführungsform kann eine Kombination von Containern innerhalb der Software 3918 (z. B. die, die eine Pipeline bilden) als virtuelles Instrument bezeichnet werden (wie hierin ausführlicher beschrieben), und ein virtuelles Instrument kann Dienste 3920 und Hardware 3922 nutzen, um einige oder alle Verarbeitungsaufgaben von in Containern instanzierten Anwendungen auszuführen.
In mindestens einer Ausführungsform kann eine Datenverarbeitungspipeline Eingabedaten (z. B. Bildgebungsdaten 3908) in einem DICOM-, RIS-, CIS-, RESTkonformen, RPC-, Roh- und/oder anderen Format als Reaktion auf eine Ausführungsform (z. B. eine Anforderung von einem Benutzer des Einsatzsystems 3906, wie einem Kliniker, einem Arzt, einem Radiologen usw.) empfangen. In mindestens einer Ausführungsform können die Eingabedaten ein oder mehrere Bilder, Videos und/oder andere Datendarstellungen darstellen, die von einer oder mehreren Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Radiologievorrichtungen, Genomikvorrichtungen und/oder anderen Vorrichtungstypen erzeugt werden. In mindestens einer Ausführungsform können die Daten als Teil der Datenverarbeitungspipeline einer Vorverarbeitung unterzogen werden, um die Daten für die Verarbeitung durch eine oder mehrere Anwendungen vorzubereiten. In mindestens einer Ausführungsform kann eine Nachverarbeitung an einer Ausgabe einer oder mehrerer Inferenzierungsaufgaben oder anderer Verarbeitungsaufgaben einer Pipeline ausgeführt werden, um Ausgabedaten für eine nächste Anwendung vorzubereiten und/oder um Ausgabedaten für die Übermittlung und/oder Verwendung durch einen Benutzer vorzubereiten (z. B. als Antwort auf eine Inferenzanforderung). In mindestens einer Ausführungsform können Inferenzierungsaufgaben von einem oder mehreren maschinellen Lernmodellen ausgeführt werden, z. B. von trainierten oder eingesetzten neuronalen Netzen, die Ausgabemodelle 3916 des Trainingssystems 3904 beinhalten können.
In mindestens einer Ausführungsform können die Aufgaben der Datenverarbeitungspipeline in einem oder mehreren Containern gekapselt sein, die jeweils eine diskrete, voll funktionsfähige Instanziierung einer Anwendung und einer virtualisierten Rechenumgebung darstellen, die in der Lage ist, auf maschinelle Lernmodelle zu verweisen. In mindestens einer Ausführungsform können Container oder Anwendungen in einer privaten (z. B. zugangsbeschränkten) Fläche einer Containerregistrierung (hierin ausführlicher beschrieben) veröffentlicht werden, und trainierte oder eingesetzte Modelle können in der Modellregistrierung 3924 gespeichert und einer oder mehreren Anwendungen zugeordnet werden. In mindestens einer Ausführungsform können Bilder von Anwendungen (z. B. Container-Bilder) in einer Container-Registry verfügbar sein, und sobald sie von einem Benutzer aus einer Container-Registry für den Einsatz in einer Pipeline ausgewählt wurden, kann ein Bild verwendet werden, um einen Container für eine Instanziierung einer Anwendung zur Verwendung durch das System eines Benutzers zu erzeugen.
In mindestens einer Ausführungsform können Entwickler (z. B. Softwareentwickler, Kliniker, Ärzte usw.) Anwendungen (z. B. in Form von Containern) zum Durchführen von Bildverarbeitungsprozessen und/oder Inferenzieren auf bereitgestellte Daten entwickeln, veröffentlichen und speichern. In mindestens einer Ausführungsform kann die Entwicklung, Veröffentlichung und/oder Speicherung unter Verwendung eines Softwareentwicklungskits (SDK) ausgeführt werden, das mit einem System verbunden ist (z. B. um sicherzustellen, dass eine entwickelte Anwendung und/oder ein Container mit einem System konform oder kompatibel ist). In mindestens einer Ausführungsform kann eine entwickelte Anwendung lokal (z. B. in einer ersten Einrichtung, mit Daten aus einer ersten Einrichtung) mit einem SDK getestet werden, das zumindest einige der Dienste 3920 als System (z. B. System 4000 von 40) unterstützen kann. In mindestens einer Ausführungsform kann ein Entwickler, da DICOM-Objekte zwischen einem und Hunderten von Bildern oder anderen Datentypen enthalten können und aufgrund von Datenvariationen, für die Verwaltung (z. B. Festlegung von Konstrukten für die Vorverarbeitung in einer Anwendung usw.) der Extraktion und Aufbereitung eingehender DICOM-Daten verantwortlich sein. In mindestens einer Ausführungsform kann eine Anwendung nach der Validierung durch das System 4000 (z. B. hinsichtlich Genauigkeit, Sicherheit, Datenschutz für Patienten usw.) in einem Containerregister zur Auswahl und/oder Implementierung durch einen Benutzer (z. B. ein Krankenhaus, eine Klinik, ein Labor, einen Gesundheitsdienstleister usw.) verfügbar sein, um eine oder mehrere Verarbeitungsaufgaben in Bezug auf Daten in einer Einrichtung (z. B. einer zweiten Einrichtung) eines Benutzers auszuführen.
In mindestens einer Ausführungsform können Entwickler dann Anwendungen oder Container über ein Netz für den Zugriff und die Nutzung durch Benutzer eines Systems (z. B. System 4000 von 40) freigeben. In mindestens einer Ausführungsform können fertige und validierte Anwendungen oder Container in einem Containerregister und zugehörige Modelle für maschinelles Lernen im Modellregister 3924 gespeichert werden. In mindestens einer Ausführungsform kann eine anfragende Einheit (z. B. ein Benutzer in einer medizinischen Einrichtung), die eine Anforderung zur Inferenz- oder Bildverarbeitung bereitstellt, ein Containerregister und/oder Modellregister 3924 nach einer Anwendung, einem Container, einem Datensatz, einem maschinellen Lernmodell usw. durchsuchen, eine gewünschte Kombination von Elementen zur Aufnahme in die Datenverarbeitungspipeline auswählen und eine Anforderung zur Bildverarbeitung übermitteln. In mindestens einer Ausführungsform kann eine Anforderung Eingabedaten (und in einigen Beispielen zugehörige Patientendaten) beinhalten, die zum Ausführen einer Anforderung erforderlich sind, und/oder eine Auswahl von Anwendungen und/oder maschinellen Lernmodellen beinhalten, die bei der Verarbeitung einer Anforderung ausgeführt werden sollen. In mindestens einer Ausführungsform kann eine Anforderung dann an eine oder mehrere Komponenten des Einsatzsystems 3906 (z. B. eine Cloud) weitergeleitet werden, um die Verarbeitung der Datenverarbeitungspipeline auszuführen. In mindestens einer Ausführungsform kann die Verarbeitung durch das Einsatzsystem 3906 die Referenzierung ausgewählter Elemente (z. B. Anwendungen, Container, Modelle usw.) aus einer Container- und/oder Modellregistrierung 3924 beinhalten. In mindestens einer Ausführungsform können die Ergebnisse, sobald sie von einer Pipeline erzeugt wurden, an einen Benutzer als Referenz zurückgegeben werden (z. B. zur Anzeige in einer Anzeigeanwendungssuite, die auf einer lokalen, ortsfesten Workstation oder einem Terminal ausgeführt wird). In mindestens einer Ausführungsform kann ein Radiologe Ergebnisse von einer Datenverarbeitungspipeline erhalten, die eine beliebige Anzahl von Anwendungen und/oder Containern enthält, wobei die Ergebnisse die Erkennung von Anomalien in Röntgenaufnahmen, CT-Scans, MRTs usw. beinhalten können.
In mindestens einer Ausführungsform können zur Unterstützung der Verarbeitung oder Ausführung von Anwendungen oder Containern in Pipelines Dienste 3920 genutzt werden. In mindestens einer Ausführungsform können die Dienste 3920 Rechendienste, Dienste für künstliche Intelligenz (KI), Visualisierungsdienste und/oder andere Diensttypen beinhalten. In mindestens einer Ausführungsform können die Dienste 3920 eine Funktionalität bereitstellen, die einer oder mehreren Anwendungen in der Software 3918 gemeinsam ist, so dass die Funktionalität in einen Dienst abstrahiert werden kann, der von den Anwendungen aufgerufen oder genutzt werden kann. In mindestens einer Ausführungsform kann die von den Diensten 3920 bereitgestellte Funktionalität dynamisch und effizienter ablaufen und gleichzeitig gut skalieren, indem sie Anwendungen die parallele Verarbeitung von Daten ermöglicht (z. B. unter Verwendung einer parallelen Rechenplattform 4030 (40)). In mindestens einer Ausführungsform muss nicht jede Anwendung, die dieselbe von einem Dienst 3920 angebotene Funktionalität nutzt, über eine entsprechende Instanz des Dienstes 3920 verfügen, sondern der Dienst 3920 kann von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Dienste einen Inferenzserver oder eine Inferenzengine beinhalten, die zur Ausführung von Erkennungs- oder Segmentierungsaufgaben verwendet werden können, als nicht einschränkende Beispiele. In mindestens einer Ausführungsform kann ein Modelltrainingsdienst enthalten sein, der Fähigkeiten zum Trainieren und/oder Neutrainieren von maschinellen Lernmodellen bereitstellt. In mindestens einer Ausführungsform kann ferner ein Datenerweiterungsdienst enthalten sein, der eine GPU-beschleunigte Datenextraktion (z. B. DICOM, RIS, CIS, REST-konform, RPC, Rohdaten usw.), Größenänderung, Skalierung und/oder andere Erweiterungen bereitstellen kann. In mindestens einer Ausführungsform kann ein Visualisierungsdienst verwendet werden, der Bild-Rendering-Effekte - wie Raytracing, Rasterung, Entrauschung, Schärfung usw. - hinzufügen kann, um zweidimensionale (2D) und/oder dreidimensionale (3D) Modelle realistischer zu gestalten. In mindestens einer Ausführungsform können Dienste für virtuelle Instrumente enthalten sein, die Strahlformung, Segmentierung, Inferenzieren, Bildgebung und/oder Unterstützung für andere Anwendungen innerhalb von Pipelines virtueller Instrumente bereitstellen.
In mindestens einer Ausführungsform, in der ein Dienst 3920 einen KI-Dienst (z. B. einen Inferenzdienst) beinhaltet, können ein oder mehrere maschinelle Lernmodelle, die einer Anwendung zur Erkennung von Anomalien (z. B. Tumoren, Wachstumsanomalien, Narbenbildung usw.) zugeordnet sind, ausgeführt werden, indem ein Inferenzdienst (z. B. ein Inferenzserver) aufgerufen wird (z. B. als API-Aufruf), um maschinelle Lernmodelle oder deren Verarbeitung als Teil der Anwendungsausführung auszuführen. In mindestens einer Ausführungsform, in der eine andere Anwendung ein oder mehrere maschinelle Lernmodelle für Segmentierungsaufgaben beinhaltet, kann eine Anwendung einen Inferenzdienst aufrufen, um maschinelle Lernmodelle auszuführen, um eine oder mehrere der mit Segmentierungsaufgaben verbundenen Operationen auszuführen. In mindestens einer Ausführungsform kann die Software 3918, die eine fortgeschrittene Verarbeitungs- und Inferenzierungspipeline implementiert, die eine Segmentierungsanwendung und eine Anwendung zur Erkennung von Anomalien beinhaltet, rationalisiert werden, da jede Anwendung denselben Inferenzierungsdienst zum Ausführen einer oder mehrerer Inferenzierungsaufgaben aufrufen kann.
In mindestens einer Ausführungsform kann die Hardware 3922 GPUs, CPUs, Grafikkarten, ein KI/Deep-Learning-System (z. B. einen KI-Supercomputer, wie das DGX-Supercomputersystem von NVIDIA), eine Cloud-Plattform oder eine Kombination davon beinhalten. In mindestens einer Ausführungsform können verschiedene Arten von Hardware 3922 verwendet werden, um eine effiziente, zweckgebundene Unterstützung für Software 3918 und Dienste 3920 im Einsatzsystem 3906 bereitzustellen. In mindestens einer Ausführungsform kann die Verwendung von GPU-Verarbeitung für die Verarbeitung lokal (z. B. in der Einrichtung 3902), innerhalb eines KI/Deep-Learning-Systems, in einem Cloud-System und/oder in anderen Verarbeitungskomponenten des Einsatzsystems 3906 implementiert werden, um die Effizienz, Genauigkeit und Wirksamkeit der Bildverarbeitung, Bildrekonstruktion, Segmentierung, MRT-Untersuchungen, Schlaganfall- oder Herzinfarkt-Erkennung (z. B. in Echtzeit), Bildqualität beim Rendering usw. zu verbessern. In mindestens einer Ausführungsform kann eine Einrichtung Bildgebungsvorrichtungen, Genomikvorrichtungen, Sequenzierungsvorrichtungen und/oder andere Vorrichtungen vor Ort beinhalten, die GPUs nutzen können, um Bildgebungsdaten zu erzeugen, die für die Anatomie eines Patienten repräsentativ sind.
In mindestens einer Ausführungsform können die Software 3918 und/oder die Dienste 3920 für die GPU-Verarbeitung im Hinblick auf Deep Learning, maschinelles Lernen und/oder Hochleistungsrechnen optimiert sein, als nicht einschränkende Beispiele. In mindestens einer Ausführungsform kann zumindest ein Teil der Rechenumgebung des Einsatzsystems 3906 und/oder des Trainingssystems 3904 in einem Rechenzentrum auf einem oder mehreren Supercomputern oder Hochleistungsrechnersystemen mit GPU-optimierter Software (z. B. Hardware- und Softwarekombination des DGX-Systems von NVIDIA) ausgeführt werden. In mindestens einer Ausführungsform können Rechenzentren den Bestimmungen des HIPAA entsprechen, so dass der Empfang, die Verarbeitung und die Übermittlung von Bildgebungsdaten und/oder anderen Patientendaten im Hinblick auf den Schutz der Patientendaten sicher gehandhabt wird. In mindestens einer Ausführungsform kann die Hardware 3922 eine beliebige Anzahl von GPUs beinhalten, die aufgerufen werden können, um die Verarbeitung von Daten parallel durchzuführen, wie in dieser Schrift beschrieben. In mindestens einer Ausführungsform kann die Cloud-Plattform ferner eine GPU-Verarbeitung für die GPU-optimierte Ausführung von Deep-Learning-Aufgaben, maschinellen Lernaufgaben oder anderen Rechenaufgaben beinhalten. In mindestens einer Ausführungsform kann die Cloud-Plattform (z. B. NVIDIAs NGC) unter Verwendung eines KI/Deep Learning-Supercomputers und/oder GPU-optimierter Software (z. B. wie auf NVIDIAs DGX-Systemen bereitgestellt) als Hardware-Abstraktions- und Skalierungsplattform ausgeführt werden. In mindestens einer Ausführungsform kann die Cloud-Plattform ein Anwendungscontainer-Clustering-System oder ein Orchestrierungssystem (z. B. KUBERNETES) auf mehreren GPUs integrieren, um eine nahtlose Skalierung und Lastverteilung zu ermöglichen.
In mindestens einer Ausführungsform können das Trainingssystem 3904 und/oder ein Einsatzsystem 3906 verwendet werden, um ein Computersystem zu implementieren, das zum Verarbeiten von Bildern und zum Bezeichnen von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform kann das Trainingssystem 3904 verwendet werden, um ein neuronales Netz zu trainieren, einen Satz von Begrenzungsrahmen zu filtern, um unerwünschte Begrenzungsrahmenkandidaten zu entfernen, wie oben beschrieben. In mindestens einer Ausführungsform kann ein neuronales Netz trainiert werden, um einen IOU-Schwellenwert zu erzeugen. In mindestens einer Ausführungsform identifiziert das Einsatzsystem 3906 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
40 ist ein Systemdiagramm für ein Beispielsystem 4000 zum Erzeugen und Einsetzen einer Einsatzpipeline für die Bildverarbeitung gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 4000 verwendet werden, um den Prozess 3900 von 39 und/oder andere Prozesse zu implementieren, die erweiterte Verarbeitungs- und Inferenzierungspipelines beinhalten. In mindestens einer Ausführungsform kann das System 4000 ein Trainingssystem 3904 und ein Einsatzsystem 3906 beinhalten. In mindestens einer Ausführungsform können das Trainingssystem 3904 und das Einsatzsystem 3906 unter Verwendung von Software 3918, Diensten 3920 und/oder Hardware 3922, wie hierin beschrieben, implementiert werden.
In mindestens einer Ausführungsform kann das System 4000 (z. B. das Trainingssystem 3904 und/oder das Einsatzsystem 3906) in einer Rechenumgebung in der Cloud (z. B. unter Verwendung der Cloud 4026) implementiert werden. In mindestens einer Ausführungsform kann das System 4000 lokal in Bezug auf eine Einrichtung des Gesundheitswesens oder als eine Kombination aus Cloud- und lokalen Rechenressourcen implementiert werden. In mindestens einer Ausführungsform können in Ausführungsformen, in denen Cloud-Computing implementiert ist, Patientendaten von einer oder mehreren Komponenten des Systems 4000 getrennt oder von diesen nicht verarbeitet werden, wodurch die Verarbeitung nicht mit dem HIPAA und/oder anderen Datenhandhabungs- und Datenschutzvorschriften oder -gesetzen konform wäre. In mindestens einer Ausführungsform kann der Zugriff auf die APIs in der Cloud 4026 durch festgelegte Sicherheitsmaßnahmen oder -protokolle auf autorisierte Nutzer beschränkt werden. In mindestens einer Ausführungsform kann ein Sicherheitsprotokoll Web-Tokens beinhalten, die von einem Authentifizierungsdienst (z. B. AuthN, AuthZ, Gluecon usw.) signiert werden und eine entsprechende Autorisierung enthalten können. In mindestens einer Ausführungsform können APIs virtueller Instrumente (wie hierin beschrieben) oder andere Instanzen des Systems 4000 auf einen Satz öffentlicher IPs beschränkt werden, die für die Interaktion überprüft oder autorisiert wurden.
In mindestens einer Ausführungsform können verschiedene Komponenten des Systems 4000 unter Verwendung einer Vielzahl verschiedener Netzarten, die unter anderem lokale Netze (LANs) und/oder Weitverkehrsnetze (WANs) beinhalten, über verdrahtete und/oder drahtlose Kommunikationsprotokolle miteinander kommunizieren. In mindestens einer Ausführungsform kann die Kommunikation zwischen Einrichtungen und Komponenten des Systems 4000 (z. B. zum Übermitteln von Anforderungen, zum Empfangen von Ergebnissen von Anforderungen usw.) über einen Datenbus oder Datenbusse, drahtlose Datenprotokolle (Wi-Fi), verdrahtete Datenprotokolle (z. B. Ethernet) usw. kommuniziert werden.
In mindestens einer Ausführungsform kann das Trainingssystem 3904 Trainingspipelines 4004 ausführen, die denen ähnlich sind, die hierin in Bezug auf 39 beschrieben sind. In mindestens einer Ausführungsform der ein oder mehrere maschinelle Lernmodelle in Einsatzpipelines 4010 durch das Einsatzsystem 3906 verwendet werden sollen, können die Trainingspipelines 4004 verwendet werden, um ein oder mehrere (z. B. vortrainierte) Modelle zu trainieren oder zu neutrainieren und/oder ein oder mehrere der vortrainierten Modelle 4006 zu implementieren (z. B. ohne die Notwendigkeit des Neutrainierens oder Aktualisierens). In mindestens einer Ausführungsform können als Ergebnis der Trainingspipelines 4004 die Ausgangsmodelle 3916 erzeugt werden. In mindestens einer Ausführungsform können die Trainingspipelines 4004 eine beliebige Anzahl von Verarbeitungsschritten beinhalten, wie z. B. die Konvertierung oder Anpassung von Bilddaten (oder anderen Eingabedaten), (z. B. Verwendung des DICOM-Adapters 4002A zur Konvertierung von DICOM-Bildern in ein anderes Format, das für die Verarbeitung durch entsprechende maschinelle Lernmodelle geeignet ist, wie z. B. das Format der Neuroimaging Informatics Technology Initiative (NIfTI)), KI-gestützte Anmerkung 3910, Kennzeichnung oder Anmerkung von Bildgebungsdaten 3908 zur Erzeugung beschrifteter Klinikdaten 3912, Modellauswahl aus einem Modellregister, Modelltraining 3914, Training, Neutrainieren oder Aktualisieren von Modellen und/oder andere Verarbeitungsschritte. In mindestens einer Ausführungsform können für verschiedene maschinelle Lernmodelle, die vom Einsatzsystem 3906 verwendet werden, verschiedene Trainingpipelines 4004 verwendet werden. In mindestens einer Ausführungsform kann die Trainingspipeline 4004 ähnlich einem ersten, in 39 beschriebenen Beispiel für ein erstes maschinelles Lernmodell verwendet werden, die Trainingspipeline 4004 ähnlich einem zweiten, in 39 beschriebenen Beispiel für ein zweites maschinelles Lernmodell, und die Trainingspipeline 4004 ähnlich einem dritten, in 39 beschriebenen Beispiel für ein drittes maschinelles Lernmodell verwendet werden. In mindestens einer Ausführungsform kann jede Kombination von Aufgaben innerhalb des Trainingssystems 3904 verwendet werden, je nachdem, was für das jeweilige maschinelle Lernmodell erforderlich ist. In mindestens einer Ausführungsform können eines oder mehrere der maschinellen Lernmodelle bereits trainiert und einsatzbereit sein, so dass die maschinellen Lernmodelle keine Verarbeitung durch das Trainingssystem 3904 erfahren und durch das Einsatzsystem 3906 implementiert werden können.
In mindestens einer Ausführungsform können die Ausgabemodelle 3916 und/oder die vorab trainierten Modelle 4006 alle Arten von maschinellen Lernmodellen beinhalten, je nach Implementierung oder Ausführungsform. In mindestens einer Ausführungsform und ohne Einschränkung können die vom System 4000 verwendeten maschinellen Lernmodelle maschinelle Lernmodelle beinhalten, die lineare Regression, logistische Regression, Entscheidungsbäume, Support-Vektor-Maschinen (SVM), Naive Bayes, k-nearest neighbor (Knn), K-Mittel-Clustering, Random Forest, Algorithmen zur Dimensionalitätsreduktion, Gradient-Boosting-Algorithmen, neuronale Netze (z. B. Auto-Codierer, Faltungsalgorithmen, rekurrente Algorithmen, Perceptrons, Long/Short Term Memory (LSTM), Hopfield, Boltzmann, Deep Belief, Deconvolutional, Generative Adversarial, Liquid State Machine, usw.) und/oder andere Arten von maschinellen Lernmodellen verwenden.
In mindestens einer Ausführungsform können die Trainingspipelines 4004 eine KI-gestützte Anmerkung beinhalten, wie hierin in Bezug auf mindestens 43B ausführlicher beschrieben. In mindestens einer Ausführungsform können beschriftete Klinikdaten 3912 (z. B. herkömmliche Anmerkungen) durch eine beliebige Anzahl von Techniken erzeugt werden. In mindestens einer Ausführungsform können Kennzeichnungen oder andere Annotationen in einem Zeichenprogramm (z. B. einem Annotationsprogramm), einem CAD-Programm (Computer Aided Design), einem Kennzeichnungsprogramm oder einer anderen Art von Programm erzeugt werden, das zur Erzeugung von Annotationen oder Kennzeichnungen für die Ground-Truth geeignet ist, und/oder sie können in einigen Beispielen von Hand gezeichnet werden. In mindestens einer Ausführungsform können Ground-Truth-Daten synthetisch erzeugt (z. B. aus Computermodellen oder Renderings), real erzeugt (z. B. aus realen Daten entworfen und erzeugt), maschinell automatisiert (z. B. unter Verwendung von Merkmalsanalyse und Lernen, um Merkmale aus Daten zu extrahieren und dann Kennzeichnungen zu erzeugen), von Menschen beschriftet (z. B. legt ein Kennzeichnungsexperte die Position der Kennzeichnungen fest) und/oder eine Kombination davon sein. In mindestens einer Ausführungsform können für jede Instanz von Bilddaten 3908 (oder anderen Datentypen, die von maschinellen Lernmodellen verwendet werden) entsprechende Ground-Truth-Daten vorhanden sein, die vom Trainingssystem 3904 erzeugt werden. In mindestens einer Ausführungsform kann die KI-gestützte Annotation als Teil der Einsatzpipelines 4010 ausgeführt werden; entweder zusätzlich zu oder anstelle der KI-gestützten Annotation, die in den Trainingspipelines 4004 enthalten ist. In mindestens einer Ausführungsform kann das System 4000 eine mehrschichtige Plattform beinhalten, die eine Softwareschicht (z. B. Software 3918) von Diagnoseanwendungen (oder anderen Anwendungstypen) beinhalten kann, die eine oder mehrere medizinische Bildgebungs- und Diagnosefunktionen ausführen können. In mindestens einer Ausführungsform kann das System 4000 kommunikativ an (z. B. über verschlüsselte Verknüpfungen) PACS-Server-Netze einer oder mehrerer Einrichtungen gekoppelt sein. In mindestens einer Ausführungsform kann das System 4000 dazu konfiguriert sein, auf Daten (z. B. DICOM-Daten, RIS-Daten, Rohdaten, CIS-Daten, REST-konforme Daten, RPC-Daten, Rohdaten usw.) von PACS-Servern zuzugreifen und diese zu referenzieren, (z. B. über einen DICOM-Adapter 4002 oder einen anderen Datentypadapter wie RIS, CIS, REST-konforme Daten, RPC, Rohdaten usw.), um Operationen auszuführen, wie z. B. das Trainieren von maschinellen Lernmodellen, den Einsatz von maschinellen Lernmodellen, die Bildverarbeitung, das Inferenzieren und/oder andere Operationen.
In mindestens einer Ausführungsform kann eine Software-Schicht als sichere, verschlüsselte und/oder authentifizierte API implementiert werden, über die Anwendungen oder Container von einer oder mehreren externen Umgebungen (z. B. Einrichtung 3902) gerufen (z. B. aufgerufen) werden können. In mindestens einer Ausführungsform können die Anwendungen dann einen oder mehrere Dienste 3920 aufrufen oder ausführen, um Rechen-, KI- oder Visualisierungsaufgaben auszuführen, die mit den jeweiligen Anwendungen verbunden sind, und die Software 3918 und/oder die Dienste 3920 können die Hardware 3922 nutzen, um die Verarbeitungsaufgaben auf effektive und effiziente Weise auszuführen.
In mindestens einer Ausführungsform kann das Einsatzsystem 3906 Einsatzpipelines 4010 ausführen. In mindestens einer Ausführungsform können Einsatzpipelines 4010 eine beliebige Anzahl von Anwendungen beinhalten, die sequentiell, nicht sequentiell oder auf andere Weise auf Bildgebungsdaten (und/oder andere Datentypen) angewendet werden können, die von Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Genomikvorrichtungen usw. erzeugt werden - einschließlich KIgestützter Annotation, wie oben beschrieben. In mindestens einer Ausführungsform, wie hierin beschrieben, kann eine Einsatzpipeline 4010 für eine einzelne Vorrichtung als virtuelles Instrument für eine Vorrichtung bezeichnet werden (z. B. ein virtuelles Ultraschallinstrument, ein virtuelles CT-Scaninstrument, ein virtuelles Sequenzierungsinstrument usw.). In mindestens einer Ausführungsform kann es für eine einzelne Vorrichtung mehr als eine Einsatzpipeline 4010 geben, je nachdem, welche Informationen aus den von einer Vorrichtung erzeugten Daten gewünscht werden. In mindestens einer Ausführungsform kann es eine erste Einsatzpipeline 4010 geben, wenn Erkennungen von Anomalien von einem MRT-Gerät gewünscht werden, und eine zweite Einsatzpipeline 4010, wenn eine Bildverbesserung von der Ausgabe eines MRT-Geräts gewünscht wird.
In mindestens einer Ausführungsform können die für Einsatzpipelines 4010 verfügbaren Anwendungen alle Anwendungen beinhalten, die zum Ausführen von Verarbeitungsaufgaben an Bildgebungsdaten oder anderen Daten von Vorrichtungen verwendet werden können. In mindestens einer Ausführungsform können verschiedene Anwendungen für Bildverbesserung, Segmentierung, Rekonstruktion, Anomalieerkennung, Objekterkennung, Merkmalserkennung, Behandlungsplanung, Dosimetrie, Strahlenplanung (oder andere Strahlenbehandlungsverfahren) und/oder andere Analyse-, Bildverarbeitungs- oder Inferenzierungsaufgaben zuständig sein. In mindestens einer Ausführungsform kann das Einsatzsystem 3906 Konstrukte für jede der Anwendungen definieren, so dass die Benutzer des Einsatzsystems 3906 (z. B. medizinische Einrichtungen, Labors, Kliniken usw.) die Konstrukte verstehen und die Anwendungen für die Implementierung innerhalb ihrer jeweiligen Einrichtung anpassen können. In mindestens einer Ausführungsform kann eine Anwendung zur Bildrekonstruktion für die Aufnahme in die Einsatzpipeline 4010 ausgewählt werden, aber der von einer Bildgebungsvorrichtung erzeugte Datentyp kann sich von einem in einer Anwendung verwendeten Datentyp unterscheiden. In mindestens einer Ausführungsform kann der DICOM-Adapter 4002B (und/oder ein DICOM-Lesegerät) oder ein anderer Datentyp-Adapter oder ein anderes Lesegerät (z. B. RIS, CIS, REST-konform, RPC, raw usw.) in der Einsatzpipeline 4010 verwendet werden, um Daten in eine Form zu konvertieren, die von einer Anwendung im Einsatzsystem 3906 verwendet werden kann. In mindestens einer Ausführungsform kann der Zugriff auf DICOM-, RIS-, CIS-, REST-konforme, RPC-, Rohdaten- und/oder andere Datentypbibliotheken akkumuliert und vorverarbeitet werden, was die Decodierung, Extraktion und/oder Ausführung von Faltungen, Farbkorrekturen, Schärfe, Gamma und/oder anderen Erweiterungen der Daten beinhaltet. In mindestens einer Ausführungsform können DICOM-, RIS-, CIS-, REST-konforme, RPC- und/oder Rohdaten ungeordnet sein, und es kann ein Pre-Pass ausgeführt werden, um die gesammelten Daten zu organisieren oder zu sortieren. In mindestens einer Ausführungsform kann eine Datenerweiterungsbibliothek (z. B. als einer der Dienste 3920) verwendet werden, um diese Operationen zu beschleunigen, da verschiedene Anwendungen gemeinsame Bildoperationen nutzen können. In mindestens einer Ausführungsform kann die parallele Rechenplattform 4030 zur GPU-Beschleunigung dieser Verarbeitungsaufgaben verwendet werden, um Engpässe herkömmlicher Verarbeitungsansätze zu vermeiden, die auf CPU-Verarbeitung beruhen.
In mindestens einer Ausführungsform kann eine Bildrekonstruktionsanwendung eine Verarbeitungsaufgabe beinhalten, die die Verwendung eines maschinellen Lernmodells beinhaltet. In mindestens einer Ausführungsform kann ein Benutzer sein eigenes maschinelles Lernmodell verwenden oder ein maschinelles Lernmodell aus der Modellregistrierung 3924 auswählen. In mindestens einer Ausführungsform kann ein Benutzer sein eigenes maschinelles Lernmodell implementieren oder ein maschinelles Lernmodell auswählen, das in eine Anwendung zum Ausführen einer Verarbeitungsaufgabe aufgenommen wird. In mindestens einer Ausführungsform können Anwendungen auswählbar und anpassbar sein, und durch die Definition von Konstrukten von Anwendungen wird der Einsatz und die Implementierung von Anwendungen für einen bestimmten Benutzer als eine nahtlosere Benutzererfahrung dargestellt. In mindestens einer Ausführungsform können Einsatzpipelines 4010 durch die Nutzung anderer Merkmale des Systems 4000 - wie Dienste 3920 und Hardware 3922 - noch benutzerfreundlicher sein, eine einfachere Integration bereitstellen und genauere, effizientere und zeitgerechtere Ergebnisse liefern.
In mindestens einer Ausführungsform kann das Einsatzsystem 3906 eine Benutzerschnittstelle 4014 (z. B. eine grafische Benutzerschnittstelle, eine Webschnittstelle usw.) beinhalten, die dazu verwendet werden kann, Anwendungen zur Aufnahme in die Einsatzpipelines 4010 auszuwählen, Anwendungen anzuordnen, Anwendungen oder Parameter oder Konstrukte davon zu modifizieren oder zu ändern, die Einsatzpipelines 4010 während der Einrichtung und/oder des Einsatzes zu verwenden und mit ihr zu interagieren und/oder anderweitig mit dem Einsatzsystem 3906 zu interagieren. In mindestens einer Ausführungsform, die in Bezug auf das Trainingssystem 3904 nicht veranschaulicht ist, kann die Benutzerschnittstelle 4014 (oder eine andere Benutzerschnittstelle) zur Auswahl von Modellen für den Einsatz im Einsatzsystem 3906, zur Auswahl von Modellen zum Trainieren oder Neutrainieren im Trainingssystem 3904 und/oder zur sonstigen Interaktion mit dem Trainingssystem 3904 verwendet werden.
In mindestens einer Ausführungsform kann der Pipelinemanager 4012 zusätzlich zu einem Anwendungsorchestrierungssystem 4028 verwendet werden, um die Interaktion zwischen Anwendungen oder Containern der Einsatzpipelines 4010 und Diensten 3920 und/oder Hardware 3922 zu verwalten. In mindestens einer Ausführungsform kann der Pipelinemanager 4012 so konfiguriert sein, dass er die Interaktion von Anwendung zu Anwendung, von Anwendung zu Dienst 3920 und/oder von Anwendung oder Dienst zu Hardware 3922 erleichtert. Obwohl in mindestens einer Ausführungsform veranschaulicht wird, dass der Pipelinemanager in der Software 3918 enthalten ist, ist dies nicht als Einschränkung zu verstehen, und in einigen Beispielen (z. B. wie in 41 veranschaulicht) kann der Pipelinemanager 4012 in den Diensten 3920 enthalten sein. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 4028 (z. B. Kubernetes, DOCKER usw.) ein Containerorchestrierungssystem beinhalten, das Anwendungen in Containern als Logikeinheiten für die Koordination, Verwaltung, Skalierung und den Einsatz gruppieren kann. In mindestens einer Ausführungsform kann durch die Zuordnung von Anwendungen aus Einsatzpipelines 4010 (z. B. eine Rekonstruktionsanwendung, eine Segmentierungsanwendung usw.) zu einzelnen Containern jede Anwendung in einer in sich geschlossenen Umgebung (z. B. auf Kernel-Ebene) ausgeführt werden, um die Geschwindigkeit und Effizienz zu erhöhen.
In mindestens einer Ausführungsform kann jede Anwendung und/oder jeder Container (oder ein Abbild davon) individuell entwickelt, modifiziert und eingesetzt werden (z. B. kann ein erster Benutzer oder Entwickler eine erste Anwendung entwickeln, modifizieren und einsetzen, und ein zweiter Benutzer oder Entwickler kann eine zweite Anwendung separat von einem ersten Benutzer oder Entwickler entwickeln, modifizieren und einsetzen), was es ermöglicht, sich auf eine Aufgabe einer einzelnen Anwendung und/oder eines einzelnen Containers zu konzentrieren, ohne durch Aufgaben einer anderen Anwendung oder eines anderen Containers behindert zu werden. In mindestens einer Ausführungsform kann die Kommunikation und Zusammenarbeit zwischen verschiedenen Containern oder Anwendungen durch den Pipelinemanager 4012 und das Anwendungsorchestrierungssystem 4028 unterstützt werden. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 4028 und/oder der Pipelinemanager 4012, solange eine erwartete Eingabe und/oder Ausgabe jedes Containers oder jeder Anwendung durch ein System bekannt ist (z. B. basierend auf Konstrukten von Anwendungen oder Containern), die Kommunikation unter und zwischen den Anwendungen oder Containern sowie die gemeinsame Nutzung von Ressourcen unter und zwischen diesen erleichtern. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 4028, da eine oder mehrere Anwendungen oder Container in den Einsatzpipelines 4010 dieselben Dienste und Ressourcen gemeinsam nutzen können, die gemeinsame Nutzung von Diensten oder Ressourcen zwischen und unter verschiedenen Anwendungen oder Containern orchestrieren, ausgleichen und bestimmen. In mindestens einer Ausführungsform kann ein Scheduler verwendet werden, um die Ressourcenanforderungen von Anwendungen oder Containern, die aktuelle oder geplante Nutzung dieser Ressourcen und die Ressourcenverfügbarkeit zu verfolgen. In mindestens einer Ausführungsform kann ein Scheduler somit verschiedenen Anwendungen Ressourcen zuweisen und diese unter Berücksichtigung der Anforderungen und der Verfügbarkeit eines Systems zwischen und unter den Anwendungen verteilen. In einigen Beispielen kann ein Scheduler (und/oder eine andere Komponente des Anwendungsorchestrierungssystems 4028) die Ressourcenverfügbarkeit und -verteilung basierend auf den einem System auferlegten Beschränkungen (z. B. Benutzerbeschränkungen) bestimmen, wie z. B. Dienstgüte (QoS), Dringlichkeit des Bedarfs an Datenausgaben (z. B. um zu bestimmen, ob eine Echtzeitverarbeitung oder eine verzögerte Verarbeitung ausgeführt werden soll) usw.
In mindestens einer Ausführungsform können die von Anwendungen oder Containern im Einsatzsystem 3906 genutzten und gemeinsam genutzten Dienste 3920 Rechendienste 4016, KI-Dienste 4018, Visualisierungsdienste 4020 und/oder andere Diensttypen beinhalten. In mindestens einer Ausführungsform können Anwendungen einen oder mehrere der Dienste 3920 aufrufen (z. B. ausführen), um Verarbeitungsoperationen für eine Anwendung auszuführen. In mindestens einer Ausführungsform können die Rechendienste 4016 von Anwendungen genutzt werden, um Supercomputing- oder andere Hochleistungsrechenaufgaben (high-performance computing tasks - HPC tasks) auszuführen. In mindestens einer Ausführungsform können die Rechendienste 4016 genutzt werden, um eine parallele Verarbeitung (z. B. unter Verwendung einer Parallelrechenplattform 4030) zur Verarbeitung von Daten durch eine oder mehrere Anwendungen und/oder eine oder mehrere Aufgaben einer einzelnen Anwendung im Wesentlichen gleichzeitig auszuführen. In mindestens einer Ausführungsform kann die Parallelrechenplattform 4030 (z. B. CUDA von NVIDIA) die Allzweckberechnung auf GPUs (GPGPU) (z. B. GPUs 4022) ermöglichen. In mindestens einer Ausführungsform kann eine Softwareschicht der Parallelrechenplattform 4030 den Zugang zu virtuellen Sätzen und parallelen Rechenelementen von GPUs für die Ausführung von Rechenkerneln bereitstellen. In mindestens einer Ausführungsform kann die Parallelrechenplattform 4030 einen Speicher beinhalten, und in einigen Ausführungsformen kann ein Speicher zwischen mehreren Containern und/oder zwischen verschiedenen Verarbeitungsaufgaben innerhalb eines einzelnen Containers gemeinsam genutzt werden. In mindestens einer Ausführungsform können IPC-Aufrufe für mehrere Container und/oder für mehrere Prozesse innerhalb eines Containers erzeugt werden, um dieselben Daten aus einem gemeinsam genutzten Speichersegment der Parallelrechenplattform 4030 zu verwenden (z. B. wenn mehrere verschiedene Phasen einer Anwendung oder mehrere Anwendungen dieselben Informationen verarbeiten). In mindestens einer Ausführungsform können dieselben Daten an ein und demselben Speicherort für eine beliebige Anzahl von Verarbeitungsaufgaben (z. B. zur gleichen Zeit, zu verschiedenen Zeiten usw.) verwendet werden, anstatt eine Kopie der Daten anzufertigen und die Daten an verschiedene Speicherorte zu verschieben (z. B. eine Lese-/Schreiboperation). In mindestens einer Ausführungsform können, da Daten verwendet werden, um neue Daten als Ergebnis der Verarbeitung zu erzeugen, diese Informationen über einen neuen Ort von Daten gespeichert und von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können der Speicherort von Daten und der Speicherort von aktualisierten oder geänderten Daten Teil einer Definition sein, wie eine Nutzlast in Containern zu verstehen ist.
In mindestens einer Ausführungsform können KI-Dienste 4018 genutzt werden, um Inferenzieren für die Ausführung von maschinellen Lernmodellen durchzuführen, die mit Anwendungen verbunden sind (z. B. mit der Aufgabe, eine oder mehrere Verarbeitungsaufgaben einer Anwendung auszuführen). In mindestens einer Ausführungsform können die KI-Dienste 4018 das KI-System 4024 nutzen, um maschinelle Lernmodelle (z. B. neuronale Netze wie CNNs) für Segmentierung, Rekonstruktion, Objekterkennung, Merkmalserkennung, Klassifizierung und/oder andere Inferenzierungsaufgaben auszuführen. In mindestens einer Ausführungsform können die Anwendungen der Einsatzpipelines 4010 eines oder mehrere der Ausgabemodelle 3916 aus dem Trainingssystem 3904 und/oder andere Modelle von Anwendungen verwenden, um Inferenzierung auf Bildgebungsdaten (z. B. DICOM-Daten, RIS-Daten, CIS-Daten, REST-konforme Daten, RPC-Daten, Rohdaten usw.) durchzuführen. In mindestens einer Ausführungsform können zwei oder mehr Beispiele für das Inferenzieren unter Verwendung des Anwendungsorchestrierungssystems 4028 (z. B. eines Schedulers) verfügbar sein. In mindestens einer Ausführungsform kann eine erste Kategorie einen Pfad mit hoher Priorität/geringer Latenz beinhalten, über den höhere Service Level Agreements erreicht werden können, z. B. zum Ausführen von Inferenzen bei dringenden Anforderungen während eines Notfalls oder für einen Radiologen während der Diagnose. In mindestens einer Ausführungsform kann eine zweite Kategorie einen Pfad mit Standardpriorität beinhalten, der für Anforderungen verwendet werden kann, die nicht dringlich sind oder bei denen die Analyse zu einem späteren Zeitpunkt ausgeführt werden kann. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 4028 Ressourcen (z. B. Dienste 3920 und/oder Hardware 3922) basierend auf Prioritätspfaden für verschiedene Inferenzierungsaufgaben von KI-Diensten 4018 verteilen.
In mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher an die KI-Dienste 4018 innerhalb des Systems 4000 angebunden sein. In mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher als Cache (oder eine andere Art von Vorrichtung) fungieren und zur Verarbeitung von Anforderungen von Anwendungen verwendet werden. In mindestens einer Ausführungsform kann, wenn eine Inferenzanforderung übermittelt wird, eine Anforderung von einem Satz von API-Instanzen des Einsatzsystems 3906 empfangen werden, und eine oder mehrere Instanzen können ausgewählt werden (z. B. für die beste Anpassung, für den Lastausgleich usw.), um eine Anforderung zu verarbeiten. In mindestens einer Ausführungsform kann zur Bearbeitung einer Anforderung eine Anforderung in eine Datenbank eingegeben werden, ein maschinelles Lernmodell kann aus der Modellregistrierung 3924 gefunden werden, wenn es sich nicht bereits in einem Cache befindet, ein Validierungsschritt kann sicherstellen, dass ein geeignetes maschinelles Lernmodell in einen Cache (z. B. einen gemeinsamen Speicher) geladen wird, und/oder eine Kopie eines Modells kann in einem Cache gespeichert werden. In mindestens einer Ausführungsform kann ein Scheduler (z. B. des Pipelinemanagers 4012) verwendet werden, um eine Anwendung zu starten, auf die in einer Anforderung verwiesen wird, wenn eine Anwendung noch nicht läuft oder wenn nicht genügend Instanzen einer Anwendung vorhanden sind. In mindestens einer Ausführungsform kann ein Inferenzserver gestartet werden, wenn er noch nicht zur Ausführung eines Modells gestartet ist. In mindestens einer Ausführungsform kann eine beliebige Anzahl von Inferenzservern pro Modell gestartet werden. In mindestens einer Ausführungsform können in einem Pull-Modell, in dem Inferenzserver geclustert sind, Modelle zwischengespeichert werden, wann immer eine Lastverteilung vorteilhaft ist. In mindestens einer Ausführungsform können Inferenzserver statisch in entsprechende, verteilte Server geladen werden.
In mindestens einer Ausführungsform kann die Inferenzierung mithilfe eines Inferenzservers durchgeführt werden, der in einem Container ausgeführt wird. In mindestens einer Ausführungsform kann eine Instanz eines Inferenzservers mit einem Modell (und optional einer Vielzahl von Versionen eines Modells) assoziiert sein. In mindestens einer Ausführungsform kann eine neue Instanz eines Inferenzservers geladen werden, wenn eine Anforderung zum Durchführen von Inferenzen für ein Modell nicht existiert. In mindestens einer Ausführungsform kann beim Starten eines Inferenzservers ein Modell an einen Inferenzserver übergeben werden, sodass der gleiche Container zum Bedienen unterschiedlicher Modelle verwendet werden kann, solange der Inferenzserver als andere Instanz läuft.
In mindestens einer Ausführungsform kann während der Anwendungsausführung eine Inferenzanforderung für eine gegebene Anwendung empfangen werden und ein Container (der z. B. eine Instanz eines Inferenzservers hostet) geladen (falls noch nicht geschehen) und eine Startprozedur aufgerufen werden. In mindestens einer Ausführungsform kann Vorverarbeitungslogik in einem Container eingehende Daten laden, decodieren und/oder beliebige zusätzliche Vorverarbeitung an diesen durchführen (z. B. unter Verwendung von CPUs und/oder GPUs). In mindestens einer Ausführungsform kann ein Container, sobald die Daten für die Inferenz vorbereitet sind, die Inferenz wie erforderlich an den Daten ausführen. In mindestens einer Ausführungsform kann dies einen einzigen Ableitungsaufruf auf einem Bild beinhalten (z. B. ein Handröntgenbild) oder die Ableitung auf Hunderten von Bildern erfordern (z. B. ein Brust-CT). In mindestens einer Ausführungsform kann eine Anwendung die Ergebnisse vor der Fertigstellung zusammenfassen, was ohne Einschränkung eine einzelne Konfidenz-Bewertung, eine Segmentierung auf Pixelebene, eine Segmentierung auf Voxel-Ebene, die Erstellung einer Visualisierung oder die Erzeugung von Text zur Zusammenfassung der Ergebnisse beinhalten kann. In mindestens einer Ausführungsform können verschiedenen Modellen oder Anwendungen unterschiedliche Prioritäten zugewiesen werden. Zum Beispiel können einige Modelle eine Echtzeitpriorität (TAT weniger als eine Minute) aufweisen, während andere eine niedrigere Priorität aufweisen können (z. B. TAT weniger als 10 Minuten). In mindestens einer Ausführungsform können die Modellausführungszeiten von der anfragenden Institution oder Einrichtung gemessen werden und Partnernetztraversalzeit sowie die Ausführung durch einen Inferenzdienst beinhalten.
In mindestens einer Ausführungsform kann die Übertragung von Anforderungen zwischen den Diensten 3920 und den Ableitungsanwendungen hinter einem Software Development Kit (SDK) verborgen sein, und ein robuster Transport kann über eine Warteschlange bereitgestellt werden. In mindestens einer Ausführungsform wird eine Anforderung über eine API für eine individuelle Anwendung/Mieter-ID-Kombination in eine Warteschlange gestellt, und ein SDK zieht eine Anforderung aus einer Warteschlange und gibt eine Anforderung an eine Anwendung weiter. In mindestens einer Ausführungsform kann der Name einer Warteschlange in einer Umgebung bereitgestellt werden, aus der sie von einem SDK abgeholt wird. In mindestens einer Ausführungsform kann die asynchrone Kommunikation über eine Warteschlange nützlich sein, da sie es jeder Instanz einer Anwendung ermöglichen kann, Arbeit aufzunehmen, sobald sie verfügbar wird. In mindestens einer Ausführungsform können die Ergebnisse über eine Warteschlange zurückübertragen werden, um sicherzustellen, dass keine Daten verloren gehen. In mindestens einer Ausführungsform können Warteschlangen auch die Möglichkeit bereitstellen, die Arbeit zu segmentieren, da die Arbeit mit der höchsten Priorität an eine Warteschlange gehen kann, mit der die meisten Instanzen einer Anwendung verbunden sind, während die Arbeit mit der niedrigsten Priorität an eine Warteschlange gehen kann, mit der nur eine einzige Instanz verbunden ist, die Aufgaben in einer bestimmten Reihenfolge verarbeitet. In mindestens einer Ausführungsform kann eine Anwendung auf einer GPU-beschleunigten Instanz laufen, die in der Cloud 4026 erzeugt wird, und ein Inferenzdienst kann das Inferenzieren auf einer GPU ausführen.
In mindestens einer Ausführungsform können Visualisierungsdienste 4020 genutzt werden, um Visualisierungen zur Anzeige der Ausgaben von Anwendungen und/oder Einsatzpipelines 4010 zu erzeugen. In mindestens einer Ausführungsform können GPUs 4022 von Visualisierungsdiensten 4020 genutzt werden, um Visualisierungen zu erzeugen. In mindestens einer Ausführungsform können Rendering-Effekte, wie z. B. Raytracing, von Visualisierungsdiensten 4020 implementiert werden, um qualitativ hochwertigere Visualisierungen zu erzeugen. In mindestens einer Ausführungsform können die Visualisierungen ohne Einschränkung 2D-Bild-Renderings, 3D-Volumen-Renderings, 3D-Volumen-Rekonstruktionen, 2D-tomografische Slices, Virtual-Reality-Anzeigen, Augmented-Reality-Anzeigen usw. beinhalten. In mindestens einer Ausführungsform können virtualisierte Umgebungen verwendet werden, um eine virtuelle interaktive Anzeige oder Umgebung (z. B. eine virtuelle Umgebung) für die Interaktion durch Benutzer eines Systems (z. B. Ärzte, Krankenschwestern, Radiologen usw.) zu erzeugen. In mindestens einer Ausführungsform können die Visualisierungsdienste 4020 einen internen Visualisierer, Kinematiken und/oder andere Rendering- oder Bildverarbeitungsfähigkeiten oder -funktionen beinhalten (z. B. Raytracing, Rasterisierung, interne Optik usw.).
In mindestens einer Ausführungsform kann die Hardware 3922 GPUs 4022, ein KI-System 4024, eine Cloud 4026 und/oder jede andere Hardware beinhalten, die zur Ausführung des Trainingssystems 3904 und/oder des Einsatzsystems 3906 verwendet wird. In mindestens einer Ausführungsform können die GPUs 4022 (z. B. NVIDIAs TESLA- und/oder QUADRO-GPUs) eine beliebige Anzahl von GPUs beinhalten, die für die Ausführung von Verarbeitungsaufgaben der Rechendienste 4016, der KI-Dienste 4018, der Visualisierungsdienste 4020, anderer Dienste und/oder beliebiger Merkmale oder Funktionen der Software 3918 verwendet werden können. Zum Beispiel können in Bezug auf die KI-Dienste 4018 GPUs 4022 verwendet werden, um eine Vorverarbeitung von Bildgebungsdaten (oder anderen Datentypen, die von maschinellen Lernmodellen verwendet werden), eine Nachverarbeitung von Ausgaben von maschinellen Lernmodellen und/oder eine Inferenzierung (z. B. zur Ausführung von maschinellen Lernmodellen) auszuführen. In mindestens einer Ausführungsform können die Cloud 4026, das KI-System 4024 und/oder andere Komponenten des Systems 4000 GPUs 4022 verwenden. In mindestens einer Ausführungsform kann die Cloud 4026 eine GPU-optimierte Plattform für Deep-Learning-Aufgaben beinhalten. In mindestens einer Ausführungsform kann das KI-System 4024 GPUs verwenden, und die Cloud 4026 - oder zumindest ein Abschnitt, der mit Deep Learning oder Inferenzieren beauftragt ist - kann unter Verwendung eines oder mehrerer KI-Systeme 4024 ausgeführt werden. Somit ist, obwohl die Hardware 3922 als einzelne Komponenten veranschaulicht wird, dies nicht als Einschränkung zu verstehen, und alle Komponenten der Hardware 3922 können mit anderen Komponenten der Hardware 3922 kombiniert oder von diesen genutzt werden.
In mindestens einer Ausführungsform kann das KI-System 4024 ein zweckbestimmtes Computersystem (z. B. einen Supercomputer oder einen HPC) beinhalten, das dazu konfiguriert ist, Inferenzieren, Deep Learning, maschinelles Lernen und/oder andere Aufgaben der künstlichen Intelligenz auszuführen. In mindestens einer Ausführungsform kann das KI-System 4024 (z. B. der DGX von NVIDIA) GPU-optimierte Software (z. B. einen Softwarestapel) beinhalten, die unter Verwendung einer Vielzahl von GPUs 4022 ausgeführt werden kann, zusätzlich zu CPUs, RAM, Speicher und/oder anderen Komponenten, Merkmalen oder Funktionen. In mindestens einer Ausführungsform können ein oder mehrere KI-Systeme 4024 in der Cloud 4026 (z. B. in einem Rechenzentrum) implementiert werden, um einige oder alle KIbasierten Verarbeitungsaufgaben des Systems 4000 auszuführen.
In mindestens einer Ausführungsform kann die Cloud 4026 eine GPU-beschleunigte Infrastruktur (z. B. NGC von NVIDIA) beinhalten, die eine GPU-optimierte Plattform für die Ausführung von Verarbeitungsaufgaben des Systems 4000 bereitstellen kann. In mindestens einer Ausführungsform kann die Cloud 4026 ein oder mehrere KI-Systeme 4024 zum Ausführen einer oder mehrerer KI-basierter Aufgaben des Systems 4000 beinhalten (z. B. als Hardware-Abstraktions- und Skalierungsplattform). In mindestens einer Ausführungsform kann die Cloud 4026 in ein Anwendungsorchestrierungssystem 4028 integriert werden, das mehrere GPUs nutzt, um eine nahtlose Skalierung und einen Lastausgleich zwischen und unter Anwendungen und Diensten 3920 zu ermöglichen. In mindestens einer Ausführungsform kann die Cloud 4026 damit beauftragt werden, mindestens einige der Dienste 3920 des Systems 4000 auszuführen, einschließlich der Rechendienste 4016, KI-Dienste 4018 und/oder Visualisierungsdienste 4020, wie hierin beschrieben. In mindestens einer Ausführungsform kann die Cloud 4026 kleine und große Batch-Inferenzen durchführen (z. B. NVIDIAs TENSOR RT ausführen), eine beschleunigte Parallelrechen-API und Plattform 4030 bereitstellen (z. B. NVIDIAs CUDA), ein Anwendungsorchestrierungssystem 4028 ausführen (z. B. KUBERNETES), eine Grafik-Rendering-API und - Plattform bereitstellen (z. B. für Raytracing, 2D-Grafik, 3D-Grafik und/oder andere Rendering-Techniken, um qualitativ hochwertigere Kinofilme zu erzeugen) und/oder andere Funktionen für das System 4000 bereitstellen.
In mindestens einer Ausführungsform kann die Cloud 4026 in dem Bestreben, die Vertraulichkeit von Patientendaten zu wahren (z. B. wenn Patientendaten oder - aufzeichnungen außerhalb der eigenen Räumlichkeiten verwendet werden sollen), ein Register beinhalten - wie z. B. ein Deep-Learning-Container-Register. In mindestens einer Ausführungsform kann eine Registry Container für Instanziierungen von Anwendungen speichern, die Vorverarbeitungs-, Nachverarbeitungs- oder andere Verarbeitungsaufgaben für Patientendaten ausführen können. In mindestens einer Ausführungsform kann die Cloud 4026 Daten empfangen, die sowohl Patientendaten als auch Sensordaten in Containern beinhalten, die angeforderte Verarbeitung nur für die Sensordaten in diesen Containern durchführen und dann eine resultierende Ausgabe und/oder Visualisierungen an geeignete Parteien und/oder Vorrichtungen (z. B. medizinische Vor-Ort-Geräte, die zur Visualisierung oder Diagnose verwendet werden) weiterleiten, ohne dass die Patientendaten extrahiert, gespeichert oder anderweitig darauf zugegriffen werden muss. In mindestens einer Ausführungsform wird die Vertraulichkeit der Patientendaten in Übereinstimmung mit dem HIPAA und/oder anderen Datenschutzbestimmungen gewahrt.
In mindestens einer Ausführungsform kann das Computersystem 4000 zur Implementierung eines Computersystems verwendet werden, das zur Berechnung von Bildern und zur Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert das System 4000 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
41 beinhaltet eine beispielhafte Veranschaulichung einer Einsatzpipeline 4010A zur Verarbeitung von Bildgebungsdaten gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 4000 - und insbesondere das Einsatzsystem 3906 - zur Anpassung, Aktualisierung und/oder Integration der Einsatzpipelines 4010A in eine oder mehrere Produktionsumgebungen verwendet werden. In mindestens einer Ausführungsform beinhaltet die Einsatzpipeline 4010A von 41 ein nicht einschränkendes Beispiel einer Einsatzpipeline 4010A, die von einem bestimmten Benutzer (oder einem Team von Benutzern) in einer Einrichtung (z. B. in einem Krankenhaus, einer Klinik, einem Labor, einer Forschungsumgebung usw.) individuell definiert werden kann. In mindestens einer Ausführungsform kann ein Benutzer zur Definition von Einsatzpipelines 4010A für einen CT-Scanner 4102 beispielsweise aus einem Containerregister eine oder mehrere Anwendungen auswählen, die bestimmte Funktionen oder Aufgaben in Bezug auf Bildgebungsdaten ausführen, die vom CT-Scanner 4102 erzeugt wurden. In mindestens einer Ausführungsform können die Anwendungen in der Einsatzpipeline 4010A als Container eingesetzt werden, die die Dienste 3920 und/oder die Hardware 3922 des Systems 4000 nutzen können. Darüber hinaus kann die Einsatzpipeline 4010A zusätzliche Verarbeitungsaufgaben oder Anwendungen beinhalten, die implementiert werden können, um Daten für die Verwendung durch Anwendungen vorzubereiten (z. B. können der DICOM-Adapter 4002B und der DICOM-Leser 4106 in der Einsatzpipeline 4010A verwendet werden, um Daten für die Verwendung durch die CT-Rekonstruktion 4108, die Organsegmentierung 4110 usw. vorzubereiten). In mindestens einer Ausführungsform kann die Einsatzpipeline 4010A für einen gleichmäßigen Einsatz, eine einmalige Verwendung oder für eine andere Häufigkeit oder ein anderes Intervall angepasst oder ausgewählt werden. In mindestens einer Ausführungsform kann ein Benutzer die CT-Rekonstruktion 4108 und die Organsegmentierung 4110 für mehrere Probanden in einem bestimmten Intervall wünschen und somit die Pipeline 4010A für diesen Zeitraum einsetzen. In mindestens einer Ausführungsform kann ein Benutzer für jede Anforderung des Systems 4000 die Anwendungen auswählen, die er für diese Anforderung mit den Daten ausführen möchte. In mindestens einer Ausführungsform kann die Einsatzpipeline 4010A in jedem beliebigen Intervall angepasst werden, und aufgrund der Anpassungsfähigkeit und Skalierbarkeit einer Containerstruktur innerhalb des Systems 4000 kann dies ein nahtloser Prozess sein.
In mindestens einer Ausführungsform kann die Einsatzpipeline 4010A von 41 einen CT-Scanner 4102 beinhalten, der Bildgebungsdaten eines Patienten oder einer Person erzeugt. In mindestens einer Ausführungsform können die Bildgebungsdaten des CT-Scanners 4102 auf einem oder mehreren PACS-Servern 4104 gespeichert werden, die zu einer Einrichtung gehören, in der sich der CT-Scanner 4102 befindet. In mindestens einer Ausführungsform kann (können) der (die) PACS-Server 4104 Software- und/oder Hardwarekomponenten beinhalten, die direkt mit den Bildgebungsmodalitäten (z. B. dem CT-Scanner 4102) in einer Einrichtung verbunden sind. In mindestens einer Ausführungsform kann der DICOM-Adapter 4002B das Senden und Empfangen von DICOM-Objekten unter Verwendung von DICOM-Protokollen ermöglichen. In mindestens einer Ausführungsform kann der DICOM-Adapter 4002B bei der Vorbereitung oder Konfiguration von DICOM-Daten von PACS-Servern 4104 zur Verwendung durch die Einsatzpipeline 4010A helfen. In mindestens einer Ausführungsform kann der Pipelinemanager 4012 nach der Verarbeitung der DICOM-Daten über den DICOM-Adapter 4002B die Daten an die Einsatzpipeline 4010A weiterleiten. In mindestens einer Ausführungsform kann das DICOM-Lesegerät 4106 Bilddateien und alle zugehörigen Metadaten aus DICOM-Daten (z. B. Sinogramm-Rohdaten, wie in der Visualisierung 4116A veranschaulicht) extrahieren. In mindestens einer Ausführungsform können die extrahierten Arbeitsdateien zur schnelleren Verarbeitung durch andere Anwendungen in der Einsatzpipeline 4010A in einem Cache gespeichert werden. In mindestens einer Ausführungsform kann nach Abschluss der Extraktion und/oder Speicherung der Daten durch das DICOM-Lesegerät 4106 eine Signalisierung der Fertigstellung an den Pipelinemanager 4012 kommuniziert werden. In mindestens einer Ausführungsform kann der Pipelinemanager 4012 dann eine oder mehrere andere Anwendungen oder Container in der Einsatzpipeline 4010A initiieren oder aufrufen.
In mindestens einer Ausführungsform kann die Anwendung CT-Rekonstruktion 4108 und/oder der Container ausgeführt werden, sobald Daten (z. B. Sinogramm-Rohdaten) für die Verarbeitung durch die Anwendung CT-Rekonstruktion 4108 verfügbar sind. In mindestens einer Ausführungsform kann die CT-Rekonstruktion 4108 Sinogramm-Rohdaten aus einem Cache lesen, eine Bilddatei aus Sinogramm-Rohdaten rekonstruieren (z. B. wie in der Visualisierung 4116B veranschaulicht) und die resultierende Bilddatei in einem Cache speichern. In mindestens einer Ausführungsform kann bei Abschluss der Rekonstruktion dem Pipelinemanager 4012 signalisiert werden, dass die Rekonstruktionsaufgabe abgeschlossen ist. In mindestens einer Ausführungsform kann, sobald die Rekonstruktion abgeschlossen ist und eine rekonstruierte Bilddatei in einem Cache (oder einer anderen Vorrichtung) gespeichert werden kann, die Organsegmentierungsanwendung 4110 und/oder der Container durch den Pipelinemanager 4012 ausgelöst werden. In mindestens einer Ausführungsform kann die Organsegmentierungsanwendung 4110 und/oder der Container eine Bilddatei aus einem Cache lesen, eine Bilddatei normalisieren oder in ein für die Inferenz geeignetes Format konvertieren (z. B. eine Bilddatei in eine Eingabeauflösung eines maschinellen Lernmodells konvertieren) und die Inferenz anhand eines normalisierten Bildes ausführen. In mindestens einer Ausführungsform kann die Organsegmentierungsanwendung 4110 und/oder der Container auf Dienste 3920 zurückgreifen, um die Inferenz an einem normalisierten Bild auszuführen, und der Pipelinemanager 4012 und/oder das Anwendungsorchestrierungssystem 4028 können die Nutzung der Dienste 3920 durch die Organsegmentierungsanwendung 4110 und/oder den Container erleichtern. Zum Beispiel kann in mindestens einer Ausführungsform die Organsegmentierungsanwendung 4110 und/oder der Container die KI-Dienste 4018 nutzen, um Inferenzierung an einem normalisierten Bild auszuführen, und die KI-Dienste 4018 können die Hardware 3922 (z. B. das KI-System 4024) nutzen, um die KI-Dienste 4018 auszuführen. In mindestens einer Ausführungsform kann ein Ergebnis einer Inferenz eine Maskendatei sein (z. B. wie in der Visualisierung 4116C veranschaulicht), die in einem Cache (oder einer anderen Vorrichtung) gespeichert werden kann.
In mindestens einer Ausführungsform kann, sobald Anwendungen, die DICOM-Daten und/oder aus DICOM-Daten extrahierte Daten verarbeiten, die Verarbeitung abgeschlossen haben, ein Signal für den Pipelinemanager 4012 erzeugt werden. In mindestens einer Ausführungsform kann der Pipelinemanager 4012 dann den DICOM-Schreiber 4112 ausführen, um die Ergebnisse aus einem Cache (oder einer anderen Vorrichtung) zu lesen und die Ergebnisse in ein DICOM-Format (z. B. als DICOM-Ausgabe 4114) zu verpacken, damit sie von den Benutzern in einer Einrichtung, die eine Anforderung gestellt haben, verwendet werden können. In mindestens einer Ausführungsform kann die DICOM-Ausgabe 4114 dann an den DICOM-Adapter 4002B übermittelt werden, um die DICOM-Ausgabe 4114 für die Speicherung auf den PACS-Servern 4104 vorzubereiten (z. B. zur Ansicht durch einen DICOM-Leser in einer Einrichtung). In mindestens einer Ausführungsform können als Reaktion auf eine Anforderung zur Rekonstruktion und Segmentierung Visualisierungen 4116B und 4116C erzeugt werden, die einem Benutzer für Diagnosen, Untersuchungen und/oder andere Zwecke zur Verfügung stehen.
Obwohl als aufeinanderfolgende Anwendung in der Einsatzpipeline 4010A veranschaulicht, können die Anwendungen CT-Rekonstruktion 4108 und Organsegmentierung 4110 in mindestens einer Ausführungsform parallel verarbeitet werden. In mindestens einer Ausführungsform, in der die Anwendungen nicht voneinander abhängig sind und die Daten für jede Anwendung verfügbar sind (z. B. nachdem das DICOM-Lesegerät 4106 die Daten extrahiert hat), können die Anwendungen gleichzeitig, im Wesentlichen gleichzeitig oder mit einer gewissen Überlappung ausgeführt werden. In mindestens einer Ausführungsform, in der zwei oder mehr Anwendungen ähnliche Dienste 3920 benötigen, kann ein Scheduler des Systems 4000 für den Lastausgleich und die Verteilung von Rechen- oder Verarbeitungsressourcen zwischen und unter den verschiedenen Anwendungen eingesetzt werden. In mindestens einer Ausführungsform kann in einigen Ausführungsformen die Parallelrechenplattform 4030 verwendet werden, um eine parallele Verarbeitung für Anwendungen auszuführen, um die Laufzeit der Einsatzpipeline 4010A zu verkürzen und Ergebnisse in Echtzeit bereitzustellen.
In mindestens einer Ausführungsform und in Bezug auf 42A-42B kann das Einsatzsystem 3906 als ein oder mehrere virtuelle Instrumente implementiert werden, um verschiedene Funktionalitäten - wie Bildverarbeitung, Segmentierung, Verbesserung, KI, Visualisierung und Inferenzierung - mit Bildgebungsvorrichtungen (z. B. CT-Scannern, Röntgengeräten, MRT-Geräten usw.), Sequenzierungsvorrichtungen, Genomikvorrichtungen und/oder anderen Gerätetypen auszuführen. In mindestens einer Ausführungsform kann das System 4000 die Erstellung und Bereitstellung virtueller Instrumente ermöglichen, die eine softwaredefinierte Einsatzpipeline 4010 beinhalten können, die von einer oder mehreren Vorrichtungen erzeugte rohe/unverarbeitete Eingabedaten empfangen und verarbeitete/rekonstruierte Daten ausgeben kann. In mindestens einer Ausführungsform können Einsatzpipelines 4010 (z. B. 4010A und 401 0B), die virtuelle Instrumente darstellen, Intelligenz in eine Pipeline implementieren, z. B. durch die Nutzung von maschinellen Lernmodellen, um einem System eine containerisierte Inferenzunterstützung bereitzustellen. In mindestens einer Ausführungsform können virtuelle Instrumente eine beliebige Anzahl von Containern ausführen, die jeweils Instanzen von Anwendungen beinhalten. In mindestens einer Ausführungsform, z. B. wenn Echtzeitverarbeitung erwünscht ist, können Einsatzpipelines 4010, die virtuelle Instrumente darstellen, statisch sein (z. B. können Container und/oder Anwendungen enthalten sein), während in anderen Beispielen Container und/oder Anwendungen für virtuelle Instrumente aus einem Pool von Anwendungen oder Ressourcen (z. B. innerhalb einer Containerregistrierung) ausgewählt werden können (z. B. auf einer Basis pro Anforderung).
In mindestens einer Ausführungsform kann das System 4000 als ein oder mehrere virtuelle Instrumente vor Ort in einer Einrichtung instanziiert oder ausgeführt werden, z. B. in einem Berechnungssystem, das neben einer radiologischen Maschine, einer Bildgebungsvorrichtung und/oder einem anderen Gerätetyp in einer Einrichtung eingesetzt wird oder anderweitig damit kommuniziert. In mindestens einer Ausführungsform kann eine Vor-Ort-Installation jedoch in einem Computersystem einer Vorrichtung selbst (z. B. einem in eine Bildgebungsvorrichtung integrierten Computersystem), in einem lokalen Rechenzentrum (z. B. einem Rechenzentrum vor Ort) und/oder in einer Cloud-Umgebung (z. B. in der Cloud 4026) instanziiert oder ausgeführt werden. In mindestens einer Ausführungsform kann das Einsatzsystem 3906, das als virtuelles Instrument arbeitet, in einigen Beispielen von einem Supercomputer oder einem anderen HPC-System instanziiert werden. In mindestens einer Ausführungsform kann die Installation vor Ort die Nutzung hoher Bandbreiten (z. B. über lokale Kommunikationsschnittstellen mit höherem Durchsatz, wie RF over Ethernet) für die Echtzeitverarbeitung ermöglichen. In mindestens einer Ausführungsform kann die Echtzeit- oder echtzeitnahe Verarbeitung besonders nützlich sein, wenn ein virtuelles Instrument eine Ultraschallvorrichtung oder eine andere Bildgebungsmodalität unterstützt, bei der sofortige Visualisierungen erwartet oder für genaue Diagnosen und Analysen benötigt werden. In mindestens einer Ausführungsform kann eine Cloud-Computing-Architektur in der Lage sein, dynamisches Bursting zu einem Cloud-Computing-Dienstanbieter oder einem anderen Rechencluster durchzuführen, wenn die lokale Nachfrage die Kapazität oder Fähigkeit vor Ort übersteigt. In mindestens einer Ausführungsform kann eine Cloud-Architektur, wenn sie implementiert ist, für das Training neuronaler Netze oder anderer maschineller Lernmodelle abgestimmt werden, wie hierin in Bezug auf das Trainingssystem 3904 beschrieben. In mindestens einer Ausführungsform können maschinelle Lernmodelle mit vorhandenen Trainingspipelines kontinuierlich lernen und sich verbessern, wenn sie zusätzliche Daten von Vorrichtungen verarbeiten, die sie unterstützen. In mindestens einer Ausführungsform können virtuelle Instrumente kontinuierlich verbessert werden, indem zusätzliche Daten, neue Daten, bestehende maschinelle Lernmodelle und/oder neue oder aktualisierte maschinelle Lernmodelle verwendet werden.
In mindestens einer Ausführungsform kann ein Computersystem einen Teil oder die gesamte hierin beschriebene Hardware 3922 beinhalten, und die Hardware 3922 kann auf verschiedene Arten verteilt sein, einschließlich innerhalb einer Vorrichtung, als Teil einer Rechenvorrichtung, die mit einer Vorrichtung gekoppelt ist und sich in deren Nähe befindet, in einem lokalen Rechenzentrum in einer Einrichtung und/oder in der Cloud 4026. In mindestens einer Ausführungsform können, da das Einsatzsystem 3906 und die zugehörigen Anwendungen oder Container in Software erstellt werden (z. B. als diskrete containerisierte Instanziierungen von Anwendungen), das Verhalten, die Operation und die Konfiguration virtueller Instrumente sowie die von virtuellen Instrumenten erzeugten Ausgaben nach Wunsch modifiziert oder angepasst werden, ohne dass die Rohausgabe einer Vorrichtung, die ein virtuelles Instrument unterstützt, geändert oder verändert werden muss.
In mindestens einer Ausführungsform kann das Einsatzsystem 3906 für die Implementierung eines Computersystems verwendet werden, das für den Prozess der Bildverarbeitung und die Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen eingesetzt wird. In mindestens einer Ausführungsform identifiziert das Einsatzsystem 3906 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
42A beinhaltet ein Beispiel eines Datenflussdiagramms eines virtuellen Instruments, das eine Ultraschallvorrichtung unterstützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Einsatzpipeline 4010B einen oder mehrere der Dienste 3920 des Systems 4000 nutzen. In mindestens einer Ausführungsform können die Einsatzpipeline 4010B und die Dienste 3920 die Hardware 3922 eines Systems entweder lokal oder in der Cloud 4026 nutzen. In mindestens einer Ausführungsform, obwohl nicht veranschaulicht, kann der Prozess 4200 durch den Pipelinemanager 4012, das Anwendungsorchestrierungssystem 4028 und/oder die Parallelrechenplattform 4030 unterstützt werden.
In mindestens einer Ausführungsform kann der Prozess 4200 den Empfang von Bildgebungsdaten von einer Ultraschallvorrichtung 4202 beinhalten. In mindestens einer Ausführungsform können Bildgebungsdaten in auf einem oder mehreren PACS-Servern in einem DICOM-Format (oder einem anderen Format wie RIS, CIS, REST-konform, RPC, Rohdaten usw.) gespeichert sein und von System 4000 zur Verarbeitung durch die Einsatzpipeline 4010 empfangen werden, die als virtuelles Instrument (z. B. ein virtueller Ultraschall) für Ultraschallgerät 4202 ausgewählt oder angepasst wurde. In mindestens einer Ausführungsform können Bildgebungsdaten direkt von einer Bildgebungsvorrichtung (z. B. der Ultraschallvorrichtung 4202) empfangen und von einem virtuellen Instrument verarbeitet werden. In mindestens einer Ausführungsform kann ein Wandler oder ein anderer Signalwandler, der kommunikativ zwischen einer Bildgebungsvorrichtung und einem virtuellen Instrument gekoppelt ist, von einer Bildgebungsvorrichtung erzeugte Signalgebungsdaten in Bilddaten umwandeln, die von einem virtuellen Instrument verarbeitet werden können. In mindestens einer Ausführungsform können Rohdaten und/oder Bildgebungsdaten dem DICOM-Lesegerät 4106 zugeführt werden, um Daten zur Verwendung durch Anwendungen oder Container der Einsatzpipeline 4010B zu extrahieren. In mindestens einer Ausführungsform kann das DICOM-Lesegerät 4106 die Datenerweiterungsbibliothek 4214 (z. B. DALI von NVIDIA) als Dienst 3920 (z. B. als einer der Rechendienste 4016) nutzen, um Daten für die Verwendung durch Anwendungen oder Container zu extrahieren, in der Größe anzupassen, zu skalieren und/oder anderweitig vorzubereiten.
In mindestens einer Ausführungsform kann nach der Aufbereitung der Daten eine Rekonstruktionsanwendung 4206 und/oder ein Container ausgeführt werden, um die Daten der Ultraschallvorrichtung 4202 in eine Bilddatei zu rekonstruieren. In mindestens einer Ausführungsform kann nach der Rekonstruktion 4206 oder gleichzeitig mit der Rekonstruktion 4206 eine Anwendung und/oder ein Container zur Erkennung 4208 für die Erkennung von Anomalien, Objekten, Merkmalen und/oder anderen Erkennungsaufgaben im Zusammenhang mit Daten ausgeführt werden. In mindestens einer Ausführungsform kann eine während der Rekonstruktion 4206 erzeugte Bilddatei während der Erkennung 4208 verwendet werden, um Anomalien, Objekte, Merkmale usw. zu identifizieren. In mindestens einer Ausführungsform kann die Anwendung zur Erkennung 4208 eine Inferenzengine 4216 (z. B. als einer der KI-Dienste 4018) nutzen, um Inferenzierung auf Daten auszuführen, um Erkennungen zu erzeugen. In mindestens einer Ausführungsform können ein oder mehrere maschinelle Lernmodelle (z. B. vom Trainingssystem 3904) von der Anwendung Erkennung 4208 ausgeführt oder aufgerufen werden.
In mindestens einer Ausführungsform können nach Abschluss der Rekonstruktion 4206 und/oder der Erkennung 4208 die von diesen Anwendungen und/oder Containern ausgegebenen Daten verwendet werden, um Visualisierungen 4210 zu erzeugen, wie z. B. die Visualisierung 4212 (z. B. eine Graustufenausgabe), die auf einer Workstation oder einem Anzeigeterminal angezeigt wird. In mindestens einer Ausführungsform kann die Visualisierung einem Techniker oder einem anderen Benutzer ermöglichen, die Ergebnisse der Einsatzpipeline 4010B in Bezug auf die Ultraschallvorrichtung 4202 zu visualisieren. In mindestens einer Ausführungsform kann die Visualisierung 4210 durch Nutzung einer Renderkomponente 4218 des Systems 4000 (z. B. eines der Visualisierungsdienste 4020) ausgeführt werden. In mindestens einer Ausführungsform kann die Renderkomponente 4218 einen 2D-, OpenGL- oder Raytracing-Dienst ausführen, um die Visualisierung 4212 zu erzeugen.
In mindestens einer Ausführungsform kann die Einsatzpipeline 4010B zur Implementierung eines Computersystems verwendet werden, das zur Verarbeitung von Bildern und zur Benennung von Objekten mit einem oder mehreren Begrenzungsrahmen verwendet wird. In mindestens einer Ausführungsform identifiziert die Einsatzpipeline 4010B einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
42B beinhaltet ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Einsatzpipeline 4010C einen oder mehrere der Dienste 3920 des Systems 4000 nutzen. In mindestens einer Ausführungsform können die Einsatzpipeline 4010C und die Dienste 3920 die Hardware 3922 eines Systems entweder lokal oder in der Cloud 4026 nutzen. In mindestens einer Ausführungsform, obwohl nicht veranschaulicht, kann der Prozess 4220 durch den Pipelinemanager 4012, das Anwendungsorchestrierungssystem 4028 und/oder die Parallelrechenplattform 4030 unterstützt werden.
In mindestens einer Ausführungsform kann der Prozess 4220 einen CT-Scanner 4222 beinhalten, der Rohdaten erzeugt, die vom DICOM-Lesegerät 4106 empfangen werden können (z. B. direkt, über einen PACS-Server 4104, nach der Verarbeitung usw.). In mindestens einer Ausführungsform kann ein virtueller CT (instanziiert durch die Einsatzpipeline 4010C) eine erste Echtzeit-Pipeline zur Überwachung eines Patienten (z. B. Patientenbewegungerkennungs-KI 4226) und/oder zur Anpassung oder Optimierung der Belichtung des CT-Scanners 4222 (z. B. unter Verwendung der Belichtungssteuerungs-KI 4224) beinhalten. In mindestens einer Ausführungsform können eine oder mehrere der Anwendungen (z. B. 4224 und 4226) einen Dienst 3920 nutzen, wie beispielsweise KI-Dienste 4018. In mindestens einer Ausführungsform können die Ausgaben der KI-Anwendung 4224 (oder des Containers) zur Belichtungssteuerung und/oder der KI-Anwendung 4226 (oder des Containers) zur Erkennung von Patientenbewegungen als Rückmeldung an den CT-Scanner 4222 und/oder einen Techniker verwendet werden, um die Belichtung (oder andere Einstellungen des CT-Scanners 4222) anzupassen und/oder einen Patienten zu informieren, sich weniger zu bewegen.
In mindestens einer Ausführungsform kann die Einsatzpipeline 4010C eine Nicht-Echtzeit-Pipeline zur Analyse der vom CT-Scanner 4222 erzeugten Daten beinhalten. In mindestens einer Ausführungsform kann eine zweite Pipeline die Anwendung und/oder den Container CT-Rekonstruktion 4108, eine Anwendung und/oder einen Container für die Groberkennungs-KI 4228, eine Anwendung und/oder einen Container für die Feinerkennungs-KI 4232 (z. B. wenn bestimmte Ergebnisse durch die Groberkennungs-KI 4228 erkannt werden), eine Anwendung und/oder einen Container für die Visualisierung 4230 und eine Anwendung und/oder einen Container für den DICOM-Schreiber 4112 (und/oder eine andere Datenschreibmaschine, wie z. B. RIS, CIS, REST-konform, RPC, raw usw.) beinhalten. In mindestens einer Ausführungsform können die vom CT-Scanner 4222 erzeugten Rohdaten durch die Einsatzpipelines der Einsatzpipeline 4010C (die als virtuelles CT-Instrument instanziiert ist) geleitet werden, um Ergebnisse zu erzeugen. In mindestens einer Ausführungsform können die Ergebnisse des DICOM-Schreibers 4112 zur Anzeige übermittelt und/oder auf den PACS-Servern 4104 zur späteren Abfrage, Analyse oder Anzeige durch einen Techniker, Arzt oder anderen Benutzer gespeichert werden.
In mindestens einer Ausführungsform verarbeitet der CT-Scanner 4222 die Bilder und benennt die Objekte mit einem oder mehreren Begrenzungsrahmen. In mindestens einer Ausführungsform identifiziert der CT-Scanner 4222 einen Satz von Kandidaten-Begrenzungsrahmen und filtert dann einen Satz unter Verwendung der oben beschriebenen Techniken. In mindestens einer Ausführungsform werden Begrenzungsrahmen mithilfe eines IOU-Schwellenwerts gefiltert, der auf der Größe eines erkannten Objekts basiert.
43A veranschaulicht ein Datenflussdiagramm für einen Prozess 4300, um ein maschinelles Lernmodell gemäß mindestens einer Ausführungsform zu trainieren, neuzutrainieren oder zu aktualisieren. In mindestens einer Ausführungsform kann der Prozess 4300 unter Verwendung des Systems 4000 aus 40 als nicht einschränkendes Beispiel ausgeführt werden. In mindestens einer Ausführungsform kann der Prozess 4300 die Dienste 3920 und/oder die Hardware 3922 des Systems 4000 nutzen, wie hierin beschrieben. In mindestens einer Ausführungsform können verfeinerte Modelle 4312, die durch den Prozess 4300 erzeugt wurden, vom Einsatzsystem 3906 für eine oder mehrere containerisierte Anwendungen in Einsatzpipelines 4010 ausgeführt werden.
In mindestens einer Ausführungsform kann das Modelltraining 3914 das Neutrainieren oder Aktualisieren eines Ausgangsmodells 4304 (z. B. eines vorab trainierten Modells) unter Verwendung neuer Trainingsdaten (z. B. neuer Eingabedaten, wie Kundendatensatz 4306, und/oder neuer Ground-Truth-Daten in Verbindung mit Eingabedaten) beinhalten. In mindestens einer Ausführungsform kann zum Neutrainieren oder Aktualisieren des Ausgangsmodells 4304 die Ausgabe- oder Verlustschichten des Ausgangsmodells 4304 zurückgesetzt oder gelöscht und/oder durch eine aktualisierte oder neue Ausgabe- oder Verlustschichten ersetzt werden. In mindestens einer Ausführungsform kann das anfängliche Modell 4304 bereits fein abgestimmte Parameter (z. B. Gewichtungen und/oder Bias) aufweisen, die aus einem früheren Training übrig geblieben sind, sodass das Training oder das erneute Training 3914 nicht so lange dauern oder so viel Verarbeitung erfordern kann wie das Training eines Modells von Grund auf. In mindestens einer Ausführungsform können während des Modelltrainings 3914 durch Zurücksetzen oder Ersetzen der Ausgabe- oder Verlustschichten des ursprünglichen Modells 4304 die Parameter aktualisiert und für einen neuen Satz basierend auf Verlustberechnungen, die mit der Genauigkeit der Ausgabe- oder Verlustschichten bei der Erstellung von Vorhersagen für einen neuen Kundendatensatz 4306 (z. B. Bildgebungsdaten 3908 von 39) verbunden sind, neu abgestimmt werden.
In mindestens einer Ausführungsform können vortrainierte Modelle 4006 in einem Datenspeicher oder einer Registrierung (z. B. Modellregistrierung 3924 von 39) gespeichert werden. In mindestens einer Ausführungsform können die vorab trainierten Modelle 4006 zumindest teilweise in einer oder mehreren anderen Einrichtungen als der Einrichtung, die den Prozess 4300 ausführt, trainiert worden sein. In mindestens einer Ausführungsform können zum Schutz der Privatsphäre und der Rechte von Patienten, Probanden oder Kunden verschiedener Einrichtungen vortrainierte Modelle 4006 vor Ort unter Verwendung von vor Ort erzeugten Kunden- oder Patientendaten trainiert worden sein. In mindestens einer Ausführungsform können vortrainierte Modelle 4006 unter Verwendung der Cloud 4026 und/oder anderer Hardware 3922 trainiert werden, aber vertrauliche, datenschutzrechtlich geschützte Patientendaten dürfen nicht an Komponenten der Cloud 4026 (oder anderer außerbetrieblicher Hardware) übertragen werden, von diesen verwendet werden oder für diese zugänglich sein. In mindestens einer Ausführungsform, in der ein vortrainiertes Modell 4006 unter Verwendung von Patientendaten aus mehr als einer Einrichtung trainiert wird, kann das vortrainierte Modell 4006 individuell für jede Einrichtung trainiert worden sein, bevor es auf Patienten- oder Kundendaten aus einer anderen Einrichtung trainiert wird. In mindestens einer Ausführungsform, z. B. wenn Kunden- oder Patientendaten aus Datenschutzgründen freigegeben wurden (z. B. durch eine Verzichtserklärung, für experimentelle Zwecke usw.) oder wenn Kunden- oder Patientendaten in einem öffentlichen Satz enthalten sind, können Kunden- oder Patientendaten aus einer beliebigen Anzahl von Einrichtungen verwendet werden, um das vorab trainierte Modell 4006 vor Ort und/oder außerhalb der Einrichtung zu trainieren, z. B. in einem Rechenzentrum oder einer anderen Cloud-Computing-Infrastruktur.
In mindestens einer Ausführungsform kann ein Benutzer bei der Auswahl von Anwendungen zur Verwendung in Einsatzpipelines 4010 auch maschinelle Lernmodelle auswählen, die für bestimmte Anwendungen verwendet werden sollen. In mindestens einer Ausführungsform verfügt ein Benutzer möglicherweise nicht über ein zu verwendendes Modell, so dass ein Benutzer ein vorab trainiertes Modell 4006 zur Verwendung mit einer Anwendung auswählen kann. In mindestens einer Ausführungsform kann das vortrainierte Modell 4006 nicht für das Erzeugen genauer Ergebnisse für den Kundendatensatz 4306 einer Einrichtung eines Benutzers optimiert sein (z. B. basierend auf der Patientendiversität, der Demografie, den Arten der verwendeten medizinischen Bildgebungsvorrichtungen usw.). In mindestens einer Ausführungsform kann vor dem Einsatz des vortrainierten Modells 4006 in der Einsatzpipeline 4010 zur Verwendung mit einer oder mehreren Anwendungen das vortrainierte Modell 4006 aktualisiert, neutrainiert und/oder für die Verwendung in einer entsprechenden Einrichtung feinabgestimmt werden.
In mindestens einer Ausführungsform kann ein Benutzer das vorab trainierte Modell 4006 auswählen, das aktualisiert, neutrainiert und/oder feinabgestimmt werden soll, und das vorab trainierte Modell 4006 kann als Ausgangsmodell 4304 für das Trainingssystem 3904 innerhalb des Prozesses 4300 bezeichnet werden. In mindestens einer Ausführungsform kann der Kundendatensatz 4306 (z. B. Bildgebungsdaten, Genomikdaten, Sequenzierungsdaten oder andere Datentypen, die von Vorrichtungen in einer Einrichtung erzeugt werden) verwendet werden, um das Modelltraining 3914 (das ohne Einschränkung Transferlernen beinhalten kann) am Ausgangsmodell 4304 auszuführen, um das verfeinerte Modell 4312 zu erzeugen. In mindestens einer Ausführungsform können Ground-Truth-Daten, die dem Kundendatensatz 4306 entsprechen, vom Trainingssystem 3904 erzeugt werden. In mindestens einer Ausführungsform können Ground-Truth-Daten zumindest teilweise von Klinikern, Wissenschaftlern, Ärzten, Praktikern in einer Einrichtung erzeugt werden (z. B. als gekennzeichnete Klinikdaten 3912 in 39).
In mindestens einer Ausführungsform kann in einigen Beispielen die Kl-gestützte Annotation 3910 verwendet werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform kann die KI-unterstützte Annotation 3910 (z. B. unter Verwendung eines KI-unterstützten Annotations-SDK) maschinelle Lernmodelle (z. B. neuronale Netze) nutzen, um vorgeschlagene oder vorhergesagte Ground-Truth-Daten für einen Kundendatensatz zu erzeugen. In mindestens einer Ausführungsform kann der Benutzer 4310 Annotationswerkzeuge innerhalb einer Benutzeroberfläche (einer grafischen Benutzeroberfläche (GUI)) auf der Rechenvorrichtung 4308 verwenden.
In mindestens einer Ausführungsform kann der Benutzer 4310 über die Rechenvorrichtung 4308 mit einer GUI interagieren, um Anmerkungen oder Autoannotationen zu bearbeiten oder fein abzustimmen. In mindestens einer Ausführungsform kann eine Polygonbearbeitungsfunktion verwendet werden, um Scheitelpunkte eines Polygons an genauere oder feiner abgestimmte Positionen zu verschieben.
In mindestens einer Ausführungsform können die Ground-Truth-Daten (z. B. aus KI-gestützten Annotationen, manueller Kennzeichnung usw.) während des Modelltrainings 3914 verwendet werden, um ein verfeinertes Modell 4312 zu erstellen, sobald dem Kundendatensatz 4306 Ground-Truth-Daten zugeordnet wurden. In mindestens einer Ausführungsform kann der Kundendatensatz 4306 beliebig oft auf das Ausgangsmodell 4304 angewendet werden, und die Ground-Truth-Daten können zur Aktualisierung der Parameter des Ausgangsmodells 4304 verwendet werden, bis ein akzeptables Genauigkeitsniveau für das verfeinerte Modell 4312 erreicht ist. In mindestens einer Ausführungsform kann das verfeinerte Modell 4312, sobald das verfeinerte Modell 4312 erzeugt wurde, in einer oder mehreren Einsatzpipelines 4010 in einer Einrichtung eingesetzt werden, um eine oder mehrere Verarbeitungsaufgaben in Bezug auf medizinische Bildgebungsdaten auszuführen.
In mindestens einer Ausführungsform kann das verfeinerte Modell 4312 zu den vortrainierten Modellen 4006 in der Modellregistrierung 3924 hochgeladen werden, um von einer anderen Einrichtung ausgewählt zu werden. In mindestens einer Ausführungsform kann dieser Prozess in einer beliebigen Anzahl von Einrichtungen abgeschlossen werden, sodass das verfeinerte Modell 4312 beliebig oft an neuen Datensätzen weiter verfeinert werden kann, um ein universelleres Modell zu erzeugen.
43B ist eine beispielhafte Veranschaulichung einer Client-Server-Architektur 4332 zum Verbessern von Anmerkungswerkzeugen mit vortrainierten Anmerkungsmodellen gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können KI-gestützte Annotationswerkzeuge 4336 basierend auf einer Client-Server-Architektur 4332 instanziiert werden. In mindestens einer Ausführungsform können Annotationswerkzeuge 4336 in Bildgebungsanwendungen Radiologen beispielsweise bei der Identifizierung von Organen und Anomalien helfen. In mindestens einer Ausführungsform können Bildgebungsanwendungen Softwarewerkzeuge beinhalten, die dem Benutzer 4310 dabei helfen, als nicht einschränkendes Beispiel einige Extrempunkte auf einem bestimmten Organ von Interesse in Rohbildern 4334 (z. B. in einem 3D-MRT- oder CT-Scan) zu identifizieren und automatisch kommentierte Ergebnisse für alle 2D-Slices eines bestimmten Organs zu erhalten. In mindestens einer Ausführungsform können die Ergebnisse in einem Datenspeicher als Trainingsdaten 4338 gespeichert und (zum Beispiel und ohne Einschränkung) als Ground-Truth-Daten für das Training verwendet werden. In mindestens einer Ausführungsform kann ein Deep-Learning-Modell, wenn die Rechenvorrichtung 4308 Extrempunkte für die KI-gestützte Annotation 3910 sendet, beispielsweise diese Daten als Eingabe empfangen und Inferenzergebnisse eines segmentierten Organs oder einer Abnormalität zurückgeben. In mindestens einer Ausführungsform können voreingestellte Anmerkungswerkzeuge, wie z. B. das KI-gestützte Anmerkungswerkzeug 4336B in 43B, durch API-Aufrufe (z. B. API-Aufruf 4344) an einen Server, wie z. B. einen Anmerkungsassistentenserver 4340, der einen Satz von vortrainierten Modellen 4342 beinhalten kann, die z. B. in einem Anmerkungsmodellregister gespeichert sind, verbessert werden. In mindestens einer Ausführungsform kann eine Annotationsmodellregistrierung vortrainierte Modelle 4342 (z. B. maschinelle Lernmodelle, wie Deep-Learning-Modelle) speichern, die vortrainiert sind, um eine Kl-gestützte Annotation zu einem bestimmten Organ oder einer Anomalie auszuführen. In mindestens einer Ausführungsform können diese Modelle mit Hilfe von Trainingspipelines 4004 weiter aktualisiert werden. In mindestens einer Ausführungsform können die vorinstallierten Annotationswerkzeuge im Laufe der Zeit verbessert werden, wenn neue beschriftete Klinikdaten 3912 hinzugefügt werden.
Die Inferenz- und/oder Trainingslogik 1015 wird zum Ausführen von Inferenzierungs- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen verwendet. Details bezüglich der Inferenz- und/oder Trainingslogik 1015 sind hierin in Verbindung mit den 10A und/oder 10B bereitgestellt.
Mindestens eine Ausführungsform der Offenbarung kann im Hinblick auf die folgenden Klauseln beschrieben werden:
1. Prozessor, umfassend: eine oder mehrere Schaltungen zur Verwendung eines oder mehrerer neuronaler Netze, um einen oder mehrere Begrenzungsrahmen aus einer Vielzahl von Begrenzungsrahmen auszuwählen, die einem oder mehreren Objekten innerhalb eines oder mehrerer Bilder entsprechen, basierend mindestens teilweise auf der Größe des einen oder der mehreren Objekte.
2. Prozessor nach Klausel 1, wobei: ein einzelner Begrenzungsrahmen nicht als Ergebnis eines Schnittpunkts über Vereinigung des einzelnen Begrenzungsrahmens mit einem oder mehreren Begrenzungsrahmen ausgewählt wird, der größer als ein Schwellenwert ist; und der Schwellenwert mindestens teilweise auf der Größe des einen oder der mehreren Objekte basiert.
3. Prozessor nach Klausel 1 oder 2, wobei die Größe des einen oder der mehreren Objekte basierend auf einem Begrenzungsrahmen bestimmt wird, der dem einen oder den mehreren Objekten zugeordnet ist.
4. Prozessor nach einer der Klauseln 1 bis 3, wobei die Größe des einen oder der mehreren Objekte mindestens teilweise basierend auf einem Abstand zwischen dem einen oder den mehreren Objekten und einer Kamera bestimmt wird, die verwendet wird, um das eine oder die mehreren Bilder zu erhalten.
5. Prozessor nach einer der Klauseln 1 bis 4, wobei jeder Begrenzungsrahmen in der Vielzahl von Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist; und ein Begrenzungsrahmen für ein einzelnes Objekt mindestens teilweise basierend auf einem dem Begrenzungsrahmen zugeordneten Konfidenzmaß ausgewählt wird.
6. Prozessor nach einer der Klauseln 1 bis 5, wobei der eine oder die mehreren Begrenzungsrahmen durch Durchführen einer nicht-maximalen Unterdrückung der Vielzahl von Begrenzungsrahmen in Bezug auf ein Konfidenzmaß, das jedem Begrenzungsrahmen der Vielzahl von Begrenzungsrahmen zugeordnet ist, ausgewählt wird.
7. Prozessor nach einer der Klauseln 1 bis 6, wobei das eine oder die mehreren Objekte ein erstes Fahrzeug beinhalten; und das eine oder die mehreren Bilder von einer Kamera an einem zweiten Fahrzeug erhalten werden.
8. Prozessor nach einer der Klauseln 1 bis 7, wobei das eine oder die mehreren Bilder eine Vielzahl von Objekten beinhalten und der eine oder die mehreren ausgewählten Begrenzungsrahmen einen Begrenzungsrahmen für jedes der Vielzahl von Objekten beinhaltet.
9. Prozessor nach einer der Klauseln 1 bis 8, wobei: das eine oder die mehreren neuronalen Netze das eine oder die mehreren Objekte erkennen; und das eine oder die mehreren neuronalen Netze die Vielzahl von Begrenzungsrahmen erzeugen.
10. Computerimplementiertes Verfahren zum Bestimmen eines Begrenzungsrahmens für ein Objekt, das die Auswahl eines oder mehrerer Begrenzungsrahmen aus einer Vielzahl von Begrenzungsrahmen umfasst, die einem oder mehreren Objekten innerhalb eines oder mehrerer Bilder entsprechen, basierend mindestens teilweise auf der Größe des einen oder der mehreren Objekte.
11. Computerimplementiertes Verfahren nach Klausel 10, wobei ein einzelner Begrenzungsrahmen nicht als Ergebnis eines Schnittpunkts über Vereinigung des einzelnen Begrenzungsrahmens mit einem oder mehreren Begrenzungsrahmen ausgewählt wird, der größer als ein Schwellenwert ist, und der Schwellenwert mindestens teilweise auf der Größe des einen oder der mehreren Objekte basiert.
12. Computerimplementiertes Verfahren nach Klausel 10 oder 11, wobei die Größe des einen oder der mehreren Objekte basierend auf einem Begrenzungsrahmen bestimmt wird, der dem einen oder den mehreren Objekten zugeordnet ist.
13. Computerimplementiertes Verfahren nach einer der Klauseln 10 bis 12, wobei die Größe des einen oder der mehreren Objekte mindestens teilweise basierend auf einem Abstand zwischen dem einen oder den mehreren Objekten und einer Kamera bestimmt wird, die zum Erhalten des einen oder der mehreren Bilder verwendet wird.
14. Computerimplementiertes Verfahren nach einer der Klauseln 10 bis 13, wobei jeder Begrenzungsrahmen in der Vielzahl von Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist und ein Begrenzungsrahmen für ein einzelnes Objekt mindestens teilweise basierend auf einem Konfidenzmaß ausgewählt wird, das dem Begrenzungsrahmen zugeordnet ist.
15. Computerimplementiertes Verfahren nach einer der Klauseln 10 bis 14, wobei der eine oder die mehreren Begrenzungsrahmen durch Filtern der Vielzahl von Begrenzungsrahmen in Bezug auf ein Konfidenzmaß ausgewählt wird, das jedem Begrenzungsrahmen der Vielzahl von Begrenzungsrahmen zugeordnet ist.
16. Computerimplementiertes Verfahren nach einer der Klauseln 10 bis 15, wobei das eine oder die mehreren Objekte eine Person beinhalten und das eine oder die mehreren Bilder von einer an einem Fahrzeug montierten Kamera erhalten werden.
17. Computerimplementiertes Verfahren nach einer der Klauseln 10 bis 16, wobei das eine oder die mehreren Bilder eine Vielzahl von Objekten beinhalten und der eine oder die mehreren ausgewählten Begrenzungsrahmen einen Begrenzungsrahmen für jedes der Vielzahl von Objekten beinhalten.
18. Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, die, wenn sie von einem oder mehreren Prozessoren durchgeführt werden, den einen oder die mehreren Prozessoren veranlassen, mindestens einen oder mehrere Begrenzungsrahmen aus einer Vielzahl von Begrenzungsrahmen auszuwählen, die einem oder mehreren Objekten innerhalb eines oder mehrerer Bilder entsprechen, basierend mindestens teilweise auf der Größe des einen oder der mehreren Objekte.
19. Maschinenlesbares Medium nach Klausel 18, wobei ein einzelner Begrenzungsrahmen nicht als Ergebnis eines Schnittpunkts über Vereinigung des einzelnen Begrenzungsrahmens mit einem oder mehreren Begrenzungsrahmen ausgewählt wird, der größer als ein Schwellenwert ist, und der Schwellenwert mindestens teilweise auf der Größe des einen oder der mehreren Objekte basiert.
20. Maschinenlesbares Medium nach Klausel 18 oder 19, wobei die Größe des einen oder der mehreren Objekte basierend auf einem Begrenzungsrahmen bestimmt wird, der dem einen oder den mehreren Objekten zugeordnet ist.
21. Maschinenlesbares Medium nach einer der Klauseln 18 bis 20, wobei die Größe des einen oder der mehreren Objekte mindestens teilweise basierend auf einem Abstand zwischen dem einen oder den mehreren Objekten und einer Kamera bestimmt wird, die verwendet wird, um das eine oder die mehreren Bilder zu erhalten.
22. Maschinenlesbares Medium nach einer der Klauseln 18 bis 21, wobei jeder Begrenzungsrahmen in der Vielzahl von Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist, und ein Begrenzungsrahmen für ein einzelnes Objekt mindestens teilweise basierend auf einem dem Begrenzungsrahmen zugeordneten Konfidenzmaß ausgewählt wird.
23. Maschinenlesbares Medium nach einer der Klauseln 18 bis 22, wobei der eine oder die mehreren Begrenzungsrahmen durch Durchführen einer nicht-maximalen Unterdrückung der Vielzahl von Begrenzungsrahmen in Bezug auf ein Konfidenzmaß, das jedem Begrenzungsrahmen der Vielzahl von Begrenzungsrahmen zugeordnet ist, ausgewählt wird.
24. Maschinenlesbares Medium nach einer der Klauseln 18 bis 23, wobei das eine oder die mehreren Objekte ein erstes Fahrzeug beinhalten, und das eine oder die mehreren Bilder von einer Bildgebungsvorrichtung in einem zweiten Fahrzeug erhalten werden.
25. Maschinenlesbares Medium nach einer der Klauseln 18 bis 24, wobei das eine oder die mehreren Bilder eine Vielzahl von Objekten beinhalten und der eine oder die mehreren ausgewählten Begrenzungsrahmen einen Begrenzungsrahmen für jedes der Vielzahl von Objekten beinhalten.
26. System umfassend einen oder mehrere Prozessoren und computerlesbare Medien, auf denen ausführbare Anweisungen gespeichert sind, die als Ergebnis der Ausführung durch den einen oder die mehreren Prozessoren das System veranlassen, mindestens einen oder mehrere Begrenzungsrahmen aus einer Vielzahl von Begrenzungsrahmen auszuwählen, die einem oder mehreren Objekten innerhalb eines oder mehrerer Bilder entsprechen, basierend mindestens teilweise auf der Größe des einen oder der mehreren Objekte.
27. System nach Klausel 26, wobei ein einzelner Begrenzungsrahmen nicht als Ergebnis eines Schnittpunkts über Vereinigung des einzelnen Begrenzungsrahmens mit einem oder mehreren Begrenzungsrahmen ausgewählt wird, der größer als ein Schwellenwert ist, und der Schwellenwert mindestens teilweise auf der Größe des einen oder der mehreren Objekte basiert.
28. System nach Klausel 26 oder 27, wobei die Größe des einen oder der mehreren Objekte basierend auf einem Begrenzungsrahmen bestimmt wird, der dem einen oder den mehreren Objekten zugeordnet ist.
29. System nach einer der Klauseln 26 bis 28, wobei die Größe des einen oder der mehreren Objekte mindestens teilweise basierend auf einem Abstand zwischen dem einen oder den mehreren Objekten und einer Kamera bestimmt wird, die verwendet wird, um das eine oder die mehreren Bilder zu erhalten.
30. System nach einer der Klauseln 26 bis 29, wobei jeder Begrenzungsrahmen in der Vielzahl von Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist, und ein Begrenzungsrahmen für ein einzelnes Objekt mindestens teilweise basierend auf einem dem Begrenzungsrahmen zugeordneten Konfidenzmaß ausgewählt wird.
31. System nach einer der Klauseln 26 bis 30, wobei der eine oder die mehreren Begrenzungsrahmen durch Durchführen einer nicht-maximalen Unterdrückung der Vielzahl von Begrenzungsrahmen in Bezug auf ein Konfidenzmaß, das jedem Begrenzungsrahmen der Vielzahl von Begrenzungsrahmen zugeordnet ist, ausgewählt wird.
32. System nach einer der Klauseln 26 bis 31, wobei das eine oder die mehreren Bilder von einer an einem autonomen Fahrzeug montierten Kamera erhalten werden.
33. System nach einer der Klauseln 26 bis 32, wobei das eine oder die mehreren Bilder eine Vielzahl von Objekten beinhalten und der eine oder die mehreren ausgewählten Begrenzungsrahmen einen Begrenzungsrahmen für jedes der Vielzahl von Objekten beinhaltet.
In mindestens einer Ausführungsform kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche integrierte Schaltung oder einen einzigen Chip auf Halbleiterbasis beziehen. In mindestens einer Ausführungsform können Multi-Chip-Module mit erhöhter Konnektivität verwendet werden, die einen On-Chip-Betrieb simulieren und wesentliche Verbesserungen gegenüber der Verwendung einer herkömmlichen Zentralverarbeitungseinheit („CPU“) und einer Bus-Implementierung darstellen. In mindestens einer Ausführungsform können verschiedene Module auch separat oder in verschiedenen Kombinationen von Halbleiterplattformen je nach Wunsch des Benutzers untergebracht werden.
In mindestens einer Ausführungsform, die sich auf 16 bezieht, werden Computerprogramme in Form von maschinenlesbarem, ausführbarem Code oder computergesteuerten logischen Algorithmen im Hauptspeicher 1604 und/oder in einem Sekundärspeicher gespeichert. Computerprogramme, die von einem oder mehreren Prozessoren ausgeführt werden, ermöglichen es dem System 1600, verschiedene Funktionen gemäß mindestens einer Ausführungsform auszuführen. In mindestens einer Ausführungsform sind Speicher 1604, Speicher und/oder jeder andere Speicher mögliche Beispiele für computerlesbare Medien. In mindestens einer Ausführungsform kann sich der Sekundärspeicher auf eine beliebige geeignete Speichervorrichtung oder ein beliebiges Speichersystem beziehen, wie ein Festplattenlaufwerk und/oder ein Wechselspeicherlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein DVD-Laufwerk, eine Aufnahmevorrichtung, einen USB-Flash-Speicher usw. darstellt. In mindestens einer Ausführungsform wird die Architektur und/oder Funktionalität verschiedener vorhergehender Figuren im Zusammenhang mit der CPU 1602, dem Parallelverarbeitungssystem 1612, einer integrierten Schaltung, die mindestens einen Abschnitt der Fähigkeiten sowohl der CPU 1602 als auch des Parallelverarbeitungssystems 1612 ausführen kann, einem Chipsatz (z. B. einer Gruppe integrierter Schaltungen, die so konzipiert sind, dass sie als Einheit arbeiten und verkauft werden, um verwandte Funktionen auszuführen, usw.) und/oder einer beliebigen geeigneten Kombination integrierter Schaltungen implementiert.
In mindestens einer Ausführungsform wird die Architektur und/oder Funktionalität verschiedener vorhergehender Figuren im Zusammenhang mit einem allgemeinen Computersystem, einem Leiterplattensystem, einem Spielkonsolensystem für Unterhaltungszwecke, einem anwendungsspezifischen System usw. umgesetzt. In mindestens einer Ausführungsform kann das Computersystem 1600 die Form eines Desktop-Computers, eines Laptops, eines Tablet-Computers, eines Servers, eines Supercomputers, eines Smartphones (z. B. eines drahtlosen Handgeräts), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, einer kopfmontierten Anzeige, einer tragbaren elektronischen Vorrichtung, einer Mobiltelefonvorrichtung, eines Fernsehgeräts, einer Workstation, von Spielkonsolen, eines eingebetteten Systems und/oder jeder anderen Art von Logik annehmen.
In mindestens einer Ausführungsform beinhaltet das Parallelverarbeitungssystem 1612 ohne Einschränkung eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 1614 und zugehörige Speicher 1616. In mindestens einer Ausführungsform sind die PPUs 1614 mit einem Hostprozessor oder anderen peripheren Vorrichtungen über eine Zusammenschaltung 1618 und einen Schalter 1620 oder Multiplexer verbunden. In mindestens einer Ausführungsform verteilt das Parallelverarbeitungssystem 1612 Rechenaufgaben auf PPUs 1614, die parallelisierbar sein können - zum Beispiel als Teil der Verteilung von Rechenaufgaben auf mehrere Thread-Blöcke der Grafikverarbeitungseinheit („GPU“). In mindestens einer Ausführungsform wird der Speicher gemeinsam genutzt und ist für einige oder alle PPUs 1614 zugänglich (z. B. für Lese- und/oder Schreibzugriffe), obwohl ein solcher gemeinsam genutzter Speicher zu Leistungseinbußen im Vergleich zur Nutzung von lokalem Speicher und Registern führen kann, die in einer PPU 1614 resident sind. In mindestens einer Ausführungsform wird die Operation der PPUs 1614 durch Verwendung eines Befehls wie _syncthreads() synchronisiert, wobei alle Threads in einem Block (z. B. über mehrere PPUs 1614 ausgeführt) einen bestimmten Punkt der Codeausführung erreichen müssen, bevor sie fortfahren.
n mindestens einer Ausführungsform ist eine arithmetische Logikeinheit ein Satz kombinatorischer logischer Schaltkreise, der eine oder mehrere Eingaben verarbeitet, um ein Ergebnis zu erzeugen. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit von einem Prozessor verwendet, um mathematische Operationen wie Addition, Subtraktion oder Multiplikation zu implementieren. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit verwendet, um logische Operationen wie logisches UND/ODER oder XOR zu implementieren. In mindestens einer Ausführungsform ist eine arithmetische Logikeinheit zustandslos und besteht aus physikalischen Schaltkomponenten wie etwa Halbleitertransistoren, die so angeordnet sind, dass sie logische Gatter bilden. In mindestens einer Ausführungsform kann eine arithmetische Logikeinheit intern als zustandsbehaftete Logikschaltung mit einem zugehörigen Takt arbeiten. In mindestens einer Ausführungsform kann eine arithmetische Logikeinheit als asynchrone logische Schaltung aufgebaut sein, deren interner Zustand nicht in einem zugeordneten Satz von Registern gehalten wird. In mindestens einer Ausführungsform wird eine arithmetische Logikeinheit von einem Prozessor verwendet, um Operanden zu kombinieren, die in einem oder mehreren Registern eines Prozessors gespeichert sind, und eine Ausgabe zu erzeugen, die von einem Prozessor in einem anderen Register oder einem Speicherort gespeichert werden kann.
In mindestens einer Ausführungsform gibt ein Prozessor als Ergebnis der Verarbeitung einer von einem Prozessor abgerufenen Anweisung eine oder mehrere Eingaben oder Operanden an eine arithmetische Logikeinheit, wodurch eine arithmetische Logikeinheit veranlasst wird, ein Ergebnis zu erzeugen, das zumindest teilweise auf einem Anweisungscode basiert, der den Eingaben einer arithmetischen Logikeinheit bereitgestellt wird. In mindestens einer Ausführungsform basieren von einem Prozessor an eine ALU bereitgestellten Anweisungscodes zumindest teilweise auf einer von einem Prozessor ausgeführten Anweisung. In mindestens einer Ausführungsform verarbeitet die kombinatorische Logik in einer ALU die Eingaben und erzeugt eine Ausgabe, die auf einen Bus innerhalb eines Prozessors gelegt wird. In mindestens einer Ausführungsform wählt ein Prozessor ein Zielregister, eine Speichervorrichtung, eine Ausgabevorrichtung oder einen Ausgabespeicherort auf einem Ausgangsbus aus, so dass die Taktung eines Prozessors bewirkt, dass die von einer ALU erzeugten Ergebnisse an einen gewünschten Ort gesendet werden.
Im Rahmen dieser Anwendung wird der Begriff arithmetische Logikeinheit oder ALU verwendet, um sich auf jede logische Schaltung zu beziehen, die Operanden verarbeitet, um ein Ergebnis zu erzeugen. Im vorliegenden Dokument kann sich ALU beispielsweise auf eine Gleitkommaeinheit, einen DSP, einen Tensorkern, einen Shader Core, einen Coprozessor oder eine CPU beziehen.
Andere Ausführungen liegen im Geiste der gegenwärtigen Offenbarung. Somit können zwar bezüglich der offenbarten Verfahren diverse Modifikationen und alternative Konstruktionen vorgenommen werden, bestimmte veranschaulichte Ausführungsformen davon werden jedoch in den Zeichnungen gezeigt und wurden vorangehend ausführlich beschrieben. Allerdings versteht es sich, dass nicht die Absicht verfolgt wird, die Offenbarung auf die spezifische offenbarte Form oder Formen einzuschränken, sondern die Absicht ganz im Gegenteil darin besteht, sämtliche Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Geist und Umfang der wie in den beigefügten Ansprüchen definierten Offenbarung fallen.
Die Verwendung der Begriffe „ein“ und „eine“ und „der/die/das“ und ähnlicher Referenten im Kontext des Beschreibens offenbarter Ausführungsformen (insbesondere im Kontext der folgenden Ansprüche) ist so auszulegen, dass sie sowohl den Singular als auch den Plural abdeckt, sofern hierin nichts anderes angegeben ist oder der Kontext dem eindeutig widerspricht, und nicht als Definition eines Begriffs. Die Ausdrücke „umfassend“, „aufweisend“, „beinhaltend“ und „enthaltend“ sind als offene Ausdrücke auszulegen (die „einschließlich, aber nicht beschränkt auf“ bedeuten), sofern nicht anderweitig angemerkt. Wenn es unmodifiziert vorliegt und sich auf physische Verbindungen bezieht, ist „verbunden“ als teilweise oder vollständig ineinander enthalten, aneinander angebracht oder aneinander angefügt auszulegen, auch wenn ein Element dazwischenliegt. Die Nennung von Wertebereichen hierin soll lediglich als schnelle Methode des einzelnen Bezugnehmens auf jeden separaten Wert dienen, der in den Bereich fällt, es sei denn, hierin ist etwas anderes angegeben, und jeder separate Wert ist in die Beschreibung eingeschlossen, als ob er einzeln hierin wiedergegeben wäre. In mindestens einer Ausführungsform ist die Verwendung des Ausdrucks „Satz“ bzw. „Menge“ (z. B. „ein Satz bzw. eine Menge von Gegenständen“) oder „Teilmenge“ als eine nicht leere Sammlung auszulegen, die ein oder mehrere Elemente umfasst, es sei denn, es ist etwas anderes angemerkt oder der Kontext widerspricht dem. Ferner bedeutete der Begriff „Teilmenge“ eines entsprechenden Satzes, sofern nichts anderes angegeben ist oder der Kontext dem widerspricht, nicht notwendigerweise eine richtige Teilmenge des entsprechenden Satzes, sondern die Teilmenge und der entsprechende Satz können gleich sein.
Sofern nicht spezifisch etwas anderes genannt ist oder der Kontext dem eindeutig widerspricht, ist verbindende Sprache, wie etwa Formulierungen der Form „wenigstens eines von A, B und C“ oder „mindestens eines von A, B und C“, andernfalls in dem Kontext zu verstehen, in dem sie allgemein verwendet werden, um darzustellen, dass ein Gegenstand, ein Ausdruck usw. entweder A oder B oder C oder eine beliebige nicht leere Teilmenge des Satzes aus A und B und C sein kann. Zum Beispiel beziehen sich in dem veranschaulichten Beispiel eines Satzes, der drei Elemente aufweist, beziehen sich die verbindenden Formulierungen „wenigstens eines von A, B und C“ und „mindestens eines von A, B und C“ auf einen beliebigen der folgenden Sätze: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Somit soll derartige verbindende Sprache im Allgemeinen nicht implizieren, dass bestimmte Ausführungen es erforderlich machen, dass mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden ist. Darüber hinaus gibt, sofern nichts anderes angemerkt ist oder der Kontext dem widerspricht, der Ausdruck „Vielzahl“ einen Zustand der Pluralität an (z. B. gibt „eine Vielzahl von Gegenständen“ mehrere Gegenstände an). In mindestens einer Ausführungsform beträgt die Anzahl der Gegenstände in einer Vielzahl mindestens zwei, es können aber auch mehr sein, wenn dies entweder explizit oder durch den Kontext angegeben ist. Ferner bedeutet die Formulierung „basierend auf“, sofern nicht anders angegeben oder aus dem Kontext ersichtlich, „mindestens teilweise basierend auf“ und nicht „ausschließlich basierend auf“.
Hierin beschriebene Vorgänge von Prozessen können in einer beliebigen geeigneten Reihenfolge durchgeführt werden, sofern es hierin nicht anders angegeben ist oder der Kontext dem anderweitig eindeutig widerspricht. In mindestens einer Ausführungsform wird ein Prozess wie die hierin beschriebenen Prozesse (oder Variationen und/oder Kombinationen davon) unter der Kontrolle eines oder mehrerer Computersysteme ausgeführt, die mit ausführbaren Anweisungen konfiguriert sind und als Code (z. B. ausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen) implementiert sind, die gemeinsam auf einem oder mehreren Prozessoren, durch Hardware oder Kombinationen davon ausgeführt werden. In mindestens einer Ausführungsform ist der Code auf einem computerlesbaren Speichermedium gespeichert, zum Beispiel in Form eines Computerprogramms, das eine Vielzahl von Anweisungen umfasst, die von einem oder mehreren Prozessoren ausgeführt werden können. In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nicht-transitorisches computerlesbares Speichermedium, das transitorische Signale (z. B. eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung) ausschließt, aber nicht-transitorische Datenspeicherschaltungen (z. B. Puffer, Cache und Warteschlangen) innerhalb von Sendeempfängern von transitorischen Signalen einschließt. In mindestens einer Ausführungsform ist der Code (z. B. ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nicht-transitorischen computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen gespeichert sind (oder einem anderen Speicher zum Speichern ausführbarer Anweisungen), die bei Ausführung (d. h. als Ergebnis der Ausführung) durch einen oder mehrere Prozessoren eines Computersystems das Computersystem dazu veranlassen, hierin beschriebene Operationen durchzuführen. In mindestens einer Ausführungsform umfasst der Satz nicht-transitorischer, computerlesbarer Speichermedien mehrere nicht-transitorische, computerlesbare Speichermedien, und auf einem oder mehreren der einzelnen nicht-transitorischen Speichermedien der mehreren nicht-transitorischen, computerlesbaren Speichermedien fehlt der gesamte Code, während auf mehreren nicht-transitorischen, computerlesbaren Speichermedien gemeinsam der gesamte Code gespeichert ist. In mindestens einer Ausführungsform werden ausführbare Befehle so ausgeführt, dass verschiedene Befehle von verschiedenen Prozessoren ausgeführt werden übertragbares computerlesbares Speichermedium Befehle und eine zentrale Verarbeitungseinheit („CPU“) führt einige der Befehle aus, während eine Grafikverarbeitungseinheit („GPU“) andere Befehle ausführt. In mindestens einer Ausführungsform weisen verschiedene Komponenten eines Computersystems separate Prozessoren auf, und verschiedene Prozessoren führen verschiedene Teilmengen von Anweisungen aus.
Dementsprechend sind in mindestens einer Ausführungsform Computersysteme so konfiguriert, dass sie einen oder mehrere Dienste implementieren, die einzeln oder gemeinsam Operationen der hierin beschriebenen Prozesse ausführen, und solche Computersysteme sind mit geeigneter Hardware und/oder Software konfiguriert, die die Durchführung von Operationen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der vorliegenden Offenbarung implementiert, eine einzelne Vorrichtung und in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Vorrichtungen umfasst, die unterschiedlich arbeiten, so dass das verteilte Computersystem hierin beschriebene Operationen ausführt und so, dass eine einzelne Vorrichtung nicht alle Operationen ausführt.
Die Verwendung beliebiger oder aller hierin bereitgestellter Beispiele oder eine beispielhafte Wortwahl (z. B. „wie etwa“), die in dieser Schrift bereitgestellt sind, soll lediglich die Ausführungsformen der Offenbarung besser veranschaulichen und stellt keine Einschränkung des Schutzumfangs der Offenbarung dar, es sei denn, es ist etwas anderes beansprucht. Keine Formulierung in der Beschreibung sollte so ausgelegt werden, dass ein nicht beanspruchtes Element als wesentlich für die Durchführung der Offenbarung angesehen wird.
Jegliche Referenzen, einschließlich Veröffentlichungen, Patentanmeldungen und Patenten, die hierin erwähnt werden, sind hiermit durch Bezugnahme in demselben Maße aufgenommen, als wäre jede Referenz einzeln und spezifisch als durch Referenz eingeschlossen angegeben und in ihrer Gesamtheit hierin ausgeführt.
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ zusammen mit ihren Ableitungen verwendet werden. Es versteht sich, dass diese Ausdrücke nicht als Synonyme füreinander zu verstehen sind. Vielmehr kann in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzuzeigen, dass zwei oder mehr Elemente in direktem oder indirektem physischen oder elektrischen Kontakt zueinander stehen. Mit „gekoppelt“ kann auch gemeint sein, dass zwei oder mehr Elemente nicht in direktem Kontakt miteinander stehen, jedoch trotzdem miteinander zusammenwirken oder interagieren.
Sofern nicht ausdrücklich anders angegeben, versteht es sich, dass sich Begriffe wie „Verarbeitung“, „Berechnung“, „Berechnen“, „Bestimmen“ oder dergleichen in der gesamten Beschreibung auf Handlungen und/oder Prozesse eines Computers oder Computersystems oder einer ähnlichen elektronischen Rechenvorrichtung, die Daten, die als physische, z. B. elektronische, Größen in den Registern und/oder Speichern des Computersystems dargestellt sind, manipulieren und/oder in andere Daten umwandeln, die auf ähnliche Weise als physische Größen in den Speichern, Registern oder anderen derartigen Informationsspeicher-, -übertragungs- oder -anzeigevorrichtungen des Computersystems dargestellt sind.
Auf ähnliche Weise kann sich der Ausdruck „Prozessor“ auf eine beliebige Vorrichtung oder einen beliebigen Abschnitt einer Vorrichtung beziehen, die/der elektronische Daten aus Registern und/oder Speichern verarbeitet und diese elektronischen Daten in andere elektronische Daten umwandelt, die in Registern und/oder Speichern gespeichert werden können. Als nicht einschränkende Beispiele kann der „Prozessor“ eine CPU oder eine GPU sein. Eine „Rechenplattform“ kann einen oder mehrere Prozessoren umfassen. Wie hierin verwendet, können „Software“-Prozesse zum Beispiel Software- und/oder Hardware-Entitäten beinhalten, die im Verlauf der Zeit Arbeit verrichten, wie etwa Tasks, Threads und intelligente Agenten. Jeder Prozess kann sich auch auf mehrere Prozesse beziehen, um Anweisungen in Sequenz oder parallel, kontinuierlich oder intermittierend auszuführen. In mindestens einer Ausführungsform werden die Begriffe „System“ und „Verfahren“ hierin austauschbar verwendet, insofern als System ein oder mehrere Verfahren umfassen kann und Verfahren als ein System betrachtet werden können.
Im vorliegenden Dokument kann auf das Gewinnen, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Teilsystem, Computersystem oder eine computerimplementierte Maschine Bezug genommen werden. In mindestens einer Ausführungsform kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen und digitalen Daten auf verschiedene Weise erfolgen, wie etwa durch das Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs einer Anwendungsprogrammierschnittstelle. In mindestens einer Ausführungsform können Prozesse zum Erhalten, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten durch die Übertragung von Daten über eine serielle oder parallele Schnittstelle durchgeführt werden. In mindestens einer Ausführungsform können Prozesse zum Erhalten, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten durch die Übertragung von Daten über ein Computernetz von der bereitstellenden Stelle zur erfassenden Stelle erfolgen. In mindestens einer Ausführungsform kann auch auf das Bereitstellen, Ausgeben, Übermitteln, Senden oder Präsentieren analoger oder digitaler Daten Bezug genommen werden. In verschiedenen Beispielen können Prozesse zum Bereitstellen, Ausgeben, Übertragen, Senden oder Darstellen analoger oder digitaler Daten durch die Übertragung von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, als Parameter einer Anwendungsprogrammierschnittstelle oder eines Interprozess-Kommunikationsmechanismus durchgeführt werden.
Obwohl die Beschreibungen hierin beispielhafte Implementierungen der beschriebenen Techniken darlegen, können auch andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sie sollen in den Anwendungsbereich dieser Offenbarung fallen. Darüber hinaus können, obwohl oben zu Beschreibungszwecken spezifische Verteilungen von Zuständigkeiten definiert werden, verschiedene Funktionen und Zuständigkeiten je nach den Umständen auf unterschiedliche Weise verteilt und aufgeteilt werden.
Darüber hinaus ist, obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, zu verstehen, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden spezifische Merkmale und Handlungen als beispielhafte Formen zum Implementieren von Ansprüchen offenbart.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3016201806 [0054]
JP 3016201609 [0054]

Claims

Prozessor, umfassend: eine oder mehrere Schaltungen zur Verwendung eines oder mehrerer neuronaler Netze, um einen oder mehrere Begrenzungsrahmen aus einer Vielzahl von Begrenzungsrahmen auszuwählen, die einem oder mehreren Objekten innerhalb eines oder mehrerer Bilder entsprechen, basierend mindestens teilweise auf der Größe des einen oder der mehreren Objekte.
Prozessor nach Anspruch 1, wobei: ein einzelner Begrenzungsrahmen nicht als Ergebnis eines Schnittpunkts über Vereinigung des einzelnen Begrenzungsrahmens mit einem oder mehreren Begrenzungsrahmen ausgewählt wird, der größer als ein Schwellenwert ist; und der Schwellenwert mindestens teilweise auf der Größe des einen oder der mehreren Objekte basiert.
Prozessor nach Anspruch 1, wobei die Größe des einen oder der mehreren Objekte basierend auf einem Begrenzungsrahmen bestimmt wird, der dem einen oder den mehreren Objekten zugeordnet ist.
Prozessor nach Anspruch 1, wobei die Größe des einen oder der mehreren Objekte mindestens teilweise basierend auf einem Abstand zwischen dem einen oder den mehreren Objekten und einer Kamera bestimmt wird, die verwendet wird, um das eine oder die mehreren Bilder zu erhalten.
Prozessor nach Anspruch 1, wobei: jeder Begrenzungsrahmen in der Vielzahl von Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist; und ein Begrenzungsrahmen für ein einzelnes Objekt mindestens teilweise basierend auf einem dem Begrenzungsrahmen zugeordneten Konfidenzmaß ausgewählt wird.
Prozessor nach Anspruch 1, wobei der eine oder die mehreren Begrenzungsrahmen durch Durchführen einer nicht-maximalen Unterdrückung der Vielzahl von Begrenzungsrahmen in Bezug auf ein Konfidenzmaß, das jedem Begrenzungsrahmen der Vielzahl von Begrenzungsrahmen zugeordnet ist, ausgewählt wird.
Prozessor nach Anspruch 1, wobei: das eine oder die mehreren Objekte ein erstes Fahrzeug beinhalten; und das eine oder die mehreren Bilder von einer Kamera an einem zweiten Fahrzeug erhalten werden.
Prozessor nach Anspruch 1, wobei das eine oder die mehreren Bilder eine Vielzahl von Objekten beinhalten und der eine oder die mehreren ausgewählten Begrenzungsrahmen einen Begrenzungsrahmen für jedes der Vielzahl von Objekten beinhalten.
Prozessor nach Anspruch 1, wobei: das eine oder die mehreren neuronalen Netze das eine oder die mehreren Objekte erkennen; und das eine oder die mehreren neuronalen Netze die Vielzahl von Begrenzungsrahmen erzeugen.
Computerimplementiertes Verfahren zum Bestimmen eines Begrenzungsrahmens für ein Objekt, das die Auswahl eines oder mehrerer Begrenzungsrahmen aus einer Vielzahl von Begrenzungsrahmen umfasst, die einem oder mehreren Objekten innerhalb eines oder mehrerer Bilder entsprechen, basierend mindestens teilweise auf der Größe des einen oder der mehreren Objekte.
Computerimplementiertes Verfahren nach Anspruch 10, wobei: ein einzelner Begrenzungsrahmen nicht als Ergebnis eines Schnittpunkts über Vereinigung des einzelnen Begrenzungsrahmens mit einem oder mehreren Begrenzungsrahmen ausgewählt wird, der größer als ein Schwellenwert ist; und der Schwellenwert mindestens teilweise auf der Größe des einen oder der mehreren Objekte basiert.
Computerimplementiertes Verfahren nach Anspruch 10, bei dem die Größe des einen oder der mehreren Objekte basierend auf einem Begrenzungsrahmen bestimmt wird, der dem einen oder den mehreren Objekten zugeordnet ist.
Computerimplementiertes Verfahren nach Anspruch 10, bei dem die Größe des einen oder der mehreren Objekte mindestens teilweise basierend auf einem Abstand zwischen dem einen oder den mehreren Objekten und einer Kamera bestimmt wird, die verwendet wird, um das eine oder die mehreren Bilder zu erhalten.
Computerimplementiertes Verfahren nach Anspruch 10, wobei: jeder Begrenzungsrahmen in der Vielzahl von Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist; und ein Begrenzungsrahmen für ein einzelnes Objekt mindestens teilweise basierend auf einem dem Begrenzungsrahmen zugeordneten Konfidenzmaß ausgewählt wird.
Computerimplementiertes Verfahren nach Anspruch 10, bei dem der eine oder die mehreren Begrenzungsrahmen durch Filtern der Vielzahl von Begrenzungsrahmen in Bezug auf ein Konfidenzmaß, das jedem Begrenzungsrahmen der Vielzahl von Begrenzungsrahmen zugeordnet ist, ausgewählt wird.
Computerimplementiertes Verfahren nach Anspruch 10, wobei: das eine oder die mehreren Objekte eine Person beinhalten; und das eine oder die mehreren Bilder von einer am Fahrzeug montierten Kamera aufgenommen werden.
Computerimplementiertes Verfahren nach Anspruch 10, wobei das eine oder die mehreren Bilder eine Vielzahl von Objekten beinhalten und der eine oder die mehreren ausgewählten Begrenzungsrahmen einen Begrenzungsrahmen für jedes der Vielzahl von Objekten beinhalten.
Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, die, wenn sie von einem oder mehreren Prozessoren durchgeführt werden, den einen oder die mehreren Prozessoren veranlassen, mindestens einen oder mehrere Begrenzungsrahmen aus einer Vielzahl von Begrenzungsrahmen auszuwählen, die einem oder mehreren Objekten innerhalb eines oder mehrerer Bilder entsprechen, basierend mindestens teilweise auf der Größe des einen oder der mehreren Objekte.
Maschinenlesbares Medium nach Anspruch 18, wobei: ein einzelner Begrenzungsrahmen nicht als Ergebnis eines Schnittpunkts über Vereinigung des einzelnen Begrenzungsrahmens mit einem oder mehreren Begrenzungsrahmen ausgewählt wird, der größer als ein Schwellenwert ist; und der Schwellenwert mindestens teilweise auf der Größe des einen oder der mehreren Objekte basiert.
Maschinenlesbares Medium nach Anspruch 18, wobei die Größe des einen oder der mehreren Objekte basierend auf einem Begrenzungsrahmen bestimmt wird, der dem einen oder den mehreren Objekten zugeordnet ist.
Maschinenlesbares Medium nach Anspruch 18, wobei die Größe des einen oder der mehreren Objekte mindestens teilweise basierend auf einem Abstand zwischen dem einen oder den mehreren Objekten und einer Kamera bestimmt wird, die verwendet wird, um das eine oder die mehreren Bilder zu erhalten.
Maschinenlesbares Medium nach Anspruch 18, wobei: jeder Begrenzungsrahmen in der Vielzahl von Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist; und ein Begrenzungsrahmen für ein einzelnes Objekt mindestens teilweise basierend auf einem dem Begrenzungsrahmen zugeordneten Konfidenzmaß ausgewählt wird.
Maschinenlesbares Medium nach Anspruch 18, wobei die eine oder die mehreren Begrenzungsboxen durch Durchführen einer nicht-maximalen Unterdrückung der Vielzahl von Begrenzungsboxen in Bezug auf ein Konfidenzmaß, das jeder Begrenzungsbox der Vielzahl von Begrenzungsboxen zugeordnet ist, ausgewählt werden.
Maschinenlesbares Medium nach Anspruch 18, wobei: das eine oder die mehreren Objekte ein erstes Fahrzeug beinhalten; und das eine oder die mehreren Bilder von einer Bildgebungsvorrichtung in einem zweiten Fahrzeug erhalten werden.
Maschinenlesbares Medium nach Anspruch 18, wobei das eine oder die mehreren Bilder eine Vielzahl von Objekten beinhalten und der eine oder die mehreren ausgewählten Begrenzungsrahmen einen Begrenzungsrahmen für jedes der Vielzahl von Objekten beinhalten.
System, umfassend: einen oder mehrere Prozessoren; und computerlesbare Medien, auf denen ausführbare Anweisungen gespeichert sind, die als Ergebnis der Ausführung durch den einen oder die mehreren Prozessoren das System veranlassen, mindestens einen oder mehrere Begrenzungsrahmen aus einer Vielzahl von Begrenzungsrahmen auszuwählen, die einem oder mehreren Objekten innerhalb eines oder mehrerer Bilder entsprechen, basierend mindestens teilweise auf der Größe des einen oder der mehreren Objekte.
System nach Anspruch 26, wobei: ein einzelner Begrenzungsrahmen nicht als Ergebnis eines Schnittpunkts über Vereinigung des einzelnen Begrenzungsrahmens mit einem oder mehreren Begrenzungsrahmen ausgewählt wird, der größer als ein Schwellenwert ist; und der Schwellenwert mindestens teilweise auf der Größe des einen oder der mehreren Objekte basiert.
System nach Anspruch 26, wobei die Größe des einen oder der mehreren Objekte basierend auf einem Begrenzungsrahmen bestimmt wird, der dem einen oder den mehreren Objekten zugeordnet ist.
System nach Anspruch 26, wobei die Größe des einen oder der mehreren Objekte mindestens teilweise basierend auf einem Abstand zwischen dem einen oder den mehreren Objekten und einer Kamera bestimmt wird, die verwendet wird, um das eine oder die mehreren Bilder zu erhalten.
System nach Anspruch 26, wobei: jeder Begrenzungsrahmen in der Vielzahl von Begrenzungsrahmen ein zugeordnetes Konfidenzmaß aufweist; und ein Begrenzungsrahmen für ein einzelnes Objekt mindestens teilweise basierend auf einem dem Begrenzungsrahmen zugeordneten Konfidenzmaß ausgewählt wird.
System nach Anspruch 26, wobei der eine oder die mehreren Begrenzungsrahmen durch Durchführen einer nicht-maximalen Unterdrückung der Vielzahl von Begrenzungsrahmen in Bezug auf ein Konfidenzmaß, das jedem Begrenzungsrahmen der Vielzahl von Begrenzungsrahmen zugeordnet ist, ausgewählt wird.
System nach Anspruch 26, wobei das eine oder die mehreren Bilder von einer an einem autonomen Fahrzeug montierten Kamera erhalten werden.
System nach Anspruch 26, wobei das eine oder die mehreren Bilder eine Vielzahl von Objekten beinhalten und der ausgewählte eine oder die mehreren Begrenzungsrahmen einen Begrenzungsrahmen für jedes der Vielzahl von Objekten beinhaltet.