DE102022113954A1

DE102022113954A1 - Pfadplanung mit neuronalen netzen

Info

Publication number: DE102022113954A1
Application number: DE102022113954.9A
Authority: DE
Inventors: Xueting Li; Sifei Liu; Shalini De Mello; Jan Kautz
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2021-06-15
Filing date: 2022-06-02
Publication date: 2022-12-15
Also published as: US20220396289A1; GB2609733A; JP2022191169A; AU2022204162A1; CN115479604A; KR20220168175A; GB202208733D0

Abstract

Einrichtungen, Systeme und Verfahren zur Berechnung einer Vielzahl von Pfaden werden beschrieben, entlang denen sich eine autonome Einrichtung bewegen soll. Bei mindestens einer Ausführungsform wird eine Vielzahl von Pfaden unter Verwendung eines oder mehrerer neuronaler Netze zumindest teilweise basierend auf einem oder mehreren Entfernungswerten berechnet, welche von dem einen oder den mehreren neuronalen Netzen ausgegeben werden.

Description

TECHNISCHES GEBIET
Bei mindestens einer Ausführungsform handelt es sich um Verarbeitungsressourcen, die zur Berechnung eines Pfades durch eine Umgebung unter Verwendung neuronaler Netze verwendet werden. Zum Beispiel betrifft mindestens eine Ausführungsform Prozessoren oder Rechenressourcen, die verwendet werden, um Entfernungen zu einem Ort in einer Umgebung zu berechnen, wobei neuronale Netze verwendet werden, um einen Pfad gemäß verschiedener neuer Verfahren zu berechnen, die hier beschrieben sind.
HINTERGRUND
Die Berechnung eines Pfades durch eine Umgebung ist in vielen Zusammenhängen eine wichtige Aufgabe. In verschiedenen Fällen kann die Berechnung eines Pfades zu einem Ziel durch eine Umgebung schwierig sein, z.B. wenn das Ziel und die Umgebung verschiedene Veränderungen erfahren. Die Berechnung eines Pfades zu einem Ziel durch eine Umgebung kann auch große Mengen an Rechenressourcen erfordern. Die Verfahren zur Berechnung eines Pfades durch eine Umgebung können daher verbessert werden.
Figurenliste

1 zeigt ein Beispiel für eine implizite Umgebungsfunktion für eine Umgebung gemäß mindestens einer Ausführungsform;
2 zeigt ein Beispiel für eine implizite Umgebungsfunktion für verschiedene Zielpositionen in einer Umgebung gemäß mindestens einer Ausführungsform;
3 illustriert ein Beispiel einer impliziten Umgebungsfunktion für verschiedene Zielpositionen und Umgebungen gemäß mindestens einer Ausführungsform;
4 illustriert gemäß mindestens einer Ausführungsform ein Beispiel für einen Agenten, der unter Verwendung einer impliziten Umgebungsfunktion zu einem Ziel navigiert;
5 illustriert ein Beispiel für Umgebungsfelder für eine Umgebung zur Navigation von mehreren Personen gemäß mindestens einer Ausführungsform;
6 illustriert ein Beispiel für die Verwendung eines impliziten Umgebungsfeldes für eine 3D-Umgebung gemäß mindestens einer Ausführungsform;
7 veranschaulicht ein Beispiel für Ergebnisse unter Verwendung einer impliziten Umgebungsfunktion gemäß mindestens einer Ausführungsform;
8 illustriert ein Beispiel für Ergebnisse einer Agentennavigation gemäß mindestens einer Ausführungsform;
9 und 10 illustrieren Beispiele von Ergebnissen der Anpassung gegebener menschlicher Sequenzen an gesuchte Trajektorien in 3D-Innenraumumgebungen, bei mindestens einer Ausführungsform;
11 veranschaulicht ein Beispiel für ein Verfahren zur Berechnung einer Vielzahl von Pfaden unter Verwendung einer impliziten Umgebungsfunktion, gemäß mindestens einer Ausführungsform;
12A illustriert eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform;
12B illustriert eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform;
13 illustriert das Training und den Einsatz eines neuronalen Netzes gemäß mindestens einer Ausführungsform;
14 zeigt ein Beispiel für ein Rechenzentrumssystem gemäß mindestens einer Ausführungsform;
15A zeigt ein Beispiel für ein autonomes Fahrzeug gemäß mindestens einer Ausführungsform;
15B zeigt ein Beispiel für Kamerapositionen und Sichtfelder für das autonome Fahrzeug von 15A, gemäß mindestens einer Ausführungsform;
15C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug von 15A gemäß mindestens einer Ausführungsform illustriert;
15D ist ein Diagramm, das ein System zur Kommunikation zwischen einem oder mehreren cloudbasierten Servern und dem autonomen Fahrzeug von 15A gemäß mindestens einer Ausführungsform darstellt;
16 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform darstellt;
17 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform darstellt;
18 illustriert ein Computersystem gemäß mindestens einer Ausführungsform;
19 illustriert ein Computersystem gemäß mindestens einer Ausführungsform;
20A illustriert ein Computersystem gemäß mindestens einer Ausführungsform;
20B zeigt ein Computersystem gemäß mindestens einer Ausführungsform;
20C illustriert ein Computersystem gemäß mindestens einer Ausführungsform;
20D zeigt ein Computersystem gemäß mindestens einer Ausführungsform;
20E und 20F illustrieren ein gemeinsames Programmiermodell gemäß mindestens einer Ausführungsform;
21 zeigt beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform;
22A-22B illustrieren beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren gemäß mindestens einer Ausführungsform;
Figuren 123A-23B illustrieren eine zusätzliche beispielhafte Grafikprozessorlogik gemäß mindestens einer Ausführungsform;
24 illustriert ein Computersystem gemäß mindestens einer Ausführungsform;
25A illustriert einen Parallelprozessor gemäß mindestens einer Ausführungsform;
25B illustriert eine Partitionseinheit gemäß mindestens einer Ausführungsform;
25C illustriert einen Verarbeitungscluster gemäß mindestens einer Ausführungsform;
25D illustriert einen Grafik-Multiprozessor gemäß mindestens einer Ausführungsform;
26 illustriert ein System einer Multi-Grafikverarbeitungseinheit (GPU) gemäß mindestens einer Ausführungsform;
27 illustriert einen Grafikprozessor gemäß mindestens einer Ausführungsform;
28 ist ein Blockdiagramm, das eine Prozessor-Mikroarchitektur für einen Prozessor gemäß mindestens einer Ausführungsform illustriert;
29 illustriert einen Prozessor für Deep-Learning-Anwendungen gemäß mindestens einer Ausführungsform;
30 ist ein Blockdiagramm, das einen beispielhaften neuromorphen Prozessor gemäß mindestens einer Ausführungsform illustriert;
31 illustriert zumindest Abschnitte eines Grafikprozessors gemäß einer oder mehreren Ausführungsformen;
32 illustriert zumindest Abschnitte eines Grafikprozessors gemäß einer oder mehreren Ausführungsformen;
33 illustriert zumindest Abschnitte eines Grafikprozessors gemäß einer oder mehreren Ausführungsformen;
34 ist ein Blockdiagramm einer Grafikverarbeitungsmaschine eines Grafikprozessors gemäß mindestens einer Ausführungsform;
35 ist ein Blockdiagramm von mindestens Abschnitten eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform;
36A-36B zeigen eine Thread-Ausführungslogik, die eine Anordnung von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform aufweist;
37 illustriert eine Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform;
38 illustriert einen allgemeinen Verarbeitungscluster („GPC“) gemäß mindestens einer Ausführungsform;
39 illustriert eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform;
40 illustriert einen Streaming-Multiprozessor gemäß mindestens einer Ausführungsform.
41 ist ein Beispiel eines Datenflussdiagramms für eine fortschrittliche Datenverarbeitungspipeline gemäß mindestens einer Ausführungsform;
42 ist ein Systemdiagramm für ein beispielhaftes System zum Trainieren, Anpassen, Instanziieren und Bereitstellen von Modellen zum maschinellen Lernen in einer fortschrittlichen Datenverarbeitungspipeline gemäß mindestens einer Ausführungsform;
43 weist eine beispielhafte Darstellung einer fortschrittlichen Datenverarbeitungspipeline 4210A zur Verarbeitung von Bilddaten gemäß mindestens einer Ausführungsform auf;
44A weist ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments auf, das eine Ultraschalleinrichtung unterstützt, gemäß mindestens einer Ausführungsform;
44B weist ein beispielhaftes Datenflussdiagramm eines virtuellen Instruments auf, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform;
45A zeigt ein Datenflussdiagramm für ein Verfahren zum Trainieren eines Modells zum maschinellen Lernen gemäß mindestens einer Ausführungsform; und
45B ist eine beispielhafte Darstellung einer Client-Server-Architektur zur Verbesserung von Annotationswerkzeugen mit vorab trainierten Annotationsmodellen, gemäß mindestens einer Ausführungsform.

DETAILLIERTE BESCHREIBUNG
Bei mindestens einer Ausführungsform berechnet ein neuronales Netz auf der Grundlage einer Umgebung, einer Position und einer Zielposition eine Entfernung zwischen der Position und der Zielposition entlang einer realisierbaren Trajektorie durch die Umgebung. Bei mindestens einer Ausführungsform entspricht eine Position einem beliebigen geeigneten Ort, einem Gebiet und/oder einem Bereich in der Umgebung. Bei mindestens einer Ausführungsform entspricht eine Zielposition einer Position in einer Umgebung, zu der ein oder mehrere Agenten navigieren sollen. Bei mindestens einer Ausführungsform entspricht eine Umgebung, die auch als Szene bezeichnet wird, jeder geeigneten zweidimensionalen (2D-) oder dreidimensionalen (3D-) Umgebung, die verschiedene Hindernisse umfassen kann. Bei mindestens einer Ausführungsform kann eine Umgebung jeder geeigneten realen Umgebung oder einer simulierten Umgebung entsprechen. Bei mindestens einer Ausführungsform berechnet ein neuronales Netz, wenn eine Umgebung, eine erste Position und eine zweite Position gegeben ist, eine erreichbare Entfernung von der ersten Position zu der zweiten Position, die einer Entfernung von der ersten Position zu der zweiten Position entlang einer realisierbaren Trajektorie durch die Umgebung entspricht. Bei mindestens einer Ausführungsform entspricht eine realisierbare Trajektorie einer Trajektorie, die geometrisch realisierbar und/oder semantisch plausibel ist, wie es im Folgenden näher beschrieben wird. Bei mindestens einer Ausführungsform entspricht eine realisierbare Trajektorie jeder geeigneten Trajektorie durch eine Umgebung, die nicht mit Hindernissen und/oder unzugänglichen Bereichen der Umgebung kollidiert oder diese anderweitig schneidet.
Bei mindestens einer Ausführungsform stellt ein neuronales Netz eine Umgebung durch ein Umgebungsfeld dar, das die erreichbaren Entfernungen verschiedener Positionen in einer Umgebung zu einer Zielposition kodiert. Bei mindestens einer Ausführungsform stellt ein neuronales Netz eine Umgebung intern durch ein Umgebungsfeld dar. Bei mindestens einer Ausführungsform ist ein Umgebungsfeld eine Darstellung, die eine Ansammlung von Werten umfasst, die eine erreichbare Entfernung für jede Position in der Umgebung zu einer Zielposition angeben. Bei mindestens einer Ausführungsform stellt das Umgebungsfeld eine Umgebung dar, in der jeder Wert des Umgebungsfeldes mit einer Position der Umgebung korrespondiert. Bei mindestens einer Ausführungsform entspricht ein bestimmter Wert in dem Umgebungsfeld einer bestimmten Position in einer Umgebung, wobei der bestimmte Wert ein Wert einer erreichbaren Entfernung von der bestimmten Position in der Umgebung zu der Zielposition in der Umgebung ist.
Bei mindestens einer Ausführungsform kann ein Umgebungsfeld durch eine visuelle Darstellung, wie z.B. ein Bild, repräsentiert werden, bei der verschiedenen Werten von erreichbaren Entfernungen unterschiedliche Farbwerte zugeordnet sind. Bei mindestens einer Ausführungsform visualisieren ein oder mehrere Systeme ein Umgebungsfeld, indem sie zumindest ein neuronales Netz verwenden, um für jede Position in einer Umgebung einen Wert für die erreichbare Entfernung zu einer Zielposition zu berechnen, und indem sie die berechneten Werte für die erreichbare Entfernung verwenden, um das Umgebungsfeld zu visualisieren. Bei mindestens einer Ausführungsform ist die Visualisierung des Umgebungsfeldes kontinuierlich. Bei mindestens einer Ausführungsform können die hier beschriebenen Umgebungsfeldvisualisierungen zwar diskrete Abschnitte umfassen, aber die Umgebungsfeldvisualisierungen können auch kontinuierliche Farbverläufe, kontinuierliche Schattierungen und/oder andere geeignete kontinuierliche Visualisierungen umfassen, die Werte für die erreichbare Entfernung anzeigen.
Bei mindestens einer Ausführungsform wird ein Umgebungsfeld verwendet, um das dynamische Verhalten von Agenten innerhalb einer Umgebung zu steuern. Bei mindestens einer Ausführungsform wird eine Umgebung durch ein Bild dargestellt, in dem jede Position einem Pixel des Bildes entspricht. Bei mindestens einer Ausführungsform entspricht eine Position einer Umgebung einem beliebigen geeigneten Ort, einer Region oder einem Bereich der Umgebung. Bei mindestens einer Ausführungsform ist die Umgebung als Gitter bzw. Raster strukturiert, wobei eine Position einem Satz von Pixeln entspricht, die mit einer Gitterzelle korrespondieren. Bei mindestens einer Ausführungsform entspricht eine Position einem beliebigen geeigneten Satz bzw. Menge von Pixeln. Bei mindestens einer Ausführungsform ist ein Bild ein beliebiges geeignetes Bild, wie z.B. ein Rot-Grün-Blau-Bild (RGB), ein Schwarz-Weiß-Bild (S/W), ein Graustufenbild, ein RGB-Tiefenbild (RGB D) und/oder Variationen davon. Bei mindestens einer Ausführungsform entspricht ein Agent einer beliebigen geeigneten Einrichtung, wie z.B. einer autonomen Einrichtung, einem Roboter, einem Menschen oder einer anderen Person, die sich durch die Umgebung navigiert oder anderweitig bewegt. Bei mindestens einer Ausführungsform stellt eine neuronale implizite Funktion eine Umgebung intern durch ein Umgebungsfeld dar. Bei mindestens einer Ausführungsform handelt es sich bei einer neuronalen impliziten Funktion um ein neuronales Netz, das eine Funktion annähert oder anderweitig modelliert, wie z.B. eine Funktion, die eine erreichbare Entfernung zu einer Zielposition für eine Position in einer Umgebung ausgibt. Bei mindestens einer Ausführungsform wird eine neuronale implizite Funktion, die eine Funktion annähert oder anderweitig modelliert, die eine erreichbare Entfernung zu einer Zielposition für eine Position in einer Umgebung ausgibt, als implizite Umgebungsfunktion bezeichnet.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine neuronale implizite Funktion, die eine Umgebung durch ein Umgebungsfeld repräsentiert, um einen Agenten bei der Navigation in einer Szene zu leiten, z.B. um einen Agenten so zu navigieren, dass er ein bestimmtes Ziel in einer physikalisch plausiblen und/oder machbaren Weise erreicht. Bei mindestens einer Ausführungsform erfasst ein Umgebungsfeld für jede Position in einer Szene die Entfernung von einer Position zu einer gegebenen Zielposition entlang einer geometrisch realisierbaren und/oder semantisch plausiblen Trajektorie. Bei mindestens einer Ausführungsform entspricht eine geometrisch realisierbare Trajektorie einer Trajektorie durch eine Umgebung, die nicht mit irgendwelchen Hindernissen dieser Umgebung kollidiert. Bei mindestens einer Ausführungsform entspricht eine semantisch plausible Trajektorie einer Trajektorie durch eine Umgebung, die physisch geeignet ist, von einem oder mehreren Agenten verfolgt zu werden. Bei mindestens einer Ausführungsform kann eine semantisch unrealisierbare Trajektorie beispielsweise eine Trajektorie durch eine Umgebung sein, die von einem menschlichen Agenten verlangt, unter einem Hindernis hindurchzukriechen; in diesem Beispiel ist das Kriechen möglicherweise keine physisch geeignete Aktion für den menschlichen Agenten. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine neuronale implizite Funktion, um eine Vielzahl von Pfaden zu berechnen, entlang denen ein Agent laufen oder anderweitig navigieren soll. Bei mindestens einer Ausführungsform navigieren ein oder mehrere Systeme einen Agenten unter Verwendung einer neuronalen impliziten Funktion, indem sie den Agenten wiederholt zu einem nächsten Ort mit der kleinsten erreichbaren Entfernung bewegen, bis der Agent eine Zielposition erreicht.
Bei mindestens einer Ausführungsform können neuronale implizite Funktionen auf beliebige Zielpositionen und beliebige Szenen/Umgebungen verallgemeinert werden, was die Verallgemeinerung auf verschiedene Umgebungsfelder bei unterschiedlichen Zielpositionen und/oder Szenen/Umgebungen unter Verwendung einer einzigen neuronalen impliziten Funktion ermöglicht. Bei mindestens einer Ausführungsform ist eine neuronale implizite Funktion in der Lage zu lernen, kontinuierliche Umgebungsfelder zu bestimmen oder anderweitig zu berechnen, indem sie diskret abgetastete Trainingsdaten verwendet. Bei mindestens einer Ausführungsform erfordert die Abfrage einer erreichbaren Entfernung zwischen einer beliebigen Position und einer Zielposition nur einen schnellen Vorwärtsdurchlauf des Netzes, was eine effiziente Trajektorievorhersage ermöglicht.
Bei mindestens einer Ausführungsform definieren, um die semantische Plausibilität eines Umgebungsfeldes in Innenräumen zu erzwingen, ein oder mehrere Systeme zugängliche Bereiche, die plausiblen Bereichen entsprechen, in denen Agenten erscheinen können. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme die zugänglichen Bereiche für verschiedene Umgebungen mit Hilfe eines oder mehrerer Modelle für neuronale Netze, wie z.B. eines Variations-Autocodierers, und bezeichnen Orte außerhalb der zugänglichen Bereiche als Hindernisse, die auch als unzugängliche Bereiche bezeichnet werden. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine neuronale implizite Funktion, die eine Umgebung durch ein Umgebungsfeld bei der Modellierung verschiedener menschlicher Trajektorien in 3D-Umgebungen, wie verschiedenen Innenumgebungen, Außenumgebungen oder anderen geeigneten Umgebungen, und bei der Agentennavigation in 2D-Umgebungen, wie verschiedenen Labyrinthen oder anderen geeigneten Umgebungen, darstellt.
Bei mindestens einer Ausführungsform wird eine neuronale implizite Funktion anhand von Trainingsdaten trainiert, die auf der Grundlage einer oder mehrerer Umgebungen erzeugt wurden. Bei mindestens einer Ausführungsform werden zugängliche Bereiche und unzugängliche Bereiche für Umgebungen durch ein oder mehrere Systeme unter Verwendung verschiedener Modelle für neuronale Netze und/oder anderer geeigneter Systeme definiert. Bei mindestens einer Ausführungsform werden die Trainingsdaten von einem oder mehreren Systemen unter Verwendung eines geeigneten Algorithmus, eines Verfahrens, eines Systems jeweils zur Pfadplanung und/oder von Variationen davon erzeugt. Bei mindestens einer Ausführungsform erzeugen ein oder mehrere Systeme Trainingsdaten, indem sie eine Umgebung mit definierten zugänglichen Bereichen und unzugänglichen Bereichen unter Verwendung eines oder mehrerer Algorithmen zur Pfadplanung verarbeiten, um eine oder mehrere erreichbare Entfernungen von einer oder mehreren zugänglichen Positionen in der Umgebung zu einer oder mehreren Zielpositionen in der Umgebung zu berechnen, wobei die Trainingsdaten eine oder mehrere der einen oder mehreren erreichbaren Entfernungen, die eine oder die mehreren zugänglichen Positionen und/oder die eine oder die mehreren Zielpositionen umfassen, und ein neuronales Netz unter Verwendung der Trainingsdaten trainiert wird.
In der vorangehenden und der folgenden Beschreibung werden zahlreiche spezifische Details dargelegt, um ein besseres Verständnis mindestens einer Ausführungsform zu ermöglichen. Einem Fachmann wird jedoch klar sein, dass die erfindungsgemäßen Konzepte auch ohne eines oder mehrere dieser spezifischen Details ausgeführt werden können.
Bei mindestens einer Ausführungsform weisen die hier beschriebenen Verfahren verschiedene technische Vorteile auf, einschließlich, aber nicht beschränkt auf: die Fähigkeit, ein neuronales Netz zur Darstellung einer Umgebung zu verwenden, um die Führung des Agentenverhaltens/der Navigation in dieser Umgebung zu ermöglichen; die Fähigkeit, ein neuronales Netz zur Darstellung einer Umgebung durch ein Umgebungsfeld zu verwenden, das die geometrische und semantische Durchführbarkeit sicherstellt; die Fähigkeit, ein neuronales Netz zur Berechnung einer oder mehrerer erreichbarer Entfernungen für eine oder mehrere Positionen zu einem Ziel in einer Umgebung in einem einzigen Vorwärtsdurchlauf zu verwenden; und verschiedene andere technische Vorteile.
Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme eine neuronale implizite Funktion, um zu lernen, eine Umgebung durch ein kontinuierliches Umgebungsfeld darzustellen, in dem jeder Wert jeder Position des kontinuierlichen Umgebungsfeldes eine erreichbare Entfernung von einer bestimmten Position der Umgebung zu einer Zielposition angibt. Bei mindestens einer Ausführungsform modellieren ein oder mehrere Systeme ein Umgebungsfeld als eine Wellenausbreitung, um die erreichbare Entfernung zu berechnen. Bei mindestens einer Ausführungsform entspricht eine Wellenausbreitung einem Phänomen, bei dem die Entfernung zwischen einer Ausgangsposition und einem Ziel einer minimalen Zeitspanne entspricht, die eine Welle, ausgehend von der Ausgangsposition, benötigt, um ihre vordere Grenze auszubreiten und das Ziel zu erreichen.
Bei mindestens einer Ausführungsform bezeichnen ein oder mehrere Systeme alle Positionen, die von einem Agenten erreicht werden können, als zugängliche Bereiche und alle anderen Positionen als Hindernisse, die auch als unzugängliche Bereiche bezeichnet werden. Bei mindestens einer Ausführungsform breitet sich eine sich ausbreitende Welle, die mit τ bezeichnet wird (z.B. eine geschlossene Kurve in einer Umgebung), auf der Grundlage einer Geschwindigkeitsfunktion aus, die mit f (x) bezeichnet wird und an jedem Ort definiert ist. Bei mindestens einer Ausführungsform wird die aktuelle Position einer sich ausbreitenden Welle, die mit τ bezeichnet wird, durch eine Funktion der Ankunftszeit, die mit u(x) bezeichnet wird, in Bezug auf einen Ort, der mit x bezeichnet wird, ausgehend von einer Zielposition modelliert. Bei mindestens einer Ausführungsform formulieren ein oder mehrere Systeme, wenn ƒ(x) > 0 ist, eine Ankunftszeitfunktion als ein kontinuierliches Problem des kürzesten Weges durch eine Gleichung wie eine Eikonal-Gleichung oder eine andere geeignete Gleichung, die durch die folgende Gleichung dargestellt wird, wobei jede Variation davon verwendet werden kann: $‖ \nabla u (x) ‖ ƒ (x) = 1, x \in Ω$
wobei Ω einen möglichen Bereich (z.B. einen zugänglichen Bereich), V einen Gradienten, II-II eine euklidische Norm und u(x_e) = 0 an einem durch x_e bezeichneten Zielort bedeutet. Bei mindestens einer Ausführungsform spezifizieren ein oder mehrere Systeme ein Umgebungslayout, in dem an Hindernissen eine Wellenausbreitungsgeschwindigkeit, bezeichnet durch f(x), auf einen infinitesimal kleinen positiven Wert oder einen beliebigen geeigneten Wert gesetzt wird, da eine Welle nicht durch Hindernisse hindurchgehen kann, und innerhalb eines zugänglichen Bereichs eine Wellenausbreitungsgeschwindigkeit auf einen konstanten Wert von 1 oder einen beliebigen geeigneten Wert gesetzt wird.
Bei mindestens einer Ausführungsform lösen ein oder mehrere Systeme die Eikonal-Gleichung, wie sie hier beschrieben ist, durch eine neuronale implizite Funktion, die eine kontinuierliche Energieoberfläche modelliert. Bei mindestens einer Ausführungsform ist eine neuronale implizite Funktion, die auch als implizite Umgebungsfunktion, Modell eines neuronalen Netzes, Funktion eines neuronalen Netzes, Funktion zum maschinellen Lernen, implizite neuronale Darstellung und/oder Variationen davon bezeichnet wird, ein neuronales Netz, das eine oder mehrere Funktionen approximiert. Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme eine neuronale implizite Funktion, um eine Umgebung durch ein Umgebungsfeld als eine Abbildung von Ortskoordinaten, die durch x ∈ R² bezeichnet werden, auf eine Ankunftszeit, die durch u(x) ∈ R bezeichnet wird, darzustellen. Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme eine neuronale implizite Funktion unter Verwendung von Trainingsdaten, die diskret abgetastete Paare von {x, u(x)} umfassen, um eine Umgebung durch ein kontinuierliches Feld darzustellen.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme einen oder mehrere Algorithmen, Verfahren und/oder Systeme jeweils zur Pfadplanung, wie z.B. Breath First Searching (BFS), Dijkstra's Algorithmus, Fast Marching Method (FMM), Rapidly Exploring Random Tree (RRT), Probabilistic Roadmaps (PRM) und/oder Varianten davon, um Trainingsdaten für eine neuronale implizite Funktion zu erzeugen. Bei mindestens einer Ausführungsform bestimmen der bzw. das eine oder die mehreren Algorithmen, Verfahren und/oder Systeme jeweils zur Pfadplanung auf der Grundlage einer eingegebenen Umgebung und Zielposition eine erreichbare Entfernung von jeder zugänglichen Position der eingegebenen Umgebung zu der Zielposition. Bei mindestens einer Ausführungsform umfassen die Trainingsdaten eine Umgebung, eine Zielposition und eine erreichbare Entfernung für jede zugängliche Position in dieser Umgebung. Bei mindestens einer Ausführungsform entspricht eine zugängliche Position einer Position in der Umgebung, die sich in einem zugänglichen Bereich befindet.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme ein Verfahren zur Pfadplanung, das u(x) in einer oder mehreren Umgebungen löst, beispielsweise in einer Umgebung, die als Gitter strukturiert ist. Bei mindestens einer Ausführungsform initiieren eine oder mehrere Verfahren zur Pfadplanung eine diskrete Karte, die von einer Zielposition ausgeht, und erweitern und aktualisieren iterativ benachbarte realisierbare Gitterzellen entsprechend einer Geschwindigkeit unter Verwendung von Eikonal-Aktualisierungskriterien oder anderen geeigneten Kriterien, bis sie eine Startposition erreichen. Bei mindestens einer Ausführungsform weisen das eine oder die mehreren Verfahren zur Pfadplanung ein Verfahren auf, wie z.B. eine FMM-Implementierung, die ein diskretes Gitter (z.B. ein Gitter, das einer Umgebung entspricht) mit einer gegebenen Zielposition als Eingabe erhält und eine erreichbare Entfernung von jeder zugänglichen Position (z.B. einer Position der Umgebung) zu dieser Zielposition ausgibt. Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme eine neuronale implizite Funktion, um eine erreichbare Entfernung an jeder Gitterzelle zu regressieren, wenn die Koordinaten einer Zelle (z.B. normalisiert auf [-1, 1]) als Eingaben gegeben sind. Bei mindestens einer Ausführungsform illustrieren 1 - 3 Beispiele für implizite Umgebungsfunktionen.
1 illustriert ein Beispiel 100 einer impliziten Umgebungsfunktion für eine Umgebung gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform werden ein oder mehrere der in 1 - 11 dargestellten Verfahren, Funktionen und/oder Operationen von einem geeigneten Verarbeitungssystem oder einer geeigneten Einheit, wie z.B. einer Grafikverarbeitungseinheit (GPU), einer Parallelverarbeitungseinheit (PPU), einer Zentraleinheit (CPU) und/oder Variationen davon, und in jeder geeigneten Reihenfolge, wie z.B. sequentiell, parallel und/oder Variationen davon, durchgeführt oder anderweitig ausgeführt. Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 102 eine implizite Umgebungsfunktion 106 unter Verwendung von Trainingsdaten 104, um eine implizite Umgebungsfunktion 108 zu bestimmen. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme eine Abfrageposition 110 in eine implizite Umgebungsfunktion 108 ein, die eine Umgebung durch ein Umgebungsfeld darstellt, das durch eine Umgebungsfeldvisualisierung 112 visualisiert wird, um eine erreichbare Entfernung 114 zu bestimmen.
Bei mindestens einer Ausführungsform ist ein Trainings-Framework 102 eine Sammlung von einer oder mehreren Hardware- und/oder Software-Computerressourcen mit Anweisungen, die bei ihrer Ausführung ein oder mehrere Trainingsverfahren, -funktionen und/oder -operationen für ein neuronales Netz durchführen. Bei mindestens einer Ausführungsform entspricht ein Trainings-Framework 102 den in Verbindung mit 13 beschriebenen. Bei mindestens einer Ausführungsform ist ein Trainingsframework 102 ein Framework wie PyTorch, TensorFlow, Boost, Caffe, Microsoft Cognitive Toolkit/CNTK, MXNet, Chainer, Keras, Deeplearning4j oder ein anderes Trainingsframework. Bei mindestens einer Ausführungsform handelt es sich bei einem Trainings-Framework 102 um ein Softwareprogramm, das auf Computer-Hardware ausgeführt wird, eine Anwendung, die auf Computer-Hardware ausgeführt wird, und/oder Variationen davon. Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 102 eine implizite Umgebungsfunktion 106 unter Verwendung von Trainingsdaten 104, um eine implizite Umgebungsfunktion 108 zu bestimmen.
Bei mindestens einer Ausführungsform werden die Trainingsdaten 104 von einem oder mehreren Algorithmen, Verfahren und/oder Systemen zur Pfadplanung basierend auf einer oder mehreren Umgebungen erzeugt. Bei mindestens einer Ausführungsform handelt es sich bei den Trainingsdaten 104 um eine Sammlung von Daten, die eine oder mehrere erreichbare Entfernungen von einer oder mehreren zugänglichen Positionen in einer Umgebung zu einer bestimmten Zielposition in dieser Umgebung umfassen. Bei mindestens einer Ausführungsform werden die Trainingsdaten 104 durch eine oder mehrere Datenstrukturen, wie z.B. ein Array oder eine Liste oder eine andere geeignete Datensammlung, implementiert, die erreichbare Entfernungen und den erreichbaren Entfernungen entsprechende Positionen kodiert. Bei mindestens einer Ausführungsform entspricht die Position einer Umgebung einem beliebigen geeigneten Ort, einer Region oder einem Bereich dieser Umgebung. Bei mindestens einer Ausführungsform wird eine Umgebung durch ein Bild dargestellt, bei dem jede Position einem Pixel und/oder einer Sammlung von Pixeln des Bildes entspricht. Bei mindestens einer Ausführungsform wird eine Umgebung durch einen Satz bzw. eine Menge von Punkten (z.B. Punktwolkendaten) dargestellt, wobei jede Position einem Punkt und/oder einer Ansammlung von Punkten des Satzes von Punkten entspricht. Bei mindestens einer Ausführungsform werden die Trainingsdaten 104 von einem oder mehreren Algorithmen, Verfahren und/oder Systemen jeweils zur Pfadplanung erzeugt, die auf der Grundlage einer eingegebenen Umgebung (z.B. durch ein Bild, eine Punktmenge und/oder Variationen davon) und einer Zielposition eine erreichbare Entfernung für jede zugängliche Position in der Umgebung zu der Zielposition ausgeben.
Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 102 eine implizite Umgebungsfunktion 106 unter Verwendung von Trainingsdaten 104, um eine Umgebung mit einer bestimmten Zielposition (z.B. eine Umgebung und eine Zielposition, die zur Erzeugung von Trainingsdaten 104 verwendet werden) durch ein Umgebungsfeld darzustellen. Bei mindestens einer Ausführungsform handelt es sich bei der impliziten Umgebungsfunktion 106 um ein beliebiges geeignetes Modell, einen Algorithmus, eine Darstellung, eine Funktion jeweils für ein neuronales Netz und/oder Variationen davon. Bei mindestens einer Ausführungsform umfasst eine implizite Umgebungsfunktion verschiedene Modelle für neuronale Netze wie z.B. ein Perzeptronmodell, ein radiales Basisnetz (RBN), einen Auto-Encoder (AE), eine Boltzmann-Maschine (BM), eine eingeschränkte Boltzmann-Maschine (RBM), ein Deep Belief Network (DBN), ein Deep Convolutional Network (DCN), eine Extreme Learning Machine (ELM), ein Deep Residual Network (DRN), Support Vector Machines (SVM) und/oder Variationen davon.
Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 102 eine implizite Umgebungsfunktion 106, indem eine Position der Trainingsdaten 104 in die implizite Umgebungsfunktion 106 eingegeben wird, wobei die implizite Umgebungsfunktion 106 veranlasst wird, eine erreichbare Entfernung für die Position zu berechnen, wobei die berechnete erreichbare Entfernung für die Position mit einer erreichbaren Entfernung der Trainingsdaten 104, die auch als erreichbare Ground-Truth-Entfernung, die der Position entspricht, bezeichnet wird, verglichen wird, wobei ein Verlust unter Verwendung einer oder mehrerer Verlustfunktionen auf der Grundlage des Vergleichs berechnet und die implizite Umgebungsfunktion 106 auf der Grundlage des berechneten Verlusts aktualisiert wird. Bei mindestens einer Ausführungsform aktualisiert das Trainings-Framework 102 eine oder mehrere Gewichte, Bias und/oder strukturelle Verbindungen (z.B. Architekturen) und/oder Konfiguration(en) einer oder mehrerer Komponenten) der impliziten Umgebungsfunktion 106, so dass der berechnete Verlust minimiert wird. Bei mindestens einer Ausführungsform berechnet das Trainings-Framework 102 den Verlust unter Verwendung einer beliebigen geeigneten Verlustfunktion, wie z.B. einen Kreuzentropieverlust, einen binären Kreuzentropieverlust, einen Softmax-Verlust, einen logistischen Verlust, einen fokalen Verlust und/oder Variationen davon.
Bei mindestens einer Ausführungsform ist eine implizite Umgebungsfunktion 106 trainiert, wenn der berechnete Verlust für diese implizite Umgebungsfunktion 106 unter einem definierten Schwellenwert liegt, der ein beliebiger geeigneter Wert sein kann. Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 102 die implizite Umgebungsfunktion 106, um erreichbare Entfernungen für Positionen zu einer bestimmten Zielposition in einer Umgebung darzustellen, die zur Erzeugung der Trainingsdaten 104 verwendet wird. Bei mindestens einer Ausführungsform trainiert das Trainings-Framework 102 die implizite Umgebungsfunktion 106, um die implizite Umgebungsfunktion 108 zu ermitteln, die die implizite Umgebungsfunktion 106 nach einem oder mehreren Trainingsverfahren ist. Bei mindestens einer Ausführungsform ist die implizite Umgebungsfunktion 108 die trainierte implizite Umgebungsfunktion 106. Bei mindestens einer Ausführungsform ist eine implizite Umgebungsfunktion 108 spezifisch für eine Umgebung und eine Zielposition, die zur Erzeugung der Trainingsdaten 104 verwendet wird.
Bei mindestens einer Ausführungsform repräsentiert eine implizite Umgebungsfunktion 108 eine Umgebung (z.B. eine Umgebung, die zur Erzeugung der Trainingsdaten 104 verwendet wird) durch ein Umgebungsfeld. Bei mindestens einer Ausführungsform stellt eine implizite Umgebungsfunktion 108 eine Umgebung intern durch eine Umgebungsfelddarstellung dar. Bei mindestens einer Ausführungsform ist das Umgebungsfeld eine Darstellung einer Umgebung, bei der jede Position des Umgebungsfeldes einer Position der Umgebung entspricht und jede Position des Umgebungsfeldes einen Wert einer erreichbaren Entfernung zu einer bestimmten Zielposition umfasst oder anderweitig angibt. Bei mindestens einer Ausführungsform gibt der Wert einer erreichbaren Entfernung für eine bestimmte Position eines Umgebungsfeldes eine erreichbare Entfernung von einer entsprechenden Position einer Umgebung zu einer Zielposition in der Umgebung an.
Bei mindestens einer Ausführungsform stellt eine implizite Umgebungsfunktion 108 eine Umgebung über ein Umgebungsfeld durch eine oder mehrere Datenstrukturen und/oder Sammlungen von Daten dar, die Positionen der Umgebung und erreichbare Entfernungen für diese Positionen zu einer bestimmten Zielposition in der Umgebung kodieren. Bei mindestens einer Ausführungsform wird das Umgebungsfeld durch eine Umgebungsfeldvisualisierung 112 visualisiert. Bei mindestens einer Ausführungsform ist die Umgebungsfeldvisualisierung 112 ein Bild, bei dem jede Position der Umgebungsfeldvisualisierung 112 einer Position des Umgebungsfeldes entspricht. Bei mindestens einer Ausführungsform entsprechen unterschiedliche Farben, Schattierungen, Muster und/oder Variationen davon einer Umgebungsfeldvisualisierung 112 unterschiedlichen Werten einer erreichbaren Entfernung. Bei mindestens einer Ausführungsform, die sich auf 1 bezieht, umfasst eine Umgebungsfeldvisualisierung 112 eine hellere Schattierung für niedrigere Werte einer erreichbaren Entfernung, eine dunklere Schattierung für höhere Werte einer erreichbaren Entfernung und eine vollständig dunkle Schattierung für unzugängliche Bereiche. Bei mindestens einer Ausführungsform kann eine Umgebungsfeldvisualisierung die Werte einer erreichbaren Entfernung eines Umgebungsfeldes auf jede geeignete Weise darstellen, wie z.B. durch einen Farbverlauf (z.B. helle Farbe für niedrigere Werte einer erreichbaren Entfernung, dunklere Farbe für höhere Werte einer erreichbaren Entfernung oder ein beliebiges geeignetes Schema), spezifische Farben (z.B. bestimmte Farben für niedrigere Werte einer erreichbaren Entfernung, andere bestimmte Farben für höhere Werte einer erreichbaren Entfernung) und/oder Variationen davon.
Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme eine Abfrageposition 110 in die implizite Umgebungsfunktion 108 ein, um eine erreichbare Entfernung 114 zu bestimmen. Bei mindestens einer Ausführungsform ist die Abfrageposition 110 eine Position in einer Umgebung und wird durch ein oder mehrere Datenobjekte, Typen und/oder Variationen davon implementiert, die diese Position kodieren. Bei mindestens einer Ausführungsform umfasst die Abfrageposition 110 Koordinatendaten, die eine Position angeben. Bei mindestens einer Ausführungsform verarbeitet die implizite Umgebungsfunktion 108 die Abfrageposition 110, um eine erreichbare Entfernung 114 zu berechnen. Bei mindestens einer Ausführungsform ist die erreichbare Entfernung 114 ein Wert einer erreichbaren Entfernung und wird durch ein oder mehrere Datenobjekte, Typen und/oder Variationen davon implementiert, die den Wert einer erreichbaren Entfernung kodieren. Bei mindestens einer Ausführungsform umfasst die erreichbare Entfernung 114 einen Wert für die erreichbare Entfernung von einer Position in einer Umgebung, die durch eine Abfrageposition 110 angegeben wird, zu einer bestimmten Zielposition in dieser Umgebung (z.B. eine Umgebung und eine bestimmte Zielposition, die zur Erzeugung der Trainingsdaten 104 verwendet wurden). Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine ermittelte erreichbare Entfernung 114 für verschiedene Navigationsaufgaben, wie es mit mehr Details mit Bezug zu den 4 - 11 beschrieben ist. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme die ermittelten Werte für eine erreichbare Entfernung, um eine Vielzahl von Pfaden zu berechnen, die eine Entität, z.B. eine autonome Einrichtung, verfolgen soll.
Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme eine implizite Funktion, um verschiedene Umgebungsfelder für verschiedene Zielpositionen in derselben Umgebung vorherzusagen, was als bedingte implizite Funktion bezeichnet werden kann. 2 zeigt ein Beispiel 200 für eine implizite Umgebungsfunktion für verschiedene Zielpositionen in einer Umgebung gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 202 eine implizite Umgebungsfunktion 206 unter Verwendung von Trainingsdaten 204, um eine implizite Umgebungsfunktion 208 zu ermitteln. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme eine Abfrageposition 210 und eine Zielposition 212 in die implizite Umgebungsfunktion 208 ein, die eine Umgebung durch ein Umgebungsfeld darstellt, das durch Umgebungsfeldvisualisierungen 214A - 214B visualisiert wird, um eine erreichbare Entfernung 216 zu berechnen. Bei mindestens einer Ausführungsform entsprechen das Trainings-Framework 202, die Trainingsdaten 204, die implizite Umgebungsfunktion 206, die implizite Umgebungsfunktion 208, die Abfrageposition 210, die Zielposition 212, die Umgebungsfeldvisualisierungen 214A - 214B und die erreichbare Entfernung 216 den in Verbindung mit 1 beschriebenen Begriffen.
Bei mindestens einer Ausführungsform ist das Trainings-Framework 202 eine Sammlung von einer oder mehreren Hardware- und/oder Software-Computerressourcen mit Anweisungen, die bei ihrer Ausführung einen oder mehrere Trainingsverfahren, -funktionen und/oder -operationen für ein neuronales Netz durchführen. Bei mindestens einer Ausführungsform trainiert das Trainings-Framework 202 die implizite Umgebungsfunktion 206 unter Verwendung der Trainingsdaten 204, um die implizite Umgebungsfunktion 208 zu ermitteln. Bei mindestens einer Ausführungsform werden die Trainingsdaten 204 von einem oder mehreren Algorithmen, Verfahren und/oder Systemen zur Pfadplanung basierend auf einer oder mehreren Umgebungen erzeugt. Bei mindestens einer Ausführungsform handelt es sich bei den Trainingsdaten 204 um eine Sammlung von Daten, die eine oder mehrere erreichbare Entfernungen für eine oder mehrere zugängliche Positionen in einer Umgebung zu einer oder mehreren Zielpositionen in dieser Umgebung umfassen. Bei mindestens einer Ausführungsform werden die Trainingsdaten 204 durch eine oder mehrere Datenstrukturen implementiert, wie z.B. ein Array oder eine Liste oder eine beliebige geeignete Sammlung von Daten, die erreichbare Entfernungen sowie Positionen und Zielpositionen entsprechend den erreichbaren Entfernungen kodieren.
Bei mindestens einer Ausführungsform werden die Trainingsdaten 204 durch einen oder mehrere Algorithmen, Verfahren und/oder Systeme zur Pfadplanung erzeugt, die auf der Grundlage einer eingegebenen Umgebung (z.B. durch ein Bild, einen Satz von Punkten und/oder Variationen davon) und einer oder mehrerer Zielpositionen eine oder mehrere erreichbare Entfernungen für jede zugängliche Position in der Umgebung zu der einen oder den mehreren Zielpositionen ausgeben. Bei mindestens einer Ausführungsform werden die Trainingsdaten 204 von einem oder mehreren Systemen erzeugt, indem eine Umgebung und eine oder mehrere zufällig ausgewählte Zielpositionen in einen oder mehrere Algorithmen, Verfahren und/oder Systeme zur Pfadplanung eingegeben werden, um eine oder mehrere Reichweiten von jeder zugänglichen Position in der Umgebung zu der einen oder den mehreren zufällig ausgewählten Zielpositionen zu bestimmen.
Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 202 eine implizite Umgebungsfunktion 206 unter Verwendung der Trainingsdaten 204, um eine Umgebung (z.B. die Umgebung, die zur Erzeugung der Trainingsdaten 204 verwendet wurde) mit jeder geeigneten Zielposition durch ein Umgebungsfeld darzustellen. Bei mindestens einer Ausführungsform handelt es sich bei der impliziten Umgebungsfunktion 206 um ein beliebiges geeignetes Modell, einen Algorithmus, eine Darstellung, eine Funktion für ein neuronales Netz und/oder Variationen davon. Bei mindestens einer Ausführungsform umfasst die implizite Umgebungsfunktion 206 verschiedene Modelle für ein neuronales Netz, wie z.B. ein Perzeptronmodell, ein Radialbasisnetz (RBN), einen Auto-Encoder (AE), eine Boltzmann-Maschine (BM), eine Restricted Boltzmann Machine (RBM), ein Deep Belief Network (DBN), ein Deep Convolutional Network (DCN), eine Extreme Learning Machine (ELM), ein Deep Residual Network (DRN), Support Vector Machines (SVM) und/oder Variationen davon.
Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 202 die implizite Umgebungsfunktion 206, indem eine Position und eine Zielposition der Trainingsdaten 204 in die implizite Umgebungsfunktion 206 eingegeben wird, wodurch die implizite Umgebungsfunktion 206 veranlasst wird, eine erreichbare Entfernung für die Position zu der Zielposition zu berechnen, wobei die berechnete erreichbare Entfernung für die Position zu der Zielposition mit einer erreichbaren Entfernung der Trainingsdaten 204, die auch als erreichbare Ground-Truth-Entfernung bezeichnet wird, die der Position und der Zielposition entspricht, verglichen wird, wobei der Verlust unter Verwendung einer oder mehrerer Verlustfunktionen auf der Grundlage des Vergleichs berechnet wird, und wobei die implizite Umgebungsfunktion 206 auf der Grundlage des berechneten Verlusts aktualisiert wird. Bei mindestens einer Ausführungsform aktualisiert das Trainings-Framework 202 eine oder mehrere Gewichte, Bias und/oder strukturelle Verbindungen (z.B. Architekturen) und/oder Konfiguration(en) einer oder mehrerer Komponenten) der impliziten Umgebungsfunktion 206, so dass der berechnete Verlust minimiert wird. Bei mindestens einer Ausführungsform berechnet das Trainings-Framework 202 den Verlust unter Verwendung einer beliebigen geeigneten Verlustfunktion, wie z.B. dem Kreuzentropieverlust, dem binären Kreuzentropieverlust, dem Softmax-Verlust, dem logistischen Verlust, dem fokalen Verlust und/oder Variationen davon.
Bei mindestens einer Ausführungsform ist eine implizite Umgebungsfunktion 206 trainiert, wenn der berechnete Verlust für diese implizite Umgebungsfunktion 206 unter einem definierten Schwellenwert liegt, der ein beliebiger geeigneter Wert sein kann. Bei mindestens einer Ausführungsform trainiert das Trainings-Framework 202 die implizite Umgebungsfunktion 206, um erreichbare Entfernungen für Positionen zu jeder geeigneten Zielposition in einer Umgebung darzustellen, die zur Erzeugung der Trainingsdaten 204 verwendet wird. Bei mindestens einer Ausführungsform trainiert das Trainings-Framework 202 die implizite Umgebungsfunktion 206, um die implizite Umgebungsfunktion 208 zu ermitteln, die die implizite Umgebungsfunktion 206 nach einem oder mehreren Trainingsverfahren ist. Bei mindestens einer Ausführungsform ist die implizite Umgebungsfunktion 208 die trainierte implizite Umgebungsfunktion 206. Bei mindestens einer Ausführungsform ist die implizite Umgebungsfunktion 208 spezifisch für eine Umgebung, die zur Erzeugung der Trainingsdaten 204 verwendet wurde.
Bei mindestens einer Ausführungsform repräsentiert die implizite Umgebungsfunktion 208 eine Umgebung (z.B. eine Umgebung, die zur Erzeugung der Trainingsdaten 204 verwendet wurde) durch ein Umgebungsfeld. Bei mindestens einer Ausführungsform stellt die implizite Umgebungsfunktion 208 eine Umgebung mit einer beliebigen geeigneten Zielposition intern durch eine Umgebungsfelddarstellung dar. Bei mindestens einer Ausführungsform bestimmt die implizite Umgebungsfunktion 208 eine Umgebungsfelddarstellung auf der Grundlage einer eingegebenen Zielposition (z.B. der Zielposition 212). Bei mindestens einer Ausführungsform stellt die implizite Umgebungsfunktion 208 eine Umgebung über ein Umgebungsfeld durch eine oder mehrere Datenstrukturen und/oder Sammlungen von Daten dar, die Positionen der Umgebung und Entfernungen für die Positionen zu einer bestimmten Zielposition (z.B. eingegeben über die Zielposition 212) in der Umgebung kodieren.
Bei mindestens einer Ausführungsform wird das Umgebungsfeld durch Umgebungsfeldvisualisierungen 214A- 214B visualisiert. Bei mindestens einer Ausführungsform ist eine Umgebungsfeldvisualisierung ein Bild, bei dem jede Position der Umgebungsfeldvisualisierung einer Position eines Umgebungsfeldes entspricht. Bei mindestens einer Ausführungsform entsprechen unterschiedliche Farben, Schattierungen, Muster und/oder Variationen davon einer Umgebungsfeldvisualisierung unterschiedlichen Werten für eine erreichbare Entfernung. Bei mindestens einer Ausführungsform, die sich auf 2 bezieht, umfassen die Umgebungsfeldvisualisierungen 214A - 214B eine hellere Schattierung für geringere Werte für eine erreichbare Entfernung, eine dunklere Schattierung für höhere Werte für eine erreichbare Entfernung und eine vollständig dunkle Schattierung für unzugängliche Bereiche. Bei mindestens einer Ausführungsform, die sich auf 2 bezieht, ermittelt die implizite Umgebungsfunktion 208 ein Umgebungsfeld, das durch eine Umgebungsfeldvisualisierung 214A visualisiert wird, basierend auf einem ersten Zielpositionswert (z.B. angegeben durch die Zielposition 212), der einer Zielposition in einer oberen linken Ecke der Umgebung entspricht, und/oder ein anderes Umgebungsfeld, das durch eine Umgebungsfeldvisualisierung 214B visualisiert wird, basierend auf einem zweiten Zielpositionswert (z.B. angegeben durch die Zielposition 212), der einer Zielposition in einer unteren rechten Ecke der Umgebung entspricht.
Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme eine Abfrageposition 210 und eine Zielposition 212 in die implizite Umgebungsfunktion 208 ein, um eine erreichbare Entfernung 216 zu berechnen. Bei mindestens einer Ausführungsform verknüpfen ein oder mehrere Systeme die Abfrageposition 210 und die Zielposition 212. Bei mindestens einer Ausführungsform ist die Abfrageposition 210 eine Position in der Umgebung und wird durch ein oder mehrere Datenobjekte, Typen und/oder Variationen davon implementiert, die diese Position kodieren. Bei mindestens einer Ausführungsform umfasst die Abfrageposition 210 Koordinatendaten, die eine Position angeben. Bei mindestens einer Ausführungsform ist die Zielposition 212 eine Zielposition in der Umgebung und wird durch ein oder mehrere Datenobjekte, Typen und/oder Variationen davon implementiert, die diese Position kodieren. Bei mindestens einer Ausführungsform umfasst die Zielposition 212 Koordinatendaten, die die Zielposition angeben.
Bei mindestens einer Ausführungsform verarbeitet die implizite Umgebungsfunktion 208 eine Abfrageposition 210 und eine Zielposition 212, um eine erreichbare Entfernung 216 (z.B. einen Umgebungsfeldwert an der Abfrageposition 210) zu bestimmen. Bei mindestens einer Ausführungsform handelt es sich bei der erreichbaren Entfernung 216 um einen Wert für eine erreichbare Entfernung, der durch ein oder mehrere Datenobjekte, Typen und/oder Variationen davon implementiert wird, die den Wert für eine erreichbare Entfernung kodieren. Bei mindestens einer Ausführungsform umfasst die erreichbare Entfernung 216 einen Wert für die erreichbare Entfernung von einer Position in einer Umgebung, die durch die Abfrageposition 210 angegeben wird, zu einer bestimmten Zielposition, die durch die Zielposition 212 in der Umgebung angegeben wird (z.B. die Umgebung, die zur Erzeugung der Trainingsdaten 204 verwendet wurde). Bei mindestens einer Ausführungsform nutzen ein oder mehrere Systeme eine ermittelte erreichbare Entfernung 216 für verschiedene Navigationsaufgaben, wie es in mehr Details mit Bezug zu den 4 - 11 beschrieben ist.
Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme, um eine implizite Funktion auf eine beliebige Umgebung auszudehnen, die implizite Umgebungsfunktion, um sie auf jede beliebige Umgebung und/oder jede beliebige Zielposition zu verallgemeinern, was auch als kontextabhängige implizite Funktion bezeichnet wird. Bei mindestens einer Ausführungsform extrahieren ein oder mehrere Systeme bei gegebenem Szenenkontext (z.B. einer Darstellung einer Umgebung, wie ein Bild oder ein Satz von Punkten) Szenenkontextmerkmale unter Verwendung eines vollständig faltenden Umgebungskodierers. Bei mindestens einer Ausführungsform leiten ein oder mehrere Systeme eine Verknüpfung von Zielkoordinaten, Koordinaten der Abfrageposition und Merkmalen des Szenekontextes, die auf die Abfrageposition ausgerichtet sind, an eine implizite Funktion weiter und regressieren einen Wert für eine erreichbare Entfernung für die Abfrageposition. Bei mindestens einer Ausführungsform vergrößert ein vollständig faltender Umgebungskodierer ein rezeptives Feld an einer Abfrageposition, so dass die implizite Funktion über ausreichende Kontextinformationen verfügt, um eine erreichbare Entfernung zu einem Ziel vorherzusagen. Bei mindestens einer Ausführungsform bewirkt der Abgleich von Merkmalen der Szenenumgebung, dass sich die implizite Funktion auf eine Abfrageposition konzentriert, während andere Kontextinformationen der Szene ignoriert werden. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme verschiedene Modelle für ein neuronales Netz, wie z.B. Hypernetze, um beliebige Umgebungen und Ziele zu kodieren.
Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme eine kontextbezogene implizite Funktion, indem sie verschiedene Umgebungen (z.B. Labyrinthe) zusammen mit erreichbaren Entfernungen, die von einem oder mehreren Algorithmen, Verfahren und/oder Systemen zur Pfadplanung berechnet wurden, als Trainingsdaten verwenden. Bei mindestens einer Ausführungsform sagt die implizite Umgebungsfunktion während der Inferenz ein Umgebungsfeld für eine Umgebung mit einer gegebenen Zielposition voraus oder berechnet es auf andere Weise und wird verwendet, um nach einer realisierbaren Trajektorie von einer beliebigen Startposition zu dieser Zielposition zu suchen.
3 zeigt ein Beispiel 300 für eine implizite Umgebungsfunktion für verschiedene Zielpositionen und Umgebungen, gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 302 eine implizite Umgebungsfunktion 306 unter Verwendung von Trainingsdaten 304, um eine implizite Umgebungsfunktion 308 zu ermitteln. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme eine Abfrageposition 316, eine Zielposition 318 und Merkmale 314, die von einem Kodierer 312 auf der Grundlage von Umgebungsbildern 310 bestimmt wurden, in die implizite Umgebungsfunktion 308 ein, die eine Umgebung durch ein Umgebungsfeld darstellt, das durch Umgebungsfeldvisualisierungen 320A - 320B visualisiert wird, um eine erreichbare Entfernung 322 zu bestimmen. Bei mindestens einer Ausführungsform entsprechen das Trainings-Framework 302, die Trainingsdaten 304, die implizite Umgebungsfunktion 306, die implizite Umgebungsfunktion 308, die Abfrageposition 316, die Zielposition 318, die Umgebungsfeldvisualisierungen 320A - 320B und die erreichbare Entfernung 322 den Begriffen, die im Zusammenhang mit den 1 und 2 beschrieben sind.
Bei mindestens einer Ausführungsform ist das Trainings-Framework 302 eine Sammlung von einer oder mehreren Hardware- und/oder Software-Computerressourcen mit Anweisungen, die bei ihrer Ausführung einen oder mehrere Trainingsverfahren, -funktionen und/oder -operationen für ein neuronales Netz durchführen. Bei mindestens einer Ausführungsform trainiert das Trainings-Framework 302 die implizite Umgebungsfunktion 306 unter Verwendung der Trainingsdaten 304, um die implizite Umgebungsfunktion 308 zu ermitteln. Bei mindestens einer Ausführungsform handelt es sich bei den Trainingsdaten 304 um eine Sammlung von Daten, die eine oder mehrere Reichweiten für eine oder mehrere zugängliche Positionen in einer oder mehreren Umgebungen zu einer oder mehreren Zielpositionen in der einen oder den mehreren Umgebungen umfassen. Bei mindestens einer Ausführungsform werden die Trainingsdaten 304 durch eine oder mehrere Datenstrukturen implementiert, wie z.B. ein Array oder eine Liste oder eine andere geeignete Sammlung von Daten, die Reichweiten, Positionen, Zielpositionen und/oder Umgebungen kodieren.
Bei mindestens einer Ausführungsform werden die Trainingsdaten 304 durch einen oder mehrere Algorithmen, Verfahren und/oder Systeme zur Pfadplanung erzeugt, die auf der Grundlage einer eingegebenen Umgebung (z.B. durch ein Bild, einen Satz von Punkten, Merkmale einer Umgebung und/oder Variationen davon) und einer oder mehrerer Zielpositionen eine oder mehrere erreichbare Entfernungen für jede zugängliche Position in der Umgebung zu der einen oder den mehreren Zielpositionen ausgeben. Bei mindestens einer Ausführungsform werden die Trainingsdaten 304 von einem oder mehreren Systemen erzeugt, indem eine Umgebung und eine oder mehrere zufällig ausgewählte Zielpositionen in einen oder mehrere Algorithmen, Verfahren und/oder Systeme zur Pfadplanung eingegeben werden, um eine oder mehrere erreichbare Entfernungen für jede zugängliche Position in der Umgebung zu der einen oder den mehreren zufällig ausgewählten Zielpositionen zu bestimmen. Bei mindestens einer Ausführungsform werden die Trainingsdaten 304 von einem oder mehreren Algorithmen, Verfahren und/oder Systemen zur Pfadplanung auf der Grundlage einer oder mehrerer Umgebungen erzeugt. Bei mindestens einer Ausführungsform umfassen die Trainingsdaten 304 beispielsweise eine oder mehrere erreichbare Entfernungen für jede zugängliche Position einer ersten Umgebung zu einer oder mehreren Zielpositionen in der ersten Umgebung, eine oder mehrere erreichbare Entfernungen für jede zugängliche Position einer zweiten Umgebung zu einer oder mehreren Zielpositionen in der zweiten Umgebung und so weiter für eine beliebige Anzahl von Umgebungen. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme verschiedene Modelle für ein neuronales Netz und/oder andere geeignete Systeme, um zugängliche und/oder unzugängliche Bereiche für eine Umgebung zu definieren.
Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 302 eine implizite Umgebungsfunktion 306 unter Verwendung von Trainingsdaten 304, um jede geeignete Umgebung mit jeder geeigneten Zielposition durch ein Umgebungsfeld darzustellen. Bei mindestens einer Ausführungsform handelt es sich bei der impliziten Umgebungsfunktion 306 um ein beliebiges geeignetes Modell, einen Algorithmus, eine Darstellung, eine Funktion für ein neuronales Netz und/oder Variationen davon. Bei mindestens einer Ausführungsform umfasst die implizite Umgebungsfunktion 306 verschiedene Modelle für ein neuronales Netz, wie z.B. ein Perzeptronmodell, ein Radialbasisnetz (RBN), einen Auto-Encoder (AE), eine Boltzmann-Maschine (BM), eine Restricted Boltzmann Machine (RBM), ein Deep Belief Network (DBN), ein Deep Convolutional Network (DCN), eine Extreme Learning Machine (ELM), ein Deep Residual Network (DRN), Support Vector Machines (SVM) und/oder Variationen davon.
Bei mindestens einer Ausführungsform trainiert ein Trainings-Framework 302 die implizite Umgebungsfunktion 306, indem Merkmale jeder Umgebung bestimmt werden, die zur Erzeugung der Trainingsdaten 304 verwendet werden. Bei mindestens einer Ausführungsform bestimmt oder erzeugt ein Trainings-Framework 302 Merkmale, die auch als Umgebungsmerkmale, Szenenmerkmale, Szenekontextmerkmale und/oder Variationen davon bezeichnet werden, aus einer Umgebung durch einen Kodierer (z.B. den Kodierer 312). Bei mindestens einer Ausführungsform handelt es sich bei dem Kodierer um ein neuronales Netz, das eine Eingabe verarbeitet und eine Darstellung der Eingabe ausgibt, die auch als Merkmale der Eingabe bezeichnet wird und verschiedene Merkmale der Eingabe anzeigt. Bei mindestens einer Ausführungsform können die Merkmale der Eingabe Hinweise auf verschiedene Details oder andere Eigenschaften der Eingabe umfassen, wie z.B. Kanten, bestimmte Muster, Objekte, Hindernisse, zugängliche/unzugängliche Bereiche, andere Merkmale und/oder Variationen davon. Bei mindestens einer Ausführungsform werden die Merkmale durch eine Merkmalskarte, einen Satz von Merkmalsvektoren oder eine andere geeignete Darstellung dargestellt. Bei mindestens einer Ausführungsform ist der Kodierer ein faltendes neuronales Netz (CNN), ein rückgekoppeltes neuronales Netz (RNN) und/oder Variationen davon. Bei mindestens einer Ausführungsform ist der Kodierer ein auf Faltung basierender Kodierer. Bei mindestens einer Ausführungsform gibt das Trainings-Framework 302 eine Umgebung (z.B. über ein Bild, einen Satz von Punkten oder eine andere Darstellung) in einen Kodierer ein, um Merkmale der Umgebung zu bestimmen, die durch eine von dem Kodierer ausgegebene Merkmalskarte oder eine andere geeignete Darstellung, wie einen oder mehrere Merkmalsvektoren, dargestellt werden.
Bei mindestens einer Ausführungsform führt das Trainings-Framework 302 verschiedene Verfahren zur Anpassung bzw. Ausrichtung von Merkmalen an bestimmte Merkmale auf der Grundlage einer Abfrageposition durch. Bei mindestens einer Ausführungsform führt das Trainings-Framework 302 ein oder mehrere Merkmalanpassungsverfahren an Merkmalen durch, die aus einer Umgebung auf der Grundlage einer Abfrageposition ermittelt wurden und die Abschnitte der Merkmale, die der Abfrageposition entsprechen, abschwächen oder sonst verstärken. Bei mindestens einer Ausführungsform zeigt eine Merkmalskarte Merkmale jeder Position einer Umgebung an, wobei das Trainings-Framework 302 die Merkmalskarte auf der Grundlage einer Abfrageposition in der Umgebung anpasst, indem bestimmte Aspekte der Merkmalskarte, die der Abfrageposition entsprechen (z.B. Merkmale der Abfrageposition), abgeschwächt oder sonst verstärkt werden.
Bei mindestens einer Ausführungsform trainiert das Trainings-Framework 302 die implizite Umgebungsfunktion 306, indem eine Position, eine Zielposition und Merkmale einer Umgebung (z.B. Merkmale, die z.B. auf der Grundlage einer Position ausgerichtet sein können) der Trainingsdaten 304 der impliziten Umgebungsfunktion 306 eingegeben werden, die implizite Umgebungsfunktion 306 veranlasst wird, eine erreichbare Entfernung für die Position zu der Zielposition zu berechnen, die berechnete erreichbare Entfernung für die Position zu der Zielposition mit einer erreichbaren Entfernung der Trainingsdaten 304, die auch als erreichbare Ground-Truth-Entfernung bezeichnet wird und der Position, der Zielposition und der Umgebung entspricht, verglichen wird, ein Verlust unter Verwendung einer oder mehrerer Verlustfunktionen auf der Grundlage des Vergleichs berechnet wird und die implizite Umgebungsfunktion 306 auf der Grundlage des berechneten Verlusts aktualisiert wird. Bei mindestens einer Ausführungsform aktualisiert das Trainings-Framework 302 eine oder mehrere Gewichte, Bias und/oder strukturelle Verbindungen (z.B. Architekturen) und/oder Konfiguration(en) einer oder mehrerer Komponenten) der impliziten Umgebungsfunktion 306, so dass der berechnete Verlust minimiert wird. Bei mindestens einer Ausführungsform berechnet das Trainings-Framework 302 den Verlust unter Verwendung einer beliebigen geeigneten Verlustfunktion, wie z.B. dem Kreuzentropieverlust, dem binären Kreuzentropieverlust, dem Softmax-Verlust, dem logistischen Verlust, dem fokalen Verlust und/oder Variationen davon.
Bei mindestens einer Ausführungsform ist die implizite Umgebungsfunktion 306 trainiert, wenn der berechnete Verlust für diese implizite Umgebungsfunktion 306 unter einem definierten Schwellenwert liegt, der ein beliebiger geeigneter Wert sein kann. Bei mindestens einer Ausführungsform trainiert das Trainings-Framework 302 die implizite Umgebungsfunktion 306, um Entfernungen für Positionen zu jeder geeigneten Zielposition für jede geeignete Umgebung darzustellen. Bei mindestens einer Ausführungsform trainiert das Trainings-Framework 302 die implizite Umgebungsfunktion 306, um die implizite Umgebungsfunktion 308 zu ermitteln, die die implizite Umgebungsfunktion 306 nach einem oder mehreren Trainingsvorgängen ist. Bei mindestens einer Ausführungsform ist die implizite Umgebungsfunktion 308 die trainierte implizite Umgebungsfunktion 306. Bei mindestens einer Ausführungsform verarbeitet die implizite Umgebungsfunktion 308 Umgebungen, die zur Erzeugung der Trainingsdaten 304 verwendet worden sein können oder auch nicht.
Bei mindestens einer Ausführungsform repräsentiert die implizite Umgebungsfunktion 308 eine Umgebung durch ein Umgebungsfeld. Bei mindestens einer Ausführungsform stellt die implizite Umgebungsfunktion 308 eine beliebige geeignete Umgebung mit einer beliebigen Zielposition intern durch eine Umgebungsfelddarstellung dar. Bei mindestens einer Ausführungsform bestimmt die implizite Umgebungsfunktion 308 eine Umgebungsfelddarstellung basierend auf einer eingegebenen Zielposition (z.B. der Zielposition 318) und Merkmalen einer Umgebung (z.B. die Merkmale 314). Bei mindestens einer Ausführungsform stellt die implizite Umgebungsfunktion 308 eine Umgebung (z.B. eine Umgebung, die den Merkmalen 314 entspricht) über ein Umgebungsfeld durch eine oder mehrere Datenstrukturen und/oder Sammlungen von Daten dar, die Positionen der genannten Umgebung und erreichbare Entfernungen für die genannten Positionen zu einer bestimmten Zielposition (z.B. eingegeben über die Zielposition 318) in der genannten Umgebung kodieren.
Bei mindestens einer Ausführungsform wird das Umgebungsfeld durch Umgebungsfeldvisualisierungen 320A - 320B visualisiert. Bei mindestens einer Ausführungsform ist eine Umgebungsfeldvisualisierung ein Bild, bei dem jede Position der Umgebungsfeldvisualisierung einer Position eines Umgebungsfeldes entspricht. Bei mindestens einer Ausführungsform entsprechen unterschiedliche Farben, Schattierungen, Muster und/oder Variationen davon einer Umgebungsfeldvisualisierung unterschiedlicher Werte für eine erreichbare Entfernung. Bei mindestens einer Ausführungsform, die sich auf 3 bezieht, umfassen die Umgebungsfeldvisualisierungen 320A - 320B eine hellere Schattierung für geringere Werte für eine erreichbare Entfernung, eine dunklere Schattierung für höhere Werte für eine erreichbare Entfernung und eine vollständig dunkle Schattierung für unzugängliche Bereiche. Bei mindestens einer Ausführungsform, die sich auf 3 bezieht, bestimmt die implizite Umgebungsfunktion 308 ein Umgebungsfeld, das durch eine Umgebungsfeldvisualisierung 320A visualisiert wird, auf der Grundlage von Merkmalen (z.B. angezeigt durch die Merkmale 314) einer Umgebung, die einem durch den Kodierer 312 bestimmten Umgebungsbild 310A entspricht, und einem ersten Zielpositionswert (z.B. angezeigt durch die Zielposition 318), der einer Zielposition in einer unteren rechten Ecke der Umgebung entspricht, und/oder ein anderes Umgebungsfeld, das durch eine Umgebungsfeldvisualisierung 320B visualisiert wird, basierend auf Merkmalen (z.B. angezeigt durch die Merkmale 314) einer Umgebung, die einem durch den Kodierer 312 bestimmten Umgebungsbild 310B entspricht, und einem zweiten Zielpositionswert (z.B. angezeigt durch die Zielposition 318), der einer Zielposition in einer oberen rechten Ecke der Umgebung entspricht.
Bei mindestens einer Ausführungsform umfassen die Umgebungsbilder 310 Bilder oder andere Darstellungen, wie z.B. Punktmengen, von Umgebungen. Bei mindestens einer Ausführungsform entspricht eine Darstellung einer Umgebung einem Umgebungskontext und/oder einem Szenenkontext. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme eine Umgebung (z.B. über ein Bild oder eine andere Darstellung von Umgebungsbildern 310, die eine Umgebung repräsentieren) in einen Kodierer 312 ein, um Merkmale der Umgebung zu bestimmen, die durch eine von dem Kodierer 312 ausgegebene Merkmalskarte oder eine andere geeignete Darstellung, wie z.B. einen oder mehrere Merkmalsvektoren, dargestellt werden. Bei mindestens einer Ausführungsform führen ein oder mehrere Systeme auf der Grundlage einer Abfrageposition (z.B. angegeben durch die Abfrageposition 316) verschiedene Merkmalanpassungsverfahren auf die ermittelten Merkmale durch. Bei mindestens einer Ausführungsform führen ein oder mehrere Systeme einen oder mehrere Merkmalanpassungsverfahren auf Merkmalen durch, die aus einer Umgebung (z.B. durch ein Bild oder eine andere Darstellung) auf der Grundlage einer Abfrageposition ermittelt wurden, was Abschnitte der Merkmale, die der Abfrageposition entsprechen, abschwächen oder sonst verstärken. Bei mindestens einer Ausführungsform zeigt eine Merkmalskarte Merkmale jeder Position einer Umgebung an, wobei ein oder mehrere Systeme die Merkmalskarte auf der Grundlage einer Abfrageposition in der Umgebung anpassen, indem sie bestimmte Aspekte der Merkmalskarte, die der Abfrageposition entsprechen (z.B. Merkmale der Abfrageposition), abschwächen oder sonst verstärken.
Bei mindestens einer Ausführungsform umfassen die Merkmale 314 Merkmale, die von einem Kodierer 312 auf der Grundlage einer Umgebung (z.B. einer Umgebung, die durch eine Darstellung von Umgebungsbildern 310 repräsentiert wird) ausgegeben werden (z.B. eine Merkmalskarte). Bei mindestens einer Ausführungsform umfassen die Merkmale 314 Merkmale, die von dem Kodierer 312 auf der Grundlage einer Umgebung (z.B. einer Umgebung, die durch eine Darstellung von Umgebungsbildern 310 repräsentiert wird) ausgegeben werden und die durch einen oder mehrere Anpassungsverfahren auf der Grundlage der Abfrageposition 316 verarbeitet wurden (z.B. eine angepasste Merkmalskarte).
Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme Merkmale 314, eine Abfrageposition 316 und eine Zielposition 318 in eine implizite Umgebungsfunktion 308 ein, um eine erreichbare Entfernung 322 zu berechnen. Bei mindestens einer Ausführungsform verknüpfen ein oder mehrere Systeme die eingegebenen Merkmale 314, die Abfrageposition 316 und die Zielposition 318. Bei mindestens einer Ausführungsform ist eine Abfrageposition 316 eine Position in einer Umgebung und wird durch ein oder mehrere Datenobjekte, Typen und/oder Variationen davon implementiert, die diese Position kodieren. Bei mindestens einer Ausführungsform umfasst eine Abfrageposition 316 Koordinatendaten, die eine Position angeben. Bei mindestens einer Ausführungsform ist eine Zielposition 318 eine Zielposition in einer Umgebung und wird durch ein oder mehrere Datenobjekte, Typen und/oder Variationen davon implementiert, die diese Position kodieren. Bei mindestens einer Ausführungsform umfasst eine Zielposition 318 Koordinatendaten, die eine Zielposition angeben.
Bei mindestens einer Ausführungsform verarbeitet eine implizite Umgebungsfunktion 308 Merkmale 314, eine Abfrageposition 316 und eine Zielposition 318, um eine erreichbare Entfernung 322 (z.B. einen Umgebungsfeldwert an der Abfrageposition 316) zu bestimmen. Bei mindestens einer Ausführungsform handelt es sich bei der erreichbaren Entfernung 322 um einen Wert für eine erreichbare Entfernung, der durch ein oder mehrere Datenobjekte, Typen und/oder Variationen davon implementiert wird, die den Wert für die erreichbare Entfernung kodieren. Bei mindestens einer Ausführungsform umfasst eine erreichbare Entfernung 322 einen Wert für eine erreichbare Entfernung für eine Umgebung, die den Merkmalen 314 entspricht (z.B. eine Umgebung, die zur Erzeugung der Merkmale 314 verwendet wird), von einer Position in der Umgebung, die durch die Abfrageposition 316 angegeben wird, bis zu einer bestimmten Zielposition, die durch die Zielposition 318 in der Umgebung angegeben wird.
Bei mindestens einer Ausführungsform zeigt eine Abfrageposition 316 eine oder mehrere Positionen in einer Umgebung an, die den Merkmalen 314 entsprechen (z.B. eine Umgebung, die zur Erzeugung der Merkmale 314 verwendet wird), wobei die erreichbare Entfernung 322 einen Wert für eine erreichbare Entfernung für jede Position der einen oder mehreren Positionen zu einer bestimmten Zielposition umfasst, die durch die Zielposition 318 in der Umgebung angezeigt wird. Bei mindestens einer Ausführungsform umfasst das Merkmal 314 ein oder mehrere Merkmale, die jeweils an eine bestimmte Position der Abfrageposition 316 angepasst sind. Bei mindestens einer Ausführungsform berechnet eine implizite Umgebungsfunktion 308 eine beliebige Anzahl von Werten für erreichbare Entfernungen für eine beliebige Anzahl von Abfragepositionen zu einer bestimmten Zielposition in einem einzigen Vorwärtsdurchlauf. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme die ermittelte erreichbare Entfernung 322, um eine Vielzahl von Pfaden für verschiedene Navigationsaufgaben zu bestimmen, wie es weiter im Detail in den 4 - 11 beschrieben wird.
4 zeigt gemäß mindestens einer Ausführungsform ein Beispiel 400 für einen Agenten, der unter Verwendung einer impliziten Umgebungsfunktion zu einem Ziel navigiert wird. Bei mindestens einer Ausführungsform navigiert ein Agent 404 zu einem Ziel 408 unter Verwendung einer impliziten Umgebungsfunktion, wie sie an anderer Stelle in dieser Offenbarung beschrieben ist. Bei mindestens einer Ausführungsform ist der Agent 404 eine beliebige geeignete Entität, die in einer Umgebung navigieren kann. Bei mindestens einer Ausführungsform ist der Agent 404 eine autonome Einrichtung, die einem oder mehreren Systemen zugeordnet ist, die eine oder mehrere implizite Umgebungsfunktionen implementieren oder anderweitig nutzen. Bei mindestens einer Ausführungsform ist die autonome Einrichtung eine Einrichtung wie ein autonomes Fahrzeug, ein autonomes Flugzeug (z.B. eine Drohne), ein Roboter und/oder Variationen davon. Bei mindestens einer Ausführungsform umfasst der Agent 404 ein oder mehrere Systeme mit einer oder mehreren Hardware- und/oder Softwareressourcen, die eine oder mehrere implizite Umgebungsfunktionen implementieren oder anderweitig nutzen. Bei mindestens einer Ausführungsform kommuniziert der Agent 404 mit einem oder mehreren Systemen, die eine oder mehrere Hardware- und/oder Softwareressourcen umfassen, die eine oder mehrere implizite Umgebungsfunktionen implementieren oder anderweitig nutzen. Bei mindestens einer Ausführungsform wird eine implizite Umgebungsfunktion durch ein oder mehrere Verfahren trainiert, wie sie in Verbindung mit den 1 - 3 beschrieben sind.
Bei mindestens einer Ausführungsform handelt es sich bei der Umgebung 402 um eine beliebige geeignete Umgebung, wie z.B. verschiedene Innenumgebungen, Außenumgebungen, Labyrinthumgebungen und/oder Variationen davon. Bei mindestens einer Ausführungsform handelt es sich bei der Umgebung 402 um eine physische Umgebung. Bei mindestens einer Ausführungsform ist der Agent 404 eine virtuelle Einheit, wobei die Umgebung 402 eine virtuelle oder anderweitig simulierte Umgebung ist. Bei mindestens einer Ausführungsform umfasst die Umgebung 402 verschiedene unzugängliche Bereiche, die in 4 durch vollständig dunkel schattierte Bereiche dargestellt sind. Bei mindestens einer Ausführungsform entsprechen die unzugänglichen Bereiche den Bereichen, die für den Agenten 404 unzugänglich sind. Bei mindestens einer Ausführungsform handelt es sich bei dem Agenten 404 beispielsweise um ein autonomes Fahrzeug, bei dem die unzugänglichen Bereiche Hindernissen, Objekten und/oder Varianten davon entsprechen, die das autonome Fahrzeug nicht befahren oder durchfahren kann, wie z.B. ein Gebäude oder ein anderes Fahrzeug. Bei mindestens einer Ausführungsform umfasst eine Umgebung 402 ein Ziel 408.
Bei mindestens einer Ausführungsform bezeichnet ein Ziel 408 eine Position, auch als Ort bezeichnet, in einer Umgebung 402. Bei mindestens einer Ausführungsform ist das Ziel 408 eine Position in der Umgebung 402, zu der der Agent 404 navigieren soll. Bei mindestens einer Ausführungsform definieren ein oder mehrere Systeme eine Navigationsaufgabe, die angibt, dass ein Agent 404 durch eine Umgebung 402 zu einem Ziel 408 navigieren soll. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme Merkmale der Umgebung 402 in eine implizite Umgebungsfunktion ein. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme Merkmale der Umgebung 402, indem sie eine Darstellung dieser Umgebung 402 verarbeiten. Bei mindestens einer Ausführungsform wird die Umgebung 402 auf jede geeignete Weise dargestellt, z.B. durch ein Bild, einen Satz von Punkten, eine Punktwolke, einen Satz von Voxeln und/oder Variationen davon. Bei mindestens einer Ausführungsform wird die Umgebung durch eine beliebige geeignete 2D-Darstellung, wie z.B. ein Bild, einen Satz von Punkten und/oder Variationen davon, oder eine beliebige geeignete 3D-Darstellung, wie z.B. ein Bild mit Tiefeninformationen, eine Punktwolke, ein Satz von Voxeln und/oder Variationen davon, dargestellt.
Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme Merkmale der Umgebung 402, indem die Darstellung der Umgebung 402 in einen oder mehrere Kodierer eingeben wird, die diese Merkmale ausgeben. Bei mindestens einer Ausführungsform führen ein oder mehrere Systeme verschiedene Merkmalanpassungsverfahren an Merkmalen durch, um ein oder mehrere ausgerichtete Merkmale zu bestimmen, die jeweils an eine bestimmte Position der Umgebung 402 angepasst sind. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme Merkmale der Umgebung und eine Angabe einer Position des Ziels 408 in eine implizite Umgebungsfunktion ein. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme eine Angabe über eine oder mehrere Positionen der Umgebung 402, ein oder mehrere Merkmale (z.B. Merkmale, die an die eine oder die mehreren Positionen angepasst sind) und eine Angabe über eine Position des Ziels 408 in eine implizite Umgebungsfunktion ein. Bei mindestens einer Ausführungsform entspricht die Angabe einer Position jeder geeigneten Angabe der Position, wie z.B. Koordinatendaten oder andere Angaben.
Bei mindestens einer Ausführungsform gibt die implizite Umgebungsfunktion einen Wert für eine erreichbare Entfernung für jede Position (z.B. jede zugängliche Position) in einer Umgebung 402 zu dem Ziel 408 aus. Bei mindestens einer Ausführungsform gibt die implizite Umgebungsfunktion einen Wert für eine erreichbare Entfernung für jede Position aus, die in die implizite Umgebungsfunktion eingegeben wird. Bei mindestens einer Ausführungsform visualisieren ein oder mehrere Systeme ein Umgebungsfeld für die Umgebung 402 unter Verwendung von Werten für erreichbare Entfernungen, indem jeder Wert für eine erreichbare Entfernung für jede Position der Umgebung 402 durch ein bestimmtes Farbschema, Schattierungsschema und/oder Variationen davon visualisiert wird. Bei mindestens einer Ausführungsform visualisieren beispielsweise ein oder mehrere Systeme ein Umgebungsfeld, indem sie bestimmten Werten für erreichbare Entfernungen unterschiedliche Schattierungen zuweisen, wie z.B. eine hellere Schattierung für niedrigere Werte für erreichbare Entfernungen, eine dunklere Schattierung für höhere Werte für erreichbare Entfernungen und eine völlig dunkle Schattierung für unzugängliche Bereiche.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme die Werte für erreichbare Entfernungen, um einen Agenten 404 zu dem Ziel 408 zu führen. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme einen Wert für eine erreichbare Entfernung für jede Position, die für einen Agenten 404 von seiner aktuellen Position aus erreichbar ist. Bei mindestens einer Ausführungsform definieren ein oder mehrere Systeme eine Schrittgröße für den Agenten 404, die einer Länge jedes Bewegungsschritts entspricht, den der Agent 404 unternehmen kann, wobei das eine oder die mehreren Systeme den Wert für eine erreichbare Entfernung für jede Position bestimmen, die für einen Agenten 404 durch einen Schritt ausgehend von seiner aktuellen Position zugänglich ist, wobei die Größe des Schritts der definierten Schrittgröße entspricht. Bei mindestens einer Ausführungsform entspricht der Schritt einem Schritt der Bewegung oder Navigation einer Entität. Bei mindestens einer Ausführungsform bezieht sich die Schrittgröße darauf, wie weit sich die Entität pro Schritt bewegt. Bei mindestens einer Ausführungsform kann die Schrittgröße ein beliebiger geeigneter Entfernungswert sein. Bei mindestens einer Ausführungsform stellen ein oder mehrere Systeme die Umgebung 402 durch ein Gitter dar, in dem jede Gitterzelle eine Position repräsentiert, und der Agent 404 kann sich zu jeder Gitterzelle bewegen, die von der aktuellen Gitterzelle des Agenten 404 unmittelbar zugänglich ist. Bei mindestens einer Ausführungsform kann die Größe einer Gitterzelle einen beliebigen Wert annehmen. Bei mindestens einer Ausführungsform kann sich der Agent 404 vom Zentrum einer Gitterzelle zum Zentrum einer benachbarten zugänglichen Gitterzelle bewegen. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme einen Wert für eine erreichbare Entfernung für jede Gitterzelle, die für den Agenten 404 von seiner aktuellen Gitterzelle aus zugänglich ist.
Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme einen Wert für eine erreichbare Entfernung für jede Position, die von der aktuellen Position des Agenten 404 aus über einen Schritt erreichbar ist. Bei mindestens einer Ausführungsform entspricht die Größe eines Schritts des Agenten 404 einer durch eine oder mehrere Bewegungen des Agenten 404 zurückgelegten Strecke und kann ein beliebiger geeigneter Entfernungswert sein. Bei mindestens einer Ausführungsform handelt es sich bei dem Agenten 404 beispielsweise um einen autonomen Roboter, der Roboterbeine, Räder und/oder andere Hardware für die Bewegung umfasst, wobei die Größe eines Schritts einer durch einen oder mehrere Schritte der Roboterbeine zurückgelegten Strecke, einer durch eine oder mehrere Umdrehungen der Räder zurückgelegten Strecke und/oder Variationen davon entspricht. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme eine Position mit einem minimalen Wert für eine erreichbare Entfernung aus einem Satz von Positionen, die durch einen Schritt von der aktuellen Position des Agenten 404 aus erreichbar sind, bestimmen einen Pfad zu dieser Position und veranlassen den Agenten 404, unter Verwendung dieses Pfades zu dieser Position zu navigieren. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme eine Position mit einem minimalen Erreichbarkeitsdistanzwert aus einer Menge von Positionen, indem sie jeden Wert für eine erreichbare Entfernung jeder Position der Menge von Positionen vergleichen und bestimmen, welche Position der Menge von Positionen den minimalen Wert für die erreichbare Entfernung hat. Bei mindestens einer Ausführungsform wird eine Position mit einem minimalen Wert für die erreichbare Entfernung, einem maximalen Wert für eine erreichbare Entfernung, einem Wert für eine erreichbare Entfernung unter einem Schwellenwert oder einem beliebigen geeigneten Wert für eine erreichbare Entfernung bestimmt. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme die Werte für erreichbare Entfernungen, um eine Vielzahl von Pfaden (z.B. die Pfade 406A - 406E) zu berechnen, die eine Entität (z.B. ein Agent) entlanglaufen oder anderweitig navigieren soll.
Bei mindestens einer Ausführungsform veranlassen ein oder mehrere Systeme einen Agenten dazu, zu einer oder mehreren Positionen zu navigieren, bis der Agent innerhalb einer Schrittgröße von einem Ziel entfernt ist und zu diesem Ziel navigieren kann, wobei das eine oder die mehreren Systeme den Agenten dazu veranlassen, zu diesem Ziel zu navigieren. Bei mindestens einer Ausführungsform, z.B. für eine Navigationsaufgabe, bestimmen ein oder mehrere Systeme eine erste Position mit einem minimalen Wert für eine erreichbare Entfernung einer ersten Gruppe von Positionen, die durch einen Schritt von einer aktuellen Position des Agenten aus erreichbar sind, bestimmen einen ersten Pfad zu dieser ersten Position und veranlassen den Agenten, über diesen ersten Pfad zu dieser ersten Position zu navigieren, wobei das eine oder die mehreren Systeme dann eine zweite Position mit einem minimalen Wert für eine erreichbare Entfernung einer zweiten Menge von Positionen bestimmen, die durch einen Schritt von einer neuen aktuellen Position des Agenten aus erreichbar sind, einen zweiten Pfad zu dieser zweiten Position bestimmen und den Agenten veranlassen, über den zweiten Pfad zu dieser zweiten Position zu navigieren und so weiter, bis der Agent sich an einer Position innerhalb einer Schrittgröße von einer Zielposition befindet, wobei das eine oder die mehreren Systeme den Agenten veranlassen können, zu dieser Zielposition zu navigieren, um die Navigationsaufgabe abzuschließen.
Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, zeigt der Pfad 406A einen Pfad zu einer Position mit einem minimalen Wert für eine erreichbare Entfernung aus einer Menge von Positionen an, die durch einen Schritt von einer aktuellen Position des Agenten 404 aus erreichbar sind. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, veranlassen ein oder mehrere Systeme den Agenten 404, über den Pfad 406A zu einer ersten Position zu navigieren. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, bestimmen ein oder mehrere Systeme dann eine zweite Position mit einem minimalen Wert für eine erreichbare Entfernung aus einer Menge von Positionen, die durch einen Schritt von der ersten Position des Agenten 404 aus erreichbar sind, und bestimmen einen Pfad 406B von der ersten Position zu der zweiten Position. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, veranlassen ein oder mehrere Systeme den Agenten 404, über den Pfad 406B zu der zweiten Position zu navigieren. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, bestimmen ein oder mehrere Systeme dann eine dritte Position mit einem minimalen Wert für eine erreichbare Entfernung aus einer Menge von Positionen, die durch einen Schritt von der zweiten Position des Agenten 404 aus erreichbar sind, und bestimmen einen Pfad 406C von der zweiten Position zu der dritten Position. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, veranlassen ein oder mehrere Systeme den Agenten 404, über einen Pfad 406C zu der dritten Position zu navigieren. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, bestimmen ein oder mehrere Systeme dann eine vierte Position mit einem minimalen Wert für eine erreichbare Entfernung aus einer Menge von Positionen, die durch einen Schritt von der dritten Position des Agenten 404 aus erreichbar sind, und bestimmen einen Pfad 406D von der dritten Position zu der vierten Position. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, veranlassen ein oder mehrere Systeme den Agenten 404, über einen Pfad 406D zu einer vierten Position zu navigieren. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, stellen ein oder mehrere Systeme dann fest, dass ein Ziel 408 durch einen Schritt von der vierten Position des Agenten 404 erreichbar ist, und bestimmen einen Pfad 406E von der vierten Position zu dem Ziel 408. Bei mindestens einer Ausführungsform, die sich auf 4 bezieht, veranlassen ein oder mehrere Systeme den Agenten 404, über den Pfad 406E zu dem Ziel 408 zu navigieren.
Bei mindestens einer Ausführungsform navigieren ein oder mehrere Systeme einen Agenten durch eine Umgebung, indem sie einen oder mehrere Werte für erreichbare Entfernungen für eine oder mehrere Positionen bestimmen, die von der aktuellen Position des Agenten aus erreichbar sind, indem sie einen oder mehrere Werte für erreichbare Entfernungen für eine oder mehrere Positionen bestimmen, die von der aktuellen Position des Agenten aus über einen Schritt erreichbar sind, wobei die Größe des Schritts vorgegeben ist, indem sie die Umgebung durch ein Gitter darstellen und einen oder mehrere Werte für erreichbare Entfernungen für eine oder mehrere Gitterzellen bestimmen, die von der aktuellen Gitterzelle des Agenten aus erreichbar sind, und/oder durch Variationen davon. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine implizite Umgebungsfunktion, um eine Vielzahl von Pfaden, auch als eine Vielzahl von Trajektorien und/oder eine Trajektorie bezeichnet, für einen Agenten zu berechnen, die er entlanglaufen oder anderweitig zu einem Ziel navigieren kann.
5 veranschaulicht ein Beispiel 500 von Umgebungsfeldern für eine Navigationsumgebung für mehrere Personen, gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform illustriert 5 Umgebungsfelder aus einer Draufsicht, die auch Vogelperspektive genannt wird, auf eine Umgebung. Bei mindestens einer Ausführungsform entsprechen eine Szene 502A, eine Szene 502B, eine Umgebungsfeld-Visualisierung 504A und eine Umgebungsfeld-Visualisierung 504B den an anderer Stelle in dieser Offenbarung beschriebenen.
Bei mindestens einer Ausführungsform handelt es sich bei der Szene 502A und/oder der Szene 502B um eine Draufsicht auf eine Umgebung. Bei mindestens einer Ausführungsform handelt es sich bei der Szene 502A und/oder der Szene 502B um eine Draufsicht auf eine 3D-Umgebung. Bei mindestens einer Ausführungsform erfassen ein oder mehrere Systeme die Szene 502A und/oder die Szene 502B mit einer Tiefenkamera oder einer anderen geeigneten Hardware, die Tiefeninformationen erfassen kann. Bei mindestens einer Ausführungsform umfassen die Bilder der Szene 502A und/oder der Szene 502B Tiefeninformationen, die jedem Pixel der Bilder zugeordnet sind.
Bei mindestens einer Ausführungsform definieren ein oder mehrere Systeme zur Modellierung des menschlichen Gehens einen Bodenbereich als einen für Menschen zugänglichen Bereich in einer 3D-Szene aus der Vogelperspektive. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme die Tiefe jedes Pixels in einer Darstellung aus der Vogelperspektive und kennzeichnen Pixel mit maximaler Tiefe als Boden. Bei mindestens einer Ausführungsform bezeichnen ein oder mehrere Systeme alle Pixel, die zu einem Bodenbereich gehören, als zugänglich und andere Pixel als Hindernisse, die auch als unzugänglich bezeichnet werden. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme ein Bild aus der Vogelperspektive mit gekennzeichneten zugänglichen und unzugänglichen Bereichen, um eine implizite Umgebungsfunktion zu trainieren. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme sowohl beliebige Zielpositionen als auch beliebige Umgebungen, um eine implizite Umgebungsfunktion zu trainieren, die ein Umgebungsfeld eines beliebigen Bildes aus der Vogelperspektive bestimmt.
Bei mindestens einer Ausführungsform suchen ein oder mehrere Systeme während der Inferenz bei gegebener Start- und Zielposition nach einer realisierbaren Trajektorie, die einen Menschen von der Startposition zu dem Ziel navigieren lässt, während Kollisionen mit Hindernissen in einem Raum vermieden werden. Bei mindestens einer Ausführungsform definieren ein oder mehrere Systeme eine menschliche Schrittgröße, die ein Wert sein kann, der der durchschnittlichen menschlichen Schrittgröße angenähert ist, und bewegen einen Menschen einen Schritt in eine Richtung, die eine größtmögliche Verringerung der erreichbaren Entfernung ergibt. Bei mindestens einer Ausführungsform wiederholen ein oder mehrere Systeme diesen Vorgang, bis der Mensch das Ziel erreicht. Bei mindestens einer Ausführungsform richten ein oder mehrere Systeme bei einer gesuchten Trajektorie aus der Vogelperspektive eine bestehende menschliche Lauffolge daran aus, indem sie eine menschliche Pose bei jedem Zeitschritt in Richtung einer Tangente an die Trajektorie drehen.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme die implizite Umgebungsfunktion, um mehrere Personen in einer Umgebung mit mehreren Personen zu navigieren. Bei mindestens einer Ausführungsform illustriert 5 eine Navigationsaufgabe in einer Umgebung mit mehreren Personen. Bei mindestens einer Ausführungsform stellt die Szene 502A eine Szene zu einem ersten Zeitpunkt dar, in der ein Mensch 506A zu einem Ziel navigieren soll. Bei mindestens einer Ausführungsform bezeichnen ein oder mehrere Systeme einen Menschen 508A als ein Hindernis. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme Merkmale der Szene 502A in die implizite Umgebungsfunktion ein, um Werte für erreichbare Entfernungen zu ermitteln, und erzeugen eine Umgebungsfeldvisualisierung 504A auf der Grundlage dieser Werte für die erreichbaren Entfernungen. Bei mindestens einer Ausführungsform navigieren ein oder mehrere Systeme den Menschen 506A auf der Grundlage der Umgebungsfeldvisualisierung 504A. Bei mindestens einer Ausführungsform stellt die Szene 502B eine Szene zu einem zweiten Zeitpunkt dar, in der sich ein Mensch 506B (z.B. entsprechend einem Menschen 506A) im Rahmen einer Navigationsaufgabe bewegt hat, und wobei sich der Mensch 508B (z.B. entsprechend dem Menschen 508A) ebenfalls bewegt hat. Bei mindestens einer Ausführungsform bezeichnen ein oder mehrere Systeme den Menschen 508B als ein Hindernis. Bei mindestens einer Ausführungsform geben ein oder mehrere Systeme Merkmale der Szene 502B in die implizite Umgebungsfunktion ein, um Werte für erreichbare Entfernungen zu ermitteln, und erzeugen eine Umgebungsfeldvisualisierung 504B auf der Grundlage dieser Werte für die erreichbaren Entfernungen. Bei mindestens einer Ausführungsform navigieren ein oder mehrere Systeme den Menschen 506B auf der Grundlage der Umgebungsfeldvisualisierung 504B. Bei mindestens einer Ausführungsform ändert sich das Umgebungsfeld dynamisch auf der Grundlage von Änderungen in der Umgebung. Bei mindestens einer Ausführungsform kann das Umgebungsfeld beliebig oft für eine beliebige Anzahl von Änderungen der Umgebung erzeugt werden, indem Merkmale eingegeben werden, die einem aktuellen Zustand der Umgebung entsprechen. Bei mindestens einer Ausführungsform bezeichnen ein oder mehrere Systeme während des Trainings der impliziten Umgebungsfunktion zufällige Räume als Hindernisse, um eine beliebige Szene mit beliebigen Hindernissen zu imitieren, auf die man während der Inferenz treffen kann.
6 veranschaulicht ein Beispiel 600 für die Verwendung eines impliziten Umgebungsfeldes für eine 3D-Umgebung, gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine implizite Umgebungsfunktion, um eine 3D-Umgebung 602 zu verarbeiten, um eine Visualisierung 604 eines zugänglichen Bereichs, eine Umgebungsfeldvisualisierung 606 und eine Trajektorienvisualisierung 608 zu bestimmen. Bei mindestens einer Ausführungsform entspricht die Umgebungsfeldvisualisierung 606 den an anderer Stelle in dieser Offenbarung beschriebenen.
Bei mindestens einer Ausführungsform handelt es sich bei der 3D-Umgebung 602 um eine beliebige geeignete Umgebung, wie z.B. verschiedene Innenumgebungen, Außenumgebungen, Labyrinthumgebungen und/oder Variationen davon. Bei mindestens einer Ausführungsform handelt es sich bei der 3D-Umgebung 602 um eine physische Umgebung. Bei mindestens einer Ausführungsform handelt es sich bei der 3D-Umgebung 602 um eine Umgebung, durch die eine Entität im Rahmen einer Navigationsaufgabe zu einem Ziel navigieren soll.
Bei mindestens einer Ausführungsform definieren ein oder mehrere Systeme zugängliche Bereiche für 3D-Umgebungen, die auch als 3D-Szenen bezeichnet werden. Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme ein generatives bzw. erzeugendes Modell, um einen für Menschen zugänglichen Bereich in einer 3D-Umgebung zu erzeugen. Bei mindestens einer Ausführungsform erlernen ein oder mehrere Systeme die Verteilung von Positionen des menschlichen Oberkörpers in 3D-Szenen, abhängig von einem Szenenkontext, durch einen Variations-Autokodierer (Variational Auto-Encoder (VAE)). Bei mindestens einer Ausführungsform generieren ein oder mehrere Systeme Merkmale aus einer Szenepunktwolke, indem sie eine oder mehrere Schichten, wie z.B. eine Pooling-Schicht eines Netzwerks bzw. Netzes wie Point Net, als Szenekontextmerkmal verwenden. Bei mindestens einer Ausführungsform bilden ein oder mehrere Systeme ein Kontextmerkmal zusammen mit den Beobachtungen der Position des menschlichen Oberkörpers mit Hilfe eines Kodierers auf eine Normalverteilung ab. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme einen Dekodierer, der die Position des menschlichen Oberkörpers aus einer Verkettung von Rauschabtastungen aus einer Normalverteilung und einem Szenekontextmerkmal rekonstruiert. Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme einen VAE unter Verwendung eines Rekonstruktionsziels für die Position des menschlichen Oberkörpers zusammen mit einem Ziel wie z.B. einem Kullback-Leibler (KL) Divergenzziel. Bei mindestens einer Ausführungsform nehmen ein oder mehrere Systeme während der Inferenz eine Stichprobe von Zufallsrauschen aus einer Standardnormalverteilung, um realisierbare Positionen für menschliche Oberkörper zu generieren, um einen zugänglichen Bereich in einer 3D-Szene zu formulieren. Bei mindestens einer Ausführungsform projizieren ein oder mehrere Systeme, um darüber hinaus eine verrauschte Erzeugung durch ein VAE-Modell zu unterdrücken und Orte herauszufiltern, die möglicherweise zu Kollisionen mit Möbeln in einem Raum führen, alle erzeugten Orte auf eine Vogelperspektive und entfernen Orte, die auf Möbel oder Wände fallen. Bei mindestens einer Ausführungsform ist eine Visualisierung 604 der zugänglichen Bereiche eine Visualisierung der generierten zugänglichen Bereiche, in denen ein VAE plausible Orte vorhersagt, die für Menschen geeignet sind, um zu sitzen, zu gehen usw. und dabei Kollisionen mit Möbeln in einem Raum zu vermeiden. Bei mindestens einer Ausführungsform breitet sich ein generierter zugänglicher Bereich gleichmäßig in einem 3D-Raum aus und ist für alle Arten menschlicher Handlungen plausibel. Bei mindestens einer Ausführungsform sind zum Beispiel Punkte auf einem Hindernis wie einem Stuhl oder einem Sofa mögliche Orte für sitzende menschliche Oberkörper, während Punkte in der Luft mögliche Orte für gehende menschliche Oberkörper sind.
Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme eine implizite Umgebungsfunktion, um einen vollständigen 3D-Raum zu modellieren. Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme die implizite Umgebungsfunktion, um eine bestimmte 3D-Umgebung zu modellieren. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme für das Training der impliziten Umgebungsfunktion beliebige Zielpositionen in einer festen Szenenumgebung. Bei mindestens einer Ausführungsform ist eine Eingabe für eine implizite Funktion eine Verknüpfung von Zielkoordinaten und Abfragepositionskoordinaten. Bei mindestens einer Ausführungsform ist die Ausgabe eine erreichbare Entfernung von einer Abfrageposition zu einem Ziel. Bei mindestens einer Ausführungsform diskretisieren ein oder mehrere Systeme eine 3D-Szene in ein Voxel-Gitter beliebiger Größe (z.B. ein 64 x 64 x 64 Voxel-Gitter) und markieren alle Voxel-Zellen innerhalb eines erzeugten zugänglichen Bereichs als zugängliche und andere Voxel-Zellen als Hindernisse, die auch als unzugänglich bezeichnet werden. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme eine Trajektorie, um eine Entität von einem Startort zu einem Ziel zu navigieren, indem sie zumindest eine implizite Funktion für erreichbare Entfernungen an allen möglichen Positionen, die die Entität erreichen kann, abfragen und die Entität zu einer Position mit der kleinsten erreichbaren Entfernung navigieren, bis die Entität das Ziel erreicht. Bei mindestens einer Ausführungsform legen ein oder mehrere Systeme eine Schrittgröße als durchschnittliche menschliche Schrittgröße fest und bestimmen alle möglichen Richtungen, die ein Mensch in einem 3D-Raum einnehmen kann. Bei mindestens einer Ausführungsform ist eine Umgebungsfeldvisualisierung 606 eine Visualisierung eines Umgebungsfeldes, das durch eine implizite Umgebungsfunktion bestimmt wird, die zur Modellierung einer bestimmten 3D-Umgebung trainiert wurde. Bei mindestens einer Ausführungsform stellt eine Umgebungsfeldvisualisierung 606 eine hellere Schattierung für geringere Werte einer erreichbaren Entfernung und eine dunklere Schattierung für höhere Werte einer erreichbaren Entfernung dar. Bei mindestens einer Ausführungsform ist in einem Umgebungsfeld der Wert für die erreichbare Entfernung eines Punktes umso kleiner, je näher er sich an dem Ziel befindet.
Bei mindestens einer Ausführungsform ist eine Trajektorienvisualisierung 608 eine Visualisierung einer Trajektorie, die von einem oder mehreren Systemen für eine Entität berechnet wurde, um zu einem Ziel zu navigieren. Bei mindestens einer Ausführungsform berechnen ein oder mehrere Systeme eine Trajektorie, die eine Vielzahl von Pfaden umfasst. Bei mindestens einer Ausführungsform optimieren ein oder mehrere Systeme die Trajektorie auf der Grundlage einer gegebenen Posenfolge und garantieren, dass ein Mensch zu physisch realisierbaren Orten navigiert wird; dies ergibt eine plausible Trajektorie, die an einer gegebene menschlichen Posenfolge ausgerichtet bzw. angepasst ist. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme bei jedem Schritt eine Schrittgröße, die aus benachbarten Positionen in einer Posenfolge berechnet wird, anstatt einer vordefinierten durchschnittlichen Schrittgröße. Bei mindestens einer Ausführungsform prüfen ein oder mehrere Systeme für jede mögliche Position, die der Mensch innerhalb einer Schrittgröße erreichen kann, ob der Mensch gut Halt hat und an diesen Positionen nicht mit anderen Objekten kollidiert, und bewegen den Menschen zu einer Position mit dem kleinsten Wert für die erreichbare Entfernung, wobei diese Einschränkungen und/oder andere Einschränkungen berücksichtigt werden. Bei mindestens einer Ausführungsform prüfen ein oder mehrere Systeme, um festzustellen, ob eine Pose ausreichend Halt hat, ob die Gelenke des Rumpfes, der linken Hüfte und/oder der rechten Hüfte bei sitzenden Posen sowie die Fußgelenke bei stehenden Posen Abstände mit nicht positivem Vorzeichen zu einer Szenenoberfläche aufweisen. Bei mindestens einer Ausführungsform prüfen ein oder mehrere Systeme, um festzustellen, ob eine Pose mit anderen Objekten kollidiert, ob alle Gelenke einer Pose, mit Ausnahme verschiedener Stützgelenke, Abstände mit nicht negativem Vorzeichen aufweisen. Bei mindestens einer Ausführungsform bestimmen ein oder mehrere Systeme auf der Grundlage verschiedener Posen einer Entität eine in einer Trajektorienvisualisierung 608 dargestellte Trajektorie für die Entität (z.B. einen Menschen), um zu einem Ziel zu navigieren. Bei mindestens einer Ausführungsform vermeidet die Trajektorie erfolgreich die Kollision mit Hindernissen (z.B. Möbeln) in einem Raum, während sie eine Entität (z.B. einen Menschen) zu einem Ziel führt. Bei mindestens einer Ausführungsform sind auch die Posen der Entitäten (z.B. Menschen) an jeder Stelle der Trajektorie plausibel.
7 zeigt ein Beispiel (700) für die Ergebnisse einer impliziten Umgebungsfunktion in mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform veranschaulichen eine Tabelle 702, eine Tabelle 704, eine Tabelle 706 und eine Tabelle 708 verschiedene Ergebnisse unter Verwendung der impliziten Umgebungsfunktion, wie sie hier beschrieben ist.
Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme einen bedingten VAE und alle impliziten Funktionen unter Verwendung eines Lösers bzw. Solvers wie z.B. eines Adam-Solvers mit einer beliebigen geeigneten Lernrate (z.B. einer Lernrate von 5 × 10^-5). Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme zum Ausgleich von KL-Divergenz und Rekonstruktionszielen bei einem VAE einen Zeitplan wie z.B. einen Cyclical Annealing Schedule.
Bei mindestens einer Ausführungsform evaluieren ein oder mehrere Systeme eine implizite Umgebungsfunktion (Implicit Environment Function (IEF)) auf Datensätzen wie einem Minigrid- und Gridworld-Labyrinth-Datensatz, die 2D-Labyrinthe mit zufällig platzierten Hindernissen aufweisen. Bei mindestens einer Ausführungsform bestimmt eine implizite Umgebungsfunktion ein Umgebungsfeld, das eine erreichbare Entfernung von jedem zugänglichen Punkt zu einem Ziel genau kodiert und dabei alle Hindernisse in dem Labyrinth erfolgreich erkennt. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine Erfolgsrate (z.B. einen Prozentsatz der Pfade, die einen Agenten unter allen gesuchten Pfaden erfolgreich zu einem Ziel führen) als Bewertungsmaßstab.
Bei mindestens einer Ausführungsform zeigt die Tabelle 1 702 die Ergebnisse einer Ablationsstudie zu Netzwerkarchitekturen. Bei mindestens einer Ausführungsform stammen die 11x11 Labyrinthe aus einem Datensatz wie z.B. einem Minigrid-Datensatz, während alle anderen Labyrinthe aus einem Datensatz wie z.B. einem Gridworld-Datensatz stammen. Bei mindestens einer Ausführungsform steht „IF“ für eine implizite Funktion. Bei mindestens einer Ausführungsform schneidet eine kontextabhängige implizite Funktion bei kleineren Labyrinthen (z.B. 8 x 8 und 11 x 11 Labyrinthen) vergleichbar ab wie Hypernetworks. Bei mindestens einer Ausführungsform versagen Hypernetworks bei größeren Labyrinthen (z.B. 16 x 16 und 28 x 28 Labyrinthen), bei denen eine kontextbezogene implizite Funktion den Hypernetworks überlegen ist.
Bei mindestens einer Ausführungsform evaluieren ein oder mehrere Systeme eine implizite Umgebungsfunktion mit einem Netzwerk wie z.B. einem Value Iteration Networks (VIN) auf einem Datensatz wie z.B. einem Minigrid-Datensatz. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme dieselbe Trainings- und Testaufteilung wie VIN und lernen verschiedene implizite Funktionen für Labyrinthe unterschiedlicher Größe. Bei mindestens einer Ausführungsform zeigt Tabelle 2 704 die Erfolgsrate und die durchschnittliche Zeit, die für die Suche nach einem Pfad mit verschiedenen Verfahren benötigt wird. Bei mindestens einer Ausführungsform wird eine Batchgröße von 1 oder ein beliebiger geeigneter Wert verwendet. Bei mindestens einer Ausführungsform erzielt eine implizite Umgebungsfunktion in größeren Labyrinthen eine vergleichbare Erfolgsquote bei deutlich geringerem Zeitaufwand als VIN. Bei mindestens einer Ausführungsform benötigt eine implizite Umgebungsfunktion nur einen Netzwerkweiterleitungsdurchlauf, um die Werte für die erreichbaren Entfernungen aller Orte in einem Labyrinth zu erhalten, und kann einen Agenten an jedem beliebigen Ort zu dem Ziel führen.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine implizite Umgebungsfunktion zur Modellierung langfristiger dynamischer menschlicher Bewegungen in einem Datensatz wie dem PROX-Datensatz (Proximal Relationships with Object eXclusion). Bei mindestens einer Ausführungsform kann eine implizite Umgebungsfunktion langfristige dynamische menschliche Bewegungen über eine beliebige Anzahl von Videobildern vorhersagen. Bei mindestens einer Ausführungsform repräsentiert ein implizites Umgebungsfeld eine Umgebung durch ein Umgebungsfeld, das eine erreichbare Entfernung zwischen einem beliebigen Punkt und einer Zielposition kodiert. Bei mindestens einer Ausführungsform haben Bereiche, die sich näher an dem Ziel befinden, einen niedrigeren Wert für die erreichbare Entfernung und umgekehrt. Bei mindestens einer Ausführungsform ändert sich ein Umgebungsfeld dynamisch abhängig von den Positionen von Personen in der Umgebung. Bei mindestens einer Ausführungsform entspricht ein unzugänglicher Bereich einem Bereich mit großen Werten (z.B. über einem bestimmten Schwellenwert) für erreichbare Entfernungen. Bei mindestens einer Ausführungsform kann eine implizite Umgebungsfunktion ein Umgebungsfeld in einer Szene modellieren und auf eine sich dynamisch verändernde Umgebung verallgemeinern.
Bei mindestens einer Ausführungsform zeigt Tabelle 3 706 quantitative Vergleiche mit auf Stichproben basierenden Pfadplanungsverfahren, wie z.B. Rapidly exploring random trees (RRT) und probabilistische Roadmaps (PRM). Bei mindestens einer Ausführungsform steht AFF für eine Posen-abhängige Suche. Bei mindestens einer Ausführungsform werten ein oder mehrere Systeme Metriken aus, wie z.B. die Entfernung zwischen dem Ende eines gesuchten Pfades und einem Ziel, und die durchschnittlichen Zeitkosten für die Suche nach einer einzigen Trajektorie. Bei mindestens einer Ausführungsform setzen ein oder mehrere Systeme die Anzahl der Stichprobenpunkte und der nächsten Nachbarn in PRM auf einen geeigneten Wert, wie z.B. 500 bzw. 5. Bei mindestens einer Ausführungsform setzen ein oder mehrere Systeme die maximale Anzahl von Iterationen für die Trajektoriensuche in RRT auf einen beliebigen Wert, wie z.B. 500 Iterationen. Bei mindestens einer Ausführungsform ist ein implizites Umgebungsfeld effizienter, da jeder Schritt durch einen einzigen schnellen Netzwerk-Vorwärtsdurchlauf vorhergesagt werden kann.
Bei mindestens einer Ausführungsform vergleichen ein oder mehrere Systeme die Trajektorienvorhersagen quantitativ mit einem Netzwerk wie einem PathNet, indem sie eine Abstandsmetrik sowie ein Verhältnis von gültigen Posen zu allen Posen auf einer Trajektorie verwenden. Bei mindestens einer Ausführungsform definieren ein oder mehrere Systeme eine Pose als gültig, wenn sie sowohl einen guten Halt aufweist als auch nicht kollisionsfrei in einer Szene ist. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme Trainings- und Testtrajektorien, wie z.B. die eines Langverfahrens zur Vorhersage menschlicher Bewegungen mit Szenenkontext (HMP), wobei jede Trajektorie 30 Bilder aufweist. Bei mindestens einer Ausführungsform benötigt ein PathNet in HMP die Oberkörperpositionen in den ersten 10 Bildern jeder Trajektorie als Eingabe und sagt die Oberkörperpositionen für die folgenden 20 Bilder voraus. Bei mindestens einer Ausführungsform sagen ein oder mehrere Systeme eine beliebige Anzahl von Positionen (z.B. 30 Positionen) voraus, die einen Menschen von einer Startposition in einem ersten Bild zu einem Ziel in einem letzten Bild führen. Bei mindestens einer Ausführungsform werden in Tabelle 4 708 quantitative Auswertungen dargestellt. Bei mindestens einer Ausführungsform ist eine implizite Umgebungsfunktion effektiver bei der Navigation von Menschen zu Zielpositionen. Bei mindestens einer Ausführungsform ist eine implizite Umgebungsfunktion in der Lage, die Posen der Menschen besser an die Szene anzupassen, wie in der letzten Spalte von Tabelle 4 708 gezeigt wird, nachdem ein Suchverfahren nach einer Posen-abhängigen Trajektorie verwendet wurde.
Bei mindestens einer Ausführungsform repräsentiert ein implizites Umgebungsfeld eine Umgebung durch ein Umgebungsfeld, das eine erreichbare Entfernung zwischen einem Paar von Punkten im 2D- oder 3D-Raum kodiert. Bei mindestens einer Ausführungsform ist ein angelerntes Umgebungsfeld eine kontinuierliche Energiefläche, die Agenten in 2D-Labyrinthen in sich dynamisch verändernden Szenenumgebungen navigieren kann. Bei mindestens einer Ausführungsform wird ein Umgebungsfeld auf 3D-Szenen ausgedehnt, um dynamische menschliche Bewegungen in Innenräumen zu modellieren.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme Netzwerke wie z.B. ein Hypernetzwerk, um verschiedene Labyrinthumgebungen und Zielpositionen zu kodieren. Bei mindestens einer Ausführungsform entspricht ein Hypernetzwerk einem neuronalen Netz, das ein Netz für ein Hauptnetz generiert, das auch als Hyponetz bzw. Hyponetzwerk bezeichnet wird. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme für jede Labyrinthkarte ein Hypernetzwerk, um einen Parameter eines Hyponetzes (z.B. eine implizite Umgebungsfunktion) vorherzusagen. Bei mindestens einer Ausführungsform erhält ein Hyponetz als Eingabe eine Verknüpfung von Zielkoordinaten sowie von Koordinaten der Abfrageposition und gibt eine erreichbare Entfernung zwischen ihnen aus. Bei mindestens einer Ausführungsform weist ein Hyponetz alle geeigneten Schichten auf, wie z.B. 11 Faltungsschichten, gefolgt von 7 vollständig verbundenen Schichten. Bei mindestens einer Ausführungsform weist ein Hyponetz beliebige geeignete Schichten auf, wie z.B. 7 vollständig verbundene Schichten, auf die jeweils eine periodische Aktivierung folgt.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme anstelle einer durch FMM berechneten erreichbaren Entfernung als Überwachung zum Trainieren einer impliziten Umgebungsfunktion den Kehrwert der erreichbaren Entfernung von einem realisierbaren Punkt zu einem Ziel und normalisieren ihn auf einen Bereich von [0, 1] und trainieren eine implizite Umgebungsfunktion, um negative Werte anstelle von extrem kleinen Werten für von Hindernissen besetzte Orte vorherzusagen. Bei mindestens einer Ausführungsform kann eine implizite Umgebungsfunktion zwischen realisierbaren Orten und Hindernissen unterscheiden.
Bei mindestens einer Ausführungsform werden während des Trainings eines VAE-Modells neben den Punkten auf den Trainings-Trajektorien für einen Menschen auch weitere Punkte in einer Szene ergänzt. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine zufällige stehende menschliche Pose und schließen alle Orte ein, die diese Pose zulassen (z.B. eine Pose, die von einem Boden gehalten werden kann und nicht mit anderen Objekten kollidiert). Bei mindestens einer Ausführungsform trainieren ein oder mehrere Systeme ein bedingtes VAE-Modell für alle Trainingstrajektorien in verschiedenen Szenen, während eine separate implizite Funktion für jede 3D-Innenraumszene trainiert wird. Bei mindestens einer Ausführungsform werden ein oder mehrere Modelle mit einem Löser bzw. Solver wie einem Adam Solver mit einer Lernrate von 5 × 10^-5 trainiert. Bei mindestens einer Ausführungsform implementieren ein oder mehrere Systeme ein oder mehrere Modelle mit einem Framework wie PyTorch oder einem anderen geeigneten Framework.
8 zeigt ein Beispiel 800 von Ergebnissen einer Agentennavigation gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform stellen Pfade 802 verschiedene Labyrinthe, Ground-Truth-Pfade (z.B. als durchgezogene Linien dargestellt) und gesuchte Pfade (z.B. als gepunktete Linien dargestellt) dar. Bei mindestens einer Ausführungsform zeigt ein angelernter Niveausatz 804 verschiedene Labyrinthe und gesuchte Pfade. Bei mindestens einer Ausführungsform stellt eine angelernte IEF 806 verschiedene Labyrinthe und Umgebungsfelder dar, die durch eine implizite Umgebungsfunktion bestimmt werden. Bei mindestens einer Ausführungsform bestimmt die implizite Umgebungsfunktion ein Umgebungsfeld, das eine erreichbare Entfernung von einem beliebigen Punkt zu einem Ziel erfasst und einen Agenten von einer Startposition zu dem Ziel führt.
9 und 10 zeigen Beispiele für die Ergebnisse der Anpassung vorgegebener menschlicher Folgen an gesuchte Trajektorien in 3D-Umgebungen in Innenräumen, gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform berechnen ein oder mehrere Systeme bei einer vorgegebenen menschlichen Folge die Schrittgröße eines Menschen bei jedem Zeitschritt und bestimmen dynamisch die beste nächste Bewegung in Bezug auf die Schrittgröße.
Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme eine vorgegebene menschliche Pose, um zu vermeiden, dass Menschen an Orte bewegt werden, die physikalische Beschränkungen in einem Raum verletzen (z.B. Orte, an denen ein Menschen keinen guten Halt hat oder die zu Kollisionen mit anderen Objekten führen). Bei mindestens einer Ausführungsform berücksichtigen ein oder mehrere Systeme, wenn festgestellt wird, dass ein Ort ein Netz eines menschlichen Körpers oder eine andere geeignete Darstellung, wie z.B. ein Skelett, ein Skelettnetz und/oder Variationen davon, erlauben kann, die Vertices, die zu einem Körperteil gehören, anstelle von Gelenken. Bei mindestens einer Ausführungsform verwenden ein oder mehrere Systeme ein Netz eines menschlichen Körpers, ein Skelett, ein Skelettnetz und/oder jede geeignete Darstellung eines Menschen. Bei mindestens einer Ausführungsform prüfen beispielsweise ein oder mehrere Systeme, ob ein sitzender Mensch einen guten Halt aufweist, indem sie überprüfen, ob Vertices, die zu einem Gesäßteil gehören, Abstandswerte mit einem nicht-positiven Vorzeichen zu Objektoberflächen aufweisen, und um zu überprüfen, ob ein Mensch mit anderen Objekten kollidiert, überprüfen ein oder mehrere Systeme, ob Vertices, die zu Beinen und Oberschenkeln gehören, Abstandswerte mit einem nicht-negativen Vorzeichen aufweisen.
Bei mindestens einer Ausführungsform visualisieren 9 und 10 ein Umgebungsfeld in den letzten beiden Zeilen. Bei mindestens einer Ausführungsform sind die Entfernungen kleiner (z.B. weniger schattiert), je näher die Punkte an einer Zielposition liegen und umgekehrt. Bei mindestens einer Ausführungsform zeigen die Pfeile auf eine Zielposition (z.B. die Position des menschlichen Oberkörpers in einem letzten Zeitschritt).
11 zeigt ein Beispiel eines Verfahrens 1100 zur Berechnung einer Vielzahl von Pfaden unter Verwendung einer impliziten Umgebungsfunktion, gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform wird ein Teil oder das gesamte Verfahren 1100 (oder andere hier beschriebene Verfahren oder Variationen und/oder Kombinationen davon) unter der Kontrolle eines oder mehrerer Computersysteme durchgeführt, die mit computerausführbaren Anweisungen ausgestaltet sind und als Code (z.B. computerausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen) implementiert sind, die gemeinsam auf einem oder mehreren Prozessoren, durch Hardware, Software oder Kombinationen davon ausgeführt werden. Bei mindestens einer Ausführungsform ist der Code auf einem computerlesbaren Speichermedium in Form eines Computerprogramms gespeichert, das eine Vielzahl von computerlesbaren Anweisungen umfasst, die von einem oder mehreren Prozessoren ausgeführt werden können. Bei mindestens einer Ausführungsform handelt es sich bei dem computerlesbaren Speichermedium um ein nicht flüchtiges computerlesbares Medium. Bei mindestens einer Ausführungsform sind mindestens einige computerlesbare Anweisungen, die zur Durchführung des Verfahrens 1100 verwendet werden können, nicht nur unter Verwendung von flüchtigen Signalen (z.B. einer sich ausbreitenden transienten elektrischen oder elektromagnetischen Übertragung) gespeichert. Bei mindestens einer Ausführungsform weist ein nicht flüchtiges computerlesbares Medium nicht notwendigerweise nicht flüchtige Datenspeicherschaltungen (z.B. Puffer, Caches und Warteschlangen) innerhalb von Transceivern für flüchtige Signale auf.
Bei mindestens einer Ausführungsform wird das Verfahren 1100 von einem oder mehreren Systemen durchgeführt, wie sie in dieser Offenbarung beschrieben sind. Bei mindestens einer Ausführungsform weisen ein oder mehrere Systeme ein beliebiges geeignetes System mit einer Sammlung von einer oder mehreren Hardware- und/oder Softwareressourcen mit Befehlen auf, die, wenn sie ausgeführt werden, verschiedene Trainingsoperationen für eine implizite Umgebungsfunktion, Verarbeitungsoperationen für eine implizite Umgebungsfunktion, Funktionen eines neuronalen Netzes, Navigationsoperationen (z.B. Veranlassung einer Entität, zu einem Ort zu navigieren), Umgebungsverarbeitungsfunktionen und/oder verschiedene andere Operationen wie die hier beschriebenen durchführen. Bei mindestens einer Ausführungsform wird das Verfahren 1100 von einem oder mehreren Systemen durchgeführt, die einer autonomen Einrichtung zugeordnet sind.
Bei mindestens einer Ausführungsform weist ein System, das mindestens einen Teil des Verfahrens 1100 durchführt, einen ausführbaren Code auf, um mindestens einen ersten Ort, einen Satz bzw. eine Menge von Orten und einen letzten Ort zu erhalten bzw. zu erfassen 1102. Bei mindestens einer Ausführungsform ist ein Ort ein Ort in einer Umgebung und kann als Position angesehen werden. Bei mindestens einer Ausführungsform ist eine Umgebung eine beliebige geeignete Umgebung, wie z.B. eine 2D-Umgebung, eine 3D-Umgebung, eine Innenumgebung, eine Außenumgebung, eine simulierte Umgebung, ein Labyrinth und/oder Variationen davon. Bei mindestens einer Ausführungsform umfasst eine Umgebung eine autonome Einrichtung. Bei mindestens einer Ausführungsform ist eine autonome Einrichtung ein System wie ein autonomes Auto, ein autonomer Roboter und/oder Variationen davon. Bei mindestens einer Ausführungsform navigiert die autonome Einrichtung im Rahmen einer Navigationsaufgabe von dem ersten Ort zu dem letzten Ort, der auch einer Zielposition oder einem Zielort entspricht, in der Umgebung. Bei mindestens einer Ausführungsform ist der erste Ort ein Ort einer autonomen Einrichtung. Bei mindestens einer Ausführungsform ist die Gruppe von Orten ein oder mehrere Orte in der Umgebung. Bei mindestens einer Ausführungsform weist die Menge von Orten einen oder mehrere Orte in zugänglichen Bereichen der Umgebung auf.
Bei mindestens einer Ausführungsform weist ein System, das mindestens einen Teil des Verfahrens 1100 durchführt, einen ausführbaren Code auf, um mindestens ein oder mehrere neuronale Netze zu veranlassen 1104, einen Satz bzw. eine Menge von Entfernungen zumindest teilweise basierend auf der Menge von Orten und dem letzten Ort zu berechnen. Bei mindestens einer Ausführungsform weisen ein oder mehrere neuronale Netze eine implizite Umgebungsfunktion auf. Bei mindestens einer Ausführungsform gibt ein System die Menge von Orten und den letzten Ort in eine implizite Umgebungsfunktion ein. Bei mindestens einer Ausführungsform gibt das System Merkmale der Umgebung in die implizite Umgebungsfunktion ein. Bei mindestens einer Ausführungsform erzeugt das System Merkmale der Umgebung, indem es eine Darstellung der Umgebung in ein oder mehrere neuronale Netze, wie z.B. einen Kodierer, eingibt. Bei mindestens einer Ausführungsform handelt es sich bei der Darstellung einer Umgebung um eine beliebige geeignete Darstellung, wie z.B. ein Bild, eine Punktwolke, einen Satz von Punkten und/oder Variationen davon. Bei mindestens einer Ausführungsform kann eine Darstellung mit Hilfe verschiedener Bilderfassungshardware, wie z.B. einer Kamera, Tiefenkamera, Sensoreinrichtung und/oder Variationen davon, erfasst werden. Bei mindestens einer Ausführungsform führt das System verschiedene Anpassungs- bzw. Ausrichtungs-Verfahren an den erzeugten Merkmalen durch.
Bei mindestens einer Ausführungsform geben ein oder mehrere neuronale Netze die Menge von Entfernungen aus, die mit der Menge von Orten korrespondieren. Bei mindestens einer Ausführungsform handelt es sich bei der Menge von Entfernungen um erreichbare Entfernungen, die mit der Menge von Orten korrespondieren. Bei mindestens einer Ausführungsform entspricht die erreichbare Entfernung auch einem Entfernungswert, einer Entfernung, einem Wert für eine erreichbare Entfernung und/oder Variationen davon. Bei mindestens einer Ausführungsform entspricht eine erste Entfernung der Menge von Entfernungen einem ersten Ort der Menge von Orten und gibt eine Entfernung entlang eines realisierbaren Pfades von diesem ersten Ort zu dem letzten Ort an. Bei mindestens einer Ausführungsform bezieht sich die Menge von Orten auf den letzten Ort. Bei mindestens einer Ausführungsform bezieht sich die Menge von Entfernungen für die Menge von Orten auf den letzten Ort. Bei mindestens einer Ausführungsform entspricht der realisierbare Pfad einem Pfad, der semantisch und/oder geometrisch realisierbar ist. Bei mindestens einer Ausführungsform entspricht der realisierbare Pfad jedem geeigneten Pfad, entlang dem eine autonome Einrichtung navigieren kann. Bei mindestens einer Ausführungsform gibt die implizite Umgebungsfunktion die Menge von Entfernungen in einem einzigen Vorwärtsdurchlauf aus.
Bei mindestens einer Ausführungsform weist ein System, das mindestens einen Teil des Verfahrens 1100 durchführt, einen ausführbaren Code auf, um zumindest eine Vielzahl von Pfaden zumindest teilweise basierend auf der Menge von Entfernungen zu berechnen 1106, wobei die Vielzahl von Pfaden einen Pfad von dem ersten Ort zu dem letzten Ort bildet. Bei mindestens einer Ausführungsform bestimmt das System eine Teilmenge von Orten, die von dem ersten Ort aus für eine autonome Einrichtung zugänglich sind. Bei mindestens einer Ausführungsform ist ein Ort für eine autonome Einrichtung zugänglich, wenn die autonome Einrichtung von einem aktuellen Ort der autonomen Einrichtung zu diesem Ort navigieren kann. Bei mindestens einer Ausführungsform ist ein zugänglicher Ort ein Ort, zu dem die autonome Einrichtung in einem einzigen Schritt navigieren kann. Bei mindestens einer Ausführungsform berechnet ein System eine Schrittgröße für die autonome Einrichtung, die einem Entfernungswert entspricht, der angibt, wie weit sich die autonome Einrichtung pro Schritt bewegt. Bei mindestens einer Ausführungsform definiert das System eine Schrittgröße als einen beliebigen geeigneten Wert.
Bei mindestens einer Ausführungsform bestimmt das System eine Teilmenge von Entfernungen aus der Menge von Entfernungen, die mit der Teilmenge von Orten korrespondiert. Bei mindestens einer Ausführungsform bestimmt das System einen zweiten Ort aus der Teilmenge von Orten, der mit einer Mindestentfernung aus der Teilmenge von Entfernungen korrespondiert. Bei mindestens einer Ausführungsform entspricht der zweite Ort einer minimalen Entfernung, einer maximalen Entfernung oder einer beliebigen geeigneten Entfernung aus der Teilmenge von Entfernungen. Bei mindestens einer Ausführungsform entspricht der zweite Ort einem Ort in einer bestimmten Richtung von dem ersten Ort der autonomen Einrichtung. Bei mindestens einer Ausführungsform berechnet das System einen ersten Pfad, der einen Pfad von dem ersten Ort zu dem zweiten Ort umfasst. Bei mindestens einer Ausführungsform veranlasst das System die autonome Einrichtung, unter Verwendung des ersten Pfades zu dem zweiten Ort zu navigieren.
Bei mindestens einer Ausführungsform bestimmt das System kontinuierlich Pfade für eine autonome Einrichtung, bis die autonome Einrichtung zu dem letzten Ort navigieren kann. Bei mindestens einer Ausführungsform bestimmt das System beispielsweise eine zweite Teilmenge von Orten, die von einem zweiten Ort der autonomen Einrichtung aus erreichbar sind, erhält eine zweite Teilmenge von Entfernungen, die mit der zweiten Teilmenge von Orten korrespondiert, bestimmt einen dritten Ort der zweiten Teilmenge von Orten (z.B, entsprechend einer minimalen Entfernung oder einer beliebigen geeigneten Entfernung), berechnet einen zweiten Pfad von dem zweiten Ort zu dem dritten Ort und veranlasst die autonome Einrichtung, unter Verwendung des zweiten Pfades zu dem dritten Ort zu navigieren, und so weiter, bis der letzte Ort von dem aktuellen Ort der autonomen Einrichtung aus zugänglich ist, wobei das System die autonome Einrichtung veranlasst, zu diesem letzten Ort zu navigieren.
Bei mindestens einer Ausführungsform trainiert das System ein oder mehrere neuronale Netze, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung zu bewegen hat. Bei mindestens einer Ausführungsform erhält das System eine Umgebung und einen Ort, veranlasst einen oder mehrere Algorithmen, einen oder mehrere Werte für erreichbare Entfernungen für einen oder mehrere Orte in der Umgebung bis zu diesem Ort zu bestimmen, und trainiert das eine oder die mehreren neuronalen Netze zumindest unter Verwendung des einen oder der mehreren Werte für die erreichbaren Entfernungen. Bei mindestens einer Ausführungsform trainiert das System das eine oder die mehreren neuronalen Netze, indem es das eine oder die mehreren neuronalen Netze veranlasst, einen oder mehrere Orte zu verarbeiten, um einen oder mehrere vorhergesagte Werte für erreichbare Entfernungen zu berechnen, und um das eine oder die mehreren neuronalen Netze auf der Grundlage der Unterschiede zwischen dem einen oder den mehreren vorhergesagten Werten für die erreichbaren Entfernungen und dem einen oder den mehreren Werten für erreichbare Entfernungen, die von einem oder mehreren Algorithmen ausgegeben werden, zu aktualisieren. Bei mindestens einer Ausführungsform aktualisiert das System das eine oder die mehreren neuronalen Netze oder trainiert sie auf andere Weise, um die Unterschiede zwischen den vorhergesagten Werten für die erreichbaren Entfernungen und den von dem einen oder den mehreren Algorithmen ausgegebenen Werten für die erreichbaren Entfernungen zu minimieren (z.B. so zu aktualisieren, dass die Unterschiede unter einem vorher festgelegten Schwellenwert liegen). Bei mindestens einer Ausführungsform weist der eine oder die mehreren Algorithmen verschiedene Pfadplanungsalgorithmen, verschiedene FMM-Algorithmen oder jeden anderen geeigneten Algorithmus auf. Bei mindestens einer Ausführungsform trainiert das System das eine oder die mehreren neuronalen Netze, so dass das eine oder die mehreren trainierten neuronalen Netze Werte für die erreichbaren Entfernungen vorhersagen können, die den von dem einen oder den mehreren Algorithmen ausgegebenen Werten für die erreichbaren Entfernungen ähnlich oder gleich sind. Bei mindestens einer Ausführungsform verwendet das System die vorhergesagten Werte für die erreichbaren Entfernungen, um eine Vielzahl von Pfaden zu bestimmen, entlang denen sich eine autonome Einrichtung bewegen solll.
Bei mindestens einer Ausführungsform können ein oder mehrere Verfahren des Verfahrens 1100 sowie die im Zusammenhang mit dem Verfahren 1100 beschriebenen Verfahren in jeder geeigneten Reihenfolge durchgeführt werden, einschließlich sequentiell, parallel und/oder Variationen davon. Bei mindestens einer Ausführungsform kann das Verfahren 1100 verschiedene Verfahren aufweisen, die an anderer Stelle in dieser Offenbarung beschrieben sind.
INFERENZ- UND TRAININGSLOGIK
12A zeigt eine Inferenz- und/oder Trainingslogik 1215, die verwendet wird, um Inferenz- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen assoziiert sind. Details zur Inferenz- und/oder Trainingslogik 1215 sind unten in Verbindung mit 12A und/oder 12B bereitgestellt.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 ohne Einschränkung einen Code- und/oder Datenspeicher 1201 umfassen, um Vorwärts- und/oder Ausgabegewichte und/oder Eingabe-/Ausgabedaten und/oder andere Parameter zu speichern, um Neuronen oder Schichten eines neuronalen Netzwerks zu konfigurieren, das in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder zum Inferenzieren verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 1215 einen Code- und/oder Datenspeicher 1201 umfassen oder mit diesem gekoppelt sein, um einen Graphencode oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge steuert, in der die Informationen über Gewichte und/oder andere Parameter geladen werden, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkomma-Einheiten (zusammenfassend als arithmetische Logikeinheiten (ALUs) bezeichnet). In mindestens einer Ausführungsform lädt Code, wie z. B. Graphencode, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht, Gewichte oder andere Parameterinformationen in Prozessor-ALUs. In mindestens einer Ausführungsform speichert der Code und/oder der Datenspeicher 1201 Gewichtungsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das während der Vorwärtspropagierung von Eingabe-/Ausgabedaten und/oder Gewichtungsparametern während des Trainings und/oder Inferenzierens unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 1201 von einem anderen On-Chip- oder Off-Chip-Datenspeicher umfasst sein, einschließlich des L1-, L2- oder L3-Caches eines Prozessors oder des Systemspeichers.
In mindestens einer Ausführungsform kann jeder Teil des Codes und/oder des Datenspeichers 1201 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder Schaltungen sein. In mindestens einer Ausführungsform kann der Code und/oder der Code- und/oder Datenspeicher 1201 ein Cache-Speicher, ein dynamischer zufällig adressierbarer Speicher („DRAM“), ein statischer zufällig adressierbarer Speicher („SRAM“), ein nichtflüchtiger Speicher (z.B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann eine Entscheidung, ob der Code- und/oder Code- und/oder Datenspeicher 1201 intern oder extern zu einem Prozessor ist oder DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, davon abhängen, ob Speicher auf dem Chip oder außerhalb des Chips verfügbar ist, von den Anforderungen an die Latenzzeit der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, von der Größe der beim Inferenzieren und/oder Trainieren eines neuronalen Netzwerks verwendeten Datenstapel oder von einer Kombination dieser Faktoren.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 ohne Einschränkung einen Code- und/oder Datenspeicher 1205 umfassen, um Rückwärts- und/oder Ausgabe-Gewichtungs- und/oder Eingabe-/Ausgabedaten zu speichern, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das trainiert und/oder zum Inferieren in Aspekten einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform speichert der Code- und/oder Datenspeicher 1205 Gewichtungsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das während der Rückwärtspropagierung von Eingabe-/Ausgabedaten und/oder Gewichtungsparametern während des Trainings und/oder Inferenzierens unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder in Verbindung mit einer oder mehrerer Ausführungsformen verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 1215 einen Code- und/oder Datenspeicher 1205 umfassen oder mit diesem gekoppelt sein, um einen Graphencode oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge steuert, in der die Informationen über Gewichte und/oder andere Parameter geladen werden, um die Logik zu konfigurieren, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend als arithmetische Logikeinheiten (ALUs) bezeichnet).
In mindestens einer Ausführungsform verursacht ein Code, wie z. B. ein Graphencode, basierend auf einer Architektur eines neuronalen Netzwerks, der der Code entspricht, das Laden von Gewichts- oder anderen Parameterinformationen in Prozessor-ALUs. In mindestens einer Ausführungsform kann jeder Teil des Codes und/oder des Datenspeichers 1205 einen anderen On-Chip- oder Off-Chip-Datenspeicher umfassen, einschließlich des L1-, L2- oder L3-Cache oder des Systemspeichers eines Prozessors. In mindestens einer Ausführungsform kann ein beliebiger Teil des Codes und/oder des Datenspeichers 1205 intern oder extern in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder Schaltungen enthalten sein. In mindestens einer Ausführungsform kann der Code- und/oder Datenspeicher 1205 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann die Wahl, ob der Code- und/oder Datenspeicher 1205 intern oder extern zu einem Prozessor ist, oder ob er beispielsweise DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, von den Anforderungen an die Latenzzeit der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, von der Stapelgröße der beim Inferenzieren und/oder Trainieren eines neuronalen Netzwerks verwendeten Daten oder von einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 1201 und der Code- und/oder Datenspeicher 1205 separate Speicherstrukturen sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 1201 und der Code- und/oder Datenspeicher 1205 eine kombinierte Speicherstruktur sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 1201 und der Code- und/oder Datenspeicher 1205 teilweise kombiniert und teilweise getrennt sein. In mindestens einer Ausführungsform kann jeder Teil des Code- und/oder Datenspeichers 1201 und des Code- und/oder Datenspeichers 1205 von einem anderen On-Chip- oder Off-Chip-Datenspeicher umfasst sein, einschließlich des L1-, L2- oder L3-Caches eines Prozessors oder des Systemspeichers.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 ohne Einschränkung eine oder mehrere arithmetische Logikeinheit(en) („ALU(s)“) 1210, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, umfassen, um logische und/oder mathematische Operationen durchzuführen, die zumindest teilweise auf einem Trainings- und/oder Inferenzcode (z.B, Graphencode), deren Ergebnis in einem Aktivierungsspeicher 1220 gespeicherte Aktivierungen (z. B. Ausgabewerte von Schichten oder Neuronen innerhalb eines neuronalen Netzwerks) erzeugen kann, die Funktionen von in Code- und/oder Datenspeicher 1201 und/oder Code- und/oder Datenspeicher 1205 gespeicherten Eingabe/Ausgabe- und/oder Gewichtungsparameterdaten sind. In mindestens einer Ausführungsform werden in einem Aktivierungsspeicher 1220 gespeicherte Aktivierungen gemäß linearer algebraischer und/oder matrixbasierter Mathematik generiert, die von ALU(s) 1210 als Reaktion auf Ausführungsbefehle oder anderen Code ausgeführt wird, wobei in Code- und/oder Datenspeicher 1205 und/oder Datenspeicher 1201 gespeicherte Gewichtungswerte als Operanden zusammen mit anderen Werten verwendet werden, wie beispielsweise Vorgabewerten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, von denen beliebige oder alle in Code- und/oder Datenspeicher 1205 oder Code- und/oder Datenspeicher 1201 oder einem anderen Speicher auf oder außerhalb des Chips gespeichert sein können.
In mindestens einer Ausführungsform sind ALU(s) 1210 in einem oder mehreren Prozessoren oder anderen Hardware-Logikgeräten oder -Schaltungen enthalten, während in einer anderen Ausführungsform ALU(s) 1210 extern zu einem Prozessor oder einem anderen Hardware-Logikgerät oder einer Schaltung sein können, die sie verwenden (z.B. ein Co-Prozessor). In mindestens einer Ausführungsform können die ALUs 1210 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Gruppe von ALUs enthalten sein, auf die die Ausführungseinheiten eines Prozessors entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlichen Typs (z. B. Zentraleinheiten, Grafikverarbeitungseinheiten, feste Funktionseinheiten usw.) zugreifen können. In mindestens einer Ausführungsform können sich der Code- und/oder Datenspeicher 1201, der Code- und/oder Datenspeicher 1205 und der Aktivierungsspeicher 1220 einen Prozessor oder eine andere Hardware-LogikEinrichtung oder einer Schaltung teilen, während sie in einer anderen Ausführungsform in verschiedenen Prozessoren oder anderen Hardware-Logik-Einrichtungen oder Schaltungen oder in einer Kombination aus gleichen und verschiedenen Prozessoren oder anderen Hardware-Logik-Einrichtungen oder Schaltungen vorhanden sein können. In mindestens einer Ausführungsform kann ein beliebiger Teil des Aktivierungsspeichers 1220 in einem anderen On-Chip- oder Off-Chip-Datenspeicher enthalten sein, einschließlich des L1-, L2- oder L3-Cachespeichers oder Systemspeichers eines Prozessors. Darüber hinaus kann der Code zum Inferenzieren und/oder Trainieren zusammen mit anderem Code gespeichert werden, auf den ein Prozessor oder eine andere Hardware-Logik oder -Schaltung zugreifen kann und der unter Verwendung der Hol-, Dekodier-, Planungs-, Ausführungs-, Ausscheidungs- und/oder anderer logischer Schaltungen eines Prozessors geholt und/oder verarbeitet wird.
In mindestens einer Ausführungsform kann der Aktivierungsspeicher 1220 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z. B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann sich der Aktivierungsspeicher 1220 vollständig oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen befinden. In mindestens einer Ausführungsform kann die Entscheidung, ob der Aktivierungsspeicher 1220 beispielsweise innerhalb oder außerhalb eines Prozessors liegt oder DRAM, SRAM, Flash oder einen anderen Speichertyp umfasst, von dem verfügbaren Speicher auf dem Chip oder außerhalb des Chips, den Anforderungen an die Latenzzeit der ausgeführten Trainings- und/oder Inferenzierungsfunktionen, der Stapelgröße der beim Inferenzieren und/oder Trainieren eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform kann die in 12A dargestellte Inferenz- und/oder Trainingslogik 1215 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung („ASIC“) verwendet werden, wie z. B. der TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana®-Prozessor (z. B. „Lake Crest“) von Intel Corp. In mindestens einer Ausführungsform kann die in 12A gezeigte Inferenz- und/oder Trainingslogik 1215 in Verbindung mit Hardware der Zentraleinheit („CPU“), der Grafikverarbeitungseinheit („GPU“) oder anderer Hardware, wie feldprogrammierbaren Gate-Arrays („FPGAs“), verwendet werden.
12B zeigt die Inferenz- und/oder Trainingslogik 1215 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 ohne Einschränkung eine Hardwarelogik umfassen, in der Rechenressourcen dediziert oder anderweitig ausschließlich in Verbindung mit Gewichtungswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die in 12B dargestellte Inferenz- und/oder Trainingslogik 1215 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) verwendet werden, wie z. B. der TensorFlow® Processing Unit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana®-Prozessor (z. B. „Lake Crest“) von Intel Corp. In mindestens einer Ausführungsform kann die in 12B gezeigte Inferenz- und/oder Trainingslogik 1215 in Verbindung mit Hardware der Zentraleinheit (CPU), der Grafikverarbeitungseinheit (GPU) oder anderer Hardware, wie z. B. feldprogrammierbaren Gate-Arrays (FPGAs), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenz- und/oder Trainingslogik 1215 ohne Einschränkung einen Code- und/oder Datenspeicher 1201 und einen Code- und/oder Datenspeicher 1205, die zum Speichern von Code (z. B. Graphencode), Gewichtungswerten und/oder anderen Informationen, einschließlich Vorgabewerten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameterinformationen, verwendet werden können. In mindestens einer Ausführungsform, das in 12B gezeigt ist, ist jeder Code- und/oder Datenspeicher 1201 und jeder Code- und/oder Datenspeicher 1205 mit einer dedizierten Rechenressource assoziiert, wie z. B. Rechenhardware 1202 bzw. Rechenhardware 1206. In mindestens einer Ausführungsform umfasst jede der Berechnungshardware 1202 und der Berechnungshardware 1206 eine oder mehrere ALUs, die mathematische Funktionen, wie lineare algebraische Funktionen, nur auf Informationen ausführen, die im Code- und/oder Datenspeicher 1201 bzw. im Code- und/oder Datenspeicher 1205 gespeichert sind, wobei das Ergebnis im Aktivierungsspeicher 1220 gespeichert wird.
In mindestens einer Ausführungsform entspricht jeder der Code- und/oder Datenspeicher 1201 und 1205 und die entsprechende Rechenhardware 1202 bzw. 1206 verschiedenen Schichten eines neuronalen Netzes, so dass die resultierende Aktivierung von einem „Speicher-/Rechenpaar 1201/1202“ aus Code- und/oder Datenspeicher 1201 und Rechenhardware 1202 als Eingabe für ein nächstes „Speicher-/Rechenpaar 1205/1206“ aus Code- und/oder Datenspeicher 1205 und Rechenhardware 1206 bereitgestellt wird, um eine konzeptionelle Organisation eines neuronalen Netzes zu spiegeln. In mindestens einer Ausführungsform kann jedes der Speicher-/Rechnerpaare 1201/1202 und 1205/1206 mehr als einer Schicht des neuronalen Netzes entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher-/Rechenpaare (nicht dargestellt) aufeinanderfolgend oder parallel zu den Speicher-Rechenpaaren 1201/1202 und 1205/1206 in die Inferenz- und/oder Trainingslogik 1215 einbezogen werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 12A und 12B dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 12A und 12B dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 12A und 12B dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
TRAINING UND EINSATZ EINES NEURONALEN NETZES
13 zeigt gemäß mindestens einer Ausführungsform das Trainieren und den Einsatz eines tiefen neuronalen Netzes bzw. Deep Neural Network. In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 1306 unter Verwendung eines Trainingsdatensatzes 1302 trainiert. In mindestens einer Ausführungsform ist das Trainings-Framework 1304 ein PyTorch-Framework, während in anderen Ausführungsformen das Trainings-Framework 1304 ein TensorFlow-, Boost-, Caffe-, Microsoft Cognitive Toolkit/CNTK-, MXNet-, Chainer-, Keras-, Deeplearning4j- oder ein anderes Trainings-Framework ist. In mindestens einer Ausführungsform trainiert das Trainings-Framework 1304 ein untrainiertes neuronales Netz 1306 und ermöglicht es, dieses unter Verwendung der hierin beschriebenen Verarbeitungsressourcen zu trainieren, um ein trainiertes neuronales Netz 1308 zu erzeugen. In mindestens einer Ausführungsform können die Gewichte nach dem Zufallsprinzip oder durch Vortraining unter Verwendung eines Deep Belief Network ausgewählt werden. In mindestens einer Ausführungsform kann das Training entweder überwacht, teilweise überwacht oder unüberwacht durchgeführt werden.
In mindestens einer Ausführungsform wird ein untrainiertes neuronales Netz 1306 unter Verwendung von beaufsichtigtem Lernen trainiert, wobei der Trainingsdatensatz 1302 eine Eingabe umfasst, die mit einer gewünschten Ausgabe für eine Eingabe gepaart ist, oder wobei der Trainingsdatensatz 1302 eine Eingabe mit einer bekannten Ausgabe umfasst und eine Ausgabe des neuronalen Netzes 1306 manuell bewertet wird. In mindestens einer Ausführungsform wird das untrainierte neuronale Netz 1306 auf überwachte Weise trainiert und verarbeitet Eingaben aus dem Trainingsdatensatz 1302 und vergleicht die resultierenden Ausgaben mit einem Satz von erwarteten oder gewünschten Ausgaben. In mindestens einer Ausführungsform werden die Fehler dann durch das untrainierte neuronale Netzwerk 1306 zurückpropagiert. In mindestens einer Ausführungsform passt das Trainings-Framework 1304 die Gewichte an, die das untrainierte neuronale Netzwerk 1306 steuern. In mindestens einer Ausführungsform umfasst das Trainings-Framework 1304 Hilfsmittel, um zu überwachen, wie gut das untrainierte neuronale Netz 1306 zu einem Modell konvergiert, wie z.B. dem trainierten neuronalen Netz 1308, das geeignet ist, basierend auf Eingabedaten, wie z.B. einem neuen Datensatz 1312, korrekte Antworten zu generieren, wie z.B. im Ergebnis 1314. In mindestens einer Ausführungsform trainiert das Trainings-Framework 1304 das untrainierte neuronale Netz 1306 wiederholt, während es die Gewichte anpasst, um eine Ausgabe des untrainierten neuronalen Netzes 1306 unter Verwendung einer Verlustfunktion und eines Anpassungsalgorithmus, wie z. B. des stochastischen Gradientenabstiegs, zu verfeinern. In mindestens einer Ausführungsform trainiert das Trainings-Framework 1304 das untrainierte neuronale Netz 1306, bis das untrainierte neuronale Netz 1306 eine gewünschte Genauigkeit erreicht. In mindestens einer Ausführungsform kann das trainierte neuronale Netz 1308 dann eingesetzt werden, um eine beliebige Anzahl von Operationen zum maschinellen Lernen zu implementieren.
Mindestens in einer Ausführungsform wird das untrainierte neuronale Netz 1306 unter Verwendung von unbeaufsichtigtem Lernen trainiert, wobei das untrainierte neuronale Netz 1306 versucht, sich selbst unter Verwendung ungekennzeichneter Daten zu trainieren. In mindestens einer Ausführungsform umfasst der Trainingsdatensatz 1302 des unbeaufsichtigten Lernens Eingabedaten ohne assoziierte Ausführungsdaten oder „Ground Truth“-Daten. In mindestens einer Ausführungsform kann das untrainierte neuronale Netz 1306 Gruppierungen innerhalb des Trainingsdatensatzes 1302 lernen und bestimmen, wie einzelne Eingaben mit dem untrainierten Datensatz 1302 in Beziehung stehen. In mindestens einer Ausführungsform kann unüberwachtes Training verwendet werden, um eine selbstorganisierende Karte in einem trainierten neuronalen Netz 1308 zu erzeugen, was in der Lage ist, Operationen durchzuführen, die bei der Reduzierung der Dimensionalität eines neuen Datensatzes 1312 nützlich sind. In mindestens einer Ausführungsform kann unüberwachtes Training auch dazu verwendet werden, eine Anomalieerkennung durchzuführen, die es ermöglicht, Datenpunkte in einem neuen Datensatz 1312 zu identifizieren, die von normalen Mustern des neuen Datensatzes 1312 abweichen.
In mindestens einer Ausführungsform kann halbüberwachtes Lernen verwendet werden, was ein Verfahren ist, bei der der Trainingsdatensatz 1302 eine Mischung aus gekennzeichneten und ungekennzeichneten Daten umfasst. In mindestens einer Ausführungsform kann das Trainings-Framework 1304 verwendet werden, um inkrementelles Lernen durchzuführen, beispielsweise durch übertragene Lernverfahren. In mindestens einer Ausführungsform ermöglicht das inkrementelle Lernen einem trainierten neuronalen Netz 1308, sich an einen neuen Datensatz 1312 anzupassen, ohne das Wissen zu vergessen, das dem trainierten neuronalen Netz während des initialen Trainings vermittelt wurde.
Bei mindestens einer Ausführungsform ist das Trainings-Framework 1304 ein Framework, das in Verbindung mit einem Softwareentwicklungs-Toolkit wie einem OpenVINO (Open Visual Inference and Neural Network Optimization) Toolkit verarbeitet wird. Bei mindestens einer Ausführungsform handelt es sich bei einem OpenVINO-Toolkit um ein Toolkit, wie es von der Intel Corporation in Santa Clara, CA, entwickelt wurde.
Bei mindestens einer Ausführungsform handelt es sich bei OpenVINO um ein Toolkit zur Erleichterung der Entwicklung von Anwendungen, insbesondere von Anwendungen für neuronale Netze, für verschiedene Aufgaben und Operationen, wie z.B. Emulation des menschlichen Sehens, Spracherkennung, Verarbeitung natürlicher Sprache, Empfehlungssysteme und/oder Variationen davon. Bei mindestens einer Ausführungsform unterstützt OpenVINO neuronale Netze wie z.B. faltende neuronale Netze (CNNs), rückgekoppelte und/oder aufmerksamkeitsbasierte neuronale Netze und/oder verschiedene andere Modelle für ein neuronales Netz. Bei mindestens einer Ausführungsform unterstützt OpenVINO verschiedene Softwarebibliotheken wie OpenCV, OpenCL und/oder Varianten davon.
Bei mindestens einer Ausführungsform unterstützt OpenVINO Modelle für ein neuronales Netz für verschiedene Aufgaben und Operationen, wie z.B. Klassifizierung, Segmentierung, Objekterkennung, Gesichtserkennung, Spracherkennung, Posenschätzung (z.B. von Menschen und/oder Objekten), monokulare Tiefenschätzung, Bild-Inpainting, Stiltransfer, Handlungserkennung, Kolorierung und/oder Variationen davon.
Bei mindestens einer Ausführungsform umfasst OpenVINO ein oder mehrere Softwaretools und/oder Module für eine Modelloptimierung, was auch als Modelloptimierer bezeichnet wird. Bei mindestens einer Ausführungsform handelt es sich bei einem Modelloptimierer um ein Kommandozeilenwerkzeug, das die Übergänge zwischen Training und Einsatz von Modellen eines neuronalen Netzes erleichtert. Bei mindestens einer Ausführungsform optimiert ein Modelloptimierer Modelle eines neuronalen Netzes für die Ausführung auf verschiedenen Einrichtungen und/oder Verarbeitungseinheiten, wie z.B. einer GPU, CPU, PPU, GPGPU und/oder Varianten davon. Bei mindestens einer Ausführungsform erzeugt ein Modelloptimierer eine interne Darstellung eines Modells und optimiert das Modell, um eine Zwischendarstellung zu erzeugen. Bei mindestens einer Ausführungsform reduziert ein Modelloptimierer die Anzahl der Schichten eines Modells. Bei mindestens einer Ausführungsform entfernt ein Modelloptimierer die Schichten eines Modells, die für das Training verwendet werden. Bei mindestens einer Ausführungsform führt ein Modelloptimierer verschiedene Operationen für neuronale Netze durch, wie z.B. das Ändern der Eingaben in ein Modell (z.B. Ändern der Größe der Eingaben in ein Modell), das Ändern der Größe der Eingaben eines Modells (z.B. Ändern der Stapelgröße eines Modells), das Ändern einer Modellstruktur (z.B, Modifizierung von Schichten eines Modells), eine Normalisierung, eine Standardisierung, eine Quantisierung (z.B. Konvertierung von Gewichten eines Modells von einer ersten Darstellung, wie z.B. Gleitkomma, in eine zweite Darstellung, wie z.B. Integer), und/oder Variationen davon.
Bei mindestens einer Ausführungsform umfasst OpenVINO eine oder mehrere Softwarebibliotheken für Inferencing, was auch als Inferenzmaschine bezeichnet wird. Bei mindestens einer Ausführungsform handelt es sich bei der Inferenzmaschine um eine C++-Bibliothek oder eine andere geeignete Bibliothek in einer Programmiersprache. Bei mindestens einer Ausführungsform wird eine Inferenzmaschine zum Ableiten von Eingabedaten verwendet. Bei mindestens einer Ausführungsform implementiert eine Inferenzmaschine verschiedene Klassen, um Eingabedaten abzuleiten und ein oder mehrere Ergebnisse zu erzeugen. Bei mindestens einer Ausführungsform implementiert eine Inferenzmaschine eine oder mehrere API-Funktionen, um eine Zwischendarstellung zu verarbeiten, Eingabe- und/oder Ausgabeformate festzulegen und/oder ein Modell auf einer oder mehreren Einrichtungen auszuführen.
Bei mindestens einer Ausführungsform bietet OpenVINO verschiedene Möglichkeiten zur heterogenen Ausführung eines oder mehrerer Modelle eines neuronalen Netzes. Bei mindestens einer Ausführungsform bezieht sich die heterogene Ausführung oder das heterogene Computing auf einen oder mehrere Rechenprozesse und/oder Systeme, die einen oder mehrere Typen von Prozessoren und/oder Kernen verwenden. Bei mindestens einer Ausführungsform stellt OpenVINO verschiedene Softwarefunktionen zur Ausführung eines Programms auf einer oder mehreren Einrichtungen bereit. Bei mindestens einer Ausführungsform stellt OpenVINO verschiedene Softwarefunktionen zur Verfügung, um ein Programm und/oder Abschnitte eines Programms auf verschiedenen Einrichtungen auszuführen. Bei mindestens einer Ausführungsform stellt OpenVINO verschiedene Softwarefunktionen zur Verfügung, um z.B. einen ersten Abschnitt des Codes auf einer CPU und einen zweiten Abschnitt des Codes auf einer GPU und/oder FPGA auszuführen. Bei mindestens einer Ausführungsform stellt OpenVINO verschiedene Softwarefunktionen bereit, um eine oder mehrere Schichten eines neuronalen Netzes auf einer oder mehreren Einrichtungen auszuführen (z.B. einen ersten Satz von Schichten auf einer ersten Einrichtung, wie einer GPU, und einen zweiten Satz von Schichten auf einer zweiten Einrichtung, wie einer CPU).
Bei mindestens einer Ausführungsform weist OpenVINO verschiedene Funktionalitäten auf, die denen eines CUDA-Programmiermodells ähneln, wie z.B. verschiedene Modelloperationen für neuronale Netze, die mit Frameworks wie TensorFlow, PyTorch und/oder Varianten davon verbunden sind. Bei mindestens einer Ausführungsform werden eine oder mehrere CUDA-Programmiermodelloperationen mit OpenVINO durchgeführt. Bei mindestens einer Ausführungsform sind verschiedene Systeme, Verfahren und/oder Techniken, die hier beschrieben sind, unter Verwendung von OpenVINO implementiert.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 13 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 13 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 13 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
RECHENZENTRUM
14 zeigt ein Beispiel eines Rechenzentrums 1400, in dem mindestens eine Ausführungsform verwendet werden kann. Bei mindestens einer Ausführungsform weist das Rechenzentrum 1400 eine Rechenzentrumsinfrastrukturschicht 1410, eine Framework-Schicht 1420, eine Softwareschicht 1430 und eine Anwendungsschicht 1440 auf.
Bei mindestens einer Ausführungsform, wie es in 14 gezeigt ist, kann die Rechenzentrumsinfrastrukturschicht 1410 einen Ressourcen-Orchestrator 1412, gruppierte Rechenressourcen 1414 und Knoten-Rechenressourcen („Knoten-C.R.s“) 1416(1)-1416(N) aufweisen, wobei „N“ eine positive ganze Zahl darstellt (die eine andere positive ganze Zahl „N“ sein kann, als die in anderen Figuren benutzte). Bei mindestens einer Ausführungsform können die Knoten-C.R.s 1416(1)-1416(N) eine beliebige Anzahl von Zentraleinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, Field Programmable Gate Arrays (FPGAs), Grafikprozessoren usw.), Speichereinrichtungen 1418(1)-1418(N) (z. B., dynamischer Festwertspeicher), Festkörper- oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabeeinrichtungen („NW I/O“), Netzwerk-Switches, virtuelle Maschinen („VMs“), Stromversorgungsmodule und Kühlmodule, usw einschließen. Bei mindestens einer Ausführungsform kann es sich bei einem oder mehreren Knoten-C.R.s unter den Knoten-C.R.s 1416(1)-1416(N) um einen Server handeln, der über eine oder mehrere der oben erwähnten Rechenressourcen verfügt.
Bei mindestens einer Ausführungsform können die gruppierten Rechenressourcen 1414 getrennte Gruppierungen von Knoten-C.R.s aufweisen, die in einem oder mehreren Racks (nicht gezeigt) untergebracht sind, oder viele Racks, die in Rechenzentren an verschiedenen geografischen Standorten untergebracht sind (ebenfalls nicht gezeigt). Bei mindestens einer Ausführungsform können separate Gruppierungen von Knoten-C.R.s innerhalb der gruppierten Rechenressourcen 1414 gruppierte Rechen-, Netzwerk-, Speicher- oder Storage-Ressourcen aufweisen, die zur Unterstützung einer oder mehrerer Arbeitslasten ausgestaltet oder zugewiesen werden können. Bei mindestens einer Ausführungsform können mehrere Knoten-C.R.s, die CPUs oder Prozessoren aufweisen, in einem oder mehreren Racks gruppiert sein, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. Bei mindestens einer Ausführungsform können ein oder mehrere Racks auch eine beliebige Anzahl von Stromversorgungsmodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination aufweisen.
Bei mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 1412 einen oder mehrere Knoten C.R.s 1416(1)-1416(N) und/oder gruppierte Rechenressourcen 1414 ausgestalten oder anderweitig steuern. Bei mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 1412 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 1400 aufweisen. Bei mindestens einer Ausführungsform kann der Ressourcen-Orchestrator Hardware, Software oder eine Kombination davon aufweisen.
Bei mindestens einer Ausführungsform, wie es in 14 gezeigt ist, weist die Framework-Schicht 1420 einen Job Scheduler 1432, einen Konfigurationsmanager 1434, einen Ressourcenmanager 1436 und ein verteiltes Dateisystem 1438 auf. Bei mindestens einer Ausführungsform kann die Framework-Schicht 1420 einen Rahmen bzw. Framework zur Unterstützung der Software 1432 der Softwareschicht 1430 und/oder einer oder mehrerer Anwendung(en) 1442 der Anwendungsschicht 1440 aufweisen. Bei mindestens einer Ausführungsform kann die Software 1432 oder die Anwendung(en) 1442 jeweils webbasierte Dienstsoftware oder Anwendungen aufweisen, wie sie beispielsweise von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. Bei mindestens einer Ausführungsform kann es sich bei der Framework-Schicht 1420 um eine Art freies und quelloffenes Software-Webanwendungs-Framework wie Apache SparkTM (im Folgenden „Spark“) handeln, das ein verteiltes Dateisystem 1438 für die Verarbeitung großer Datenmengen (z. B. „Big Data“) nutzen kann. Bei mindestens einer Ausführungsform kann der Job Scheduler 1432 einen Spark-Treiber aufweisen, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 1400 unterstützt werden. Bei mindestens einer Ausführungsform kann der Konfigurationsmanager 1434 in der Lage sein, um verschiedene Schichten wie die Softwareschicht 1430 und die Framework-Schicht 1420, die Spark und das verteilte Dateisystem 1438 aufweist, zur Unterstützung der Verarbeitung großer Datenmengen zu konfigurieren. Bei mindestens einer Ausführungsform kann der Ressourcenmanager 1436 in der Lage sein, geclusterte oder gruppierte Computerressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 1438 und des Job Schedulers 1432 zugeordnet oder zugewiesen sind. Bei mindestens einer Ausführungsform können geclusterte oder gruppierte Rechenressourcen 1414 in der Infrastrukturschicht 1410 des Rechenzentrums aufweisen. Bei mindestens einer Ausführungsform kann der Ressourcenmanager 1436 mit dem Ressourcenorchestrator 1412 koordiniert sein, um diese zugeordneten oder zugewiesenen Computerressourcen zu verwalten.
Bei mindestens einer Ausführungsform kann die in der Softwareschicht 1430 enthaltene Software 1432 Software aufweisen, die von mindestens Abschnitten der Knoten-CRs 1416(1)-1416(N), der gruppierten Rechenressourcen 1414 und/oder des verteilten Dateisystems 1438 der Framework-Schicht 1420 verwendet wird. Bei mindestens einer Ausführungsform können eine oder mehrere Arten von Software eine Internet-Such-Software, eine E-Mail-Virenscan-Software, eine Datenbank-Software und eine Streaming-Video-Content-Software aufweisen, sind aber nicht darauf beschränkt.
Bei mindestens einer Ausführungsform kann (können) die in der Anwendungsschicht 1440 enthaltene(n) Anwendung(en) 1442 eine oder mehrere Arten von Anwendungen aufweisen, die von mindestens Abschnitten der Knoten C.R.s 1416(1)-1416(N), gruppierten Rechenressourcen 1414 und/oder dem verteilten Dateisystem 1438 der Framework-Schicht 1420 verwendet werden. Bei mindestens einer Ausführungsform können eine oder mehrere Arten von Anwendungen eine beliebige Anzahl von Genomanwendungen, kognitiven Berechnungen und Anwendungen für maschinelles Lernen aufweisen, einschließlich Trainings- oder Inferencing-Software, Framework-Software für maschinelles Lernen (z. B. PyTorch, TensorFlow, Caffe usw.) oder andere Anwendungen für maschinelles Lernen, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden, sind aber nicht darauf beschränkt.
Bei mindestens einer Ausführungsform kann jeder von Konfigurationsmanager 1434, Ressourcenmanager 1436 und Ressourcen-Orchestrator 1412 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren, die auf einer beliebigen Menge und Art von Daten basieren, die auf jede technisch machbare Weise erfasst werden. Bei mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Rechenzentrumsbetreiber des Rechenzentrums 1400 davon entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht funktionierende Abschnitte eines Rechenzentrums zu vermeiden.
Bei mindestens einer Ausführungsform kann das Rechenzentrum 1400 Werkzeuge, Dienste, Software oder andere Ressourcen aufweisen, um ein oder mehrere Modelle zum maschinellen Lernen zu trainieren oder Informationen unter Verwendung eines oder mehrerer Modelle zum maschinellen Lernen gemäß einer oder mehrerer hier beschriebener Ausführungsformen vorherzusagen oder abzuleiten. Beispielsweise kann bei mindestens einer Ausführungsform ein Modell zum maschinellen Lernen durch Berechnung von Gewichtungsparametern gemäß einer neuronalen Netzwerkarchitektur unter Verwendung von Software und Rechenressourcen trainiert werden, die oben in Bezug auf das Rechenzentrum 1400 beschrieben wurden. Bei mindestens einer Ausführungsform können trainierte Modelle zum maschinellen Lernen, die einem oder mehreren neuronalen Netzen entsprechen, verwendet werden, um Informationen abzuleiten oder vorherzusagen, wobei die oben beschriebenen Ressourcen in Bezug auf das Rechenzentrum 1400 verwendet werden, indem Gewichtungsparameter verwendet werden, die durch eine oder mehrere hier beschriebene Trainingstechniken berechnet werden.
Bei mindestens einer Ausführungsform kann das Rechenzentrum CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um Training und/oder Inferencing unter Verwendung der oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der oben beschriebenen Software- und/oder Hardwareressourcen als Dienst ausgestaltet sein, um es Benutzern zu ermöglichen, Informationen zu trainieren oder Inferencing durchzuführen, wie etwa Bilderkennung, Spracherkennung oder andere Dienste der künstlichen Intelligenz.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System von 14 für Inferencing- oder VorhersageOperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 14 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 14 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 14 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
AUTONOMES FAHRZEUG
15A zeigt ein Beispiel für ein autonomes Fahrzeug 1500 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform kann das autonome Fahrzeug 1500 (hier alternativ als „Fahrzeug 1500“ bezeichnet) ohne Einschränkung ein Personenfahrzeug sein, wie z.B. ein Pkw, ein Lkw, ein Bus und/oder eine andere Art von Fahrzeug, das einen oder mehrere Fahrgäste aufnimmt. Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 ein Sattelschlepper sein, der für den Transport von Gütern verwendet wird. Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 ein Flugzeug, ein Roboterfahrzeug oder eine andere Art von Fahrzeug sein.
Autonome Fahrzeuge können in Form von Automatisierungsstufen beschrieben werden, die von der National Highway Traffic Safety Administration („NHTSA“), einer Abteilung des US-Verkehrsministeriums, und der Society of Automotive Engineers („SAE“) „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ (z. B. Standard Nr. J3016-201806, veröffentlicht am 15. Juni 2018, Standard Nr. J3016-201609, veröffentlicht am 30. September 2016, sowie frühere und zukünftige Versionen dieses Standards) definiert sind. In mindestens einer Ausführungsform kann das Fahrzeug 1500 in der Lage sein, um eine Funktionalität gemäß einer oder mehrerer der Stufen 1 bis Stufe 5 des autonomen Fahrens auszuführen. Beispielsweise kann das Fahrzeug 1500 bei mindestens einer Ausführungsform in der Lage sein, bedingt automatisiert (Stufe 3), hochautomatisiert (Stufe 4) und/oder vollständig automatisiert (Stufe 5) zu fahren, je nach Ausführungsform.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 ohne Einschränkung Komponenten wie ein Fahrgestell, eine Fahrzeugkarosserie, Räder (z. B. 2, 4, 6, 8, 18 usw.), Reifen, Achsen und andere Komponenten eines Fahrzeugs aufweisen. Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 ohne Einschränkung ein Antriebssystem 1550 aufweisen, wie z. B. einen Verbrennungsmotor, ein Hybrid-Elektroantrieb, einen reinen Elektromotor und/oder einen anderen Antriebssystemtyp. Bei mindestens einer Ausführungsform kann das Antriebssystem 1550 mit einem Antriebsstrang des Fahrzeugs 1500 verbunden sein, der unter anderem ein Getriebe aufweisen kann, um den Antrieb des Fahrzeugs 1500 zu ermöglichen. Bei mindestens einer Ausführungsform kann das Antriebssystem 1550 in Reaktion auf den Empfang von Signalen von einer Drosselklappe/einem Gaspedal (bzw. mehreren Gaspedalen) 1552 gesteuert werden.
Bei mindestens einer Ausführungsform wird ein Lenksystem 1554, das ohne Einschränkung ein Lenkrad aufweisen kann, verwendet, um das Fahrzeug 1500 zu lenken (z.B. entlang eines gewünschten Weges oder einer Route), wenn ein Antriebssystem 1550 in Betrieb ist (z.B. wenn das Fahrzeug in Bewegung ist). Bei mindestens einer Ausführungsform kann das Lenksystem 1554 Signale von einem oder mehreren Lenkaktoren 1556 empfangen. Bei mindestens einer Ausführungsform kann ein Lenkrad optional für die Vollautomatisierung (Stufe 5) eingesetzt werden. Bei mindestens einer Ausführungsform kann ein Bremssensorsystem 1546 verwendet werden, um die Fahrzeugbremsen in Reaktion auf den Empfang von Signalen von einem oder mehreren Bremsaktuatoren 1548 und/oder Bremssensoren zu betätigen.
Bei mindestens einer Ausführungsform liefern die Steuerung(en) 1536, die ohne Einschränkung ein oder mehrere System-on-Chips („SoCs“) (in 15A nicht dargestellt) und/oder Grafikverarbeitungseinheiten („GPUs“) aufweisen können, Signale (z. B. repräsentativ für Befehle) an eine oder mehrere Komponenten und/oder Systeme des Fahrzeugs 1500. Bei mindestens einer Ausführungsform kann (können) die Steuerung(en) 1536 beispielsweise Signale zur Betätigung der Fahrzeugbremsen über den (die) Bremsaktuator(en) 1548, zur Betätigung des Lenksystems 1554 über den/die Lenkaktuator(en) 1556 und zur Betätigung des Antriebssystems 1550 über eine Drosselklappe / (ein) Gaspedal(e) 1552 senden. Bei mindestens einer Ausführungsform kann (können) die Steuerung(en) 1536 eine oder mehrere fahrzeuginterne (z. B. integrierte) Recheneinrichtungen aufweisen, die Sensorsignale verarbeiten und Betriebsbefehle (z. B. Signale, die Befehle darstellen) ausgeben, um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Führen des Fahrzeugs 1500 zu unterstützen. Bei mindestens einer Ausführungsform kann (können) die Steuerung(en) 1536 eine erste Steuerung 1536 für autonome Fahrfunktionen, eine zweite Steuerung 1536 für funktionale Sicherheitsfunktionen, eine dritte Steuerung 1536 für Funktionen der künstlichen Intelligenz (z. B. Computer Vision), eine vierte Steuerung 1536 für Infotainment-Funktionen, eine fünfte Steuerung 1536 für Redundanz in Notfällen und/oder andere Steuerungen aufweisen. Bei mindestens einer Ausführungsform kann eine einzige Steuerung 1536 zwei oder mehrere der oben genannten Funktionen übernehmen, zwei oder mehr Steuerungen 1536 können eine einzige Funktion übernehmen und/oder eine beliebige Kombination davon.
Bei mindestens einer Ausführungsform stellt/stellen die Steuerung(en) 1536 Signale zur Steuerung einer oder mehrerer Komponenten und/oder Systeme des Fahrzeugs 1500 als Reaktion auf Sensordaten bereit, die von einem oder mehreren Sensoren empfangen werden (z.B. Sensoreingaben). Bei mindestens einer Ausführungsform können Sensordaten beispielsweise und ohne Einschränkung von (einem) Global Navigation Satellite Systems („GNSS“)-Sensor(en) 1558 (z.B., Global Positioning System-Sensor(en)), RADAR-Sensor(en) 1560, Ultraschallsensor(en) 1562, LIDAR-Sensor(en) 1564, Inertialmesseinheit-Sensor(en) („IMU“) 1566 (z. B. Beschleunigungsmesser, Gyroskop(e), einen Magnetkompass oder Magnetkompasse, Magnetometer usw.), Mikrofon(en) 1596, Stereokamera(s) 1568, Weitwinkelkamera(s) 1570 (z. B., Fischaugenkameras), Infrarotkamera(s) 1572, Surround-Kamera(s) 1574 (z.B. 360-Grad-Kameras), Fernkameras (nicht in 15A gezeigt), Mittelbereichskamera(s) (nicht in 15A gezeigt), Geschwindigkeitssensor(en) 1544 (z.B. zur Messung der Geschwindigkeit des Fahrzeugs 1500), Vibrationssensor(en) 1542, Lenksensor(en) 1540, Bremssensor(en) (z.B. als Teil des Bremssensorsystems 1546) und/oder anderen Sensortypen empfangen werden.
Bei mindestens einer Ausführungsform kann eine oder können mehrere der Steuerungen 1536 Eingaben (z.B. in Form von Eingabedaten) von einem Kombiinstrument 1532 des Fahrzeugs 1500 empfangen und Ausgaben (z.B. in Form von Ausgabedaten, Anzeigedaten usw.) über eine Mensch-Maschine-Schnittstelle („HMI“)-Anzeige 1534, einen akustischen Melder, einen Lautsprecher und/oder über andere Komponenten des Fahrzeugs 1500 bereitstellen. Bei mindestens einer Ausführungsform können die Ausgaben Informationen wie Fahrzeuggeschwindigkeit, Drehzahl, Zeit, Kartendaten (z. B. eine hochauflösende Karte (in 15A nicht dargestellt)), Positionsdaten (z. B. die Position des Fahrzeugs 1500, wie auf einer Karte), Richtung, Position anderer Fahrzeuge (z. B. ein Belegungsraster), Informationen über Objekte und den Status von Objekten, wie es von der/den Steuerung(en) 1536 wahrgenommen wird, usw. aufweisen. Bei mindestens einer Ausführungsform kann die HMI-Anzeige 1534 beispielsweise Informationen über das Vorhandensein eines oder mehrerer Objekte (z. B. ein Straßenschild, ein Warnschild, eine sich ändernde Ampel usw.) und/oder Informationen über Fahrmanöver anzeigen, die das Fahrzeug durchgeführt hat, gerade durchführt oder durchführen wird (z. B. Spurwechsel jetzt, Ausfahrt 34B in zwei Meilen usw.).
Bei mindestens einer Ausführungsform weist das Fahrzeug 1500 darüber hinaus eine Netzwerkschnittstelle 1524 auf, die (eine) Funkantenne(n) 1526 und/oder (ein) Modem(s) zur Kommunikation über ein oder mehrere Netzwerke verwenden kann. Zum Beispiel kann bei mindestens einer Ausführungsform die Netzwerkschnittstelle 1524 in der Lage sein, über Long-Term Evolution („LTE“), Wideband Code Division Multiple Access („WCDMA“), Universal Mobile Telecommunications System („UMTS“), Global System for Mobile communication („GSM“), IMT-CDMA Multi-Carrier („CDMA2000“) Networks, etc. zu kommunizieren. Bei mindestens einer Ausführungsform kann (können) die Funkantenne(n) 1526 auch die Kommunikation zwischen Objekten in der Umgebung (z. B. Fahrzeuge, mobile Einrichtungen usw.) ermöglichen, wobei lokale Netzwerke wie Bluetooth, Bluetooth Low Energy („LE“), Z-Wave, ZigBee usw. und/oder Weitverkehrsnetzwerke mit geringer Leistung („LPWANs“) wie LoRaWAN, SigFox usw. Protokolle verwendet werden.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System von 15A für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
15B zeigt ein Beispiel für Kamerapositionen und Sichtfelder für das autonome Fahrzeug 1500 aus 15A, gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform stellen die Kameras und die jeweiligen Sichtfelder eine beispielhafte Ausführungsform dar und sind nicht als einschränkend zu betrachten. Beispielsweise können bei mindestens einer Ausführungsform zusätzliche und/oder alternative Kameras vorhanden sein und/oder die Kameras können an anderen Stellen des Fahrzeugs 1500 angeordnet sein.
Bei mindestens einer Ausführungsform können die Kameratypen für Kameras Digitalkameras aufweisen, die für die Verwendung mit Komponenten und/oder Systemen des Fahrzeugs 1500 angepasst sein können, sind aber nicht darauf beschränkt. Bei mindestens einer Ausführungsform kann/können die Kamera(s) auf dem Automotive Safety Integrity Level („ASIL“) B und/oder auf einem anderen ASIL arbeiten. Bei mindestens einer Ausführungsform können die Kameratypen je nach Ausführungsform eine beliebige Bildaufnahmerate, wie 60 Bilder pro Sekunde (fps), 1220 fps, 240 fps usw., erreichen. Bei mindestens einer Ausführungsform können die Kameras Rolling Shutter, Global Shutter, einen anderen Verschlusstyp oder eine Kombination davon verwenden. Bei mindestens einer Ausführungsform kann die Farbfilteranordnung eine Rot-Klar-Klar-Klar-Farbfilteranordnung („RCCC“), eine Rot-Klar-Klar-Blau-Farbfilteranordnung („RCCB“), eine Rot-Blau-Grün-Klar-Farbfilteranordnung („RBGC“), eine Foveon X3-Farbfilteranordnung, eine Bayer-Sensor-Farbfilteranordnung („RGGB“), eine Monochromsensor-Farbfilteranordnung und/oder eine andere Art von Farbfilteranordnung aufweisen. Bei mindestens einer Ausführungsform können zur Erhöhung der Lichtempfindlichkeit Klar-Pixel-Kameras, wie z. B. Kameras mit einer RCCC-, einer RCCB- und/oder einer RBGC-Farbfilteranordnung, verwendet werden.
Bei mindestens einer Ausführungsform kann eine oder können mehrere Kameras verwendet werden, um fortschrittliche Fahrerassistenzsysteme („ADAS“) auszuführen (z. B. als Teil eines redundanten oder ausfallsicheren Designs). So kann bei mindestens einer Ausführungsform eine Multifunktions-Monokamera installiert sein, die Funktionen wie Spurhalteassistent, Verkehrszeichenassistent und intelligente Scheinwerfersteuerung bietet. Bei mindestens einer Ausführungsform kann eine oder können mehrere der Kameras (z.B. alle Kameras) gleichzeitig Bilddaten (z.B. Video) aufzeichnen und bereitstellen.
Bei mindestens einer Ausführungsform kann eine oder können mehrere Kameras in einer Montageanordnung, wie z.B. einer kundenspezifisch entworfenen (dreidimensionalen („3D“) gedruckten) Anordnung, montiert sein, um Streulicht und Reflexionen aus dem Fahrzeug 1500 (z.B. Reflexionen vom Armaturenbrett, die in den Windschutzscheibenspiegeln reflektiert werden) auszuschalten, die die Fähigkeit der Kamera zur Bilddatenerfassung beeinträchtigen können. Bei mindestens einer Ausführungsform können die Anordnungen für die Außenspiegel individuell in 3D gedruckt werden, so dass eine Kameramontageplatte einer Form eines Außenspiegels entspricht. Bei mindestens einer Ausführungsform kann (können) die Kamera(s) in den Außenspiegeln integriert sein. Bei mindestens einer Ausführungsform kann (können) die Kamera(s) bei Seitenkameras auch in vier Säulen an jeder Ecke einer Fahrgastzelle integriert sein.
Bei mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Abschnitte der Umgebung vor dem Fahrzeug 1500 aufweist (z. B. nach vorne gerichtete Kameras), für die Rundumsicht verwendet werden, um bei der Erkennung von nach vorne gerichteten Wegen und Hindernissen zu helfen, sowie mit Hilfe einer oder mehrerer Steuerungen 1536 und/oder Steuer-SoCs Informationen bereitzustellen, die für die Erstellung eines Belegungsrasters und/oder die Bestimmung bevorzugter Fahrzeugwege entscheidend sind. Bei mindestens einer Ausführungsform können nach vorne gerichtete Kameras verwendet werden, um viele der gleichen ADAS-Funktionen wie LIDAR auszuführen, einschließlich, ohne Einschränkung, Notbremsung, Fußgängererkennung und Kollisionsvermeidung. Bei mindestens einer Ausführungsform können nach vorne gerichtete Kameras auch für ADAS-Funktionen und -Systeme verwendet werden, einschließlich, aber nicht beschränkt auf eine Warnung vor dem Verlassen der Fahrspur („LDW“), autonome Geschwindigkeitsregelung („ACC“) und/oder andere Funktionen wie Verkehrszeichenerkennung.
Bei mindestens einer Ausführungsform kann eine Vielzahl von Kameras in einer nach vorne gerichteten Konfiguration verwendet werden, einschließlich z. B. einer monokularen Kameraplattform, die einen CMOS-Farbbildwandler („Complementary Metal Oxide Semiconductor“) aufweist. Bei mindestens einer Ausführungsform kann die Weitwinkelkamera 1570 verwendet werden, um Objekte zu erkennen, die von einer Peripherie her ins Blickfeld kommen (z. B. Fußgänger, kreuzender Verkehr oder Fahrräder). Obwohl in 15B nur eine Weitwinkelkamera 1570 dargestellt ist, kann bei anderen Ausführungen eine beliebige Anzahl (einschließlich Null) von Weitwinkelkameras am Fahrzeug 1500 vorhanden sein. Bei mindestens einer Ausführungsform kann eine beliebige Anzahl von Weitwinkelkamera(s) 1598 (z. B. ein Weitwinkel-Stereokamerapaar) zur tiefenbasierten Objekterkennung verwendet werden, insbesondere für Objekte, für die ein neuronales Netz noch nicht trainiert worden ist. Bei mindestens einer Ausführungsform können die Weitwinkelkamera(s) 1598 auch zur Objekterkennung und -klassifizierung sowie zur grundlegenden Objektverfolgung verwendet werden.
Bei mindestens einer Ausführungsform kann eine beliebige Anzahl von Stereokamera(s) 1568 auch in einer nach vorne gerichteten Konfiguration vorhanden sein. Bei mindestens einer Ausführungsform kann eine oder können mehrere der Stereokamera(s) 1568 eine integrierte Steuereinheit aufweisen, die eine skalierbare Verarbeitungseinheit umfasst, die eine programmierbare Logik („FPGA“) und einen Multi-Core-Mikroprozessor mit einer integrierten Controller Area Network („CAN“)- oder Ethernet-Schnittstelle auf einem einzigen Chip bereitstellen kann. Bei mindestens einer Ausführungsform kann eine solche Einheit verwendet werden, um eine 3D-Karte der Umgebung des Fahrzeugs 1500 zu erstellen, die eine Abstandsschätzung für alle Punkte im Bild aufweist. Bei mindestens einer Ausführungsform kann eine oder können mehrere der Stereokamera(s) 1568 ohne Einschränkung kompakte(n) Stereosicht-Sensor(en) aufweisen, die ohne Einschränkung zwei Kameralinsen (je eine auf der linken und rechten Seite) und einen Bildverarbeitungschip enthalten können, der den Abstand zwischen dem Fahrzeug 1500 und dem Zielobjekt messen und die erzeugten Informationen (z. B. Metadaten) verwenden kann, um autonome Notbrems- und Spurhaltewarnfunktionen zu aktivieren. Bei mindestens einer Ausführungsform können auch andere Typen von Stereokameras 1568 zusätzlich oder alternativ zu den hier beschriebenen verwendet werden.
Bei mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Abschnitte der Umgebung seitlich des Fahrzeugs 1500 aufweist (z. B. Seitenkameras), für die Umgebungsansicht verwendet werden und Informationen liefern, die zur Erstellung und Aktualisierung eines Belegungsgitters sowie zur Erzeugung von Seitenaufprallwarnungen verwendet werden. Bei mindestens einer Ausführungsform kann (können) die Surround-Kamera(s) 1574 (z. B. vier Surround-Kameras 1574, wie es in 15B dargestellt ist) am Fahrzeug 1500 positioniert sein. Bei mindestens einer Ausführungsform kann (können) die Surround-Kamera(s) 1574 ohne Einschränkung eine beliebige Anzahl und Kombination von Weitwinkelkamera(s), Fischaugenkamera(s), 360-Grad-Kamera(s) und/oder ähnliche Kameras aufweisen. Zum Beispiel können bei mindestens einer Ausführungsform vier Fischaugenkameras an der Vorderseite, der Rückseite und den Seiten des Fahrzeugs 1500 positioniert sein. Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 drei Surround-Kamera(s) 1574 (z.B. links, rechts und hinten) verwenden und eine oder mehrere andere Kamera(s) (z.B. eine nach vorne gerichtete Kamera) als vierte Surround-View-Kamera nutzen.
Bei mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Abschnitte einer Umgebung hinter dem Fahrzeug 1500 aufweist (z. B. Rückfahrkameras), für die Einparkhilfe, die Umgebungsansicht, die Heckkollisionswarnungen und die Erstellung und Aktualisierung des Belegungsgitters verwendet werden. Bei mindestens einer Ausführungsform kann eine Vielzahl von Kameras verwendet werden, einschließlich, aber nicht beschränkt auf, Kameras, die auch als nach vorne gerichtete Kamera(s) geeignet sind (z.B. Weitbereichskameras 1598 und/oder Mittelbereichskamera(s) 1576, Stereokamera(s) 1568), Infrarotkamera(s) 1572, usw.), wie es hier beschrieben ist.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System von 15B für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
15C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug 1500 aus 15A gemäß mindestens einer Ausführungsform zeigt. In mindestens einer Ausführungsform ist jede Komponente, jedes Merkmal und jedes System des Fahrzeugs 1500 in 15C als über einen Bus 1502 verbunden dargestellt. In mindestens einer Ausführungsform kann der Bus 1502 ohne Einschränkung eine CAN-Datenschnittstelle aufweisen (hier alternativ als „CAN-Bus“ bezeichnet). Bei mindestens einer Ausführungsform kann ein CAN ein Netzwerk innerhalb des Fahrzeugs 1500 sein, das zur Unterstützung der Steuerung verschiedener Merkmale und Funktionen des Fahrzeugs 1500 verwendet wird, wie z. B. Betätigung der Bremsen, Beschleunigung, Bremsen, Lenkung, Scheibenwischer usw. Bei mindestens einer Ausführungsform kann der Bus 1502 so ausgestaltet sein, dass er Dutzende oder sogar Hunderte von Knoten aufweist, von denen jeder seine eigene eindeutige Kennung hat (z. B. eine CAN-ID). Bei mindestens einer Ausführungsform kann der Bus 1502 ausgelesen werden, um den Lenkradwinkel, die Fahrgeschwindigkeit, die Motordrehzahl pro Minute („RPMs“), die Tastenpositionen und/oder andere Fahrzeugstatusanzeigen zu ermitteln. Bei mindestens einer Ausführungsform kann der Bus 1502 ein CAN-Bus sein, der ASIL B-konform ist.
Bei mindestens einer Ausführungsform können zusätzlich zu oder alternativ zu CAN auch FlexRay und/oder Ethernet-Protokolle verwendet werden. Bei mindestens einer Ausführungsform kann eine beliebige Anzahl von Bussen zur Bildung von Bus 1502 vorhanden sein, die ohne Einschränkung null oder mehr CAN-Busse, null oder mehr FlexRay-Busse, null oder mehr Ethernet-Busse und/oder null oder mehr andere Arten von Bussen mit anderen Protokollen aufweisen können. Bei mindestens einer Ausführungsform können zwei oder mehr Busse 1502 verwendet werden, um unterschiedliche Funktionen auszuführen, und/oder sie können zur Redundanz verwendet werden. Zum Beispiel kann ein erster Bus für die Kollisionsvermeidungsfunktionalität und ein zweiter Bus für die Betätigungssteuerung verwendet werden. Bei mindestens einer Ausführungsform kann jeder Bus von Bus 1502 mit beliebigen Komponenten des Fahrzeugs 1500 kommunizieren, und zwei oder mehr Busse von Bus 1502 können mit entsprechenden Komponenten kommunizieren. Bei mindestens einer Ausführungsform kann jede beliebige Anzahl von System(en) auf (einem) Chip(s) („SoC(s)“) 1504 (wie z.B. SoC 1504(A) und SoC 1504(B)), jede Steuerung 1536 und/oder jeder Computer im Fahrzeug Zugriff auf dieselben Eingabedaten (z.B. Eingaben von Sensoren des Fahrzeugs 1500) haben und mit einem gemeinsamen Bus, wie dem CAN-Bus, verbunden sein.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 eine oder mehrere Steuerung(en) 1536 aufweisen, wie es hier in Bezug auf 15A beschrieben ist. Bei mindestens einer Ausführungsform kann (können) die Steuerung(en) 1536 für eine Vielzahl von Funktionen verwendet werden. Bei mindestens einer Ausführungsform kann (können) die Steuerung(en) 1536 mit verschiedenen anderen Komponenten und Systemen des Fahrzeugs 1500 gekoppelt sein und zur Steuerung des Fahrzeugs 1500, zur künstlichen Intelligenz des Fahrzeugs 1500, zum Infotainment für das Fahrzeug 1500 und/oder anderen Funktionen verwendet werden.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 eine beliebige Anzahl von SoCs 1504 aufweisen. Bei mindestens einer Ausführungsform kann jedes der SoCs 1504, ohne Einschränkung, zentrale Verarbeitungseinheiten („CPU(s)“) 1506, Grafikverarbeitungseinheiten („GPU(s)“) 1508, Prozessor(en) 1510, Cache(s) 1512, Beschleuniger 1514, Datenspeicher 1516 und/oder andere nicht dargestellte Komponenten und Merkmale aufweisen. Bei mindestens einer Ausführungsform können SoC(s) 1504 zur Steuerung des Fahrzeugs 1500 in einer Vielzahl von Plattformen und Systemen verwendet werden. Bei mindestens einer Ausführungsform kann (können) SoC(s) 1504 beispielsweise in einem System (z.B. dem System des Fahrzeugs 1500) mit einer High-Definition („HD“)-Karte 1522 kombiniert sein, die über eine Netzwerkschnittstelle 1524 von einem oder mehreren Servern (in 15C nicht dargestellt) Kartenauffrischungen und/oder -aktualisierungen erhalten kann.
Bei mindestens einer Ausführungsform kann (können) die CPU(s) 1506 einen CPU-Cluster oder CPU-Komplex (hier alternativ als „CCPLEX“ bezeichnet) aufweisen. Bei mindestens einer Ausführungsform kann (können) die CPU(s) 1506 mehrere Kerne und/oder Level Two („L2“) Caches aufweisen. Bei mindestens einer Ausführungsform kann (können) die CPU(s) 1506 beispielsweise acht Kerne in einer kohärenten Multiprozessorkonfiguration aufweisen. Bei mindestens einer Ausführungsform kann (können) die CPU(s) 1506 vier Dual-Core-Cluster aufweisen, wobei jeder Cluster über einen dedizierten L2-Cache verfügt (z. B. einen 2 Megabyte (MB) L2-Cache). Bei mindestens einer Ausführungsform kann (können) die CPU(s) 1506 (z.B. CCPLEX) so ausgestaltet sein, dass sie die gleichzeitigen Clusteroperationen unterstützen, so dass jede Kombination von Clustern der CPU(s) 1506 zu jedem Zeitpunkt aktiv sein kann.
Bei mindestens einer Ausführungsform kann eine oder können mehrere der CPU(s) 1506 Energieverwaltungsfunktionen implementieren, die ohne Einschränkung eines oder mehrere der folgenden Merkmale aufweisen: einzelne Hardwareblöcke können im Leerlauf automatisch getaktet sein, um dynamische Energie zu sparen; jeder Kerntakt kann getaktet sein, wenn der Kern aufgrund der Ausführung von Wait for Interrupt („WFI“)/Wait for Event („WFE“)-Befehlen nicht aktiv Befehle ausführt; jeder Kern kann unabhängig stromgesteuert sein; jeder Kerncluster kann unabhängig taktgesteuert sein, wenn alle Kerne taktgesteuert oder stromgesteuert sind; und/oder jeder Kerncluster kann unabhängig stromgesteuert sein, wenn alle Kerne stromgesteuert sind. Bei mindestens einer Ausführungsform kann/können die CPU(s) 1506 darüber hinaus einen erweiterten Algorithmus für die Verwaltung von Energiezuständen implementieren, bei dem zulässige Energiezustände und erwartete Aufwachzeiten festgelegt werden und die Hardware/der Mikrocode den besten Energiezustand bestimmt, der für Kern, Cluster und CCPLEX einzunehmen ist. Bei mindestens einer Ausführungsform können die Prozessorkerne vereinfachte Sequenzen zur Eingabe des Energiezustands in Software unterstützen, wobei die Arbeit an den Mikrocode ausgelagert ist.
Bei mindestens einer Ausführungsform kann (können) die GPU(s) 1508 eine integrierte GPU aufweisen (hier alternativ als „iGPU“ bezeichnet). Bei mindestens einer Ausführungsform kann (können) die GPU(s) 1508 programmierbar sein und für parallele Arbeitslasten effizient sein. Bei mindestens einer Ausführungsform kann (können) die GPU(s) 1508 einen erweiterten Tensor-Befehlssatz verwenden. Bei mindestens einer Ausführungsform kann (können) (die) GPU(s) 1508 einen oder mehrere Streaming-Mikroprozessoren aufweisen, wobei jeder Streaming-Mikroprozessor einen L1-Cache (z. B. einen L1-Cache mit einer Speicherkapazität von mindestens 96 KB) aufweisen kann und zwei oder mehr Streaming-Mikroprozessoren sich einen L2-Cache (z. B. einen L2-Cache mit einer Speicherkapazität von 512 KB) teilen können. Bei mindestens einer Ausführungsform kann (können) die GPU(s) 1508 mindestens acht Streaming-Mikroprozessoren aufweisen. Bei mindestens einer Ausführungsform kann (können) die GPU(s) 1508 eine oder mehrere Programmierschnittstellen (API(s)) für Berechnungen verwenden. Bei mindestens einer Ausführungsform kann (können) die GPU(s) 1508 eine oder mehrere parallele Rechenplattformen und/oder Programmiermodelle (z. B. das CUDA-Modell von NVIDIA) verwenden.
Bei mindestens einer Ausführungsform kann eine oder können mehrere der GPU(s) 1508 für die beste Leistung in automobilen und eingebetteten Anwendungsfällen energieoptimiert sein. In einer Ausführungsform kann (können) die GPU(s) 1508 beispielsweise mit einer Fin-Feldeffekttransistor- („FinFETs“-) Schaltung hergestellt sein. Bei mindestens einer Ausführungsform kann jeder Streaming-Mikroprozessor eine Anzahl von in mehrere Blöcke unterteilten Rechenkernen mit gemischter Präzision enthalten. Beispielsweise können 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke unterteilt sein. Bei mindestens einer Ausführungsform können jedem Verarbeitungsblock 16 FP32-Kerne, 8 FP64-Kerne, 16 INT32-Kerne, zwei NVIDIA Tensorkernen mit gemischter Genauigkeit für Deep-Learning-Matrixarithmetik, ein Level-Null-Befehlscache („L0“), ein Warp-Scheduler, eine Dispatch-Einheit und/oder eine 64-KB-Registerdatei zugewiesen sein. Bei mindestens einer Ausführungsform können Streaming-Mikroprozessoren unabhängige parallele Ganzzahl- und Gleitkomma-Datenpfade aufweisen, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Berechnungen und Adressierungsberechnungen zu ermöglichen. Bei mindestens einer Ausführungsform können Streaming-Mikroprozessoren eine unabhängige Thread-Planungsfunktion aufweisen, um eine feinkörnigere Synchronisierung und Zusammenarbeit zwischen parallelen Threads zu ermöglichen. Bei mindestens einer Ausführungsform können Streaming-Mikroprozessoren einen kombinierten L1-Datencache und eine gemeinsame Speichereinheit aufweisen, um die Leistung zu verbessern und gleichzeitig die Programmierung zu vereinfachen.
Bei mindestens einer Ausführungsform kann eine oder können mehrere der GPU(s) 1508 einen Speicher mit hoher Bandbreite („HBM“) und/oder ein 16-GB-HBM2-Speicher-Subsystem aufweisen, um bei einigen Beispielen eine Spitzen-Speicherbandbreite von etwa 1600 GB/Sekunde bereitzustellen. Bei mindestens einer Ausführungsform kann zusätzlich oder alternativ zum HBM-Speicher ein synchroner Grafik-Direktzugriffsspeicher („SGRAM“) verwendet werden, wie z. B. ein synchroner Grafik-Doppeldatenraten-Direktzugriffsspeicher vom Typ 5 („GDDR5“).
Bei mindestens einer Ausführungsform kann (können) die GPU(s) 1508 eine Unified-Memory-Technologie aufweisen. Bei mindestens einer Ausführungsform kann die Unterstützung von Adressübersetzungsdiensten („ATS“) verwendet werden, damit die GPU(s) 1508 direkt auf Seitentabellen der CPU(s) 1506 zugreifen können. Bei mindestens einer Ausführungsform kann eine Adressübersetzungsanforderung an die CPU(s) 1506 übermittelt werden, wenn die Speicherverwaltungseinheit („MMU“) der GPU(s) 1508 einen Fehler feststellt. Als Antwort darauf können 2 CPUs der CPU(s) 1506 in ihren Seitentabellen nach einer virtuell-physikalischen Zuordnung der Adresse suchen und bei mindestens einer Ausführungsform die Übersetzung zurück an die GPU(s) 1508 übertragen. Bei mindestens einer Ausführungsform kann die Unified-Memory-Technologie einen einzigen, einheitlichen virtuellen Adressraum für den Speicher sowohl der CPU(s) 1506 als auch der GPU(s) 1508 ermöglichen, wodurch die Programmierung der GPU(s) 1508 und der Anschluss von Anwendungen an die GPU(s) 1508 vereinfacht wird.
Bei mindestens einer Ausführungsform kann (können) die GPU(s) 1508 eine beliebige Anzahl von Zugriffszählern aufweisen, die die Häufigkeit des Zugriffs der GPU(s) 1508 auf den Speicher anderer Prozessoren verfolgen können. Bei mindestens einer Ausführungsform können Zugriffszähler dazu beitragen, dass Speicherseiten in den physischen Speicher desjenigen Prozessors verschoben werden, der am häufigsten auf Seiten zugreift, wodurch die Effizienz von Speicherbereichen verbessert wird, die von Prozessoren gemeinsam genutzt werden.
Bei mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 1504 eine beliebige Anzahl von Cache(s) 1512 aufweisen, einschließlich der hier beschriebenen. Bei mindestens einer Ausführungsform kann (können) der/die Cache(s) 1512 beispielsweise einen Level-3-Cache („L3“) aufweisen, der sowohl der/den CPU(s) 1506 als auch der/den GPU(s) 1508 zur Verfügung steht (z. B. der mit der/den CPU(s) 1506 und der/den GPU(s) 1508 verbunden ist). Bei mindestens einer Ausführungsform kann (können) der (die) Cache(s) 1512 einen Write-Back-Cache aufweisen, der die Zustände der Zeilen verfolgen kann, z. B. durch Verwendung eines Cache-Kohärenzprotokolls (z. B. MEI, MESI, MSI usw.). Bei mindestens einer Ausführungsform kann ein L3-Cache, je nach Ausführungsform, 4 MB eines Speichers oder mehr aufweisen, obwohl auch kleinere Cache-Größen verwendet werden können.
Bei mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 1504 einen oder mehrere Beschleuniger 1514 aufweisen (z. B. Hardware-Beschleuniger, Software-Beschleuniger oder eine Kombination davon). Bei mindestens einer Ausführungsform kann (können) der (die) SoC(s) 1504 einen Hardwarebeschleunigungscluster aufweisen, der optimierte Hardwarebeschleuniger und/oder einen großen On-Chip-Speicher aufweisen kann. Bei mindestens einer Ausführungsform kann ein großer On-Chip-Speicher (z. B. 4 MB SRAM) den Hardware-Beschleunigungscluster in die Lage versetzen, neuronale Netze und andere Berechnungen zu beschleunigen. Bei mindestens einer Ausführungsform kann der Hardware-Beschleunigungscluster zur Ergänzung der GPU(s) 1508 und zur Entlastung einiger Tasks der GPU(s) 1508 verwendet werden (z. B. um mehr Zyklen der GPU(s) 1508 für die Durchführung anderer Tasks freizugeben). Bei mindestens einer Ausführungsform kann (können) der/die Beschleuniger 1514 für gezielte Arbeitslasten verwendet werden (z. B. Wahrnehmung, faltende neuronale Netze („CNNs“), rückgekoppelte neuronale Netze („RNNs“) usw.), die stabil genug sind, um für eine Beschleunigung geeignet zu sein. Bei mindestens einer Ausführungsform kann ein CNN ein regionenbasiertes oder regionales faltendes neuronales Netz („RCNNs“) und ein schnelles RCNN (z. B. wie es für die Objekterkennung verwendet wird) oder eine andere Art von CNN aufweisen.
Bei mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 1514 (z. B. Hardware-Beschleunigungscluster) einen oder mehrere Deep-Learning-Beschleuniger („DLA“) aufweisen. Bei mindestens einer Ausführungsform kann (können) (ein) DLA(s) ohne Einschränkung eine oder mehrere Tensor Processing Units („TPUs“) aufweisen, die so ausgestaltet sein können, dass sie zusätzliche zehn Billionen Operationen pro Sekunde für Deep-Learning-Anwendungen und Inferencing bereitstellen. Bei mindestens einer Ausführungsform kann es sich bei den TPUs um Beschleuniger handeln, die für die Durchführung von Bildverarbeitungsfunktionen ausgestaltet und optimiert sind (z. B. für CNNs, RCNNs usw.). Bei mindestens einer Ausführungsform kann (können) der (die) DLA(s) darüber hinaus für einen bestimmten Satz neuronaler Netzwerktypen und Gleitkommaoperationen sowie für Inferencing optimiert sein. Bei mindestens einer Ausführungsform kann das Design von DLA(s) mehr Leistung pro Millimeter bieten als eine typische Allzweck-GPU und übertrifft in der Regel die Leistung einer CPU bei weitem. Bei mindestens einer Ausführungsform kann (können) die TPU(s) mehrere Funktionen ausführen, einschließlich einer Einzelinstanz-Faltungsfunktion, die z. B. INT8-, INT16- und FP16-Datentypen sowohl für Merkmale als auch für Gewichte sowie Postprozessorfunktionen unterstützt. Bei mindestens einer Ausführungsform können DLA(s) schnell und effizient neuronale Netze, insbesondere CNNs, auf verarbeiteten oder unverarbeiteten Daten für eine Vielzahl von Funktionen ausführen, einschließlich, zum Beispiel und ohne Einschränkung: ein CNN für die Objektidentifizierung und - erkennung unter Verwendung von Daten von Kamerasensoren; ein CNN für die Abstandsschätzung unter Verwendung von Daten von Kamerasensoren; ein CNN für die Erkennung und Identifizierung von Einsatzfahrzeugen und die Erkennung unter Verwendung von Daten von Mikrofonen; ein CNN für die Gesichtserkennung und die Identifizierung von Fahrzeugeigentümern unter Verwendung von Daten von Kamerasensoren; und/oder ein CNN für sicherheitsrelevante und/oder sicherheitsbezogene Ereignisse.
Bei mindestens einer Ausführungsform kann (können) DLA(s) jede Funktion der GPU(s) 1508 ausführen, und durch die Verwendung eines Inferenzbeschleunigers kann ein Entwickler beispielsweise entweder DLA(s) oder GPU(s) 1508 für eine beliebige Funktion vorsehen. Bei mindestens einer Ausführungsform kann ein Entwickler beispielsweise die Verarbeitung von CNNs und Gleitkommaoperationen auf DLA(s) konzentrieren und andere Funktionen der GPU(s) 1508 und/oder dem (den) Beschleuniger(n) 1514 überlassen.
Bei mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 1514 den programmierbaren Bildverarbeitungsbeschleuniger („PVA“) aufweisen, der hier alternativ auch als Computer-Vision-Beschleuniger bezeichnet werden kann. Bei mindestens einer Ausführungsform kann (können) der (die) PVA(s) so gestaltet und ausgestaltet sein, dass er (sie) Computer-Vision-Algorithmen für fortschrittliche Fahrerassistenzsysteme („ADAS“) 1538, autonomes Fahren, Augmented-Reality-Anwendungen („AR“) und/oder Virtual-Reality-Anwendungen („VR“) beschleunigt. Bei mindestens einer Ausführungsform kann der (können die) PVA(s) ein Gleichgewicht zwischen Leistung und Flexibilität bieten. Bei mindestens einer Ausführungsform kann jeder PVA beispielsweise und ohne Einschränkung eine beliebige Anzahl von Rechenkernen mit reduziertem Befehlssatz („RISC“), direkten Speicherzugriff („DMA“) und/oder eine beliebige Anzahl von Vektorprozessoren aufweisen.
Bei mindestens einer Ausführungsform können die RISC-Kerne mit Bildsensoren (z.B. Bildsensoren einer der hier beschriebenen Kameras), Bildsignalprozessoren, usw. interagieren. Bei mindestens einer Ausführungsform kann jeder RISC-Kern eine beliebige Menge an Speicher aufweisen. Bei mindestens einer Ausführungsform können die RISC-Kerne je nach Ausführungsform eines von mehreren Protokollen verwenden. Bei mindestens einer Ausführungsform können RISC-Kerne ein Echtzeitbetriebssystem („RTOS“) ausführen. Bei mindestens einer Ausführungsform können RISC-Kerne mit einer oder mehreren integrierten Schaltungseinrichtungen, anwendungsspezifischen integrierten Schaltungen („ASICs“) und/oder Speichereinrichtungen implementiert sein. Bei mindestens einer Ausführungsform können RISC-Kerne beispielsweise einen Befehls-Cache und/oder einen eng gekoppelten RAM aufweisen.
Bei mindestens einer Ausführungsform kann ein DMA es Komponenten der PVA(s) ermöglichen, unabhängig von der/den CPU(s) 1506 auf den Systemspeicher zuzugreifen. Bei mindestens einer Ausführungsform kann ein DMA eine beliebige Anzahl von Merkmalen unterstützen, die zur Optimierung eines PVAs verwendet werden, einschließlich, aber nicht beschränkt auf die Unterstützung von mehrdimensionaler Adressierung und/oder zirkulärer Adressierung. Bei mindestens einer Ausführungsform kann ein DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, die ohne Einschränkung Blockbreite, Blockhöhe, Blocktiefe, horizontales Block-Stepping, vertikales Block-Stepping und/oder Tiefen-Stepping aufweisen können.
Bei mindestens einer Ausführungsform können Vektorprozessoren programmierbare Prozessoren sein, die für eine effiziente und flexible Ausführung der Programmierung für Computer-Vision-Algorithmen ausgelegt sein können und Signalverarbeitungsfunktionen bieten. Bei mindestens einer Ausführungsform kann ein PVA einen PVA-Kern und zwei Vektorverarbeitungs-Subsystem-Partitionen aufweisen. Bei mindestens einer Ausführungsform kann ein PVA-Kern ein Prozessor-Subsystem, DMA-Engine(s) (z. B. zwei DMA-Engines) und/oder andere Peripheriegeräte aufweisen. Bei mindestens einer Ausführungsform kann ein Vektorverarbeitungs-Subsystem als eine primäre Verarbeitungseinheit eines PVAs fungieren und eine Vektorverarbeitungseinheit („VPU“), einen Befehlscache und/oder einen Vektorspeicher (z. B. „VMEM“) aufweisen. Bei mindestens einer Ausführungsform kann der VPU-Kern einen digitalen Signalprozessor aufweisen, wie z. B. einen digitalen Signalprozessor mit mehreren Daten für eine Anweisung („SIMD“) und sehr langen Anweisungsworten („VLIW“). Bei mindestens einer Ausführungsform kann eine Kombination aus SIMD und VLIW den Durchsatz und die Geschwindigkeit erhöhen.
Bei mindestens einer Ausführungsform kann jeder der Vektorprozessoren einen Befehls-Cache aufweisen und mit einem dedizierten Speicher verbunden sein. Infolgedessen kann bei mindestens einer Ausführungsform jeder der Vektorprozessoren so konfiguriert sein, dass er unabhängig von anderen Vektorprozessoren arbeitet. Bei mindestens einer Ausführungsform können Vektorprozessoren, die in einem bestimmten PVA enthalten sind, so konfiguriert sein, dass sie Datenparallelität verwenden. Beispielsweise können bei mindestens einer Ausführungsform mehrere Vektorprozessoren, die in einem einzigen PVA enthalten sind, einen allgemeinen Computer-Vision-Algorithmus ausführen, jedoch für unterschiedliche Bildbereiche. Bei mindestens einer Ausführungsform können Vektorprozessoren, die in einem bestimmten PVA enthalten sind, gleichzeitig verschiedene Bildverarbeitungsalgorithmen für ein Bild oder sogar verschiedene Algorithmen für aufeinander folgende Bilder oder Abschnitte eines Bildes ausführen. Bei mindestens einer Ausführungsform kann unter anderem eine beliebige Anzahl von PVAs in einem Hardware-Beschleunigungscluster und eine beliebige Anzahl von Vektorprozessoren in jedem PVA vorhanden sein. Bei mindestens einer Ausführungsform kann/können (der) PVA(s) einen zusätzlichen Fehlerkorrekturcode-Speicher („ECC“) aufweisen, um die Gesamtsystemsicherheit zu erhöhen.
Bei mindestens einer Ausführungsform kann (können) der (die) Beschleuniger 1514 ein Computer-Vision-Netzwerk auf dem Chip und einen statischen Direktzugriffsspeicher („SRAM“) aufweisen, um einen SRAM mit hoher Bandbreite und geringer Latenz für den (die) Beschleuniger 1514 bereitzustellen. Bei mindestens einer Ausführungsform kann der On-Chip-Speicher mindestens 4 MB SRAM aufweisen, der beispielsweise und ohne Einschränkung acht feldkonfigurierbare Speicherblöcke umfasst, auf die sowohl ein PVA als auch ein DLA zugreifen können. Bei mindestens einer Ausführungsform kann jedes Paar von Speicherblöcken eine erweiterte Peripheriebusschnittstelle („APB“), Konfigurationsschaltungen, eine Steuerung und einen Multiplexer aufweisen. Bei mindestens einer Ausführungsform kann jeder beliebige Speichertyp verwendet werden. Bei mindestens einer Ausführungsform können ein PVA und ein DLA über einen Backbone auf den Speicher zugreifen, der einem PVA und einem DLA einen Hochgeschwindigkeitszugriff auf den Speicher ermöglicht. Bei mindestens einer Ausführungsform kann ein Backbone ein Computer-Vision-Netzwerk auf dem Chip aufweisen, das einen PVA und einen DLA mit dem Speicher verbindet (z.B. unter Verwendung einer APB).
Bei mindestens einer Ausführungsform kann ein Computer-Vision-Netz auf dem Chip eine Schnittstelle aufweisen, die vor der Übertragung von Steuersignalen/Adressen/Daten feststellt, dass sowohl ein PVA als auch ein DLA bereitstehende und gültige Signale liefern. Bei mindestens einer Ausführungsform kann eine Schnittstelle getrennte Phasen und getrennte Kanäle für die Übertragung von Steuersignalen/Adressen/Daten sowie eine Burst-Kommunikation für die kontinuierliche Datenübertragung vorsehen. Bei mindestens einer Ausführungsform kann eine Schnittstelle den Normen der Internationalen Organisation für Normung („ISO“) 26262 oder der Internationalen Elektrotechnischen Kommission („IEC“) 61508 entsprechen, obwohl auch andere Normen und Protokolle verwendet werden können.
Bei mindestens einer Ausführungsform kann eines oder können mehrere der SoC(s) 1504 einen Echtzeit-Raytracing-Hardwarebeschleuniger aufweisen. Bei mindestens einer Ausführungsform kann der Echtzeit-Raytracing-Hardwarebeschleuniger verwendet werden, um schnell und effizient Positionen und Ausmaße von Objekten (z.B. innerhalb eines Weltmodells) zu bestimmen, um Echtzeit-Visualisierungssimulationen zu erzeugen, für RADAR-Signalinterpretation, für Schallausbreitungssynthese und/oder -analyse, für die Simulation von SONAR-Systemen, für eine allgemeine Wellenausbreitungssimulation, für den Vergleich mit LIDAR-Daten zum Zwecke der Lokalisierung und/oder für andere Funktionen und/oder für andere Zwecke.
Bei mindestens einer Ausführungsform kann/können der/die Beschleuniger 1514 eine breite Palette von Anwendungen für das autonome Fahren aufweisen Bei mindestens einer Ausführungsform kann ein PVA für wichtige Verarbeitungsschritte in ADAS und autonomen Fahrzeugen verwendet werden. Bei mindestens einer Ausführungsform eignen sich die Fähigkeiten eines PVAs gut für algorithmische Bereiche, die eine vorhersehbare Verarbeitung bei geringer Leistung und geringer Latenz benötigen. Mit anderen Worten: ein PVA eignet sich gut für halbdichte oder dichte reguläre Berechnungen, selbst bei kleinen Datensätzen, die vorhersehbare Laufzeiten mit geringer Latenz und geringem Stromverbrauch erfordern. Bei mindestens einer Ausführungsform, wie z.B. im Fahrzeug 1500, können PVAs entwickelt sein, um klassische Computer-Vision-Algorithmen auszuführen, da sie effizient bei der Objekterkennung und mit ganzzahligen mathematischen Verfahren arbeiten können.
Zum Beispiel wird bei mindestens einer Ausführungsform einer Technologie ein PVA verwendet, um Computer-Stereo-Vision durchzuführen. Bei mindestens einer Ausführungsform kann bei einigen Beispielen ein auf semiglobalem Matching basierender Algorithmus verwendet werden, obwohl dies nicht als Einschränkung gedacht ist. Bei mindestens einer Ausführungsform werden bei Anwendungen für das autonome Fahren der Stufen 3-5 Bewegungsschätzungen/Stereoabgleich während der Fahrt verwendet (z. B. Struktur aus Bewegung, Fußgängererkennung, Fahrspurerkennung usw.). Bei mindestens einer Ausführungsform kann ein PVA Computer-Stereosichtfunktionen auf Eingaben von zwei monokularen Kameras ausführen.
Bei mindestens einer Ausführungsform kann ein PVA verwendet werden, um einen dichten optischen Fluss auszuführen. Zum Beispiel kann ein PVA bei mindestens einer Ausführungsform RADAR-Rohdaten verarbeiten (z.B. unter Verwendung einer 4D-Fast-Fourier-Transformation), um verarbeitete RADAR-Daten zu liefern. Bei mindestens einer Ausführungsform wird ein PVA für die Flugzeittiefenverarbeitung verwendet, indem Flugzeit-Rohdaten verarbeitet werden, um z.B. verarbeitete Flugzeitdaten bereitzustellen.
Bei mindestens einer Ausführungsform kann ein DLA verwendet werden, um jede Art von Netzwerk zu betreiben, um die Steuerung und die Fahrsicherheit zu verbessern, einschließlich beispielsweise und ohne Einschränkung eines neuronalen Netzes, das für jede Objekterkennung ein Maß für das Vertrauen ausgibt. Bei mindestens einer Ausführungsform kann das Vertrauen als Wahrscheinlichkeit dargestellt oder interpretiert werden, oder als relative „Gewichtung“ jeder Erkennung im Vergleich zu anderen Erkennungen. Bei mindestens einer Ausführungsform ermöglicht es ein Konfidenzmaß dem System, darüber hinaus Entscheidungen darüber zu treffen, welche Erkennungen als echte positive Erkennungen und welche als falsch positive Erkennungen betrachtet werden sollen. Bei mindestens einer Ausführungsform kann ein System einen Schwellenwert für die Zuverlässigkeit festlegen und nur Erkennungen, die den Schwellenwert überschreiten, als echte positive Erkennungen betrachten. In einer Ausführungsform, in der ein automatisches Notbremssystem („AEB“) verwendet wird, würden falsch positive Erkennungen dazu führen, dass das Fahrzeug automatisch eine Notbremsung durchführt, was natürlich unerwünscht ist. Bei mindestens einer Ausführungsform können sehr sichere Erkennungen als Auslöser für ein AEB angesehen werden. Bei mindestens einer Ausführungsform kann ein DLA ein neuronales Netz zur Regression des Vertrauenswertes einsetzen. Bei mindestens einer Ausführungsform kann das neuronale Netz als Eingabe zumindest eine Teilmenge von Parametern verwenden, wie z.B. die Abmessungen des Begrenzungsrahmens, die (z.B. von einem anderen Teilsystem) erhaltene Schätzung der Grundfläche, die Ausgabe des/der IMU-Sensors/en 1566, die mit der Ausrichtung des Fahrzeugs 1500 korreliert, die Entfernung, die Schätzungen der 3D-Position des Objekts, die vom neuronalen Netz und/oder anderen Sensoren (z.B. LIDAR-Sensor(en) 1564 oder RADAR-Sensor(en) 1560) erhalten werden, und andere.
Bei mindestens einer Ausführungsform kann ein oder können mehrere SoC(s) 1504 einen oder mehrere Datenspeicher 1516 (z.B. einen Speicher) aufweisen. Bei mindestens einer Ausführungsform kann (können) der (die) Datenspeicher 1516 ein On-Chip-Speicher des (der) SoC(s) 1504 sein, der (die) neuronale Netze speichern kann (können), die auf GPU(s) 1508 und/oder einem DLA ausgeführt werden sollen. Bei mindestens einer Ausführungsform kann die Kapazität des/der Datenspeicher(s) 1516 groß genug sein, um mehrere Instanzen von neuronalen Netzen aus Gründen der Redundanz und Sicherheit zu speichern. Bei mindestens einer Ausführungsform kann/können der/die Datenspeicher 1512 L2 oder L3 Cache(s) umfassen.
Bei mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 1504 eine beliebige Anzahl von Prozessoren 1510 (z.B. eingebettete Prozessoren) aufweisen. Bei mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1510 einen Boot- und Energieverwaltungsprozessor aufweisen, bei dem es sich um einen dedizierten Prozessor und ein dediziertes Subsystem handeln kann, um die Boot-Energie- und Verwaltungsfunktionen und die damit verbundene Sicherheitsdurchsetzung zu handhaben. Bei mindestens einer Ausführungsform kann der Boot- und Energieverwaltungsprozessor ein Teil der Bootsequenz des/der SoC(s) 1504 sein und Laufzeit-Energieverwaltungsdienste bereitstellen. Bei mindestens einer Ausführungsform kann ein Prozessor für die Boot-Energieversorgung und -Verwaltung Takt- und Spannungsprogrammierung, Unterstützung bei Systemübergängen mit niedrigem Energiebedarf, Verwaltung von SoC(s) 1504-Temperaturen und Temperatursensoren und/oder Verwaltung von SoC(s) 1504-Energieversorgungszuständen bereitstellen. Bei mindestens einer Ausführungsform kann jeder Temperatursensor als Ringoszillator implementiert sein, dessen Ausgangsfrequenz proportional zur Temperatur ist, und (ein) SoC(s) 1504 kann/können Ringoszillatoren verwenden, um Temperaturen von CPU(s) 1506, GPU(s) 1508 und/oder Beschleuniger(n) 1514 zu erfassen. Bei mindestens einer Ausführungsform kann ein Boot- und Energieverwaltungsprozessor, wenn festgestellt wird, dass die Temperaturen einen Schwellenwert überschreiten, in eine Temperaturfehlerroutine eintreten und die SoC(s) 1504 in einen Zustand mit geringerer Leistung versetzen und/oder das Fahrzeug 1500 in einen Chauffeur-zusicherem-Halt-Modus versetzen (z. B. das Fahrzeug 1500 zu einem sicheren Halt bringen).
Bei mindestens einer Ausführungsform kann/können der/die Prozessor(en) 1510 darüber hinaus einen Satz eingebetteter Prozessoren aufweisen, die als Audioverarbeitungsmaschine dienen können, was ein Audio-Subsystem sein kann, das eine vollständige Hardware-Unterstützung für Mehrkanal-Audio über mehrere Schnittstellen und eine breite und flexible Palette von Audio-I/O-Schnittstellen ermöglicht. Bei mindestens einer Ausführungsform handelt es sich bei der Audioverarbeitungsmaschine um einen dedizierten Prozessorkern mit einem digitalen Signalprozessor mit dediziertem RAM.
Bei mindestens einer Ausführungsform kann/können der/die Prozessor(en) 1510 darüber hinaus eine „always on“-Prozessor-Maschine aufweisen, die die notwendigen Hardware-Funktionen zur Unterstützung von Sensor-Management mit geringem Stromverbrauch und Aufwach-Anwendungsfälle bereitstellen kann. Bei mindestens einer Ausführungsform kann eine „always on“-Prozessor-Maschine ohne Einschränkung einen Prozessorkern, ein eng gekoppeltes RAM, unterstützende Peripheriegeräte (z.B. Timer und Interrupt-Controller), verschiedene I/O-Controller-Peripheriegeräte und Routing-Logik aufweisen.
Bei mindestens einer Ausführungsform kann/können der/die Prozessor(en) 1510 darüber hinaus eine Sicherheits-Cluster-Maschine aufweisen, die ohne Einschränkung ein dediziertes Prozessor-Subsystem zur Handhabung des Sicherheitsmanagements für Automobilanwendungen aufweist. Bei mindestens einer Ausführungsform kann eine Sicherheits-Cluster-Maschine ohne Einschränkung zwei oder mehr Prozessorkerne, ein eng gekoppeltes RAM, unterstützende Peripheriegeräte (z. B. Zeitgeber, eine Interrupt-Steuerung usw.) und/oder eine Routing-Logik aufweisen. In einem Sicherheitsmodus können bei mindestens einer Ausführungsform zwei oder mehr Kerne in einem Lockstep-Modus arbeiten und als ein einziger Kern mit einer Vergleichslogik funktionieren, um etwaige Unterschiede zwischen ihren Operationen zu erkennen. Bei mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1510 darüber hinaus eine Echtzeit-Kamera-Maschine aufweisen, die ohne Einschränkung ein dediziertes Prozessor-Subsystem zur Handhabung des Echtzeit-Kameramanagements aufweisen kann. Bei mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1510 darüber hinaus einen Signalprozessor mit hohem Dynamikbereich aufweisen, der ohne Einschränkung einen Bildsignalprozessor aufweisen kann, der eine Hardware-Maschine ist, die Teil einer Kameraverarbeitungspipeline ist.
Bei mindestens einer Ausführungsform kann (können) der (die) Prozessor(en) 1510 einen Videobildkompositor aufweisen, der ein Verarbeitungsblock sein kann (z. B. auf einem Mikroprozessor implementiert), der Videonachverarbeitungsfunktionen implementiert, die von einer Videowiedergabeanwendung benötigt werden, um ein endgültiges Bild für ein Spieler-Fenster zu erzeugen. Bei mindestens einer Ausführungsform kann ein Videobildkompositor eine Linsenverzerrungskorrektur an der/den Weitwinkelkamera(s) 1570, der/den Surround-Kamera(s) 1574 und/oder an dem/den Sensor(en) der Überwachungskamera(s) in der Kabine vornehmen. Bei mindestens einer Ausführungsform wird/werden der/die Sensor(en) der Überwachungskamera(s) in der Kabine vorzugsweise von einem neuronalen Netz überwacht, das auf einer anderen Instanz des SoC 1504 läuft und so ausgestaltet ist, dass es Ereignisse in der Kabine erkennt und entsprechend reagiert. Bei mindestens einer Ausführungsform kann ein System im Fahrzeuginneren ohne Einschränkung Lippenlesen durchführen, um den Mobilfunkdienst zu aktivieren und einen Anruf zu tätigen, E-Mails zu diktieren, das Fahrtziel zu ändern, das Infotainmentsystem und die Einstellungen des Fahrzeugs zu aktivieren oder zu ändern oder sprachgesteuertes Surfen im Internet zu ermöglichen. Bei mindestens einer Ausführungsform stehen einem Fahrer bestimmte Funktionen zur Verfügung, wenn ein Fahrzeug in einem autonomen Modus betrieben wird, und sind ansonsten deaktiviert.
Bei mindestens einer Ausführungsform kann der Videobildkompositor eine verbesserte zeitliche Rauschunterdrückung sowohl für eine räumliche als auch für eine zeitliche Rauschunterdrückung aufweisen. Zum Beispiel bei mindestens einer Ausführungsform, wenn Bewegung in einem Video auftritt, gewichtet die Rauschunterdrückung die räumliche Information angemessen und verringert Gewichte der Information, die von benachbarten Bildern geliefert wird. Bei mindestens einer Ausführungsform, bei der ein Bild oder ein Abschnitt eines Bildes keine Bewegung aufweist, kann die vom Videobildkompositor durchgeführte zeitliche Rauschreduzierung Informationen aus einem vorherigen Bild verwenden, um das Rauschen im aktuellen Bild zu reduzieren.
Bei mindestens einer Ausführungsform kann ein Videobildkompositor auch so ausgestaltet sein, dass er eine Stereorektifizierung an eingegebenen Stereolinsenrahmen durchführt. Bei mindestens einer Ausführungsform kann ein Videobildkompositor darüber hinaus für die Gestaltung der Benutzeroberfläche verwendet werden, wenn der Desktop des Betriebssystems in Gebrauch ist und die GPU(s) 1508 nicht zum kontinuierlichen Rendern neuer Oberflächen benötigt werden. Bei mindestens einer Ausführungsform, wenn die GPU(s) 1508 eingeschaltet sind und aktiv 3D-Rendering durchführen, kann ein Videobildkompositor verwendet werden, um die GPU(s) 1508 zu entlasten, um die Leistung und Reaktionsfähigkeit zu verbessern.
Bei mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 1504 darüber hinaus eine serielle (Mobile Industry Processor Interface („MIPI“-) Kameraschnittstelle zum Empfang von Video und Eingaben von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingabeblock aufweisen, der für eine Kamera und verwandte Pixeleingabefunktionen verwendet werden kann. Bei mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 1504 darüber hinaus eine oder mehrere Eingabe-/Ausgabe-Steuerungen aufweisen, die durch Software gesteuert werden können und für den Empfang von I/O-Signalen verwendet werden können, die keiner bestimmten Rolle zugeordnet sind.
Bei mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 1504 darüber hinaus eine breite Palette von Peripherieschnittstellen aufweisen, um die Kommunikation mit Peripheriegeräten, Audio-Encodern/Decodern („Codecs“), der Energieverwaltung und/oder anderen Einrichtungen zu ermöglichen. Bei mindestens einer Ausführungsform kann (können) SoC(s) 1504 verwendet werden, um Daten von Kameras (z. B. verbunden über Gigabit Multimedia Serial Link und Ethernet-Kanälen), Sensoren (z. B. LIDAR-Sensor(en) 1564, RADAR-Sensor(en) 1560 usw., die über Ethernet-Kanäle verbunden sein können), Daten von Bus 1502 (z. B. Geschwindigkeit des Fahrzeugs 1500, Lenkradposition usw.), Daten von GNSS-Sensor(en) 1558 (z. B. verbunden über einen Ethernet-Bus oder einen CAN-Bus) usw. zu verarbeiten. Bei mindestens einer Ausführungsform kann einer oder können mehrere der SoC(s) 1504 darüber hinaus dedizierte Hochleistungs-Massenspeichersteuerungen aufweisen, die ihre eigenen DMA-Maschinen aufweisen können und die verwendet werden können, um die CPU(s) 1506 von Routine-Datenverwaltungsaufgaben zu entlasten.
Bei mindestens einer Ausführungsform kann (können) der (die) SoC(s) 1504 eine End-to-End-Plattform mit einer flexiblen Architektur sein, die die Automatisierungsstufen 3 bis 5 umfasst und dadurch eine umfassende funktionale Sicherheitsarchitektur bereitstellt, die Computer-Vision- und ADAS-Techniken für Diversität und Redundanz nutzt und eine Plattform für einen flexiblen, zuverlässigen Fahrsoftware-Stack zusammen mit Deep-Learning-Werkzeugen bereitstellt. Bei mindestens einer Ausführungsform können die SoC(s) 1504 schneller, zuverlässiger und sogar energie- und platzsparender sein als herkömmliche Systeme. Zum Beispiel können bei mindestens einer Ausführungsform der/die Beschleuniger 1514 in Kombination mit der/den CPU(s) 1506, der/den GPU(s) 1508 und dem/den Datenspeicher(n) 1516 eine schnelle, effiziente Plattform für autonome Fahrzeuge der Stufe 3-5 bilden.
Bei mindestens einer Ausführungsform können Computer-Vision-Algorithmen auf CPUs ausgeführt werden, die unter Verwendung einer Hochsprachen-Programmierung, wie z.B. C, ausgestaltet sein können, um eine Vielzahl von Verarbeitungsalgorithmen für eine Vielzahl von visuellen Daten auszuführen. Bei mindestens einer Ausführungsform sind CPUs jedoch oft nicht in der Lage, die Leistungsanforderungen vieler Bildverarbeitungsanwendungen zu erfüllen, wie z. B. die Anforderungen an die Ausführungszeit und den Stromverbrauch. Bei mindestens einer Ausführungsform sind viele CPUs nicht in der Lage, komplexe Objekterkennungsalgorithmen in Echtzeit auszuführen, die in fahrzeuginternen ADAS-Anwendungen und in praktischen autonomen Fahrzeugen der Stufe 3-5 verwendet werden.
Ausführungsformen, wie sie hier beschrieben sind, ermöglichen die gleichzeitige und/oder sequentielle Ausführung mehrerer neuronaler Netze und die Kombination der Ergebnisse, um autonome Fahrfunktionen der Stufe 3-5 zu ermöglichen. Zum Beispiel kann bei mindestens einer Ausführungsform ein CNN, das auf einem DLA oder einer diskreten GPU (z.B. GPU(s) 1520) ausgeführt wird, eine Text- und Worterkennung aufweisen, die ein Lesen und Verstehen von Verkehrsschildern, einschließlich Schildern, für die das neuronale Netz nicht speziell trainiert wurde, ermöglichen. Bei mindestens einer Ausführungsform kann ein DLA darüber hinaus ein neuronales Netz aufweisen, das in der Lage ist, ein Verkehrszeichen zu identifizieren, zu interpretieren und semantisch zu verstehen, und dieses semantische Verständnis an die auf einem CPU-Komplex laufenden Wegplanungsmodule weiterzugeben.
Bei mindestens einer Ausführungsform können mehrere neuronale Netze gleichzeitig ausgeführt werden, wie beim Fahren der Stufe 3, 4 oder 5. Zum Beispiel kann bei mindestens einer Ausführungsform ein Warnschild, das besagt „Vorsicht: Blinkende Lichter deuten auf Vereisung hin“ zusammen mit einem elektrischen Licht unabhängig oder gemeinsam von mehreren neuronalen Netzen interpretiert werden. Bei mindestens einer Ausführungsform kann ein solches Warnschild selbst von einem ersten eingesetzten neuronalen Netz (z. B. einem trainierten neuronalen Netz) als Verkehrsschild identifiziert werden, und der Text „Blinkende Lichter deuten auf Glatteis hin“ kann von einem zweiten eingesetzten neuronalen Netz interpretiert werden, das die (vorzugsweise auf einem CPU-Komplex ausgeführte) Wegplanungssoftware des Fahrzeugs darüber informiert, dass, wenn blinkende Lichter erkannt werden, Glatteis vorliegt. Bei mindestens einer Ausführungsform kann das Blinklicht durch den Betrieb eines dritten neuronalen Netzes über mehrere Bilder identifiziert werden, das die Wegplanungssoftware des Fahrzeugs über ein Vorhandensein (oder ein Fehlen) von Blinklichtern informiert. Bei mindestens einer Ausführungsform können alle drei neuronalen Netze gleichzeitig laufen, beispielsweise innerhalb eines DLAs und/oder auf GPU(s) 1508.
Bei mindestens einer Ausführungsform kann ein CNN zur Gesichtserkennung und zur Identifizierung des Fahrzeugbesitzers Daten von Kamerasensoren verwenden, um die Anwesenheit eines autorisierten Fahrers und/oder Besitzers des Fahrzeugs 1500 zu identifizieren. Bei mindestens einer Ausführungsform kann eine immer aktive Sensorverarbeitungs-Maschine verwendet werden, um ein Fahrzeug zu entriegeln, wenn sich ein Besitzer einer Fahrertür nähert und die Lichter einschaltet, und, im Sicherheitsmodus, um das Fahrzeug zu deaktivieren, wenn der Besitzer das Fahrzeug verlässt. Auf diese Weise sorgen die SoC(s) 1504 für Sicherheit gegen Diebstahl und/oder Carjacking.
Bei mindestens einer Ausführungsform kann ein CNN zur Erkennung und Identifizierung von Einsatzfahrzeugen Daten von Mikrofonen 1596 verwenden, um Sirenen von Einsatzfahrzeugen zu erkennen und zu identifizieren. Bei mindestens einer Ausführungsform verwenden die SoC(s) 1504 ein CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung visueller Daten. Bei mindestens einer Ausführungsform wird ein CNN, das auf einem DLA läuft, darauf trainiert, die relative Annäherungsgeschwindigkeit von Einsatzfahrzeugen zu erkennen (z. B. unter Verwendung des Dopplereffekts). Bei mindestens einer Ausführungsform kann ein CNN auch so trainiert werden, dass es Einsatzfahrzeuge identifiziert, die spezifisch für das lokale Gebiet sind, in dem das Fahrzeug unterwegs ist, wie es von GNSS-Sensor(en) 1558 identifiziert wird. Bei mindestens einer Ausführungsform wird ein CNN bei einem Einsatz in Europa versuchen, europäische Sirenen zu erkennen, und bei einem Einsatz in Nordamerika wird ein CNN versuchen, nur nordamerikanische Sirenen zu identifizieren. Bei mindestens einer Ausführungsform kann, sobald ein Einsatzfahrzeug erkannt wird, ein Steuerprogramm verwendet werden, um eine Sicherheitsroutine für Einsatzfahrzeuge auszuführen, das Fahrzeug zu verlangsamen, an den Straßenrand zu fahren, das Fahrzeug zu parken und/oder das Fahrzeug im Leerlauf laufen zu lassen, mit Hilfe des/der Ultraschallsensors/en 1562, bis das (die) Einsatzfahrzeug(e) vorbeifährt (vorbeifahren).
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 eine oder mehrere CPU(s) 1518 (z.B. diskrete CPU(s) oder dCPU(s)) aufweisen, die über eine Hochgeschwindigkeitsverbindung (z.B. PCIe) mit dem/den SoC(s) 1504 verbunden sein können. Bei mindestens einer Ausführungsform kann (können) die CPU(s) 1518 beispielsweise einen X86-Prozessor aufweisen. (Eine) CPU(s) 1518 kann/können verwendet werden, um eine Vielzahl von Funktionen auszuführen, einschließlich der Schlichtung potenziell inkonsistenter Ergebnisse zwischen ADAS-Sensoren und SoC(s) 1504 und/oder der Überwachung des Status und des Zustands der Steuerung(en) 1536 und/oder eines Infotainment-Systems auf einem Chip („Infotainment-SoC“) 1530, zum Beispiel.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 GPU(s) 1520 (z.B. diskrete GPU(s) oder dGPU(s)) aufweisen, die mit dem/den SoC(s) 1504 über eine Hochgeschwindigkeitsverbindung (z.B. NVIDIAs NVLINK-Kanal) gekoppelt sein können. Bei mindestens einer Ausführungsform kann/können GPU(s) 1520 zusätzliche künstliche Intelligenzfunktionalität bereitstellen, beispielsweise durch Ausführen redundanter und/oder unterschiedlicher neuronaler Netze, und kann/können verwendet werden, um neuronale Netze zu trainieren und/oder zu aktualisieren, was zumindest teilweise auf Eingaben (z.B. Sensordaten) von Sensoren des Fahrzeugs 1500 basiert.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus eine Netzwerkschnittstelle 1524 aufweisen, die ohne Einschränkung eine oder mehrere Funkantennen 1526 aufweisen kann (z.B. eine oder mehrere Funkantennen 1526 für verschiedene Kommunikationsprotokolle, wie z.B. eine Mobilfunkantenne, eine Bluetooth-Antenne, usw.). Bei mindestens einer Ausführungsform kann die Netzwerkschnittstelle 1524 verwendet werden, um eine drahtlose Verbindung zu Internet-Cloud-Diensten (z. B. mit einem oder mehreren Servern und/oder anderen Netzwerkeinrichtungen), mit anderen Fahrzeugen und/oder mit Recheneinrichtungen (z. B. Clienteinrichtungen von Fahrgästen) zu ermöglichen. Bei mindestens einer Ausführungsform kann zur Kommunikation mit anderen Fahrzeugen eine direkte Verbindung zwischen dem Fahrzeug 80 und einem anderen Fahrzeug und/oder eine indirekte Verbindung (z. B. über Netzwerke und das Internet) hergestellt werden. Bei mindestens einer Ausführungsform können direkte Verbindungen über eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung hergestellt werden. Bei mindestens einer Ausführungsform kann die Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung dem Fahrzeug 1500 Informationen über Fahrzeuge in der Nähe des Fahrzeugs 1500 liefern (z. B. Fahrzeuge vor, neben und/oder hinter dem Fahrzeug 1500). Bei mindestens einer Ausführungsform kann die vorgenannte Funktionalität Teil einer kooperativen adaptiven Geschwindigkeitsregelungsfunktion des Fahrzeugs 1500 sein.
Bei mindestens einer Ausführungsform kann die Netzwerkschnittstelle 1524 ein SoC aufweisen, das Modulations- und Demodulationsfunktionen bereitstellt und die Steuerung(en) 1536 in die Lage versetzt, über drahtlose Netzwerke zu kommunizieren. Bei mindestens einer Ausführungsform kann die Netzwerkschnittstelle 1524 ein Hochfrequenz-Frontend für die Aufwärtskonvertierung von einem Basisband auf eine Hochfrequenz und die Abwärtskonvertierung von einer Hochfrequenz auf ein Basisband aufweisen. Bei mindestens einer Ausführungsform können die Frequenzumwandlungen auf jede technisch mögliche Weise durchgeführt werden. Beispielsweise können Frequenzumwandlungen durch bekannte Verfahren und/oder unter Verwendung von Superheterodyn-Verfahren durchgeführt werden. Bei mindestens einer Ausführungsform kann die Hochfrequenz-Front-End-Funktionalität durch einen separaten Chip bereitgestellt werden. Bei mindestens einer Ausführungsform können die Netzwerkschnittstellen eine drahtlose Funktionalität zur Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle aufweisen.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus einen oder mehrere Datenspeicher 1528 aufweisen, die ohne Einschränkung einen Off-Chip-Speicher (z.B. Off-SoC(s) 1504) aufweisen können. Bei mindestens einer Ausführungsform kann (können) der (die) Datenspeicher 1528 ohne Einschränkung ein oder mehrere Speicherelemente aufweisen, darunter RAM, SRAM, dynamischer Direktzugriffsspeicher („DRAM“), Video-Direktzugriffsspeicher („VRAM“), Flash-Speicher, Festplatten und/oder andere Komponenten und/oder Einrichtungen, die mindestens ein Bit an Daten speichern können.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus GNSS-Sensor(en) 1558 (z.B. GPS- und/oder unterstützte GPS-Sensoren) aufweisen, um bei der Kartierung, der Wahrnehmung, der Erstellung von Belegungsrastern und/oder der Pfadplanung zu helfen. Bei mindestens einer Ausführungsform kann eine beliebige Anzahl von GNSS-Sensor(en) 1558 verwendet werden, die beispielsweise und ohne Einschränkung ein GPS aufweisen, das einen USB-Anschluss mit einer Ethernet-zu-Seriell-Brücke (z. B. RS-232) verwendet.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus RADAR-Sensor(en) 1560 aufweisen. Bei mindestens einer Ausführungsform kann (können) der (die) RADAR-Sensor(en) 1560 von einem Fahrzeug 1500 für die Fahrzeugerkennung über große Entfernungen verwendet werden, selbst bei Dunkelheit und/oder schlechten Wetterbedingungen. Bei mindestens einer Ausführungsform können die RADAR-Funktionssicherheitsstufen ASIL B sein. Bei mindestens einer Ausführungsform kann (können) der (die) RADAR-Sensor(en) 1560 einen CAN-Bus und/oder den Bus 1502 (z. B. zur Übertragung der von dem/den RADAR-Sensor(en) 1560 erzeugten Daten) zur Steuerung und zum Zugriff auf Objektverfolgungsdaten verwenden, wobei bei einigen Beispielen der Zugriff auf Rohdaten über Ethernet-Kanäle erfolgt. Bei mindestens einer Ausführungsform kann eine breite Palette von RADAR-Sensortypen verwendet werden. Zum Beispiel und ohne Einschränkung können RADAR-Sensor(en) 1560 für die Verwendung von Front-, Heck- und Seiten-RADAR geeignet sein. Bei mindestens einer Ausführungsform handelt es sich bei einem oder mehreren Sensoren der der RADAR-Sensoren 1560 um (einen) Puls-Doppler-RADAR-Sensor(en).
Bei mindestens einer Ausführungsform kann (können) der (die) RADAR-Sensor(en) 1560 verschiedene Konfigurationen aufweisen, wie z. B. große Reichweite mit engem Sichtfeld, kurze Reichweite mit breitem Sichtfeld, seitliche Abdeckung mit kurzer Reichweite usw. Bei mindestens einer Ausführungsform kann das RADAR mit großer Reichweite für die adaptive Geschwindigkeitsregelung verwendet werden. Bei mindestens einer Ausführungsform können RADAR-Systeme mit großer Reichweite ein breites Sichtfeld bieten, was durch zwei oder mehr unabhängige Abtastungen, z. B. innerhalb eines Bereichs von 250 m (Meter), realisiert wird. Bei mindestens einer Ausführungsform kann/können der/die RADAR-Sensor(en) 1560 dabei helfen, zwischen stationären und sich bewegenden Objekten zu unterscheiden, und kann/können vom ADAS-System 1538 zur Notbremsunterstützung und zur Vorwärtskollisionswarnung verwendet werden. Bei mindestens einer Ausführungsform kann (können) der (die) Sensor(en) 1560, der (die) in einem RADAR-System mit großer Reichweite enthalten ist (sind), ohne Einschränkung ein monostatisches multimodales RADAR mit mehreren (z. B. sechs oder mehr) festen RADAR-Antennen und einer Hochgeschwindigkeits-CAN- und FlexRay-Schnittstelle aufweisen. Bei mindestens einer Ausführungsform mit sechs Antennen können vier Antennen in der Mitte ein fokussiertes Strahlenmuster erzeugen, das dazu dient, die Umgebung des Fahrzeugs bei höheren Geschwindigkeiten mit minimalen Störungen durch den Verkehr auf den angrenzenden Fahrspuren zu erfassen. Bei mindestens einer Ausführungsform können die beiden anderen Antennen das Sichtfeld erweitern, so dass Fahrzeuge, die in eine Fahrspur des Fahrzeugs 1500 einfahren oder diese verlassen, schnell erfasst werden können.
Bei mindestens einer Ausführungsform können RADAR-Systeme mittlerer Reichweite beispielsweise eine Reichweite von bis zu 160 m (vorn) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorn) oder 150 Grad (hinten) aufweisen. Bei mindestens einer Ausführungsform können Kurzstrecken-RADAR-Systeme ohne Einschränkung eine beliebige Anzahl von RADAR-Sensoren 1560 aufweisen, die an beiden Enden des hinteren Stoßfängers installiert sein können. Bei mindestens einer Ausführungsform kann ein RADAR-Sensorsystem, wenn es an beiden Enden des hinteren Stoßfängers installiert ist, zwei Strahlen erzeugen, die die toten Winkel in der Rückrichtung und neben dem Fahrzeug ständig überwachen. Bei mindestens einer Ausführungsform können RADAR-Systeme mit kurzer Reichweite im ADAS-System 1538 zur Erkennung des toten Winkels und/oder zur Unterstützung beim Spurwechsel verwendet werden.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus Ultraschallsensor(en) 1562 aufweisen. Bei mindestens einer Ausführungsform kann (können) der (die) Ultraschallsensor(en) 1562, der (die) an der Vorderseite, an der Rückseite und/oder an den Seiten des Fahrzeugs 1500 angeordnet sein kann (können), zur Einparkhilfe und/oder zur Erstellung und Aktualisierung eines Belegungsrasters verwendet werden. Bei mindestens einer Ausführungsform kann eine Vielzahl von Ultraschallsensoren 1562 verwendet werden, und unterschiedliche Ultraschallsensoren 1562 können für unterschiedliche Erfassungsbereiche (z. B. 2,5 m, 4 m) verwendet werden. Bei mindestens einer Ausführungsform kann/können der/die Ultraschallsensor(en) 1562 bei funktionalen Sicherheitsstufen von ASIL B arbeiten.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 LIDAR-Sensor(en) 1564 aufweisen. Bei mindestens einer Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 1564 zur Objekt- und Fußgängererkennung, Notbremsung, Kollisionsvermeidung und/oder anderen Funktionen verwendet werden. Bei mindestens einer Ausführungsform kann/können der/die LIDAR-Sensor(en) 1564 bei der funktionalen Sicherheitsstufe ASIL B arbeiten. Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 mehrere LIDAR-Sensoren 1564 (z.B. zwei, vier, sechs usw.) aufweisen, die einen Ethernet-Kanal verwenden können (z.B. um Daten an einen Gigabit-Ethernet-Switch zu liefern).
Bei mindestens einer Ausführungsform kann/können der/die LIDAR-Sensor(en) 1564 in der Lage sein, eine Liste von Objekten und deren Entfernungen für ein 360-Grad-Sichtfeld zu liefern. Bei mindestens einer Ausführungsform kann/können der/die handelsübliche(n) LIDAR-Sensor(en) 1564 eine angezeigte Reichweite von etwa 100 m haben, mit einer Genauigkeit von 2 cm bis 3 cm und mit Unterstützung für eine 100-Mbps-Ethernet-Verbindung, zum Beispiel. Bei mindestens einer Ausführungsform können ein oder mehrere nicht vorstehende LIDAR-Sensoren verwendet werden. Bei einer solchen Ausführungsform kann (können) der (die) LIDAR-Sensor(en) 1564 eine kleine Einrichtung aufweisen, die in die Front, das Heck, eine Seite und/oder einen Eckbereich des Fahrzeugs 1500 eingebettet sein kann. Bei mindestens einer Ausführungsform kann/können der/die LIDAR-Sensor(en) 1564 in einer solchen Ausführungsform ein horizontales Sichtfeld von bis zu 120 Grad und ein vertikales Sichtfeld von bis zu 35 Grad mit einer Reichweite von 200 m selbst für Objekte mit geringem Reflexionsvermögen bieten. Bei mindestens einer Ausführungsform kann/können der/die frontmontierte(n) LIDAR-Sensor(en) 1564 für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad ausgestaltet sein.
Bei mindestens einer Ausführungsform können auch LIDAR-Technologien, wie z. B. 3D Flash LIDAR, verwendet werden. Bei mindestens einer Ausführungsform verwendet ein 3D Flash LIDAR einen Blitz eines Lasers als Sendequelle, um die Umgebung des Fahrzeugs 1500 bis zu einer Entfernung von etwa 200 m zu beleuchten. Bei mindestens einer Ausführungsform weist eine Flash-LIDAR-Einheit ohne Einschränkung einen Rezeptor auf, der die Laufzeit des Laserpulses und das reflektierte Licht auf jedem Pixel aufzeichnet, was wiederum der Entfernung des Fahrzeugs 1500 zu Objekten entspricht. Bei mindestens einer Ausführungsform kann es der Flash-LIDAR ermöglichen, mit jedem Laserblitz hochgenaue und verzerrungsfreie Bilder der Umgebung zu erzeugen. Bei mindestens einer Ausführungsform können vier Flash-LIDAR-Sensoren eingesetzt werden, einer auf jeder Seite des Fahrzeugs 1500. Bei mindestens einer Ausführungsform weisen 3D-Blitz-LIDAR-Systeme ohne Einschränkung eine Festkörper-3D-Star-Array-LIDAR-Kamera auf, die außer einem Gebläse keine beweglichen Teile aufweist (z. B. eine nicht scannende LIDAR-Einrichtung). Bei mindestens einer Ausführungsform kann die Flash-LIDAR-Einrichtung einen 5-Nanosekunden-Laserimpuls der Klasse I (augensicher) pro Bild verwenden und das reflektierte Laserlicht als 3D-Entfernungspunktwolke und koregistrierte Intensitätsdaten erfassen.
Bei mindestens einer Ausführungsform kann das Fahrzeug darüber hinaus einen oder mehrere IMU-Sensoren 1566 aufweisen. Bei mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 1566 in der Mitte der Hinterachse des Fahrzeugs 1500 angeordnet sein. Bei mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 1566 beispielsweise und ohne Einschränkung einen oder mehrere Beschleunigungsmesser, Magnetometer, Gyroskop(e), einen Magnetkompass, Magnetkompasse und/oder andere Sensortypen aufweisen. Bei mindestens einer Ausführungsform, wie z. B. bei sechsachsigen Anwendungen, kann/können der/die IMU-Sensor(en) 1566 ohne Einschränkung Beschleunigungsmesser und Gyroskope aufweisen. Bei mindestens einer Ausführungsform, wie z.B. bei neunachsigen Anwendungen, kann/können der/die IMU-Sensor(en) 1566 ohne Einschränkung Beschleunigungsmesser, Gyroskope und Magnetometer aufweisen.
Bei mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 1566 als ein miniaturisiertes, hochleistungsfähiges GPS-gestütztes Trägheitsnavigationssystem („GPS/INS“) implementiert sein, das mikroelektromechanische Systeme („MEMS“) Trägheitssensoren, einen hochempfindlichen GPS-Empfänger und fortschrittliche Kalman-Filteralgorithmen kombiniert, um Schätzungen von Position, Geschwindigkeit und Lage zu liefern. Bei mindestens einer Ausführungsform kann/können der/die IMU-Sensor(en) 1566 das Fahrzeug 1500 in die Lage versetzen, den Kurs zu schätzen, ohne dass Eingaben von einem Magnetsensor erforderlich sind, indem Änderungen der Geschwindigkeit vom GPS direkt mit dem/den IMU-Sensor(en) 1566 beobachtet und korreliert werden. Bei mindestens einer Ausführungsform können IMU-Sensor(en) 1566 und GNSS-Sensor(en) 1558 in einer einzigen integrierten Einheit kombiniert sein.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 ein oder mehrere Mikrofone 1596 aufweisen, die im und/oder um das Fahrzeug 1500 herum angeordnet sind. Bei mindestens einer Ausführungsform kann (können) das (die) Mikrofon(e) 1596 u.a. zur Erkennung und Identifizierung von Einsatzfahrzeugen verwendet werden.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus eine beliebige Anzahl von Kameratypen aufweisen, einschließlich Stereokamera(s) 1568, Weitwinkelkamera(s) 1570, Infrarotkamera(s) 1572, Surround-Kamera(s) 1574, Weitbereichskamera(s) 1598, Mittelbereichskamera(s) 1576 und/oder anderer Kameratypen. Bei mindestens einer Ausführungsform können Kameras verwendet werden, um Bilddaten rund um den gesamten Umfang des Fahrzeugs 1500 zu erfassen. Bei mindestens einer Ausführungsform hängen die Typen der verwendeten Kameras vom Fahrzeug 1500 ab. Bei mindestens einer Ausführungsform kann eine beliebige Kombination von Kameratypen verwendet werden, um die erforderliche Abdeckung um das Fahrzeug 1500 herum zu gewährleisten. Bei mindestens einer Ausführungsform kann die Anzahl der Kameras je nach Ausführungsform unterschiedlich sein. Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 beispielsweise sechs, sieben, zehn, zwölf oder eine andere Anzahl von Kameras aufweisen. Bei mindestens einer Ausführungsform können die Kameras zum Beispiel und ohne Einschränkung Gigabit Multimedia Serial Link („GMSL“) und/oder eine Gigabit-Ethernet-Kommunikation unterstützen. Bei mindestens einer Ausführungsform kann jede Kameras eine sein, die zuvor hier mit Bezug auf 15A und 15B näher beschrieben ist.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus einen oder mehrere Schwingungssensoren 1542 aufweisen. Bei mindestens einer Ausführungsform kann (können) der (die) Schwingungssensor(en) 1542 Schwingungen von Komponenten des Fahrzeugs 1500, wie z.B. der Achse(n), messen. Zum Beispiel können bei mindestens einer Ausführungsform Änderungen der Schwingungen eine Änderung der Straßenoberfläche anzeigen. Bei mindestens einer Ausführungsform, wenn zwei oder mehr Schwingungssensoren 1542 verwendet werden, können Unterschiede zwischen den Schwingungen verwendet werden, um die Reibung oder den Schlupf der Straßenoberfläche zu bestimmen (z.B. wenn der Unterschied in den Schwingungen zwischen einer angetriebenen Achse und einer frei drehenden Achse besteht).
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 ein ADAS-System 1538 aufweisen. Bei mindestens einer Ausführungsform kann das ADAS-System 1538 bei einigen Beispielen ohne Einschränkung ein SoC aufweisen. Bei mindestens einer Ausführungsform kann das ADAS-System 1538 ohne Einschränkung eine beliebige Anzahl und Kombination eines autonomen/adaptiven/automatischen Geschwindigkeitsregelsystems („ACC“), eines kooperativen adaptiven Geschwindigkeitsregelsystems („CACC“), eines Vorwärtscrashwarnsystems („FCW“), eines automatischen Notbremssystems („AEB“) aufweisen, ein System zur Warnung vor dem Verlassen der Fahrspur („LDW“), ein Spurhalteassistent („LKA“), ein System zur Warnung vor dem toten Winkel („BSW“), ein System zur Warnung vor rückwärtigem Querverkehr („RCTW“), ein System zur Kollisionswarnung („CW“), ein System zur Zentrierung der Fahrspur („LC“) und/oder andere Systeme, Merkmale und/oder Funktionen.
Bei mindestens einer Ausführungsform kann das ACC-System RADAR-Sensor(en) 1560, LIDAR-Sensor(en) 1564 und/oder eine beliebige Anzahl von Kameras verwenden. Bei mindestens einer Ausführungsform kann das ACC-System ein ACC-System in Längsrichtung und/oder ein ACC-System in Querrichtung aufweisen. Bei mindestens einer Ausführungsform überwacht und steuert ein ACC-System in Längsrichtung den Abstand zu einem unmittelbar vor dem Fahrzeug 1500 befindlichen anderen Fahrzeug und passt die Geschwindigkeit des Fahrzeugs 1500 automatisch an, um einen sicheren Abstand zu vorausfahrenden Fahrzeugen einzuhalten. Bei mindestens einer Ausführungsform übernimmt das seitliche ACC-System die Abstandshaltung und rät dem Fahrzeug 1500, bei Bedarf die Fahrspur zu wechseln. Bei mindestens einer Ausführungsform ist das seitliche ACC-System mit anderen ADAS-Anwendungen wie LC und CW verbunden.
Bei mindestens einer Ausführungsform verwendet das CACC-System Informationen von anderen Fahrzeugen, die über die Netzwerkschnittstelle 1524 und/oder die Funkantenne(n) 1526 von anderen Fahrzeugen über eine drahtlose Verbindung oder indirekt über eine Netzwerkverbindung (z. B. über das Internet) empfangen werden können. Bei mindestens einer Ausführungsform können direkte Verbindungen durch eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung („V2V“) bereitgestellt werden, während indirekte Verbindungen durch eine Infrastruktur-zu-Fahrzeug-Kommunikationsverbindung („I2V“) bereitgestellt werden können. Im Allgemeinen liefert die V2V-Kommunikation Informationen über unmittelbar vorausfahrende Fahrzeuge (z. B. Fahrzeuge, die sich unmittelbar vor und auf derselben Spur wie Fahrzeug 1500 befinden), während die 12V-Kommunikation Informationen über den weiter vorausfahrenden Verkehr liefert. Bei mindestens einer Ausführungsform kann ein CACC-System entweder eine oder beide I2V- und V2V-Informationsquellen aufweisen. Bei mindestens einer Ausführungsform kann ein CACC-System angesichts der Informationen über vorausfahrende Fahrzeuge vor Fahrzeug 1500 zuverlässiger sein und es hat das Potenzial, den Verkehrsfluss zu verbessern und Staus auf der Straße zu reduzieren.
Bei mindestens einer Ausführungsform ist ein FCW-System so konzipiert, dass es den Fahrer vor einer Gefahr warnt, so dass er korrigierend eingreifen kann. Bei mindestens einer Ausführungsform verwendet ein FCW-System eine nach vorne gerichtete Kamera und/oder RADAR-Sensor(en) 1560, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch gekoppelt ist, um dem Fahrer eine Rückmeldung bereitzustellen, z. B. mit einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente. Bei mindestens einer Ausführungsform kann ein FCW-System eine Warnung bereitstellen, z. B. in Form eines Tons, einer visuellen Warnung, einer Vibration und/oder eines schnellen Bremsimpulses.
Bei mindestens einer Ausführungsform erkennt ein AEB-System eine drohende Vorwärtskollision mit einem anderen Fahrzeug oder einem anderen Objekt und kann automatisch die Bremsen betätigen, wenn der Fahrer nicht innerhalb eines bestimmten Zeit- oder Entfernungsparameters korrigierend eingreift. Bei mindestens einer Ausführungsform kann das AEB-System (eine) nach vorne gerichtete Kamera(s) und/oder RADAR-Sensor(en) 1560 verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind. Bei mindestens einer Ausführungsform warnt das AEB-System, wenn es eine Gefahr erkennt, in der Regel zunächst den Fahrer, damit er korrigierende Maßnahmen ergreift, um eine Kollision zu vermeiden, und wenn der Fahrer keine korrigierenden Maßnahmen ergreift, kann das AEB-System automatisch die Bremsen betätigen, um die Auswirkungen der vorhergesagten Kollision zu verhindern oder zumindest abzumildern. Bei mindestens einer Ausführungsform kann das AEB-System Techniken wie eine dynamische Bremsunterstützung und/oder eine Crash-Imminent-Bremsung bzw. Bremsung bei bevorstehendem Zusammenstoß aufweisen.
Bei mindestens einer Ausführungsform bietet ein LDW-System optische, akustische und/oder taktile Warnungen, wie z. B. Lenkrad- oder Sitzvibrationen, um den Fahrer zu warnen, wenn das Fahrzeug 1500 die Fahrbahnmarkierungen überquert. Bei mindestens einer Ausführungsform wird das LDW-System nicht aktiviert, wenn der Fahrer ein absichtliches Verlassen der Fahrspur anzeigt, indem er z.B. einen Blinker betätigt. Bei mindestens einer Ausführungsform kann das LDW-System nach vorne gerichtete Kameras verwenden, die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der/das elektrisch gekoppelt ist, um dem Fahrer eine Rückmeldung bereitzustellen, z. B. mit einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente. Bei mindestens einer Ausführungsform ist ein LKA-System eine Variante eines LDW-Systems. Bei mindestens einer Ausführungsform sorgt ein LKA-System für einen Lenkeingriff oder ein Bremsen, um das Fahrzeug 1500 zu korrigieren, wenn das Fahrzeug 1500 beginnt, seine Fahrspur zu verlassen.
Bei mindestens einer Ausführungsform erkennt und warnt ein BSW-System den Fahrer vor Fahrzeugen, die sich im toten Winkel des Fahrzeugs befinden. Bei mindestens einer Ausführungsform kann ein BSW-System eine optische, akustische und/oder taktile Warnung ausgeben, um darauf hinzuweisen, dass das Zusammenführen oder Wechseln der Fahrspur unsicher ist. Bei mindestens einer Ausführungsform kann ein BSW-System eine zusätzliche Warnung ausgeben, wenn der Fahrer einen Blinker betätigt. Bei mindestens einer Ausführungsform kann das BSW-System (eine) nach hinten gerichtete Kamera(s) und/oder (einen) RADAR-Sensor(s) 1560 verwenden, der/die mit einem speziellen Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist/sind, der/die elektrisch mit dem Fahrerfeedback gekoppelt ist/sind, wie z.B. eine Anzeige, ein Lautsprecher und/oder eine vibrierende Komponente.
Bei mindestens einer Ausführungsform kann ein RCTW-System eine visuelle, akustische und/oder taktile Benachrichtigung liefern, wenn ein Objekt außerhalb des Bereichs der Rückfahrkamera erkannt wird, wenn das Fahrzeug 1500 rückwärts fährt. Bei mindestens einer Ausführungsform weist ein RCTW-System ein AEB-System auf, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Unfall zu vermeiden. Bei mindestens einer Ausführungsform kann das RCTW-System einen oder mehrere nach hinten gerichtete(n) RADAR-Sensor(en) 1560 verwenden, der/die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist/sind, der/die elektrisch gekoppelt ist/sind, um dem Fahrer eine Rückmeldung bereitzustellen, wie z. B. eine Anzeige, ein Lautsprecher und/oder eine vibrierende Komponente.
Bei mindestens einer Ausführungsform können herkömmliche ADAS-Systeme zu falsch-positiven Ergebnissen neigen, die für den Fahrer ärgerlich und ablenkend sein können, aber typischerweise nicht katastrophal sind, weil herkömmliche ADAS-Systeme den Fahrer warnen und ihm die Möglichkeit geben, zu entscheiden, ob eine Sicherheitsbedingung wirklich vorliegt und entsprechend zu handeln. Bei mindestens einer Ausführungsform entscheidet das Fahrzeug 1500 bei widersprüchlichen Ergebnissen selbst, ob das Ergebnis eines Primärrechners oder eines Sekundärrechners (z. B. eine erste Steuerung 1536 oder eine zweite Steuerung der Steuerungen 1536) beachtet werden soll. Bei mindestens einer Ausführungsform kann das ADAS-System 1538 beispielsweise ein Backup- und/oder Sekundärcomputer sein, der Wahrnehmungsinformationen an ein Rationalitätsmodul des Backup-Computers liefert. Bei mindestens einer Ausführungsform kann ein Rationalitätsmonitor des Backup-Rechners eine redundante, diverse Software auf Hardwarekomponenten ausführen, um Fehler bei der Wahrnehmung und bei dynamischen Fahraufgaben zu erkennen. Bei mindestens einer Ausführungsform können die Ausgaben des ADAS-Systems 1538 an eine übergeordnete MCU weitergeleitet werden. Bei mindestens einer Ausführungsform bestimmt eine überwachende MCU bei Konflikten zwischen Ausgaben eines Primärrechners und Ausgaben eines Sekundärrechners, wie der Konflikt beigelegt werden kann, um einen sicheren Betrieb zu gewährleisten.
Bei mindestens einer Ausführungsform kann ein Primärcomputer so ausgestaltet sein, dass er der übergeordneten MCU einen Vertrauenswert liefert, der das Vertrauen des Primärcomputers in das gewählte Ergebnis angibt. Bei mindestens einer Ausführungsform kann die überwachende MCU der Anweisung des Primärcomputers folgen, wenn der Vertrauenswert einen Schwellenwert überschreitet, unabhängig davon, ob der Sekundärcomputer ein widersprüchliches oder inkonsistentes Ergebnis liefert. Bei mindestens einer Ausführungsform, bei der der Vertrauenswert den Schwellenwert nicht erreicht und der primäre und der sekundäre Computer unterschiedliche Ergebnisse (z. B. einen Konflikt) anzeigen, kann die überwachende MCU zwischen den Computern vermitteln, um das geeignete Ergebnis zu bestimmen.
Bei mindestens einer Ausführungsform kann die überwachende MCU so ausgestaltet sein, dass sie ein neuronales Netz bzw. neuronale Netze ausführt, das bzw. die trainiert und so ausgestaltet ist bzw. sind, dass es bzw. sie zumindest teilweise auf der Grundlage von Ausgaben eines Primärcomputers und Ausgaben eines Sekundärcomputers die Bedingungen bestimmt bzw. bestimmen, unter denen der Sekundärcomputer Fehlalarme auslöst. Bei mindestens einer Ausführungsform kann (können) das (die) neuronale(n) Netz(e) in der überwachenden MCU lernen, wann der Ausgabe des Sekundärcomputers vertraut werden kann und wann nicht. Zum Beispiel kann bei mindestens einer Ausführungsform, wenn der sekundäre Computer ein RADAR-basiertes FCW-System ist, ein neuronales Netz in der überwachenden MCU lernen, wenn das FCW-System metallische Objekte identifiziert, die in Wirklichkeit keine Gefahren sind, wie z. B. ein Abflussgitter oder ein Schachtdeckel, der einen Alarm auslöst. Bei mindestens einer Ausführungsform, wenn der Sekundärcomputer ein kamerabasiertes LDW-System ist, kann ein neuronales Netz in der überwachenden MCU lernen, das LDW-System außer Kraft zu setzen, wenn Radfahrer oder Fußgänger vorhanden sind und ein Verlassen der Fahrspur tatsächlich das sicherste Manöver ist. Bei mindestens einer Ausführungsform kann ein überwachendes MCU einen DLA oder eine GPU aufweisen, die für die Ausführung von neuronalen Netzen mit zugehörigem Speicher geeignet sind. Bei mindestens einer Ausführungsform kann die überwachende MCU eine Komponente des/der SoC(s) 1504 umfassen und/oder in einer solchen enthalten sein.
Bei mindestens einer Ausführungsform kann das ADAS-System 1538 einen sekundären Computer aufweisen, der die ADAS-Funktionalität unter Verwendung herkömmlicher Regeln der Computer Vision ausführt. Bei mindestens einer Ausführungsform kann der sekundäre Computer klassische Computer-Vision-Regeln (wenn-dann) verwenden, und das Vorhandensein eines neuronalen Netzes (von neuronalen Netzen) in der übergeordneten MCU kann die Zuverlässigkeit, Sicherheit und Leistung verbessern. Bei mindestens einer Ausführungsform wird das Gesamtsystem durch die unterschiedliche Implementierung und die absichtliche Nichtidentität fehlertoleranter, insbesondere gegenüber Fehlern, die durch Softwarefunktionen (oder Software-Hardware-Schnittstellen) verursacht werden. Zum Beispiel, bei mindestens einer Ausführungsform, wenn es einen Software-Bug oder Fehler in der Software gibt, die auf dem primären Computer läuft, und wenn ein nicht-identischer Software-Code, der auf dem sekundären Computer läuft, ein konsistentes Gesamtergebnis liefert, dann kann die überwachende MCU ein größeres Vertrauen haben, dass ein Gesamtergebnis korrekt ist und ein Bug in der Software oder Hardware auf dem primären Computer keinen wesentlichen Fehler verursacht.
Bei mindestens einer Ausführungsform kann ein Ausgabe des ADAS-Systems 1538 in den Wahrnehmungsblock des Primärrechners und/oder den Block für dynamische Fahraufgaben des Primärrechners eingespeist werden. Wenn beispielsweise bei mindestens einer Ausführungsform das ADAS-System 1538 eine Vorwärtscrash-Warnung aufgrund eines unmittelbar vorausliegenden Objekts anzeigt, kann der Wahrnehmungsblock diese Information bei der Identifizierung von Objekten verwenden. Bei mindestens einer Ausführungsform kann der sekundäre Computer über ein eigenes neuronales Netz verfügen, das trainiert ist und so das Risiko von Fehlalarmen reduziert, wie es hier beschrieben ist.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus ein Infotainment-SoC 1530 aufweisen (z. B. ein bordeigenes Infotainment-System (IVI)). Obwohl es als SoC dargestellt und beschrieben ist, kann das Infotainment-SoC 1530 bei mindestens einer Ausführungsform kein SoC sein und kann ohne Einschränkung zwei oder mehr diskrete Komponenten aufweisen. Bei mindestens einer Ausführungsform kann das Infotainment-SoC 1530 ohne Einschränkung eine Kombination aus Hardware und Software aufweisen, die verwendet werden kann, um Audio (z. B. Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio usw.), Video (z. B. TV, Filme, Streaming usw.), Telefon (z. B., (z. B. Freisprecheinrichtung), Netzwerkkonnektivität (z. B. LTE, WiFi usw.) und/oder Informationsdienste (z. B. Navigationssysteme, Einparkhilfe hinten, ein Radiodatensystem, fahrzeugbezogene Informationen wie Kraftstoffstand, zurückgelegte Gesamtstrecke, Bremskraftstoffstand, Ölstand, Tür öffnen/schließen, Luftfilterinformationen usw.) für das Fahrzeug 1500 bereitzustellen. Das Infotainment-SoC 1530 kann beispielsweise Radios, Plattenspieler, Navigationssysteme, Videoplayer, eine USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, WiFi, Audiobedienelemente am Lenkrad, eine Freisprecheinrichtung, ein Heads-up-Display („HUD“), eine HMI-Anzeige 1534, eine Telematikeinrichtung, ein Bedienfeld (z. B. zur Steuerung und/oder Interaktion mit verschiedenen Komponenten, Funktionen und/oder Systemen) und/oder andere Komponenten aufweisen. Bei mindestens einer Ausführungsform kann das Infotainment-SoC 1530 darüber hinaus verwendet werden, um dem/den Benutzer(n) des Fahrzeugs 1500 Informationen (z.B. visuell und/oder akustisch) bereitzustellen, wie z.B. Informationen vom ADAS-System 1538, Informationen zum autonomen Fahren, wie z.B. geplante Fahrzeugmanöver, Trajektorien, Umgebungsinformationen (z.B. Kreuzungsinformationen, Fahrzeuginformationen, Straßeninformationen, usw.), und/oder andere Informationen.
Bei mindestens einer Ausführungsform kann das Infotainment-SoC 1530 eine beliebige Menge und Art von GPU-Funktionalität aufweisen. Bei mindestens einer Ausführungsform kann das Infotainment-SoC 1530 über den Bus 1502 mit anderen Einrichtungen, Systemen und/oder Komponenten des Fahrzeugs 1500 kommunizieren. Bei mindestens einer Ausführungsform kann das Infotainment-SoC 1530 mit einer Überwachungs-MCU gekoppelt sein, so dass eine GPU des Infotainment-Systems einige Selbstfahrfunktionen ausführen kann, falls die primäre(n) Steuerung(en) 1536 (z. B. Primär- und/oder Backup-Computer des Fahrzeugs 1500) ausfallen. Bei mindestens einer Ausführungsform kann das Infotainment-SoC 1530 das Fahrzeug 1500 in einen Chauffeur-zu-sicherem-Halt-Modus versetzen, wie es hier beschrieben ist.
Bei mindestens einer Ausführungsform kann das Fahrzeug 1500 darüber hinaus ein Kombiinstrument 1532 aufweisen (z. B. ein digitales Armaturenbrett, ein elektronisches Kombiinstrument, eine digitale Instrumententafel usw.). Bei mindestens einer Ausführungsform kann das Kombiinstrument 1532 ohne Einschränkung eine Steuerung und/oder einen Supercomputer (z. B. eine diskrete Steuerung oder einen Supercomputer) aufweisen. Bei mindestens einer Ausführungsform kann das Kombiinstrument 1532 ohne Einschränkung eine beliebige Anzahl und Kombination von Instrumenten aufweisen, wie z. B. Tachometer, Kraftstoffstand, Öldruck, Drehzahlmesser, Kilometerzähler, Blinker, Schaltstellungsanzeige, Sicherheitsgurtwarnleuchte(n), Parkbremswarnleuchte(n), Motorstörungsleuchte(n), Informationen über zusätzliche Rückhaltesysteme (z. B. Airbags), Beleuchtungssteuerungen, Sicherheitssystemsteuerungen, Navigationsinformationen usw. Bei einigen Beispielen können die Informationen auf dem Infotainment-SoC 1530 und dem Kombiinstrument 1532 angezeigt und/oder gemeinsam genutzt werden. Bei mindestens einer Ausführungsform kann das Kombiinstrument 1532 einen Teil des Infotainment-SoC 1530 aufweisen, oder umgekehrt.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System von 15C für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
15D ist ein Diagramm eines Systems 1576 für die Kommunikation zwischen dem/den Cloud-basierten Server(n) und dem autonomen Fahrzeug 1500 aus 15A, gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform kann das System 1576 ohne Einschränkung den/die Server 1578, das/die Netzwerk(e) 1590 und eine beliebige Anzahl und Art von Fahrzeugen, einschließlich des Fahrzeugs 1500, aufweisen. Bei mindestens einer Ausführungsform kann (können) der (die) Server 1578 ohne Einschränkung eine Vielzahl von GPUs 1584(A)-1584(H) (hierin kollektiv als GPUs 1584 bezeichnet), PCle-Switches 1582(A)-1582(H) (hierin kollektiv als PCIe-Switches 1582 bezeichnet), und/oder CPUs 1580(A)-1580(B) (hierin kollektiv als CPUs 1580 bezeichnet) aufweisen. Bei mindestens einer Ausführungsform können GPUs 1584, CPUs 1580 und PCIe-Switches 1582 über Hochgeschwindigkeitsverbindungen miteinander verbunden sein, wie z. B. und ohne Einschränkung über die von NVIDIA entwickelten NVLink-Schnittstellen 1588 und/oder PCle-Verbindungen 1586. Bei mindestens einer Ausführungsform sind die GPUs 1584 über ein NVLink- und/oder NVSwitch-SoC und die GPUs 1584 und PCIe-Switches 1582 über PCle-Verbindungen verbunden. Obwohl acht GPUs 1584, zwei CPUs 1580 und vier PCle-Switches 1582 dargestellt sind, ist dies jedoch nicht als Einschränkung zu verstehen. Bei mindestens einer Ausführungsform kann jeder der Server 1578 ohne Einschränkung eine beliebige Anzahl von GPUs 1584, CPUs 1580 und/oder PCIe-Switches 1582 in beliebiger Kombination aufweisen. Bei mindestens einer Ausführungsform kann/können der/die Server 1578 beispielsweise jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 1584 aufweisen.
Bei mindestens einer Ausführungsform kann (können) der (die) Server 1578 über das (die) Netzwerk(e) 1590 und von Fahrzeugen Bilddaten empfangen, die für Bilder repräsentativ sind, die unerwartete oder veränderte Straßenzustände zeigen, wie beispielsweise kürzlich begonnene Straßenarbeiten. Bei mindestens einer Ausführungsform kann/können der/die Server 1578 über das/die Netzwerk(e) 1590 und an Fahrzeuge neuronale Netze 1592, aktualisierte neuronale Netze 1592 und/oder Karteninformationen 1594 übertragen, die ohne Einschränkung Informationen über den Verkehr und die Straßenbedingungen aufweisen. Bei mindestens einer Ausführungsform können die Aktualisierungen der Karteninformationen 1594 ohne Einschränkung Aktualisierungen für die HD-Karte 1522 aufweisen, z. B. Informationen zu Baustellen, Schlaglöchern, Umleitungen, Überschwemmungen und/oder anderen Hindernissen. Bei mindestens einer Ausführungsform können neuronale Netze 1592 und/oder Karteninformationen 1594 aus neuem Training und/oder Erfahrungen resultieren, die in Daten repräsentiert sind, die von einer beliebigen Anzahl von Fahrzeugen in der Umgebung empfangen wurden, und/oder zumindest teilweise auf einem Training basieren, das in einem Rechenzentrum durchgeführt wurde (z. B. unter Verwendung von Server(n) 1578 und/oder anderen Servern).
Bei mindestens einer Ausführungsform kann/können der/die Server 1578 verwendet werden, um Modelle zum maschinellen Lernen (z.B. neuronale Netze) zumindest teilweise auf der Grundlage von Trainingsdaten zu trainieren. Bei mindestens einer Ausführungsform können die Trainingsdaten von Fahrzeugen und/oder in einer Simulation (z. B. unter Verwendung einer Spiel-Maschine) erzeugt werden. Bei mindestens einer Ausführungsform wird eine beliebige Menge von Trainingsdaten markiert (z. B. wenn das zugehörige neuronale Netz vom überwachten Lernen profitiert) und/oder einer anderen Vorverarbeitung unterzogen. Bei mindestens einer Ausführungsform wird eine beliebige Menge von Trainingsdaten nicht markiert und/oder vorverarbeitet (z. B. wenn das zugehörige neuronale Netz kein überwachtes Lernen benötigt). Bei mindestens einer Ausführungsform können, sobald Modelle zum maschinellen Lernen trainiert sind, Modelle zum maschinellen Lernen von Fahrzeugen verwendet werden (z.B. Übertragung an Fahrzeuge über Netzwerk(e) 1590, und/oder Modelle zum maschinellen Lernen können von Server(n) 1578 zur Fernüberwachung von Fahrzeugen verwendet werden.
Bei mindestens einer Ausführungsform kann (können) der (die) Server 1578 Daten von Fahrzeugen empfangen und Daten auf aktuelle neuronale Echtzeit-Netze für intelligentes Inferencing in Echtzeit anwenden. Bei mindestens einer Ausführungsform kann/können der/die Server 1578 Deep-Learning-Supercomputer und/oder dedizierte KI-Computer aufweisen, die von GPU(s) 1584 angetrieben werden, wie z. B. die von NVIDIA entwickelten DGX- und DGX-Station-Maschinen. Bei mindestens einer Ausführungsform kann/können der/die Server 1578 jedoch eine Deep-Learning-Infrastruktur aufweisen, die CPUbetriebene Rechenzentren verwendet.
Bei mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur von Server(n) 1578 zu schnellem Inferencing in Echtzeit fähig sein und diese Fähigkeit nutzen, um den Zustand von Prozessoren, Software und/oder zugehöriger Hardware im Fahrzeug 1500 zu bewerten und zu überprüfen. Bei mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur beispielsweise periodische Aktualisierungen vom Fahrzeug 1500 erhalten, wie etwa eine Bildsequenz und/oder Objekte, die das Fahrzeug 1500 in dieser Bildsequenz lokalisiert hat (z. B. über Computer Vision und/oder andere maschinelle Objektklassifizierungstechniken). Bei mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur ihr eigenes neuronales Netz laufen lassen, um Objekte zu identifizieren und sie mit den vom Fahrzeug 1500 identifizierten Objekten zu vergleichen, und wenn die Ergebnisse nicht übereinstimmen und die Deep-Learning-Infrastruktur zu dem Schluss kommt, dass die KI im Fahrzeug 1500 eine Fehlfunktion aufweist, kann/können der/die Server 1578 ein Signal an das Fahrzeug 1500 senden, das einen ausfallsicheren Computer des Fahrzeugs 1500 anweist, die Steuerung zu übernehmen, die Fahrgäste zu benachrichtigen und ein sicheres Parkmanöver durchzuführen.
Bei mindestens einer Ausführungsform kann/können der/die Server 1578 GPU(s) 1584 und einen oder mehrere programmierbare Inferenzbeschleuniger (z.B. NVIDIAs TensorRT 3) aufweisen. Bei mindestens einer Ausführungsform kann die Kombination von GPU-gesteuerten Servern und Inferenzbeschleunigung eine Reaktionsfähigkeit in Echtzeit ermöglichen. Bei mindestens einer Ausführungsform, z. B. wenn die Leistung weniger kritisch ist, können für das Inferencing auch Server mit CPUs, FPGAs und anderen Prozessoren verwendet werden. Bei mindestens einer Ausführungsform wird (werden) die Hardwarestruktur(en) 1415 zur Ausführung einer oder mehrerer Ausführungsformen verwendet. Einzelheiten über die Hardwarestruktur(en) 1415 werden in Verbindung mit den 12A und/oder 12B beschrieben.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 15A - 15B dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 15A - 15B dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 15A - 15B dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
COMPUTERSYSTEME
16 ist ein Blockdiagramm, das ein beispielhaftes Computersystem veranschaulicht, das ein System mit miteinander verbundenen Einrichtungen und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon 1600 sein kann, das gemäß mindestens einer Ausführungsform einen Prozessor aufweist, der Ausführungseinheiten zur Ausführung eines Befehls enthält. Bei mindestens einer Ausführungsform kann das Computersystem 1600 ohne Einschränkung eine Komponente, wie z. B. einen Prozessor 1602, aufweisen, um Ausführungseinheiten einschließlich Logik zur Durchführung von Algorithmen zur Verarbeitung von Daten gemäß der vorliegenden Offenbarung einzusetzen, wie z. B. bei der hier beschriebenen Ausführungsform. Bei mindestens einer Ausführungsform kann das Computersystem 1600 Prozessoren aufweisen, wie z. B. die PENTIUM®-Prozessorfamilie, XeonTM-, Itanium®-, XScaleTM- und/oder StrongARMTM-, Intel® Core™- oder Intel® Nervana™-Mikroprozessoren, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, technische Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. Bei mindestens einer Ausführungsform kann das Computersystem 1600 eine Version des Betriebssystems WINDOWS ausführen, das von der Microsoft Corporation in Redmond, Washington, erhältlich ist, obwohl auch andere Betriebssysteme (z.B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.
Ausführungsformen können auch bei anderen Ausführungen wie Handheld-Geräten und eingebetteten Anwendungen verwendet werden. Einige Beispiele für tragbare Einrichtungen weisen Mobiltelefone, Internetprotokollgeräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs auf. Bei mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide-Area-Network-Switches („WAN“) oder jedes andere System aufweisen, das eine oder mehrere Anweisungen gemäß mindestens einer Ausführungsform ausführen kann.
Bei mindestens einer Ausführungsform kann das Computersystem 1600 ohne Einschränkung einen Prozessor 1602 aufweisen, der ohne Einschränkung eine oder mehrere Ausführungseinheiten 1608 aufweisen kann, um das Training eines Modells zum maschinellen Lernen und/oder Inferencing gemäß den hier beschriebenen Techniken durchzuführen. Bei mindestens einer Ausführungsform ist das Computersystem 1600 ein Einzelprozessor-Desktop- oder -Serversystem, aber in einer anderen Ausführungsform kann das Computersystem 1600 ein Multiprozessorsystem sein. Bei mindestens einer Ausführungsform kann der Prozessor 1602 ohne Einschränkung einen CISC-Mikroprozessor (Complex Instruction Set Computer), einen RISC-Mikroprozessor (Reduced Instruction Set Computing), einen VLIW-Mikroprozessor (Very Long Instruction Word), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder eine beliebige andere Einrichtung, wie z. B. einen digitalen Signalprozessor, aufweisen. Bei mindestens einer Ausführungsform kann der Prozessor 1602 mit einem Prozessorbus 1610 verbunden sein, der Datensignale zwischen dem Prozessor 1602 und anderen Komponenten im Computersystem 1600 übertragen kann.
Bei mindestens einer Ausführungsform kann der Prozessor 1602 ohne Einschränkung einen internen Level 1 („L1“) Cache-Speicher („Cache“) 1604 aufweisen. Bei mindestens einer Ausführungsform kann der Prozessor 1602 einen einzigen internen Cache oder mehrere Ebenen eines internen Caches aufweisen. Bei mindestens einer Ausführungsform kann sich der Cache-Speicher außerhalb des Prozessors 1602 befinden. Andere Ausführungsformen können auch eine Kombination aus internen und externen Caches aufweisen, abhängig von der jeweiligen Implementierung und den Bedürfnissen. Bei mindestens einer Ausführungsform kann die Registerdatei 1606 verschiedene Datentypen in verschiedenen Registern speichern, einschließlich, ohne Einschränkung, Ganzzahlregister, Gleitkommaregister, Statusregister und Befehlszeigerregister.
Bei mindestens einer Ausführungsform befindet sich die Ausführungseinheit 1608, die ohne Einschränkung eine Logik zur Durchführung von Ganzzahl- und Gleitkommaoperationen aufweist, ebenfalls im Prozessor 1602. Bei mindestens einer Ausführungsform kann der Prozessor 1602 auch einen Nur-Lese-Speicher („ROM“) für Mikrocode („ucode“) aufweisen, der Mikrocode für bestimmte Makrobefehle speichert. Bei mindestens einer Ausführungsform kann die Ausführungseinheit 1608 eine Logik zur Handhabung eines gepackten Befehlssatzes 1609 aufweisen. Bei mindestens einer Ausführungsform können durch das Vorweisen eines gepackten Befehlssatzes 1609 in einem Befehlssatz eines Mehrzweckprozessors 1602 zusammen mit einer zugehörigen Schaltung zur Ausführung von Befehlen die von vielen Multimedia-Anwendungen verwendeten Operationen unter Verwendung gepackter Daten in einem Mehrzweckprozessor 1602 durchgeführt werden. Bei mindestens einer Ausführungsform können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem die volle Breite des Datenbusses eines Prozessors für die Durchführung von Operationen mit gepackten Daten genutzt wird, wodurch die Notwendigkeit entfällt, kleinere Dateneinheiten über den Datenbus des Prozessors zu übertragen, um eine oder mehrere Operationen mit einem Datenelement nach dem anderen durchzuführen.
Bei mindestens einer Ausführungsform kann die Ausführungseinheit 1608 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikeinrichtungen, DSPs und anderen Arten von Logikschaltungen verwendet werden. Bei mindestens einer Ausführungsform kann das Computersystem 1600, ohne Einschränkung, einen Speicher 1620 aufweisen. Bei mindestens einer Ausführungsform kann der Speicher 1620 eine dynamische Random-Access-Memory- („DRAM“) Einrichtung, statische Random-Access-Memory- („SRAM“) Einrichtung, Flash-Speichereinrichtung oder eine andere Speichereinrichtung sein. Bei mindestens einer Ausführungsform kann der Speicher 1620 (einen) Befehl(e) 1619 und/oder Daten 1621 speichern, die durch Datensignale dargestellt werden, die vom Prozessor 1602 ausgeführt werden können.
Bei mindestens einer Ausführungsform kann der Systemlogikchip mit dem Prozessorbus 1610 und dem Speicher 1620 verbunden sein. Bei mindestens einer Ausführungsform kann der Systemlogikchip ohne Einschränkung einen Speichersteuerungs-Hub („MCH“) 1616 aufweisen, und der Prozessor 1602 kann mit dem MCH 1616 über den Prozessorbus 1610 kommunizieren. Bei mindestens einer Ausführungsform kann der MCH 1616 einen Speicherpfad 1618 mit hoher Bandbreite zum Speicher 1620 für die Befehls- und Datenspeicherung sowie für die Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. Bei mindestens einer Ausführungsform kann der MCH 1616 Datensignale zwischen dem Prozessor 1602, dem Speicher 1620 und anderen Komponenten im Computersystem 1600 leiten und Datensignale zwischen dem Prozessorbus 1610, dem Speicher 1620 und einer System-I/O-Schnittstelle 1622 überbrücken. Bei mindestens einer Ausführungsform kann der Systemlogikchip einen Grafikanschluss zur Verbindung mit einer Grafiksteuerung bereitstellen. Bei mindestens einer Ausführungsform kann der MCH 1616 über einen Speicherpfad 1618 mit hoher Bandbreite mit dem Speicher 1620 gekoppelt sein, und die Grafik-/Videokarte 1612 kann über eine AGP-Verbindung 1614 mit dem MCH 1616 gekoppelt sein.
Bei mindestens einer Ausführungsform kann das Computersystem 1600 die System-I/O-Schnittstelle 1622 als einen proprietären Hub-Interface-Bus verwenden, um den MCH 1616 mit einem I/O-Controller-Hub („ICH“) 1630 zu koppeln. Bei mindestens einer Ausführungsform kann der ICH 1630 direkte Verbindungen zu einigen I/O-Einrichtungen über einen lokalen I/O-Bus bereitstellen. Bei mindestens einer Ausführungsform kann der lokale I/O-Bus ohne Einschränkung einen Hochgeschwindigkeits-I/O-Bus zur Verbindung von Peripheriegeräten mit dem Speicher 1620, dem Chipsatz und dem Prozessor 1602 aufweisen. Beispiele können unter anderem einen Audiocontroller 1629, einen Firmware-Hub („Flash-BIOS“) 1628, einen drahtlosen Transceiver 1626, einen Datenspeicher 1624, einen Legacy-I/O-Controller 1623 mit Benutzereingabe- und Tastaturschnittstellen, einen seriellen Erweiterungsanschluss 1627, wie einen Universal Serial Bus („USB“) -Anschluss, und eine Netzwerksteuerung 1634 aufweisen. Bei mindestens einer Ausführungsform kann der Datenspeicher 1624 ein Festplattenlaufwerk, ein Diskettenlaufwerk, eine CD-ROM-Einrichtung, eine Flash-Speichereinrichtung oder eine andere Massenspeichereinrichtung umfassen.
Bei mindestens einer Ausführungsform zeigt 16 ein System, das miteinander verbundene Hardware-Einrichtungen oder „Chips“ aufweist, während bei anderen Ausführungen 16 ein beispielhaftes SoC zeigen kann. Bei mindestens einer Ausführungsform können die in 16 dargestellten Einrichtungen mit proprietären Verbindungen, standardisierten Verbindungen (z. B. PCIe) oder einer Kombination davon miteinander verbunden sein. Bei mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 1600 über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System von 16 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 16 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 16 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 16 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
17 ist ein Blockdiagramm, das eine elektronische Einrichtung 1700 zur Verwendung eines Prozessors 1710 gemäß mindestens einer Ausführungsform zeigt. Bei mindestens einer Ausführungsform kann die elektronische Einrichtung 1700 beispielsweise und ohne Einschränkung ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Desktop-Computer, ein Tablet, eine mobile Einrichtung, ein Telefon, ein eingebetteter Computer oder jede andere geeignete elektronische Einrichtung sein.
Bei mindestens einer Ausführungsform kann die elektronische Einrichtung 1700 ohne Einschränkung einen Prozessor 1710 aufweisen, der kommunikativ mit einer beliebigen Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Einrichtungen verbunden ist. Bei mindestens einer Ausführungsform ist der Prozessor 1710 über einen Bus oder eine Schnittstelle gekoppelt, wie z.B. einen I2C-Bus, einen System-Management-Bus („SMBus“), einen Low-Pin-Count-Bus (LPC), ein Serial-Peripheral-Interface („SPI“), einen High-Definition-Audio-Bus („HDA“), einen Serial-Advance-Technology-Attachment-Bus („SATA“), einen Universal-Serial-Bus („USB“) (Versionen 1, 2, 3, usw.) oder einen Universal-Asynchronous-Receiver/Transmitter-Bus („UART“). Bei mindestens einer Ausführungsform zeigt 17 ein System, das miteinander verbundene Hardware-Einrichtungen oder „Chips“ aufweist, während bei anderen Ausführungen 17 ein beispielhaftes System on a Chip („SoC“) zeigen kann. Bei mindestens einer Ausführungsform können die in 17 dargestellten Einrichtungen mit proprietären Verbindungen, standardisierten Verbindungen (z. B. PCIe) oder einer Kombination davon miteinander verbunden sein. Bei mindestens einer Ausführungsform sind eine oder mehrere Komponenten von 17 über Compute-Express-Link (CXL)-Verbindungen miteinander verbunden.
Bei mindestens einer Ausführungsform kann 17 eine Anzeige 1724, einen Touchscreen 1725, ein Touchpad 1730, eine Near Field Communications-Einheit („NFC“) 1745, einen Sensor-Hub 1740, einen Wärmesensor 1746, einen Express-Chipsatz („EC“) 1735, ein Trusted Platform Module („TPM“) 1738, BIOS/Firmware/Flash-Speicher („BIOS, FW Flash“) 1722, ein DSP 1760, ein Laufwerk 1720 wie eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine drahtlose lokale Netzwerkeinheit („WLAN“) 1750, eine Bluetooth-Einheit 1752, eine drahtlose Wide Area Network-Einheit („WWAN“) 1756, ein Global Positioning System (GPS) -Einheit 1755, eine Kamera („USB 3. 0-Kamera“) 1754, wie z. B. eine USB 3.0-Kamera, und/oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 1715, die z. B. im LPDDR3-Standard implementiert ist, aufweisen. Diese Komponenten können in jeder geeigneten Weise implementiert sein.
Bei mindestens einer Ausführungsform können andere Komponenten mit dem Prozessor 1710 über die hier beschriebenen Komponenten kommunikativ verbunden sein. Bei mindestens einer Ausführungsform können ein Beschleunigungsmesser 1741, ein Umgebungslichtsensor („ALS“) 1742, ein Kompass 1743 und ein Gyroskop 1744 kommunikativ mit dem Sensor-Hub 1740 verbunden sein. Bei mindestens einer Ausführungsform können ein Wärmesensor 1739, ein Lüfter 1737, eine Tastatur 1746 und ein Touchpad 1730 kommunikativ mit dem EC 1735 verbunden sein. Bei mindestens einer Ausführungsform können Lautsprecher 1763, ein Kopfhörer 1764 und ein Mikrofon („mic“) 1765 kommunikativ mit einer Audioeinheit („audio codec and dass D amp“) 1764 gekoppelt sein, die ihrerseits kommunikativ mit dem DSP 1760 gekoppelt sein kann. Bei mindestens einer Ausführungsform kann die Audioeinheit 1764 beispielsweise und ohne Einschränkung einen Audiocodierer/-decoder („Codec“) und einen Verstärker der Klasse D aufweisen. Bei mindestens einer Ausführungsform kann die SIM-Karte („SIM“) 1757 mit der WWAN-Einheit 1756 kommunikativ gekoppelt sein. Bei mindestens einer Ausführungsform können Komponenten wie die WLAN-Einheit 1750 und die Bluetooth-Einheit 1752 sowie die WWAN-Einheit 1756 in einem Next Generation Form Factor („NGFF“) implementiert sein.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System von 17 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 17 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 17 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 17 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
18 illustriert ein Computersystem 1800 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform ist das Computersystem 1800 ausgestaltet, um verschiedene in dieser Offenbarung beschriebene Prozesse und Verfahren zu implementieren.
Bei mindestens einer Ausführungsform umfasst das Computersystem 1800 ohne Einschränkung mindestens eine Zentraleinheit („CPU“) 1802, die an einen Kommunikationsbus 1810 angeschlossen ist, der unter Verwendung eines beliebigen geeigneten Protokolls implementiert ist, wie PCI („Peripheral Component Interconnect“), Peripheral Component Interconnect Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder ein anderes Bus- oder Punkt-zu-Punkt-Kommunikationsprotokoll. Bei mindestens einer Ausführungsform weist das Computersystem 1800 ohne Einschränkung einen Hauptspeicher 1804 und eine Steuerlogik auf (z.B. implementiert als Hardware, Software oder eine Kombination davon), und die Daten werden im Hauptspeicher 1804 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. Bei mindestens einer Ausführungsform stellt ein Netzwerkschnittstellen-Subsystem („Netzwerkschnittstelle“) 1822 eine Schnittstelle zu anderen Recheneinrichtungen und Netzwerken bereit, um Daten mit dem Computersystem 1800 zu empfangen und an andere Systeme zu übermitteln.
In mindestens einer Ausführungsform weist das Computersystem 1800 ohne Einschränkung Eingabeeinrichtungen 1808, ein Parallelverarbeitungssystem 1812 und Anzeigeeinrichtungen 1806 auf, die unter Verwendung einer herkömmlichen Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), einer lichtemittierenden Diode („LED“), einer Plasmaanzeige oder anderer geeigneter Anzeigetechnologien implementiert sein können. Bei mindestens einer Ausführungsform werden Benutzereingaben von Eingabeeinrichtungen 1808, wie Tastatur, Maus, Touchpad, Mikrofon usw., empfangen. Bei mindestens einer Ausführungsform kann jedes hier beschriebene Modul auf einer einzigen Halbleiterplattform angeordnet sein, um ein Verarbeitungssystem zu bilden.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System von 18 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 18 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 18 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 18 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
19 illustriert ein Computersystem 1900 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform weist das Computersystem 1900, ohne Einschränkung, einen Computer 1910 und einen USB-Stick 1920 auf. Bei mindestens einer Ausführungsform kann der Computer 1910 ohne Einschränkung eine beliebige Anzahl und Art von Prozessoren) (nicht dargestellt) und einen Speicher (nicht dargestellt) aufweisen. Bei mindestens einer Ausführungsform weist der Computer 1910, ohne Einschränkung, einen Server, eine Cloud-Instanz, einen Laptop und einen Desktop-Computer auf.
Bei mindestens einer Ausführungsform weist der USB-Stick 1920, ohne Einschränkung, eine Verarbeitungseinheit 1930, eine USB-Schnittstelle 1940 und eine USB-Schnittstellenlogik 1950 auf. Bei mindestens einer Ausführungsform kann die Verarbeitungseinheit 1930 ein beliebiges Befehlsausführungssystem, ein Gerät oder eine Einrichtung sein, die in der Lage ist, Befehle auszuführen. Bei mindestens einer Ausführungsform kann die Verarbeitungseinheit 1930 ohne Einschränkung eine beliebige Anzahl und Art von Verarbeitungskernen (nicht dargestellt) aufweisen. Bei mindestens einer Ausführungsform umfasst die Verarbeitungseinheit 1930 eine anwendungsspezifische integrierte Schaltung („ASIC“), die für die Durchführung beliebiger Mengen und Arten von Operationen im Zusammenhang mit maschinellem Lernen optimiert ist. Bei mindestens einer Ausführungsform ist die Verarbeitungseinheit 1930 beispielsweise eine Tensor Processing Unit („TPC“), die für die Durchführung von Inferenzoperationen des maschinellen Lernens optimiert ist. Bei mindestens einer Ausführungsform ist die Verarbeitungseinheit 1930 eine Bildverarbeitungseinheit („VPU“), die für die Durchführung von Bildverarbeitungs- und maschinellen Lernoperationen optimiert ist.
Bei mindestens einer Ausführungsform kann die USB-Schnittstelle 1940 eine beliebige Art von USB-Stecker oder USB-Buchse sein. Bei mindestens einer Ausführungsform ist die USB-Schnittstelle 1940 beispielsweise eine USB 3.0 Typ-C-Buchse für Daten und Strom. Bei mindestens einer Ausführungsform ist die USB-Schnittstelle 1940 ein USB-3.0-Typ-A-Stecker. Bei mindestens einer Ausführungsform kann die USB-Schnittstellenlogik 1950 eine beliebige Menge und Art von Logik aufweisen, die es der Verarbeitungseinheit 1930 ermöglicht, sich über den USB-Anschluss 1940 mit einer Einrichtung (z. B. einem Computer 1910) zu verbinden.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System von 19 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 19 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 19 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 19 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
20A zeigt eine beispielhafte Architektur, in der eine Vielzahl von GPUs 2010(1) - 2010(N) mit einer Vielzahl von Mehrkern-Prozessoren 2005(1) - 2005(M) über Hochgeschwindigkeitsverbindungen 2040(1) - 2040(N) (z.B. Busse, Punkt-zu-Punkt-Verbindungen usw.) kommunikativ gekoppelt ist. In mindestens einer Ausführungsform unterstützen die Hochgeschwindigkeitsverbindungen 2040(1) - 2040(N) einen Kommunikationsdurchsatz von 4 GB/s, 30 GB/s, 80 GB/s oder mehr. Bei mindestens einer Ausführungsform können verschiedene Verbindungsprotokolle verwendet werden, die PCIe 4.0 oder 5.0 und NVLink 2.0 einschließen, aber nicht darauf beschränkt sind. In verschiedenen Figuren stellen „N“ und „M“ positive ganze Zahlen dar, die von Figur zu Figur unterschiedlich sein können.
Zusätzlich und in zumindest einer Ausführungsform sind zwei oder mehr GPUs 2010 über Hochgeschwindigkeitsverbindungen 2029(1)-2029(2) miteinander verbunden, die mit ähnlichen oder anderen Protokollen/Verbindungen implementiert sein können als die für Hochgeschwindigkeitsverbindungen 2040(1) - 2040(N) verwendeten. In ähnlicher Weise können zwei oder mehr Mehrkern-Prozessoren 2005 über eine Hochgeschwindigkeitsverbindung 2028 verbunden sein, bei der es sich um symmetrische Multiprozessorbusse (SMP) handeln kann, die mit 20 GB/s, 30 GB/s, 120 GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen den verschiedenen in 20A gezeigten Systemkomponenten über ähnliche Protokolle/Leitungen erfolgen (z. B. über eine gemeinsame Verbindungsstruktur).
In einer Ausführungsform ist jeder Mehrkern-Prozessor 2005 kommunikativ mit einem Prozessorspeicher 2001 (1) - 2001 (M) über Speicherverbindungen 2026(1) - 2026(M) verbunden, und jede GPU 2010(1) - 2010(N) ist kommunikativ mit dem GPU-Speicher 2020(1) - 2020(N) über GPU-Speicherverbindungen 2050(1) - 2050(N) verbunden. Bei mindestens einer Ausführungsform können die Speicherverbindungen 2026 und 2050 ähnliche oder unterschiedliche Speicherzugriffstechnologien verwenden. Beispielsweise können die Prozessorspeicher 2001 (1) - 2001 (M) und die GPU-Speicher 2020 flüchtige Speicher wie dynamische Direktzugriffsspeicher (DRAMs) (einschließlich gestapelter DRAMs), Grafik-DDR-SDRAM (GDDR) (z. B. GDDR5, GDDR6) oder High Bandwidth Memory (HBM) aufweisen und/oder nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein. In mindestens einer Ausführungsform kann ein Abschnitt der Prozessorspeicher 2001 ein flüchtiger Speicher und ein anderer Abschnitt ein nichtflüchtiger Speicher sein (z. B. unter Verwendung einer zweistufigen Speicherhierarchie (2LM)).
Wie es hier beschrieben ist, können zwar verschiedene Multikern-Prozessoren 2005 und GPUs 2010 physisch mit einem bestimmten Speicher 2001 bzw. 2020 verbunden sein, und/oder eine einheitliche Speicherarchitektur kann implementiert sein, bei der ein virtueller Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) auf verschiedene physische Speicher verteilt ist. Beispielsweise können die Prozessorspeicher 2001 (1) - 2001 (M) jeweils 64 GB Systemadressraum umfassen, und die GPU-Speicher 2020(1) - 2020(N) können jeweils 32 GB Systemadressraum umfassen, was in diesem Beispiel zu einem adressierbaren Gesamtspeicher von 256 GB führt, wenn M=2 und N=4. Andere Werte für N und M sind möglich.
20B zeigt zusätzliche Details für eine Verbindung zwischen einem Multikern-Prozessor 2007 und einem Grafikbeschleunigungsmodul 2046 gemäß einer beispielhaften Ausführungsform. Bei mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 2046 einen oder mehrere GPU-Chips aufweisen, die auf einer Linecard integriert sind, die über eine Hochgeschwindigkeitsverbindung 2040 (z.B. einen PCle-Bus, NVLink, usw.) mit dem Prozessor 2007 verbunden ist. Bei mindestens einer Ausführungsform kann alternativ das Grafikbeschleunigungsmodul 2046 auf einem Gehäuse oder Chip mit dem Prozessor 2007 integriert sein.
Bei mindestens einer Ausführungsform weist der Prozessor 2007 eine Vielzahl von Kernen 2060A-2060D auf, jeder mit einem Translations-Lookaside-Puffer („TLB“) 2061A-2061D und einem oder mehreren Caches 2062A-2062D. Bei mindestens einer Ausführungsform können die Kerne 2060A-2060D verschiedene andere Komponenten zur Ausführung von Befehlen und Verarbeitung von Daten aufweisen, die nicht dargestellt sind. Bei mindestens einer Ausführungsform können die Caches 2062A-2062D Level-1- (L1) und Level-2- (L2) Caches umfassen. Zusätzlich können ein oder mehrere gemeinsam genutzte Caches 2056 in den Caches 2062A-2062D vorhanden sein, die von Gruppen von Kernen 2060A-2060D gemeinsam genutzt werden. Eine Ausführungsform des Prozessors 2007 weist beispielsweise 24 Kerne auf, jeder mit seinem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2 und L3 Caches von zwei benachbarten Kernen gemeinsam genutzt. Bei mindestens einer Ausführungsform sind der Prozessor 2007 und das Grafikbeschleunigungsmodul 2046 mit dem Systemspeicher 2014 verbunden, der die Prozessorspeicher 2001 (1) - 2001 (M) von 20A aufweisen kann.
Bei mindestens einer Ausführungsform wird die Kohärenz von Daten und Befehlen, die in verschiedenen Caches 2062A-2062D, 2056 und im Systemspeicher 2014 gespeichert sind, wird durch Kommunikation zwischen den Kernen über einen Kohärenzbus 2064 aufrechterhalten. Bei mindestens einer Ausführungsform kann beispielsweise jeder Cache über eine Cache-Kohärenzlogik/-schaltung verfügen, die mit ihm verbunden ist, um als Reaktion auf erkannte Lese- oder Schreibvorgänge in bestimmten Cache-Zeilen über den Kohärenzbus 2064 zu kommunizieren. In mindestens einer Ausführungsform wird ein Cache-Snooping-Protokoll über den Kohärenzbus 2064 implementiert, um Cache-Zugriffe mitzulesen.
In mindestens einer Ausführungsform koppelt eine Proxy-Schaltung 2025 das Grafikbeschleunigungsmodul 2046 kommunikativ an den Kohärenzbus 2064, so dass das Grafikbeschleunigungsmodul 2046 an einem Cache-Kohärenzprotokoll als Peer der Kerne 2060A-2060D teilnehmen kann. Bei mindestens einer Ausführungsform sorgt insbesondere eine Schnittstelle 2035 für die Konnektivität mit der Proxy-Schaltung 2025 über die Hochgeschwindigkeitsverbindung 2040, und eine Schnittstelle 2037 verbindet das Grafikbeschleunigungsmodul 2046 mit der Hochgeschwindigkeitsverbindung 2040.
In mindestens einer Ausführungsform bietet eine Beschleuniger-Integrationsschaltung 2036 Cache-Verwaltungs-, Speicherzugriffs-, Kontextverwaltungs- und Unterbrechungs-Verwaltungsdienste im Auftrag einer Vielzahl von Grafikverarbeitungsmaschinen 2031(1) - 2031(N) des Grafikbeschleunigungsmoduls 2046. Bei mindestens einer Ausführungsform können die Grafikverarbeitungsmaschinen 2031(1) - 2031(N) können jeweils eine separate Grafikverarbeitungseinheit (GPU) umfassen. Bei mindestens einer Ausführungsform können die Grafikverarbeitungsmaschinen 2031(1) - 2032(N) alternativ verschiedene Arten von Grafikverarbeitungsmaschinen innerhalb eines Grafikprozessors umfassen, wie z. B. Grafikausführungseinheiten, Medienverarbeitungsmaschinen (z. B. Video-Encoder/Decoder), Sampler und Blit-Module. Bei mindestens einer Ausführungsform kann das Grafikbeschleunigungsmodul 2046 eine GPU mit einer Vielzahl von Grafikverarbeitungseinheiten 2031(1) - 2031(N) sein, oder die Grafikverarbeitungseinheiten 2031(1) - 2031(N) können einzelne GPUs sein, die in einem gemeinsamen Gehäuse, einer Linecard oder einem Chip integriert sind.
In einer Ausführungsform weist die Beschleuniger-Integrationsschaltung 2036 eine Speicherverwaltungseinheit (MMU) 2039 auf, um verschiedene Speicherverwaltungsfunktionen wie Übersetzungen von virtuellem zu physischem Speicher (auch als Übersetzungen von effektivem zu realem Speicher bezeichnet) und Speicherzugriffsprotokolle für den Zugriff auf den Systemspeicher 2014 durchzuführen. Bei mindestens einer Ausführungsform kann die MMU 2039 auch einen Translations-Lookaside-Buffer (TLB) (nicht gezeigt) aufweisen, um Übersetzungen von virtuellen/effektiven in physische/reale Adressen zwischenzuspeichern. In mindestens einer Ausführungsform können in einem Cache 2038 Befehle und Daten für den effizienten Zugriff durch die Grafikprozessoren 2031(1) - 2031(N) gespeichert werden. In mindestens einer Ausführungsform werden die im Cache 2038 und in den Grafikspeichern 2033(1) - 2033(M) gespeicherten Daten mit den Kern-Caches 2062A-2062D, 2056 und dem Systemspeicher 2014 kohärent gehalten, wobei möglichweise eine Abrufeinheit 2044 eingesetzt wird. Wie bereits erwähnt, kann dies über eine Proxy-Schaltung 2025 im Namen des Caches 2038 und der Speicher 2033(1) - 2033(M) erfolgen (z.B. Senden von Aktualisierungen an den Cache 2038 im Zusammenhang mit Änderungen/Zugriffen auf Cache-Zeilen in den Prozessor-Caches 2062A-2062D, 2056 und Empfangen von Aktualisierungen vom Cache 2038).
Bei mindestens einer Ausführungsform speichert ein Satz von Registern 2045 Kontextdaten für Threads, die von Grafikverarbeitungsmaschinen 2031(1) - 2031N) ausgeführt werden, und eine Kontextverwaltungsschaltung 2048 verwaltet Thread-Kontexte. Beispielsweise kann die Kontextverwaltungsschaltung 2048 Speicher- und Wiederherstellungsoperationen durchführen, um Kontexte verschiedener Threads während Kontextumschaltungen zu speichern und wiederherzustellen (z. B. wenn ein erster Thread gesichert und ein zweiter Thread gespeichert wird, damit ein zweiter Thread von einer Grafikverarbeitungsmaschine ausgeführt werden kann). Bei einer Kontextumschaltung kann die Kontextverwaltungsschaltung 2048 beispielsweise aktuelle Registerwerte in einem bestimmten Bereich im Speicher speichern (z. B. durch einen Kontextzeiger identifiziert). Die Registerwerte können dann bei der Rückkehr zu einem Kontext wiederhergestellt werden. In mindestens einer Ausführungsform empfängt und verarbeitet eine Unterbrechungsverwaltungsschaltung 2047 Unterbrechungen, die von Systemeinrichtungen empfangen werden.
In mindestens einer Ausführungsform werden virtuelle/effektive Adressen von einer Grafikverarbeitungsmaschine 2031 durch die MMU 2039 in reale/physische Adressen im Systemspeicher 2014 übersetzt. In mindestens einer Ausführungsform unterstützt der Beschleuniger-Integrationsschaltung 2036 mehrere (z. B. 4, 8, 16) Grafikbeschleunigermodule 2046 und/oder andere Beschleunigereinrichtungen. Bei mindestens einer Ausführungsform kann das Grafikbeschleunigermodul 2046 für eine einzelne Anwendung bestimmt sein, die auf dem Prozessor 2007 ausgeführt wird, oder es kann von mehreren Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform wird eine virtualisierte Grafikausführungsumgebung vorgestellt, in der die Ressourcen der Grafikprozessoren 2031(1) - 2031(N) von mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. Bei mindestens einer Ausführungsform können die Ressourcen in „Slices“ unterteilt sein, die verschiedenen VMs und/oder Anwendungen auf der Grundlage von Verarbeitungsanforderungen und Prioritäten, die mit VMs und/oder Anwendungen verbunden sind, zugewiesen werden.
Bei mindestens einer Ausführungsform fungiert eine Beschleuniger-Integrationsschaltung 2036 als Brücke zu einem System für das Grafikbeschleunigungsmodul 2046 und bietet Adressübersetzung und Systemspeicher-Cache-Dienste. Darüber hinaus kann bei mindestens einer Ausführungsform die Beschleuniger-Integrationsschaltung 2036 Virtualisierungsfunktionen für einen Host-Prozessor bereitstellen, um die Virtualisierung der Grafikverarbeitungsmodule 2031(1) - 2031(N), Interrupts und die Speicherverwaltung zu verwalten.
Da bei mindestens einer Ausführungsform die Hardwareressourcen der Grafikprozessoren 2031(1) - 2031(N) explizit auf einen realen Adressraum abgebildet werden, den der Host-Prozessor 2007 sieht, kann jeder Host-Prozessor diese Ressourcen direkt mit einem effektiven Adresswert adressieren. Eine Funktion der Beschleuniger-Integrationsschaltung 2036 ist in mindestens einer Ausführungsform die physische Trennung der Grafikverarbeitungsmaschinen 2031(1) - 2031(N), so dass sie für ein System als unabhängige Einheiten erscheinen.
Bei mindestens einer Ausführungsform sind ein oder mehrere Grafikspeicher 2033(1) - 2033(M) mit jeder der Grafikverarbeitungsmaschinen 2031(1) - 2031(N) verbunden, und N=M. Bei mindestens einer Ausführungsform speichern die Grafikspeicher 2033(1) - 2033(M) Anweisungen und Daten, die von jeder der Grafikverarbeitungsmaschinen 2031(1) - 2031N) verarbeitet werden. Bei mindestens einer Ausführungsform können die Grafikspeicher 2033(1) - 2033(M) flüchtige Speicher wie DRAMs (einschließlich gestapelter DRAMs), GDDR-Speicher (z.B. GDDR5, GDDR6) oder HBM aufweisen und/oder können nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein.
In mindestens einer Ausführungsform können zur Verringerung des Datenverkehrs über die Hochgeschwindigkeitsverbindung 2040 Zuordnungs-Verfahren bzw. Biasing-Verfahren verwendet werden, um sicherzustellen, dass die in den Grafikspeichern 2033(1) - 2033(M) gespeicherten Daten Daten sind, die am häufigsten von den Grafikverarbeitungsmaschinen 2031(1) - 2031(N) verwendet werden und vorzugsweise nicht von den Kernen 2060A-2060D (zumindest nicht häufig) verwendet werden. In ähnlicher Weise versucht bei mindestens einer Ausführungsform ein Zuordnungs-Mechanismus bzw. Biasing-Mechanismus, Daten, die von Kernen (und vorzugsweise nicht von den Grafikverarbeitungsmaschinen 2031(1) - 2031(N)) benötigt werden, in den Caches 2062A-2062D, 2056 und im Systemspeicher 2014 zu halten.
20C zeigt eine weitere beispielhafte Ausführungsform, bei der die Beschleuniger-Integrationsschaltung 2036 in den Prozessor 2007 integriert ist. In dieser Ausführungsform kommunizieren die Grafikprozessoren 2031(1) - 2031(N) direkt über die Hochgeschwindigkeitsverbindung 2040 mit der Beschleuniger-Integrationsschaltung 2036 über die Schnittstelle 2037 und die Schnittstelle 2035 (die wiederum jede Form von Bus oder Schnittstellenprotokoll verwenden kann). Bei mindestens einer Ausführungsform kann die Beschleuniger-Integrationsschaltung 2036 ähnliche Operationen wie in 20B beschrieben durchführen, jedoch möglicherweise mit einem höheren Durchsatz, da sie sich in unmittelbarer Nähe zum Kohärenzbus 2064 und den Caches 2062A-2062D, 2056 befindet. Bei mindestens einer Ausführungsform unterstützt eine Beschleuniger-Integrationsschaltung verschiedene Programmiermodelle, einschließlich eines Programmiermodells für dedizierte Prozesse (ohne Virtualisierung des Grafikbeschleunigungsmoduls) und gemeinsam genutzter Programmiermodelle (mit Virtualisierung), die Programmiermodelle aufweisen können, die von der Beschleuniger-Integrationsschaltung 2036 gesteuert werden, und Programmiermodelle, die vom Grafikbeschleunigungsmodul 2046 gesteuert werden.
Bei mindestens einer Ausführungsform sind die Grafikverarbeitungsmaschinen 2031(1) - 2031(N) für eine einzige Anwendung oder einen einzigen Prozess unter einem einzigen Betriebssystem bestimmt. Bei mindestens einer Ausführungsform kann eine einzelne Anwendung andere Anwendungsanforderungen an die Grafikverarbeitungsmaschinen 2031(1) - 2031(N) weiterleiten, wodurch eine Virtualisierung innerhalb einer VM/Partition ermöglicht wird.
Bei mindestens einer Ausführungsform können die Grafikverarbeitungsmaschinen 2031(1) - 2032(N), von mehreren VM-/Anwendungspartitionen gemeinsam genutzt werden. Bei mindestens einer Ausführungsform können gemeinsam genutzte Modelle einen Systemhypervisor verwenden, um die Grafikverarbeitungsmaschinen 2031(1) - 2031(N) zu virtualisieren und den Zugriff durch jedes Betriebssystem zu ermöglichen. Bei Systemen mit einer einzigen Partition ohne Hypervisor gehören die Grafikprozessoren 2031(1) - 2031(N) zu einem Betriebssystem. Bei mindestens einer Ausführungsform kann ein Betriebssystem die Grafikverarbeitungsmaschinen 2031(1) - 2031(N) virtualisieren, um jedem Prozess oder jeder Anwendung Zugriff zu gewähren.
Bei mindestens einer Ausführungsform wählt das Grafikbeschleunigungsmodul 2046 oder eine einzelne Grafikverarbeitungsmaschine 2031(1) - 2031(N) ein Prozesselement mithilfe eines Prozesshandles aus. In mindestens einer Ausführungsform werden Prozesselemente im Systemspeicher 2014 gespeichert und sind unter Verwendung einer Übersetzungstechnik von effektiver Adresse zu realer Adresse adressierbar, was hier beschrieben ist. Bei mindestens einer Ausführungsform kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Host-Prozess zur Verfügung gestellt wird, wenn er seinen Kontext bei der Grafikverarbeitungsmaschine 2031(1) - 2031(N) registriert (d. h. wenn er die Systemsoftware aufruft, um ein Prozesselement zu einer verknüpften Prozesselementliste hinzuzufügen). Bei mindestens einer Ausführungsform können die unteren 16 Bits eines Prozesshandles ein Offset eines Prozesselements innerhalb einer verknüpften Prozesselementliste sein.
20D zeigt ein beispielhaftes Beschleuniger-Integrations-Slice 2090. Bei mindestens einer Ausführungsform umfasst ein „Slice“ einen bestimmten Abschnitt der Verarbeitungsressourcen der Beschleuniger-Integrationsschaltung 2036. Bei mindestens einer Ausführungsform ist eine Anwendung ein effektiver Anwendungsadressraum 2082 im Systemspeicher 2014, der Prozesselemente 2083 speichert. In mindestens einer Ausführungsform werden die Prozesselemente 2083 als Reaktion auf GPU-Aufrufe 2081 von Anwendungen 2080, die auf dem Prozessor 2007 ausgeführt werden, gespeichert. Bei mindestens einer Ausführungsform enthält ein Prozesselement 2083 den Prozessstatus für die entsprechende Anwendung 2080. Bei mindestens einer Ausführungsform kann ein im Prozesselement 2083 enthaltener Arbeitsdeskriptor (Work Descriptor (WD)) 2084 ein einzelner, von einer Anwendung angeforderter Job sein oder einen Zeiger auf eine Warteschlange von Jobs enthalten. Bei mindestens einer Ausführungsform ist der WD 2084 ein Zeiger auf eine Auftragsanforderungs-Warteschlange im effektiven Adressraum 2082 einer Anwendung.
Bei mindestens einer Ausführungsform können das Grafikbeschleunigungsmodul 2046 und/oder die einzelnen Grafikverarbeitungsmaschinen 2031(1) -2031(N) von allen oder einer Teilmenge der Prozesse in einem System gemeinsam genutzt werden. Bei mindestens einer Ausführungsform kann eine Infrastruktur zum Einrichten der Prozessstati und zum Senden eines WD 2084 an ein Grafikbeschleunigungsmodul 2046 zum Starten eines Auftrags in einer virtualisierten Umgebung vorhanden sein.
Bei mindestens einer Ausführungsform ist ein Programmiermodell für dedizierte Prozesse implementierungsspezifisch. Bei mindestens einer Ausführungsform besitzt in diesem Modell ein einzelner Prozess das Grafikbeschleunigungsmodul 2046 oder eine einzelne Grafikverarbeitungsmaschine 2031. Wenn das Grafikbeschleunigungsmodul 2046 bei mindestens einer Ausführungsform einem einzelnen Prozess gehört, initialisiert ein Hypervisor die Beschleuniger-Integrationsschaltung 2036 für eine besitzende Partition, und ein Betriebssystem initialisiert die Beschleuniger-Integrationsschaltung 2036 für einen besitzenden Prozess, wenn das Grafikbeschleunigungsmodul 2046 zugewiesen wird.
Im Betrieb holt eine WD-Abrufeinheit 2091 in dem Beschleuniger-Integrations-Slice 2090 bei mindestens einer Ausführungsform den nächsten WD 2084 ab, der eine Angabe der Arbeit aufweist, die von einer oder mehreren Grafikverarbeitungsmaschinen des Grafikbeschleunigungsmoduls 2046 zu erledigen ist. Bei mindestens einer Ausführungsform können die Daten aus dem WD 2084 in Registern 2045 gespeichert und von der MMU 2039, der Unterbrechungsverwaltungsschaltung 2047 und/oder der Kontextverwaltungsschaltung 2048 verwendet werden, wie es dargestellt ist. Eine Ausführungsform der MMU 2039 weist beispielsweise eine Segment-/Seitenlaufschaltung für den Zugriff auf Segment-/Seitentabellen 2086 im virtuellen Adressraum 2085 des Betriebssystems auf. Die Unterbrechungsverwaltungsschaltung 2047 kann bei mindestens einer Ausführungsform vom Grafikbeschleunigungsmodul 2046 empfangene Unterbrechungsereignisse 2092 verarbeiten. Bei der Durchführung von Grafikoperationen wird bei mindestens einer Ausführungsform eine effektive Adresse 2093, die von einer Grafikverarbeitungsmaschine 2031-2032, N erzeugt wird, von der MMU 2039 in eine reale Adresse übersetzt.

In mindestens einer Ausführungsform wird für jede Grafikverarbeitungsmaschine 2031(1) - 2031(N) und/oder jedes Grafikbeschleunigungsmodul 2046 ein und derselbe Satz von Registern 2045 dupliziert und kann von einem Hypervisor oder Betriebssystem initialisiert werden. Jedes dieser duplizierten Register kann bei mindestens einer Ausführungsform in einem Beschleuniger-Integrations-Slice 2090 vorhanden sein. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, sind in Tabelle 1 aufgeführt.

Tabelle 1 - Vom Hypervisor initialisierte Register
Register #	Beschreibung
1	Slice-Steuerungsregister
2	Reale Adresse (RA) Bereichszeiger geplanter Prozesse
3	Autoritätsmasken-Überschreibungsregister
4	Unterbrechungsvektor-Tabelleneintrags-Offset
5	Unterbrechungsvektor-Tabelleneintragsgrenze
6	Statusregister
7	Logische Partitions-ID
8	Reale Adresse (RA) Hypervisor-Beschleuniger-Nutzungsdatensatzzeiger
9	Speicherbeschreibungsregister

Beispielhafte Register, die von einem Betriebssystem initialisiert werden können, sind in Tabelle 2 aufgeführt.

Tabelle 2 - Initialisierte Register des Betriebssystems
Register #	Beschreibung
1	Prozess- und Thread-Identifikation
2	Effektive Adresse (EA) Kontext-Speicher/Wiederherstellungs-Zeiger
3	Virtuelle Adresse (VA) Beschleuniger-Nutzungsdatensatzzeiger
4	Virtuelle Adresse (VA) Zeiger auf die Speichersegmenttabelle
5	Autoritätsmaske
6	Arbeitsdeskriptor

In mindestens einer Ausführungsform ist jeder WD 2084 spezifisch für ein bestimmtes Grafikbeschleunigungsmodul 2046 und/oder die Grafikverarbeitungsmaschinen 2031(1) - 2031(N). Er enthält bei mindestens einer Ausführungsform alle Informationen, die von einer Grafikverarbeitungsmaschine 2031(1) - 2031(N) benötigt werden, um Arbeit zu verrichten, oder er kann ein Zeiger auf einen Speicherplatz sein, an dem eine Anwendung eine Befehlswarteschlange von zu verrichtender Arbeit eingerichtet hat.
20E veranschaulicht zusätzliche Details für eine beispielhafte Ausführungsform eines gemeinsamen Modells. Diese Ausführungsform weist einen realen Hypervisor-Adressraum 2098 auf, in dem eine Prozesselementliste 2099 gespeichert ist. Auf den realen Hypervisor-Adressraum 2098 kann bei mindestens einer Ausführungsform über einen Hypervisor 2096 zugegriffen werden, der Grafikbeschleunigungsmodul-Maschinen für das Betriebssystem 2095 virtualisiert.
Bei mindestens einer Ausführungsform erlauben gemeinsame Programmiermodelle allen oder einer Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System, ein Grafikbeschleunigungsmodul 2046 zu verwenden. Es gibt bei mindestens einer Ausführungsform zwei Programmiermodelle, bei denen das Grafikbeschleunigungsmodul 2046 von mehreren Prozessen und Partitionen gemeinsam genutzt wird: nämlich zeitlich geteilte und grafisch gerichtete gemeinsame Nutzung.
Bei diesem Modell ist bei mindestens einer Ausführungsform der SystemHypervisor 2096 Besitzer des Grafikbeschleunigungsmoduls 2046 und stellt seine Funktion allen Betriebssystemen 2095 zur Verfügung. Damit ein Grafikbeschleunigungsmodul 2046 die Virtualisierung durch den SystemHypervisor 2096 unterstützen kann, kann bei mindestens einer Ausführungsform das Grafikbeschleunigungsmodul 2046 bestimmte Bedingungen erfüllen, wie z.B.: 1) Eine Auftragsanforderung einer Anwendung muss autonom sein (d. h. der Zustand muss zwischen den Aufträgen nicht aufrechterhalten werden), oder das Grafikbeschleunigungsmodul 2046 muss einen Mechanismus zur Kontextsicherung und -wiederherstellung bereitstellen. 2) Ein Grafikbeschleunigungsmodul 2046 garantiert, dass die Auftragsanforderung einer Anwendung in einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Grafikbeschleunigungsmodul 2046 bietet die Möglichkeit, die Verarbeitung eines Auftrags zu unterbrechen, und 3) dem Grafikbeschleunigungsmodul 2046 muss Fairness zwischen den Prozessen garantiert werden, wenn es in einem gerichteten gemeinsamen Programmiermodell arbeitet.
Bei mindestens einer Ausführungsform muss die Anwendung 2080 einen Systemaufruf des Betriebssystems 2095 mit einem Grafikbeschleunigungsmodultyp, einem Arbeitsdeskriptor (WD), einem AMR-Wert (Authority Mask Register) und einem CSRP-Zeiger (Context Save/Restore Area Pointer) ausführen. Bei mindestens einer Ausführungsform beschreibt der Typ des Grafikbeschleunigungsmoduls eine gezielte Beschleunigungsfunktion für einen Systemaufruf. Bei mindestens einer Ausführungsform kann der Typ des Grafikbeschleunigungsmoduls ein systemspezifischer Wert sein. Bei mindestens einer Ausführungsform ist der WD speziell für das Grafikbeschleunigungsmodul 2046 formatiert und kann in Form eines Befehls des Grafikbeschleunigungsmoduls 2046, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer anderen Datenstruktur vorliegen, die die vom Grafikbeschleunigungsmodul 2046 zu verrichtende Arbeit beschreibt.
In einer Ausführungsform ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. Bei mindestens einer Ausführungsform ähnelt ein an ein Betriebssystem übergebener Wert der Einstellung eines AMR durch eine Anwendung. Wenn die Implementierungen der Beschleuniger-Integrationsschaltung 2036 und des Grafikbeschleunigungsmoduls 2046 bei mindestens einer Ausführungsform kein Benutzer-Autoritätsmasken-Überschreibungsregister (User Authority Mask Override Register (UAMOR)) unterstützen, kann ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor ein AMR in einem Hypervisor-Aufruf übergeben wird. Der Hypervisor 2096 kann bei mindestens einer Ausführungsform optional einen aktuellen AMOR-Wert (Authority Mask Override Register) anwenden, bevor ein AMR in einem Prozesselement 2083 angeordnet wird. Bei mindestens einer Ausführungsform ist CSRP eines der Register 2045, die eine effektive Adresse eines Bereichs im effektiven Adressraum 2082 einer Anwendung für das Grafikbeschleunigungsmodul 2046 zur Speicherung und Wiederherstellung des Kontextstatus enthalten. Dieser Zeiger ist bei mindestens einer Ausführungsform optional, wenn kein Zustand zwischen Aufträgen gespeichert werden muss oder wenn ein Auftrag vorzeitig beendet wird. Bei mindestens einer Ausführungsform kann der Kontextspeicher-/Wiederherstellungsbereich im Systemspeicher verankert sein.

Beim Empfang eines Systemaufrufs kann das Betriebssystem 2095 überprüfen, ob die Anwendung 2080 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 2046 erhalten hat. Das Betriebssystem 2095 ruft bei mindestens einer Ausführungsform dann den Hypervisor 2096 mit den in Tabelle 3 dargestellten Informationen auf.

Tabelle 3 - Hypervisor-Aufrufparameter vom Betriebssystem
Parameter #	Beschribung
1	Ein Arbeitsdeskriptor (WD)
2	Ein Autoritätsmaskenregister- (AMR)-Wert (möglicherweise maskiert)
3	Eine effektive Adresse (EA) Kontext-Sicherungs-/Wiederherstellungs-Bereichszeigers (CSRP)
4	Eine Prozess-ID (PID) und optional eine Thread-ID (TID)
5	Eine virtuelle Adresse (VA) Beschleuniger-Nutzungsdatensatzzeiger (AURP)
6	Virtuelle Adresse eines Speichersegmenttabellenzeigers (SSTP)
7	Eine logische Interrupt-Service-Nummer (LISN)

Beim Empfang eines Hypervisor-Aufrufs überprüft bei mindestens einer Ausführungsform der Hypervisor 2096, ob das Betriebssystem 2095 registriert ist und die Berechtigung zur Verwendung des Grafikbeschleunigungsmoduls 2046 erhalten hat. Der Hypervisor 2096 setzt bei mindestens einer Ausführungsform dann das Prozesselement 2083 in eine verknüpfte Prozesselementliste für einen entsprechenden Grafikbeschleunigungsmodultyp 2046. Ein Prozesselement kann bei mindestens einer Ausführungsform die in Tabelle 4 dargestellten Informationen aufweisen.

Tabelle 4 -Prozesselementinformation
Parameter #	Beschreibung
1	Ein Arbeitsdeskriptor (WD)
2	Ein Autoritätsmaskenregister- (AMR)-Wert (möglicherweise maskiert)
3	Eine effektive Adresse (EA) Kontext-Sicherungs-/Wiederherstellungs-Bereichszeigers (CSRP)
4	Eine Prozess-ID (PID) und optional eine Thread-ID (TID)
5	Eine virtuelle Adresse (VA) Beschleuniger-Nutzungsdatensatzzeiger (AURP)
6	Virtuelle Adresse eines Speichersegmenttabellenzeigers (SSTP)
7	Eine logische Interrupt-Service-Nummer (LISN)
8	Unterbrechungsvektortabelle, abgeleitet von Hypervisor-Aufrufparametern
9	Ein Statusregister- (SR-) Wert
10	Eine logische Partitions-ID (LPID)
11	Reale Adresse (RA) Hypervisor-Beschleuniger-Nutzungsdatensatzzeiger
12	Speicherbeschreibungsregister (SDR)

Bei mindestens einer Ausführungsform initialisiert der Hypervisor eine Vielzahl von Registern 2045 für Beschleuniger-Integrations-Slices 2090.
Wie es in 20F dargestellt ist, wird bei mindestens einer Ausführungsform ein einheitlicher Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physische Prozessorspeicher 2001 (1) - 2001 (N) und GPU-Speicher 2020(1) - 2020(N) verwendet wird. Bei dieser Implementierung verwenden die auf den GPUs 2010(1) - 2010(N) ausgeführten Operationen denselben virtuellen/effektiven Speicheradressraum für den Zugriff auf die Prozessorspeicher 2001(1) - 2001(N) und umgekehrt, was die Programmierbarkeit vereinfacht. In mindestens einer Ausführungsform wird ein erster Abschnitt eines virtuellen/effektiven Adressraums dem Prozessorspeicher 2001 (1) zugewiesen, ein zweiter Abschnitt dem zweiten Prozessorspeicher 2001 (N), ein dritter Abschnitt dem GPU-Speicher 2020(1) usw. Bei mindestens einer Ausführungsform wird dadurch ein gesamter virtueller/effektiver Speicherraum (manchmal auch als effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 2001 und GPU-Speicher 2020 verteilt, wodurch jeder Prozessor oder jede GPU auf jeden physischen Speicher mit einer diesem Speicher zugeordneten virtuellen Adresse zugreifen kann.
In mindestens einer Ausführungsform stellt die Bias/Kohärenz-Management-Schaltung 2094A-2094E innerhalb einer oder mehrerer MMUs 2039A-2039E die Cache-Kohärenz zwischen den Caches eines oder mehrerer Host-Prozessoren (z. B. 2005) und GPUs 2010 sicher und implementiert Biasing-Verfahren, die angeben, in welchen physischen Speichern bestimmte Datentypen gespeichert werden sollen. Während bei mindestens einer Ausführungsform mehrere Instanzen der Bias/Kohärenz-Management-Schaltung 2094A-2094E in 20F dargestellt sind, kann die Bias/Kohärenz-Schaltung innerhalb einer MMU eines oder mehrerer Host-Prozessoren 2005 und/oder innerhalb der Beschleuniger-Integrationsschaltung 2036 implementiert sein.
Eine Ausführungsform ermöglicht es, dass GPU-Speicher 2020 als Teil des Systemspeichers abgebildet ist und dass auf ihn unter Verwendung der SVM-Technologie (Shared Virtual Memory) zugegriffen wird, ohne jedoch Leistungsnachteile zu erleiden, die mit einer vollständigen System-Cache-Kohärenz verbunden sind. Bei mindestens einer Ausführungsform bietet die Möglichkeit des Zugriffs auf die GPU- Speicher 2020 als Systemspeicher ohne lästigen Cache-Kohärenz-Overhead eine vorteilhafte Betriebsumgebung für GPU-Offload. Diese Anordnung ermöglicht es der Software des Host-Prozessors 2005 bei mindestens einer Ausführungsform, Operanden einzustellen und auf Berechnungsergebnisse zuzugreifen, ohne den Overhead herkömmlicher I/O-DMA-Datenkopien. Solche herkömmlichen Kopien beinhalten bei mindestens einer Ausführungsform Treiberaufrufe, Unterbrechungen und speicherabbildende I/O- (MMIO-) Zugriffe, die alle im Vergleich zu einfachen Speicherzugriffen ineffizient sind. Bei mindestens einer Ausführungsform kann die Fähigkeit, ohne Cache-Kohärenz-Overheads auf die GPU Speicher 2020 zuzugreifen, für die Ausführungszeit einer ausgelagerten Berechnung entscheidend sein. In Fällen mit erheblichem Streaming-Schreibspeicherverkehr kann bei mindestens einer Ausführungsform der Cache-Kohärenz-Overhead beispielsweise die effektive Schreibbandbreite einer GPU 2010 erheblich reduzieren. Bei mindestens einer Ausführungsform können die Effizienz des Operanden-Setups, die Effizienz des Ergebniszugriffs und die Effizienz der GPU-Berechnung eine Rolle bei der Bestimmung der Effektivität eines GPU-Offloads spielen.
Bei mindestens einer Ausführungsform wird die Auswahl eines GPU-Bias und eines Host-Prozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. Es kann bei mindestens einer Ausführungsform z.B. eine Bias-Tabelle verwendet werden, die eine seitengranulare Struktur sein kann (d.h. mit der Granularität einer Speicherseite gesteuert), die 1 oder 2 Bits pro GPU-angeschlossene Speicherseite aufweist. Bei mindestens einer Ausführungsform kann eine Bias-Tabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU-Speicher 2020 implementiert sein, mit oder ohne Bias-Cache in einer GPU 2010 (z. B. um häufig/kürzlich verwendete Einträge einer Bias-Tabelle zu cachen). Alternativ dazu kann bei mindestens einer Ausführungsform eine gesamte Bias-Tabelle in einer GPU verwaltet werden.
Bei mindestens einer Ausführungsform wird vor dem tatsächlichen Zugriff auf einen GPU-Speicher auf einen Bias-Tabelleneintrag zugegriffen, der jedem Zugriff auf den GPU- Speicher 2020-2023 zugeordnet ist, was die folgenden Vorgänge bewirkt. Zunächst werden bei mindestens einer Ausführungsform lokale Anfragen von GPU 2010, die ihre Seite im GPU-Bias finden, direkt an einen entsprechenden GPU-Speicher 2020 weitergeleitet. Bei mindestens einer Ausführungsform werden lokale Anfragen von einer GPU, die ihre Seite im Host-Bias finden, an den Prozessor 2005 weitergeleitet (z. B. über eine Hochgeschwindigkeitsverbindung). In mindestens einer Ausführungsform werden Anfragen vom Prozessor 2005, die eine angeforderte Seite im Host-Prozessor-Bias finden, wie ein normaler Speicherlesezugriff abgeschlossen. Alternativ können Anforderungen, die an eine GPU-biased bzw. GPU-gebundene Seite gerichtet sind, an die GPU 2010 weitergeleitet werden. Bei mindestens einer Ausführungsform kann eine GPU dann eine Seite in einen Host-Prozessor-Bias überführen, wenn sie die Seite gerade nicht verwendet. Bei mindestens einer Ausführungsform kann der Bias-Zustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwareunterstützten softwarebasierten Mechanismus oder, für eine begrenzte Anzahl von Fällen, einen rein hardwarebasierten Mechanismus geändert werden.
Ein Mechanismus zum Ändern des Bias-Zustands verwendet bei mindestens einer Ausführungsform einen API-Aufruf (z. B. OpenCL), der wiederum den Einrichtungstreiber einer GPU aufruft, der wiederum eine Nachricht an eine GPU sendet (oder einen Befehlsdeskriptor in die Warteschlange stellt), um sie anzuweisen, einen Bias-Zustand zu ändern und für einige Übergänge einen Cache-Flushing-Vorgang in einem Host durchzuführen. Bei mindestens einer Ausführungsform wird die Cache-Flushing-Operation für einen Übergang von dem Bias des Host-Prozessors 2005 zum Bias der GPU verwendet, aber nicht für einen entgegengesetzten Übergang.
In mindestens einer Ausführungsform wird die Cache-Kohärenz aufrechterhalten, indem GPU-gebundene Seiten vorübergehend gerendert werden, die vom Host-Prozessor 2005 nicht gecacht werden können. Um bei mindestens einer Ausführungsform auf diese Seiten zuzugreifen, kann der Prozessor 2005 den Zugriff von der GPU 2010 anfordern, die den Zugriff möglicherweise nicht sofort gewährt. Um bei mindestens einer Ausführungsform die Kommunikation zwischen dem Prozessor 2005 und der GPU 2010 zu reduzieren, ist es daher vorteilhaft, sicherzustellen, dass GPU-gebundene Seiten diejenigen sind, die von einer GPU, aber nicht vom Host-Prozessor 2005 benötigt werden, und umgekehrt.
Hardware-Struktur(en) 1415 werden verwendet, um eine oder mehrere Ausführungsformen auszuführen. Einzelheiten zu der/den Hardwarestruktur(en) 1415 können hier in Verbindung mit den 12A und/oder 12B angegeben werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 20A - 20F dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 20A - 20F dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 20F - 20F dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
21 zeigt beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne gemäß verschiedenen hier beschriebenen Ausführungsformen hergestellt werden können. Zusätzlich zu den dargestellten Schaltungen können bei mindestens einer Ausführungsform weitere Logik und Schaltkreise vorhanden sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Steuerungen für periphere Schnittstellen oder Allzweck-Prozessorkerne.
21 ist ein Blockdiagramm, das eine beispielhafte integrierte Schaltung 2100 mit einem System auf einem Chip darstellt, die unter Verwendung eines oder mehrerer IP-Kerne gemäß mindestens einer Ausführungsform hergestellt werden kann. Bei mindestens einer Ausführungsform weist die integrierte Schaltung 2100 einen oder mehrere Anwendungsprozessor(en) 2105 (z. B. CPUs), mindestens einen Grafikprozessor 2110 auf und kann zusätzlich einen Bildprozessor 2115 und/oder einen Videoprozessor 2120 aufweisen, von denen jeder ein modularer IP-Kern sein kann. Bei mindestens einer Ausführungsform weist die integrierte Schaltung 2100 eine Peripherie- oder Buslogik auf, darunter eine USB-Steuerung 2125, eine UART-Steuerung 2130, eine SPI/SDIO-Steuerung 2135 und eine I22S/I22C-Steuerung 2140. Bei mindestens einer Ausführungsform kann die integrierte Schaltung 2100 eine Anzeigeeinrichtung 2145 aufweisen, die mit einer oder mehreren HDMI- (High-Definition Multimedia Interface-) Steuerungen 2150 und einer MIPI- (Mobile Industry Processor Interface-) Anzeigenschnittstelle 2155 verbunden ist. Bei mindestens einer Ausführungsform kann der Speicher durch ein Flash-Speicher-Subsystem 2160 bereitgestellt sein, das einen Flash-Speicher und eine Flash-Speicher-Steuerung aufweist. Bei mindestens einer Ausführungsform kann die Speicherschnittstelle über eine Speichersteuerung 2165 für den Zugriff auf SDRAM- oder SRAM-Speichereinrichtungen bereitgestellt sein. Bei mindestens einer Ausführungsform weisen einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Maschine 2170 auf.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in der integrierten Schaltung 2100 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 21 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 21 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 21 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
22A und 22B zeigen beispielhafte integrierte Schaltungen und zugehörige Grafikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne gemäß verschiedenen Ausführungsformen, wie sie hier beschrieben sind, hergestellt werden können. Zusätzlich zu den dargestellten Schaltungen können bei mindestens einer Ausführungsform weitere Logik und Schaltungen vorhanden sein, einschließlich zusätzlicher Grafikprozessoren/-kerne, Steuerungen für periphere Schnittstellen oder Allzweck-Prozessorkerne.
22A und 22B sind Blockdiagramme, die beispielhafte Grafikprozessoren zur Verwendung in einem SoC gemäß den hier beschriebenen Ausführungsformen zeigen. 22A zeigt einen beispielhaften Grafikprozessor 2210 einer integrierten Schaltung mit einem System auf einem Chip, die gemäß mindestens einer Ausführungsform mittels eines oder mehrerer IP-Kerne hergestellt sein kann. 22B stellt einen zusätzlichen beispielhaften Grafikprozessor 2240 einer integrierten Schaltung mit einem System auf einem Chip dar, die gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Kerne hergestellt werden kann. 22B zeigt einen weiteren beispielhaften Grafikprozessor 2240 einer integrierten Schaltung mit einem System auf einem Chip, die gemäß mindestens einer Ausführungsform unter Verwendung eines oder mehrerer IP-Kerne hergestellt sein kann. Bei mindestens einer Ausführungsform ist der Grafikprozessor 2210 von 22A ein stromsparender Grafikprozessorkern. Bei mindestens einer Ausführungsform ist der Grafikprozessor 2240 von 22B ein Grafikprozessorkern mit höherer Leistung. Bei mindestens einer Ausführungsform kann jeder der Grafikprozessoren 2210, 2240 eine Variante des Grafikprozessors 2110 von 21 sein.
Bei mindestens einer Ausführungsform weist der Grafikprozessor 2210 einen Vertexprozessor 2205 und einen oder mehrere Fragmentprozessor(en) 2215A-2215N auf (z.B. 2215A, 2215B, 2215C, 2215D bis 2215N-1 und 2215N). Bei mindestens einer Ausführungsform kann der Grafikprozessor 2210 verschiedene Shader-Programme über eine separate Logik ausführen, so dass der Vertex-Prozessor 2205 für die Ausführung von Operationen für Vertex-Shader-Programme optimiert ist, während ein oder mehrere Fragment-Prozessoren) 2215A-2215N Fragment- (z. B. Pixel-) Shading-Operationen für Fragment- oder Pixel-Shader-Programme ausführen. Bei mindestens einer Ausführungsform führt der Vertex-Prozessor 2205 eine Vertex-Verarbeitungsstufe einer 3D-Grafikpipeline durch und erzeugt Primitives und Vertex-Daten. Bei mindestens einer Ausführungsform verwenden die Fragmentprozessoren 2215A-2215N die vom Vertex-Prozessor 2205 erzeugten Primitiv- und Vertex-Daten, um einen Bildpuffer zu erzeugen, der auf einer Anzeigeeinrichtung angezeigt wird. Bei mindestens einer Ausführungsform ist/sind der/die Fragmentprozessor(en) 2215A-2215N für die Ausführung von Fragment-Shader-Programmen optimiert, wie sie in einer OpenGL-API vorgesehen sind, die verwendet werden können, um ähnliche Operationen wie ein Pixel-Shader-Programm durchzuführen, wie sie in einer Direct 3D-API vorgesehen sind.
Bei mindestens einer Ausführungsform weist der Grafikprozessor 2210 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 2220A-2220B, einen oder mehrere Cache(s) 2225A-2225B und eine oder mehrere Schaltungsverbindungen 2230A-2230B auf. Bei mindestens einer Ausführungsform sorgen eine oder mehrere MMU(s) 2220A-2220B für die Zuordnung von virtuellen zu physischen Adressen für den Grafikprozessor 2210, einschließlich für den Vertex-Prozessor 2205 und/oder den/die Fragmentprozessor(en) 2215A-2215N, der/die zusätzlich zu den in einem oder mehreren Cache(s) 2225A-2225B gespeicherten Vertex- oder Bild-/Texturdaten auf im Speicher gespeicherte Vertex- oder Bild-/Texturdaten verweisen kann/können. Bei mindestens einer Ausführungsform kann eine oder können mehrere MMU(s) 2220A-2220B mit anderen MMUs innerhalb des Systems synchronisiert werden, einschließlich einer oder mehrerer MMUs, die einem oder mehreren Anwendungsprozessoren 2105, Bildprozessoren 2115 und/oder Videoprozessoren 2120 von 21 zugeordnet sind, so dass sich jeder Prozessor 2105-2120 an einem gemeinsamen oder vereinheitlichten virtuellen Speichersystem beteiligen kann. Bei mindestens einer Ausführungsform ermöglichen eine oder mehrere Schaltungsverbindung(en) 2230A-2230B dem Grafikprozessor 2210 die Verbindung mit anderen IP-Kernen innerhalb des SoC, entweder über einen internen Bus des SoC oder über eine direkte Verbindung.
Bei mindestens einer Ausführungsform weist der Grafikprozessor 2240 einen oder mehrere Shader-Kern(e) 2255A-2255N auf (z. B. 2255A, 2255B, 2255C, 2255D, 2255E, 2255F bis 2255N-1 und 2255N), wie es n 22B dargestellt ist, was eine einheitliche Shader-Kern-Architektur ermöglicht, bei der ein einziger Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Compute-Shadern. Bei mindestens einer Ausführungsform kann die Anzahl der Shader-Kerne variieren. Bei mindestens einer Ausführungsform weist der Grafikprozessor 2240 einen Inter-Core-Task-Manager 2245 auf, der als Thread-Dispatcher fungiert, um Ausführungs-Threads an einen oder mehrere Shader-Kerne 2255A-2255N und eine Tiling-Einheit 2258 zu verteilen, um Tiling-Operationen für kachelbasiertes Rendering zu beschleunigen, bei denen Rendering-Operationen für eine Szene im Bildraum unterteilt sind, um beispielsweise eine lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Nutzung interner Caches zu optimieren.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in der integrierten Schaltung 20A und/oder 20B für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 22A und 22B dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 22A und 22B dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 22A und 22B dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind
23A und 23B illustrieren eine zusätzliche beispielhafte Grafikprozessorlogik gemäß den hier beschriebenen Ausführungsformen. 23A zeigt einen Grafikkern 2300, der bei mindestens einer Ausführungsform im Grafikprozessor 2110 von 21 vorhanden sein kann und bei mindestens einer Ausführungsform ein einheitlicher Shader-Kern 2255A-2255N wie in 22B sein kann. 23B veranschaulicht eine hochparallele Mehrzweck-Grafikverarbeitungseinheit („GPGPU“) 2330, die bei mindestens einer Ausführungsform für den Einsatz auf einem Multi-Chip-Modul geeignet ist.
Bei mindestens einer Ausführungsform weist der Grafikkern 2300 einen gemeinsam genutzten Befehlscache 2302, eine Textureinheit 2318 und einen Cache/gemeinsamen Speicher 2320 auf, die den Ausführungsressourcen innerhalb des Grafikkerns 2300 gemeinsam sind. Bei mindestens einer Ausführungsform kann der Grafikkern 2300 mehrere Slices 2301A-2301 N oder Partitionen für jeden Kern aufweisen, und ein Grafikprozessor kann mehrere Instanzen des Grafikkerns 2300 aufweisen. Die Slices 2301A-2301 N können bei mindestens einer Ausführungsform eine Unterstützungslogik aufweisen, die einen lokalen Befehlscache 2304A-2304N, einen Thread-Scheduler 2306A-2306N, einen Thread-Dispatcher 2308A-2308N und einen Satz von Registern 2310A-2310N umfasst. Bei mindestens einer Ausführungsform können die Slices 2301A-2301N einen Satz zusätzlicher Funktionseinheiten (AFUs 2312A-2312N), Gleitkommaeinheiten (FPUs 2314A-2314N), ganzzahlige arithmetische Logikeinheiten (ALUs 2316-2316N), Adressberechnungseinheiten (ACUs 2313A-2313N), doppeltgenaue Gleitkommaeinheiten (DPFPUs 2315A-2315N) und Matrixverarbeitungseinheiten (MPUs 2317A-2317N) aufweisen.
Bei mindestens einer Ausführungsform können die FPUs 2314A-2314N Gleitkommaoperationen mit einfacher Genauigkeit (32 Bit) und halber Genauigkeit (16 Bit) durchführen, während die DPFPUs 2315A-2315N Gleitkommaoperationen mit doppelter Genauigkeit (64 Bit) durchführen. Bei mindestens einer Ausführungsform können die ALUs 2316A-2316N Integer-Operationen mit variabler Präzision bei 8-Bit-, 16-Bit- und 32-Bit-Präzision durchführen und für Operationen mit gemischter Präzision ausgestaltet sein. Bei mindestens einer Ausführungsform können die MPUs 2317A-2317N auch für Matrixoperationen mit gemischter Genauigkeit ausgestaltet sein, die Gleitkomma- und 8-Bit-Ganzzahloperationen mit halber Genauigkeit aufweisen. Bei mindestens einer Ausführungsform können die MPUs 2317-2317N eine Vielzahl von Matrixoperationen durchführen, um Anwendungsrahmen für maschinelles Lernen zu beschleunigen, einschließlich der Unterstützung für eine beschleunigte allgemeine Matrix-Matrix-Multiplikation (GEMM). Bei mindestens einer Ausführungsform können die AFUs 2312A-2312N zusätzliche logische Operationen durchführen, die von Gleitkomma- oder Ganzzahl-Einheiten nicht unterstützt werden, einschließlich trigonometrischer Operationen (z. B. Sinus, Cosinus usw.).
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem Grafikkern 2300 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
23B veranschaulicht eine Universalverarbeitungseinheit (GPGPU) 2330, die bei mindestens einer Ausführungsform so ausgestaltet sein kann, dass sie hochparallele Rechenoperationen durch ein Array von Grafikverarbeitungseinheiten ausführen kann. Bei mindestens einer Ausführungsform kann die GPGPU 2330 direkt mit anderen Instanzen der GPGPU 2330 verbunden sein, um einen Multi-GPU-Cluster zu bilden und die Trainingsgeschwindigkeit für tiefe neuronale Netze zu verbessern. Bei mindestens einer Ausführungsform weist die GPGPU 2330 eine Host-Schnittstelle 2332 auf, um eine Verbindung mit einem Host-Prozessor zu ermöglichen. Bei mindestens einer Ausführungsform handelt es sich bei der Host-Schnittstelle 2332 um eine PCI-Express-Schnittstelle. Bei mindestens einer Ausführungsform kann es sich bei der Host-Schnittstelle 2332 um eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur handeln. Bei mindestens einer Ausführungsform empfängt die GPGPU 2330 Befehle von einem Host-Prozessor und verwendet einen globalen Scheduler 2334, um die mit diesen Befehlen verbundenen Ausführungsthreads auf eine Reihe von Compute-Clustern 2336A-2336H zu verteilen. Bei mindestens einer Ausführungsform teilen sich die Compute-Cluster 2336A-2336H einen Cache-Speicher 2338. Bei mindestens einer Ausführungsform kann der Cache-Speicher 2338 als übergeordneter Cache für Cache-Speicher innerhalb von Compute-Clustern 2336A-2336H dienen.
Bei mindestens einer Ausführungsform weist die GPGPU 2330 einen Speicher 2344A-2344B auf, der über eine Reihe von Speichersteuerungen 2342A-2342B mit Compute-Clustern 2336A-2336H gekoppelt ist. Bei mindestens einer Ausführungsform kann der Speicher 2344A-2344B verschiedene Arten von Speichereinrichtungen aufweisen, einschließlich dynamischer Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchroner Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR).
Bei mindestens einer Ausführungsform weisen die Compute-Cluster 2336A-2336H jeweils einen Satz von Grafikkernen auf, wie z. B. den Grafikkern 2300 von 23A, der mehrere Arten von Ganzzahl- und Gleitkomma-Logikeinheiten aufweisen kann, die Rechenoperationen mit einer Reihe von Genauigkeiten durchführen können, die auch für Berechnungen zum maschinellen Lernen geeignet sind. Zum Beispiel kann bei mindestens einer Ausführungsform mindestens eine Teilmenge von Gleitkommaeinheiten in jedem der Compute-Cluster 2336A-2336H so ausgestaltet sein, dass sie 16-Bit- oder 32-Bit-Gleitkommaoperationen durchführen, während eine andere Teilmenge von Gleitkommaeinheiten so ausgestaltet sein kann, dass sie 64-Bit-Gleitkommaoperationen durchführen kann.
Bei mindestens einer Ausführungsform können mehrere Instanzen der GPGPU 2330 für den Betrieb als ein Compute-Cluster ausgestaltet sein. Bei mindestens einer Ausführungsform variiert die von den Compute-Clustern 2336A-2336H für die Synchronisation und den Datenaustausch verwendete Kommunikation zwischen den Ausführungsformen. Bei mindestens einer Ausführungsform kommunizieren mehrere Instanzen der GPGPU 2330 über die Host-Schnittstelle 2332. Bei mindestens einer Ausführungsform weist die GPGPU 2330 einen I/O-Hub 2339 auf, der die GPGPU 2330 mit einem GPU-Link 2340 koppelt, der eine direkte Verbindung zu anderen Instanzen der GPGPU 2330 ermöglicht. Bei mindestens einer Ausführungsform ist die GPU-Verbindung 2340 mit einer dedizierten GPU-zu-GPU-Brücke gekoppelt, die die Kommunikation und Synchronisation zwischen mehreren Instanzen der GPGPU 2330 ermöglicht. Bei mindestens einer Ausführungsform ist der GPU-Link 2340 mit einer Hochgeschwindigkeits-Verbindung gekoppelt, um Daten an andere GPGPUs oder Parallelprozessoren zu senden und zu empfangen. Bei mindestens einer Ausführungsform befinden sich mehrere Instanzen der GPGPU 2330 in getrennten Datenverarbeitungssystemen und kommunizieren über eine Netzwerkeinrichtung, die über die Host-Schnittstelle 2332 zugänglich ist. Bei mindestens einer Ausführungsform kann die GPU-Verbindung 2340 so ausgestaltet sein, dass sie zusätzlich oder alternativ zur Hostschnittstelle 2332 eine Verbindung zu einem Hostprozessor ermöglicht.
Bei mindestens einer Ausführungsform kann die GPGPU 2330 so ausgestaltet sein, dass sie neuronale Netze trainiert. Bei mindestens einer Ausführungsform kann die GPGPU 2330 innerhalb einer Inferencing-Plattform verwendet werden. Bei mindestens einer Ausführungsform, bei der die GPGPU 2330 für Inferencing verwendet wird, kann die GPGPU weniger Compute-Cluster 2336A-2336H aufweisen, als wenn die GPGPU zum Training eines neuronalen Netzes verwendet wird. Bei mindestens einer Ausführungsform kann sich die mit dem Speicher 2344A-2344B verbundene Speichertechnologie zwischen Inferencing- und Trainingskonfigurationen unterscheiden, wobei den Trainingskonfigurationen Speichertechnologien mit höherer Bandbreite zugewiesen werden. Bei mindestens einer Ausführungsform kann die Inferencing-Konfiguration der GPGPU 2330 Inferencing-spezifische Anweisungen unterstützen. Zum Beispiel kann bei mindestens einer Ausführungsform eine Inferencing-Konfiguration Unterstützung für eine oder mehrere 8-Bit-Ganzzahl-Punktprodukt-Anweisungen bieten, die während Inferencing-Operationen für eingesetzte neuronale Netze verwendet werden können.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in der GPGPU 2330 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 23A und 23B dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 23A und 23B dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 23A und 23B dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind
24 ist ein Blockdiagramm, das ein Rechensystem 2400 gemäß mindestens einer Ausführungsform zeigt. Bei mindestens einer Ausführungsform weist das Rechensystem 2400 ein Verarbeitungsteilsystem 2401 mit einem oder mehreren Prozessor(en) 2402 und einem Systemspeicher 2404 auf, die über einen Verbindungspfad kommunizieren, der einen Speicher-Hub 2405 aufweisen kann. Bei mindestens einer Ausführungsform kann der Speicher-Hub 2405 eine separate Komponente innerhalb einer Chipsatzkomponente sein oder in einen oder mehrere Prozessor(en) 2402 integriert sein. Bei mindestens einer Ausführungsform ist der Speicher-Hub 2405 über eine Kommunikationsverbindung 2406 mit einem I/O-Subsystem 2411 verbunden. Bei mindestens einer Ausführungsform weist das I/O-Subsystem 2411 einen I/O-Hub 2407 auf, der es dem Rechensystem 2400 ermöglicht, Eingaben von einer oder mehreren Eingabeeinrichtung(en) 2408 zu empfangen. Bei mindestens einer Ausführungsform kann der I/O-Hub 2407 eine Anzeigesteuerung, die in einem oder mehreren Prozessor(en) 2402 enthalten sein kann, in die Lage versetzen, Ausgaben an eine oder mehrere Anzeigeeinrichtung(en) 2410A zu liefern. Bei mindestens einer Ausführungsform kann eine oder mehrere mit dem I/O-Hub 2407 gekoppelte Anzeigevorrichtung(en) 2410A eine lokale, interne oder eingebettete Anzeigevorrichtung aufweisen.
Bei mindestens einer Ausführungsform weist das Verarbeitungssubsystem 2401 einen oder mehrere parallele(n) Prozessor(en) 2412 auf, die über einen Bus oder eine andere Kommunikationsverbindung 2413 mit dem Speicher-Hub 2405 verbunden sind. Bei mindestens einer Ausführungsform kann es sich bei der Kommunikationsverbindung 2413 um eine beliebige Anzahl von standardbasierten Kommunikationsverbindungstechnologien oder -protokollen handeln, wie z. B. PCI Express, ist aber nicht darauf beschränkt, oder um eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur. Bei mindestens einer Ausführungsform bilden einige oder alle der parallelen Prozessoren 2412 ein rechnerisch fokussiertes Parallel- oder Vektorverarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern aufweisen kann, wie z. B. einen MIC-Prozessor (Many Integrated Core). Bei mindestens einer Ausführungsform bilden ein oder mehrere parallele(r) Prozessor(en) 2412 ein Grafikverarbeitungs-Subsystem, das Pixel an eine oder mehrere über den I/O-Hub 2407 gekoppelte Anzeigeeinrichtung(en) 2410A ausgeben kann. Bei mindestens einer Ausführungsform kann ein oder können mehrere Parallelprozessor(en) 2412 auch eine Anzeigesteuerung und eine Anzeigeschnittstelle (nicht gezeigt) aufweisen, um eine direkte Verbindung mit einer oder mehreren Anzeigeeinrichtung(en) 2410B zu ermöglichen.
Bei mindestens einer Ausführungsform kann eine Systemspeichereinheit 2414 mit dem I/O-Hub 2407 verbunden sein, um einen Speichermechanismus für das Computersystem 2400 bereitzustellen. Bei mindestens einer Ausführungsform kann ein I/O-Switch 2416 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, um Verbindungen zwischen dem I/O-Hub 2407 und anderen Komponenten zu ermöglichen, wie z. B. einem Netzwerkadapter 2418 und/oder einem drahtlosen Netzwerkadapter 2419, der in die Plattform integriert sein kann, und verschiedenen anderen Einrichtungen, die über eine oder mehrere Add-in-Einrichtung(en) 2420 hinzugefügt werden können. Bei mindestens einer Ausführungsform kann der Netzwerkadapter 2418 ein Ethernet-Adapter oder ein anderer kabelgebundener Netzwerkadapter sein. Bei mindestens einer Ausführungsform kann der drahtlose Netzwerkadapter 2419 eine oder mehrere Wi-Fi-, Bluetooth-, Near Field Communication (NFC)- oder andere Netzwerkeinrichtungen aufweisen, die ein oder mehrere drahtlose Funkgeräte enthalten.
Bei mindestens einer Ausführungsform kann das Rechensystem 2400 andere, nicht explizit dargestellte Komponenten aufweisen, einschließlich USB- oder andere Anschlüsse, optische Speicherlaufwerke, Videoaufnahmegeräte und dergleichen, die ebenfalls mit dem I/O-Hub 2407 verbunden sein können. Bei mindestens einer Ausführungsform können Kommunikationspfade, die verschiedene Komponenten in 24 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle implementiert sein, wie z.B. PCI (Peripheral Component Interconnect)-basierte Protokolle (z.B. PCI-Express) oder andere Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder Protokolle, wie z.B. NV-Link High-Speed-Interconnect oder Interconnect-Protokolle.
Bei mindestens einer Ausführungsform weisen ein oder mehrere Parallelprozessor(en) 2412 eine für die Grafik- und Videoverarbeitung optimierte Schaltung auf, die beispielsweise eine Videoausgangsschaltung umfasst und eine Grafikverarbeitungseinheit (GPU) darstellt. Bei mindestens einer Ausführungsform enthalten ein oder mehrere Parallelprozessor(en) 2412 Schaltkreise, die für die allgemeine Verarbeitung optimiert sind. Bei mindestens einer Ausführungsform können Komponenten des Rechensystems 2400 mit einem oder mehreren anderen Systemelementen auf einem einzigen integrierten Schaltkreis integriert sein. Beispielsweise können bei mindestens einer Ausführungsform ein oder mehrere parallele(r) Prozessor(en) 2412, ein Speicher-Hub 2405, ein Prozessor(en) 2402 und ein I/O-Hub 2407 in einer integrierten Schaltung mit einem System mit einem System auf einem Chip (SoC) integriert sein. Bei mindestens einer Ausführungsform können die Komponenten des Rechnersystems 2400 in einem einzigen Gehäuse integriert sein, um eine System-in-Package-Konfiguration (SIP) auszugestalten. Bei mindestens einer Ausführungsform kann mindestens ein Abschnitt der Komponenten des Rechensystems 2400 in ein Multi-Chip-Modul (MCM) integriert sein, das mit anderen Multi-Chip-Modulen zu einem modularen Rechensystem zusammengeschaltet sein kann.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem System 2400 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 23 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 24 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 24 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
PROZESSOREN
25A veranschaulicht einen Parallelprozessor 2500 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform können verschiedene Komponenten des Parallelprozessors 2500 unter Verwendung einer oder mehrerer integrierter Schaltungseinrichtungen, wie z.B. programmierbare Prozessoren, anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), implementiert werden. Bei mindestens einer Ausführungsform ist der dargestellte Parallelprozessor 2500 eine Variante eines oder mehrerer Parallelprozessoren 2412, die in 24 gemäß einer beispielhaften Ausführungsform dargestellt sind.
Bei mindestens einer Ausführungsform weist der Parallelprozessor 2500 eine Parallelverarbeitungseinheit 2502 auf. Bei mindestens einer Ausführungsform weist die Parallelverarbeitungseinheit 2502 eine I/O-Einheit 2504 auf, die die Kommunikation mit anderen Einrichtungen, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 2502, ermöglicht. Bei mindestens einer Ausführungsform kann die I/O-Einheit 2504 direkt mit anderen Einrichtungen verbunden sein. Bei mindestens einer Ausführungsform ist die I/O-Einheit 2504 über eine Hub- oder Switch-Schnittstelle, wie z. B. den Speicher-Hub 2405, mit anderen Einrichtungen verbunden. Bei mindestens einer Ausführungsform bilden die Verbindungen zwischen Speicher-Hub 2405 und I/O-Einheit 2504 eine Kommunikationsverbindung 2413. Bei mindestens einer Ausführungsform ist die I/O-Einheit 2504 mit einer Host-Schnittstelle 2506 und einem Speicher-Koppelfeld 2516 verbunden, wobei die Host-Schnittstelle 2506 Befehle zur Durchführung von Verarbeitungsvorgängen und das Speicher-Koppelfeld 2516 Befehle zur Durchführung von Speicheroperationen empfängt.
Bei mindestens einer Ausführungsform, wenn die Host-Schnittstelle 2506 einen Befehlspuffer über die I/O-Einheit 2504 empfängt, kann die Host-Schnittstelle 2506 Arbeitsoperationen zur Ausführung dieser Befehle an ein Frontend 2508 leiten. Bei mindestens einer Ausführungsform ist das vordere Ende 2508 mit einem Scheduler 2510 gekoppelt, der so ausgestaltet ist, dass er Befehle oder andere Arbeitselemente an eine Verarbeitungsclusteranordnung 2512 verteilt. Bei mindestens einer Ausführungsform stellt der Scheduler 2510 sicher, dass die Verarbeitungsclusteranordnung 2512 ordnungsgemäß ausgestaltet ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an den Cluster der Verarbeitungsclusteranordnung 2512 verteilt werden. Bei mindestens einer Ausführungsform ist der Scheduler 2510 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. Bei mindestens einer Ausführungsform ist der Mikrocontroller-implementierte Scheduler 2510 so ausgestaltet, dass er komplexe Ablaufsteuerungs- und Arbeitsverteilungsoperationen mit grober und feiner Granularität durchführen kann, was eine schnelle Unterbrechung und Kontextumschaltung von Threads ermöglicht, die auf der Verarbeitungsanordnung 2512 ausgeführt werden. Bei mindestens einer Ausführungsform kann die Host-Software Arbeitslasten für die Planung auf der Verarbeitungsclusteranordnung 2512 über eine von mehreren Grafikverarbeitungspfaden nachweisen. Bei mindestens einer Ausführungsform können die Arbeitslasten dann automatisch durch die Logik des Schedulers 2510 innerhalb eines Mikrocontrollers, der den Scheduler 2510 aufweist, auf der Verarbeitungsclusteranordnung 2512 verteilt werden.
Bei mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2512 bis zu „N“ Verarbeitungscluster aufweisen (z.B. Cluster 2514A, Cluster 2514B, bis Cluster 2514N), wobei „N“ eine positive ganze Zahl darstellt (welche eine andere positive ganze Zahl „N“ sein kann als die, die in den anderen Figuren eingesetzt wird). Bei mindestens einer Ausführungsform kann jeder Cluster 2514A-2514N der Verarbeitungsclusteranordnung 2512 eine große Anzahl von gleichzeitigen Threads ausführen. Bei mindestens einer Ausführungsform kann der Scheduler 2510 den Clustern 2514A-2514N der Verarbeitungsclusteranordnung 2512 Arbeit zuweisen, indem er verschiedene Ablaufsteuerungs- und/oder Arbeitsverteilungsalgorithmen verwendet, die je nach der Arbeitslast variieren können, die für jede Art von Programm oder Berechnung entsteht. Bei mindestens einer Ausführungsform kann die Planung dynamisch durch den Scheduler 2510 erfolgen oder teilweise durch eine Compilerlogik während der Kompilierung der Programmlogik unterstützt werden, die für die Ausführung durch die Verarbeitungsclusteranordnung 2512 ausgestaltet ist. Bei mindestens einer Ausführungsform können verschiedene Cluster 2514A-2514N der Verarbeitungscusteranordnung 2512 für die Verarbeitung verschiedener Arten von Programmen oder für die Durchführung verschiedener Arten von Berechnungen zugewiesen werden.
Bei mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2512 so ausgestaltet sein, dass sie verschiedene Arten von Parallelverarbeitungsoperationen durchführt. Bei mindestens einer Ausführungsform ist die Verarbeitungsclusteranordnung 2512 so ausgestaltet, dass sie parallele Allzweck-Rechenoperationen durchführt. Zum Beispiel kann bei mindestens einer Ausführungsform die Verarbeitungsclusteranordnung 2512 eine Logik aufweisen, um Verarbeitungsaufgaben auszuführen, einschließlich der Filterung von Video- und/oder Audiodaten, der Durchführung von Modellierungsoperationen, einschließlich physikalischer Operationen, und der Durchführung von Datentransformationen.
Bei mindestens einer Ausführungsform ist die Verarbeitungsclusteranordnung 2512 so ausgestaltet, dass sie parallele Grafikverarbeitungsoperationen durchführt. Bei mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2512 eine zusätzliche Logik aufweisen, um die Ausführung solcher Grafikverarbeitungsoperationen zu unterstützen, einschließlich, aber nicht beschränkt auf Texturabtastlogik, um Texturoperationen durchzuführen, sowie Tesselationslogik und andere Vertexverarbeitungslogik. Bei mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2512 so ausgestaltet sein, dass sie grafikverarbeitungsbezogene Shader-Programme ausführt, wie z. B. Vertex-Shader, Tesselation-Shader, Geometrie-Shader und Pixel-Shader. Bei mindestens einer Ausführungsform kann die Parallelverarbeitungseinheit 2502 Daten aus dem Systemspeicher über die I/O-Einheit 2504 zur Verarbeitung übertragen. Bei mindestens einer Ausführungsform können die übertragenen Daten während der Verarbeitung im On-Chip-Speicher (z. B. im Parallelprozessorspeicher 2522) gespeichert und dann in den Systemspeicher zurückgeschrieben werden.
Bei mindestens einer Ausführungsform, wenn die Parallelverarbeitungseinheit 2502 zur Durchführung der Grafikverarbeitung verwendet wird, kann der Scheduler 2510 so ausgestaltet sein, dass er eine Verarbeitungslast in ungefähr gleich große Tasks aufteilt, um eine bessere Verteilung der Grafikverarbeitungsoperationen auf mehrere Cluster 2514A-2514N der Verarbeitungsclusteranordnung 2512 zu ermöglichen. Bei mindestens einer Ausführungsform können Abschnitte der Verarbeitungsclusteranordnung 2512 so ausgestaltet sein, dass sie verschiedene Arten der Verarbeitung durchführen. Zum Beispiel kann bei mindestens einer Ausführungsform ein erster Abschnitt so ausgestaltet sein, dass er Vertex-Shading und Topologieerzeugung durchführt, ein zweiter Abschnitt kann so ausgestaltet sein, dass er Tesselations- und Geometrie-Shading durchführt, und ein dritter Abschnitt kann so ausgestaltet sein, dass er Pixel-Shading oder andere Screenspace-Operationen durchführt, um ein gerendertes Bild für die Anzeige zu erzeugen. Bei mindestens einer Ausführungsform können Zwischendaten, die von einem oder mehreren Clustern 2514A-2514N erzeugt werden, in Puffern gespeichert werden, damit Zwischendaten zwischen den Clustern 2514A-2514N zur weiteren Verarbeitung übertragen werden können.
Bei mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2512 über den Scheduler 2510, der Befehle zur Definition von Verarbeitungstasks vom Frontend 2508 erhält, auszuführende Verarbeitungs-Tasks empfangen. Bei mindestens einer Ausführungsform können die Verarbeitungs-Tasks Indizes der zu verarbeitenden Daten aufweisen, z. B. Oberflächen- (Patch-) Daten, Primitivdaten, Vertexdaten und/oder Pixeldaten, sowie Zustandsparameter und Befehle, die definieren, wie die Daten zu verarbeiten sind (z. B. welches Programm ausgeführt werden soll). Bei mindestens einer Ausführungsform kann der Scheduler 2510 so ausgestaltet sein, dass er den Tasks entsprechende Indizes abruft oder Indizes vom Frontend 2508 empfängt. Bei mindestens einer Ausführungsform kann das Frontend 2508 so ausgestaltet sein, dass es sicherstellt, dass die Verarbeitungsclusteranordnung 2512 in einem gültigen Zustand konfiguriert ist, bevor eine durch eingehende Befehlspuffer (z. B. Batch-Puffer, Push-Puffer usw.) spezifizierte Arbeitslast eingeleitet wird.
Bei mindestens einer Ausführungsform kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 2502 mit dem Parallelprozessorspeicher 2522 gekoppelt sein. Bei mindestens einer Ausführungsform kann auf den Parallelprozessorspeicher 2522 über das Speicherkoppelfeld 2516 zugegriffen werden, die Speicheranforderungen von der Verarbeitungsclusteranordnung 2512 sowie der I/O-Einheit 2504 empfangen kann. Bei mindestens einer Ausführungsform kann das Speicherkoppelfeld 2516 über eine Speicherschnittstelle 2518 auf den Parallelprozessorspeicher 2522 zugreifen. Bei mindestens einer Ausführungsform kann die Speicherschnittstelle 2518 mehrere Partitionseinheiten aufweisen (z.B. Partitionseinheit 2520A, Partitionseinheit 2520B bis Partitionseinheit 2520N), die jeweils mit einem Abschnitt (z.B. einer Speichereinheit) des Parallelprozessorspeichers 2522 gekoppelt sein können. Bei mindestens einer Ausführungsform ist eine Anzahl von Partitionseinheiten 2520A-2520N so ausgestaltet, dass sie gleich einer Anzahl von Speichereinheiten ist, so dass eine erste Partitionseinheit 2520A eine entsprechende erste Speichereinheit 2524A hat, eine zweite Partitionseinheit 2520B eine entsprechende Speichereinheit 2524B hat und eine N-te Partitionseinheit 2520N eine entsprechende N-te Speichereinheit 2524N hat. Bei mindestens einer Ausführungsform kann eine Anzahl von Partitionseinheiten 2520A-2520N nicht gleich einer Anzahl von Speichereinheiten sein.
Bei mindestens einer Ausführungsform können die Speichereinheiten 2524A-2524N verschiedene Arten von Speichereinrichtungen aufweisen, einschließlich dynamischer Direktzugriffsspeicher (DRAM) oder Grafik-Direktzugriffsspeicher, wie synchroner Grafik-Direktzugriffsspeicher (SGRAM), einschließlich Grafik-Doppeldatenraten-Speicher (GDDR). Bei mindestens einer Ausführungsform können die Speichereinheiten 2524A-2524N auch 3D-Stapelspeicher aufweisen, einschließlich, aber nicht beschränkt auf Speicher mit hoher Bandbreite (High Bandwidth Memory (HBM)). Bei mindestens einer Ausführungsform können Rendering-Ziele, wie z. B. Frame-Puffer oder Textur-Maps, über die Speichereinheiten 2524A-2524N hinweg gespeichert werden, so dass die Partitionseinheiten 2520A-2520N Abschnitte jedes Rendering-Ziels parallel schreiben können, um die verfügbare Bandbreite des Parallelprozessorspeichers 2522 effizient zu nutzen. Bei mindestens einer Ausführungsform kann eine lokale Instanz des Parallelprozessorspeichers 2522 zugunsten eines vereinheitlichten Speicherentwurfs ausgeschlossen werden, der den Systemspeicher in Verbindung mit dem lokalen Cache-Speicher nutzt.
Bei mindestens einer Ausführungsform kann jeder der Cluster 2514A-2514N der Verarbeitungsclusteranordnung 2512 Daten verarbeiten, die in jede der Speichereinheiten 2524A-2524N im Parallelprozessorspeicher 2522 geschrieben werden. Bei mindestens einer Ausführungsform kann das Speicherkoppelfeld 2516 so ausgestaltet sein, dass es eine Ausgabe jedes Clusters 2514A-2514N an eine beliebige Partitionseinheit 2520A-2520N oder an einen anderen Cluster 2514A-2514N überträgt, der zusätzliche Verarbeitungsoperationen an einer Ausgabe durchführen kann. Bei mindestens einer Ausführungsform kann jeder Cluster 2514A-2514N mit der Speicherschnittstelle 2518 über das Speicherkoppelfeld 2516 kommunizieren, um von verschiedenen externen Einrichtungen zu lesen oder in diese zu schreiben. Bei mindestens einer Ausführungsform hat das Speicherkoppelfeld 2516 eine Verbindung zur Speicherschnittstelle 2518, um mit der I/O-Einheit 2504 zu kommunizieren, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 2522, so dass die Verarbeitungseinheiten in den verschiedenen Verarbeitungsclustern 2514A-2514N mit dem Systemspeicher oder einem anderen Speicher kommunizieren können, der nicht lokal zur Parallelverarbeitungseinheit 2502 gehört. Bei mindestens einer Ausführungsform kann das Speicherkoppelfeld 2516 virtuelle Kanäle verwenden, um Verkehrsströme zwischen Clustern 2514A-2514N und Partitionseinheiten 2520A-2520N zu trennen.
Bei mindestens einer Ausführungsform können mehrere Instanzen der Parallelverarbeitungseinheit 2502 auf einer einzigen Add-in-Karte bereitgestellt sein, oder mehrere Add-in-Karten können miteinander verbunden sein. Bei mindestens einer Ausführungsform können verschiedene Instanzen der Parallelverarbeitungseinheit 2502 so ausgestaltet sein, dass sie auch dann zusammenarbeiten, wenn die verschiedenen Instanzen eine unterschiedliche Anzahl von Verarbeitungskernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Zum Beispiel können bei mindestens einer Ausführungsform einige Instanzen der Parallelverarbeitungseinheit 2502 im Vergleich zu anderen Ausführungen Gleitkommaeinheiten mit höherer Präzision aufweisen. Bei mindestens einer Ausführungsform können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 2502 oder des Parallelprozessors 2500 enthalten, in einer Vielzahl von Ausführungsformen und Formfaktoren implementiert sein, einschließlich, aber nicht beschränkt auf Desktop-, Laptop- oder Handheld-Personalcomputer, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme.
25B ist ein Blockdiagramm einer Partitionseinheit 2520 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform ist die Partitionseinheit 2520 eine Instanz einer der Partitionseinheiten 2520A-2520N aus 25A. Bei mindestens einer Ausführungsform weist die Partitionseinheit 2520 einen L2-Cache 2521, eine Einzelbildpuffer-Schnittstelle 2525 und eine ROP 2526 (Rasteroperationseinheit) auf. Der L2-Cache 2521 ist bei mindestens einer Ausführungsform ein Lese-/Schreib-Cache, der so ausgestaltet ist, dass er von dem Speicherkoppelfeld 2516 und der ROP 2526 empfangene Lade- und Speicheroperationen durchführt. Bei mindestens einer Ausführungsform werden Lesefehler und dringende Rückschreibanforderungen vom L2-Cache 2521 an die Einzelbildpuffer-Schnittstelle 2525 zur Verarbeitung ausgegeben. Bei mindestens einer Ausführungsform können Aktualisierungen auch über die Einzelbildpuffer-Schnittstelle 2525 zur Verarbeitung an einen Einzelbildpuffer gesendet werden. Bei mindestens einer Ausführungsform ist die Einzelbildpuffer-Schnittstelle 2525 mit einer der Speichereinheiten im Parallelprozessorspeicher verbunden, wie den Speichereinheiten 2524A-2524N von 25 (z. B. innerhalb des Parallelprozessorspeichers 2522).
Bei mindestens einer Ausführungsform ist die ROP 2526 eine Verarbeitungseinheit, die Rasteroperationen wie Schablonieren, Z-Test, Überblendung usw. durchführt. Bei mindestens einer Ausführungsform gibt die ROP 2526 dann verarbeitete Grafikdaten aus, die im Grafikspeicher abgelegt werden. Bei mindestens einer Ausführungsform weist die ROP 2526 eine Komprimierungslogik auf, um Tiefen- oder Farbdaten zu komprimieren, die in den Speicher geschrieben werden, und Tiefen- oder Farbdaten zu dekomprimieren, die aus dem Speicher gelesen werden. Bei mindestens einer Ausführungsform kann die Komprimierungslogik eine verlustfreie Komprimierungslogik sein, die einen oder mehrere von mehreren Komprimierungsalgorithmen verwendet. Bei mindestens einer Ausführungsform kann die Art der von der ROP 2526 durchgeführten Komprimierung auf der Grundlage statistischer Merkmale der zu komprimierenden Daten variieren. Zum Beispiel wird bei mindestens einer Ausführungsform eine Delta-Farbkompression auf Tiefen- und Farbdaten auf einer Pro-Kachel-Basis durchgeführt.
Bei mindestens einer Ausführungsform ist die ROP 2526 in jedem Verarbeitungscluster (z. B. Cluster 2514A-2514N von 25) und nicht in der Partitionseinheit 2520 vorhanden. Bei mindestens einer Ausführungsform werden Lese- und Schreibanforderungen für Pixeldaten über das Speicherkoppelfeld 2516 anstelle von Pixelfragmentdaten übertragen. Bei mindestens einer Ausführungsform können verarbeitete Grafikdaten auf einer Anzeigeeinrichtung, wie einer von einer oder mehreren Anzeigeeinrichtung(en) 2410 von 24, zur weiteren Verarbeitung durch Prozessor(en) 2402 oder zur weiteren Verarbeitung durch eine der Verarbeitungseinheiten innerhalb des Parallelprozessors 2500 von 25A weitergeleitet werden.
25C ist ein Blockdiagramm eines Verarbeitungsclusters 2514 innerhalb einer Parallelverarbeitungseinheit gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform ist ein Verarbeitungscluster eine Instanz von einem der Verarbeitungscluster 2514A-2514N von 25. Bei mindestens einer Ausführungsform kann der Verarbeitungscluster 2514 so ausgestaltet sein, dass er viele Threads parallel ausführt, wobei sich der Begriff „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingabedaten ausgeführt wird. Bei mindestens einer Ausführungsform werden SIMD-Befehlsausgabetechniken (Single-Instruction, Multiple-Data) verwendet, um die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Befehlseinheiten bereitzustellen. Bei mindestens einer Ausführungsform werden Single-Instruction-Multiple-Thread (SIMT)-Techniken verwendet, um die parallele Ausführung einer großen Anzahl von im Allgemeinen synchronisierten Threads zu unterstützen, wobei eine gemeinsame Befehlseinheit ausgestaltet ist, um Befehle an einen Satz von Verarbeitungsmaschinen innerhalb jedes der Verarbeitungscluster auszugeben.
Bei mindestens einer Ausführungsform kann der Betrieb des Verarbeitungsclusters 2514 über einen Pipeline-Manager 2532 gesteuert werden, der die Verarbeitungs-Tasks an parallele SIMT-Prozessoren verteilt. Bei mindestens einer Ausführungsform empfängt der Pipeline-Manager 2532 Anweisungen vom Scheduler 2510 der 25 und verwaltet die Ausführung dieser Anweisungen über einen Grafik-Multiprozessor 2534 und/oder eine Textureinheit 2536. Bei mindestens einer Ausführungsform ist der Grafikmultiprozessor 2534 eine beispielhafte Instanz eines SIMT-Parallelprozessors. Bei mindestens einer Ausführungsform können jedoch verschiedene Typen von SIMT-Parallelprozessoren mit unterschiedlichen Architekturen im Verarbeitungscluster 2514 vorhanden sein. Bei mindestens einer Ausführungsform können ein oder mehrere Instanzen des Grafik-Multiprozessors 2534 in einem Verarbeitungscluster 2514 vorhanden sein. Bei mindestens einer Ausführungsform kann der Grafikmultiprozessor 2534 Daten verarbeiten, und ein Datenkoppelfeld 2540 kann verwendet werden, um die verarbeiteten Daten an eines von mehreren möglichen Zielen zu verteilen, einschließlich anderer Shader-Einheiten. Bei mindestens einer Ausführungsform kann der Pipeline-Manager 2532 die Verteilung der verarbeiteten Daten erleichtern, indem er Ziele für die verarbeiteten Daten angibt, die über das Datenkoppelfeld 2540 verteilt werden sollen.
Bei mindestens einer Ausführungsform kann jeder Grafik-Multiprozessor 2534 innerhalb des Verarbeitungsclusters 2514 einen identischen Satz funktionaler Ausführungslogik aufweisen (z. B. arithmetische Logikeinheiten, Lastspeichereinheiten usw.). Bei mindestens einer Ausführungsform kann die funktionale Ausführungslogik in einer Pipeline ausgestaltet sein, so dass neue Befehle ausgegeben werden können, bevor vorherige Befehle abgeschlossen sind. Bei mindestens einer Ausführungsform unterstützt die funktionale Ausführungslogik eine Vielzahl von Operationen, darunter Ganzzahl- und Gleitkommaarithmetik, Vergleichsoperationen, boolesche Operationen, Bitverschiebung und die Berechnung verschiedener algebraischer Funktionen. Bei mindestens einer Ausführungsform kann dieselbe Hardware mit Funktionseinheiten genutzt werden, um verschiedene Operationen auszuführen, und es kann eine beliebige Kombination von Funktionseinheiten vorhanden sein.
Bei mindestens einer Ausführungsform bilden die an den Verarbeitungscluster 2514 übertragenen Anweisungen einen Thread. Bei mindestens einer Ausführungsform ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungsmaschinen ausgeführt werden, eine Thread-Gruppe. Bei mindestens einer Ausführungsform führt die Thread-Gruppe ein gemeinsames Programm mit unterschiedlichen Eingabedaten aus. Bei mindestens einer Ausführungsform kann jeder Thread innerhalb einer Thread-Gruppe einer anderen Verarbeitungsmaschine innerhalb eines Grafik-Multiprozessors 2534 zugewiesen sein. Bei mindestens einer Ausführungsform kann eine Thread-Gruppe weniger Threads aufweisen als die Anzahl der Verarbeitungseinheiten im Grafik-Multiprozessor 2534. Bei mindestens einer Ausführungsform kann, wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungsmaschinen aufweist, eine oder mehrere der Verarbeitungsmaschinen während der Zyklen, in denen diese Thread-Gruppe verarbeitet wird, im Leerlauf sein. Bei mindestens einer Ausführungsform kann eine Thread-Gruppe auch mehr Threads aufweisen als eine Anzahl von Verarbeitungsmaschinen im Grafik-Multiprozessor 2534. Bei mindestens einer Ausführungsform kann, wenn eine Thread-Gruppe mehr Threads aufweist als die Anzahl der Verarbeitungsmaschinen im Grafik-Multiprozessor 2534, die Verarbeitung über aufeinander folgende Taktzyklen erfolgen. Bei mindestens einer Ausführungsform können mehrere Thread-Gruppen gleichzeitig auf einem Grafik-Multiprozessor 2534 ausgeführt werden.
Bei mindestens einer Ausführungsform weist der Grafik-Multiprozessor 2534 einen internen Cache-Speicher auf, um Lade- und Speicheroperationen durchzuführen. Bei mindestens einer Ausführungsform kann der Grafik-Multiprozessor 2534 auf einen internen Cache verzichten und einen Cache-Speicher (z.B. L1-Cache 2548) innerhalb des Verarbeitungsclusters 2514 verwenden. Bei mindestens einer Ausführungsform hat jeder Grafik-Multiprozessor 2534 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten (z. B. die Partitionseinheiten 2520A-2520N von 25), die von allen Verarbeitungsclustern 2514 gemeinsam genutzt werden und zur Datenübertragung zwischen Threads verwendet werden können. Bei mindestens einer Ausführungsform kann der Grafik-Multiprozessor 2534 auch auf den globalen Speicher außerhalb des Chips zugreifen, der einen oder mehrere lokale Parallelprozessorspeicher und/oder Systemspeicher aufweisen kann. Bei mindestens einer Ausführungsform kann jeder Speicher außerhalb der Parallelverarbeitungseinheit 2502 als globaler Speicher verwendet werden. Bei mindestens einer Ausführungsform weist der Verarbeitungscluster 2514 mehrere Instanzen des Grafik-Multiprozessors 2534 auf, die sich gemeinsame Anweisungen und Daten teilen können, die im L1-Cache 2548 gespeichert sein können.
Bei mindestens einer Ausführungsform kann jeder Verarbeitungscluster 2514 eine MMU 2545 (Memory Management Unit) aufweisen, die so ausgestaltet ist, dass sie virtuelle Adressen in physische Adressen umsetzt. Bei mindestens einer Ausführungsform können sich eine oder mehrere Instanzen der MMU 2545 innerhalb der Speicherschnittstelle 2518 von 25 befinden. Bei mindestens einer Ausführungsform weist die MMU 2545 einen Satz von Seitentabelleneinträgen (PTEs) auf, die dazu dienen, eine virtuelle Adresse auf eine physische Adresse einer Kachel abzubilden (weitere Informationen über Kacheln), sowie optional einen Cache-Zeilenindex. Bei mindestens einer Ausführungsform kann die MMU 2545 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches aufweisen, die sich im Grafik-Multiprozessor 2534 oder im L1-Cache oder im Verarbeitungscluster 2514 befinden können. Bei mindestens einer Ausführungsform wird eine physikalische Adresse verarbeitet, um den Zugriff auf die Oberflächendaten lokal zu verteilen, um eine effiziente Anforderungsverschachtelung zwischen den Partitionseinheiten zu ermöglichen. Bei mindestens einer Ausführungsform kann ein Cache-Zeilen-Index verwendet werden, um zu bestimmen, ob eine Anforderung für eine Cache-Zeile ein Treffer (Hit) oder Fehlzugriff (Miss) ist.
Bei mindestens einer Ausführungsform kann ein Verarbeitungscluster 2514 so ausgestaltet sein, dass jeder Grafik-Multiprozessor 2534 mit einer Textureinheit 2536 gekoppelt ist, um Texturabbildungsoperationen durchzuführen, z.B. Bestimmen von Texturabtastpositionen, Lesen von Texturdaten und Filtern von Texturdaten. Bei mindestens einer Ausführungsform werden die Texturdaten aus einem internen Textur-L1-Cache (nicht gezeigt) oder aus einem L1-Cache innerhalb des Grafik-Multiprozessors 2534 gelesen und je nach Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder dem Systemspeicher abgerufen. Bei mindestens einer Ausführungsform gibt jeder Grafikmultiprozessor 2534 verarbeitete Tasks an das Datenkoppelfeld 2540 aus, um die verarbeitete Task einem anderen Verarbeitungscluster 2514 zur weiteren Verarbeitung zur Verfügung zu stellen oder um die verarbeitete Task über das Speicherkoppelfeld 2516 in einem L2-Cache, im lokalen Parallelprozessorspeicher oder im Systemspeicher zu speichern. Bei mindestens einer Ausführungsform ist eine preROP 2542 (Pre-Raster Operations Unit) so ausgestaltet, dass sie Daten vom Grafik-Multiprozessor 2534 empfängt und Daten an ROP-Einheiten weiterleitet, die sich in den hier beschriebenen Partitionseinheiten befinden können (z. B. die Partitionseinheiten 2520A-2520N von 25). Bei mindestens einer Ausführungsform kann die preROP-Einheit 2542 Optimierungen für die Farbmischung durchführen, Pixelfarbdaten organisieren und Adressübersetzungen vornehmen.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem Grafikverarbeitungscluster 2514 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
25D zeigt einen Grafik-Multiprozessor 2534 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform ist der Grafik-Multiprozessor 2534 mit dem Pipeline-Manager 2532 des Verarbeitungsclusters 2514 gekoppelt. Bei mindestens einer Ausführungsform weist der Grafikmultiprozessor 2534 eine Ausführungspipeline auf, die unter anderem einen Befehlscache 2552, eine Befehlseinheit 2554, eine Adresszuordnungseinheit 2556, eine Registerdatei 2558, einen oder mehrere GPGPU-Kerne 2562 und eine oder mehrere Lade-/Speichereinheiten 2566 aufweist. Die GPGPU-Kerne 2562 und die Lade-/Speichereinheiten 2566 sind bei mindestens einer Ausführungsform über eine Speicher- und Cache-Verbindung 2568 mit dem Cache-Speicher 2572 und dem gemeinsamen Speicher 2570 verbunden.
Bei mindestens einer Ausführungsform empfängt der Befehlscache 2552 einen Strom von auszuführenden Befehlen vom Pipeline-Manager 2532. Bei mindestens einer Ausführungsform werden die Befehle im Befehlscache 2552 zwischengespeichert und von der Befehlseinheit 2554 zur Ausführung weitergeleitet. Bei mindestens einer Ausführungsform kann die Befehlseinheit 2554 die Befehle als Thread-Gruppen (z. B. Warps) versenden, wobei jeder Thread der Thread-Gruppe einer anderen Ausführungseinheit innerhalb der GPGPU-Kerne 2562 zugewiesen ist. Bei mindestens einer Ausführungsform kann ein Befehl auf einen lokalen, gemeinsam genutzten oder globalen Adressraum zugreifen, indem er eine Adresse innerhalb eines einheitlichen Adressraums angibt. Bei mindestens einer Ausführungsform kann die Adressabbildungseinheit 2556 verwendet werden, um Adressen in einem vereinheitlichten Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf die die Lade-/Speichereinheiten 2566 zugreifen können.
Bei mindestens einer Ausführungsform stellt die Registerdatei 2558 einen Satz von Registern für Funktionseinheiten des Grafik-Multiprozessors 2534 bereit. Bei mindestens einer Ausführungsform stellt die Registerdatei 2558 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten (z.B. GPGPU-Kerne 2562, Lade-/Speichereinheiten 2566) des Grafik-Multiprozessors 2534 verbunden sind. Bei mindestens einer Ausführungsform ist die Registerdatei 2558 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein eigener Abschnitt der Registerdatei 2558 zugewiesen ist. Bei mindestens einer Ausführungsform ist die Registerdatei 2558 auf verschiedene Warps aufgeteilt, die vom Grafikmultiprozessor 2534 ausgeführt werden.
Bei mindestens einer Ausführungsform können die GPGPU-Kerne 2562 jeweils Gleitkommaeinheiten (FPUs) und/oder ganzzahlige arithmetische Logikeinheiten (ALUs) aufweisen, die zur Ausführung von Anweisungen des Grafikmultiprozessors 2534 verwendet werden. Die GPGPU-Kerne 2562 können sich bei mindestens einer Ausführungsform in ihrer Architektur ähneln oder unterscheiden. Bei mindestens einer Ausführungsform weist ein erster Abschnitt der GPGPU-Kerne 2562 eine FPU mit einfacher Genauigkeit und eine Ganzzahl-ALU auf, während ein zweiter Abschnitt der GPGPU-Kerne eine FPU mit doppelter Genauigkeit aufweist. Bei mindestens einer Ausführungsform können die FPUs den IEEE 754-2008-Standard für Gleitkommaarithmetik implementieren oder Gleitkommaarithmetik mit variabler Genauigkeit ermöglichen. Bei mindestens einer Ausführungsform kann der Grafikmultiprozessor 2534 zusätzlich eine oder mehrere Festfunktions- oder Sonderfunktionseinheiten aufweisen, um spezifische Funktionen wie das Kopieren von Rechtecken oder Pixel-Blending-Operationen durchzuführen. Bei mindestens einer Ausführungsform kann einer oder können mehrere der GPGPU-Kerne auch eine feste oder spezielle Funktionslogik aufweisen.
Bei mindestens einer Ausführungsform weisen die GPGPU-Kerne 2562 eine SIMD-Logik auf, die in der Lage ist, einen einzigen Befehl für mehrere Datensätze auszuführen. Bei mindestens einer Ausführungsform können GPGPU-Kerne 2562 physikalisch SIMD4-, SIMD8- und SIMD16-Befehle und logisch SIMD1-, SIMD2- und SIMD32-Befehle ausführen. Bei mindestens einer Ausführungsform können SIMD-Befehle für GPGPU-Kerne zur Kompilierzeit von einem Shader-Compiler oder automatisch bei der Ausführung von Programmen erzeugt werden, die für SPMD- oder SIMT-Architekturen (Single Program Multiple Data) geschrieben und kompiliert wurden. Bei mindestens einer Ausführungsform können mehrere Threads eines Programms, das für ein SIMT-Ausführungsmodell ausgestaltet ist, über einen einzigen SIMD-Befehl ausgeführt werden. Beispielsweise können bei mindestens einer Ausführungsform acht SIMT-Threads, die gleiche oder ähnliche Operationen durchführen, über eine einzige SIMD8-Logikeinheit parallel ausgeführt werden.
Bei mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 2568 ein Verbindungsnetzwerk, das jede Funktionseinheit des Grafik-Multiprozessors 2534 mit der Registerdatei 2558 und dem gemeinsamen Speicher 2570 verbindet. Bei mindestens einer Ausführungsform ist die Speicher- und Cache-Verbindung 2568 eine Koppelfeldverbindung, die es der Lade-/Speichereinheit 2566 ermöglicht, Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher 2570 und der Registerdatei 2558 durchzuführen. Bei mindestens einer Ausführungsform kann die Registerdatei 2558 mit derselben Frequenz wie die GPGPU-Kerne 2562 arbeiten, so dass die Datenübertragung zwischen den GPGPU-Kernen 2562 und der Registerdatei 2558 eine sehr geringe Latenzzeit aufweist. Bei mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher 2570 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Grafik-Multiprozessors 2534 ausgeführt werden. Bei mindestens einer Ausführungsform kann der Cache-Speicher 2572 beispielsweise als Daten-Cache verwendet werden, um Texturdaten, die zwischen Funktionseinheiten und der Textureinheit 2536 übertragen werden, zwischenzuspeichern. Bei mindestens einer Ausführungsform kann der gemeinsame Speicher 2570 auch als programmgesteuerter Cache verwendet werden. Bei mindestens einer Ausführungsform können Threads, die auf GPGPU-Kernen 2562 ausgeführt werden, zusätzlich zu den automatisch zwischengespeicherten Daten, die im Cache-Speicher 2572 gespeichert sind, programmatisch Daten im gemeinsamen Speicher speichern.
Bei mindestens einer Ausführungsform ist ein Parallelprozessor oder eine GPGPU, wie es hier beschrieben ist, kommunikativ mit Host-/Prozessorkernen gekoppelt, um Grafikoperationen, Operationen des maschinellen Lernens, Musteranalyseoperationen und verschiedene allgemeine GPU (GPGPU)-Funktionen zu beschleunigen. Bei mindestens einer Ausführungsform kann die GPU über einen Bus oder eine andere Verbindung (z. B. eine Hochgeschwindigkeitsverbindung wie PCIe oder NVLink) mit dem Host-Prozessor (den Prozessorkernen) kommunikativ verbunden sein. Bei mindestens einer Ausführungsform kann die GPU in demselben Gehäuse oder Chip wie die Kerne integriert sein und über einen internen Prozessorbus bzw. eine interne Verbindung (d. h. innerhalb des Gehäuses oder Chips) mit den Kernen kommunizieren. Bei mindestens einer Ausführungsform können die Prozessorkerne unabhängig von der Art des Anschlusses der GPU der GPU Arbeit in Form von Befehlsfolgen/Befehlen zuweisen, die in einem Arbeitsdeskriptor enthalten sind. Bei mindestens einer Ausführungsform verwendet die GPU dann dedizierte Schaltkreise/Logiken zur effizienten Verarbeitung dieser Befehle/Anweisungen.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem Grafik-Multiprozessor 2534 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 25A - 25D dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 25A - 25D dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 25A - 25D dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
26 zeigt ein Multi-GPU-Rechnersystem 2600 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform kann das Multi-GPU-Rechnersystem 2600 einen Prozessor 2602 aufweisen, der über einen Host-Schnittstellen-Switch 2604 mit mehreren Universal-Grafikverarbeitungseinheiten (GPGPUs) 2606A-D verbunden ist. Bei mindestens einer Ausführungsform ist der Host-Schnittstellen-Switch 2604 eine PCI-Express-Switch-Einrichtung, die den Prozessor 2602 mit einem PCI-Express-Bus verbindet, über den der Prozessor 2602 mit den GPGPUs 2606A-D kommunizieren kann. Die GPGPUs 2606A-D können bei mindestens einer Ausführungsform über eine Reihe von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verbindungen 2616 miteinander verbunden sein. Bei mindestens einer Ausführungsform sind die GPU-zu-GPU-Verbindungen 2616 mit jeder der GPGPUs 2606A-D über eine eigene GPU-Verbindung verbunden. Bei mindestens einer Ausführungsform ermöglichen die P2P-GPU-Verbindungen 2616 eine direkte Kommunikation zwischen den einzelnen GPGPUs 2606A-D, ohne dass eine Kommunikation über den Host-Schnittstellenbus 2604 erforderlich ist, an den der Prozessor 2602 angeschlossen ist. Bei mindestens einer Ausführungsform, bei der der GPU-zu-GPU-Verkehr auf P2P-GPU-Verbindungen 2616 geleitet wird, bleibt der Host-Schnittstellenbus 2604 für den Systemspeicherzugriff oder für die Kommunikation mit anderen Instanzen des Multi-GPU-Computersystems 2600 verfügbar, zum Beispiel über eine oder mehrere Netzwerkeinrichtungen. Während bei mindestens einer Ausführungsform die GPGPUs 2606A-D mit dem Prozessor 2602 über den Host-Schnittstellen-Switch 2604 verbunden sind, weist der Prozessor 2602 bei mindestens einer Ausführungsform eine direkte Unterstützung für P2P-GPU-Verbindungen 2616 auf und kann direkt mit den GPGPUs 2606A-D verbunden sein.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem Multi-GPU-Rechnersystem 2600 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 26 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 26 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 26 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
27 ist ein Blockdiagramm eines Grafikprozessors 2700 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform weist der Grafikprozessor 2700 eine Ringverbindung 2702, ein Pipeline-Frontend 2704, eine Media-Maschine 2737 und Grafikkerne 2780A-2780N auf. Bei mindestens einer Ausführungsform verbindet die Ringverbindung 2702 den Grafikprozessor 2700 mit anderen Verarbeitungseinheiten, einschließlich anderer Grafikprozessoren oder eines oder mehrerer Mehrzweckprozessorkerne. Bei mindestens einer Ausführungsform ist der Grafikprozessor 2700 einer von vielen Prozessoren, die in ein Mehrkern-Verarbeitungssystem integriert sind.
Bei mindestens einer Ausführungsform empfängt der Grafikprozessor 2700 Stapel von Befehlen über die Ringverbindung 2702. Bei mindestens einer Ausführungsform werden die eingehenden Befehle von einem Befehls-Streamer 2703 im Pipeline-Frontend 2704 interpretiert. Bei mindestens einer Ausführungsform weist der Grafikprozessor 2700 eine skalierbare Ausführungslogik auf, um die 3D-Geometrieverarbeitung und die Medienverarbeitung über den/die Grafikkern(e) 2780A-2780N durchzuführen. Bei mindestens einer Ausführungsform liefert der Befehls-Streamer 2703 für 3D-Geometrieverarbeitungsbefehle Befehle an die Geometrie-Pipeline 2736. Bei mindestens einer Ausführungsform liefert der Befehls-Streamer 2703 für mindestens einige Medienverarbeitungsbefehle Befehle an ein Video-Frontend 2734, das mit einer Medien-Maschine 2737 gekoppelt ist. Bei mindestens einer Ausführungsform weist die Medien-Maschine 2737 eine Video-Qualitäts-Maschine (VQE) 2730 für die Video- und Bildnachbearbeitung und eine Multi-Format-Encoder/Decoder-Maschine (MFX) 2733 auf, um eine hardwarebeschleunigte Codierung und Decodierung von Mediendaten zu ermöglichen. Bei mindestens einer Ausführungsform erzeugen die Geometrie-Pipeline 2736 und die Medien-Maschine 2737 jeweils Ausführungs-Threads für Thread-Ausführungsressourcen, die von mindestens einem Grafikkern 2780A bereitgestellt werden.
Bei mindestens einer Ausführungsform weist der Grafikprozessor 2700 skalierbare Thread-Ausführungsressourcen auf, die Grafikkerne 2780A-2780N aufweisen (welche modular sein können und manchmal als Kern-Slices bezeichnet werden), von denen jeder mehrere Sub-Kerne 2750A-50N, 2760A-2760N (manchmal als Kern-Sub-Slices bezeichnet) hat. Bei mindestens einer Ausführungsform kann der Grafikprozessor 2700 eine beliebige Anzahl von Grafikkernen 2780A bis 2780N haben. Bei mindestens einer Ausführungsform weist der Grafikprozessor 2700 einen Grafikkern 2780A mit mindestens einem ersten Sub-Kern 2750A und einem zweiten Sub-Kern 2760A auf. Bei mindestens einer Ausführungsform ist der Grafikprozessor 2700 ein Niedrigleistungsprozessor mit einem einzigen Sub-Kern (z. B. 2750A). Bei mindestens einer Ausführungsform weist der Grafikprozessor 2700 mehrere Grafikkerne 2780A-2780N auf, von denen jeder einen Satz von ersten Sub-Kernen 2750A-2750N und einen Satz von zweiten Sub-Kernen 2760A-2760N aufweist. Bei mindestens einer Ausführungsform weist jeder Sub-Kern in den ersten Sub-Kernen 2750A-2750N mindestens einen ersten Satz von Ausführungseinheiten 2752A-2752N und Medien-/Textur-Sampler 2754A-2754N auf. Bei mindestens einer Ausführungsform weist jeder Sub-Kern in den zweiten Sub-Kernen 2760A-2760N mindestens eine zweite Gruppe von Ausführungseinheiten 2762A-2762N und Samplern 2764A-2764N auf. Bei mindestens einer Ausführungsform teilt sich jeder Sub-Kern 2750A-2750N, 2760A-2760N einen Satz gemeinsam genutzter Ressourcen 2770A-2770N. Bei mindestens einer Ausführungsform weisen die gemeinsam genutzten Ressourcen einen gemeinsamen Cache-Speicher und eine Pixeloperationslogik auf.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 1215 in dem Grafikprozessor 2700 für Inferencing- oder Vorhersageoperationen verwendet werden, die zumindest teilweise auf Gewichtungsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netze, Funktionen und/oder Architekturen neuronaler Netze oder hier beschriebenen Anwendungsfällen neuronaler Netze berechnet werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 27 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 27 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 27 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
28 ist ein Blockdiagramm, das die Mikroarchitektur eines Prozessors 2800 veranschaulicht, der logische Schaltungen zur Ausführung von Befehlen gemäß mindestens einer Ausführungsform aufweisen kann. Bei mindestens einer Ausführungsform kann der Prozessor 2800 Befehle ausführen, die x86-Befehle, ARM-Befehle, spezielle Befehle für anwendungsspezifische integrierte Schaltungen (ASICs) usw. aufweisen. Bei mindestens einer Ausführungsform kann der Prozessor 2810 Register zum Speichern gepackter Daten aufweisen, wie z. B. 64 Bit breite MMXTM-Register in Mikroprozessoren, die mit der MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. Bei mindestens einer Ausführungsform können MMX-Register, die sowohl als Ganzzahl- als auch als Gleitkommaregister verfügbar sind, mit gepackten Datenelementen arbeiten, die mit SIMD- (Single Instruction, Multiple Data) und SSE- (Streaming SIMD Extensions) Anweisungen einhergehen. Bei mindestens einer Ausführungsform können 128 Bit breite XMM-Register, die sich auf SSE2-, SSE3-, SSE4-, AVX- oder darüber hinausgehende Technologien beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden enthalten. Bei mindestens einer Ausführungsform kann der Prozessor 2800 Anweisungen zur Beschleunigung von Algorithmen für maschinelles Lernen oder Deep Learning, Training oder Inferencing ausführen.
Bei mindestens einer Ausführungsform weist der Prozessor 2800 ein In-Order-Front-End („Front-End“) 2801 auf, um auszuführende Befehle abzurufen und Befehle vorzubereiten, die später in der Prozessor-Pipeline verwendet werden sollen. Bei mindestens einer Ausführungsform kann das Frontend 2801 mehrere Einheiten aufweisen. Bei mindestens einer Ausführungsform holt ein Befehls-Prefetcher 2826 Befehle aus dem Speicher und leitet sie an einen Befehlsdecodierer 2828 weiter, der wiederum Befehle decodiert oder interpretiert. Bei mindestens einer Ausführungsform decodiert der Befehlsdecodierer 2828 beispielsweise einen empfangenen Befehl in eine oder mehrere Operationen, die als „Mikrobefehle“ oder „Mikrooperationen“ (auch „Mikro-Ops“ oder „Uops“ genannt) bezeichnet werden und von der Maschine ausgeführt werden können. Bei mindestens einer Ausführungsform zerlegt der Befehlsdecodierer 2828 den Befehl in einen Op-Code und entsprechende Daten- und Steuerfelder, die von der Mikroarchitektur zur Durchführung von Operationen gemäß mindestens einer Ausführungsform verwendet werden können. Bei mindestens einer Ausführungsform kann ein Trace-Cache 2830 decodierte uops zu programmgeordneten Sequenzen oder Traces in einer uop-Warteschlange 2834 zur Ausführung zusammenstellen. Bei mindestens einer Ausführungsform, wenn der Trace-Cache 2830 auf eine komplexe Anweisung stößt, stellt ein Mikrocode-ROM 2832 die für den Abschluss der Operation erforderlichen uops bereit.
Bei mindestens einer Ausführungsform können einige Befehle in eine einzige Mikro-OP umgewandelt werden, während andere mehrere Mikro-OPs benötigen, um den Betrieb vollständig abzuschließen. Bei mindestens einer Ausführungsform kann der Befehlsdecodierer 2828 auf den Mikrocode-ROM 2832 zugreifen, um den Befehl auszuführen, wenn für die Ausführung eines Befehls mehr als vier Mikro-Ops erforderlich sind. Bei mindestens einer Ausführungsform kann ein Befehl in eine kleine Anzahl von Mikro-Ops zur Verarbeitung im Befehlsdecodierer 2828 decodiert werden. Bei mindestens einer Ausführungsform kann ein Befehl im Mikrocode-ROM 2832 gespeichert sein, falls eine Anzahl von Mikro-OPs zur Ausführung des Vorgangs erforderlich ist. Bei mindestens einer Ausführungsform bezieht sich der Trace-Cache 2830 auf ein programmierbare Logik-Anordnung („PLA“) als Einstiegspunkt, um einen korrekten Mikrobefehlszeiger für das Lesen von Mikrocode-Sequenzen zur Vervollständigung eines oder mehrerer Befehle aus dem Mikrocode-ROM 2832 zu bestimmen. Bei mindestens einer Ausführungsform kann das Frontend 2801 der Maschine, nachdem das Mikrocode-ROM 2832 die Sequenzierung von Mikrobefehlen für einen Befehl beendet hat, das Abrufen von Mikrobefehlen aus dem Trace-Cache 2830 wieder aufnehmen.
Bei mindestens einer Ausführungsform kann die Out-of-Order-Ausführungs-Maschine („Out-of-Order-Engine“) 2803 Befehle für die Ausführung vorbereiten. Bei mindestens einer Ausführungsform verfügt die Out-of-Order-Ausführungslogik über eine Reihe von Puffern, um den Fluss der Befehle zu glätten und neu zu ordnen, um die Leistung zu optimieren, während sie die Pipeline durchlaufen und zur Ausführung geplant werden. Die Out-of-Order-Ausführungs-Maschine 2803 weist bei mindestens einer Ausführungsform ohne Einschränkung einen Allokator/Register-Renamer 2840, eine Speicher-uop-Warteschlange 2842, eine Ganzzahl/Gleitkomma-uop-Warteschlange 2844, einen Speicher-Scheduler 2846, einen schnellen Scheduler 2802, einen langsamen/allgemeinen Gleitkomma-Scheduler („slow/general FP scheduler“) 2804 und einen einfachen Gleitkomma-Scheduler („simple FP scheduler“) 2806 auf. Bei mindestens einer Ausführungsform werden der schnelle Scheduler 2802, der langsame/allgemeine Gleitkomma-Scheduler 2804 und der einfache Gleitkomma-Scheduler 2806 hier auch gemeinsam als „uop-Scheduler 2802, 2804, 2806“ bezeichnet. Bei mindestens einer Ausführungsform weist der Allokator/Register-Renamer 2840 Maschinenpuffer und Ressourcen zu, die jeder uop für seine Ausführung benötigt. Bei mindestens einer Ausführungsform benennt der Allokator/Register-Renamer 2840 logische Register auf Einträge in einer Registerdatei um. Bei mindestens einer Ausführungsform weist der Allokator/Register-Renamer 2840 außerdem jedem uop einen Eintrag in einer von zwei uop-Warteschlangen zu, der Speicher-uop-Warteschlange 2842 für Speicheroperationen und der Ganzzahl-/Gleitkommauop-Warteschlange 2844 für Nicht-Speicheroperationen, und zwar vor dem Speicher-Scheduler 2846 und den uop-Schedulern 2802, 2804, 2806. Bei mindestens einer Ausführungsform bestimmen die uop-Scheduler 2802, 2804, 2806 auf der Grundlage der Bereitschaft ihrer abhängigen Eingangsregister-Operandenquellen und der Verfügbarkeit der Ausführungsressourcen, die die uops für den Abschluss ihrer Operation benötigen, wann ein uop zur Ausführung bereit ist. Bei mindestens einer Ausführungsform kann der schnelle Scheduler 2802 bei jeder Hälfte des Haupttaktzyklus einplanen, während der langsame/allgemeine Gleitkomma-Scheduler 2804 und der einfache Gleitkomma-Scheduler 2806 einmal pro Hauptprozessortaktzyklus einplanen können. Bei mindestens einer Ausführungsform vermitteln die uop-Scheduler 2802, 2804, 2806 für Dispatch-Anschlüsse, um uops für die Ausführung zu planen.
Bei mindestens einer Ausführungsform weist der Ausführungsblock b11 ohne Einschränkung ein Ganzzahl-Registerdatei/Umgehungs-Netzwerk 2808, ein(e) Gleitkommaregisterdatei/Umgehungsnetzwerk („eine FP-Registerdatei/Umgehungs-Netzwerk“) 2810, Adresserzeugungseinheiten („AGUs“) 2812 und 2814, schnelle arithmetische Logikeinheiten (ALUs) („schnelle ALUs“) 2816 und 2818, eine langsame arithmetische Logikeinheit („langsame ALU“) 2820, eine Gleitkomma-ALU („FP“) 2822 und eine Gleitkomma-Bewegungseinheit („FP-Bewegung“) 2824 auf. Bei mindestens einer Ausführungsform werden ein Ganzzahl-Registerdatei/Umgehungs-Netzwerk 2808 und ein Gleitkomma-Registerdatei/Umgehungs-Netzwerk 2810 hier auch als „Registerdateien 2808, 2810“ bezeichnet. Bei mindestens einer Ausführungsform werden die AGUSs 2812 und 2814, die schnellen ALUs 2816 und 2818, die langsame ALU 2820, die Gleitkomma-ALU 2822 und die Gleitkomma-Bewegungseinheit 2824 hier auch als „Ausführungseinheiten 2812, 2814, 2816, 2818, 2820, 2822 und 2824“ bezeichnet. Bei mindestens einer Ausführungsform kann der Ausführungsblock b11 ohne Einschränkung eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Umgehungsnetzwerken, Adresserzeugungseinheiten und Ausführungseinheiten in beliebiger Kombination aufweisen.
Bei mindestens einer Ausführungsform können die Registernetzwerke 2808, 2810 zwischen den uop-Schedulern 2802, 2804, 2806 und den Ausführungseinheiten 2812, 2814, 2816, 2818, 2820, 2822 und 2824 angeordnet sein. Bei mindestens einer Ausführungsform führt das Integer-Registerdatei/Umgehungs-Netzwerk 2808 Integer-Operationen durch. Bei mindestens einer Ausführungsform führt das Gleitkommaregisterdatei/Umgehungs-Netzwerk 2810 Gleitkommaoperationen durch. Bei mindestens einer Ausführungsform kann jede der Registernetzwerke 2808, 2810 ohne Einschränkung ein Umgehungsnetzwerk aufweisen, das gerade abgeschlossene Ergebnisse, die noch nicht in die Registerdatei geschrieben wurden, umleiten oder an neue abhängige Uops weiterleiten kann. Bei mindestens einer Ausführungsform können die Registernetzwerke 2808, 2810 Daten miteinander austauschen. Bei mindestens einer Ausführungsform kann das Integer-Registerdatei/Umgehungs-Netzwerk 2808 ohne Einschränkung zwei separate Registerdateien aufweisen, eine Registerdatei für zweiunddreißig Bits von Daten niedriger Ordnung und eine zweite Registerdatei für zweiunddreißig Bits von Daten hoher Ordnung. Bei mindestens einer Ausführungsform kann das Gleitkomma-Registerdatei/Umgehungs-Netzwerk 2810 ohne Einschränkung 128 Bit breite Einträge aufweisen, da Gleitkomma-Befehle typischerweise Operanden mit einer Breite von 64 bis 128 Bit aufweisen.
Bei mindestens einer Ausführungsform können die Ausführungseinheiten 2812, 2814, 2816, 2818, 2820, 2822, 2824 Befehle ausführen. Bei mindestens einer Ausführungsform speichern Registernetzwerke 2808, 2810 Ganzzahl- und Gleitkommadaten-Operandenwerte, die für die Ausführung von Mikrobefehlen erforderlich sind. Bei mindestens einer Ausführungsform kann der Prozessor 2800 ohne Einschränkung eine beliebige Anzahl und Kombination von Ausführungseinheiten 2812, 2814, 2816, 2818, 2820, 2822, 2824 aufweisen. Bei mindestens einer Ausführungsform können die Gleitkomma-ALU 2822 und die Gleitkomma-Bewegungseinheit 2824 Gleitkomma-, MMX-, SIMD-, AVX- und SSE- oder andere Operationen ausführen, einschließlich spezieller maschineller Lernbefehle. Bei mindestens einer Ausführungsform kann die Gleitkomma-ALU 2822 ohne Einschränkung einen 64-Bit-durch-64-Bit-Gleitkomma-Teiler aufweisen, um Divisions-, Quadratwurzel- und Restwert-Mikrooperationen auszuführen. Bei mindestens einer Ausführungsform können Befehle, die einen Gleitkommawert beinhalten, mit Gleitkomma-Hardware verarbeitet werden. Bei mindestens einer Ausführungsform können ALU-Operationen an schnelle ALUs 2816, 2818 weitergeleitet werden. Bei mindestens einer Ausführungsform können die schnellen ALUS 2816, 2818 schnelle Operationen mit einer effektiven Latenzzeit von einem halben Taktzyklus ausführen. Bei mindestens einer Ausführungsform gehen die meisten komplexen ganzzahligen Operationen an die langsame ALU 2820, da die langsame ALU 2820 ohne Einschränkung ganzzahlige Ausführungshardware für Operationen mit langer Latenzzeit aufweisen kann, wie z. B. einen Multiplizierer, Schiebeeinheiten, eine Flag-Logik und eine Verzweigungsverarbeitung. Bei mindestens einer Ausführungsform können Speicherlade-/Speicheroperationen von AG US 2812, 2814 ausgeführt werden. Bei mindestens einer Ausführungsform können die schnelle ALU 2816, die schnelle ALU 2818 und die langsame ALU 2820 Ganzzahloperationen mit 64-Bit-Datenoperanden durchführen. Bei mindestens einer Ausführungsform können die schnelle ALU 2816, die schnelle ALU 2818 und die langsame ALU 2820 so implementiert sein, dass sie eine Vielzahl von Datenbitgrößen unterstützen, darunter sechzehn, zweiunddreißig, 128, 256, usw. Bei mindestens einer Ausführungsform können die Gleitkomma-ALU 2822 und die Gleitkomma-Bewegungseinheit 2824 so implementiert sein, dass sie einen Bereich von Operanden mit Bits unterschiedlicher Breite unterstützen, so dass 128 Bit breite gepackte Datenoperanden in Verbindung mit SIMD- und Multimedia-Anweisungen arbeiten.
Bei mindestens einer Ausführungsform leiten die uop-Scheduler 2802, 2804, 2806 abhängige Operationen ein, bevor die Ausführung der übergeordneten Last beendet ist. Bei mindestens einer Ausführungsform kann der Prozessor 2800, da uops spekulativ geplant und im Prozessor 2800 ausgeführt werden können, auch eine Logik zur Behandlung von Speicherfehlern aufweisen. Bei mindestens einer Ausführungsform kann es, wenn ein Datenladen in den Datencache fehlerhaft ist, abhängige Operationen in der Pipeline geben, die den Scheduler mit vorübergehend falschen Daten verlassen haben. Bei mindestens einer Ausführungsform verfolgt ein Wiederholungsmechanismus die Anweisungen, die falsche Daten verwenden, und führt sie erneut aus. Bei mindestens einer Ausführungsform kann es erforderlich sein, abhängige Operationen erneut auszuführen, während unabhängige Operationen zu Ende geführt werden können. Bei mindestens einer Ausführungsform können Scheduler und ein Wiederholungsmechanismus von mindestens einer Ausführungsform eines Prozessors auch so ausgelegt sein, dass sie Befehlssequenzen für Textstring-Vergleichsoperationen abfangen.
Bei mindestens einer Ausführungsform können sich „Register“ auf prozessorinterne Speicherplätze beziehen, die als Teil von Befehlen verwendet werden können, um Operanden zu identifizieren. Bei mindestens einer Ausführungsform kann es sich bei den Registern um solche handeln, die von außerhalb des Prozessors (aus der Sicht eines Programmierers) verwendet werden können. Bei mindestens einer Ausführungsform können die Register nicht auf einen bestimmten Schaltungstyp beschränkt sein. Vielmehr kann ein Register bei mindestens einer Ausführungsform Daten speichern, Daten bereitstellen und hier beschriebene Funktionen ausführen. Bei mindestens einer Ausführungsform können die hier beschriebenen Register durch Schaltkreise innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert sein, wie z. B. dedizierte physische Register, dynamisch zugewiesene physische Register unter Verwendung von Registerumbenennung, Kombinationen aus dedizierten und dynamisch zugewiesenen physischen Registern usw. Bei mindestens einer Ausführungsform werden in Ganzzahlregistern 32-Bit-Ganzzahldaten gespeichert. In mindestens einer Ausführungsform enthält eine Registerdatei auch acht Multimedia-SIMD-Register für gepackte Daten.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1215 in den Ausführungsblock 2811 und andere gezeigte oder nicht gezeigte Speicher oder Register integriert sein. Zum Beispiel können bei mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferencing-Verfahren eine oder mehrere der im Ausführungsblock 2811 dargestellten ALUs verwenden. Darüber hinaus können Gewichtungsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs des Ausführungsblocks 2811 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 28 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 28 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 28 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
29 zeigt gemäß mindestens einer Ausführungsform einen Deep-Learning-Anwendungsprozessor 2900. In mindestens einer Ausführungsform verwendet der Deep-Learning-Anwendungsprozessor 2900 Anweisungen, die, wenn sie vom Deep-Learning-Anwendungsprozessor 2900 ausgeführt werden, bewirken, dass der Deep-Learning-Anwendungsprozessor 2900 einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Verfahren ausführt. In mindestens einer Ausführungsform handelt es sich bei dem Deep-Learning-Anwendungsprozessor 2900 um eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einer Ausführungsform führt der Anwendungsprozessor 2900 Matrixmultiplikationsoperationen entweder „fest verdrahtet“ in Hardware als Ergebnis der Ausführung einer oder mehrerer Anweisungen oder beides durch. In mindestens einer Ausführungsform umfasst der Deep-Learning-Anwendungsprozessor 2900 ohne Einschränkung Verarbeitungscluster 2910(1)-2910(12), Inter-Chip-Verbindungen („ICLs“) 2920(1)-2920(12), Inter-Chip-Steuerungen („ICCs“) 2930(1)-2930(2), Speicher mit hoher Bandbreite der zweiten Generation („HBM2“) 2940(1)-2940(4), Speichersteuerungen („Mem Ctrlrs“) 2942(1)-2942(4), eine physikalische Schicht für Speicher mit hoher Bandbreite („HBM PHY“) 2944(1)-2944(4), eine Management-Controller-Zentraleinheit („Management-Controller-CPU“) 2950, einen Block für serielle periphere Schnittstellen, integrierte Schaltungen und allgemeine Eingaben/Ausgaben („SPI, I2C, GPIO“) 2960, eine Express-Steuerung für periphere Komponentenverbindungen und einen Block für direkten Speicherzugriff („PCIe-Steuerung und DMA“) 2970 und einen Express-Anschluss für periphere Komponentenverbindungen mit sechzehn Bahnen („PCI Express x 16“) 2980.
In mindestens einer Ausführungsform können Verarbeitungscluster 2910 Operationen für Deep Learning durchführen, einschließlich Inferenz- oder Vorhersageoperationen basierend auf Gewichtungsparametern, die mit einer oder mehreren Trainingsverfahren, einschließlich der hierin beschriebenen, berechnet wurden. In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 2910 ohne Einschränkung eine beliebige Anzahl und Art von Prozessoren umfassen. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 2900 eine beliebige Anzahl und Art von Verarbeitungsclustern 2900 umfassen. In mindestens einer Ausführungsform sind die Inter-Chip-Verbindungen 2920 bidirektional. In mindestens einer Ausführungsform ermöglichen die Inter-Chip-Verbindungen 2920 und die Inter-Chip-Steuerungen 2930 mehreren Deep-Learning-Anwendungsprozessoren 2900, Informationen auszutauschen, einschließlich Aktivierungsinformationen, die aus der Ausführung eines oder mehrerer maschineller Lernalgorithmen resultieren, die in einem oder mehreren neuronalen Netzen ausgestaltet sind. In mindestens einer Ausführungsform kann der Deep Learning-Anwendungsprozessor 2900 eine beliebige Anzahl (einschließlich Null) und einen beliebigen Typ von ICLs 2920 und ICCs 2930 aufweisen.
In mindestens einer Ausführungsform stellen die HBM2s 2940 insgesamt 32 Gigabyte (GB) Speicher bereit. HBM2 2940(i) ist bei mindestens einer Ausführungsform sowohl der Speichersteuerung 2942(i) als auch der HBM PHY 2944(i) zugeordnet, wobei „i“ eine beliebige ganze Zahl ist. In mindestens einer Ausführungsform kann eine beliebige Anzahl von HBM2 2940 einen beliebigen Typ und eine beliebige Gesamtmenge an Speicher mit hoher Bandbreite bereitstellen und einer beliebigen Anzahl (einschließlich Null) und einem beliebigen Typ von Speichersteuerungen 2942 und HBM PHYs 2944 zugeordnet sein. In mindestens einer Ausführungsform können SPI, I2C, GPIO 2960, PCIe-Steuerung und DMA 2970 und/oder PCIe 2980 durch eine beliebige Anzahl und Art von Blöcken ersetzt werden, die eine beliebige Anzahl und Art von Kommunikationsstandards in einer technisch geeigneten Weise ermöglichen.
Die Inferenz- und/oder Trainingslogik 1515 wird zum Inferenzieren und/oder Trainieren von Operationen verwendet, die einer oder mehreren Ausführungsformen zugeordnet sind. Details zur Inferenz- und/oder Trainingslogik 1515 werden hier in Verbindung mit 12A und/oder 12B bereitgestellt. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor dazu verwendet, ein Modell zum maschinellen Lernen, wie z. B. ein neuronales Netz, zu trainieren, um Informationen vorherzusagen oder abzuleiten, die dem Deep-Learning-Anwendungsprozessor 2900 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 2900 verwendet, um Informationen basierend auf einem trainierten Modell zum maschinellen Lernen (z. B. einem neuronalen Netz), das von einem anderen Prozessor oder System oder vom Deep Learning-Anwendungsprozessor 2900 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der Prozessor 2900 verwendet werden, um einen oder mehrere hierin beschriebene Anwendungsfälle eines neuronalen Netzes durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 29 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 29 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 29 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
30 zeigt ein Blockdiagramm eines neuromorphen Prozessors 3000 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 3000 eine oder mehrere Eingaben von Quellen außerhalb des neuromorphen Prozessors 3000 empfangen. In mindestens einer Ausführungsform können diese Eingaben an ein oder mehrere Neuronen 3002 innerhalb des neuromorphen Prozessors 3000 übertragen werden. In mindestens einer Ausführungsform können die Neuronen 3002 und ihre Komponenten unter Verwendung von Schaltungsanordnungen oder Logik, einschließlich einer oder mehrerer arithmetischer Logikeinheiten (ALUs), implementiert sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 3000 ohne Einschränkung Tausende oder Millionen von Instanzen von Neuronen 3002 umfassen, aber jede geeignete Anzahl von Neuronen 3002 kann verwendet werden. In mindestens einer Ausführungsform kann jede Instanz eines Neurons 3002 einen Neuroneneingang 3004 und einen Neuronenausgang 3006 umfassen. In mindestens einer Ausführungsform können die Neuronen 3002 Ausgaben generieren, die an Eingänge anderer Instanzen von Neuronen 3002 übertragen werden können. Zum Beispiel können in mindestens einer Ausführungsform die Eingänge 3004 und Ausgänge 3006 der Neuronen über Synapsen 3008 miteinander verbunden sein.
In mindestens einer Ausführungsform können Neuronen 3002 und Synapsen 3008 so miteinander verbunden sein, dass der neuromorphe Prozessor 3000 arbeitet, um vom neuromorphen Prozessor 3000 empfangene Informationen zu verarbeiten oder zu analysieren. In mindestens einer Ausführungsform können die Neuronen 3002 einen Ausgabeimpuls („Spike“) senden („feuern“), wenn die über den Neuroneneingang 3004 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einer Ausführungsform können die Neuronen 3002 die an den Neuroneneingängen 3004 empfangenen Signale summieren oder integrieren. In mindestens einer Ausführungsform können die Neuronen 3002 beispielsweise als Integrate-and-Fire- Neuronen mit Leckstrom (leaky integrate-and-fire neuron) implementiert sein, wobei das Neuron 3002 eine Ausgabe unter Verwendung einer Übertragungsfunktion wie einer Sigmoid- oder Schwellenfunktion generieren („feuern“) kann, wenn eine Summe (als „Membranpotential“ bezeichnet) einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann ein „Integrate-and-Fire“-Neuron mit Leckstrom die an den Eingängen 3004 des Neurons empfangenen Signale zu einem Membranpotential summieren und auch einen Abklingfaktor (oder ein Leckstrom) anwenden, um das Membranpotential zu reduzieren. In mindestens einer Ausführungsform kann ein „Integrate-and-Fire“-Neuron mit Leckstrom feuern, wenn mehrere Eingabesignale an den Neuroneneingängen 3004 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (d. h. bevor ein Membranpotenzial zu niedrig abklingt, um zu feuern). In mindestens einer Ausführungsform können die Neuronen 3002 unter Verwendung von Schaltungen oder Logik implementiert sein, die Eingaben empfangen, Eingaben in ein Membranpotential integrieren und ein Membranpotential abklingen lassen. In mindestens einer Ausführungsform können die Eingaben gemittelt werden, oder es kann jede andere geeignete Übertragungsfunktion verwendet werden. Darüber hinaus können die Neuronen 3002 in mindestens einer Ausführungsform ohne Einschränkung Komparatorschaltungen oder eine Logik umfassen, die einen Ausgangsspike am Neuronenausgang 3006 erzeugen bzw. erzeugt, wenn das Ergebnis der Anwendung einer Übertragungsfunktion auf die Neuroneneingabe 3004 einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann das Neuron 3002, sobald es feuert, zuvor erhaltene Eingaben verwerfen, indem es beispielsweise ein Membranpotenzial auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einer Ausführungsform kann das Neuron 3002, sobald das Membranpotenzial auf 0 zurückgesetzt ist, nach einer geeigneten Zeitspanne (oder Refraktärzeit) den normalen Betrieb wieder aufnehmen.
In mindestens einer Ausführungsform können die Neuronen 3002 über Synapsen 3008 miteinander verbunden sein. In mindestens einer Ausführungsform können Synapsen 3008 arbeiten, um Signale von einem Ausgang eines ersten Neurons 3002 zu einem Eingang eines zweiten Neurons 3002 zu übertragen. In mindestens einer Ausführungsform können die Neuronen 3002 Informationen über mehr als eine Instanz der Synapse 3008 übertragen. In mindestens einer Ausführungsform können eine oder mehrere Instanzen eines neuronalen Ausgangs 3006 über eine Instanz einer Synapse 3008 mit einer Instanz eines neuronalen Eingangs 3004 in demselben Neuron 3002 verbunden sein. In mindestens einer Ausführungsform kann eine Instanz eines Neurons 3002, die eine über eine Instanz einer Synapse 3008 zu übertragende Ausgabe generiert, als „präsynaptisches Neuron“ in Bezug auf diese Instanz einer Synapse 3008 bezeichnet werden. In mindestens einer Ausführungsform kann eine Instanz eines Neurons 3002, die eine über eine Instanz einer Synapse 3008 übertragene Eingabe empfängt, als „postsynaptisches Neuron“ in Bezug auf diese Instanz einer Synapse 3008 bezeichnet werden. Da eine Instanz eines Neurons 3002 Eingaben von einer oder mehreren Instanzen einer Synapse 3008 empfangen und auch Ausgaben über eine oder mehrere Instanzen einer Synapse 3008 übertragen kann, kann eine einzelne Instanz eines Neurons 3002 in mindestens einer Ausführungsform sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Instanzen von Synapsen 3008 sein.
In mindestens einer Ausführungsform können die Neuronen 3002 in einer oder mehreren Schichten organisiert sein. Jede Instanz eines Neurons 3002 kann bei mindestens einer Ausführungsform einen Neuronenausgang 3006 aufweisen, der sich über eine oder mehrere Synapsen 3008 zu einem oder mehreren Eingängen 3004 auffächern kann. In mindestens einer Ausführungsform können die Ausgänge 3006 von Neuronen 3002 in einer ersten Schicht 3010 mit Eingängen 3004 von Neuronen 3002 in einer zweiten Schicht 3012 verbunden sein. In mindestens einer Ausführungsform kann die Schicht 3010 als „Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform kann sich jede Instanz eines Neurons 3002 in einer Instanz einer ersten Schicht 3010 zu jeder Instanz eines Neurons 3002 in einer zweiten Schicht 3012 auffächern. In mindestens einer Ausführungsform kann die erste Schicht 3010 als „vollständig vernetzte Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform kann jede Instanz eines Neurons 3002 in einer Instanz einer zweiten Schicht 3012 zu weniger als allen Instanzen eines Neurons 3002 in einer dritten Schicht 3014 auffächern. In mindestens einer Ausführungsform kann eine zweite Schicht 3012 als eine „spärlich vernetzte Feed-Forward-Schicht“ bezeichnet werden. In mindestens einer Ausführungsform können sich Neuronen 3002 in der zweiten Schicht 3012 zu Neuronen 3002 in mehreren anderen Schichten auffächern, einschließlich zu Neuronen 3002 in (derselben) zweiten Schicht 3012. In mindestens einer Ausführungsform kann die zweite Schicht 3012 als eine „rekurrente Schicht“ bezeichnet werden. Der neuromorphe Prozessor 3000 kann bei mindestens einer Ausführungsform ohne Einschränkung jede geeignete Kombination von rekurrenten Schichten und Feedforward-Schichten umfassen, einschließlich, ohne Einschränkung, sowohl spärlich vernetzte Feedforward-Schichten als auch vollständig vernetzte Feedforward-Schichten.
In mindestens einer Ausführungsform kann der neuromorphe Prozessor 3000 ohne Einschränkung eine rekonfigurierbare Verbindungsarchitektur oder dedizierte festverdrahtete Verbindungen umfassen, um Synapsen 3008 mit Neuronen 3002 zu verbinden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 3000 ohne Einschränkung eine Schaltungsanordnung oder Logik umfassen, die es ermöglicht, dass Synapsen je nach Bedarf basierend auf der Topologie eines neuronalen Netzes und dem Fan-in/-out von Neuronen verschiedenen Neuronen 3002 zugewiesen werden können. Beispielsweise können in mindestens einer Ausführungsform Synapsen 3008 unter Verwendung einer Verbindungsstruktur, wie z. B. einem Netzwerk auf einem Chip, oder mit dedizierten Verbindungen mit Neuronen 3002 verbunden werden. In mindestens einer Ausführungsform können die Synapsenverbindungen und deren Komponenten unter Verwendung von Schaltungsanordnungen oder Logik implementiert sein.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 30 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 30 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 30 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
31 ist ein Blockdiagramm eines Verarbeitungssystems gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform weist das System 3100 einen oder mehrere Prozessoren 3102 und einen oder mehrere Grafikprozessoren 3108 auf und kann ein Einzelprozessor-Desktop-System, ein Multiprozessor-Workstation-System oder ein Server-System mit einer großen Anzahl von Prozessoren 3102 oder Prozessorkernen 3107 sein. Bei mindestens einer Ausführungsform ist das System 3100 eine Verarbeitungsplattform, die in eine integrierte System-on-a-Chip (SoC)-Schaltung zur Verwendung in mobilen, tragbaren oder eingebetteten Einrichtungen integriert ist.
Bei mindestens einer Ausführungsform kann das System 3100 eine serverbasierte Spielplattform, eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine Handheld-Spielkonsole oder eine Online-Spielkonsole aufweisen oder darin integriert sein. Bei mindestens einer Ausführungsform ist das System 3100 ein Mobiltelefon, ein Smartphone, eine Recheneinrichtung für Tablets oder eine mobile Interneteinrichtung. Bei mindestens einer Ausführungsform kann das Verarbeitungssystem 3100 auch eine tragbare Einrichtung aufweisen, mit dieser gekoppelt oder in diese integriert sein, wie z. B. eine tragbare Einrichtung für eine intelligente Uhr, eine intelligente Brille, eine Augmented-Reality-Einrichtung oder eine Virtual-Reality-Einrichtung. Bei mindestens einer Ausführungsform ist das Verarbeitungssystem 3100 eine Fernseh- oder Set-Top-Box-Einrichtung mit einem oder mehreren Prozessoren 3102 und einer grafischen Schnittstelle, die von einem oder mehreren Grafikprozessoren 3108 erzeugt ist.
Bei mindestens einer Ausführungsform weisen ein oder mehrere Prozessoren 3102 jeweils einen oder mehrere Prozessorkerne 3107 auf, um Befehle zu verarbeiten, die, wenn sie ausgeführt werden, Operationen für System- und Benutzersoftware durchführen. Bei mindestens einer Ausführungsform ist jeder von einem oder mehreren Prozessorkernen 3107 so ausgestaltet, dass er eine bestimmte Befehlsfolge 3109 verarbeitet. Bei mindestens einer Ausführungsform kann die Befehlsfolge 3109 das Complex Instruction Set Computing (CISC), das Reduced Instruction Set Computing (RISC) oder das Rechnen über ein Very Long Instruction Word (VLIW) ermöglichen. Bei mindestens einer Ausführungsform können die Prozessorkerne 3107 jeweils eine andere Befehlsfolge 3109 verarbeiten, die Befehle aufweisen kann, um die Emulation anderer Befehlsfolgen zu erleichtern. Bei mindestens einer Ausführungsform kann der Prozessorkern 3107 auch andere verarbeitende Einrichtungen aufweisen, wie etwa einen digitalen Signalprozessor (DSP).
Bei mindestens einer Ausführungsform weist der Prozessor 3102 einen Cache-Speicher 3104 auf. Bei mindestens einer Ausführungsform kann der Prozessor 3102 einen einzigen internen Cache oder mehrere Ebenen eines internen Caches aufweisen. Bei mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 3102 gemeinsam genutzt. Bei mindestens einer Ausführungsform verwendet der Prozessor 3102 auch einen externen Cache (z.B. einen Level-3 (L3) Cache oder Last Level Cache (LLC)) (nicht dargestellt), der unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 3107 gemeinsam genutzt werden kann. Bei mindestens einer Ausführungsform ist zusätzlich eine Registerdatei 3106 im Prozessor 3102 vorhanden, die verschiedene Arten von Registern zur Speicherung unterschiedlicher Datentypen aufweisen kann (z. B. Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister). Bei mindestens einer Ausführungsform kann die Registerdatei 3106 Allzweckregister oder andere Register aufweisen.
Bei mindestens einer Ausführungsform ist (sind) ein oder mehrere Prozessor(en) 3102 mit einem oder mehreren Schnittstellenbus(en) 3110 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen dem Prozessor 3102 und anderen Komponenten im System 3100 zu übertragen. Bei mindestens einer Ausführungsform kann der Schnittstellenbus 3110 ein Prozessorbus sein, beispielsweise eine Version eines Direct Media Interface (DMI)-Busses. Bei mindestens einer Ausführungsform ist der Schnittstellenbus 3110 nicht auf einen DMI-Bus beschränkt und kann einen oder mehrere Peripheral Component Interconnect-Busse (z. B. PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen aufweisen. Bei mindestens einer Ausführungsform weisen Prozessor(en) 3102 eine integrierte Speichersteuerung 3116 und einen Plattformsteuerungs-Hub 3130 auf. Bei mindestens einer Ausführungsform erleichtert die Speichersteuerung 3116 die Kommunikation zwischen einer Speichereinrichtung und anderen Komponenten des Systems 3100, während der Plattform-Controller-Hub (PCH) 3130 Verbindungen zu I/O-Einrichtungen über einen lokalen I/O-Bus bereitstellt.
Bei mindestens einer Ausführungsform kann die Speichereinrichtung 3120 eine dynamische Direktzugriffsspeichereinrichtung (DRAM), eine statische Direktzugriffsspeichereinrichtung (SRAM), eine Flash-Speichereinrichtung, eine Phasenwechsel-Speichereinrichtung oder eine andere Speichereinrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. Bei mindestens einer Ausführungsform kann die Speichereinrichtung 3120 als Systemspeicher für das System 3100 arbeiten, um Daten 3122 und Befehle 3121 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 3102 eine Anwendung oder einen Prozess ausführen. Bei mindestens einer Ausführungsform ist die Speichersteuerung 3116 auch mit einem optionalen externen Grafikprozessor 3112 gekoppelt, der mit einem oder mehreren Grafikprozessoren 3108 in den Prozessoren 3102 kommunizieren kann, um Grafik- und Medienoperationen durchzuführen. Bei mindestens einer Ausführungsform kann eine Anzeigeeinrichtung 3111 an den (die) Prozessor(en) 3102 angeschlossen sein. Bei mindestens einer Ausführungsform kann die Anzeigeeinrichtung 3111 eine oder mehrere interne Anzeigeeinrichtungen, wie z. B. in einer mobilen elektronischen Einrichtung oder einem Laptop, oder eine externe Anzeigeeinrichtung, die über eine Anzeigeschnittstelle (z. B. DisplayPort usw.) angeschlossen ist, aufweisen. Bei mindestens einer Ausführungsform kann die Anzeigevorrichtung 3111 eine am Kopf montierte Anzeige (HMD) wie eine stereoskopische Anzeigevorrichtung zur Verwendung bei Virtual-Reality-Anwendungen (VR) oder Augmented-Reality-Anwendungen (AR) aufweisen.
Bei mindestens einer Ausführungsform ermöglicht der Plattformsteuerungs-Hub 3130 den Anschluss von Peripheriegeräten an die Speichereinrichtung 3120 und dem Prozessor 3102 über einen Hochgeschwindigkeits-I/O-Bus. Bei mindestens einer Ausführungsform weisen die I/O-Peripheriegeräte unter anderem eine Audio-Steuerung 3146, eine Netzwerk-Steuerung 3134, eine Firmware-Schnittstelle 3128, einen drahtlosen Transceiver 3126, Berührungssensoren 3125 und eine Einrichtung zur Datenspeicherung 3124 (z. B. Festplattenlaufwerk, Flash-Speicher usw.) auf. Bei mindestens einer Ausführungsform kann die Datenspeichereinrichtung 3124 über eine Speicherschnittstelle (z. B. SATA) oder über einen Peripheriebus, wie einen Peripheral Component Interconnect Bus (z. B. PCI, PCI Express), angeschlossen sein. Bei mindestens einer Ausführungsform können die Berührungssensoren 3125 Touchscreen-Sensoren, Drucksensoren oder Fingerabdrucksensoren aufweisen. Bei mindestens einer Ausführungsform kann der drahtlose Transceiver 3126 ein Wi-Fi-Transceiver, ein Bluetooth-Transceiver oder ein Mobilfunk-Transceiver wie ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver sein. Bei mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 3128 die Kommunikation mit der System-Firmware und kann z. B. eine einheitliche erweiterbare Firmware-Schnittstelle (UEFI) sein. Bei mindestens einer Ausführungsform kann die Netzwerksteuerung 3134 eine Netzwerkverbindung mit einem kabelgebundenen Netzwerk ermöglichen. Bei mindestens einer Ausführungsform ist eine Hochleistungs-Netzwerksteuerung (nicht dargestellt) mit dem Schnittstellenbus 3110 gekoppelt. Bei mindestens einer Ausführungsform handelt es sich bei der Audio-Steuerung 3146 um eine mehrkanalige High-Definition-Audio-Steuerung. Bei mindestens einer Ausführungsform weist das System 3100 eine optionale Legacy-I/O-Steuerung 3140 zur Kopplung von Legacy-Einrichtungen (z. B. Personal System 2 (PS/2)) mit dem System auf. Bei mindestens einer Ausführungsform kann der Plattformsteuerungs-Hub 3130 auch an eine oder mehrere Universal Serial Bus (USB)-Steuerungen 3142 angeschlossen sein, die Eingabeeinrichtungen wie Tastatur- und Mauskombinationen 3143, eine Kamera 3144 oder andere USB-Eingabeeinrichtungen anschließen.
Bei mindestens einer Ausführungsform kann eine Instanz der Speichersteuerung 3116 und des Plattformsteuerungs-Hubs 3130 in einen diskreten externen Grafikprozessor, wie den externen Grafikprozessor 3112, integriert sein. Bei mindestens einer Ausführungsform kann der Plattformsteuerungs-Hub 3130 und/oder die Speichersteuerung 3116 extern bezüglich eines oder mehrerer Prozessor(en) 3102 sein. Zum Beispiel kann das System 3100 bei mindestens einer Ausführungsform eine externe Speichersteuerung 3116 und einen Plattformsteuerungs-Hub 3130 aufweisen, der als Speichersteuerungs-Hub und Peripherie-Steuerungs-Hub innerhalb eines System-Chipsatzes ausgestaltet sein kann, der mit dem (den) Prozessor(en) 3102 in Verbindung steht.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1215 in den Grafikprozessor 3108 integriert sein. Zum Beispiel können bei mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferencing-Verfahren eine oder mehrere ALUs in einer 3D-Pipeline verwenden. Darüber hinaus können bei mindestens einer Ausführungsform die hier beschriebenen Inferencing- und/oder Trainingsoperationen mit einer anderen als der in den 12A oder 12B dargestellten Logik durchgeführt werden. Bei mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 3108 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 31 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 31 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 31 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
32 ist ein Blockdiagramm eines Prozessors 3200 mit einem oder mehreren Prozessorkernen 3202A-3202N, einer integrierten Speichersteuerung 3214 und einem integrierten Grafikprozessor 3208, gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform kann der Prozessor 3200 zusätzliche Kerne aufweisen, bis hin zu und einschließlich des zusätzlichen Kerns 3202N, der durch gestrichelte Kästchen dargestellt ist. Bei mindestens einer Ausführungsform weist jeder der Prozessorkerne 3202A-3202N eine oder mehrere interne Cache-Einheiten 3204A-3204N auf. Bei mindestens einer Ausführungsform hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 3206.
Bei mindestens einer Ausführungsform stellen die internen Cache-Einheiten 3204A-3204N und die gemeinsam genutzten Cache-Einheiten 3206 eine Cache-Speicherhierarchie innerhalb des Prozessors 3200 dar. Bei mindestens einer Ausführungsform können die Cache-Speichereinheiten 3204A-3204N mindestens eine Ebene eines Befehls- und Daten-Caches innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen eines gemeinsam genutzten Mid-Level-Caches, wie z.B. eine Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, aufweisen, wobei eine höchste Cache-Ebene vor einem externen Speicher als LLC klassifiziert ist. Bei mindestens einer Ausführungsform hält die Cache-Kohärenzlogik die Kohärenz zwischen verschiedenen Cache-Einheiten 3206 und 3204A-3204N aufrecht.
Bei mindestens einer Ausführungsform kann der Prozessor 3200 auch einen Satz von einer oder mehreren Bussteuerungseinheiten 3216 und einen Systemagentenkern 3210 aufweisen. Bei mindestens einer Ausführungsform verwalten eine oder mehrere Bussteuerungseinheiten 3216 einen Satz von Peripheriebussen, wie einen oder mehrere PCI- oder PCI-Express-Busse. Bei mindestens einer Ausführungsform bietet der Systemagenten-Kern 3210 Verwaltungsfunktionen für verschiedene Prozessorkomponenten. Bei mindestens einer Ausführungsform weist der Systemagenten-Kern 3210 eine oder mehrere integrierte Speichersteuerungen 3214 auf, um den Zugriff auf verschiedene externe Speichereinrichtungen (nicht dargestellt) zu verwalten.
Bei mindestens einer Ausführungsform weist einer oder weisen mehrere der Prozessorkerne 3202A-3202N Unterstützung für gleichzeitiges Multithreading auf. Bei mindestens einer Ausführungsform weist der Systemagentenkern 3210 Komponenten zur Koordinierung und zum Betrieb der Kerne 3202A-3202N während der Multithreading-Verarbeitung auf. Bei mindestens einer Ausführungsform kann der Systemagentenkern 3210 zusätzlich eine Leistungssteuerungseinheit (PCU) aufweisen, die Logik und Komponenten zur Regelung eines oder mehrerer Leistungszustände der Prozessorkerne 3202A-3202N und des Grafikprozessors 3208 aufweist.
Bei mindestens einer Ausführungsform weist der Prozessor 3200 zusätzlich einen Grafikprozessor 3208 zur Ausführung von Grafikverarbeitungsoperationen auf. Bei mindestens einer Ausführungsform ist der Grafikprozessor 3208 mit gemeinsamen Cache-Einheiten 3206 und dem Systemagenten-Kern 3210 gekoppelt, der eine oder mehrere integrierte Speichersteuerungen 3214 aufweist. Bei mindestens einer Ausführungsform weist der Systemagenten-Kern 3210 auch eine Anzeigesteuerung 3211 auf, um die Ausgabe des Grafikprozessors an eine oder mehrere gekoppelte Anzeigen zu steuern. Bei mindestens einer Ausführungsform kann die Anzeigesteuerung 3211 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Grafikprozessor 3208 verbunden ist, oder sie kann in den Grafikprozessor 3208 integriert sein.
Bei mindestens einer Ausführungsform wird eine ringbasierte Verbindungseinheit 3212 verwendet, um interne Komponenten des Prozessors 3200 zu verbinden. Bei mindestens einer Ausführungsform kann eine alternative Verbindungseinheit verwendet werden, wie z. B. eine Punkt-zu-Punkt-Verbindung, eine geschaltete Verbindung oder andere Techniken. Bei mindestens einer Ausführungsform ist der Grafikprozessor 3208 über eine I/O-Verbindung 3213 mit der Ringverbindung 3212 verbunden.
Bei mindestens einer Ausführungsform stellt die I/O-Verbindung 3213 mindestens eine von mehreren Arten von I/O-Verbindungen dar, die eine On-Package-I/O-Verbindung aufweisen, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 3218, wie z. B. einem eDRAM-Modul, ermöglicht. Bei mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 3202A-3202N und der Grafikprozessor 3208 das eingebettete Speichermodul 3218 als gemeinsamen Last Level Cache.
Bei mindestens einer Ausführungsform sind die Prozessorkerne 3202A-3202N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. Bei mindestens einer Ausführungsform sind die Prozessorkerne 3202A-3202N in Bezug auf die Befehlssatzarchitektur (ISA) heterogen, wobei ein oder mehrere Prozessorkerne 3202A-3202N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 3202A-2302N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen anderen Befehlssatz ausführen. Bei mindestens einer Ausführungsform sind die Prozessorkerne 3202A-3202N in Bezug auf die Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einem relativ höheren Energieverbrauch mit einem oder mehreren Kernen mit einem niedrigeren Energieverbrauch gekoppelt sind. Bei mindestens einer Ausführungsform kann der Prozessor 3200 auf einem oder mehreren Chips oder als integrierte SoC-Schaltung implementiert sein.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1215 in den Grafikprozessor 3208 integriert sein. Zum Beispiel können bei mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferencing-Verfahren eine oder mehrere ALUs verwenden, die in einer 3D-Pipeline, (einem) Grafikkern(en) 3202, einer gemeinsamen Funktionslogik oder einer anderen Logik in 32 enthalten sind. Darüber hinaus können bei mindestens einer Ausführungsform die hier beschriebenen Inferencing- und/oder Trainingsoperationen mit einer anderen als der in den 12A oder 12B dargestellten Logik durchgeführt werden. Bei mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Prozessors 3208 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 32 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 32 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 32 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
33 ist ein Blockdiagramm eines Grafikprozessors 3300, bei dem es sich um eine diskrete Grafikverarbeitungseinheit oder um einen mit einer Vielzahl von Prozessorkernen integrierten Grafikprozessor handeln kann. Bei mindestens einer Ausführungsform kommuniziert der Grafikprozessor 3300 über eine einem Speicher zugeordnete I/O-Schnittstelle mit Registern auf dem Grafikprozessor 3300 und mit Befehlen, die im Speicher abgelegt sind. Bei mindestens einer Ausführungsform weist der Grafikprozessor 3300 eine Speicherschnittstelle 3314 für den Zugriff auf den Speicher auf. Bei mindestens einer Ausführungsform ist die Speicherschnittstelle 3314 eine Schnittstelle zum lokalen Speicher, einem oder mehreren internen Caches, einem oder mehreren gemeinsam genutzten externen Caches und/oder zum Systemspeicher.
Bei mindestens einer Ausführungsform weist der Grafikprozessor 3300 auch eine Anzeigesteuerung 3302 auf, um Anzeigeausgangsdaten an eine Anzeigeeinrichtung 3320 zu steuern. Bei mindestens einer Ausführungsform weist die Anzeigesteuerung 3302 Hardware für eine oder mehrere Überlagerungsebenen für die Anzeigeeinrichtung 3320 und die Zusammensetzung mehrerer Schichten von Video- oder Benutzerschnittstellenelementen auf. Bei mindestens einer Ausführungsform kann die Anzeigeeinrichtung 3320 eine interne oder externe Anzeigeeinrichtung sein. Bei mindestens einer Ausführungsform handelt es sich bei der Anzeigeeinrichtung 3320 um eine am Kopf getragene Anzeigeeinrichtung, wie z. B. eine Virtual-Reality- (VR-) Anzeigeeinrichtung oder eine Augmented-Reality- (AR-) Anzeigeeinrichtung. Bei mindestens einer Ausführungsform weist der Grafikprozessor 3300 eine Videocodec-Maschine 3306 auf, um Medien in, aus oder zwischen einem oder mehreren Mediencodierformaten zu codieren, zu decodieren oder zu transcodieren, einschließlich, aber nicht beschränkt auf Moving Picture Experts Group (MPEG)-Formate wie MPEG-2, Advanced Video Coding (AVC)-Formate wie H.264 /MPEG-4 AVC, sowie die Society of Motion Picture & Television Engineers (SMPTE) 421 M/VC-1 und Joint Photographic Experts Group (JPEG) Formate wie JPEG und Motion JPEG (MJPEG) Formate.
Bei mindestens einer Ausführungsform weist der Grafikprozessor 3300 eine BLIT-Maschine (Block Image Transfer) 3304 auf, um zweidimensionale (2D) Rasterisierungsoperationen durchzuführen, einschließlich z. B. Bit-Boundary Block Transfers. Bei mindestens einer Ausführungsform werden 2D-Grafikoperationen jedoch mit einer oder mehreren Komponenten der Grafikverarbeitungs-Maschine (GPE) 3310 durchgeführt. Bei mindestens einer Ausführungsform ist die GPE 3310 eine Rechenmaschine zur Durchführung von Grafikoperationen, die dreidimensionale (3D) Grafikoperationen und Medienoperationen einschließen.
Bei mindestens einer Ausführungsform weist die GPE 3310 eine 3D-Pipeline 3312 zur Durchführung von 3D-Operationen auf, wie z. B. das Rendern dreidimensionaler Bilder und Szenen unter Verwendung von Verarbeitungsfunktionen, die auf 3D-Primitivformen (z. B. Rechteck, Dreieck usw.) wirken. Die 3D-Pipeline 3312 weist bei mindestens einer Ausführungsform programmierbare und feste Funktionselemente auf, die verschiedene Aufgaben ausführen und/oder Ausführungs-Threads zu einem 3D/Media-Subsystem 3315 erzeugen. Während die 3D-Pipeline 3312 zur Durchführung von Medienoperationen verwendet werden kann, weist die GPE 3310 bei mindestens einer Ausführungsform auch eine Medien-Pipeline 3316 auf, die zur Durchführung von Medienoperationen, wie Videonachbearbeitung und Bildverbesserung, verwendet wird.
Bei mindestens einer Ausführungsform weist die Medienpipeline 3316 feste Funktions- oder programmierbare Logikeinheiten auf, um eine oder mehrere spezialisierte Medienoperationen wie Videodecodierbeschleunigung, Videoentflechtung und Videocodierbeschleunigung anstelle von oder im Auftrag der Videocodec-Maschine 3306 durchzuführen. Bei mindestens einer Ausführungsform weist die Medien-Pipeline 3316 zusätzlich eine Thread-Spawning-Einheit auf, um Threads zur Ausführung im 3D/Media-Subsystem 3315 zu erzeugen. Bei mindestens einer Ausführungsform führen die erzeugten Threads Berechnungen für Medienoperationen auf einer oder mehreren Grafikausführungseinheiten durch, die im 3D/Media-Subsystem 3315 vorhanden sind.
Bei mindestens einer Ausführungsform weist das 3D/Media-Subsystem 3315 eine Logik zur Ausführung von Threads auf, die von der 3D-Pipeline 3312 und der Media-Pipeline 3316 erzeugt werden. Bei mindestens einer Ausführungsform senden die 3D-Pipeline 3312 und die Medien-Pipeline 3316 Thread-Ausführungsanforderungen an das 3D/Media-Subsystem 3315, das eine Thread-Verteilungslogik aufweist, um verschiedene Anforderungen an verfügbare Thread-Ausführungsressourcen zu vermitteln und zu verteilen. Bei mindestens einer Ausführungsform weisen die Ausführungsressourcen eine Anordnung von Grafikausführungseinheiten zur Verarbeitung von 3D- und Medien-Threads auf. Bei mindestens einer Ausführungsform weist das 3D/Media-Subsystem 3315 einen oder mehrere interne Caches für Thread-Anweisungen und -Daten auf. Bei mindestens einer Ausführungsform weist das Subsystem 3315 auch einen gemeinsamen Speicher auf, einschließlich Registern und adressierbarem Speicher, um Daten zwischen Threads zu teilen und Ausgabedaten zu speichern.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1215 in den Grafikprozessor 3308 integriert sein. Zum Beispiel können bei mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferencing-Verfahren eine oder mehrere ALUs in einer 3D-Pipeline 3312 verwenden. Darüber hinaus können bei mindestens einer Ausführungsform die hier beschriebenen Inferencing- und/oder Trainingsoperationen mit einer anderen als der in den 12A oder 12B dargestellten Logik durchgeführt werden. Bei mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 3300 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 33 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 33 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 33 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
34 ist ein Blockdiagramm einer Grafikverarbeitungsmaschine 3410 eines Grafikprozessors gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform ist die Grafikverarbeitungsmaschine (GPE) 3410 eine Version der in 33 gezeigten GPE 3310. Bei mindestens einer Ausführungsform ist die Medienpipeline 3416 optional und darf nicht ausdrücklich in der GPE 3410 vorhanden sein. Bei mindestens einer Ausführungsform ist ein separater Medien- und/oder Bildprozessor mit der GPE 3410 verbunden.
Bei mindestens einer Ausführungsform ist die GPE 3410 mit einem Befehlsstreamer 3403 gekoppelt oder weist diesen auf, der einen Befehlsstrom an die 3D-Pipeline 3412 und/oder die Medienpipeline 3416 liefert. Bei mindestens einer Ausführungsform ist der Befehlsstreamer 3403 mit einem Speicher gekoppelt, bei dem es sich um einen Systemspeicher oder um einen oder mehrere interne Cache-Speicher und gemeinsam genutzte Cache-Speicher handeln kann. Bei mindestens einer Ausführungsform empfängt der Befehlsstreamer 3403 Befehle vom Speicher und sendet Befehle an die 3D-Pipeline 3412 und/oder die Medien-Pipeline 3416. Bei mindestens einer Ausführungsform handelt es sich bei den Befehlen um Anweisungen, Primitive oder Mikrooperationen, die aus einem Ringpuffer abgerufen werden, der Befehle für die 3D-Pipeline 3412 und die Medien-Pipeline 3416 speichert. Bei mindestens einer Ausführungsform kann ein Ringpuffer zusätzlich Batch-Befehlspuffer aufweisen, die Stapel von mehreren Befehlen speichern. Bei mindestens einer Ausführungsform können die Befehle für die 3D-Pipeline 3412 auch Verweise auf im Speicher gespeicherte Daten aufweisen, wie z. B. Vertex- und Geometriedaten für die 3D-Pipeline 3412 und/oder Bilddaten und Speicherobjekte für die Medien-Pipeline 3416. Bei mindestens einer Ausführungsform verarbeiten die 3D-Pipeline 3412 und die Medien-Pipeline 3416 Befehle und Daten, indem sie Operationen durchführen oder einen oder mehrere Ausführungsthreads an eine Grafikkernanordnung 3414 weiterleiten. Bei mindestens einer Ausführungsform weist die Grafikkernanordnung 3414 einen oder mehrere Blöcke von Grafikkernen auf (z. B. Grafikkern(e) 3415A, Grafikkern(e) 3415B), wobei jeder Block einen oder mehrere Grafikkerne aufweist. Bei mindestens einer Ausführungsform weist jeder Grafikkern einen Satz von Grafikausführungsressourcen auf, was eine allgemeine und eine grafikspezifische Ausführungslogik zur Durchführung von Grafik- und Rechenoperationen sowie eine Texturverarbeitungslogik mit fester Funktion und/oder eine Beschleunigungslogik für maschinelles Lernen und künstliche Intelligenz und die Inferenz- und/oder Trainingslogik 1215 in 12A und 12B einschließt.
Bei mindestens einer Ausführungsform weist die 3D-Pipeline 3412 eine feste Funktion und eine programmierbare Logik auf, um ein oder mehrere Shader-Programme wie Vertex-Shader, Geometrie-Shader, Pixel-Shader, Fragment-Shader, Rechen-Shader oder andere Shader-Programme zu verarbeiten, indem Befehle verarbeitet und Ausführungs-Threads an die Grafikkernanordnung 3414 gesendet werden. Bei mindestens einer Ausführungsform stellt die Grafikkernanordnung 3414 einen einheitlichen Block von Ausführungsressourcen für die Verarbeitung von Shader-Programmen bereit. Bei mindestens einer Ausführungsform weist die Mehrzweck-Ausführungslogik (z. B. Ausführungseinheiten) in den Grafikkernen 3415A-3415B der Grafikkernanordnung 3414 Unterstützung für verschiedene 3D-API-Shader-Sprachen auf und kann mehrere gleichzeitige Ausführungs-Threads ausführen, die mehreren Shadern zugeordnet sind.
Bei mindestens einer Ausführungsform weist die Grafikkernanordnung 3414 auch eine Ausführungslogik zur Durchführung von Medienfunktionen wie Video- und/oder Bildverarbeitung auf. Bei mindestens einer Ausführungsform weisen die Ausführungseinheiten zusätzlich eine Allzwecklogik auf, die so programmierbar ist, dass sie zusätzlich zu den Grafikverarbeitungsoperationen parallele Allzweckrechenoperationen durchführt.
Bei mindestens einer Ausführungsform können Ausgabedaten, die von Threads erzeugt werden, die auf der Grafikkernanordnung 3414 ausgeführt werden, an den Speicher in einem vereinheitlichten Rückgabepufferspeicher bzw. Unified Return Buffer (URB) 3418 ausgegeben werden. Der URB 3418 kann bei mindestens einer Ausführungsform Daten für mehrere Threads speichern. Bei mindestens einer Ausführungsform kann der URB 3418 verwendet werden, um Daten zwischen verschiedenen Threads zu senden, die auf der Grafikkernanordnung 3414 ausgeführt werden. Bei mindestens einer Ausführungsform kann der URB 3418 zusätzlich zur Synchronisation zwischen Threads auf der Grafikkernanordnung 3414 und der festen Funktionslogik innerhalb der gemeinsam genutzten Funktionslogik 3420 verwendet werden.
Bei mindestens einer Ausführungsform ist die Grafikkernanordnung 3414 skalierbar, so dass die Grafikkernanordnung 3414 eine variable Anzahl von Grafikkernen aufweist, von denen jeder eine variable Anzahl von Ausführungseinheiten hat, die auf einem angestrebten Energie- und Leistungsniveau der GPE 3410 basieren. Bei mindestens einer Ausführungsform sind die Ausführungsressourcen dynamisch skalierbar, so dass die Ausführungsressourcen je nach Bedarf aktiviert oder deaktiviert werden können.
Bei mindestens einer Ausführungsform ist die Grafikkernanordnung 3414 mit der gemeinsamen Funktionslogik 3420 gekoppelt, die mehrere Ressourcen aufweist, die von den Grafikkernen im der Grafikkernanordnung 3414 gemeinsam genutzt werden. Bei mindestens einer Ausführungsform sind die gemeinsam genutzten Funktionen, die von der gemeinsam genutzten Funktionslogik 3420 ausgeführt werden, in Hardware-Logikeinheiten verkörpert, die der Grafikkernanordnung 3414 eine spezielle Zusatzfunktionalität bieten. Bei mindestens einer Ausführungsform weist die gemeinsam genutzte Funktionslogik 3420 unter anderem eine Sampler-Einheit 3421, eine Mathematik-Einheit 3422 und eine Inter-Thread-Kommunikations- (ITC-) 3423 Logik auf. Bei mindestens einer Ausführungsform sind ein oder mehrere Cache(s) 3425 in der gemeinsam genutzten Funktionslogik 3420 vorhanden oder mit ihr gekoppelt.
Bei mindestens einer Ausführungsform wird eine gemeinsam genutzte Funktion verwendet, wenn die Nachfrage nach einer speziellen Funktion nicht ausreicht, um sie in die Grafikkernanordnung 3414 aufzunehmen. Bei mindestens einer Ausführungsform wird eine einzelne Instanziierung einer spezialisierten Funktion in der gemeinsam genutzten Funktionslogik 3420 verwendet und von anderen Ausführungsressourcen innerhalb der Grafikkernanordnung 3414 gemeinsam genutzt. Bei mindestens einer Ausführungsform können bestimmte gemeinsam genutzte Funktionen innerhalb der gemeinsam genutzten Funktionslogik 3420, die vom der Grafikkernanordnung 3414 intensiv genutzt werden, in der gemeinsam genutzten Funktionslogik 3416 innerhalb der Grafikkernanordnung 3414 vorhanden sein. Bei mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 3416 innerhalb der Grafikkernanordnung 3414 einige oder alle Logiken der gemeinsam genutzten Funktionslogik 3420 aufweisen. Bei mindestens einer Ausführungsform können alle Logikelemente innerhalb der gemeinsam genutzten Funktionslogik 3420 innerhalb der gemeinsam genutzten Funktionslogik 3416 der Grafikkernanordnung 3414 dupliziert sein. Bei mindestens einer Ausführungsform ist die gemeinsam genutzte Funktionslogik 3420 zugunsten der gemeinsam genutzten Funktionslogik 3416 innerhalb der Grafikkernanordnung 3414 ausgeschlossen.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1215 in den Grafikprozessor 3108 integriert sein. Zum Beispiel können bei mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferencing-Verfahren eine oder mehrere ALUs verwenden, die in der 3D-Pipeline 3412, dem/den Grafikkern(en) 3415, der gemeinsam genutzten Funktionslogik 3426, der gemeinsam genutzten Funktionslogik 3420 oder einer anderen Logik in 34 enthalten sind. Darüber hinaus können bei mindestens einer Ausführungsform die hier beschriebenen Inferencing- und/oder Trainingsoperationen mit einer anderen als der in den 12A oder 12B dargestellten Logik durchgeführt werden. Bei mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 3108 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 34 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 34 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 34 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
35 ist ein Blockdiagramm der Hardware-Logik eines Grafikprozessorkerns 3500, wie es hier in mindestens einer Ausführungsform beschrieben ist. Bei mindestens einer Ausführungsform ist der Grafikprozessorkern 3500 in einer Grafikkernanordnung vorhanden. Bei mindestens einer Ausführungsform kann der Grafikprozessorkern 3500, der manchmal auch als Kern-Slice bezeichnet wird, ein oder mehrere Grafikkerne innerhalb eines modularen Grafikprozessors sein. Bei mindestens einer Ausführungsform ist der Grafikprozessorkern 3500 ein Beispiel für einen Grafikkern-Slice, und ein Grafikprozessor, wie er hier beschrieben ist, kann mehrere Grafikkern-Slices aufweisen, die auf den angestrebten Energie- und Leistungshüllkurven basieren. Bei mindestens einer Ausführungsform kann jeder Grafikkern 3500 einen festen Funktionsblock 3530 aufweisen, der mit mehreren Unterkernen 3501A-3501F gekoppelt ist, die auch als Unter- bzw. Sub-Slices bezeichnet werden und modulare Blöcke mit Allzweck- und fester Funktionslogik aufweisen.
Bei mindestens einer Ausführungsform weist der Festfunktionsblock 3530 eine Geometrie-/Festfunktionspipeline 3536 auf, die von allen Unterkernen im Grafikprozessor 3500 gemeinsam genutzt werden kann, z. B. bei Grafikprozessorimplementierungen mit geringerer Leistung und/oder geringerem Energieverbrauch. Bei mindestens einer Ausführungsform weist die Geometrie/Festfunktionspipeline 3536 eine 3D-Festfunktionspipeline, eine Video-Front-End-Einheit, einen Thread-Spawner und Thread-Dispatcher sowie einen Unified-Return-Puffer-Manager auf, der Unified-Return-Puffer verwaltet.
Bei mindestens einer Ausführungsform weist der feste Funktionsblock 3530 auch eine Grafik-SoC-Schnittstelle 3537, einen Grafik-Mikrocontroller 3538 und eine Medienpipeline 3539 auf. Die Grafik-SoC-Schnittstelle 3537 stellt bei mindestens einer Ausführungsform eine Schnittstelle zwischen dem Grafikkern 3500 und anderen Prozessorkernen innerhalb einer integrierten System-on-Chip-Schaltung bereit. Bei mindestens einer Ausführungsform ist der Grafik-Mikrocontroller 3538 ein programmierbarer Unterprozessor, der so ausgestaltet werden kann, dass er verschiedene Funktionen des Grafikprozessors 3500 verwaltet, einschließlich Thread-Versand, Zeitplanung und Preemption. Bei mindestens einer Ausführungsform weist die Medienpipeline 3539 eine Logik zur Erleichterung der Decodierung, Codierung, Vorverarbeitung und/oder Nachverarbeitung von Multimediadaten, einschließlich Bild- und Videodaten, auf. Bei mindestens einer Ausführungsform implementiert die Medienpipeline 3539 Medienoperationen über Anforderungen an die Berechnungs- oder Abtastlogik innerhalb der Unterkerne 3501A-3501 F.
Bei mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 3537 dem Grafikkern 3500 die Kommunikation mit Mehrzweck-Anwendungsprozessorkernen (z. B. CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen wie einem gemeinsam genutzten Cache-Speicher der letzten Ebene, einem System-RAM und/oder einem eingebettetem On-Chip- oder On-Package-DRAM. Bei mindestens einer Ausführungsform kann die SoC-Schnittstelle 3537 auch die Kommunikation mit Einrichtungen mit fester Funktion innerhalb eines SoCs ermöglichen, wie z. B. Kamera-Bildgebungspipelines, und sie ermöglicht die Nutzung und/oder Implementierung globaler Speicher-Atome, die von Grafikkern 3500 und CPUs innerhalb eines SoCs gemeinsam genutzt werden können. Bei mindestens einer Ausführungsform kann die Grafik-SoC-Schnittstelle 3537 auch Energieverwaltungssteuerungen für den Grafikprozessorkern 3500 implementieren und eine Schnittstelle zwischen einer Taktdomäne des Grafikprozessorkerns 3500 und anderen Taktdomänen innerhalb eines SoCs ermöglichen. Bei mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 3537 den Empfang von Befehlspuffern von einem Befehlsstreamer und einem globalen Thread-Dispatcher, die so ausgestaltet sind, dass sie Befehle und Anweisungen für jeden von einem oder mehreren Grafikkernen innerhalb eines Grafikprozessors bereitstellen. Bei mindestens einer Ausführungsform können Befehle und Anweisungen an die Medienpipeline 3539 gesendet werden, wenn Medienoperationen durchgeführt werden sollen, oder an eine Geometrie- und Festfunktionspipeline (z. B. Geometrie- und Festfunktionspipeline 3536 und/oder Geometrie- und Festfunktionspipeline 3514) gesendet werden, wenn Grafikverarbeitungsoperationen durchgeführt werden sollen.
Bei mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3538 so ausgestaltet sein, dass er verschiedene Planungs- und Verwaltungsaufgaben für den Grafikkern 3500 ausführt. Bei mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3538 die Planung von Grafik- und/oder Rechenaufgaben auf verschiedenen parallelen Grafik-Maschinen innerhalb von Anordnungen 3502A-3502F, 3504A-3504F von Ausführungseinheiten (EU) innerhalb der Unterkerne 3501A-3501 F durchführen. Bei mindestens einer Ausführungsform kann eine Host-Software, die auf einem CPU-Kern eines SoC ausgeführt wird, der den Grafikkern 3500 aufweist, Arbeitslasten an einen von mehreren Grafikprozessor-Pfaden übermitteln, die einen Planungsvorgang auf einer geeigneten Grafik-Maschine aufruft. Bei mindestens einer Ausführungsform weisen die Planungsvorgänge die Bestimmung der als Nächstes auszuführenden Arbeitslast, die Übermittlung einer Arbeitslast an einen Befehlsstreamer, das Vorziehen bestehender Arbeitslasten, die auf einer Maschine ausgeführt werden, die Überwachung des Fortschritts einer Arbeitslast und die Benachrichtigung der Host-Software nach Abschluss einer Arbeitslast auf. Bei mindestens einer Ausführungsform kann der Grafik-Mikrocontroller 3538 auch stromsparende Zustände oder Leerlaufzustände für den Grafikkern 3500 erleichtern, indem er dem Grafikkern 3500 die Möglichkeit bietet, Register innerhalb des Grafikkerns 3500 über stromsparende Zustandsübergänge unabhängig von einem Betriebssystem und/oder einer Grafiktreibersoftware auf einem System zu speichern und wiederherzustellen.
Bei mindestens einer Ausführungsform kann der Grafikkern 3500 mehr oder weniger als die dargestellten Unterkerne 3501A-3501 F aufweisen, bis zu N modulare Unterkerne. Bei mindestens einer Ausführungsform kann der Grafikkern 3500 für jeden Satz von N Unterkernen auch eine gemeinsam genutzte Funktionslogik 3510, einen gemeinsam genutzten und/oder Cache-Speicher 3512, eine Geometrie-/Festfunktionspipeline 3514 sowie eine zusätzliche Festfunktionslogik 3516 aufweisen, um verschiedene Grafik- und Rechenverarbeitungsvorgänge zu beschleunigen. Bei mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 3510 logische Einheiten aufweisen (z. B. Sampler, Mathematik und/oder Inter-Thread-Kommunikationslogik), die von jedem der N Unterkerne innerhalb des Grafikkerns 3500 gemeinsam genutzt werden können. Gemeinsamer und/oder Cache-Speicher 3512 kann bei mindestens einer Ausführungsform ein Cache der letzten Ebene für N Unterkerne 3501A-3501 F innerhalb des Grafikkerns 3500 sein und kann auch als gemeinsamer Speicher dienen, auf den mehrere Unterkerne zugreifen können. Bei mindestens einer Ausführungsform kann die Geometrie-/Festfunktionspipeline 3514 anstelle der Geometrie-/Festfunktionspipeline 3536 innerhalb des Festfunktionsblocks 3530 vorhanden sein und kann gleiche oder ähnliche Logikeinheiten aufweisen.
Bei mindestens einer Ausführungsform weist der Grafikkern 3500 eine zusätzliche Festfunktionslogik 3516 auf, die verschiedene Festfunktions-Beschleunigungslogiken zur Verwendung durch den Grafikkern 3500 aufweisen kann. Bei mindestens einer Ausführungsform weist die zusätzliche Festfunktionslogik 3516 eine zusätzliche Geometrie-Pipeline zur Verwendung beim positionsgebundenen Shading auf. Bei dem positionsgebundenen Shading gibt es mindestens zwei Geometrie-Pipelines, nämlich eine vollständige Geometrie-Pipeline innerhalb der Geometrie- und Festfunktions-Pipelines 3514, 3536, und eine Cull-Pipeline, die eine zusätzliche Geometrie-Pipeline ist und in der eine zusätzliche Festfunktionslogik 3516 enthalten sein kann. Bei mindestens einer Ausführungsform ist die Cull-Pipeline eine abgespeckte Version einer vollständigen Geometrie-Pipeline. Bei mindestens einer Ausführungsform können eine vollständige Pipeline und eine Cull-Pipeline verschiedene Instanzen einer Anwendung ausführen, wobei jede Instanz einen eigenen Kontext hat. Bei mindestens einer Ausführungsform kann das positionsgebundene Shading lange Cull-Läufe von verworfenen Dreiecken verbergen, so dass das Shading bei einigen Ausführungsformen früher abgeschlossen werden kann. Zum Beispiel kann bei mindestens einer Ausführungsform die Cull-Pipeline-Logik innerhalb der zusätzlichen Festfunktionslogik 3516 Positions-Shader parallel zu einer Hauptanwendung ausführen und generiert im Allgemeinen kritische Ergebnisse schneller als eine vollständige Pipeline, da die Cull-Pipeline die Positionsattribute von Vertices abruft und schattiert, ohne eine Rasterung und ein Rendering von Pixeln in einen Frame-Puffer durchzuführen. Bei mindestens einer Ausführungsform kann die Cull-Pipeline die generierten kritischen Ergebnisse verwenden, um die Sichtbarkeitsinformationen für alle Dreiecke zu berechnen, ohne Rücksicht darauf, ob diese Dreiecke aussortiert sind. Bei mindestens einer Ausführungsform kann die vollständige Pipeline (die in diesem Fall als Wiederholungspipeline bezeichnet werden kann) Sichtbarkeitsinformationen verwenden, um aussortierte Dreiecke zu überspringen, um nur sichtbare Dreiecke zu schattieren, die schließlich an eine Rasterisierungsphase übergeben werden.
Bei mindestens einer Ausführungsform kann die zusätzliche Festfunktionslogik 3516 auch eine Logik zur Beschleunigung des maschinellen Lernens aufweisen, wie z. B. eine Logik zur Matrixmultiplikation mit fester Funktion, für Implementierungen, die Optimierungen für das Training oder Inferencing des maschinellen Lernens umfassen.
Bei mindestens einer Ausführungsform weist jeder Grafik-Unterkern 3501A-3501 F einen Satz von Ausführungsressourcen auf, die verwendet werden können, um Grafik-, Medien- und Rechenoperationen als Reaktion auf Anforderungen von Grafikpipeline-, Medienpipeline- oder Shader-Programmen durchzuführen. Bei mindestens einer Ausführungsform weisen die Grafik-Unterkerne 3501 A-3501 F mehrere EU-Arrays 3502A-3502F, 3504A-3504F, eine Thread-Dispatch- und Inter-Thread-Kommunikationslogik (TD/IC) 3503A-3503F, einen 3D-Sampler (z. B. Textur) 3505A-3505F, einen Media-Sampler 3506A-3506F, einen Shader-Prozessor 3507A-3507F und einen gemeinsamen lokalen Speicher (SLM) 3508A-3508F auf. Die EU-Anordnungen 3502A-3502F, 3504A-3504F weisen bei mindestens einer Ausführungsform jeweils mehrere Ausführungseinheiten auf, bei denen es sich um Allzweck-Grafikverarbeitungseinheiten handelt, die in der Lage sind, Gleitkomma- und Ganzzahl-/Festkomma-Logikoperationen bei einer Grafik-, Medien- oder Rechenoperation, einschließlich Grafik-, Medien- oder Rechenshader-Programmen, durchzuführen. Bei mindestens einer Ausführungsform führt die TD/IC-Logik 3503A-3503F lokale Thread-Dispatch- und Thread-Steuerungsoperationen für Ausführungseinheiten innerhalb eines Unterkerns durch und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Unterkerns ausgeführt werden. Bei mindestens einer Ausführungsform können die 3D-Sampler 3505A-3505F Textur- oder andere 3D-Grafikdaten in den Speicher einlesen. Bei mindestens einer Ausführungsform können die 3D-Sampler Texturdaten auf der Grundlage eines konfigurierten Abtaststatus und eines mit einer bestimmten Textur verbundenen Texturformats unterschiedlich lesen. Bei mindestens einer Ausführungsform können die Mediensampler 3506A-3506F ähnliche Lesevorgänge auf der Grundlage eines Typs und Formats durchführen, die mit den Mediendaten verbunden sind. Bei mindestens einer Ausführungsform kann jeder Grafik-Unterkern 3501A-3501F abwechselnd einen vereinheitlichten 3D- und Medien-Sampler aufweisen. Bei mindestens einer Ausführungsform können Threads, die auf Ausführungseinheiten innerhalb jedes der Unterkerne 3501A-3501 F ausgeführt werden, den gemeinsamen lokalen Speicher 3508A-3508F innerhalb jedes Unterkerns nutzen, um Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, die Ausführung unter Verwendung eines gemeinsamen Pools von On-Chip-Speicher zu ermöglichen.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1215 in den Grafikprozessor 3500 integriert sein. Zum Beispiel können bei mindestens einer Ausführungsform die hier beschriebenen Trainings- und/oder Inferencing-Verfahren eine oder mehrere ALUs verwenden, die in einer 3D-Pipeline, einem Grafik-Mikrocontroller 3538, einer Geometrie- und Festfunktions-Pipeline 3514 und 3536 oder einer anderen Logik in 35 enthalten sind. Darüber hinaus können bei mindestens einer Ausführungsform die hier beschriebenen Inferencing- und/oder Trainingsoperationen mit einer anderen als der in den 12A oder 12B dargestellten Logik durchgeführt werden. Bei mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die ALUs des Grafikprozessors 3500 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 35 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 35 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 35 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
36A und 36B zeigen die Thread-Ausführungslogik 3600, die eine Anordnung von Verarbeitungselementen eines Grafikprozessorkerns gemäß mindestens einer Ausführungsform aufweist. 36A illustriert mindestens eine Ausführungsform, in der die Thread-Ausführungslogik 3600 verwendet wird. 36B illustriert beispielhafte interne Details einer Grafik-Ausführungseinheit 3608 gemäß mindestens einer Ausführungsform.
Wie es in 36A dargestellt ist, weist die Thread-Ausführungslogik 3600 bei mindestens einer Ausführungsform einen Shader-Prozessor 3602, einen Thread-Dispatcher 3604, einen Befehls-Cache 3606, eine skalierbare Ausführungseinheitenanordnung mit einer Vielzahl von Ausführungseinheiten 3607A-3607N und 3608A-3608N, einen Sampler 3610, einen Daten-Cache 3612 und einen Datenanschluss 3614 auf. Bei mindestens einer Ausführungsform kann eine skalierbare Ausführungseinheitenanordnung dynamisch skaliert werden, indem eine oder mehrere Ausführungseinheiten (z. B. eine der Ausführungseinheiten 3608A-N oder 3607A-N) auf der Grundlage der Rechenanforderungen einer Arbeitslast aktiviert oder deaktiviert werden. Bei mindestens einer Ausführungsform sind die skalierbaren Ausführungseinheiten über eine Verbindungsstruktur miteinander verbunden, die eine Verbindung zu jeder Ausführungseinheit herstellt. Bei mindestens einer Ausführungsform weist die Thread-Ausführungslogik 3600 eine oder mehrere Verbindungen zum Speicher auf, z. B. zum Systemspeicher oder zum Cache-Speicher, und zwar über einen oder mehrere der folgenden Elemente: Befehlscache 3606, Datenanschluss 3614, Sampler 3610 und Ausführungseinheiten 3607 oder 3608. Bei mindestens einer Ausführungsform ist jede Ausführungseinheit (z. B. 3607A) eine eigenständige programmierbare Mehrzweck-Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und dabei mehrere Datenelemente parallel für jeden Thread zu verarbeiten. Bei mindestens einer Ausführungsform ist die Anordnung der Ausführungseinheiten 3607 und/oder 3608 so skalierbar, dass sie eine beliebige Anzahl einzelner Ausführungseinheiten aufweist.
Bei mindestens einer Ausführungsform werden die Ausführungseinheiten 3607 und/oder 3608 hauptsächlich zur Ausführung von Shader-Programmen verwendet. Bei mindestens einer Ausführungsform kann der Shader-Prozessor 3602 verschiedene Shader-Programme verarbeiten und die mit den Shader-Programmen verbundenen Ausführungs-Threads über einen Thread-Dispatcher 3604 verteilen. Bei mindestens einer Ausführungsform weist der Thread-Dispatcher 3604 eine Logik auf, um Thread-Initiierungsanforderungen von Grafik- und Medienpipelines zu vermitteln und angeforderte Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 3607 und/oder 3608 zu instanziieren. Bei mindestens einer Ausführungsform kann eine Geometrie-Pipeline beispielsweise Vertex-, Tessellierungs- oder Geometrie-Shader an die Thread-Ausführungslogik zur Verarbeitung weiterleiten. Bei mindestens einer Ausführungsform kann der Thread-Dispatcher 3604 auch Laufzeit-Thread-Erzeugungs-Anforderungen von ausführenden Shader-Programmen verarbeiten.
Bei mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 3607 und/oder 3608 einen Befehlssatz, der eine native Unterstützung für viele Standard-3D-Grafik-Shader-Befehle aufweist, so dass Shader-Programme aus Grafikbibliotheken (z. B. Direct 3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. Bei mindestens einer Ausführungsform unterstützen die Ausführungseinheiten die Vertex- und Geometrieverarbeitung (z. B. Vertex-Programme, Geometrieprogramme und/oder Vertex-Shader), die Pixelverarbeitung (z. B. Pixel-Shader, Fragment-Shader) und die allgemeine Verarbeitung (z. B. Rechen- und Media-Shader). Bei mindestens einer Ausführungsform ist jede der Ausführungseinheiten 3607 und/oder 3608, die eine oder mehrere arithmetische Logikeinheiten (ALUs) aufweisen, zur SIMD-Ausführung (Single Instruction Multiple Data) fähig, und der Multi-Thread-Betrieb ermöglicht trotz höherer Latenzzeiten bei Speicherzugriffen eine effiziente Ausführungsumgebung. Bei mindestens einer Ausführungsform verfügt jeder Hardware-Thread innerhalb jeder Ausführungseinheit über eine eigene Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Status. Bei mindestens einer Ausführungsform erfolgt die Ausführung mit mehreren Threads pro Takt auf Pipelines, die Ganzzahl-, Gleitkomma- und Doppelpräzisionsoperationen, SIMD-Verzweigungsfähigkeit, logische Operationen, transzendentale Operationen und andere verschiedene Operationen ausführen können. Bei mindestens einer Ausführungsform bewirkt die Abhängigkeitslogik in den Ausführungseinheiten 3607 und/oder 3608, dass ein wartender Thread in den Ruhezustand versetzt wird, bis die angeforderten Daten zurückgegeben wurden, während er auf Daten aus dem Speicher oder einer der gemeinsam genutzten Funktionen wartet. Bei mindestens einer Ausführungsform können, während ein wartender Thread schläft, Hardware-Ressourcen für die Verarbeitung anderer Threads verwendet werden. Zum Beispiel kann bei mindestens einer Ausführungsform eine Ausführungseinheit während einer Verzögerung, die mit einer Vertex-Shader-Operation verbunden ist, Operationen für einen Pixel-Shader, Fragment-Shader oder eine andere Art von Shader-Programm durchführen, das einen anderen Vertex-Shader aufweist.
Bei mindestens einer Ausführungsform arbeitet jede Ausführungseinheit in den Ausführungseinheiten 3607 und/oder 3608 mit Anordnungen von Datenelementen. Bei mindestens einer Ausführungsform ist eine Anzahl von Datenelementen die „Ausführungsgröße“ oder die Anzahl von Kanälen für eine Anweisung. Bei mindestens einer Ausführungsform ist ein Ausführungskanal eine logische Ausführungseinheit für den Zugriff auf Datenelemente, die Maskierung und die Flusssteuerung innerhalb von Anweisungen. Bei mindestens einer Ausführungsform kann die Anzahl der Kanäle unabhängig von der Anzahl der physischen Arithmetic Logic Units (ALUs) oder Floating Point Units (FPUs) für einen bestimmten Grafikprozessor sein. Bei mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 3607 und/oder 3608 Ganzzahl- und Gleitkomma-Datentypen.
Bei mindestens einer Ausführungsform weist der Befehlssatz einer Ausführungseinheit SIMD-Befehle auf. Bei mindestens einer Ausführungsform können verschiedene Datenelemente als gepackter Datentyp in einem Register gespeichert werden, und die Ausführungseinheit verarbeitet verschiedene Elemente basierend auf der Datengröße der Elemente. Zum Beispiel werden bei mindestens einer Ausführungsform bei der Bearbeitung eines 256 Bit breiten Vektors 256 Bits eines Vektors in einem Register gespeichert, und eine Ausführungseinheit bearbeitet einen Vektor als vier separate gepackte 64-Bit-Datenelemente (Datenelemente der Größe Quad-Word (QW)), als acht separate gepackte 32-Bit-Datenelemente (Datenelemente der Größe Double Word (DW)), als sechzehn separate gepackte 16-Bit-Datenelemente (Datenelemente der Größe Word (W)) oder als zweiunddreißig separate 8-Bit-Datenelemente (Datenelemente der Größe Byte (B)). Bei mindestens einer Ausführungsform sind jedoch auch andere Vektorbreiten und Registergrößen möglich.
Bei mindestens einer Ausführungsform können eine oder mehrere Ausführungseinheiten zu einer fusionierten Ausführungseinheit 3609A-3609N mit einer Thread-Steuerungslogik (3611A-3611 N) kombiniert werden, die den fusionierten EUs gemeinsam ist, wie z.B. eine Ausführungseinheit 3607A, die mit der Ausführungseinheit 3608A in die fusionierte Ausführungseinheit 3609A fusioniert ist. Bei mindestens einer Ausführungsform können mehrere EUs zu einer EU-Gruppe verschmolzen werden. Bei mindestens einer Ausführungsform kann jede EU in einer fusionierten EU-Gruppe so ausgestaltet sein, dass sie einen separaten SIMD-Hardware-Thread ausführt, wobei die Anzahl der EUs in einer fusionierten EU-Gruppe je nach Ausführungsform variieren kann. Bei mindestens einer Ausführungsform können verschiedene SIMD-Breiten pro EU ausgeführt werden, die unter anderem SIMD8, SIMD16 und SIMD32 beinhalten. Bei mindestens einer Ausführungsform weist jede fusionierte Grafikausführungseinheit 3609A-3609N mindestens zwei Ausführungseinheiten auf. Bei mindestens einer Ausführungsform weist die fusionierte Ausführungseinheit 3609A beispielsweise eine erste EU 3608A, eine zweite EU 3608B und eine Thread-Steuerlogik 3607A auf, die der ersten EU 3608A und der zweiten EU 3608B gemeinsam ist. Bei mindestens einer Ausführungsform steuert die Thread-Steuerlogik 3607A Threads, die auf der fusionierten Grafikausführungseinheit 3609A ausgeführt werden, so dass jede EU innerhalb der fusionierten Ausführungseinheiten 3609A-3609N unter Verwendung eines gemeinsamen Befehlszeigerregisters ausgeführt werden kann.
Bei mindestens einer Ausführungsform weist die Thread-Ausführungslogik 3600 einen oder mehrere interne Befehls-Caches (z. B. 3606) auf, um Thread-Befehle für Ausführungseinheiten zu cachen. Bei mindestens einer Ausführungsform sind ein oder mehrere Daten-Caches (z.B. 3612) vorhanden, um Thread-Daten während der Thread-Ausführung zu cachen. Bei mindestens einer Ausführungsform ist ein Sampler 3610 vorhanden, um Textur-Sampling für 3D-Operationen und Medien-Sampling für Medien-Operationen bereitzustellen. Bei mindestens einer Ausführungsform weist der Sampler 3610 eine spezielle Textur- oder Mediensampling-Funktionalität auf, um Textur- oder Mediendaten während des Sampling-Prozesses zu verarbeiten, bevor er die gesampelten Daten an eine Ausführungseinheit weitergibt.
Bei mindestens einer Ausführungsform senden Grafik- und Medienpipelines während der Ausführung Thread-Initiierungsanforderungen an die Thread-Ausführungslogik 3600 über die Thread-Erzeugungs- und Versandlogik. Bei mindestens einer Ausführungsform wird, sobald eine Gruppe geometrischer Objekte verarbeitet und in Pixeldaten gerastert wurde, die Pixelprozessorlogik (z. B. Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 3602 aufgerufen, um darüber hinaus Ausgabeinformationen zu berechnen und zu veranlassen, dass die Ergebnisse in Ausgabeflächen (z. B. Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) geschrieben werden. Bei mindestens einer Ausführungsform berechnet ein Pixel-Shader oder Fragment-Shader die Werte verschiedener Vertex-Attribute, die über ein gerastertes Objekt interpoliert werden sollen. Bei mindestens einer Ausführungsform führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 3602 dann ein über eine Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. Bei mindestens einer Ausführungsform leitet der Shader-Prozessor 3602 zur Ausführung eines Shader-Programms Threads über den Thread-Dispatcher 3604 an eine Ausführungseinheit (z. B. 3608A) weiter. Bei mindestens einer Ausführungsform verwendet der Shader-Prozessor 3602 die Texturabtastlogik im Abtaster 3610, um auf Texturdaten in den im Speicher abgelegten Texturkarten zuzugreifen. Bei mindestens einer Ausführungsform werden durch arithmetische Operationen an Texturdaten und Eingabegeometriedaten Pixelfarbdaten für jedes geometrische Fragment berechnet oder ein oder mehrere Pixel von der weiteren Verarbeitung ausgeschlossen.
Bei mindestens einer Ausführungsform stellt der Datenanschluss 3614 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 3600 bereit, um verarbeitete Daten zur weiteren Verarbeitung auf einer Grafikprozessor-Ausgabepipeline in den Speicher auszugeben. Bei mindestens einer Ausführungsform weist der Datenanschluss 3614 einen oder mehrere Cache-Speicher (z.B. den Daten-Cache 3612) auf oder ist mit diesen gekoppelt, um Daten für den Speicherzugriff über einen Datenanschluss zwischenzuspeichern.
Wie in 36B dargestellt ist, kann eine Grafikausführungseinheit 3608 bei mindestens einer Ausführungsform eine Befehlsabrufeinheit 3637, eine allgemeine Registerdateianordnung (GRF) 3624, eine architektonische Registerdateianordnung (ARF) 3626, einen Thread-Zuteiler 3622, eine Sendeeinheit 3630, eine Verzweigungseinheit 3632, einen Satz SIMD-Gleitkommaeinheiten (FPUs) 3634 und einen Satz dedizierter ganzzahliger SIMD-ALUs 3635 aufweisen. Bei mindestens einer Ausführungsform weisen die GRF 3624 und die ARF 3626 einen Satz allgemeiner Registerdateien und Architekturregisterdateien auf, die jedem gleichzeitigen Hardware-Thread zugeordnet sind, der in der Grafikausführungseinheit 3608 aktiv sein kann. Bei mindestens einer Ausführungsform wird der architektonische Zustand pro Thread in der ARF 3626 verwaltet, während die während der Thread-Ausführung verwendeten Daten in der GRF 3624 gespeichert werden. Bei mindestens einer Ausführungsform kann der Ausführungszustand jedes Threads, der Befehlszeiger für jeden Thread aufweist, in Thread-spezifischen Registern in der ARF 3626 gehalten werden.
Bei mindestens einer Ausführungsform hat die Grafikausführungseinheit 3608 eine Architektur, die eine Kombination aus simultanem Multi-Threading (SMT) und feinkörnigem Interleaved Multi-Threading (IMT) ist. Bei mindestens einer Ausführungsform weist die Architektur eine modulare Konfiguration auf, die zur Entwurfszeit auf der Grundlage einer angestrebten Anzahl gleichzeitiger Threads und der Anzahl von Registern pro Ausführungseinheit fein abgestimmt werden kann, wobei die Ressourcen der Ausführungseinheit auf die Logik aufgeteilt werden, die zur Ausführung mehrerer gleichzeitiger Threads verwendet wird.
Bei mindestens einer Ausführungsform kann die Grafikausführungseinheit 3608 mehrere Befehle gemeinsam ausgeben, die jeweils unterschiedliche Befehle sein können. Bei mindestens einer Ausführungsform kann der Thread-Zuteiler 3622 des Threads der Grafikausführungseinheit 3608 Anweisungen an eine der Sendeeinheiten 3630, Verzweigungseinheiten 3642 oder SIMD-FPU(s) 3634 zur Ausführung weiterleiten. Bei mindestens einer Ausführungsform kann jeder Thread auf 128 Allzweckregister innerhalb der GRF 3624 zugreifen, wobei jedes Register 32 Byte speichern kann, die als SIMD-8-Element-Vektor von 32-Bit-Datenelementen zugänglich sind. Bei mindestens einer Ausführungsform hat jeder Thread der Ausführungseinheit Zugriff auf 4 Kilobyte innerhalb der GRF 3624, obwohl die Ausführungsformen nicht so beschränkt sind und bei anderen Ausführungen mehr oder weniger Registerressourcen bereitgestellt werden können. Bei mindestens einer Ausführungsform können bis zu sieben Threads gleichzeitig ausgeführt werden, obwohl die Anzahl der Threads pro Ausführungseinheit je nach Ausführungsform auch variieren kann. Bei mindestens einer Ausführungsform, bei der sieben Threads auf 4 Kilobyte zugreifen können, kann die GRF 3624 insgesamt 28 Kilobyte speichern. Bei mindestens einer Ausführungsform können flexible Adressierungsmodi ermöglichen, dass Register gemeinsam adressiert werden, um effektiv breitere Register zu bilden oder um strided rechteckige Blockdatenstrukturen darzustellen.
Bei mindestens einer Ausführungsform werden Speicheroperationen, Abtastoperationen und andere Systemkommunikationen mit längerer Latenzzeit über „Sende“-Befehle abgewickelt, die von einer Nachrichten-Durchlass-Sendeeinheit 3630 ausgeführt werden. Bei mindestens einer Ausführungsform werden Verzweigungsbefehle an eine Verzweigungseinheit 3632 weitergeleitet, um Divergenz und eventuelle Konvergenz bezüglich SIMD zu ermöglichen.
Bei mindestens einer Ausführungsform weist die Grafikausführungseinheit 3608 eine oder mehrere SIMD-Gleitkommaeinheiten (FPU(s)) 3634 auf, um Gleitkommaoperationen durchzuführen. Bei mindestens einer Ausführungsform unterstützen die FPU(s) 3634 auch Ganzzahlberechnungen. Bei mindestens einer Ausführungsform kann (können) die FPU(s) 3634 bis zu einer Anzahl M von 32-Bit-Gleitkomma- (oder Ganzzahl-) Operationen oder bis zu 2M 16-Bit-Ganzzahl- oder 16-Bit-Gleitkomma-Operationen bezüglich SIMD ausführen. Bei mindestens einer Ausführungsform bietet mindestens eine der FPU(s) erweiterte mathematische Fähigkeiten zur Unterstützung von transzendentalen mathematischen Funktionen mit hohem Durchsatz und 64-Bit-Gleitkommaoperationen mit doppelter Genauigkeit. Bei mindestens einer Ausführungsform ist auch ein Satz von 8-Bit-Integer-SIMD-ALUs 3635 vorhanden, die speziell für die Durchführung von Operationen im Zusammenhang mit Berechnungen zum maschinellen Lernen optimiert sein können.
Bei mindestens einer Ausführungsform können Anordnungen aus mehreren Instanzen der Grafikausführungseinheit 3608 in einer Grafik-Unterkern-Gruppierung (z. B. einem Unter-Slice) instanziiert sein. Bei mindestens einer Ausführungsform kann die Ausführungseinheit 3608 Anweisungen über eine Vielzahl von Ausführungskanälen ausführen. Bei mindestens einer Ausführungsform wird jeder Thread, der auf der Grafikausführungseinheit 3608 ausgeführt wird, auf einem anderen Kanal ausgeführt.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zur Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 1215 in die Thread-Ausführungslogik 3600 integriert sein. Darüber hinaus können bei mindestens einer Ausführungsform die hier beschriebenen Inferencing- und/oder Trainingsoperationen mit einer anderen als der in den 12A oder 12B dargestellten Logik durchgeführt werden. Bei mindestens einer Ausführungsform können Gewichtungsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder in Registern (dargestellt oder nicht dargestellt) gespeichert werden, die den ALU-Thread der Ausführungslogik 3600 konfigurieren, um einen oder mehrere hier beschriebene Algorithmen zum maschinellen Lernen, Architekturen für neuronale Netze, Anwendungsfälle oder Trainingsverfahren durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 36A und 36B dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 36A und 36B dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 36A und 36B dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind
37 zeigt eine Parallelverarbeitungseinheit („PPU“) 3700 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform ist die PPU 3700 mit maschinenlesbarem Code ausgestaltet, der, wenn er von der PPU 3700 ausgeführt wird, die PPU 3700 veranlasst, einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Techniken durchzuführen. Bei mindestens einer Ausführungsform ist die PPU 3700 ein Multi-Thread-Prozessor, der auf einer oder mehreren integrierten Einrichtungen implementiert ist und der Multithreading als eine Technik zum Verbergen von Latenzzeiten verwendet, die dazu dient, computerlesbare Befehle (auch als maschinenlesbare Befehle oder einfach Befehle bezeichnet) auf mehreren Threads parallel zu verarbeiten. Bei mindestens einer Ausführungsform bezieht sich ein Thread auf einen Ausführungsstrang und ist eine Instanziierung eines Satzes von Anweisungen, die zur Ausführung durch die PPU 3700 konfiguriert sind. Bei mindestens einer Ausführungsform ist die PPU 3700 eine Grafikverarbeitungseinheit („GPU“), die so konfiguriert ist, dass sie eine Grafik-Rendering-Pipeline zur Verarbeitung dreidimensionaler („3D“) Grafikdaten implementiert, um zweidimensionale („2D“) Bilddaten für die Anzeige auf einer Einrichtung wie einer Flüssigkristallanzeige („LCD“) zu erzeugen. Bei mindestens einer Ausführungsform wird die PPU 3700 verwendet, um Berechnungen wie lineare Algebra-Operationen und Operationen des maschinellen Lernens durchzuführen. 37 zeigt ein Beispiel für einen Parallelprozessor, der nur zur Veranschaulichung dient und als nicht begrenzendes Beispiel für Prozessorarchitekturen zu verstehen ist, die im Rahmen dieser Offenbarung in Betracht gezogen werden, wobei jeder geeignete Prozessor zur Ergänzung und/oder zum Ersatz desselben verwendet werden kann.
Bei mindestens einer Ausführungsform sind eine oder mehrere PPUs 3700 so ausgestaltet, dass sie Anwendungen für High Performance Computing („HPC“), Rechenzentren und maschinelles Lernen beschleunigen. Bei mindestens einer Ausführungsform ist die PPU 3700 so ausgestaltet, dass sie Deep-Learning-Systeme und -Anwendungen beschleunigt, die die folgenden nicht einschränkenden Beispiele einschließen: autonome Fahrzeugplattformen, Deep Learning, hochpräzise Sprach-, Bild- und Texterkennungssysteme, intelligente Videoanalyse, molekulare Simulationen, Arzneimittelentdeckung, Krankheitsdiagnose, Wettervorhersage, Big-Data-Analytik, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotik, Fabrikautomatisierung, Echtzeit-Sprachübersetzung, Online-Suchoptimierung und personalisierte Benutzerempfehlungen und mehr.
Bei mindestens einer Ausführungsform weist die PPU 3700 ohne Einschränkung eine Input/Output (I/O-)-Einheit 3706, eine Front-End-Einheit 3710, eine Scheduler-Einheit 3712, eine Arbeitsverteilungseinheit 3714, einen Hub 3716, ein Koppelfeld („Xbar“) 3720, einen oder mehrere allgemeine Verarbeitungscluster („GPCs“) 3718 und eine oder mehrere Partitionseinheiten („Speicherpartitionseinheiten“) 3722 auf. Bei mindestens einer Ausführungsform ist die PPU 3700 mit einem Host-Prozessor oder anderen PPUs 3700 über eine oder mehrere Hochgeschwindigkeits-GPU-Verbindungen („GPU-Interconnects“) 3708 verbunden. Bei mindestens einer Ausführungsform ist die PPU 3700 mit einem Host-Prozessor oder anderen peripheren Einrichtungen über einen Systembus 3702 verbunden. Bei mindestens einer Ausführungsform ist die PPU 3700 mit einem lokalen Speicher verbunden, der eine oder mehrere Speichereinrichtungen („Speicher“) 3704 umfasst. Bei mindestens einer Ausführungsform weisen die Speichereinrichtungen 3704 ohne Einschränkung eine oder mehrere dynamische Direktzugriffsspeicher („DRAM“)-Einrichtungen auf. Bei mindestens einer Ausführungsform sind eine oder mehrere DRAM-Vorrichtungen als Subsysteme mit Speicher mit hoher Bandbreite („HBM“) ausgestaltet und/oder konfigurierbar, wobei in jeder Einrichtung mehrere DRAM-Dies gestapelt sind.
Bei mindestens einer Ausführungsform kann sich die Hochgeschwindigkeits-GPU-Verbindung 3708 auf eine drahtbasierte Mehrspur-Kommunikationsverbindung beziehen, die von Systemen verwendet wird, die skalierbar sind und eine oder mehrere PPUs 3700 aufweisen, die mit einer oder mehreren Zentraleinheiten („CPUs“) kombiniert sind, und die Cache-Kohärenz zwischen PPUs 3700 und CPUs sowie CPU-Mastering unterstützt. Bei mindestens einer Ausführungsform werden Daten und/oder Befehle durch die Hochgeschwindigkeits-GPU-Verbindung 3708 über den Hub 3716 zu/von anderen Einheiten der PPU 3700 übertragen, wie z. B. einer oder mehreren Kopiermaschinen, Video-Encodern, Video-Decodern, Energieverwaltungseinheiten und anderen Komponenten, die in 37 möglicherweise nicht explizit dargestellt sind.
Bei mindestens einer Ausführungsform ist die I/O-Einheit 3706 so ausgestaltet, dass sie Kommunikationen (z. B. Befehle, Daten) von einem Host-Prozessor (in 37 nicht dargestellt) über den Systembus 3702 sendet und empfängt. Bei mindestens einer Ausführungsform kommuniziert die I/O-Einheit 3706 mit dem Host-Prozessor direkt über den Systembus 3702 oder über eine oder mehrere zwischengeschaltete Einrichtungen wie z. B. eine Speicherbrücke. Bei mindestens einer Ausführungsform kann die I/O-Einheit 3706 mit einem oder mehreren anderen Prozessoren, z. B. einer oder mehreren PPUs 3700, über den Systembus 3702 kommunizieren. Bei mindestens einer Ausführungsform implementiert die I/O-Einheit 3706 eine Peripheral Component Interconnect Express („PCIe“) Schnittstelle für die Kommunikation über einen PCle-Bus. Bei mindestens einer Ausführungsform implementiert die I/O-Einheit 3706 Schnittstellen für die Kommunikation mit externen Einrichtungen.
Bei mindestens einer Ausführungsform decodiert die I/O-Einheit 3706 über den Systembus 3702 empfangene Pakete. Bei mindestens einer Ausführungsform stellen mindestens einige Pakete Befehle dar, die so ausgestaltet sind, dass sie die PPU 3700 veranlassen, verschiedene Operationen durchzuführen. Bei mindestens einer Ausführungsform überträgt die I/O-Einheit 3706 decodierte Befehle an verschiedene andere Einheiten der PPU 3700, wie es von den Befehlen angegeben ist. Bei mindestens einer Ausführungsform werden Befehle an die Front-End-Einheit 3710 und/oder an den Hub 3716 oder andere Einheiten der PPU 3700, wie eine oder mehrere Kopiermaschinen, einen Video-Encoder, einen Video-Decoder, eine Energieverwaltungseinheit usw., übertragen. (in 37 nicht explizit dargestellt). Bei mindestens einer Ausführungsform ist die I/O-Einheit 3706 so ausgestaltet, dass sie die Kommunikation zwischen und unter verschiedenen logischen Einheiten der PPU 3700 leitet.
Bei mindestens einer Ausführungsform codiert ein vom Host-Prozessor ausgeführtes Programm einen Befehlsstrom in einem Puffer, der der PPU 3700 Arbeitslasten zur Verarbeitung bereitstellt. Bei mindestens einer Ausführungsform umfasst eine Arbeitslast Befehle und Daten, die von diesen Befehlen verarbeitet werden sollen. Bei mindestens einer Ausführungsform ist der Puffer ein Bereich in einem Speicher, auf den sowohl der Host-Prozessor als auch die PPU 3700 zugreifen können (z. B. Lese-/Schreibzugriff) - eine Host-Schnittstelleneinheit kann so ausgestaltet sein, dass sie auf diesen Puffer in einem mit dem Systembus 3702 verbundenen Systemspeicher über Speicheranforderungen zugreift, die von der I/O-Einheit 3706 über den Systembus 3702 übertragen werden. Bei mindestens einer Ausführungsform schreibt der Host-Prozessor einen Befehlsstrom in den Puffer und überträgt dann einen Zeiger auf den Beginn des Befehlsstroms an die PPU 3700, so dass die Front-End-Einheit 3710 Zeiger auf einen oder mehrere Befehlsströme empfängt und einen oder mehrere Befehlsströme verwaltet, Befehle aus den Befehlsströmen liest und Befehle an verschiedene Einheiten der PPU 3700 weiterleitet.
Bei mindestens einer Ausführungsform ist die Front-End-Einheit 3710 mit der Scheduler-Einheit 3712 gekoppelt, die verschiedene GPCs 3718 zur Verarbeitung von Tasks ausgestaltet, die durch einen oder mehrere Befehlsströme definiert sind. Bei mindestens einer Ausführungsform ist die Scheduler-Einheit 3712 so ausgestaltet, dass sie Zustandsinformationen in Bezug auf verschiedene, von der Scheduler-Einheit 3712 verwaltete Tasks verfolgt, wobei die Zustandsinformationen angeben können, welchem der GPCs 3718 eine Task zugewiesen ist, ob die Task aktiv oder inaktiv ist, welche Prioritätsstufe der Task zugeordnet ist und so weiter. Bei mindestens einer Ausführungsform verwaltet die Scheduler-Einheit 3712 die Ausführung einer Vielzahl von Tasks auf einem oder mehreren GPCs 3718.
Bei mindestens einer Ausführungsform ist die Scheduler-Einheit 3712 mit der Arbeitsverteilungseinheit 3714 gekoppelt, die so ausgestaltet ist, dass sie Tasks zur Ausführung auf den GPCs 3718 auswählt. Bei mindestens einer Ausführungsform verfolgt die Arbeitsverteilungseinheit 3714 eine Anzahl geplanter Tasks, die von der Planungseinheit 3712 empfangen wurden, und die Arbeitsverteilungseinheit 3714 verwaltet einen Pool ausstehender Tasks und einen Pool aktiver Tasks für jeden der GPCs 3718. Bei mindestens einer Ausführungsform umfasst der Pool ausstehender Tasks eine Anzahl von Slots (z.B. 32 Slots), die Tasks enthalten, die zur Verarbeitung durch einen bestimmten GPC 3718 zugewiesen sind; der Pool aktiver Tasks kann eine Anzahl von Slots (z.B. 4 Slots) für Tasks umfassen, die aktiv von den GPCs 3718 verarbeitet werden, so dass, wenn einer der GPCs 3718 die Ausführung einer Task abschließt, diese Task aus dem Pool aktiver Tasks für den GPC 3718 entfernt wird und eine andere Task aus einem Pool ausstehender Tasks ausgewählt und zur Ausführung auf dem GPC 3718 eingeplant wird. Bei mindestens einer Ausführungsform wird, wenn eine aktive Task auf dem GPC 3718 im Leerlauf ist, z.B. während des Wartens auf die Auflösung einer Datenabhängigkeit, die aktive Task aus dem GPC 3718 entfernt und in den Pool der anstehenden Tasks zurückgeführt werden, während eine andere Task im Pool der anstehenden Tasks ausgewählt und für die Ausführung auf dem GPC 3718 eingeplant wird.
Bei mindestens einer Ausführungsform kommuniziert die Arbeitsverteilungseinheit 3714 mit einem oder mehreren GPCs 3718 über die XBar 3720. Bei mindestens einer Ausführungsform ist die XBar 3720 ein Verbindungsnetzwerk, das viele Einheiten der PPU 3700 mit anderen Einheiten der PPU 3700 verbindet und so ausgestaltet werden kann, dass es die Arbeitsverteilungseinheit 3714 mit einem bestimmten GPC 3718 verbindet. Bei mindestens einer Ausführungsform können auch eine oder mehrere andere Einheiten der PPU 3700 über den Hub 3716 mit der XBar 3720 verbunden sein.
Bei mindestens einer Ausführungsform werden die Tasks von der Scheduler-Einheit 3712 verwaltet und von der Arbeitsverteilungseinheit 3714 an einen der GPCs 3718 weitergeleitet. Der GPC 3718 ist bei mindestens einer Ausführungsform ausgestaltet, um Tasks zu verarbeiten und Ergebnisse zu erzeugen. Bei mindestens einer Ausführungsform können die Ergebnisse von anderen Tasks innerhalb des GPC 3718 aufgenommen, über die XBar 3720 an einen anderen GPC 3718 weitergeleitet oder im Speicher 3704 abgelegt werden. Bei mindestens einer Ausführungsform können die Ergebnisse in den Speicher 3704 über Partitionseinheiten 3722 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 3704 implementieren. Bei mindestens einer Ausführungsform können die Ergebnisse über eine Hochgeschwindigkeits-GPU-Verbindung 3708 an eine andere PPU 3704 oder CPU übertragen werden. Bei mindestens einer Ausführungsform weist die PPU 3700 ohne Einschränkung eine Anzahl U von Partitionseinheiten 3722 auf, die einer Anzahl der mit der PPU 3700 verbundenen separaten und unterschiedlichen Speichereinrichtungen 3704 entspricht, was hier in Verbindung mit 39 ausführlicher beschrieben wird.
Bei mindestens einer Ausführungsform führt ein Host-Prozessor einen Treiberkern aus, der eine Anwendungsprogrammierschnittstelle („API“) implementiert, die es einer oder mehreren auf dem Host-Prozessor ausgeführten Anwendungen ermöglicht, Operationen zur Ausführung auf der PPU 3700 zu planen. Bei mindestens einer Ausführungsform werden mehrere Rechenanwendungen gleichzeitig von der PPU 3700 ausgeführt, und die PPU 3700 bietet Isolierung, Dienstgüte („QoS“) und unabhängige Adressräume für mehrere Rechenanwendungen. Bei mindestens einer Ausführungsform generiert eine Anwendung Anweisungen (z. B. in Form von API-Aufrufen), die den Treiberkern veranlassen, eine oder mehrere Tasks zur Ausführung durch die PPU 3700 zu generieren, und der Treiberkern gibt Tasks an einen oder mehrere Streams aus, die von der PPU 3700 verarbeitet werden. Bei mindestens einer Ausführungsform umfasst jede Task eine oder mehrere Gruppen von zusammenhängenden Threads, die als Warp bezeichnet werden können. Bei mindestens einer Ausführungsform umfasst ein Warp eine Vielzahl zusammengehöriger Threads (z. B. 32 Threads), die parallel ausgeführt werden können. Bei mindestens einer Ausführungsform können sich kooperierende Threads auf eine Vielzahl von Threads beziehen, die Anweisungen zur Ausführung von Tasks aufweisen und Daten über einen gemeinsamen Speicher austauschen. Bei mindestens einer Ausführungsform werden Threads und kooperierende Threads gemäß mindestens einer Ausführungsform in Verbindung mit 39 ausführlicher beschrieben.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform wird der Deep Learning-Anwendungsprozessor verwendet, um ein Modell zum maschinellen Lernen, wie z.B. ein neuronales Netz, zu trainieren, um Informationen, die der PPU 3700 zur Verfügung gestellt werden, vorherzusagen oder abzuleiten. Bei mindestens einer Ausführungsform wird der Deep Learning-Anwendungsprozessor verwendet, um Informationen auf der Grundlage eines trainierten Modells zum maschinellen Lernen (z.B. eines neuronalen Netzes), das von einem anderen Prozessor oder System oder von der PPU 3700 trainiert wurde, abzuleiten oder vorherzusagen. Bei mindestens einer Ausführungsform kann die PPU 3700 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle von neuronalen Netzen auszuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 37 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 37 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 37 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
38 illustriert einen allgemeinen Verarbeitungscluster („GPC“) 3800 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform handelt es sich bei dem GPC 3800 um den GPC 3718 aus 38. Bei mindestens einer Ausführungsform weist jeder GPC 3800 ohne Einschränkung eine Anzahl von Hardware-Einheiten für die Verarbeitung von Tasks auf, und jeder GPC 3800 weist ohne Einschränkung einen Pipeline-Manager 3802, eine Pre-Raster-Operationseinheit („preROP“) 3804, eine Raster-Maschine 3808, ein Arbeitsverteilungs-Koppelfeld („WDX“) 3816, eine Speicherverwaltungseinheit („MMU“) 3818, einen oder mehrere Datenverarbeitungscluster („DPCs“) 3806 und jede geeignete Kombination von Teilen auf.
Bei mindestens einer Ausführungsform wird der Betrieb des GPC 3800 durch den Pipeline-Manager 3802 gesteuert. Bei mindestens einer Ausführungsform verwaltet der Pipeline-Manager 3802 die Konfiguration eines oder mehrerer DPCs 3806 für die Verarbeitung von Tasks, die dem GPC 3800 zugewiesen sind. Bei mindestens einer Ausführungsform konfiguriert der Pipeline-Manager 3802 mindestens einen von einem oder mehreren DPCs 3806, um mindestens einen Abschnitt einer Grafik-Rendering-Pipeline zu implementieren. Bei mindestens einer Ausführungsform ist der DPC 3806 so ausgestaltet, dass er ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 3814 ausführt. Bei mindestens einer Ausführungsform ist der Pipeline-Manager 3802 so ausgestaltet, dass er die von einer Arbeitsverteilungseinheit empfangenen Pakete an geeignete logische Einheiten innerhalb des GPC 3800 weiterleitet, wobei einige Pakete an Hardwareeinheiten mit fester Funktion im preROP 3804 und/oder in der Rastermaschine 3808 weitergeleitet werden können, während andere Pakete an DPCs 3806 zur Verarbeitung durch eine Primitivmaschine 3812 oder SM 3814 weitergeleitet werden können. Bei mindestens einer Ausführungsform konfiguriert der Pipeline-Manager 3802 mindestens einen der DPCs 3806 zur Implementierung eines Modells eines neuronalen Netzes und/oder einer Rechenpipeline.
Bei mindestens einer Ausführungsform ist die preROP-Einheit 3804 so ausgestaltet, dass sie die von der Rastermaschine 3808 und den DPCs 3806 erzeugten Daten an eine Raster Operations („ROP“)-Einheit in der Partitionseinheit 3722 weiterleitet, die oben in Verbindung mit 37 ausführlicher beschrieben ist. Bei mindestens einer Ausführungsform ist die preROP-Einheit 3804 so ausgestaltet, dass sie Optimierungen für die Farbmischung durchführt, Pixeldaten organisiert, Adressübersetzungen vornimmt und vieles mehr. Bei mindestens einer Ausführungsform weist die Rastermaschine 3808 ohne Einschränkung eine Reihe von Hardware-Einheiten mit fester Funktion auf, die so konfiguriert sind, dass sie verschiedene Rasteroperationen durchführen, und die Rastermaschine 3808 weist ohne Einschränkung eine Setup-Maschine, eine Grobraster-Maschine, eine Culling-Maschine, eine Clipping-Maschine, eine Feinraster-Maschine, eine Tile-Coalescing-Maschine und eine beliebige geeignete Kombination davon auf. Bei mindestens einer Ausführungsform empfängt die Setup-Maschine transformierte Vertices und erzeugt Ebenengleichungen, die mit einer durch Vertices definierten geometrischen Primitive verbunden sind; die Ebenengleichungen werden an die Grobraster-Maschine übertragen, um Abdeckungsinformationen (z. B. eine x-, y-Abdeckungsmaske für eine Kachel) für die Primitive zu erzeugen; die Ausgabe der Grobraster-Maschine wird an die Culling-Maschine übertragen, wo Fragmente, die dem Primitive zugeordnet sind und einen z-Test nicht bestehen, aussortiert werden, und an eine Clipping-Maschine übertragen, wo Fragmente, die außerhalb eines Sichtkegelvolumens liegen, abgeschnitten werden. Bei mindestens einer Ausführungsform werden die Fragmente, die das Clipping und Culling überstehen, an eine Feinraster-Maschine weitergeleitet, um Attribute für Pixelfragmente auf der Grundlage der von der Setup-Maschine erstellten Ebenengleichungen zu erzeugen. Bei mindestens einer Ausführungsform umfasst die Ausgabe der Raster-Maschine 3808 Fragmente, die von einer beliebigen geeigneten Einheit, wie z. B. einem in DPC 3806 implementierten Fragment-Shader, verarbeitet werden.
Bei mindestens einer Ausführungsform umfasst jeder DPC 3806, der in der GPC 3800 enthalten ist, ohne Einschränkung eine M-Pipe-Steuerung („MPC“) 3810, eine Primitiv-Maschine 3812, einen oder mehrere SMs 3814 und eine beliebige geeignete Kombination davon auf. Bei mindestens einer Ausführungsform steuert die MPC 3810 den Betrieb der DPC 3806 und leitet die vom Pipeline-Manager 3802 empfangenen Pakete an die entsprechenden Einheiten im DPC 3806 weiter. Bei mindestens einer Ausführungsform werden Pakete, die einem Vertex zugeordnet sind, an die Primitiv-Maschine 3812 weitergeleitet, die so ausgestaltet ist, dass sie Vertex-Attribute, die dem Vertex zugeordnet sind, aus dem Speicher abruft; im Gegensatz dazu können Pakete, die einem Shader-Programm zugeordnet sind, an den SM 3814 übertragen werden.
Bei mindestens einer Ausführungsform umfasst der SM 3814 ohne Einschränkung einen programmierbaren Streaming-Prozessor, der so gestaltet ist, dass er Tasks verarbeitet, die durch eine Anzahl von Threads dargestellt werden. Bei mindestens einer Ausführungsform ist der SM 3814 multi-threaded und so ausgestaltet, dass er eine Vielzahl von Threads (z.B. 32 Threads) aus einer bestimmten Gruppe von Threads gleichzeitig ausführt und eine Single-Instruction, Multiple-Data („SIMD“)-Architektur implementiert, bei der jeder Thread in einer Gruppe von Threads (z.B. ein Warp) so ausgestaltet ist, dass er einen anderen Datensatz auf der Grundlage desselben Satzes von Anweisungen verarbeitet. Bei mindestens einer Ausführungsform führen alle Threads in einer Gruppe von Threads einen gemeinsamen Satz von Befehlen aus. Bei mindestens einer Ausführungsform implementiert der SM 3814 eine Single-Instruction, Multiple Thread („SIMT“)-Architektur, bei der jeder Thread in einer Gruppe von Threads so ausgestaltet ist, dass er einen anderen Datensatz auf der Grundlage dieses gemeinsamen Satzes von Befehlen verarbeitet, wobei jedoch die einzelnen Threads in der Gruppe von Threads während der Ausführung divergieren dürfen. Bei mindestens einer Ausführungsform werden ein Programmzähler, ein Aufrufstack und ein Ausführungsstatus für jeden Warp gehalten, wodurch die Gleichzeitigkeit zwischen Warps und die serielle Ausführung innerhalb von Warps ermöglicht wird, wenn Threads innerhalb eines Warps divergieren. In einer anderen Ausführungsform werden ein Programmzähler, ein Aufrufstack und ein Ausführungsstatus für jeden einzelnen Thread gehalten, was eine gleiche Nebenläufigkeit zwischen allen Threads innerhalb und zwischen Warps ermöglicht. Bei mindestens einer Ausführungsform wird der Ausführungsstatus für jeden einzelnen Thread gehalten, und Threads, die gemeinsame Befehle ausführen, können zur Verbesserung der Effizienz zusammengeführt und parallel ausgeführt werden. Mindestens eine Ausführungsform des SM 3814 wird hier ausführlicher beschrieben.
Bei mindestens einer Ausführungsform stellt die MMU 3818 eine Schnittstelle zwischen dem GPC 3800 und der Speicherpartitionseinheit (z. B. der Partitionseinheit 3722 in 37) bereit, und die MMU 3818 sorgt für die Übersetzung virtueller Adressen in physikalische Adressen, den Speicherschutz und die Konkurrenzbereinigung von Speicheranforderungen. Bei mindestens einer Ausführungsform stellt die MMU 3818 einen oder mehrere Übersetzungs-Lookaside-Puffer („TLBs“) zur Durchführung der Übersetzung virtueller Adressen in physische Adressen im Speicher bereit.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell zum maschinellen Lernen, wie z.B. ein neuronales Netz, zu trainieren, um die dem GPC 3800 bereitgestellten Informationen vorherzusagen oder abzuleiten. Bei mindestens einer Ausführungsform wird GPC 3800 verwendet, um Informationen auf der Grundlage eines trainierten Modells zum maschinellen Lernen (z.B. eines neuronalen Netzes), das von einem anderen Prozessor oder System oder von dem GPC 3800 trainiert wurde, abzuleiten oder vorherzusagen. Bei mindestens einer Ausführungsform kann der GPC 3800 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle eines neuronalen Netzes auszuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 38 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 38 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 38 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
39 zeigt eine Speicherpartitionseinheit 3900 einer Parallelverarbeitungseinheit („PPU“) bei mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform weist die Speicherpartitionierungseinheit 3900 ohne Einschränkung eine Raster Operations („ROP“)-Einheit 3902, einen Level Two („L2“)-Cache 3904, eine Speicherschnittstelle 3906 und jede geeignete Kombination davon auf. Bei mindestens einer Ausführungsform ist die Speicherschnittstelle 3906 mit dem Speicher gekoppelt. Bei mindestens einer Ausführungsform kann die Speicherschnittstelle 3906 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliches für die Hochgeschwindigkeitsdatenübertragung implementieren. Bei mindestens einer Ausführungsform umfasst die PPU U Speicherschnittstellen 3906, wobei U eine positive ganze Zahl ist, mit einer Speicherschnittstelle 3906 pro Paar von Partitionseinheiten 3900, wobei jedes Paar von Partitionseinheiten 3900 mit einer entsprechenden Speichereinrichtung verbunden ist. Bei mindestens einer Ausführungsform kann die PPU beispielsweise mit bis zu Y Speichereinrichtungen verbunden sein, wie z. B. mit Speicherstacks mit hoher Bandbreite oder mit einem synchronen dynamischen wahlfreien Grafikspeicher mit doppelter Datenrate, Version 5 („GDDR5 SDRAM“).
Bei mindestens einer Ausführungsform implementiert die Speicherschnittstelle 3906 eine Speicherschnittstelle der zweiten Generation mit hoher Bandbreite („HBM2“), und Y ist gleich der Hälfte von U. Bei mindestens einer Ausführungsform befinden sich die HBM2-Speicherstacks auf einem physischen Gehäuse mit der PPU, was im Vergleich zu herkömmlichen GDDR5-SDRAM-Systemen erhebliche Energie- und Flächeneinsparungen ermöglicht. Bei mindestens einer Ausführungsform weist jeder HBM2-Stack, ohne Einschränkung, vier Speicherchips auf und Y = 4, wobei jeder HBM2-Stack zwei 128-Bit-Kanäle pro Chip für insgesamt 8 Kanäle und eine Datenbusbreite von 1024 Bit aufweist. Bei mindestens einer Ausführungsform unterstützt der Speicher den Single-Error Correcting Double-Error Detecting („SECDED“) Error Correction Code („ECC“) zum Schutz der Daten. ECC bietet bei mindestens einer Ausführungsform eine höhere Zuverlässigkeit für Datenverarbeitungsanwendungen, die empfindlich auf Datenverfälschung reagieren.
Bei mindestens einer Ausführungsform implementiert die PPU eine mehrstufige Speicherhierarchie. Bei mindestens einer Ausführungsform unterstützt die Speicherpartitionierungseinheit 3900 einen einheitlichen Speicher, um einen einzigen einheitlichen virtuellen Adressraum für die Zentraleinheit („CPU“) und den PPU-Speicher bereitzustellen, was die gemeinsame Nutzung von Daten zwischen virtuellen Speichersystemen ermöglicht. Bei mindestens einer Ausführungsform wird die Häufigkeit der Zugriffe einer PPU auf Speicher auf anderen Prozessoren verfolgt, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU verschoben werden, die häufiger Zugriffe auf Seiten vornimmt. Bei mindestens einer Ausführungsform unterstützt die Hochgeschwindigkeits-GPU-Verbindung 3708 Adressübersetzungsdienste, die es der PPU ermöglichen, direkt auf die Seitentabellen der CPU zuzugreifen und der PPU vollen Zugriff auf den CPU-Speicher zu ermöglichen.
Bei mindestens einer Ausführungsform übertragen Kopiermodule Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. Bei mindestens einer Ausführungsform können Kopiermodule Seitenfehler für Adressen erzeugen, die nicht in Seitentabellen abgebildet sind, und die Speicherpartitionierungseinheit 3900 bearbeitet dann die Seitenfehler, indem sie die Adressen in die Seitentabelle abbildet, woraufhin das Kopiermodul die Übertragung durchführt. Bei mindestens einer Ausführungsform wird der Speicher für mehrere Kopiermaschinen-Operationen zwischen mehreren Prozessoren gepinnt (d. h. ist nicht auslagerbar), wodurch der verfügbare Speicher erheblich reduziert wird. Bei mindestens einer Ausführungsform können mit Hardware für Seitenfehler Adressen an Kopiermaschinen weitergegeben werden, ohne Rücksicht darauf, ob Speicherseiten resident sind, und der Kopiervorgang ist transparent.
Daten aus dem Speicher 3704 von 37 oder einem anderen Systemspeicher werden von der Speicherpartitionseinheit 3900 abgerufen und im L2-Cache 3904 gespeichert, der sich auf dem Chip befindet und bei mindestens einer Ausführungsform von verschiedenen GPCs gemeinsam genutzt wird. Jede Speicherpartitionseinheit 3900 weist bei mindestens einer Ausführungsform ohne Einschränkung mindestens einen Abschnitt des L2-Cache auf, der einer entsprechenden Einrichtung zugeordnet ist. Bei mindestens einer Ausführungsform sind Caches der unteren Ebene in verschiedenen Einheiten innerhalb von GPCs implementiert. Bei mindestens einer Ausführungsform kann jeder der SMs 3814 in 38 einen Level 1 Cache („L1") implementieren, wobei der L1-Cache ein privater Speicher ist, der einem bestimmten SM 3814 zugeordnet ist, und Daten aus dem L2-Cache 3904 abgerufen und in jedem der L1-Caches zur Verarbeitung in Funktionseinheiten der SMs 3814 gespeichert werden. Bei mindestens einer Ausführungsform ist der L2-Cache 3904 mit der Speicherschnittstelle 3906 und der XBar 3720 verbunden, wie es in 37 dargestellt ist.
Die ROP-Einheit 3902 führt bei mindestens einer Ausführungsform Grafikrasteroperationen durch, die sich auf die Pixelfarbe beziehen, wie z. B. Farbkomprimierung, Pixelüberblendung und mehr. Bei mindestens einer Ausführungsform implementiert die ROP-Einheit 3902 eine Tiefenprüfung in Verbindung mit der Rastermaschine 3808, wobei sie eine Tiefe für eine Abtastposition, die mit einem Pixelfragment verbunden ist, von der Culling-Maschine der Rastermaschine 3808 erhält. Bei mindestens einer Ausführungsform wird die Tiefe gegen eine entsprechende Tiefe in einem Tiefenpuffer für einen mit einem Fragment verbundenen Probenort getestet. Bei mindestens einer Ausführungsform aktualisiert die ROP-Einheit 3902 den Tiefenpuffer und überträgt das Ergebnis des Tiefentests an die Rastermaschine 3808, wenn das Fragment den Tiefentest für den Probenort besteht. Es wird deutlich, dass eine Anzahl der Partitionseinheiten 3900 von der Anzahl der GPCs abweichen kann, und daher kann jede ROP-Einheit 3902 bei mindestens einer Ausführungsform mit jedem der GPCs gekoppelt sein. Bei mindestens einer Ausführungsform verfolgt die ROP-Einheit 3902 die von verschiedenen GPCs empfangenen Pakete und bestimmt, ob ein von der ROP-Einheit 3902 erzeugtes Ergebnis über das XBar 3720 weiterzuleiten ist.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 39 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 39 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 39 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
40 zeigt einen Streaming-Multiprozessor („SM“) 4000 gemäß mindestens einer Ausführungsform. Bei mindestens einer Ausführungsform ist der SM 4000 der SM von 38. Bei mindestens einer Ausführungsform weist der SM 4000 ohne Einschränkung einen Befehls-Cache 4002, eine oder mehrere Scheduler-Einheiten 4004, eine Registerdatei 4008, einen oder mehrere Verarbeitungskerne („Cores“) 4010, eine oder mehrere Spezialfunktionseinheiten („SFUs“) 4012, eine oder mehrere Lade-/Speichereinheiten („LSUs“) 4014, ein Verbindungsnetzwerk 4016, einen gemeinsamen Speicher/L1-Cache 4018 und eine beliebige geeignete Kombination davon auf.
Bei mindestens einer Ausführungsform verteilt eine Arbeitsverteilungseinheit Tasks zur Ausführung auf allgemeinen Verarbeitungsclustern („GPCs“) von Parallelverarbeitungseinheiten („PPUs“), und jede Task wird einem bestimmten Datenverarbeitungscluster („DPC“) innerhalb eines GPCs zugewiesen, und wenn die Task mit einem Shader-Programm verbunden ist, wird die Task einem der SMs 4000 zugewiesen. Bei mindestens einer Ausführungsform empfängt die Scheduler-Einheit 4004 Tasks von der Arbeitsverteilungseinheit und verwaltet die Befehlsplanung für einen oder mehrere Thread-Blöcke, die dem SM 4000 zugewiesen sind. Bei mindestens einer Ausführungsform plant die Scheduler-Einheit 4004 Thread-Blöcke für die Ausführung als Warps von parallelen Threads, wobei jedem Thread-Block mindestens ein Warp zugewiesen wird. Bei mindestens einer Ausführungsform führt jeder Warp Threads aus. Bei mindestens einer Ausführungsform verwaltet die Scheduler-Einheit 4004 eine Vielzahl verschiedener Thread-Blöcke, indem sie den verschiedenen Thread-Blöcken Warps zuweist und dann während jedes Taktzyklus Anweisungen aus einer Vielzahl verschiedener kooperativer Gruppen an verschiedene Funktionseinheiten (z. B. Verarbeitungskerne 4010, SFUs 4012 und LSUs 4014) verteilt.
Bei mindestens einer Ausführungsform können sich kooperative Gruppen auf ein Programmiermodell zum Organisieren von Gruppen kommunizierender Threads beziehen, das es Entwicklern ermöglicht, die Granularität auszudrücken, mit der Threads kommunizieren, und um so reichhaltigere, effizientere parallele Dekompositionen zu ermöglichen. Bei mindestens einer Ausführungsform unterstützen kooperative Start-APIs die Synchronisierung zwischen Thread-Blöcken zur Ausführung paralleler Algorithmen. Bei mindestens einer Ausführungsform bieten Anwendungen herkömmlicher Programmiermodelle ein einziges, einfaches Konstrukt für die Synchronisierung kooperierender Threads: eine Barriere über alle Threads eines Thread-Blocks (z. B. die Funktion syncthreads( )). Bei mindestens einer Ausführungsform können Programmierer jedoch Gruppen von Threads mit einer kleineren Granularität als der des Thread-Blocks definieren und innerhalb der definierten Gruppen synchronisieren, um eine höhere Leistung, Designflexibilität und Software-Wiederverwendung in Form von gemeinsamen gruppenweiten Funktionsschnittstellen zu ermöglichen. Bei mindestens einer Ausführungsform ermöglichen kooperative Gruppen Programmierern, Gruppen von Threads explizit auf Subblock- (d. h. so klein wie ein einzelner Thread) und Multiblock-Granularität zu definieren und kollektive Operationen wie die Synchronisierung auf Threads in einer kooperativen Gruppe durchzuführen. Bei mindestens einer Ausführungsform unterstützt das Programmiermodell eine saubere Komposition über Softwaregrenzen hinweg, so dass Bibliotheken und Dienstprogramme innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne dass Annahmen über Konvergenz getroffen werden müssen. Bei mindestens einer Ausführungsform ermöglichen die Primitives für kooperative Gruppen neue Muster kooperativer Parallelität, die ohne Einschränkung Erzeuger-Verbraucher-Parallelität, opportunistische Parallelität und globale Synchronisierung über ein ganzes Raster von Thread-Blöcken einschließen.
Bei mindestens einer Ausführungsform ist eine Dispatcher-Einheit 4006 ausgestaltet, um Anweisungen an eine oder mehrere Funktionseinheiten zu übertragen, und die Scheduler-Einheit 4004 weist ohne Einschränkung zwei Dispatcher-Einheiten 4006 auf, die es ermöglichen, dass zwei verschiedene Anweisungen aus demselben Warp während jedes Taktzyklus versandt werden. Bei mindestens einer Ausführungsform weist jede Scheduler-Einheit 4004 eine einzelne Dispatcher-Einheit 4006 oder zusätzliche Dispatcher-Einheiten 4006 auf.
Bei mindestens einer Ausführungsform weist jeder SM 4000 ohne Einschränkung eine Registerdatei 4008 auf, die einen Satz von Registern für Funktionseinheiten des SM 4000 bereitstellt. Bei mindestens einer Ausführungsform ist die Registerdatei 4008 zwischen den einzelnen Funktionseinheiten aufgeteilt, so dass jeder Funktionseinheit ein eigener Abschnitt der Registerdatei 4008 zugewiesen ist. Bei mindestens einer Ausführungsform ist die Registerdatei 4008 zwischen verschiedenen Warps aufgeteilt, die von dem SM 4000 ausgeführt werden, und die Registerdatei 4008 stellt einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten verbunden sind. Bei mindestens einer Ausführungsform umfasst jeder SM 4000 ohne Einschränkung eine Vielzahl von L Verarbeitungskernen 4010, wobei L eine positive ganze Zahl ist. Bei mindestens einer Ausführungsform weist der SM 4000 ohne Einschränkung eine große Anzahl (z. B. 128 oder mehr) unterschiedlicher Verarbeitungskerne 4010 auf. In mindestens einer Ausführungsform weist jeder Verarbeitungskern 4010 ohne Einschränkung eine Vollpipeline-, Einzelpräzisions-, Doppelpräzisions- und/oder gemischte Präzisionsverarbeitungseinheit auf, die ohne Einschränkung eine arithmetische Gleitkomma-Logikeinheit und eine arithmetische Ganzzahl-Logikeinheit umfasst. Bei mindestens einer Ausführungsform implementieren die arithmetischen Gleitkomma-Logikeinheiten den Standard IEEE 754-2008 für Gleitkomma-Arithmetik. Bei mindestens einer Ausführungsform weisen die Verarbeitungskerne 4010 ohne Einschränkung 64 Gleitkomma-Kerne mit einfacher Genauigkeit (32 Bit), 64 Ganzzahl-Kerne, 32 Gleitkomma-Kerne mit doppelter Genauigkeit (64 Bit) und 8 Tensor-Kerne auf.
Tensorkerne sind gemäß mindestens einer Ausführungsform für die Durchführung von Matrixoperationen ausgestaltet. Bei mindestens einer Ausführungsform sind ein oder mehrere Tensorkerne in den Verarbeitungskernen 4010 vorhanden. Bei mindestens einer Ausführungsform sind Tensorkerne so ausgestaltet, dass sie Deep-Learning-Matrixarithmetik durchführen, wie z. B. Faltungsoperationen für das Training und Inferencing von neuronalen Netzen. Bei mindestens einer Ausführungsform arbeitet jeder Tensorkern mit einer 4x4-Matrix und führt eine Matrixmultiplikations- und Akkumulationsoperation D = A X B + C durch, wobei A, B, C und D 4x4-Matrizen sind.
Bei mindestens einer Ausführungsform sind die Matrixmultiplikationseingänge A und B 16-Bit-Gleitkommamatrizen und die Akkumulationsmatrizen C und D sind 16-Bit-Gleitkomma- oder 32-Bit-Gleitkommamatrizen. Bei mindestens einer Ausführungsform arbeiten die Tensorkerne mit 16-Bit-Gleitkomma-Eingangsdaten und 32-Bit-Gleitkomma-Akkumulation. Bei mindestens einer Ausführungsform werden für die 16-Bit-Gleitkommamultiplikation 64 Operationen verwendet, was zu einem Produkt mit voller Genauigkeit führt, das dann unter Verwendung einer 32-Bit-Gleitkomma-Adition mit anderen Zwischenprodukten zu einer 4x4x4-Matrixmultiplikation akkumuliert wird. Bei mindestens einer Ausführungsform werden Tensor-Kerne verwendet, um viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die aus diesen kleineren Elementen aufgebaut sind. Bei mindestens einer Ausführungsform stellt eine API wie die CUDA 9 C++ API spezialisierte Operationen zum Laden, Multiplizieren und Akkumulieren von Matrizen sowie zum Speichern von Matrizen bereit, um Tensorkerne von einem CUDA-C++-Programm aus effizient zu nutzen. Bei mindestens einer Ausführungsform auf CUDA-Ebene geht die Schnittstelle auf Warp-Ebene von Matrizen der Größe 16x16 aus, die sich über alle 32 Threads des Warp erstrecken.
Bei mindestens einer Ausführungsform umfasst jeder SM 4000 ohne Einschränkung M SFUs 4012, die spezielle Funktionen ausführen (z. B. Attributauswertung, reziproke Quadratwurzel und dergleichen). Bei mindestens einer Ausführungsform weisen die SFUs 4012 ohne Einschränkung eine Baum-Traversierungs-Einheit auf, die so ausgestaltet ist, dass sie eine hierarchische Baumdatenstruktur durchläuft. Bei mindestens einer Ausführungsform weisen die SFUs 4012 ohne Einschränkung eine Textureinheit auf, die so konfiguriert ist, dass sie Filteroperationen für die Texturabbildung durchführt. Bei mindestens einer Ausführungsform sind die Textureinheiten so ausgestaltet, dass sie Texturkarten (z. B. eine 2D-Anordnung von Texeln) aus dem Speicher laden und Texturkarten abtasten, um abgetastete Texturwerte zur Verwendung in von dem SM 4000 ausgeführten Shader-Programmen zu erzeugen. Bei mindestens einer Ausführungsform werden die Texturkarten im gemeinsamen Speicher/L1-Cache 4018 gespeichert. Bei mindestens einer Ausführungsform implementieren die Textureinheiten Texturoperationen wie Filteroperationen unter Verwendung von Mip-Maps (z. B. Texturkarten mit unterschiedlichen Detailstufen). Bei mindestens einer Ausführungsform weist jeder SM 4000, ohne Einschränkung, zwei Textureinheiten auf.
Jeder SM 4000 umfasst, ohne Einschränkung, N LSUs 4014, die bei mindestens einer Ausführungsform Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher/L1-Cache 4018 und der Registerdatei 4008 implementieren. Das Verbindungsnetzwerk 4016 verbindet bei mindestens einer Ausführungsform jede Funktionseinheit mit der Registerdatei 4008 und die LSU 4014 mit der Registerdatei 4008 und dem gemeinsamen Speicher/L1-Cache 4018. Bei mindestens einer Ausführungsform ist das Verbindungsnetzwerk 4016 ein Koppelfeld, das so ausgestaltet sein kann, dass es jede der Funktionseinheiten mit jedem der Register in der Registerdatei 4008 verbindet und die LSUs 4014 mit der Registerdatei 4008 und den Speicherplätzen im gemeinsamen Speicher/L1-Cache 4018 verbindet.
In mindestens einer Ausführungsform ist der gemeinsam genutzte Speicher/L1-Cache 4018 eine Anordnung von On-Chip-Speicher, der bei mindestens einer Ausführungsform die Datenspeicherung und die Kommunikation zwischen dem SM 4000 und der Primitiv-Maschine und zwischen Threads im SM 4000 ermöglicht. Bei mindestens einer Ausführungsform umfasst der gemeinsam genutzte Speicher/L1-Cache 4018 ohne Einschränkung eine Speicherkapazität von 128 KB und befindet sich im Pfad vom SM 4000 zur Partitionseinheit. Bei mindestens einer Ausführungsform wird der gemeinsame Speicher/L1-Cache 4018 zum Zwischenspeichern von Lese- und Schreibvorgängen verwendet. Bei mindestens einer Ausführungsform sind einer oder mehrere von gemeinsamem Speicher/L1-Cache 4018, L2-Cache und Arbeitsspeicher Zusatzspeicher (Backing-Stores).
Die Kombination von Daten-Cache und gemeinsam genutzter Speicherfunktionalität in einem einzigen Speicherblock bietet bei mindestens einer Ausführungsform eine verbesserte Leistung für beide Arten von Speicherzugriffen. Bei mindestens einer Ausführungsform wird die Kapazität von Programmen, die den gemeinsam genutzten Speicher nicht verwenden, als Cache genutzt oder kann von diesen genutzt werden, z. B. wenn der gemeinsam genutzte Speicher so ausgestaltet ist, dass er die Hälfte der Kapazität nutzt, können Textur- und Lade-/Speicheroperationen die verbleibende Kapazität nutzen. Durch die Integration in den gemeinsam genutzten Speicher/L1-Cache 4018 kann der gemeinsam genutzte Speicher/L1-Cache 4018 gemäß mindestens einer Ausführungsform als durchsatzstarke Leitung für Streaming-Daten fungieren und gleichzeitig Zugriff auf häufig wiederverwendete Daten mit hoher Bandbreite und geringer Latenz bieten. Bei mindestens einer Ausführungsform kann, wenn sie für allgemeine parallele Berechnungen ausgestaltet ist, eine einfachere Konfiguration im Vergleich zur Grafikverarbeitung verwendet werden. Bei mindestens einer Ausführungsform werden Grafikverarbeitungseinheiten mit festen Funktionen umgangen, wodurch ein wesentlich einfacheres Programmiermodell entsteht. Bei mindestens einer Ausführungsform weist die Arbeitsverteilungseinheit in der Konfiguration für allgemeine parallele Berechnungen Blöcke von Threads direkt den DPCs zu und verteilt sie. Bei mindestens einer Ausführungsform führen Threads in einem Block ein gemeinsames Programm aus, wobei eine eindeutige Thread-ID in der Berechnung verwendet wird, um sicherzustellen, dass jeder Thread eindeutige Ergebnisse erzeugt, wobei der SM 4000 zur Ausführung des Programms und zur Durchführung von Berechnungen, der gemeinsame Speicher/L1-Cache 4018 zur Kommunikation zwischen Threads und die LSU 4014 zum Lesen und Schreiben des globalen Speichers über den gemeinsamen Speicher/L1-Cache 4018 und die Speicherpartitionseinheit verwendet werden. Bei mindestens einer Ausführungsform schreibt der SM 4000, wenn er für allgemeine parallele Berechnungen ausgestaltet ist, Befehle, die die Scheduler-Einheit 4004 verwenden kann, um neue Arbeiten auf DPCs zu starten.
Bei mindestens einer Ausführungsform ist die PPU in einem Desktop-Computer, einem Laptop-Computer, einem Tablet-Computer, Servern, Supercomputern, einem Smartphone (z. B. einer drahtlosen Handheld-Einrichtung), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einer am Kopf montierten Anzeige, einer elektronischen in der Hand gehaltenen Einrichtung usw. vorhanden oder damit verbunden. Bei mindestens einer Ausführungsform ist die PPU auf einem einzigen Halbleitersubstrat untergebracht. Bei mindestens einer Ausführungsform ist die PPU in einem System-on-a-Chip („SoC“) zusammen mit einer oder mehreren anderen Einrichtungen wie zusätzlichen PPUs, Speicher, einer CPU mit reduziertem Befehlssatz („RISC“), einer Speicherverwaltungseinheit („MMU“), einem Digital-Analog-Wandler („DAC“) und dergleichen vorhanden.
Bei mindestens einer Ausführungsform kann die PPU auf einer Grafikkarte vorhanden sein, die eine oder mehrere Speichereinrichtungen aufweist. Bei mindestens einer Ausführungsform kann die Grafikkarte so ausgestaltet sein, dass sie mit einem PCIe-Steckplatz auf einem Motherboard eines Desktop-Computers verbunden werden kann. Bei mindestens einer Ausführungsform kann die PPU eine integrierte Grafikverarbeitungseinheit („iGPU“) sein, die im Chipsatz der Hauptplatine vorhanden ist.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferencing- und/oder Trainingsoperationen in Verbindung mit einer oder mehreren Ausführungsformen durchzuführen. Einzelheiten zu der Inferenz- und/oder Trainingslogik 1215 werden hier in Verbindung mit den 12A und/oder 12B beschrieben. Bei mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell zum maschinellen Lernen, z. B. ein neuronales Netz, zu trainieren, um die dem SM 4000 bereitgestellten Informationen vorherzusagen oder abzuleiten. Bei mindestens einer Ausführungsform wird der SM 4000 verwendet, um Informationen auf der Grundlage eines trainierten Modells zum maschinellen Lernen (z.B. eines neuronalen Netzes), das von einem anderen Prozessor oder System oder von dem SM 4000 trainiert wurde, abzuleiten oder vorherzusagen. Bei mindestens einer Ausführungsform kann SM der 4000 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle eines neuronalen Netzes durchzuführen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 40 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 40 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 40 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
Es werden Ausführungsformen offenbart, die mit einer virtualisierten Rechenplattform für weiterentwickeltes Rechnen in Bezug stehen, wie etwa Bildinferenz und Bildverarbeitung in medizinischen Anwendungen. Ohne Einschränkung können Ausführungsformen Radiografie, Magnetresonanztomografie (MRT), Nuklearmedizin, Ultraschall, Sonografie, Elastografie, fotoakustische Bildgebung, Tomografie, Echokardiografie, funktionelle Nahinfrarotspektroskopie und Magnetpartikelbildgebung oder eine Kombination davon beinhalten. In mindestens einer Ausführungsform können eine virtualisierte Rechenplattform und die hierin beschriebenen damit assoziierten Prozesse zusätzlich oder alternativ ohne Einschränkung in der Forensikanalyse, der Detektion und Bildgebung des Untergrunds (z. B. Ölexploration, Archäologie, Paläontologie usw.), der Topografie, der Ozeanografie, der Geologie, der Osteologie, der Meteorologie, der intelligenten Bereichs- oder Objektverfolgung und -überwachung, der Sensordatenverarbeitung (z. B. RADAR, SONAR, LIDAR usw.) und/oder der Genomik und Gensequenzierung verwendet werden.
Unter Bezugnahme auf 41 ist 41 ein beispielhaftes Datenablaufdiagramm für einen Prozess 4100 zum Erzeugen und Einsetzen einer Bildverarbeitungs- und -inferenzpipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 4100 zur Verwendung mit Bildgebungsvorrichtungen, Verarbeitungsvorrichtungen, Genomikvorrichtungen, Gensequenzierungsvorrichtungen, Radiologievorrichtungen und/oder anderen Vorrichtungstypen in einer oder mehreren Einrichtungen 4102 eingesetzt werden, wie etwa medizinischen Einrichtungen, Krankenhäusern, Gesundheitsinstituten, Kliniken, Forschungs- oder Diagnoselabors usw. In mindestens einer Ausführungsform kann der Prozess 4100 zum Durchführen einer Genomanalyse und -inferenz an Sequenzierungsdaten eingesetzt werden. Beispiele für Genomanalysen, die unter Verwendung der hierin beschriebenen Systeme und Prozesse durchgeführt werden können, beinhalten ohne Einschränkung Varianten-Calling, Mutationsdetektion und Quantifizierung der Genexpression.
In mindestens einer Ausführungsform kann der Prozess 4100 innerhalb eines Trainingssystems 4104 und/oder eines Einsatzsystems 4106 ausgeführt werden. In mindestens einer Ausführungsform kann das Trainingssystem 4104 verwendet werden, um das Training, den Einsatz und die Implementation von Modellen des maschinellen Lernens (z. B. neuronale Netze, Objektdetektionsalgorithmen, Algorithmen des maschinellen Sehens usw.) zur Verwendung in dem Einsatzsystem 4106 durchzuführen. In mindestens einer Ausführungsform kann das Einsatzsystem 4106 so konfiguriert sein, dass es Verarbeitungs- und Rechenressourcen in einer verteilten Rechenumgebung ablädt, um die Infrastrukturanforderungen in der Einrichtung 4102 zu reduzieren. In mindestens einer Ausführungsform kann das Einsatzsystem 4106 eine gestraffte Plattform zum Auswählen, individuellen Anpassen und Implementieren virtueller Instrumente zur Verwendung mit Bildgebungsvorrichtungen (z. B. MRT, CT-Scan, Röntgen, Ultraschall usw.) oder Sequenzierungsvorrichtungen in der Einrichtung 4102 bereitstellen. In mindestens einer Ausführungsform können virtuelle Instrumente softwaredefinierte Anwendungen zum Durchführen einer oder mehrerer Verarbeitungsoperationen in Bezug auf Bildgebungsdaten beinhalten, die durch Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Radiologievorrichtungen und/oder andere Vorrichtungstypen erzeugt werden. In mindestens einer Ausführungsform können eine oder mehrere Anwendungen in einer Pipeline Dienste (z. B. Inferenz, Visualisierung, Berechnung, KI usw.) des Einsatzsystems 4106 während der Ausführung von Anwendungen verwenden oder aufrufen.
In mindestens einer Ausführungsform können einige der Anwendungen, die in weiterentwickelten Verarbeitungs- und Inferenzpipelines verwendet werden, Modelle des maschinellen Lernens oder andere Kl verwenden, um einen oder mehrere Verarbeitungsschritte durchzuführen. In mindestens einer Ausführungsform können Modelle des maschinellen Lernens in der Einrichtung 4102 unter Verwendung von Daten 4108 (wie etwa Bildgebungsdaten) trainiert werden, die in der Einrichtung 4102 erzeugt wurden (und auf einem oder mehreren Servern eines Bildarchivierungs- und Kommunikationssystems (picture archiving and communication system - PACS) in der Einrichtung 4102 gespeichert sind), und sie können unter Verwendung von Bildgebungs- oder Sequenzierungsdaten 4108 aus einer anderen Einrichtung oder anderen Einrichtungen (z. B. einem anderen Krankenhaus, Labor, einer anderen Klinik usw.) oder einer Kombination davon trainiert werden. In mindestens einer Ausführungsform kann das Trainingssystem 4104 verwendet werden, um Anwendungen, Dienste und/oder andere Ressourcen zum Erzeugen von funktionierenden, einsatzfähigen Modellen des maschinellen Lernens für das Einsatzsystem 4106 bereitzustellen.
In mindestens einer Ausführungsform kann eine Modellregistrierungsdatenbank 4124 durch Objektspeicher unterstützt werden, der Versionierung und Objekt-Metadaten unterstützen kann. In mindestens einer Ausführungsform kann der Zugriff auf den Objektspeicher zum Beispiel durch eine mit Cloud-Speicher (z. B. einer Cloud 4226 aus 42) kompatible Anwendungsprogrammierschnittstelle (API) von innerhalb einer Cloud-Plattform erfolgen. In mindestens einer Ausführungsform können Modelle des maschinellen Lernens innerhalb der Modellregistrierungsdatenbank 4124 durch Entwickler oder Partner eines Systems, das mit einer API interagiert, hochgeladen, aufgelistet, modifiziert oder gelöscht werden. In mindestens einer Ausführungsform kann eine API Zugriff auf Verfahren bereitstellen, die es Benutzern mit zweckmäßigen Anmeldeinformationen ermöglichen, Modelle mit Anwendungen zu assoziieren, sodass Modelle als Teil der Ausführung von containerisierten Instanziierungen von Anwendungen ausgeführt werden können.
In mindestens einer Ausführungsform kann eine Trainingspipeline 4204 (42) ein Szenario beinhalten, in dem die Einrichtung 4102 ihr eigenes Modell des maschinellen Lernens trainiert oder ein bestehendes Modell des maschinellen Lernen aufweist, das optimiert oder aktualisiert werden muss. In mindestens einer Ausführungsform können Bildgebungsdaten 4108, die durch Bildgebungsvorrichtung(en), Sequenzierungsvorrichtungen und/oder andere Vorrichtungstypen erzeugt wurden, empfangen werden. In mindestens einer Ausführungsform kann, sobald Bildgebungsdaten 4108 empfangen werden, die KI-gestützte Annotation 4110 verwendet werden, um beim Erzeugen von Annotationen zu helfen, die den Bildgebungsdaten 4108 entsprechen, die als Ground-Truth-Daten für ein Modell des maschinellen Lernens verwendet werden sollen. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 4110 ein oder mehrere Modelle des maschinellen Lernens (z. B. faltende neuronal Netze (CNNs)) beinhalten, die darauf trainiert werden können, Annotationen zu erzeugen, die bestimmten Typen von Bildgebungsdaten 4108 (z. B. von bestimmten Vorrichtungen) und/oder bestimmten Typen von Anomalien in den Bildgebungsdaten 4108 entsprechen. In mindestens einer Ausführungsform können die KI-gestützten Annotationen 4110 dann direkt verwendet oder unter Verwendung eines Annotationswerkzeugs (z. B. von einem Forscher, Kliniker, Arzt, Wissenschaftler usw.) eingestellt oder fein abgestimmt werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform können in einigen Beispielen gekennzeichnete Klinikdaten 4112 (z. B. Annotationen, die von einem Kliniker, Arzt, Wissenschaftler, Techniker usw. bereitgestellt werden) als Ground-Truth-Daten für das Training eines Modells des maschinellen Lernens verwendet werden. In mindestens einer Ausführungsform können die Kl-gestützten Annotationen 4110, gekennzeichneten Klinikdaten 4112 oder eine Kombination davon als Ground-Truth-Daten für das Training eines Modells des maschinellen Lernens verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes Modell des maschinellen Lernens als Ausgabemodell 4116 bezeichnet werden und durch das Einsatzsystem 4106 verwendet werden, wie hierin beschrieben.
In mindestens einer Ausführungsform kann die Trainingspipeline 4204 (42) ein Szenario beinhalten, in dem die Einrichtung 4102 ein Modell des maschinellen Lernens zur Verwendung beim Durchführen eines oder mehrerer Verarbeitungs-Tasks für eine oder mehrere Anwendungen in dem Einsatzsystem 4106 benötigt, die Einrichtung 4102 aber möglicherweise derzeit kein derartiges Modell des maschinellen Lernens aufweist (oder möglicherweise kein Modell aufweist, das für derartige Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform kann ein bestehendes Modell des maschinellen Lernens aus der Modellregistrierungsdatenbank 4124 ausgewählt werden. In mindestens einer Ausführungsform kann die Modellregistrierungsdatenbank 4124 Modelle des maschinellen Lernens beinhalten, die zum Durchführen einer Vielfalt von unterschiedlichen Inferenzierungs-Tasks an Bildgebungsdaten trainiert sind. In mindestens einer Ausführungsform können die Modelle des maschinellen Lernens in der Modellregistrierungsdatenbank 4124 an Bildgebungsdaten von anderen Einrichtungen als der Einrichtung 4102 trainiert worden sein (z. B. Einrichtungen, die sich an einem anderen Ort befinden). In mindestens einer Ausführungsform können die Modelle des maschinellen Lernens an Bildgebungsdaten von einem Ort, zwei Orten oder einer beliebigen Anzahl von Orten trainiert worden sein. In mindestens einer Ausführungsform kann das Training beim Trainieren an Bildgebungsdaten von einem spezifischen Ort an diesem Ort oder mindestens auf eine Weise stattfinden, mit der die Vertraulichkeit der Bildgebungsdaten geschützt wird oder die Übermittlung der Bildgebungsdaten außerhalb der Räumlichkeiten eingeschränkt wird (z. B. zur Einhaltung von HIPAA-Vorschriften, Datenschutzvorschriften usw.). In mindestens einer Ausführungsform kann ein Modell des maschinellen Lernens, sobald es an einem Ort trainiert - oder teilweise trainiert - wurde, zur Modellregistrierungsdatenbank 4124 hinzugefügt werden. In mindestens einer Ausführungsform kann ein Modell des maschinellen Lernens dann in einer beliebigen Anzahl von anderen Einrichtungen erneut trainiert oder aktualisiert werden und ein erneut trainiertes oder aktualisiertes Modell kann in der Modellregistrierungsdatenbank 4124 verfügbar gemacht werden. In mindestens einer Ausführungsform kann dann ein Modell des maschinellen Lernens aus der Modellregistrierungsdatenbank 4124 ausgewählt werden - und als Ausgabemodell 4116 bezeichnet werden - und in dem Einsatzsystem 4106 verwendet werden, um einen oder mehrere Verarbeitungs-Tasks für eine oder mehrere Anwendungen eines Einsatzsystems durchzuführen.
In mindestens einer Ausführungsform kann die Trainingspipeline 4204 (42) in einem Szenario verwendet werden, das beinhaltet, dass die Einrichtung 4102 ein Modell des maschinellen Lernens zur Verwendung beim Durchführen eines oder mehrerer Verarbeitungs-Tasks für eine oder mehrere Anwendungen in dem Einsatzsystem 4106 erfordert, die Einrichtung 4102 aber möglicherweise derzeit kein derartiges Modell des maschinellen Lernens aufweist (oder möglicherweise kein Modell aufweist, das für derartige Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform könnte ein aus der Modellregistrierungsdatenbank 4124 ausgewähltes Modell des maschinellen Lernens aufgrund von Unterschieden bei den Populationen, genetischen Variationen, der Robustheit der zum Trainieren eines Modells des maschinellen Lernens verwendeten Trainingsdaten, der Verschiedenartigkeit der Anomalien der Trainingsdaten und/oder anderer Probleme mit den Trainingsdaten nicht für die in der Einrichtung 4102 erzeugten Bildgebungsdaten 4108 fein abgestimmt oder optimiert sein. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 4110 verwendet werden, um beim Erzeugen von Annotationen zu helfen, die den Bildgebungsdaten 4108 entsprechen, die als Ground-Truth-Daten für das erneute Trainieren oder Aktualisieren eines Modells des maschinellen Lernens verwendet werden sollen. In mindestens einer Ausführungsform können gekennzeichnete Klinikdaten 4112 (z. B. Annotationen, die von einem Kliniker, Arzt, Wissenschaftler usw. bereitgestellt werden) als Ground-Truth-Daten für das Training eines Modells des maschinellen Lernens verwendet werden. In mindestens einer Ausführungsform kann das erneute Trainieren oder Aktualisieren eines Modells des maschinellen Lernens als Modelltraining 4114 bezeichnet werden. In mindestens einer Ausführungsform kann das Modelltraining 4114 - z. B. KI-gestützte Annotationen 4110, 4212e Klinikdaten 4112 oder eine Kombination davon - als Ground-Truth-Daten für das erneute Training oder Aktualisieren eines Modells des maschinellen Lernens verwendet werden.
In mindestens einer Ausführungsform kann das Einsatzsystem 4106 Software 4118, Dienste 4120, Hardware 4122 und/oder andere Komponenten, Merkmale und Funktionalitäten beinhalten. In mindestens einer Ausführungsform kann das Einsatzsystem 4106 einen Software-„Stapel“ beinhalten, sodass die Software 4118 auf den Diensten 4120 aufgebaut sein kann und die Dienste 4120 verwenden kann, um einige oder alle Verarbeitungs-Tasks durchzuführen, und die Dienste 4120 und die Software 4118 können auf der Hardware 4122 aufgebaut sein und die Hardware 4122 verwenden, um Verarbeitungs-, Speicher- und/oder andere Rechen-Tasks des Einsatzsystems 4106 auszuführen.
In mindestens einer Ausführungsform kann die Software 4118 eine beliebige Anzahl von unterschiedlichen Containern beinhalten, wobei jeder Container eine Instanziierung einer Anwendung ausführen kann. In mindestens einer Ausführungsform kann jede Anwendung einen oder mehrere Verarbeitungs-Tasks in einer weiterentwickelten Verarbeitungs- und Inferenzpipeline durchführen (z. B. Inferenz, Objektdetektion, Merkmalsdetektion, Segmentierung, Bildverbesserung, Kalibrierung usw.). In mindestens einer Ausführungsform kann für jeden Typ von Bildgebungsvorrichtung (z. B. CT, MRT, Röntgen, Ultraschall, Sonografie, Echokardiografie usw.), Sequenzierungsvorrichtung, Radiologievorrichtung, Genomikvorrichtung usw. eine beliebige Anzahl von Containern vorhanden sein, die einen Datenverarbeitungs-Task in Bezug auf Bildgebungsdaten 4108 (oder andere Datentypen, wie etwa die hierin beschriebenen), die durch eine Vorrichtung erzeugt werden, durchführen können. In mindestens einer Ausführungsform kann eine weiterentwickelte Verarbeitungs- und Inferenzpipeline auf Grundlage von Auswahlen unterschiedlicher Container definiert werden, die zum Verarbeiten von Bildgebungsdaten 4108 gewünscht oder erforderlich sind, zusätzlich zu Containern, die Bildgebungsdaten zur Verwendung durch jeden Container und/oder zur Verwendung durch die Einrichtung 4102 nach dem Verarbeiten durch eine Pipeline empfangen und konfigurieren (z. B. zur Rückkonvertierung von Ausgaben in einen verwendbaren Datentyp, wie etwa Daten der digitalen Bildgebung und Kommunikation in der Medizin (digital imaging and communications in medicine - DICOM), Daten eines Radiologieinformationssystems (radiology information system - RIS), Daten eines Klinikinformationssystems (clinical information system - CIS), Daten zum Aufruf einer entfernten Prozedur (remote procedure call - RPC), Daten, die im Wesentlichen mit einer Schnittstelle zur Darstellungszustandsübermittlung (representation state transfer - REST) konform sind, Daten, die im Wesentlichen mit einer dateibasierten Schnittstelle konform sind, und/oder Rohdaten, zur Speicherung und Anzeige in der Einrichtung 4102). In mindestens einer Ausführungsform kann eine Kombination von Containern innerhalb der Software 4118 (die z. B. eine Pipeline bilden) als virtuelles Instrument bezeichnet werden (wie hierin detaillierter beschrieben) und ein virtuelles Instrument kann Dienste 4120 und Hardware 4122 ausnutzen, um einige oder alle Verarbeitungs-Tasks von in Containern instanziierten Anwendungen auszuführen.
In mindestens einer Ausführungsform kann eine Datenverarbeitungspipeline Eingabedaten (z. B. Bildgebungsdaten 4108) in einem DICOM-, RIS-, CIS-, REST-konformen, RPC-, Rohdaten- und/oder anderen Format als Reaktion auf eine Inferenzanforderung (z. B. eine Anforderung von einem Benutzer des Einsatzsystems 4106, wie etwa einem Kliniker, einem Arzt, einem Radiologen usw.) empfangen. In mindestens einer Ausführungsform können die Eingabedaten für ein oder mehrere Bilder, Videos und/oder andere Datendarstellungen repräsentativ sein, die durch eine oder mehrere Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Radiologievorrichtungen, Genomikvorrichtungen und/oder andere Vorrichtungstypen erzeugt werden. In mindestens einer Ausführungsform können die Daten als Teil der Datenverarbeitungspipeline einer Vorverarbeitung unterzogen werden, um die Daten für die Verarbeitung durch eine oder mehrere Anwendungen vorzubereiten. In mindestens einer Ausführungsform kann Nachverarbeitung an einer Ausgabe eines oder mehrerer Inferenzierungs-Tasks oder anderer Verarbeitungs-Tasks einer Pipeline durchgeführt werden, um Ausgabedaten für eine nächste Anwendung vorzubereiten und/oder um Ausgabedaten für die Übertragung und/oder Verwendung durch einen Benutzer vorzubereiten (z. B. als Reaktion auf eine Inferenzanforderung). In mindestens einer Ausführungsform können Inferenzierungs-Tasks durch ein oder mehrere Modelle des maschinellen Lernens durchgeführt werden, wie etwa trainierte oder eingesetzte neuronale Netze, die Ausgabemodelle 4116 des Trainingssystems 4104 beinhalten können.
In mindestens einer Ausführungsform können die Tasks der Datenverarbeitungspipeline in einem Container(n) eingekapselt sein, die jeweils eine diskrete, voll funktionsfähige Instanziierung einer Anwendung und einer virtualisierten Rechenumgebung darstellen, die dazu in der Lage ist, sich auf Modelle des maschinellen Lernens zu beziehen. In mindestens einer Ausführungsform können Container oder Anwendungen in einem privaten (z. B. zugriffsbeschränkten) Bereich einer Containerregistrierungsdatenbank (hierin detaillierter beschrieben) veröffentlicht werden und trainierte oder eingesetzte Modelle können in der Modellregistrierungsdatenbank 4124 gespeichert und mit einer oder mehreren Anwendungen assoziiert werden. In mindestens einer Ausführungsform können Abbilder von Anwendungen (z. B. Containerabbilder) in einer Containerregistrierungsdatenbank verfügbar sein und sobald es durch einen Benutzer aus einer Containerregistrierungsdatenbank für den Einsatz in einer Pipeline ausgewählt wurde, kann ein Abbild verwendet werden, um einen Container für eine Instanziierung einer Anwendung zur Verwendung durch das System eines Benutzers zu erzeugen.
In mindestens einer Ausführungsform können Entwickler (z. B. Software-Entwickler, Kliniker, Ärzte usw.) Anwendungen (z. B. als Container) zum Durchführen von Bildverarbeitung und/oder Inferenz an zugeführten Daten entwickeln, veröffentlichen und speichern. In mindestens einer Ausführungsform kann die Entwicklung, Veröffentlichung und/oder Speicherung unter Verwendung eines Software-Entwicklungskits (software development kit - SDK) durchgeführt werden, das mit einem System assoziiert ist (um z. B. sicherzustellen, dass eine entwickelte Anwendung und/oder ein entwickelter Container mit einem System konform oder kompatibel ist). In mindestens einer Ausführungsform kann eine Anwendung, die entwickelt wird, lokal (z. B. in einer ersten Einrichtung, an Daten von einer ersten Einrichtung) mit einem SDK geprüft werden, das mindestens einige der Dienste 4120 als System (z. B. System 4200 aus 42) unterstützen kann. Da DICOM-Objekte zwischen einem und Hunderten von Bildern oder anderen Datentypen enthalten können, und aufgrund einer Variation der Daten, kann ein Entwickler in mindestens einer Ausführungsform für das Verwalten (z. B. das Festlegen von Konstrukten für, den Einbau von Vorverarbeitung in eine Anwendung usw.) der Extraktion und Vorbereitung eingehender DICOM-Daten zuständig sein. In mindestens einer Ausführungsform kann eine Anwendung, sobald sie durch das System 4200 validiert wurde (z. B. bezüglich Genauigkeit, Sicherheit, Patientendatenschutz usw.), in einer Containerregistrierungsdatenbank zur Auswahl und/oder Implementation durch einen Benutzer (z. B. ein Krankenhaus, eine Klinik, ein Labor, einen Gesundheitsdienstleister usw.) verfügbar sein, um einen oder mehrere Verarbeitungs-Tasks in Bezug auf Daten in einer Einrichtung (z. B. einer zweiten Einrichtung) eines Benutzers durchzuführen.
In mindestens einer Ausführungsform können Entwickler dann Anwendungen oder Container durch ein Netz für den Zugriff und die Verwendung durch Benutzer eines Systems (z. B. des Systems 4200 aus 42) teilen. In mindestens einer Ausführungsform können abgeschlossene und validierte Anwendungen oder Container in einer Containerregistrierungsdatenbank gespeichert werden und damit assoziierte Modelle des maschinellen Lernens in der Modellregistrierungsdatenbank 4124 gespeichert werden. In mindestens einer Ausführungsform kann eine anfordernde Entität (z. B. ein Benutzer in einer medizinischen Einrichtung) - die eine Inferenz- oder Bildverarbeitungsanforderung bereitstellt - eine Containerregistrierungsdatenbank und/oder Modellregistrierungsdatenbank 4124 nach einer Anwendung, einem Container, einem Datensatz, einem Modell des maschinellen Lernens usw. durchsuchen, eine gewünschte Kombination von Elementen zur Aufnahme in die Datenverarbeitungspipeline auswählen und eine Bildverarbeitungsanforderung absenden. In mindestens einer Ausführungsform kann eine Anforderung Eingabedaten (und in einigen Beispielen damit assoziierte Patientendaten) beinhalten, die zum Durchführen einer Anforderung notwendig sind, und/oder eine Auswahl von Anwendung(en) und/oder Modellen des maschinellen Lernens beinhalten, die bei der Verarbeitung einer Anforderung ausgeführt werden sollen. In mindestens einer Ausführungsform kann eine Anforderung dann an eine oder mehrere Komponenten des Einsatzsystems 4106 (z. B. eine Cloud) übergeben werden, um die Verarbeitung der Datenverarbeitungspipeline durchzuführen. In mindestens einer Ausführungsform kann die Verarbeitung durch das Einsatzsystem 4106 die Referenzierung ausgewählter Elemente (z. B. Anwendungen, Container, Modelle usw.) aus einer Containerregistrierungsdatenbank und/oder Modellregistrierungsdatenbank 4124 beinhalten. In mindestens einer Ausführungsform können, sobald Ergebnisse durch eine Pipeline erzeugt wurden, die Ergebnisse als Referenz an einen Benutzer zurückgegeben werden (z. B. zur Ansicht in einer Ansichtanwendungssuite, die auf einer lokalen Arbeitsstation oder einem lokalen Endgerät in den Räumlichkeiten ausgeführt wird). In mindestens einer Ausführungsform kann ein Radiologe Ergebnisse von einer Datenverarbeitungspipeline empfangen, die eine beliebige Anzahl von Anwendungen und/oder Containern beinhaltet, wobei die Ergebnisse Anomaliedetektion in Röntgenbildern, CT-Scans, MRTs usw. beinhalten können.
In mindestens einer Ausführungsform können zur Unterstützung der Verarbeitung oder Ausführung von Anwendungen oder Containern in Pipelines die Dienste 4120 ausgenutzt werden. In mindestens einer Ausführungsform können die Dienste 4120 Rechendienste, Dienste für künstliche Intelligenz (Kl), Visualisierungsdienste und/oder andere Diensttypen beinhalten. In mindestens einer Ausführungsform können die Dienste 4120 eine Funktionalität bereitstellen, die eine oder mehrere Anwendungen in der Software 4118 gemeinsam haben, sodass die Funktionalität zu einem Dienst abstrahiert werden kann, der durch Anwendungen aufgerufen oder ausgenutzt werden kann. In mindestens einer Ausführungsform kann die durch die Dienste 4120 bereitgestellte Funktionalität dynamisch und effizienter laufen, während sie ebenfalls gut skalierbar ist, indem es Anwendungen erlaubt wird, Daten parallel zu verarbeiten (z. B. unter Verwendung einer Parallelrechenplattform 4230 (42)). Anstatt dass jede Anwendung, die eine gleiche Funktionalität teilt, die durch einen Dienst 4120 angeboten wird, eine entsprechende Instanz des Dienstes 4120 aufweisen muss, kann der Dienst 4120 in mindestens einer Ausführungsform von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können die Dienste einen Inferenzserver oder eine Inferenz-Engine beinhalten, der/die als nicht einschränkende Beispiele zum Ausführen von Detektions- oder Segmentierungs-Tasks verwendet werden kann. In mindestens einer Ausführungsform kann ein Modelltrainingsdienst enthalten sein, der die Fähigkeit bereitstellen kann, Modelle des maschinellen Lernens zu trainieren und/oder erneut zu trainieren. In mindestens einer Ausführungsform kann ferner ein Datenerweiterungsdienst enthalten sein, der die Extraktion, Größenänderung, Skalierung und/oder andere Erweiterung von GPU-beschleunigten Daten (z. B. DICOM-Daten, RIS-Daten, CIS-Daten, REST-konformen Daten, RPC-Daten, Rohdaten usw.) bereitstellen kann. In mindestens einer Ausführungsform kann ein Visualisierungsdienst verwendet werden, der Bild-Rendering-Effekte - wie etwa Strahlverfolgung, Rasterung, Entrauschen, Schärfung usw. - hinzufügen kann, um zweidimensionale (2D) und/oder dreidimensionale (3D) Modelle realistischer zu gestalten. In mindestens einer Ausführungsform können Dienste für virtuelle Instrumente enthalten sein, die Strahlformung, Segmentierung, Inferenzieren, Bildgebung und/oder Unterstützung für andere Anwendungen innerhalb von Pipelines virtueller Instrumente bereitstellen.
In mindestens einer Ausführungsform, in der ein Dienst 4120 einen Kl-Dienst (z. B. einen Inferenzdienst) beinhaltet, können ein oder mehrere Modelle des maschinellen Lernens, die mit einer Anwendung zur Anomaliedetektion (z. B. Tumoren, Wachstumsauffälligkeiten, Narbenbildung usw.) assoziiert sind, ausgeführt werden, indem ein Inferenzdienst (z. B. ein Inferenzserver) aufgerufen wird (z. B. als API-Aufruf), um Modell(e) des maschinellen Lernens oder deren Verarbeitung als Teil der Anwendungsausführung auszuführen. In mindestens einer Ausführungsform, in der eine andere Anwendung ein oder mehrere Modelle des maschinellen Lernens für Segmentierungs-Tasks beinhaltet, kann eine Anwendung einen Inferenzdienst aufrufen, um Modelle des maschinellen Lernens zum Durchführen einer oder mehrerer mit Segmentierungs-Tasks assoziierten Verarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform kann die Software 4118, die eine weiterentwickelte Verarbeitungs- und Inferenzpipeline implementiert, die eine Segmentierungsanwendung und eine Anomaliedetektionsanwendung beinhaltet, gestrafft werden, da jede Anwendung einen gleichen Inferenzdienst zum Durchführen eines oder mehrerer Inferenzierungs-Tasks aufrufen kann.
In mindestens einer Ausführungsform kann die Hardware 4122 GPUs, CPUs, Grafikkarten, ein Kl-/Deep-Learning-System (z. B. einen Kl-Supercomputer wie etwa das DGX-Supercomputersystem von NVIDIA), eine Cloud-Plattform oder eine Kombination davon beinhalten. In mindestens einer Ausführungsform können unterschiedliche Typen von Hardware 4122 verwendet werden, um eine effiziente, speziell entwickelte Unterstützung für Software 4118 und Dienste 4120 in dem Einsatzsystem 4106 bereitzustellen. In mindestens einer Ausführungsform kann die Verwendung von GPU-Verarbeitung für die lokale Verarbeitung (z. B. in der Einrichtung 4102), innerhalb eines Kl/Deep-Learning-Systems, in einem Cloud-System und/oder in anderen Verarbeitungskomponenten des Einsatzsystems 4106 implementiert werden, um die Effizienz, Genauigkeit und Wirksamkeit von Bildverarbeitung, Bildrekonstruktion, Segmentierung, MRT-Untersuchungen, Schlaganfall- oder Herzinfarktdetektion (z. B. in Echtzeit), Bildqualität beim Rendern usw. zu verbessern. In mindestens einer Ausführungsform kann eine Einrichtung Bildgebungsvorrichtungen, Genomikvorrichtungen, Sequenzierungsvorrichtungen und/oder andere Vorrichtungstypen in den Räumlichkeiten beinhalten, die GPUs ausnutzen können, um Bildgebungsdaten zu erzeugen, die für die Anatomie eines Probanden repräsentativ sind.
In mindestens einer Ausführungsform können die Software 4118 und/oder die Dienste 4120 als nicht einschränkende Beispiele für die GPU-Verarbeitung in Bezug auf Deep Learning, maschinelles Lernen und/oder Datenverarbeitung mit hoher Rechenleistung optimiert sein. In mindestens einer Ausführungsform kann mindestens ein Teil der Rechenumgebung des Einsatzsystems 4106 und/oder des Trainingssystems 4104 in einem Rechenzentrum auf einem oder mehreren Supercomputern oder Rechensystemen mit hoher Rechenleistung mit GPU-optimierter Software (z. B. Hardware- und Software-Kombination des DGX-Systems von NVIDIA) ausgeführt werden. In mindestens einer Ausführungsform können Rechenzentren mit HIPAA-Bestimmungen konform sein, sodass der Empfang, die Verarbeitung und die Übertragung von Bildgebungsdaten und/oder anderen Patientendaten in Bezug auf den Schutz von Patientendaten sicher gehandhabt werden. In mindestens einer Ausführungsform kann die Hardware 4122 eine beliebige Anzahl von GPUs beinhalten, die zur parallelen Verarbeitung von Daten, wie hierin beschrieben, aufgerufen werden können. In mindestens einer Ausführungsform kann die Cloud-Plattform ferner GPU-Verarbeitung für die GPU-optimierte Ausführung von Deep-Learning-Tasks, Tasks des maschinellen Lernens oder anderen Rechen-Tasks beinhalten. In mindestens einer Ausführungsform kann die Cloud-Plattform (z. B. NGC von NVIDIA) unter Verwendung von KI-/Deep-Learning-Supercomputer(n) und/oder GPU-optimierter Software (z. B. wie auf DGX-Systemen von NVIDIA bereitgestellt) als Hardware-Abstraktions- und -Skalierungsplattform ausgeführt werden. In mindestens einer Ausführungsform kann die Cloud-Plattform ein Anwendungscontainer-Clustering-System oder Orchestrierungssystem (z. B. KUBERNETES) auf mehreren GPUs integrieren, um eine nahtlose Skalierung und Lastverteilung zu ermöglichen.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 41 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 41 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 41 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
42 ist eine Systemdarstellung für ein beispielhaftes System 4200 zum Erzeugen und Einsetzen einer Bildgebungseinsatzpipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 4200 verwendet werden, um den Prozess 4100 aus 41 und/oder andere Prozesse, einschließlich weiterentwickelter Verarbeitungs- und Inferenzpipelines, zu implementieren. In mindestens einer Ausführungsform kann das System 4200 das Trainingssystem 4104 und das Einsatzsystem 4106 beinhalten. In mindestens einer Ausführungsform können das Trainingssystem 4104 und das Einsatzsystem 4106 unter Verwendung von Software 4118, Diensten 4120 und/oder Hardware 4122, wie hierin beschrieben, implementiert werden.
In mindestens einer Ausführungsform kann das System 4200 (z. B. das Trainingssystem 4104 und/oder das Einsatzsystem 4106) in einer Cloud-Computing-Umgebung implementiert sein (z. B. unter Verwendung der Cloud 4226). In mindestens einer Ausführungsform kann das System 4200 lokal in Bezug auf eine Einrichtung des Gesundheitswesens oder als Kombination aus sowohl Cloud- als auch lokalen Rechenressourcen implementiert werden. In mindestens einer Ausführungsform können in Ausführungsformen, in denen Cloud Computing implementiert ist, Patientendaten von einer oder mehreren Komponenten des Systems 4200 getrennt oder nicht durch diese verarbeitet werden, was die Verarbeitung nicht konform mit HIPAA- und/oder anderen Vorschriften oder Gesetzen zur Datenhandhabung und zum Datenschutz machen würde. In mindestens einer Ausführungsform kann der Zugriff auf die APIs in der Cloud 4226 durch erlassene Sicherheitsmaßnahmen oder -protokolle auf autorisierte Benutzer beschränkt sein. In mindestens einer Ausführungsform kann ein Sicherheitsprotokoll Web-Token beinhalten, die durch einen Authentifizierungsdienst (z. B. AuthN, AuthZ, Gluecon usw.) signiert sein können und eine zweckmäßige Autorisierung tragen können. In mindestens einer Ausführungsform können APIs von virtuellen Instrumenten (hierin beschrieben) oder anderen Instanziierungen des Systems 4200 auf einen Satz von öffentlichen IPs beschränkt sein, die für die Interaktion sicherheitsüberprüft oder autorisiert wurden.
In mindestens einer Ausführungsform können verschiedene Komponenten des Systems 4200 unter Verwendung beliebiger einer Vielfalt von unterschiedlichen Netztypen, einschließlich, aber nicht beschränkt auf, lokaler Netze (LANs) und/oder Weitverkehrsnetze (WANs), über drahtgebundene und/oder drahtlose Kommunikationsprotokolle miteinander kommunizieren. In mindestens einer Ausführungsform kann die Kommunikation zwischen Einrichtungen und Komponenten des Systems 4200 (z. B. zum Übertragen von Inferenzanforderungen, zum Empfangen von Ergebnissen von Inferenzanforderungen usw.) über einen Datenbus oder Datenbusse, drahtlose Datenprotokolle (Wi-Fi), drahtgebundene Datenprotokolle (z. B. Ethernet) usw. kommuniziert werden.
In mindestens einer Ausführungsform kann das Trainingssystem 4104 Trainingspipelines 4204 ausführen, die denjenigen ähnlich sind, die hierin in Bezug auf 41 beschrieben sind. In mindestens einer Ausführungsform, in der ein oder mehrere Modelle des maschinellen Lernens in Einsatzpipelines 4210 durch das Einsatzsystem 4106 verwendet werden sollen, können Trainingspipelines 4204 verwendet werden, um ein oder mehrere (z. B. vorab trainierte) Modelle zu trainieren oder erneut zu trainieren und/oder eines oder mehrere der vorab trainierten Modelle 4206 zu implementieren (z. B. ohne eine Notwendigkeit eines erneuten Trainings oder einer Aktualisierung). In mindestens einer Ausführungsform können als Ergebnis der Trainingspipelines 4204 Ausgabemodell(e) 4116 erzeugt werden. In mindestens einer Ausführungsform können die Trainingspipelines 4204 eine beliebige Anzahl von Verarbeitungsschritten beinhalten, zum Beispiel, aber nicht beschränkt auf, die Konvertierung oder Anpassung von Bildgebungsdaten (oder anderen Eingabedaten) (z. B. unter Verwendung eines DICOM-Adapters 4202A zum Konvertieren von DICOM-Bildern in ein anderes Format, das für die Verarbeitung durch jeweilige Modelle des maschinellen Lernens geeignet ist, wie etwa das Format der Neuroimaging Informatics Technology Initiative (NlfTI)), KI-gestützte Annotation 4110, Beschriftung oder Annotation von Bildgebungsdaten 4108, um gekennzeichnete Klinikdaten 4112 zu erzeugen, Modellauswahl aus einer Modellregistrierungsdatenbank, Modelltraining 4114, Training, erneutes Training oder Aktualisieren von Modellen und/oder andere Verarbeitungsschritte. In mindestens einer Ausführungsform können für unterschiedliche Modelle des maschinellen Lernens, die durch das Einsatzsystem 4106 verwendet werden, unterschiedliche Trainingspipelines 4204 verwendet werden. In mindestens einer Ausführungsform kann für ein erstes Modell des maschinellen Lernens eine Trainingspipeline 4204 verwendet werden, die einem ersten Beispiel ähnlich ist, das in Bezug auf 41 beschrieben ist, für ein zweites Modell des maschinellen Lernens eine Trainingspipeline 4204 verwendet werden, die einem zweiten Beispiel ähnlich ist, das in Bezug auf 41 beschrieben ist, und für ein drittes Modell des maschinelles Lernens eine Trainingspipeline 4204 verwendet werden, die einem dritten Beispiel ähnlich ist, das in Bezug auf 37 beschrieben ist. In mindestens einer Ausführungsform kann eine beliebige Kombination von Tasks innerhalb des Trainingssystems 4104 verwendet werden, in Abhängigkeit davon, was für jedes jeweilige Modell des maschinellen Lernens erforderlich ist. In mindestens einer Ausführungsform können eines oder mehrere der Modelle des maschinellen Lernens bereits trainiert und einsatzbereit sein, sodass die Modelle des maschinellen Lernens möglicherweise keiner Verarbeitung durch das Trainingssystem 4104 unterzogen werden und durch das Einsatzsystem 4106 implementiert werden können.
In mindestens einer Ausführungsform können die Ausgabemodell(e) 4116 und/oder die vorab trainierte(n) Modell(e) 4206 in Abhängigkeit von der Implementation oder Ausführungsform beliebige Typen von Modellen des maschinellen Lernens beinhalten. In mindestens einer Ausführungsform und ohne Einschränkung können durch das System 4200 verwendete Modelle des maschinellen Lernens Modell(e) des maschinellen Lernens unter Verwendung von linearer Regression, logistischer Regression, Entscheidungsbäumen, Stützvektormaschinen (support vector machines - SVM), naivem Bayes-Klassifikator, k-nächstem Nachbarn (k-nearest neighbor - Knn), k-Means-Clustering, Random Forest, Dimensionsreduktionsalgorithmen, Gradientenverstärkungsalgorithmen, neuronalen Netzen (z. B. Autocodierern, faltenden, rekurrenten, Perzeptronen, langem Kurzzeitgedächtnis (Long/Short Term Memory - LSTM), Hopfield, Boltzmann, Deep Belief, entfaltenden, erzeugenden gegnerischen, Flüssigkeitszustandsmaschine usw.) und/oder andere Typen von Modellen des maschinellen Lernens beinhalten.
In mindestens einer Ausführungsform können die Trainingspipelines 4204 KI-gestützte Annotation beinhalten, wie hierin in Bezug auf mindestens 45B detaillierter beschrieben. In mindestens einer Ausführungsform können gekennzeichnete Klinikdaten 4112 (z. B. herkömmliche Annotation) durch eine beliebige Anzahl von Techniken erzeugt werden. In mindestens einer Ausführungsform können Beschriftungen oder andere Annotationen innerhalb eines Zeichenprogramms (z. B. eines Annotationsprogramms), eines Programms zur computergestützten Konstruktion (computer aided design - CAD), eines Beschriftungsprogramms, eines anderen Typs von Programm, das zum Erzeugen von Annotationen oder Beschriftungen für Ground Truth geeignet ist, erzeugt werden und/oder in einigen Beispielen von Hand gezeichnet werden. In mindestens einer Ausführungsform können die Ground-Truth-Daten synthetisch produziert (z. B. aus Computermodellen oder Renderings erzeugt), real produziert (z. B. aus Daten der realen Welt ausgestaltet und produziert), maschinell automatisiert (z. B. unter Verwendung von Merkmalsanalyse und Lernen, um Merkmale aus Daten zu extrahieren und dann Beschriftungen zu erzeugen), von Menschen annotiert (z. B. definiert ein Beschrifter oder Annotationsexperte die Stelle von Beschriftungen) und/oder eine Kombination davon sein. In mindestens einer Ausführungsform können für jede Instanz der Bildgebungsdaten 4108 (oder eines anderen Datentyps, der durch Modelle des maschinellen Lernens verwendet wird) entsprechende Ground-Truth-Daten vorhanden sein, die durch das Trainingssystem 4104 erzeugt werden. In mindestens einer Ausführungsform kann die KI-gestützte Annotation als Teil der Einsatzpipelines 4210 durchgeführt werden; entweder zusätzlich zu oder anstelle der KI-gestützten Annotation, die in den Trainingspipelines 4204 enthalten ist. In mindestens einer Ausführungsform kann das System 4200 eine mehrschichtige Plattform beinhalten, die eine Software-Schicht (z. B. Software 4118) von Diagnoseanwendungen (oder anderen Anwendungstypen) beinhalten kann, die eine oder mehrere medizinische Bildgebungs- und Diagnosefunktionen durchführen kann. In mindestens einer Ausführungsform kann das System 4200 kommunikativ an (z. B. über verschlüsselte Verknüpfungen) PACS-Servernetze einer oder mehrerer Einrichtungen gekoppelt sein. In mindestens einer Ausführungsform kann das System 4200 so konfiguriert sein, dass es auf Daten (z. B. DICOM-Daten, RIS-Daten, Rohdaten, CIS-Daten, REST-konforme Daten, RPC-Daten, Rohdaten usw.) von PACS-Servern zugreift und diese referenziert (z. B. über einen DICOM-Adapter 4202 oder einen Adapter für einen anderen Datentyp, wie etwa RIS, CIS, REST-konform, RPC, Rohdaten usw.), um Operationen durchzuführen, wie etwa Trainieren von Modellen des maschinellen Lernens, Einsetzen von Modellen des maschinellen Lernens, Bildverarbeitung, Inferenzieren und/oder andere Operationen.
In mindestens einer Ausführungsform kann eine Software-Schicht als sichere, verschlüsselte und/oder authentifizierte API implementiert sein, durch die Anwendungen oder Container aus einer externen Umgebung(en) (z. B. Einrichtung 4102) ausgewählt (z. B. aufgerufen) werden können. In mindestens einer Ausführungsform können Anwendungen dann einen oder mehrere Dienste 4120 aufrufen oder ausführen, um Rechen-, Kl- oder Visualisierungs-Tasks durchzuführen, die mit jeweiligen Anwendungen assoziiert sind, und die Software 4118 und/oder die Dienste 4120 können die Hardware 4122 ausnutzen, um Verarbeitungs-Tasks auf effektive und effiziente Weise durchzuführen.
In mindestens einer Ausführungsform kann das Einsatzsystem 4106 Einsatzpipelines 4210 ausführen. In mindestens einer Ausführungsform können Einsatzpipelines 4210 eine beliebige Anzahl von Anwendungen beinhalten, die sequenziell, nicht sequenziell oder auf andere Weise auf Bildgebungsdaten (und/oder andere Datentypen) angewendet werden können, die durch Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Genomikvorrichtungen usw. erzeugt werden - einschließlich Kl-gestützter Annotation, wie vorstehend beschrieben. In mindestens einer Ausführungsform, wie hierin beschrieben, kann eine Einsatzpipeline 4210 für eine einzelne Vorrichtung als virtuelles Instrument für eine Vorrichtung bezeichnet werden (z. B. ein virtuelles Ultraschallinstrument, ein virtuelles CT-Scan-Instrument, ein virtuelles Sequenzierungsinstrument usw.). In mindestens einer Ausführungsform kann für eine einzelne Vorrichtung in Abhängigkeit von Informationen, die von Daten gewünscht sind, die durch eine Vorrichtung erzeugt wurden, mehr als eine Einsatzpipeline 4210 vorhanden sein. Wenn Detektionen von Anomalien anhand einer MRT-Maschine gewünscht sind, kann in mindestens einer Ausführungsform eine erste Einsatzpipeline 4210 vorhanden sein, und wenn Bildverbesserung anhand einer Ausgabe einer MRT-Maschine gewünscht ist, kann eine zweite Einsatzpipeline 4210 vorhanden sein.
In mindestens einer Ausführungsform können für die Einsatzpipelines 4210 verfügbare Anwendungen eine beliebige Anwendung beinhalten, die zum Durchführen von Verarbeitungs-Tasks an Bildgebungsdaten oder anderen Daten von Vorrichtungen verwendet werden kann. In mindestens einer Ausführungsform können unterschiedliche Anwendungen für die Bildverbesserung, Segmentierung, Rekonstruktion, Anomaliedetektion, Objektdetektion, Merkmalsdetektion, Behandlungsplanung, Dosimetrie, Strahlenplanung (oder andere Strahlenbehandlungsprozeduren) und/oder andere Analyse-, Bildverarbeitungs- oder Inferenzierungs-Tasks zuständig sein. In mindestens einer Ausführungsform kann das Einsatzsystem 4106 Konstrukte für jede der Anwendungen definieren, sodass die Benutzer des Einsatzsystems 4106 (z. B. medizinische Einrichtungen, Labors, Kliniken usw.) die Konstrukte verstehen und die Anwendungen für die Implementation innerhalb ihrer jeweiligen Einrichtung anpassen können. In mindestens einer Ausführungsform kann eine Anwendung zur Bildrekonstruktion für die Aufnahme in die Einsatzpipeline 4210 ausgewählt werden, doch der durch eine Bildgebungsvorrichtung erzeugte Datentyp kann sich von einem innerhalb einer Anwendung verwendeten Datentyp unterscheiden. In mindestens einer Ausführungsform kann der DICOM-Adapter 4202B (und/oder ein DICOM-Lesegerät) oder ein Adapter oder ein Lesegerät für einen anderen Datentyp (z. B. RIS, CIS, REST-konform, RPC, Rohdaten usw.) innerhalb der Einsatzpipeline 4210 verwendet werden, um Daten in eine Form zu konvertieren, die durch eine Anwendung innerhalb des Einsatzsystems 4106 verwendet werden kann. In mindestens einer Ausführungsform kann der Zugriff auf Bibliotheken mit DICOM-Daten, RIS-Daten, CIS-Daten, REST-konformen Daten, RPC-Daten, Rohdaten und/oder anderen Datentypen akkumuliert und vorverarbeitet werden, einschließlich des Decodierens, Extrahierens und/oder Durchführens von Faltungen, Farbkorrekturen, Schärfe-, Gamma- und/oder anderen Erweiterungen der Daten. In mindestens einer Ausführungsform können DICOM-Daten, RIS-Daten, CIS-Daten, REST-konforme Daten, RPC-Daten und/oder Rohdaten ungeordnet sein und ein Vorlauf kann ausgeführt werden, um gesammelte Daten zu organisieren oder zu sortieren. Da verschiedene Anwendungen in mindestens einer Ausführungsform Bildoperationen gemeinsam nutzen können, kann in einigen Ausführungsformen eine Datenerweiterungsbibliothek (z. B. als einer der Dienste 4120) verwendet werden, um diese Operationen zu beschleunigen. In mindestens einer Ausführungsform kann zur Vermeidung von Engpässen herkömmlicher Verarbeitungsansätze, die sich auf CPU-Verarbeitung stützen, die Parallelrechenplattform 4230 zur GPU-Beschleunigung dieser Verarbeitungs-Tasks verwendet werden.
In mindestens einer Ausführungsform kann eine Bildrekonstruktionsanwendung einen Verarbeitungs-Task beinhalten, der die Verwendung eines Modells des maschinellen Lernens beinhaltet. In mindestens einer Ausführungsform kann ein Benutzer ein eigenes Modell des maschinellen Lernens verwenden wollen oder ein Modell des maschinellen Lernens aus der Modellregistrierungsdatenbank 4124 auswählen wollen. In mindestens einer Ausführungsform kann ein Benutzer ein eigenes Modell des maschinellen Lernens implementieren oder ein Modell des maschinellen Lernens zur Aufnahme in eine Anwendung zum Durchführen eines Verarbeitungs-Tasks auswählen. In mindestens einer Ausführungsform können die Anwendungen auswählbar und individuell anpassbar sein und durch das Definieren von Konstrukten von Anwendungen werden der Einsatz und die Implementation von Anwendungen für einen konkreten Benutzer als nahtlosere Benutzererfahrung dargestellt. In mindestens einer Ausführungsform können Einsatzpipelines 4210 durch Ausnutzen anderer Merkmale des Systems 4200 - wie etwa der Dienste 4120 und der Hardware 4122 - noch benutzerfreundlicher sein, eine einfachere Integration bereitstellen und genauere, effizientere und raschere Ergebnisse produzieren.
In mindestens einer Ausführungsform kann das Einsatzsystem 4106 eine Benutzerschnittstelle 4214 (z. B. eine grafische Benutzerschnittstelle, eine Webschnittstelle usw.) beinhalten, die verwendet werden kann, um Anwendungen für die Aufnahme in die Einsatzpipeline(s) 4210 auszuwählen, Anwendungen anzuordnen, Anwendungen oder Parameter oder Konstrukte davon zu modifizieren oder zu ändern, die Einsatzpipeline(s) 4210 während des Setups und/oder des Einsatzes zu verwenden und damit zu interagieren und/oder anderweitig mit dem Einsatzsystem 4106 zu interagieren. In mindestens einer Ausführungsform, obwohl nicht in Bezug auf das Trainingssystem 4104 veranschaulicht, kann die Benutzerschnittstelle 4214 (oder eine andere Benutzerschnittstelle) zum Auswählen von Modellen für die Verwendung in dem Einsatzsystem 4106, zum Auswählen von Modellen für das Training oder das erneute Training in dem Trainingssystem 4104 und/oder zum anderweitigen Interagieren mit dem Trainingssystem 4104 verwendet werden.
In mindestens einer Ausführungsform kann der Pipeline-Manager 4212 zusätzlich zu einem Anwendungsorchestrierungssystem 4228 verwendet werden, um die Interaktion zwischen den Anwendungen oder Containern der Einsatzpipeline(s) 4210 und den Diensten 4120 und/oder der Hardware 4122 zu verwalten. In mindestens einer Ausführungsform kann der Pipeline-Manager 4212 so konfiguriert sein, dass er Interaktionen von Anwendung zu Anwendung, von Anwendung zu Dienst 4120 und/oder von Anwendung oder Dienst zu Hardware 4122 erleichtert. Obwohl er der Veranschaulichung nach in der Software 4118 enthalten ist, soll dies in mindestens einer Ausführungsform nicht einschränkend sein und in einigen Beispielen (wie z. B. in 43 veranschaulicht) kann der Pipeline-Manager 4212 in den Diensten 4120 enthalten sein. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 4228 (z. B. Kubernetes, DOCKER usw.) ein Container-Orchestrierungssystem beinhalten, das Anwendungen zu Containern als logische Einheiten zur Koordination, Verwaltung, Skalierung und zum Einsatz gruppieren kann. In mindestens einer Ausführungsform kann durch das Assoziieren von Anwendungen aus den Einsatzpipeline(s) 4210 (z. B. einer Rekonstruktionsanwendung, einer Segmentierungsanwendung usw.) mit einzelnen Containern jede Anwendung in einer in sich geschlossenen Umgebung (z. B. auf Kernel-Level) ausgeführt werden, um die Geschwindigkeit und Effizienz zu erhöhen.
In mindestens einer Ausführungsform kann jede Anwendung und/oder jeder Container (oder ein Abbild davon) einzeln entwickelt, modifiziert und eingesetzt werden (z. B. kann ein erster Benutzer oder Entwickler eine erste Anwendung entwickeln, modifizieren und einsetzen und ein zweiter Benutzer oder Entwickler eine zweite Anwendung separat von einem ersten Benutzer oder Entwickler entwickeln, modifizieren und einsetzen), was es ermöglichen kann, sich auf einen Task einer einzelnen Anwendung und/oder Container(n) zu fokussieren und zu konzentrieren, ohne durch Tasks einer anderen Anwendung(en) oder eines anderen Container(n) behindert zu werden. In mindestens einer Ausführungsform kann die Kommunikation und Kooperation zwischen unterschiedlichen Containern oder Anwendungen durch den Pipeline-Manager 4212 und das Anwendungsorchestrierungssystem 4228 unterstützt werden. In mindestens einer Ausführungsform kann, solange eine erwartete Eingabe und/oder Ausgabe jedes Containers oder jeder Anwendung einem System bekannt ist (z. B. auf Grundlage von Konstrukten von Anwendungen oder Containern), das Anwendungsorchestrierungssystem 4228 und/oder der Pipeline-Manager 4212 die Kommunikation unter und zwischen jedem der Anwendungen oder Container sowie die gemeinsame Nutzung von Ressourcen unter und zwischen diesen erleichtern. Da eine oder mehrere Anwendungen oder Container in den Einsatzpipeline(s) 4210 gleiche Dienste und Ressourcen gemeinsam nutzen können, kann das Anwendungsorchestrierungssystem 4228 in mindestens einer Ausführungsform die gemeinsame Nutzung von Diensten oder Ressourcen zwischen und unter verschiedenen Anwendungen oder Containern orchestrieren, deren Last verteilen und bestimmen. In mindestens einer Ausführungsform kann ein Scheduler verwendet werden, um den Ressourcenbedarf von Anwendungen oder Containern, die derzeitige Nutzung oder geplante Nutzung dieser Ressourcen und die Ressourcenverfügbarkeit zu verfolgen. In mindestens einer Ausführungsform kann ein Scheduler somit Ressourcen unterschiedlichen Anwendungen zuweisen und Ressourcen zwischen und unter Anwendungen im Hinblick auf Bedarf und Verfügbarkeit eines Systems verteilen. In einigen Beispielen kann ein Scheduler (und/oder eine andere Komponente des Anwendungsorchestrierungssystems 4228) die Ressourcenverfügbarkeit und - verteilung auf Grundlage von Beschränkungen bestimmen, die einem System auferlegt werden (z. B. Benutzerbeschränkungen), wie etwa Dienstgüte (QoS), Dringlichkeit des Bedarfs an Datenausgaben (um z. B. zu bestimmen, ob Echtzeitverarbeitung oder verzögerte Verarbeitung ausgeführt werden soll) usw.
In mindestens einer Ausführungsform können die Dienste 4120, die durch Anwendungen oder Container in dem Einsatzsystem 4106 ausgenutzt und gemeinsam genutzt werden, Rechendienste 4216, KI-Dienste 4218, Visualisierungsdienste 4220 und/oder andere Diensttypen beinhalten. In mindestens einer Ausführungsform können Anwendungen einen oder mehrere der Dienste 4120 aufrufen (z. B. ausführen), um Verarbeitungsoperationen für eine Anwendung durchzuführen. In mindestens einer Ausführungsform können die Rechendienste 4216 durch Anwendungen ausgenutzt werden, um Superrechnen oder andere Tasks des Hochleistungsrechnens (HPC) durchzuführen. In mindestens einer Ausführungsform können die Rechendienst(e) 4216 ausgenutzt werden, um Parallelverarbeitung (z. B. unter Verwendung einer Parallelrechenplattform 4230) zum Verarbeiten von Daten durch eine oder mehrere Anwendungen und/oder einen oder mehrere Tasks einer einzelnen Anwendung im Wesentlichen simultan durchzuführen. In mindestens einer Ausführungsform kann die Parallelrechenplattform 4230 (z. B. CUDA von NVIDIA) Universaldatenverarbeitung auf GPUs (GPGPU) ermöglichen (z. B. GPUs 4222). In mindestens einer Ausführungsform kann eine Software-Schicht der Parallelrechenplattform 4230 Zugriff auf virtuelle Anweisungssätze und Parallelberechnungselemente von GPUs zur Ausführung von Rechenkernels bereitstellen. In mindestens einer Ausführungsform kann die Parallelrechenplattform 4230 Speicher beinhalten und in einigen Ausführungsformen kann ein Speicher zwischen und unter mehreren Containern und/oder zwischen und unter unterschiedlichen Verarbeitungs-Tasks innerhalb eines einzelnen Containers gemeinsam genutzt werden. In mindestens einer Ausführungsform können Aufrufe für Interprozesskommunikation (inter-process communication - IPC) für mehrere Container und/oder für mehrere Prozesse innerhalb eines Containers erzeugt werden, um gleiche Daten aus einem gemeinsam genutzten Speichersegment der Parallelrechenplattform 4230 zu verwenden (z. B., wenn mehrere unterschiedliche Stufen einer Anwendung oder mehrere Anwendungen gleiche Informationen verarbeiten). In mindestens einer Ausführungsform können gleiche Daten an einem gleichem Speicherort für eine beliebige Anzahl von Verarbeitungs-Tasks verwendet werden (z. B. zur gleichen Zeit, zu unterschiedlichen Zeiten usw.), anstatt eine Kopie der Daten zu erstellen und die Daten an unterschiedliche Orte in dem Speicher zu verschieben (z. B. eine Lese-/Schreiboperation). In mindestens einer Ausführungsform können, da Daten verwendet werden, um neue Daten als Ergebnis der Verarbeitung zu erzeugen, diese Informationen über einen neuen Ort von Daten gespeichert und von verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können ein Ort von Daten und ein Ort von aktualisierten oder modifizierten Daten Teil einer Definition sein, wie Nutzdaten innerhalb von Containern zu verstehen sind.
In mindestens einer Ausführungsform können die KI-Dienste 4218 ausgenutzt werden, um Inferenzdienste zum Ausführen von Modell(en) des maschinellen Lernens durchzuführen, die mit Anwendungen assoziiert sind (z. B. mit dem Durchführen eines oder mehrerer Verarbeitungs-Tasks einer Anwendung beauftragt). In mindestens einer Ausführungsform können die KI-Dienste 4218 das KI-System 4224 ausnutzen, um Modell(e) des maschinellen Lernens (z. B. neuronale Netze wie etwa CNNs) für Segmentierung, Rekonstruktion, Objektdetektion, Merkmalsdetektion, Klassifizierung und/oder andere Inferenzierungs-Tasks auszuführen. In mindestens einer Ausführungsform können die Anwendungen der Einsatzpipeline(s) 4210 eines oder mehrere der Ausgabemodelle 4116 aus dem Trainingssystem 4104 und/oder andere Modelle der Anwendungen verwenden, um Inferenz an Bildgebungsdaten (z. B. DICOM-Daten, RIS-Daten, CIS-Daten, REST-konformen Daten, RPC-Daten, Rohdaten usw.) durchzuführen. In mindestens einer Ausführungsform können zwei oder mehr Beispiele für das Inferenzieren unter Verwendung des Anwendungsorchestrierungssystems 4228 (z. B. eines Schedulers) verfügbar sein. In mindestens einer Ausführungsform kann eine erste Kategorie einen Pfad mit hoher Priorität/geringer Latenz beinhalten, der höhere Service Level Agreements erreichen kann, wie etwa zum Durchführen von Inferenz an dringenden Anforderungen während eines Notfalls oder für einen Radiologen während der Diagnose. In mindestens einer Ausführungsform kann eine zweite Kategorie einen Pfad mit Standardpriorität beinhalten, der für Anforderungen verwendet werden kann, die nicht dringend sind oder bei denen die Analyse zu einem späteren Zeitpunkt durchgeführt werden kann. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 4228 Ressourcen (z. B. Dienste 4120 und/oder Hardware 4122) auf Grundlage von Prioritätspfaden für unterschiedliche Inferenzierungs-Tasks der KI-Dienste 4218 verteilen.
In mindestens einer Ausführungsform kann der gemeinsam genutzte Datenspeicher mit den KI-Diensten 4218 innerhalb des Systems 4200 verbunden sein. In mindestens einer Ausführungsform kann der gemeinsam genutzte Datenspeicher als Cache (oder anderer Speichervorrichtungstyp) arbeiten und zum Verarbeiten von Inferenzanforderungen von Anwendungen verwendet werden. In mindestens einer Ausführungsform kann, wenn eine Inferenzanforderung abgesendet wird, eine Anforderung durch einen Satz von API-Instanzen des Einsatzsystems 4106 empfangen werden und eine oder mehrere Instanzen können ausgewählt werden (z. B. für beste Anpassung, für Lastverteilung usw.), um eine Anforderung zu verarbeiten. In mindestens einer Ausführungsform kann zum Verarbeiten einer Anforderung eine Anforderung in eine Datenbank eingegeben werden, ein Modell des maschinellen Lernens kann aus der Modellregistrierungsdatenbank 4124 lokalisiert werden, falls es sich nicht bereits in einem Cache befindet, ein Validierungsschritt kann sicherstellen, dass ein zweckmäßiges Modell des maschinellen Lernens in einen Cache (z. B. einen gemeinsam genutzten Datenspeicher) geladen wird, und/oder eine Kopie eines Modells kann in einem Cache gesichert werden. In mindestens einer Ausführungsform kann ein Scheduler (z. B. des Pipeline-Managers 4212) verwendet werden, um eine Anwendung zu starten, auf die in einer Anforderung verwiesen wird, falls eine Anwendung nicht bereits läuft oder falls nicht genügend Instanzen einer Anwendung vorhanden sind. In mindestens einer Ausführungsform kann ein Inferenzserver gestartet werden, falls ein Inferenzserver zum Ausführen eines Modells nicht bereits gestartet ist. In mindestens einer Ausführungsform kann pro Modell eine beliebige Anzahl von Inferenzservern gestartet werden. In mindestens einer Ausführungsform können in einem Pull-Modell, in dem Inferenzserver geclustert sind, Modelle zwischengespeichert werden, wann immer eine Lastverteilung vorteilhaft ist. In mindestens einer Ausführungsform können Inferenzserver statisch in entsprechende, verteilte Server geladen werden.
In mindestens einer Ausführungsform kann das Inferenzieren unter Verwendung eines Inferenzservers durchgeführt werden, der in einem Container läuft. In mindestens einer Ausführungsform kann eine Instanz eines Inferenzservers mit einem Modell (und optional einer Vielzahl von Versionen eines Modells) assoziiert sein. In mindestens einer Ausführungsform kann, falls eine Instanz eines Inferenzservers nicht existiert, wenn eine Anforderung zum Durchführen eines Inferenzierens an einem Modell empfangen wird, eine neue Instanz geladen werden. In mindestens einer Ausführungsform kann beim Starten eines Inferenzservers ein Modell an einen Inferenzserver übergeben werden, sodass der gleiche Container zum Bedienen unterschiedlicher Modelle verwendet werden kann, solange der Inferenzserver als andere Instanz läuft.
In mindestens einer Ausführungsform kann während der Anwendungsausführung eine Inferenzanforderung für eine gegebene Anwendung empfangen werden und ein Container (der z. B. eine Instanz eines Inferenzservers hostet) geladen werden (falls nicht bereits geschehen) und eine Startprozedur aufgerufen werden. In mindestens einer Ausführungsform kann Vorverarbeitungslogik in einem Container eingehende Daten laden, decodieren und/oder beliebige zusätzliche Vorverarbeitung an diesen durchführen (z. B. unter Verwendung von CPU(s) und/oder GPU(s)). In mindestens einer Ausführungsform kann ein Container, sobald die Daten für die Inferenz vorbereitet sind, das Inferenzieren nach Bedarf an den Daten durchführen. In mindestens einer Ausführungsform kann dies einen einzelnen Inferenzaufruf an einem Bild (z. B. einem Handröntgenbild) beinhalten oder eine Inferenz an Hunderten von Bildern (z. B. einem Brust-CT) erfordern. In mindestens einer Ausführungsform kann eine Anwendung Ergebnisse vor dem Abschluss zusammenfassen, was ohne Einschränkung eine einzelne Konfidenzbewertung, eine Segmentierung auf Pixellevel, eine Segmentierung auf Voxellevel, das Erzeugen einer Visualisierung oder das Erzeugen von Text zum Zusammenfassen von Befunden beinhalten kann. In mindestens einer Ausführungsform können unterschiedlichen Modellen oder Anwendungen unterschiedliche Prioritäten zugeordnet werden. Zum Beispiel können einige Modelle eine Echtzeitpriorität (TAT weniger als eine Minute) aufweisen, während andere eine niedrigere Priorität aufweisen können (z. B. TAT weniger als 10 Minuten). In mindestens einer Ausführungsform können die Modellausführungszeiten von der anfordernden Institution oder Entität gemessen werden und die Zeit für die Traversierung des Partnernetzes sowie die Ausführung auf einem Inferenzdienst beinhalten.
In mindestens einer Ausführungsform kann die Übermittlung von Anforderungen zwischen den Diensten 4120 und den Inferenzanwendungen hinter einem Software-Entwicklungskit (SDK) verborgen sein und der robuste Transport durch eine Warteschlange bereitgestellt sein. In mindestens einer Ausführungsform wird eine Anforderung über eine API für eine einzelne Anwendungs-/Tenant-ID-Kombination in einer Warteschlange platziert und ein SDK entnimmt eine Anforderung aus einer Warteschlange und gibt eine Anforderung einer Anwendung. In mindestens einer Ausführungsform kann ein Name einer Warteschlange in einer Umgebung bereitgestellt sein, aus der ein SDK diesen aufnimmt. In mindestens einer Ausführungsform kann die asynchrone Kommunikation durch eine Warteschlange nützlich sein, da sie es einer beliebigen Instanz einer Anwendung ermöglichen kann, die Arbeit aufzunehmen, sobald sie verfügbar wird. In mindestens einer Ausführungsform können die Ergebnisse durch eine Warteschlange zurück übermittelt werden, um sicherzustellen, dass keine Daten verloren gehen. In mindestens einer Ausführungsform können Warteschlangen auch eine Fähigkeit bereitstellen, Arbeit zu segmentieren, da Arbeit mit höchster Priorität an eine Warteschlange gehen kann, mit der die meisten Instanzen einer Anwendung verbunden sind, während Arbeit mit niedrigster Priorität an eine Warteschlange gehen kann, mit der nur eine einzelne Instanz verbunden ist, die Tasks in einer Reihenfolge verarbeitet, in der sie empfangen werden. In mindestens einer Ausführungsform kann eine Anwendung auf einer GPU-beschleunigten Instanz laufen, die in der Cloud 4226 erzeugt wurde, und ein Inferenzdienst kann das Inferenzieren auf einer GPU durchführen.
In mindestens einer Ausführungsform können die Visualisierungsdienste 4220 ausgenutzt werden, um Visualisierungen zur Ansicht von Ausgaben von Anwendungen und/oder Einsatzpipeline(s) 4210 zu erzeugen. In mindestens einer Ausführungsform können die GPUs 4222 durch die Visualisierungsdienste 4220 ausgenutzt werden, um Visualisierungen zu erzeugen. In mindestens einer Ausführungsform können Rendering-Effekte, wie etwa Strahlverfolgung, durch die Visualisierungsdienste 4220 implementiert werden, um Visualisierungen mit höherer Qualität zu erzeugen. In mindestens einer Ausführungsform können Visualisierungen ohne Einschränkung 2D-Bild-Renderings, 3D-Volumen-Renderings, 3D-Volumenrekonstruktionen, 2D-Tomografiescheiben, Virtual-Reality-Anzeigen, Augmented-Reality-Anzeigen usw. beinhalten. In mindestens einer Ausführungsform können virtualisierte Umgebungen verwendet werden, um eine virtuelle interaktive Anzeige oder Umgebung (z. B. eine virtuelle Umgebung) für die Interaktion durch Benutzer eines Systems (z. B. Ärzte, Pfleger, Radiologen usw.) zu erzeugen. In mindestens einer Ausführungsform können die Visualisierungsdienste 4220 einen internen Visualizer, Kinematik und/oder andere Rendering- oder Bildverarbeitungsfähigkeiten oder -funktionen (z. B. Strahlverfolgung, Rasterung, interne Optik usw.) beinhalten.
In mindestens einer Ausführungsform kann die Hardware 4122 GPUs 4222, das KI-System 4224, die Cloud 4226 und/oder beliebige andere Hardware beinhalten, die zum Ausführen des Trainingssystems 4104 und/oder des Einsatzsystems 4106 verwendet wird. In mindestens einer Ausführungsform können die GPUs 4222 (z. B. TESLA- und/oder QUADRO-GPUs von NVIDIA) eine beliebige Anzahl von GPUs beinhalten, die zum Ausführen von Verarbeitungs-Tasks von Rechendiensten 4216, KI-Diensten 4218, Visualisierungsdiensten 4220, anderen Diensten und/oder beliebigen von Merkmalen oder Funktionen der Software 4118 verwendet werden können. In Bezug auf die KI-Dienste 4218 können die GPUs 4222 zum Beispiel zum Durchführen von Vorverarbeitung an Bildgebungsdaten (oder anderen Datentypen, die durch Modelle des maschinellen Lernens verwendet werden), Nachverarbeitung an Ausgaben der Modelle des maschinellen Lernens und/oder zum Durchführen von Inferenzieren (z. B. zum Ausführen von Modellen des maschinellen Lernens) verwendet werden. In mindestens einer Ausführungsform können die Cloud 4226, das KI-System 4224 und/oder andere Komponenten des Systems 4200 die GPUs 4222 verwenden. In mindestens einer Ausführungsform kann die Cloud 4226 eine GPU-optimierte Plattform für Deep-Learning-Tasks beinhalten. In mindestens einer Ausführungsform kann das KI-System 4224 GPUs verwenden und die Cloud 4226 - oder mindestens ein Abschnitt, der mit Deep Learning oder Inferenzieren beauftragt ist - kann unter Verwendung eines oder mehrerer KI-Systeme 4224 ausgeführt werden. Obwohl es sich bei der Hardware 4122 der Veranschaulichung nach um diskrete Komponenten handelt, soll dies demnach nicht einschränkend sein und beliebige Komponenten der Hardware 4122 können mit beliebigen anderen Komponenten der Hardware 4122 kombiniert oder durch diese ausgenutzt werden.
In mindestens einer Ausführungsform kann das KI-System 4224 ein speziell entwickeltes Rechensystem (z. B. einen Supercomputer oder einen HPC) beinhalten, das für Inferenzieren, Deep Learning, maschinelles Lernen und/oder andere Tasks der künstlichen Intelligenz konfiguriert ist. In mindestens einer Ausführungsform kann das KI-System 4224 (z. B. DGX von NVIDIA) GPU-optimierte Software (z. B. einen Software-Stapel) beinhalten, die unter Verwendung einer Vielzahl von GPUs 4222 zusätzlich zu CPUs, RAM, Datenspeicher und/oder anderen Komponenten, Merkmalen oder Funktionen ausgeführt werden kann. In mindestens einer Ausführungsform können ein oder mehrere KI-Systeme 4224 in der Cloud 4226 (z. B. in einem Rechenzentrum) implementiert sein, um einige oder alle der KI-basierten Verarbeitungs-Tasks des Systems 4200 durchzuführen.
In mindestens einer Ausführungsform kann die Cloud 4226 eine GPUbeschleunigte Infrastruktur (z. B. NGC von NVIDIA) beinhalten, die eine GPU-optimierte Plattform zum Ausführen von Verarbeitungs-Tasks des Systems 4200 bereitstellen kann. In mindestens einer Ausführungsform kann die Cloud 4226 ein KI-System(e) 4224 zum Durchführen eines oder mehrerer KI-basierter Tasks des Systems 4200 beinhalten (z. B. als Hardware-Abstraktions- und - Skalierungsplattform). In mindestens einer Ausführungsform kann die Cloud 4226 in das Anwendungsorchestrierungssystem 4228 integriert sein, das mehrere GPUs ausnutzt, um eine nahtlose Skalierung und Lastverteilung zwischen und unter den Anwendungen und Diensten 4120 zu ermöglichen. In mindestens einer Ausführungsform kann die Cloud 4226 damit beauftragt sein, mindestens einige der Dienste 4120 des Systems 4200 auszuführen, einschließlich der Rechendienste 4216, der KI-Dienste 4218 und/oder der Visualisierungsdienste 4220, wie hierin beschrieben. In mindestens einer Ausführungsform kann die Cloud 4226 Inferenz mit kleinen und großen Batches durchführen (z. B. unter Ausführung von TENSOR RT von NVIDIA), eine beschleunigte Parallelrechen-API und -Plattform 4230 bereitstellen (z. B. CUDA von NVIDIA), ein Anwendungsorchestrierungssystem 4228 ausführen (z. B. KUBERNETES), eine Grafik-Rendering-API und -Plattform bereitstellen (z. B. für Strahlverfolgung, 2D-Grafik, 3D-Grafik und/oder andere Rendering-Techniken, um Kinematik mit höherer Qualität zu erzeugen) und/oder sie kann andere Funktionen für das System 4200 bereitstellen.
In mindestens einer Ausführungsform kann die Cloud 4226 in dem Bestreben, die Vertraulichkeit von Patientendaten zu wahren (z. B., wenn Patientendaten oder -akten außerhalb der Räumlichkeiten verwendet werden sollen), eine Registrierungsdatenbank beinhalten - wie etwa eine Deep-Learning-Containerregistrierungsdatenbank. In mindestens einer Ausführungsform kann eine Registrierungsdatenbank Container für Instanziierungen von Anwendungen speichern, die Vorverarbeitungs-, Nachverarbeitungs- oder andere Verarbeitungs-Tasks an Patientendaten durchführen können. In mindestens einer Ausführungsform kann die Cloud 4226 Daten empfangen, die Patientendaten sowie Sensordaten in Containern beinhalten, die angeforderte Verarbeitung nur für die Sensordaten in diesen Containern durchführen und dann eine resultierende Ausgabe und/oder Visualisierungen an zweckmäßige Parteien und/oder Vorrichtungen weiterleiten (z. B. medizinische Vorrichtungen in den Räumlichkeiten, die zur Visualisierung oder Diagnose verwendet werden), ohne dass Patientendaten extrahiert oder gespeichert müssen oder anderweitig darauf zugegriffen werden muss. In mindestens einer Ausführungsform wird die Vertraulichkeit der Patientendaten in Übereinstimmung mit HIPAA- und/oder anderen Datenvorschriften gewahrt.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 42 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der Fig. 142 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 42 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
43 beinhaltet eine beispielhafte Veranschaulichung einer Einsatzpipeline 4210A zum Verarbeiten von Bildgebungsdaten gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 4200 - und insbesondere das Einsatzsystem 4106 - verwendet werden, um die Einsatzpipeline(s) 4210A individuell anzupassen, zu aktualisieren und/oder in eine oder mehrere Produktionsumgebungen zu integrieren. In mindestens einer Ausführungsform beinhaltet die Einsatzpipeline 4210A aus 43 ein nicht einschränkendes Beispiel für eine Einsatzpipeline 4210A, die durch einen konkreten Benutzer (oder ein Team von Benutzern) in einer Einrichtung (z. B. in einem Krankenhaus, einer Klinik, einem Labor, einer Forschungsumgebung usw.) individuell definiert sein kann. In mindestens einer Ausführungsform kann ein Benutzer zum Definieren von Einsatzpipelines 421 0A für einen CT-Scanner 4302 - zum Beispiel aus einer Containerregistrierungsdatenbank - eine oder mehrere Anwendungen auswählen, die spezifische Funktionen oder Tasks in Bezug auf die durch den CT-Scanner 4302 erzeugten Bildgebungsdaten durchführen. In mindestens einer Ausführungsform können Anwendungen auf die Einsatzpipeline 4210A als Container angewendet werden, die die Dienste 4120 und/oder Hardware 4122 des Systems 4200 ausnutzen können. Darüber hinaus kann die Einsatzpipeline 4210A zusätzliche Verarbeitungs-Tasks oder Anwendungen beinhalten, die implementiert werden können, um Daten für die Verwendung durch Anwendungen vorzubereiten (z. B. können der DICOM-Adapter 4202B und ein DICOM-Lesegerät 4306 in der Einsatzpipeline 4210A verwendet werden, um Daten für die Verwendung durch eine CT-Rekonstruktion 4308, eine Organsegmentierung 4310 usw. vorzubereiten). In mindestens einer Ausführungsform kann die Einsatzpipeline 4210A für einen konsistenten Einsatz, eine einmalige Verwendung oder für eine andere Häufigkeit oder ein anderes Intervall individuell angepasst oder ausgewählt werden. In mindestens einer Ausführungsform kann ein Benutzer die CT-Rekonstruktion 4308 und die Organsegmentierung 4310 für mehrere Probanden über ein spezifisches Intervall wünschen und daher die Pipeline 4210A für diesen Zeitraum einsetzen. In mindestens einer Ausführungsform kann ein Benutzer für jede Anforderung von dem System 4200 die Anwendungen auswählen, die ein Benutzer möchte, um Verarbeitung an diesen Daten für diese Anforderung durchzuführen. In mindestens einer Ausführungsform kann die Einsatzpipeline 4210A in einem beliebigen Intervall eingestellt werden und aufgrund der Anpassungsfähigkeit und Skalierbarkeit einer Container-Struktur innerhalb des Systems 4200 kann dies ein nahtloser Prozess sein.
In mindestens einer Ausführungsform kann die Einsatzpipeline 421 0A aus 43 einen CT-Scanner 4302 zum Erzeugen von Bildgebungsdaten eines Patienten oder Probanden beinhalten. In mindestens einer Ausführungsform können die Bildgebungsdaten von dem CT-Scanner 4302 auf einem PACS-Server(n) 4304 gespeichert werden, die mit einer Einrichtung assoziiert sind, in der sich der CT-Scanner 4302 befindet. In mindestens einer Ausführungsform kann der/können die PACS-Server 4304 Software- und/oder Hardware-Komponenten beinhalten, die mit den Bildgebungsmodalitäten (z. B. dem CT-Scanner 4302) in einer Einrichtung eine direkte Schnittstelle bilden können. In mindestens einer Ausführungsform kann der DICOM-Adapter 4202B das Senden und Empfangen von DICOM-Objekten unter Verwendung von DICOM-Protokollen ermöglichen. In mindestens einer Ausführungsform kann der DICOM-Adapter 4202B bei der Vorbereitung oder Konfiguration von DICOM-Daten von PACS-Server(n) 4304 für die Verwendung durch die Einsatzpipeline 4210A helfen. In mindestens einer Ausführungsform kann der Pipeline-Manager 4212 Daten an die Einsatzpipeline 4210A durchrouten, sobald DICOM-Daten durch den DICOM-Adapter 4202B verarbeitet sind. In mindestens einer Ausführungsform kann das DICOM-Lesegerät 4306 Bilddateien und etwaige damit assoziierte Metadaten aus DICOM-Daten extrahieren (z. B. Sinogramm-Rohdaten, wie in der Visualisierung 4316A veranschaulicht). In mindestens einer Ausführungsform können Arbeitsdateien, die extrahiert werden, in einem Cache gespeichert werden, um eine schnellere Verarbeitung durch andere Anwendungen in der Einsatzpipeline 421 0A zu ermöglichen. In mindestens einer Ausführungsform kann, sobald das DICOM-Lesegerät 4306 das Extrahieren und/oder Speichern von Daten beendet hat, ein Abschlusssignal an den Pipeline-Manager 4212 kommuniziert werden. In mindestens einer Ausführungsform kann der Pipeline-Manager 4212 dann eine oder mehrere andere Anwendungen oder Container in der Einsatzpipeline 4210A initiieren oder aufrufen.
In mindestens einer Ausführungsform kann die Anwendung und/oder der Container für die CT-Rekonstruktion 4308 ausgeführt werden, sobald Daten (z. B. Sinogramm-Rohdaten) für die Verarbeitung durch die Anwendung für die CT-Rekonstruktion 4308 verfügbar sind. In mindestens einer Ausführungsform kann die CT-Rekonstruktion 4308 Sinogramm-Rohdaten aus einem Cache lesen, eine Bilddatei aus den Sinogramm-Rohdaten rekonstruieren (wie z. B. in der Visualisierung 4316B veranschaulicht) und die resultierende Bilddatei in einem Cache speichern. In mindestens einer Ausführungsform kann bei Abschluss der Rekonstruktion dem Pipeline-Manager 4212 signalisiert werden, dass der Rekonstruktions-Task abgeschlossen ist. In mindestens einer Ausführungsform kann, sobald die Rekonstruktion abgeschlossen ist und eine rekonstruierte Bilddatei in einem Cache (oder einer anderen Speichervorrichtung) gespeichert werden kann, die Anwendung und/oder der Container für die Organsegmentierung 4310 durch den Pipeline-Manager 4212 ausgelöst werden. In mindestens einer Ausführungsform kann die Anwendung und/oder der Container für die Organsegmentierung 4310 eine Bilddatei aus einem Cache lesen, eine Bilddatei normalisieren oder in ein für die Inferenz geeignetes Format konvertieren (z. B. eine Bilddatei in eine Eingabeauflösung eines Modells des maschinellen Lernens konvertieren) und die Inferenz gegen ein normalisiertes Bild ausführen. Um Inferenz an einem normalisierten Bild auszuführen, kann sich die Anwendung und/oder der Container für die Organsegmentierung 4310 in mindestens einer Ausführungsform auf die Dienste 4120 stützen und der Pipeline-Manager 4212 und/oder das Anwendungsorchestrierungssystem 4228 können die Verwendung der Dienste 4120 durch die Anwendung und/oder den Container für die Organsegmentierung 4310 erleichtern. Zum Beispiel kann in mindestens einer Ausführungsform die Anwendung und/oder der Container für die Organsegmentierung 4310 die KI-Dienste 4218 ausnutzen, um Inferenz an einem normalisierten Bild durchzuführen, und die KI-Dienste 4218 können die Hardware 4122 (z. B. das KI-System 4224) ausnutzen, um die KI-Dienste 4218 auszuführen. In mindestens einer Ausführungsform kann ein Ergebnis einer Inferenz eine Maskendatei sein (wie z. B. in der Visualisierung 4316C veranschaulicht), die in einem Cache (oder einer anderen Speichervorrichtung) gespeichert werden kann.
In mindestens einer Ausführungsform kann, sobald Anwendungen, die DICOM-Daten und/oder aus DICOM-Daten extrahierte Daten verarbeiten, die Verarbeitung abgeschlossen haben, ein Signal für den Pipeline-Manager 4212 erzeugt werden. In mindestens einer Ausführungsform kann der Pipeline-Manager 4212 dann ein DICOM-Schreibgerät 4312 ausführen, um Ergebnisse aus einem Cache (oder einer anderen Speichervorrichtung) zu lesen und Ergebnisse in ein DICOM-Format (z. B. als DICOM-Ausgabe 4314) zur Verwendung durch Benutzer in einer Einrichtung, die eine Anforderung erzeugten, zu verpacken. In mindestens einer Ausführungsform kann die DICOM-Ausgabe 4314 dann an den DICOM-Adapter 4202B übertragen werden, um die DICOM-Ausgabe 4314 für die Speicherung auf den PACS-Server(n) 4304 vorzubereiten (z. B. zum Ansehen durch ein DICOM-Betrachtungsgerät in einer Einrichtung). In mindestens einer Ausführungsform können als Reaktion auf eine Anforderung zur Rekonstruktion und Segmentierung Visualisierungen 4316B und 4316C erzeugt werden und einem Benutzer für Diagnose-, Forschungs- und/oder andere Zwecke zur Verfügung gestellt werden.
Obwohl als konsekutive Anwendung in der Einsatzpipeline 4210A veranschaulicht, können die Anwendungen für die CT-Rekonstruktion 4308 und die Organsegmentierung 4310 in mindestens einer Ausführungsform parallel verarbeitet werden. In mindestens einer Ausführungsform, in der die Anwendungen keine Abhängigkeiten voneinander aufweisen und Daten für jede Anwendung verfügbar sind (z. B., nachdem das DICOM-Lesegerät 4306 Daten extrahiert hat), können Anwendungen gleichzeitig, im Wesentlichen gleichzeitig oder mit einer gewissen Überlappung ausgeführt werden. In mindestens einer Ausführungsform, in der zwei oder mehr Anwendungen ähnliche Dienste 4120 erfordern, kann ein Scheduler des Systems 4200 zur Lastverteilung und zum Verteilen von Rechen- oder Verarbeitungsressourcen zwischen und unter verschiedenen Anwendungen verwendet werden. In mindestens einer Ausführungsform kann die Parallelrechenplattform 4230 zum Durchführen von Parallelverarbeitung für Anwendungen verwendet werden, um die Laufzeit der Einsatzpipeline 4210A zu verkürzen, um Ergebnisse in Echtzeit bereitzustellen.
In mindestens einer Ausführungsform und unter Bezugnahme auf 44A-44B kann das Einsatzsystem 4106 als ein oder mehrere virtuelle Instrumente implementiert werden, um unterschiedliche Funktionalitäten - wie etwa Bildverarbeitung, Segmentierung, Verbesserung, Kl, Visualisierung und Inferenzieren - mit Bildgebungsvorrichtungen (z. B. CT-Scannern, Röntgenmaschinen, MRT-Maschinen usw.), Sequenzierungsvorrichtungen, Genomikvorrichtungen und/oder anderen Vorrichtungstypen durchzuführen. In mindestens einer Ausführungsform kann das System 4200 die Erstellung und Bereitstellung von virtuellen Instrumenten ermöglichen, die eine softwaredefinierte Einsatzpipeline 4210 beinhalten können, die durch eine Vorrichtung(en) erzeugte rohe/unverarbeitete Eingabedaten empfangen und verarbeitete/rekonstruierte Daten ausgeben kann. In mindestens einer Ausführungsform können Einsatzpipelines 4210 (z. B. 4210A und 421 OB), die virtuelle Instrumente darstellen, Intelligenz in einer Pipeline implementieren, wie etwa durch Ausnutzen von Modellen des maschinellen Lernens, um einem System containerisierte Inferenzunterstützung bereitzustellen. In mindestens einer Ausführungsform können virtuelle Instrumente eine beliebige Anzahl von Containern ausführen, die jeweils Instanziierungen von Anwendungen beinhalten. In mindestens einer Ausführungsform, wie etwa, wenn Echtzeitverarbeitung gewünscht ist, können Einsatzpipelines 4210, die virtuelle Instrumente darstellen, statisch sein (z. B. können Container und/oder Anwendungen festgelegt sein), während in anderen Beispielen Container und/oder Anwendungen für virtuelle Instrumente aus einem Pool von Anwendungen oder Ressourcen (z. B. innerhalb einer Containerregistrierungsdatenbank k) ausgewählt werden können (z. B. pro Anforderung).
In mindestens einer Ausführungsform kann das System 4200 als ein oder mehrere virtuelle Instrumente in den Räumlichkeiten in einer Einrichtung instanziiert oder ausgeführt werden, zum Beispiel in einem Rechensystem, das neben einer Radiologiemaschine, einer Bildgebungsvorrichtung und/oder einem anderen Vorrichtungstyp in einer Einrichtung eingesetzt wird oder anderweitig in Kommunikation damit steht. In mindestens einer Ausführungsform kann jedoch eine Installation in den Räumlichkeiten innerhalb eines Rechensystems einer Vorrichtung selbst (z. B. eines Rechensystems, das einstückig zu einer Bildgebungsvorrichtung ist), in einem lokalen Rechenzentrum (z. B. einem Rechenzentrum in den Räumlichkeiten) und/oder in einer Cloud-Umgebung (z. B. in der Cloud 4226) instanziiert oder ausgeführt werden. In mindestens einer Ausführungsform kann das Einsatzsystem 4106, das als virtuelles Instrument arbeitet, in einigen Beispielen durch einen Supercomputer oder ein anderes HPC-System instanziiert werden. In mindestens einer Ausführungsform kann die Installation in den Räumlichkeiten Verwendungen mit hoher Bandbreite (zum Beispiel über lokale Kommunikationsschnittstellen mit höherem Durchsatz, wie etwa HF über Ethernet) für die Echtzeitverarbeitung ermöglichen. In mindestens einer Ausführungsform kann Verarbeitung in Echtzeit oder nahezu in Echtzeit besonders nützlich sein, wenn ein virtuelles Instrument eine Ultraschallvorrichtung oder eine andere Bildgebungsmodalität unterstützt, bei der sofortige Visualisierungen erwartet oder für genaue Diagnosen und Analysen erforderlich sind. In mindestens einer Ausführungsform kann eine Cloud-Computing-Architektur zu dynamischem Bursting zu einem Cloud-Computing-Dienstleister oder einem anderen Rechencluster in der Lage sein, wenn die lokale Nachfrage die Kapazität oder Fähigkeit vor Ort übersteigt. In mindestens einer Ausführungsform kann eine Cloud-Architektur, wenn sie implementiert ist, für das Training neuronaler Netze oder anderer Modelle des maschinellen Lernens abgestimmt werden, wie hierin in Bezug auf das Trainingssystem 4104 beschrieben. In mindestens einer Ausführungsform können Modelle des maschinellen Lernens mit vorhandenen Trainingspipelines kontinuierlich lernen und sich verbessern, wenn sie zusätzliche Daten von Vorrichtungen verarbeiten, die sie unterstützen. In mindestens einer Ausführungsform können virtuelle Instrumente unter Verwendung von zusätzlichen Daten, neuen Daten, existierenden Modellen des maschinellen Lernens und/oder aktualisierten Modellen des maschinellen Lernens kontinuierlich verbessert werden.
In mindestens einer Ausführungsform kann ein Rechensystem einen Teil der oder die gesamte hierin beschriebene Hardware 4122 beinhalten und die Hardware 4122 kann auf beliebige einer Reihe von Weisen verteilt sein, einschließlich innerhalb einer Vorrichtung, als Teil einer Rechenvorrichtung, die an eine Vorrichtung gekoppelt ist und sich in deren Nähe befindet, in einem lokalen Rechenzentrum in einer Einrichtung und/oder in der Cloud 4226. Da das Einsatzsystem 4106 und die damit assoziierten Anwendungen oder Container in Software erstellt werden (z. B. als diskrete containerisierte Instanziierungen von Anwendungen), können in mindestens einer Ausführungsform das Verhalten, der Betrieb und die Konfiguration von virtuellen Instrumenten sowie die durch virtuelle Instrumente erzeugten Ausgaben nach Wunsch modifiziert oder individuell angepasst werden, ohne dass die Rohausgabe einer Vorrichtung, die ein virtuelles Instrument unterstützt, geändert oder verändert werden muss.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 43 dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in der 43 dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 43 dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
44A beinhaltet ein beispielhaftes Datenablaufdiagramm eines virtuellen Instruments, das eine Ultraschallvorrichtung unterstützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Einsatzpipeline 4210B einen oder mehrere der Dienste 4120 des Systems 4200 ausnutzen. In mindestens einer Ausführungsform können die Einsatzpipeline 4210B und die Dienste 4120 die Hardware 4122 eines Systems entweder lokal oder in der Cloud 4226 ausnutzen. In mindestens einer Ausführungsform, obwohl nicht veranschaulicht, kann der Prozess 4400 durch den Pipeline-Manager 4212, das Anwendungsorchestrierungssystem 4228 und/oder die Parallelrechenplattform 4230 erleichtert werden.
In mindestens einer Ausführungsform kann der Prozess 4400 den Empfang von Bildgebungsdaten von einer Ultraschallvorrichtung 4402 beinhalten. In mindestens einer Ausführungsform können die Bildgebungsdaten auf den PACS-Server(n) in einem DICOM-Format (oder einem anderen Format, wie etwa RIS, CIS, REST-konform, RPC, Rohdaten usw.) gespeichert sein und durch das System 4200 zur Verarbeitung durch die Einsatzpipeline 4210 empfangen werden, die als virtuelles Instrument (z. B. ein virtueller Ultraschall) für die Ultraschallvorrichtung 4402 ausgewählt oder individuell angepasst wurde. In mindestens einer Ausführungsform können die Bildgebungsdaten direkt von einer Bildgebungsvorrichtung (z. B. Ultraschallvorrichtung 4402) empfangen und durch ein virtuelles Instrument verarbeitet werden. In mindestens einer Ausführungsform kann ein Wandler oder ein anderer Signalkonverter, der kommunikativ zwischen einer Bildgebungsvorrichtung und einem virtuellen Instrument gekoppelt ist, die durch eine Bildgebungsvorrichtung erzeugten Signaldaten in Bilddaten umwandeln, die durch ein virtuelles Instrument verarbeitet werden können. In mindestens einer Ausführungsform können Rohdaten und/oder Bilddaten auf das DICOM-Lesegerät 4306 angewendet werden, um Daten zur Verwendung durch Anwendungen oder Container der Einsatzpipeline 421 OB zu extrahieren. In mindestens einer Ausführungsform kann das DICOM-Lesegerät 4306 die Datenerweiterungsbibliothek 4414 (z. B. DALI von NVIDIA) als Dienst 4120 (z. B. als einen der Rechendienste(s) 4216) nutzen, um Daten zu extrahieren, deren Größe zu ändern, sie neu zu skalieren und/oder anderweitig für die Verwendung durch Anwendungen oder Container vorzubereiten.
In mindestens einer Ausführungsform kann, sobald die Daten vorbereitet sind, eine Anwendung und/oder ein Container für die Rekonstruktion 4406 ausgeführt werden, um die Daten von der Ultraschallvorrichtung 4402 in eine Bilddatei zu rekonstruieren. In mindestens einer Ausführungsform kann nach der Rekonstruktion 4406 oder gleichzeitig mit der Rekonstruktion 4406 eine Anwendung und/oder ein Container für die Detektion 4408 zur Anomaliedetektion, zur Objektdetektion, zur Merkmalsdetektion und/oder zu anderen Detektions-Tasks in Bezug auf die Daten ausgeführt werden. In mindestens einer Ausführungsform kann eine während der Rekonstruktion 4406 erzeugte Bilddatei während der Detektion 4408 verwendet werden, um Anomalien, Objekte, Merkmale usw. zu identifizieren. In mindestens einer Ausführungsform kann die Anwendung für die Detektion 4408 eine Inferenz-Engine 4416 (z. B. als einen der KI-Dienste(s) 4218) ausnutzen, um Inferenzing an Daten durchzuführen, um Detektionen zu erzeugen. In mindestens einer Ausführungsform können ein oder mehrere Modelle des maschinellen Lernens (z. B. aus dem Trainingssystem 4104) durch die Anwendung für die Detektion 4408 ausgeführt oder aufgerufen werden.
In mindestens einer Ausführungsform können, sobald die Rekonstruktion 4406 und/oder Detektion 4408 abgeschlossen ist/sind, die aus diesen Anwendungen und/oder Containern ausgegebenen Daten verwendet werden, um Visualisierungen 4410 zu erzeugen, wie etwa die Visualisierung 4412 (z. B. eine Graustufenausgabe), die auf einer Arbeitsstation oder einem Anzeigeendgerät angezeigt wird. In mindestens einer Ausführungsform kann die Visualisierung es einem Techniker oder einem anderen Benutzer ermöglichen, die Ergebnisse der Einsatzpipeline 4210B in Bezug auf die Ultraschallvorrichtung 4402 zu visualisieren. In mindestens einer Ausführungsform kann die Visualisierung 4410 durch Ausnutzen einer Rendering-Komponente 4418 des Systems 4200 (z. B. eines der Visualisierungsdienste(s) 4220) ausgeführt werden. In mindestens einer Ausführungsform kann die Rendering-Komponente 4418 einen 2D-, OpenGL- oder Strahlverfolgungsdienst ausführen, um die Visualisierung 4412 zu erzeugen.
44B beinhaltet ein beispielhaftes Datenablaufdiagramm eines virtuellen Instruments, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Einsatzpipeline 4210C einen oder mehrere der Dienste 4120 des Systems 4200 ausnutzen. In mindestens einer Ausführungsform können die Einsatzpipeline 4210C und die Dienste 4120 die Hardware 4122 eines Systems entweder lokal oder in der Cloud 4226 ausnutzen. In mindestens einer Ausführungsform, obwohl nicht veranschaulicht, kann der Prozess 4420 durch den Pipeline-Manager 4212, das Anwendungsorchestrierungssystem 4228 und/oder die Parallelrechenplattform 4230 erleichtert werden.
In mindestens einer Ausführungsform kann der Prozess 4420 beinhalten, dass der CT-Scanner 4422 Rohdaten erzeugt, die durch das DICOM-Lesegerät 4306 empfangen werden können (z. B. direkt, über einen PACS-Server 4304, nach der Verarbeitung usw.). In mindestens einer Ausführungsform kann ein virtuelles CT (durch die Einsatzpipeline 421 0C instanziiert) eine erste Echtzeitpipeline zum Überwachen eines Patienten (z. B. Patientenbewegungsdetektions-K! 4426) und/oder zum Einstellen oder Optimieren der Belichtung des CT-Scanners 4422 (z. B. unter Verwendung der Belichtungssteuer-KI 4424) beinhalten. In mindestens einer Ausführungsform können eine oder mehrere der Anwendungen (z. B. 4424 und 4426) einen Dienst 4120 ausnutzen, wie etwa die KI-Dienst(e) 4218. In mindestens einer Ausführungsform können die Ausgaben der Anwendung (oder des Containers) für die Belichtungssteuer-Kl 4424 und/oder der Anwendung (oder des Containers) für die Patientenbewegungsdetektions-KI 4426 als Rückmeldung an den CT-Scanner 4422 und/oder einen Techniker verwendet werden, um die Belichtung (oder andere Einstellungen des CT-Scanners 4422) einzustellen und/oder einen Patienten zu informieren, sich weniger zu bewegen.
In mindestens einer Ausführungsform kann die Einsatzpipeline 4210C eine Nicht-Echtzeitpipeline zum Analysieren der durch den CT-Scanner 4422 erzeugten Daten beinhalten. In mindestens einer Ausführungsform kann eine zweite Pipeline die Anwendung und/oder den Container für die CT-Rekonstruktion 4308, eine Anwendung und/oder einen Container für eine Grobdetektions-KI 4428, eine Anwendung und/oder einen Container für eine Feindetektions-KI 4432 (wenn z. B. bestimmte Ergebnisse durch die Grobdetektions-KI 4428 detektiert werden), eine Anwendung und/oder einen Container für eine Visualisierung 4430 und eine Anwendung und/oder einen Container für das DICOM-Schreibgerät 4312 (und/oder ein Schreibgerät für einen anderen Datentyp, wie etwa RIS, CIS, REST-konform, RPC, Rohdaten usw.) beinhalten. In mindestens einer Ausführungsform können die durch den CT-Scanner 4422 erzeugten Rohdaten durch Pipelines der Einsatzpipeline 4210C (als virtuelles CT-Instrument instanziiert) gegeben werden, um Ergebnisse zu erzeugen. In mindestens einer Ausführungsform können die Ergebnisse von dem DICOM-Schreibgerät 4312 zur Anzeige übertragen und/oder auf den PACS-Server(n) 4304 zum/zur späteren Abruf, Analyse oder Anzeige durch einen Techniker, eine Fachkraft oder einen anderen Benutzer gespeichert werden.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 44A - 44B dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 44A - 44B dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 44A - 44B dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
45A veranschaulicht ein Datenablaufdiagramm für einen Prozess 4500 zum Trainieren, erneuten Trainieren oder Aktualisieren eines Modells des maschinellen Lernens gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 4500 als nicht einschränkendes Beispiel unter Verwendung des Systems 4200 aus 42 ausgeführt werden. In mindestens einer Ausführungsform kann der Prozess 4500 die Dienste 4120 und/oder die Hardware 4122 des Systems 4200 ausnutzen, wie hierin beschrieben. In mindestens einer Ausführungsform können verfeinerte Modelle 4512, die durch den Prozess 4500 erzeugt wurden, durch das Einsatzsystem 4106 für eine oder mehrere containerisierte Anwendungen in Einsatzpipelines 4210 ausgeführt werden.
In mindestens einer Ausführungsform kann das Modelltraining 4114 das erneute Trainieren oder Aktualisieren eines anfänglichen Modells 4504 (z. B. eines vorab trainierten Modells) unter Verwendung neuer Trainingsdaten (z. B. neuer Eingabedaten, wie etwa des Kundendatensatzes 4506, und/oder neuer mit den Eingabedaten assoziierter Ground-Truth-Daten) beinhalten. In mindestens einer Ausführungsform können zum erneuten Trainieren oder Aktualisieren des anfänglichen Modells 4504 die Ausgabe- oder Verlustschicht(en) des anfänglichen Modells 4504 zurückgesetzt oder gelöscht und/oder durch aktualisierte oder neue Ausgabe- oder Verlustschicht(en) ersetzt werden. In mindestens einer Ausführungsform kann das anfängliche Modell 4504 bereits fein abgestimmte Parameter (z. B. Gewichtungen und/oder Verzerrungen) aufweisen, die aus einem früheren Training übriggeblieben sind, sodass das Training oder das erneute Training 4114 nicht so lange dauern oder so viel Verarbeitung erfordern kann wie das Training eines Modells von Grund auf. In mindestens einer Ausführungsform können während des Modelltrainings 4114 durch Zurücksetzen oder Ersetzen der Ausgabe- oder Verlustschicht(en) des anfänglichen Modells 4504 die Parameter aktualisiert und für einen neuen Datensatz auf Grundlage von Verlustberechnungen neu abgestimmt werden, die mit der Genauigkeit der Ausgabe- oder Verlustschicht(en) beim Erzeugen von Vorhersagen an einem neuen Kundendatensatz 4506 (z. B. Bilddaten 4108 aus 41) assoziiert sind.
In mindestens einer Ausführungsform können die vorab trainierten Modelle 4206 in einem Datenspeicher oder einer Registrierungsdatenbank (z. B. der Modellregistrierungsdatenbank 4124 aus 41) gespeichert sein. In mindestens einer Ausführungsform können die vorab trainierten Modelle 4206 zumindest teilweise in einer oder mehreren anderen Einrichtungen als der Einrichtung, die den Prozess 4500 ausführt, trainiert worden sein. In mindestens einer Ausführungsform können zum Schutz der Privatsphäre und der Rechte von Patienten, Probanden oder Klienten unterschiedlicher Einrichtungen die vorab trainierten Modelle 4206 in den Räumlichkeiten unter Verwendung von Kunden- oder Patientendaten, die in den Räumlichkeiten erzeugt wurden, trainiert worden sein. In mindestens einer Ausführungsform können die vorab trainierten Modelle 4206 unter Verwendung der Cloud 4226 und/oder anderer Hardware 4122 trainiert werden, aber vertrauliche, datenschutzrechtlich geschützte Patientendaten dürfen nicht an beliebige Komponenten der Cloud 4226 (oder anderer Hardware außerhalb der eigenen Räumlichkeiten) übermittelt werden, durch diese verwendet werden oder für diese zugänglich sein. In mindestens einer Ausführungsform, in der ein vorab trainiertes Modell 4206 unter Verwendung von Patientendaten von mehr als einer Einrichtung trainiert wird, kann das vorab trainierte Modell 4206 einzeln für jede Einrichtung trainiert worden sein, bevor es an Patienten- oder Kundendaten einer anderen Einrichtung trainiert wird. In mindestens einer Ausführungsform, wie etwa, wenn Kunden- oder Patientendaten von Datenschutzbedenken ausgenommen wurden (z. B. durch eine Verzichtserklärung, für die experimentelle Verwendung usw.) oder wenn Kunden- oder Patientendaten in einem öffentlichen Datensatz enthalten sind, können Kunden- oder Patientendaten von einer beliebigen Anzahl von Einrichtungen verwendet werden, um das vorab trainierte Modell 4206 innerhalb und/oder außerhalb der eigenen Räumlichkeiten zu trainieren, wie etwa in einem Rechenzentrum oder einer anderen Cloud-Computing-Infrastruktur.
In mindestens einer Ausführungsform kann ein Benutzer beim Auswählen von Anwendungen zur Verwendung in den Einsatzpipelines 4210 auch Modelle des maschinellen Lernens auswählen, die für spezifische Anwendungen verwendet werden sollen. In mindestens einer Ausführungsform kann ein Benutzer kein Modell zur Verwendung aufweisen, sodass ein Benutzer ein vorab trainiertes Modell 4206 zum Verwenden mit einer Anwendung auswählen kann. In mindestens einer Ausführungsform ist das vorab trainierte Modell 4206 möglicherweise nicht dafür optimiert, genaue Ergebnisse an dem Kundendatensatz 4506 einer Einrichtung eines Benutzers zu erzeugen (z. B. auf Grundlage der Patientenvielfalt, der Demografie, der Typen der verwendeten medizinischen Bildgebungsvorrichtungen usw.). In mindestens einer Ausführungsform kann das vorab trainierte Modell 4206 vor dem Einsetzen des vorab trainierten Modells 4206 in der Einsatzpipeline 4210 zur Verwendung mit einer Anwendung(en) für die Verwendung in einer jeweiligen Einrichtung aktualisiert, erneut trainiert und/oder fein abgestimmt werden.
In mindestens einer Ausführungsform kann ein Benutzer ein vorab trainiertes Modell 4206 auswählen, das aktualisiert, erneut trainiert und/oder fein abgestimmt werden soll, und das vorab trainierte Modell 4206 kann als anfängliches Modell 4504 für das Trainingssystem 4104 innerhalb des Prozesses 4500 bezeichnet werden. In mindestens einer Ausführungsform kann der Kundendatensatz 4506 (z. B. Bildgebungsdaten, Genomikdaten, Sequenzierungsdaten oder andere Datentypen, die durch Vorrichtungen in einer Einrichtung erzeugt werden) verwendet werden, um das Modelltraining 4114 (das ohne Einschränkung Transferlernen beinhalten kann) an dem anfänglichen Modell 4504 durchzuführen, um das verfeinerte Modell 4512 zu erzeugen. In mindestens einer Ausführungsform können die Ground-Truth-Daten, die dem Kundendatensatz 4506 entsprechen, durch das Trainingssystem 4104 erzeugt werden. In mindestens einer Ausführungsform können Ground-Truth-Daten zumindest teilweise von Klinikern, Wissenschaftlern, Ärzten, Fachkräften in einer Einrichtung erzeugt werden (z. B. als gekennzeichnete Klinikdaten 4112 aus 41).
In mindestens einer Ausführungsform kann die KI-gestützte Annotation 4110 in einigen Beispielen verwendet werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 4110 (z. B. unter Verwendung eines SDK für die KI-gestützt Annotation implementiert) Modelle des maschinellen Lernens (z. B. neuronale Netze) ausnutzen, um vorgeschlagene oder vorhergesagte Ground-Truth-Daten für einen Kundendatensatz zu erzeugen. In mindestens einer Ausführungsform kann der Benutzer 4510 Annotationswerkzeuge innerhalb einer Benutzerschnittstelle (einer grafischen Benutzerschnittstelle (graphical user interface - GUI)) auf der Rechenvorrichtung 4508 verwenden.
In mindestens einer Ausführungsform kann der Benutzer 4510 über die Rechenvorrichtung 4508 mit einer GUI interagieren, um Annotationen oder automatische Annotationen zu bearbeiten oder fein abzustimmen. In mindestens einer Ausführungsform kann ein Polygonbearbeitungsmerkmal verwendet werden, um Vertices eines Polygons an genauere oder feiner abgestimmte Stellen zu verschieben.
In mindestens einer Ausführungsform können, sobald Ground-Truth-Daten mit dem Kundendatensatz 4506 assoziiert sind, die Ground-Truth-Daten (z. B. aus KI-gestützter Annotation, manueller Beschriftung usw.) während des Modelltrainings 4114 durch verwendet werden, um das verfeinerte Modell 4512 zu erzeugen. In mindestens einer Ausführungsform kann der Kundendatensatz 4506 beliebig oft auf das anfängliche Modell 4504 angewendet werden und die Ground-Truth-Daten können verwendet werden, um die Parameter des anfänglichen Modells 4504 zu aktualisieren, bis ein akzeptables Genauigkeitslevel für das verfeinerte Modell 4512 erreicht ist. In mindestens einer Ausführungsform kann das verfeinerte Modell 4512, sobald das verfeinerte Modell 4512 erzeugt ist, innerhalb einer oder mehrerer Einsatzpipelines 4210 in einer Einrichtung zum Durchführen eines oder mehrerer Verarbeitungs-Tasks in Bezug auf medizinische Bildgebungsdaten eingesetzt werden.
In mindestens einer Ausführungsform kann das verfeinerte Modell 4512 in die vorab trainierten Modellen 4206 in der Modellregistrierungsdatenbank 4124 hochgeladen werden, um durch eine andere Einrichtung ausgewählt zu werden. In mindestens einer Ausführungsform kann dieser Prozess in einer beliebigen Anzahl von Einrichtungen durchgeführt werden, sodass das verfeinerte Modell 4512 an neuen Datensätzen beliebig oft weiter verfeinert werden kann, um ein universelleres Modell zu erzeugen.
45B ist eine beispielhafte Veranschaulichung einer Client-Server-Architektur 4532 zum Erweitern von Annotationswerkzeugen mit vorab trainierten Annotationsmodellen gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können die Kl-gestützten Annotationswerkzeuge 4536 auf Grundlage einer Client-Server-Architektur 4532 instanziiert werden. In mindestens einer Ausführungsform können die Annotationswerkzeuge 4536 in Bildgebungsanwendungen zum Beispiel Radiologen beim Identifizieren von Organen und Auffälligkeiten unterstützen. In mindestens einer Ausführungsform können Bildgebungsanwendungen Software-Werkzeuge beinhalten, die dem Benutzer 4510 dabei helfen, als nicht einschränkendes Beispiel einige Extrempunkte an einem konkreten Organ von Interesse auf Rohbildern 4534 (z. B. auf einem 3D-MRT- oder CT-Scan) zu identifizieren und automatisch annotierte Ergebnisse für alle 2D-Scheiben eines konkreten Organs zu empfangen. In mindestens einer Ausführungsform können die Ergebnisse in einem Datenspeicher als Trainingsdaten 4538 gespeichert und als (zum Beispiel und ohne Einschränkung) Ground-Truth-Daten für das Training verwendet werden. In mindestens einer Ausführungsform kann, wenn die Rechenvorrichtung 4508 Extrempunkte für die KI-gestützte Annotation 4110 sendet, ein Deep-Learning-Modell diese Daten zum Beispiel als Eingabe empfangen und Inferenzergebnisse eines segmentierten Organs oder einer Auffälligkeit zurückgeben. In mindestens einer Ausführungsform können vorab instanziierte Annotationswerkzeuge, wie etwa das Kl-gestützte Annotationswerkzeug 4536B in 45B, durch Vornehmen von API-Aufrufen (z. B. API-Aufruf 4544) an einen Server, wie etwa einen Annotationsassistenzserver 4540, erweitert werden, der einen Satz von vorab trainierten Modellen 4542 beinhalten kann, der zum Beispiel in einer Annotationsmodellregistrierungsdatenbank gespeichert ist. In mindestens einer Ausführungsform kann eine Annotationsmodellregistrierungsdatenbank vorab trainierte Modelle 4542 (z. B. Modelle des maschinellen Lernens, wie etwa Deep-Learning-Modelle) speichern, die vorab trainiert sind, um eine KI-gestützte Annotation an einem konkreten Organ oder einer Auffälligkeit durchzuführen. In mindestens einer Ausführungsform können diese Modelle durch Verwenden von Trainingspipelines 4204 weiter aktualisiert werden. In mindestens einer Ausführungsform können vorab installierte Annotationswerkzeuge im Verlauf der Zeit verbessert werden, wenn neue gekennzeichnete Klinikdaten 4112 hinzugefügt werden.
Die Inferenz- und/oder Trainingslogik 1215 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen assoziiert sind. Details bezüglich der Inferenz- und/oder Trainingslogik 1215 sind hierin in Verbindung mit 12A und/oder 12B bereitgestellt.
Bei mindestens einer Ausführungsform werden ein oder mehrere der in 45A - 45B dargestellten Systeme verwendet, um eine oder mehrere implizite Umgebungsfunktionen zu implementieren. Bei mindestens einer Ausführungsform werden ein oder mehrere der in den 45A - 45B dargestellten Systeme verwendet, um ein oder mehrere neuronale Netze, wie z.B. eine oder mehrere implizite Umgebungsfunktionen, zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine Einheit, wie z.B. eine autonome Einrichtung, bewegen soll. Bei mindestens einer Ausführungsform werden ein oder mehrere der in 45A - 45B dargestellten Systeme verwendet, um ein oder mehrere Systeme und/oder Verfahren zu implementieren, wie sie in Verbindung mit 1-11 beschrieben sind.
Mindestens eine Ausführungsform der Offenbarung kann mit Blick auf die folgenden Sätze beschrieben werden.

1. Prozessor umfassend:
- eine oder mehrere Schaltungen, um ein oder mehrere neuronale Netze zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
2. Prozessor nach Satz 1, wobei die eine oder die mehreren Schaltungen ausgestaltet sind, um das eine oder die mehreren neuronalen Netze zu verwenden, um die Vielzahl von Pfaden zu berechnen, indem zumindest ein erster Ort, eine Menge von Orten und ein letzter Ort ermittelt werden; das eine oder die mehreren neuronalen Netze veranlasst werden, um eine Menge von Entfernungen zumindest teilweise basierend auf der Menge von Orten und dem letzten Ort zu berechnen; und die Vielzahl von Pfaden zumindest teilweise auf der Grundlage der Menge von Entfernungen zu berechnen, wobei die Vielzahl von Pfaden einen Pfad von dem ersten Ort zu dem letzten Ort ausbildet.
3. Prozessor nach einem der Sätze 1-2, wobei:
- der erste Ort ein Ort der autonomen Einrichtung ist; und
- eine Teilmenge von Orten aus der Menge der Orte für die autonome Einrichtung von dem ersten Ort aus zugänglich ist.
4. Prozessor nach einem der Sätze 1-3, wobei die eine oder die mehreren Schaltungen einen ersten Pfad aus der Vielzahl von Pfaden berechnen, indem zumindest:
- eine Teilmenge von Entfernungen aus der Menge von Entfernungen, welche mit der Teilmenge von Orten korrespondiert, ermittelt wird;
- ein zweiter Ort aus der Teilmenge von Orten zumindest teilweise auf der Grundlage der Teilmenge von Entfernungen ausgewählt wird; und
- der erste Pfad berechnet wird, welcher einen Pfad von dem ersten Ort zu dem zweiten Ort umfasst.
5. Prozessor nach einem der Sätze 1-4, wobei der zweite Ort einer minimalen Entfernung aus der Teilmenge der Entfernungen entspricht.
6. Prozessor nach einem der Sätze 1-5, wobei das eine oder die mehreren neuronalen Netze die Menge von Entfernungen in einem einzigen Vorwärtsdurchlauf berechnen.
7. Prozessor nach einem der Sätze 1-6, wobei eine Entfernung der Menge von Entfernungen einer Entfernung entlang eines Pfades von einem Ort der Menge von Orten zu dem letzten Ort entspricht.
8. Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, welche, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, ein oder mehrere neuronale Netze zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
9. Maschinenlesbares Medium nach Satz 8, wobei der Satz von Anweisungen darüber hinaus Anweisungen umfasst, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen:
- Merkmale einer Umgebung zu ermitteln;
- einen Ort in der Umgebung auszuwählen; und
- zumindest die Merkmale und den Ort in das eine oder die mehreren neuronalen Netze einzugeben, um eine Vielzahl von Entfernungen zu erhalten, die mit einer Vielzahl von Orten in der Umgebung korrespondieren.
10. Maschinenlesbares Medium nach einem der Sätze 8-9, wobei der Satz von Anweisungen darüber hinaus Anweisungen umfasst, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen:
- eine Menge von Orten auszuwählen, welche für die autonome Einrichtung zugänglich sind;
- eine Menge von Entfernungen aus der Vielzahl von Entfernungen zu ermitteln, welche mit der Menge von Orten korrespondieren; und
- einen ersten Ort aus der Menge von Orten zumindest teilweise basierend auf der Menge von Entfernungen auszuwählen, wobei ein erster Pfad aus der Vielzahl von Pfaden einen Pfad von der autonomen Einrichtung zu dem ersten Ort anzeigt.
11. Maschinenlesbares Medium nach einem der Sätze 8-10, wobei der Satz von Anweisungen darüber hinaus Anweisungen umfasst, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die autonome Einrichtung zu veranlassen, unter Verwendung des ersten Pfades zu dem ersten Ort zu navigieren.
12. Maschinenlesbares Medium nach einem der Sätze 8-11, wobei die autonome Einrichtung ein autonomes Auto ist.
13. Maschinenlesbares Medium nach einem der Sätze 8-12, wobei die Merkmale von einem oder mehreren Kodierern basierend auf einer Darstellung der Umgebung erzeugt werden.
14. Maschinenlesbares Medium nach einem der Sätze 8-13, wobei die Darstellung der Umgebung ein Bild oder eine Punktwolke ist.
15. System umfassend:
- einen oder mehrere Computer mit einem oder mehreren Prozessoren, welche ein oder mehrere neuronale Netze verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
16. System nach Satz 15, wobei der eine oder die mehreren Prozessoren darüber hinaus ausgestaltet sind, um:
- eine Darstellung einer Umgebung zu erfassen; und
- das eine oder die mehreren neuronalen Netze zu verwenden, um die Vielzahl von Pfaden von einem ersten Ort der autonomen Einrichtung zu einem zweiten Ort in der Umgebung zu berechnen.
17. System nach einem der Sätze 15-16, wobei der eine oder die mehreren Prozessoren darüber hinaus ausgestaltet sind, um das eine oder die mehreren neuronalen Netze zu verwenden, um einen oder mehrere Entfernungswerte für einen oder mehrere Orte in der Umgebung zumindest teilweise basierend auf der Darstellung der Umgebung zu berechnen.
18. System nach einem der Sätze 15-17, wobei der eine oder die mehreren Prozessoren darüber hinaus ausgestaltet sind, um:
- eine Größe für einen Schritt der autonomen Einrichtung zu berechnen;
- eine Menge von Orten auszuwählen, welche durch den Schritt von dem ersten Ort der autonomen Einrichtung aus zugänglich sind; und
- einen dritten Ort aus der Menge der Orte zumindest teilweise basierend auf dem einen oder den mehreren Entfernungswerten auszuwählen.
19. System nach einem der Sätze 15-18, wobei die Darstellung der Umgebung durch eine oder mehrere Tiefenkameras erfasst wird.
20. System nach einem der Sätze 15-19, wobei die Darstellung der Umgebung eine 2D- oder eine 3D-Darstellung ist.
21. System nach einem der Sätze 15-20, wobei die autonome Einrichtung ein autonomer Roboter ist.
22. Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, welche, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, zumindest:
- ein oder mehrere neuronale Netze zu trainieren, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
23. Maschinenlesbares Medium nach Satz 22, wobei der Satz von Anweisungen darüber hinaus Anweisungen aufweist, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, um:
- eine Umgebung und einen Ort zu ermitteln;
- einen oder mehrere Algorithmen zu veranlassen, um einen oder mehrere Werte für erreichbare Entfernungen von einem oder mehreren Orten in der Umgebung zu dem Ort zu bestimmen; und
- das eine oder die mehreren neuronalen Netze zumindest anhand des einen oder der mehreren Werte für die erreichbaren Entfernungen zu trainieren.
24. Maschinenlesbares Medium nach einem der Sätze 22-23, wobei der Satz von Anweisungen darüber hinaus Anweisungen aufweist, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren dazu veranlassen, um:
- das eine oder die mehreren neuronalen Netze zu veranlassen, um zumindest den einen oder die mehreren Orte zu verarbeiten, um einen oder mehrere vorhergesagte Werte für die erreichbaren Entfernungen zu berechnen; und
- das eine oder die mehreren neuronalen Netze zumindest teilweise basierend auf den Unterschieden zwischen dem einen oder den mehreren vorhergesagten Werten für die erreichbaren Entfernungen und dem einen oder den mehreren Werten für die erreichbaren Entfernungen zu aktualisieren.
25. Maschinenlesbares Medium nach einem der Sätze 22-24, wobei der eine oder die mehreren Algorithmen einen oder mehrere Algorithmen der Fast Marching Methode (FMM) aufweisen.
26. Maschinenlesbares Medium nach einem der Sätze 22-25, wobei ein erster Wert für eine erreichbare Entfernung des einen oder der mehreren Werte für die erreichbaren Entfernungen mit einem ersten Ort des einen oder der mehreren Orte korrespondiert und eine Entfernung entlang eines Pfades von dem ersten Ort zu dem Ort angibt.
27. Maschinenlesbares Medium nach einem der Sätze 22-26, wobei der Pfad ein geometrisch realisierbarer Pfad ist.
28. Prozessor umfassend:
- eine oder mehrere Schaltungen, um ein oder mehrere neuronale Netze zu trainieren, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
29. Prozessor nach Satz 28, wobei die eine oder die mehreren Schaltungen darüber hinaus ausgestaltet sind, um:
- einen oder mehrere Algorithmen zu veranlassen, um zumindest eine Umgebung,
- eine Menge von Positionen und eine Zielposition zu verarbeiten;
- um eine Menge von Entfernungswerten zumindest teilweise basierend auf den Ergebnissen des einen oder der mehreren Algorithmen zu ermitteln; und
- das eine oder die mehreren neuronalen Netze unter Verwendung der Menge von Entfernungswerten zu trainieren.
30. Prozessor nach einem der Sätze 28-29, wobei die eine oder die mehreren Schaltungen darüber hinaus ausgestaltet sind, um das eine oder die mehreren neuronalen Netze zu trainieren, um zumindest die Umgebung, die Menge von Positionen und die Zielposition zu verarbeiten, um die Menge von Entfernungswerten zu berechnen.
31. Prozessor nach einem der Sätze 28-30, wobei ein erster Entfernungswert der Menge von Entfernungswerten eine Entfernung entlang eines semantisch realisierbaren Pfades von einer ersten Position der Menge von Positionen zu der Zielposition angibt.
32. Prozessor nach einem der Sätze 28-31, wobei der eine oder die mehreren Algorithmen einen oder mehrere Pfadplanungsalgorithmen aufweisen.
33. Prozessor nach einem der Sätze 28-32, wobei das eine oder die mehreren neuronalen Netze eine oder mehrere implizite Umgebungsfunktionen aufweisen.

In mindestens einer Ausführungsform kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche halbleiterbasierte integrierte Schaltung oder einen solchen Chip beziehen. In mindestens einer Ausführungsform können Multi-Chip-Module mit erhöhter Verbindungsfähigkeit verwendet werden, die den chipinternen Betrieb simulieren und wesentliche Verbesserungen gegenüber der Nutzung einer herkömmlichen Implementation mit einer zentralen Verarbeitungseinheit („CPU“) und einem Bus bieten. In mindestens einer Ausführungsform können verschiedene Module je nach Wunsch des Benutzers auch separat oder in verschiedenen Kombinationen von Halbleiterplattformen untergebracht sein.
In mindestens einer Ausführungsform, unter erneuter Bezugnahme auf 18, sind Computerprogramme in Form von maschinenlesbarem ausführbarem Code oder Computersteuerlogik-Algorithmen in dem Hauptspeicher 1804 und/oder Sekundärspeicher gespeichert. Falls sie durch einen oder mehrere Prozessoren ausgeführt werden, ermöglichen es Computerprogramme dem System 1800, verschiedene Funktionen gemäß mindestens einer Ausführungsform durchzuführen. In mindestens einer Ausführungsform sind Arbeitsspeicher 1804, Datenspeiche und/oder beliebiger anderer Speicher mögliche Beispiele für computerlesbare Medien. In mindestens einer Ausführungsform kann sich der Sekundärspeicher auf ein(e) beliebige(s) geeignete(s) Speichervorrichtung oder - system beziehen, wie etwa ein Festplattenlaufwerk und/oder ein Wechselspeicherlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein Digital-Versatile-Disk-(„DVD“-)Laufwerk, eine Aufzeichnungsvorrichtung, einen Universal-Serial-Bus-(„USB“-)Flash-Speicher usw. darstellt. In mindestens einer Ausführungsform werden die Architektur und/oder die Funktionalität verschiedener vorheriger Figuren im Kontext der CPU 1802, des Parallelverarbeitungssystems 1812, einer integrierten Schaltung, die mindestens zu einem Teil der Fähigkeiten sowohl der CPU 1802 als auch des Parallelverarbeitungssystems 1812 in der Lage ist, eines Chipsatzes (z. B. einer Gruppe integrierter Schaltungen, die so ausgestaltet ist, dass sie als Einheit zum Durchführen verwandter Funktionen arbeitet und verkauft wird, usw.) und/oder einer beliebigen geeigneten Kombination integrierter Schaltung(en) implementiert.
In mindestens einer Ausführungsform werden die Architektur und/oder Funktionalität verschiedener vorhergehender Figuren im Kontext eines allgemeinen Computersystems, eines Leiterplattensystems, eines für Unterhaltungszwecke dedizierten Spielekonsolensystems, eines anwendungsspezifischen Systems und mehr implementiert. In mindestens einer Ausführungsform kann das Computersystem 1800 die Form eines Desktop-Computers, eines Laptop-Computers, eines Tablet-Computers, von Servern, von Supercomputern, eines Smartphones (z. B. einer drahtlosen tragbaren Vorrichtung), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, einer am Kopf befestigten Anzeige, einer tragbaren elektronischen Vorrichtung, einer Mobiltelefonvorrichtung, eines Fernsehgeräts, einer Arbeitsstation, von Spielekonsolen, eines eingebetteten Systems und/oder eines beliebigen anderen Typs von Logik annehmen.
In mindestens einer Ausführungsform beinhaltet das Parallelverarbeitungssystem 1812 ohne Einschränkung eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 1814 und damit assoziierte Speicher 1816. In mindestens einer Ausführungsform sind die PPUs 1814 über eine Zusammenschaltung 1818 und einen Switch 1820 oder Multiplexer mit einem Host-Prozessor oder anderen Peripherievorrichtungen verbunden. In mindestens einer Ausführungsform verteilt das Parallelverarbeitungssystem 1812 Rechen-Tasks auf PPUs 1814, die parallelisierbar sein können - zum Beispiel als Teil der Verteilung von Rechen-Tasks auf mehrere Thread-Blöcke einer Grafikverarbeitungseinheit („GPU“). In mindestens einer Ausführungsform wird der Speicher von einigen oder allen PPUs 1814 gemeinsam genutzt und ist er für diese zugänglich (z. B. für Lese- und/oder Schreibzugriff), obwohl ein derartiger gemeinsam genutzter Speicher Einbußen bei der Rechenleistung in Bezug auf die Verwendung von lokalem Speicher und Registern, die in einer PPU 1814 resident sind, mit sich bringen kann. In mindestens einer Ausführungsform wird der Betrieb der PPUs 1814 durch Verwendung eines Befehls wie etwa syncthreads() synchronisiert, wobei alle Threads in einem Block (z. B. über mehrere PPUs 1814 hinweg ausgeführt) einen bestimmten Punkt der Codeausführung erreichen müssen, bevor sie fortfahren.
Andere Variationen liegen innerhalb des Geistes der vorliegenden Offenbarung. Somit können zwar bezüglich der offenbarten Verfahren diverse Modifikationen und alternative Konstruktionen vorgenommen werden, bestimmte veranschaulichte Ausführungsformen davon werden jedoch in den Zeichnungen gezeigt und wurden vorangehend ausführlich beschrieben. Allerdings versteht es sich, dass nicht die Absicht verfolgt wird, die Offenbarung auf die spezifische(n) offenbarte(n) Form oder Formen einzuschränken, sondern die Absicht ganz im Gegenteil darin besteht, sämtliche Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Geist und Umfang der wie in den beigefügten Ansprüchen definierten Offenbarung fallen.
Die Verwendung der Ausdrücke „ein“ und „eine“ und „der/die/das“ und ähnlicher Referenten im Kontext des Beschreibens offenbarter Ausführungsformen (insbesondere im Kontext der folgenden Ansprüche) ist so auszulegen, dass sie sowohl den Singular als auch den Plural abdeckt, sofern hierin nichts anderes angegeben ist oder der Kontext dem eindeutig widerspricht, und nicht als Definition eines Ausdrucks. Die Ausdrücke „umfassend“, „aufweisend“, „beinhaltend“ und „enthaltend“ sind als offene Ausdrücke auszulegen (die „einschließlich, aber nicht beschränkt auf“ bedeuten), sofern nicht anderweitig angemerkt. Wenn es unmodifiziert vorliegt und sich auf physische Verbindungen bezieht, ist „verbunden“ als teilweise oder vollständig ineinander enthalten, aneinander angebracht oder aneinander angefügt auszulegen, auch wenn ein Element dazwischenliegt. Die Nennung von Wertebereichen hierin soll lediglich als kurzes Verfahren zur einzelnen Bezugnahme auf jeden separaten Wert dienen, der in den Bereich fällt, es sei denn, hierin ist etwas anderes angegeben, und jeder separate Wert ist in die Beschreibung eingeschlossen, als ob er einzeln hierin wiedergegeben wäre. In mindestens einer Ausführungsform ist die Verwendung des Ausdrucks „Satz“ bzw. „Menge“ (z. B. „ein Satz bzw. eine Menge von Gegenständen“) oder „Teilmenge“ als eine nicht leere Sammlung auszulegen, die ein oder mehrere Elemente umfasst, es sei denn, es ist etwas anderes angemerkt oder der Kontext widerspricht dem. Sofern nichts anderes angegeben ist oder der Kontext dem widerspricht, bezeichnet ferner der Ausdruck „Teilmenge“ eines entsprechenden Satzes nicht notwendigerweise eine richtige Teilmenge des entsprechenden Satzes, sondern die Teilmenge und der entsprechende Satz können gleich sein.
Sofern nicht spezifisch etwas anderes genannt ist oder der Kontext dem eindeutig widerspricht, ist verbindende Sprache, wie etwa Formulierungen der Form „wenigstens eines von A, B und C“ oder „mindestens eines von A, B und C“, andernfalls in dem Kontext zu verstehen, in dem sie allgemein verwendet werden, um darzustellen, dass ein Gegenstand, ein Ausdruck usw. entweder A oder B oder C oder eine beliebige nicht leere Teilmenge des Satzes aus A und B und C sein kann. Zum Beispiel beziehen sich in dem veranschaulichenden Beispiel für einen Satz, der drei Elemente aufweist, die verbindenden Formulierungen „wenigstens eines von A, B und C“ und „mindestens eines von A, B und C“ auf einen beliebigen der folgenden Sätze: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Somit soll derartige verbindende Sprache im Allgemeinen nicht implizieren, dass bestimmte Ausführungen es erforderlich machen, dass mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden ist. Sofern nichts anderes angemerkt ist oder der Kontext dem widerspricht, gibt der Ausdruck „Vielzahl“ einen Zustand der Pluralität an (z. B. gibt „eine Vielzahl von Gegenständen“ mehrere Gegenstände an). In mindestens einer Ausführungsform beträgt die Anzahl der Gegenstände in einer Vielzahl mindestens zwei, es können aber auch mehr sein, wenn dies entweder explizit oder durch den Kontext angegeben ist. Sofern nichts anderes genannt ist oder es anderweitig aus dem Kontext ersichtlich ist, bedeutet die Formulierung „auf Grundlage von“ „mindestens zum Teil auf Grundlage von“ und nicht „ausschließlich auf Grundlage von“.
Hierin beschriebene Operationen von Verfahren können in einer beliebigen geeigneten Reihenfolge durchgeführt werden, sofern hierin nichts anderes angegeben ist oder der Kontext dem eindeutig widerspricht. In mindestens einer Ausführungsform wird ein Verfahren, wie etwa die hierin beschriebenen Verfahren (oder Variationen und/oder Kombinationen davon), unter der Steuerung von einem oder mehreren Computersystemen durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind, und es ist als Code (z. B. ausführbare Anweisungen, ein oder mehrere Computerprogramme oder eine oder mehrere Anwendungen), der zusammen auf einem oder mehreren Prozessoren ausgeführt wird, durch Hardware oder Kombinationen davon implementiert. In mindestens einer Ausführungsform ist Code auf einem computerlesbaren Speichermedium gespeichert, zum Beispiel in Form eines Computerprogramms, das eine Vielzahl von Anweisungen umfasst, die durch einen oder mehrere Prozessoren ausgeführt werden können. In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nichttransitorisches computerlesbares Speichermedium, das transitorische Signale (z. B. eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung) ausschließt, aber nichttransitorische Datenspeicherschaltungen (z. B. Puffer, Cache und Warteschlangen) innerhalb von Sendeempfängern von transitorischen Signalen einschließt. In mindestens einer Ausführungsform ist der Code (z. B. ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nichttransitorischen computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen gespeichert sind (oder einem anderen Speicher zum Speichern ausführbarer Anweisungen), die bei Ausführung (d. h. als Ergebnis der Ausführung) durch einen oder mehrere Prozessoren eines Computersystems das Computersystem dazu veranlassen, hierin beschriebene Operationen durchzuführen. Ein Satz von nichttransitorischen computerlesbaren Speichermedien umfasst in mindestens einer Ausführungsform mehrere nichttransitorische computerlesbare Speichermedien und einem oder mehreren der einzelnen nichttransitorischen Speichermedien mehrerer nichttransitorischer computerlesbarer Speichermedien fehlt der gesamte Code, während mehrere nichttransitorische computerlesbare Speichermedien zusammen den gesamten Code speichern. In mindestens einer Ausführungsform werden die ausführbaren Anweisungen so ausgeführt, dass unterschiedliche Anweisungen durch unterschiedliche Prozessoren ausgeführt werden - zum Beispiel speichert ein nichttransitorisches computerlesbares Speichermedium Anweisungen und eine hauptsächliche zentrale Verarbeitungseinheit („CPU“) führt einige der Anweisungen aus, während eine Grafikverarbeitungseinheit („GPU“) andere Anweisungen ausführt. In mindestens einer Ausführungsform weisen unterschiedliche Komponenten eines Computersystems separate Prozessoren auf und unterschiedliche Prozessoren führen unterschiedliche Teilmengen von Anweisungen aus.
Bei mindestens einer Ausführungsform ist eine arithmetische Logikeinheit eine kombinatorische Logikschaltung, die eine oder mehrere Eingaben verarbeitet, um ein Ergebnis zu erzeugen. Bei mindestens einer Ausführungsform wird eine arithmetische Logikeinheit von einem Prozessor verwendet, um mathematische Operationen wie Addition, Subtraktion oder Multiplikation durchzuführen. Bei mindestens einer Ausführungsform wird eine arithmetische Logikeinheit verwendet, um logische Operationen wie logisches AND/OR oder XOR zu implementieren. Bei mindestens einer Ausführungsform ist eine arithmetische Logikeinheit zustandslos und besteht aus physikalischen Schaltkomponenten wie Halbleitertransistoren, die so angeordnet sind, dass sie logische Gatter bilden. Bei mindestens einer Ausführungsform kann eine arithmetische Logikeinheit intern als zustandsabhängige Logikschaltung mit einem zugehörigen Taktgeber arbeiten. Bei mindestens einer Ausführungsform kann eine arithmetische Logikeinheit als asynchrone Logikschaltung aufgebaut sein, deren interner Zustand nicht in einem zugehörigen Registersatz gehalten wird. Bei mindestens einer Ausführungsform wird eine arithmetische Logikeinheit von einem Prozessor verwendet, um in einem oder mehreren Registern des Prozessors gespeicherte Operanden zu kombinieren und eine Ausgabe zu erzeugen, die vom Prozessor in einem anderen Register oder einem Speicherplatz gespeichert werden kann.
Bei mindestens einer Ausführungsform übergibt der Prozessor als Ergebnis der Verarbeitung eines vom Prozessor abgerufenen Befehls einen oder mehrere Eingaben oder Operanden an eine arithmetische Logikeinheit, wodurch die arithmetische Logikeinheit veranlasst wird, ein Ergebnis zu erzeugen, das zumindest teilweise auf einem Befehlscode basiert, der den Eingängen der arithmetischen Logikeinheit bereitgestellt wird. Bei mindestens einer Ausführungsform basieren die vom Prozessor an die ALU gelieferten Befehlscodes zumindest zum Teil auf dem vom Prozessor ausgeführten Befehl. Bei mindestens einer Ausführungsform verarbeitet die kombinatorische Logik in der ALU die Eingaben und erzeugt eine Ausgabe, die auf einen Bus innerhalb des Prozessors gelegt wird. Bei mindestens einer Ausführungsform wählt der Prozessor ein Zielregister, einen Speicherplatz, eine Ausgabeeinrichtung oder einen Ausgabespeicherplatz auf dem Ausgangsbus aus, so dass ein Takt des Prozessors bewirkt, dass die von der ALU erzeugten Ergebnisse an den gewünschten Ort gesendet werden.
Im Rahmen dieser Anwendung wird der Begriff arithmetische Logikeinheit oder ALU verwendet, um sich auf jede logische Rechenschaltung zu beziehen, die Operanden verarbeitet, um ein Ergebnis zu erzeugen. Im vorliegenden Dokument kann sich der Begriff ALU beispielsweise auf eine Gleitkommaeinheit, einen DSP, einen Tensor Core, einen Shader Core, einen Coprozessor oder eine CPU beziehen.
Dementsprechend sind in mindestens einer Ausführungsform Computersysteme so konfiguriert, dass sie einen oder mehrere Dienste implementieren, die einzeln oder zusammen Operationen der hierin beschriebenen Prozesse durchführen, und derartige Computersysteme sind mit geeigneter Hardware und/oder Software konfiguriert, die eine Durchführung der Operationen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der vorliegenden Offenbarung implementiert, eine einzelne Vorrichtung und in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Vorrichtungen umfasst, die unterschiedlich arbeiten, sodass das verteilte Computersystem die hierin beschriebenen Operationen durchführt und sodass eine einzelne Vorrichtung nicht alle Operationen durchführt.
Die Verwendung jeglicher und aller Beispiele oder beispielhafter Wortwahl (z. B. „wie etwa“), die hierin bereitgestellt ist, soll lediglich die Ausführungsformen der Offenbarung besser verdeutlichen und stellt keine Einschränkung des Umfangs der Offenbarung dar, es sei denn, es ist etwas anderes beansprucht. Keinerlei Wortwahl in der Beschreibung sollte so ausgelegt werden, dass sie ein beliebiges nicht beanspruchtes Element als für die Umsetzung der Offenbarung wesentlich angibt.
Jegliche Bezugnahmen, einschließlich Veröffentlichungen, Patentanmeldungen und Patenten, die hierin genannt werden, sind hiermit durch Bezugnahme in demselben Maße aufgenommen, als wäre jede Bezugnahme einzeln und spezifisch als durch Bezugnahme eingeschlossen angegeben und in ihrer Gesamtheit hierin dargelegt.
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ zusammen mit ihren Ableitungen verwendet werden. Es versteht sich, dass diese Ausdrücke nicht als Synonyme füreinander beabsichtigt sein können. Vielmehr kann in konkreten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzugeben, dass zwei oder mehr Elemente in direktem oder indirektem physischem oder elektrischem Kontakt miteinander stehen. Mit „gekoppelt“ kann auch gemeint sein, dass zwei oder mehr Elemente nicht in direktem Kontakt miteinander stehen, jedoch trotzdem miteinander zusammenwirken oder interagieren.
Sofern nicht ausdrücklich anders angegeben, versteht es sich, dass sich Begriffe wie „Verarbeitung“, „Berechnung“, „Berechnen“, „Bestimmen“ oder dergleichen in der gesamten Beschreibung auf Handlungen und/oder Prozesse eines Computers oder Rechensystems oder einer ähnlichen elektronischen Rechenvorrichtung, die Daten, die als physische, z. B. elektronische, Größen in den Registern und/oder Speichern des Rechensystems dargestellt sind, manipulieren und/oder in andere Daten umwandeln, die auf ähnliche Weise als physische Größen in den Speichern, Registern oder anderen derartigen Informationsspeicher-, -übertragungs- oder -anzeigevorrichtungen des Rechensystems dargestellt sind.
Auf ähnliche Weise kann sich der Ausdruck „Prozessor“ auf eine beliebige Vorrichtung oder einen beliebigen Abschnitt einer Vorrichtung beziehen, die/der elektronische Daten aus Registern und/oder Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten umwandelt, die in Registern und/oder Speicher gespeichert werden können. Als nicht einschränkende Beispiele kann der „Prozessor“ eine CPU oder eine GPU sein. Eine „Rechenplattform“ kann einen oder mehrere Prozessoren umfassen. Wie hierin verwendet, können „Software“-Prozesse zum Beispiel Software- und/oder Hardware-Entitäten beinhalten, die im Verlauf der Zeit Arbeit verrichten, wie etwa Tasks, Threads und intelligente Agenten. Außerdem kann sich jeder Prozess auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. In mindestens einer Ausführungsform werden die Ausdrücke „System“ und „Verfahren“ hierin insofern austauschbar verwendet, dass ein System ein oder mehrere Verfahren verkörpern kann und die Verfahren als System betrachtet werden können.
Im vorliegenden Dokument kann auf das Erlangen, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Teilsystem, ein Computersystem oder eine computerimplementierte Maschine Bezug genommen werden. In mindestens einer Ausführungsform kann der Prozess des Erlangens, Erfassens, Empfangens oder Eingebens von analogen und digitalen Daten auf eine Vielfalt von Weisen erzielt werden, wie etwa durch das Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs einer Anwendungsprogrammierschnittstelle. In mindestens einer Ausführungsform können Prozesse des Erlangens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch das Übermitteln von Daten über eine serielle oder parallele Schnittstelle erfolgen. In mindestens einer Ausführungsform können Prozesse des Erlangens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch das Übermitteln von Daten über ein Computernetz von der bereitstellenden Entität zu der erfassenden Entität erfolgen. In mindestens einer Ausführungsform kann auch auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Darstellen von analogen oder digitalen Daten Bezug genommen werden. In verschiedenen Beispielen können Prozesse des Bereitstellens, Ausgebens, Übertragens, Sendens oder Darstellens von analogen oder digitalen Daten durch das Übermitteln von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Interprozesskommunikationsmechanismus erfolgen.
Auch wenn die Beschreibungen hierin beispielhafte Implementationen der beschriebenen Techniken darlegen, können auch andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sie sollen im Umfang dieser Offenbarung liegen. Darüber hinaus könnten, obwohl spezifische Verteilungen von Zuständigkeiten vorstehend zum Zwecke der Beschreibung definiert sein können, verschiedene Funktionen und Zuständigkeiten in Abhängigkeit von den Umständen anders verteilt und aufgeteilt werden.
Obwohl der Gegenstand ferner in für Strukturmerkmale und/oder Verfahrenshandlungen spezifischer Sprache beschrieben wurde, versteht sich, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht unbedingt auf die beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden spezifische Merkmale und Handlungen als beispielhafte Formen zum Implementieren der Ansprüche offenbart.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 28122814 [0387]

Claims

Prozessor umfassend: eine oder mehrere Schaltungen, um ein oder mehrere neuronale Netze zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
Prozessor nach Anspruch 1, wobei die eine oder die mehreren Schaltungen ausgestaltet sind, um das eine oder die mehreren neuronalen Netze zu verwenden, um die Vielzahl von Pfaden zu berechnen, indem zumindest ein erster Ort, eine Menge von Orten und ein letzter Ort ermittelt werden; das eine oder die mehreren neuronalen Netze veranlasst werden, um eine Menge von Entfernungen zumindest teilweise basierend auf der Menge von Orten und dem letzten Ort zu berechnen; und die Vielzahl von Pfaden zumindest teilweise auf der Grundlage der Menge von Entfernungen zu berechnen, wobei die Vielzahl von Pfaden einen Pfad von dem ersten Ort zu dem letzten Ort ausbildet.
Prozessor nach Anspruch 2, wobei: der erste Ort ein Ort der autonomen Einrichtung ist; und eine Teilmenge von Orten aus der Menge der Orte für die autonome Einrichtung von dem ersten Ort aus zugänglich ist.
Prozessor nach Anspruch 3, wobei die eine oder die mehreren Schaltungen einen ersten Pfad aus der Vielzahl von Pfaden berechnen, indem zumindest: eine Teilmenge von Entfernungen aus der Menge von Entfernungen, welche mit der Teilmenge von Orten korrespondiert, ermittelt wird; ein zweiter Ort aus der Teilmenge von Orten zumindest teilweise auf der Grundlage der Teilmenge von Entfernungen ausgewählt wird; und der erste Pfad berechnet wird, welcher einen Pfad von dem ersten Ort zu dem zweiten Ort umfasst.
Prozessor nach Anspruch 4, wobei der zweite Ort einer minimalen Entfernung aus der Teilmenge der Entfernungen entspricht.
Prozessor nach einem der Ansprüche 2 bis 5, wobei das eine oder die mehreren neuronalen Netze die Menge von Entfernungen in einem einzigen Vorwärtsdurchlauf berechnen.
Prozessor nach einem der Ansprüche 2 bis 6, wobei eine Entfernung der Menge von Entfernungen einer Entfernung entlang eines Pfades von einem Ort der Menge von Orten zu dem letzten Ort entspricht.
Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, welche, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, ein oder mehrere neuronale Netze zu verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
Maschinenlesbares Medium nach Anspruch 8, wobei der Satz von Anweisungen darüber hinaus Anweisungen umfasst, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen: Merkmale einer Umgebung zu ermitteln; einen Ort in der Umgebung auszuwählen; und zumindest die Merkmale und den Ort in das eine oder die mehreren neuronalen Netze einzugeben, um eine Vielzahl von Entfernungen zu erhalten, die mit einer Vielzahl von Orten in der Umgebung korrespondieren.
Maschinenlesbares Medium nach Anspruch 9, wobei der Satz von Anweisungen darüber hinaus Anweisungen umfasst, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen: eine Menge von Orten auszuwählen, welche für die autonome Einrichtung zugänglich sind; eine Menge von Entfernungen aus der Vielzahl von Entfernungen zu ermitteln, welche mit der Menge von Orten korrespondieren; und einen ersten Ort aus der Menge von Orten zumindest teilweise basierend auf der Menge von Entfernungen auszuwählen, wobei ein erster Pfad aus der Vielzahl von Pfaden einen Pfad von der autonomen Einrichtung zu dem ersten Ort anzeigt.
Maschinenlesbares Medium nach Anspruch 10, wobei der Satz von Anweisungen darüber hinaus Anweisungen umfasst, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die autonome Einrichtung zu veranlassen, unter Verwendung des ersten Pfades zu dem ersten Ort zu navigieren.
Maschinenlesbares Medium nach Anspruch 11, wobei die autonome Einrichtung ein autonomes Auto ist.
Maschinenlesbares Medium nach einem der Ansprüche 9 bis 12, wobei die Merkmale von einem oder mehreren Kodierern basierend auf einer Darstellung der Umgebung erzeugt werden.
Maschinenlesbares Medium nach Anspruch 13, wobei die Darstellung der Umgebung ein Bild oder eine Punktwolke ist.
System umfassend: einen oder mehrere Computer mit einem oder mehreren Prozessoren, welche ein oder mehrere neuronale Netze verwenden, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
System nach Anspruch 15, wobei der eine oder die mehreren Prozessoren darüber hinaus ausgestaltet sind, um: eine Darstellung einer Umgebung zu erfassen; und das eine oder die mehreren neuronalen Netze zu verwenden, um die Vielzahl von Pfaden von einem ersten Ort der autonomen Einrichtung zu einem zweiten Ort in der Umgebung zu berechnen.
System nach Anspruch 16, wobei der eine oder die mehreren Prozessoren darüber hinaus ausgestaltet sind, um das eine oder die mehreren neuronalen Netze zu verwenden, um einen oder mehrere Entfernungswerte für einen oder mehrere Orte in der Umgebung zumindest teilweise basierend auf der Darstellung der Umgebung zu berechnen.
System nach Anspruch 17, wobei der eine oder die mehreren Prozessoren darüber hinaus ausgestaltet sind, um: eine Größe für einen Schritt der autonomen Einrichtung zu berechnen; eine Menge von Orten auszuwählen, welche durch den Schritt von dem ersten Ort der autonomen Einrichtung aus zugänglich sind; und einen dritten Ort aus der Menge der Orte zumindest teilweise basierend auf dem einen oder den mehreren Entfernungswerten auszuwählen.
System nach einem der Ansprüche 16 bis 18, wobei die Darstellung der Umgebung durch eine oder mehrere Tiefenkameras erfasst wird.
System nach einem der Ansprüche 16 bis 19, wobei die Darstellung der Umgebung eine 2D- oder eine 3D-Darstellung ist.
System nach einem der Ansprüche 15 bis 20, wobei die autonome Einrichtung ein autonomer Roboter ist.
Maschinenlesbares Medium, auf dem ein Satz von Anweisungen gespeichert ist, welche, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, zumindest: ein oder mehrere neuronale Netze zu trainieren, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
Maschinenlesbares Medium nach Anspruch 22, wobei der Satz von Anweisungen darüber hinaus Anweisungen aufweist, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, um: eine Umgebung und einen Ort zu ermitteln; einen oder mehrere Algorithmen zu veranlassen, um einen oder mehrere Werte für erreichbare Entfernungen von einem oder mehreren Orten in der Umgebung zu dem Ort zu bestimmen; und das eine oder die mehreren neuronalen Netze zumindest anhand des einen oder der mehreren Werte für die erreichbaren Entfernungen zu trainieren.
Maschinenlesbares Medium nach Anspruch 23, wobei der Satz von Anweisungen darüber hinaus Anweisungen aufweist, welche, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren dazu veranlassen, um: das eine oder die mehreren neuronalen Netze zu veranlassen, um zumindest den einen oder die mehreren Orte zu verarbeiten, um einen oder mehrere vorhergesagte Werte für die erreichbaren Entfernungen zu berechnen; und das eine oder die mehreren neuronalen Netze zumindest teilweise basierend auf den Unterschieden zwischen dem einen oder den mehreren vorhergesagten Werten für die erreichbaren Entfernungen und dem einen oder den mehreren Werten für die erreichbaren Entfernungen zu aktualisieren.
Maschinenlesbares Medium nach Anspruch 23 oder 24, wobei der eine oder die mehreren Algorithmen einen oder mehrere Algorithmen der Fast Marching Methode (FMM) aufweisen.
Maschinenlesbares Medium nach Anspruch 23, wobei ein erster Wert für eine erreichbare Entfernung des einen oder der mehreren Werte für die erreichbaren Entfernungen mit einem ersten Ort des einen oder der mehreren Orte korrespondiert und eine Entfernung entlang eines Pfades von dem ersten Ort zu dem Ort angibt.
Maschinenlesbares Medium nach Anspruch 26, wobei der Pfad ein geometrisch realisierbarer Pfad ist.
Prozessor umfassend: eine oder mehrere Schaltungen, um ein oder mehrere neuronale Netze zu trainieren, um eine Vielzahl von Pfaden zu berechnen, entlang denen sich eine autonome Einrichtung bewegen soll.
Prozessor nach Anspruch 28, wobei die eine oder die mehreren Schaltungen darüber hinaus ausgestaltet sind, um: einen oder mehrere Algorithmen zu veranlassen, um zumindest eine Umgebung, eine Menge von Positionen und eine Zielposition zu verarbeiten; um eine Menge von Entfernungswerten zumindest teilweise basierend auf den Ergebnissen des einen oder der mehreren Algorithmen zu ermitteln; und das eine oder die mehreren neuronalen Netze unter Verwendung der Menge von Entfernungswerten zu trainieren.
Prozessor nach Anspruch 29, wobei die eine oder die mehreren Schaltungen darüber hinaus ausgestaltet sind, um das eine oder die mehreren neuronalen Netze zu trainieren, um zumindest die Umgebung, die Menge von Positionen und die Zielposition zu verarbeiten, um die Menge von Entfernungswerten zu berechnen.
Prozessor nach Anspruch 29 oder 30, wobei ein erster Entfernungswert der Menge von Entfernungswerten eine Entfernung entlang eines semantisch realisierbaren Pfades von einer ersten Position der Menge von Positionen zu der Zielposition angibt.
Prozessor nach einem der Ansprüche 29 bis 31, wobei der eine oder die mehreren Algorithmen einen oder mehrere Pfadplanungsalgorithmen aufweisen.
Prozessor nach einem der Ansprüche 28 bis 32, wobei das eine oder die mehreren neuronalen Netze eine oder mehrere implizite Umgebungsfunktionen aufweisen.