DE112020006181T5

DE112020006181T5 - Blickbestimmung mit blendung als eingabe

Info

Publication number: DE112020006181T5
Application number: DE112020006181.7T
Authority: DE
Inventors: Hairong Jiang; Nishant Puri; Niranjan Avadhanam; Nuri Murat ARAR
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2019-12-16
Filing date: 2020-12-16
Publication date: 2022-11-10
Also published as: US11340701B2; CN114270294A; US11841987B2; US20210181837A1; WO2021127005A1; US20220283638A1; JP2021195124A

Abstract

Systeme und Verfahren zum maschinellen Lernen, welche Blendung lernen und so die Blickrichtung in einer Weise bestimmen, welche gegenüber Auswirkungen von Blendung auf die Eingabebilder widerstandsfähiger ist. Die Systeme zum maschinellen Lernen weisen eine isolierte Darstellung von Blendung, z.B. Informationen über die Positionen von Blendungspunkten in einem Bild, als explizite Eingabe zusätzlich zu dem Bild selbst auf. Auf diese Weise berücksichtigen die Systeme zum maschinellen Lernen explizit die Blendung bei der Bestimmung der Blickrichtung und erzielen so genauere Ergebnisse für Bilder mit Blendung.

Description

Querverweis zu verwandter Anmeldung
Diese Anmeldung beansprucht die Priorität der am 16. Juni 2020 eingereichten US-Non-Provisional-Patentanmeldung Nr. 16/902,737 , die sich auf die am 16. Dezember 2019 eingereichten US-Provisional-Patentanmeldung Nr. 62/948,793 beruft, deren Offenbarungen hiermit in ihrer Gesamtheit durch Bezugnahme aufgenommen werden.
Hintergrund
Ausführungsformen der Offenbarung beziehen sich allgemein auf Systeme zum maschinellen Lernen. Genauer gesagt beziehen sich Ausführungsformen der Offenbarung auf eine Blickbestimmung, die unter Verwendung von Systemen zum maschinellen Lernen mit einer Blendung als Eingabe durchgeführt wird.
Zusammenfassung
In jüngster Zeit wurden faltende neuronale Netze (Convolutional Neural Networks (CNNs)) entwickelt, um die Blickrichtung von Objekten zu schätzen, die in einem Bild dargestellt sind. Solche CNNs können z. B. die Blickrichtung eines Objekts aus einem eingegebenen Bild des Objekts ableiten, indem sie bestimmte Merkmale der Augen des Objekts bestimmen. Dadurch können Systeme, die solche CNNs verwenden, automatisch die Blickrichtung eines Objekts bestimmen und entsprechend in Echtzeit reagieren.
Herkömmliche Systeme zur Blickrichtungsbestimmung sind jedoch nicht ohne Nachteile. Solche Systeme haben oft Schwierigkeiten, die Blickrichtung eines Objekts zu bestimmen, wenn ein oder beide Augen verdeckt sind oder anderweitig nicht eindeutig in dem eingegebenen Bild dargestellt sind. Herkömmliche CNN-Systeme haben oft besondere Schwierigkeiten, die Blickrichtung zu bestimmen, wenn eine Blendung vorhanden ist. Licht aus verschiedenen Quellen wird oft von den Augen, Brillen oder anderen nahegelegenen Oberflächen reflektiert, was zu hellen Flecken in Bildern des Objekts führt, die zumindest teilweise die Augen des Objekts vor dem Bildsensor (z. B. der Kamera) verschleiern können, wodurch die Genauigkeit herkömmlicher Systeme zur Blickrichtungsbestimmung verringert wird.
Frühere Systeme haben versucht, den Effekt der Blendung durch eine Reihe von Verfahren zu kompensieren oder zu reduzieren, z. B. durch eine Modifikation der Lichtquellen, die für die Beleuchtung verwendet werden, durch die Verwendung verschiedener Polarisationstechniken, durch die Identifizierung und Entfernung von Blendungspixeln oder durch die Kompensation des Fehlens von Augeninformationen durch andere Informationen wie die Kopfhaltung. Alle diese Verfahren haben sich jedoch als nur begrenzt wirksam erwiesen. Dementsprechend werden hier Systeme und Verfahren für ein robusteres Blickschätzungssystem beschrieben, das Blendungspunkte als explizite Eingabe für Netzwerkarchitekturen zum maschinellen Lernen zur Blickschätzung einbezieht. Ein beispielhaftes Blickschätzungssystem kann eine Kamera oder eine andere Einrichtung zur Bildbestimmung und einen Prozessor wie einen Parallelprozessor verwenden, der Inferencing-Operationen von Netzwerken zum maschinellen Lernen wie CNNs durchführen kann. In bestimmten Ausführungsformen der Offenbarung kann das System ein von der Kamera aufgenommenes Bild eines Objekts empfangen. Ein oder mehrere Netzwerke zum maschinellen Lernen sind so strukturiert, dass sie als Eingaben annehmen: eine isolierte Darstellung einer Blendung in dem Bild des Objekts, eine oder mehrere Darstellungen mindestens eines Abschnitts eines Gesichts des Objekts und einen Abschnitt des Bildes, der mindestens einem Auge des Objekts entspricht. Aus diesen Eingaben ermitteln die Netzwerke zum maschinellen Lernen eine Schätzung der Blickrichtung des Objekts, wie sie im Bild gezeigt wird, und geben diese aus. Diese Blickrichtung kann an verschiedene Systeme übermittelt werden, die auf der Grundlage des ermittelten Blicks Operationen einleiten.
Die Darstellung einer Blendung, die Darstellungen des Gesichts des Objekts und die den Augen des Objekts entsprechenden Bildabschnitte können auf beliebige Weise bestimmt werden. Zum Beispiel kann das System vor der Verarbeitung durch die oben beschriebenen Netzwerke zum maschinellen Lernen jede der Darstellungen der Blendung, des Gesichts des Objekts und der Bildabschnitte, die den Augen des Objekts entsprechen, separat bestimmen. Die Darstellung der Blendung kann eine binäre Maske von Blendungspunkten in dem eingegebenen Bild bzw. Eingabebild sein, die auf beliebige Weise bestimmt wird, während die Darstellungen des Gesichts des Objekts eine ähnlich bestimmte binäre Maske eines Abschnitts des Gesichts des Objekts sein können, der zumindest seine Augen aufweist. Die Bildabschnitte, die den Augen entsprechen, können Augenausschnitte sein, wobei die Augen mit einer beliebigen Form- oder Objekterkennungstechnik identifiziert werden, sei es auf der Grundlage von maschinellem Lernen oder auf andere Weise.
In einer Ausführungsform der Offenbarung kann ein Modell zum maschinellen Lernen als Eingaben sowohl die isolierte Darstellung der Blendung, z. B. die binäre Maske der Blendungspunkte, als auch die Darstellung mindestens eines Abschnitts des Gesichts des Objekts, z. B. die binäre Maske des Abschnitts des Gesichts des Objekts, der mindestens seine Augen aufweist, haben.
In einer anderen Ausführungsform der Offenbarung kann die isolierte Darstellung der Blendung in ein Modell zum maschinellen Lernen eingegeben werden, während die Darstellung mindestens eines Abschnitts des Gesichts des Objekts in ein anderes Modell zum maschinellen Lernen eingegeben werden kann. Insbesondere kann die Darstellung der Blendung in einen Satz vollständig verbundener Schichten eingegeben werden, während die Darstellung mindestens eines Abschnitts des Gesichts in ein Modell zur Extraktion von Merkmalen eingegeben werden kann.
In einer Ausführungsform der Offenbarung hat ein Modell zum maschinellen Lernen als Eingabe einen der Abschnitte des Bildes, der einem Auge des Objekts entspricht, während ein anderes Modell zum maschinellen Lernen als Eingabe einen anderen Abschnitt des Bildes hat, der einem anderen Auge des Objekts entspricht. Das heißt, zwei verschiedene Modelle zum maschinellen Lernen haben als jeweilige Eingaben die beiden Augenausschnitte aus dem Bild des Objekts.
In einer anderen Ausführungsform der Offenbarung hat ein Modell zum maschinellen Lernen als Eingabe eine Darstellung des Gesichts des Objekts, z.B. die oben beschriebene binäre Maske des Gesichts des Objekts, die aus dem Eingabebild bestimmt wurde, und ein anderes Modell zum maschinellen Lernen hat als Eingabe eine andere Darstellung des Gesichts des Objekts, z.B. ein grobes Gesichtsraster, das ebenfalls aus dem Eingabebild bestimmt wurde.
Die endgültige Ausgabe der Modelle zum maschinellen Lernen ist eine geschätzte Blickrichtung oder ein Fokuspunkt. Als Reaktion auf diese Ausgabe kann eine beliebige Operation eingeleitet werden. Zum Beispiel kann die Ausgabe der Modelle zum maschinellen Lernen eine Blickrichtung des Fahrers eines Fahrzeugs sein, und die eingeleitete Operation kann eine Operation des Fahrzeugs sein, die als Reaktion auf die ermittelte Blickrichtung durchgeführt wird. Wenn beispielsweise festgestellt wird, dass der Fahrer nicht in die Richtung blickt, in die sich das Fahrzeug bewegt, kann das Fahrzeug eine Warnung an den Fahrer auslösen, damit er seine Aufmerksamkeit wieder auf die Straße lenkt.
Ausführungsformen der Offenbarung können daher als ein System zum maschinellen Lernen betrachtet werden, das die Blickrichtung eines Objekts durch explizites Lernen von Blendung bestimmt. Genauer gesagt, werden die Orte der Blendungspunkte in einem Bild als separate Eingabe für die Modelle zum maschinellen Lernen verwendet. Die Modelle zum maschinellen Lernen in den Ausführungsformen der Offenbarung nehmen also als Eingaben sowohl ein Bild eines Objekts als auch eine explizite Darstellung von Blendungspunkten, die aus dem Bild extrahiert wurden. Aus diesen (und optional anderen) Eingaben wird die Blickrichtung bestimmt. Auf der Grundlage der bestimmten Blickrichtung können dann verschiedene Operationen eingeleitet werden.
Figurenliste
Die obigen und andere Gegenstände und Vorteile der Offenbarung werden unter Berücksichtigung der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen deutlich, in denen sich gleiche Bezugszeichen durchgehend auf gleiche Elemente beziehen und in denen gilt:

1A veranschaulicht konzeptionell die Funktion herkömmlicher Blickbestimmungsverfahren in Gegenwart von Blendung;
1B veranschaulicht konzeptionell die Funktion von blendungsresistenten Blickbestimmungsverfahren von Ausführungsformen der Offenbarung;
2 ist eine Blockdiagramm-Darstellung von beispielhaften Modellen zum maschinellen Lernen mit Blendungsresistenz von Ausführungsformen der Offenbarung;
3 ist eine Blockdiagramm-Darstellung eines Blickbestimmungssystems von Ausführungsformen der Offenbarung;
4A ist eine Illustration eines Beispiels eines autonomen Fahrzeugs gemäß einigen Ausführungsformen der vorliegenden Offenbarung;
4B ist ein Beispiel für Kamerapositionen und Sichtfelder für das beispielhafte autonome Fahrzeug von 4A gemäß einigen Ausführungsformen der vorliegenden Offenbarung;
4C ist ein Blockdiagramm einer beispielhaften Systemarchitektur für das beispielhafte autonome Fahrzeug von 4A gemäß einigen Ausführungsformen der vorliegenden Offenbarung;
4D ist ein Systemdiagramm für die Kommunikation zwischen einem oder mehreren Cloud-basierten Servern und dem beispielhaften autonomen Fahrzeug aus 4A gemäß einigen Ausführungsformen der vorliegenden Offenbarung;
5 ist ein Blockdiagramm einer beispielhaften Recheneinrichtung, die zur Verwendung bei der Implementierung einiger Ausführungsformen der vorliegenden Offenbarung geeignet ist;
6 ist ein Flussdiagramm, das Verfahrensschritte zur Bestimmung der Blickrichtung bei Vorhandensein von Blendung gemäß Ausführungsformen der vorliegenden Offenbarung illustriert; und
7 ist eine Blockdiagramm-Darstellung von weiteren beispielhaften blendungsresistenten Modellen zum maschinellen Lernen von Ausführungsformen der Offenbarung.

Detaillierte Beschreibung
In einer Ausführungsform bezieht sich die Offenbarung auf Systeme und Verfahren zum maschinellen Lernen, die Blendung lernen und so die Blickrichtung auf eine Weise bestimmen, die gegenüber den Auswirkungen von Blendung widerstandsfähiger ist. Die Systeme zum maschinellen Lernen haben eine isolierte Darstellung der Blendung, z.B. Informationen über die Positionen der Blendungspunkte in einem Bild, als eine explizite Eingabe, zusätzlich zu dem Bild selbst. Auf diese Weise berücksichtigen die Systeme zum maschinellen Lernen explizit eine Blendung, während sie eine Bestimmung der Blickrichtung vornehmen, wodurch genauere Ergebnisse für Bilder mit Blendung erzielt werden.
1A veranschaulicht konzeptionell die Funktion herkömmlicher Blickrichtungsbestimmungsverfahren in Gegenwart von Blendung. Typischerweise wird ein Bild 100 in ein CNN 110 eingegeben, das darauf trainiert ist, die Blickrichtung des Objekts in dem eingegebenen Bild 100 zu schätzen. Das Vorhandensein von Blendung verhindert oft, dass dieses Verfahren zufriedenstellende Ergebnisse liefert. In diesem Fall verdecken beispielsweise Blendungsflecken 130 auf der Brille des Objekts die Augen des Objekts, so dass es für das CNN 110 schwierig ist, ausreichend viel von den Augen des Objekts zu erkennen, um seine Blickrichtung mit einem hohen Maß an Zuverlässigkeit zu bestimmen. Da das CNN 110 nur unzureichende Informationen hat, um die Blickrichtung zu bestimmen, kann die Ausgabe des CNN 110 ungenau oder unsinnig sein, oder die betroffenen Eingabebilder können vollständig verworfen werden.
1 B veranschaulicht konzeptionell die Funktion der blendungsresistenten Blickbestimmungsverfahren von Ausführungsformen der Offenbarung. Im Gegensatz zu den konventionellen CNNs 110 von 1A beschreiben Ausführungsformen der Offenbarung Modelle zum maschinellen Lernen, die spezifisch Blendung lernen und daher widerstandsfähiger gegen deren Auswirkungen sind. Dementsprechend sind die Modelle 140 zum maschinellen Lernen der Ausführungsformen der Offenbarung in der Lage, wenn ein Bild 100 und eine isolierte Darstellung von Blendungspunkten 120, die aus dem Bild 100 extrahiert wurden, den Modellen 140 eingegeben werden, die Blickrichtung des Objekts mit ausreichender Sicherheit abzuleiten, was zu einem Ausgabeblickvektor führt, der selbst bei Vorhandensein von Blendungspunkten 130, die die Augen des Objekts teilweise verdecken können, genau ist. Während die 1A und 1B ein Bild 100 zeigen, das in die Modelle zum maschinellen Lernen 140 eingegeben wird, um konzeptionell zu veranschaulichen, dass die Modelle zum maschinellen Lernen 140 als Eingaben Informationen verwenden, die aus einem von dem Objekt aufgenommenen Bild extrahiert werden oder sich auf dieses beziehen, wird darauf hingewiesen, dass in der Praxis die Eingabe in die Modelle zum maschinellen Lernen 140 neben einem Bild auch eine andere Darstellung oder ein anderer Satz von Informationen sein kann. Zum Beispiel kann die Eingabe für die Modelle 140 ein Gesichtsraster sein, das Blendungspunkte enthält, wie es im Folgenden beschrieben wird.
2 ist eine Blockdiagramm-Darstellung von beispielhaften Blendungsresistenten Modellen zum maschinellen Lernen von Ausführungsformen der Offenbarung. Die Modelle zum maschinellen Lernen von 2 weisen Merkmalsextraktionsschichten 230, 235 und 240 sowie vollständig verbundene Schichten 245 und 255 auf, die wie gezeigt angeordnet sind. Insbesondere weist die Merkmalsextraktionsschicht 230 zwei verschiedene Eingaben, eine Blendungsdarstellung 200 und eine Gesichtsdarstellung 205, die durch einen Verknüpfungsblock 210 verknüpft werden. Die verknüpften Eingaben werden dann an die Merkmalsextraktionsschicht 230 übermittelt. Der Merkmalsextraktionsblock 230 kann Merkmale eines Eingabebildes 100 nach beliebigen Verfahren extrahieren. Beispielsweise kann der Merkmalsextraktionsblock 230 ein Merkmallernabschnitt eines CNN sein, der auf jede geeignete Weise strukturiert ist und beliebige Faltungskerne und Pooling-Schichten verwendet, die für die Extraktion von Merkmalen von Objekten geeignet sind, von denen erwartet wird, dass sie in den Eingabebildern erfasst werden. Der Merkmalsextraktionsblock 230 gibt somit Merkmale aus, die die Orientierung des Gesichts des im Eingabebild dargestellten Objekts darstellen können.
Die Merkmalextraktionsschichten 235 und 240 können jeweils eine einzige Eingabe haben, eine Darstellung des linken Auges 215 bzw. eine Darstellung des rechten Auges 220. Zum Beispiel kann die Darstellung des linken Auges 215 ein Ausschnitt des linken Auges des Objekts im Eingabebild 100 sein, und die Darstellung des rechten Auges 220 kann ein Ausschnitt des rechten Auges des Objekts im Eingabebild 100 sein. Ähnlich wie die Merkmalsextraktionsschicht 230 können die Merkmalsextraktionsschichten 235 und 240 jeweils ein beliebiger Merkmallernabschnitt eines CNN sein, der in geeigneter Weise strukturiert ist und beliebige Faltungskerne und Pooling-Schichten verwendet, die zur Extraktion von Merkmalen der Augen des Objekts geeignet sind. Die Ausgabe jeder Merkmalsextraktionsschicht 235, 240 ist ein Satz von Augenmerkmalen, die die Blickrichtung der Pupille der Eingabe 215 bzw. 220 darstellen können. Da die Merkmalextraktionsschichten 235 und 240 jeweils so ausgestaltet sind, dass sie Augen als Eingabe analysieren, können ihre entsprechenden Gewichtungswerte aus Effizienzgründen gemeinsam benutzt werden oder identisch sein. In den Ausführungsformen der Offenbarung sind jedoch beliebige Gewichtungswerte für jede der Merkmalsextraktionsschichten 235 und 240 denkbar, ob gemeinsam genutzt oder nicht.
Vollständig verbundene Schichten 245 weisen ein Gesichtsraster 225 als ihre einzige Eingabe auf. Bei den vollständig verbundenen Schichten 245 kann es sich um jeden Klassifikator handeln, der geeignet ist, ein Eingabebild eines Gesichts in Ortsklassifikationen zu klassifizieren, die den Ort und/oder die Position in dem Eingabebild 100 angeben, an dem sich das Gesicht des Objekts befindet. Bei den vollständig verbundenen Schichten 245 kann es sich zum Beispiel um ein mehrschichtiges Perzeptron oder andere vollständig verbundene Schichten eines CNN handeln, die so ausgestaltet und trainiert sind, dass sie eingegebene Objekte in eine von mehreren diskreten Positionen klassifizieren. Vollständig verbundene Schichten 245 geben somit Wahrscheinlichkeiten für die Position des Gesichts in dem Eingabebild 100 aus.
Die Ausgaben der Merkmalsextraktionsschichten 230, 235 und 240 sowie die Ausgabe der vollständig verbundenen Schichten 245 werden durch den Verknüpfungsblock 250 miteinander verknüpft und in die vollständig verbundenen Schichten 255 eingegeben, die ihrerseits eine Schätzung der Blickrichtung des Objekts im Eingabebild 100 ausgeben. Bei den vollständig verbundenen Schichten 255 kann es sich um jeden Klassifikator handeln, der sich für die Klassifizierung von eingegebenen Merkmalen des Gesichts eines Objekts in Richtungsklassifizierungen eignet, die die Richtung, in die ein Objekt blickt, angeben. Bei den vollständig verbundenen Schichten 255 kann es sich beispielsweise um ein mehrschichtiges Perzeptron oder um andere vollständig verbundene Schichten eines CNN handeln, die so ausgestaltet und trainiert sind, dass sie die eingegebenen Gesichts- und Augenmerkmale und -positionen in eine von mehreren diskreten Blickrichtungen klassifizieren. Die ausgegebenen Klassifizierungen der vollständig verbundenen Schichten 255 können eine beliebige Darstellung der Blickrichtung sein, z. B. Vektoren, Fokuspunkte auf einer vorgegebenen imaginären Ebene oder Ähnliches.
Die Blendungsdarstellung 200 kann eine beliebige isolierte Darstellung der Blendung im Eingabebild 100 sein, wie die Blendungsdarstellung 120. Das heißt, die Blendungsdarstellung 200 kann eine beliebige Eingabe sein, die die Positionen und Größen jeglicher Blendung im Eingabebild 100 übermittelt. Beispielsweise kann die Blendungsdarstellung 200 eine binäre Maske von Blendungspunkten sein, die aus dem Eingabebild 100 extrahiert wurde, d. h. ein Bild, das nur diejenigen Pixel des Eingabebildes 100 enthält, die als Blendung bestimmt wurden. Dementsprechend ist jedes Pixel der binären Maske ein schwarzes Pixel (z. B. in binären Darstellungen ein Pixel mit einem Wert von 0), mit Ausnahme derjenigen Pixel, deren korrespondierende Pixel im Eingabebild 100 als Blendungspixel bestimmt werden. Als weiteres Beispiel kann die Blendungsdarstellung 200 ein Vektor der Positionen derjenigen Pixel im Eingabebild 100 sein, die als eine Blendung enthaltend bestimmt wurden.
Die Gesichtsdarstellung 205 kann eine beliebige isolierte Darstellung des Gesichts im Eingabebild 100 sein. Das heißt, die Gesichtsdarstellung 205 kann eine beliebige Eingabe sein, die nur das Gesicht des Objekts in dem Eingabebild 100 wiedergibt. Zum Beispiel kann die Gesichtsdarstellung 205 eine binäre Maske von Gesichtspixeln sein, die aus dem Eingabebild 100 extrahiert wurde, in der Gesichtspixel oder Pixel, die denjenigen Pixeln des Eingabebildes 100 entsprechen, die als das Gesicht des Objekts bestimmt wurden, alle eine bestimmte Farbe (z.B. einen bestimmten Wert) aufweisen, während alle anderen Pixel schwarze Pixel sind (z.B. einen anderen Wert aufweisen). Als weiteres Beispiel kann die Gesichtsdarstellung 200 ein Vektor der Positionen derjenigen Pixel in dem Eingabebild 100 sein, die als das Gesicht des Objekts bestimmt wurden.
Die Darstellung des linken Auges 215 und die Darstellung des rechten Auges 220 können jeweils eine beliebige Darstellung des entsprechenden Auges des Objekts in dem Eingabebild 100 sein, die die Blickrichtung des jeweiligen Auges anzeigen kann. Zum Beispiel kann die Darstellung des linken Auges 215 ein ausgeschnittener Abschnitt des Eingabebildes 100 sein, der nur das linke Auge des Objekts enthält, während die Darstellung des rechten Auges 220 ein ausgeschnittener Abschnitt des Eingabebildes 100 sein kann, der nur das rechte Auge des Objekts enthält.
Das Gesichtsraster 225 kann eine beliebige Eingabe sein, die die Position des Gesichts innerhalb des Eingabebildes 100 übermittelt. Als ein Beispiel kann das Gesichtsraster 225 eine binäre Maske des Gesichts des Objekts sein, ähnlich der Gesichtsdarstellung 205. Dieses Gesichtsraster 225 kann eine beliebige Auflösung haben, z. B. die gleiche Auflösung wie die des Eingabebildes 100 oder eine gröbere Darstellung, z. B. eine binäre Maske mit 25x25 quadratischen Feldern, deren einzelne Felder, die dem Gesicht im Eingabebild 100 entsprechen, mit einer oder mehreren nichtschwarzen Farben dargestellt werden, während die übrigen Felder schwarz sind. Das Gesichtsraster 225 kann eine beliebige andere Auflösung haben, z. B. 12×12 oder ähnliches. Das im Gesichtsraster 225 dargestellte Gesicht kann auf eine bestimmte Größe skaliert werden, um die Berechnung zu erleichtern, oder es kann im gleichen Maßstab wie das Eingabebild 100 gehalten werden. Darüber hinaus kann das Gesichtsraster 225 jede Information umfassen, die die räumliche Position des Gesichts des Objekts im Eingabebild 100 angibt, unabhängig davon, ob es sich um ein Bild oder etwas anderes handelt. Beispielsweise kann das Gesichtsraster 225 ein Satz von Orientierungspunkten des Gesichts des Objekts sein, die auf beliebige Weise bestimmt werden.
3 ist eine Blockdiagramm-Darstellung eines beispielhaften Blickbestimmungssystems von Ausführungsformen der Offenbarung. Dabei befindet sich eine Recheneinrichtung 300, bei der es sich um eine beliebige elektronische Recheneinrichtung handeln kann, die eine Verarbeitungsschaltung enthält, die in der Lage ist, die Blickbestimmungsvorgänge der Ausführungsformen der Offenbarung auszuführen, in elektronischer Kommunikation sowohl mit einer Kamera 310 als auch mit einem blickunterstützten System 320. Im Betrieb nimmt die Kamera 310, die der Kabinenkamera 441 der 4A und 4C im Folgenden entsprechen kann, Bilder eines Objekts auf und überträgt sie an die Recheneinrichtung 300, die dann die Modelle zum maschinellen Lernen von z. B. 2 implementiert, indem sie aus dem Bild der Kamera 310 die in 2 gezeigten Eingaben bestimmt und die Ausgabeblickrichtung bzw. ausgegebene Blickrichtung des Objekts berechnet. Die Recheneinrichtung 300 überträgt diese Blickrichtung an das blickunterstützte System 320, das daraufhin eine Aktion ausführt oder eine oder mehrere Operationen durchführt. Bei der Recheneinrichtung 300 kann es sich um eine oder mehrere elektronische Recheneinrichtungen handeln, die für die Implementierung der Modelle zum maschinellen Lernen der Ausführungsformen der Offenbarung geeignet sind, wie z. B. die unten näher beschriebene(n) Recheneinrichtung(en) 500.
Das blickunterstützte System 320 kann ein beliebiges System sein, das in der Lage ist, eine oder mehrere Aktionen auf der Grundlage der Blickrichtung durchzuführen, die es von der Recheneinrichtung 300 erhält. Beliebige Ausgestaltungen der Kamera 310, der Recheneinrichtung 300 und des blickunterstützten Systems 320 werden in Betracht gezogen. Als ein Beispiel kann das blickunterstützte System 320 ein autonomes Fahrzeug sein, das in der Lage ist, die Blickrichtung des Fahrers oder eines anderen Passagiers zu bestimmen und darauf zu reagieren, wie das autonome Fahrzeug 400, das im Folgenden im Detail beschrieben wird. In diesem Beispiel können die Kamera 310 und die Recheneinrichtung 300 innerhalb des Fahrzeugs positioniert sein, während das blickunterstützte System 320 das Fahrzeug selbst darstellen kann. Die Kamera 310 kann an einer beliebigen Stelle in dem Fahrzeug positioniert sein, die ihr einen Blick auf den Fahrer oder Beifahrer ermöglicht. Dementsprechend kann die Kamera 310 Bilder des Fahrers oder Beifahrers aufnehmen und an die Recheneinrichtung 300 übertragen, die die Eingaben 200, 205, 215, 220 und 225 berechnet und die Blickrichtung des Fahrers bestimmt. Diese Blickrichtung kann dann z. B. an ein anderes Softwaremodul übermittelt werden, das die Aktionen bestimmt, die das Fahrzeug daraufhin ausführen kann. So kann das Fahrzeug beispielsweise feststellen, dass die Blickrichtung auf einen abgelenkten Fahrer oder einen Fahrer, der der Straße keine Aufmerksamkeit entgegenbringt, hindeutet, und daraufhin eine beliebige Aktion einleiten. Solche Vorgänge können jede Art von Warnung an den Fahrer (z. B. eine optische oder akustische Warnung, eine Warnung auf einer Head-up-Anzeige oder Ähnliches), die Einleitung des Autopiloten, einen Brems- oder Abbiegevorgang oder eine andere Aktion einschließen. Die Recheneinrichtung 300 kann innerhalb des Fahrzeugs des blickunterstützten Systems 320 als lokaler Prozessor positioniert sein, oder sie kann ein entfernter Prozessor sein, der Bilder von der Kamera 310 empfängt und Blickrichtungen oder Anweisungen drahtlos an das Fahrzeug des blickunterstützten Systems 320 überträgt.
Als weiteres Beispiel kann das blickunterstützte System 320 ein Virtual-Reality- oder Augmented-Reality-System sein, das in der Lage ist, Bilder anzuzeigen, die auf Bewegungen und Blicke von Benutzern reagieren. In diesem Beispiel weist das blickunterstützte System 320 eine Anzeige für virtuelle Realität oder erweiterte Realität auf, wie z. B. ein Headset, das von einem Benutzer getragen wird und so ausgestaltet ist, dass es Bilder dazu projiziert. Die Kamera 310 und die Recheneinrichtung 300 können innerhalb des Headsets positioniert sein, wobei die Kamera 310 Bilder von den Augen des Benutzers aufnimmt und die Recheneinrichtung 300 seine Blickrichtung bestimmt. Diese Blickrichtung kann dann an die Anzeige der virtuellen Realität oder der erweiterten Realität übertragen werden, die daraufhin eine beliebige Aktion ausführen kann. Um Rechenressourcen zu sparen, kann das blickunterstützte System 320 beispielsweise nur die Virtual-Reality- oder Augmented-Reality-Elemente rendern bzw. darstellen, die sich innerhalb des Blickfelds des Benutzers befinden, das anhand der ermittelten Blickrichtung bestimmt wurde. In ähnlicher Weise kann das blickunterstützte System 320 den Benutzer auf Objekte oder Ereignisse aufmerksam machen, die sich außerhalb des Sichtfeldes des Benutzers befinden, die der Benutzer aber möglicherweise vermeiden möchte oder an denen er interessiert ist. Wie bei dem obigen Beispiel des autonomen Fahrzeugs kann sich die Recheneinrichtung 300 eines Virtual-Reality- oder Augmented-Reality-Systems innerhalb des Systems 320 befinden, z. B. innerhalb des Headsets selbst, oder sie kann sich an einem entfernten Ort befinden, so dass Bilder drahtlos an die Recheneinrichtung 300 übertragen werden und berechnete Blickrichtungen drahtlos zurück an das Headset übertragen werden können, das seinerseits verschiedene Operationen als Reaktion darauf durchführen kann.
Als weiteres Beispiel kann das blickunterstützte System 320 ein computergestütztes Werbesystem sein, das bestimmt, welche visuellen Reize - wie z. B. und ohne Einschränkung Werbung, Warnungen, Objekte, Personen oder andere sichtbare Regionen oder Punkte von Interesse - ein Benutzer betrachtet. Genauer gesagt kann es sich bei dem blickunterstützten System um ein beliebiges elektronisches Rechensystem oder eine beliebige elektronische Einrichtung handeln, wie z. B. einen Desktop-Computer, einen Laptop-Computer, ein Smartphone, einen Server-Computer oder Ähnliches. Die Kamera 310 und die Recheneinrichtung 300 können in diese Recheneinrichtung eingebaut werden, um auf den Benutzer zu zeigen, z. B. in oder in der Nähe der Anzeige der Recheneinrichtung. Die Kamera 310 kann Bilder des Benutzers aufnehmen und die Recheneinrichtung 300 kann die Blickrichtung des Benutzers bestimmen. Die bestimmten Blickrichtungen können dann an das blickunterstützte System 320 übertragen werden, z. B. an die Recheneinrichtung, die Werbung für den Benutzer anzeigt, an eine entfernte Recheneinrichtung oder ähnliches. Die Recheneinrichtung kann dann die berechnete Blickrichtung verwenden, um das Objekt der Aufmerksamkeit des Benutzers zu bestimmen und Informationen über die Wirksamkeit verschiedener Anzeigen, Warnungen oder anderer visueller Reize bereitzustellen.
4A ist eine Veranschaulichung eines Beispiels für ein autonomes Fahrzeug 400 gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Das autonome Fahrzeug 400 (hier alternativ als „Fahrzeug 400“ bezeichnet) kann ohne Einschränkung ein Personenfahrzeug sein, wie z. B. ein Auto, ein Lastwagen, ein Bus, ein Rettungsfahrzeug, ein Shuttle, ein elektrisches oder motorisiertes Fahrrad, ein Motorrad, ein Feuerwehrauto, ein Polizeifahrzeug, ein Krankenwagen, ein Boot, ein Baufahrzeug, ein Unterwasserfahrzeug, eine Drohne und/oder eine andere Art von Fahrzeug (z. B. ein unbemanntes Fahrzeug und/oder ein Fahrzeug, das einen oder mehrere Passagiere aufnimmt). Autonome Fahrzeuge sind im Allgemeinen im Hinblick auf Automatisierungslevels beschrieben, die von der National Highway Traffic Safety Administration (NHTSA), einer Abteilung des US-Verkehrsministeriums, und der Society of Automotive Engineers (SAE) „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ (Standard Nr. J 3016-201806 , veröffentlicht am 15. Juni 2018, Standard Nr. J 3016-201609 , veröffentlicht am 30. September 2016, sowie frühere und zukünftige Versionen dieses Standards) definiert sind. Das Fahrzeug 400 kann zu einer Funktionalität gemäß einem oder mehreren von Level 3 - Level 5 der Levels für autonomes Fahren in der Lage sein. Zum Beispiel kann das Fahrzeug 400 in Abhängigkeit von der Ausführungsform zu einer bedingten Automatisierung (Level 3), einer hohen Automatisierung (Level 4) und/oder einer vollständigen Automatisierung (Level 5) in der Lage sein.
Das Fahrzeug 400 kann Komponenten wie etwa ein Fahrgestell, eine Fahrzeugkarosserie, Räder (z. B. 2, 4, 6, 8, 18 usw.), Reifen, Achsen und andere Komponenten eines Fahrzeugs beinhalten. Das Fahrzeug 400 kann ein Antriebssystem 450 beinhalten, wie z. B. einen Verbrennungsmotor, ein Hybridelektrotriebwerk, einen vollelektrischen Motor und/oder eine andere Art von Antriebssystem. Das Antriebssystem 450 kann mit einem Antriebsstrang des Fahrzeugs 400 verbunden sein, der ein Getriebe beinhalten kann, um den Antrieb des Fahrzeugs 400 zu ermöglichen. Das Antriebssystem 450 als Reaktion auf den Empfang von Signalen von der Drossel/dem Fahrpedal (452) gesteuert werden.
Ein Lenksystem 454, das ein Lenkrad beinhalten kann, kann verwendet werden, um das Fahrzeug 400 zu lenken (z. B. entlang eines gewünschten Pfads oder einer gewünschten Route), wenn das Antriebssystem 450 in Betrieb ist (z. B., wenn das Fahrzeug in Bewegung ist). Das Lenksystem 454 kann Signale von einem Lenkungsaktor 456 empfangen. Für die vollständige Automatisierungsfunktionalität (Level 5) kann das Lenkrad optional sein.
Das Bremssensorsystem 446 kann verwendet werden, um die Fahrzeugbremsen als Reaktion auf den Empfang von Signalen von den Bremsaktoren 448 und/oder Bremssensoren zu betreiben.
Die Steuerung(en) 436, die ein oder mehrere System-on-Chips (SoCs) 404 (4C) und/oder GPU(s) beinhalten können, können Signale (z. B. in Form von Befehlen) an eine oder mehrere Komponenten und/oder Systeme des Fahrzeugs 400 bereitstellen. Beispielsweise können die Steuerung(en) Signale zur Betätigung der Fahrzeugbremsen über einen oder mehrere Bremsaktuatoren 448, zur Betätigung des Lenksystems 454 über einen oder mehrere Lenkaktuatoren 456 und/oder zur Betätigung des Antriebssystems 450 über einen oder mehrere Drossel-/Beschleunigungsregler 452 senden. Die Steuerung(en) 436 können eine oder mehrere bordeigene (z. B. integrierte) Rechenvorrichtungen (z. B. Supercomputer) beinhalten, die Sensorsignale verarbeiten und Betriebsbefehle ausgeben (z. B. Signale, die Befehle darstellen), um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Führen des Fahrzeugs 400 zu unterstützen. Die Steuerung(en) 436 können eine erste Steuerung 436 für Funktionen des autonomen Fahren, eine zweite Steuerung 436 für funktionelle Sicherheitsfunktionen, eine dritte Steuerung 436 für eine Funktionalität der künstlichen Intelligenz (z. B. maschinelles Sehen), eine vierte Steuerung 436 für eine Infotainment-Funktionalität, eine fünfte Steuerung 436 für Redundanz in Notfällen und/oder andere Controller beinhalten. In einigen Beispielen kann eine einzelne Steuerung 436 zwei oder mehrere der vorstehenden Funktionalitäten handhaben, können zwei oder mehr Steuerungen 436 eine einzelne Funktionalität handhaben und/oder eine beliebige Kombination davon.
Die Steuerung(en) 436 können die Signale zum Steuern einer/eines oder mehrerer Komponenten und/oder Systeme des Fahrzeugs 400 als Reaktion auf Sensordaten bereitstellen, die von einem oder mehreren Sensoren empfangen werden (z. B. Sensoreingaben). Die Sensordaten zum Beispiel und ohne Einschränkung empfangen werden von Sensor(en) 458 von globalen Navigationssatellitensystemen (z. B. Sensor(en) des globalen Positionsbestimmungssystems), RADAR-Sensor(en) 460, Ultraschallsensor(en) 462, LiDAR-Sensor(en) 464, Sensor(en) 466 einer Trägheitsmesseinheit (inertial measurement unit - „IMU“) (z. B. (einem) Beschleunigungsmesser, Gyroskop(en), Magnetkompass(en), (einem) Magnetometer usw.), Mikrofon(en) 496, Stereokamera(s) 468, Weitsichtkamera(s) 470 (z. B. Fischaugenkameras), Infrarotkamera(s) 472, Rundumkamera(s) 474 (z. B. 360-Grad-Kameras), Langstreckenkameras und/oder Mittelstreckenkamera(s) 498, Geschwindigkeitssensor(en) 444 (z. B. zum Messen der Geschwindigkeit des Fahrzeugs 400), Vibrationssensor(en) 442, Lenksensor(en) 440, Bremssensor(en) (z. B. als Teil des Bremssensorsystems 446) und/oder anderen Sensorarten.
Eine oder mehrere der Steuerung(en) 436 können Eingaben (z. B. durch Eingabedaten dargestellt) von einem Kombiinstrument 432 des Fahrzeugs 400 empfangen und Ausgaben (z. B. durch Ausgabedaten, Anzeigedaten usw. dargestellt) über eine Anzeige 434 einer Mensch-Maschine-Schnittstelle (humanmachine interface - HMI), einen akustischen Melder, einen Lautsprecher und/oder über andere Komponenten des Fahrzeugs 400 bereitstellen. Die Ausgaben können Informationen wie Fahrzeuggeschwindigkeit, Drehzahl, Zeit, Kartendaten (z. B. die HD-Karte 422 von 4C), Positionsdaten (z. B. die Position des Fahrzeugs 400, z. B. auf einer Karte), Richtung, Position anderer Fahrzeuge (z. B. ein Belegungsgitter), Informationen über Objekte und den Status von Objekten, wie von der/den Steuerung(en) 436 wahrgenommen, usw. beinhalten. Beispielsweise kann die HMI-Anzeige 434 Informationen über das Vorhandensein eines oder mehrerer Objekte (z. B. eines Straßenschilds, eines Warnschilds, einer sich ändernden Ampel usw.) und/oder Informationen über Fahrmanöver anzeigen, die das Fahrzeug durchgeführt hat, gerade durchführt oder durchführen wird (z. B. jetzt die Spur wechseln, in zwei Meilen die Ausfahrt 34B nehmen usw.).
Das Fahrzeug 400 beinhaltet ferner eine Netzschnittstelle 424, die eine oder mehrere drahtlose Antenne(n) 426 und/oder Modem(s) zum Kommunizieren über ein oder mehrere Netze verwenden kann. Die Netzwerkschnittstelle 424 kann beispielsweise die Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000 usw. ermöglichen. Die drahtlose(n) Antenne(n) 426 kann/können auch die Kommunikation zwischen Objekten in der Umgebung (z. B. Fahrzeuge, mobile Vorrichtungen usw.) über lokale Netzwerke wie Bluetooth, Bluetooth LE, Z-Wave, ZigBee usw. und/oder Low Power Wide Area Network(s) (LPWANs) wie LoRaWAN, SigFox usw. ermöglichen.
4B ist ein Beispiel für Kamerapositionen und Sichtfelder für das autonome Fahrzeug 400 aus 4A, gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Die Kameras und die entsprechenden Sichtfelder stellen eine beispielhafte Ausführungsform dar und sind nicht als einschränkend aufzufassen. Zum Beispiel können zusätzliche und/oder alternative Kameras enthalten sein und/oder können sich die Kameras an unterschiedlichen Positionen am Fahrzeug 400 befinden.
Die Kameratypen für die Kameras können Digitalkameras beinhalten, ohne darauf beschränkt zu sein, die zur Verwendung mit Komponenten und/oder Systemen des Fahrzeugs 400 ausgelegt sind. Die Kamera(s) können mit dem Automobilsicherheitsintegritätslevel (automotive safety integrity level - ASIL) B und/oder mit einem anderen ASIL betrieben werden. Die Kameratypen können in Abhängigkeit von der Ausführungsform zu einer beliebigen Bildaufnahmerate in der Lage sein, wie z. B. 60 Bilder pro Sekunde (frames per second - fps), 120 fps, 240 fps usw. Die Kameras können in der Lage sein, Rollblendenverschlüsse, globale Blendenverschlüsse, eine andere Art von Blendenverschluss oder eine Kombination davon zu verwenden. In einigen Beispielen kann die Farbfilteranordnung eine Rot-Klar-Klar-Klar (red clear clear clear - RCCC)-Farbfilteranordnung, eine Rot-Klar-Klar-Blau (red clear clear blue - RCCB)-Farbfilteranordnung, eine Rot-Blau-Grün-Klar (red blue green clear - RBGC)-Farbfilteranordnung, eine Foveon-X3-Farbfilteranordnung, ein Bayer-Sensoren (RGGB)-Farbfilteranordnung, eine Monochrom-Sensor-Farbfilteranordnung und/oder eine andere Art von Farbfilteranordnung beinhalten. In einigen Ausführungsformen können Klarpixelkameras, wie zum Beispiel Kameras mit einer RCCC-, einer RCCB- und/oder einer RBGC-Farbfilteranordnung, in einem Bestreben zur Erhöhung der Lichtempfindlichkeit verwendet werden.
In einigen Ausführungsformen können eine oder mehrere der Kamera(s) verwendet werden, um Funktionen der weiterentwickelten Fahrerassistenzsysteme (advanced driver assistance systems - ADAS) durchzuführen (z. B. als Teil einer redundanten oder ausfallsicheren Ausgestaltung). Zum Beispiel kann eine Multifunktions-Monokamera installiert sein, die Funktionen wie Spurverlassenswarnung, Verkehrszeichenassistent und intelligente Scheinwerfersteuerung bereitstellt. Eine oder mehrere der Kamera(s) (z. B. alle Kameras) können simultan Bilddaten (z. B. ein Video) aufnehmen und bereitstellen.
Eine oder mehrere der Kameras in einer Montagebaugruppe, z. B. einer kundenspezifisch entworfenen (3-D-gedruckten) Baugruppe, montiert sein, um Streulicht und Reflexionen aus dem Inneren des Autos (z. B. Reflexionen vom Armaturenbrett, die sich in den Windschutzscheibenspiegeln spiegeln) auszuschließen, welche die Bilddatenerfassungsfähigkeiten der Kamera beeinträchtigen können. Unter Bezugnahme auf Seitenspiegelmontagebaugruppen können die Seitenspiegelbaugruppen kundenspezifisch 3-D-gedruckt werden, sodass die Kameramontageplatte mit der Form des Seitenspiegels übereinstimmt. In einigen Beispielen kann die Kamera(s) in den Seitenspiegel integriert sein. Bei Seitensichtkameras können die Kamera(s) in den vier Säulen an jeder Ecke des Fahrerhauses integriert sein.
Kameras mit einem Sichtfeld, das Abschnitte der Umgebung vor dem Fahrzeug 400 beinhaltet (z. B. nach vorn gerichtete Kameras), für die Rundumsicht verwendet werden, um dabei zu helfen, nach vorn gerichtete Pfade und Hindernisse zu identifizieren, sowie mit der Hilfe einer oder mehrerer Steuerungen 436 und/oder Steuer-SoCs beim Bereitstellen von Informationen zu helfen, die für die Erzeugung eines Belegungsgitters und/oder die Bestimmung der bevorzugten Fahrzeugpfade entscheidend sind. Nach vorn gerichtete Kameras können verwendet werden, um viele der gleichen ADAS-Funktionen wie LiDAR auszuführen, einschließlich, Notbremsung, Fußgängererkennung und Kollisionsvermeidung. Nach vorn gerichtete Kameras können auch für ADAS-Funktionen und -Systeme verwendet werden, einschließlich, Spurverlassenswarnungen (Lane Departure Warning - „LDW“), autonome Geschwindigkeitssteuerung (Autonomous Cruise Control - „ACC“) und/oder andere Funktionen wie Verkehrszeichenerkennung.
Eine Vielfalt an Kameras kann in einer nach vorn gerichteten Konfiguration verwendet werden, einschließlich zum Beispiel einer monokularen Kameraplattform, die einen Farbbildsensor mit CMOS (complementary metal oxide semiconductor - komplementärer Metalloxid-Halbleiter) beinhaltet. Ein weiteres Beispiel kann/können eine Weitsichtkamera(s) 470 sein, die verwendet werden kann/können, um Objekte wahrzunehmen, die aus der Peripherie ins Blickfeld kommen (z. B. Fußgänger, kreuzender Verkehr oder Fahrräder). Obwohl in 4B nur eine Weitwinkelkamera dargestellt ist, kann eine beliebige Anzahl von Weitwinkelkameras 470 am Fahrzeug 400 vorhanden sein. Zusätzlich können Langstreckenkamera(s) 498 (z. B. ein Weitsichtstereokamerapaar) zur tiefenbasierten Objekterkennung verwendet werden, insbesondere für Objekte, für die noch kein neuronales Netzwerk trainiert wurde. Die Langstreckenkamera(s) 498 können auch zur Objekterkennung und -klassifizierung sowie zur grundlegenden Objektverfolgung verwendet werden.
Eine oder mehrere Stereokameras 468 können auch in einer nach vorne gerichteten Konfiguration beinhaltet sein. Die Stereokamera(s) 468 können eine integrierte Steuereinheit beinhalten, die eine skalierbare Verarbeitungseinheit umfasst, die eine programmierbare Logik (FPGA) und einen Mehrkern-Mikroprozessor mit einer integrierten CAN- oder Ethernet-Schnittstelle auf einem einzelnen Chip bereitstellen kann. Mit einer solchen Einheit kann eine 3-D-Karte der Fahrzeugumgebung erstellt werden, die auch eine Entfernungsschätzung für alle Punkte im Bild beinhaltet. Eine oder mehrere alternative Stereokamera(s) 468 können (einen) kompakte(n) Stereosichtsensor(en) beinhalten, die zwei Kameralinsen (je eine links und rechts) und einen Bildverarbeitungschip beinhalten können, der den Abstand von dem Fahrzeug zu dem Zielobjekt messen und die erzeugten Informationen (z. B. Metadaten) verwenden kann, um autonome Notbrems- und Spurverlassenswarnfunktionen zu aktivieren. Andere Arten von Stereokamera(s) 468 können zusätzlich oder alternativ zu den hierin beschriebenen verwendet werden.
Kameras mit einem Sichtfeld, das Abschnitte der Umgebung seitlich des Fahrzeugs 400 beinhaltet (z. B. Seitensichtkameras), können für die Rundumsicht verwendet werden, wodurch Informationen bereitgestellt werden, die zum Erstellen und Aktualisieren des Belegungsgitters sowie zum Erzeugen von Seitenaufprallkollisionswarnungen verwendet werden. Zum Beispiel können die Umgebungskamera(s) 474 (z. B. vier Umgebungskameras 474, wie in 4B) auf dem Fahrzeug 400 positioniert werden. Die Umgebungskamera(s) 474 kann/können Weitwinkelkamera(s) 470, Fischaugenkamera(s), 360-Grad-Kamera(s) und/oder Ähnliches beinhalten. So können beispielsweise vier Fischaugenkameras an der Vorderseite, am Heck und an den Seiten des Fahrzeugs angebracht werden. In einer alternativen Anordnung kann das Fahrzeug drei Rundumkamera(s) 474 (z. B. links, rechts und hinten) verwenden und kann eine oder mehrere andere Kamera(s) (z. B. eine nach vorn gerichtete Kamera) als eine vierte Rundumsichtkamera nutzen.
Kameras mit einem Sichtfeld, das Abschnitte der Umgebung hinter dem Fahrzeug 400 einschließt (z. B. Rückfahrkameras), können als Einparkhilfe, für die Rundumsicht, Heckkollisionswarnungen und das Erstellen und Aktualisieren des Belegungsgitters verwendet werden. Eine Vielfalt von Kameras kann verwendet werden, einschließlich, aber nicht beschränkt auf, Kameras, die auch als nach vorn gerichtete Kamera(s) geeignet sind (z. B. Langstreckenkameras und/oder Mittelstreckenkamera(s) 498, Stereokamera(s) 468), Infrarotkamera(s) 472 usw.), wie hierin beschrieben.
Kameras mit einem Sichtfeld, das Abschnitte des Innenraums oder der Kabine des Fahrzeugs 400 aufweist, können verwendet werden, um einen oder mehrere Zustände von Fahrern, Passagieren oder Objekten in der Kabine zu überwachen. Es kann jede Art von Kamera verwendet werden, einschließlich, aber nicht beschränkt auf die Kabinenkamera(s) 441, die jede hier beschriebene Art von Kamera sein kann und die an einer beliebigen Stelle am oder im Fahrzeug 400 angeordnet werden kann, die einen Blick auf die Kabine oder das Innere des Fahrzeugs ermöglicht. Die Kabinenkamera(s) 441 kann (können) beispielsweise in oder an einem Abschnitt des Armaturenbretts, des Rückspiegels, der Seitenspiegel, der Sitze oder der Türen des Fahrzeugs 400 angeordnet werden und so ausgerichtet sein, dass sie Bilder von Fahrern, Passagieren oder anderen Objekten oder Abschnitten des Fahrzeugs 400 aufnehmen.
4C ist ein Blockdiagramm einer Beispiel-Systemarchitektur des beispielhaften autonomen Fahrzeugs 400 von 4A, gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Es versteht sich, dass diese und andere hierin beschrieben Anordnungen nur als Beispiele aufgeführt werden. Andere Anordnungen und Elemente (z. B. Maschinen, Schnittstellen, Funktionen, Befehle, Gruppierungen von Funktionen usw.) können zusätzlich oder anstelle der gezeigten verwendet werden, und einige Elemente können ganz weggelassen werden. Ferner sind viele der hierin beschriebenen Elemente funktionale Einheiten, die als diskrete oder verteilte Komponenten oder in Verbindung mit anderen Komponenten und in jeder geeigneten Kombination und Position implementiert werden können. Verschiedene hierin als von Einheiten ausgeführt beschriebene Funktionen können durch Hardware, Firmware und/oder Software ausgeführt werden. Beispielsweise können verschiedene Funktionen durch einen Prozessor ausgeführt werden, der im Speicher gespeicherte Anweisungen ausführt.
Jede der Komponenten, Merkmale und Systeme des Fahrzeugs 400 sind in 4C so dargestellt, dass sie über den Bus 402 verbunden sind. Der Bus 402 kann eine Controller Area Network (CAN)-Datenschnittstelle beinhalten (hier alternativ als „CAN-Bus“ bezeichnet). Ein CAN kann ein Netzwerk innerhalb des Fahrzeugs 400 sein, das zur Unterstützung der Steuerung verschiedener Merkmale und Funktionen des Fahrzeugs 400 verwendet wird, wie z. B. Betätigung der Bremsen, Beschleunigung, Bremsen, Lenkung, Scheibenwischer usw. Ein CAN-Bus kann so konfiguriert sein, dass er Dutzende oder sogar Hunderte von Knoten aufweist, jeder mit seiner eigenen eindeutigen Kennung (z. B. eine CAN-ID). Der CAN-Bus kann ausgelesen werden, um den Lenkradwinkel, Grundgeschwindigkeit, die Umdrehungen des Motors pro Minute (revolutions per minute - RPMs), Tastenpositionen und/oder andere Fahrzeugstatusindikatoren zu ermitteln. Der CAN-Bus kann ASIL B-konform sein.
Obwohl der Bus 402 hier als CAN-Bus beschrieben wird, ist dies nicht als Einschränkung zu verstehen. Zum Beispiel können zusätzlich zu oder alternativ zu dem CAN-Bus auch FlexRay und/oder Ethernet verwendet werden. Obwohl der Bus 402 mit einer einzigen Linie dargestellt wird, ist dies nicht als Einschränkung zu verstehen. Zum Beispiel kann eine beliebige Anzahl von Bussen 402 vorhanden sein, die einen oder mehr CAN-Busse, einen oder mehr FlexRay-Busse, einen oder mehr Ethernet-Busse und/oder einen oder mehr andere Arten von Bussen mit einem anderen Protokoll beinhalten können. In einigen Beispiel können zwei oder mehr Busse 402 verwendet werden, um unterschiedliche Funktionen auszuführen, und/oder können sie zur Redundanz verwendet werden. Zum Beispiel kann ein erster Bus 402 für die Kollisionsvermeidungsfunktionalität verwendet werden und kann ein zweiter Bus 402 für die Antriebssteuerung verwendet werden. In jedem Beispiel kann jeder Bus 402 mit beliebigen Komponenten des Fahrzeugs 400 kommunizieren und können zwei oder mehr Busse 402 mit denselben Komponenten kommunizieren. In einigen Beispielen können jedes SoC 404, jede Steuerung 436 und/oder jeder Computer im Fahrzeug Zugriff auf dieselben Eingabedaten (z. B. Eingaben von Sensoren des Fahrzeugs 400) haben und mit einem gemeinsamen Bus, wie z. B. dem CAN-Bus, verbunden sein.
Das Fahrzeug 400 kann eine oder mehrere Steuerung(en) 436 beinhalten, wie etwa diejenigen, die hierin in Bezug auf 4A. Die Steuerung(en) 436 können für eine Vielfalt von Funktionen verwendet werden. Die Steuerung(en) 436 können mit beliebigen der verschiedenen anderen Komponenten und Systemen des Fahrzeugs 400 gekoppelt sein und können sie zur Steuerung des Fahrzeugs 400, der künstlichen Intelligenz des Fahrzeugs 400, des Infotainment für das Fahrzeug 400 und/oder dergleichen verwendet werden.
Das Fahrzeug 400 kann ein System (oder mehrere Systeme) auf einem Chip (SoC) 404 beinhalten. Das SoC 404 kann CPU(s) 406, GPU(s) 408, Prozessor(en) 410, Cache(s) 412, Beschleuniger 414, Datenspeicher 416 und/oder andere nicht dargestellte Komponenten und Funktionen beinalten. Das/die SoC(s) 404 können zur Steuerung des Fahrzeugs 400 in einer Vielfalt von Plattformen und Systemen verwendet werden. Beispielsweise können die SoC(s) 404 in einem System (z. B. dem System des Fahrzeugs 400) mit einer HD-Karte 422 kombiniert werden, die über eine Netzwerkschnittstelle 424 von einem oder mehreren Servern (z. B. dem/den Server(n) 478 von 4D) Aktualisierungen der Karte erhalten kann.
Die CPU(s) 406 können einen CPU-Cluster oder CPU-Komplex (hierin alternativ als „CCPLEX“ bezeichnet) beinhalten. Die CPU(s) 406 können mehrere Kerne und/oder L2-Caches beinhalten. Zum Beispiel können in einigen Ausführungsformen die CPU(s) 406 acht Kerne in einer kohärenten Mehrprozessorkonfiguration beinhalten. In einigen Ausführungsform können die CPU(s) 406 vier Doppelkerncluster beinhalten, wobei jeder Cluster über einen dedizierten L2-Cache verfügt (z. B. einen L2-Cache mit 2 MB). Die CPU(s) 406 (z. B. CCPLEX) können so konfiguriert sein, dass sie den simultanen Clusterbetrieb unterstützen, sodass eine beliebige Kombination von den Clustern von den CPU(s) 406 zu einem beliebigen gegebenen Zeitpunkt aktiv sein kann.
Die CPU(s) 406 können Leistungsverwaltungsfähigkeiten implementieren, die eines oder mehrere der folgenden Merkmale beinhalten: einzelne Hardwareblöcke können automatisch taktgesteuert werden, wenn sie inaktiv sind, um dynamische Leistung zu sparen; jeder Kerntakt kann gesteuert werden, wenn der Kern aufgrund der Ausführung von WFI-/WFE-Anweisungen keine Anweisungen aktiv ausführt; jeder Kern kann unabhängig leistungsgesteuert sein; jeder Kerncluster kann unabhängig taktgesteuert sein, wenn alle Kerne taktgesteuert oder leistungsgesteuert sind; und/oder jeder Kerncluster kann unabhängig leistungsgesteuert sein, wenn alle Kerne leistungsgesteuert sind. Die CPU(s) 406 können ferner einen erweiterten Algorithmus zur Verwaltung von Leistungsstatus implementieren, bei dem zulässige Leistungsstatus und erwartete Aufwachzeiten spezifiziert werden und die Hardware/der Mikrocode den besten Leistungsstatus bestimmt, in den für den Kern, Cluster und CCPLEX einzutreten ist. Die Verarbeitungskerne können vereinfachte Leistungsstatus-Eintragssequenzen in der Software unterstützen, wobei die Arbeit in den Mikrocode ausgelagert wird.
Die GPU(s) 408 können eine integrierte GPU (hierin alternativ als „iGPU“ bezeichnet) beinhalten. Die GPU(s) 408 können programmierbar sein und für parallele Arbeitslasten effizient sein. Die GPU(s) 408 können in einigen Beispielen einen erweiterten Tensor-Anweisungssatz verwenden. Die GPU(s) 408 einen oder mehrere Streaming-Mikroprozessoren beinhalten, wobei jeder Streaming-Mikroprozessor einen L1-Cache beinhalten kann (z. B. einen L1-Cache mit einer Speicherkapazität von mindestens 96 KB), und zwei oder mehr der Streaming-Mikroprozessoren können einen L2-Cache gemeinsam nutzen (z. B. einen L2-Cache mit einer Speicherkapazität von 412 KB). In einigen Ausführungsformen können die GPU(s) 408 mindestens acht Streaming-Mikroprozessoren beinhalten. Die GPU(s) 408 können (eine) Berechnungs-Anwendungsprogrammierschnittstelle(n) (API(s)) verwenden. Zusätzlich können die GPU(s) 408 eine oder mehrere Parallelrechenplattformen und/oder Programmiermodelle (z. B. CUDA von NVIDIA) verwenden.
Die GPU(s) 408 können für die beste Rechenleistung in Automobil- und eingebetteten Anwendungsfällen leistungsoptimiert sein. Die GPU(s) 408 können zum Beispiel auf einem Fin-Feldeffekttransistor (FinFET) gefertigt sein. Dies ist jedoch nicht als Einschränkung zu verstehen, und die GPU(s) 408 können auch mit anderen Halbleiterfertigungsverfahren hergestellt werden. Jeder Streaming-Mikroprozessor kann eine Anzahl von Verarbeitungskernen mit gemischter Genauigkeit beinhalten, die in mehrere Blöcke partitioniert sind. Zum Beispiel, und ohne Einschränkung, könnten 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke partitioniert sein. In solch einem Beispiel könnten jedem Verarbeitungsblock 16 FP32-Kerne, 8 FP64-Kerne, 16 INT32-Kerne, zwei NVIDIA TENSOR COREs mit gemischter Genauigkeit für Deep-Learning-Matrixarithmetik, ein L0" Anweisungs-Cache, ein Warp-Planer, eine Verteilungseinheit und/oder eine Registerdatei mit 64 KB zugewiesen sein. Zusätzlich können Streaming-Mikroprozessoren unabhängige parallele Integer- und Fließkomma-Datenpfade beinhalten, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Berechnung und Adressierungsberechnungen zu ermöglichen. Die Streaming-Mikroprozessoren können eine unabhängige Thread-Planungsfunktion beinhalten, um eine feinkörnigere Synchronisation und Kooperation zwischen parallelen Threads zu ermöglichen. Die Streaming-Mikroprozessoren können eine Einheit aus kombiniertem L1-Daten-Cache und gemeinsam genutztem Speicher beinhalten, um die Performance zu verbessern, während die Programmierung vereinfacht wird.
Die GPU(s) 408 können einen Speicher mit hoher Bandbreite (high bandwidth memory - HBM) und/oder ein 16-GB-HBM2-Speicherteilsystem beinhalten, um in einigen Beispielen eine Spitzenspeicherbandbreite von etwa 900 GB/Sekunde bereitzustellen. In einigen Beispiel kann zusätzlich oder alternativ zum HBM-Speicher ein synchroner Grafik-Direktzugriffsspeicher („SGRAM“) verwendet werden, z. B. ein synchroner Grafik-Double-Data-Rate-Typ-Fünf-Direktzugriffsspeicher („GDDR5“).
Die GPU(s) 408 kann/können eine einheitliche Speichertechnologie mit Zugriffszählern beinhalten , die eine genauere Zuweisung von Speicherseiten an den Prozessor ermöglicht, der am häufigsten darauf zugreift, und so die Effizienz von Speicherbereichen verbessert, die von mehreren Prozessoren gemeinsam genutzt werden. In einigen Beispielen kann die Unterstützung von Adressübersetzungsdiensten (address translation services - ATS) verwendet werden, um zu ermöglichen, dass die GPU(s) 408 direkt auf die Seitentabellen von CPU(s) 406 zugreifen. In derartigen Beispielen, wenn die Speicherverwaltungseinheit (MMU) der GPU(s) 408 eine Auslassung erleidet, kann eine Adressübersetzungsanforderung an die CPU(s) 406 übertragen werden. Als Reaktion darauf können die CPU(s) 406 iin ihren Seitentabellen nach einer Virtuell-zu-Physisch-Zuordnung für die Adresse suchen und die Übersetzung zurück an die GPU(s) 408 übertragen. Daher kann die einheitliche Speichertechnologie einen einzelnen einheitlichen virtuellen Adressraum für den Speicher sowohl der CPU(s) 406 als auch der GPU(s) 408 ermöglichen, wodurch die Programmierung der GPU(s) 408 und die Portierung von Anwendungen auf die GPU(s) 408 vereinfacht werden.
Zusätzlich können die GPU(s) 408 einen Zugriffszähler beinhalten, der die Häufigkeit des Zugriffs der GPU(s) 408 auf Speicher anderer Prozessoren nachverfolgen können. Der Zugriffszähler kann dazu beitragen, dass Speicherseiten in den physischen Speicher des Prozessors verschoben werden, der am häufigsten auf die Seiten zugreift.
Die SoC(s) 404 können eine beliebige Anzahl von Cache(s) 412 beinhalten, einschließlich der hierin beschriebenen. Der/die Cache(s) 412 kann/können beispielsweise einen L3-Cache beinhalten, der sowohl der/den CPU(s) 406 als auch der/den GPU(s) 408 zur Verfügung steht (z. B. der sowohl mit der/den CPU(s) 406 als auch mit der/den GPU(s) 408 verbunden ist). Der/die Cache(s) 412 können einen Rückschreib-Cache beinhalten, der die Status von Zeilen verfolgen kann, wie z. B. durch die Verwendung eines Cache-Kohärenzprotokolls (z. B. MEI, MESI, MSI usw.). Der L3-Cache kann in Abhängigkeit von der Ausführungsform 4 MB oder mehr beinhalten, obwohl auch kleinere Cache-Größen verwendet werden können.
Der/die SoC(s) 404 kann/können eine arithmetische Logikeinheit(en) (ALU(s)) beinhalten, die bei der Durchführung von Verarbeitungen in Bezug auf eine der vielen Aufgaben oder Operationen des Fahrzeugs 400 - wie z. B. der Verarbeitung von DNNs - genutzt werden kann. Darüber hinaus können die SoC(s) 404 eine oder mehrere Gleitkommaeinheiten (floating point units - FPU(s)) - oder andere mathematische Coprozessoren oder numerische Coprozessoren - zur Durchführung mathematischer Operationen innerhalb des Systems beinhalten.
Zum Beispiel können die SoC(s) 104 eine oder mehrere FPUs beinhalten, die als Ausführungseinheiten in einer oder mehreren CPU(s) 406 und/oder GPU(s) 408 integriert sind.
Die SoC(s) 404 können einen oder mehrere Beschleuniger 414 beinhalten (z. B. Hardware-Beschleuniger, Software-Beschleuniger oder eine Kombination davon). Zum Beispiel können das/die SoC(s) 404 einen Hardware-Beschleunigungscluster beinhalten, der optimierte Hardware-Beschleuniger und/oder einen großen chipinternen Speicher beinhalten kann. Der große chipinterne Speicher (z. B. 4 MB SRAM) kann den Hardware-Beschleunigungscluster zum Beschleunigen neuronaler Netze und anderer Berechnungen ermöglichen. Der Hardware-Beschleunigungscluster kann verwendet werden, um die GPU(s) 408 zu ergänzen und einige Tasks der GPU(s) 408 auszulagern (um z. B. mehr Zyklen der GPU(s) 408 für die Durchführung anderer Tasks freizumachen). Als Beispiel können der/die Beschleuniger 414 für zielgerichtete Arbeitslasten (z. B. Wahrnehmung, neuronale Faltungsnetzwerke (CNNs usw.) verwendet werden, die stabil genug sind, um für eine Beschleunigung geeignet zu sein. Der Begriff „CNN“, wie er hier verwendet wird, kann alle Arten von CNNs umfassen, einschließlich regionenbasierter oder regionaler neuronaler Faltungsnetzwerke (RCNNs) und Fast RCNNs (z. B. für die Objekterkennung).
Der/die Beschleuniger 414 können (z. B. Hardware-Beschleunigungscluster) (einen) Deep-Learning-Beschleuniger (deep learning accelerator(s) - DLA(s)) beinhalten. Die DLA(s) können eine oder mehrere Tensor-Verarbeitungseinheiten (TPU(s)) beinhalten, die so konfiguriert sein können, dass sie zusätzliche zehn Billionen Vorgänge pro Sekunde für Deep-Learning-Anwendungen und -Ableitung bereitstellen. Die TPUs können Beschleuniger sein, die zum Durchführen von Bildverarbeitungsfunktionen (z. B. für CNNs, RCNNs usw.) konfiguriert und optimiert sind. Die DLA(s) können ferner für einen spezifischen Satz von Arten von neuronalen Netzwerken und Fließkommavorgängen sowie für die Ableitung optimiert sein. Das Design der DLA(s) kann mehr Performance pro Millimeter bereitstellen als eine typische Universal-GPU und übertrifft die Performance einer CPU bei weitem. Die TPU(s) können mehrere Funktionen durchführen, einschließlich einer Einzelinstanz-Faltungsfunktion, die z. B. INT8-, INT16- und FP16-Datenarten sowohl für Merkmale als auch für Gewichtungen unterstützt, sowie Postprozessorfunktionen.
Die DLA(s) können neuronale Netzwerke, insbesondere CNNs, an verarbeiteten oder unverarbeiteten Daten für eine Vielfalt von Funktionen schnell und effizient ausführen, darunter zum Beispiel und ohne Einschränkung: ein CNN für die Identifizierung und Erkennung von Objekten unter Verwendung von Daten von Kamerasensoren; ein CNN für die Abstandsschätzung unter Verwendung von Daten von Kamerasensoren; ein CNN für die Erkennung und Identifizierung und Erkennung von Einsatzfahrzeugen unter Verwendung von Daten von Mikrofonen; ein CNN für die Gesichtserkennung und Identifizierung von Fahrzeugbesitzern unter Verwendung von Daten von Kamerasensoren; und/oder ein CNN für sicherheitsrelevante Ereignisse.
Die DLA(s) können eine beliebige Funktion der GPU(s) 408 durchführen und durch Verwenden eines Inferenzbeschleunigers kann ein Designer zum Beispiel entweder die DLA(s) oder die GPU(s) 408 für eine beliebige Funktion anvisieren. Der Designer kann beispielsweise die Verarbeitung von CNNs und Fließkommavorgängen auf die DLA(s) konzentrieren und andere Funktionen der/den GPU(s) 408 und/oder anderen Beschleuniger(n) 414 überlassen.
Der/die Beschleuniger 414 (z. B. der Hardware-Beschleunigungscluster) können (einen) programmierbare(n) Sichtbeschleuniger (programmable vision accelerator - „PVA“) beinhalten, der hierin alternativ als ein Beschleuniger für maschinelles Sehen bezeichnet werden kann. Die PVA(s) können zur Beschleunigung von Algorithmen des maschinellen Sehens für weiterentwickelte Fahrerassistenzsysteme (ADAS), autonomes Fahren und/oder Augmented-Reality (AR)-Anwendungen und/oder Virtual-Reality (VR)-Anwendungen konstruiert und konfiguriert sein. Die PVA(s) können ein Gleichgewicht zwischen Performance und Flexibilität bereitstellen. Beispielswiese können alle PVA(s) und ohne Einschränkung eine beliebige Anzahl von Reduced-Instruction-Set-Computer (RISC)-Kerne, direkten Speicherzugriff (direct memory access - DMA) und/oder eine beliebige Anzahl von Vektorprozessoren beinhalten.
Die RISC-Kerne können mit Bildsensoren (z. B. den Bildsensoren einer beliebigen der hierin beschriebenen Kameras), Bildsignalprozessor(en) und/oder dergleichen interagieren. Jeder der RISC-Kerne kann eine beliebige Menge an Speicher beinhalten. Die RISC-Kerne können in Abhängigkeit von der Ausführungsform ein beliebiges von einer Anzahl von Protokollen verwenden. In einigen Beispielen können die RISC-Kerne ein Echtzeitbetriebssystem (real-time operating system - RTOS) ausführen. Die RISC-Kerne können unter Verwendung einer oder mehrerer Vorrichtungen für integrierte Schaltungen, anwendungsspezifischer integrierter Schaltungen (ASICs) und/oder Speichervorrichtungen implementiert sein. Die RISC-Kerne können beispielsweise einen Anweisungs-Cache und/oder einen eng gekoppelten RAM beinhalten.
Der DMA kann es den Komponenten des/der PVA(s) ermöglichen, unabhängig von der/den CPU(s) 406 auf den Systemspeicher zuzugreifen. Der DMA kann eine beliebige Anzahl von Merkmalen unterstützen, die zum Bereitstellen der Optimierung des PVA verwendet werden, einschließlich der Unterstützung von mehrdimensionaler Adressierung und/oder zirkulärer Adressierung, ohne darauf beschränkt zu sein. In einigen Beispiel kann der DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, die Blockbreite, Blockhöhe, Blocktiefe, horizontale Blockabstufung, vertikale Blockabstufung und/oder Tiefenabstufung beinhalten können.
Die Vektorprozessoren können programmierbare Prozessoren sein, die so ausgestaltet sein können, dass sie die Programmierung für Algorithmen des maschinellen Sehens effizient und flexibel ausführen und Signalverarbeitungsfähigkeiten bereitstellen. In einigen Beispielen kann der PVA einen PVA-Kern und zwei Vektorverarbeitungsteilsystempartitionen beinhalten. Der PVA-Kern kann ein Prozessorteilsystem, DMA-Engine(s) (z. B. zwei DMA-Engines) und/oder andere Peripheriegeräte beinhalten. Das Vektorverarbeitungsteilsystem kann als primäre Verarbeitungs-Engine des PVA arbeiten und kann eine Vektorverarbeitungseinheit (vector processing unit - VPU), einen Anweisungs-Cache und/oder einen Vektorspeicher (z. B. VMEM) beinhalten. Ein VPU-Kern kann einen digitalen Signalprozessor beinhalten, wie zum Beispiel einen digitalen Single-Instruction-Multiple-Data-(SIMD-)Very-Long-Instruction-Word-(VLIW-)Signalprozessor. Die Kombination von SIMD und VLIW kann den Durchsatz und die Geschwindigkeit erhöhen.
Jeder der Vektorprozessoren kann einen Anweisungs-Cache beinhalten und an dedizierten Speicher gekoppelt sein. Daher kann in einigen Beispielen jeder der Vektorprozessoren so konfiguriert sein, dass er unabhängig von den anderen Vektorprozessoren ausgeführt wird. In anderen Beispielen können Vektorprozessoren, die in einem konkreten PVA enthalten sind, so konfiguriert sein, dass sie Datenparallelität einsetzen. Zum Beispiel kann in einigen Ausführungsformen die Vielzahl von Vektorprozessoren, die in einem einzelnen PVA enthalten ist, denselben Algorithmus des maschinellen Sehens ausführen, jedoch an unterschiedlichen Regionen eines Bildes. In anderen Beispielen können die in einem konkreten PVA enthaltenen Vektorprozessoren simultan unterschiedliche Algorithmen des maschinellen Sehens an demselben Bild ausführen oder sogar unterschiedliche Algorithmen an sequentiellen Bildern oder Abschnitten eines Bildes ausführen. Unter anderem eine beliebige Anzahl von PVAs in dem Hardware-Beschleunigungscluster enthalten sein und kann eine beliebige Anzahl von Vektorprozessoren in jedem der PVAs enthalten sein. Zusätzlich können der/die PVA(s) einen zusätzlichen Fehlerkorrekturcode (ECC)-Speicher beinhalten, um die Gesamtsystemsicherheit zu erhöhen.
Der/die Beschleuniger 414 (z. B. der Hardware-Beschleunigungscluster) können ein Netzwerk auf dem Chip für maschinelles Sehen und einen SRAM beinhalten, um einen SRAM mit hoher Bandbreite und niedriger Latenz für den/die Beschleuniger 414 bereitzustellen. In einigen Beispielen kann der chipinterne Speicher mindestens 4 MB SRAM beinhalten, der z. B. und ohne Einschränkung aus acht feldkonfigurierbaren Speicherblöcken besteht, auf die sowohl der PVA als auch der DLA zugreifen können. Jedes Paar von Speicherblöcken kann eine weiterentwickelte Peripheriebus (advanced peripheral bus - APB)-Schnittstelle, eine Konfigurationsschaltung, eine Steuerung und einen Multiplexer beinhalten. Es kann jede Art von Speicher verwendet werden. Der PVA und DLA können auf den Speicher über einen Backbone zugreifen, der dem PVA und DLA einen Hochgeschwindigkeitszugriff auf den Speicher bereitstellt. Der Backbone kann ein Netzwerk auf dem Chip für maschinelles Sehen beinhalten, das den PVA und DLA mit dem Speicher verbindet (z. B. unter Verwendung von dem APB).
Das Netzwerk kann auf dem Chip für maschinelles Sehen eine Schnittstelle beinhalten, die vor der Übertragung eines beliebigen Steuersignals/einer beliebigen Adresse/ beliebiger Daten bestimmt, dass sowohl der PVA als auch der DLA einsatzbereite und gültige Signale bereitstellen. Eine derartige Schnittstelle kann separate Phasen und separate Kanäle für die Übertragung von Steuersignalen/Adressen/Daten sowie eine Burst-artige Kommunikation für eine kontinuierliche Datenübertragung bereitstellen. Diese Art von Schnittstelle kann den Normen ISO 26262 oder IEC 61508 entsprechen, obwohl auch andere Normen und Protokolle verwendet werden können.
In einigen Beispielen können die SoC(s) 404 einen Echtzeit-Raytracing-Hardware-Beschleuniger enthalten, wie er in der US-Patentanmeldung Nr. 16/101,232 , eingereicht am 10. August 2018, beschrieben ist. Der Echtzeitstrahlverfolgungs-Hardware-Beschleuniger kann verwendet werden, um schnell und effizient die Positionen und Ausdehnungen von Objekten (z. B. innerhalb eines Weltmodells) zu bestimmen, um Echtzeitvisualisierungssimulationen zu erzeugen, für die RADAR-Signalinterpretation, für die Schallausbreitungssynthese und/oder -analyse, für die Simulation von SONAR-Systemen, für die allgemeine Wellenausbreitungssimulation, für den Vergleich mit LiDAR-Daten zum Zwecke der Lokalisierung und/oder für andere Funktionen und/oder für andere Anwendungen. In einigen Ausführungsformen können eine oder mehrere Tree Traversal Units (TTUs) für die Ausführung einer oder mehrerer Raytracingbezogener Operationen verwendet werden.
Der/die Beschleuniger 414 (z. B. der Hardware-Beschleunigercluster) weisen ein breites Spektrum von Verwendungen für das autonome Fahren auf. Der PVA kann ein programmierbarer Sichtbeschleuniger sein, der für wichtige Verarbeitungsstufen im ADAS und in autonomen Fahrzeugen verwendet werden kann. Die Fähigkeiten des PVA sind eine gute Ergänzung für algorithmische Domänen, die eine vorhersagbare Verarbeitung bei niedriger Leistung und niedriger Latenz benötigen. Anders ausgedrückt zeigt der PVA eine gute Performance für halbdichte oder dichte reguläre Berechnungen, auch an kleinen Datensätzen, die vorhersagbare Laufzeiten mit niedriger Latenz und niedriger Leistung benötigen. Folglich sind die PVAs im Zusammenhang mit Plattformen für autonome Fahrzeuge für die Ausführung klassischer Algorithmen für maschinelles Sehen konstruiert, da diese effizient bei der Objekterkennung sind und mit Integer-Mathematik arbeiten.
Zum Beispiel wird gemäß einer Ausführungsform der Technologie der PVA verwendet, um maschinelles Stereo-Sehen durchzuführen. Ein auf semiglobalem Abgleich basierender Algorithmus kann verwendet werden, obwohl dies nicht als Einschränkung auszulegen ist. Viele Anwendungen für das autonome Fahren auf Level 3-5 erfordern Bewegungsschätzung/ Stereo-Abgleich spontan (z. B. Struktur aus Bewegung, Fußgängererkennung, Fahrspurerkennung usw.). Der PVA kann eine Funktion des maschinellen Stereo-Sehens an Eingaben von zwei monokularen Kameras durchführen.
In einigen Beispielen kann der PVA verwendet werden, um einen dichten optischen Fluss durchzuführen. Der PVA kann beispielsweise eingesetzt werden, um RADAR-Rohdaten (z. B. mit einer 4D-Fast-Fourier-Transformation) zu verarbeiten, um ein verarbeitetes RADAR-Signal bereitzustellen, bevor der nächste RADAR-Puls emittiert wird. In anderen Beispielen wird der PVA für die Laufzeit-Tiefenverarbeitung verwendet, indem z. B. Laufzeit-Rohdaten verarbeitet werden, um verarbeitete Laufzeitdaten bereitzustellen.
Der DLA kann verwendet werden, um eine beliebige Art von Netzwerk auszuführen, um die Steuerung und Fahrsicherheit zu verbessern, einschließlich zum Beispiel ein neuronales Netzwerk, das ein Maß an Konfidenz für jede Objekterkennung ausgibt. Ein derartigre Konfidenzwert kann als eine Wahrscheinlichkeit interpretiert werden oder als Bereitstellung einer relativen „Gewichtung“ jeder Erkennung im Vergleich zu anderen Erkennungen. Der Konfidenzwert ermöglicht es dem System, weitere Entscheidungen darüber zu treffen, welche Erkennungen als richtig positive Erkennungen und nicht als falsch positive Erkennungen betrachtet werden sollten. Zum Beispiel kann das System einen Schwellenwert für die Konfidenz festlegen und nur Erkennungen, die den Schwellenwert überschreiten, als richtig positive Erkennungen betrachten. In einem automatischen Notbrems (automatic emergency braking - AEB)-System würden falsch positive Erkennungen dazu führen, dass das Fahrzeug automatisch eine Notbremsung durchführt, was natürlich unerwünscht ist. Daher sollten nur die sichersten Entdeckungen als Auslöser für AEB in Betracht gezogen werden. Der DLA kann ein neuronales Netzwerk zur Regression des Konfidenzwerts ausführen. Das neuronale Netzwerk kann als seine Eingabe mindestens eine Teilmenge von Parametern verwenden, wie z. B. die Abmessungen des Begrenzungsrahmens, die (z. B. von einem anderen Teilsystem) erhaltene Bodenebenenschätzung, die Ausgabe von Inertial Measurement Unit (IMU)-Sensor 466, die mit der Ausrichtung des Fahrzeugs 400 korreliert, den Abstand, die 3D-Positionsschätzungen des Objekts, die vom neuronalen Netzwerk und/oder anderen Sensoren (z. B. LiDAR-Sensor(en) 464 oder RADAR-Sensor(en) 460) erhalten werden, usw.
Der/die SoC(s) 404 kann/können Datenspeicher 416 (z. B. Speicher) enthalten. Bei den Datenspeicher(n) 416 kann es sich um den chipinternen Speicher der SoC(s) 404 handeln, der neuronale Netze speichern kann, die auf den GPU(s) und/oder dem DLA ausgeführt werden sollen. In einigen Beispiel kann die Kapazität des/der Datenspeicher(s) 416 groß genug sein, um mehrere Instanzen von neuronalen Netzwerken zur Redundanz und Sicherheit zu speichern. Der/die Datenspeicher 412 können L2 oder L3 Cache(s) 412 umfassen. Der Verweis auf den/die Datenspeicher 416 kann einen Verweis auf den Speicher beinhalten, der dem PVA, DLA und/oder anderen Beschleunigern 414 zugeordnet ist, wie hier beschrieben.
Der/die SoC(s) 404 kann/können einen oder mehrere Prozessor(en) 410 (z. B. eingebettete Prozessoren) enthalten. Der/die Prozessor(en) 410 können einen Booting- und Leistungsverwaltungsprozessor beinhalten, der ein dedizierter Prozessor und ein Teilsystem sein kann, um die Booting-Leistungs- und - verwaltungsfunktionen und die damit verbundene Sicherheitsdurchsetzung zu handhaben. Der Booting- und Leistungsverwaltungsprozessor kann ein Teil der Booting-Sequenz des/der SoC(s) 404 sein und Laufzeit-Leistungsverwaltungsdienste bereitstellen. Der Booting-Leistungs- und - verwaltungsprozessor kann Takt- und Spannungsprogrammierung, Unterstützung bei Übergängen des Systems in einen Status mit niedriger Leistung, Verwaltung von Thermik und Temperatursensoren des/der SoC(s) 404 und/oder Verwaltung von Leistungsstatus des/der SoC(s) 404 bereitstellen. Jeder Temperatursensor kann als Ringoszillator implementiert sein, dessen Ausgangsfrequenz proportional zur Temperatur ist, und können das/die SoC(s) 404 Ringoszillatoren verwenden, um Temperaturen von den CPU(s) 406, GPU(s) 408 und/oder Beschleuniger(n) 414 zu erkennen. Wenn bestimmt wird, dass Temperaturen einen Schwellenwert überschreiten, kann der Booting- und Leistungsverwaltungsprozessor dann in eine Temperaturfehlerroutine eintreten und den/die SoC(s) 404 in einen Status mit niedrigerer Leistung versetzen und/oder das Fahrzeug 400 in einen Modus des Chauffierens zu einem sicheren Halt versetzen (z. B. das Fahrzeug 400 zu einem sicheren Halt bringen).
Der/die Prozessor(en) 410 können ferner einen Satz von eingebetteten Prozessoren beinhalten, die als eine Audioverarbeitungs-Engine dienen können. Die Audioverarbeitungs-Engine kann ein Audioteilsystem sein, das eine vollständige Hardware-Unterstützung für Mehrkanal-Audio über mehrere Schnittstellen sowie eine breite und flexible Palette von Audio-I/O-Schnittstellen ermöglicht. In einigen Beispielen ist die Audioverarbeitungs-Engine ein dedizierter Prozessorkern mit einem digitalen Signalprozessor mit dediziertem RAM.
Der/die Prozessor(en) 410 können ferner eine stets eingeschaltete Prozessor-Engine beinhalten, welche die notwendigen Hardware-Merkmale zur Unterstützung der Sensorverwaltung mit niedriger Leistung und der Aufwach-Anwendungsfälle bereitstellen kann. Die stets eingeschaltete Prozessor-Engine kann einen Prozessorkern, einen eng gekoppelten RAM, unterstützende Peripheriegeräte (z. B. Timer und Unterbrechungssteuerungen), verschiedene I/O-Steuerungsperipheriegeräte und Routing-Logik beinhalten.
Die Prozessor(en) 410 können ferner eine Sicherheitscluster-Engine beinhalten, die ein dediziertes Prozessorteilsystem zum Handhaben der Sicherheitsverwaltung für Automobilanwendungen beinhaltet. Die Sicherheitscluster-Engine kann zwei oder mehr Prozessorkerne, einen eng gekoppelten RAM, unterstützende Peripheriegeräte (z. B. Timer, eine Unterbrechungssteuerung usw.) und/oder Routing-Logik beinhalten. In einem Sicherheitsmodus können die zwei oder mehr Kerne in einem Gleichschrittmodus arbeiten und als ein einzelner Kern mit einer Vergleichslogik funktionieren, um beliebige Unterschiede zwischen ihren Vorgängen zu erkennen.
Der/die Prozessor(en) 410 können ferner eine Echtzeitkamera-Engine beinhalten, die ein dediziertes Prozessorteilsystem zur Handhabung der Echtzeitkameraverwaltung beinhalten kann.
Der/die Prozessor(en) 410 können ferner einen Signalprozessor mit hohem Dynamikbereich beinhalten, der einen Bildsignalprozessor beinhalten kann, der eine Hardware-Engine ist, die Teil einer Kameraverarbeitungspipeline ist.
Die Prozessor(en) 410 können einen Videobildkompositor beinhalten, der ein Verarbeitungsblock sein kann (z. B. auf einem Mikroprozessor implementiert), der Videonachverarbeitungsfunktionen implementiert, die durch eine Videowiedergabeanwendung benötigt werden, um das endgültige Bild für das Fenster des Wiedergabeprogramms zu erzeugen. Der Videobildkompositor kann eine Linsenverzerrungskorrektur an der/den Weitsichtkamera(s) 470, der/den Rundumkamera(s) 474 und/oder an den kabineninternen Überwachungskamerasensoren durchführen. Der kabineninterne Überwachungskamerasensor wird vorzugsweise von einem neuronalen Netzwerk überwacht, das auf einer anderen Instanz des Advanced SoC läuft und so konfiguriert ist, dass es Ereignisse in der Kabine erkennt und entsprechend reagiert. Ein kabineninternes System kann Lippenlesen durchführen, um den Mobilfunkdienst zu aktivieren und einen Anruf zu tätigen, E-Mails zu diktieren, ein Ziel des Fahrzeugs zu ändern, ein Infotainmentsystem des Fahrzeugs und dessen Einstellungen zu aktivieren oder zu ändern oder sprachaktiviertes Surfen im Internet bereitzustellen. Dem Fahrer stehen bestimmte Funktionen nur zur Verfügung, wenn das Fahrzeug in einem autonomen Modus betrieben wird, und sind ansonsten deaktiviert.
Der Videobildkompositor kann eine erweiterte zeitliche Rauschunterdrückung sowohl für die räumliche als auch für die zeitliche Rauschunterdrückung beinhalten. Wenn, zum Beispiel Bewegung in einem Video vorkommt, gewichtet die Rauschunterdrückung die räumlichen Informationen entsprechend, indem sie die Gewichtung der Informationen, die von benachbarten Frames bereitgestellt werden, verringert. Wenn ein Bild oder ein Abschnitt eines Bildes keine Bewegung beinhaltet, kann die durch den Videobildkompositor durchgeführte zeitliche Rauschunterdrückung Informationen aus einem vorherigen Bild verwenden, um das Rauschen in einem derzeitigen Bild zu unterdrücken.
Der Videobildkompositor kann auch so konfiguriert sein, dass er eine Stereoentzerrung an den eingegebenen Stereolinsen-Frames durchführt. Der Videobildkompositor kann ferner für die Benutzerschnittstellenzusammensetzung verwendet werden, wenn der Desktop des Betriebssystems in Gebrauch ist und die GPU(s) 408 nicht zum kontinuierlichen Rendern neuer Oberflächen benötigt werden. Sogar wenn die GPU(s) 408 eingeschaltet sind und aktiv 3D-Rendering durchführen, kann der Videobildkompositor verwendet werden, um die GPU(s) 408 zu entlasten, um die Performance und Reaktionsfähigkeit zu verbessern.
Das/die SoC(s) 404 können ferner eine serielle Mobile-Industry-Processor-Interface (MIPI)-Kameraschnittstelle zum Empfangen von Videos und Eingaben von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingabeblock beinhalten, der für Kamera- und zugehörige Pixeleingabefunktionen verwendet werden kann. Das/die SoC(s) 404 können ferner (eine) Eingabe/Ausgabe-Steuerung(en) beinhalten, die durch Software gesteuert werden können und für den Empfang von I/O-Signalen verwendet werden können, die keiner bestimmten Rolle zugewiesen sind. Das/die SoC(s) 404 können ferner eine breite Palette von Peripherieschnittstellen beinhalten, um die Kommunikation mit Peripheriegeräten, Audio-Codecs, Leistungsverwaltungs- und/oder anderen Vorrichtungen zu ermöglichen. Das/die SoC(s) 404 kann/können verwendet werden, um Daten von Kameras (z. B. verbunden über Gigabit Multimedia Serial Link und Ethernet), Sensoren (z. B. LiDAR-Sensor(en) 464, RADAR-Sensor(en) 460 usw., die über Ethernet verbunden sein können), Daten vom Bus 402 (z. B. Geschwindigkeit des Fahrzeugs 400, Lenkradposition usw.), Daten von GNSS-Sensor(en) 458 (z. B. verbunden über Ethernet oder CAN-Bus) zu verarbeiten. Das/die SoC(s) 404 kann/können außerdem dedizierte Hochleistungs-Massenspeicher-Controller enthalten, die ihre eigenen DMA-Engines enthalten können und die verwendet werden können, um die CPU(s) 406 von Routineaufgaben der Datenverwaltung zu befreien.
Das/die SoC(s) 404 können eine Ende-zu-Ende-Plattform mit einer flexiblen Architektur sein, welche die Automatisierungslevels 3-5 überspannt und dadurch eine umfassende funktionelle Sicherheitsarchitektur bereitstellt, die Techniken des maschinellen Sehens und des ADAS für Diversität und Redundanz nutzt und effizient einsetzt und eine Plattform für einen flexiblen, zuverlässigen Fahrsoftwarestapel zusammen mit Deep-Learning-Werkzeugen bereitstellt. Das/die SoC(s) 404 können schneller, zuverlässiger und sogar energieeffizienter und raumeffizienter sein als herkömmliche Systeme. Zum Beispiel können der/die Beschleuniger 414, wenn sie mit der/den CPU(s) 406, der/den GPU(s) 408 und dem/den Datenspeicher(n) 416 kombiniert sind, eine schnelle, effiziente Plattform für autonome Fahrzeuge der Levels 3-5 bereitstellen.
Die Technologie stellt somit Fähigkeiten und Funktionen bereit, die mit herkömmlichen Systemen nicht erreicht werden können. Zum Beispiel können Algorithmen des maschinellen Sehens auf CPUs ausgeführt werden, die unter Verwendung einer Programmiersprache auf hohem Level, wie z. B. der Programmiersprache C, konfiguriert werden können, um eine große Vielfalt von Verarbeitungsalgorithmen über eine große Vielfalt von visuellen Daten auszuführen. Die CPUs sind jedoch oft nicht in der Lage, die Performance-Anforderungen vieler Anwendungen des maschinellen Sehens zu erfüllen, wie z. B. in Bezug auf die Ausführungszeit und den Leistungsverbrauch. Insbesondere sind viele CPUs nicht in der Lage, komplexe Objekterkennungsalgorithmen in Echtzeit auszuführen, die in fahrzeuginternen ADAS-Anwendungen und in praktischen autonomen Fahrzeugen der Levels 3-5 erforderlich sind.
Im Gegensatz zu herkömmlichen Systemen ermöglicht die hier beschriebene Technologie durch die Bereitstellung eines CPU-Komplexes, eines GPU-Komplexes und eines Hardware-Beschleunigungclusters die gleichzeitige und/oder sequentielle Ausführung mehrerer neuronaler Netze und die Kombination der Ergebnisse, um autonome Fahrfunktionen der Level 3-5 zu ermöglichen. Zum Beispiel kann ein CNN, das auf dem DLA oder dGPU (z. B. GPU(s) 420) ausgeführt wird, eine Text- und Worterkennung beinhalten, die es dem Supercomputer ermöglicht, Verkehrsschilder zu lesen und zu verstehen, einschließlich Schildern, für die das neuronale Netzwerk nicht speziell trainiert wurde. Der DLA kann ferner ein neuronales Netzwerk enthalten, das in der Lage ist, Zeichen zu identifizieren, zu interpretieren und ein semantisches Verständnis davon bereitzustellen und dieses semantische Verständnis an den Pfadplanungsmodule weiterzugeben, die auf dem CPU-Komplex laufen.
Als weiteres Beispiel können mehrere neuronale Netze simultan ausgeführt werden, wie für das Fahren bei Level 3, 4 oder 5 erforderlich ist. Zum Beispiel kann ein Warnschild mit der Aufschrift „Vorsicht: Blinkende Lichter weisen auf Vereisung hin“ zusammen mit einem elektrischen Licht von mehreren neuronalen Netzwerken unabhängig oder gemeinsam interpretiert werden. Das Schild selbst kann von einem ersten eingesetzten neuronalen Netzwerk (z. B. einem trainierten neuronalen Netzwerk) als Verkehrsschild identifiziert werden und kann der Text „Blinkende Lichter weisen auf Verweisung hin“ von einem zweiten eingesetzten neuronalen Netzwerk interpretiert werden, das die Wegplanungssoftware des Fahrzeugs (die vorzugsweise auf dem CPU-Komplex ausgeführt wird) darüber informiert, dass, wenn blinkende Lichter erkannt werden, Vereisungen vorliegen. Das blinkende Licht kann identifiziert werden, indem ein drittes eingesetztes neuronales Netz über mehrere Einzelbilder hinweg betrieben wird, das eine Pfadplanungssoftware des Fahrzeugs über das Vorhandensein (oder Nichtvorhandensein) von blinkenden Lichtern informiert. Alle drei neuronalen Netze können simultan laufen, wie etwa innerhalb des DLA und/oder auf den GPU(s) 408.
In einigen Beispielen kann ein CNN zur Gesichtserkennung und Fahrzeugbesitzeridentifizierung Daten von Kamerasensoren verwenden, um das Vorhandensein eines autorisierten Fahrers und/oder Besitzers des Fahrzeugs 400 zu identifizieren. Die stets eingeschaltete Sensorverarbeitungs-Engine kann verwendet werden, um das Fahrzeug zu entriegeln, wenn sich der Besitzer der Fahrertür nähert und Lichter einschaltet, und um in dem Sicherheitsmodus das Fahrzeug zu deaktivieren, wenn der Besitzer das Fahrzeug verlässt. Auf diese Weise stellen das/die SoC(s) 404 Sicherheit gegen Diebstahl und/oder Carjacking bereit.
In einem weiteren Beispiel kann ein CNN zur Detektion und Identifizierung von Einsatzfahrzeugen Daten von Mikrofonen 496 verwenden, um Sirenen von Einsatzfahrzeugen zu detektieren und zu identifizieren. Im Gegensatz zu herkömmlichen Systemen, die allgemeine Klassifikatoren zur Erkennung von Sirenen und zur manuellen Extraktion von Merkmalen verwenden, nutzen die SoC(s) 404 das CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung von visuellen Daten. In einer bevorzugten Ausführungsform wird das CNN, das auf dem DLA läuft, dafür trainiert, die relative Annäherungsgeschwindigkeit des Einsatzfahrzeugs zu identifizieren (z. B. durch Verwenden des Dopplereffekts). Das CNN kann auch dafür trainiert werden, Einsatzfahrzeuge zu identifizieren, die für das lokale Gebiet, in dem das Fahrzeug betrieben wird, spezifisch sind, wie durch den/die GNSS-Sensor(en) 458. Folglich versucht das CNN zum Beispiel, wenn es in Europa betrieben wird, europäische Sirenen zu erkennen, und in den Vereinigten Staaten versucht das CNN, nur nordamerikanische Sirenen zu identifizieren. Sobald ein Einsatzfahrzeug erkannt wird, kann ein Steuerprogramm verwendet werden, um eine Sicherheitsroutine für Einsatzfahrzeuge auszuführen, um das Fahrzeug zu verlangsamen, an den Straßenrand zu fahren, das Fahrzeug zu parken und/oder das Fahrzeug im Leerlauf laufen zu lassen, und zwar mit der Hilfe der Ultraschallsensoren 462, bis das/die Einsatzfahrzeug/e vorbeigefahren ist/sind.
Das Fahrzeug kann (eine) CPU(s) 418 (z. B. diskrete CPU(s) oder dCPU(s)) beinhalten, die über eine Hochgeschwindigkeitszusammenschaltung (z. B. PCle) an die SoC(s) 404 gekoppelt sein können. Die CPU(s) 418 können zum Beispiel einen X86-Prozessor beinhalten. Die CPU(s) 418 können dazu verwendet werden, eine beliebige einer Vielfalt von Funktionen durchzuführen, z. B. die Vermittlung potenziell inkonsistenter Ergebnisse zwischen ADAS-Sensoren und SoC(s) 404 und/oder die Überwachung des Status und Zustands der Steuerung(en) 436 und/oder Infotainment-SoC 430.
Das Fahrzeug 400 kann GPU(s) 420 (z. B. diskrete GPU(s) oder dGPU(s)) beinhalten, die über eine Hochgeschwindigkeitszusammenschaltung (z. B. NVLINK von NVIDIA) mit dem/den SoC(s) 404 gekoppelt sein können. Die GPU(s) 420 können eine zusätzliche Funktionalität für künstliche Intelligenz bereitstellen, z. B. durch Ausführen redundanter und/oder unterschiedlicher neuronaler Netzwerke, und können zum Trainieren und/oder Aktualisieren neuronaler Netzwerke verwendet werden, die auf Eingaben (z. B. Sensordaten) von Sensoren des Fahrzeugs 400 basieren.
Das Fahrzeug 400 kann ferner die Netzschnittstelle 424 beinhalten, die eine oder mehrere drahtlose Antennen 426 beinhalten kann (z. B. eine oder mehrere drahtlose Antennen für unterschiedliche Kommunikationsprotokolle, wie etwa eine Mobilfunkantenne, eine Bluetooth-Antenne usw.). Die Netzwerkschnittstelle 424 kann verwendet werden, um eine drahtlose Verbindung über das Internet mit der Cloud (z. B. mit (einem) Server(n) 478 und/oder anderen Netzwerkvorrichtungen), mit anderen Fahrzeugen und/oder mit Rechenvorrichtungen (z. B. Client-Vorrichtungen von Fahrgästen) zu ermöglichen. Zum Kommunizieren mit anderen Fahrzeugen kann eine direkte Verknüpfung zwischen den zwei Fahrzeugen hergestellt werden und/oder eine indirekte Verknüpfung (z. B. über Netze und über das Internet) hergestellt werden. Direkte Verknüpfungen können unter Verwendung einer Fahrzeug-zu-Fahrzeug-Kommunikationsverknüpfung hergestellt werden. Die Fahrzeug-zu-Fahrzeug-Kommunikationsverknüpfung kann dem Fahrzeug 400 Informationen über Fahrzeuge in der Nähe des Fahrzeugs 400 bereitstellen (z. B. Fahrzeuge vor, neben und/oder hinter dem Fahrzeug 400). Die vorgenannte Funktionalität kann Teil einer kooperativen adaptiven Geschwindigkeitssteuerungsfunktionalität des Fahrzeugs 400 sein.
Die Netzschnittstelle 424 kann ein SoC beinhalten, das eine Modulations- und Demodulationsfunktionalität bereitstellt und es den Steuerung(en) 436 ermöglicht, über drahtlose Netze zu kommunizieren. Die Netzwerkschnittstelle 424 kann ein Hochfrequenz-Frontend für die Aufwärtskonvertierung vom Basisband auf die Hochfrequenz und die Abwärtskonvertierung von der Hochfrequenz auf das Basisband beinhalten. Die Frequenzkonvertierungen können durch hinreichend bekannte Prozesse und/oder unter Verwendung von Überlagerungsverfahren durchgeführt werden. In einigen Beispielen kann die Hochfrequenz-Frontend-Funktionalität durch einen separaten Chip bereitgestellt sein. Die Netzwerkschnittstelle kann eine drahtlose Funktionalität zur Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle beinhalten.
Das Fahrzeug 400 kann ferner Datenspeicher 428 beinhalten, die außerhalb des Chips (z. B. außerhalb der SoC(s) 404) gespeichert sein können. Der/die Datenspeicher 428 können ein oder mehrere Speicherelemente umfassen, darunter RAM, SRAM, DRAM, VRAM, Flash, Festplatten und/oder andere Komponenten und/oder Vorrichtungen, die mindestens ein Datenbit speichern können.
Das Fahrzeug 400 kann ferner GNSS-Sensor(en) 458 (z. B. GPS und/oder unterstützte GPS-Sensoren) aufweisen, um bei der Kartierung, der Wahrnehmung, der Erstellung von Belegungsrastern und/oder der Pfadplanung zu helfen. Eine beliebige Anzahl von GNSS-Sensor(en) 458 kann verwendet werden, zum Beispiel und ohne Einschränkung ein GPS unter Verwendung eines USB-Steckers mit einer Ethernet-zu-Seriell (RS-232)-Brücke. Das Fahrzeug 400 kann ferner RADAR-Sensor(en) 460 beinhalten. Der/die RADAR-Sensor(en) 460 können von dem Fahrzeug 400 zur Fahrzeugerkennung mit großer Reichweite verwendet werden, auch bei Dunkelheit und/oder schlechten Wetterbedingungen. Die RADAR-Funktionssicherheitslevel ASIL B sein. Der/die RADAR-Sensor(en) 460 können das CAN und/oder den Bus 402 (z. B. zur Übertragung der von dem/den RADAR-Sensor(en) 460 erzeugten Daten) zur Steuerung von und zum Zugriff auf Objektverfolgungsdaten verwenden, wobei in einigen Beispielen der Zugriff auf Rohdaten über Ethernet erfolgt. Eine große Vielfalt von RADAR-Sensorarten kann verwendet werden. Zum Beispiel und ohne Einschränkung können der/die RADAR-Sensor(en) 460 für die Verwendung als Front-, Heck- und Seiten-RADAR geeignet sein. In einigen Beispielen werden Puls-Doppler-RADAR-Sensoren verwendet.
Der/die RADAR-Sensor(en) 460 können unterschiedliche Konfigurationen beinhalten, z. B. mit großer Reichweite und schmalem Sichtfeld, mit geringer Reichweite und breitem Sichtfeld, mit seitlicher Abdeckung mit kurzer Reichweite usw. In einigen Beispielen kann das RADAR mit großer Reichweite für die adaptive Geschwindigkeitssteuerungsfunktionalität verwendet werden. Die RADAR-Systeme können mit großer Reichweite ein breites Sichtfeld bereitstellen, das durch zwei oder mehr unabhängige Scans realisiert wird, z. B. innerhalb einer Reichweite von 250 m. Der/die RADAR-Sensor(en) 460 können dabei helfen, zwischen statischen und sich bewegenden Objekten zu unterscheiden, und können von ADAS-Systemen für den Notbremsassistenten und die Vorwärtskollisionswarnung verwendet werden. RADAR-Sensoren mit großer Reichweite können ein monostatisches multimodales RADAR mit mehreren (z. B. sechs oder mehr) festen RADAR-Antennen und einer Hochgeschwindigkeits-CAN- und FlexRay-Schnittstelle beinhalten. In einem Beispiel mit sechs Antennen können die vier zentrale Antennen ein fokussiertes Strahlenmuster erzeugen, das dazu ausgestaltet ist, die Umgebung des Fahrzeugs 400 bei höheren Geschwindigkeiten mit minimalen Störungen durch den Verkehr auf den benachbarten Fahrspuren aufzuzeichnen. Die beiden anderen Antennen können das Sichtfeld erweitern, wodurch es möglich ist, Fahrzeuge, die in die Fahrspur des Fahrzeugs 400 einfahren oder diese verlassen, schnell zu erkennen.
Die RADAR-Systeme mit mittlerer Reichweite können beispielsweise eine Reichweite von bis zu 460 m (vorne) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorne) oder 450 Grad (hinten) beinhalten. RADAR-Systeme mit kurzer Reichweite können ohne Einschränkung RADAR-Sensoren beinhalten, die für die Installation an beiden Enden des hinteren Stoßfängers ausgestaltet sind. Wenn das RADAR-Sensorsystem an beiden Enden des hinteren Stoßfängers installiert ist, kann ein derartiges RADAR-Sensorsystem zwei Strahlen erzeugen, die den toten Winkel hinter und neben dem Fahrzeug konstant überwachen.
RADAR-Systeme mit kurzer Reichweite können in einem ADAS-System zur Erkennung des toten Winkels und/oder zur Unterstützung beim Fahrspurwechsel verwendet werden.
Das Fahrzeug 400 kann ferner Ultraschallsensor(en) 462 beinhalten. Der/die Ultraschallsensor(en) 462, die vorne, hinten und/oder an den Seiten des Fahrzeugs 400 positioniert sein können, können als Einparkhilfe und/oder zur Erstellung und Aktualisierung eines Belegungsgitters verwendet werden. Eine große Vielfalt von Ultraschallsensor(en) 462 kann verwendet werden und können unterschiedliche Ultraschallsensor(en) 462 können für unterschiedliche Erkennungsreichweiten (z. B. 2,5 m, 4 m) verwendet werden. Der/die Ultraschallsensor(en) 462 können bei funktionellen Sicherheitslevels von ASIL B arbeiten.
Das Fahrzeug 400 kann LiDAR-Sensor(en) 464 beinhalten. Der/die LiDAR-Sensor(en) 464 können zur Objekt- und Fußgängererkennung, Notbremsung, Kollisionsvermeidung und/oder andere Funktionen verwendet werden. Der/die LiDAR-Sensor(en) 464 können dem funktionellen Sicherheitslevel ASIL B entsprechen. In einigen Beispielen kann das Fahrzeug 400 mehrere LiDAR-Sensoren 464 (z. B. zwei, vier, sechs usw.) beinhalten, die Ethernet verwenden können (um z. B. Daten für einen Gigabit-Ethernet-Switch bereitzustellen).
In einigen Beispielen können die LiDAR-Sensor(en) 464 dazu in der Lage sein, eine Liste von Objekten und deren Abstände für ein 360-Grad-Sichtfeld bereitzustellen. Handelsübliche LiDAR-Sensor(en) 464 können zum Beispiel eine beworbene Reichweite von ungefähr 400 m aufweisen, mit einer Genauigkeit von 2 cm-3 cm und mit Unterstützung für eine 400 Mbps-Ethernet-Verbindung. In einigen Beispielen können ein oder mehrere nicht vorstehende LiDAR-Sensoren 464 verwendet werden. In einem solchen Beispiel können der/die LiDAR-Sensor(en) 464 als eine kleine Vorrichtung implementiert werden, das in die Front, das Heck, die Seiten und/oder die Ecken des Fahrzeugs 400 eingebettet werden kann. Der/die LiDAR-Sensor(en) 464 können in solchen Beispielen ein horizontales Sichtfeld von bis zu 120 Grad und ein vertikales Sichtfeld von bis zu 35 Grad mit einer Reichweite von 200 m selbst bei Objekten mit niedrigem Reflexionsvermögen bereitstellen. Der/die an der Front montierte(n) LiDAR-Sensor(en) 464 können für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad konfiguriert sein.
In einigen Beispielen können auch LiDAR-Technologien, wie z. B. 3D-Blitz-LiDAR, verwendet werden. 3D-Blitz-LiDAR verwendet einen Laserblitz als Sendequelle, um die Umgebung des Fahrzeugs bis zu einer Entfernung von ca. 200 m zu beleuchten. Eine Blitz-LiDAR-Einheit beinhaltet einen Rezeptor, der die Laserpuls-Laufzeit und das reflektierte Licht an jedem Pixel aufzeichnet, was wiederum der Reichweite vom Fahrzeug zu den Objekten entspricht. Blitz-LiDAR kann ermöglichen, dass mit jedem Laserblitz hochgenaue und verzerrungsfreie Bilder der Umgebung erzeugt werden. In einigen Beispielen können vier Blitz-LiDAR-Sensoren eingesetzt werden, einer an jeder Seite des Fahrzeugs 400. Verfügbare 3D-Blitz-LiDAR-Systeme beinhalten eine Festkörper-3D-Staring-Array-LiDAR-Kamera ohne bewegliche Teile außer einem Lüfter (z. B. eine nicht scannende LiDAR-Vorrichtung). Die Blitz-LiDAR-Vorrichtung kann einen 5-Nanosekunden-Laserpuls der Klasse I (augensicher) pro Bild verwenden und kann das reflektierte Laserlicht in Form von den 3D-Reichweitenpunktwolken und gemeinsam registrierten Intensitätsdaten erfassen. Durch die Verwendung von Blitz-LiDAR und weil Blitz-LiDAR eine Festkörpervorrichtung ohne bewegliche Teile ist, ist der/die LiDAR-Sensor(en) 464 weniger anfällig für Bewegungsunschärfe, Vibrationen und/oder Stöße.
Das Fahrzeug kann ferner IMU-Sensor(en) 466 beinhalten. Der/die IMU-Sensor(en) 466 kann/können sich in einigen Beispielen in der Mitte der Hinterachse des Fahrzeugs 400 befinden. Der/die IMU-Sensor(en) 466 können zum Beispiel und ohne Einschränkung (einen) Beschleunigungsmesser, (ein) Magnetometer, (ein) Gyroskop(e), (einen) Magnetkompass(e) und/oder andere Sensorarten beinhalten. In einigen Beispielen, wie z. B. in sechsachsigen Anwendungen, kann der/die IMU-Sensor(en) 466 Beschleunigungsmesser und Gyroskope beinhalten, während in neunachsigen Anwendungen der/die IMU-Sensor(en) 466 Beschleunigungsmesser, Gyroskope und Magnetometer beinhalten kann/können.
In einigen Ausführungsformen können die IMU-Sensor(en) 466 als miniaturisiertes GPS-gestütztes Trägheitsnavigationssystem (GPS-Aided Inertial Navigation System - GPS/INS) mit hoher Rechenleistung implementiert sein, das Trägheitssensoren von mikroelektromechanischen Systemen (micro-electromechanical systems - MEMS), einen hochempfindlichen GPS-Empfänger und weiterentwickelte Kalman-Filteralgorithmen kombiniert, um Schätzungen von Position, Geschwindigkeit und Lage bereitzustellen. So können der/die IMU-Sensor(en) 466 in einigen Beispiel es dem Fahrzeug 400 ermöglichen, den Kurs zu schätzen, ohne dass Eingaben von einem Magnetsensor erforderlich sind, indem vom GPS an den/die IMU-Sensor(en) 466 Änderungen der Geschwindigkeit direkt beobachtet und korreliert werden. In einigen Beispielen können der/die IMU-Sensor(en) 466 und GNSS-Sensor(en) 458 in einer einzelnen integrierten Einheit kombiniert sein. Das Fahrzeug kann Mikrofon(e) 496 beinhalten, das/die in und/oder um das Fahrzeug 400 herum angebracht sind. Das/die Mikrofon(e) 496 können unter anderem zur Erkennung und Identifizierung von Einsatzfahrzeugen verwendet werden.
Das Fahrzeug kann ferner eine beliebige Anzahl von Kameratypen beinhalten, darunter Stereokamera(s) 468, Weitsichtkamera(s) 470, Infrarotkamera(s) 472, Rundumkamera(s) 474, Langstrecken- und/oder Mittelstreckenkamera(s) 498 und/oder andere Kameratypen. Die Kameras können verwendet werden, um Bilddaten um die gesamte Peripherie des Fahrzeugs 400 herum zu erfassen. Die Art der verwendeten Kameras hängt von den Ausführungsformen und Anforderungen für das Fahrzeug 400 ab, und es kann eine beliebige Kombination von Kameraarten verwendet werden, um die notwendige Abdeckung rund um das Fahrzeug 400 zu gewährleisten. Zusätzlich kann die Anzahl der Kameras in Abhängigkeit von der Ausführungsform unterschiedlich sein. Zum Beispiel kann das Fahrzeug sechs Kameras, sieben Kameras, zehn Kameras, zwölf Kameras und/oder eine andere Anzahl von Kameras beinhalten. Die Kameras können zum Beispiel und ohne Einschränkung Gigabit Multimedia Serial Link (GMSL) und/oder Gigabit Ethernet unterstützen. Jede der Kameras wird hier in Bezug auf 4A und 4B.
Das Fahrzeug 400 kann ferner Vibrationssensor(en) 442 beinhalten. Der/die Vibrationssensor(en) 442 können Vibrationen von Komponenten des Fahrzeugs, wie z. B. der der Achse(n), messen. Zum Beispiel können Änderungen der Vibrationen eine Änderung des Straßenbelags angeben. In einem weiteren Beispiel, wenn zwei oder mehr Vibrationssensoren 442 verwendet werden, können die Unterschiede zwischen den Vibrationen verwendet werden, um die Reibung oder den Schlupf des Straßenbelags zu bestimmen (z. B., wenn der Unterschied der Vibration zwischen einer leistungsbetriebenen Achse und einer sich frei drehenden Achse besteht).
Das Fahrzeug 400 kann ein ADAS-System 438 beinhalten. Das ADAS-System 438 kann in einigen Beispielen ein SoC beinhalten. Das ADAS-System 438 kann autonome/adaptive/automatische Geschwindigkeitssteuerung (autonomous/adaptive/automatic cruise control - ACC), kooperative adaptive Geschwindigkeitssteuerung (cooperative adaptive cruise control - CACC), Vorwärtszusammenstoßwarnungen (forward crash warning - FCW), automatisches Notbremsen (AEB), Spurverlassenswarnungen (lane departure warning - LDW), Spurhalteassistenz (lane keep assist - LKA), Totwinkelwarnung (blind spot warning - BSW), Querverkehrswarnung (rear cross-traffic warning - RCTW), Kollisionswarn (collision warning - CWS)-Systeme, Spurzentrierung (lane centering - LC) und/oder andere Systeme, Merkmale und/oder Funktionen beinhalten.
Die ACC-Systeme können RADAR-Sensor(en) 460, LiDAR-Sensor(en) 464 und/oder eine Kamera(en) verwenden. Die ACC-Systeme können ACC in Längsrichtung und/oder ACC in Querrichtung beinhalten. Die Längs-ACC steuert den Abstand zum Fahrzeug, das sich unmittelbar vor dem Fahrzeug 400 befindet, und passt die Fahrzeuggeschwindigkeit automatisch an, um einen sicheren Abstand zu vorausfahrenden Fahrzeugen einzuhalten. Die Quer-ACC führt eine Abstandshaltung durch und rät dem Fahrzeug 400, die Fahrspuren zu wechseln, wenn dies erforderlich ist. Die Quer-ACC ist mit anderen ADAS-Anwendungen, wie zum Beispiel LCA und CWS, verbunden.
Eine CACC verwendet Informationen von anderen Fahrzeugen, die über die Netzschnittstelle 424 und/oder die drahtlose(n) Antenne(n) 426 von anderen Fahrzeugen über eine drahtlose Verknüpfung oder indirekt über eine Netzverbindung (z. B. über das Internet) empfangen werden können. Direkte Verknüpfungen können durch eine Fahrzeug-zu-Fahrzeug (F-F)-Kommunikationsverknüpfung bereitgestellt werden, während indirekte Verknüpfungen durch Infrastruktur-zu-Fahrzeug (I-F)-Kommunikationsverknüpfungen bereitgestellt werden können. Im Allgemeinen stellt das F-F-Kommunikationskonzept Informationen über unmittelbar vorausfahrende Fahrzeuge (z. B. Fahrzeuge, die sich unmittelbar vor dem und auf derselben Spur wie das Fahrzeug 400 befinden) bereit, während das I-F-Kommunikationskonzept Informationen über den weiter entfernt vorausfahrenden Verkehr bereitstellt. CACC-Systeme können entweder eine oder beide der I-F- und F-F-Informationsquellen beinhalten. Angesichts der Informationen über die Fahrzeuge vor dem dem Fahrzeug 400 kann die CACC zuverlässiger sein und hat das Potenzial, den Gleichmäßigkeit des Verkehrsfluss zu verbessern und Staus auf der Straße zu reduzieren.
FCW-Systeme sind so ausgestaltet, dass es einen Fahrer vor einer Gefahr warnt, sodass der Fahrer eine korrigierende Maßnahme ergreifen kann. FCW-Systeme verwenden eine nach vorn gerichtete Kamera und/oder RADAR-Sensor(en) 460, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, die elektrisch mit einer Rückmeldung des Fahrers gekoppelt sind, wie z. B. einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente. Die FCW-Systeme können eine Warnung bereitstellen, z. B. in Form eines Tons, einer optischen Warnung, einer Vibration und/oder eines schnellen Bremsimpulses.
AEB-System erkennen eine drohende Vorwärtskollision mit einem anderen Fahrzeug oder einem anderen Objekt und kann automatisch die Bremsen betätigen, wenn der Fahrer nicht innerhalb eines spezifizierten Zeit- oder Abstandsparameters eine korrigierende Handlung durchführt. AEB-Systeme können nach vorn gerichtete Kamera(s) und/oder RADAR-Sensor(en) 460 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind. Wenn ein AEB-System eine Gefahr detektiert, warnt es typischerweise zuerst den Fahrer, um eine korrigierende Maßnahme zu ergreifen, um eine Kollision zu vermeiden, und falls der Fahrer keine korrigierende Maßnahme ergreift, kann das AEB-System automatisch die Bremsen in dem Bestreben betätigen, den Aufprall der vorhergesagten Kollision zu verhindern oder mindestens abzuschwächen. AEB-Systeme können Techniken, wie zum Beispiel dynamische Bremsunterstützung und/oder Bremsung aufgrund eines bevorstehenden Zusammenstoßes, beinhalten.
LDW-Systeme stellen optische, akustische und/oder taktile Warnungen bereit, wie z. B. Lenkrad- oder Sitzvibrationen, um den Fahrer zu warnen, wenn das Fahrzeug 400 die Fahrspurmarkierungen überquert. Ein LDW-System wird nicht aktiviert, wenn der Fahrer ein absichtliches Verlassen der Fahrspur anzeigt, indem er den Blinker betätigt. LDW-Systeme können können nach vorne gerichtete Kameras verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, die elektrisch mit einer Rückmeldung des Fahrers gekoppelt sind, wie z. B. einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente.
LKA-Systeme sind eine Variante der LDW-Systeme. LKA-Systeme stellen eine Lenkeingabe oder eine Bremsung bereit, um das Fahrzeug 400 zu korrigieren, wenn das Fahrzeug 400 beginnt, die Fahrspur zu verlassen. BSW-Systeme erkennen und warnen den Fahrer vor Fahrzeugen in einem toten Winkel eines Automobils. BSW-Systeme können einen optischen, akustischen und/oder taktilen Alarm bereitstellen, um anzugeben, dass Einfädeln in oder Wechseln der Fahrspuren unsicher ist. Das System kann eine zusätzliche Warnung ausgeben, wenn der Fahrer einen Blinker betätigt. BSW-Systeme können nach hinten gerichtete Kamera(s) und/oder RADAR-Sensor(en) 460 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, die elektrisch mit einer Rückmeldung des Fahrers gekoppelt sind, wie z. B. einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente.
RCTW-Systeme können eine optische, akustische und/oder taktile Benachrichtigung bereitstellen, wenn ein Objekt außerhalb der Reichweite der Heckkamera erkannt wird, wenn das Fahrzeug 400 rückwärts fährt. Einige RCTW-Systeme beinhalten AEB, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Zusammenstoß zu vermeiden. Die RCTW-Systeme können einen oder mehrere nach hinten gerichtete RADAR-Sensor(en) 460 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, die elektrisch mit einer Rückmeldung des Fahrers gekoppelt sind, wie z. B. einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente.
Herkömmliche ADAS-Systeme können anfällig für falsch positive Ergebnisse sein, die für den Fahrer ärgerlich und ablenkend sein können, aber typischerweise nicht katastrophal sind, da die ADAS-Systeme den Fahrer warnen und es dem Fahrer ermöglichen, zu entscheiden, ob wirklich eine Sicherheitsbedingung vorliegt, und entsprechend zu handeln. In einem autonomen Fahrzeug 400 muss das Fahrzeug 400 jedoch im Falle von widersprüchlichen Ergebnissen selbst entscheiden, ob das Ergebnis eines primären Computers oder eines sekundären Computers (z. B. einer ersten Steuerung 436 oder einer zweiten Steuerung 436) zu beachten ist. In einigen Ausführungsformen kann das ADAS-System 438 beispielsweise ein Backup- und/oder sekundärer Computer sein, der Wahrnehmungsinformationen für ein Rationalitätsmodul eines Backup-Computers bereitstellt. Der Rationalitätsmonitor des Backup-Computers kann eine redundante, diverse Software auf Hardware-Komponenten ausführen, um Fehler in der Wahrnehmung und bei dynamischen Fahr-Tasks zu erkennen. Die Ausgaben des ADAS-Systems 438 können für eine Überwachungs-MCU bereitgestellt werden. Wenn die Ausgaben des primären und des sekundären Computers miteinander in Konflikt geraten, muss die übergeordnete MCU festlegen, wie der Konflikt gelöst werden kann, um einen sicheren Betrieb zu gewährleisten.
In einigen Beispielen kann der primäre Computer so konfiguriert sein, dass er der Überwachungs-MCU eine Konfidenzbewertung bereitstellt, die eine Konfidenz des primären Computers für das gewählte Ergebnis angibt. Falls die Konfidenzbewertung einen Schwellenwert überschreitet, kann diese Überwachungs-MCU der Führung des primären Computers folgen, unabhängig davon, ob dieser sekundäre Computer ein widersprüchliches oder inkonsistentes Ergebnis bereitstellt. Wenn die eine Konfidenzbewertung den Schwellenwert nicht erreicht und der primäre und der sekundäre Computer unterschiedliche Ergebnisse angeben (z. B. den Widerspruch), kann die Überwachungs-MCU zwischen den Computern vermitteln, um das zweckmäßige Resultat zu bestimmen.
Die Überwachungs-MCU kann so konfiguriert sein, dass sie neuronale(s) Netz(e) ausführt, die dafür trainiert und konfiguriert sind, mindestens auf Grundlage von Ausgaben aus dem primären Computer und dem sekundären Computer die Bedingungen zu bestimmen, unter denen der sekundäre Computer Fehlalarme bereitstellt. Folglich können das/die neuronale Netz(e) in der Überwachungs-MCU lernen, wann der Ausgabe eines sekundären Computers vertraut werden kann und wann nicht. Zum Beispiel können, wenn der sekundäre Computer ein RADAR-basiertes FCW-System ist, neuronale Netz(e) in der Überwachungs-MCU lernen, wann das FCW-System metallische Objekte identifiziert, die tatsächlich keine Gefahren sind, wie etwa ein Abflussgitter oder ein Gullydeckel, das/der einen Alarm auslöst. Wenn der sekundärer Computer ein kamerabasiertes LDW-System ist, kann ein neuronales Netz in der Überwachungs-MCU ähnlich lernen, die LDW zu überschreiben, wenn Fahrradfahrer oder Fußgänger vorhanden sind und ein Verlassen der Fahrspur tatsächlich das sicherste Manöver ist. In Ausführungsformen, die (ein) neuronale(s) Netz(e) beinhalten, die auf der Überwachungs-MCU laufen, kann die Überwachungs-MCU mindestens einen DLA oder eine GPU beinhalten, der/die für die Ausführung von dem/den neuronalen Netzwerk(en) mit assoziiertem Speicher geeignet ist. In bevorzugten Ausführungsformen kann die Überwachungs-MCU eine Komponente eines oder mehrerer der SoC(s) 404 umfassen und/oder als solche enthalten sein.
In anderen Beispielen kann das ADAS-System 438 einen sekundären Computer beinhalten, der die ADAS-Funktionalität unter Verwendung der traditionellen Regeln des maschinellen Sehens durchführt. So kann der sekundäre Computer klassische Regeln des maschinellen Sehens (wenn-dann) verwenden und kann das Vorhandensein eines neuronalen Netzwerks/von neuronalen Netzwerken in der Überwachungs-MCU die Zuverlässigkeit, Sicherheit und Performance verbessern. Zum Beispiel macht die vielfältige Implementation und absichtliche Nicht-Identität das Gesamtsystem fehlertoleranter, insbesondere gegenüber Fehlern, die durch Software(oder Software-Hardware-Schnittstellen)-Funktionalität verursacht werden. Wenn zum Beispiel ein Software-Bug oder - Fehler in der auf dem primären Computer laufenden Software vorliegt und der nicht identische Software-Code, der auf dem sekundären Computer läuft, dasselbe Gesamtergebnis bereitstellt, kann die Überwachungs-MCU eine größere Konfidenz darin haben, dass das Gesamtergebnis korrekt ist und der Bug in der Software oder Hardware auf dem primären Computer keinen wesentlichen Fehler verursacht.
In einigen Beispielen kann die Ausgabe des ADAS-Systems 438 in einen Wahrnehmungsblock des primären Computers und/oder in einen Block für dynamische Fahr-Tasks des primären Computers eingespeist werden. Wenn das ADAS-System 438 z. B. eine Vorwärtszusammenstoßwarnung aufgrund eines unmittelbar vorausliegenden Objekts angibt, kann der Wahrnehmungsblock diese Information bei der Identifizierung von Objekten verwenden. In anderen Beispielen kann der sekundäre Computer über sein eigenes neuronales Netzwerk verfügen, das trainiert ist und somit das Risiko von falsch positiven Ergebnissen reduziert, wie hierin beschrieben.
Das Fahrzeug 400 kann ferner das Infotainment-SoC 430 (z. B. ein fahrzeuginternes Infotainment-System (in-vehicle infotainment system - IVI-System)) beinhalten. Obwohl als ein SoC veranschaulicht und beschrieben, kann das Infotainment-System kein SoC sein und kann zwei oder mehr diskrete Komponenten beinhalten. Das Infotainment-SoC 430 kann eine Kombination aus Hardware und Software enthalten, die verwendet werden kann, um Audio (z. B. Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio usw.), Video (z. B. TV, Filme, Streaming usw.), Telefon (z. B. Freisprechen), Netzwerkkonnektivität (z. B. LTE, Wi-Fi usw.) und/oder Informationsdienste (z. B. Navigationssysteme, Rückwärtseinparkhilfe, ein Radiodatensystem, fahrzeugbezogene Informationen wie Kraftstofffüllstand, insgesamt zurückgelegte Gesamt Strecke, Bremskraftstofffüllstand, Ölfüllstand, Tür öffnen/schließen, Luftfilterinformationen usw.) für das Fahrzeug 400 bereitzustellen. Das Infotainment-SoC 430 kann beispielsweise Radios, Plattenspieler, Navigationssysteme, Videowiedergabevorrichtungen, USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, Wi-Fi, Audiosteuerungen am Lenkrad, eine Freisprech-Sprachsteuerung, eine Heads-up-Anzeige (heads-up display- HUD), eine HMI-Anzeige 434, eine Telematikvorrichtung, ein Steuerfeld (z. B. zur Steuerung von und/oder Interaktion mit verschiedenen Komponenten, Merkmalen und/oder Systemen) und/oder andere Komponenten beinhalten. Das Infotainment-SoC 430 kann ferner dazu verwendet werden, um einem Benutzer(n) des Fahrzeugs Informationen (z. B. optisch und/oder akustisch) bereitzustellen, wie z. B. Informationen vom ADAS-System 438, Informationen zum autonomen Fahren, wie z. B. geplante Fahrzeugmanöver, Trajektorien, Umgebungsinformationen (z. B. Kreuzungsinformationen, Fahrzeuginformationen, Straßeninformationen usw.) und/oder andere Informationen.
Das Infotainment-SoC 430 kann GPU-Funktionen beinhalten. Das Infotainment-SoC 430 über den Bus 402 (z. B. CAN-Bus, Ethernet usw.) mit anderen Vorrichtungen, Systemen und/oder Komponenten des Fahrzeugs 400 kommunizieren. In einigen Beispielen kann das Infotainment-SoC 430 mit einer Überwachungs-MCU gekoppelt sein, sodass die GPU des Infotainment-Systems einige Selbstfahrfunktionen ausführen kann, falls die primäre(n) Steuerung(en) 436 (z. B. der primäre und/oder der Backup-Computer des Fahrzeugs 400) ausfallen. In solch einem Beispiel kann das Infotainment-SoC 430 das Fahrzeug 400 in einen Modus des Chauffierens zu einem sicheren Halt versetzen, wie hierin beschrieben.
Das Fahrzeug 400 kann ferner ein Kombiinstrument 432 (z. B. ein digitales Armaturenbrett, ein elektronisches Kombiinstrument, eine digitale Instrumententafel usw.) beinhalten. Das Kombiinstrument 432 kann eine Steuerung und/oder einen Supercomputer (z. B. eine diskrete Steuerung oder einen diskreten Supercomputer) beinhalten. Das Kombiinstrument 432 kann einen Satz von Messausrüstung beinhalten, wie z. B. Geschwindigkeitsmesser, Kraftstoffstand, Öldruck, Drehzahlmesser, Wegstreckenzähler, Blinker, Schaltknüppelpositionsangabe, Sicherheitsgurt-Warnleuchte(n), Feststellbremsen-Warnleuchte(n), Motor-Fehlfunktionsleuchte(n), Informationen über Airbag (SRS)-System e, Beleuchtungssteuerungen , Sicherheitssystemsteuerungen, Navigationsinformationen usw. In einigen Beispielen können Informationen angezeigt und/oder vom Infotainment-SoC 430 und dem Kombiinstrument 432 gemeinsam genutzt werden. In anderen Worten kann das Kombiinstrument 432 als Teil des Infotainment-SoC 430 enthalten sein oder umgekehrt.
4D ist ein Systemdiagramm für die Kommunikation zwischen dem/den Cloud-basierten Server(n) und dem beispielhaften autonomen Fahrzeug 400 aus 4A, gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Das System 476 kann Server 478, Netzwerk(e) 490 und Fahrzeuge, einschließlich des Fahrzeugs 400, beinhalten. Der/die Server 478 können eine Vielzahl von GPUs 484(A)-484(H) (hierin kollektiv als GPUs 484 bezeichnet), PCIe-Switches 482(A)-482(H) (hierin kollektiv als PCIe-Switches 482 bezeichnet) und/oder CPUs 480(A)-480(B) (hierin kollektiv als CPUs 480 bezeichnet) beinhalten. Die GPUs 484, die CPUs 480 und die PCIe-Switches können mit Hochgeschwindigkeitszusammenschaltungen miteinander verbunden sein, wie z. B. und ohne Einschränkung den von NVIDIA entwickelten NVLink-Schnittstellen 488 und/oder PCIe-Verbindungen 486. In einigen Beispielen sind die GPUs 484 über ein NVLink- und/oder NVSwitch-SoC verbunden und die GPUs 484 und die PCIe-Switches 482 sind über PCIe-Zusammenschaltungen verbunden. Obwohl acht GPUs 484, zwei CPUs 480 und zwei PCIe-Switches veranschaulicht sind, soll dies nicht einschränkend sein. Je nach Ausführungsform kann jeder der Server 478 eine beliebige Anzahl von GPUs 484, CPUs 480 und/oder PCIe-Switches beinhalten. Zum Beispiel können der/die Server 478 jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 484 beinhalten.
Der/die Server 478 können über die Netz(e) 490 und von den Fahrzeugen Bilddaten empfangen, die für Bilder repräsentativ sind, die unerwartete oder veränderte Straßenbedingungen zeigen, wie etwa kürzlich begonnene Straßenarbeiten. Der/die Server 478 können über das/die Netzwerk(e) 490 und an die Fahrzeuge neuronale Netzwerke 492, aktualisierte neuronale Netzwerke 492 und/oder Karteninformationen 494 übertragen, einschließlich Informationen über Verkehrs- und Straßenbedingungen. Die Aktualisierungen der Karteninformationen 494 können Aktualisierungen für die HD-Karte 422 beinhalten, wie z. B. Informationen über Baustellen, Schlaglöcher, Umleitungen, Überschwemmungen und/oder andere Hindernisse. In einigen Beispielen können die neuronalen Netzwerke 492, die aktualisierten neuronalen Netzwerke 492 und/oderdie Karteninformationen 494 aus einem neuen Training und/oder Erfahrungen resultieren, das/die in Daten dargestellt wird/werden, die von einer beliebigen Anzahl von Fahrzeugen in der Umgebung empfangen wurden, und/oder basierend auf Training, das in einem Rechenzentrum (z. B. unter Verwendung von dem/den Server(n) 478 und/oder anderen Servern) durchgeführt wurde.
Der/die Server 478 können verwendet werden, um Modelle des maschinellen Lernens (z. B. neuronale Netzwerke) basierend auf Trainingsdaten zu trainieren. Die Trainingsdaten können von den Fahrzeugen erzeugt werden und/oder können sie in einer Simulation (z. B. unter Verwendung einer Spiele-Engine) erzeugt werden. In einigen Beispielen werden die Trainingsdaten mit Tags versehen (z. B. wenn das neuronale Netzwerk von überwachtem Lernen profitiert) und/oder einer anderen Vorverarbeitung unterzogen, während in anderen Beispielen die Trainingsdaten nicht mit Tags versehen und/oder vorverarbeitet werden (z. B. wenn das neuronale Netzwerk kein überwachtes Lernen benötigt). Das Training kann nach einer oder mehreren Klassen von maschinellen Lerntechniken durchgeführt werden, einschließlich, aber nicht beschränkt auf Klassen wie: überwachtes Training, halbüberwachtes Training, unüberwachtes Training, Selbstlernen, Verstärkungslernen, föderiertes Lernen, Transferlernen, Merkmalslernen (einschließlich Hauptkomponenten- und Clusteranalysen), multilineares Unterraumlernen, vielfältiges Lernen, Repräsentationslernen (einschließlich Ersatzwörterbuchlernen), regelbasiertes maschinelles Lernen, Anomalieerkennung und alle Varianten oder Kombinationen davon. Sobald die Modelle des maschinellen Lernens trainiert sind, können die Modelle des maschinellen Lernens von den Fahrzeugen verwendet werden (z. B. über das/die Netzwerk(e) 490 an die Fahrzeuge übertragen werden und/oder können die Modelle des maschinellen Lernens von dem/den Server(n) 478 verwendet werden, um die Fahrzeuge aus der Ferne zu überwachen.
In einigen Beispielen kann der/können die Server 478 Daten von den Fahrzeugen empfangen und die Daten auf aktuelle neuronale Echtzeit-Netze zum intelligenten Echtzeit-Inferenzieren anwenden. Der/die Server 478 können Deep-Learning-Supercomputer und/oder dedizierte KI-Computer beinhalten, die von GPU(s) 484 angetrieben werden, wie z. B. die von NVIDIA entwickelten DGX- und DGX-Station-Maschinen. In einigen Beispielen können der/die Server 478 jedoch eine Deep-Learning-Infrastruktur beinhalten, die nur CPU-angetriebene Rechenzentren verwendet.
Die Deep-Learning-Infrastruktur des/der Server(s) 478 kann zum schnellen Echtzeit-Inferenzieren in der Lage sein und diese Fähigkeit verwenden, um den Zustand von den Prozessoren, Software und/oder assoziierter Hardware in dem Fahrzeug 400 zu bewerten und zu verifizieren. Zum Beispiel kann die Deep-Learning-Infrastruktur periodische Aktualisierungen vom Fahrzeug 400 empfangen, wie z. B. eine Sequenz von Bildern und/oder Objekten, die das Fahrzeug 400 in dieser Sequenz von Bildern lokalisiert hat (z. B. über maschinelles Sehen und/oder andere Objekt-Klassifizierungstechniken des maschinellen Lernens). Die Deep-Learning-Infrastruktur kann ihr eigenes neuronales Netzwerk laufen lassen, um die Objekte zu identifizieren und sie mit den Objekten zu vergleichen, die vom Fahrzeug 400 identifiziert wurden, und wenn die Ergebnisse nicht übereinstimmen und die Infrastruktur zu dem Schluss kommt, dass die KI im Fahrzeug 400 eine Fehlfunktion aufweist, dann können der/die Server 478 ein Signal an das Fahrzeug 400 übertragen, das einen ausfallsicheren Computer des Fahrzeugs 400 anweist, die Kontrolle zu übernehmen, die Fahrgäste zu benachrichtigen und ein sicheres Parkmanöver durchzuführen.
Zum Ableiten können der/die Server 478 die GPU(s) 484 und einen oder mehrere programmierbare Ableitungsbeschleuniger (z. B. TensorRT von NVIDIA) beinhalten. Die Kombination von GPU-angetriebenen Servern und Ableitungsbeschleunigung kann eine Reaktionsfähigkeit in Echtzeit ermöglichen. In anderen Beispielen, wenn z. B. die Performance weniger kritisch ist, können von CPUs, FPGAs und anderen Prozessoren angetriebene Server für die Ableitung verwendet werden.
5 ist ein Blockdiagramm einer beispielhaften Rechenvorrichtung(en) 500, die zur Verwendung beim Implementieren einiger Ausführungsformen der vorliegenden Offenbarung geeignet ist/sind. Die Rechenvorrichtung 500 kann ein Verschaltungssystem 502 beinhalten, das die folgenden Vorrichtungen direkt oder indirekt koppelt: Speicher 504, eine oder mehrere Zentraleinheiten (CPUs) 506, eine oder mehrere Grafikverarbeitungseinheiten (GPUs) 508, eine Kommunikationsschnittstelle 510, (I/O-Anschlüsse 512, Eingabe-/Ausgabekomponenten 514, eine Stromversorgung 516, eine oder mehrere Präsentationskomponenten 518 (z. B. Anzeige(n)) und eine oder mehrere Logikeinheiten 520.
Auch wenn die verschiedenen Blöcke von 5 als über das Verschaltungssystem 502 mit Leitungen verbunden gezeigt sind, soll dies nicht einschränkend sein und dient nur der Klarheit. Zum Beispiel kann in einigen Ausführungsformen eine Präsentationskomponente 518, wie etwa Anzeigevorrichtung, als I/O-Komponente 514 betrachtet werden (z. B. wenn die Anzeige ein Touchscreen ist). Als weiteres Beispiel können die CPUs 506 und/oder GPUs 508 Speicher beinhalten (z. B. kann der Speicher 504 repräsentativ für eine Speichervorrichtung zusätzlich zum Speicher der GPUs 508, der CPUs 506 und/oder anderen Komponenten sein). Mit anderen Worten dient die Rechenvorrichtung aus 5 lediglich der Veranschaulichung. Es wird nicht zwischen Kategorien wie „Workstation“, „Server“, „Laptop“, „Desktop“, „Tablet“, „Client-Vorrichtung“, „mobile Vorrichtung“, „Handheld-Vorrichtung“, „Spielekonsole“, „elektronische Steuereinheit (electronic control unit - ECU),“ „Virtual-Reality-System“, „Augmented-Reality-System” und/oder andere Vorrichtungs- oder Systemtypen unterschieden, da alle im Umfang der Rechenvorrichtung der 5 in Betracht gezogen werden.
Das Verschaltungssystem 502 kann eine oder mehrere Verbindungen oder Busse darstellen, wie beispielsweise einen Adressbus, einen Datenbus, einen Steuerbus oder eine Kombination davon. Das Verschaltungssystem 502 kann einen oder mehrere Bus- oder Verbindungstypen beinhalten, wie beispielsweise einen Bus mit Industriestandardarchitektur (industry standard architecture - ISA), einen Bus mit erweiterter Industriestandardarchitektur (extended industry standard architecture - EISA), einen Bus der Video Electronic Standards Association (VESA), einen Bus für Verschaltung einer Periphärkomponente (PCI), ein Bus für Expressverschaltung einer Periphärkomponente (PCle) und/oder eine andere Art von Bus oder Verbindung. In einigen Ausführungsformen gibt es direkte Verbindungen zwischen Komponenten. Als ein Beispiel kann die CPU 506 direkt mit dem Speicher 504 verbunden sein. Ferner kann die CPU 506 direkt mit der GPU 508 verbunden sein. Wo eine direkte oder Punkt-zu-Punkt-Verbindung zwischen Komponenten besteht, kann das Verschaltungssystem 502 eine PCIe-Verbindung beinhalten, um die Verbindung auszuführen. In diesen Beispielen muss kein PCI-Bus in der Rechenvorrichtung 500 beinhaltet sein.
Der Speicher 504 kann eine beliebige Vielfalt computerlesbarer Medien beinhalten. Die computerlesbaren Medien können beliebige verfügbare Medien sein, auf welche die Rechenvorrichtung 500 zugreifen kann. Die computerlesbaren Medien können sowohl flüchtige als auch nichtflüchtige Medien sowie entfernbare und nicht entfernbare Medien beinhalten. Beispielhaft und nicht einschränkend können die computerlesbaren Medien Computerspeichermedien und Kommunikationsmedien umfassen.
Die Computerspeichermedien können sowohl flüchtige als auch nichtflüchtige und/oder entfernbare und nicht entfernbare Medien beinhalten, die in jedem beliebigen Verfahren oder jeder beliebigen Technologie zum Speichern von Informationen wie etwa computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder anderen Daten implementiert werden. Zum Beispiel kann der Speicher 504 computerlesbare Anweisungen speichern (die z. B. ein Programm oder Programme und/oder ein oder mehrere Programmelemente darstellen, wie etwa ein Betriebssystem). Computerspeichermedien können RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologie, CD-ROM, Digital Versatile Disks (DVD) oder andere optische Plattenspeicher, Magnetkassetten, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder jedes andere Medium beinhalten, das verwendet werden kann, um die gewünschten Informationen zu speichern und auf das die Rechenvorrichtung 500 zugreifen kann, sind aber nicht darauf beschränkt. Im hierin verwendeten Sinne umfassen Computerspeichermedien keine Signale an sich.
Die Computerspeichermedien können computerlesbare Anweisungen, Datenstrukturen, Programmmodule und/oder andere Datentypen in einem modulierten Datensignal wie etwa einer Trägerwelle oder einem anderen Transportmechanismus verkörpern und beinhalten beliebige Informationsliefermedien. Der Begriff „moduliertes Datensignal“ kann ein Signal betreffen, das eine oder mehrere seiner Eigenschaften auf solch eine Weise verändert aufweist, dass Informationen in dem Signal kodiert werden. Zum Beispiel, und nicht als Einschränkung, können Computerspeichermedien verkabelte Medien beinhalten, wie beispielsweise ein verkabeltes Netzwerk oder eine drahtgebundene Verbindung, und drahtlose Medien, wie beispielsweise akustische, RF, infrarote und andere drahtlose Medien. Kombinationen von jeglichen der obigen sollten auch innerhalb des Umfangs der vorliegenden computerlesbaren Medien umfasst sein.
Die CPU(s) 506 können konfiguriert sein, um mindestens einige der computerlesbaren Anweisungen auszuführen, um eine oder mehrere Komponenten der Rechenvorrichtung 500 zu steuern, um eines/einen oder mehrere der Verfahren und/oder Prozesse, die hierin beschrieben sind, auszuführen. Die CPU(s) 506 können jeweils einen oder mehrere Kerne (z. B. einen, zwei, vier, acht, achtundzwanzig, zweiundsiebzig usw.) beinhalten, die in der Lage sind, eine Vielzahl von Software-Threads gleichzeitig zu handhaben. Die CPU(s) 506 können eine beliebige Art von Prozessor beinhalten und können unterschiedliche Arten von Prozessoren beinhalten, abhängig von der Art der Rechenvorrichtung 500 (z. B. Prozessoren mit weniger Kernen für mobile Vorrichtungen und Prozessoren mit mehr Kernen für Server). Zum Beispiel kann der Prozessor in Abhängigkeit von der Art der Rechenvorrichtung 500 ein Advanced-RISC-Machines(ARM)-Prozessor sein, der unter Verwendung von Reduced Instruction Set Computing (RISC) implementiert ist, oder ein x86-Prozessor, der unter Verwendung von Complex Instruction Set Computing (CISC) implementiert ist. Die Rechenvorrichtung 500 kann eine oder mehrere CPUs 506 zusätzlich zu einem oder mehreren Mikroprozessoren oder zusätzlichen Coprozessoren, wie etwa mathematischen Coprozessoren, beinhalten.
Zusätzlich oder alternativ zu den CPU(s) 506 können die GPU(s) 508 dazu konfiguriert sein, mindestens einige der computerlesbaren Anweisungen auszuführen, um eine oder mehrere Komponenten der Computervorrichtung 500 zu steuern, um eines/einen oder mehrere der Verfahren und/oder Prozesse, die hierin beschrieben sind, auszuführen. Eine oder mehrere der GPU(s) 508 können eine integrierte GPU sein (z. B. mit einer oder mehreren der CPU(s) 506) und/oder eine oder mehrere der GPU(s) 508 können eine diskrete GPU sein. In Ausführungsformen können eine oder mehrere der GPU(s) 508 ein Coprozessor einer oder mehrerer der CPU(s) 506 sein. Die GPU(s) 508 können durch die Computervorrichtung 500 verwendet werden, um Grafiken (z. B. 3D-Grafiken) zu rendern oder Universalberechnungen durchzuführen. Zum Beispiel können die GPU(s) 508 für Universalberechnungen auf GPUs (GPGPU) verwendet werden. Die GPU(s) 508 können Hunderte oder Tausende von Kernen beinhalten, die in der Lage sind, Hunderte oder Tausende von Softwarethreads gleichzeitig zu handhaben. Die GPU(s) 508 können Pixeldaten für Ausgabebilder als Reaktion auf das Rendern von Befehlen erzeugen (z. B. Rendern von Befehlen aus der/den CPU(s) 506, die über eine Host-Schnittstelle empfangen werden). Die GPU(s) 508 können Grafikspeicher beinhalten, wie etwa Anzeigespeicher, um Pixeldaten oder andere geeignete Daten zu speichern, wie etwa GPGPU-Daten. Der Anzeigespeicher kann als Teil des Speichers 504 beinhaltet sein. Der/die GPU(s) 508 können zwei oder mehrere GPUs beinhalten, die parallel arbeiten (z. B. über einen Link). Der Link kann die GPUs direkt verbinden (z. B. unter Verwendung von NVLINK) oder kann die GPUs über ein Switch verbinden (z. B. unter Verwendung von NVSwitch). Wenn sie miteinander kombiniert werden, kann jede GPU 508 Pixeldaten oder GPGPU-Daten für verschiedene Abschnitte einer Ausgabe oder für verschiedene Ausgaben (z. B. eine erste GPU für ein erstes Bild und eine zweite GPU für ein zweites Bild) erzeugen. Jede GPU kann ihren eigenen Speicher beinhalten oder kann Speicher mit anderen GPUs teilen.
Zusätzlich oder alternativ zu den CPU(s) 506 und/oder den GPU(s) 508 kann/können die Logikeinheit(en) 520 dazu konfiguriert sein, mindestens einige der computerlesbaren Anweisungen auszuführen, um eine oder mehrere Komponenten der Rechenvorrichtung 500 zu steuern, um eines/einen oder mehrere der Verfahren und/oder Prozesse, die hierin beschrieben sind, auszuführen. In Ausführungsformen können die CPU(s) 506, die GPU(s) 508 und/oder die Logikeinheit(en) 520 einzeln oder gemeinsam eine beliebige Kombination der Verfahren, Prozesse und/oder Teile davon ausführen. Eine oder mehrere der Logikeinheiten 520 kann/können Teil von und/oder integriert in eine oder mehrere der CPU(s) 506 und/oder der GPU(s) 508 sein und/oder eine oder mehrere der Logikeinheiten 520 kann/können diskrete Komponenten oder anderweitig extern zu der/den CPU(s) 506 und/oder der/den GPU(s) 508 sein. In Ausführungsformen können eine oder mehrere der logischen Einheiten 520 ein Coprozessor einer oder mehrerer der CPU(s) 506 und/oder einer oder mehrerer der GPU(s) 508 sein.
Beispiele der Logikeinheit(en) 520 beinhalten einen oder mehrere Verarbeitungskerne und/oder Komponenten davon, wie etwa Tensorkerne (Tensor Cores - TC), Tensor-Verarbeitungseinheiten (Tensor Processing Unit - TPU), visuelle Pixelkerne (Pixel Visual Cores - PVC), Bildverarbeitungseinheiten (Vision Processing Unit - VPU), Grafikverarbeitungscluster (Graphics Processing Cluster - GPC), Texturverarbeitungscluster (Texture Processing Cluster - TPC), Streaming-Multiprozessoren (SM), Baumdurchquerungseinheiten (Tree Traversal Unit - TTU), Beschleuniger für künstliche Intelligenz (Artificial Intelligence Accelerator - AIA), Deep-Learning-Beschleuniger (Deep Learning Accelerator - DLA), arithmetische Logikeinheiten (ALU), anwendungsspezifische integrierte Schaltungen (ASIC), Gleitkommaeinheiten (Floating Point Unit - FPU), I/O-Elemente, Elemente für Verschaltung von Periphärkomponenten (PCI) oder Expressverschaltung von Periphärkomponenten (peripheral component interconnect express - PCle) und/oder dergleichen.
Die Kommunikationsschnittstelle 510 kann einen oder mehrere Empfänger, Sender und/oder Transceiver beinhalten, die es der Rechenvorrichtung 500 ermöglichen, mit anderen Rechenvorrichtungen über ein elektronisches Kommunikationsnetz, einschließlich drahtgebundener und/oder drahtloser Kommunikation, zu kommunizieren. Die Kommunikationsschnittstelle 510 kann Komponenten und Funktionalität beinhalten, um eine Kommunikation über eine Anzahl unterschiedlicher Netzwerke zu ermöglichen, wie etwa drahtlose Netzwerke (z. B. Wi-Fi, Z-Wave, Bluetooth, Bluetooth LE, ZigBee usw.), drahtgebundene Netzwerke (z. B. Kommunikation über Ethernet oder InfiniBand), Weiterverkehrsnetzwerke mit geringer Leistung (z. B. LoRaWAN, SigFox usw.) und/oder das Internet.
Die I/O-Anschlüsse 512 können die Rechenvorrichtung 500 dazu befähigen, logisch an andere Vorrichtungen gekoppelt zu werden, einschließlich der I/O-Komponenten 514, der Präsentationskomponente(n) 518 und/oder anderer Komponenten, von denen einige in die Rechenvorrichtung 500 eingebaut (z. B. darin integriert) sein können. Veranschaulichende I/O-Komponenten 514 beinhalten ein Mikrofon, eine Maus, eine Tastatur, einen Joystick, ein Gamepad, einen Gamecontroller, eine Satellitenschüssel, einen Scanner, einen Drucker, eine drahtlose Vorrichtung usw. Die I/O-Komponenten 514 können eine natürliche Benutzerschnittstelle (natural user interface - NUI) bereitstellen, die Luftgesten, Stimme oder andere physiologische Eingaben, die durch einen Benutzer generiert werden, verarbeitet. In einigen Fällen können Eingaben zur weiteren Verarbeitung an ein geeignetes Netzwerkelement übertragen werden. Eine NUI kann eine beliebige Kombination aus Spracherkennung, Stifterkennung, Gesichtserkennung, biometrischer Erkennung, Gestenerkennung sowohl auf dem Bildschirm als auch neben dem Bildschirm, Luftgesten, Kopf- und Augenverfolgung und Berührungserkennung (wie unten genauer beschrieben) implementieren, die einer Anzeige der Rechenvorrichtung 500 zugeordnet sind. Die Rechenvorrichtung 500 kann Tiefenkameras, wie etwa stereoskopische Kamerasysteme, Infrarotkamerasysteme, RGB-Kamerasysteme, Touchscreen-Technologie und Kombinationen davon, zur Gestendetektion und -erkennung beinhalten. Zusätzlich kann die Rechenvorrichtung 500 Beschleunigungsmesser oder Gyroskope (z. B. als Teil einer Trägheitsmesseinheit (intertia measurement unit - IMU)) beinhalten, die eine Bewegungsdetektion ermöglichen. In einigen Beispielen kann die Ausgabe der Beschleunigungsmesser oder Gyroskope durch die Rechenvorrichtung 500 verwendet werden, um immersive augmentierte Realität oder virtuelle Realität zu rendern.
Die Stromversorgung 516 kann auch eine fest verdrahtete Stromversorgung, eine Batteriestromversorgung oder eine Kombination davon beinhalten. Die Stromversorgung 516 kann der Rechenvorrichtung 500 Strom bereitstellen, um den Komponenten der Rechenvorrichtung 500 den Betrieb zu ermöglichen. Die Präsentationskomponent(en) 518 können eine Anzeige (z. B. einen Monitor, einen Touchscreen, einen Fernsehbildschirm, ein Heads-up-Display (HUD), andere Anzeigearten oder eine Kombination davon), Lautsprecher und/oder andere Präsentationskomponenten beinhalten. Die Präsentationskomponent(en) 518 können Daten von anderen Komponenten (z. B. den GPU(s) 508, den CPU(s) 506 usw.) empfangen und die Daten ausgeben (z. B. als Bild, Video, Ton usw.).
Die Offenbarung kann im allgemeinen Kontext von Computercode oder maschinenverwendbaren Anweisungen beschrieben werden, einschließlich computerausführbarer Anweisungen wie etwa Programmmodulen, die von einem Computer oder einer anderen Maschine wie etwa einem Personal Data Assistant oder einem anderen Handgerät ausgeführt werden. Im Allgemeinen beziehen sich Programmmodule einschließlich Routinen, Programme, Objekte, Komponenten, Datenstrukturen usw. auf Code, der bestimmte Aufgaben ausführt oder bestimmte abstrakte Datentypen implementiert. Die Offenbarung kann in einer Vielzahl von Systemkonfigurationen praktiziert werden, einschließlich Handheld-Vorrichtungen, Unterhaltungselektronik, Allzweckcomputern, spezielleren Rechenvorrichtungen usw. Die Offenbarung kann auch in verteilten Rechenumgebungen praktiziert werden, in denen Aufgaben von entfernten Verarbeitungsvorrichtungen, die über ein Kommunikationsnetz verbunden sind, durchgeführt werden.
Wie hierin verwendet, sollte eine Rezitation von „und/oder“ in Bezug auf zwei oder mehr Elemente so ausgelegt werden, dass sie nur ein Element oder eine Kombination von Elementen bedeutet. Zum Beispiel kann „Element A, Element B und/oder Element C“ nur Element A, nur Element B, nur Element C, Element A und Element B, Element A und Element C, Element B und Element C oder Elemente enthalten A, B und C. Außerdem kann „mindestens eines von Element A oder Element B“ mindestens eines von Element A, mindestens eines von Element B oder mindestens eines von Element A und mindestens eines von Element umfassen B. Ferner kann „mindestens eines von Element A und Element B“ mindestens eines von Element A, mindestens eines von Element B oder mindestens eines von Element A und mindestens eines von Element B beinhalten.
Der Gegenstand der vorliegenden Offenbarung wird hierin spezifisch beschrieben, um gesetzliche Anforderungen zu erfüllen. Die Beschreibung selbst soll jedoch den Umfang dieser Offenbarung nicht einschränken. Vielmehr haben die Erfinder in Erwägung gezogen, dass der beanspruchte Gegenstand auch auf andere Weise verkörpert werden könnte, um andere Schritte oder Kombinationen von Schritten ähnlich den in diesem Dokument beschriebenen in Verbindung mit anderen gegenwärtigen oder zukünftigen Technologien einzuschließen. Obwohl die Begriffe „Schritt“ und/oder „Block“ hierin verwendet werden können, um verschiedene Elemente der verwendeten Verfahren zu bezeichnen, sollten die Begriffe darüber hinaus nicht so ausgelegt werden, dass sie eine bestimmte Reihenfolge zwischen oder zwischen verschiedenen hierin offenbarten Schritten implizieren, es sei denn, die Reihenfolge ist der einzelnen Schritte ist explizit beschrieben.
Jeder Block der nachstehend in Verbindung mit 6 beschriebenen Verfahren umfasst ein Rechenverfahren, das unter Verwendung einer beliebigen Kombination von Hardware, Firmware und/oder Software durchgeführt werden kann. Beispielsweise können verschiedene Funktionen von einem Prozessor ausgeführt werden, der im Speicher gespeicherte Anweisungen ausführt. Die Verfahren können auch in Form von computerverwendbaren Anweisungen, die auf Computerspeichermedien gespeichert sind, ausgestaltet sein. Die Verfahren können durch eine eigenständige Anwendung, einen Dienst oder einen gehosteten Dienst (eigenständig oder in Kombination mit einem anderen gehosteten Dienst) oder ein Plug-in für ein anderes Produkt bereitgestellt werden, um nur einige zu nennen. Darüber hinaus werden die Verfahren in 6 beispielhaft für das autonome Fahrzeugsystem der 4A-4D beschrieben. Diese Verfahren können jedoch zusätzlich oder alternativ von einem beliebigen System oder einer beliebigen Kombination von Systemen ausgeführt werden, einschließlich, aber nicht beschränkt auf die hier beschriebenen Systeme.
6 ist ein Flussdiagramm zur Veranschaulichung von Verfahrensschritten zur Bestimmung der Blickrichtung bei Vorhandensein von Blendung gemäß den Ausführungsformen der Offenbarung. Das Verfahren von 6 kann beginnen, wenn eine Recheneinrichtung 300 ein Bild eines Objekts empfängt, das von einer Kamera 310 aufgenommen wurde (Schritt 600). Die Recheneinrichtung identifiziert dann das Gesicht und die Augen des Objekts in dem empfangenen Bild (Schritt 610). Gesichter von Objekten können in einem Bild mit Hilfe beliebiger Verfahren oder Prozesse lokalisiert werden, einschließlich bekannter Computer-Vision-basierter Gesichtserkennungsverfahren, die Gesichter ohne Verwendung neuronaler Netze erkennen, wie z. B. Kantenerkennungsverfahren, Verfahren zur Suche nach Merkmalen, probabilistische Gesichtsmodelle, Graphenabgleich, Histogramme orientierter Gradienten (HOGs), die in Klassifikatoren wie Support-Vektor-Maschinen, HaarCascade-Klassifikatoren und dergleichen eingespeist werden. Die Bestimmung der Gesichtsposition kann auch mit auf neuronalen Netzen basierenden Gesichtserkennungsverfahren durchgeführt werden, z. B. mit Gesichtserkennungsschemata, die auf tiefen neuronalen Netzen (Deep Neural Networks) (DNN)) basieren, sowie mit allen anderen. Die Ausführungsformen der Offenbarung berücksichtigen auch die Lokalisierung der Augen des Objekts aus demselben Bild. Die Lokalisierung der Augen kann auf jede beliebige Art und Weise erfolgen, wie z.B. durch bekannte Computer-Vision-basierte Augenerkennungsverfahren, die eine der oben genannten, nicht auf neuronalen Netzen basierenden Verfahren, auf neuronalen Netzen basierende Augenerkennungsverfahren und dergleichen einschließen.
Sobald das Gesicht und die Augen des Objekts in dem empfangenen Bild lokalisiert sind, extrahiert die Recheneinrichtung 300 Blendungspunkte und erzeugt Gesichtsdarstellungen aus dem empfangenen Bild (Schritt 620). Die Blendung kann mit jeder Methode oder jedem Verfahren identifiziert werden. Zum Beispiel können Blendungspixel als diejenigen Pixel des empfangenen Bildes identifiziert werden, die einen Helligkeitswert über einem vorbestimmten Schwellenwert aufweisen. Ein weiteres Beispiel ist die Identifizierung von Blendungspixeln anhand bekannter oder charakteristischer Blendungsformen in aufgenommenen Bildern (z. B. kreisförmige oder sternförmige Flecken oder Ähnliches). Blendungsmasken können z. B. gebildet werden, indem Blendungspixel als weiße oder gesättigte Pixel und die übrigen Pixel als schwarze Pixel festgelegt werden.
Gesichtsdarstellungen, z. B. binäre Masken von identifizierten Gesichtern, können mit jeder beliebigen Methode oder jedem beliebigen Verfahren bestimmt werden. Solche binären Masken können z. B. gebildet werden, indem Pixel, die einem identifizierten Gesicht entsprechen, als weiß oder eine andere einheitliche Farbe und die restlichen Pixel als schwarze Pixel festgelegt werden.
Anschließend werden die Augenausschnitte ausgewählt (Schritt 630), z. B. durch Ziehen einer Bounding Box um jedes in Schritt 610 identifizierte Auge in bekannter Weise, und das Bild wird entsprechend geschnitten (cropping). In ähnlicher Weise werden dann die Gesichtsraster berechnet (Schritt 640). Das Gesichtsraster 225 kann beispielsweise gebildet werden, indem das identifizierte Gesicht gemäß einer Bounding Box zugeschnitten wird, die auf jede bekannte Weise gezeichnet werden kann, und das zugeschnittene Bild auf ein vorbestimmtes grobes Raster projiziert wird, wobei den Rasterelementen, die Gesichtspixel enthalten, eine oder mehrere Farben (oder ein erster Wert) zugewiesen werden, und die Rasterelemente, die keine Gesichtspixel enthalten, auf Schwarz (oder einen anderen Wert als den ersten Wert) gesetzt werden.
Die Masken von Schritt 620, die Augenausschnitte von Schritt 630 und das Gesichtsraster von Schritt 640 werden dann in die Modelle zum maschinellen Lernen (z. B. Merkmalsextraktionsschichten 230, 235 und 240 und voll verbundene Schichten 245 und 255) von Ausführungsformen der Offenbarung eingegeben, um die Blickrichtung zu berechnen (Schritt 650), wie es oben beschrieben ist. Diese Blickrichtung wird dann an das blickunterstützte System 320 ausgegeben (Schritt 660), das eine oder mehrere Aktionen basierend auf der empfangenen Blickrichtung durchführen kann (Schritt 670).
Ausführungsformen der Offenbarung sehen Modelle zum maschinellen Lernen vor, die auf andere Weise ausgestaltet sind als die in 2 dargestellten. 7 ist eine Blockdiagramm-Darstellung eines solchen alternativen Beispiels. Dabei weisen die Modelle zum maschinellen Lernen von 7 vollständig verbundene Schichten 710, 740 und 755 sowie Merkmalsextraktionsschichten 715, 745 und 750 auf. Die Merkmalextraktionsschichten 745 und 750 und die vollständig verbundenen Schichten 755 haben als Eingaben eine Darstellung des linken Auges 725, eine Darstellung des rechten Auges 730 und eine Gesichtsdarstellung 735. Die drei äußersten rechten Zweige der Modelle in 7 können im Wesentlichen mit denen in 2 identisch sein. Das heißt, die Merkmalextraktionsschichten 745 und 750 und die vollständig verbundenen Schichten 755 können im Wesentlichen mit den Merkmalextraktionsschichten 235 und 240 bzw. den vollständig verbundenen Schichten 245 identisch sein. In ähnlicher Weise können die Eingaben 725, 730 und 735 im Wesentlichen mit den Eingaben 215, 220 bzw. 225 identisch sein.
Die Blendungsdarstellung 700 und die Gesichtsdarstellung 705 können im Wesentlichen mit den Eingaben 200 und 205 von 2 identisch sein. So kann die Blendungsdarstellung 700 eine binäre Maske von Blendungspunkten sein, die im Eingabebild 100 identifiziert wurden, und die Gesichtsdarstellung 705 kann eine binäre Maske von Gesichtspixeln sein, die aus dem Eingabebild 100 extrahiert wurden. Im Gegensatz zu 2 wird die Blendungsdarstellung 700 jedoch in die vollständig verbundenen Schichten 710 eingegeben, und die Gesichtsdarstellung 705 wird in die Merkmalsextraktionsschichten 715 eingegeben. Die vollständig verbundenen Schichten 710 geben Merkmale aus, die die räumliche Position der Blendung in dem Eingabebild 100 beschreiben, und die Merkmalextraktionsschichten 715 geben Merkmale aus, die die Ausrichtung des Gesichts im Eingabebild 100 beschreiben. Diese beiden Ausgaben werden im Verknüpfungsblock 720 verknüpft und in die vollständig verbundenen Schichten 740 eingegeben, die einen Satz von Merkmalen ausgeben, die die Ausrichtung des Gesichts im Eingabebild 100 beschreiben. Die Ausgaben der vollständig verbundenen Schichten 740, der Merkmalsextraktionsschichten 745 und 750 und der vollständig verbundenen Schichten 755 werden dann wie vorab in Verbindung mit 2 beschrieben verarbeitet. Insbesondere werden die Ausgaben durch den Verknüpfungsblock 760 verknüpft und in die vollständig verbundenen Schichten 765 eingegeben, die eine Blickrichtung ausgeben. Auf diese Weise wird die räumliche Position der Blendung verwendet, um die Gesichtsausrichtung zu bestimmen, und nicht die Blendungspunkte selbst.
Das Training der vollständig verbundenen Schichten und Merkmalsextraktionsschichten der Ausführungsformen der Offenbarung kann auf jede geeignete Weise durchgeführt werden. Bei einigen Ausführungsformen können die Modelle zum maschinellen Lernen von Ausführungsformen der Offenbarung, z.B. die Architekturen der 2 und 7, von Ende zu Ende trainiert werden. In bestimmten Ausführungsformen können die vollständig verbundenen Schichten und Merkmalsextraktionsschichten der Ausführungsformen der Offenbarung in überwachter Weise unter Verwendung von gekennzeichneten Eingabebildern von Objekten, deren Blickrichtungen bekannt sind, trainiert werden. Bei einigen Ausführungsformen können zu diesen Eingabebildern Blendungsflecken hinzugefügt werden, um das Vorhandensein von Blendung zu simulieren. Die hinzugefügten Blendungsflecken können den jeweiligen Bildern auf jede beliebige Weise hinzugefügt werden, z. B. durch zufällige Platzierung in verschiedenen Bildern, Platzierung an vorbestimmten Stellen in den Eingabebildern oder ähnliches.
Der Fachmann wird feststellen, dass die Ausführungsformen der Offenbarung nicht auf die Schätzung des Blicks beschränkt sind. Insbesondere können die Verfahren und Systeme der Ausführungsformen der Offenbarung verwendet werden, um eine Blendung bei der Bestimmung beliebiger okulomotorischer Variablen zu berücksichtigen. Beispielsweise können die Modelle zum maschinellen Lernen der 2 und/oder 7 so konstruiert und trainiert werden, dass die Ausgabe der vollständig verbundenen Schichten 255, 765 eine Schätzung einer beliebigen anderen okulomotorischen Variable neben dem Blick ist, wie z. B. Pupillengröße, Pupillenbewegung, kognitive Belastung, Müdigkeit, Unfähigkeit aufgrund von z. B. Drogen oder Alkohol, Personen- oder Objekterkennung über die Iris, eine andere physiologische Reaktion oder Ähnliches. Dies kann beispielsweise durch das Trainieren der Modelle zum maschinellen Lernen der Ausführungsformen der Offenbarung unter Verwendung von Eingabedatensätzen (z. B. Blendungsmasken, Gesichtsmasken, Augenausschnitten, Gesichtsrastern usw.) erreicht werden, die mit den Werten einer beliebigen interessierenden okulomotorischen Variable gekennzeichnet sind. Die Modelle zum maschinellen Lernen können auch so ausgestaltet werden, dass sie alle Merkmale extrahieren, die für die Bestimmung solcher okulomotorischer Variablen nützlich sind. Auf diese Weise können Modelle zum maschinellen Lernen von Ausführungsformen der Offenbarung so ausgestaltet und trainiert werden, dass sie jede okulomotorische Variable in einer blendungstoleranten Weise schätzen, d.h. dass sie die Blendung bei der Bestimmung jeder okulomotorischen Variable berücksichtigen.
In der vorangegangenen Beschreibung wurde zu Erklärungszwecken eine spezifische Nomenklatur verwendet, um ein umfassendes Verständnis der Offenbarung zu ermöglichen. Dem Fachmann ist jedoch klar, dass die spezifischen Details nicht erforderlich sind, um die Verfahren und Systeme der Offenbarung anzuwenden. Daher dienen die vorstehenden Beschreibungen bestimmter Ausführungsformen der vorliegenden Erfindung der Veranschaulichung und Beschreibung. Sie erheben keinen Anspruch auf Vollständigkeit und beschränken die Erfindung nicht auf die offengelegten genauen Ausführungsformen. Viele Modifikationen und Variationen sind in Anbetracht der obigen Lehren möglich. Beispielsweise können Blendungspunkte auf beliebige Weise in verschiedene Modelle zum maschinellen Lernen eingegeben werden, z. B. durch Eingabe einer binären Maske von Blendungspunkten, Eingabe einer Tabelle oder eines Satzes von Blendungspositionen oder einer anderen Darstellung der Blendung. Die Ausführungsformen wurden ausgewählt und beschrieben, um die Prinzipien der Erfindung und ihre praktischen Anwendungen bestmöglich zu erläutern, damit der Fachmann die Verfahren und Systeme der Offenbarung und die verschiedenen Ausführungsformen mit verschiedenen Modifikationen, die für die jeweilige Anwendung geeignet sind, optimal nutzen kann. Darüber hinaus können verschiedene Merkmale der verschiedenen Ausführungsformen, ob offenbart oder nicht, miteinander kombiniert werden, um darüber hinausgehende Ausführungsformen zu schaffen, wie sie in der Offenbarung vorgesehen sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16/902737 [0001]
US 62/948793 [0001]
JP 3016201806 [0029]
JP 3016201609 [0029]
US 16101232 [0073]

Claims

Verfahren zum Bestimmen einer Blickrichtung bei Vorhandensein von Blendung, wobei das Verfahren umfasst: Bestimmen der Blickrichtung eines Objekts in einem Bild unter Verwendung einer Parallelverarbeitungsschaltung, wobei die Blickrichtung zumindest teilweise von einer Ausgabe eines oder mehrerer Modelle zum maschinellen Lernen bestimmt wird, welche als Eingaben eine isolierte Darstellung einer Blendung in dem Bild, eine oder mehrere Darstellungen von zumindest einem Abschnitt eines Gesichts des Objekts und einen Abschnitt des Bildes, welcher zumindest einem Auge des Objekts entspricht, aufweisen; und Auslösen einer Operation abhängig von der bestimmten Blickrichtung.
Verfahren nach Anspruch 1, welches darüber hinaus umfasst ein Erzeugen der Darstellung der Blendung, der einen oder mehreren Darstellungen von zumindest dem Abschnitts des Gesichts des Objekts und des Abschnitts des Bildes, welcher dem zumindest einen Auge des Objekts entspricht, unter Verwendung einer Verarbeitungsschaltung und auf der Grundlage des Bildes.
Verfahren nach Anspruch 1, wobei eines der Modelle zum maschinellen Lernen als Eingaben sowohl die isolierte Darstellung der Blendung als auch die Darstellung des zumindest einen Abschnitts des Gesichts des Objekts aufweist.
Verfahren nach Anspruch 1, wobei eines der Modelle zum maschinellen Lernen als Eingabe die isolierte Darstellung der Blendung aufweist, und wobei ein anderes der Modelle zum maschinellen Lernen als Eingabe die Darstellung des zumindest einen Abschnitts des Gesichts des Objekts aufweist.
Verfahren nach Anspruch 4, wobei das eine der Modelle zum maschinellen Lernen vollständig verbundene Schichten umfasst, welche als Eingabe die isolierte Darstellung der Blendung aufweisen.
Verfahren nach Anspruch 1, wobei das Bild unter Verwendung von Sensordaten erzeugt wird, welche unter Verwendung einer einem Fahrzeug entsprechenden Sensoreinrichtung erhalten werden, wobei das Auslösen darüber hinaus ein Auslösen einer Operation des Fahrzeugs abhängig von der bestimmten Blickrichtung umfasst.
Verfahren nach Anspruch 1: wobei der Abschnitt des Bildes, welcher zumindest einem Auge des Objekts entspricht, darüber hinaus einen ersten Abschnitt des Bildes, welcher einem ersten Auge des Objekts entspricht, und einen zweiten Abschnitt des Bildes, welcher einem zweiten Auge des Objekts entspricht, umfasst; und wobei das eine oder die mehreren Modelle zum maschinellen Lernen ein erstes Modell zum maschinellen Lernen, welches als Eingabe den ersten Abschnitt des Bildes aufweist, und ein zweites Modell zum maschinellen Lernen, welches als Eingabe den zweiten Abschnitt des Bildes aufweist, umfasst bzw. umfassen.
Verfahren nach Anspruch 1: wobei die eine oder die mehreren Darstellungen von zumindest einem Abschnitt des Gesichts des Objekts darüber hinaus eine erste und eine zweite Darstellung des Gesichts des Objekts umfasst bzw. umfassen; und wobei das eine oder die mehreren Modelle zum maschinellen Lernen ein erstes Modell zum maschinellen Lernen, welches als Eingabe die erste Darstellung des Gesichts des Objekts aufweist, und ein zweites Modell zum maschinellen Lernen, welches als Eingabe die zweite Darstellung des Gesichts des Objekts aufweist, umfasst bzw. umfassen.
Verfahren nach Anspruch 8, wobei die erste Darstellung des Gesichts des Objekts eine Maske des Gesichts des Objekts ist, und wobei die zweite Darstellung des Gesichts des Objekts ein Gesichtsraster des Gesichts des Objekts ist.
System zum Bestimmen einer Blickrichtung bei Vorhandensein von Blendung, wobei das System umfasst: einen Speicher; und eine Parallelverarbeitungsschaltung, welche ausgestaltet ist, um: die Blickrichtung eines Objekts in einem Bild zu bestimmen, wobei die Blickrichtung zumindest teilweise aus einer Ausgabe eines oder mehrerer Modelle zum maschinellen Lernen bestimmt wird, welche als Eingaben eine isolierte Darstellung einer Blendung in dem Bild, eine oder mehrere Darstellungen von zumindest einem Abschnitt eines Gesichts des Objekts und einen Abschnitt des Bildes, welcher zumindest einem Auge des Objekts entspricht, aufweisen; und eine Operation abhängig von der bestimmten Blickrichtung auszulösen.
System nach Anspruch 10, wobei die Parallelverarbeitungsschaltung darüber hinaus ausgestaltet ist, um die Darstellung der Blendung, die eine oder die mehreren Darstellungen von zumindest einem Abschnitt des Gesichts des Objekts und den Abschnitt des Bildes, welcher dem zumindest einen Auge des Objekts entspricht, zu erzeugen, wobei die Darstellung der Blendung, die eine oder die mehreren Darstellungen von zumindest einem Abschnitt des Gesichts des Objekts und der Abschnitt des Bildes, welcher dem zumindest einen Auge des Objekts entspricht, jeweils auf der Grundlage des Bildes erzeugt werden.
System nach Anspruch 10, wobei eines der Modelle zum maschinellen Lernen als Eingaben sowohl die isolierte Darstellung der Blendung als auch die Darstellung des zumindest einen Abschnitts des Gesichts des Objekts aufweist.
System nach Anspruch 10, wobei eines der Modelle zum maschinellen Lernen als Eingabe die isolierte Darstellung der Blendung aufweist, und wobei ein anderes der Modelle zum maschinellen Lernen als Eingabe die Darstellung des zumindest einen Abschnitts des Gesichts des Objekts aufweist.
System nach Anspruch 13, wobei das eine der Modelle zum maschinellen Lernen vollständig verbundene Schichten umfasst, welche als Eingabe die isolierte Darstellung der Blendung aufweisen.
System nach Anspruch 10, wobei das Auslösen darüber hinaus ein Auslösen einer Operation eines Fahrzeugs abhängig von der bestimmten Blickrichtung umfasst.
System nach Anspruch 10: wobei der Abschnitt des Bildes, welcher zumindest einem Auge des Objekts entspricht, darüber hinaus einen ersten Abschnitt des Bildes, welcher einem ersten Auge des Objekts entspricht, und einen zweiten Abschnitt des Bildes, welcher einem zweiten Auge des Objekts entspricht, umfasst; und wobei das eine oder die mehreren Modelle zum maschinellen Lernen ein erstes Modell zum maschinellen Lernen, welches als Eingabe den ersten Abschnitt des Bildes aufweist, und ein zweites Modell zum maschinellen Lernen, welches als Eingabe den zweiten Abschnitt des Bildes aufweist, umfasst bzw. umfassen.
System nach Anspruch 10: wobei die eine oder mehreren Darstellungen von zumindest einem Abschnitt des Gesichts des Objekts darüber hinaus eine erste und eine zweite Darstellung des Gesichts des Objekts umfasst bzw. umfassen; und wobei das eine oder die mehreren Modelle zum maschinellen Lernen ein erstes Modell zum maschinellen Lernen, welches als Eingabe die erste Darstellung des Gesichts des Objekts aufweist, und ein zweites Modell zum maschinellen Lernen, welches als Eingabe die zweite Darstellung des Gesichts des Objekts aufweist, umfasst bzw. umfassen.
System nach Anspruch 17, wobei die erste Darstellung des Gesichts des Objekts eine Maske des Gesichts des Objekts ist, und wobei die zweite Darstellung des Gesichts des Objekts ein Gesichtsraster des Gesichts des Objekts ist.
Verfahren zum Bestimmen einer Blickrichtung bei Vorhandensein von Blendung, wobei das Verfahren umfasst: Empfangen von ersten Eingabedaten, welche indikativ für Orte der Blendung sind, die einer Position von einem oder mehreren Augen eines Objekts eines Bildes entsprechen; Empfangen von zweiten Eingabedaten, welche zumindest einen Abschnitt des Bildes des Objekts darstellen; Bestimmen der Blickrichtung des Objekts unter Verwendung einer Parallelverarbeitungsschaltung, wobei die Blickrichtung eine Ausgabe von einem oder mehreren Modellen zum maschinellen Lernen unter Verwendung der ersten Eingabedaten und der zweiten Eingabedaten ist; und Auslösen einer Operation abhängig von der bestimmten Blickrichtung.
Verfahren nach Anspruch 19, wobei eines der Modelle zum maschinellen Lernen als Eingaben die ersten Eingabedaten und dritte Eingabedaten aufweist, welche zumindest eine Position eines Auges des Objekts in dem Bild umfassen.
Verfahren nach Anspruch 19, wobei eines der Modelle zum maschinellen Lernen als Eingabe die ersten Eingabedaten aufweist, und wobei ein anderes der Modelle zum maschinellen Lernen als Eingabe zumindest eine Position eines Auges des Objekts in dem Bild aufweist.
Verfahren nach Anspruch 19, wobei das Auslösen darüber hinaus ein Auslösen einer Operation eines Fahrzeugs abhängig von der bestimmten Blickrichtung umfasst.
Verfahren nach Anspruch 19, wobei die zweite Eingabe einen Abschnitt des Bildes umfasst, welcher einem ersten Auge des Objekts entspricht, und wobei das eine oder die mehreren Modelle zum maschinellen Lernen darüber hinaus dritte Eingabedaten aufweist bzw. aufweisen, welche einen Abschnitt des Bildes umfassen, welcher einem zweiten Auge des Objekts entspricht.
Verfahren nach Anspruch 19, wobei das eine oder die mehreren Modelle zum maschinellen Lernen darüber hinaus dritte Eingabedaten aufweist bzw. aufweisen, welche eine Darstellung eines Gesichts in dem Bild umfassen.